AutoRAG 개발자님 인터뷰 정리
·
ML & DL/NLP
본 글은 Teddynote x AutoRag 제작자님 인터뷰 유튜브 영상을 보고 정리한 내용입니다.(직접 영상을 보면서 작성한 내용이라 틀린 부분이 있을 수도 있으니, 자세한 것은 영상을 참고 바랍니다.) 추가로, 직접 AutoRAG 튜토리얼과 개인 데이터셋에 사용한 가이드도 추후 작성해 보도록 하겠습니다! (중간중간 겪었던 에러들도)0. AutoRAG 필요성OpenAI에서 공개한 결과에 따르면, RAG를 이용할 때 단순하게 cosine similarity만을 사용하는 것이 아니라 다양한 모듈을 이용하였을 때 성능이 향상되었음.그러나 모든 문서에 성능이 뛰어난 RAG모듈은 없다 ==>각 문서마다 최적의 RAG 모듈이 다름.ex) 금융문서와 법률문서RAG 모듈의 수가 너무나도 다양하기 때문에 모든 것을 테..
한 권으로 끝내는 랭체인 노트 따라하기 Day 3 - prompt
·
ML & DL/NLP
오늘의 실습 CH02 프롬프트(Prompt)프롬프트 단계는 검색기에서 검색된 문서들을 바탕으로 **언어 모델이 사용할 질문이나 명령을 생성하는 과정**입니다. 이 단계는 **검색된 정보를 바탕**으로 최종 사용자의 질문에…wikidocs.net 챗봇을 사용해 본 적이 있다면, 프롬프트라는 말을 무수히 많이 들었을 것이다. 유튜브나 책 같은 데서도 프롬프트만 알아도 달라진다 뭐 이런 것도 많고 나도 처음에는 어차피 모델의 성능이 좌우하는 것 아닌가 싶었지만 프롬프트만 바꿈으로써 모델이 내가 하는 말을 더 잘 이해하고 내가 원하는 답을 준다는 것을 깨달았다.참고로 프롬프트는 크게 아래와 같이 4가지 구성요소로 구성된다.PromptTemplatefrom_template템플릿을 정의하며, input이 되는 변수..
한 권으로 끝내는 랭체인 노트 따라하기 Day 2 - LCEL
·
ML & DL/NLP
오늘의 실습 05. LangChain Expression Language(LCEL).custom { background-color: #008d8d; color: white; padding: 0.25em 0.5…wikidocs.netLangChain Expression Language(LCEL)가장 일반적인 사용법으로, prompt와 모델을 연결하여 출력하는 방식으로 f-string 형태로, 변수를 `{}`로 감싸서 입력을 넣어주면 된다. from langchain_core.prompts import PromptTemplatetemplate = "{country}의 가장 부자는 누구인가요"prompt_template = PromptTemplate.from_template(template)print(prom..
한 권으로 끝내는 랭체인 노트 따라하기 Day 1
·
ML & DL/NLP
오늘의 실습 04. OpenAI API 사용(GPT-4o 멀티모달).custom { background-color: #008d8d; color: white; padding: 0.25em 0.5…wikidocs.net참고원래는 OpenAI의 api를 발급받아서 실습을 진행해야 하는데, 나는 따로 결제를 하지 않기 위해서 Ollama를 이용하여 실습을 진행하였다. 다행히도 실습에서 사용되는 `langchain_openai`의 `ChatOpenAI`와 유사하게 `langchain_ollama`의 `ChatOllama`가 있었다. 아래에 다른 여러 패키지들도 있으니 꼭 OpenAI api를 사용하지 않고 다양하게 해 볼 수 있을 것 같다.(다만 지원되지 않는 것들이 있으니 참고)모든 코드는 랭체인 실습과 Cha..
한 권으로 끝내는 랭체인 노트 따라하기 Day 0
·
ML & DL/NLP
오늘부터 시간날 때마다 `테디노트`님이 작성하신 wikidocs의 랭체인노트 듀토리얼을 보면서 따라해보도록 하겠다! - LangChain 한국어 튜토리얼🇰🇷" data-og-description="**추천**은 공유할 수 있는 무료 전자책을 집필하는데 정말 큰 힘이 됩니다. **"추천"** 한 번씩만 부탁 드리겠습니다🙏🙏 ✅ **랭체인 한국어 튜토리얼 강의** …" data-og-host="wikidocs.net" data-og-source-url="https://wikidocs.net/book/14314" data-og-url="https://wikidocs.net/book/14314" data-og-image="https://scrap.kakaocdn.net/dn/OSlwV/hyXOcVPkoj..