Context Window(문맥 창)이란?LLM에서 Context Window는 모델이 입력을 처리할 때 고려하는 텍스트나 입력 데이터의 범위를 의미한다. 쉽게 말해, 모델이 한 번에 "볼 수 있는" 정보의 양입니다.토큰(Token): 모델에 따라 단어, 문자, 또는 하위 단어로 구성될 수 있음창 크기(Window Size): 모델이 처리할 수 있는 토큰의 수최근에 등장한 Gemini나 LLama4도 엄청난 크기의 Context양을 강점으로 내세웠다. 왜냐하면 Context window 크기가 클 수록 한번에 더 많은 정보를 볼 수 있기 때문에, 챗봇에서는 사용자와의 대화 혹은 더 많은 참고자료를 보고 답변을 할 수 있게 되는 것이다.RAG도 이러한 Context window의 제약을 이겨내기위해 가장 ..

오늘은 간단하게 Langchain, Langgraph, Langsmith에 대해서 알아보고자 한다. 최근 회사에서 RAG와 Agent 프로젝트를 진행하려고 해서 각각을 깊게 공부하기보다는 필요할 때 그때그때 찾아보면서 사용 중이다.간단한 만큼 부족한 부분이 많을 수 있으니, 자세한 건 docs나 github을 참고하길 바란다.1. LangchainLangChain은 LLM(대규모 언어 모델)을 활용한 애플리케이션 개발을 위한 프레임워크로, 다양한 LLM과의 연동을 지원하며, LLM을 데이터 소스 및 다양한 도구와 연결하여 강력한 애플리케이션을 구축할 수 있게 도와준다. 챗봇, 문서 요약, 질의응답 시스템 등 다양한 어플리케이션 개발에 활용될 수 있다. GitHub - langchain-ai/langcha..

본 글은 Teddynote x AutoRag 제작자님 인터뷰 유튜브 영상을 보고 정리한 내용입니다.(직접 영상을 보면서 작성한 내용이라 틀린 부분이 있을 수도 있으니, 자세한 것은 영상을 참고 바랍니다.) 추가로, 직접 AutoRAG 튜토리얼과 개인 데이터셋에 사용한 가이드도 추후 작성해 보도록 하겠습니다! (중간중간 겪었던 에러들도)0. AutoRAG 필요성OpenAI에서 공개한 결과에 따르면, RAG를 이용할 때 단순하게 cosine similarity만을 사용하는 것이 아니라 다양한 모듈을 이용하였을 때 성능이 향상되었음.그러나 모든 문서에 성능이 뛰어난 RAG모듈은 없다 ==>각 문서마다 최적의 RAG 모듈이 다름.ex) 금융문서와 법률문서RAG 모듈의 수가 너무나도 다양하기 때문에 모든 것을 테..

오늘의 실습저번글에서 기본적인 template사용법을 알아봤다면 이번에는 FewShotPrompt를 알아볼 것이다. 내가 원하는 형식의 답변을 끌어내고자 내가 먼저 특정 형식의 질문과 답안을 제시해 주고 최종 질문을 하는 방식이다.FewShotPromptfrom langchain_core.prompts.few_shot import FewShotPromptTemplateexamples = [ { "question": "메시와 호날두 중 누가 더 잘하는 축구선수인가요?", "answer": """이 질문에 추가 질문이 필요한가요: 예. 추가 질문: 메시와 호날두 중 누가 더 많은 골을 넣었나요? 중간 답변: 메..

오늘의 실습 CH02 프롬프트(Prompt)프롬프트 단계는 검색기에서 검색된 문서들을 바탕으로 **언어 모델이 사용할 질문이나 명령을 생성하는 과정**입니다. 이 단계는 **검색된 정보를 바탕**으로 최종 사용자의 질문에…wikidocs.net 챗봇을 사용해 본 적이 있다면, 프롬프트라는 말을 무수히 많이 들었을 것이다. 유튜브나 책 같은 데서도 프롬프트만 알아도 달라진다 뭐 이런 것도 많고 나도 처음에는 어차피 모델의 성능이 좌우하는 것 아닌가 싶었지만 프롬프트만 바꿈으로써 모델이 내가 하는 말을 더 잘 이해하고 내가 원하는 답을 준다는 것을 깨달았다.참고로 프롬프트는 크게 아래와 같이 4가지 구성요소로 구성된다.PromptTemplatefrom_template템플릿을 정의하며, input이 되는 변수..

오늘의 실습 05. LangChain Expression Language(LCEL).custom { background-color: #008d8d; color: white; padding: 0.25em 0.5…wikidocs.netLangChain Expression Language(LCEL)가장 일반적인 사용법으로, prompt와 모델을 연결하여 출력하는 방식으로 f-string 형태로, 변수를 `{}`로 감싸서 입력을 넣어주면 된다. from langchain_core.prompts import PromptTemplatetemplate = "{country}의 가장 부자는 누구인가요"prompt_template = PromptTemplate.from_template(template)print(prom..