전체 글

오늘은 간단하게 Langchain, Langgraph, Langsmith에 대해서 알아보고자 한다. 최근 회사에서 RAG와 Agent 프로젝트를 진행하려고 해서 각각을 깊게 공부하기보다는 필요할 때 그때그때 찾아보면서 사용 중이다.간단한 만큼 부족한 부분이 많을 수 있으니, 자세한 건 docs나 github을 참고하길 바란다.1. LangchainLangChain은 LLM(대규모 언어 모델)을 활용한 애플리케이션 개발을 위한 프레임워크로, 다양한 LLM과의 연동을 지원하며, LLM을 데이터 소스 및 다양한 도구와 연결하여 강력한 애플리케이션을 구축할 수 있게 도와준다. 챗봇, 문서 요약, 질의응답 시스템 등 다양한 어플리케이션 개발에 활용될 수 있다. GitHub - langchain-ai/langcha..

Ubuntu를 처음 설치한 후 PC를 켰을 때, 검은 화면에 커서(_)만 깜박이며 부팅이 멈추는 경우가 발생하였다.찾아보니, 이는 Nvidia 드라이버 설치 과정에서 호환성 문제나 오류로 발생한 거 기 때문에 드라이버를 재설치해줘야 했다.TTY 프롬프트로 진입: Ctrl + Alt + F3 키를 동시에 눌러 TTY 프롬프트 창으로 진입해서 로그인.기존 드라이버 확인 및 제거: 기존에 설치된 Nvidia 드라이버를 확인하고 제거.# 현재 VGA 컨트롤러 정보 확인 (Nvidia 드라이버 설치 여부 확인) lspci -v | grep VGA # 기존 Nvidia 드라이버 제거 (command1 또는 command2 중 하나 선택) # command1: nvidia 관련 패키지 일괄 제거 및 잔여 패키지 정리..

Ubuntu 22.04에서 한글세팅을 완료하고, 다른 프로그램에서는 모두 정상적으로 사용가능했는데, vscode에서만 alt_r(한영) 키를 누르면 메뉴바로 이동하면서 한글이 안 됐다.이것저것 설정을 다 해봤었는데....이리저리 뒤지다가 어떤 분이 작성해 준 해결책을 발견했다!!. 감사합니다...해결책은 `snap`버전 말고 `deb`버전으로 받으면 정상 작동한다... Download Visual Studio Code - Mac, Linux, WindowsVisual Studio Code is free and available on your favorite platform - Linux, macOS, and Windows. Download Visual Studio Code to experience a r..

본 글은 Teddynote x AutoRag 제작자님 인터뷰 유튜브 영상을 보고 정리한 내용입니다.(직접 영상을 보면서 작성한 내용이라 틀린 부분이 있을 수도 있으니, 자세한 것은 영상을 참고 바랍니다.) 추가로, 직접 AutoRAG 튜토리얼과 개인 데이터셋에 사용한 가이드도 추후 작성해 보도록 하겠습니다! (중간중간 겪었던 에러들도)0. AutoRAG 필요성OpenAI에서 공개한 결과에 따르면, RAG를 이용할 때 단순하게 cosine similarity만을 사용하는 것이 아니라 다양한 모듈을 이용하였을 때 성능이 향상되었음.그러나 모든 문서에 성능이 뛰어난 RAG모듈은 없다 ==>각 문서마다 최적의 RAG 모듈이 다름.ex) 금융문서와 법률문서RAG 모듈의 수가 너무나도 다양하기 때문에 모든 것을 테..

오늘은 Opensource에 contribute 하는 방법에 대해서 작성해놓으려고 한다.사실 아직 반영되지 않았고, 너무 사소하기도해서 반영되지 않을 것 같지만.. 그래도 경험이고 언젠가 하게 될지 모르니 익숙해지고자 작성하려고 한다.이번에 내가 수정한 부분은 langchain에 있는 모듈 중 하나libs/community/langchain_community/document_loaders/firecrawl.py 에 기능을 하나 추가했다. Firecrawl 이라는 별도의 모듈이 있는데 여기서 extract라는 기능이 추가되었는데 아직 langchain에서 해당 내용을 반영하지 않아서, 내가 쓰고자 추가할 겸 한번 PR을 올려보았다.다행히 가이드가 제공되어 있어서 가이드 + GPT의 도움을 받아서 PR을 올..

저번 글에서 ngrok을 이용한 localhost 즉 내부 포트를 외부로 안전하게 공개하는 도구에 대해서 알아봤었는데, vscode를 이용하다가 똑같은 기능이 내장되어있는 것을 발견했다.vscode를 매일 사용하고 있었는데 몰랐다니..(ngrok 사용법은 아래 링크에서 확인하면 됩니다.) ngrok 사용법IntroduceNgrok은 로컬에서 실행시키는 웹 서버를 외부에서 접근할 수 있는 안전한 url로 열어주는 도구이다.즉 Fastapi 등을 이용해서 로컬에서 서버를 열고 테스트를 할 때 내 ip를 공개하지 않고 안changsroad.tistory.com 아래와 같이 terminal바 옆에 `PORTS`라는 탭이 있는데, 저기서 `Forward a Port`를 누르고 원하는 포트번호를 입력해주면 손쉽게 ..

IntroduceNgrok은 로컬에서 실행시키는 웹 서버를 외부에서 접근할 수 있는 안전한 url로 열어주는 도구이다.즉 Fastapi 등을 이용해서 로컬에서 서버를 열고 테스트를 할 때 내 ip를 공개하지 않고 안전한 대체 url을 공개시킬 수 있도록 해주는 도구이다.Download우선 다운로드는 아래 url에서 os별로 쉽게 설치할 수 있도록 가이드가 나와있다. Download ngrokDownload ngrokngrok.comUsage우선 다운로드를 받고, 가이드에 있는대로 ngrok에서 회원가입을 진행한뒤, token을 등록해주고 이용하면 된다.(ngrok사이트에서 회원가입을 진행하지 않고, 토큰을 발급받지 않았을 시에는 세션이 특정시간마다 만료가 되서 계속하여 재시작 해줘야 한다.)예시에 적혀있..