ollama

ollama나 open-web-ui를 통해서 모델을 다운로드하다가 오류 혹은 사용자가 다운로드를 중단시킬 경우 아무것도 안 남는 것 같지만 blobs에 파일이 남게 된다. 원래는 ollama를 재시작할 때 자동으로 불완전한 파일들을 지우는 프로세스가 있다고 하는데, 나는 왜인지 docker을 재시작해도 실제 모델은 없지만 blobs폴더에 데이터들이 남아있었다. 그래서 이런 찌꺼기 파일들을 수동으로 지우는 방법들을 까먹지 않게 적어두려고 한다.(docker을 사용하지않아도 경로만 다를 뿐 똑같음)docker exec -it {containeID} /bin/bashcd /root/.ollama/models위의 경로대로 이동하면 이렇게 `blobs`와 `mainfests` 폴더가 보인다.여기서 `blobs`에..

오늘의 실습 CH02 프롬프트(Prompt)프롬프트 단계는 검색기에서 검색된 문서들을 바탕으로 **언어 모델이 사용할 질문이나 명령을 생성하는 과정**입니다. 이 단계는 **검색된 정보를 바탕**으로 최종 사용자의 질문에…wikidocs.net 챗봇을 사용해 본 적이 있다면, 프롬프트라는 말을 무수히 많이 들었을 것이다. 유튜브나 책 같은 데서도 프롬프트만 알아도 달라진다 뭐 이런 것도 많고 나도 처음에는 어차피 모델의 성능이 좌우하는 것 아닌가 싶었지만 프롬프트만 바꿈으로써 모델이 내가 하는 말을 더 잘 이해하고 내가 원하는 답을 준다는 것을 깨달았다.참고로 프롬프트는 크게 아래와 같이 4가지 구성요소로 구성된다.PromptTemplatefrom_template템플릿을 정의하며, input이 되는 변수..

오늘은 로컬에서 쉽게 LLM을 사용할 수 있도록 해준 Ollama를 설치해보도록 하겠다.(이번에 새로나온 llama:3.1 70B을 2080ti 7개로 돌리니 엄청빠르게 한글도 잘되고 똑똑한 놈을 사용 가능하다.) 우선 Ollama는 Window, Ubunti, MacOs 모두에서 지원하며 Windows에서는 wsl을 이용하여 진행된다. GitHub - ollama/ollama: Get up and running with Llama 3.1, Mistral, Gemma 2, and other large language models.Get up and running with Llama 3.1, Mistral, Gemma 2, and other large language models. - ollama/olla..

오늘은 다양한 LLM 모델들을 로컬에서 사용할 수 있는 ollama를 설치해보고자 한다. 또한 웹 UI로도 실행시킬 수 있어 로컬 Chat gpt처럼 사용할 수 있다! 우선 Linux와 Mac은 쉽게 설치해서 사용할 수 있는데 windows 버전은 아직 공개되지 않았다고 한다. 그러나 window에서 WSL(Windows System for Linux) 기능을 이용하여 윈도우에서 리눅스 환경을 실행할 수 있어 ollama를 사용할 수 있다. 1. WSL 기능 활성화 우선 제어판에 들어가서, `Windows 기능 켜기/끄기`를 검색한다. (혹은 제어판->프로그램 및 기능) 이후, `Linux용 Windows 하위 시스템`과 `가상 머신 플랫폼`을 활성화 시켜주고 pc를 재부팅해준다. 다음으로 power s..