Windows-Ollama 사용

오늘은 다양한 LLM 모델들을 로컬에서 사용할 수 있는 ollama를 설치해보고자 한다. 

또한 웹 UI로도 실행시킬 수 있어 로컬 Chat gpt처럼 사용할 수 있다! 

 

우선 Linux와 Mac은 쉽게 설치해서 사용할 수 있는데 windows 버전은 아직 공개되지 않았다고 한다.

그러나 window에서 WSL(Windows System for Linux) 기능을 이용하여 윈도우에서 리눅스 환경을 실행할 수 있어 ollama를 사용할 수 있다. 

 

1. WSL 기능 활성화

우선 제어판에 들어가서, `Windows 기능 켜기/끄기`를 검색한다. (혹은 제어판->프로그램 및 기능)

 

이후, `Linux용 Windows 하위 시스템`과 `가상 머신 플랫폼`을 활성화 시켜주고 pc를 재부팅해준다. 

다음으로 power shell 혹은 cmd를 관리자모드로 실행시켜준 뒤, 아래 명령어를 쳐준다.

wsl --install
wsl --install -d Ubuntu

이후 Ubuntu가 정상적으로 설치가 완료되면 프롬프트 오른쪽의 드롭다운을 클릭하면 Ubuntu를 선택할 수 있게 된다.

이제 방금 생긴 Ubuntu 프롬프트를 연다.

이때 만약 아래와 같이 오류가 난다면 추가적으로 설치해줘야할 것이 있다.

위에서 나와 같은 오류가 떴다면 해당 오류 로그에 떠있는 사이트에 들어가서 특정 패키지를 다운로드하여줘야 한다. 

이전 버전 WSL의 수동 설치 단계

위의 링크를 들어간후 해당 단락을 찾아서 `x64 머신용 최신 WSL2 Linux 커널 업데이트 패키지`를 설치해 준다.

이후 다시 Ubuntu 프롬프트를 닫았다가 열면 오류 메시지가 없이 정상적으로 작동될 것이다. 

들어가면 `username`과 `password`를 정하라는 창이 나올 것이고, 이것은 자신이 설정해 주면 된다.(pw는 칠 때 안 보이는 게 정상입니다)

2. ollama 

2-1. ollama 설치

이제 본격적으로 ollma를 설치해 보자.

위의 세팅까지 마쳤다면 이제 ollama 사이트에 있는 linux용 설치 명령어를 이용해 위의 Ubuntu prompt에서 실행시켜 준다.

이때 위에서 설정해 준 password를 입력하라는 commad가 나오며 입력해 주면 정상적으로 설치가 된다.

curl https://ollama.ai/install.sh | sh

2-2. ollama 실행

위와 같이 정상적으로 설치가 완료되었다면 이제 `ollama serve`명령어를 이용하여 Ollama를 구동한다.

ollama를 구동한뒤에 새로운 ubuntu prompt를 열어서 ollama의 모델 library를 참고하여 자신이 원하는 LLM 모델을 로컬에 설치할 수 있다. 각 원하는 모델에 들어가면 설치할 수 있는 명령어가 나오게 된다.

3. Ollama webui

그러나 위와 같이 프롬프트로 진행하면 조금 불편하기 때문에 이를 편리하게(chat gpt처럼) 사용할 수 있는 Ollama WebUI를 설치해 볼 것이다. Docker을 사용한 방법과 그냥 사용하는 방법이 있다고 하는데, 나는 docker을 이용해 보지 않아서 그냥 설치하는 방식을 참고하였다. 

https://github.com/ollama-webui/ollama-webui?tab=readme-ov-file

위의 ubuntu 프롬프트에서 아래 명령어들을 차례대로 입력해 준다. 

git clone https://github.com/ollama-webui/ollama-webui.git
cd ollama-webui/

# Copying required .env file
cp -RPp example.env .env

# Building Frontend
npm i
npm run build

# Serving Frontend with the Backend
cd ./backend
python3.10 -m venv venv
source venv/bin/activate
pip install -r requirements.txt
sh start.sh

위 코드를 실행하면서 중간중간 에러가 뜰 수도 있는데 로그에 뜨는 대로 설치를 진행해 주면 된다.

이때 `sh start.sh`를 실행하기 전, ubuntu prompt에서 `ollama serve`를 통해 미리 ollama를 구동해 준 뒤, `sh start.sh`를 실행해야 정상적으로 web ui가 사용가능하다.

위 web ui를 설치하면서 몇 가지 오류가 발생했었는데 쉽게 찾아서 해결할 수 있을 것 같아 따로 작성하지 않았다.(아마 node를 wsl에 따로 다시 설치해줬어야 함)