Use Ollama with any GGUF Model on Hugging Face Hub
·
알쓸신잡
🆕 이제 Hugging Face Hub에서 비공개(private) GGUF 모델도 실행할 수 있다!개요대부분 Ollama에서 지원하는 model들을 ollama pull을 이용해서 사용해 보거나 혹은 GGUF들을 받아서 Modelfile을 만든 뒤에는 사용해 봤어도 Hugging Face에서 커뮤니티(bartowski, MaziyarPanahi 등)가 만든 모든 GGUF 양자화 모델을 새로운 Modelfile을 생성하지 않고도 사용해보지는 않았을 것이다.현재 Hugging Face Hub에 있는 약 45,000개의 공개 GGUF 체크포인트들을 단일 ollama run 명령어로 실행할 수 있다또한 양자화 타입 선택, 시스템 프롬프트 설정 등의 커스터마이징도 가능하다.Quick Start자신이 사용하고자하..