HuggingFace-CLI usage

오늘은 Huggingface를 CLI 사용법 중 자주 쓰는 것만 정리해두려고 한다.

1. 라이브러리 설치

pip install -U "huggingface_hub[cli]"

2. 계정관리

우선 기본적인 사용법과 로그인을 진행해야 한다.

huggingface-cli --help
huggingface-cli login

`help` 명령어를 치면 간단한 사용법을 알 수 있고, `login`커맨드를 치면 token을 입력하라고 하면서 링크가 뜨게 된다.

해당 링크에 들어가서 로그인을 진행하면 token이 뜨고, token이 없다면 생성하여 복붙 해주면 된다.

이후 토큰을 git-credential에 저장하냐는 알림이 뜨고, 저장해주면 다음번부터는 logout을 하지 않는 이상 token을 재입력해주지 않아도 된다.

만약 로그인이 되어있는 상태에서 내가 계정이 여러개라 어떤 아이디로 로그인되어 있는지 확인하려면 아래 커맨드로 확인할 수 있다. 잘못 로그인되어 있다면 logout을 하면 된다. 

huggingface-cli whoami
huggingface-cli logout

3. 다운로드

다운로드 방법도 `help`명령어를 통해서 확인할 수 있으며, 하나의 파일, 여러개 파일, 전체 repo, 특정 파일들을 선택할 수 있게 되어있다. 

huggingface-cli download --help
huggingface-cli download {repo} {file}          # Single file
huggingface-cli download {repo} {file1} {file2} # Multiple files
huggingface-cli download {repo}                 # Entire repository
huggingface-cli download {repo} --include "{pattern/file}" --exclude "{pattern/file}"*

해당 repo의 특정 파일이 아닌 데이터셋이나, space를 다운받을 수도 있다.

huggingface-cli download {repo} --repo-type dataset

huggingface-cli download {repo} --repo-type space

이 다운로드들을 특정 경로에 받기위해서는 맨 마지막에 `--local-dir {path}`를 붙여주면 된다.

 huggingface-cli download {repo} {file} --local-dir {path}

 

이 정도의 기본적인 커맨드들만 알고있고, 추가로 파일을 업로드하거나 비공개 repo에서 파일을 닫는 방법들도 가이드에 잘 나와있으니 참고하여 사용하면 될 것 같다.

4. Docs

Command Line Interface (CLI)