Linux AIHub 데이터 다운로드

저번에는 Linux에서 `INNORIX-EX-Agent`를 설치하여서 윈도에서처럼 AIHub에 있는 데이터를 받아보았는데, 대용량 데이터셋 같은 경우에는 서버에서 바로 다운로드해야 되기 때문에 api를 이용해서 다운로드하려고 했다.

마침 AIHub에서 `aihubshell`이라는 편리한것이 있길래, 이미 설명이 잘되어있지만 정리겸 작성해보려고 한다.

 

1. aihubshell 다운로드

~$ curl -o "aihubshell" https://api.aihub.or.kr/api/aihubshell.do # 다운로드
chmod +x aihubshell                                               # 실행권한부여
sudo cp aihubshell /usr/bin                                       # 전역등록

2. 계정정보 등록

nano ~/.bashrc

export AIHUB_ID={id}                  # 추가
export AIHUB_PW='{password}'          # 추가(''로 감싸기)

source ~/.bashrc

3. 사용법

3-1. 도움말

aihubshell -help

3-2. AIHub 데이터셋 조회

aihubshell -mode l
aihubshell -mode l | grep {검색어}

3-3. AIHub 데이터셋 내 파일목록 조회

aihubshell -mode l -datasetkey {datasetkey}

 이 때 `datasetkey`는 `grep 명령어`으로 검색했을 때 나오는 숫자, 혹은 AIHub의 해당 데이터셋 페이지 주소창의 맨 뒤 숫자

3-4. 데이터셋 다운로드

aihubshell -mode d -datasetkey {datasetkey}                    # 데이터셋 전체 다운로드 
aihubshell -mode d -datasetkey {datasetkey} -filekey {filekey} # 일부 파일 다운로드

`filekey` 는 3-3에서의 파일목록 조회할 때 옆에 숫자로도 나오고, 웹페이지 내에서도 확인 가능

`filekey`는 `,`로 구분하여 한번에 여러 개 다운로드 가능

 

Docs

AI-Hub