전체 글

1. 가상환경 생성 #가상환경 생성 conda create -n yolov5 python=3.8 #가상환경 실행 conda activate yolov5 2. pytorch 설치 자신의 gpu 세팅(cuda 11.3) 에 맞는 pytorch 버전 설치 ( gpu세팅을 아직 안한 상태라면 아래 링크에서 설정먼저 하고 오기) https://changsroad.tistory.com/342 PyTorch An open source machine learning framework that accelerates the path from research prototyping to production deployment. pytorch.org # CUDA 11.3 conda install pytorch==1.10.0 t..

0. Deprecated25/01/08 작성예전에 작성한 글을 수정하다가 발견한 건데,   `3.2.0`버전부터 파이썬 LightGBM  패키지에 GPU 설정하는 것이 내장되었다고 한다... 아래는 모두 쓸모없어졌다..ㅋ 2년 전에 삽질을 얼마나 했는데..1. Mingw64 설치GPU를 사용하기 위해서는 먼저 MinGW를 설치해야 한다.공식문서에는 installer를 사용하라고 나와있으나 installer를 사용하면 다운로드가 불가하다 나오고 올해 4월부터 이러한 오류가 있는 것을 알 수 있다. 따라서 Prebuilt된 파일을 사용하면 되는데 아래 링크에서 x86_64-posix-seh를 다운받으면 된다. MinGW-w64 - for 32 and 64 bit Windows - Browse Files at..

# 가상환경 리스트 확인 conda info --envs # 가상환경 삭제 conda remove --name 가상환경이름 --all # 파이썬 설치 가능 버전 확인 conda search python # 가상환경 생성하기 conda create --name 가상환경 python=3.7.12 # 가상환경에서 주피터 설치 pip install jupyter notebook # 주피터노트북이랑 가상환경이랑 연결하기 python -m ipykernel install --user --name 가상환경 --display-name 커널명 # 주피터에서 커널 삭제 jupyter kernelspec uninstall 커널명 # tensorflow gpu버전 설치 pip install tensorflow-gpu=2.6...

6. 통계적 추론 EXCEL(22.05.04) 이번 데이터셋은 fba.txt를 사용할 것이다. 탐색적분석 우선 각 trial에 대한 air의 분포를 살펴볼 것이다. 1. 조건부서식을 통해 시각화를 해준다. 2. 조건에 따른 air(비행거리)를 비교하기 위해 차트를 그린다. [삽입]메뉴에서 꺽은선 차트를 선택하여 그래프를 그리고, 그래프의 이름을 설정해준다. 3. 차트를 선택하고 [디자인/차트 요소 추가/추세선] 메뉴에서 적절한 유형을 고른다. 위와 같은 탐색적 분석을 통해서 추론할 수 있는것은, 1. 시도횟수가 늘어남에 따라 평균거리가 늘어나고 있는 것을 보니, kicker의 학습효과 때문일 것이다. 2. 둘다 평균에 훨씬 못 미치는 값이 나타날 때가 있는데, 이는 kicker의 실수때문일 것이다. 이러..

5. 통계적 추론(22.05.02) 통계적 추론 탐색적분석을 통해서 개별 속성값들에 대한 분포나 속성들간의 관계를 알아볼 수는 있지만 데이터 분석의 목표는 단순히 주어진 데이터들의 분석이 아니라 더 많은 정보를 얻기 위함이다. 즉 부분적인 것들을 관찰해서 전체를 알아내는 추론이 필요하다. 통계학에서 주어진 데이터를 표본, 데이터가 나타내는 현상의 전체를 모집단이라고 부르는데, 표본을 바탕으로 모집단의 특성에 대한 결론을 내리는 것을 통계적 추론이라고 한다. 통계적 추론은 추론이니만큼 본질적으로 불확실성을 동반하는데 이 불확실성을 줄이기 위해 많은 기법들을 사용하는 것이다. 통계적 추론을 가능하게 하는것은 통계적 모델을 이용하는 것인데, 어떤 현상이 특정모델에서 발생했다고 가정하고 그 모델에서의 데이터(표..

4. 탐색적 분석 EXCEL(22.05.01) 저번 글에서 배운 탐색적 분석을 액셀로 진행해보겠다. 데이터셋은 학습자료에 있는 MPG데이터셋을 이용하였다. 분석목표는 자동차 연비에 영향을 미치는 다양한 요인들을 찾아보는 것이다. 1.데이터 서식 정하기 데이터를 MPG.txt에서 액셀로 복사한 뒤 표 서식으로 만들고 displ, cty, hwy열에 조건부서식을 적용해주었다. 2.샘플데이터를 무작위로 추출한다. 표의 가장 오른쪽에 sample이라는 새로운 열을 만들고 아래 함수에 =rand() 함수를 작성한다. 3.샘플데이터를 정렬한다. 샘플데이터중 한개를 선택한뒤 [정렬 및 필터] 에서 오름차순 또는 내림차순으로 정렬이 가능하다. 4. 표본을 추출한다. 샘플데이터의 갯수를 정하고 그만큼의 행을 선택한뒤에 ..

3. 탐색적 분석(EDA)의 단계(22.04.29) 저번시간에 잠깐 소개한 EDA(탐색적분석)으로 글을 시작하겠다. EDA-탐색적 분석이란 주어진 데이터를 다양한 각도에서 관찰하고 이해하는 과정을 말한다. 탐색적분석을 하는 이유에는 여러가지가있다. 데이터의 분포,값을 검토함으로써 데이터가 표현하는 현상을 더 잘 이해하고, 데이터에 대한 잠재적인 문제를 발견할 수 있다. 데이터분석을 본격적으로 들어가기전에 데이터를 다시 수집하거나 추가로 수집하는 결정을 내릴 수 있다. 문제 정의단계에서 발견하지 못한 다양한 패턴등을 새롭게 발견하고 기존 가설을 수정하고 새로운 가설을 내릴 수 있다. 추후에 통계적 추론을 시도하거나 예측 모델을 생성할 때 도움이 된다. 탐색적 분석 단계 우선 데이터를 전체적으로 살펴보고 개..