ML & DL

0.PyTorch Lightening PyTorch Lighting은 구현하는 코드의 양이 늘어나면서 코드의 복잡성이 증가하고, 다양한 얽혀있는 요소들로 인해 복잡해지는 것들을 조금 더 간단하게 구현하도록 등장하였다. 이는 PyTorch를 좀 더 단순하고 이해하기 쉽게 만들어주는 오픈소스 라이브러리이며, 코드를 간단하게 작성할 수 있도록 돕는다. PyTorch Lightening의 주요 기능들을 확인해 보자. 1. PyTorch Lightening 특징 1-1. 코드 추상화 & 하드웨어 호출 기존의 PyTorch는 `model`. `optimizer`,`training loop`를 전부 따로따로 구현해야 했다. 그러나 PyTorch Lightning에서는 `LightningModule`이라는 클래스 안에..

이번에는 Hugging Face에 있는 사전 학습 모델을 불러와 실습을 진행해보겠다. 이전 timm을 이용했던 실습과 다르게 자연어처리를 실습해볼 것이다. 1. 라이브러리 import import torch import numpy as np import warnings import matplotlib.pyplot as plt import pandas as pd from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score from tqdm.notebook import tqdm warnings.filterwarnings('ignore') import torch.nn as nn import torch..

이번에는 이전에 배웠던 Timm 라이브러리의 사전 학습 모델을 이용해 보는 실습을 진행하였다. 1. 라이브러리 import import torch import numpy as np import warnings import matplotlib.pyplot as plt import pandas as pd from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score from tqdm.notebook import tqdm warnings.filterwarnings('ignore') import torch.nn as nn # 모델 구성 from torchvision.datasets import CIFAR..

0. Pretrained Model Pretrained Model이란 대규모 데이터셋을 기반으로 학습된 모델로, 학습한 task에 대한 일반적인 지식을 갖추고 있는 모델로, GPT / PALM / Stable-Diffusion 등이 이에 해당한다. 1. Transfer Learning Transfer Learning: 전이학습이란 사전학습된 모델의 지식을 다른 task에 활용하는 것을 말한다. 모델이 이미 학습한 일반적인 지식을 기반으로 더 빠르고 효과적이게 새로운 지식을 학습할 수 있다. 이러한 방법은 보통 특정 딥러닝 모델을 사용하는 것보다 더 적은 양의 학습 데이터를 사용하면서도 학습 속도도 빠르고 성능도 우수한 결과를 보인다. 이렇게 이미 학습된 모델을 사용해 문제를 해결함에 따라 layer, A..

0. PyTorch Process 파이토치에서는 위와 같은 딥러닝의 단계들을 쉽게 구현할 수 있도록 도와준다. Data = `torch.utils.data.Dataset` , `torch.utils.data.DataLoader` Model = `torch.nn.Module` Loss = `torch.nn`, `torch.nn.functional` Optimization = `torch.optim` 1. Dataset, DataLoader Dataset과 DataLoader을 사용하면 데이터 셋에서 미니배치 크기의 데이터를 반환하게 된다. 또한 미니 배치의 크기는 `batch_size`라는 파라미터를 이용하여 설정해 줄 수 있다. 1-1. Dataset `Dataset`은 단일 데이터를 모델의 입력으로 사..

이번에는 PyTorch를 이용하여 DNN 구조를 구현하는 것을 데이터를 불러오는 것부터 하나하나 실습해 보도록 할 것이다. 0. Environmet setting 나는 Python 3.9.0, Cuda=11.7, PyTorch=2.0.0 환경에서 실습을 진행하였다. 딥러닝 NVIDIA GPU / cuda 사용하기 1. CUDA 설치 아래 링크에서 본인의 그래픽 카드에 맞는 NVIDIA 드라이버 다운로드.(나: RTX 3060TI) Download the latest official NVIDIA drivers Download the latest official NVIDIA drivers www.nvidia.com 2. CUDA Toolkit 설치 아래 changsroad.tistory.com 1. 사전세팅..