ML & DL/개념정리

1. 결측치 결측치란 데이터에서 누락된 값을 말한다. 이는 데이터의 손실과 더불어서 분포를 왜곡시켜서 편향을 만든다. 보통 `N/A`, `NaN`, `NULL`,` `,`?` 등으로 기입되어 있다. 이러한 결측치가 발생한 타입, 패턴, 처리하는 방법에 대하여 알아볼 것이다. 1-1. 결측치 매커니즘 1-1-1. 완전 무작위 결측 MCAR:Missing Completely At Random 완전 무작위 결측이라고 부르며 결측치가 다른 변수와 상관없이 무작위로 발생한 경우를 의미한다. 보통 센서 고장 전산 오류 등과 같은 관측과 입력과정에서의 누락으로 인한 결측이다. 1-1-2. 무작위 결측 MAR:Missing At Random은 무작위 결측으로, 관측치가 해당 변수와는 무관하나 다른 변수와 연관이 있는 ..

0.PyTorch Lightening PyTorch Lighting은 구현하는 코드의 양이 늘어나면서 코드의 복잡성이 증가하고, 다양한 얽혀있는 요소들로 인해 복잡해지는 것들을 조금 더 간단하게 구현하도록 등장하였다. 이는 PyTorch를 좀 더 단순하고 이해하기 쉽게 만들어주는 오픈소스 라이브러리이며, 코드를 간단하게 작성할 수 있도록 돕는다. PyTorch Lightening의 주요 기능들을 확인해 보자. 1. PyTorch Lightening 특징 1-1. 코드 추상화 & 하드웨어 호출 기존의 PyTorch는 `model`. `optimizer`,`training loop`를 전부 따로따로 구현해야 했다. 그러나 PyTorch Lightning에서는 `LightningModule`이라는 클래스 안에..

이번에는 Hugging Face에 있는 사전 학습 모델을 불러와 실습을 진행해보겠다. 이전 timm을 이용했던 실습과 다르게 자연어처리를 실습해볼 것이다. 1. 라이브러리 import import torch import numpy as np import warnings import matplotlib.pyplot as plt import pandas as pd from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score from tqdm.notebook import tqdm warnings.filterwarnings('ignore') import torch.nn as nn import torch..

이번에는 이전에 배웠던 Timm 라이브러리의 사전 학습 모델을 이용해 보는 실습을 진행하였다. 1. 라이브러리 import import torch import numpy as np import warnings import matplotlib.pyplot as plt import pandas as pd from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score from tqdm.notebook import tqdm warnings.filterwarnings('ignore') import torch.nn as nn # 모델 구성 from torchvision.datasets import CIFAR..

0. Pretrained Model Pretrained Model이란 대규모 데이터셋을 기반으로 학습된 모델로, 학습한 task에 대한 일반적인 지식을 갖추고 있는 모델로, GPT / PALM / Stable-Diffusion 등이 이에 해당한다. 1. Transfer Learning Transfer Learning: 전이학습이란 사전학습된 모델의 지식을 다른 task에 활용하는 것을 말한다. 모델이 이미 학습한 일반적인 지식을 기반으로 더 빠르고 효과적이게 새로운 지식을 학습할 수 있다. 이러한 방법은 보통 특정 딥러닝 모델을 사용하는 것보다 더 적은 양의 학습 데이터를 사용하면서도 학습 속도도 빠르고 성능도 우수한 결과를 보인다. 이렇게 이미 학습된 모델을 사용해 문제를 해결함에 따라 layer, A..

0. PyTorch Process 파이토치에서는 위와 같은 딥러닝의 단계들을 쉽게 구현할 수 있도록 도와준다. Data = `torch.utils.data.Dataset` , `torch.utils.data.DataLoader` Model = `torch.nn.Module` Loss = `torch.nn`, `torch.nn.functional` Optimization = `torch.optim` 1. Dataset, DataLoader Dataset과 DataLoader을 사용하면 데이터 셋에서 미니배치 크기의 데이터를 반환하게 된다. 또한 미니 배치의 크기는 `batch_size`라는 파라미터를 이용하여 설정해 줄 수 있다. 1-1. Dataset `Dataset`은 단일 데이터를 모델의 입력으로 사..