지역해

이번시간에는 모델 성능과 관련된 여러 가지 문제점 및 해결법등에 대하여 알아보도록 하겠다. 1. 과적합과 과소적합 모델 훈련과정에서 학습데이터의 오차가 일반화 오차에 비해서 현격하게 낮아지는 현상을 Overfitting(과적합)이라고 부르고, 학습데이터의 오차가 매우 큰, 정확히 예측하지 못할 경우 Underfitting(과소적합)되었다고 부른다. 제일 왼쪽 그림과 같이 모델이 너무 간단하여 예측자체를 못하는 그래프가 Underfit. 제일 오른쪽 그림과 같이 모델이 너무 복잡하여 학습데이터셋에만 딱 맞는 그래프를 Overfit. 가운데 그림처럼 모델이 적당하게 구성되어 train, test 셋에서 모두 성능이 좋은 경우를 가장 이상적인 학습이라고 본다. 이러한 underfitting과 overfitti..

딥러닝에서 손실 함수의 값이 최소가 되도록 모델의 파라미터를 조정하는 최적화 알고리즘에 대하여 정리해 봤다. 최적화 알고리즘에 쓰이는 미분에 대하여 먼저 정리하고 넘어가자 1. 미분(differentiation) 미분이란, 변수의 변화에 따른 함수값의 변화 혹은 함수 위의 주어진 점에서의 접선의 기울기를 의미한다. 직접 구하기 위해서는 $ h->0 $ 극한을 계산해야 한다. $ \frac{df(x)}{dx} = \lim_{{h \to 0}} \frac{f(x + h) - f(x)}{h}$ 즉 변수 x에 대한 미분값 = 변수값이 바뀔 때의 f(x)가 얼마나 변하는지를 의미한다. 1-1. 2차원 평면에서의 미분 $ x $에서의 미분값은 함수 $ f $의 주어진 점$(x,f(x))$에서의 접선의 기울기와 동일..

머신러닝 `머신러닝`: 컴퓨터가 주어진 입력값 X와 결과값 Y 사이의 관계를 찾아내는, 모델링하는 것을 의미한다. Supervised learning(지도학습) : 입력데이터 x와 정답데이터 y가 학습에 함께 사용되는 방법. -> classification: 주어진 데이터 x를 몇 가지 종류로 나누는 방법 -> regression: 주어진 데이터 x와 그에 대한 정답값 y사이의 관계를 찾는 방법. Unsupervised learning(비지도 학습) : 입력데이터만 학습에 사용되는 방법론(정답 데이터 y가 주어지지 않음) -> clustering: 주어진 데이터 x를 몇 가지 그룹으로 나누는 방법 -> dimensionality reduction: 주어진 데이터 x의 중요한 정보를 뽑아내는 방법 Rein..