Gradient descent

모델에서 최적화의 목표는 손실함수(Loss function)의 값을 최소로 만들어줄 수 있는 가중치 Weight를 효율적으로 찾는 것이라고 여러 번 말했었다. $$ w^* = \arg\min_w L(w) $$ 이러한 최적화 알고리즘 중 경사하강법, 스토케스틱 경사하강법, 미니배치 경사하강법을 이전에 알아봤었다. Gradient Descent: 경사하강법 딥러닝에서 손실 함수의 값이 최소가 되도록 모델의 파라미터를 조정하는 최적화 알고리즘에 대하여 정리해 봤다. 우선 최적화알고리즘에 쓰이는 경사하강법을 알기 전에 미분에 대하여 먼저 changsroad.tistory.com 이번에는 경사하강법을 발전시킨 다양한 옵티마이저들을 알아보겠다. 1. Gradient Descent 손실함수의 기울기를 계산하여, 기울..

딥러닝에서 손실 함수의 값이 최소가 되도록 모델의 파라미터를 조정하는 최적화 알고리즘에 대하여 정리해 봤다. 최적화 알고리즘에 쓰이는 미분에 대하여 먼저 정리하고 넘어가자 1. 미분(differentiation) 미분이란, 변수의 변화에 따른 함수값의 변화 혹은 함수 위의 주어진 점에서의 접선의 기울기를 의미한다. 직접 구하기 위해서는 $ h->0 $ 극한을 계산해야 한다. $ \frac{df(x)}{dx} = \lim_{{h \to 0}} \frac{f(x + h) - f(x)}{h}$ 즉 변수 x에 대한 미분값 = 변수값이 바뀔 때의 f(x)가 얼마나 변하는지를 의미한다. 1-1. 2차원 평면에서의 미분 $ x $에서의 미분값은 함수 $ f $의 주어진 점$(x,f(x))$에서의 접선의 기울기와 동일..

머신러닝 `머신러닝`: 컴퓨터가 주어진 입력값 X와 결과값 Y 사이의 관계를 찾아내는, 모델링하는 것을 의미한다. Supervised learning(지도학습) : 입력데이터 x와 정답데이터 y가 학습에 함께 사용되는 방법. -> classification: 주어진 데이터 x를 몇 가지 종류로 나누는 방법 -> regression: 주어진 데이터 x와 그에 대한 정답값 y사이의 관계를 찾는 방법. Unsupervised learning(비지도 학습) : 입력데이터만 학습에 사용되는 방법론(정답 데이터 y가 주어지지 않음) -> clustering: 주어진 데이터 x를 몇 가지 그룹으로 나누는 방법 -> dimensionality reduction: 주어진 데이터 x의 중요한 정보를 뽑아내는 방법 Rein..