전역해

딥러닝에서 손실 함수의 값이 최소가 되도록 모델의 파라미터를 조정하는 최적화 알고리즘에 대하여 정리해 봤다. 최적화 알고리즘에 쓰이는 미분에 대하여 먼저 정리하고 넘어가자 1. 미분(differentiation) 미분이란, 변수의 변화에 따른 함수값의 변화 혹은 함수 위의 주어진 점에서의 접선의 기울기를 의미한다. 직접 구하기 위해서는 $ h->0 $ 극한을 계산해야 한다. $ \frac{df(x)}{dx} = \lim_{{h \to 0}} \frac{f(x + h) - f(x)}{h}$ 즉 변수 x에 대한 미분값 = 변수값이 바뀔 때의 f(x)가 얼마나 변하는지를 의미한다. 1-1. 2차원 평면에서의 미분 $ x $에서의 미분값은 함수 $ f $의 주어진 점$(x,f(x))$에서의 접선의 기울기와 동일..