최적화 알고리즘
·
ML & DL/개념정리
모델에서 최적화의 목표는 손실함수(Loss function)의 값을 최소로 만들어줄 수 있는 가중치 Weight를 효율적으로 찾는 것이라고 여러 번 말했었다. $$ w^* = \arg\min_w L(w) $$ 이러한 최적화 알고리즘 중 경사하강법, 스토케스틱 경사하강법, 미니배치 경사하강법을 이전에 알아봤었다. Gradient Descent: 경사하강법 딥러닝에서 손실 함수의 값이 최소가 되도록 모델의 파라미터를 조정하는 최적화 알고리즘에 대하여 정리해 봤다. 우선 최적화알고리즘에 쓰이는 경사하강법을 알기 전에 미분에 대하여 먼저 changsroad.tistory.com 이번에는 경사하강법을 발전시킨 다양한 옵티마이저들을 알아보겠다. 1. Gradient Descent 손실함수의 기울기를 계산하여, 기울..