Loss function

오늘은 Loss function: 손실함수에 대하여 알아볼 것이다. 크게 손실함수의 중요성과 대표적인 손실 함수들, 해석 관점 등을 알아볼 것이다. 손실함수를 바꾼다는 것은, 파라미터를 조정하는 최적화 방법 즉 학습 방법도 달라진다. 따라서 모델의 성능에 매우 크게 영향을 끼치는 것이다. 1. 대표 손실함수 1-1. 평균제곱오차 MSE `평균제곱오차`는 `Mean Squared Error: MSE` 라고 부르며, `Quadratic Loss` 혹은 `L2 Loss`고도 부른다. $$ MSE = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 $$ 이 함수는 실제값($y$)와 모델의 예측값(y hat)의 차이를 제곱하여 평균 낸 값을 말한다. 실제값과 예측값 사이의 오차..