Forward Propagation

이번에는 역전파 알고리즘에 대하여 알아볼 것이다. 0. 역전파 배경 이전에 확률적, 미니배치 경사하강법이 등장한 이유를 Loss 값을 계산을 할 때 모든 데이터 셋에 대하여 계산하는 것이 아니라, 학습 샘플(1 혹은 배치사이즈)만큼의 평균 Loss값을 이용하여 계산을 효율적으로 하였다. 그러나 경사하강법을 진행하기 위해서는 모델을 구성하는 각 파라미터에 대한 손실함수를 미분한 결과(그래디언트)는 여전히 계산해야 한다. 이 모든 파라미터에 대한 미분값을 그래디언트 하고 불렀다. 이때, 모든 파라미터에 대한 편미분을 효율적으로 하기 위해 역전파란 개념이 등장하였다. 손실함수가 단순 선형식일 경우 각 파라미터에 대하여 편미분 하는 것은 간단하다. 예를 들어, 모델을 $ y=ax+b $라하고, 손실함수로 MSE..