Weight Decay

1. Weight Initialization 신경망의 주목적은 손실을 최소화하는 것이며 이를 위해서는 파라미터 최적화가 필수적이다. 이를 위해 경사하강법, 미니배치경사하강법 등 최적화 기법을 배웠었는데, 그 기법들을 사용하며 계산되는 가중치도 최적화기법이 존재한다. 이를 알아보도록 하자. 가중치 초기화, Weight Initialization을 제대로 하지 않으면, 기울기 소실 혹은 학습시간이 엄청 오래 걸리는 등 모델 학습이 효율적으로 진행되지 않는다. 가중치가 매우 높거나, 작게 초기화되면 일반적으로 사용하는 활성화 함수인 sigmoid나 relu를 사용하였을 때 기울기가 0에 가까워지게 되기 때문에 기울기가 천천히 변하며 학습에 오랜 시간이 걸리게 되고 기울기 소실도 발생한다. 또한 각 활성화 함수..