RESNET

0. ResNet ResNet이전에 나온 VGGNet 등에서 모델이 깊어질수록성능에 큰 영향을 준다는 것은 알려졌었지만 단순 layer가 깊어질수록 성능이 증가하는 것이 아니었고 gradient vanishing, exploding 등의 문제로 인해 성능이 오히려 떨어지는 현상들이 발견됐다. gradient vanishing이란 layer가 깊어질수록 미분을 점점 많이 하기 때문에 backpropagation을 해도 앞의 layer일수록 미분값이 작아져 그만큼 output에 영향을 끼치는 weight 정도가 작아지는 것을 말한다. 이는 overfitting과는 다른 문제인데, overfitting은 학습 데이터에 완벽하게 fitting 된 것으로 train set에서는 성능이 좋고, 테스트에서 떨어지게 ..