activation function

0. 활성화함수 활성화함수는 이전에도 여러 번 말했듯이 모델에 비선형성을 부여하기 위해 사용된다. 선형함수의 layer들로만 구성할 경우 아무리 많이 쌓아도 결국 선형함수 하나로 표현되기 때문에 이는 레이어를 깊게 쌓는 의미가 없다. 따라서 적절한 선형함수를 적용해줘야 한다. 이번 글에서는 아주 간단하게 각 활성화 함수들의 특징에 대하여 알아보고자 한다. 1. Sigmoid $$ \sigma(x) = \frac{1}{1+e^{-x}} $$ 입력값과 상관없이 출력값이 반드시 0~1 사이 연속적이고 모든 값에 대하여 미분 가능 -> 출력값이 0 혹은 1에 가까울수록 미분값이 0에 가까워지는 gradient vanishing 문제 -> 이로 인해 잘 쓰이지 않음 -> 분류 문제에서 마지막 출력층에 사용됨 함숫..