활성화함수

0. 활성화함수 활성화함수는 이전에도 여러 번 말했듯이 모델에 비선형성을 부여하기 위해 사용된다. 선형함수의 layer들로만 구성할 경우 아무리 많이 쌓아도 결국 선형함수 하나로 표현되기 때문에 이는 레이어를 깊게 쌓는 의미가 없다. 따라서 적절한 선형함수를 적용해줘야 한다. 이번 글에서는 아주 간단하게 각 활성화 함수들의 특징에 대하여 알아보고자 한다. 1. Sigmoid $$ \sigma(x) = \frac{1}{1+e^{-x}} $$ 입력값과 상관없이 출력값이 반드시 0~1 사이 연속적이고 모든 값에 대하여 미분 가능 -> 출력값이 0 혹은 1에 가까울수록 미분값이 0에 가까워지는 gradient vanishing 문제 -> 이로 인해 잘 쓰이지 않음 -> 분류 문제에서 마지막 출력층에 사용됨 함숫..

1. 인공신경망 ANN 인공신경망 ANN: Artificial Neural Network는 인간의 뉴런을 이용한 자극 전달 방식을 본떠 만들어진 머신러닝 알고리즘이다. 뉴런의 시냅스(synapse)는 다른 뉴런으로부터 짧은 전기 신호를 받는 역할을 하고, 인간은 이 시냅스를 통하여 다른 뉴런으로부터의 자극을 전달하면서 학습하는데 이 과정을 본 따 이를 레이어(layer)과 퍼셉트론(perceptron)이라는 구조로 구현하여 만든 알고리즘이다. 현대의 딥러닝은 모두 이 ann으로부터 비롯된 neural network를 이용하여 만든 모델들을 통해 학습을 진행된다. 이러한 인공신경망에 사용되는 퍼셉트론에 대하여 먼저 알아보도록 하겠다. 1-1.퍼셉트론(Perceptrons) 퍼셉트론은 노드와 엣지로 구성되어..