ML & DL/개념정리

오늘은 Loss function: 손실함수에 대하여 알아볼 것이다. 크게 손실함수의 중요성과 대표적인 손실 함수들, 해석 관점 등을 알아볼 것이다. 손실함수를 바꾼다는 것은, 파라미터를 조정하는 최적화 방법 즉 학습 방법도 달라진다. 따라서 모델의 성능에 매우 크게 영향을 끼치는 것이다. 1. 대표 손실함수 1-1. 평균제곱오차 MSE `평균제곱오차`는 `Mean Squared Error: MSE` 라고 부르며, `Quadratic Loss` 혹은 `L2 Loss`고도 부른다. $$ MSE = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 $$ 이 함수는 실제값($y$)와 모델의 예측값(y hat)의 차이를 제곱하여 평균 낸 값을 말한다. 실제값과 예측값 사이의 오차..

이번에는 역전파 알고리즘에 대하여 알아볼 것이다. 0. 역전파 배경 이전에 확률적, 미니배치 경사하강법이 등장한 이유를 Loss 값을 계산을 할 때 모든 데이터 셋에 대하여 계산하는 것이 아니라, 학습 샘플(1 혹은 배치사이즈)만큼의 평균 Loss값을 이용하여 계산을 효율적으로 하였다. 그러나 경사하강법을 진행하기 위해서는 모델을 구성하는 각 파라미터에 대한 손실함수를 미분한 결과(그래디언트)는 여전히 계산해야 한다. 이 모든 파라미터에 대한 미분값을 그래디언트 하고 불렀다. 이때, 모든 파라미터에 대한 편미분을 효율적으로 하기 위해 역전파란 개념이 등장하였다. 손실함수가 단순 선형식일 경우 각 파라미터에 대하여 편미분 하는 것은 간단하다. 예를 들어, 모델을 $ y=ax+b $라하고, 손실함수로 MSE..

딥러닝에서 손실 함수의 값이 최소가 되도록 모델의 파라미터를 조정하는 최적화 알고리즘에 대하여 정리해 봤다. 최적화 알고리즘에 쓰이는 미분에 대하여 먼저 정리하고 넘어가자 1. 미분(differentiation) 미분이란, 변수의 변화에 따른 함수값의 변화 혹은 함수 위의 주어진 점에서의 접선의 기울기를 의미한다. 직접 구하기 위해서는 $ h->0 $ 극한을 계산해야 한다. $ \frac{df(x)}{dx} = \lim_{{h \to 0}} \frac{f(x + h) - f(x)}{h}$ 즉 변수 x에 대한 미분값 = 변수값이 바뀔 때의 f(x)가 얼마나 변하는지를 의미한다. 1-1. 2차원 평면에서의 미분 $ x $에서의 미분값은 함수 $ f $의 주어진 점$(x,f(x))$에서의 접선의 기울기와 동일..

1. 인공신경망 ANN 인공신경망 ANN: Artificial Neural Network는 인간의 뉴런을 이용한 자극 전달 방식을 본떠 만들어진 머신러닝 알고리즘이다. 뉴런의 시냅스(synapse)는 다른 뉴런으로부터 짧은 전기 신호를 받는 역할을 하고, 인간은 이 시냅스를 통하여 다른 뉴런으로부터의 자극을 전달하면서 학습하는데 이 과정을 본 따 이를 레이어(layer)과 퍼셉트론(perceptron)이라는 구조로 구현하여 만든 알고리즘이다. 현대의 딥러닝은 모두 이 ann으로부터 비롯된 neural network를 이용하여 만든 모델들을 통해 학습을 진행된다. 이러한 인공신경망에 사용되는 퍼셉트론에 대하여 먼저 알아보도록 하겠다. 1-1.퍼셉트론(Perceptrons) 퍼셉트론은 노드와 엣지로 구성되어..

우선 인공지능, 머신러닝, 딥러닝에 대하여 차이점은 간단하게 아래 사진을 통해서 확인할 수 있다. 이번 글에서는 딥러닝에 대한 전체적인 개요에 대해서 작성해볼 것이다. 이러한 딥러닝의 성능은 아래의 모델 + 데이터 + 학습방법(손실함수,최적화알고리즘,규제)등에 의해 결정된다. 딥러닝을 구성하는 필수적인 요소로는 다양한 것들이 존재한다. 1. 모델을 학습하기 위해 필요한 데이터 -> MNIST, Fashion MNIST .. 2. 주어진 데이터를 원하는 결과로 변환하는 모델 -> MLP, CNN, RNN.. 3. 모델의 결과에 대한 오차를 수치화하는 손실함수 -> MAE, MSE .. 4. 손실함수의 값이 최소가 되도록 모델의 파라미터를 조정하는 최적화 알고리즘 -> Gradient descent, Mom..

오늘은 딥러닝의 기술을 큰 카테고리로 분류해 볼 것이다. AI는 크게 데이터, 학습방식, 태스크 관점으로 구분이 가능하다. 프로그램은 특정 입력을 특정 출력이 나오도록 하는 연산의 집합 -> 입출력이 모두 숫자 Data = 정형,이미지/동영상, 텍스트, 음성 학습방식 = 지도학습, 비지도학습, 강화학습 태스크 = 인식, 생성 학습방식에 의한 구분 `지도학습(Supervised Learning)`: 라벨링 된 데이터를 통한 학습, 회귀와 분류 태스크 `비지도학습(Unsupervised Learining)`: 라벨링 되지 않은 데이터, 피드백을 진행 x, 숨은 패턴을 찾음 `강화학습(Reinforcement Learning)`: 라벨링 되지 않은 데이터, 지연 피드백, 보상 신호 지도학습 - 데이터는 입력데..