Linear, Lasso, Ridge Regression
·
ML & DL/개념정리
Linear Regression 은 $y=Wx+b$로 표시되는 선형식으로 $x$와 $y$사이의 관계를 찾는 모델이다. 분류와는 다르게 회귀 모델은 선형식의 계산결과 자체가 예측값이다. 이 선형회귀의 관계식을 찾을 때 실제 현실에서는 오차가 0일 수없기 때문에 선형회귀란, 오차가 가장 적게 되는, 즉 관계를 가장 잘 대변하는 식을 찾는 것이라고 할 수 있다. 따라서 오차가 가장 적게 되도록 학습을 진행하며 가장 많이 사용되는 Loss function은 `MSE:Mean Squared Error`이다. 각 loss function에 대한 설명은 아래에 자세하게 설명하였다. 간단하게만 말하자면, MSE는 outlier 데이터가 있다면 오차가 매우 크게 나오기 때문에 미리 이상치등을 제거해줘야 한다. Evalu..
분류와 회귀
·
ML & DL/개념정리
1. Classifiaction: 분류 - 분류란 주어진 input data (X)를 분류하고자 하는 target value (y)에 할당하는 방법을 의미한다. - input data는 일반적으로 벡터 형태이며, target value는 스칼라 값이다. - 모델을 통해 0 혹은 1로 분류하는 것을 binary classification 이진분류라고 부른다. - 분류는 지도학습 문제이다. 1-1. Linear Classifier $ y=Wx+b $ 로 표시되는 선형 함수로 데이터를 분류하는 모델. 이는 하나의 선형식으로 이루어진 선, 평면, 초평면을 이용하여 두 개의 클래스를 분류하는 것을 말한다. linear classifier로 학습을 했다는 것은 데이터를 잘 나누는 적절한 파라미터 $ W $와 $ b..