엔트로피

Decision Tree Decision Tree: 의사결정나무, 결정트리라고 부르며, 대표적인 non-parametric 모델이다. 또한 화이트박스(White-box)모델로 설명가능하다. 아래와 같이 모델이 어떤 기준으로 분류하였는지를 확인할 수 있다. 기본적인 Decision tree 모델인 `CART(Classification And Regression Tree)`에 대해서 알아볼 것이다. 이 모델은 여러 결정트리모델중 하나로 대부분이 이 CART 알고리즘을 사용한다. 우선 트리는 다음과 같은 용어들로 정의된다. Impurity(불순도) CART는 노드마다 feature하나를 골라서 최적의 기준으로 나눌 수 있도록 기준을 정하는데, 이 최적의 기준을 `불순도(Impurity)`라는 개념으로 정한다...

1. Classifiaction: 분류 - 분류란 주어진 input data (X)를 분류하고자 하는 target value (y)에 할당하는 방법을 의미한다. - input data는 일반적으로 벡터 형태이며, target value는 스칼라 값이다. - 모델을 통해 0 혹은 1로 분류하는 것을 binary classification 이진분류라고 부른다. - 분류는 지도학습 문제이다. 1-1. Linear Classifier $ y=Wx+b $ 로 표시되는 선형 함수로 데이터를 분류하는 모델. 이는 하나의 선형식으로 이루어진 선, 평면, 초평면을 이용하여 두 개의 클래스를 분류하는 것을 말한다. linear classifier로 학습을 했다는 것은 데이터를 잘 나누는 적절한 파라미터 $ W $와 $ b..