기계학습의 주요 개념

1. 예측: 전통적인 통계 분석에서는 추론이 중시되어 왔지만 예측 연구에서는 특정모형을 가정하지 않거나 통계적 가설검정을 하지 않는 경우가 빈번하다. 기계학습에서는 예측에 초점을 맞추게 된다. 예측을 목적으로 하는 연구에서는 보통 명확한 연구모형이 없고 통계적 가설검정을 하지 않는 경우가 많다. 하지만 어떤 변수가 중요한 변수인지 뽑아낼 수는 있다. 예측을 중시하는 기계학습에서는 모형 적합 뿐만 아니라 모형 평가를 통하여 예측 오차를 최대로 줄이는 모형을 찾아내고자 한다. 모형평가를 통해 예측 오차를 최대로 줄인 모형이 예측모형이며 현재자료에 대한 설명보다는 새로운 자료를 잘 예측하는데 초점을 맞추는 모형이다.

 

2. 과적합: 과적합은 자료의 오차까지 모두 모형화함으로써 모형이 필요 이상으로 복잡해지는 것을 뜻한다. 그 모형을 매우 잘 설명할 수는 있으나 새로운 자료에 대해서는 잘 들어맞지 않는다. 즉, 일반화 가능성이 제한된다는 문제점이 발생하게 된다.

 

3. 교차검증(CV): 기계 학습 시 훈련자료로 모형을 구축한다. 자료수가 많지 않을 때 훈련자료를 분할하여 교차검증을 하게 된다. 가장 많이 쓰이는 교차검증은 k-fold CV이다.

 

4. 편향-분산 상충 관계: 기계학습에서는 전체 자료를 훈련자료와 시험자료로 나눈후 훈련자료로 모형을 구축하고 시험자료로 모형 예측력을 비교한다. MSE값은 연속형 반응 변수모형에서 많이 사용되는 값이다. MSE는 편향(bias)을 제곱한 값에 분산(variance)을 더한 것이다. 이 값을 구성하는 편향과 분산은 서로 상충관계에 있다. 즉 편향이 커지면 분산이 작아지고, 반대로 분산이 커지면 편향이 작아지는 관계다. 이것이 편향 분산 상충관계라고 할 수 있다.