[인공지능 알아가기] 선형회귀 - 사이킷런, 다항회귀

저번에는 회귀란 무엇인지 공부하고, 머신러닝 지도학습 모델 중 KNN 회귀 알고리즘에 대해서 정리를 해보았다. 이번에는 회귀 알고리즘에 대해서 더 알아보려고 한다. 그 중 가장 간단한 선형 회귀 알고리즘에 대해서 공부를 해보았다.

[인공지능 알아가기] 머신러닝 알고리즘 KNN 회귀 - 회귀의 정의와 역사, SciKitLearn으로 KNN 회귀하

---

선형회귀 Linear Regression

선형 회귀란 간단하고 성능이 괜찮아서 처음으로 배우는 머신러닝 알고리즘 중 하나라고 한다. 쉽게 말해 데이터가 주어졌을 때 일차함수 형태로 어떤 입력값(x)와 출력값(y)의 관계를 예측하는 방법이라고 할 수 있다. 

 

일차함수의 구성은 y = ax + b로, 그 함수의 모양을 정의하기 위해서는 a인 기울기와 b인 절편값이 필요했다. 

선형회귀를 한다는 것은 x와 y 의 데이터 관계를 탐색해서 a인 기울기, 다시말해 가중치(weight)를 정하는게 목표라고 할 수 있다. 

---

사이킷런과 선형회귀

1. Linear Regression 패키지에 선형회귀 알고리즘이 구현되어 있다. 다른 알고리즘과 마찬가지로 fit과 predict method를 활용한다.

from sklearn.linear_model import LinearRegression
lr = LinearRegression()

lr.fit(train_input, train_target)
lr.predict([[x]])
lr.score(test_input, test_target)

• x는 임의의 input 값, 2차원 리스트로 제공해야해서 괄호 두개에 감싸야한다.
• score는 이 역시 회귀 모델이기 때문에 결정계수 값으로 계산된다.

 

2. 모델 파라미터 확인법 : 학습시킨 선형회귀 모델에서 찾은 기울기(가중치)와 절편 값은 lr의 속성에 저장되어 있다.

• coefficient, 계수, 가중치, weight 다 유사하게 쓰인다.
• 모델 파라미터는 머신러닝이 찾은 값이라는 의미에서 쓰이는 표현으로, coef_, intercept_ 모두 모델 파라미터에 해당한다. 결국 많은 머신러닝 알고리즘의 학습과정은 최적의 모델 파라미터를 찾는 과정이라고 할 수 있고, 이 과정을 모델 기반 학습이라고 한다. 
• 반면, 앞서 공부한 KNN에서는 특별히 찾아야할 모델 파라미터가 없었다. 왜냐하면 훈련 세트를 저장하는 것이 훈련의 전부였기 때문이고, 이런 학습과정을 사례기반학습이라고 할 수 있다. 

# 기울기값
print(lr.coef_)

# 절편값
print(lr.intercept_) 

 

---

다항 회귀

산점도 등을 통해 탐색적 데이터 분석(EDA)를 해보면 점들의 분포가 선형이 아니라 곡선형인 경우도 존재한다. 이런 경우에는 다항회귀의 방식으로 모델링을 해야한다. 다항회귀란 독립변수(X)와 종속변수(y) 사이의 관계가 직선형이 아닌 다항식의 형태로 모델링 하는 회귀 기법이다. 선형회귀의 확장 형태로, 대략적인 데이터의 모양새를 관찰하고 그것이 곡선이라면 2차 다항 회귀를 적용하는 등 회귀 차수를 결정하는 식이다. 다항회귀의 사이킷런 활용법은 다음 기회에 알아보겠다. 

다항 회귀의 일반적인 수식: 베타 값이 회귀 계수, n이 다항식의 차수, error term 등이 있다.

---

3탄. 선형회귀에 대하여!

 

이렇게 선형회귀를 하는 법과 사이킷런으로 선형회귀모델을 훈련시키고 테스트하는 법에 대해서 알아보았다!