3. 피처 스케일링/정규 방정식

◆ Feature Scaling

경사 하강 알고리즘이 더 적은 반복으로 전역 최솟값에 도달하기 위해, 피처 값의 범위를 조정하는 것.

표준화, 정규화 등의 방식을 포함한다.

 

표준화

서로 다른 범위의 변수들을 평균이 0이고 분산이 1인 가우시안 정규 분포를 가진 값으로 변환하는 것

 

정규화

서로 다른 범위의 변수들의 크기를 동일하게 하기 위해 (일반적으로[0,1]로) 변환하는 것

 

---

◆ 정규 방정식

파라미터 θ의 최적값을 직접 계산하는 방법.

     hθ(X) = θ0x0 + θ1x1 + θ2x2 + θ3x3 + θ4x4 +... 

                 = θ^T*X   일 때

 

 

[예시]

 

---

◆ 경사하강법 vs 정규 방정식

경사 하강법은, 피처가 많을 때 효율적이다.

그러나 학습률 α를 결정해야하고 반복이 많다는 단점이 있다.

 

정규 방정식은, 학습률 α가 필요없고 반복도 없다.

그러나 피처가 많으면 역행렬에 대한 계산 속도가 느려져, 속도가 느려진다는 단점이 있다.