Linear Regression 선형회귀분석의 Learning rate (수식과 그래프)

 

아래의 순서로 선형분류기를 정리할 것이며, 이번 글에서는 Linear Regression의 Learning rate에 대해 기술한다.

1) Linear Regression (선형회귀분석)

2) Binary Classification (이진분류기)

3) Softmax Classification (다중분류기)

 

선형회귀분석(Linear Regression)의 기본 구조가 궁금하다면 아래의 글을 참고하길 바란다.

Linear Regression 선형회귀분석의 기본 구조 (수식과 그래프)

---

 

Learning Rate를 구하는 방법

α : Learning rate

 

 

Learning rate(α)가 너무 크면 Overshooting이라고 하며, 2차 함수의 기울기가 0이 되는 지점까지 도달하지 못하고 튕겨나갈 수 있다. 반면, Learning rate(α)가 너무 작으면 2차 함수의 기울기가 0이 되는 지점까지 도달하지 못하고 중간에 멈추거나 시간이 너무 많이 걸리게 된다. 이러한 점들을 미리 고려하여, 여러 번 실험을 해 보며 적절한 Learning rate(α)를 구하면 된다.

 

 

 

Gradient Descent Method(경사하강법) 유의할 점

경사하강법은 위 그림과 같이 Convex function(볼록 함수)에서만 유의미하다. 아래 그림과 같이 굴곡이 여러 개인 함수라면, Global cost minimum 지점까지 도달하지 못하고 Local cost minimum에서 멈춰버리게 된다. 따라서, Gradient Descent Method를 사용할 때는 함수(Cost function)의 모양을 먼저 살펴보는 것이 중요하다.

 

 

 

 

---