backpropagation, weight, bias, epoch, supervised learning

1. backpropagation으로 weight와 bias 값을 찾는 이유는 label 값이 먼저 주어졌기 때문이다.

 

2. backpropagation은 1회 수행되는 게 아니라 최적의 weight와 bias 값을 찾을 때까지 반복된다. 그 반복이 epoch다.

그러니까, 우리가 epoch 수를 정하는 것은 backpropagation을 몇 회 수행할 것인지 정하는 것과 같다.

최적의 loss(class 간의 loss의 평균이 가장 작은 값을 찾기)를 찾을 때까지 반복.

 

3. unsupervised 예측에서는 backpropagation이 사용되지 않는다. (label이 주어지지 않기 때문)

 

4. backpropagation이 수행됨으로 인해 decision boundary도 업데이트 된다.

 

결론: backpropagation이 수행되는 이유는 데이터의 정답값이 이미 주어졌기 때문에, 실제 정답값과 딥러닝 모델의 예측값 사이의 오차를 최소화되도록 하여, 예측값을 실제 정답값과 일치하도록 하는 과정이 필요하기 때문이며, supervised learning에서 딥러닝 모델을 training시키는 것을 모델이 업데이트 된다고 표현하게 되는 이유이다.

 

----------------------------------------------------

무엇이 input 되느냐에 따라 output의 깊이가 달라진다.

정리되지 않고 각각 떠돌던 개념들이 하나로 맞춰지면서 이 내용들이 갑자기 떠올라서 글로 남겨본다.

비전공자의 설움이 하나 해소되는 순간이다.

 

민교수님께 감사드린다.