오차 역전파(back propagation) 설명, 의미, 고찰

정의

오차 역전파(Backpropagation)는 인공 신경망에서 가중치를 조정하여 출력을 원하는 결과에 가깝게 만들기 위해 사용되는 알고리즘.

 

인공 신경망

쉽게 설명해주겠다. 신경망은 일종의 함수라고 볼 수 있다.

이 함수의 가중치(w1, w2, w3)는 학습을 할 수록 업데이트 된다.

가중치 업데이트를 어떻게 할 것인가에 대한 알고리즘이 back propagation이다.

 

back propagation

아래 딥러닝의 전체 과정에서 보면 어디에 위치한 과정인지 볼 수 있다.

(인풋 입력 -> 네트워크 통과 -> 출력 -> 손실함수 계산 -> !오차 역전파! -> 가중치 업데이트)

 -> 처음부터 반복

 

오차 역전파를 잘 하는법

 

오차 역전파를 잘 하려면 다음과 같은 조건을 만족하면 된다.

1. 오차를 잘 구한다.

2. 경사 하강법을 이용해 직전 가중치에서 오차가 더 작아지는 방향으로 새 가중치를 넣는다.

3. 더이상 오차가 줄어들지 않을 때까지 반복한다.

 

3가지 조건을 다시 해석하면,

1. loss function(ex. 크로스 엔트로피)을 잘 선택한다.

2. 미분을 해서 0에 가까워 지도록 업데이트한다.

3. 올바른 epoch를 선택한다.

 

그럼 또 2번은 어케 잘하는데? 라고 생각하면 정상이다.

2번은 올바른 optimizer를 사용하면서 적절한 값의 learning rate를 사용하면 된다.

 

이보다 더 많은 내용을 다루면 오차 역전파를 넘는 개념이므로,

더 궁금하면 다음 글을 읽어보도록 하자.

 

끝.