역전파(Backpropagation) - 인공지능(AI), 머신(ML), 딥러닝(DL) 파헤치기 - 7부

이전에 활성화 함수(Activation Function)에 대해 다루었던 것 처럼 역치(임계)값을 넘기 위해서는 가중치과 편향의 값을 조정하는 것이 중요하다. (활성화 함수가 기억이 안난다면 아래 링크를 보고 오자!)

 

활성화 함수(Activation Function) - 인공지능(AI), 머신(ML), 딥러닝(DL) 파헤치기 - 6부

 

하지만 이런 가중치와 편향의 값을 임의대로 조절하는 것도 어려울 뿐더러 제대로 조절하지 않으면 결과에 엄청난 영향을 미치게 된다. 그래서 이를 조절하기 위해 나온 알고리즘이 바로 역전파(Backpropagation)이다.

 

이 역전파는 실제 내가 원하는 값과 내가 설계한 인공신경망(ANN)의 결과 값의 오차(error)를 이용한다.

아래 그림에서 형광색 글자로 쓰인 Difference in desired values가 바로 오차가 되는 것이고 이 오차가 전 layer로 이동하는 것을 붉은색 선으로 표시하고 있다.

 

역전파(Backpropagation), <출처 : https://www.guru99.com/backpropogation-neural-network.html>

 

사실 저 오차를 계산하는 간단한 방식에 대해서 알고 싶다면 아래 영상를 참고하면 된다. 

간단한 수식으로 이해할 수 있는 역전파

만약 위 영상에서 나오는 수식표현도 싫은 경우에는 계속 아래 내용을 보면 된다.

아래 내용을 보기 전에 간단하게 '나비효과'에 대해서 잠깐 생각해보자.

 

나비효과란 초기값의 미세한 차이에 의해 결과가 완전히 달라지는 현상을 뜻한다.

 

즉, 어떤 변화가 결과에 크게 영향을 미칠 수도 있고 전혀 미치지 않을 수도 있다는 것을 우리는 이미 알고 있다. 그러한 실생활 예시로 우리가 이사를 간다고 생각해보자.

 

이사를 가기 전에 우리는 가구의 배치 등을 머리 속에 생각해두고 가구의 길이를 잰다.
이 때, 침대의 길이와 방의 길이는 정해져 있지만, 우리가 '손뼘'으로 침대를 잰다고 생각해보자.

내 손뼘의 길이는 약 20cm이고 침대가 10뼘이 나왔다. 하지만 침대 제조사에서 만든 길이는 205cm였다. 그러면 우리는 이 5cm의 오차를 줄이기 위해 생각을 할 것이다. 그렇게 고민하던 중 '자'라는 것이 생각나서 30cm 자를 이용하여 길이를 쟀다. 이 자를 이용해서 잰 결과는 207cm였다. 2cm의 오차를 또 줄이기 위해 우리는 고민했다. 고민 후 우리는 3m 줄자를 샀고 이 줄자로 길이를 쟀다. 그 결과는 205.3cm였다. 하지만 측정하는 위치에 따라서 조금씩 계속 차이가 났다. 왜냐하면 매트리스가 조금 더 들어가고, 나오고 한 부분이 있었기 때문이다. 마침내 우리는 제조회사에 전화해 보고 난 후 정확히 205cm라는 것을 알았다.

 

이처럼 오차가 발생했고 우리는 생각해서 오차를 줄이는 방법을 찾았으며 이 과정을 계속 반복했다. 이게 바로 단순한 역전파이다. 우리가 선택한 도구들이 f(x) = w*x+b에서 가중치(w)라고 할 수 있으며 편향(b)이 바로 측정 위치라고 할 수 있다. 즉, 오차로 인해서 더 정교하게 측정할 수 있는 도구를 생각했고 그 결과 가중치라 할 수 있는 도구가 변했다.

 

지금까지 실생활을 예로하여 역전파에 대해 단순히 알아보았다.

 

사실 수학적으로 접근하면 미분이라는 개념이 중요하다. 미분은 단순히 (순간)변화율을 뜻하는데 이 변화율이란 a(도구)라는 값이 변할 때 b(오차)도 함께 변하는데 이 때, 어느 정도 비율로 변하는지를 뜻하는 것이다. 그럼 이 변화율이 가장 적어야 좋은 것이라는 것은 쉽게 알 수 있다. 

 

즉, 가중치(w, 도구)와 오차의 변화율이 최소가 될 때, 편향(b, 측정 위치)와 오차의 변화율이 최소가 될 때까지 가중치와 편향을 조금씩 조정해 나가게 하는 것이 역전파이다.

 

미분을 통해 최소값으로 이동한다.(변화율이 가장 최소인 곳으로 찾아간다.)

 

조금 더 자세한 내용은 아래 영상을 꼭 참고하면 좋다. 수식에 너무 무서워 하지말고 이 영상에 등장하는 그림에 집중하는 것이 좋다고 생각한다.

지금까지 딥러닝(DL)의 원리를 나눠서 알아보았다. 이렇게 딥러닝은 인간과 비슷한 결과를 도출할 수 있지만 한가지 문제가 있다. 바로 왜 그 결과를 도출했는지 알 수 없다는 것이다. 이를 우리는 블랙박스(Blackbox)라고 부르는데 다음에는 이에 대해 알아보자.