활성화 함수(Activation Function) - 인공지능(AI), 머신(ML), 딥러닝(DL) 파헤치기 - 6부

활성화 함수(Activation function)에 대해 알기 전에 왜 활성화 함수라는 것이 필요할까? 를 고민해 보자.

 

그 이유는 간단하다. 뉴런의 신호 전달 방식을 그대로 가져왔기 때문이다. 딥러닝과 인공신경망을 설명한 4부에서도 설명을 했지만 다시 한번 아래에 설명하도록 하겠다.

 

인공지능(AI) 파헤치기 - 딥러닝과 인공신경망. 4부

 

뉴런들은 신호를 전달하는 역할을 하는데 이때, 반드시 역치, 임계(threshold)값을 초과해야지만 신호를 다음 뉴런으로 전달한다.

즉, 퍼셉트론을 통과한 입력값의 결과를 다음 레이어로 넘겨줄지 말지를 결정해야 하는데 이때 바로 활성화 함수가 필요하다. 

 

그러면 바로 전 글(퍼셉트론 5부)에서 알아본 퍼셉트론을 여러 다중 레이어로 만든 후 입력값을 넣게 되면 아래 그림과 같은 결과를 도출할 수 있다.

(퍼셉트론(Perceptron)이 궁금하면 링크로 확인 후에 이 글을 보는 것이 좋다.)

퍼셉트론(Perceptron) - 인공지능(AI), 머신(ML), 딥러닝(DL) 파헤치기 - 5부

 

1단계 / 마지막 단계 / 1 ~ 마지막 단계 <출처 : https://imgur.com/otA0O3u>

그런데 만약에 데이터의 분포가 아래 그림처럼 저렇게 정직하지 않은 형태라면...? 3차원의 형태라면...?

 

<출처 : https://towardsdatascience.com/the-kernel-trick-c98cdbcaeb3f>

 

다시 말해 우리의 실 세계에는 선형으로 구분할 수 있는 것보다 비선형으로 구분해야하는 것들이 훨씬 많다. 그러면 어떻게 비선형 형태로 구분시킬 수 있을까?

 

일단 퍼셉트론은 1차함수가 기반이다. 그러므로 퍼셉트론의 결과를 다음 퍼셉트론으로 넘겨줄 때 사용되는 활성화 함수가 바로 비선형 함수가 되면 된다. 

 

 

이러한 이유로 현재 사용되는 비선형 함수의 종류는 거의 대부분 비선형 함수이다.

 

여기 링크에 활성화 함수로 사용도는 비선형 함수 종류에 대한 설명이 아주 잘 되어있으니 꼭 참고하길 바란다.

Everything you need to know about “Activation Functions” in Deep learning models

이렇게 활성화 함수의 사용 이유와 더불어 비선형 함수를 활성화 함수로 사용하는 이유에 대해서 알아보았다. 다음에는 활성화 함수와도 관련이 있고 최적의 가중치를 찾기 위한 역전파(Back Propagation)에 대해서 알아보려고 한다.