- Sigmoid (시그모이드 함수) - Tanh (Hyperbolic Tangent) - ReLU (Rectified Linear Unit) - Leaky ReLU - PReLU (Parametric ReLU) - ELU (Exponential Linear Unit)​ - Maxout ​ ​ ▶ Sigmoid (시그모이드 함수) ● 모든 수에 대해서 함수 값은 (0, 1) 사이의 모든 실수 값으로 출력 => 정교한 수 전달 가능 ● 매우 큰 양의 값일 경우 1에 가까운 값을, 매우 작은 음수 값일 경우 0에 가까운 값을 갖습니다. ● 단점 : - 기울기 소멸(Gradient Vanishing) 문제가 발생합니다. 입력 값이 무한대로 커져도 미분값이 거의 0에 수렴하게 됩니다. 그렇게 되면 1보다 작은 ..

이번 게시물에서는 활성함수가 필요한 이유에 대해 작성하겠습니다. ​ ▶활성화 함수(Activation Function)란? 활성화 함수는 한 노드의 출력값을 활성화를 일으킬 것인지를 결정하고 활성화를 일으킨다면 어느 정도의 세기로 활성화를 일으킬지 그 값을 결정해주는 함수라고 할 수 있습니다. 이전에, 그리고 현재 많이 쓰이고 있는 활성화 함수로는 Sigmoid, ReLu, tanh등이 있습니다. 이들의 공통점은 모두 비선형 함수라는 점입니다. 이렇게 비 선형 함수를 활성화 함수로 사용했을 때 가장 큰 장점은 층을 깊게 쌓을 수 있다는 점입니다. 그렇다면 왜 층을 깊게 쌓을 수 있는 것일까요? ​ ​ ▶비선형함수를 활성화 함수로 사용했을 때 층을 깊게 쌓을 수 있는 이유? 신경망에서 층을 쌓는다는 의미는..