- Sigmoid (시그모이드 함수) - Tanh (Hyperbolic Tangent) - ReLU (Rectified Linear Unit) - Leaky ReLU - PReLU (Parametric ReLU) - ELU (Exponential Linear Unit)​ - Maxout ​ ​ ▶ Sigmoid (시그모이드 함수) ● 모든 수에 대해서 함수 값은 (0, 1) 사이의 모든 실수 값으로 출력 => 정교한 수 전달 가능 ● 매우 큰 양의 값일 경우 1에 가까운 값을, 매우 작은 음수 값일 경우 0에 가까운 값을 갖습니다. ● 단점 : - 기울기 소멸(Gradient Vanishing) 문제가 발생합니다. 입력 값이 무한대로 커져도 미분값이 거의 0에 수렴하게 됩니다. 그렇게 되면 1보다 작은 ..