Why Non-linear Activation Functions

Why Non-linear Activation Functions

1. 개요

---

왜 신경망에 Non-linear Activation Function이 필요할까?
신경망이 좀더 다양한 함수를 계산하려면 꼭 필요하기 때문이다.

2. Non-linear Activation Function 필요한 이유

• Linear Activation Function은 Regression 문제에 대한 머신러닝을 할 때 주로 사용한다.
  • 집값을 예측할 때($y\in \mathbb{R}$)

3.결론

• 선형 활성화 함수를 쓸 수 있는 곳은 대부분 출력층이다.
• 은닉 유닛은 Linear Activation Function가 아닌 ReLU, tanh, leaky ReLU나 다른 Non-linear Function를 써야한다.

---

참조 1