Neural Network Representation

Neural Network Representation

1. input layer (입력층)

• feature $x_1, x_2, x_3$ 이 세로로(vertically) 쌓여있는 층

2. hidden layer (은닉층)

• 지도학습으로 훈련시키는 신경망에선 훈련세트가 $X,Y$로 이루어져있고 은닉층의 실제값은 훈련세트에 기록되어있지 않다.
• 입력값, 출력값은 알수있지만 은닉층의 값은 알 수 없다.
• 은닉층이라는 이름은 훈련세트에서 볼 수 없다는 것을 의미한다.

3. output layer (출력층)

* $\hat{y}$의 계산을 책임진다.

4. $a$(활성화함수)로 보는 layer

1) input layer

• $a$ : 활성값, 신경망의 층들이 다음 층으로 전달해주는 값
  
• $a^{[0]}=X$
  
• $a^{[0]}$ : 입력층의 활성값

2) hidden layer

은닉층과 연관된 parameter : $w^{[1]}, b^{[1]}$

• 1번째 은닉층에 관련된 parameter : 윗첨자 [1]을 붙임
  
• $w^{[1]} = (4,3)$ : 은닉노드 4개, feature 3개
• $b^{[1]} = (4,1)$

3) output layer

• $a^{[2]}=\hat{y}$
• logistic regression에서 $\hat{y}=a$인 것과 비슷하다.

출력층과 연관된 parameter : $w^{[2]}, b^{[2]}$

• $w^{[2]} = (1,4)$ : 출력노드 1개, 은닉노드 4개
• $b^{[2]} = (1,1)$

정리

• 신경망의 층을 셀때 입력층은 세지 않기때문에 이 신경망은 2 layer NN (2층 신경망)이다.
  
  은닉층: 1번째, 출력층이 2번째 (표기관례상 입력층: 0번째 층)
  
  이 신경망엔 입력층, 은닉층, 출력층 층이 3개 있다고 할수있지만 관례적으로 이 신경망을 2 layer NN (2층 신경망)이라 부른다.
  

---

참고 1