Vectorizing Across Multiple Examples

Vectorizing Across Multiple Examples

Vectorization을 통해 하나의 훈련 샘플만이 아니라
전체 훈련 샘플을 한번에 계산할 수 있다.

Logistic regression의 결과와 비슷하게
훈련 샘플을 행렬의 열(column)로 쌓아서
신경망의 모든 샘플에 대한 출력값을 동시에 계산할 수 있다.

---

모든 훈련 샘플의 예측값을 Vectorization하지않은 방법으로 계산한다면
$i$가 1부터 $m$까지인 아래의 공식을 구현해야한다.

훈련샘플과 관련있는 모든 변수에 위첨자 $(i)$ 를 붙여주면된다.
여기서 하고싶은건 for문을 없애기위해 이 계산을 Vectorization하는것이다.
딥러닝 시대에 Vectorization을 정확히 구현하는것은 매우 중요하다.

대문자 $X$는 훈련샘플을 열(column)로 쌓은 행렬이다.
훈련 샘플을 $m$개까지 열로 쌓으면 $(n_{x},m)$ 행렬이 된다.
위의 for문을 Vectorization하려면 아래와같이하면된다.

행렬 왼쪽 위의 첫 값은 첫번째 hidden layer의 첫 훈련 샘플의 활성값이다.
아래로 내려갈수록 훈련 샘플의 hidden layer가 바뀌는것이다.
즉, 세로는 은닉 유닛의 번호가 되는것이고,
가로 이동은 은닉 유닛이 고정되고 훈련샘플만 바뀌는것이다.
행렬 $X$도 가로는 훈련 샘플들을 의미하고 세로는 각각의 입력 피쳐를 의미한다.

위와 같은 공식으로 이제 여러 샘플에 대해 신경망을 Vectorization 할수있다.
다음 파일에서 이것이 어떻게 Vectorization의 정확한 구현인지 살펴볼수있다.

---

참조 1