Review

선형 layer를 쌓고 그 사이 비선형 레이어를 쌓아 neural network를 만듦

nn은 mode 문제를 해결할 수 있다.

다양한 종류의 자동차를 올바르게 분류하기 위해 중간단계의 템플릿을 학습시킴

이 템플릿들을 결합해 최종 클래스 스코어를 계산

1957년 Frank Rosenblatt이 개발한 Mark I Perceptron machine으로, perceptron을 구현한 최초의 기계이다.

1960년 Widrow와 Hoff가 개발한 Adaline Madaline으로, 최초의 Multilayer Perceptrom Network이다. 이 시점에서 neural network와 비슷한 모양을 하기 시작했으나 Backprob와 같은 알고리즘은 없었다.

1986년 Rumelhart가 제안한 Backprob이 최초의 Backprob이다.

chain rule 과 update rule을 볼 수 있으며, 이 때 최초로 network를 학습시키는 것에 관한 개념이 정립되기 시작했다.

2006년 Geoff Hinton과 Ruslan Salakhutdinov의 논문에서 DNN의 학습가능성을 보였고 아주 효과적이었다. 하지만 이때까지도 모던한 NN은 아니었다. backprop이 가능하려면 아주 세심하게 초기화를 해야 했기 때문에 전처리 과정이 필요했고, 초기화를 위해 RBM을 이용해서 각 hidden layer 가중치를 학습시켜야 했다.