예외적 모양이 입력으로 들어올 때마다 인공신경망은 결과적으로 같은 의미를 가지나 조금씩 다른 입력에 대해, 가중치들을 학습시켜야 하고, 이미지의 크기가 커질수록 이런 변형의 가능성은 더 커진다.

합성곱 신경망에는 국소적인 영역을 보고 단순한 패턴에 자극을 받는 단순 세포와 넓은 영역을 보고 복잡한 패턴에 자극을 받는 복잡세포가 layer를 이루고 있다는 관찰이 녹아들어 있다.

CNN과 인공신경망의 차이점

• cnn은 하나의 결과값이 생성될 때 입력값 전체가 들어가지 않고 필터가 지나가는 부분만 연산에 포함된다.
• 하나의 이미지에 같은 필터를 연달아 적용하므로 가중치가 공유되어 기본신경망보다 학습의 대상이 되는 변수가 적다

ReLU함수의 종류

ReLU : f(x) = max(0,x)

• 입력값이 0 이상일 때 그대로 전달하므로 전파되는 값이 크다.
• backpropagaion 때에도 y = x를 미분하면 1이 나오므로 기울기 값이 그대로 전파되기 때문에 학습 속도가 빠르다.
• 지수연산이 포함되는 sigmoid나 hyperbolic tanh 와 다르게 속도가 빠르다.

ReLU의 한계

어느순간 큰 손실이 발생하여 가중치와 편차가 마이너스로 떨어지는 경우, 어떠한 입력값이 들어와도 활성화 값이 0이 되는 dying neuron현상이 일어난다.