4-1. 인공신경망이란?

입력이 들어오면 가중치를 곱해주고 편차를 더해준 상태에서 activation function을 통해 변형하여 전달하는 단위를 말한다.

4-2. 인공신경망의 요소

활성화 함수 중 인공 신경망에서 많이 사용되는 함수로는 sigmoid(0~1)와 hyperbolic tanh(-1~1)가 있다. >> 모델에 비선형성을 부여해줌

최근에는 ReLU함수가 많이 이용되고 있다.

4-3.전파와 역전파

인공신경망은 입력값이 들어오면 여러 은닉층을 순서대로 거쳐 결과값을 내는 propagation을 거친다.

경사하강법을 쓰기 위해 변수인 가중치와 편차에 대해 손실을 미분해보면 다음과 같이 전개된다.