5-1. 계산 그래프

오차역전파법 = 역전파(backpropagation)

가중치 매개변수의 기울기를 효율적으로 계산하는 방법

계산그래프 : 계산과정을 그대로 나타낸 것 - 복수의 노드와 에지로 표현

순전파(forward propagation)

계산그래프의 출발점 ~ 종착점으로의 전파

국소적 계산을 전파함으로써 최종 결과를 얻음

• 계산 그래프의 이점

국소적 계산을 통해 각 노드에서 단순한 계산에 집중해 문제를 단순화 시킴

중간중간 계산결과를 모두 보관할 수 있다.

순전파, 역전파를 통해 '미분'을 효율적으로 계산할 수 있다.

5-2. 연쇄법칙(chain rule)

합성함수 : 여러 함수로 구성된 함수

연쇄법칙 : 합성함수의 미분에 대한 성질

연쇄법칙의 원리 : 합성함수의 미분은 합성함수를 구성하는 각 함수의 미분의 곱으로 나타낼 수 있다.

덧셈노드 역전파