Computational graphs

첫번째 단계로, 출력으로 이어지는 모든 계산이 무엇인지 파악하도록 하는 단계

선형분류기의 모습

x와 W가 입력이며, x와 W의 곱셈은 score vector을 출력한다.

hinge loss를 계산한 후, regularization을 하여, 데이터 항과 regularization항의 합인 최종 L항을 계산한다.

computational graph를 사용해서 함수를 표현하게 됨으로써 backpropagation을 사용할 수 있게 되었다.

backpropagation은 gradient를 얻기 위해 computational graph 내부 모든 변수에 대해 chin rule을 재귀적으로 사용한다.

각 노드를 local하게 보고 upstream gradient와 함께 chaine rule 을 이용해서 local gradient를 계산

Backpropagation이 특정 변수에 대해서 analytic gradient 를 유도하여 값을 계산하는 것보다 단순한 이유

chain rule 은 모든 것을 취하고 있으며 각각의 중간 변수의 효과를 취한다.