6-1 매개변수 갱신

신경망 학습의 목적 : loss function의 값을 가능한 한 낮추는 매개변수를 찾는 것

최적화(optimization) : 매개변수의 최적값을 찾음

optimizer : 최적화를 행하는 자. 매개변수를 갱신

1. 확률적 경사 하강법(SGD)

매개변수의 기울기를 구해 가장 크게 기울어진 방향으로 매개변수 값을 갱신하는 일을 반복해 점점 최적의 값에 다다름

w : 가중치 매개변수, n : 학습률, aL/aw : 기울기(손실함수)

심하게 굽어진 움직임

비등방성 함수(방향에 따라 기울기가 달라짐.) - 탐색 경로가 비효율적

기울어진 방향이 본래의 최솟값과 다른 방향을 가리킴

2.모멘텀(Momentum)

기울기 방향으로 힘을 받아 물체가 가속된다.

v : 속도, av: 물체가 아무런 힘을 받지 않을 때 서서히 하강시킴

SGD보다 지그재그 경로가 덜하다.

x축 힘은 아주 작지만 방향은 변하지 x - 한 방향으로 일정하게 가속