학습의 과정

1.Feed Forward = Forward propagation = Inference

2. Loss and Gradient = Back propagaton

3.Update = Optimize

• 네트워크(모델)가 입력으로 데이터를 받아 출력을 내보내주는 과정
• 사용자가 설정한 네트워크 구조를 따라가며 연산이 진행
• 연산과정은 행렬의 형태로 계산

Affine연산 : 입력(x)과 가중치(w)의 행렬곱을 이용해 한번에 출력을 계산

Softmax Function

-분류문제에 사용

-출력을 확률값으로 나타냄(출력의 총합은 1)

-입력의 지수함수에 모든 입력의 지수함수의 합으로 나누어 줌

• 네트워크 구조에 따라 목적, 성능이 달라짐 >> MLP, CNN, RNN

Multi Layer Perception(MLP) = 다층퍼셉트론 = 신경망

• Perceptron(뉴런을 모방)이 여러 층 쌓여있는 구조
• 가장 전통적인 방법으로 직관적이고 최소한의 성능 척도로 사용되는 경우가 많다
• 곱셈과 덧셈연산으로만 이루어짐

=Fully connected Layer

=FC Layer