RNN의 한계

long-term dependency

중요한 정보가 recurrent step이 계속됨에 따라 희석되는 문제

LSTM(Long short - term memory)

RNN의 한계를 보완중요한 정보만 선택하여 다음 state에 전달함Cell에 정보를 저장정보들은 gate에 의해서 선택됨 >> 중요한 정보들을 오랜기간 동안 가지고 멀리 갈 수 있게 한 구조

Cell state = 사람의 장기기억

모든 LSTM 연산을 관통하는 vector학습 데이터를 관통하는 중요한 정보들을 가지고 있음Gate구조를 통해 정교하게 정보가 추가되고 삭제됨목적 : 정보 보관!

• RNN의 state vs LSTM의 state

RNN의 state : 정보 저장, 정보 전달을 모두 함

LSTM의 state  - 정보 저장 : LSTM cell

• 정보 전달 : LSTM ht

Gate machanism

정보를 걸러주는 역할 = 체목적에 필요한 중요한 정보라면 통과, 필요하지 않은 정보라면 통과 xLSTM에는 3가지의 Gate구조가 존재Cell state의 정보를 보호 sigmoid함수를 이용해 문지기와 같은 역할을 함Cell state vector의 각 값들에 0~1의 값을 곱해서 빠져나오는 양을 조절

1.Forget gate layer

• Cell state에서 어떤 정보를 지워버릴 지 결정