Long Short-Term Memory

0. 배경 지식

• RNN

Recurrent Neural Network

 

1. 개념

• 기본적인 RNN의 단점을 보완
  • gradient vanishing의 위험 때문에 멀리 떨어져 있는 정보 전달이 힘듬
  • 긴 길이의 시계열 데이터를 처리하는데 우수한 성능

 

2. 구조

• forget gate - 맥락을 고려하여 과거 정보의 필요성을 sigmoid를 이용해 결정
• input gate - 현재의 정보 중 어떤 것을 기억할지 sigmoid를 이용해 결정, tanh를 통해 cell state를 계산하기 위한 값 생성 

 

3. 네트워크 전파

• neuron(cell)의 작동방식에 cell의 state를 추가
  • cell state를 이용하여 gradient의 vanishing과 explosion 의 위험을 줄일 수 있도록 하였음
    • cell state가 1에 가까울수록 오래된 기억에 큰 비중을 둔다는 것이며, 이 성질을 이용하여 극복

 
 

참고 서적

딥러닝 EXPRESS
 

참고 링크

http://www.incodom.kr/LSTM
https://dgkim5360.tistory.com/entry/understanding-long-short-term-memory-lstm-kr
https://ratsgo.github.io/natural%20language%20processing/2017/03/09/rnnlstm/
https://wegonnamakeit.tistory.com/7