Deep Learning/Basic
Long Short-Term Memory
- -
728x90
반응형
0. 배경 지식
- RNN
Recurrent Neural Network
1. 개념 순차 데이터를 처리하는데 적합한 신경망 machine translation, DNA analysis, voice recognition, motion recognition, sentiment analysis 등에 이용 hidden layer의 neuron에서 출력된 값이 다시 그 neuron의 입력으로 사
alstn59v.tistory.com
1. 개념
- 기본적인 RNN의 단점을 보완
- gradient vanishing의 위험 때문에 멀리 떨어져 있는 정보 전달이 힘듬
- 긴 길이의 시계열 데이터를 처리하는데 우수한 성능
2. 구조
- forget gate - 맥락을 고려하여 과거 정보의 필요성을 sigmoid를 이용해 결정
- input gate - 현재의 정보 중 어떤 것을 기억할지 sigmoid를 이용해 결정, tanh를 통해 cell state를 계산하기 위한 값 생성
3. 네트워크 전파
- neuron(cell)의 작동방식에 cell의 state를 추가
- cell state를 이용하여 gradient의 vanishing과 explosion 의 위험을 줄일 수 있도록 하였음
- cell state가 1에 가까울수록 오래된 기억에 큰 비중을 둔다는 것이며, 이 성질을 이용하여 극복
- cell state를 이용하여 gradient의 vanishing과 explosion 의 위험을 줄일 수 있도록 하였음
참고 서적
딥러닝 EXPRESS
참고 링크
https://dgkim5360.tistory.com/entry/understanding-long-short-term-memory-lstm-kr
https://ratsgo.github.io/natural%20language%20processing/2017/03/09/rnnlstm/
728x90
반응형
'Deep Learning > Basic' 카테고리의 다른 글
| Graph Neural Network (0) | 2023.04.12 |
|---|---|
| Gated Recurrent Unit (0) | 2023.03.27 |
| Recurrent Neural Network (0) | 2023.03.27 |
| Inductive Bias (0) | 2023.02.13 |
| Ablation study 란 (0) | 2023.02.06 |
Contents
소중한 공감 감사합니다