0. 배경 지식RNN Recurrent Neural Network1. 개념 순차 데이터를 처리하는데 적합한 신경망 machine translation, DNA analysis, voice recognition, motion recognition, sentiment analysis 등에 이용 hidden layer의 neuron에서 출력된 값이 다시 그 neuron의 입력으로 사alstn59v.tistory.com 1. 개념기본적인 RNN의 단점을 보완gradient vanishing의 위험 때문에 멀리 떨어져 있는 정보 전달이 힘듬긴 길이의 시계열 데이터를 처리하는데 우수한 성능 2. 구조forget gate - 맥락을 고려하여 과거 정보의 필요성을 sigmoid를 이용해 결정input gate - 현재..

1. 개념순차 데이터를 처리하는데 적합한 신경망\(\)machine translation, DNA analysis, voice recognition, motion recognition, sentiment analysis 등에 이용hidden layer의 neuron에서 출력된 값이 다시 그 neuron의 입력으로 사용됨학습된 neuron의 상태가 다음 학습에 사용되는 것이전에 수신한 정보를 계속 보유 = 일종의 단기 기억단기 기억은 hidden weight에 저장동일한 입력이어도 이전의 입력에 따라 다른 출력 결과 생성RNN의 필요 기능가변 길이의 입력에 대한 처리장기 의존성의 추적순서 정보의 유지시퀸스 전체의 파라미터 공유 2. 구조입력 벡터 : \( x_t \)출력 벡터 : \( y_t = f(W_{..