1. Attention 1.1. 개념 input sequence가 길어지면 output sequence의 정확도가 떨어지는 것을 보정해주기 위한 등장한 기법 데이터 전체를 살펴보고 집중해서 살펴볼 위치를 정하는 매커니즘 decoder에서 출력 단어를 예측하는 매 시점마다, encoder에서의 전체 입력 문장을 다시 참고 단, 전체 input sequence를 전부 다 동일한 비율로 참고하는 것이 아니라, 해당 시점에서 예측해야할 output과 연관이 있는 input 부분을 좀 더 집중 학습시키고자 하는 class에 해당하는 부분만 집중하는 효과를 나타낼 수 있음 Query, Key, Value로 구성되며, 일반적으로 Key와 Value를 같은 값을 가지게 함 Query : 찾고자 하는 대상으로, t시점의..
Attention, Self-Attention, Transformer
1. Attention 1.1. 개념 input sequence가 길어지면 output sequence의 정확도가 떨어지는 것을 보정해주기 위한 등장한 기법 데이터 전체를 살펴보고 집중해서 살펴볼 위치를 정하는 매커니즘 decoder에서 출력 단어를 예측하는 매 시점마다, encoder에서의 전체 입력 문장을 다시 참고 단, 전체 input sequence를 전부 다 동일한 비율로 참고하는 것이 아니라, 해당 시점에서 예측해야할 output과 연관이 있는 input 부분을 좀 더 집중 학습시키고자 하는 class에 해당하는 부분만 집중하는 효과를 나타낼 수 있음 Query, Key, Value로 구성되며, 일반적으로 Key와 Value를 같은 값을 가지게 함 Query : 찾고자 하는 대상으로, t시점의..
2022.11.02
