이번에는 Attention 기술이 Computer Vision 영역에서는 어떻게 쓰이고 있는지 소개를 하는 2020년에 게재된 논문인 Attention Mechanisms in Computer Vision: A survey를 읽고, 리뷰해보고자 합니다. 논문이 Article 성격에 가까운 Survey 논문이라, 어렵고 원리 및 아이디어의 내용이 주가 아닌, 소개 정도의 내용이어서 리뷰의 성격보다는 번역 및 요약의 성격이 될 것 같습니다. Index 1. Abstract 2. Introduction 3. Methods 3.1. Overview 3.2. Channel Attention 3.3. Spatial Attention 3.4. Temporal Attention 3.5. Branch Attention ..

원래 attention은 NLP 분야에서 먼저 사용되었지만, 요즘은 다양한 영역에 접목시켜 사용한다고 한다. 목차1. 기본적인 Neural Network2. Convolutional Neural Network3. Attention    3.1. 등장 배경    3.2. Attention    3.3. Self-Attention4. 끝으로1. 기본적인 Neural Network Fully Connected neural Network에서 전체 input에 대해 input값 마다 weight를 적용시켜 feature를 추출하는 방식 2. Convolutional Neural NetworkFCN과 다르게 2차원(rgb channel이 있는 경우라면 3차원) input에 대해 filter를 이용하여 인접 픽셀에만..

1. Attention 1.1. 개념 input sequence가 길어지면 output sequence의 정확도가 떨어지는 것을 보정해주기 위한 등장한 기법 데이터 전체를 살펴보고 집중해서 살펴볼 위치를 정하는 매커니즘 decoder에서 출력 단어를 예측하는 매 시점마다, encoder에서의 전체 입력 문장을 다시 참고 단, 전체 input sequence를 전부 다 동일한 비율로 참고하는 것이 아니라, 해당 시점에서 예측해야할 output과 연관이 있는 input 부분을 좀 더 집중 학습시키고자 하는 class에 해당하는 부분만 집중하는 효과를 나타낼 수 있음 Query, Key, Value로 구성되며, 일반적으로 Key와 Value를 같은 값을 가지게 함 Query : 찾고자 하는 대상으로, t시점의..