1. 개념Feature Pyramid Network의 약자convolutional network에서 얻을 수 있는 서로 다른 해상도의 feature map을 쌓아올린 형태과정원본 이미지를 convolutional network에 입력하여 forward pass를 수행 → 각 stage마다 서로 다른 scale을 가지는 4개의 feature map을 추출 → 각 feature map에 1x1 conv 연산을 적용하여 모두 256 channel을 가지도록 조정하고 upsampling을 수행 → pyramid level 바로 아래 있는 feature map과 element-wise addition 연산을 수행 → 얻은 4개의 서로 다른 feature map에 3x3 conv 연산을 적용

1. 배경지식CNN 2. 개념Deformable Convolution Network의 약자CNN에서의 고정된 크기와 모양의 filter를 이용해서 feature를 추출하는 것이 아닌, flexible한 영역에서 feature를 추출하는 방식으로, feature map에서 규직적인 grid내의 값을 sampling을 하는 것이 아닌, 광범위한 grid cell의 값을 samplingfilter의 크기를 학습하여 object의 크기에 맞춰 변화하게 되며, 다양한 크기의 object에 대한 detection 성능 향상과정기존 입력 피처맵(A)을 입력으로 Convolution 레이어를 통과한 출력 피처맵(B)을 생성 → B와 Ground-truth를 비교하여 이동 벡터를 찾기 위해 bilinear interpo..

1. 개념어떠한 데이터 입력이 들어왔을 때, 해당 입력을 압축 시켜 latent vector로 만든 후, 해당 embedding vector를 다시 본래의 입력 데이터 형태로 복원 하는 신경망 2. 구조인코더와 디코더로 이루어짐인코더는 입력 데이터를 압축하여 latent vector로 만듬, recognition network 라고도 불림디코더는 latent vector를이용하여 원래의 입력 형태로 만듬, generative network 라고도 불림 3. 활용데이터에 대한 차원 축소, 이상 탐지, 노이즈 제거, 인식, 생성 등에 활용됨 4. VAE(; Variational AutoEncoder)기본적인 형태의 오토인코더와 다름확률적 오토인코더로, 학습이 끝난 이후에도 출력이 부분적으로 우연에 의해 결..

1. 발생 원인계산값에 0이 포함되거나 하여 미분이 불가능해지는 곳에서 발생할 가능성이 높음주로 sqrt, exp, norm 등에서 발생 2. 해결 방법매우 작은 값(1e-6 등)을 더해줘서 결과가 0이 안나오도록 해줌으로써 해결

1. 개념 무작위 dataset을 뽑은 후, positive pair와 negative pair들과 비교 positive는 가까이, negative는 멀리 배치 2. 계산 방법 \( L(A, P, N)=\max(\Vert f(A)-f(P) \Vert^{2}-\Vert f(A)-f(N) \Vert^{2}+\alpha, 0) \) \( A \)는 anchor input, \( P \)는 positive pair, \( N \)은 negative pair, \( f \)는 embedding, \( \alpha \)는 positive pair와 negative pair 사이의 margin 참고 링크 https://mic97.tistory.com/16 https://soobarkbar.tistory.com/43

0. 들어가기에 앞서 본 게시글은 개념적으로 가볍게 GNN이 무엇인지 알아보기 위해 작성한 글입니다. 더욱 자세한 내용을 알고싶다면, 아래의 참고 링크 부분의 링크를 참고 바랍니다. 1. 개념 graph에 직접 적용할 수 있는 neural network 노드가 이웃과의 연결에 의해 정의 각 노드를 잘 표현할 수 있는 임베딩을 추출해서 이용 graph 구조를 활용하여 loss를 최적화 참고 자료 https://medium.com/watcha/gnn-소개-기초부터-논문까지-96567b783479 https://velog.io/@whattsup_kim/Graph-Neural-Networks-기본-쉽게-이해하기

0. 들어가기에 앞서 본 게시글은 다양한 GRU에 대해 쉽게 이해할 수 있도록 최대한 간략하게 작성한 글입니다. 더욱 자세한 내용을 알고싶다면, 아래의 참고 링크 부분의 링크를 참고 바랍니다. 1. 배경 지식 LSTM Long Short-Term Memory 0. 배경 지식 RNN Recurrent Neural Network 1. 개념 순차 데이터를 처리하는데 적합한 신경망 machine translation, DNA analysis, voice recognition, motion recognition, sentiment analysis 등에 이용 hidden layer의 neuron에서 출력 alstn59v.tistory.com 2. 개념 LSTM을 개선한 모델 forget gate와 input gat..

0. 배경 지식RNN Recurrent Neural Network1. 개념 순차 데이터를 처리하는데 적합한 신경망 machine translation, DNA analysis, voice recognition, motion recognition, sentiment analysis 등에 이용 hidden layer의 neuron에서 출력된 값이 다시 그 neuron의 입력으로 사alstn59v.tistory.com 1. 개념기본적인 RNN의 단점을 보완gradient vanishing의 위험 때문에 멀리 떨어져 있는 정보 전달이 힘듬긴 길이의 시계열 데이터를 처리하는데 우수한 성능 2. 구조forget gate - 맥락을 고려하여 과거 정보의 필요성을 sigmoid를 이용해 결정input gate - 현재..

1. 개념순차 데이터를 처리하는데 적합한 신경망\(\)machine translation, DNA analysis, voice recognition, motion recognition, sentiment analysis 등에 이용hidden layer의 neuron에서 출력된 값이 다시 그 neuron의 입력으로 사용됨학습된 neuron의 상태가 다음 학습에 사용되는 것이전에 수신한 정보를 계속 보유 = 일종의 단기 기억단기 기억은 hidden weight에 저장동일한 입력이어도 이전의 입력에 따라 다른 출력 결과 생성RNN의 필요 기능가변 길이의 입력에 대한 처리장기 의존성의 추적순서 정보의 유지시퀸스 전체의 파라미터 공유 2. 구조입력 벡터 : \( x_t \)출력 벡터 : \( y_t = f(W_{..

1. 개념 어떤 모델이 지금까지 만나보지 못했던 상황에서, 입력값에 대한 예측을 정확하게 하기 위해 사용하는 추가적인 가정 예를 들어 CNN은 locality와 translation invariance가 있음 참고 링크 https://arxiv.org/pdf/1806.01261.pdf

1. 목적제안한 요소가 모델에 주는 영향을 확인하고 싶을 때 이용 2. 의의요소와 모델의 인과관계를 알아볼 수 있음 3. 수행 방법각 요소를 포함한 모델과 포함하지 않은 모델의 결과물을 비교

두 벡터간의 각도를 이용하여, 두 벡터가 얼마나 같은 방향을 가르키는지 구하는 것. 즉, 두 벡터가 얼마나 유사한지를 구할 수 있음. $$ Cosine\ Similarity=cos(\theta)=\frac{A⋅B}{||A||\ ||B||}=\frac{\sum_{i=1}^{n}{A_{i}×B_{i}}}{\sqrt{\sum_{i=1}^{n}(A_{i})^2}×\sqrt{\sum_{i=1}^{n}(B_{i})^2}} $$ 참고 링크 https://wikidocs.net/24603 https://www.learndatasci.com/glossary/cosine-similarity