1. 개념어떠한 데이터 입력이 들어왔을 때, 해당 입력을 압축 시켜 latent vector로 만든 후, 해당 embedding vector를 다시 본래의 입력 데이터 형태로 복원 하는 신경망 2. 구조인코더와 디코더로 이루어짐인코더는 입력 데이터를 압축하여 latent vector로 만듬, recognition network 라고도 불림디코더는 latent vector를이용하여 원래의 입력 형태로 만듬, generative network 라고도 불림 3. 활용데이터에 대한 차원 축소, 이상 탐지, 노이즈 제거, 인식, 생성 등에 활용됨 4. VAE(; Variational AutoEncoder)기본적인 형태의 오토인코더와 다름확률적 오토인코더로, 학습이 끝난 이후에도 출력이 부분적으로 우연에 의해 결..

1. 발생 원인계산값에 0이 포함되거나 하여 미분이 불가능해지는 곳에서 발생할 가능성이 높음주로 sqrt, exp, norm 등에서 발생 2. 해결 방법매우 작은 값(1e-6 등)을 더해줘서 결과가 0이 안나오도록 해줌으로써 해결

1. 개념 무작위 dataset을 뽑은 후, positive pair와 negative pair들과 비교 positive는 가까이, negative는 멀리 배치 2. 계산 방법 \( L(A, P, N)=\max(\Vert f(A)-f(P) \Vert^{2}-\Vert f(A)-f(N) \Vert^{2}+\alpha, 0) \) \( A \)는 anchor input, \( P \)는 positive pair, \( N \)은 negative pair, \( f \)는 embedding, \( \alpha \)는 positive pair와 negative pair 사이의 margin 참고 링크 https://mic97.tistory.com/16 https://soobarkbar.tistory.com/43

0. 들어가기에 앞서 본 게시글은 개념적으로 가볍게 GNN이 무엇인지 알아보기 위해 작성한 글입니다. 더욱 자세한 내용을 알고싶다면, 아래의 참고 링크 부분의 링크를 참고 바랍니다. 1. 개념 graph에 직접 적용할 수 있는 neural network 노드가 이웃과의 연결에 의해 정의 각 노드를 잘 표현할 수 있는 임베딩을 추출해서 이용 graph 구조를 활용하여 loss를 최적화 참고 자료 https://medium.com/watcha/gnn-소개-기초부터-논문까지-96567b783479 https://velog.io/@whattsup_kim/Graph-Neural-Networks-기본-쉽게-이해하기

0. 들어가기에 앞서 본 게시글은 다양한 GRU에 대해 쉽게 이해할 수 있도록 최대한 간략하게 작성한 글입니다. 더욱 자세한 내용을 알고싶다면, 아래의 참고 링크 부분의 링크를 참고 바랍니다. 1. 배경 지식 LSTM Long Short-Term Memory 0. 배경 지식 RNN Recurrent Neural Network 1. 개념 순차 데이터를 처리하는데 적합한 신경망 machine translation, DNA analysis, voice recognition, motion recognition, sentiment analysis 등에 이용 hidden layer의 neuron에서 출력 alstn59v.tistory.com 2. 개념 LSTM을 개선한 모델 forget gate와 input gat..

0. 배경 지식RNN Recurrent Neural Network1. 개념 순차 데이터를 처리하는데 적합한 신경망 machine translation, DNA analysis, voice recognition, motion recognition, sentiment analysis 등에 이용 hidden layer의 neuron에서 출력된 값이 다시 그 neuron의 입력으로 사alstn59v.tistory.com 1. 개념기본적인 RNN의 단점을 보완gradient vanishing의 위험 때문에 멀리 떨어져 있는 정보 전달이 힘듬긴 길이의 시계열 데이터를 처리하는데 우수한 성능 2. 구조forget gate - 맥락을 고려하여 과거 정보의 필요성을 sigmoid를 이용해 결정input gate - 현재..

1. 개념순차 데이터를 처리하는데 적합한 신경망\(\)machine translation, DNA analysis, voice recognition, motion recognition, sentiment analysis 등에 이용hidden layer의 neuron에서 출력된 값이 다시 그 neuron의 입력으로 사용됨학습된 neuron의 상태가 다음 학습에 사용되는 것이전에 수신한 정보를 계속 보유 = 일종의 단기 기억단기 기억은 hidden weight에 저장동일한 입력이어도 이전의 입력에 따라 다른 출력 결과 생성RNN의 필요 기능가변 길이의 입력에 대한 처리장기 의존성의 추적순서 정보의 유지시퀸스 전체의 파라미터 공유 2. 구조입력 벡터 : \( x_t \)출력 벡터 : \( y_t = f(W_{..

1. 개념 어떤 모델이 지금까지 만나보지 못했던 상황에서, 입력값에 대한 예측을 정확하게 하기 위해 사용하는 추가적인 가정 예를 들어 CNN은 locality와 translation invariance가 있음 참고 링크 https://arxiv.org/pdf/1806.01261.pdf

1. 목적제안한 요소가 모델에 주는 영향을 확인하고 싶을 때 이용 2. 의의요소와 모델의 인과관계를 알아볼 수 있음 3. 수행 방법각 요소를 포함한 모델과 포함하지 않은 모델의 결과물을 비교

두 벡터간의 각도를 이용하여, 두 벡터가 얼마나 같은 방향을 가르키는지 구하는 것. 즉, 두 벡터가 얼마나 유사한지를 구할 수 있음. $$ Cosine\ Similarity=cos(\theta)=\frac{A⋅B}{||A||\ ||B||}=\frac{\sum_{i=1}^{n}{A_{i}×B_{i}}}{\sqrt{\sum_{i=1}^{n}(A_{i})^2}×\sqrt{\sum_{i=1}^{n}(B_{i})^2}} $$ 참고 링크 https://wikidocs.net/24603 https://www.learndatasci.com/glossary/cosine-similarity