0. 들어가기에 앞서본 게시글은 쿨백-라이블러 발산(Kullback–Leibler divergence, KLD)에 대해 쉽게 이해할 수 있도록 최대한 간략하게 작성한 글입니다.더욱 자세한 내용을 알고싶다면, 아래의 참고 링크 부분의 링크를 참고 바랍니다. 1. 배경 지식아무래도 수학적인 내용이기 때문에, 잘 설명되어있는 블로그 링크로 대체하였음1.1. 엔트로피 초보를 위한 정보이론 안내서 - Entropy란 무엇일까딥러닝을 공부하다 보면 KL-divergence, cross-entropy 등에서 entropy라는 용어를 자주 접하게 됩니다. 이번 글을 통해서 정보이론의 아버지라 불리는 Shannon이 주창한 기초 개념인 entropy를 정리해봅니다.hyunw.kim 정보 엔트로피(information e..