굴러가는 분석가의 일상

✔️손실함수(Loss Function) 역방향 과정의 손실함수는 Negative Log-Likelihood (\(-\log \left(p_{\theta }\left(x_{0}\right)\right)\)) 으로 정의할 수 있다. 하지만 이를 직접 최적화하려면, 각 시간 단계 t에서의 모든 상태 \(x_{t}\)를 추적하고 계산해야 하기 때문에 메모리와 계산 자원 측면에서 매우 비효율적이다. 이러한 문제점을 해결하기 위해 변분 추론(Variational Lower Bound)을 사용한다. 직접적으로 Negative Log-Likelihood 사용하는 대신, 최적화할 수 있는 비음수 값(KL Divergence)을 더하게 된다. 그럼 아래 수식의 오른쪽 항은 항상 왼쪽 항보다 크거나 같게 된다. 오른쪽 항을..

💡 Diffusion Model 이란? 2015년도에 “Deep Unsupervised Learning using Nonequilibrium Thermodynamics”이라는 논문으로 Diffusion Model이 처음으로 등장하였습니다. 본 논문의 저자들은 Diffusion Model를 다음과 같이 설명하였습니다. The essential idea, inspired by non-equilibrium statistical physics, is to systematically and slowly destroy structure in a data distribution through an iterative forward diffusion process. We then learn a reverse diffu..