목록2024/06/15 (1)

굴러가는 분석가의 일상

[개념정리] Diffusion Model Loss Function

✔️손실함수(Loss Function) 역방향 과정의 손실함수는 Negative Log-Likelihood (\(-\log \left(p_{\theta }\left(x_{0}\right)\right)\)) 으로 정의할 수 있다. 하지만 이를 직접 최적화하려면, 각 시간 단계 t에서의 모든 상태 \(x_{t}\)를 추적하고 계산해야 하기 때문에 메모리와 계산 자원 측면에서 매우 비효율적이다. 이러한 문제점을 해결하기 위해 변분 추론(Variational Lower Bound)을 사용한다. 직접적으로 Negative Log-Likelihood 사용하는 대신, 최적화할 수 있는 비음수 값(KL Divergence)을 더하게 된다. 그럼 아래 수식의 오른쪽 항은 항상 왼쪽 항보다 크거나 같게 된다. 오른쪽 항을..
Generative AI 2024. 6. 15. 23:17
이전 Prev 1 Next 다음