Kérdés:
KL divergencia két egyváltozós Gauss között
bayerj
2011-02-21 16:30:19 UTC
view on stackexchange narkive permalink

Meg kell határoznom a KL-divergenciát két Gauss között. Összehasonlítom az eredményeket ezekkel, de nem tudom reprodukálni az eredményeiket. Az eredményem nyilvánvalóan téves, mert a KL nem 0 a KL-re (p, p).

Kíváncsi vagyok, hol követek el hibát, és megkérdezem, észreveszi-e valaki.

Legyen $ p (x) = N (\ mu_1, \ sigma_1) $ és $ q (x) = N (\ mu_2, \ sigma_2) $ . A Bishop's PRML-ből tudom, hogy

$$ KL (p, q) = - \ int p (x) \ log q (x) dx + \ int p (x) \ log p (x) dx $$

ahol az integráció minden valós vonalon megtörténik, és ez

$$ \ int p (x) \ log p (x) dx = - \ frac {1} {2} (1 + \ log 2 \ pi \ sigma_1 ^ 2), $$

ezért csak $ \ int p (x) \ log q (x) dx $ -ra korlátozom magam, amit kiírhatok

$$ - \ int p (x) \ log \ frac {1} {(2 \ pi \ sigma_2 ^ 2) ^ {(1/2)}} e ^ { - \ frac {(x- \ mu_2) ^ 2} {2 \ sigma_2 ^ 2}} dx, $$

amelyek szétválaszthatók

$$ \ frac {1} {2} \ log (2 \ pi \ sigma_2 ^ 2) - \ int p (x) \ log e ^ {- \ frac {(x- \ mu_2 ) ^ 2} {2 \ sigma_2 ^ 2}} dx. $$

A naplót kapom

$ $ \ frac {1} {2} \ log (2 \ pi \ sigma_2 ^ 2) - \ int p (x) \ bigg (- \ frac {(x- \ mu_2) ^ 2} {2 \ sigma_2 ^ 2} \ bigg) dx, $$

ahol elválasztom az összegeket, és kapok $ \ sigma_2 ^ 2 $ s pan> ki az integrálból.

$$ \ frac {1} {2} \ log (2 \ pi \ sigma ^ 2_2) + \ frac {\ int p (x) x ^ 2 dx - \ int p (x) 2x \ mu_2 dx + \ int p (x) \ mu_2 ^ 2 dx} {2 \ sigma_2 ^ 2} $$

Ha a $ \ langle \ rangle $ jelöli a várakozás operátort a $ p $ alatt, át tudom írni ez

$$ \ frac {1} {2} \ log (2 \ pi \ sigma_2 ^ 2) + \ frac {\ langle x ^ 2 \ rangle - 2 \ langle x \ rangle \ mu_2 + \ mu_2 ^ 2} {2 \ sigma_2 ^ 2}. $$

Tudjuk, hogy a $ var (x) = \ langle x ^ 2 \ rangle - \ langle x \ rangle ^ 2 $ . Így

$$ \ langle x ^ 2 \ rangle = \ sigma_1 ^ 2 + \ mu_1 ^ 2 $$

és ezért

$$ \ frac {1} {2} \ log (2 \ pi \ sigma ^ 2) + \ frac {\ sigma_1 ^ 2 + \ mu_1 ^ 2 - 2 \ mu_1 \ mu_2 + \ mu_2 ^ 2} {2 \ sigma_2 ^ 2}, $$

amit feltehetek

$$ \ frac {1} {2} \ log (2 \ pi \ sigma_2 ^ 2) + \ frac {\ sigma_1 ^ 2 + (\ mu_1 - \ mu_2) ^ 2} {2 \ sigma_2 ^ 2}. $$

Ha mindent összerakok, eljutok a

\ begin {align *} KL oldalra (p, q) & = - \ int p (x) \ log q (x) dx + \ int p (x) \ log p (x) dx \\\\ & = \ frac {1} {2} \ log (2 \ pi \ sigma_2 ^ 2) + \ frac {\ sigma_1 ^ 2 + (\ mu_1 - \ mu_2) ^ 2} {2 \ sigma_2 ^ 2} - \ frac {1} {2} (1 + \ log 2 \ pi \ sigma_1 ^ 2) \\\\ & = \ log \ frac {\ sigma_2} {\ sigma_1} + \ frac {\ sigma_1 ^ 2 + (\ mu_1 - \ mu_2) ^ 2} {2 \ sigma_2 ^ 2}. \ End {align *} Ami hibás, mivel két azonos Gaussian esetében $ 1 $ értékkel rendelkezik. az én hibám?

Frissítés

Köszönet az mpiktasnak, hogy tisztázta a dolgokat. A helyes válasz:

$ KL (p, q) = \ log \ frac {\ sigma_2} {\ sigma_1} + \ frac {\ sigma_1 ^ 2 + (\ mu_1 - \ mu_2) ^ 2} {2 \ sigma_2 ^ 2} - \ frac {1} {2} $

bocs, hogy eleve a helytelen választ tettem közzé. Most néztem a $ x- \ mu_1 $ -ra, és azonnal arra gondoltam, hogy az integrál nulla. Az a pont, hogy négyzet lett, teljesen elmulasztotta az eszemet :)
mi a helyzet a többféle változatban?
Éppen egy kutatási cikkben láttam, hogy a kld értéke $ KL (p, q) = ½ * ((μ₁-μ₂) ² + σ₁² + σ₂²) * ((1 / σ₁²) + (1 / σ₂²)) - 2
Gondolom, hogy a kérdésedben elírás van, mivel nem tudom érvényesíteni, és az is látszik, hogy később a kérdésedben a helyes verziót használtad: $$ \ int p (x) \ log p (x) dx = \ frac {1} {2} (1 + \ log 2 \ pi \ sigma_1 ^ 2) $$ szerintem ennek kell lennie (vegye figyelembe a mínuszt): $$ \ int p (x) \ log p (x) dx = - \ frac {1} {2} (1 + \ log 2 \ pi \ sigma_1 ^ 2) $$ Megpróbáltam szerkeszteni a kérdését, és kitiltottak érte, ezért talán csináld magad.
A válasz megtalálható a belső veszteségekről szóló 1996-os cikkemben is (https://link.springer.com/article/10.1007/BF00133173).
Csak hivatkozásképpen: ez a https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence#Multivariate_normal_distributions speciális esete
@Xi'an - Köszönjük, hogy referenciát adott.Gyors pontosító kérdés: Meg tudná magyarázni, hogy az egyenlete miért adja meg az itt a képlet által adott válasz kétszeresét?Mi a különbség az értelmezésben?$$ \ frac {(\ mu_1- \ mu_2) ^ 2} {\ sigma_2 ^ 2} + \ frac {\ sigma_1 ^ 2} {\ sigma_2 ^ 2} - \ log \ biggl (\ frac {\ sigma_1 ^ 2}{\ sigma_2 ^ 2} \ biggl) -1 $$
Kettő válaszokat:
mpiktas
2011-02-21 17:55:19 UTC
view on stackexchange narkive permalink

Rendben, rossz. A hiba az utolsó egyenletben található:

\ begin {align} KL (p, q) & = - \ int p (x) \ log q (x) dx + \ int p (x) \ log p (x) dx \\\\ & = \ frac {1} {2} \ log (2 \ pi \ sigma_2 ^ 2) + \ frac {\ sigma_1 ^ 2 + (\ mu_1 - \ mu_2) ^ 2} {2 \ sigma_2 ^ 2} - \ frac {1} {2} (1 + \ log 2 \ pi \ sigma_1 ^ 2) \\\\ & = \ log \ frac {\ sigma_2} {\ sigma_1} + \ frac {\ sigma_1 ^ 2 + (\ mu_1 - \ mu_2) ^ 2} {2 \ sigma_2 ^ 2} - \ frac {1} {2} \ end {align}

Vegye figyelembe a hiányzó $ - \ frac {1} {2} $. Az utolsó sor nullává válik, amikor $ \ mu_1 = \ mu_2 $ és $ \ sigma_1 = \ sigma_2 $.

@mpiktas A kérdésre igazán gondoltam - bayerj jól publikált kutató, és alsós vagyok.Örülök, hogy néha az okos srácok is visszakérdeznek az internetről :)
értéke p $ \ mu_1 \ sigma_1 $ vagy $ \ mu_2 \ sigma_2 $
Az @Kong p $ N (u_1, \ sigma_1) $, amint azt a kérdés is megjegyzi.
ocram
2011-02-21 16:58:18 UTC
view on stackexchange narkive permalink

Nem néztem meg a számításodat, de itt van az enyém, sok részlettel. Tegyük fel, hogy a $ p $ egy normál véletlen változó sűrűsége, átlagos $ \ mu_1 $ és $ \ sigma ^ 2_1 $ , és ez a $ q $ egy normál véletlen változó sűrűsége, átlag $ \ mu_2 $ és variancia $ \ sigma ^ 2_2 $ . A $ q $ és a $ p $ távolság a Kullback-Leibler között:

$ \ int \ left [\ log (p (x)) - log (q (x)) \ right] p (x) dx $

$ = \ int \ left [- \ frac {1} {2} \ log (2 \ pi) - \ log (\ sigma_1) - \ frac {1} {2 } \ left (\ frac {x- \ mu_1} {\ sigma_1} \ right) ^ 2 + \ frac {1} {2} \ log (2 \ pi) + \ log (\ sigma_2) + \ frac {1} {2} \ left (\ frac {x- \ mu_2} {\ sigma_2} \ right) ^ 2 \ right] $ $ \ times \ frac {1} { \ sqrt {2 \ pi} \ sigma_1} \ exp \ balra [- \ frac {1} {2} \ balra (\ frac {x- \ mu_1} {\ sigma_1} \ jobbra) ^ 2 \ jobbra] dx $

$ = \ int \ left \ {\ log \ left (\ frac {\ sigma_2} {\ sigma_1} \ right) + \ frac { 1} {2} \ left [\ left (\ frac {x- \ mu_2} {\ sigma_2} \ right) ^ 2 - \ left (\ frac {x- \ mu_1} {\ sigma_1} \ right) ^ 2 \ right] \ right \} $ $ \ times \ frac {1} {\ sqrt {2 \ pi} \ sigma_1} \ exp \ left [- \ frac {1 } {2} \ balra (\ frac {x- \ mu_1} {\ sigma_1} \ jobbra) ^ 2 \ jobbra] dx $

$ = E_ {1} \ left \ {\ log \ left (\ frac {\ sigma_2} {\ sigma_1} \ right) + \ frac {1} {2} \ left [\ left (\ frac {x- \ mu_2} {\ sigma_2} \ right) ^ 2 - \ bal (\ frac {x- \ mu_1} {\ sigma_1} \ right) ^ 2 \ right] \ right \} $ span >

$ = \ log \ left (\ frac {\ sigma_2} {\ sigma_1} \ right) + \ frac {1} {2 \ sigma_2 ^ 2 } E_1 \ bal \ {(X- \ mu_2) ^ 2 \ jobb \} - \ frac {1} {2 \ sigma_1 ^ 2} E_1 \ bal \ ((X- \ mu_1) ^ 2 \ jobb \} $

$ = \ log \ left (\ frac {\ sigma_2} {\ sigma_1} \ right) + \ frac {1} {2 \ sigma_2 ^ 2} E_1 \ left \ {(X- \ mu_2) ^ 2 \ right \} - \ frac {1} {2} $

(Vegye figyelembe, hogy $ ( X - \ mu_2) ^ 2 = (X- \ mu_1 + \ mu_1- \ mu_2) ^ 2 = (X- \ mu_1) ^ 2 + 2 (X- \ mu_1) (\ mu_1- \ mu_2) + (\ mu_1- \ mu_2) ^ 2 $ )

$ = \ log \ left (\ frac {\ sigma_2} {\ sigma_1} \ right) + \ frac {1} {2 \ sigma_2 ^ 2} \ bal [E_1 \ bal \ {(X- \ mu_1) ^ 2 \ jobb \} + 2 (\ mu_1- \ mu_2) E_1 \ bal \ {X- \ mu_1 \ jobbra \} + (\ mu_1- \ mu_2) ^ 2 \ jobbra] - \ frac {1} {2} $

$ = \ log \ left (\ frac {\ sigma_2} {\ sigma_1} \ right) + \ frac {\ sigma_1 ^ 2 + (\ mu_1- \ mu_2) ^ 2} {2 \ sigma_2 ^ 2} - \ frac {1} { 2} $



ⓘ
Ezt a kérdést és választ automatikusan lefordították angol nyelvről.Az eredeti tartalom elérhető a stackexchange oldalon, amelyet köszönünk az cc by-sa 2.0 licencért, amely alatt terjesztik.
Loading...