Chib és Jeliazkov (2001) kiterjesztése sajnos gyorsan költségessé vagy nagymértékben változóvá válik, ezért nem használják sokat Gibbs mintavételi esetein kívül.

Bár a normalizálási konstansnak sokféle módja és megközelítése van a $ \ mathfrak {Z} $ becslési problémának (ezt mutatják a legutóbb lefolytatott állandó becslés műhely elég sokszínű beszélgetései) héten a Warwicki Egyetemen, a diák elérhetők ott), néhány megoldás közvetlenül kihasználja az MCMC kimenetet.

1. Amint említetted, a Newton és Raftery (1994) szinte mindig szegény, mert végtelen szórásuk van. Van azonban mód arra, hogy elkerüljük a végtelen varianciai átkot, ha ehelyett egy véges támogatási célt használunk a harmonikus átlag azonosságban $$ \ int \ dfrac {\ alpha (\ theta)} {\ pi (\ theta) f (x | \ theta )} \ text {d} \ pi (\ theta | x) = \ frac {1} {\ mathfrak {Z}} $$ azáltal, hogy a $ \ alpha $ értéket választja a HPD régió jelzőjének a hátsó részhez. Ez biztosítja a véges szórást azáltal, hogy eltávolítja a farkakat a harmonikus középből. (A részletek megtalálhatók egy cikkben, amelyet Darren Wraith-nel írtam, és egy fejezetben az állandók normalizálásáról, amelyet Jean-Michel Marinnal írtam.) Röviden: a módszer újrafeldolgozza a Az MCMC a $ \ theta_1, \ ldots, \ theta_M $ kimenetet adja meg a $ $ pi (\ theta) f (x | \ theta) $ $ $ beta értékének (mondjuk 20%) legnagyobb értékének megadásával és a $ \ alpha $ létrehozásával. egyenletesen a gömbök uniója felett, amelyek a legnagyobb sűrűségű (HPD) szimulációkra összpontosulnak, $ \ theta ^ 0_i $ és sugárral $ \ rho $, vagyis a $ \ mathfrak {Z} $ normalizáló állandó becslését $ adja $ \ hat {\ mathfrak {Z}} ^ {- 1} = \ underbrace {\ frac {1} {\ beta M ^ 2} \ sum_ {m = 1} ^ M} _ {\ text {double summa over} \\\ beta M \ text {labda központok} \ theta_i ^ 0 \\\ text {és $ M $ szimulációk} \ theta_m} \ underbrace {\ mathbb {I} _ {(0, \ rho)} (\ min_i || \ theta_m- \ theta ^ 0_i ||) \ {\ pi (\ theta_m) f (x | \ theta_m) \} ^ {-1} \ big / \ overbrace {\ pi ^ {d / 2} \ rho ^ d \ Gamma (d / 2 + 1) ^ {- 1}} ^ {\ text {$ \ rho sugarú gömb térfogata $}}} _ {\ dfrac {\ beta M \ alpha (\ theta_m)} {\ pi (\ theta_m) f (x | \ theta_m)}} $$, ha $ d $ a $ \ theta $ ( a metsző golyókra vonatkozó korrekciók érvényesek), és ha a $ \ rho $ elég kicsi ahhoz, hogy a golyók soha ne keresztezzék egymást (ez azt jelenti, hogy a golyókon legjobb esetben csak egy mutató különbözik a nullától). A $ \ alpha M ^ 2 $ nevező magyarázata, hogy ez a $ \ beta M ^ 2 $ kifejezések dupla összege: $$ \ frac {1} {\ beta M} \ sum_ {i = 1} ^ { \ beta M} \ underbrace {\ frac {1} {M} \ sum_ {m = 1} ^ M {\ cal U} (\ theta_i ^ 0, \ rho) (\ theta_m)} _ {\ text {ugyanaz, mint $ \ min $}} \ times \ frac {1} {\ pi (\ theta_m) f (x | \ theta_m)} $$ értékkel, a $ \ theta_m $ minden egyes kifejezésével integrálva a $ {\ mathfrak {Z}} ^ {-1} $.

2. Egy másik megközelítés a $ \ mathfrak {Z} $ normalizáló konstans paraméterré változtatása. Ez statisztikai eretnekségnek tűnik, de Guttmann és Hyvärinen (2012) írása ennek ellenkezőjéről győzött meg. Anélkül, hogy túl sokat részleteznénk a részleteket, az az ötlet, hogy megfordítsa a megfigyelt log-likelihood $$ \ sum_ {i = 1} ^ nf (x_i | \ theta) - n \ log \ int \ exp f (x | \ theta ) \ text {d} x $$ egy közös log-likelihood $$ \ sum_ {i = 1} ^ n [f (x_i | \ theta) + \ nu] -n \ int \ exp [f (x | \ theta) + \ nu] \ text {d} x $$ amely a Poisson-pontfolyamat log-valószínûsége a $$ \ exp \ {f (x | \ theta) + \ nu + \ log n \} $$ Ez egy alternatív modell, mivel az eredeti valószínűség nem jelenik meg a fentiek marginálisaként. Csak a módok esnek egybe, az ν feltételes mód biztosítja a normalizáló állandót. A gyakorlatban a fenti Poisson-folyamat valószínűsége nem érhető el, és Guttmann és Hyvärinen (2012) közelítést kínálnak egy logisztikai regresszió segítségével. Annak érdekében, hogy még jobban összekapcsolódjon a kérdésével, a Geyer becslése MLE, tehát megoldás egy maximalizálási problémára.

3. A kapcsolt megközelítés Charlie Geyer logisztikai regressziós megközelítése. Alapvető elgondolás az, hogy hozzáadjuk az MCMC mintához a $ \ pi (\ theta | x) $ értéket egy másik mintából egy ismert célponttól, pl. A legjobb tipp a $ \ pi (\ theta | x) $, $ g (\ theta ) $, és logisztikai regressziót kell futtatni az adatok mögötti eloszlás indexén (1 for $ \ pi (\ theta | x) $ és 0 for $ g (\ theta) $). A regresszorok mindkét sűrűség értékei, normalizáltak vagy sem. Ez történetesen közvetlenül kapcsolódik Gelman és Meng (1997) hídmintavételhez, amely a különböző célpontokból származó mintákat is újrahasznosítja. És a későbbi verziók, például Meng MLE-je.
4. Másfajta megközelítés, amely arra kényszeríti az embert, hogy egy adott MCMC mintavevőt futtasson, a Skilling beágyazott mintavétele. Noha nekem [és másoknak] vannak bizonyos fenntartásaim a módszer hatékonyságával kapcsolatban, az asztrosztatisztikában és a kozmológiában meglehetősen népszerű, és olyan szoftverek állnak rendelkezésre, mint a multinest.
5. Utolsó [lehetőség, ha nem mindig lehetséges] megoldás a Bayes faktor Savage-Dickey ábrázolásának kihasználása beágyazott nullhipotézis esetén. Ha a null $ H_0 néven írja: \ theta = \ theta_0 $ egy érdekes paraméterről, és ha $ \ xi $ a modell paraméterének fennmaradó [kellemetlen] része, feltételezve az $ \ pi_1 (\ theta) \ pi_2 (\ xi) $, az alternatívához viszonyított $ H_0 $ Bayes-tényező $$ \ mathfrak {B} _ {01} (x) = \ dfrac {\ pi ^ \ theta (\ theta_0 | x )} {\ pi_1 (\ theta_0)} $$ ahol $ \ pi ^ \ theta (\ theta_0 | x) $ a $ \ theta $ marginális hátsó sűrűségét jelöli a $ \ theta_0 $ meghatározott értéken. Abban az esetben, ha a nulla $ H_0 alatti határsűrűség: \ theta = \ theta_0 $ $$ m_0 (x) = \ int_ \ Xi f (x | \ theta_0, \ xi) \ pi_2 (\ xi) \ text {d} \ Az xi $$ zárt formában érhető el, le lehet vezetni a korlátlan modell sűrűségét a $$ m_a (x) = \ int _ {\ Theta \ times \ Xi} f (x | \ theta, \ xi) \ pi_1 (\ theta) \ pi_2 (\ xi) \ text {d} \ theta \ text {d} \ xi $$ a Bayes-tényezőtől. (Ez a Savage-Dickey-ábrázolás három különböző sűrűség specifikus verzióira támaszkodik, és ezért veszélyekkel jár, még a marginalis posterior előállításának számítási kihívásáról sem említve.)

[Itt van egy diasorozat, amelyet tavaly decemberben írtam a normalizáló állandók becsléséről egy NIPS műhelyért.]