Kérdés:
Mi az implicit prior a gyakoriak statisztikájában?
Bayesquest
2016-11-25 08:08:44 UTC
view on stackexchange narkive permalink

Hallottam már azt a gondolatot, hogy Jaynes azt állítja, hogy a gyakorta beszélők "implicit prioritással" működnek.

Mik ezek az implicit papok?Ez azt jelenti, hogy a gyakoriságú modellek a Bayes-i modellek megtalálásának különleges esetei?

Az implicit prior egy degenerált eloszlás, amely a teljes valószínűségi tömeget $ \ theta $ -ra teszi, arra a paraméterre, amelyet a Bayes-i gyakoriak megpróbálnak becsülni.
Ha jól tudom, nincs gyakorisági vagy bayesi modell, csak vannak modellek és különböző megközelítések vannak hozzájuk.
@DilipSarwate: Nem értek egyet ezzel az állítással.A Dirac-tömeg elsődleges használata nem vált ki gyakoribb eljárásokat.És a bayesi paradigma nem teszi lehetővé ismeretlen paraméterekkel rendelkező priorokat, kivéve, ha ezekre a paraméterekre egy másik prioritást állítunk be.
Néhány gyakorisági eljárás Bayes-eljárásként fejezhető ki újra.Például a Pitman optimális invariáns becslője gyakran a Bayes utólagos elvárása a megfelelő Haar-mérés alapján.De ez nem terjed ki az egész következtetési folyamatra, így ez végül keveset jelent.
Mindig van előzetes, bármi is legyen.Sajnos minden statisztikai eljárás ad hoc kiindulási pontot igényel, ami nagyon önkényes.A jó dolog elegendő adatot és megfelelő módszertant kap, hogy közel kerüljön az úti célhoz.A rossz dolog az, hogy meddig érsz el a céltól, attól függ, hogy hol indulsz, és mennyi adatod van a kezedben.
@Cagdas Ozgenc: Nem, mindig vannak ** feltételezések **, de ezeknek nem feltétlenül előzetes eloszlás formájában kell lenniük.
Kettő válaszokat:
Xi'an
2016-11-25 17:53:48 UTC
view on stackexchange narkive permalink

A gyakoriak döntési elméletében léteznek teljes osztály eredmények, amelyek az elfogadható eljárásokat Bayes-eljárásokként vagy a Bayes-eljárások korlátjaiként jellemzik. Például Stein szükséges és elégséges feltétele (Stein. 1955; Farrell, 1968b) kijelenti, hogy a következő feltételezések

  1. a $ f (x | \ theta) $ mintavételi sűrűség folyamatos a $ \ theta $ és szigorúan pozitív a $ \ Theta $ -on; és
  2. az $ L $ veszteségfüggvény szigorúan domború, folytonos, és ha az $ E \ Theta $ részhalmaz kompakt, akkor $$ \ lim _ {\ | \ delta \ | \ rightarrow + \ infty} \ inf_ {\ theta \ E-ben} L (\ theta, \ delta) = + \ infty. $$

egy $ \ delta $ becslő akkor és csak akkor megengedett, ha létezik

  • a növekvő kompakt halmazok $ (F_n) $ szekvenciája oly módon, hogy $ \ Theta = \ bigcup_n F_n $,
  • $ (\ pi_n) $ sorozat véges mértékek a $ F_n $ támogatással, és
  • egy $ ( \ delta_n) A $ \ pi_n $ -hoz társított Bayes-becslők $ értéke, amely

    1. létezik egy kompakt készlet $ E_0 \ subset \ Theta $, amely $ \ inf_n \ pi_n (E_0) \ ge 1 $
    2. ha a $ E \ Theta $ részhalmaz kompakt, $ \ sup_n \ pi_n (E) < + \ infty $
    3. $ \ lim_n r (\ pi_n, \ delta) - r (\ pi_n) = 0 $ és
    4. $ \ lim_n R (\ theta, \ delta_n) = R (\ theta, \ delta) $.

[reprodukálva a könyvemből, Bayesian Choice, 8.3.0. tétel, 407. o.]

Ebben a korlátozott értelemben az elfogadhatóság gyakorisági tulajdonsága Bayes-i háttérrel felruházva, ezért egy implicit priorot (vagy annak szekvenciáját) társítja az egyes megengedett becslőkhöz.

Sidenote: Szomorú egybeesésben Charles Stein elhunyt. november 25-én a kaliforniai Palo Altóban. 96 éves volt.

Hasonló (ha matematikailag is érintett) eredményt kapunk az invariáns vagy az egyenértékű becslésnél, nevezetesen azt, hogy a legjobb egyenértékű becslő minden egyes Bayes-becslő statisztikai modell alapján működő tranzitív csoport, amelyhez a jobb Haar-mérték, a $ \ pi ^ * $ társul, ez a csoport és a hozzá tartozó invariáns veszteség indukálta a $ \ Theta $ -ot.Az érintett részleteket lásd Pitman (1939), Stein (1964) vagy Zidek (1969).Valószínűleg erre gondolt Jaynes, amikor erőszakosan érvelt a marginalizálódási paradoxonok változatlansági elvek általi megoldása mellett.

A civilstat válaszban az optimalitás egy másik gyakori fogalma, nevezetesen a minimxitás kapcsolódik a Bayes-i eljárásokhoz, mivel a maximális hibát (a paramétertér felett) minimalizáló minimumx eljárás gyakran az a maximin eljárás, amely maximalizálja aminimális hiba (minden korábbi disztribúció felett), ezért ez egy Bayes vagy a Bayes eljárás (ok) korlátja.

K .: Van-e pithy elvihetőséghogy áthelyezzem a bayesi intuíciómat a gyakorló modellekre?

Először kerülném a "gyakorisági modell" kifejezés használatát, mivel vannak mintavételi modellek (az $ x $ adat a $ X \ sim f (x | \ theta) $ megvalósulása a $ \ paraméterértékhez theta $) és a gyakorló eljárások (a legjobb elfogulatlan becslő, a minimális variancia-konfidencia intervallum, &tc.) Másodszor, nem látok kényszerítő módszertani vagy elméleti okot arra, hogy a gyakoriságos módszereket határnak vagy korlátozónak tekintsem Bayesi módszerek. A gyakorisági eljárás indoklása, ha létezik, az, hogy kielégíti a mintavételi tér valamilyen optimális tulajdonságát, vagyis a megfigyelések megismétlésekor. A Bayes-i eljárások elsődleges igazolása az, hogy optimális legyen [egy adott kritérium vagy veszteségfüggvény alapján], ha a mintavételi modellből egy korábbi eloszlást és egy megvalósítást adunk. Előfordul, hogy az eredményül kapott eljárás kielégíti valamelyik gyakorisági tulajdonságot (a hiteles $ 95 $% régió egy $ 95%% -os megbízhatósági régió) , de ez olyan esemény, hogy ez az optimalitás nem terjed át a Bayes-féle összes eljárásra modell.

Nagyon szépen köszönöm.Kezdőként van-e piszkos elvihetőség, amellyel áthelyezhetem a bayesi intuíciómat a gyakorló modellekhez?azaz (ez a GLM hasonlít az x-hez y előtaggal, vagy ez a lasso olyan, mint a bayesi xyz).
Továbbá, megnézné itt a másik kérdésemet: http://stats.stackexchange.com/questions/247850/what-statistical-techniques-are-most-suited-for-studying-complex-adaptive-system Tudom, hogy javasolt néhány megoldást a bayesi ridegség kérdésére ... de úgy érzem, hogy a megoldások nem robusztusak vagy könnyen kezelhetők egy társadalomtudós számára.
Az első megjegyzéshez íme néhány példa arra, amiről beszéltem: - [Ideghálók és háziorvosok] (http://mlg.eng.cam.ac.uk/yarin/blog_3d801aa532c1ce.html) - http://stats.stackexchange.com/questions/71782/is-it-possible-to-interpret-the-bootstrap-from-a-bayesian-perspective - http://www.sumsar.net/blog/2015/04/the-non-parametric-bootstrap-as-a-bayesian-model/ - [Nem paraméteres bayesi (npB) nézőpont lehetővé teszi az erdők mintájának értelmezését a hátul a fák felett] (https://arxiv.org/pdf/1502.02312.pdf)
Dolgoztunk a [Becsült Bayesi következtetés a véletlenszerű erdőkkel] témán (https://xianblog.wordpress.com/2016/05/20/abc-random-forests-for-bayesian-parameter-inference/), és megállapítottuk, hogy aez az eszköz meglehetősen nem állt kapcsolatban az eredeti hátsóval.Természetesen ez nem azt jelenti, hogy nem teszi lehetővé a Bayes-értelmezést, de ennek ellenére ...
civilstat
2016-11-26 02:07:30 UTC
view on stackexchange narkive permalink

@ Xi'an válasza teljesebb. De mivel te is kértél pithy elvitelt, itt van egy. (Az általam említett fogalmak nem teljesen megegyeznek a fenti elfogadhatósági beállítással.)

A gyakoriságúak gyakran (de nem mindig) olyan becslőket szeretnek használni, amelyek "minimumx": ha meg akarom becsülni a $ \ theta $ értéket , a becslőm $ \ hat {\ theta} $ legrosszabb esete kockázatának jobbnak kell lennie, mint bármely más becslő legrosszabb esete. Kiderült, hogy az MLE-k gyakran (megközelítőleg) minimumxok. Részleteket lásd például itt vagy itt.

A probléma minimumx-becslőjének megtalálásához az egyik módszer az, hogy egy pillanatig gondolkodunk a Bayesian-on, és megtaláljuk a "legkevésbé kedvező előtti" $ \ pi $. Ez az a prior, amelynek Bayes-becslője magasabb átlagos kockázattal rendelkezik, mint bármely más prior Bayes-becslője. Ha megtalálod, akkor kiderül, hogy a $ \ pi $ Bayes-becslője minimumx.

Ebben az értelemben mondhatnád: A (minimumx-használó) Frequentist olyan, mint egy Bayes-i, aki (az alapú becslés alapján) a legkevésbé kedvező priorot választotta.

Talán ki tudná ezt mondani: Az ilyen gyakoriság konzervatív bayesi-i, aki nem szubjektív papokat vagy éppen informálatlanokat választ. priorok, de (ebben a konkrét értelemben) a legrosszabb esetekben.

Végül, amint mások mondták, a frekvencisták és a bayesiek ilyen módon történő összehasonlítása nagyon nehéz. Gyakoriságnak lenni nem feltétlenül jelenti azt, hogy használ egy bizonyos becslőt. Ez csak azt jelenti, hogy kérdéseket tesz fel a becslő mintavételi tulajdonságairól, miközben ezek a kérdések nem a Bayes-féle elsődleges prioritások. (Tehát minden Bayes-i ember, aki reméli a jó mintavételi tulajdonságokat, pl. "kalibrált Bayes", szintén frekvencia képviselő.)
Még akkor is, ha a frekvenciát úgy definiálja, mint amelynek becslői mindig vannak optimális mintavételi tulajdonságok, sok ilyen tulajdonság van, és nem mindig képes egyszerre megfelelni mindegyiknek. Tehát nehéz általában "az összes frekvencia modellről" beszélni.

Úgy gondoltam, hogy a gyakoriak elemzésének implicit priorja valamilyen egységes prior lesz.
Lehet, néha.Gondolhat egy MLE-re, mint MAP-becslésre, egy egységes prior használatával.De a frekvenciák nem csak az MLE-k használják.
Egy másik kapcsolódó fogalom: "megfelelő priorok" vagy "valószínűség szerinti priorok egyeztetése", specifikus priorok tervezték a s.t.a $ 1- \ alpha $ hiteles intervallum hozzávetőlegesen megegyezik az adott paraméter gyakoribb $ 1- \ alpha $ konfidencia intervallumával.Ismét ezek lehetnek egységesek, de nem kell.Attól függ, hogy milyen paramétert választanak, és attól, hogy milyen jónak akarja lenni a közelítést.Lásd például: http://www.utstat.utoronto.ca/reid/research/vaneeden.pdf


Ezt a kérdést és választ automatikusan lefordították angol nyelvről.Az eredeti tartalom elérhető a stackexchange oldalon, amelyet köszönünk az cc by-sa 3.0 licencért, amely alatt terjesztik.
Loading...