A logisztikai regresszió lineáris kombinációként írható le.
$$ \ eta = \ beta_0 + \ beta_1 X_1 + ... + \ beta_k X_k $$
a $ g $ linkfunkción keresztül:
$$ g (E (Y)) = \ eta $$
ahol a linkfunkció logit függvény
$$ E (Y | X, \ beta) = p = \ text {logit} ^ {- 1} (\ eta) $$
ahova $ Y $ kerül csak a $ \ {0,1 \} $ értékek és az inverz logit függvények alakítják a $ \ eta $ lineáris kombinációt erre a tartományra. Itt ér véget a klasszikus logisztikai regresszió.
Ha azonban felidézi, hogy $ E (Y) = P (Y = 1) $ azoknak a változóknak, amelyek csak $ \ {0,1 \} $ értékeket vesznek fel, mint $ E (Y | X, \ béta) $ $ P (Y = 1 | X, \ béta) $ -nak tekinthető. Ebben az esetben a logit függvény kimenete feltételezhető a "siker" valószínűségének, azaz $ P (Y = 1 | X, \ béta) $. A Bernoulli-eloszlás egy olyan eloszlás, amely leírja a bináris kimenetel megfigyelésének valószínűségét, néhány $ p $ paraméterrel, így a $ Y $ -ot leírhatjuk
$$ y_i \ sim \ text { Bernoulli} (p) $$
Tehát logisztikai regresszióval keresünk néhány paramétert $ \ beta $, amely a $ X $ független változókkal összekapcsolva lineáris kombinációt alkot $ $ eta $ -ból. A klasszikus regresszióban $ E (Y | X, \ beta) = \ eta $ (feltételezzük, hogy a link függvény identitásfüggvény), azonban a $ Y $ modellezéséhez, amely $ \ {0,1 \} $ értékeket vesz fel, meg kell alakítsa át a $ \ eta $ -t úgy, hogy illeszkedjen a $ [0,1] $ tartományba.
Most, hogy Bayes-féle módon becsülje meg a logisztikai regressziót, vegyen fel néhány $ $ beta értéket a $ \ beta_i $ paraméterekhez, mint a lineáris regresszió esetén lásd: Kruschke és mtsai, 2012), majd használja a logit függvényt a $ \ eta $ lineáris kombináció átalakítására, így a kimenetét a $ Y $ változót leíró Bernoulli terjesztés $ p $ paramétereként használja. . Tehát igen, valójában ugyanúgy használja az egyenletet és a logit link függvényt, mint a frekvencionista esetében, a többi pedig úgy működik (pl. A priorokat választja), mint a lineáris regresszió becslésével a Bayes-féle módszert.
A priorok kiválasztásának egyszerű megközelítése a Normal disztribúció kiválasztása (de más disztribúciókat is használhat, pl. $ t $ - vagy a Laplace disztribúció a robusztusabb modellhez) a $ \ beta_i $ 's paraméterekhez, $ $ muu $ $ \ sigma_i ^ 2 $, amelyeket előre beállítottak vagy hierarchikus elöljáróktól vettek át. Most, miután megadta a modelldefiníciót, használhat olyan szoftvereket, mint a JAGS, hogy elvégezhesse a Markov Chain Monte Carlo szimulációt, hogy megbecsülhesse a modellt. Az alábbiakban JAGS kódot teszek közzé az egyszerű logisztikai modellért (további példákért ellenőrizze itt).
model {# priors beállítása a ~ dnorm (0, .0001) b ~ dnorm (0, .0001) (i in 1: N) esetén {# a lineáris kombináció átvitele logit függvény logit (p [i]) <- a + b * x [ i] # likelihood függvény y [i] ~ dbern (p [i])}}
Mint láthatja, a kód közvetlenül lefordítja a modelldefiníciót. A szoftver az, hogy néhány értéket vesz le a Normal priors-ból a a és a b számára, majd ezeket az értékeket használja a p becsléséhez, végül likelihood függvény annak felmérésére, hogy az adat mennyire valószínű, hogy megkapja ezeket a paramétereket (ekkor használja a Bayes-tételt, a részletesebb leírást itt találja). kiterjesztve a prediktorok közötti függőség modellezésére hierarchikus modell segítségével (beleértve a hiperpriorokat ). Ebben az esetben levonhatja a $ \ beta_i $ értékeket a Többváltozós normál eloszlásból, amely lehetővé teszi számunkra, hogy a $ \ boldsymbol {\ Sigma} $ kovariancia információit független változók közé foglaljuk.
$ $ \ begin {pmatrix} \ beta_0 \\ \ beta_1 \\ \ vdots \\ \ beta_k \ end {pmatrix} \ sim \ mathrm {MVN} \ left (\ begin {bmatrix} \ mu_0 \\ \ mu_1 \\ \ vdots \\ \ mu_k \ end {bmatrix}, \ begin {bmatrix} \ sigma ^ 2_0 & \ sigma_ {0,1} & \ ldots & \ sigma_ {0, k} \\ \ sigma_ {1,0} & \ sigma ^ 2_1 & \ ldots & \ sigma_ {1, k} \\
\ vdots & \ vdots & \ ddots & \ vdots \\ \ sigma_ {k, 0} & \ sigma_ {k, 1} & \ ldots & \ sigma ^ 2_k \ end {bmatrix}
... de ez a részletekbe megy, úgyhogy álljunk meg itt.
A "Bayes-i" rész itt a priorokat választja, a Bayes-tétel használatával és a modell valószínűségi kifejezésekkel történő meghatározásával. Lásd itt a "bayesi modell" definícióját, és itt talál néhány általános értelmezést a bayesi megközelítésről. Azt is észreveheti, hogy a modellek meghatározása ezzel a megközelítéssel meglehetősen egyszerű és rugalmas.
Kruschke, J. K., Aguinis, H., & Joo, H. (2012). Eljött az idő: Bayesi módszerek az elemzéshez a szervezeti tudományokban. Szervezeti kutatási módszerek, 15 (4), 722-752.
Gelman , A., Jakulin, A., Pittau, GM, és Su, Y.-S. (2008). Gyengén informatív alapértelmezett előzetes disztribúció a logisztikai és más regressziós modellekhez. The Applied Statistics Annals, 2 (4), 1360–1383.