Kérdés:
Mikor (és miért) kell venni egy eloszlás (számok) naplóját?
PhD
2011-11-24 02:41:03 UTC
view on stackexchange narkive permalink

Tegyük fel, hogy van néhány történelmi adatom, például korábbi tőzsdei árak, repülőjegy-áringadozások, a társaság korábbi pénzügyi adatai ...

Most jön valaki (vagy valamilyen képlet), és azt mondja: "vegyük / use the log of the distribution "és itt tartok WHY?

Kérdések:

  1. MIÉRT kell venni az elosztás naplóját Először is?
  2. MIT „ad / leegyszerűsít” az eloszlás naplója, hogy az eredeti terjesztés nem tudott / nem?
  3. A log transzformáció „veszteségmentes” ? Vagyis, ha log-térré transzformáljuk és az adatokat elemezzük, ugyanazok a következtetések érvényesek-e az eredeti eloszlás tekintetében is? Hogy lehet?
  4. És végül MIKOR kell venni a disztribúció naplóját? Milyen feltételek mellett dönt valaki erről?

Nagyon szerettem volna megérteni a naplóalapú eloszlásokat (például lognormális), de soha nem értettem a mikor / miért szempontokat - azaz a Az eloszlás logiája normális eloszlás, akkor mi van? Mit is mond ez nekem és miért zavar? Innen a kérdés!

UPDATE : A @ whuber megjegyzésének megfelelően megnéztem a bejegyzéseket, és valamiért megértem a log transzformációk használatát és azok lineáris regresszióban való alkalmazását, mivel kapcsolatot hozhat létre a független változó és a függő változó logja között. Kérdésem azonban általános a magának az eloszlásnak az elemzése szempontjából - önmagában nincs olyan kapcsolat, amelyre következtetni tudnék, hogy megértsem a logok elemzésének okát az eloszlás elemzésére. Remélem, van értelme: - /

A regresszióanalízisben korlátai vannak az adatok típusának / illeszkedésének / eloszlásának, és átalakíthatja azokat, és meghatározhat egy kapcsolatot a független és (nem transzformált) függő változó között. De mikor / miért tenné ezt egy disztribúció esetén, ahol a típus / illeszkedés / eloszlás korlátai nem feltétlenül alkalmazhatók egy keretrendszerben (például regresszió). Remélem, hogy a pontosítás egyértelműbbé teszi a dolgokat, mint zavaros :)

Ez a kérdés egyértelmű választ érdemel a "MIÉRT és MIKOR" -ra

Mivel ez majdnem ugyanolyan területre terjed ki, mint az előző kérdések [itt] (http://stats.stackexchange.com/questions/298/in-linear-regression-when-is-it-appropriate-to-use-the-log- of-an-independent-va / 3530 # 3530) és [itt] (http://stats.stackexchange.com/questions/10975/transforming-proportion-data-when-arcsin-square-root-is-not-enough / 10979 # 10979), kérjük, olvassa el ezeket a szálakat, és frissítse kérdését, hogy a probléma olyan szempontjaira összpontosítson, amelyekkel még nem foglalkoztak. Ne feledje, hogy a # 4 (és a 3. része) elemi kérdések azokról a logaritmusokról, amelyek válaszai sok helyen megtalálhatók.
A pontosítás segít. Érdemes elgondolkodni azon a tényen, hogy a csak állandó kifejezéssel (és más független változóval nem rendelkező) való regresszió az adatok átlaguk körüli variációjának értékelését jelenti. Ezért, ha valóban megérti a függő változók naplóinak regresszióba vételének hatásait, akkor * már * megértette azt az (egyszerűbb) helyzetet, amelyről itt kérdez. Röviden, ha megválaszolják a regresszióra mind a négy kérdést, akkor nem kell ismét feltenniük a kérdést "az eloszlás elszigetelten".
@whuber: Úgy látom ... szóval megértem a naplók regresszióba vételének okait, de csak azért, mert nekem így tanítottak - megértem abból a szempontból, hogy ezt meg kell tenni, vagyis annak biztosítására, hogy az adatok illeszkedjenek a lineáris feltételezésekhez regresszió. Ez az egyetlen megértésem. Talán az hiányzik, hogy a naplók készítésének "valódi megértését" és így a zavartságot ... segítsen? ;)
Ah, de ennél sokkal többet tudsz, mert a naplók regresszióban történő felhasználása után tudod, hogy az eredményeket másképp értelmezik, és tudod, hogy ügyelj az illesztett értékek és a konfidencia intervallumok vissza-átalakítására. Azt javaslom, hogy * ne * keveredjen össze, és valószínűleg máris ismeri a válaszokat erre a négy kérdésre, annak ellenére, hogy kezdetben még nem volt tudatában :-).
@whuber: Ah, látom. Úgy tűnik, ideje némi önvizsgálatra :)
Az itt olvasható olvasók ezeket a szorosan kapcsolódó szálakat is megvizsgálhatják: [log-transzformált előrejelző értelmezése] (http://stats.stackexchange.com/questions/18480/), és [Hogyan értelmezzük a logaritmikusan átalakított együtthatókat a lineáris regresszió] (http://stats.stackexchange.com/questions/20397/how-to-interpret-logarithmically-transformed-coefficients-in-linear-regression).
tehát helyes-e azt mondani, hogy ha egy eloszlás nem lineáris, és a log-je lineáris .. akkor a log-ot használjuk, mivel könnyű lineáris eloszlást modellezni?
[Ez] (https://www.youtube.com/watch?v=FofnXXt6-rU) és [ez] (https://www.youtube.com/watch?v=1dUSNdZspQc&t=10s) jó magyarázatot ad.
Van néhány szilárd alaptanács, amikor nem használja a log-transzformációt, vagy mit vegyen figyelembe, ha elkészült?
Négy válaszokat:
vector07
2013-01-25 03:08:00 UTC
view on stackexchange narkive permalink

A log-skála a relatív változásokról (multiplikatív), míg a lineáris skála az abszolút változásokról (additív). Mikor használja mindegyiket? Ha törődik a relatív változásokkal, használja a log-skálát; amikor törődnek az abszolút változásokkal, használjon lineáris skálát. Ez igaz az eloszlásokra, de bármilyen mennyiségre vagy mennyiségváltozásra is.

Megjegyzés: itt nagyon pontosan és szándékosan használom a „gondozás” szót. Modell vagy cél nélkül a kérdésére nem lehet választ adni; a modell vagy a cél meghatározza, hogy melyik skála fontos. Ha valamit modellezni próbál, és a mechanizmus relatív változáson keresztül hat, a napló-skála kritikus fontosságú az adatokban tapasztalt viselkedés rögzítéséhez. De ha az alapul szolgáló modell mechanizmusa additív, akkor lineáris skálát kell használnia.

Példa. Tőzsde t.
A részvény az 1. napon: $ \ $$ 100. A 2. napon $ 101 $. A világ minden részvénykövető szolgáltatása kétféleképpen számol be erről a változásról! (1) + $ \ $$ 1. (2) + 1%. Az első az abszolút, additív változás mértéke; a második a relatív változás mértéke.

A relatív változás és az abszolút ábra szemléltetése: A relatív változás ugyanaz, az abszolút változás más
Az A részvény $ \ $$ 1 értékről származik a $ \ $$ 1.10 értékre. A B részvény $ 100 $ -ról 110 $ -ra vált.

Az A részvény 10% -ot, a B részvény 10% -ot (relatív skála, egyenlő)

... de az A részvény 10 centtel, míg a B részvény $ \ $ $ 10-rel (B több abszolút dollárral gyarapodott)

Ha naplótérre konvertálunk, akkor a relatív változások abszolút változásokként jelennek meg.

Az A részvény $ \ log_ {10} (\ $ 1) $ és $ \ log_ {10} (\ $ 1.10) $ = 0 és .0413 között mozog

A B részvény $ \ log_ {10} (\ $ 100) $ -tól $ \ log_ {10} (\ $ 110) $ = 2-től 2,0413-ig

Most, figyelembe véve az abszolút különbséget a naplótérben , azt találjuk, hogy mindkettő.

A változás mindkét lépése fontos, és hogy melyik az Ön számára fontos, az kizárólag a befektetési modelljétől függ. Két modell létezik. (1) Fix összegű tőke befektetése, vagy (2) befektetés rögzített számú részvénybe.

1. modell: Befektetés rögzített tőkeösszeggel.

Mondjuk a tegnapi részvény A részvényenkénti ára $ 1 $, a B részvény ára pedig $ 100 $ részvény. Ma mindketten egy dollárral drágultak $ 2 $ -ra, illetve $ 101 $ -ra. Abszolút változásuk azonos ($ \ $$ 1), de relatív változásuk drámai módon eltér (100% A-nál, 1% B-nél). Tekintettel arra, hogy fix összege van befektetésre, mondjuk 100 USD $ 100, akkor csak 1 B vagy 100 A részvényt engedhet meg magának. Ha tegnap fektetett be, akkor 200 USD $ A dollárral vagy $ 101 dollár B-vel. Tehát itt "érdekel" a relatív nyereség, különösen azért, mert véges mennyiségű tőkéje van.

2. modell: rögzített számú részvény .

Más esetben tegyük fel, hogy bankja csak 100 részvényből álló blokkokban enged vásárolni, és úgy döntött, hogy 100 A vagy B részvénybe fektet be. Az előző esetben akár A-t, akár B-t vásárol, a nyeresége azonos lesz ($ \ $$ 100 - azaz 1 USD minden részvényért).

Tegyük fel, hogy egy részvényértéket véletlen változónak vélünk, amely idővel ingadozik, és egy olyan modellt akarunk előállítani, amely általában tükrözi a részvények viselkedését. Tegyük fel, hogy ezt a modellt akarjuk használni a profit maximalizálása érdekében. Kiszámítunk egy valószínűségi eloszlást, amelynek x-értékei a „részvényár” egységeiben vannak, az y-értékek pedig az adott részvényárfolyam megfigyelésének valószínűségében. Ezt az A és a B részvényekre tesszük. Ha feliratkozik az első forgatókönyvre, ahol rögzített összegű tőkével rendelkezik, amelyet be akar fektetni, akkor ezen elosztások naplójának felvétele informatív lesz. Miért? Amit érdekel, az a relatív térbeli eloszlás alakja. Az, hogy egy részvény 1-től 10-ig, vagy 10-től 100-ig megy, nem számít neked, igaz? Mindkét eset 10- szeres relatív nyereség. Ez természetesen logaritmikus eloszlásban jelenik meg abban, hogy az egységnyereségek közvetlenül a hajtásnyereségnek felelnek meg. Két olyan részvény esetében, amelyek átlagértéke különbözik, de relatív változásuk azonos eloszlású (a napi százalékos változások megoszlása ​​azonos), a log-eloszlásuk csak azonos alakú lesz eltolódott. Ezzel szemben a lineáris eloszlásaik nem lesznek azonos alakúak, a magasabb értékű eloszlásnak nagyobb a szórása.

Ha ezeket az eloszlásokat lineáris vagy abszolút térben vizsgálná, azt gondolná, hogy magasabb -értékelt részvényárfolyamok nagyobb ingadozásoknak felelnek meg. Az Ön befektetési céljaira azonban, ahol csak a relatív nyereség számít, ez nem feltétlenül igaz.

2. példa Kémiai reakciók. Tegyük fel, hogy két A és B molekulánk van, amelyek reverzibilisek reakció.

$ A \ Balra mutató nyíl B $

amelyet az egyes sebességállandók határoznak meg

($ k_ {ab} $) $ A \ Rightarrow B $ ($ k_ {ba} $) $ B \ Rightarrow A $

Egyensúlyukat a kapcsolat határozza meg:

$ K = \ frac {k_ {ab}} {k_ {ba}} = \ frac {[A]} {[B]} $

Két pont itt. (1) Ez egy szorzó összefüggés a $ A $ és a $ B $ koncentrációi között. (2) Ez a kapcsolat nem önkényes, hanem közvetlenül azokból az alapvető fizikai-kémiai tulajdonságokból fakad, amelyek a molekulák egymásba ütközését és reakcióját vezérlik.

Tegyük fel, hogy van némi A vagy B koncentráció eloszlás. Ennek az eloszlásnak a megfelelő skálája a log-térben van, mert a koncentráció változásának modelljét multiplikáltan definiáljuk (A koncentrációjának szorzata a B koncentrációjának inverzével). Néhány alternatív univerzumban, ahol $ K ^ * = k_ {ab} -k_ {ba} = [A] - [B] $, ezt a koncentrációeloszlást abszolút, lineáris térben vizsgálhatjuk.

Ez azt mondta, ha van modellje, legyen az tőzsdei előrejelzés vagy kémiai kinetika, akkor mindig "veszteségmentesen" konvertálhat a lineáris és a logaritmikus tér között, amennyiben az értéktartománya $ (0, \ inf) $. Az, hogy a lineáris vagy a log-skála szerinti elosztást választja-e, attól függ, hogy mit próbál meg szerezni az adatokból. Egy érdekes párhuzam, amely segített nekem az intuíció felépítésében, az számtani középértékek és a geometriai középértékek példája. Az aritmetikai (vanília) átlag kiszámítja a rejtett modellt feltételező számok átlagát, ahol az abszolút különbségek számítanak. Példa. Az 1 és 100 számtani átlaga 50,5. Tegyük fel, hogy mégis koncentrációkról beszélünk, ahol a koncentrációk közötti kémiai kapcsolat multiplikatív. Ekkor az átlagos koncentrációt valóban a log skálán kell kiszámítani. Ezt nevezzük geometriai átlagnak. Az 1 és 100 geometriai átlaga 10! A relatív különbségeket tekintve ennek értelme van: 10/1 = 10 és 100/10 = 10, azaz az átlagos és a két érték közötti relatív változás megegyezik. Ráadásul ugyanazt találjuk; 50,5-1 = 49,5 és 100-50,5 = 49,5.

Ez nagyon hasznos válasz, és imádom a példákat.Tudna bővebben hozzáadni a "mikor" -hoz, hogy kifejezetten a log-transzformációt használja?Azt mondja: "Ha törődik a relatív változásokkal, használja a log-skálát; ha az abszolút változások törődnek, használja a lineáris skálát."De vannak-e olyan esetek, amikor törődnek a relatív változásokkal, de nem kellene naplózniuk, és ha igen, hogyan fedezi fel ezeket az eseteket?Például ez a cikk olyan esetet állít elő, hogy azokat az adatokat, amelyek nem követik a napló normál eloszlását, nem szabad naplózással átalakítani: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4120293/
@skeller88 Egyetértek ezzel a papírral;szűk válasz ez a tágabb (és filozófiai!) kérdésre: "miért alakítjuk át az eloszlásokat?"Azt hiszem, a válasz az, hogy van egy jól kidolgozott statisztikai eszközkészletünk a normál eloszlások közötti ellentétekre, de egy kevésbé fejlett eszközkészlet más, esetleg meg nem nevezett eloszlásokra (a többség).A funky kinézetű disztribúció értékelésének megközelítése az lehet, ha felvesszük a naplót, hogy lássuk, normálisabbnak tűnik-e;de ahogy az IrishStat fentebb technikailag leírja, ez az út veszélyekkel jár (a négyzet alakú csap, a kerek lyuk változatossága).
Van egy releváns magyarázat erre a hatásra, és arra, hogy miért fontos egy kicsit a döntési fák számára https://towardsdatascience.com/why-take-the-log-of-a-continuous-target-variable-1ca0069ee935
IrishStat
2011-11-24 04:48:22 UTC
view on stackexchange narkive permalink

Ha feltételez egy nemlineáris modellformát, amely átalakítható lineáris modellvé, például $ \ log Y = \ beta_0 + \ beta_1t $ , akkor indokolt lenne a $ Y $ logaritmusának felvétele a megadott modellalaphoz. Általánosságban elmondható, hogy ok-okozati sorozata van-e vagy sem, csak akkor igazolható vagy helyes, ha a $ Y $ naplót veszi, amikor bizonyítható, hogy a variancia a (z) $ Y $ arányos a $ Y ^ 2 $ várható értékével. Az alábbiakban nem emlékszem az eredeti forrásra, de szépen összefoglalja az erőátalakítások szerepét. Fontos megjegyezni, hogy az elosztási feltevések mindig a hibafolyamatról szólnak, nem pedig a megfigyelt Y-ról, ezért határozott "nem-nem" elemzés az eredeti sorozat megfelelő transzformációra való elemzése, kivéve, ha a sorozatot egyszerű konstans határozza meg. / p>

Az indokolatlan vagy helytelen átalakításokat, ideértve a különbségeket is, szorgalmasan el kell kerülni, mivel ezek gyakran rosszindulatú / rosszul kitalált próbálkozások az azonosítatlan rendellenességek / szinteltolódások / időtrendek vagy a paraméterek változásainak vagy a változások hibahelyzetének kezelésére. Ennek klasszikus példáját tárgyaljuk a 60-as diától kezdve itt: http://www.autobox.com/cms/index.php/afs-university/intro-to-forecasting/doc_download/53-capability-presentation ahol három pulzus anomália (kezeletlen) a korai kutatók indokolatlan log transzformációjához vezetett. Sajnos néhány jelenlegi kutatónk még mindig ugyanazt a hibát követi el.

Az optimális energiaátalakítás a Box-Cox teszten keresztül érhető el, ahol

  • -1. reciprok
  • -.5 recriprokális négyzetgyök
  • 0,0 log log transzformáció
  • .5 négyzet alakú transzformáció és
  • 1.0 nem transzformáció.

Ne feledje, hogy ha nincs prediktív / kauzális / támogató beviteli sorozat, akkor a modell $ Y_t = u + a_t $ , és hogy a a (z) $ Y $ terjesztése DE a $ a_t $ , a hiba folyamatáról szól. Ebben az esetben a $ a_t $ terjesztési követelmények közvetlenül átkerülnek a $ Y_t $ -ra. Ha támogató sorozata van, például regresszióban vagy Autoregresszív – mozgó átlag modell exogén bemeneti modellel ( ARMAX modell), az elosztási feltételezések a $ a_t $ , és semmi közük nincs a $ Y_t $ terjesztéséhez. Így az ARIMA modell vagy az ARMAX modell esetében az ember soha nem feltételez semmiféle átalakulást a $ Y $ -on, mielőtt megtalálja az optimális Box-Cox transzformációt, amely azután javaslatot tesz a korrekcióra ( átalakítás) $ Y $ . A korábbi időkben egyes elemzők feltételezhető módon átalakították a $ Y $ és a $ X $ értékeket képes tükrözni a $ Y $ százalékos változását a $ X $ százalékos változásának eredményeként a regressziós együttható vizsgálatával $ \ log Y $ és $ \ log X $ között. Összefoglalva: az átalakulások olyanok, mint a drogok, egyesek jók, mások pedig rosszak az Ön számára! Csak szükség esetén szabad használni, majd óvatosan.

Egyetértek azzal, hogy aki elhagyta a szavazatot, megjegyzést kell tennie arról, hogy miért szavazták meg ezt. Az Irishstat szerint sokkal könnyebb lenne elolvasni a bejegyzését, ha kihasználná a válaszok formázási lehetőségeit, különösen azokat, amelyek rendelkezésre állnak az egyenletek latexben történő megjelölésére. Lásd a [jelölésszerkesztés súgó szakaszát] (http://stats.stackexchange.com/editing-help). Ez a link mindig elérhető, amikor beír egy választ a feladási mező jobb felső sarkába (a kérdőjellel ellátott narancssárga körben).
[Az idézett táblázat] (https://books.google.com/books?id=27kOCgAAQBAJ&pg=PA171&lpg=PA171&dq=%22chapter+5%22+%22transformations+and+weighting+to+correct+model+inadequacies%22&source=bl&OTS=hQYyjUm6yA&sig=xRQfYGLGWCUXTNinTwqHn3n3rus& hl=hu &sa =X&ved=0ahUKEwjs197SusrUAhXjApoKHeOfDn4Q6AEIRjAG# v=Oldalanként&q=%22chapter%205%22%20%22transformations% 20és%20weighting%20to%20correct%20model%20inadequacies% 22& f=hamis)található_Introductionlineáris regresszióElemzés: Douglas C. Montgomery, Elizabeth A. Peck, G. Geoffrey Vining.
@user1717828 tu .. Mindig is rajongtam Montgomeryért, mivel hosszú szakálla idősorokat tartalmaz
Nem mindig igaz, hogy a második pillanat és a szórás arányos egymással?Megvan a klasszikus egyenlet, amely szerint: a variancia megegyezik a második mínusz az első négyzet négyzetével.
Ahogy mondod, a variancia a második pillanat függvénye.Hol utaltam másra.Ezenkívül a variancia változhat (determinisztikusan) az idő különböző pontjaiban. Lásd: https://pdfs.semanticscholar.org/09c4/ba8dd3cc88289caf18d71e8985bdd11ad21c.pdf, amelyet egy erőátalakítás nem orvosol.
Maddog74
2020-03-19 08:08:38 UTC
view on stackexchange narkive permalink

Egyszerűsített formában akartam választ adni.Ha az exponensek rövid szorzóval szorozhatók, és a log a hatványozás inverze, akkor valaminek a naplójának felvétele a felosztás egyik formája.

Vegyük a legegyszerűbb függvény formáját y = C. Legyen C 100 000, tehát y = 100 000.Ha ws dona log () transzformáció van y = 5.

Ha egy másik függvényünk lenne ugyanazon az y = 1 000 000 diagramon, akkor nehéz lenne azokat ábrázolni, ha megadjuk az y tengely tartományát.De ha mindkettőben log () -t használunk, akkor y = 5 és y = 6 függvényekkel rendelkezünk.

Ezt terjessze ki az y = mx + C egyszerű lineáris formájára, és láthatja, hogy ez milyen erős lehet, ha a dolgok egyre lendületesebbé válnak.

Ha egy senetencia analógiát használ, akkor a log transzformáció egyenértékű a térkép skálájával, amely azt mondja, hogy 1in = 1 mérföld.Nem akarunk olyan térképet, ahol 1 mérföld = 1 mérföld .. A logaritmusok lefelé skálázódnak, amikor szükségünk van rá.A kitevők fokozódnak.Mindkettőt az adatok normalizálására használjuk

Haotian Chen
2020-08-19 18:30:37 UTC
view on stackexchange narkive permalink

Gyakorlati válasz:

W Miért használja a naplót?

1.TA numerikus alulcsordulás / túlcsordulás elkerülése érdekében

A statisztikai következtetésekben vagy a paraméterek tanulási folyamataiban nagyon gyakori, hogy a szorzatot a valószínűségi sűrűségek sorozatával kumulálják. De néha az egyéni sűrűség túl kicsi (vagy túl nagy), hogy a számítógép nem lesz képes tárolni a terméküket. Például egy $ L = p_1 \ cdot p_2 $ valószínűséget akarunk kiszámolni, ahol $ p_1 = 8e ^ {- 300} $ és $ p_2 = 6e ^ {- 300} $ , de ha összeszorozzuk őket egy számítógépen, akkor $ L = 0 $ , mert a valódi eredmény 4,8e ^ {- 601} $ kisebb, mint a legkisebb pozitív szám, amelyet a számítógép kezelni tud . Ezért mindig használunk log valószínűségeket vagy log valószínűség sűrűségeket a számítás során.

2.TA modelltanulás hatékonyságának javítása a log konkáv / konvex / lineáris tulajdonság kihasználásával

Tudjuk, hogy a paraméterek tanulása lényegében optimalizálási probléma, és azt is tudjuk, hogy ha egy függvény homorú / domború / lineáris, akkor annak optimális értéke könnyen megtalálható. A legtöbb elterjedés, amelyet látunk, az log konkáv / konvex, némelyik még log lineáris is, ami azt jelenti, hogy a sűrűségfüggvény naplója konkáv / domború / lineáris, és a naplótérben az optimális értékek megtalálása sokkal hatékonyabb lehet.

Wmikor használja a naplót?

Amint azt a "Miért érdemes használni a naplót?" részben kifejtettük, ajánlatos a napló sűrűségét / valószínűségét használni minden következtetéshez és modell tanulási folyamathoz.

Bár a kérdés a "disztribúció" naplójának felvételére utal, a megjegyzésekben világossá válik, hogy ez az * adatértékek logaritmusainak felvételét jelenti.
@whuber igazad van, szégyen, hogy nem olvastam el a teljes kérdést;)


Ezt a kérdést és választ automatikusan lefordították angol nyelvről.Az eredeti tartalom elérhető a stackexchange oldalon, amelyet köszönünk az cc by-sa 3.0 licencért, amely alatt terjesztik.
Loading...