Ha van egy fél oldala a lemorzsolódás magyarázatához, hogyan folytatná?Melyik oka van ennek a technikának?
A lemorzsolódó cikk kivonata tökéletesen használhatónak tűnik.
Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov, " Dropout: Egyszerű módja annak, hogy megakadályozzuk a neurális hálózatok túlterhelését ", Journal of Machine Learning Research , 2014.
A nagy számú paraméterrel rendelkező mély neurális hálók nagyon hatékony gépi tanulási rendszerek. A túlillesztés azonban komoly problémát jelent az ilyen hálózatokban. A nagy hálózatok használata szintén lassú, ami megnehezíti a túlterhelés kezelését számos különböző nagy idegháló előrejelzésének egyesítésével a tesztidőszakban. A kiesés a probléma kezelésének technikája. A legfontosabb ötlet az, hogy az edzés során véletlenszerűen dobja le az egységeket (a kapcsolataikkal együtt) az ideghálózatból. Ez megakadályozza, hogy az egységek túlságosan együtt alkalmazkodjanak. A képzés során különböző, elvékonyodott hálózatok exponenciális számából származó lemorzsolódó minták. A tesztidőszakban könnyen megközelíthető az összes ilyen elvékonyodott hálózat előrejelzésének átlagolásának hatása, ha egyszerűen egyetlen, vékonyabb, kisebb súlyú hálózatot használunk. Ez jelentősen csökkenti a túlterhelést és jelentős javulásokat eredményez a többi szabályozási módszerrel szemben. Megmutatjuk, hogy a lemorzsolódás javítja a neurális hálózatok teljesítményét felügyelt tanulási feladatokban a látás, a beszédfelismerés, a dokumentumok osztályozása és a számítástechnikai biológia területén, a legkorszerűbb eredmények elérése számos benchmark adathalmazon. p> Ha elolvassa a cikket, leírást talál arról, hogy mit jelent az együtt alkalmazkodó magatartás a lemorzsolódás összefüggésében.
Egy szokásos ideghálózatban az egyes paraméterek által kapott derivált megmondja neki, hogyan kell változnia, így csökken a végső veszteségfüggvény, tekintettel az összes többi egységre.Ezért az egységek megváltozhatnak úgy, hogy kijavítsák a többi egység hibáit.Ez összetett ko-adaptációkhoz vezethet.Ez viszont túlterheléshez vezet, mivel ezek a társadaptációk nem általánosítanak láthatatlan adatokra.Feltételezzük, hogy az egyes rejtett egységek esetében a lemorzsolódás megakadályozza az együttes alkalmazkodást azáltal, hogy más rejtett egységek jelenlétét megbízhatatlanná teszi.Ezért egy rejtett egység nem támaszkodhat más meghatározott egységekre hibáinak kijavításában.Jól kell teljesítenie a különböző rejtett egységek által biztosított sokféle összefüggésben.Ennek a hatásnak a közvetlen megfigyeléséhez megnézzük az első szintű jellemzőket, amelyeket a vizuális feladatokra kiképzett ideghálózatok tanultak lemorzsolódással és lemorzsolódás nélkül.
Ez a válasz a Sycorax nagyszerű válaszának folytatása azoknak az olvasóknak, akik szeretnék látni, hogy miként valósul meg a lemorzsolódás.
Amikor mesterséges ideghálózatokban alkalmazzák a lemorzsolódást,kompenzálni kell azt a tényt, hogy edzéskor az idegsejtek egy részét inaktiválták.Ehhez két általános stratégia létezik:
A / p a képzésről az előrejelzésre kerülkód, ahol *p:
Ez a három dia a Standford CS231n: Konvolúciós neurális hálózatok a vizuális felismeréshez 6. előadásából származik.
A lemorzsolódás pillanatnyilag (egy bemeneti adatcsomagban) kikapcsol egyes rétegekben található idegsejteket, hogy azok ne adjanak hozzá semmilyen információt, vagy ne tanuljanak információkat a frissítések során, és a többi aktív idegsejtre hárul a feladat, hogy jobban tanuljanak és csökkentsék ahiba.
Ha meg kell magyaráznom a lemorzsolódást egy 6 éves gyereknek, akkor ez a következő: Képzeljen el egy forgatókönyvet, egy osztályban a tanár feltesz néhány kérdést, de mindig ugyanaz a két gyerek válaszol.Most a tanár arra kéri őket, hogy maradjanak egy ideig csendben, és hagyják, hogy más tanulók is részt vegyenek.Így más diákok jobban tanulhatnak.Talán rosszul válaszolnak, de a tanár kijavíthatja őket (súlyfrissítés).Így az egész osztály (réteg) jobban megismer egy témát.
A lemorzsolódás előzetes valószínűségként tekinthető arra, hogy egy jellemző (vagy látens jellemző valamilyen közbenső rétegben) nem számít-e - vagyis a tüske (a nullánál a pont tömege = a tulajdonság nem számít) és a födém (lapos =nem deklarált előtag a teljes paramétertérben) előtti.
Fontos, hogy ez lehetővé teszi nemcsak a modellillesztés rendszeresítését, hanem a következtetések bizonytalanságának megszerzését is.Ezt a Yarin Gal dolgozatában és cikkekben (szintén ezt) tárgyaljuk.