Egyszerűbben fogalmazva, a legalizálás a modell komplexitás előnyben részesített szintjének beállítása vagy kiválasztása, így a modelljeid jobban képesek előrejelezni (általánosítani). Ha ezt nem teszi meg, akkor a modelljei lehetnek túl összetettek és túlterheltek, vagy túl egyszerűek és alulruházottak, akárhogy is, rossz előrejelzéseket adva.

Ha a legkisebb négyzetek egy komplex modellt illesztenek egy kis edzésadathoz valószínűleg túlfeszít, ez a leggyakoribb helyzet. A modell optimális bonyolultsága a modellezendő folyamat fajtájától és az adatok minőségétől függ, tehát a modellnek nincs eleve helyes összetettsége.

2 dologra van szükség:

1. egy módja annak, hogy tesztelje, mennyire jóak a modelljei az előrejelzéshez, például keresztellenőrzéssel vagy érvényesítési adatokkal (nem használhatja a illesztési hibát ehhez).
2. Olyan hangolási paraméter, amely lehetővé teszi a modell bonyolultságának vagy simaságának megváltoztatását, vagy a különböző összetettségű / simaságú modellek kiválasztását.

Ne feledje, hogy az optimalizált szabályozási hiba nem lesz a teljes becslési hiba pontos becslése, így a szabályozás után végre egy további ellenőrzési adatkészletet kell használnia, vagy végezzen további statisztikai elemzéseket az elfogulatlan előrejelzési hiba megszerzéséhez.

A (kereszt) használat alternatívája Az érvényesítési teszt a Bayesian Priors vagy más módszerek alkalmazásával bonyolítja a bonyolultságot vagy a simaságot, de ezek nagyobb statisztikai kifinomultságot és a probléma és a modell jellemzőinek ismeretét igénylik.

Tegyük fel, hogy a tanulást empirikus kockázatminimalizálás útján hajtja végre.

Pontosabban:

• megvan a nem negatív veszteségfüggvénye $ L (\ text {aktuális érték}, \ text {előrejelzett érték}) $, amely jellemzi, hogy rosszak az előrejelzései
• úgy akarja illeszteni a modelljét, hogy az előrejelzései minimalizálják a veszteségfüggvény átlagát, amelyet csak az edzésadatok (az egyetlen adat) alapján számolnak.

Ezután a tanulási folyamat célja $ $ text {Model} = \ text {argmin} \ sum L (\ text {aktuális}, \ text {predicted} (\ text {Model})) $ (ez módszert empirikus kockázatminimalizálásnak hívják).

De ha nincs elegendő adatod, és a modelledben hatalmas mennyiségű változó található, nagyon valószínű, hogy találsz egy ilyen modellt, amely nemcsak a mintákat magyarázza hanem megmagyarázza az adatok véletlenszerű zaját is. Ezt a hatást túlillesztésnek nevezzük, és ez a modell általánosítási képességének romlásához vezet.

A túlillesztés elkerülése érdekében a célfüggvénybe bevezetünk egy szabályosítási kifejezést: $ \ text {Model} = \ text {argmin } \ összeg L (\ text {tényleges}, \ text {megjósolt} (\ text {modell})) + \ lambda R (\ text {modell}) $

Általában ez a $ R ( \ text {Model}) $ különleges büntetést szab ki az összetett modellekre. Például nagy együtthatójú modelleken (L2 szabályozás, $ R $ = együtthatók négyzetének összege) vagy sok, ha nem nulla együtthatóval (L1 szabályozás, $ R $ = az együtthatók abszolút értékeinek összege). Ha döntési fát képezünk, akkor a $ R $ lehet a mélysége.

Egy másik szempont, hogy a $ R $ bemutatja előzetes ismereteinket a legjobb modell egyik formájáról ("nincs is benne nagy együtthatók "," majdnem merőleges a $ \ bar a $ -ra ")

Egyszerűbben fogalmazva: a rendszeresítés a várt megoldások előnyeinek kihasználása. Mint említette, például az "egyszerű" megoldások előnyeit élvezheti az egyszerűség bizonyos meghatározása érdekében. Ha a problémának vannak szabályai, akkor az egyik definíció kevesebb szabályt tartalmazhat. De ez problémától függ.

Azonban a megfelelő kérdést teszi fel. Például a Support Vector Machines-ben ez az "egyszerűség" a kapcsolatok megszakításából származik a "maximális margó" irányába. Ez a margó egyértelműen meghatározható a probléma szempontjából. Nagyon jó geometriai levezetés található a SVM cikkben a Wikipédiában. Kiderült, hogy a legalizálási kifejezés legalábbis vitathatatlanul az SVM-ek "titkos szósza".

Hogyan valósítja meg a szabályozást? Általában ez az Ön által használt módszerrel jár, ha SVM-eket használ, akkor L2-szabályozást végez, ha az LASSO-t használja, akkor L1-es szabályozást végez (lásd, mit mond a hairybeast). Ha azonban saját módszerét fejleszti, akkor tudnia kell, hogyan lehet megmondani a kívánatos megoldásokat a nem kívánatos megoldásoktól, és rendelkeznie kell egy funkcióval, amely ezt számszerűsíti. Végül meglesz egy költségtétel és egy szabályozási kifejezés, és optimalizálni szeretné mindkettő összegét.

A szabályozási technikák olyan technikák, amelyeket a gépi tanulási modellekre alkalmaznak, amelyek simábbá teszik a döntési határt / az illesztett modellt.Ezek a technikák segítenek megakadályozni a túlterhelést.

Példák: L1, L2, Dropout, Súlycsökkenés a neurális hálózatokban.A $ C $ paraméter SVM-ekben.

Egyszerűbben kifejezve: a rendszeresítés a túlzott illeszkedés elkerülésére szolgáló technika, amikor gépi tanulási algoritmusokat oktatnak. Ha van elég algoritmusa elegendő szabad paraméterrel, akkor nagyon részletesen interpolálhatja a mintáját, de a mintán kívül eső példák nem biztos, hogy követik ezt a részleges interpolációt, mivel csak rögzítette a zajt, vagy véletlenszerű szabálytalanságok a mintában a valódi trend helyett.

A túlillesztést úgy lehet elkerülni, hogy korlátozzuk a modellben szereplő paraméterek abszolút értékét. Ezt úgy tehetjük meg, hogy a költségfüggvényhez hozzáadunk egy olyan kifejezést, amely büntetést szab ki a modell paramétereinek nagysága alapján. Ha a nagyságot L1 normában mérjük, akkor ezt "L1 szabályozásnak" nevezzük (és általában ritka modelleket eredményez), ha L2 normában mérjük, akkor ezt "L2 szabályozásnak" nevezzük, és így tovább.