Régi szál, de nem értek egyet azzal az általános állítással, hogy a kollinearitás nem a véletlenszerű erdőmodellek kérdése. Ha az adatkészletnek két (vagy több) összefüggő tulajdonsága van, akkor a modell szempontjából ezek közül az összefüggő jellemzők bármelyike ​​felhasználható előrejelzőként, az egyik konkrét előnyben részesítése nélkül.

Bármelyikük használatát követően mások jelentősége jelentősen csökken, mivel az első tulajdonság már eltávolítja a szennyeződéseket, amelyeket eltávolíthatnak.

Ennek következtében kisebb jelentőségük lesz. Ez nem kérdés, amikor a funkciók kiválasztásával szeretnénk csökkenteni a túlterhelést, mivel van értelme eltávolítani azokat a funkciókat, amelyeket többnyire más funkciók ismételnek meg. De amikor az adatokat értelmezi , ez az a téves következtetés, miszerint az egyik változó erős előrejelző, míg az azonos csoportba tartozó többiek nem fontosak, miközben valójában nagyon szorosak a válaszváltozóval való kapcsolatuk szempontjából.

Ennek a jelenségnek a hatása némileg csökken, az egyes csomópontok létrehozásakor véletlenszerűen kiválasztott funkcióknak köszönhetően, de általában a hatást nem távolítják el teljesen.

A fentiek többnyire innen kapkodtak: Jó tulajdonságok kiválasztása

Ez helyes, de ezért a legtöbb olyan almintavételnél, ahol az Y változó rendelkezésre állt, ez a lehető legjobb megosztást eredményezné.

Megpróbálhatja növelni az mtry értéket, hogy megbizonyosodjon arról, hogy ez gyakrabban történik. .

Megpróbálhatja bármelyik rekurzív korrelációs metszést, vagyis felváltva eltávolíthatja a két változó egyikét, akiknek a legmagasabb a korrelációja. Ésszerű küszöb lehet ennek a metszésnek a leállításához, ha bármelyik korrelációs pár (pearson) alacsonyabb, mint a $ R ^ 2<.7 $ $

Kipróbálhatja a rekurzív változó fontosságú metszést, amelyet felváltva eltávolít, pl. 20% a legalacsonyabb változó fontossággal. Próbáld meg pl. rfcv a randomForest csomagból.

Kipróbálhatja a redundáns változók néhány lebontását / összesítését.

Egy dolog hozzáfűzhető a fenti magyarázatokhoz: a Genuer és mtsai, 2010 kísérletei alapján:

Robin Genuer, Jean-Michel Poggi, Christine Tuleau-Malot. Változtatható kiválasztás a véletlenszerű erdők segítségével. Mintafelismerő levelek, Elsevier, 2010, 31 (14), 2225–2366.

Amikor a változók száma meghaladta a p >> n megfigyelések számát, erősen korrelált változókat adtak hozzá a már ismert fontos változókhoz, egyesével az egyes RF modellekben, és észrevették, hogy a fontosság nagysága a változók értékei változnak (kevesebb relatív érték az y tengelytől a már ismert fontos változóknál), DE a változók fontossági sorrendje változatlan maradt, sőt a relatív értékek sorrendje is meglehetősen hasonló maradt, és még mindig jelentősen felismerhetők zajos változók (kevésbé releváns változók). Akkor is ellenőrizze a 2231. oldalon található táblázatot, amikor a replikációk száma (erősen korrelált változók hozzáadása a korábban ismert két legfontosabb változóval) növekszik, az egyes RF modellek előrejelzési beállítása továbbra is azt mutatja, hogy a legfontosabb változó a már ismert legtöbb fontos változó.

A változó szelektálásához értelmezési célból sok (pl. 50) RF modellt készítenek, fontos változókat vezetnek be egyenként, és a legkisebb OOB hibaarányú modellt választják ki értelmezésre és változó kiválasztásra.

előrejelzési célú változóválasztási eljáráshoz: "minden modellben elvégzünk egy szekvenciális változó bevezetést teszteléssel: egy változó csak akkor kerül hozzáadásra, ha a hibaerősítés meghaladja a küszöböt. Az az elképzelés, hogy a hiba csökkenésének lényegesen nagyobbnak kell lennie, mint átlagos változás a zajos változók hozzáadásával. "