A döntési fák és a véletlenszerű erdők valójában rendkívül jó osztályozók. Bár az SVM-ek (Support Vector Machines) összetettebbnek tekinthetők, valójában nem jelenti azt, hogy jobban teljesítenek.

Rich Caruana "A felügyelt tanulási algoritmusok empirikus összehasonlítása" 10 különböző bináris osztályozót, SVM, Neural-Networks, KNN, logisztikai regressziót, Naiv Bayes-t, Random Forests-t hasonlított össze. , Döntési fák, Zacskós döntési fák, Fokozott döntési fák és Bootstrapped döntési fák tizenegy különböző adathalmazon, és összehasonlították az eredményeket 8 különböző teljesítménymutatóval.

Megállapították, hogy a Boosted decision fák jöttek be először, a Random Forests második, majd a Bagged Decision Trees, majd az SVM

Az eredmények attól is függenek, hogy hány osztályba sorolsz valójában.

A lehetőségek közé tartozik egy nem megfelelő kernel használata (pl. lineáris kern egy nemlineáris probléma esetén), a kern rossz kiválasztása és a normalizálás hiperparaméterei. Jó modellválasztás (a rendszermag és a hiperparaméterek hangolása a kulcs ahhoz, hogy az SVM-ek jó teljesítményt nyújthassanak, elvárható, hogy csak megfelelő használat esetén adjanak jó eredményeket).

Az SVM-ek gyakran sokáig tartanak a kiképzéshez ez különösen igaz, ha a kernel és különösen a legalizálási paraméter megválasztása azt jelenti, hogy szinte az összes adat támogató vektorokká válik (az SVM-ek ritkasága hasznos melléktermék, semmi más).

Végül a nem ingyen ebédre vonatkozó tételek azt mondják, hogy semmilyen osztályozó rendszernél nincs a priori felsőbbrendűség a többiekkel szemben, így egy adott feladat legjobb osztályozója maga is feladatfüggő. Van azonban meggyőzőbb elmélet az SVM számára, amely azt sugallja, hogy valószínűleg jobb választás, mint sok más megközelítés sok probléma esetén.

"függetlenül attól, hogy a probléma lineáris-e vagy sem" Egy bináris osztályozási probléma esetén, ha az adatkészlet hipersíkkal elválasztható, akkor ez lineáris probléma.

Ha az adatkészlet nem lineárisan elválasztható, miközben megpróbál lineáris osztályozóval megkeresni egy ilyen hipersíkot, amely egyáltalán nem létezik, az algoritmus úgy tűnik, hogy örökké fut.

Egy javaslat: Mintát vehet az adatok egy kis részéből, és megpróbálhatja ezeket az algoritmusokat annak ellenőrzésére, hogy működik-e egy kis adatkészletben. Ezután növelje az adatkészletet, hogy ellenőrizze, mikor jelentkeznek ezek a problémák.