Kérdés:
Precíziós-visszahívási görbe (PR-görbe AUC) és átlagos precíziós (AP) terület
mrgloom
2015-06-15 14:37:07 UTC
view on stackexchange narkive permalink

Az átlagos pontosság (AP) a pontosság-visszahívási görbe alatt van (a PR-görbe AUC-ja)?

SZERKESZTÉS:

itt van megjegyzés a PR AUC és AP különbségéről.

Az AUC-t a pontosság trapéz alakú interpolációjával kapjuk meg. Alternatív és általában majdnem egyenértékű mutató az átlagos pontosság (AP), amelyet info.ap néven adunk vissza. Ez annak a pontosságnak az átlaga, amelyet minden új pozitív minta visszahívásakor elértünk. Ez megegyezik az AUC-val, ha a pontosságot állandó szegmensek interpolálják, és a TREC ezt a definíciót használja leggyakrabban.

http://www.vlfeat.org/overview/ plots-rank.html

Ráadásul az auc és az average_precision_score eredmények nem egyeznek a scikit-learnben. Ez furcsa, mert a dokumentációban a következők vannak:

Számítsa ki az átlagos pontosságot (AP) az előrejelzési pontszámokból Ez a pontszám megfelel a precíziós-visszahívási görbe alatti területnek. >

itt van a kód: 

  # Pontosság-visszahívás és görbe görbe pontosság, visszahívás, küszöbértékek = precíziós_hívás_görbe (y_test, clf.predict_proba (X_test) [:, 1]) terület = auc (visszahívás, precízió) print "A PR görbe alatti terület (AP):% 0.2f"% area # meg kell egyeznie az AP-vel? print 'AP', átlagos_precision_score (y_test, y_pred, átlag = 'súlyozott') print 'AP' , average_precision_score (y_test, y_pred, átlagos = 'makró') print 'AP', átlagos_precision_score (y_test, y_pred, average = 'mikro') print 'AP', átlagos_precision_score (y_test, y_pred, átlag = 'minták')

az osztályozóm számára valami ilyesmi van: 

  PR görbe alatti terület (AP): 0.65AP 0.676101781304AP 0.676101781304AP 0.676101781304AP 0.676101781304
Kettő válaszokat:
Zhubarb
2015-06-15 15:40:22 UTC
view on stackexchange narkive permalink

Rövid válasz: IGEN . Az átlagpontosság egyetlen szám, amelyet a precíziós-visszahívási görbe összefoglalására használnak:

enter image description here

Az integrált (a görbe alatti terület) a következővel közelítheti meg:

enter image description here

A megfelelő magyarázat érdekében nézze meg ezt a linket.

Mi a helyzet ezzel a megjegyzéssel?"Az AUC-t a pontosság trapéz alakú interpolációjával kapjuk meg. Alternatív és általában majdnem egyenértékű mutató az átlagos pontosság (AP), amelyet info.ap néven adunk vissza. Ez az annak a pontosságnak az átlaga, amelyet minden egyes új pozitív minta visszahívásakor elértünk.Ez megegyezik az AUC-val, ha a pontosságot állandó szegmensek interpolálják, és ezt a meghatározást használja a TREC leggyakrabban. "http://www.vlfeat.org/overview/plots-rank.html
Úgy gondolom, hogy "az új pozitív minta visszahívásakor elért pontosság átlaga" ** az interpolált átlagos pontosságra ** utal, amelyet az általam megadott link magyaráz.Egyes szerzők alternatív közelítést választanak, amelyet ** interpolált átlagos pontosságnak neveznek **.Zavaróan még mindig átlagos pontosságnak hívják.
néhány gyors kérdés: 1) miért kell koordinálni (visszahívás = 0, pontosság = 1)?nekem egyáltalán nincs értelme.2) amint észreveheti, ha csökkentjük az osztályozó küszöbét, több eredmény érkezhet, és ennek következtében a visszahívás nem növekedhet, de a pontosság változhat például 2 pozitív tétellel együtt, itt vannak a rangsorolt eredmények= [Hamis, igaz, hamis, hamis, igaz], tehát pr párok = [(p = 0, r = 0), (1/2, 1/2), (1/3, 1/2), (1/ 4, 1/2), (2/5, 2/2)], amint láthatja, r = 1/2 esetén 3 p (azaz 1/2, 1/3, 1/4), csakúgy, mint az Ön r = 0,8 grafikonján, rendben van, csak ugyanarra az x tengelyre rajzolja őket?
Haesun Park
2017-02-08 14:09:15 UTC
view on stackexchange narkive permalink

average_precision_score függvény második paraméterként bizalmat vagy valószínűséget vár.

ezért az alábbiak szerint kell használni, 

  átlagos_precision_score (y_test, clf.predict_proba (X_test) [:, 1])

és ez ugyanaz az eredménye a auc függvénynek.

A WEKA szoftver és a scikit-learning különböző példái CLF-pontszámot adnak, az AUC-t azonban nem.Lehetséges, hogy ez a CLF pontszám valójában valamilyen módon kapcsolódik az AUC-hoz, vagy akár AUC lehet?


ⓘ
Ezt a kérdést és választ automatikusan lefordították angol nyelvről.Az eredeti tartalom elérhető a stackexchange oldalon, amelyet köszönünk az cc by-sa 3.0 licencért, amely alatt terjesztik.
Loading...