Osztályozás értékelése - a természet módszerei

természet

Tárgyak

  • Kiadvány
  • Kutatási adatok
  • statisztikai módszerek
  • A cikk hibajavítását 2016. szeptember 29-én tették közzé.

Ez a cikk frissült

Fontos megérteni, hogy egy rangsorolási mutató mit fejez ki és mit rejt.

A múlt hónapban megvizsgáltuk a logisztikai regresszió használatát az osztályozáshoz, amelyben az adatképzési osztály előrejelzésére az 1. edzés adatai alapján kerül sor. Ebben a hónapban megvitattuk, hogyan lehet értékelni az osztályozó teljesítményét egy tesztkészleten - olyan adatokon, amelyeket nem használtak fel a képzéshez, és amelyekről a valódi besorolás ismert. Az osztályozókat általában numerikus metrika, például precizitás, vagy a teljesítmény grafikus ábrázolása, például vevő működési jellemzői (ROC) görbe segítségével értékelik. Megvizsgálunk néhány általános osztályozó mutatót, és megvitatjuk az egyetlen mutatóra hagyatkozás buktatóit.

A mutatók segítenek megérteni az osztályozó működését; sok elérhető, némelyik számos beállítható paraméterrel. A mutatók megértése kritikus jelentőséggel bír mások jelentéseinek értékelése szempontjából is: ha egy tanulmány csak egy mutatót mutat be, akkor megkérdőjelezhetjük az osztályozó teljesítményét, ha más mérőszámokkal értékeljük. A metrika kiválasztásának folyamatának szemléltetésére hipotetikus diagnosztikai tesztet fogunk szimulálni. Ez a teszt több klinikai tényező alapján osztályozza a fatális betegségben szenvedő vagy anélkül szenvedő beteget. Az osztályozó értékelésekor csak a teszt eredményeit vesszük figyelembe; sem az alapul szolgáló osztályozási mechanizmus, sem a mögöttes klinikai tényezők nem relevánsak.

A rangsorolási mutatókat valódi pozitív (TP), hamis pozitív (FP), hamis negatív (FN) és valódi negatív (TN) alapján számítják ki, amelyek mindegyikét az úgynevezett összetévesztési mátrix tartalmazza (1. ábra). Mind a négy mennyiség relevanciája az osztályozó céljától függ, és motiválja a mutató kiválasztását. Annak az orvosi vizsgálathoz, amely meghatározza, hogy a betegek olcsó, biztonságos és hatékony kezelést kapnak-e, az FP-k nem lennének olyan fontosak, mint az FN-ek, amelyek olyan betegeket képviselnek, akik megfelelő kezelés nélkül szenvedhetnek. Ezzel szemben, ha a kezelés kísérleti gyógyszer lenne, nagyon konzervatív tesztre lenne szükség, kevés FP-vel, hogy elkerüljék a gyógyszer tesztelését nem érintett egyéneknél.

A kék és a szürke körök pozitív (TP + FN) és negatív (FP + TN) eseteket jeleznek, a kék és szürke háttér/négyzetek pedig pozitívnak (TP + FP) és negatívnak (FN + TN) jósolt eseteket jelölik, illetőleg. Az egyes mutatók kiszámításához használt egyenleteket grafikusan kódolják a zavaros mátrixban lévő mennyiségek szempontjából. FDR, hamis felfedezési arány.

Teljes méretű kép

( a - d ) Mindegyik panel három különböző besorolási forgatókönyvet jelenít meg, a táblázatban a megfelelő pontosság (ac), érzékenység (sn), precizitás (pr), F 1 pontszám (F 1) és Matthews korrelációs együttható (MCC) megfelelő értékeivel. A csoport forgatókönyveinek értéke ugyanaz (0,8) az összes táblázat félkövér betűvel szedett metrikájához: ( nak nek ) pontosság, ( ) érzékenység (helyreállítás), ( c ) pontosság és ( d ) F pontszám 1. Minden panelen piros vonallal áthúzzák azokat a megfigyeléseket, amelyek nem járulnak hozzá a megfelelő mutatóhoz. A színkódolás megegyezik az 1. ábrán láthatóval; Például a kék körök (pozitívnak mondható esetek) egy szürke háttéren (amelyek negatívnak számítanak) FN.

Teljes méretű kép

Ideális esetben egy orvosi vizsgálatnak nagyon alacsony az FN és az FP száma. Azoknál az embereknél, akik nem szenvednek betegségben, nem szabad felesleges kezelést kapni, és nem terhelhetik őket a pozitív teszt eredményének stresszével, és akiknek van ilyen betegségük, nem szabad hamis optimizmust adni a betegségtől mentesnek. Számos összesített mutatót javasoltak az értékelés rangsorolásához, amelyek teljesebben összefoglalják a zavaros mátrixot. A legnépszerűbb az F β pontszám, amely a β paraméter segítségével szabályozza a visszahívás és a pontosság egyensúlyát, és F F = (1 + β 2) (Precízió × Helyreállítás)/(β2 × Precízió + Helyreállítás). A β csökkenésével a pontosság nagyobb súlyt kap. Β = 1 esetén megvan az általánosan használt F 1 pontszám, amely egyenlően egyensúlyozza a felidézést és a pontosságot, és az egyszerűbb egyenletre redukálja a 2TP/(2TP + FP + FN).