Egy automatikus címkéző 97%-os pontosságot mutat az ügyfélszolgálati leveleken. Ez jól hangozhat, mégis kihagyhatja a fontosnak jelölt ügyek jelentős részét. Ritkább kategóriánál az összes helyes döntés aránya önmagában kevés a használhatóság megítéléséhez.
A következő saját tesztben 1000 üzenetet vizsgálunk, amelyek valódi címkéjét előzetesen ellenőriztük. Közülük 60 tartozik a kijelölt, kézi figyelmet igénylő kategóriába, 940 pedig nem. A példa nem valós ügyfélszolgálati teljesítménymérés.
Írd fel a négy darabszámot
A rendszer 40 valóban érintett ügyet helyesen megjelöl. További 10 üzenetet tévesen jelöl meg. 20 valóban érintett ügyet kihagy, és 930 másik üzenetet helyesen hagy jelöletlenül.
Az ellenőrző összegek fontosak: 40 + 20 = 60 valódi eset, 10 + 930 = 940 egyéb üzenet. A rendszer összesen 40 + 10 = 50 levelet ad át kézi ellenőrzésre. A teljes darabszám 1000.
A Google osztályozási útmutatója ebből a négy mezőből vezeti le a különböző mutatókat. A saját példában a kézzel ellenőrzött referenciacímke minőségét adottnak feltételezzük.
Három kérdésre három százalék válaszol
Az összes döntésből 40 + 930 = 970 helyes. Az accuracy, vagyis a teljes pontosság 970/1000 = 97%.
A megjelölt 50 üzenetből 40 valóban a keresett kategóriába tartozik. A precision 40/50 = 80%. Ez a kijelzett találatok megbízhatóságát írja le: öt átadott üzenetből átlagosan négy valódi eset ebben a tesztben.
A 60 valódi esetből 40-et talált meg a rendszer. A recall 40/60 ≈ 66,67%. A fontosnak definiált ügyek harmada tehát kimaradt, miközben a teljes pontosság 97%.
Az F1 ebben a példában 2 × 40 / (2 × 40 + 10 + 20) ≈ 72,73%. Ez egy összesített mutató, de a téves jelzés és a kihagyás üzleti költségét önmagában nem tartalmazza.
Egy másik küszöb más munkaterhelést adhat
Tegyük fel, hogy a megváltoztatott beállítás 50 valódi ügyet talál meg, 40 másikat tévesen jelöl meg, 10 valódi esetet kihagy, és 900 egyéb levelet helyesen hagy jelöletlenül.
A teljes pontosság 95%, a precision 55,56%, a recall 83,33%. A kézi ellenőrzésre kerülő levelek száma 90, a korábbi 50 helyett. Több valódi ügy kerül elő, de negyven további levelet kell átnézni, és több közöttük a téves találat.
A kapacitás-kalkulátor az emberi feldolgozás külön időigényének ellenőrzéséhez kapcsolható. A modellküszöb kiválasztását a kihagyás következménye, az ellenőrzési költség és a rendelkezésre álló kapacitás együtt befolyásolja.
A legegyszerűbb viszonyítási alapot se hagyd ki
Egy mindent jelöletlenül hagyó rendszer ebben a tesztben 940/1000 = 94% teljes pontosságot érne el. A valódi esetek felismerési aránya ugyanakkor 0% lenne. Ez jól mutatja, miért lehet félrevezető egyetlen nagy százalék.
A százalékkalkulátorral ellenőrizd a saját nevezőidet, és a jelentésben a darabszámok is maradjanak láthatók. Más időszakban vagy eltérő ügyösszetételnél új teszt szükséges. A tesztmintán mért arányt ne nevezd automatikusan minden jövőbeli levélre érvényes teljesítménynek.
A több találat emberi időigényét is számold végig
Az első beállítás 50, a második 90 levelet küld kézi ellenőrzésre. Tegyük fel, hogy egy jelzés átnézése átlagosan három perc. A két változat így 150 és 270 percet igényel ugyanebben az ezerüzenetes mintában. A második tíz további valódi ügyet talál meg, ezért a többletellenőrzés 120/10 = 12 perc minden további megtalált ügyre.
Egy külön, kifejezetten feltételezett munkatehermodellben a kihagyott ügy utólagos rendezése legyen átlagosan 20 perc többletmunka. A jelzések átnézését és ezt az utólagos többletet számoljuk össze; az egyéb, mindkét változatban közös ügyintézés nincs ebben a mutatóban. Az első beállítás 150 + 20 × 20 = 550 perc, a második 270 + 10 × 20 = 470 perc becsült terhelést ad.
A két beállítás a modellben akkor egyenértékű, ha egy kihagyott ügy többlete 12 perc: mindkettő 390 percet eredményez. Ennél nagyobb többletteher a második, kisebb az első változat felé módosítja ezt az egy szempontot. A tényleges következményeket a saját folyamataidból kell meghatározni; az itt használt percek feltételezések.
Kapacitáskorlát is lehet: ha az aznapi jelzések átnézésére 240 perc áll rendelkezésre, a 270 perces második beállítás 30 perccel meghaladja a keretet. A kisebb becsült összmunka mellett is szükség lehet más időbeosztásra vagy további kapacitásra. A Google osztályozási útmutatója ezért a mutató kiválasztását a feladathoz és a hibák következményeihez köti.
Gyakori kérdések
A nagyobb accuracy mindig jobb rendszert jelent?
Nem feltétlenül. A ritka, fontos esetek felismerését és a tévedések eltérő következményeit külön is vizsgálni kell.
Mi van, ha a rendszer egyetlen levelet sem jelöl meg?
A precision nevezője nulla, ezért a mutató nem értelmezhető ugyanazzal az osztással. A nulla találatszámot és a kihagyott valódi eseteket mutasd meg.
A 90 jelzés miatt biztosan jobb a második beállítás?
Több valódi esetet talál, de több téves jelzést is ad. Az üzleti döntéshez a két hibatípus költsége és a kézi feldolgozás kapacitása is kell.
Záró tudáspróba
Válassz kérdésenként egy választ. A megoldások ellenőrzése után minden helyes válaszért 1 pontot adj magadnak; a hibás, kihagyott vagy több válasszal megjelölt kérdés 0 pont. Összesen 0–3 pont szerezhető.
1. Az első beállítás 50 jelzéséből 40 valódi eset. Mit jelent a 80%?
- A) A precisiont: a jelzések között a valódi esetek arányát.
- B) A recallt: az összes valódi esetből felismert arányt.
- C) Az összes üzenetre vonatkozó pontosságot.
2. A második beállítás 90 jelzést ad, egy átnézés három perc. Belefér a 240 perces napi ellenőrzési keretbe?
- A) Igen, mert a recall magasabb.
- B) Nem; 270 perc kell, 30 perccel több a keretnél.
- C) Igen, mert 90 kisebb 240-nél.
3. A második beállítás tíz további valódi ügyet talál 120 perc további átnézéssel. Mekkora az egy további találatra jutó ellenőrzési idő?
- A) 120 perc.
- B) 3 perc.
- C) 12 perc.
Megoldások és pontszám
1. A. A nevező az 50 jelzés. A recall nevezője 60 valódi eset, a teljes pontosságé 1000 üzenet lenne.
2. B. A levelek számát időre kell váltani: 90 × 3 = 270 perc. A kapacitást azonos egységben lehet összevetni.
3. C. 120/10 = 12 perc. Ez a többletellenőrzés és a többlettalálat aránya, nem az egyetlen levélre jutó háromperces idő.
3 pont: A különböző nevezőket és a tényleges munkaterhelést is figyelembe vetted. A saját küszöbödhöz a kihagyások következményét és az ellenőrzési kapacitást is add meg.
2 pont: Az 1. kérdéshez az 50 jelzés nevezőjét, a 2.-hoz a 270 perces terhelést, a 3.-hoz a tíz további megtalált ügyet nézd át.
0–1 pont: Írd fel a négy darabszámot, majd külön számold a jelzések számát és a kihagyott eseteket. Ezekből készíts időbecslést, mielőtt a két beállítás közül választasz.