المقاييس

طريقان إلى نفس الفكرة

قبل أن تبدأ

الفكرة الجوهرية

الدقة تكذب عندما تكون الفئات غير متوازنة. تبدأ هنا بمثال تكذب فيه، ثم تستبدلها بسؤالين، ثم تحسبهما من أربع خانات، ثم تحرّك العتبة بينهما.

1لماذا تضلّل الدقة

مستشفى يجري 100 فحص، خمسة منها لمرضى فعلًا. نموذج كسول يقول «سليم» للجميع.

import numpy as np
from sklearn.metrics import accuracy_score, precision_score, recall_score

y_true = np.array([0] * 95 + [1] * 5)
lazy = np.zeros(100, dtype=int)
print("accuracy :", accuracy_score(y_true, lazy))
print("recall   :", recall_score(y_true, lazy))
print("precision:", precision_score(y_true, lazy, zero_division=0))

دقة 95%، واستدعاء صفر: لم يكتشف ولا مريضًا واحدًا. الرقم الأول يقول «ممتاز»، والثاني يقول الحقيقة.

انظر إلى الرسم: الدقة تعامل كل الأخطاء كأنها متساوية، فتغرق الفئة النادرة في الأكثرية.

2سؤالان بدل سؤال واحد

كل تنبّؤ يقع في خانة من أربع. انظر إلى الرسم: النموذج قال إيجابي أو سلبي، والحقيقة إيجابية أو سلبية.

الاستدعاء: من بين كل الحالات الإيجابية الحقيقية، كم اكتشفنا؟ الدقة الإيجابية (Precision): من بين كل ما قلنا إنه إيجابي، كم كان فعلًا إيجابيًا؟ الأول يعاقب التفويت، والثاني يعاقب الإنذار الكاذب.

الدقة الإيجابية = TP / (TP + FP)، وتنخفض مع كل إنذار كاذب. الاستدعاء = TP / (TP + FN)، وينخفض مع كل حالة فائتة، وهي غالبًا الخطأ الأغلى.

3من المصفوفة إلى المقاييس

مصفوفة الالتباس هي هذه الخانات الأربع في جدول. كل مقياس تصنيف آخر يُحسب منها.

اثنا عشر تنبّؤًا، أربع حالات إيجابية حقيقية. احسب الخانات الأربع ثم المقاييس منها.

from sklearn.metrics import confusion_matrix, f1_score, precision_score, recall_score

y_true = [1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0]
y_pred = [1, 1, 1, 0, 1, 1, 0, 0, 0, 0, 0, 0]
tn, fp, fn, tp = confusion_matrix(y_true, y_pred).ravel()
print(f"TP={tp} FP={fp} FN={fn} TN={tn}")
print(f"precision={precision_score(y_true, y_pred):.2f}")
print(f"recall   ={recall_score(y_true, y_pred):.2f}")
print(f"f1       ={f1_score(y_true, y_pred):.2f}")

الدقة الإيجابية 3 / (3 + 2) = 0.60: من خمسة تنبيهات، ثلاثة صحيحة. الاستدعاء 3 / (3 + 1) = 0.75: من أربع حالات، التقطنا ثلاثًا. احسبهما بيدك من الخانات مرة، وستتذكّرهما بعدها دائمًا. وانتبه لترتيب ravel() في scikit-learn: tn, fp, fn, tp.

F1 يجمع الاثنين في رقم واحد، لكنه يفترض أن الخطأين متساويان، وهذا نادر.

4العتبة تحرّك المقايضة

النموذج يعطي احتمالًا، والعتبة تقرّر متى نقول «إيجابي». انظر إلى الرسم: كلما رفعت العتبة ارتفعت الدقة الإيجابية ونزل الاستدعاء.

نموذج واحد، وثلاث عتبات. الاحتمالات نفسها لا تتغيّر، فقط النقطة التي نقول عندها «إيجابي».

from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import precision_score, recall_score
from sklearn.model_selection import train_test_split

X, y = make_classification(n_samples=2000, weights=[0.9], random_state=1)
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.5, random_state=1, stratify=y)
proba = LogisticRegression().fit(X_tr, y_tr).predict_proba(X_te)[:, 1]
for t in [0.2, 0.5, 0.8]:
    pred = (proba >= t).astype(int)
    print(f"threshold={t} precision={precision_score(y_te, pred):.2f} recall={recall_score(y_te, pred):.2f}")

عند 0.2 نلتقط 88% من الحالات لكن ثلث تنبيهاتنا كاذبة. عند 0.8 تنبيهاتنا صحيحة بنسبة 93% لكننا نفوّت نصف الحالات. لا توجد عتبة «صحيحة» رياضيًا، توجد عتبة صحيحة لتكلفة أخطائك. ولأنك تختارها، اخترها على التحقّق ثم أكّدها على الاختبار.

كيف يعمل، خطوة بخطوة: كيف تختار عتبة التصنيف

أعمق قليلًا

مثال محلول

مستشفى فيه 100 فحص، خمسة منها لمرضى فعلًا. نموذج كسول يقول «سليم» للجميع.

جرّب بلا كود

خرافة مقابل حقيقة

جرّب بنفسك

بطاقات مراجعة سريعة

تحقق من فهمك