مراقبة النماذج والانحراف

طريقان إلى نفس الفكرة

قبل أن تبدأ

الفكرة الجوهرية

1PSI: قياس الانحراف

مؤشر ثبات المجتمع يقارن نسب كل فئة بين التدريب والإنتاج. تحت 0.1 مستقر، و0.1 إلى 0.2 راقب، وفوق 0.2 انحراف كبير:

import math

def psi(expected, actual):
    total = 0.0
    for e, a in zip(expected, actual):
        e, a = max(e, 1e-4), max(a, 1e-4)
        total += (a - e) * math.log(a / e)
    return round(total, 3)

# share of users per age bucket: 18-24, 25-34, 35-44, 45+
training = [0.30, 0.40, 0.20, 0.10]
week_1 = [0.29, 0.41, 0.20, 0.10]
week_9 = [0.12, 0.30, 0.28, 0.30]

for name, prod in [("week 1", week_1), ("week 9", week_9)]:
    score = psi(training, prod)
    status = "stable" if score < 0.1 else "watch" if score < 0.2 else "DRIFT"
    print(name, score, status)

2المراقبة بلا تسميات

في أغلب الأحيان لا تعرف الإجابة الصحيحة فورًا. راقب ما تستطيع: توزيع المدخلات، ونسبة كل تنبؤ، ومتوسط الثقة. لو كان النموذج يقول «احتيال» في 2% دائمًا وصار 9%، فشيء تغيّر:

from statistics import mean

baseline = {"fraud_rate": 0.02, "confidence": 0.91}
today = [{"pred": "fraud", "conf": 0.55}] * 9 + [{"pred": "ok", "conf": 0.80}] * 91

fraud_rate = sum(p["pred"] == "fraud" for p in today) / len(today)
confidence = mean(p["conf"] for p in today)

if fraud_rate > baseline["fraud_rate"] * 2:
    print(f"ALERT: fraud rate {fraud_rate:.0%} vs {baseline['fraud_rate']:.0%} baseline")
if confidence < baseline["confidence"] - 0.1:
    print(f"ALERT: mean confidence {confidence:.2f} vs {baseline['confidence']:.2f}")

3النشر بالظل والكناري

قبل أن يستبدل النموذج الجديد القديم: في الظل يستقبل نفس الطلبات ويُسجّل تنبؤاته دون استخدامها، فتقارنها بالقديم وبالتسميات حين تصل. ثم كناري: نسبة صغيرة من المستخدمين ترى النموذج الجديد، وتزيد تدريجيًا إن بقيت المقاييس سليمة.

مثال محلول

المسألة: نموذج تصنيف تذاكر الدعم دقته 92% عند النشر، وبعد 3 أشهر يشتكي الفريق من تصنيفات غريبة. القياس: PSI لطول النص 0.31، وتوزيع الكلمات يظهر مصطلحات منتج جديد لم تكن في التدريب. الحل: جمع 2000 تذكرة حديثة مُصنفة، إعادة التدريب بالخط المسجل، تقييم على بيانات الشهر الأخير (90%)، نشر بالظل أسبوعًا، ثم الاستبدال. وتنبيه دائم على PSI > 0.2.

خرافة مقابل حقيقة

اختبر فهمك

بطاقات مراجعة سريعة

تحقق من فهمك