الانحدار الخطي واللوجستي

طريقان إلى نفس الفكرة

قبل أن تبدأ

الفكرة الجوهرية

تبني هنا أبسط نموذجين يتعلّمان من البيانات. تبدأ بخط، ثم رقم يقيس بعده عن النقاط، ثم خطوات تقرّبه، ثم تحوّل الخط إلى احتمال فتصير عندك أداة تصنيف.

1النموذج معادلة خط

الانحدار الخطي يتعلّم وزنًا لكل مدخل وانحيازًا واحدًا. مع مدخل واحد هو المساحة، يصير النموذج خطًّا.

السعر ≈ w × المساحة + b. الوزن w هو كم يرتفع السعر لكل متر إضافي، والانحياز b هو نقطة البداية. «التدريب» يعني إيجاد قيمتي w وb اللتين تجعلان الخط أقرب ما يكون للنقاط.

انظر إلى الرسم: هذه هي القيم التي يتعلّمها النموذج من الشقق الست. الوزن 4.291 والانحياز 49.82، والشقة ذات 130 مترًا تخرج بسعر 607.7 ألف.

2الخسارة: متوسط مربّع الخطأ

نحتاج رقمًا واحدًا يقول كم الخط بعيد عن النقاط. هذا الرقم اسمه الخسارة.

لكل شقة، الخطأ هو الفرق بين السعر الحقيقي وما يقوله الخط. نربّع الأخطاء ونأخذ متوسطها، فنحصل على رقم واحد اسمه متوسط مربّع الخطأ MSE. التربيع يجعل الخطأ الكبير أغلى بكثير من الصغير، ويجعل الحساب سهل الاشتقاق.

انظر إلى الرسم: خطأ أكبر بأربع مرات يكلّف 16 مرة. والتربيع يمنع أيضًا أن يلغي خطأ موجب خطأً سالبًا.

3النزول بالميل

التدريب حلقة من أربع خطوات تتكرّر. انظر إلى الرسم: تنبّأ، ثم احسب الخطأ، ثم الميل، ثم حرّك الوزنين خطوة صغيرة، وعد.

هذا بالضبط ما فعلته في درس المشتقة، لكن الآن بوزنين بدل واحد. نوحّد المساحة أولًا (نطرح المتوسط ونقسم على الانحراف) حتى لا يكون الميل ضخمًا.

import numpy as np

area = np.array([60, 80, 100, 120, 150, 180], dtype=float)
price = np.array([310, 390, 480, 560, 700, 820], dtype=float)
x = (area - area.mean()) / area.std()

w, b = 0.0, 0.0
for step in range(200):
    pred = w * x + b
    error = pred - price
    w -= 0.1 * 2 * (error * x).mean()
    b -= 0.1 * 2 * error.mean()

mse = ((w * x + b - price) ** 2).mean()
print(f"w={w:.2f} b={b:.2f} mse={mse:.2f}")
print("predict 130 m2:", round(w * (130 - area.mean()) / area.std() + b, 1))

مئتا خطوة صغيرة أوصلتنا إلى خط يخطئ بأقل من 4 آلاف في المتوسط (جذر 14.68). والشقة ذات 130 مترًا سعرها المتوقّع 607.7 ألفًا. لاحظ أن b يساوي متوسط الأسعار تمامًا، لأن المساحة الموحّدة متوسطها صفر.

4السيغمويد وخسارة اللوغاريتم

الانحدار اللوجستي يأخذ نفس المجموع الموزون ويمرّره عبر السيغمويد. انظر إلى الرسم: أي رقم يخرج بين 0 و1، والصفر يصير 0.5 بالضبط.

السيغمويد تحوّل أي رقم إلى احتمال. وخسارة اللوغاريتم تقيس كم كان الاحتمال الذي أعطيته للجواب الصحيح منخفضًا.

import numpy as np


def sigmoid(z):
    return 1 / (1 + np.exp(-z))


def log_loss(y, p):
    return -(y * np.log(p) + (1 - y) * np.log(1 - p))


print([round(float(sigmoid(z)), 3) for z in [-4, -1, 0, 1, 4]])
for p in [0.9, 0.6, 0.1]:
    print(f"true=1 predicted={p} loss={log_loss(1, p):.3f}")

الصفر يصير 0.5 بالضبط، والأرقام الكبيرة تقترب من 1 بلا أن تصلها. والأهم في السطور الثلاثة الأخيرة: احتمال 0.9 للجواب الصحيح خسارته 0.105، و0.6 خسارته 0.511، أما 0.1، أي ثقة عالية في الجواب الخطأ، فخسارته 2.303، أي اثنان وعشرون ضعف الأولى. خسارة اللوغاريتم تعاقب الثقة الخاطئة أكثر بكثير مما تكافئ الصواب.

لهذا لا نستخدم المربّع هنا. خسارة اللوغاريتم تعاقب الثقة في الجواب الخطأ عقابًا شديدًا.

5من احتمال إلى قرار

رغم اسمه، الانحدار اللوجستي أداة تصنيف. يعطيك احتمالًا، والقرار يأتي من مقارنته بعتبة.

import numpy as np
from sklearn.linear_model import LogisticRegression

hours = np.array([1, 2, 3, 4, 5, 6, 7, 8, 9, 10], dtype=float).reshape(-1, 1)
passed = np.array([0, 0, 0, 0, 1, 0, 1, 1, 1, 1])
model = LogisticRegression().fit(hours, passed)
for h in [2, 5, 8]:
    p = model.predict_proba([[h]])[0, 1]
    print(f"{h} hours -> P(pass)={p:.2f} -> {model.predict([[h]])[0]}")

predict_proba يعطي الاحتمال، وpredict يقارنه بعتبة 0.5 ثابتة. الطالب الذي ذاكر خمس ساعات احتماله 0.39 فيُصنَّف راسبًا، رغم أن أحد الطلاب في البيانات نجح بخمس ساعات. العتبة 0.5 ليست مقدّسة، وفي درس المقاييس ستختارها بنفسك حسب تكلفة كل خطأ.

كيف يعمل، خطوة بخطوة: كيف يتعلّم الانحدار الخطي خطّه

مثال محلول

عندك ست شقق بمساحاتها وأسعارها، وتريد سعر شقة سابعة. الانحدار الخطي يرسم أفضل خط مستقيم يمر بين النقاط، ثم يقرأ السعر من الخط.

مثال: نفس الخط بثلاثة أسطر

scikit-learn يتوقّع المدخلات كجدول ثنائي الأبعاد، صف لكل عيّنة وعمود لكل مدخل، لهذا نستخدم reshape(-1, 1) حتى مع مدخل واحد.

import numpy as np
from sklearn.linear_model import LinearRegression

area = np.array([60, 80, 100, 120, 150, 180], dtype=float).reshape(-1, 1)
price = np.array([310, 390, 480, 560, 700, 820], dtype=float)
model = LinearRegression().fit(area, price)
print(f"slope={model.coef_[0]:.3f} intercept={model.intercept_:.2f}")
print("predict 130 m2:", round(model.predict([[130]])[0], 1))

نفس التنبّؤ تمامًا: 607.7. والميل 4.291 يعني أن كل متر إضافي يرفع السعر بنحو 4.3 آلاف. هذه قابلية التفسير هي ما يجعل الانحدار الخطي مفضّلًا عندما يسأل أحد «لماذا هذا السعر؟».

جرّب بلا كود

خرافة مقابل حقيقة

جرّب بنفسك

بطاقات مراجعة سريعة

تحقق من فهمك