التكميم والتسريع

طريقان إلى نفس الفكرة

قبل أن تبدأ

الفكرة الجوهرية

التكميم يخزّن الأوزان بدقة أقل. تبدأ هنا بـ bf16، ثم تكمّم مصفوفة بيدك، ثم تقيس الأثر على مهمة حقيقية، ثم تحمّل نموذجًا لغويًا مكمّمًا.

1دقة أقل: bf16

كل وزن في fp32 يأخذ 4 بايتات. bf16 يأخذ 2 بلا خسارة تُذكر تقريبًا، وهو اليوم الافتراضي لأي نموذج على بطاقة حديثة.

انظر إلى الرسم: مصفوفة 1024 في 1024 بكل دقة. كل خطوة للأسفل تقسم الذاكرة على 2.

2التكميم: مقياس وتقريب

لكل صف من الأوزان أكبر قيمة مطلقة. نقسم الصف على مقياس يجعل هذه القيمة 127 في 8 بتات، ونقرّب إلى أقرب عدد صحيح.

انظر إلى الرسم: عند الاستخدام نضرب في المقياس مرة أخرى. ما يضيع هو كسور التقريب.

import numpy as np

rng = np.random.default_rng(0)
W = rng.normal(scale=0.05, size=(1024, 1024)).astype(np.float32)

def quantize(w, bits):
    levels = 2 ** (bits - 1) - 1                     # 127 for int8, 7 for int4
    scale = np.abs(w).max(axis=1, keepdims=True) / levels   # one scale per row
    q = np.round(w / scale).clip(-levels, levels)
    return q, scale

for bits in [8, 4]:
    q, scale = quantize(W, bits)
    restored = q * scale
    err = np.abs(W - restored).mean() / np.abs(W).mean()
    size = W.size * bits / 8 / 1e6
    print(f"int{bits}: {size:.2f} MB instead of {W.nbytes / 1e6:.2f} MB, mean relative error {err:.1%}")

8 بتات: ربع الحجم بخطأ أقل من 1%. 4 بتات: ثُمن الحجم بخطأ 15% في الأوزان. لكن خطأ الأوزان ليس ما يهمّ، بل خطأ المخرجات في مهمتك، وقد يكون أصغر بكثير لأن الأخطاء العشوائية تلغي بعضها جزئيًّا. هذا ما نقيسه في المثال التالي.

3قِس على مهمتك

خطأ الأوزان ليس ما يهم. يهمّ خطأ الناتج على مهمتك، ونقيسه برقمين: الدقة، ونسبة الأجوبة المطابقة للنموذج الأصلي.

انظر إلى الرسم: 8 بتات تطابق كل شيء، و4 بتات تطابق تقريبًا، و2 بت تنهار.

مصنّف أرقام مدرّب، ونكمّم أوزانه إلى 8 و4 و2 بت، ونقيس الدقة ونسبة الإجابات المطابقة للأصل.

import numpy as np
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

X, y = load_digits(return_X_y=True)
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.3, random_state=0)
model = LogisticRegression(max_iter=2000).fit(X_tr / 16, y_tr)
W, b = model.coef_.copy(), model.intercept_

def predict(weights):
    return np.argmax(X_te / 16 @ weights.T + b, axis=1)

def quantize(w, bits):
    levels = 2 ** (bits - 1) - 1
    scale = np.abs(w).max(axis=1, keepdims=True) / levels
    return np.round(w / scale).clip(-levels, levels) * scale

base = predict(W)
print(f"float32: accuracy {np.mean(base == y_te):.3f}")
for bits in [8, 4, 2]:
    p = predict(quantize(W, bits))
    print(f"int{bits}:    accuracy {np.mean(p == y_te):.3f}   same answer as float32 on {np.mean(p == base):.1%} of inputs")

8 بتات: نفس الدقة ونفس الإجابة على كل المدخلات. 4 بتات: خسارة 0.7 نقطة، وإجابة مختلفة في نحو 2% من المدخلات. 2 بت: انهيار. لاحظ أن خطأ الأوزان عند 4 بتات كان 15%، لكن خطأ المهمة أقل من نقطة. ولاحظ أيضًا نسبة التطابق: حتى حين تتشابه الدقة، الـ2% المختلفة قد تكون حالات مهمة، فاقرأها.

الخسارة تظهر أولًا في المهام الصعبة: الحساب والاستدلال الطويل واللغات الأقل تمثيلًا. المهام البسيطة تتأثّر أقل.

4نموذج لغوي مكمّم في الواقع

مع النماذج اللغوية لا تكتب التكميم بيدك. مكتبة bitsandbytes تحمّل النموذج بأربع بتات مباشرة، و7 مليارات وزن تنزل من نحو 15 غيغابايت إلى نحو 5.

from transformers import AutoModelForCausalLM, BitsAndBytesConfig

quant = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4",
                           bnb_4bit_compute_dtype="bfloat16")
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-7B-Instruct", quantization_config=quant)
print(model.get_memory_footprint() / 1e9, "GB")   # about 5 GB instead of about 15 GB in bf16

nf4 نوع 4 بتات مصمّم لتوزيع أوزان الشبكات العصبية، وcompute_dtype يجعل الحساب نفسه بـbf16 بعد فكّ الضغط. شغّل المجموعة المجمّدة على هذا النموذج وعلى نسخة bf16، وضع الرقمين في جدول قبل أن تقرّر.

كيف يعمل، خطوة بخطوة: كيف يُكمَّم صف من الأوزان

مثال محلول

الفكرة: كل صف من الأوزان له أكبر قيمة مطلقة. نقسم الصف على مقياس يجعل هذه القيمة 127 (لـ8 بتات)، ونقرّب لأقرب عدد صحيح. عند الاستخدام نضرب في المقياس مرة أخرى. ما ضاع هو كسور التقريب.

جرّب بلا كود

خرافة مقابل حقيقة

جرّب بنفسك

بطاقات مراجعة سريعة

تحقق من فهمك