تشغيل الضبط

طريقان إلى نفس الفكرة

قبل أن تبدأ

الفكرة الجوهرية

أول تشغيل ضبط ينتهي غالبًا بنفاد الذاكرة. في هذا الدرس ترى أين تذهب الذاكرة، ثم كيف تصغّر الدفعة بلا خسارة، ثم الإعدادات التي تغيّرها أولًا، ثم كيف تقرأ المنحنى.

1أين تذهب الذاكرة

الذاكرة في التدريب تذهب إلى أربعة أشياء: الأوزان، وتدرّجاتها، وحالة المحسّن (Adam يحفظ رقمين لكل معامل)، والتنشيطات المحفوظة للمرور الخلفي.

انظر إلى الرسم: لنموذج 7B، الضبط الكامل يحتاج 84 جيجابايت قبل التنشيطات، وLoRA نحو 14، وQLoRA نحو 4.

def gb(n_bytes):
    return n_bytes / 1e9

P = 7e9                         # a 7B model
lora = 40e6                     # trainable LoRA parameters, about 0.6%

full = P * 2 + P * 2 + P * 8    # bf16 weights + bf16 grads + Adam's two fp32 states
lora_bf16 = P * 2 + lora * (2 + 8)
qlora = P * 0.5 + lora * (2 + 8)   # base weights in 4 bits

print(f"full fine-tuning:   {gb(full):6.1f} GB  (+ activations)")
print(f"LoRA on bf16 base:  {gb(lora_bf16):6.1f} GB  (+ activations)")
print(f"QLoRA on 4-bit base:{gb(qlora):6.1f} GB  (+ activations)")

الضبط الكامل لنموذج 7B يحتاج 84 غيغابايت قبل التنشيطات، أي أكثر من أكبر بطاقة شائعة. LoRA يزيل التدرّجات وحالة المحسّن لكل الأوزان المجمّدة فيصير 14 غيغابايت. وQLoRA يضغط النموذج الأساسي نفسه إلى 4 بتات فيصير 4 غيغابايت تقريبًا. هذا ما جعل الضبط ممكنًا على بطاقة واحدة عادية.

2الدفعة وتجميع التدرّجات

التنشيطات تتناسب مع حجم الدفعة، فهي أول ما تخفّضه. دفعة 1 أو 2 لكل بطاقة أمر طبيعي في ضبط النماذج الكبيرة.

انظر إلى الرسم: أربع دفعات صغيرة من 8 تُجمع تدرّجاتها، ثم خطوة محسّن واحدة. هذه دفعة فعلية من 32 بذاكرة دفعة من 8.

تدرّج دفعة من 32 مثالًا، مقابل جمع تدرّجات أربع دفعات من 8.

import numpy as np

rng = np.random.default_rng(0)
X = rng.normal(size=(32, 3))
y = X @ np.array([1.0, -2.0, 0.5]) + rng.normal(scale=0.1, size=32)
w = np.zeros(3)

def grad(Xb, yb, w):
    return 2 * Xb.T @ (Xb @ w - yb) / len(yb)       # mean squared error gradient

big = grad(X, y, w)                                  # one batch of 32

accum = np.zeros(3)
for i in range(4):                                   # four micro-batches of 8
    accum += grad(X[i * 8:(i + 1) * 8], y[i * 8:(i + 1) * 8], w) / 4   # divide by the number of steps
print("batch of 32:        ", big.round(4))
print("4 x 8, accumulated: ", accum.round(4))
print("identical:", bool(np.allclose(big, accum)))

متطابقان تمامًا، بشرط القسمة على عدد الخطوات (/ 4)، لأن كل تدرّج صغير متوسط على 8 لا مجموع. نسيان هذه القسمة يجعل التدرّج أكبر بأربع مرات، كأنك ضاعفت معدّل التعلّم أربع مرات دون أن تدري. المكتبات تتولّاها عنك، وهذا سبب أن ترى خسارة مقسومة على gradient_accumulation_steps في كود التدريب اليدوي.

3الإعدادات التي تغيّرها أولًا

ثلاثة إعدادات أولًا: معدّل التعلّم (1e-4 إلى 3e-4 مع LoRA)، وعدد الحقب (1 إلى 3)، والدفعة الفعلية (16 إلى 64 عبر التجميع). اترك الباقي على الافتراضي حتى تعمل هذه.

ثم bf16، فهو يقسم ذاكرة الأوزان والتنشيطات على اثنين بلا مشاكل الفيض التي في fp16. وإن بقيت دفعة من 1 أكبر من الذاكرة، فشغّل gradient checkpointing.

from trl import SFTConfig, SFTTrainer

config = SFTConfig(
    output_dir="runs/lora-r16-lr2e-4",
    per_device_train_batch_size=2,
    gradient_accumulation_steps=16,      # effective batch = 2 x 16 = 32
    learning_rate=2e-4,
    num_train_epochs=2,
    bf16=True,
    gradient_checkpointing=True,
    max_length=1024,                     # chosen after printing the length distribution
    eval_strategy="steps", eval_steps=50,
    save_strategy="steps", save_steps=50,
    load_best_model_at_end=True,          # keep the checkpoint with the lowest validation loss
    logging_steps=10,
)
trainer = SFTTrainer(model=model, args=config, train_dataset=train, eval_dataset=val)
trainer.train()

اسم مجلّد الإخراج يحمل الإعدادات التي تغيّرها، فتعرف من الاسم وحده ما الفرق بين تشغيلين. وload_best_model_at_end مع eval_steps يحفظ تلقائيًّا النقطة ذات أدنى خسارة تحقّق، فلا يضرّك إن استمرّ التدريب بعد بداية الحفظ.

4قراءة المنحنى

خسارة التدريب تنخفض بسلاسة، وخسارة التحقّق تتبعها. إن صعد التحقّق والتدريب ينزل فهذا حفظ، فأوقف وخذ أفضل نقطة تفتيش.

انظر إلى الرسم: كل 50 خطوة تنظر إلى الخسارتين معًا، وإلى عيّنة من مخرجات النموذج بعينك.

كيف يعمل، خطوة بخطوة: كيف تصل من نفاد الذاكرة إلى تشغيل ناجح

أعمق قليلًا

تقنية أخرى توفّر ذاكرة كبيرة: نقاط التفتيش للتدرّج (Gradient checkpointing). بدل حفظ كل التنشيطات للتمرير الخلفي، يحفظ بعضها ويعيد حساب الباقي عند الحاجة. التدريب يبطؤ نحو 30%، والذاكرة تنخفض كثيرًا. فعّلها حين لا تكفي الدفعة 1.

مثال محلول

الذاكرة في التدريب تذهب إلى أربعة أشياء: الأوزان، وتدرّجاتها، وحالة المحسّن (Adam يحفظ رقمين لكل معامل)، والتنشيطات المحفوظة للتمرير الخلفي. الثلاثة الأولى تُحسب بالضرب، والرابعة تكبر مع حجم الدفعة وطول التسلسل.

جرّب بلا كود

خرافة مقابل حقيقة

جرّب بنفسك

بطاقات مراجعة سريعة

تحقق من فهمك