الموتر

طريقان إلى نفس الفكرة

قبل أن تبدأ

الفكرة الجوهرية

الموتر مصفوفة تعرفها من NumPy، ومعها صفتان إضافيتان. في هذا الدرس تقرأ صفاته الثلاث، ثم تفهم البعد الذي يختفي، ثم تغيّر الشكل، ثم ترى كيف يقرّر النوع حجم الذاكرة.

1الشكل والنوع والجهاز

كل موتر له ثلاث صفات: الشكل يقول كم عنصرًا في كل بعد، والنوع يقول كيف يُخزَّن كل رقم، والجهاز يقول أين يعيش. أغلب أخطائك في PyTorch خلاف على واحدة منها.

البعد الأول في الشكل تقريبًا دائمًا حجم الدفعة، لأن النموذج يعالج عدة أمثلة معًا. والنوع float32 للأوزان والمدخلات، وtorch.long لأرقام الفئات.

انظر إلى الرسم: الموتر x في المثال التالي شكله (2, 3)، أي صفّان في كل صف ثلاثة أرقام. اطبع هذه الصفات الثلاث قبل أي شيء آخر.

2البعد الذي يختفي: dim

عمليات مثل sum وmean تطوي بعدًا كاملًا في رقم واحد. أنت تختار هذا البعد بـdim. انظر إلى الرسم: النافذة تمرّ على الأعمدة، وكل عمود من رقمين يصير رقمًا واحدًا.

هذا الكود يحتاج PyTorch على جهازك، فالناتج المعروض مسجَّل من تشغيل حقيقي. ثبّته بـpip install torch وشغّله بنفسك.

import torch

x = torch.tensor([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]])
print(x.shape, x.dtype, x.device)
print(x.sum(dim=0))
print(x.sum(dim=1))
print(x.mean(dim=1, keepdim=True).shape)

dim=0 يجمع عبر الصفوف فيبقى عمود لكل نتيجة (3 قيم)، وdim=1 يجمع عبر الأعمدة فيبقى رقم لكل صف (قيمتان). القاعدة: البعد الذي تذكره هو الذي يختفي. وkeepdim=True يبقيه بطول 1، وهذا ما تحتاجه عادة لتطرح المتوسط من كل صف بالبث.

3تغيير الشكل: view وpermute

view وreshape يغيّران الشكل دون أن يغيّرا البيانات، وpermute يبدّل ترتيب الأبعاد، وunsqueeze يضيف بعدًا بطول 1. انظر إلى الرسم: دفعة صور تصير دفعة متجهات.

قبل أي طبقة خطية، تحتاج تحويل كل صورة إلى متجه. -1 تعني «احسب هذا البعد بنفسك».

import torch

batch = torch.randn(32, 3, 28, 28)
flat = batch.view(32, -1)
print("images:", tuple(batch.shape))
print("flat:  ", tuple(flat.shape))
print("one channel:", tuple(batch[:, 0].shape))
print("channels last:", tuple(batch.permute(0, 2, 3, 1).shape))
try:
    batch.view(32, 100)
except RuntimeError as e:
    print("error:", str(e).split(".")[0])

3 × 28 × 28 = 2352، فكل صورة صارت متجهًا بطول 2352. permute(0, 2, 3, 1) ينقل القنوات إلى الآخر، وهو الترتيب الذي تستخدمه مكتبات الصور مثل Pillow وmatplotlib. وآخر سطر يُظهر رسالة الخطأ المفيدة: 75264 عنصرًا لا يمكن أن تصير 32 × 100.

4النوع يقرّر الذاكرة

كل رقم float32 يأخذ 4 بايت، وكل رقم float16 يأخذ 2. انظر إلى الرسم: نفس المليون رقم، بنصف الذاكرة.

import torch

big = torch.ones(1000, 1000)
print(big.dtype, big.element_size() * big.nelement() / 1e6, "MB")
half = big.to(torch.float16)
print(half.dtype, half.element_size() * half.nelement() / 1e6, "MB")

device = "cuda" if torch.cuda.is_available() else "cpu"
print("device:", device)

مليون رقم float32 تأخذ 4 ميغابايت، ونصفها في float16. نموذج بسبعة مليارات معامل يأخذ 28 غيغابايت بـfloat32 و14 بـfloat16، وهذا الفرق هو بالضبط الفرق بين بطاقة رسوميات تكفي وأخرى لا تكفي. سنعود لهذا في درس التسريع ودرس التكميم.

خلط الأنواع في عملية واحدة إما يرفع خطأ أو يحوّل بصمت. الأعداد الصحيحة للفهارس والفئات، والكسرية لكل ما عداها.

كيف يعمل، خطوة بخطوة: كيف تقرأ شكل موتر وتغيّره

مثال محلول

إن فهمت درس المصفوفات في مرحلة البيانات، فأنت تعرف 80% من الموترات. الفرق أن الموتر يحمل معه الجهاز الذي يعيش عليه، ويمكن أن يتذكّر العمليات التي صنعته ليحسب الميل لاحقًا.

٢. اقرأ الشكل كجملة

(32, 3, 28, 28) تُقرأ: «32 صورة، لكل صورة 3 قنوات لون، كل قناة 28 في 28 بكسل». تعوّد أن تقول الشكل بصوت عالٍ هكذا، وستكتشف نصف أخطائك قبل أن تشغّل الكود.

جرّب بلا كود

خرافة مقابل حقيقة

جرّب بنفسك

بطاقات مراجعة سريعة

تحقق من فهمك