اللغة والمحوّلات

الانتباه خطوة بخطوة، حتى تبني محوّلًا صغيرًا من الصفر وتدرّبه على نص عربي.

الترميزBPE وSentencePiece، ولماذا الجملة العربية تكلف رموزًا أكثر من مثيلتها الإنجليزية.
التضميناتالمعنى كمتجه والتشابه الجيبي بيدك قبل أي مكتبة، وما الذي يضلّل فيه.
الانتباهالاستعلام والمفتاح والقيمة محسوبة على ورقة لجملة من أربع كلمات، ثم بالكود.
كتلة المحوّلانتباه متعدد الرؤوس وتطبيع الطبقة والوصلات المتبقية والتغذية الأمامية مجتمعة.
الموضعلماذا يحتاج المحوّل إلى معرفة الترتيب، وRoPE كحل سائد اليوم.
التدريب المسبقتوقّع الرمز التالي، وكيف تنشأ قدرة كاملة من هدف بهذه السذاجة.
ابنِ محوّلًا صغيرًامن الصفر بـ PyTorch، بمليون مُعامِل، جاهز للتدريب على نص عربي.
مشروع: محوّل على كتاب عربيدرّبه على كتاب واحد وولّد منه نصًا. سيكون رديئًا، وهذا هو الدليل على أنه يعمل.