الانتباه، النَّقلة التي صنعت المُحوِّلات

خذ جملة «لم تتّسع الجائزة في الحقيبة لأنها كانت كبيرةً جداً». تعرف فوراً أن «ها» في «لأنها» تعود إلى الجائزة لا إلى الحقيبة. أما النموذج فلا يُسلَّم هذا الحدس جاهزاً؛ عليه أن يحسب الرابط من الكلمات وحدها، في كل مرّةٍ من جديد. الانتباه هو الآلية التي تتيح للضمير أن يمدّ يده عبر الجملة، فيزن المرشّحَين، ويرتبط بالصحيح منهما. إنه، حرفياً، كيف يُنسَج المعنى داخل المُحوِّل.

الاستعلام والمفتاح والقيمة

يُحوَّل كل رمزٍ إلى ثلاثة متّجهاتٍ قصيرة. الاستعلام هو السؤال الذي يطرحه هذا الرمز؛ أي تقريباً: «عمّا أبحث؟». والمفتاح هو البطاقة التي يحملها كل رمز: «ها هو ما أنا عليه». ولكي يُقرّر النموذج مقدار اكتراث رمزٍ برمزٍ آخر، يقارن استعلام الأول بمفتاح الثاني؛ والتوافق القوي يعني درجةً عالية. ثم تمرّ هذه الدرجات الخام عبر دالّة «سوفت‑ماكس» (softmax) التي تحوّلها إلى مجموعة أوزانٍ أنيقةٍ مجموعها واحد، توزيعٌ للانتباه ممدودٌ على امتداد الجملة.

ثم تأتي القيمة، وهي المحتوى الفعلي الذي يبذله كل رمز. فيصير التمثيل الجديد لأي رمزٍ خليطاً موزوناً من قيم الجميع، ممزوجاً بنسبة تلك الأوزان. يُصغي بأعلى صوتٍ إلى الرموز التي سجّل معها أعلى الدرجات، ويكاد لا يسمع البقية. افعل ذلك لكل رمزٍ دفعةً واحدة، تُعِد الجملة كلها كتابة نفسها في خطوةٍ متوازيةٍ واحدة، وقد تلوّنت كل كلمةٍ تماماً بما يهمّها من الكلمات الأخرى.

الاستعلام سؤال، والمفتاح جواب، والقيمة ما يُمرَّر حين يتّفقان. والانتباه ليس إلا تلك المصافحة، تُجرى بين كل زوجٍ من الكلمات دفعةً واحدة.

لماذا يغلو السياق الطويل

القوّة والثمن ينبعان من حقيقةٍ واحدة: كل رمزٍ يقارن نفسه بكل رمزٍ آخر. فلأجل «ن» من الرموز تكون المقارنات «ن×ن»، أي مربّع العدد، فيتضخّم العمل، والذاكرة اللازمة لحفظ كل تلك الدرجات، مع مربّع الطول. الانتقال من ألف رمزٍ إلى عشرة آلافٍ ليس عشرة أضعاف العمل؛ بل أقرب إلى مئة ضعف. هذا هو السبب الحقيقي لغلاء نوافذ السياق الطويلة، ولماذا يصطدم شعار «لقّمه قاعدة الشيفرة كاملةً» بجدار.

وكل تحسينٍ شهيرٍ تقريباً هجومٌ على ذلك المربّع. «فلاش‑أتنشن» (flash attention) يعيد ترتيب الحساب فلا يخزّن الشبكة كاملةً قط؛ والمخطّطات المتفرّقة والنوافذ المنزلقة تجعل كل رمزٍ ينظر إلى جوارٍ ذي صلةٍ فحسب؛ وتخزين المفاتيح والقيم (KV‑cache) يتفادى إعادة حسابها لرموزٍ رُئيت من قبل. حيلة الذكاء الاصطناعي الحديث الكبرى بسيطةٌ بما يكفي لرسمها على منديل: مصافحةٌ بين كل زوجٍ من الكلمات. أما الحدود القصوى فهي في معظمها الهندسة اللازمة لتحمُّل كلفة تلك المصافحة على امتداد كتاب.