نافذة السياق، مشروحة
ما الذي يستطيع النموذج إمساكه في ذهنه دفعةً واحدة.
لا يسع النموذج أن يُبقي في ذهنه إلا قدراً محدوداً دفعةً واحدة. هذا القدر هو «نافذة السياق»، وكلُّ شيء، بلا استثناء، عليه أن يتقاسمها.
النموذج اللغوي لا يقرأ الكلمات. إنه يقرأ «الرموز» (tokens): وهي قطعٌ من النص يقارب طولُ الواحدة منها ثلاثة أرباع الكلمة. و«الفهم» يبدأ بتقطيع نصِّك إلى هذه الأجزاء.
ميزانيةٌ واحدة لكل شيء
نافذة السياق هي عدد الرموز التي يستطيع النموذج أن يلتفت إليها في لحظةٍ واحدة. فطلبُك، ومجرى المحادثة حتى الآن، وأيّ مستنداتٍ تلصقها، وردُّ النموذج نفسه، كلُّها تَسحب من تلك الميزانية الواحدة المشتركة. أنفِقها على مستندٍ طويل تجدْ أنك تركت لنفسك مساحةً أضيق لجوابٍ طويل.
وحين تنفد المساحة، تتساقط أقدمُ الكلمات في صمتٍ من على الحافة.
لماذا «الانتباه» هو السحر
داخل النافذة، تتيح آليةٌ تُسمّى «الانتباه» (attention) لكل رمزٍ أن يزن كلَّ رمزٍ آخر. ولهذا يستطيع النموذج أن يربط جملةً في الصفحة الأولى بسؤالٍ في الصفحة الخمسين، ولهذا أيضاً ترتفع كُلفةُ النافذة ارتفاعاً حاداً كلما اتّسعت، إذ يتعيّن على كل رمزٍ أن يأخذ في حسابه سائرَ الرموز.