درجة الحرارة ليست مقبضاً للإبداع

افتح أيّ ساحةِ تجريبٍ لنموذجٍ لغويّ تجد شريطاً اسمه «درجة الحرارة»، يمتدّ غالباً من صفرٍ إلى اثنين، وكثيراً ما تهمس تلميحةٌ بجانبه بكلمة «الإبداع». ارفعه فيزداد الأسلوب غرابةً، واخفِضه فيتيبّس النموذج ويُكرِّر نفسه. من هنا يخلُص الجميع إلى الاستنتاج ذاته: درجة الحرارة هي مقبض العشوائيّة، قُرص الخيال. حكايةٌ أنيقة، لكنّها خاطئة على نحوٍ يحجب ما يفعله النموذج فعلاً.

ما الذي يُنتجه النموذج حقّاً

النموذج اللغويّ لا «يختار» كلمة. في كلِّ خطوةٍ يُنتج قائمةً طويلة من الدرجات الخام: رقماً واحداً، يُسمّى «اللوغيت»، لكلِّ رمزٍ في مفرداته. وهذه اللوغيتات ليست احتمالات، بل مجرّد درجاتٍ غير مقيَّدة، نوعٌ من الثقة بوحداتٍ اعتباطيّة. ولتحويلها إلى ما يمكن أخذ العيّنات منه، يُمرِّرها النموذج عبر «سوفت‌ماكس» التي تأخذ أُسَّ كلِّ درجةٍ ثمّ تُسوّيها حتى يصير مجموعها واحداً، فيخرج احتمالٌ لكلِّ رمزٍ تالٍ مُحتمَل. ودرجة الحرارة هي العمليّة الوحيدة التي تقف في المنتصف: قبل أن ترى «سوفت‌ماكس» اللوغيتات، يُقسَم كلُّ لوغيت على رقمٍ واحدٍ هو T.

تلك القسمة هي الحيلة كلُّها. ولأنّ «سوفت‌ماكس» تأخذ الأُسّ، فإنّ قسمة اللوغيتات على قيمةٍ صغيرة لـ T (لِنقُل ٠٫٢) تُباعِد الفجوات بين الدرجات: فيقفز احتمال الرمز المتصدِّر نحو الواحد، وينهار كلُّ ما عداه نحو الصفر. واقسِمها على قيمةٍ كبيرة (لِنقُل ١٫٨) فتنضغط تلك الفجوات: فيفقد المتصدِّر تقدُّمه الساحق، وتظفر رموزٌ كانت شبه مستحيلةٍ بكتلةٍ احتماليّةٍ حقيقيّة. اللوغيتات ذاتها، وحدّةٌ مختلفة. حرِّك الشريط في الأسفل وراقِب الأعمدة تتنفّس.

معرفة النموذج ثابتة. درجة الحرارة لا تُضيف أفكاراً، بل تقرِّر فقط مدى استعداد النموذج للمراهنة على تخمينه الثاني.

الطرفان، والذيل

عند T→٠ يصير التوزيع شَوكةً حادّة: الرمز الأعلى درجةً وحده يفوز في كلِّ مرّة. هذا هو فكُّ الترميز «الجشِع»، وهو حتميٌّ في جوهره: أعطِه المُحفِّز نفسه يُعِد الإجابة نفسها، كلمةً كلمة. ولهذا تليق درجة الحرارة المنخفضة بالحساب والبرمجة والاستخراج المُهيكَل، حيث توجد متتمّةٌ صحيحةٌ واحدة، ويكون الالتزام الواثق ميزةً لا عيباً. ارفع T فيتسطّح المنحنى، فيبدأ النموذج يمدّ يده وراء مفضَّله إلى بدائل معقولة، وهو ما نقرؤه نحن تنوّعاً ومفاجأةً وصوتاً. لكن ثمّة حافّة. بتجاوز ١٫٢ إلى ١٫٥ تقريباً، يتسطّح المنحنى إلى حدٍّ تفوز فيه رموزٌ بعيدة الاحتمال بما يكفي لكسر النحو والمعنى: فينحرف النصّ إلى ضوضاءَ تبدو فصيحةً وهي خاوية.

وهنا أيضاً يدخل top-p و top-k، ولهذا ليسا خصمين لدرجة الحرارة بل شريكين لها. يُبقي top-k على الرموز الـ k الأعلى درجةً فحسب؛ ويُبقي top-p (أخذ عيّنات النواة) على أصغر مجموعةٍ يبلغ مجموع احتمالاتها p. كلاهما يبتر ذيل الرموز الرديئة الطويل قبل أخذ العيّنة، فيتيح لك رفع درجة الحرارة طلباً للتنوّع دون أن تدعو أسوأ المرشَّحين إلى المائدة. غير أنّ الخلاصة تبقى بسيطة: درجة الحرارة ليست إبداعاً ولا عشوائيّة. إنّها قسمةٌ واحدة تُعيد تشكيل مدى حدّة مجموعةٍ ثابتة من الدرجات، ومتى رأيتها هكذا، أمكنك أن تضبط للتنوّع والدقّة معاً، بدل أن تعاملها كمزاج.