تجلس أمام شاشتك، تكتب سؤالاً غير مصاغ بصورة جيدة، فيرد عليك برنامج ذكاء اصطناعي في ثوان بفهم يضاهي البشر، للوصول إلى هذه الغاية ثمة ملايين من العمليات تجري خلف الشاشة في أجزاء من الثانية.

في يونيو/ حزيران 2017، نشر باحثون في "غوغل" ورقة علمية بعنوان لافت "الانتباه هو كل ما تحتاجه" (Attention Is All You Need)، وكان العنوان بمثابة إعلان رسمي عن انتهاء العصر القديم لعلوم الحاسوب، ومثلت ثورة حقيقية في مجال معالجة اللغات الطبيعية والتعلم العميق، من خلال تقديمها نموذج المحول (Transformer)، الذي شكلت بنيته الأساس للنماذج اللغوية الضخمة.

واليوم يقف هذا المحول خلف كل نموذج لغوي كبير تستخدمه، بدءاً من "تشات جي بي تي" إلى "جيميناي"، وصولاً إلى "كلود".

ثورة الوعي

ما اقترحته تلك الورقة كان مختلفاً جذرياً، أن تنظر الآلة إلى النص كله دفعة واحدة، وأن تقرر بنفسها أي كلمة تستحق انتباهاً ولماذا، قبل تلك اللحظة، كانت النماذج اللغوية تعاني أزمة حقيقية تتمثل في العجز البنيوي، ذاكرة محدودة وفهم سطحي للسياق وسرعة بطيئة في التعلم، وكانت النماذج تعالج النصوص بالتسلسل، كلمة تلو كلمة وجملة تلو جملة، كمن يحاول قراءة قصة طويلة، لكنه ينسى أولها قبل أن يبلغ آخرها.

النماذج اللغوية الحالية تختلف جوهرياً عن كل ما سبقها، فحين تكتب اليوم لنموذج ذكاء اصطناعي عبارة مثل "الباص فارغ، لكن الوقود غير متوفر والشارع مغلق"، لا يقرأ هذه الجملة كلمة كلمة، بل يفعل شيئاً أقرب إلى ما يفعله القارئ الذكي، يزن كل كلمة في ضوء ما سبقها وما تلاها، ويدرك أن "غير متوفر" تعود على الوقود لا على الباص، وأن "مغلق" تتعلق بالشارع لا النافذة، هذه القدرة على الموازنة والربط هي ما يسمى تقنياً "آلية الانتباه".

شبكة وليس سلسلة

تعني آلية الانتباه الذاتي توزيع درجة التركيز على كلمات الجملة، حسابياً، هي تسمح للنموذج بإعادة وزن تمثيل كل كلمة في تسلسل ما، بناءً على مدى صلتها بالكلمات الأخرى في التسلسل ذاته، وهذا يعني أن النموذج لا يعالج الكلمات بمعزل عن بعضها، بل في سياقها الكامل كشبكة متشابكة من العلاقات، بدلاً من معالجتها كسلسلة خطية، لتحقيق الغرض الأعمق الذي تسعى إليه وهو محاكاة الفهم البشري للغة.

وفي هذا السبيل، تحول الآلة كل كلمة إلى "سؤال" (Query) وتبحث عن إجابات في "مفاتيح" (Keys) الكلمات الأخرى، ثم تسترجع "قيمة" (Value) كل كلمة على حدة وهذا يسمح للنموذج بفهم السياق العميق.

كسر القيود

لفهم قيمة الانتباه، يكفي أن نعلم آلية عمل النماذج القديمة، فالنماذج من نوع الشبكات العصبية المتكررة كانت تقرأ الجملة كلمة كلمة، وتحتفظ بملخص صغير لكل ما قرأته، لكن المشكلة تكمن في أن هذا الملخص كان محدود السعة، فعندما تصل الآلة إلى الكلمة رقم 50، تكون قد نسيت فعلياً تفاصيل الكلمة الأولى.

الانتباه الذاتي كسر قيد المسافة، وجعل النموذج قادراً على ربط أي كلمة بأي كلمة أخرى في النص، بغض النظر عن البعد بينهما، وهو يفعل ذلك عبر خمس آليات، تتضمن كسر قيد المسافة وقيد التسلسل، واكتشاف علاقات متعددة في وقت واحد مع مرونة في توزيع الانتباه وقابلية التوسع إلى أحجام هائلة.

هندسة صامتة

تشكل هذه التقنية العمود الفقري لأكثر التطبيقات الذكية استخداماً اليوم، وربما تستخدم الانتباه الذاتي عشرات المرات يومياً من دون أن تشعر، فعندما يلخص "تشات جي بي تي" مقالاً من 3 آلاف كلمة إلى 200 كلمة، يقرر أي الجمل تستحق الوجود في الملخص، وعندما يربط "غوغل ترانسليت" كلمة في الإنجليزية بكلمة في العربية، يفعل ذلك على رغم اختلاف ترتيب الجملة.

وعندما يقترح "جيميل" إكمال جملتك أثناء الكتابة، هو يتوقع الكلمة التالية بناءً على كل الكلمات السابقة، وأيضاً عند الإجابة عن الأسئلة في النماذج وتوليد الأكواد البرمجية، وفي كل هذه التطبيقات، تعمل مصفوفات الانتباه خلف الكواليس، مثل مهندس صامت يعيد ترتيب الأولويات كل لحظة.

حدود القدرة

ومع ذلك، لا تعني براعة الانتباه أنها التقنية الأفضل على الإطلاق، هي الخيار الأمثل في حالات تعطى فيها الأولوية للدقة على حساب الموارد، لكن المختصين يتجنبون استخدامها عندما تكون النصوص طويلة جداً، كالكتب أو سجلات المحادثات المتراكمة أو الأكواد البرمجية الضخمة، إذ تنتج من ذلك علاقات غير قابلة للتشغيل حتى على أقوى الحواسيب، وبعضها مستحيل حسابياً، والحل البديل هنا يكمن في استخدام نماذج أخرى، أو تقسيم النص إلى أجزاء ومعالجة كل جزء بانتباه منفصل.

ولا تستخدم هذه التقنية في الأجهزة المحدودة الموارد، كالهواتف والحواسيب اللوحية والأجهزة المدمجة، حتى مع النصوص القصيرة، على سبيل المثال، تتطلب كل 500 كلمة عملية حسابية تتألف من مليون علاقة انتباه، وهذا يستهلك طاقة البطارية وذاكرة الوصول العشوائي، وأيضاً لا تستخدم في حالة البيانات المتدفقة، وفي المهام البسيطة التي لا تحتاج إلى سياق عميق، وفي حال وجود بيانات قليلة جداً لضبط النموذج.

في نهاية المطاف، أحدثت آلية الانتباه عند طرحها نقلة نوعية أعادت تعريف ما يمكن للآلة أن تفهمه، فقبلها كانت النماذج تصطدم بجدار النسيان بعد بضع عشرات من الكلمات، وبعدها أصبحت قادرة على قراءة رواية كاملة والتحدث عنها.

لكن السؤال الذي يفرض نفسه الآن: هل ستستمر آلية الانتباه الذاتي في الهيمنة خلال العقد المقبل، أم أننا سنشهد تحولاً مشابهاً لما حدث عام 2017؟

(اندبندنت عربية)