يستطيع ChatGPT استيعاب بضعة آلاف من الكلمات، بينما يمكن لنماذج الذكاء الاصطناعي الأكبر حجمًا التعامل مع المزيد، ولكن بما يصل إلى نحو 75 ألفا فقط، ولعل السؤال هنا: ماذا لو كان بإمكانك ضخ ملايين الكلمات أو قواعد التعليمات البرمجية الكاملة أو مقاطع الفيديو الكبيرة في هذه النماذج؟
وفقا لما ذكره موقع "business insider"، توصل أحد الباحثين في جوجل، بالتعاون مع مدير التكنولوجيا في Databricks Matei Zaharia والأستاذ في جامعة كاليفورنيا في بيركلي، بيتر أبيل، إلى طريقة للقيام بذلك.
يعد هذا التقدم، الذي تم الكشف عنه في ورقة بحثية حديثة، تغييرا جذريا في كيفية تفاعلنا مع هذه الأدوات التقنية الجديدة القوية، ولا يمكن للنهج الحالي التعامل مع المدخلات الضخمة بسبب قيود الذاكرة الخاصة بوحدات معالجة الرسومات التي تقوم بتدريب وتشغيل نماذج الذكاء الاصطناعي.
يتم قياس هذه الأشياء ومناقشتها بناءً على "الرموز المميزة" و"نوافذ السياق"، ولعل الرمز المميز هو وحدة قد تمثل كلمة، أو جزءًا من كلمة، أو رقمًا أو شيئًا مشابهًا، أما نافذة السياق، فهي المساحة التي تضع فيها سؤالاً أو نصًا أو مدخلات أخرى في برنامج الدردشة الآلي أو نموذج الذكاء الاصطناعي حتى يتمكن من تحليل المحتوى وتقديم شيء ذكي.
تمتلك شركة Anthropic الناشئة للذكاء الاصطناعي، وبرنامج الدردشة الآلي الخاص بها Claude، نافذة سياقية تصل إلى 100 ألف رمز مميز، والتي تعمل تقريبًا على 75 ألف كلمة.
ويحتوي نموذج GPT-3.5 الخاص بـ OpenAI على سياق يبلغ طوله 16000 رمزًا، وفى GPT-4 هو 32000، ويمكن للنموذج الذي أنشأته شركة MosiacML، المملوكة لشركة Databricks، التعامل مع 65000 رمز، وفقًا لورقة بحثية حديثة.
كشف هاو ليو، طالب دكتوراه في جامعة كاليفورنيا في بيركلي وباحث غير متفرغ في Google DeepMind، أن الفكرة الأساسية هي أن نماذج الذكاء الاصطناعي الحديثة تعالج البيانات بطريقة تتطلب من وحدات معالجة الرسومات تخزين مختلف المخرجات الداخلية ثم إعادة حسابها قبل تمريرها إلى وحدة معالجة الرسومات التالية.
وهذا يتطلب الكثير من الذاكرة وليس هناك ما يكفي، ويؤدي هذا في النهاية إلى الحد من مقدار المدخلات التي يمكن لنموذج الذكاء الاصطناعي معالجتها.. بغض النظر عن مدى سرعة وحدة معالجة الرسومات، هناك عنق الزجاجة في الذاكرة".
وقال لي ليو: "كان الهدف من هذا البحث هو إزالة عنق الزجاجة هذا"، ويشكل النهج الجديد الذي ابتكره نوعًا من حلقة وحدات معالجة الرسومات التي تمرر أجزاء من العملية إلى وحدة معالجة الرسومات التالية، وكتب الباحثون في إشارة إلى وحدات معالجة الرسومات: "هذا يزيل بشكل فعال قيود الذاكرة التي تفرضها الأجهزة الفردية".
