تسعى شركات الذكاء الاصطناعي مثل OpenAI إلى التغلب على التأخيرات والتحديات غير المتوقعة في السعي وراء نماذج لغوية ضخمة متزايدة الضخامة من خلال تطوير تقنيات التدريب التي تستخدم طرقًا أكثر شبهًا بالبشر لتمكين الخوارزميات من "التفكير".
وقال عشرات من علماء وباحثي ومستثمري الذكاء الاصطناعي لرويترز إنهم يعتقدون أن هذه التقنيات، التي تقف وراء نموذج o1 الذي أطلقته شركة OpenAI مؤخرًا، يمكن أن تعيد تشكيل سباق التسلح في الذكاء الاصطناعي، ويكون لها آثار على أنواع الموارد التي تطلبها شركات الذكاء الاصطناعي بشكل لا يشبع، بدءًا من الطاقة لأنواع الرقائق.
بعد إطلاق برنامج الدردشة ChatGPT الفيروسي قبل عامين، أكدت شركات التكنولوجيا، التي استفادت تقييماتها بشكل كبير من طفرة الذكاء الاصطناعي، علناً أن "توسيع نطاق" النماذج الحالية من خلال إضافة المزيد من البيانات والقدرة الحاسوبية سيؤدي باستمرار إلى تحسين نماذج الذكاء الاصطناعي. لكن الآن، يتحدث بعض أبرز علماء الذكاء الاصطناعي عن القيود المفروضة على فلسفة "الأكبر هو الأفضل".
قال إيليا سوتسكيفر، المؤسس المشارك لمختبرات الذكاء الاصطناعي Safe Superintelligence (SSI) وOpenAI، لرويترز مؤخرًا إن النتائج ناتجة عن توسيع نطاق التدريب المسبق - مرحلة تدريب نموذج الذكاء الاصطناعي الذي يستخدم كمية هائلة من البيانات غير المسماة لفهم أنماط اللغة وهياكلها - استقرت.
يُنسب إلى سوتسكيفر على نطاق واسع باعتباره من أوائل المدافعين عن تحقيق قفزات هائلة في تقدم الذكاء الاصطناعي التوليدي من خلال استخدام المزيد من البيانات وقوة الحوسبة في التدريب المسبق، مما أدى في النهاية إلى إنشاء ChatGPT.
غادر سوتسكيفر OpenAI في وقت سابق من هذا العام لتأسيس SSI.
"كان العقد الأول من القرن الحادي والعشرين هو عصر التوسع، والآن عدنا إلى عصر العجب والاكتشاف مرة أخرى.
قال سوتسكيفر: “الجميع يبحث عن الشيء التالي”. "إن توسيع نطاق الشيء الصحيح مهم الآن أكثر من أي وقت مضى."
ورفض سوتسكيفر مشاركة المزيد من التفاصيل حول كيفية معالجة فريقه لهذه المشكلة، بخلاف القول إن SSI تعمل على نهج بديل لتوسيع نطاق التدريب المسبق.
خلف الكواليس، واجه الباحثون في مختبرات الذكاء الاصطناعي الكبرى تأخيرات ونتائج مخيبة للآمال في السباق لإصدار نموذج لغوي كبير يتفوق على نموذج GPT-4 الخاص بـ OpenAI، والذي يبلغ عمره عامين تقريبًا، وفقًا لثلاثة مصادر مطلعة على الأمور الخاصة.
يمكن أن تكلف ما يسمى بـ "عمليات التدريب" للنماذج الكبيرة عشرات الملايين من الدولارات من خلال تشغيل مئات الرقائق في وقت واحد. هم أكثر عرضة للفشل الناجم عن الأجهزة نظرا لمدى تعقيد النظام؛ وقد لا يعرف الباحثون الأداء النهائي للنماذج حتى نهاية التشغيل، الأمر الذي قد يستغرق شهورًا.
هناك مشكلة أخرى وهي أن النماذج اللغوية الكبيرة تلتهم كميات هائلة من البيانات، وقد استنفدت نماذج الذكاء الاصطناعي جميع البيانات التي يمكن الوصول إليها بسهولة في العالم. كما أعاق نقص الطاقة أيضًا عمليات التدريب، حيث تتطلب العملية كميات هائلة من الطاقة.
وللتغلب على هذه التحديات، يستكشف الباحثون "حساب وقت الاختبار"، وهي تقنية تعمل على تعزيز نماذج الذكاء الاصطناعي الحالية خلال ما يسمى بمرحلة "الاستدلال"، أو عند استخدام النموذج. على سبيل المثال، بدلاً من اختيار إجابة واحدة على الفور، يمكن للنموذج إنشاء وتقييم احتمالات متعددة في الوقت الفعلي، واختيار المسار الأفضل للمضي قدمًا في النهاية.
خلف الكواليس، واجه الباحثون في مختبرات الذكاء الاصطناعي الكبرى تأخيرات ونتائج مخيبة للآمال في السباق لإصدار نموذج لغوي كبير يتفوق على نموذج GPT-4 الخاص بـ OpenAI، والذي يبلغ عمره عامين تقريبًا، وفقًا لثلاثة مصادر مطلعة على الأمور الخاصة.
يمكن أن تكلف ما يسمى بـ "عمليات التدريب" للنماذج الكبيرة عشرات الملايين من الدولارات من خلال تشغيل مئات الرقائق في وقت واحد. هم أكثر عرضة للفشل الناجم عن الأجهزة نظرا لمدى تعقيد النظام؛ وقد لا يعرف الباحثون الأداء النهائي للنماذج حتى نهاية التشغيل، الأمر الذي قد يستغرق شهورًا.
هناك مشكلة أخرى وهي أن النماذج اللغوية الكبيرة تلتهم كميات هائلة من البيانات، وقد استنفدت نماذج الذكاء الاصطناعي جميع البيانات التي يمكن الوصول إليها بسهولة في العالم. كما أعاق نقص الطاقة أيضًا عمليات التدريب، حيث تتطلب العملية كميات هائلة من الطاقة.
وللتغلب على هذه التحديات، يستكشف الباحثون "حساب وقت الاختبار"، وهي تقنية تعمل على تعزيز نماذج الذكاء الاصطناعي الحالية خلال ما يسمى بمرحلة "الاستدلال"، أو عند استخدام النموذج. على سبيل المثال، بدلاً من اختيار إجابة واحدة على الفور، يمكن للنموذج إنشاء وتقييم احتمالات متعددة في الوقت الفعلي، واختيار المسار الأفضل للمضي قدمًا في النهاية.
تسمح هذه الطريقة للنماذج بتخصيص المزيد من قوة المعالجة للمهام الصعبة مثل الرياضيات أو مشاكل الترميز أو العمليات المعقدة التي تتطلب تفكيرًا واتخاذ قرارات شبيهة بالإنسان.
قال نوام براون، الباحث في OpenAI الذي عمل في لعبة البوكر: "اتضح أن جعل الروبوت يفكر لمدة 20 ثانية فقط في لعبة البوكر حصل على نفس الأداء المعزز مثل توسيع نطاق النموذج بمقدار 100 ألف مرة وتدريبه لمدة أطول بـ 100 ألف مرة". على o1، في مؤتمر TED AI في سان فرانسيسكو الشهر الماضي.
تبنت شركة OpenAI هذه التقنية في نموذجها الذي تم إصداره حديثًا والمعروف باسم "o1"، المعروف سابقًا باسم Q* وStrawberry، والذي نشرته رويترز لأول مرة في يوليو. يمكن لنموذج O1 "التفكير" من خلال المشكلات بطريقة متعددة الخطوات، على غرار الإنسان ويتضمن أيضًا استخدام البيانات والتعليقات التي تم جمعها من حملة الدكتوراه وخبراء الصناعة.
وقالت الشركة إن الخلطة السرية لسلسلة o1 هي مجموعة أخرى من التدريبات التي يتم إجراؤها على نماذج "قاعدية" مثل GPT-4، وتقول الشركة إنها تخطط لتطبيقها هذه التقنية مع نماذج أساسية أكبر وأكبر.
وفي الوقت نفسه، كان الباحثون في مختبرات الذكاء الاصطناعي الكبرى الأخرى، من Anthropic وxAI وGoogle DeepMind، يعملون أيضًا على تطوير إصداراتهم الخاصة من هذه التقنية، وفقًا لخمسة أشخاص مطلعين على هذه الجهود.
قال كيفين ويل، كبير مسؤولي المنتجات في OpenAI في مؤتمر تقني في أكتوبر: "إننا نرى الكثير من الثمار الدانية التي يمكننا قطفها لتحسين هذه النماذج بسرعة كبيرة". "وبحلول الوقت الذي يلحق فيه الناس بالركب، سنحاول أن نكون متقدمين بثلاث خطوات أخرى."
ولم تستجب جوجل وxAI لطلبات التعليق ولم يكن لدى Anthropic تعليق فوري.
يمكن أن تغير الآثار المشهد التنافسي لأجهزة الذكاء الاصطناعي، التي يهيمن عليها حتى الآن الطلب النهم على رقائق الذكاء الاصطناعي من إنفيديا. مستثمرو رأس المال الاستثماري البارزون، من سيكويا إلى أندريسن هورويتز، الذين أنفقوا المليارات لتمويل تطوير باهظ الثمن لنماذج الذكاء الاصطناعي في العديد من مختبرات الذكاء الاصطناعي بما في ذلك OpenAI وxAI، يلاحظون هذا التحول ويزنون التأثير على رهاناتهم باهظة الثمن.
ونقلت رويترز قالت سونيا هوانج، الشريكة في سيكويا كابيتال،: "سينقلنا هذا التحول من عالم مجموعات ضخمة ما قبل التدريب إلى سحابات الاستدلال، والتي يتم توزيعها على خوادم سحابية للاستدلال".
وقد أدى الطلب على رقائق الذكاء الاصطناعي من إنفيديا، والتي تعد الأكثر تطورا، إلى تعزيز صعودها لتصبح الشركة الأكثر قيمة في العالم، متجاوزة شركة أبل في أكتوبر.
على عكس رقائق التدريب، حيث تهيمن شركة Nvidia، فإن عملاق الرقائق قد يواجه المزيد من المنافسة في سوق الاستدلال.
عند سؤالها عن التأثير المحتمل على الطلب على منتجاتها، أشارت Nvidia إلى العروض التقديمية الأخيرة للشركة حول أهمية التقنية الكامنة وراء نموذج o1.
تحدث رئيسها التنفيذي جنسن هوانج عن الطلب المتزايد على استخدام رقائقها للاستدلال.
وقال هوانج الشهر الماضي في مؤتمر بالهند: "لقد اكتشفنا الآن قانونًا ثانيًا للتوسع، وهذا هو قانون التوسع في وقت الاستدلال. كل هذه العوامل أدت إلى ارتفاع الطلب على بلاكويل بشكل لا يصدق"، في إشارة إلى أحدث شرائح الذكاء الاصطناعي للشركة.
