عندما تتنافس النماذج الرائدة لعمالقة الذكاء الاصطناعي الثلاثة OpenAI وAnthropic وGoogle على نفس الساحة، من هو الأفضل في التحكم بالروبوتات؟
في 20 أكتوبر، أعلنت RoboColiseum، ساحة المعركة للذكاء المجسد التي أطلقتها بالتعاون المشترك قرابة 20 جامعة وشركة ومؤسسة بحثية عالمية من بينها MIFENG Technology وHugging Face وNVIDIA وجامعة تسينغهوا، نتائج التقييم لهذه الجولة: احتل Claude Opus 5.5 المرتبة الأولى في التصنيف الشامل بين أربعة نماذج رائدة، تلاه GPT-6 Astra.
من حيث التصنيف الفرعي، بين النماذج الرائدة الأربعة، تصدّر GPT-6 Astra في اتباع التعليمات والتكيف مع الاضطرابات العامة، حيث بلغت درجة اتباع التعليمات 99.35؛ بينما أظهر Opus أداءً أفضل في الفهم المكاني والعمليات العامة، وحقق المرتبة الأولى في التصنيف الشامل لفئة النماذج الرائدة بأقل استهلاك لوحدات المعالجة في جميع جولات التقييم. في اختبارات اضطراب جودة الصورة، تخلف GPT-6.1 Sol بوضوح عن النماذج الثلاثة الأخرى، مما يُظهر اختلافات في استقرار النماذج المختلفة عند التعامل مع تغيرات المعلومات البصرية.
غير أن المرتبتين الأوليين في التصنيف الشامل لهذه الجولة لا تزالان من نصيب نماذج الاستراتيجيات المجسدة، ولا سيما تفوقها في بُعد العمليات العامة.
توفر هذه المواجهة على نفس الساحة مرجعاً مباشراً للقطاع لفهم نقاط القوة والضعف في قدرات النماذج اللغوية الكبيرة العامة ونماذج الاستراتيجيات المجسدة.
تقدم RoboColiseum حول اتباع التعليمات والفهم المكاني والتكيف مع الاضطرابات والعمليات العامة أربع قوائم فرعية للقدرات و78 مهمة تقييم محاكاة عالية الدقة، تعرض الأداء الفرعي للنماذج وتسجل خطوات إنجاز المهام ومواقع الفشل، مما يساعد المطورين على تحديد نقاط الضعف في قدرات النماذج بسرعة.
بصفتها جهة مشاركة في التأسيس، توفر MIFENG لـRoboColiseum أصولاً عالية الدقة للأجسام ومشاهد محاكاة، تدعم بناء بيئات تقييم لمهام تشغيل روبوتية معقدة، وتوفر موارد أساسية لاختبار قدرات النماذج في ظل تفاعلات مختلفة مع الأجسام وتخطيطات مكانية وظروف بيئية متنوعة.
ما إذا كانت نتائج النماذج في المحاكاة تعكس أداء التشغيل الحقيقي هو أيضاً محور رئيسي في التقييم. وفقاً لنتائج الاختبار الفعلي التي نشرتها المنصة، بلغت相关性 تقييم RoboColiseum للمحاكاة مع النشر على الأجهزة الحقيقية 89.5%، والفرق في التقييم لنفس النموذج بين المحاكاة والعالم الحقيقي أقل من 10%، مما يوفر مرجعاً للمطورين لاختيار النماذج وتحديد المشكلات قبل الانتقال إلى اختبار الأجهزة الحقيقية.
توفر MIFENG Technology نظام توريد بيانات "شامل وعالي الجودة وسريع" يغطي ثلاثة أنماط بيانات رئيسية: الأجهزة الحقيقية والمحاكاة والبدون جسم. في مجال المحاكاة، توفر MIFENG نوعين من الموارد: أصول الأجسام وأصول البيئات، تغطي مجموعة متنوعة من الأدوات اليومية والمشاهد الداخلية، وتوفر قدرات إعادة بناء المشاهد والحصول على بيانات مسارات الخبراء وتصور نتائج التقييم، مما يساعد فرق النماذج على إجراء تدريب وتقييم متنوعين.
يشير اسم Coliseum في الأصل إلى المدرج الروماني القديم، وتتخذ RoboColiseum هذا الرمز لبناء نظام تقييم منهجي متعدد الأبعاد، بهدف إقامة "ساحة تنافس" و"ساحة تدريب" مفتوحة ومحايدة وقابلة للتكرار لنماذج الذكاء المجسد، من خلال تقييم محاكاة يتوافق بدرجة عالية مع الأداء على الأجهزة الحقيقية. يمكن لأي جامعة أو مؤسسة بحثية أو مطور من الشركات تقديم نموذجه للمنصة والخضوع لـ"امتحان" موحد. منذ إطلاقها في أغسطس، قام أكثر من 100 فريق من داخل البلاد وخارجها بتدريب وتقييم النماذج على المنصة.
RoboColiseum مفتوحة الآن للمطورين حول العالم، ونرحب بفرق النماذج للمشاركة في التقييم.
