اشترك في خدمة الإعلام للبقاء على اطلاع بأحدث التطورات التقنية
لقد بدأت شركة أبحاث الذكاء الاصطناعي يطور OpenAI أداة جديدة تشرح سلوكيات نماذج اللغات الكبيرة التي تدعم روبوت الدردشة ChatGPT الشهير.
غالبًا ما يُقال إن النماذج اللغوية الكبيرة تمثل صندوقًا أسود يخفي العديد من الأسرار ، حيث يصعب حتى على علماء البيانات معرفة سبب اختيار النموذج للاستجابة بطريقة معينة.
في محاولة لشرح كيفية عمل النماذج اللغوية الكبيرة ، تعمل OpenAI عليها تطوير الأدوات التعرف على أجزاء نموذج اللغة الكبيرة المسؤولة تلقائيًا عن سلوك معين.
يقول المهندسون الذين يعملون على الأداة إنها لا تزال في مراحلها الأولى ، لكن الكود الذي يدعمها متاح الآن كمصدر مفتوح على GitHub.
أخبر ويليام سوندرز ، مدير فريق الترجمة الفورية في OpenAI ، موقع TechCrunch: تك كرانش في مقابلة عبر الهاتف: “نحاول تطوير طرق للتنبؤ بمشاكل نظام الذكاء الاصطناعي. ونريد حقًا أن نصدق أن ما يفعله النموذج والإجابة التي ينتجها يمكن الوثوق بها “.
مواضيع ذات صلة بما تقرأه الآن:
تحقيقا لهذه الغاية ، يستخدم OpenAI نموذج لغة آخر لتعلم الوظائف المكونة لنماذج لغة أخرى أبسط من الناحية المعمارية ، ويستخدم على وجه التحديد نموذج GPT-2.
يُذكر أن نماذج اللغة الكبيرة يمكن تشبيهها بالدماغ ، حيث أنها تتكون من “الخلايا العصبية” ، والتي تلاحظ نمطًا معينًا في النص يؤثر على ما “سيقوله” النموذج بعد ذلك.
تستفيد OpenAI من هذا التكوين لتقسيم النماذج إلى أجزاء فردية. تقوم الأداة أولاً بتشغيل تسلسلات نصية من خلال النموذج الذي يتم تقييمه ، وتنتظر الحالات التي يتم فيها “تنشيط” خلية عصبية معينة بشكل متكرر.
الأداة بعد ذلك “تُظهر” إلى GPT-4 ، أحدث نموذج للغة كبيرة من OpenAI ، هذه الخلايا العصبية النشطة للغاية ، ولديها النموذج يولد تفسيرًا لها.
لتحديد دقة التفسير ، توفر الأداة نموذج GPT-4 مع تسلسلات نصية ، وتتنبأ أو تحاكي كيف ستتصرف الخلايا العصبية ، ثم تقارن سلوك الخلية العصبية المحاكية بسلوك الخلية العصبية الفعلية.
قال جيف وو ، الذي يعمل أيضًا على الأداة.
وأضاف: “نحن نستخدم GPT-4 كجزء من العملية لإنتاج تفسيرات لما تبحث عنه الخلية العصبية ، ثم تحديد مدى تطابق هذه التفسيرات مع ما تفعله بالفعل”.
تمكن الباحثون من إنشاء تفسيرات لجميع الخلايا العصبية في نموذج GPT-2 البالغ عددها 307.200 ، والتي جمعوها في مجموعة بيانات تم إصدارها جنبًا إلى جنب مع رمز الأداة.
يقول الباحثون إن أدوات مثل هذه يمكن أن تُستخدم يومًا ما لتحسين أداء النماذج اللغوية الكبيرة لتقليل التحيز أو السلبيات الأخرى. لكنهم يعترفون بأن الأداة لا يزال أمامها طريق طويل قبل أن تكون مفيدة حقًا.
وفقًا للباحثين ، كانت الأداة واثقة في تفسيرها لحوالي 1000 من هذه الخلايا العصبية ، وهو جزء صغير من العدد الإجمالي.
ومع ذلك ، قال وو ، “معظم التفسيرات تكون سيئة للغاية أو لا تفسر الكثير من سلوك الخلايا العصبية الفعلية.”
وأضاف: “الكثير من الخلايا العصبية تطلق النيران ، على سبيل المثال ، بطريقة تجعل من الصعب للغاية معرفة ما يحدث ، مثل إطلاقها على خمسة أو ستة أشياء مختلفة ، لكن لا يوجد نمط واضح في هذه الأشياء”. في بعض الأحيان يوجد نمط يمكن التعرف عليه ، لكن GPT-4 غير قادر على العثور عليه “.