يضيف الإنسان حدود كلود 4 لمنع تعليمات الأسلحة
عمر ماركيز | lightrocket | غيتي الصور
قالت الأنثروبور يوم الخميس إنها قامت بتنشيط التحكم في الذكاء الاصطناعي الأكثر إحكاما لكلود أوبوس 4 ، وهو أحدث طراز من الذكاء الاصطناعي.
وكتبت الشركة في منشور كيميائي ، بيولوجي ، إشعاعي ، نووي (CBRN) ، “إن الضوابط الجديدة من AI Safety Level 3 (ASL-3) هي” الحد من خطر إساءة استخدام كلود خصيصًا لتطوير أو اكتساب الأسلحة الكيميائية والبيولوجية والإشعاعية والنووية (CBRN).
الشركة التي تدعمها أمازونقال إنه كان يتخذ التدابير كإجراء وقائي وأن الفريق لم يحدد بعد ما إذا كان Opus 4 قد عبر المعيار الذي يتطلب تلك الحماية.
أعلنت الأنثروبور كلود أوبوس 4 و كلود سونيت 4 يوم الخميس ، وترويان القدرة المتقدمة للنماذج على “تحليل آلاف مصادر البيانات ، وتنفيذ المهام طويلة الأمد ، وكتابة محتوى جودة الإنسان ، وأداء إجراءات معقدة” ، حسب الإصدار.
وقالت الشركة إن Sonnet 4 لا يحتاج إلى أدوات تحكم أكثر تشددًا.
أشار جاريد كابلان ، كبير مسؤولي العلوم في الإنسان ، إلى أن الطبيعة المتقدمة لنماذج كلود الجديدة لديها تحدياتها.
وقال “كلما كانت المهمة أكثر تعقيدًا ، كلما زادت المخاطرة في أن النموذج سوف يخرج نوعًا من القضبان … ونحن نركز حقًا على معالجة ذلك حتى يتمكن الناس من تفويض الكثير من العمل في الحال إلى نماذجنا”.
أصدرت الشركة سياسة سلامة محدثة في مارس تتناول المخاطر التي تنطوي عليها نماذج الذكاء الاصطناعي والقدرة على مساعدة المستخدمين على تطوير أسلحة كيميائية وبيولوجية.
تبقى أسئلة السلامة الرئيسية حول التكنولوجيا التي تتقدم بوتيرة كسر وأظهرت تشققات مقلقة في السلامة والدقة.
في الأسبوع الماضي ، واصل chatbot من Elon Musk من Xai طرح موضوع “الإبادة الجماعية البيضاء” في جنوب إفريقيا في ردود على التعليقات غير ذات الصلة.
نسبت الشركة لاحقًا السلوك الغريب إلى “تعديل غير مصرح به”.
وقالت أوليفيا غامبلين ، أخلاقية منظمة العفو الدولية ومؤلفة كتاب “المسؤول عن الذكاء الاصطناعي” ، إن مثال Grok يوضح مدى سهولة عبث هذه النماذج بـ “At Will”.
أخبر الباحثون والخبراء من الذكاء الاصطناعى CNBC أن الدفع من لاعبي الطاقة لتحديد أولويات الأرباح على البحث أدى إلى قيام الشركات بالاختصارات وتخليص اختبارات صارمة.
وقال جيمس وايت ، كبير مسؤولي التكنولوجيا في شركة Cybersecurity Startup Calypsoai ، إن الشركات التي تضحي بالأمن من أجل التقدم تعني أن النماذج أقل عرضة لرفض المطالبات الخبيثة.
وقالت وايت ، التي تقوم شركتها بمراجعات السلامة والأمن فيها ميتاو جوجلو Openai والشركات الأخرى. “من الأسهل خداعهم للقيام بأشياء سيئة.”
ساهم هايدن فيلد وجوناثان فانيان في CNBC في هذا التقرير.
اكتشاف المزيد من نهج
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.
