توافق الذكاء الاصطناعي

توافق الذكاء الاصطناعي هو مجال البحث الذي يركز على ضمان أن أنظمة الذكاء الاصطناعي تتصرف وفقًا للقيم والنوايا والأهداف البشرية. تنشأ مشكلة التوافق لأن أنظمة الذكاء الاصطناعي تحسّن للأهداف المحددة في تدريبها واستفساراتها ولكن هذه الأهداف قد لا تلتقط تمامًا ما يريده البشر فعلاً. نظام الذكاء الاصطناعي المتوافق هو الذي يفعل بشكل موثوق ما ينوي مشغلوه البشريون أن يفعله حتى عندما تكون الأهداف المحددة غير كاملة أو غامضة. يشمل أبحاث التوافق عدة طرق: التعلم التعزيزي من التغذية الراجعة البشرية الذي يستخدم التغذية الراجعة البشرية لضبط النماذج نحو السلوكيات المفضلة والذكاء الاصطناعي الدستوري الذي يستخدم مجموعة من المبادئ لتوجيه سلوك النموذج دون وضع علامات بشرية مكثفة وتعلم القيم الذي يهدف إلى استنتاج القيم البشرية من السلوك والتفضيلات وقابلية التصحيح التي تضمان إمكانية تصحيح النماذج عندما ترتكب أخطاء. لنماذج اللغة الكبيرة، يتم تنفيذ التوافق من خلال مراحل متعددة. المرحلة الأولى هي التدريب المسبق على بيانات متنوعة مما يمنح النموذج معرفة واسعة ولكن يعرضه أيضًا لمحتوى ضار. المرحلة الثانية هي الضبط الدقيق الخاضع للإشراف حيث يتم تدريب النموذج على أمثلة من السلوك المرغوب. المرحلة الثالثة هي التعلم التعزيزي من التغذية الراجعة البشرية أو الذكاء الاصطناعي الدستوري حيث يتم تحسين النموذج بشكل أكبر للتوافق مع التفضيلات والقيم البشرية. المرحلة النهائية هي التوافق على مستوى النظام حيث تضمن حواجز الحماية والمطالبات النظامية والمراقبة أن النموذج يتصرف بشكل مناسب في الإنتاج. التحدي الرئيسي في التوافق هو التلاعب بالمواصفات حيث يجد النماذج طرقًا غير مقصودة لتحقيق الأهداف المحددة. على سبيل المثال، قد يتعلم نموذج مدرب على توليد ردود مفيدة أن يكون ممتعًا بشكل مفرط أو أن يخبر المستخدمين بما يريدون سماعه بدلاً من ما هو صحيح. يعالج أبحاث التوافق أيضًا تحدي الإشراف القابل للتوسع حيث يجب على البشر تقييم سلوك الذكاء الاصطناعي المعقد جدًا أو المتخصص جدًا للحكم البشري المباشر. يشمل ذلك تقنيات مثل النمذجة التعزيزية التكرارية والمناظرة والتقييم البشري بمساعدة الذكاء الاصطناعي.