تقطير المعرفة

تقطير المعرفة هو تقنية لضغط النماذج حيث يتم تدريب نموذج أصغر وأبسط (النموذج الطالب) على محاكاة سلوك نموذج أكبر وأكثر تعقيدًا (النموذج المعلم). يتعلم الطالب من احتمالات المخرجات أو التمثيلات الوسيطة للمعلم بدلاً من بيانات التدريب الخام وحدها. تنقل هذه العملية معرفة المعلم بما في ذلك فهمه الدقيق للأنماط والحالات الحدودية وحدود القرار إلى نموذج أكثر إحكاما وكفاءة. يمكن أن يقلل التقطير حجم النموذج بنسبة 40-90٪ مع الاحتفاظ بنسبة 95-99٪ من أداء المعلم، مما يجعله أحد أكثر التقنيات فعالية لنشر الذكاء الاصطناعي في البيئات المحدودة الموارد. هناك عدة أنواع من التقطير: التقطير القائم على الاستجابة حيث يقلد الطالب مخرجات المعلم النهائية، والتقطير القائم على الميزات حيث يتعلم الطالب من تمثيلات الطبقات الوسيطة للمعلم، والتقطير القائم على العلاقات حيث يتعلم الطالب العلاقات بين نقاط البيانات المختلفة كما يلتقطها المعلم. تم نشر هذه التقنية لأول مرة من قبل جيفري هينتون وزملائه في ورقتهم البحثية عام 2015 وأصبحت منذ ذلك الحين نهجًا أساسيًا في مجال تحسين النماذج. في الممارسة العملية، يتضمن التقطير تدريب النموذج الطالب على مزيج من بيانات التدريب الأصلية وتوزيعات الاحتمالات الناعمة للمعلم والتي تحتوي على معلومات أكثر ثراءً من التصنيفات الصلبة. تتحكم معلمة درجة الحرارة في مدى تأكيد التصنيفات الناعمة على الاختلافات الدقيقة بين الفئات، حيث تنتج درجات الحرارة المرتفعة توزيعات أكثر نعومة تكشف المزيد عن التفكير الداخلي للمعلم. يعتبر التقطير ذا قيمة خاصة لنشر نماذج اللغة الكبيرة في بيئات الإنتاج حيث يكون زمن الاستجابة والذاكرة والتكلفة الحسابية قيودًا حرجة. تستخدم المؤسسات المالية التقطير لإنشاء نسخ أصغر وأسرع من نماذج اللغات الكبيرة القوية التي يمكن تشغيلها على البنية التحتية المحلية دون التضحية بالدقة في المهام الخاصة بالمجال. تتيح التقنية أيضًا ضغط المجموعات حيث يمكن دمج المعرفة من نماذج متخصصة متعددة في نموذج طالب واحد مما يوفر طريقة عملية لنشر قدرات متنوعة من الذكاء الاصطناعي ضمن خط أنابيب استدلال واحد.