التعلم في السياق

التعلم في السياق هو قدرة نماذج اللغة الكبيرة حيث يتعلمون أداء مهام جديدة من الأمثلة المقدمة في استفسار الإدخال دون الحاجة إلى تحديثات المعلمات أو الضبط الدقيق. يستخدم النموذج الأنماط والعلاقات الموضحة في الأمثلة المقدمة لاستنتاج السلوك المرغوب للمدخلات الجديدة ويكيف ردوده بناءً على السياق الذي أنشأته الأمثلة. هذه القدرة هي واحدة من أقوى ميزات نماذج اللغة الكبيرة الحديثة مما يمكنهم من أداء مجموعة واسعة من المهام مع تدريب ضئيل خاص بالمهمة. يعمل التعلم في السياق من خلال قدرة النموذج على التعرف على الأنماط في تسلسل الإدخال وتوسيعها. عندما يقدم المستخدم عدة أمثلة لمهمة مثل أزواج المدخلات والمخرجات للتصنيف أو الترجمة أو التحليل، يحدد النموذج النمط الأساسي ويطبقه على المدخلات الجديدة. يسمى عدد الأمثلة المقدمة عدد اللقطات حيث لا يستخدم التعلم بدون لقطات أي أمثلة ويستخدم التعلم بلقطة واحدة مثالاً واحدًا ويستخدم التعلم بعدة لقطات أمثلة متعددة. تعتمد فعالية التعلم في السياق على عدة عوامل: جودة وتمثيلية الأمثلة ووضوح وصف المهمة والتشابه بين الأمثلة والمدخل المستهدف وبيانات التدريب المسبق للنموذج. التعلم في السياق فعال بشكل خاص للمهام التي لدى النموذج معرفة عامة عنها من التدريب المسبق حيث تعمل الأمثلة على تركيز وتوجيه قدرات النموذج الحالية. الآلية الكامنة وراء التعلم في السياق هي مجال بحث نشط. تشير بعض النظريات إلى أن النماذج تؤدي انحدارًا متدرجًا ضمنيًا أثناء التمرير الأمامي وتتعلم بشكل فعال من الأمثلة دون تحديث الأوزان. تشير نظريات أخرى إلى أن التعلم في السياق ينبثق من قدرة النموذج على استرجاع وتطبيق الأنماط ذات الصلة من بيانات التدريب المسبق الخاصة به مع عمل الأمثلة كإشارات استرجاع. بغض النظر عن الآلية، أصبح التعلم في السياق قدرة أساسية لتطبيقات نماذج اللغة الكبيرة مما يمكن المستخدمين من تكييف النماذج مع المهام الجديدة بسرعة دون التكلفة الحسابية للضبط الدقيق.