ضغط السياق

ضغط السياق هو تقنية في أنظمة RAG تقلل كمية السياق المسترجع الذي يتم تمريره إلى نموذج اللغة الكبير مع الحفاظ على المعلومات الأكثر صلة. الهدف هو احتواء المحتوى الأكثر فائدة ضمن نافذة سياق النموذج وتقليل تكاليف المعالجة وتحسين جودة الردود عن طريق إزالة المعلومات غير ذات الصلة أو المكررة. بدون الضغط، تسترجع أنظمة RAG عادة أجزاء أكثر مما يمكن أن تتسع له نافذة السياق أو تتضمن أجزاء تحتوي على معلومات غير ذات صلة إلى جانب الأجزاء ذات الصلة. يعالج ضغط السياق هذا من خلال عدة طرق: الضغط الاستخلاصي الذي يحدد الجمل أو المقاطع الأكثر صلة من الأجزاء المسترجعة، والضغط التجريدي الذي يستخدم نموذج اللغة الكبير لتلخيص المحتوى المسترجع، والتصفية التي تزيل الأجزاء التي تقل عن عتبة الصلة، وإعادة الترتيب التي تعيد ترتيب الأجزاء حسب الصلة وتختار فقط أفضل k. النهج الأكثر شيوعًا هو معيد الترتيب وهو نموذج متخصص يسجل كل جزء مسترجع للصلة بالاستعلام ويختار المجموعة الفرعية الأكثر صلة. معيدات الترتيب أكثر دقة من تشابه المتجهات الأولي لأنها تستخدم بنيات التشفير المتقاطع التي تشترك في ترميز الاستعلام وكل جزء معًا وتلتقط إشارات الصلة الدقيقة التي قد تفوتها تضمينات ثنائية التشفير. تشمل تقنيات الضغط الأكثر تقدمًا الضغط القائم على نموذج اللغة الكبير حيث يولد النموذج ملخصًا مضغوطًا للسياق المسترجع والضغط القائم على التعليمات حيث يوجه النظام النموذج للتركيز على جوانب محددة من المحتوى المسترجع والضغط المنظم الذي يستخرج المعلومات وينظمها في تنسيق محدد مسبقًا مثل الجداول أو النقاط. ضغط السياق مهم بشكل خاص للاستعلامات المعقدة التي تتطلب تجميع المعلومات من مستندات متعددة حيث قد يتجاوز المحتوى المسترجع الإجمالي نافذة السياق المتاحة بشكل كبير. نسبة الضغط هي معلمة تصميم رئيسية حيث أن الضغط العدواني للغاية قد يفقد معلومات مهمة بينما قد لا يوفر الضغط القليل جدًا فائدة كافية.