الاسترجاع المتناثر
الاسترجاع المتناثر هو نهج بحث يستخدم تمثيلات متجهية متناثرة وهي متجهات عالية الأبعاد حيث معظم الأبعاد صفرية للعثور على مستندات بناءً على مطابقة المصطلحات والأهمية الإحصائية. الشكل الأكثر شيوعًا للاسترجاع المتناثر هو BM25 وهي دالة ترتيب احتمالية تسجل المستندات بناءً على تكرار مصطلحات الاستعلام في كل مستند معدلة حسب طول المستند وتكرار المصطلح عبر المجموعة. على عكس الاسترجاع الكثيف الذي يلتقط المعنى الدلالي، يتفوق الاسترجاع المتناثر في مطابقة المصطلحات الدقيقة مما يجعله مثاليًا للاستعلامات التي تتطلب دقة على مصطلحات محددة أو معرفات أو عبارات. تمثل طرق الاسترجاع المتناثر المستندات كمتجهات متناثرة حيث يتوافق كل بعد مع مصطلح فريد في المفردات وتمثل القيمة أهمية المصطلح في المستند. يسمى هذا التمثيل نموذج كيس الكلمات لأنه يتجاهل ترتيب الكلمات والقواعد النحوية ويعامل كل مستند كمجموعة من المصطلحات المستقلة. الميزة الرئيسية للاسترجاع المتناثر هي كفاءته حيث يمكن تنفيذه باستخدام فهارس مقلوبة تربط المصطلحات بالمستندات مما يتيح استرجاعًا سريعًا حتى على مجموعات كبيرة جدًا. الاسترجاع المتناثر قابل للتفسير بدرجة كبيرة لأن درجة الصلة يمكن شرحها من خلال المصطلحات المحددة التي تطابقت. تطور الاسترجاع المتناثر الحديث إلى ما هو أبعد من BM25 التقليدي مع أساليب الاسترجاع المتناثر المتعلم مثل SPLADE و uniCOIL التي تستخدم الشبكات العصبية لتعلم المصطلحات المهمة للاسترجاع ويمكنها توسيع الاستعلامات بمصطلحات ذات صلة. تجمع هذه الطرق المتناثرة المتعلمة بين دقة مطابقة المصطلحات مع بعض الفهم الدلالي محققة أداء يقترب من الاسترجاع الكثيف على العديد من المعايير مع الحفاظ على قابلية التفسير والكفاءة للطرق المتناثرة. في أنظمة الإنتاج، غالبًا ما يتم دمج الاسترجاع المتناثر مع الاسترجاع الكثيف في نهج بحث هجين يزن ويدمج النتائج من كلتا الطريقتين لتحقيق أداء أمثل عبر أنواع الاستعلامات المختلفة.
في الخدمات المالية
مثال واقعي
يستخدم فريق الامتثال في بنك عالمي الاسترجاع المتناثر كجزء من نظام البحث الهجين لمراقبة اتصالات الموظفين. يحتفظ النظام بقائمة تضم أكثر من 50,000 مصطلح خاضع للتنظيم وقوائم العقوبات وكلمات الامتثال الرئيسية. عندما يبحث مسؤول الامتثال عن اتصالات تذكر 'PEP' أو 'OFAC'، يضمن مكون الاسترجاع المتناثر اكتشاف المطابقة الدقيقة والعثور على جميع المستندات التي تحتوي على هذه المصطلحات المحددة. يستخدم النظام أيضًا تسجيل BM25 لترتيب الاتصالات حسب الصلة مع درجات أعلى للمستندات التي تذكر مصطلحات الامتثال عدة مرات. يعالج مكون الاسترجاع المتناثر 10 ملايين اتصال يوميًا مع زمن استجابة أقل من الثانية مما يوفر الدقة اللازمة للامتثال التنظيمي بينما يتعامل مكون الاسترجاع الكثيف للنظام الهجين مع عمليات البحث المفاهيمية.
لماذا يهم في التمويل
يظل الاسترجاع المتناثر مكونًا حاسمًا في أنظمة البحث المالي لأن الدقة على المصطلحات الدقيقة غير قابلة للتفاوض في البيئات المالية الخاضعة للتنظيم. عندما يحتاج مسؤول الامتثال إلى العثور على جميع المستندات التي تذكر بندًا تنظيميًا محددًا أو يحتاج المتداول إلى التحقق من الشروط الدقيقة لأداة مالية، فإن التقريبات الدلالية غير مقبولة. يوفر الاسترجاع المتناثر الدقة وقابلية التفسير والتدقيق التي تتطلبها تطبيقات البحث المالي. ومع ذلك، فإن قيود الاسترجاع المتناثر في التعامل مع المرادفات والعلاقات المفاهيمية تعني أنه يجب دمجه مع الاسترجاع الكثيف لتغطية بحث شاملة.
مصطلحات ذات صلة
استكشف في Finatune
أسئلة شائعة
ما هو الاسترجاع المتناثر في RAG؟
الاسترجاع المتناثر هو نهج بحث يستخدم متجهات متناثرة للعثور على مستندات عن طريق مطابقة المصطلحات الدقيقة وأكثر أشكاله شيوعًا هو BM25.
متى يكون الاسترجاع المتناثر أفضل من الكثيف للنص المالي؟
يكون أفضل عندما تكون مطابقة المصطلحات الدقيقة حاسمة مثل البحث عن المعرفات التنظيمية أو رموز CUSIP أو أرقام إيداع هيئة الأوراق المالية.
كيف يعمل BM25 للمستندات المالية؟
يسجل BM25 المستندات عن طريق حساب تكرار مصطلحات الاستعلام في كل مستند معدلاً حسب طول المستند وندرة المصطلحات.