عندما يفكر فريق في مساعد يجيب عن أسئلة اللوائح، تكون المشكلة الأولى اختيار الوثيقة الصحيحة. يشرح دليل الاسترجاع لدى OpenAI البحث الدلالي الذي يسترجع مقاطع مرتبطة بالمعنى، مع إمكان تصفية النتائج بخصائص الملفات. هذه الأدوات توفر أساسًا تقنيًا، أما صلاحية الاستناد إلى مستند فتحتاج إلى قواعد يحددها أصحاب الاختصاص.
بطاقة الوثيقة قبل فهرستها
أقترح أن يبدأ المشروع بسجل لكل وثيقة: عنوانها، والجهة المصدرة، ورقم الإصدار، وتاريخ السريان، وحالتها، ومن يحق له الاطلاع عليها. كما ينبغي توضيح علاقتها بما سبقها؛ فقد يلغي مستند سابقًا أو يعدل جزءًا منه فقط. هذه العلاقات لا يصح استنتاجها من تشابه الكلمات وحده.
وتحتاج الملفات الممسوحة إلى مراجعة جودة استخراج النص. خطأ في رقم مادة أو وحدة قياس قد يغير معنى الإجابة. لذلك أفضّل حفظ صورة الصفحة وموضع المقطع إلى جانب النص، حتى يستطيع المراجع العودة إلى الأصل عندما تكون القراءة الآلية غير واضحة.
الإجابة التي أريد رؤيتها
في مثال افتراضي، يسأل الموظف عن المستندات المطلوبة لنوع محدد من الطلبات. يعرض المساعد إجابة موجزة، ثم يربط كل متطلب بالمصدر والموضع والإصدار. وإذا وجد تعارضًا أو لم تتحدد فئة المعاملة، يطلب توضيحًا أو يحيل المسألة للمراجعة بدل تركيب جواب يبدو كاملًا.
وينبغي تطبيق صلاحيات المستخدم قبل وصول المقاطع إلى النموذج. إخفاء اسم الملف بعد أن قرأ النموذج محتواه لا يحقق هذا الهدف. كذلك يُفصل المحتوى المرجعي عن تعليمات النظام، لأن نصًا موجودًا داخل مرفق لا يمنح المساعد صلاحية تنفيذ فعل أو كشف معلومة.
تجربة تقيس الاسترجاع والإجابة
- هل استُرجع المستند الصحيح وإصداره الملائم للسؤال؟
- هل يدعم المقطع المستشهد به الجملة التي تليه فعلًا؟
- هل بقيت الإجابة ضمن صلاحيات المستخدم؟
- هل أعلن النظام نقص المعلومات عند غياب مصدر مناسب؟
هذه أسئلة لا تختزل في دقة الصياغة. فقد يصل النظام إلى مصدر صحيح ثم يلخصه بطريقة تفقد الاستثناء، أو ينتج نصًا سليم اللغة مستندًا إلى إصدار قديم. فصل الاختبارين يساعد على معرفة الجزء الذي يحتاج إلى تحسين.
تبدأ فائدة هذا المسار عندما تختصر الأداة وقت البحث وتُبقي الدليل ظاهرًا، بحيث يستطيع المختص فحص الإجابة ومناقشتها وتوثيق قراره على أساس معلوم.