يشرح مرجع OWASP لحقن التعليمات كيف يمكن أن تحاول مدخلات مباشرة أو محتويات خارجية تغيير سلوك النموذج. المرجع ضمن إصدار 2025، لكن السؤال يزداد أهمية في التطبيقات التي نناقشها خلال 2026: ماذا لو قرأ المساعد ملفًا ثم تعامل مع نص داخله على أنه أمر يملك صلاحية تنفيذه؟
فرق بين المعلومة والتفويض
لنفترض أن موظفًا طلب تلخيص مرفقات معاملة. دور المرفق هو تزويد المهمة بالمعلومات، بينما يحدد طلب الموظف وسياسة التطبيق ما يجوز عمله. وجود جملة داخل الملف تطلب تغيير طريقة العمل لا يجعلها توجيهًا معتمدًا. ويجب أن ينعكس هذا الفصل في التصميم، لا في رسالة تنبيه لفظية فقط.
أرى أن الخطر يصبح أوضح عندما يمتلك المساعد أدوات قراءة وإرسال وتعديل. لذلك أفضّل تقسيم المهمة إلى مراحل، وتقييد كل مرحلة بما تحتاج إليه. مرحلة التلخيص لا تحتاج إلى صلاحية الإرسال، وعرض اقتراح تعديل لا يستلزم تنفيذه فورًا.
طبقات حماية قابلة للفحص
أبدأ بتحديد مصادر البيانات المتوقعة وتصنيف درجة الثقة بها. ثم أحافظ على تمييز المحتوى المسترجع عن تعليمات التطبيق، وأتحقق من شكل المخرجات قبل تمريرها إلى أداة أخرى. هذه الخطوات تقلل فرص انتقال النص الخارجي إلى فعل غير مقصود، لكنها تحتاج إلى اختبار وتحديث مستمرين.
- منح الأدوات أقل قدر من الوصول اللازم للمهمة.
- عرض تفاصيل الإجراء المؤثر على المستخدم قبل اعتماده.
- تقييد الوجهات والحقول التي تستطيع الأداة التعامل معها.
- تسجيل المصدر والعملية والنتيجة لتسهيل المراجعة.
لا أعتبر البحث في مستندات المؤسسة ضمانًا كافيًا وحده. فقد يكون المستند مرفقًا من طرف خارجي، أو نسخة غير معتمدة، أو ملفًا يحتوي على نص لا علاقة له بالطلب. كما أن التحقق من صيغة الإجابة لا يثبت صحة محتواها أو مشروعية استخدامها.
ما الذي يجب أن ينجح في الاختبار؟
أقترح اختبار ملفات تجريبية آمنة تحتوي على توجيهات غير ذات صلة بالمهمة، مع التأكد من أن المساعد يعاملها كمحتوى ولا يوسع صلاحياته. ويشمل النجاح الحفاظ على حدود الوصول، والتوقف عند التعارض، وعدم إرسال بيانات إلى وجهة لم يعتمدها المستخدم.
ما أبحث عنه في التصميم الدفاعي هو سلوك يمكن التحقق منه عند الحالات الصعبة، مع مسار واضح للمراجعة البشرية. فكلما اتسعت قدرة النظام على التنفيذ، ازدادت قيمة الفصل الدقيق بين الدليل الذي يقرأه والإذن الذي يعمل بموجبه.