خبرة تقنية وإبداع يدعمان نمو أعمالكinfo@twiintech.com
تقنية التوأم

تقييم مخاطر نماذج الذكاء الاصطناعي

تقييم مخاطر نماذج الذكاء الاصطناعي

← خدمات حوكمة وأمن الذكاء الاصطناعي

السياسات والحوكمة

تصنيف حالات الاستخدام وتقدير أثر الخطأ واحتمال حدوثه.

رسم توضيحي لخدمة تقييم مخاطر نماذج الذكاء الاصطناعي
تصور توضيحي لمجال الخدمة ومسار تنفيذها.

ما تحتاج إلى تجهيزه

  • وصف حالات الاستخدام والأدوات والنماذج المستعملة حاليًا
  • البيانات التي تدخل إلى النظام ومن يملك حق الوصول إليها
  • القرارات التي يعتمد عليها الناتج ومن يراجعه قبل التنفيذ

المخرجات المتوقعة

  • سياسة استخدام وأدوار وضوابط بحسب نطاق الخدمة
  • تقييم مخاطر مع تصنيف وضوابط مقترحة لكل حالة
  • قائمة فحوص فنية واختبارات ومؤشرات مراقبة متفق عليها

معايير المراجعة

  • تحديد المسؤول عن مراجعة المخرج قبل استخدامه
  • منع إدخال بيانات مصنفة دون ضابط مناسب
  • قابلية تتبع مصدر المعلومة وتحديثها

عن الخدمة ونطاق العمل

تصنيف حالات الاستخدام وتقدير أثر الخطأ واحتمال حدوثه. نحدد استخدام الذكاء الاصطناعي بقواعد واضحة، ونقيس مخاطره وندقق مخرجاته قبل الاعتماد عليه، دون تعطيل الاستفادة العملية منه.

المخرج الأساسي المقترح هو سجل مخاطر مصنف وضوابط مقترحة ومعايير قبول قبل التشغيل. يُحدد حجم العمل وعدد العناصر أو الجلسات أو الملفات بعد مراجعة مدخلاتك؛ ولذلك يوضح العرض ما يشمله التنفيذ وما يحتاج اتفاقًا إضافيًا.

تجهيز طلب الخدمة

يساعد تجهيز موجز واضح على الوصول إلى تقدير واقعي للنطاق والمدة. بالنسبة إلى تقييم مخاطر نماذج الذكاء الاصطناعي، ابدأ بتوضيح الغرض من الطلب والجهة التي ستستخدم النتيجة، وأرفق عينة أو مرجعًا يشرح السياق. لا تحتاج إلى معرفة كل التفاصيل الفنية مسبقًا؛ المهم توضيح النتيجة التي تتوقعها والقيود التي ينبغي مراعاتها.

  • وصف حالات الاستخدام والأدوات والنماذج المستعملة حاليًا
  • البيانات التي تدخل إلى النظام ومن يملك حق الوصول إليها
  • القرارات التي يعتمد عليها الناتج ومن يراجعه قبل التنفيذ

إذا كان لديك عمل سابق، وضح ما تريد الاحتفاظ به وما ترغب في تغييره، وميز النسخة المعتمدة عن المسودات. يمكن البدء بعينة صغيرة لتقييم جودة المدخلات وتحديد البيانات الناقصة قبل الالتزام ببقية التنفيذ.

تصنيف حالات الاستخدام والمخاطر

لا تحتاج كل حالة استخدام للذكاء الاصطناعي الضوابط نفسها. يفصل العمل بين استخدامات منخفضة الأثر مثل صياغة مسودة داخلية، واستخدامات عالية الأثر مثل توليد رد يواجه العميل أو التأثير في قرار يتخذه. لكل حالة يوصف الأثر المحتمل عند الخطأ وتحتمل حدوثه، ثم تُحدد الضوابط المناسبة: مراجعة بشرية إلزامية، أو قيود على ما يدخل إلى النظام، أو منع كامل. هذا التصنيف يمنع المبالغة في الإجراءات حيث لا تلزم، ويضمن تشديدها حيث يكون الخطر حقيقيًا.

البيانات والصلاحيات والشفافية

أهم سؤال عملي هو ما البيانات التي يجوز إرسالها إلى خدمة خارجية أو نموذج داخل المنشأة، ومن يملك حق الوصول، وكم تبقى محفوظة. تُصنف البيانات وتوضع قواعد تمنع إدخال المعلومات الحساسة دون ضابط مناسب أو التزام تعاقدي يحميها. وينبغي أن يعرف المستخدم متى يتعامل مع نظام آلي ومتى راجع إنسان النتيجة، وأن تتوفر وسيلة واضحة للاعتراض أو طلب التصحيح، خصوصًا في الخدمات التي تمس حقوق الأفراد أو بياناتهم.

التدقيق والمراقبة بعد التشغيل

تتغير النماذج والأدوات والإعدادات، وقد يتغير سلوك المستخدمين بعد الإطلاق. تُسجل العمليات المهمة بما يكفي للتتبع دون جمع معلومات لا يحتاجها التشغيل، وتُراجع عينات من المخرجات دوريًا مقابل معايير متفق عليها. تقيس المؤشرات أثر الخطأ لا عدد مرات الاستخدام وحده. وعند تحديث نموذج أو مصدر معرفة تُعاد اختبارات العينات المرجعية قبل اعتماد التغيير، لأن نجاح الإصدار السابق لا يضمن سلوك الإصدار الجديد.

تقييم مخاطر نماذج الذكاء الاصطناعي قبل التشغيل وقرار اعتماد حالة الاستخدام

تقييم النظام التقني العادي يبدأ من متطلبات الأداء والجاهزية والأمن، بينما يبدأ تقييم نموذج الذكاء الاصطناعي من سؤال مختلف تمامًا: ماذا يحدث حين يخطئ؟ فقد يعمل النموذج بسلامة تقنية كاملة ويُصدر مع ذلك إجابة خاطئة بثقة عالية، ولذلك يجب أن يمتد التقييم إلى طبيعة الخطأ، ومن يتحمّل كلفته، وهل يمكن كشفه قبل أن يصل إلى من يتأثر به. لذلك يبدأ التقييم من سيناريوهات الفشل لا من مزايا المنتج، ويُطلب من مقدّم الطلب أن يصف أسوأ حالة ممكنة قبل أن يصف الأداء المتوقّع الذي يرجوه.

مقياس الأداء التقني المعتاد لا يصلح وحده هنا، لأن سلوك النموذج يتغيّر بتغيّر الصياغة والسياق والمدخل، ولا يوجد رقم واحد يصف جاهزيته. لذلك يُقيَّم الاستخدام لا النموذج مجرّدًا؛ فقد يكون هو نفسه مناسبًا لتلخيص مذكرة داخلية، وغير مناسب للردّ على استفسار مالي يصل من عميل ويخطئه مرة واحدة.

تتبدّل مع التقييم أيضًا طبيعة المسؤولية، فالمهندس في النظام التقليدي مسؤول عن تشغيله، أما في حالة الذكاء الاصطناعي فالنتيجة تنتقل إلى من يستعملها فيتخذ قرارًا بنيًا عليها. هذا الانتقال يستدعي مشاركة مالك الحالة وحماية البيانات والإدارة القانونية عند الحاجة منذ أول جلسة تقييم، لا إبلاغهم بالنتيجة بعد التشغيل. ولا يقتصر الأثر على العميل؛ فقد تصل المعلومة الخاطئة في عرض سعر مُرسل فعليًا إلى سمعة المؤسسة نفسها، وهو ما لا يعالجه اعتذار لاحق دائمًا.

يُقيَّد في بطاقة التقييم تاريخ التقييم وإصدار النموذج ومسودة السؤال المستخدمة، لأن النتيجة صالحة لهذه اللحظة وحدها. قد يُحدّث المورد نسخة النموذج أو طريقة ضبطه أو بيانات تدريبه دون إشعار واضح، فيصبح ما وُثّق قبل التحديث وصفًا لسلوك لم يعد موجودًا، ويلزم فحص الحالة من جديد قبل استمرار الاعتماد.

ولأن أفق التقييم أوسع، يختلف المشاركون فيه؛ فالمهندسون وحدهم لا يملكون صورة كاملة عن حجم الضرر المحتمل وعن قابلية تداركه. مَن يعرف كلفة الخطأ هو من يستقبل النتيجة ويعالج الشكوى بعدها، لذلك لا تُبنى توصية اعتماد إلا من جلسة تُوثَّق مشاركتها، يخرج منها كل طرف بمهمة محدّدة وموعد معلوم للمراجعة.

تحديد حالة الاستخدام ووصفها بدقة

تبدأ كل بطاقة تقييم بوصف حالة الاستخدام بلغة تفهمها الإدارة قبل المهندسين: ما المهمة التي يُعين فيها النموذج؟ مَن المستخدم؟ وما المخرج المتوقع ومن يتلقّاه؟ الوصف العام مثل استخدام الذكاء الاصطناعي في الدعم لا يكفي، لأن مخاطر الرد الآلي على أسئلة الفوترة تختلف عن مخاطر اقتراح إجراء يُنفَّذ مباشرة دون مراجعة. ولا يكفي أن يكتب الوصف مهندس المشروع وحده، فالوصف باللغة التقنية يخفي الأثر الحقيقي غالبًا، ويُستحسن أن يقرؤه مَن لن يستخدم النظام ويؤكده بأسلوبه.

يُثبَّت في الوصف نقطة التوقف: هل يقترح النظام فقط أم ينفّذ؟ إن كتب مسودة يراجعها موظف فالخطر من نوع، وإن أرسل ردًا إلى العميل دون مراجعة فالخطر من نوع آخر. جملة واحدة في بطاقة التقييم تُحسم غالبًا تصنيف الحالة كليًّا، ومنها تُشتق الضوابط وقرار الاعتماد لاحقًا دون نقاش مكرّر في كل اجتماع.

ويُذكر مصدر المدخلات وما هيته: نصوص يكتبها الموظفون، أم سجلات عملاء، أم مستندات مالية، أم محتوى منشور للعميل. تحديد مصادر المدخلات يكشف ما إذا كانت ستُدخل بيانات شخصية أو سرية داخل النموذج، وهو ما يقود مباشرة إلى مسار مراجعة حماية البيانات إذا استدعت طبيعة البيانات ذلك، قبل بدء أي اختبار فعلي. كما يُميَّز بين مدخلات ثابتة يُعاد استخدامها ومدخلات تتغيّر كل ساعة، لأن نمط التغيير يحدّد هل يلزم مراجعة دورية للضوابط أم موعد مراجعة مسبق.

يلزم كذلك توثيق النموذج الفعلي وواجهة الوصول إليه: نموذج مثبَّت داخل المؤسسة، أم خدمة سحابية عبر واجهة برمجية، أم أداة ويب يستخدمها الموظفون بحساباتهم. لكل واحدة آفاق تخزين ونقل مختلفة، والتوصيف بأيٍّ منها قبل التقييم يوفّر جولة تصحيح كاملة بعدها، ويمنع إعادة المناقشة نفسها مع كل طلب تقييم جديد.

يُعرَّض في وصف الحالة ما لا يفعله النظام بقرار مسبق: أن يلخّص دون أن يقرّر، أو أن يجيب على الأسئلة العامة ويترك الحالات الخاصة للموظف. رسم الحدود في الوصف يمنع اتساع الاستخدام بعد الاعتماد، ويمنح الإدارة مرجعًا واضحًا حين يتجاوز أحد المستخدمين ما اُعتمد له، فيصبح التجاوز مخالفة موثّقة لا خلاف تأويلي.

وأخيرًا يُوثَّق ما يحدث لهذه الحالة إذا تعطّل النموذج أو صدرت عنه إجابة مرفوضة: هل يتوقف العمل أم يعود إلى الطريقة اليدوية؟ الإجابة عن ذلك تكشف مدى اعتماد العمل اليومي على النموذج، وتدخل في حساب الأثر عند تقدير تكرار الخطأ، خصوصًا حين لا يوجد بديل تشغيلي جاهز في الوقت نفسه.

من يتأثر بالقرار وأي نوع من البيانات

بعد تثبيت الوصف يُطرح الأهم في التقييم: مَن يتأثر إن خرجت النتيجة خاطئة؟ يُميَّز هنا بين أثر مباشر يقع على من استخدم النظام، وأثر يمتد إلى طرف ثالث لم يعرف أن قرارًا اتخذ بمساعدته. الفرق بين الاثنين يغيّر شدة الضوابط أكثر مما يغيّرها حجم النموذج أو شهرة مورّده.

التأثير غير المباشر يستحق عناية مضاعفة، فكثير من الحالات تصدر توصية يبني عليها موظف قرارًا يمسّ عميلًا أو متقّدم خدمة. حين يتأثر طرف ثالث يلزم تسجيل مَن يتحمّل كلفة الخطأ فعليًا، وهل يستطيع الاعتراض على النتيجة، وهل يعلم أصلها؛ هذه الأجوبة تحدد ما إذا كان قبول الحالة لابد أن يكون مشروطًا بمراجعة بشرية إلزامية. ويُسأل أيضًا هل يوضع الطرف الثالث في موقف لا يميّز فيه بين رأي الإنسان واقتراح النظام، لأن هذا التمويه يزيد كلفة الخطأ العملية والأخلاقية.

يُصنَّف التأثر أيضًا بحسب قابلية التدارك: هل يمكن تصحيح الخطأ بعلاقة ودّية، أم أنه لا يُراجع بعد التنفيذ؟ إعلان خاطئ يمكن نقضه، بينما قرار استبعاد مرشّح أو رفض طلب لا يُصلَح بعده بسهولة. هذا التصنيف يظهر في مصفوفة الاحتمال والأثر بصورة واضحة، ويُستخدم مباشرة عند اتخاذ قرار الاعتماد نفسه.

خطوات التقييم — تقييم مخاطر نماذج الذكاء الاصطناعي
رسم توضيحي: خطوات التقييم. يوضح العناصر التي نراجعها في تقييم مخاطر نماذج الذكاء الاصطناعي، وهو مخطط إرشادي وليس نموذجًا من أعمال العملاء.

ثم تأتي أنواع البيانات المعالَجة، وهي شريك لمن يتأثر في تقدير الخطر: بيانات شخصية عادية تختلف عن بيانات صحية أو مالية أو سرية أو بيانات موظفين. تُدرج في بطاقة التقييم قائمة بيانات الإدخال والإخراج بتفصيل يكفي لتحديد جدية الخطر، دون إرفاق العينات نفسها بالوثيقة، التزامًا بمبدأ تقليل البيانات إلى أقل ضرورة.

ويُوضَّح ما إذا كانت هذه البيانات تغادر حدود المؤسسة أثناء المعالجة، وهل تُخزَّن لدى مورد، وهل تُستخدم في تحسين خدمته. هذا البند لا يُترك لفهم العقد الضمني، بل يُكتب في بطاقة التقييم استنادًا إلى إجابة مكتوبة من المورد أو من الجهة المشترية، لأن جزءًا من المخاطر ينشأ من افتراضات لم يجرِ التحقق منها. ويُفصل في الخانة نفسها بين ما تعرفه المؤسسة بثقة عمّا يفعله المورد، وما استنبطته من تجارب سابقة، حتى لا تُعرض الاحتمالات في التقرير كحقائق.

ومع بيان البيانات يُسأل: هل يحوي المدخل ما يصعب كشفه بعد خروجه، مثل أسماء أو أرقام هوية أو تفاصيل داخلية؟ إن كان الجواب نعم فقد ارتفع مستوى الخطر بصرف النظر عن جودة النموذج. الحماية هنا تبدأ من الضوابط على المدخلات، ثم من فحص المخرجات، لأن الكشف المتأخر لا يمحو ما سُجِّل فعلًا في مكان ما.

وتُوثَّق في هذا القسم الجهات المشاركة ومَن يمثّلها: حماية البيانات، والإدارة القانونية عند اللزوم، ومالك الحالة الذي يوقّع النتيجة. ترك مربع في بطاقة التقييم بغير اسم يعني أن الجهة لم تُحسم بعد، ويجب أن يبقى التقييم معلّقًا حتى يُستكمل، فلا يُسلَّم تقرير ملخص للإدارة وفيه فراغ يخصّ أطراف المطلوب.

احتمالية الخطأ وأثره وتكراره

تُقيَّم ثلاثة أشياء منفصلة: كم مرة يخطئ النظام تقريبًا، وما حجم الضرر في كل مرة، وكيف يتراكم الضرر بالتكرار. خطأ متكرّر منخفض الأثر، كسهو تفصيل في ملخص داخلي، يُعالَج بضوابط متابعة سهلة، بينما خطأ نادر مُدمِّر، كمعلومة خاطئة في ردّ رسمي، يبرّر وقف الاستخدام حتى تتوفر ضوابط حقيقية قابلة للاختبار.

لا يُخلط بين الاحتمال والأثر، فالنظام قد يكون كثير الخطأ قليل الضرر، أو نادر الخطأ كبير الضرر، وكل نمط يستدعي ضابطًا مختلفًا. مصفوفة الاحتمال والأثر في سجل المخاطر تُرسم بجدول بمحاور مكتوبة مسبقًا، يحتلّ كل خطر خانة واحدة، ولا يُوصف بالعام وحده مثل مرتفع من دون سقف معلوم يُرجَع إليه. ويُراعى ألّا تُحتسب المخاطرة نفسها مرتين تحت وصفين مختلفين، لأن التكرار الظاهري في السجل يوهم بوجود ضوابط أكثر مما هي موجودة فعلًا.

تقدير الاحتمال يبدأ من طبيعة المهمة لا من انطباع عام. المهام التي تتطلّب استرجاع حقيقة واحدة صحيحة أميل إلى الخطأ من المهام التي تلخّص موضوعًا قريبًا من صياغة المستخدم. يُطلب من مالك الحالة سرد حالات أخطأ فيها هذا النموذج أو نمط مشابه منه سابقًا، لأن التاريخ المتاح أصدق من التوقّع المجرّد.

التكرار عنصر قائم بذاته، فالخطأ الذي يحدث مرّة في السنة لا يساوي الخطأ ذاته يوميًا ولو كان أثره أصغر. يُقدَّر التكرار بعدد المحادثات أو المستندات أو القرارات المتوقّعة في المدة، ثم يُجمع مع الأثر لقراءة عملية في سجل المخاطر. هذا الحساب لا يُسلَّم بديلًا عن الحكم المهني، لكنه يجعل الأولويات قابلة للمقارنة بين الحالات. ويُمثَّل التكرار بخانة مستقلة في السجل حتى لا يختفي داخل الأثر، فالحالات كثيرة الظهور قليلة الخطورة تحتاج عناية مختلفة عن النظيرة النادرة.

يُفرَّق في تقدير الأثر بين ضرر مالي مباشر، وأثر في السمعة والثقة، وخسارة زمنية قابلة للقياس، وما يمسّ حقوق الأشخاص. ويُكتب مقياس الأثر قبل بدء التقييم لا بعده، لأن تعريف الحد الفاصل بين مقبول وممنوع بعد رؤية النتائج أسرع وسيلة لاتخاذ قراءة متحيّزة لنتيجة يرغب صاحب المشروع في الوصول إليها.

ويُميَّز بين خطأ يُكتشف داخليًا قبل وصوله ومَن يصل إلى المستخدم مباشرة. احتمال الاكتشاف جزء من حساب الخطر، إذ يقلّل الأثر الفعلي متى توفرت قناة إبلاغ واضحة ومستخدم مدرب على التردّد قبل التنفيذ. لذلك يُقيَّم في بطاقة التقييم ليس احتمال الخطأ وحده، بل احتمال مرور الخطأ دون كشف في الوقت المناسب.

وتُرصد في سجل المخاطر المخاطر المتأصلة، أي ما بقي بعد الضوابط المتاحة، إلى جانب ما عولج وحُدِّث فعليًا. الفصل بينهما يمنع تضخيم الإنجاز أو تصغير ما تبقّى، ويظهر للإدارة صورة صادقة: ما الذي استُبعد بالفعل، وما الذي بقي مقبولًا بقرار معلوم يحمل تاريخه وأطرافه، لا بتفاؤل ضمني عند التنفيذ.

قدرة النظام على إظهار حدوده ورفض الإجابة عند الشك

من أهم ما يُختبر قدرة النظام على الاعتراف بعدم مقدرته. النموذج الذي يجيب عن كل سؤال بثقة متساوية أخطر من نموذج يرفض ما هو غير واضح، لأن المستخدم يميل إلى قبول ما يصله بأسلوب قاطع. لذلك يُطلب في التقييم سلوك موثوق عند الغموض، لا جودة إجابة في الحالات المريحة فقط.

يُختبر هذا السلوك بأسئلة حقيقية من نطاق الحالة وخارج نطاقها، مع تسجيل ما رفضه صحيحًا وما قبله خطأً. إن لم يرفض النظام شيئًا خارج نطاقه فذلك دليل على أن حدوده غير معروفة للمستخدمين، فيُقيَّم ضابط إلزامي بديل: تضييق النطاق المعلن، أو إضافة طبقة كشف قبل الإرسال، أو منع الاستخدام خارج الأمثلة المعتمدة في الوصف. ويُقيَّم كذلك إن كان رفض النظام مصحوبًا باقتراح بديل مشروع، لأن الرفض الصامت وحده يدفع المستخدم إلى استعادة الإجابة من مصدر آخر بلا ضوابط.

يتّصل بذلك مستوى الثقة الذي يظهره النظام وأي رسالة ترافق الإجابة المتردّدة. هل يُبرز تردّده بوضوح، وهل يذكر مصدره إن كان مطلوبًا، أم أن كل الإجابات تبدو بنبرة واحدة؟ يجب أن يقرأ المستخدم مؤشرات الثقة دون تدريب متخصّص، وإلا فإن وجودها يضيف تفصيلًا شكليًا بلا أثر في تقليل الضرر. ويجب ألّا تُعرض مؤشرات الثقة بوصفها ضمانًا؛ فهي دليل على تردّد النظام لا على صحة إجابته، وهذا الفرق يُشرح للمستخدمين ضمن تعريف الحالة.

أسئلة تصنيف الخطر — تقييم مخاطر نماذج الذكاء الاصطناعي
رسم توضيحي: أسئلة تصنيف الخطر. يوضح العناصر التي نراجعها في تقييم مخاطر نماذج الذكاء الاصطناعي، وهو مخطط إرشادي وليس نموذجًا من أعمال العملاء.

كما يُفحص النظام في الحالات الحدّية عند أطراف نطاقه، كبيانات ناقصة أو لغة مختلطة أو طلب يتجاوز صلاحيات المستخدم. هذه الحالات موضع وقوع كثير من الحوادث الفعلية، لا الأمثلة السلسة المعروضة في العرض التعريفي. تُسجَّل نتائجها في بطاقة التقييم كأمثلة داعمة، وتُستعمل لاحقًا ضمن اختبارات القبول عند إعادة التقييم.

ويجب التحقق من وجود مسار واضح للاعتراض والإبلاغ حين يستخدم أحد الموظفين إجابة يراها خاطئة. ضابط الرفض عند الشك لا يعمل بلا قناة تصعيد يعرفها الجميع. يُذكر في التقييم مَن يستقبل البلاغ، وفي أي مدة يُراجَع، وما الإجراء أثناء المراجعة؛ لأن الفراغ هنا يحوّل الشك إلى قبول ضمني سريع.

ويُحرص ألا يُبنى سلوك الرفض على ضبط يُغيَّر شفهيًا لكل حالة. رسائل الرفض وحدود النطاق تُوثَّق وتُتفق عليها بين مالك الحالة والتقنية، وتُعدَّل رسمًا عبر إصدار مسجَّل. هذا الانضباط يجعل السلوك قابلًا للاختبار عند المراجعة، ويمنع أن يصير رفض النموذج أمرًا يتغيّر بتغيّر مَن يقف أمام الشاشة.

البدائل الأبسط والحالات التي لا يحتاج فيها إلى ذكاء اصطناعي

قبل اعتماد أي حالة يُطرح سؤال يزعج بعض أصحاب المشاريع: هل نحتاج إلى الذكاء الاصطناعي أصلًا؟ كثير من الحالات يحلّها قرار بسيط، أو استمارة، أو بحث داخل معرفة منظّمة، أو إجراء بشري قصير. التقييم الذي يتخطّى هذا السؤال يمنح المشروع مخاطرة لا يقابلها منه نفع واضح يبرّرها.

وتُقارن البدائل بنفس المعايير لا بانطباع التقنية عنها. البديل الأبسط قد يكون أبطأ في الإنتاج وأوضح في المساءلة، وقد يكون أغلى تشغيليًا ومع ذلك أقلّ كلفة عند الخطأ. تُوضع المقارنة في بطاقة التقييم بجدول واحد يتضمّن الكلفة والسرعة ودقة النتيجة المتوقعة وصعوبة اكتشاف الخطأ والضوابط اللازمة لتشغيل كل خيار. ويُدرج في الجدول أيضًا زمن الإعداد وبساطة استعادة الحالة السابقة إن فشل الخيار الجديد، لأن ما يصعب التراجع عنه أصعب في القبول.

ومن الحالات التي تستدعي التوقف استخدام نموذج توليدي في مهام ثابتة القواعد، كاحتساب مبلغ أو التحقّق من حقل إلزامي أو نقل بيانات بين حقول. حين تكون النتيجة محسوبة بالتعريف، فإن إدخال توليد لغوي يضيف تباينًا لا فائدة له، ويستهلك جهد مراجعة كان يمكن توجيهه إلى المسائل التي تستحق التفكير فعلًا.

ويُميَّز بين ما يحتاج توليدًا لغويًّا طبيعيًّا عمّا يحتاج فهمًا أو تصنيفًا دقيقًا. التلخيص وإعادة الصياغة ومسودات المراسلة مناطق يتفوّق فيها النموذج ويخطأ فيها حدًّا مقبولًا يُغطّيه الضابط، بينما التصنيف الحسّاس والاسترجاع بأرقام ومعرّفات لا تحتمل هذا التساهل. تقييم بديل صحيح يحدّد أي نوع من المهام مطروح أصلًا قبل اختيار الأداة. ويُفضَّل تجربة البديل الأقلّ تكلفة أولًا في كل حالة، لأن رفضه بالدليل أقوى من رفضه بالانطباع، وتُدوَّن النتيجة في بطاقة التقييم نفسها.

وأحيانًا يكون البديل الأفضل نصف حل: أن يولّد النموذج مسودة أولى ثم تمرّ على مسار مراجعة مخصّص، بدل تسليم النتيجة مباشرة. هذا التصميم يبقي فائدة السرعة ويحوّل كلفة الخطأ إلى مراجعة بشرية محدودة الزمن. يُوثَّق هذا الخيار في بطاقة التقييم قابلًا للاعتماد المشروط، لا كخيار مرفوض سلفًا.

وينبغي أن يظهر في تقرير الإدارة البدائل التي فُكِّر فيها وسبب إبعادها، لا النتيجة وحدها. حين يقرأ القرار أن الفريق فكّر في الاستمارة أو الإجراء اليدوي ورفضها بمبرر مكتوب، تزداد ثقة بأن المشروع اختير لحاجة حقيقية. وإن تغيّرت الظروف تبقى المقارنة جاهزة للاستئناف عند إعادة التقييم بدل النقاش من جديد.

اختيار الضوابط وربطها بالخطر

لا تُاختار الضوابط من قائمة عامة تُطبَّق على كل الحالات، بل تُشتق من المخاطر المسجَّلة واحدًا واحدًا. لكل خطر في السجل يُسأل: ما الذي يخفّفه هذا الضابط بالضبط؟ إن لم يتّضح الجواب فالبند زائد ويستهلك جهدًا دون خفض الخطر. هذا الربط يمنع تضخيم متطلبات التنفيذ ويمنح كل بند سببًا مكتوبًا.

تبدأ الضوابط عادة بالتحكّم في المدخلات: تحديد ما يجوز إدخاله، وتنقية البيانات التي حُدِّدت قبل الإرسال، وحصر الأسئلة المعتمدة في نطاق معلن. هذه الضوابط أقلّ تكلفة وأسرع تطبيقًا من تعديل النموذج نفسه، وتعمل قبل وقوع الخطأ بدل الاعتماد على تصحيحه من بعدها، لذلك تُقيَّم أولًا دائمًا. ويُكتب في خانة الضابط ماذا يفعل إن فشل، لأن الضوابط المبكرة بلا إجراء بديل عند التعطل تتحول إلى إجراء شكلي عند أول اختبار حقيقي.

ثم تأتي مراجعة المخرجات البشرية، وتُصاغ بالتحديد لا بمبدأ عام. عبارة مثل سيُراجَع المخرجات لا معنى لها دون تحديد مَن يراجع، وعلى أي أساس، وخلال كم مدة، وماذا يفعل إن اعترض. يُكتب ذلك في خانة الضابط بلغة تنفيذية يفهمها موظف التشغيل في أول يوم، لا بعبارات تصلح لخطاب رسمي فقط.

ضوابط الأثر تُختار حين يصعب خفض الاحتمال كثيرًا: وقف التنفيذ الآلي، أو رفع صلاحية الاعتماد إلى مستوى أعلى، أو جعل النتيجة غير قابلة للتنفيذ قبل موافقة ثانية. هذه الضوابط تؤثر في سرعة العمل صراحة، ويجب أن تظهر كلفتها في التقرير، لأن الإدارة تصنع المفاضلة وهي مطلعة، لا حين يفاجأها الأمر.

قياس فعالية الضوابط — تقييم مخاطر نماذج الذكاء الاصطناعي
رسم توضيحي: قياس فعالية الضوابط. يوضح العناصر التي نراجعها في تقييم مخاطر نماذج الذكاء الاصطناعي، وهو مخطط إرشادي وليس نموذجًا من أعمال العملاء.

وتُقيَّم فعالية كل ضابط قبل اعتماده لا بعد التنفيذ. يُسأل: هل يمكن التحايل عليه في بيئة العمل كما هي؟ هل يحتاج مهارة نادرة؟ هل ينهار تحت الضغط والمواعيد القصيرة؟ ضابط يُنصَّح بسهولة ولا يُطبَّق فعليًا أسوأ من ضابط أضعف يُطبَّق بانتظام، لذلك تُسجَّل ملاحظات تنفيذه المتوقعة داخل السجل نفسه.

ويجب ألّا تتجاوز الضوابط حدود المنطق الاقتصادي للحالة؛ فإن كانت كلفتها تفوق منفعة الاستخدام فذلك مؤشر على أن الحالة لا تستحق الاعتماد كما هي. هذا الاستنتاج مشروع ومفيد، ويُدوَّن بديلاً عنه إعادة تصميم الحالة أو تأجيلها بضوابط أخف. الهدف من التقييم قرار صحيح، لا إنقاذ المشروع بأي ثمن.

قرار الاعتماد وشروطه وإعادة التقييم

ينتهي التقييم بقرار صريح: معتمد، أو معتمد مشروط، أو مرفوض. لا يُترك القرار توصية أو اجتهادًا، بل يُكتب في جملة قاطعة مع تاريخ وأسماء مَن وقّعوا، لأن الغموض فيه أسرع وسيلة لتشغيل حالة مرفوضة على أساس تفسير متفائل. يُرفق به ملخص المخاطر والضوابط التي بُني عليها، لا مجرد كلمة موافقة.

الاعتماد المشروط هو الحال الأكثر واقعية، ويُشترط فيه تحديد شروط ملموسة قابلة للفحص: مراجعة بشرية لكل مخرج، أو منع نوع معيّن من البيانات، أو اختبار تجريبي محدود المدة، أو إغلاق قناة معينة قبل الاتصال بالعملاء. شرط لا يمكن التحقّق منه لا يُعدّ شرطًا بل نية حسنة، ولا يُقبل في بطاقة التقييم. ويُقدَّر عدد الشروط قبل اعتمادها؛ فكثرة الشروط الصغيرة تجعل المتابعة مستحيلة عمليًا، وخير أن تُختار أهمها وتُؤجَّل الباقي إلى مراجعة قادمة.

تُسجَّل شروط إعادة التقييم بمواعيد أو أحداث محدّدة: تغيّر النموذج أو نسخته المعتمدة، أو توسيع الحالة إلى مستخدمين جدد أو بيانات جديدة، أو وقوع حادثة واحدة تجاوزت سقف الأثر المتوقّع، أو انقضاء مدة متفق عليها. الإشارة إلى حدث إعادة التقييم تجعل المراجعة التزامًا مجدولًا لا اقتراحًا اختياريًا يُؤجَّل مرارًا. وتُضاف شرطًا إعادة تقييم عند اكتشاف استخدام لم يُذكر في الوصف الأصلي، لأن الامتداد الصامت أسرع أسباب انحراف الحالة بعد اعتمادها.

ويُعرَّض في التقرير الملخص للإدارة ما لم يُقبل ولماذا، مع الخيارات البديلة المتاحة. الإدارة لا تحتاج مئات الصفوف التقنية، بل صفحة تبيّن الحالة المطروحة والمخاطرة الأساسية والضوابط المعتمدة والشروط والقرار، ومَن يملك وقف الاستخدام إذا تحقّق شرط من شروط الإيقاف. هذا الملخص أداة قرار، لا تفاصيل تنفيذ تُقرأ سطرًا سطرًا.

يُحفظ سجل المخاطر ومصفوفة الاحتمال والأثر بعد الاعتماد، ولا يُغلق الملف مع توقيع القرار. كثير من المخاطر يظهر في التشغيل لا في التقييم، خصوصًا مع دخول حالات لم تُختبر. يُحدَّد لسجل المخاطر مالك يحدّثه دوريًّا، وتُقاس نسبة الحالات التي أُعيد تقييمها في موعدها مؤشرًا بسيطًا لفاعلية الحوكمة في المؤسسة.

ويُربط قرار الاعتماد بعقد التشغيل إن وُجد، بحيث تُدرج الضوابط والشروط في التزامات المورد أو فريق التشغيل الداخلي. الضابط المكتوب في بطاقة التقييم بغير مرجع في الإجراءات التشغيلية يصبح نصيحة سريعة النسيان. هذا الربط يمنح التقييم أثرًا تنفيذيًا، ويمنع أن تُعتمد الحالة في وثيقة وتنسى في اليوم التالي.

وأخيرًا يبقى قرار الرفض قابلًا للمراجعة لا حكمًا مصيرًا دائمًا. إن توافرت ضوابط جديدة أو نموذج أفضل أو بيانات أقلّ حساسية، تُعاد الحالة بالمسار نفسه وتُقيَّم بالأدلة الجديدة لا بذكرى الرفض السابق. الرفض الموثّق بمبرر ثم إعادة فتحه عند تحسّن حقيقي أسرع من إعادة النقاش من الصفر في كل اجتماع.

حدود الخدمة وما لا يُعدّ التقييم ضمانًا له

تُوضَّح حدود الخدمة صراحة قبل بدء العمل. لا نصدر شهادات امتثال ولا اعتمادات رسمية، لأن إصدار الشهادة صلاحية جهة مرخّصة ونطاقها محدّد بجهتها. ما نقدّمه تقييمًا مهنيًّا موثّقًا يُستخدم مدخلًا لقرار داخلي في المؤسسة، ولا يتحوّل بعده إلى وثيقة رسمية بطابع تنظيمي لم نستطع منحه.

ولا نضمن قبول جهة تنظيمية معينة ولا نتيجة مراجعة قادمة، فقرارات الجهات تخضع لتقديرها ونطاقها وأولوياتها وقت الفحص. كذلك لا نستبدل التقييم الفني أو القانوني الذي تجريه الجهة المختصة؛ يمكن أن يوضّح تقييمنا مواضع الخطر والضوابط المقترحة، بينما يبقى القرار لدى الجهة التنظيمية أو مستشاريها المعتمدين وحدهم.

والتقييم بطبعه لحظي، فيُصدَّر بتاريخ معلوم وإصدار نموذج معلوم، ولا يبقى صالحًا بعد تغيّر النموذج أو البيانات أو نطاق الحالة. أي تغيير جوهري يُعيد فتح التقييم قبل مواصلة التشغيل. هذا ليس تعقيدًا إضافيًا، بل شرط بقاء القرار مبنيًّا على أوضاع حقيقية بدل صورة قديمة منها احتفظ بها التشغيل.

وأخيرًا، التقييم لا يُقدَّم كضمان لعدم وقوع حوادث، فكل تقنية تحمل احتمال خطأ. دورنا أن نجعل هذا الاحتمال معلومًا، وأن يقابله ضوابط مكتوبة وقرار واضح، لتتحمّل المؤسسة ما تبقّى عن دراية. بذلك يصبح المشروع قابلًا للدفاع أمام إدارتها وعملائها، لا معتمدًا على أمل ألّا يخطئ أحد يومًا.

مراجع للاطلاع: أداة تقييم أخلاقيات الذكاء الاصطناعي — منصة حوكمة البيانات الوطنية · مبادئ أخلاقيات الذكاء الاصطناعي — هيئة الحكومة الرقمية

مراجعة الجودة واستلام العمل

تُراجع خدمة تقييم مخاطر نماذج الذكاء الاصطناعي بمقارنة النتيجة بالموجز والمخرجات التي اتفق عليها، وليس بالانطباع العام وحده. توثق الملاحظات وتحدد النسخة التي تشير إليها، ثم تجمع في قائمة واضحة حتى يمكن معالجتها ومراجعة أثرها.

  • تحديد المسؤول عن مراجعة المخرج قبل استخدامه
  • منع إدخال بيانات مصنفة دون ضابط مناسب
  • قابلية تتبع مصدر المعلومة وتحديثها

قبل إغلاق العمل، نتأكد من وجود الملفات أو الروابط المطلوبة ومن وضوح طريقة استخدامها. إذا ظهرت حاجة جديدة أثناء المراجعة، يشرح أثرها على الوقت والتكلفة قبل تنفيذها، وتبقى الملاحظات المتعلقة بالنطاق الأصلي منفصلة عن طلب توسعة المشروع.

أسئلة شائعة عن تقييم مخاطر نماذج الذكاء الاصطناعي

كيف تحدد مدة الخدمة وتكلفتها؟

يعتمد التقدير على حجم الطلب وجودة المدخلات وتعقيد التنفيذ وعدد النسخ أو مراحل المراجعة. أرسل وصف احتياجك وعينة مناسبة لنحدد النطاق قبل البدء، لأن تسمية الخدمة وحدها لا تجعل جميع الطلبات متساوية في الجهد.

هل يمكن تنفيذ جزء من المشروع أولًا؟

يمكن الاتفاق على مرحلة أولى محددة عندما يساعد ذلك على توضيح الاتجاه أو اختبار ملاءمة المخرج. يجب أن تكون لهذه المرحلة نتيجة يمكن تقييمها، وأن توضح علاقتها بما قد يليها من مراحل.

ما الذي يشمله التسليم؟

سجل مخاطر مصنف وضوابط مقترحة ومعايير قبول قبل التشغيل. يتحدد عدد الملفات وصيغها وحقوق استخدامها وأي متابعة لاحقة في عرض العمل. اطلب توضيح ملفات المصدر أو التدريب أو الدعم إذا كانت ضرورية لك، لأنها ليست مكونات تلقائية لكل طلب.

خدمات مرتبطة

مراجع للاطلاع

المراجع للاطلاع العام، وليست وعدًا بنتيجة أو ترتيب محدد.

ابدأ طلب تقييم مخاطر نماذج الذكاء الاصطناعي

شاركنا هدفك والمدخلات المتاحة والموعد المطلوب، لنحدد معك نطاقًا واضحًا للعمل.

ناقش طلبك مع فريقنا