تُرجمت هذه المقالة آليًا. النسخة الأصلية متاحة باللغة الإنجليزية.
وقف إريك لوميس أمام قاضٍ في ولاية ويسكونسن عام 2013، بعد أن أقرّ بالذنب في تهمتين أخف: محاولة الفرار من شرطي مرور، وقيادة سيارة دون موافقة مالكها. وكانت الولاية قد ربطت القضية بإطلاق نار من سيارة عابرة نفى أي مشاركة فيه. وتضمّن تقرير ما قبل الحكم تقييمًا للمخاطر من نظام COMPAS، وهو درجة من 1 إلى 10 تولّدها خوارزمية محمية الملكية لتقدير احتمال عودته إلى ارتكاب الجرائم. جاء الرقم مرتفعًا. طلب محاموه فحص المنهجية. فقيل لهم إنها ملكية خاصة — تعود إلى شركة خاصة اسمها نورثبوينت، وليس لهم أن يطّلعوا عليها.
وفي حكم صدر عام 2016، قضت المحكمة العليا في ويسكونسن بأن لوميس نال حقه في الإجراءات القانونية الواجبة، مع أنه لم يكن بوسعه ولا بوسع محاميه فحص الطريقة التي حُسبت بها درجته. فقد كان بإمكانه مراجعة المدخلات والرقم النهائي، وإن لم يكن بإمكانه مراجعة المنطق الذي يربط بينهما، ولم تكن الدرجة العامل الحاسم في الحكم الصادر بحقه. وألزمت المحكمة كل تقارير ما قبل الحكم التي تستخدم COMPAS مستقبلًا بأن تتضمن تحذيرًا مكتوبًا يعدّد المشكلات المعروفة في الخوارزمية. كان التحذير مفصّلًا وصادقًا، ومع ذلك أقرّت المحكمة استخدام الخوارزمية. لو حُجب عن الدفاع النصُّ القانوني نفسه الذي تُحدَّد الأحكام بموجبه، لكانت أزمة الإجراءات القانونية الواجبة جليّة للجميع؛ لكن القاعدة المحجوبة كانت خوارزمية، فتعاملت معها المحكمة بوصفها أداة.
فما الفرق بالضبط بين قانون سرّي وقاعدة محمية الملكية تعمل عمل القانون؟
ما الذي يجعل الشيء تنظيمًا
ثمة تعريف عملي مفيد للتنظيم يقوم على ثلاثة عناصر: أثر مُلزِم، وامتثال إجباري، وعواقب لعدم الامتثال. وبهذا التعريف، يُعدّ القانون الذي يحظر التمييز في الإقراض تنظيمًا. لكن الأمر ذاته ينطبق، من الناحية الوظيفية، على خوارزمية ترفض تلقائيًا طلبات القروض المقدَّمة من أصحاب رموز بريدية بعينها، وهو أثر لا يقلّ واقعية لمجرد غياب قانون موقَّع.
رأى لورنس ليسيغ أن «الشيفرة هي القانون»: فبنية البرمجيات تشكّل السلوك بالقدر نفسه من اليقين الذي تشكّله به القواعد القانونية. ورأى فرانك باسكوالي أن الأنظمة الخوارزمية المعتمة باتت تحكم الائتمان والتوظيف والسمعة دون مساءلة. فإذا كانت خوارزمية ما تعمل فعلًا عمل التنظيم، مُلزِمةً وإجباريةً وذات عواقب، فأي مساءلة ينبغي أن تقترن بهذه السلطة، ولماذا لم تقترن بها أي مساءلة حتى الآن؟
ينطبق الاختبار الوظيفي بوضوح على المجالات التي صارت فيها السلطة الخوارزمية أبعد أثرًا. فدرجة المخاطر المستخدمة في قرارات الكفالة لا مفرّ منها: لا يستطيع المتهم أن يختار عدم تقييمه، ولا أن يستبدل بها مقياسًا آخر، ولا أن ينسحب من رقم يزن بثقل في تحديد ما إذا كان سينام في زنزانة أو في بيته إلى حين محاكمته. أما قرار الائتمان الخوارزمي فلا يقف وراءه صاحب قرار بعينه يمكن استجوابه، ولا تقدير شخصي يمكن التشكيك فيه. تولّد الخوارزمية قاعدة، وتنتج القاعدة نتيجة، وتكون النتيجة نهائية ما لم يتمكن مقدّم الطلب من خوض إجراء اعتراض لا يكشف أبدًا منطق التقييم نفسه. وحذف المحتوى في إطار الإشراف عليه فوري: المنشور اختفى. وأيًّا كان سبيل الطعن المتاح للمستخدم العادي، فإنه يُحسم وفق معيار للمحتوى في عمومية «التحرش» أو «العنف»، وهو ما لا يترك أساسًا حقيقيًا للاعتراض.
يحمل التنظيم الرسمي أربعة معايير للمساءلة تفتقر إليها هذه الأنظمة. الشفافية: في الولايات المتحدة، يشترط قانون الإجراءات الإدارية اتّباع إجراء «الإخطار والتعليق» في معظم القواعد المُلزِمة التي تصدرها الهيئات الحكومية، فلا بد أن تُنشر القاعدة لتلقّي التعليقات قبل أن تُلزِم أحدًا. والإجراءات القانونية الواجبة: فالحق في مواجهة المعيار القانوني المطبَّق عليك والطعن فيه ركيزة من ركائز الحكم في ظل القانون. والشرعية الديمقراطية: ففي الديمقراطية الدستورية تُستمدّ سلطة وضع القواعد المُلزِمة من إجراءات تفويض ترجع في أصلها إلى هيئات منتخبة. والمسؤولية القانونية: إذ توجد آليات لتحديد المسؤول حين يُلحق الحكم ضررًا.
لا تستوفي الأنظمة الخوارزمية، كما تُستخدم اليوم، أيًّا من هذه المعايير استيفاءً كاملًا؛ وفي أحسن الأحوال تحمل شذرات من كل منها، بحسب البلد والقطاع. والاعتراض المعتاد هو أن التعديلين الخامس والرابع عشر للدستور الأمريكي، والمساءلة الدستورية عمومًا، تُلزِم الدولة لا الشركات الخاصة. وهذا صحيح من زاوية القانون الدستوري، لكنه يجيب عن سؤال آخر: ما إذا كانت الأنظمة التي تمارس سلطة تنظيمية بالمعنى الوظيفي، وعلى نطاق شعوب بأكملها، ينبغي أن تخضع لمساءلة تتناسب مع تلك السلطة، وإطار القانون الإداري أنسب لهذا السؤال من الإطار الدستوري. لا حاجة إلى إخضاع ميتا لوثيقة الحقوق كي نسأل لماذا تعمل أنظمة يفوق امتداد سلطتها في الحكم ما لدى معظم الحكومات بمساءلة أدنى مما يُسمح به لأي حكومة.
فعل الدولة وحدوده
يقضي مبدأ «فعل الدولة» بأن الحمايات الدستورية الواردة في وثيقة الحقوق تقيّد الجهات الحكومية، لا الشركات الخاصة. فبوسع صاحب عمل خاص أن يقيّد حرية التعبير دون أن يمسّ التعديل الأول. وبوسع منصة خاصة أن تحذف منشورات دون أن تنشأ عليها متطلبات الإجراءات القانونية الواجبة. ويرى فرانك باسكوالي أن المنصات المهيمنة باتت تمارس «سيادة وظيفية»، فتنظّم الأسواق والسلوك بطرق كانت حكرًا على الحكومات، وأن سلطة من هذا النوع تستدعي مساءلة على غرار مساءلة القانون العام. ويتجاوز قانون الذكاء الاصطناعي الأوروبي مشكلة «فعل الدولة» ضمنيًا باعتماده إطارًا وظيفيًا: فهو ينظّم أنظمة الذكاء الاصطناعي بحسب ما تفعله ومن تطاله، لا بحسب ما إذا كانت حكومةٌ هي التي نشرتها. والحكم على النظام بوظيفته لا بهوية من يشغّله هو الإطار الصحيح للسلطة الخوارزمية.الحرية رهن درجة: COMPAS وآلة إصدار الأحكام
COMPAS، اختصار لعبارة Correctional Offender Management Profiling for Alternative Sanctions (التنميط الإداري للمحكوم عليهم من أجل العقوبات البديلة)، أداة محمية الملكية لتقييم المخاطر طوّرتها شركة نورثبوينت، التي تحمل اليوم اسم إكويفانت. وهي تنتج درجة من 1 إلى 10 تقدّر احتمال عودة المتهم إلى ارتكاب الجرائم. وقد استُخدمت هذه الدرجة في قرارات الاحتجاز السابق للمحاكمة، وفي إصدار الأحكام، وفي البتّ في الإفراج المشروط في ولايات أمريكية عدة.
في عام 2016، استعان صحفيون في بروبابليكا بقانون السجلات العامة في فلوريدا للحصول على درجات COMPAS لأكثر من 7000 متهم في مقاطعة بروارد، اعتُقلوا في عامَي 2013 و2014، وتتبّعوا من اعتُقل منهم مجددًا خلال العامين التاليين. ومن بين المتهمين الذين لم يُعتقلوا مجددًا، كان احتمال تصنيف المتهمين السود في فئة الخطر المتوسط أو المرتفع يقارب ضعف احتماله لدى المتهمين البيض.
ردّت نورثبوينت بأن درجات COMPAS معايَرة: فالدرجة 7 تتنبأ باحتمال متقارب للعودة إلى الجريمة أيًّا كان عِرق المتهم. وقد دعمت البيانات الادعاءين كليهما، لأنهما يقيسان أمرين مختلفين. فادعاء المعايرة يتعلق بدقة التنبؤ عبر المجموعات. أما التفاوت في الإيجابيات الكاذبة فيتعلق بما يحدث للأشخاص الذين لا يعودون إلى الجريمة، وبين هؤلاء يشكّل السود نسبة غير متناسبة ممن وُصموا خطأً بالخطورة. يمكن لخوارزمية أن تجتاز اختبار المعايرة وتظل تنتج نتائج تقع بأشد وطأتها على فئة سكانية بعينها. واختيار معيار الإنصاف الذي يُعتدّ به مسألة سياسات عامة، ومع ذلك لم تتخذ أي هيئة عامة هذا القرار بشأن COMPAS قط.
هذا التعارض مبنيّ في الرياضيات نفسها، وقد ثبت بالبرهان: حين تختلف المعدلات الأساسية للعودة إلى الجريمة بين المجموعات، فإن تصنيف الخطر المرتفع الذي تتساوى قدرته التنبؤية في كل مجموعة لا يمكنه أيضًا أن يمنح المجموعتين معدلات متساوية من الإيجابيات الكاذبة والسلبيات الكاذبة، إلا إذا كانت التنبؤات مثالية. لا يمكن الجمع بين كل ذلك في آن واحد. ولم يكن بوسع أي منهجية أفضل أن تحسم النزاع بين بروبابليكا ونورثبوينت، وهذا ما يجعل حجة المساءلة أشدّ إلحاحًا. فإذا لم تكن هناك إجابة تقنية خالصة عن كيفية الموازنة بين معايير الإنصاف، فلا بد أن يتخذ أحدٌ القرار، ومن يتخذه ينبغي أن يُساءل عنه.
لم يكن إريك لوميس قد أُدين بأي جريمة عنف: فقد أقرّ بالذنب في الفرار من شرطي وقيادة سيارة دون موافقة مالكها، في حين أُسقطت تهم متصلة بإطلاق النار نفاها، لكنها «أُخذت في الحسبان» عند إصدار الحكم. وجاءت درجته في COMPAS مرتفعة. فطعن في استخدامها عند إصدار الحكم استنادًا إلى الإجراءات القانونية الواجبة: إذ احتجّ بأن الطبيعة المحمية الملكية للخوارزمية حالت دون أن يطعن في الصلاحية العلمية لما تستخدمه المحكمة لتقييد حريته.
وجاء ردّ المحكمة العليا في ويسكونسن، في قضية State v. Loomis (الولاية ضد لوميس)، بأن متطلبات الإجراءات القانونية الواجبة قد استُوفيت لأن المتهم كان قادرًا على التحقق من دقة المدخلات — سجلّه الجنائي، وإجاباته عن استبيان ما قبل الحكم. ولم يكن من حقه أن يعرف كيف وُزنت هذه المدخلات بعضها مقابل بعض، ولا كيف حوّلها منطق التقييم إلى رقم.
كان من حقه أن يتحقق مما إذا كانت البيانات المُدخلة عنه صحيحة، وأن يجادل في الدرجة التي خرجت من الطرف الآخر. وكان ذلك كفيلًا بكشف إدخال خاطئ في سجله، لا بكشف خلل في الطريقة التي تحوّل بها السجل إلى درجة خطورة.
غير أن المحكمة فعلت أمرًا لافتًا. فقد اشترطت أن يتضمن كل تقرير ما قبل الحكم يعتمد على COMPAS تنبيهًا مكتوبًا يحدّد قيود استخدامه وقائمة من التحذيرات: أن آلية عمله تبقى سرًّا، وأنه يحدّد المجموعات عالية الخطورة لا الأفراد عاليي الخطورة، وأن دراسات شكّكت في ما إذا كان يصنّف المحكوم عليهم من الأقليات في فئة خطر أعلى، وأنه لم يخضع للتحقق من صلاحيته على سكان ويسكونسن، وأن COMPAS لم يُطوَّر أصلًا للاستخدام في إصدار الأحكام، بل لقرارات المؤسسات الإصلاحية المتعلقة بالعلاج والإشراف والإفراج المشروط.
وبعد أن دوّنت المحكمة ما قد يكون معيبًا في الخوارزمية، أقرّت استخدامها رغم ذلك، وأحاطته بسياج: لا يجوز استخدام درجة الخطورة لتقرير ما إذا كان الشخص سيُودَع السجن أو لتحديد مدة سجنه، ولا يجوز أبدًا أن تكون العامل الحاسم. ولم يكن في الحكم ما يتيح للمتهم أن يرى كيف حُسبت درجته.
رفضت المحكمة العليا الأمريكية النظر في القضية عام 2017. وما زال السؤال عمّا إذا كان يجوز استخدام أدوات خوارزمية محمية الملكية لتقييد الحرية دون أي سبيل لفحص منهجيتها سؤالًا لم تُجب عنه أعلى محكمة في البلاد.
استحالة الإنصاف الرياضية
إذا اختلف المعدل الأساسي للنتيجة المعنية (وهي هنا العودة إلى الجريمة) بين الفئات السكانية، فإن برهانين رياضيين يبيّنان أن معايير الإنصاف تتعارض. فلا يمكن أن تكون الدرجة معايرة (أي أن تعني الدرجة نفسها مستوى الخطر الفعلي نفسه في كل مجموعة) وأن تمنح أيضًا الأشخاص الذين يعودون إلى الجريمة، والأشخاص الذين لا يعودون إليها، متوسط الدرجة نفسه في كل مجموعة. وحين تُقسَّم الدرجات إلى تصنيفات للخطر المرتفع والمنخفض، لا يمكن لهذه التصنيفات أن تتساوى قدرتها التنبؤية في كل مجموعة (أي أن تعود إلى الجريمة النسبة نفسها ممن وُسموا بالخطر) وأن تتساوى أيضًا معدلات الإيجابيات الكاذبة والسلبيات الكاذبة. ولا يمكن الجمع بين معياري أي من هذين الزوجين إلا إذا كانت التنبؤات مثالية، وهي في الواقع لا تكون كذلك أبدًا، ولا يلتفّ على ذلك أي تحسين في التصميم أو البيانات: إنها خاصية رياضية للموقف نفسه. وقد صمد دفاع نورثبوينت عن COMPAS في مسألة المعايرة، وترك سؤال المساءلة على حاله: من قرّر أي معيار للإنصاف ينبغي أن يحكم، وعلى أي أساس، وبأي شرعية؟ لا تُنهي نتيجة الاستحالة الجدل حول الإنصاف. بل تبيّن أن الاختيار سياسي، ولهذا فإن حماية الملكية هي المكان الخطأ لاتخاذه.القاعدة الخفية: الائتمان والتوظيف والحياة الاقتصادية
لم يواجه القانون كما ينبغي مقارنة بسيطة. فموظفة القروض التي تمارس التمييز خاضعة للمساءلة، من حيث المبدأ على الأقل. يمكن استجوابها تحت القسم، واستدعاء رسائلها الإلكترونية بأمر قضائي، ومراجعة ملاحظاتها عن مقدّمي الطلبات. ويمكن فحص المنطق الكامن وراء قراراتها أمام القضاء، والطعن فيه استنادًا إلى قانون الإسكان العادل أو قانون تكافؤ فرص الائتمان، والتقاضي بشأنه حتى صدور حكم. أما الخوارزمية التمييزية التي تنتج النتائج نفسها المتفاوتة عرقيًا في الإقراض، فلا ينطبق عليها شيء من ذلك. لا يزال من الممكن إلزام جهة الإقراض بتقديم شهود وسجلات بشأن كيفية بناء النموذج واختباره، لكن لا يوجد صاحب قرار بعينه يُستجوب بشأن سبب رفض هذا المتقدم بالطلب. والقاعدة التي ولّدت النتيجة محمية الملكية، ولا يبلغها المدّعي عادةً إلا إذا كسب معركة على الكشف عن الأدلة، بموجب أمر حماية، بعد أن يقنع المحكمة بأنها ذات صلة بالقضية أصلًا.
تُحسب درجات FICO، وهي المقياس المهيمن للجدارة الائتمانية في إقراض المستهلكين بالولايات المتحدة، وفق صيغة محمية الملكية. وتنشر شركة FICO خمس فئات عامة وأوزانها التقريبية (سجل السداد 35 في المئة، والمبالغ المستحقة 30، وطول السجل الائتماني 15، والائتمان الجديد 10، ومزيج الائتمان 10)، لكنها لا تنشر النموذج نفسه. وللمستهلكين بعض الحقوق في الاعتراض على دقة البيانات الأساسية، كقسط فائت أو دين أُحيل إلى التحصيل، لكن لا حق لهم في الطعن في طريقة موازنة هذه المدخلات بعضها مقابل بعض. وهذه الموازنة هي الجزء المحمي الملكية، وهي من الناحية الوظيفية القاعدة نفسها.
في عام 2023، حذّر مكتب الحماية المالية للمستهلك، بالاشتراك مع وزارة العدل ولجنة تكافؤ فرص العمل ولجنة التجارة الفيدرالية، من أن الأنظمة الآلية المدرَّبة على بيانات تاريخية قد تُديم التحيّز غير القانوني وتؤتمت التمييز. فما زالت الأحياء السكنية تحمل ملامح خرائط «الخط الأحمر» التي حُرمت بموجبها أحياء بعينها من الإقراض. والخوارزمية المدرَّبة على بيانات تاريخية، التي تستخدم الرمز البريدي متغيّرًا من متغيراتها، لا تحتاج إلى أن تُصمَّم للتمييز. فبإمكانها أن تمتصّ التمييز امتصاصًا سلبيًا، إشارةً موروثة. ومنذ ذلك الحين تراجعت استجابة القانون إلى الوراء. ففي عام 2025، سحب المكتب إرشاداته التي تؤكد أن المُقرضين الذين يستخدمون نماذج معقدة ومعتمة لا يزالون ملزَمين بإبلاغ مقدّمي الطلبات بأسباب محددة للرفض؛ فالواجب القانوني باقٍ، لكن الإرشادات زالت. ثم أعلنت قاعدة أصدرها المكتب ودخلت حيّز النفاذ عام 2026، وهي الآن موضع طعن أمام القضاء، أن قانون تكافؤ فرص الائتمان لا يجيز دعاوى الأثر المتباين على الإطلاق. وخارج مجال الإسكان، حيث لا يزال قانون الإسكان العادل يجيزها، انتزع ذلك الأداة الفيدرالية الرئيسية المصمَّمة لهذه المشكلة تحديدًا: إثبات أن قاعدة محايدة في ظاهرها تُنتج نتائج تمييزية في حين كان ثمة بديل أكثر إنصافًا.
تُظهر شركة هاير فيو كيف يجري ذلك في مجال التوظيف. فقد باعت الشركة تقييمات مسبقة للتوظيف قائمة على الفيديو، تستخدم الذكاء الاصطناعي لتقييم المرشحين للوظائف من مقابلات مسجّلة. وقدّمت مجموعة معنية بالخصوصية شكوى إلى لجنة التجارة الفيدرالية تزعم، من بين أمور أخرى، أن هاير فيو نفت زورًا استخدامها تقنية التعرّف على الوجوه. وتوقفت هاير فيو عن تحليل تعابير وجوه المرشحين عام 2020، ثم شرحت السبب لاحقًا: فبحسب رواية الشركة نفسها، لم تُضف الإشارات غير اللفظية، ومنها تعابير الوجه، سوى نحو ربع في المئة إلى القدرة التنبؤية في معظم الوظائف، وهو ما لا يستحق العناء في ظل المخاوف المتعلقة بالتحيّز. ظلّ المرشحون سنوات يُقيَّمون جزئيًا على أساس تعابيرهم وحركاتهم، ولم يكن بوسع أحد خارج الشركة أن يختبر ما إذا كان ذلك منصفًا.
قضية آي توتور غروب هي المثال الأكثر فجاجة. فقد رفعت لجنة تكافؤ فرص العمل دعوى على شركة التدريس الإلكتروني هذه لأنها برمجت برنامج طلبات التوظيف لديها بحيث يرفض تلقائيًا المتقدمات من النساء في سن 55 عامًا فأكثر والمتقدمين من الرجال في سن 60 عامًا فأكثر. ورُفض أكثر من 200 متقدم مؤهَّل في الولايات المتحدة بسبب السن وحده. ووافقت آي توتور غروب على دفع 365 ألف دولار للتسوية، يُوزَّع على المتقدمين الذين استبعدهم البرنامج: أقل من 1825 دولارًا للفرد في المتوسط، مقابل فرصة عمل ضائعة. واشترط مرسوم التراضي أيضًا تدريبًا على مكافحة التمييز، وسياسة جديدة، ورقابة من اللجنة لمدة خمس سنوات على الأقل.
والنقطة البنيوية أصعب على التقاضي من أي قضية فردية. فهذه الأنظمة تنتج أخطاء منهجية، ذات أنماط واضحة في البيانات الإجمالية، قلّما ينجح الأفراد في الطعن فيها، لأن القاعدة التي تولّد الخطأ لا تُكشف لهم. لو كانت هذه قواعد تشريعية، لكان كل منها قابلًا للطعن بنصّه الظاهر: ستعرف القاعدة، وستعرف كيف طُبّقت عليك، وسيكون لك سبب للدعوى. أما مع الخوارزميات، فالضرر حقيقي وموثّق في الإجمال، في حين تبقى القاعدة التي تولّده خفية عن الذين تضرّهم.
قانون تكافؤ فرص الائتمان وقانون الإسكان العادل وفجوة الإفصاح
يتيح قانون الأثر المتباين للمدّعي أن يطعن في ممارسة تنتج نتائج تمييزية دون أي إثبات للقصد، إذا كان ثمة بديل أقل تمييزًا متاحًا. وقد أكدت المحكمة العليا أن هذه الدعاوى متاحة بموجب قانون الإسكان العادل. أما في الإقراض بموجب قانون تكافؤ فرص الائتمان فقد ضاق الباب: إذ تنص قاعدة أصدرها مكتب الحماية المالية للمستهلك ودخلت حيّز النفاذ عام 2026 على أن هذا القانون لا يجيز المساءلة على أساس الأثر المتباين، وكان المكتب قد سحب عام 2025 إرشاداته بشأن إشعارات القرارات السلبية الصادرة عن الخوارزميات. وحيث تبقى دعاوى الأثر المتباين قائمة، يتطلب تحليل البدائل الأقل تمييزًا فهم النموذج: ما المتغيرات التي يستخدمها، وكيف تُوزن، وما الذي سيتغير لو استُبعد بعضها أو أُعيد وزنه. وحين يكون النموذج محمي الملكية ويتمسك مطوّره بحماية الأسرار التجارية، قد يصبح إطار متاح للمدّعين من الناحية النظرية بالغ الصعوبة في الاستخدام من الناحية العملية.قانون خلاصة المنشورات
تقول ميتا إن مجموعة تطبيقاتها (فيسبوك وإنستغرام وماسنجر وواتساب) بلغ متوسط مستخدميها النشطين يوميًا نحو 3.6 مليار شخص في يونيو 2026. ويعيش على الكوكب كله ما يزيد قليلًا على 8 مليارات. فجمهور ميتا اليومي أكبر من عدد سكان أي دولة على وجه الأرض.
لا يقدّم يوتيوب رقمًا إجماليًا؛ بل يقول إن مقاطع «شورتس» وحدها تجذب «مليارات» المستخدمين المسجّلين شهريًا. وأعلنت تيك توك عام 2021 بلوغها مليار مستخدم شهريًا. أما إكس، تويتر سابقًا، فقد توقفت عن الإبلاغ عن أعداد مستخدميها في الإفصاحات العلنية حين تحوّلت إلى شركة خاصة، ولم يُتحقَّق قط على نحو مستقل من الرقم الذي ادّعاه إيلون ماسك، وهو نحو 600 مليون مستخدم شهريًا.
لا تجمعوا هذه الأرقام. فالتداخل بينها هائل؛ ومعظم من يستخدمون تيك توك يستخدمون إنستغرام أيضًا. لكن رقم ميتا وحده يقول شيئًا محددًا. فشركة خاصة تتخذ مليارات المرات يوميًا قرارات مُلزِمة بشأن ما يمكن لهؤلاء الـ3.6 مليار شخص أن يقولوه، وما يمكنهم أن يروه، ومحتوى مَن يصل إليهم ومحتوى مَن لا يصل. والغالبية الساحقة من هذه القرارات تتخذها أنظمة خوارزمية. السياسات المكتوبة علنية؛ أما آليات الترتيب والإنفاذ التي تطبّقها فليست كذلك. ويمثّل الاتحاد الأوروبي الاستثناء الكبير: فمنذ عام 2024 يضمن قانون الخدمات الرقمية للمستخدمين قرارًا معلّلًا، وطعنًا مجانيًا، وإمكانية اللجوء إلى هيئات مستقلة لتسوية النزاعات. وتدير الهند لجنة حكومية لاستئناف التظلمات تلتزم المنصات بقراراتها. وفي معظم البلدان الأخرى، لا يملك المستخدم العادي أي سبيل للطعن قابل للإنفاذ قانونًا.
والدفاع المعتاد عن هذا الترتيب هو أن الإشراف على المحتوى يشبه التقدير التحريري، وأن محرر الصحيفة الذي يقرر ما يُنشر يمارس النوع نفسه من السلطة التقديرية الذي تمارسه أنظمة المحتوى لدى ميتا. لكن هذا التشبيه لا يصمد أمام الحجم. فحتى أكبر الصحف تعدّ قرّاءها بالملايين لا بالمليارات، ولا تدّعي أي منها أنها بنية تحتية عامة. وحين تعيش على منصة ما الانتخاباتُ والاحتجاجاتُ وحالاتُ الطوارئ الصحية والسجلاتُ العامة لمليارات البشر، وتقرر خوارزميات تلك المنصة أي الأصوات تُضخَّم وأيها يُكتم في تلك اللحظات، فتلك سلطة تنظيمية، ذات أثر مُلزِم وعواقب حقيقية. وهي إجبارية عمليًا كذلك: إذ لا يمكنك المشاركة في هذه الفضاءات العامة على نطاق مماثل عبر أي منصة منافسة ذات قواعد مختلفة، لأنه لا يوجد بديل يقترب من هذا الامتداد.
لم يُطبَّق أي قانون وطني للتعبير قط على هذا الامتداد. فالحكومات تملك السلطة، لكن لم تحتج أي حكومة قط إلى بناء بنية تحتية لإنفاذ قواعد التعبير على 3.6 مليار مستخدم يومي بعشرات اللغات. أما هذه الأنظمة فقد بنتها، على نحو متفاوت. سياساتها منشورة، لكن القواعد التشغيلية التي تحسم كل حالة، من عتبات ومصنِّفات وإشارات ترتيب، ليست كذلك.
أُنشئ مجلس الإشراف التابع لميتا ليكون رقيبًا مستقلًا على قرارات الإشراف على المحتوى. ورأى مركز برينان للعدالة أن المجلس لا يستطيع أداء مهمته دون الوصول إلى الأنظمة الخوارزمية لدى ميتا، وهي الأنظمة التي تتخذ الغالبية الساحقة من القرارات بشأن ما يُضخَّم وما يُخفَّض ظهوره وما يُحذف. ويراجع المجلس جزءًا صغيرًا منتقًى من القرارات بعد وقوعها. ولا يستطيع المجلس ولا الجمهور رؤية الآلية التي تطبّق القواعد.
في عامَي 2016 و2017، استُخدم فيسبوك لنشر خطاب الكراهية ضد الروهينغا في ميانمار. ووصف محققو الأمم المتحدة المنصة بأنها «أداة مفيدة لمن يسعون إلى نشر الكراهية»، ووصفوا استجابة الشركة بأنها بطيئة وغير فعالة؛ إذ لم يكن لدى فيسبوك ما يكفي من مشرفي المحتوى الذين يفهمون اللغة البورمية. لقد ضخّمت المنصة محتوى لم تكن مؤهلة لقراءته. ولم تكن هناك أي آلية مساءلة لوقف هذا النمط أو الطعن فيه أو حتى توثيقه في حينه. وقد أقرّت الشركة بأنها كانت أبطأ مما ينبغي في التحرك.
القتل نفّذه الجيش. فخلال عام من الحملة التي شنّها في أغسطس 2017، فرّ قرابة 725 ألفًا من الروهينغا إلى بنغلاديش، ووصف محققو الأمم المتحدة تقديرًا يصل إلى 10 آلاف قتيل بأنه متحفّظ. لم يتسبب فيسبوك في تلك الحملة، لكنه حمل الكراهية التي سبقتها، وحين لا تستطيع منصةٌ قراءة المنشورات التي تضخّمها، يبدأ العجز عن الإشراف يُحدث الأثر نفسه الذي يُحدثه قرار بعدم الإشراف.
المادة 230 وفجوة الحصانة
تمنح المادة 230 من قانون آداب الاتصالات المنصاتِ حصانة واسعة من المسؤولية عن المحتوى الذي ينشره أطراف ثالثة، وعن قرارات الإشراف على المحتوى المتخذة بحسن نية. والنتيجة بنية قانونية لا تتحمل فيها المنصات إلا قليلًا من المسؤولية عمّا ينشره مستخدموها، ولا تخضع لأي مساءلة عامة عن القواعد التي تطبّقها عليه. صُمّمت هذه الحصانة لإنترنت لم يعد موجودًا، إنترنت الخدمات الصغيرة التي تستضيف محتوى المستخدمين، لا الكيانات التي تتخذ يوميًا قرارات حكم مُلزِمة لمليارات البشر. والمساعي الحالية لإصلاح المادة 230 أو إلغائها تحرّكها المشكلة البنيوية نفسها التي يحدّدها هذا المقال: التفاوت بين السلطة التي تمارسها هذه الأنظمة وآليات المساءلة المقترنة بتلك السلطة حاليًا. أما ما إذا كان إصلاح المادة 230 هو الرافعة الصحيحة، وما العواقب غير المقصودة التي قد يخلّفها، فتلك حجة أخرى.أربعة أمور يتطلبها التنظيم الرسمي
ضَع المعايير الأربعة للتنظيم المشروع في مقابل درجة الكفالة، ودرجة الائتمان، ومُرشِّح التوظيف، وخلاصة المنشورات.
ابدأ بالشفافية. يوجد شرط «الإخطار والتعليق» في قانون الإجراءات الإدارية لأن اللوائح السرية تتعارض مع نوع الحكم الذي يتطلب الرضا. فلا يمكنك أن ترضى رضًا ذا معنى بقاعدة لم ترها قط، ولا أن تطعن فيها. تمنح خوارزمية كفالة متهمًا الدرجة 8. تزن هذه الدرجة في تحديد ما إذا كان الشخص سينام في بيته أو في زنزانة إلى حين محاكمته. والقاعدة التي ولّدت الرقم 8 لا يُكشف عنها. يمكن استنتاجها، على نحو ناقص وغير دقيق، على يد شخص يملك الوصول إلى مجموعات بيانات كبيرة والأدوات الإحصائية اللازمة لإعادة بنائها عكسيًا، وهذا أبعد ما يكون عن القاعدة المنشورة التي يشترطها إجراء الإخطار والتعليق. وحين تحذف خوارزمية للإشراف على المحتوى منشورًا ويتلقى المستخدم إشعارًا يستشهد بـ«العنف» أو «التحرش»، فإن الإشعار لا يبيّن المعيار الذي طُبّق، ولا كيف حُدّدت عتبته، ولا عند أي مستوى من الثقة انطلقت الخوارزمية. لا يمكن استنتاج القاعدة إلا من النمط المتراكم لنتائج الإنفاذ، عملية حذف تلو أخرى.
الشفافية شرط مسبق لكل ما عداها، إذ لا يستطيع أحد مواجهة معيار قانوني لا يراه والطعن فيه. وهذا الحق في المواجهة والطعن هو سبب حق المتهمين في الاطلاع على التهم الموجهة إليهم، وحق الأطراف الخاضعة للتنظيم في المشاركة في وضع القواعد. طلب محامو إريك لوميس المنهجية المستخدمة لتقييد حرية موكّلهم. فقالت المحكمة: لا. والمتقدمون إلى آي توتور غروب الذين رُفضوا تلقائيًا لم يعرفوا قط أن قاعدة ما قد طُبّقت عليهم، فضلًا عن ماهية تلك القاعدة. ومستخدمو فيسبوك الذين يتلقون إشعار حذف يعرفون أي معيار من معايير المجتمع خالفوا، ولا يعرفون شيئًا عن الموضع الذي رُسم فيه حدّه. والإجراءات القانونية الواجبة تقتضي فرصة للرد على أمر محدد.
ثم تأتي الشرعية الديمقراطية. فالهيئات التشريعية منتخبة. والهيئات الحكومية تستمد سلطتها بالتفويض من الهيئات التشريعية، ويشرف عليها مسؤولون منتخبون، وتخضع للمتطلبات الإجرائية لقانون الإجراءات الإدارية. ويمكن الطعن في قراراتها أمام المحاكم الفيدرالية. أما الشركات الخاصة التي تنشر خوارزميات تحكم الوصول إلى الائتمان والتوظيف والحرية والتعبير لمئات الملايين أو المليارات من البشر، فلا تملك بنية مساءلة مقابلة. إنها مسؤولة أمام المساهمين، لا أمام الشعوب التي تحكمها. وحين تصبح قرارات الشركة بشأن منتجاتها قرارات حكم، لا تعود بنية المساءلة المصمَّمة للمنتجات كافية.
ثم هناك المسؤولية القانونية، وهي ما يجعل المعايير الثلاثة الأخرى قابلة للإنفاذ. قانون المسؤولية التقصيرية، ومسؤولية المنتج، والمساءلة الإدارية: كلها موجودة لتحديد المسؤول حين يُلحق الحكم ضررًا. وفي حالة الضرر الخوارزمي على نطاق شعوب بأكملها، لا يعمل أي منها كما ينبغي. فاعتماد الدعوى الجماعية بموجب قواعد الإجراءات المدنية الفيدرالية يتطلب إثبات وجود مسائل قانونية أو وقائعية مشتركة بين أفراد الفئة كلها. وحين تكون القاعدة محمية الملكية ويكون الضرر موزّعًا على ملايين الإصابات الفردية الصغيرة، من القروض المرفوضة إلى درجات الكفالة الإيجابية الكاذبة إلى المنشورات المكتومة، يصعب بنيويًا استيفاء شرط المسألة المشتركة دون الوصول إلى النموذج نفسه. الضرر في مجموعه هائل. أما حالاته الفردية فتظل غير مرئية لآليات قانونية صُمّمت للفصل في القضايا الفردية.
عُد إلى تسوية آي توتور غروب: أقل من 1825 دولارًا للفرد في المتوسط، مقابل فرصة عمل ضائعة. هذا الرقم لا يقارب الضرر الفعلي. فالتدريب والرقابة اللذان نصّ عليهما المرسوم يُلزمان شركة واحدة؛ أما بالنسبة إلى أي جهة أخرى تقدّر المخاطرة، فالثمن المدوَّن في السجل هو المبلغ النقدي. وسّع الحساب: إذا رفضت خوارزمية 20 ألف متقدم لأسباب تمييزية وسُوّيت حالة كل منهم بالمعدل نفسه، فإن المسؤولية المحتملة تقل عن 36.5 مليون دولار. وبالنسبة إلى شركة تبلغ إيراداتها مئات الملايين، فتلك من تكاليف ممارسة الأعمال.
المعايير الأربعة يعتمد بعضها على بعض: فمن دون الشفافية لا تجد الإجراءات القانونية الواجبة شيئًا محددًا تطعن فيه، ومن دون الاثنتين يصعب إثبات المسؤولية. والسلطة التنظيمية الخوارزمية لا تملك حاليًا أيًّا من الأربعة كاملًا.
الاستجابة وحدودها
دخل قانون الذكاء الاصطناعي الأوروبي حيّز النفاذ في أغسطس 2024. وهو حتى الآن أشمل إطار تنظيمي بُني للتصدي للسلطة الخوارزمية.
وما يفعله كبير. فالقانون يصنّف أنظمة الذكاء الاصطناعي في درجات بحسب الخطورة. وقائمته للأنظمة عالية الخطورة، التي تتحمل عبء الامتثال كاملًا، تسمّي صراحةً تقييم الجدارة الائتمانية، والتوظيف وتقييم الأداء، والعدالة الجنائية: أي الأدوات التي تقيّم خطر ارتكاب الشخص جريمة أو عودته إليها، والذكاء الاصطناعي الذي يساعد القضاة في تطبيق القانون. وبالنسبة إلى هذه الأنظمة، يفرض القانون تقييمات للمطابقة قبل النشر، ورقابة بشرية، وشفافية تجاه المتأثرين بها؛ ويتعيّن على الهيئات العامة وجهات تقييم الجدارة الائتمانية أيضًا إجراء تقييم للأثر على الحقوق الأساسية. ويكتسب الأشخاص الخاضعون لقرارات معظم هذه الأنظمة المدرجة حقًا في التفسير حين يترتب على القرار أثر قانوني أو أثر سلبي كبير على صحتهم أو سلامتهم أو حقوقهم الأساسية. وقد يكلّف خرق القواعد الخاصة بالأنظمة عالية الخطورة غرامة تصل إلى 15 مليون يورو أو 3 في المئة من حجم الأعمال السنوي العالمي. وكان من المقرر أصلًا أن تسري هذه الالتزامات في أغسطس 2026؛ لكن تعديلًا لاحقًا، دخل حيّز النفاذ بالفعل، أرجأ متطلبات الأنظمة عالية الخطورة إلى ديسمبر 2027. واحتفظ حق التفسير على الورق بموعده في أغسطس 2026، لكنه يرتبط بأنظمة عالية الخطورة أُرجئت قواعد تصنيفها مع بقية الأحكام.
هذه ليست متطلبات رمزية. فلو نُشر COMPAS في أوروبا بوصفه أحد الأنظمة عالية الخطورة المدرجة، لخضع إلزاميًا لتقييم المطابقة وتقييم الأثر على الحقوق الأساسية قبل استخدامه. ونظام هاير فيو للتقييم بالفيديو، لو استُخدم في قرارات توظيف تمسّ عمالًا مقيمين في الاتحاد الأوروبي، لاستلزم رقابة بشرية وحقوقًا في التفسير.
أما في الولايات المتحدة فالتقدم أكثر تجزؤًا. فمنذ عام 2023، تشترط مدينة نيويورك إجراء عمليات تدقيق مستقلة سنوية للتحيّز، مع نشر نتائجها، على أدوات القرار الآلي في التوظيف المستخدمة في التعيين أو الترقية لوظائف مقرّها مدينة نيويورك. ومنذ يناير 2026، تحظر إلينوي استخدام الذكاء الاصطناعي في قرارات التوظيف على نحو يفضي إلى تمييز غير قانوني، وتمنع استخدام الرموز البريدية بديلًا عن الخصائص المحمية، وتُلزم أصحاب العمل بالإخطار حين يُستخدم الذكاء الاصطناعي في قرارات التعيين أو التوظيف. واستبدلت كولورادو بقانونها للذكاء الاصطناعي، الذي لم يُطبَّق قط، قانونًا أضيق نطاقًا بشأن اتخاذ القرار الآلي في القرارات ذات العواقب، يسري في يناير 2027: إخطار قبل الاستخدام، وتفسير بلغة بسيطة بعد أي قرار سلبي، وتصحيح البيانات غير الدقيقة، والحق في طلب إعادة نظر بشرية ذات معنى.
هذه خطوات حقيقية إلى الأمام في معالجة مشكلة لم تكن تخضع لتنظيم جدي قبل خمس سنوات، لكنها تشترك في قيد بنيوي. فباستثناء بضعة محظورات قاطعة، مثل حظر قانون الذكاء الاصطناعي التنبؤ بخطر ارتكاب شخص جريمة اعتمادًا فقط على التنميط أو سمات الشخصية، وحظر إلينوي الاستخدام التمييزي، فإنها تعمل أساسًا من خلال معايير التصميم والتوثيق والتدقيق والإفصاح. وتشترط أن يقيّم أحدٌ ما، سواء أكان مدققًا أم جهة تنظيمية أم فريق امتثال، ما إذا كان النظام منصفًا. وفي أحسن الأحوال تمنح الفرد الخاضع لحكم النظام تفسيرًا، أو تصحيحًا لبيانات خاطئة، أو نظرة ثانية من إنسان. ولا يتيح أي منها لذلك الشخص فحص القاعدة نفسها. فحق التفسير في قانون الذكاء الاصطناعي يعني أن الشخص الخاضع لقرار صادر عن معظم الأنظمة عالية الخطورة المدرجة، حين يكون لذلك القرار أثر قانوني أو أثر سلبي كبير على صحته أو سلامته أو حقوقه الأساسية، لا بد أن يتلقى تفسيرًا له. لكنه لا يعني أن بوسع الشخص فحص أوزان النموذج، أو تركيبة بيانات التدريب، أو المنهجية الخوارزمية. يعرف الشخص لماذا جاء قرار واحد في غير صالحه، ولا يحصل على أي وسيلة لتدقيق النظام الذي أصدره.
والتأخر البنيوي مشكلة أخرى منفصلة. فإطار الأنظمة عالية الخطورة في قانون الذكاء الاصطناعي الأوروبي بُني حول أنظمة الذكاء الاصطناعي كما كانت تقريبًا بين عامَي 2020 و2022. وبحلول الوقت الذي يصبح فيه الامتثال لقواعد الأنظمة عالية الخطورة إلزاميًا، ستكون الأنظمة الخاضعة للتنظيم قد مرّت بتحولات جيلية متعددة. تُكتب اللوائح على مدى سنوات؛ وتتطور الأنظمة الخوارزمية على مدى أشهر. ويكمن التفاوت في وتيرة التشريع مقارنة بوتيرة التقنية؛ ولم تكن صياغة أفضل لتسدّه.
ينبغي لتجربة اللائحة العامة لحماية البيانات أن تُخفّض سقف التوقعات. فمادتها 22، السارية منذ عام 2018، منحت الناس في الاتحاد الأوروبي الحق في ألا يخضعوا لقرارات آلية بالكامل ذات آثار كبيرة، ما لم يكن القرار ضروريًا لعقد، أو مأذونًا به قانونًا، أو حظي بموافقة صريحة؛ وأضافت مواد مكمّلة حقوقًا في الحصول على معلومات ذات معنى عن المنطق المعتمد. على الورق، هي مادة قوية. وتنص إرشادات الاتحاد الأوروبي على أن الشركة لا يمكنها التنصل منها عبر «اختلاق تدخل بشري»، ووسّعت المحكمة العليا في الاتحاد نطاقها: ففي عام 2023 قضت بأن درجة الجدارة الائتمانية قد تُعدّ في حد ذاتها قرارًا آليًا، وفي عام 2025 قضت بأن الشخص الذي رُفض منحه الائتمان يحق له الحصول على تفسير للإجراء والمبادئ التي طُبّقت عليه فعليًا، على أن توازن محكمةٌ أو جهة تنظيمية اعتراضات الأسرار التجارية بدلًا من قبولها بمجرد قول الشركة. أما عمليًا فقد استغرق الوصول إلى ذلك سبع سنوات وتقاضيًا متكررًا. وحقوق التفسير في قانون الذكاء الاصطناعي نفسه تستحق الحذر ذاته.
المادة 22 من اللائحة العامة لحماية البيانات وشكّ مكتسَب بالتجربة
تمنح المادة 22 من اللائحة العامة لحماية البيانات، السارية منذ عام 2018، الناسَ في الاتحاد الأوروبي الحق في ألا يخضعوا لقرارات آلية بحتة ذات عواقب، مع استثناءات تخص العقود والإذن القانوني والموافقة الصريحة؛ وتضيف مواد الشفافية في اللائحة حقوقًا في الحصول على معلومات ذات معنى عن المنطق المعتمد. أما عمليًا، فقد ظل أثرها محدودًا. فقد فتحت عتبة «الآلي بالكامل» الباب أمام التحايل، عبر طبقة رقيقة من الموافقة البشرية الشكلية، رغم أن إرشادات الاتحاد الأوروبي تنص على أن التدخل الرمزي لا يُحتسب. وظلت حقوق التفسير موضع نزاع لسنوات إلى أن قضت محكمة العدل الأوروبية عام 2025 بأن من حق الناس الحصول على تفسير للإجراء والمبادئ التي طُبّقت فعليًا في حالتهم، لا مجرد وصف عام أو الخوارزمية الخام. وقد صيغ حكم الحق في التفسير الوارد في المادة 86 من قانون الذكاء الاصطناعي الأوروبي مع استحضار إخفاقات المادة 22. وإذا كانت المادة 22 دليلًا، فإن الإنفاذ والمحاكم هي التي ستقرر ما إذا كان الحكم الجديد سيحقق أكثر مما حققه القديم.مفارقة المساءلة
الآليات القانونية المتاحة لنا للطعن في الحكم بُنيت للتعامل مع أفعال فردية يصدرها أصحاب قرار يمكن تحديدهم ويعملون وفق قواعد معلنة. يطعن شخص واحد في قانون في قضية واحدة. ويُعترض على لائحة صادرة عن هيئة حكومية عبر إجراء الإخطار والتعليق أو بالتقاضي بموجب قانون الإجراءات الإدارية. ويُستأنف القرار الإداري أمام هيئة مراجعة. ويمكن استجواب المسؤول الذي يمارس التمييز تحت القسم. تفترض هذه الآليات بنية محددة: قرارًا مفردًا، وقاعدة معلنة، وطاعنًا قادرًا على تحديد الضرر، وصاحب قرار يمكن مساءلته.
والسلطة التنظيمية الخوارزمية تكسر كل واحد من هذه الافتراضات دفعة واحدة. فللطعن في قرار خوارزمي أمام القضاء، تحتاج عادةً إلى مزيج من ثلاثة أمور: القاعدة التي ولّدته، وهي محمية الملكية ولا يمكن الحصول عليها عادةً إلا عبر إجراءات كشف أدلة وبموجب أمر حماية؛ وسيناريو مضاد يبيّن ما الذي كانت ستتطلبه نتيجة مختلفة، ويصعب بناؤه دون الوصول إلى النموذج أو الحصول على تفسير كامل من الشركة؛ وفي دعوى التمييز، دليل على وجود نمط، وهو ما يتطلب بيانات على مستوى السكان لا يملكها الفرد المتضرر على الأرجح.
كان جواب المحكمة العليا في ويسكونسن أن تشترط تحذيرات مكتوبة. والتحذير الوارد في تقرير ما قبل الحكم يسمّي المشكلة، ولا يزال بإمكان المتهم الطعن في الدرجة بأدلة أخرى، لكن لا شيء فيه يتيح له فحص الحساب.
التفويض الديمقراطي غائب عند كل نقطة كان يمكن أن يتأسس عندها. فمجلس الإشراف التابع لميتا لا يستطيع الوصول إلى الخوارزمية التي يُفترض اسميًا أنه يشرف عليها. ويستطيع مكتب الحماية المالية للمستهلك أن يطلب نموذج المُقرض خلال تحقيق، لكن المقترض الذي قيّمه النموذج لا يحق له إلا الحصول على قائمة بالأسباب. ورفضت المحكمة العليا في ويسكونسن أن تأمر بفتح COMPAS. وفي كل لحظة كان يمكن فيها فرض المساءلة، عوملت مصلحة الملكية بوصفها حاجزًا لن يتخطاه الحكم. لم يكن أي قانون يفرض هذا الإذعان، ولم تدفع أيٌّ من تلك الجهات بالسؤال إلى نهايته.
ما يجعل الأنظمة الخوارزمية جديرة بالنشر على نطاق واسع هو اتساقها عبر ملايين الحالات، وسرعتها، وإلغاؤها للتقدير البشري الذي ينتج إخفاقاته التمييزية الخاصة. وهذه بالضبط هي السمات التي تجعلها عصيّة على القراءة بالنسبة إلى آليات المساءلة التي طوّرها القانون. فموظف القروض المتحيّز أو القاضي المتحيّز في إصدار الأحكام يخضع للمساءلة بطرق لا تخضع لها خوارزمية متحيّزة، ولم يهتدِ النظام القانوني بعد إلى طريقة لمحاسبة الخوارزمية بالقدر نفسه.
الأطر التي تُبنى الآن، من قانون الذكاء الاصطناعي الأوروبي إلى القوانين في مدينة نيويورك وكولورادو وإلينوي، تدقّق النظام وتفسّر القرار. لكنها لا تفتح النموذج أمام الشخص الذي يقيّمه.
يمكن للأنظمة الخوارزمية أن تنتج نتائج تمييزية منهجيًا لسنوات قبل أن يصبح أي طعن ممكنًا، لأن الطعن يتطلب وصولًا لا يُمنح للطاعن. مارست آي توتور غروب التمييز ضد مئات المتقدمين طوال المدة التي استُخدم فيها النظام، أيًّا كانت، قبل أن ترفع لجنة تكافؤ فرص العمل دعواها. وقيّمت هاير فيو المرشحين للوظائف جزئيًا على أساس تعابير وجوههم لسنوات قبل أن تتخلى عن هذه الخاصية لأن قيمتها الهامشية لا تستحق العناء. واستُخدم COMPAS في إصدار الأحكام في ولايات عدة لأكثر من عقد. وحين يأتي الطعن، يأتي بعد وقوع الضرر، ولا يُنصِف الحسمُ النهائي في نهاية المطاف من تضرروا في الأثناء.
العودة إلى ويسكونسن
اقرأ التحذيرات التي اشترطتها المحكمة العليا في ويسكونسن في كل تقرير ما قبل الحكم يستند إلى COMPAS، بكلمات المحكمة نفسها: «جرى التذرّع بالطبيعة المحمية الملكية لـCOMPAS لمنع الكشف عن المعلومات المتعلقة بكيفية وزن العوامل أو كيفية تحديد درجات الخطورة». «ولأن درجات تقييم المخاطر في COMPAS تستند إلى بيانات جماعية، فهي قادرة على تحديد مجموعات من المحكوم عليهم عاليي الخطورة — لا فردًا بعينه عالي الخطورة». «وقد أثارت بعض الدراسات عن درجات تقييم المخاطر في COMPAS تساؤلات حول ما إذا كانت تصنّف المحكوم عليهم من الأقليات على نحو غير متناسب بوصفهم أعلى خطرًا للعودة إلى الجريمة». «يقارن تقييم المخاطر في COMPAS المتهمين بعيّنة وطنية، لكن لم تُستكمل بعدُ أي دراسة تحقق متقاطع على سكان ويسكونسن. ويجب رصد أدوات تقييم المخاطر باستمرار وإعادة معايرتها لضمان دقتها بسبب تغيّر السكان والفئات الفرعية منهم». وأيضًا: «لم يُطوَّر COMPAS للاستخدام في إصدار الأحكام، بل كان مخصّصًا لاستخدام إدارة الإصلاحيات في اتخاذ القرارات المتعلقة بالعلاج والإشراف والإفراج المشروط».
هذه هي استنتاجات المحكمة نفسها بشأن ما لم يُختبر وما قد يكون معيبًا. وبعد أن عدّدتها، سمحت مع ذلك باستخدام الدرجة في إصدار الحكم، ضمن الحدود التي وضعتها. ويقول التحذير للقاضي الذي يصدر الحكم إن هذه الأداة قد تمارس التمييز، ولم يُتحقَّق من صلاحيتها في الولاية، ولم تُبنَ لإصدار الأحكام، وتعمل وفق قواعد لا يستطيع أحد في قاعة المحكمة فحصها.
للقاضي أن يقلّل من وزن الدرجة، وللمتهم أن يطعن فيها بأدلة أخرى. لكن أحدًا، لا القاضي ولا المتهم ولا محكمة الاستئناف، لا يحصل على وسيلة لفتح عملية الحساب نفسها.
تنويه بشأن الذكاء الاصطناعي التوليدي
أُنشئ بعض محتوى هذه الصفحة و/أو حُرِّر بمساعدة الذكاء الاصطناعي التوليدي.
الوسائط
أبرز المصادر والمراجع
Criminal justice and COMPAS
Julia Angwin, Jeff Larson, Surya Mattu, Lauren Kirchner, “Machine Bias,” ProPublica, May 23, 2016. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
ProPublica, “How We Analyzed the COMPAS Recidivism Algorithm,” May 23, 2016. https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm
“ProPublica Responds to Company’s Critique of Machine Bias Story,” ProPublica, July 29, 2016. https://www.propublica.org/article/propublica-responds-to-companys-critique-of-machine-bias-story
equivant, “Who is equivant?” FAQ (Northpointe, CourtView and Constellation united as equivant on January 9, 2017), archived copy. https://web.archive.org/web/20221201174316/https://www.equivant.com/faq/
State v. Loomis, 2016 WI 68, 371 Wis. 2d 235, 881 N.W.2d 749 (Wis. July 13, 2016), Caselaw Access Project (Harvard Law School Library). https://case.law/caselaw/?reporter=wis-2d&volume=371&case=0235-01
Loomis v. Wisconsin, No. 16-6387, 137 S. Ct. 2290 (cert. denied June 26, 2017), Supreme Court docket. https://www.supremecourt.gov/search.aspx?filename=/docketfiles/16-6387.htm
Alexandra Chouldechova, “Fair prediction with disparate impact: A study of bias in recidivism prediction instruments,” Big Data, vol. 5, no. 2, pp. 153–163, 2017. DOI: 10.1089/big.2016.0047 (preprint on arXiv). https://arxiv.org/abs/1610.07524
Jon Kleinberg, Sendhil Mullainathan, Manish Raghavan, “Inherent trade-offs in the fair determination of risk scores,” Proceedings of the 8th Innovations in Theoretical Computer Science Conference (ITCS 2017), LIPIcs vol. 67, pp. 43:1–43:23. https://drops.dagstuhl.de/storage/00lipics/lipics-vol067-itcs2017/LIPIcs.ITCS.2017.43/LIPIcs.ITCS.2017.43.pdf
Law, regulation and accountability
Lawrence Lessig, Code and Other Laws of Cyberspace. Basic Books, 1999.
Frank Pasquale, The Black Box Society. Harvard University Press, 2015.
Frank Pasquale, “From Territorial to Functional Sovereignty: The Case of Amazon,” LPE Project, December 6, 2017. https://lpeproject.org/blog/from-territorial-to-functional-sovereignty-the-case-of-amazon/
Administrative Procedure Act, 5 U.S.C. § 551 (definitions) and § 553 (rulemaking), Cornell Legal Information Institute. https://www.law.cornell.edu/uscode/text/5/551 · https://www.law.cornell.edu/uscode/text/5/553
“State action,” Wex legal encyclopedia, Cornell Legal Information Institute. https://www.law.cornell.edu/wex/state_action
Federal Rules of Civil Procedure, Rule 23 (class actions), Cornell Legal Information Institute. https://www.law.cornell.edu/rules/frcp/rule_23
Credit and hiring
myFICO, “What’s in my FICO Scores?” https://www.myfico.com/credit-education/whats-in-your-credit-score
CFPB, DOJ Civil Rights Division, EEOC and FTC, “Joint Statement on Enforcement Efforts Against Discrimination and Bias in Automated Systems,” April 2023. https://www.ftc.gov/system/files/ftc_gov/pdf/EEOC-CRT-FTC-CFPB-AI-Joint-Statement%28final%29.pdf
Consumer Financial Protection Bureau, Consumer Financial Protection Circular 2022-03 (May 26, 2022) — withdrawn May 12, 2025 (“Interpretive Rules, Policy Statements, and Advisory Opinions; Withdrawal,” 90 FR 20084). https://www.federalregister.gov/documents/2025/05/12/2025-08286/interpretive-rules-policy-statements-and-advisory-opinions-withdrawal
Consumer Financial Protection Bureau, Equal Credit Opportunity Act (Regulation B), final rule, 91 FR 21620 (April 22, 2026; effective July 21, 2026). https://www.federalregister.gov/documents/2026/04/22/2026-07804/equal-credit-opportunity-act-regulation-b
National Fair Housing Alliance et al. v. Consumer Financial Protection Bureau et al. (D.D.C., filed May 27, 2026), challenge to the Regulation B final rule; summarized in Ballard Spahr, Consumer Finance Monitor, June 2, 2026. https://www.consumerfinancemonitor.com/2026/06/02/advocacy-groups-and-private-companies-file-lawsuit-against-revised-ecoa-rule/
Texas Department of Housing and Community Affairs v. Inclusive Communities Project, Inc., 576 U.S. 519 (2015). https://www.law.cornell.edu/supremecourt/text/13-1371
“HireVue drops facial monitoring amid A.I. algorithm audit,” Fortune, January 19, 2021. https://fortune.com/2021/01/19/hirevue-drops-facial-monitoring-amid-a-i-algorithm-audit/
EPIC, “In re HireVue,” FTC complaint, November 6, 2019. https://archive.epic.org/privacy/ftc/hirevue
EEOC, “iTutorGroup to Pay $365,000 to Settle EEOC Discriminatory Hiring Suit,” September 11, 2023. https://www.eeoc.gov/newsroom/itutorgroup-pay-365000-settle-eeoc-discriminatory-hiring-suit
Platforms and speech
Meta Platforms, Inc., Second Quarter 2026 Results, Exhibit 99.1 to Form 8-K, filed July 29, 2026. https://www.sec.gov/Archives/edgar/data/1326801/000162828026050596/meta-06302026xexhibit991.htm
United Nations, “Population” (Global Issues). https://www.un.org/en/global-issues/population
YouTube Official Blog, Press. https://blog.youtube/press/
TikTok Newsroom, “Thanks a billion!” September 27, 2021. https://newsroom.tiktok.com/1-billion-people-on-tiktok?lang=en
“Musk Says X Has 600 Million Monthly Active Users,” Bloomberg Law, 2024. https://news.bloomberglaw.com/tech-and-telecom-law/musk-says-x-has-600-million-monthly-active-users
Meta Transparency Center, Community Standards. https://transparency.meta.com/policies/community-standards/
European Commission, “Digital Services Act: Questions and answers” and “Out-of-court dispute settlement bodies under the Digital Services Act.” https://digital-strategy.ec.europa.eu/en/faqs/digital-services-act-questions-and-answers · https://digital-strategy.ec.europa.eu/en/policies/dsa-out-court-dispute-settlement
Grievance Appellate Committee, Government of India (appeals against intermediaries’ grievance-officer decisions under Rule 3A of the Information Technology (Intermediary Guidelines and Digital Media Ethics Code) Rules, 2021). https://gac.gov.in/
Faiza Patel and Julian Melendi, “Meta’s Oversight Board Needs Access to Facebook’s Algorithms to Do Its Job,” Brennan Center for Justice, June 17, 2024. https://www.brennancenter.org/our-work/analysis-opinion/metas-oversight-board-needs-access-facebooks-algorithms-do-its-job
Report of the Independent International Fact-Finding Mission on Myanmar, UN Doc. A/HRC/39/64, September 12, 2018; and Report of the Detailed Findings of the Independent International Fact-Finding Mission on Myanmar, UN Doc. A/HRC/39/CRP.2, September 17, 2018. https://www.ohchr.org/sites/default/files/Documents/HRBodies/HRCouncil/FFM-Myanmar/A_HRC_39_64.pdf · https://www.ohchr.org/sites/default/files/Documents/HRBodies/HRCouncil/FFM-Myanmar/A_HRC_39_CRP.2.pdf
Communications Decency Act, Section 230, 47 U.S.C. § 230, Cornell Legal Information Institute. https://www.law.cornell.edu/uscode/text/47/230
New rules: EU and US
Regulation (EU) 2024/1689 of the European Parliament and of the Council (EU AI Act), entered into force August 1, 2024; Annex III and Articles 5, 27, 86 and 99 via the AI Act Explorer. https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng · https://artificialintelligenceact.eu/annex/3/ · https://artificialintelligenceact.eu/article/5/ · https://artificialintelligenceact.eu/article/27/ · https://artificialintelligenceact.eu/article/86/ · https://artificialintelligenceact.eu/article/99/
Regulation (EU) 2026/1744 (Digital Omnibus on AI), published in the Official Journal July 24, 2026; summarized in Cooley, “Digital AI Omnibus Delays Key Deadlines, Introduces New Rules,” August 3, 2026. https://cdp.cooley.com/digital-ai-omnibus-delays-key-deadlines-introduces-new-rules/
Regulation (EU) 2016/679 (General Data Protection Regulation), Articles 13–15 and 22, EUR-Lex. https://eur-lex.europa.eu/eli/reg/2016/679/oj/eng
Article 29 Data Protection Working Party, Guidelines on Automated individual decision-making and Profiling for the purposes of Regulation 2016/679 (WP251rev.01), endorsed by the EDPB. https://ec.europa.eu/newsroom/article29/items/612053
Court of Justice of the EU, C-634/21 SCHUFA Holding (Scoring), December 7, 2023, press release 186/23. https://curia.europa.eu/jcms/upload/docs/application/pdf/2023-12/cp230186en.pdf
Court of Justice of the EU, C-203/22 Dun & Bradstreet Austria, February 27, 2025, press release 22/25. https://curia.europa.eu/jcms/upload/docs/application/pdf/2025-02/cp250022en.pdf
NYC Local Law 144 of 2021 (automated employment decision tools), effective January 1, 2023 (§ 2); enforced by the NYC Department of Consumer and Worker Protection from July 5, 2023. https://legistar.council.nyc.gov/LegislationDetail.aspx?GUID=B051915D-A9AC-451E-81F8-6596032FA3F9&ID=4344524 · https://www.nyc.gov/site/dca/about/automated-employment-decision-tools.page
Illinois Public Act 103-0804, amending the Illinois Human Rights Act to address the use of artificial intelligence in employment decisions, signed August 9, 2024, effective January 1, 2026; summarized in Hunton Andrews Kurth, “Illinois Enacts New Law Regulating Employer Use of Artificial Intelligence,” 2024. https://www.hunton.com/hunton-employment-labor-perspectives/illinois-enacts-new-law-regulating-employer-use-of-artificial-intelligence
Colorado SB 26-189, Automated Decision-Making Technology, signed May 14, 2026, effective January 1, 2027; summarized in Taft, “Colorado Act Legislation: The AI Strikes Back,” May 27, 2026. https://leg.colorado.gov/bills/sb26-189 · https://www.taftlaw.com/news-events/law-bulletins/colorado-act-legislation-the-ai-strikes-back/
