قصة النضال لمدة عامين لوقف أمازون عن بيع تكنولوجيا التعرف على الوجوه إلى الشرطة

في صيف عام 2018، كتب ما يقرب من 70 منظمة بحثية وحقوق مدنية رسالة إلى جيف بيزوس تطالب فيها أمازون بالتوقف عن تزويد الحكومات بتكنولوجيا التعرف على الوجوه. ودَعَت الرسالة أمازون إلى "الدفاع عن الحقوق المدنية والحريات المدنية" كجزء من التركيز المتزايد على الدور الذي تلعبه شركات التكنولوجيا في تمكين حكومة الولايات المتحدة من تتبع وترحيل المهاجرين. وجاء في الرسالة: "يعتبر برنامج ريكوجنيشين (Rekognition) -كما يتم الترويج له- نظام مراقبة فعال ومتاح بسهولة لانتهاك الحقوق واستهداف مجتمعات ذوي البشرة الملونة".

وإلى جانب الرسالة، سلَّمت مؤسسة الاتحاد الأميركي للحريات المدنية (ACLU) في واشنطن أكثر من 150,000 توقيع على عريضة، بالإضافة إلى رسالة أخرى من المساهمين في شركة أمازون نفسها تعبِّران عن مطالب مماثلة. بعد ذلك بأيام قليلة، عبّر موظفو أمازون عن هذه المخاوف في مذكرة داخلية.

وعلى الرغم من الضغط المتزايد، استمرت أمازون في العمل كالمعتاد؛ حيث استمرت في تسويق نظام ريكوجنيشين باعتباره أداة لمراقبة "الأشخاص موضع الاهتمام"، وضاعفت من تقديم تقنيات المراقبة الأخرى إلى الحكومات. وعلى سبيل المثال، سارعت شركة رينج (Ring) -بعد أن استحوذت عليها أمازون ببضعة أشهر- إلى إقامة شراكات مع أكثر من 1,300 وكالة لإنفاذ القانون من أجل استخدام لقطات من كاميراتها الأمنية المنزلية في التحقيقات الجنائية.

لكن يوم الأربعاء 10 يونيو، فاجأت أمازون نشطاء الحقوق المدنية والباحثين عندما أعلنت تعليق استخدام الشرطة لنظامها ريكوجنيشين لمدة عام واحد. جاءت هذه الخطوة بعد قرار شركة آي بي إم التوقف عن تطوير نظامها الخاص بالتعرف على الوجوه للأغراض العامة. وفي اليوم التالي، أعلنت مايكروسوفت أنها ستتوقف عن بيع نظامها إلى أقسام الشرطة حتى يتم إصدار قانون فدرالي لتنظيم هذه التكنولوجيا. وفي حين قدمت أمازون أقلّ تنازل بين الشركات الثلاثة، فإنها تمثل أكبر مزود لهذه التكنولوجيا إلى قوى إنفاذ القانون. ويأتي هذا القرار تتويجاً لعامين من الأبحاث والضغط الخارجي لإثبات العيوب التقنية لنظام ريكوجنيشين وإمكانية إساءة استخدامه.

قالت ديبورا راجي، الباحثة في مجال مساءلة الذكاء الاصطناعي، والتي شاركت في تأليف دراسة أساسية حول التحيز العنصري وعدم الدقة المبني في تكنولوجيا الشركة: "إنه أمر مذهل أن تستجيب أمازون بالفعل أثناء النقاش الراهن حول العنصرية، إن هذه الخطوة تجسّد قوة هذه اللحظة الحالية".

يقول كادي كروكفورد، مدير برنامج الحرية التكنولوجية في الاتحاد الأميركي للحريات المدنية في ماساتشوستس: "إن التعليق لمدة سنة يشكل نقطة بداية، إنه بالتأكيد اعتراف من جانب الشركة -على الأقل بشكل ضمني- بصحة ما يقوله المدافعون عن العدالة العرقية لهم منذ عامين، وهو أن تكنولوجيا مراقبة الوجوه تشكل خطراً على ذوي البشرة السوداء والبنية في الولايات المتحدة، إنه اعترافٌ مدهش".

عامان من العمل لتحقيق هذا الإنجاز

في فبراير من عام 2018، قام كل من جوي بولامويني، الباحث في إم آي تي، وتيمنيت جبرو، الذي كان حينئذٍ باحثاً في مايكروسوفت، بنشر دراسة رائدة تسمى (تدرّجات على أساس الجنس) حول التحيزات على أساس الجنس والعرق المضمنة في الأنظمة التجارية للتعرف على الوجوه. في ذلك الوقت، شملت الدراسة الأنظمة التي يتم بيعها من قِبل مايكروسوفت وآي بي إم وميجفي (Megvii)، وهي أحد أكبر مزودي تكنولوجيا التعرف على الوجوه في الصين، لكنها لم تشمل نظام ريكوجنيشين من أمازون.

ومع ذلك، كانت الدراسة الأولى من نوعها، وتوصلت إلى نتائج مذهلة؛ حيث كان أسوأ نظام هو نظام آي بي إم الذي حقق نتيجة أسوأ بمقدار 34.4% في تصنيف جنس النساء ذوات البشرة الداكنة مقارنة بتصنيف الرجال ذوي البشرة الفاتحة. لقد فضحت هذه النتائج على الفور ادعاءات الدقة التي كانت تستخدمها الشركات لبيع منتجاتها، وأثارت جدلاً حول تكنولوجيا التعرف على الوجوه بشكل عام.

ومع احتدام الجدل، سرعان ما اتضح أن المشكلة أعمق من مجرد وجود انحراف في بيانات التدريب أو عيوب في الخوارزميات. كما حذّر العديد من الباحثين والناشطين من أنه حتى لو حققت الأنظمة دقة 100%، فلا يزال من الممكن استخدامها بطرق خطيرة.

تقول راجي التي عملت مع بولامويني وجبرو في دراسة (تدرجات على أساس الجنس): "يمكن لهذه التكنولوجيا أن تؤذي الناس بطريقتين: الأولى هي إخفاق التكنولوجيا؛ أي بحكم وجود معدلات خطأ أعلى للأشخاص من ذوي البشرة الملونة، فإنها تعرِّضهم لخطر أكبر. أما الطريقة الثانية فهي عندما تكون التكنولوجيا ناجحة؛ حيث يكون لديك النظام المثالي للتعرف على الوجوه، ولكن يتم توظيفه بسهولة كسلاح ضد المجتمعات لمضايقتهم. إنه نقاش منفصل ومترابط".

وتضيف: "كانت دراسة (تدرجات على أساس الجنس) تهدف إلى الكشف عن الطريقة الأولى". ومن خلال قيامها بذلك، فإنها فتحت المجال لكشف الطريقة الثانية التي يمكن لهذه التكنولوجيا فيها أن تؤذي الناس.

حاولت أمازون تكذيب بحثهم، وحاولت النيل منهم باعتبارهم نساء ذوات بشرة سوداء تولَّين قيادة هذا البحث.
- ميريديث ويتاكر -

 

وهذا ما حدث مع آي بي إم؛ فبعد نشر دراسة (تدرجات على أساس الجنس)، كانت آي بي إم إحدى أوائل الشركات التي تواصلت مع الباحثين لمعرفة كيفية إصلاح مشاكل التحيز في نظامها. وفي يناير من عام 2019، أصدرت آي بي إم مجموعة بيانات تسمى "التنوع في الوجوه" تحتوي على أكثر من مليون صورة وجه معنوَنة، في محاولة لتحسين هذه الأنظمة. لكن هذه الخطوة جاءت بنتائج عكسية بعد أن اكتشف الناس أن الصور تم أخذها من فليكر، مما أثار مشاكل حول موافقة المستخدمين والخصوصية. كما أثارت الدراسة سلسلة أخرى من المناقشات الداخلية حول كيفية تدريب أنظمة التعرف على الوجوه بشكل أخلاقي. تقول راجي: "لقد أدت إلى فتح الباب واسعاً لاكتشاف العديد من المشكلات المتعلقة بهذه التكنولوجيا".

لذا في نهاية المطاف، لم يكن من المفاجئ قيام الشركة بالانسحاب من تطوير هذه الأنظمة. (يشير المنتقدون إلى أن نظامها بالكاد كان يملك موطئ قدم في السوق). وتعلّق راجي قائلة: "أدركت آي بي إم للتو أن ’الفوائد’ لم تكن متناسبة بأي حال من الأحوال مع الأضرار، وفي هذه اللحظة بالذات، كان الوقت مناسباً لهم للإعلان عن هذه الخطوة".

ولكن بينما كانت شركة آي بي إم تستجيب للملاحظات الخارجية، فإن استجابة أمازون كانت معاكسة تماماً؛ ففي يونيو من عام 2018، وفي خضمّ جميع الرسائل الأخرى التي تطالب الشركة إيقاف استخدام الشرطة لنظام ريكوجنيشين، قامت راجي وبولامويني بتوسيع مراجعة دراسة (تدرجات على أساس الجنس) لتشمل أداء نظام أمازون. ومرة أخرى، وجدت النتائج -التي نُشرت بعد نصف عام في ورقة بحثية تمت مراجعتها من قبل الأقران- أوجهاً كبيرة لعدم الدقة من الناحية التقنية. كان نظام ريكوجنيشين يصنِّف جنس النساء ذوات البشرة الداكنة بدقة أقل بمقدار 31.4% من تصنيف الرجال ذوي البشرة الفاتحة.

وفي يوليو، أجرى الاتحاد الأميركي للحريات المدنية في شمال كاليفورنيا أيضاً دراسته الخاصة، ووجد أن النظام طابق صور 28 عضواً في الكونجرس الأميركي بشكل خاطئ على أنهم مُدانون سابقون. وكانت المطابقات الخاطئة تشمل أشخاصاً من ذوي البشرة الملونة بشكل خاص.

وبدلاً من الإقرار بالنتائج، نشرت أمازون تدوينتين اثنتين تدّعي فيهما أن عمل راجي وبولامويني كان مُضلِّلاً. ورداً على ذلك، قام ما يقرب من 80 باحثاً في مجال الذكاء الاصطناعي -بمن فيهم يوشوا بينجيو الفائز بجائزة تورينج- بالدفاع عن العمل، وطالبوا الشركة مرة أخرى بالتوقف عن بيع نظام التعرف على الوجوه إلى الشرطة.

تتذكر راجي قائلةً: "لقد كانت تجربة عاطفية في ذلك الوقت، لقد بذلنا الكثير من الحرص الواجب فيما يتعلق بنتائجنا، ثم كانت الاستجابة الأولية شديدة المواجهة واتسمت بموقف دفاعي شرس".

وتقول ميريديث ويتاكر، المؤسسة المشاركة ومديرة معهد إيه آي ناو (AI Now) الذي يدرس الآثار الاجتماعية للذكاء الاصطناعي: "حاولت أمازون تكذيب بحثهم، وحاولت النيل منهم باعتبارهم نساء ذوات بشرة سوداء تولَّين قيادة هذا البحث. لقد حاولت نشر رواية مفادها أنهم قد أخطؤوا في بحثهم، وأن أي شخص يفهم هذه التكنولوجيا بوضوح سيعرف أن ذلك لا يمثل مشكلة".

إن هذه الخطوة وضعت أمازون في موقف خطر من الناحية السياسية
- موتالي نكوندي -

 

في الواقع، بينما كانت أمازون ترفض الدراسة في العلن، فإنها بدأت تستثمر في البحث عن إصلاحات وراء الكواليس. لقد استعانت بباحثين في مجال الإنصاف، واستثمرت في منحة بحثية لمؤسسة الأبحاث الوطنية الأميركية (NSF) للتخفيف من هذه المشاكل، وأصدرت نسخة جديدة من نظام ريكوجنيشين بعد بضعة أشهر، مستجيبة بذلك -بصورة مباشرة- للمخاوف التي أثارتها الدراسة، وفقاً لراجي. وفي الوقت نفسه، تصدت أمازون لجهود المساهمين الرامية إلى تعليق مبيعات هذه التكنولوجيا وإجراء تقييم مستقل لحقوق الإنسان، كما أنفقت الملايين في الضغط على الكونغرس لتجنب التنظيم.

ولكن بعد ذلك تغير كل شيء؛ ففي 25 مايو 2020، قام الضابط ديريك تشوفين بقتل جورج فلويد، مما أشعل حركة تاريخية في الولايات المتحدة لمحاربة العنصرية المؤسساتية وإنهاء وحشية الشرطة. واستجابة لذلك، قدم الديمقراطيون في مجلس النواب والشيوخ مشروع قانون لإصلاح جهاز الشرطة يتضمن اقتراحاً للحد من استخدام تكنولوجيا التعرف على الوجوه في سياق إنفاذ القانون، مما يمثل أكبر جهد فدرالي على الإطلاق لتنظيم هذه التكنولوجيا. عندما أعلنت شركة آي بي إم أنها ستوقف تطوير نظام التعرف على الوجوه، أرسلت أيضاً رسالة إلى تجمع ذوي البشرة السوداء في الكونجرس تحثهم فيها على إجراء "حوار وطني حول ما إذا كان ينبغي استخدام تكنولوجيا التعرف على الوجه من قِبل وكالات إنفاذ القانون المحلية أم لا، وكيفية القيام بذلك".

تقول موتالي نكوندي، مستشارة سياسات الذكاء الاصطناعي والزميلة في مركز بيركمان كلين التابع لجامعة هارفارد: "أعتقد أن قرار آي بي إم بإرسال تلك الرسالة، في الوقت الذي تدرس فيه نفس الهيئة التشريعية مشروع قانون لإصلاح الشرطة، قد غيَّر المشهد بالفعل. وعلى الرغم من أنهم لم يكونوا لاعبين مهمين في مجال التعرف على الوجوه، فإن هذه الخطوة وضعت أمازون في موقف خطر من الناحية السياسية". لقد أقامت صلة واضحة بين التكنولوجيا والنقاش الوطني القائم بطريقة كان من الصعب على الهيئات التنظيمية تجاهلها.

تفاؤل حَذِر

ولكن في حين يرى النشطاء والباحثون أن تنازل أمازون كان انتصاراً كبيراً، فإنهم يدركون أيضاً أن الحرب لم تضع أوزارها بعد. فمن جهة، كان إعلان أمازون المؤلف من 102 كلمة غامضاً بشأن التفاصيل حول ما إذا كان التعليق سيشمل وكالات إنفاذ القانون خارج نطاق الشرطة، مثل إدارة الهجرة أوالجمارك الأميركية أو وزارة الأمن الداخلي. (لم تقدم أمازون أي رد على الطلب الموجه إليها لإبداء التعليق). ومن جهة أخرى، يُعتبر التعليق لمدة عام إشارة تحذيرية.

يقول كروكفورد من الاتحاد الأميركي للحريات المدنية: "الجزء الساخر مني يقول إن أمازون ستنتظر حتى تخمد الاحتجاجات -حتى يتحول الحوار الوطني إلى شيء آخر- لتعود إلى سابق عهدها". ويضيف: "سنراقب عن كثب للتأكد من أن هذه الشركات لا تحصل بشكل فعال على تغطية صحفية إيجابية بفضل هذه الإعلانات الأخيرة، بينما تعمل في الوقت نفسه وراء الكواليس من أجل إحباط جهودنا في الهيئات التشريعية".

ولذلك يعتقد النشطاء والباحثون أن التنظيم سيلعب دوراً حاسمًا في المضي قدماً؛ إذ يقول ويتاكر: "لا يكمن الدرس هنا في أن الشركات يجب أن تحكم نفسها بنفسها، بل يتمثل في أننا نحتاج إلى ممارسة المزيد من الضغط، وأننا في حاجة إلى لوائح تنظيمية تضمن أننا لا نسعى فقط إلى حظر لمدة عام واحد".

الجزء الساخر مني يقول إن أمازون ستنتظر حتى تخمد الاحتجاجات لتعود إلى سابق عهدها.
- كادي كروكفورد -

 

يقول المنتقدون إن الأحكام المتعلقة بالتعرف على الوجوه في مشروع قانون إصلاح الشرطة الحالي -الذي يحظر استخدامه فقط في الوقت الحقيقي في الكاميرات المثبتة على الجسم- ليست واسعة بما يكفي لمساءلة عمالقة التكنولوجيا بشكل كامل. لكن نكوندي متفائلة؛ فهي ترى أن هذه المجموعة الأولى من التوصيات تشكِّل بذرة لمزيد من التنظيم في المستقبل. وبمجرد تمريرها لتصبح قانوناً، ستتحول إلى نقطة مرجعية مهمة لمشاريع القوانين الأخرى المكتوبة لحظر التعرف على الوجوه في التطبيقات والسياقات الأخرى.

وتقول: "هناك بالفعل حركة تشريعية أكبر" على المستويين الفدرالي والمحلي. كما أن الضوء الذي سلطته وفاة فلويد على الممارسات العنصرية للشرطة أدى إلى تسريع الدعم الواسع لهذه الحركة.

يختم كروكفورد بالقول: "لم يكن من الضروري فعلاً تعرض جورج فلويد، وبرونا تايلور، والعديد من السود الآخرين للقتل على يد الشرطة -ولا خروج مئات الآلاف من الناس إلى الشوارع في جميع أنحاء الولايات المتحدة- حتى تدرك هذه الشركات الصحة الأخلاقية لمطالب المنظمات التي يقودها الأشخاص من ذوي البشرة السوداء والداكنة، والباحثين من اتحاد الحريات المدنية ومن مجموعات أخرى. ولكن ها نحن ذا، وأن تأتي متأخراً خيرٌ من ألا تأتي أبداً".