عند نشر تغريدة، فإن أنظمة الذكاء الاصطناعي التي تقوم بكشف المحتوى المسيء على الإنترنت ستَسِم هذه التغريدة بأنها "مسيئة" باحتمال أكبر بكثير في حال كان الناشر من العرق الأفريقي الأميركي.
يقول الخبر
قام باحثون ببناء نظامي ذكاء اصطناعي واختبارهما على مجموعتي بيانات تتضمنان أكثر من 100,000 تغريدة تحمل تصنيفات بشرية من قبيل "مسيئة" و"لا تحمل إساءة" و"خطاب كراهية". وقد أخطأت واحدة منهما في وسم 46% من التغريدات البريئة التي نشرها مؤلفون أفريقيون أميركيون على أنها مسيئة. كما بيَّنت اختبارات أجريت على مجموعات بيانات أكبر -بما في ذلك مجموعة مؤلفة من 5.4 مليون تغريدة- أن منشورات الأفريقيين الأميركيين كانت معرضة للوسم بالإساءة أكثر من غيرها بمرة ونصف. وبعد ذلك، عندما اختبر الباحثون أداة الذكاء الاصطناعي بيرسبيكتيف التي تتيح شركة جوجل استخدامها لأي شخص يرغب بمراقبة محتوى النقاشات على الإنترنت، وجدوا تحيزات عرقية مشابهة.
التوازن الصعب
أدت المجازر التي ارتكبها متعصبو التفوق العرقي الأبيض بالأسلحة النارية في الولايات المتحدة ونيوزيلندا إلى تعالي أصوات السياسيين التي تدعو منصات التواصل الاجتماعي إلى اتخاذ المزيد من الإجراءات للتعامل مع خطاب الكراهية. وتبين هذه الدراسات مدى تعقيد هذه المهمة؛ حيث إن اعتبار اللغة مسيئة أو لا، يعتمد على هوية القائل والمتلقي، وعلى سبيل المثال فإن استخدام كلمة "زنجي" من قِبل شخص أسمر يختلف للغاية عن استخدامها من قبل شخص أبيض البشرة، غير أن أنظمة الذكاء الاصطناعي لا تستطيع حالياً فهم هذه الفروقات الدقيقة.
المخاطرة
إن الاستعجال في استخدام البرمجيات لكشف اللغة المسيئة آلياً يعني المخاطرة بإسكات أصوات الأقليات. وبما أن مراقبة المحتوى على الإنترنت عمل صعب ومرهق للغاية، فإن الشركات تحاول الاعتماد على أنظمة الذكاء الاصطناعي بدلاً من البشر (ولتوفير التكاليف أيضاً)، وتبين هذه الدراسة المخاطر الكبيرة التي تنطوي عليها هذه الطريقة.