Компания Discord признала, что из-за ошибки в ее системе модерации на базе искусственного интеллекта за последние два месяца были ошибочно заблокированы более 8 000 пользователей. Безвредные изображения — включая электронные таблицы, шахматные доски, текстуры из игр, а также белые и серые прозрачные фоны — были неверно помечены как вредоносный контент.
Компания подтвердила, что проблема затронула аккаунты начиная с мая. Еще 200 пользователей получили бан за прошедшие выходные, прежде чем команда специалистов обнаружила и устранила проблему. В настоящее время идет процесс восстановления всех пострадавших учетных записей.
Этот инцидент подчеркивает одну из растущих проблем, связанных с модерацией при помощи ИИ, поскольку многие платформы все чаще полагаются на автоматизированные системы для выявления незаконных или оскорбительных материалов в больших масштабах.
В подробном треде в соцсети X (бывший Twitter) Discord объяснил, что его автоматизированная система безопасности работает путем сопоставления загружаемого контента с базами данных известных вредоносных материалов. Хотя эта технология предназначена для улавливания нелегального контента, компания признала, что иногда она может выдавать ложные срабатывания. Обычно контент проверяет модератор-человек, но из-за бага система мгновенно забанила пострадавшие аккаунты.
«Мы работаем над улучшением защитных механизмов, чтобы подобное больше не повторилось», — написала компания.
В X и Reddit пользователи утверждали, что их навсегда заблокировали просто за загрузку изображений, содержащих узоры в виде квадратной сетки. Несколько пользователей предположили, что инструменты ИИ-модерации Discord стали более чувствительны к сетчатым паттернам, поскольку ранее они использовались в попытках скрыть или замаскировать NSFW-контент (материалы для взрослых) от систем автоматического обнаружения.
Пострадавшие пользователи выражают разочарование в социальных сетях. Некоторые из них утверждают, что перманентные баны аккаунтов, основанные исключительно на автоматическом обнаружении, могут иметь серьезные последствия — особенно для тех, кто использует Discord для работы, игровых сообществ или поддержания социальных связей на расстоянии.
«Потеря аккаунта Discord из-за чего-то настолько несправедливого может стать огромным ударом и сильно повлиять на пользователей. Каждый день миллионы людей страдают от ложных ИИ-банов. Это необходимо прекратить», — написал один из пользователей X.
Источник: TechCrunch
