Deloitte предоставит федеральному правительству частичный возврат средств за отчет стоимостью 440 000 долларов, в котором были выявлены многочисленные ошибки, признав, что при его подготовке использовался генеративный искусственный интеллект.
Министерство занятости и трудовых отношений (DEWR) подтвердило, что Deloitte вернет последний платеж по контракту. Информация об этом будет опубликована после завершения транзакции. Это произошло после того, как один из сенаторов от Лейбористской партии обвинил консалтинговую фирму в наличии «проблем с человеческим интеллектом».
В декабре 2024 года министерство поручило Deloitte провести обзор таргетированной системы комплаенса и ее ИТ-системы, используемой для автоматического назначения санкций в системе соцобеспечения при невыполнении соискателями работы взаимных обязательств.
В ходе проведенного обзора были выявлены серьезные проблемы, включая отсутствие «прослеживаемости» между правилами комплаенса и соответствующим законодательством, а также «дефекты системы». В отчете отмечается, что ИТ-система «базируется на карательных предположениях о несоблюдении участниками требований».
Впервые отчет был опубликован 4 июля, а затем повторно размещен на сайте DEWR в пятницу, после того как в августе Australian Financial Review сообщил о множественных ошибках, включая несуществующие ссылки и цитаты.
Преподаватель Сиднейского университета доктор Кристофер Радж обратил внимание на ошибки, указав, что отчет содержал «галлюцинации» — случаи, когда ИИ дополняет пробелы, неверно интерпретирует данные или пытается угадать ответы.
«Вместо того, чтобы заменить одну вымышленную ссылку на новую “настоящую”, они вставили еще больше поддельных источников — теперь их стало пять, шесть, семь или даже восемь», — сказал он.
«Это говорит о том, что исходное утверждение в тексте отчета не основывалось ни на каком конкретном доказательном источнике».
В обновленной версии обзора отмечено «небольшое количество исправлений в ссылках и сносках», однако министерство заявило, что рекомендации отчета остались без изменений.
«Deloitte провела независимый аудит и подтвердила, что некоторые сноски и ссылки были ошибочными», — заявил представитель министерства.
«Существо независимого обзора сохранено, и рекомендации не изменились».
В обновленную версию отчета Deloitte добавила указание на использование генеративного ИИ в приложении. Там сказано, что часть отчета «включала использование инструментальной цепочки на базе генеративной искусственной интеллектуальной (Azure OpenAI GPT – 4o), лицензированной DEWR и размещенной в облаке Azure, принадлежащем DEWR».
Deloitte не сообщила, что именно применение искусственного интеллекта стало причиной ошибок в первоначальном отчете. Компания продолжила поддерживать выводы обзора.
«Внесенные поправки никоим образом не затрагивают и не влияют на основное содержимое, выводы и рекомендации отчета», — говорится в обновленной версии документа.
Представитель Deloitte заявил, что «вопрос был решен напрямую с клиентом».
Комментарии и реакция
Сенатор Лейбористской партии Дебора О’Нил, участвовавшая в расследовании Сената о добросовестности консалтинговых компаний, отметила, что «похоже, ИИ поручили выполнять всю основную работу».
«У Deloitte проблемы с человеческим интеллектом. Это было бы смешно, если бы не было так печально. Частичный возврат больше похож на частичные извинения за некачественную работу», — сказала она.
«Любая организация, привлекающая такие компании, должна четко выяснять, кто именно выполняет работу, за которую они платят, и требовать подтверждения квалификации специалистов и отсутствия использования ИИ.
«Возможно, вместо привлечения крупных консалтинговых фирм, заказчикам проще приобрести подписку на ChatGPT».
AFR обнаружил в первоначальном отчете несколько ошибочных ссылок, включая несуществующие публикации преподавателей Сиднейского университета и Университета Лунда в Швеции. В статье также указывается на вымышленную ссылку на судебное решение по делу о рободолгах — Deanna Amato против Commonwealth. В итоговой версии отчета Deloitte указала, что обновление «исправило резюме по делу Amato, в котором были ошибки».
Доктор Радж отметил, что, несмотря на критику, он не считает, что весь отчет следует признавать «недействительным», поскольку его выводы совпадают с имеющимися данными и другими источниками.
Источник: The Guardian
