После того как в начале этого года некоммерческая организация Creative Commons объявила о создании рамочной структуры для открытой экосистемы искусственного интеллекта, она выступила в поддержку технологии «pay-to-crawl» — системы, позволяющей автоматизировать компенсацию владельцам веб-контента за доступ к их материалам с помощью машин, таких как веб-краулеры ИИ.
Creative Commons (CC) наиболее известна тем, что инициировала лицензионное движение, позволяющее авторам делиться своими работами, сохраняя при этом авторские права. В июле организация представила план по созданию правовой и технической основы для обмена датасетами между компаниями, контролирующими данные, и провайдерами ИИ, заинтересованными в тренировке своих моделей на этих данных.
Теперь некоммерческая организация осторожно поддерживает системы pay-to-crawl, отмечая, что она «выражает сдержанную поддержку» этой инициативе.
«При ответственном внедрении pay-to-crawl может стать инструментом, позволяющим сайтам поддерживать создание и распространение контента, а также управлять его альтернативным использованием — сохраняя публичный доступ к материалам, которые иначе могли бы не быть опубликованы или оказались бы за еще более жесткими платными стенами», — говорится в блоге CC.
Идея pay-to-crawl, которую поддерживают такие компании, как Cloudflare, заключается в том, чтобы взимать плату с ИИ-ботов каждый раз, когда они сканируют сайт и собирают его контент для тренировки и обновления моделей.
Раньше сайты свободно разрешали веб-краулерам индексировать свой контент для включения в поисковые системы, такие как Google. Это позволяло им попадать в поисковую выдачу, что приводило к увеличению числа посетителей и кликов. Однако с развитием ИИ ситуация изменилась: получив ответ от чат-бота на основе искусственного интеллекта, пользователи, как правило, уже не переходят по ссылкам к оригинальному источнику.
Это изменение уже нанесло серьезный удар по издателям, сократив поисковый трафик, и тенденция пока не слабеет.
Система pay-to-crawl, в отличие от прежней модели, могла бы помочь издателям компенсировать потери, вызванные ИИ. Более того, это могло бы работать на благо небольших веб-издателей, у которых нет рычага для индивидуальных переговоров с ИИ-провайдерами. Сейчас крупные сделки заключены между такими компаниями, как OpenAI и Condé Nast, Axel Springer и другие; а также между Perplexity и Gannett; Amazon и The New York Times; Meta* и различными медиа-издателями.
CC, однако, указала на ряд оговорок к своей поддержке pay-to-crawl, отметив, что такие системы могут усилить концентрацию власти в интернете. Также существует риск, что это ограничит доступ к контенту для «исследователей, некоммерческих организаций, культурных учреждений, образовательных организаций и других лиц, работающих в общественных интересах».
Организация предложила ряд принципов ответственного внедрения pay-to-crawl, включая недопустимость назначения оплаты по умолчанию для всех сайтов и отказ от универсальных правил для интернета. Помимо этого, CC рекомендовала использовать не только блокировку, но и возможность ограничения скорости (throttling) доступа, а также обеспечивать сохранение доступа в общественных интересах. Такие системы, по мнению CC, должны быть открытыми, совместимыми и построенными на использовании стандартизированных компонентов.
Cloudflare — не единственная компания, вкладывающаяся в сферу pay-to-crawl.
Microsoft также создает маркетплейс ИИ для издателей, а небольшие стартапы, такие как ProRata.ai и TollBit, уже работают в этом направлении. Еще одна группа — RSL Collective — анонсировала собственную спецификацию нового стандарта под названием Really Simple Licensing (RSL), который определяет, к каким частям сайта может быть доступ у краулеров, но не предусматривает их прямую блокировку. Компании Cloudflare, Akamai и Fastly уже внедрили RSL, который поддерживают Yahoo, Ziff Davis, O’Reilly Media и другие.
CC также среди организаций, поддержавших стандарт RSL, наряду с инициативой CC signals — более широкой программой по разработке технологий и инструментов для эпохи искусственного интеллекта.
Источник: TechCrunch
