О поисковых машинах

[vitus_wagner]

Интересного эффекта добились китайские исследователи ИИ. Они попробовали тренировать LLM не на результатах запросов в Google а напрямую с обшаривая веб-страницы. Почему-то потребовалось в 8 раз меньше ресурсов для достижения того же уровня достоверности.

Традиционные бенефициары интернет-экономики вроде CloudFlare уже в панике. Хотя вероятно это две не связанные новости.

Comments

[fhunter]

И попутно положили изрядное количество ресурсов, потому что такое обучение сканило всё, игнорировало robots.txt (не знаю - alibaba тоже или нет).

https://www.theregister.com/2024/07/30/taming_ai_content_crawlers/ как пример

И есть ещё источники. Вплоть до того, что уже написан proof of work прокси, для защиты ресурсов (Например https://anubis.techaro.lol/ ) . И прочие методы защиты.