ChatGPT вышел в последний день ноября и в этом месяце все вокруг говорят про ИИ в вебе. У меня было ощущение, что он там уже давно, в сторонних скриптах, которые тянет к себе каждый сайт. Виджеты чата, рекомендации, “умный” поиск. Числа за этим ощущением у меня не было. Оно взялось из лендингов поставщиков, а сам я никогда не считал.
HTTP Archive каждый месяц обходит миллионы сайтов и прогоняет Wappalyzer на каждой странице. Значит, число где-то есть и я решил его найти.
Как я считал
У Wappalyzer открытый код. На GitHub он держит каталог технологий с коротким описанием каждой. На 30 ноября 2022 года в нём было 3470 технологий. Решать самому, что считать ИИ, я не хотел, поэтому решать дал поставщикам. Технология попадает в счёт, если в её собственном описании есть “AI”, “artificial intelligence”, “machine learning”, “deep learning”, “neural”, “natural language”, “NLP” или “computer vision”. Эта метка маркетинговая. Но это именно то, что поставщик говорит о скрипте, который вы ставите себе на страницу.
Для каждой такой технологии отчёт о технологиях HTTP Archive даёт число origins, где её нашли, по месяцам и по клиентам. Я взял mobile, все сайты без отбора по рангу, с января по ноябрь 2022 года. Декабрь ещё не опубликован.
Одно ограничение с этими числами я обойти не смог. Отчёт считает каждую технологию отдельно. Сайт с 2 скриптами ИИ посчитан дважды, поэтому сумма по технологиям это верхняя граница. Самая крупная отдельная технология даёт нижнюю. Настоящая доля лежит между ними.
Первый счёт
Первая версия была широкой. Кроме слов про ИИ она брала ещё “chatbot” и “conversational”, потому что первым мне представился виджет чата. И ловила “.ai” в названиях.
Она показала 0,85% мобильных origins в январе и 1,31% в ноябре. Рост больше чем наполовину за 10 месяцев и как раз в тот год, когда все заговорили про ИИ. Я чуть не записал это как результат.
Потом я посмотрел, что внутри. Там есть SendPulse с 7140 origins. Это платформа рассылок по email. В её описании среди каналов перечислены чатботы для Facebook и WhatsApp. Marchex попал как “call and conversational analytics”. Rise.ai и Kontent.ai попали из-за домена в названии: первый это сервис лояльности, второй это CMS. Я убрал слова про чатботы и совпадение по “.ai” и оставил только то, что заявляет само описание.
По строгой метке в ноябре это 46 технологий и вместе 76 848 origins. Dynatrace лежит в каталоге дважды, как Dynatrace и Dynatrace RUM, поэтому я склеил их в одного поставщика и получил 67 340. Это 0,72% от 9 344 044 мобильных origins. Самый крупный поставщик, Ezoic, сам по себе даёт 20 573, то есть 0,22%. Значит, настоящая доля лежит между 0,22% и 0,72%.
Кто эти поставщики
Я ждал наверху чатботов. Их там нет. Верх списка в ноябре:
| поставщик | origins | что сказано в описании |
|---|---|---|
| Ezoic | 20 573 | оптимизация сайтов для издателей, “powered by machine learning” |
| Dynatrace | 11 051 | мониторинг, “based on artificial intelligence” |
| Invoca | 5194 | “AI-powered call tracking” |
| AB Tasty | 5074 | “AI-driven experimentation” |
| Cxense | 4959 | персонализация, “AI-powered” |
Ezoic и Dynatrace вместе дают 47% склеенной суммы. Первый это платформа оптимизации и рекламы для издателей, второй это мониторинг. Если мне скажут, что веб зависит от скриптов ИИ, то в 2022 году почти половина этой зависимости приходится на 2 компании. Ни одна из них не похожа на то, что я себе представлял.
Ни одно описание из верха списка не говорит о модели в браузере. Я поискал в каталоге TensorFlow.js и ONNX, записей для них нет вообще.
Рос каталог
Широкий счёт вырос больше чем наполовину, строгий тоже вырос, с 0,58% в январе до 0,72% в ноябре. Мне хотелось понять, откуда этот рост.
Каталог сам меняется в течение года. В январе хотя бы один origin был у 28 строгих технологий, в ноябре у 46. Я взял только те 28, которые определялись уже в январе. Их я проследил через весь год.
Их доля снизилась с 0,58% до 0,54%. В абсолютных числах они выросли с 37 131 до 50 360 origins. Но вырос и сам обход: с 6,35 миллиона мобильных origins в январе до 9,34 миллиона в ноябре, с большим скачком в августе. То есть уже известные поставщики росли не быстрее обхода.
Весь рост моего строгого числа даёт 18 технологий, которых в январе не было. Я открыл каталог в том виде, в каком он был в последний день 2021 года. У 16 из 18 записи не было вообще, так что для них это новые правила. Новое правило, скорее всего, находит сайты, на которых скрипт стоял и раньше, но этого я не проверял. У Cxense правило было, но в январских данных Cxense нет. Он появляется в феврале сразу с 4457 origins. Это дыра в данных, а новым правилом это не объясняется. У Onfido правило тоже было и у него всего 31 origin.
У широкого счёта то же: доля его январского набора снизилась с 0,85% до 0,79%.
Крупные сайты
Среди первых 10 000 сайтов картина другая. В этой группе 8631 мобильный origin. Строгая сумма по ним равна 657. По верхней границе это 7,6%, примерно в 10 раз больше доли по всему вебу. Впереди Cxense со 179, за ним Dynatrace со 133. Ezoic в первую пятёрку не входит. Скриптов, которые называют себя чатботами, там всего 97, это 1,1%.
Чего я не проверял
Объединение без двойного счёта. По числам на технологию у меня есть только границы. У HTTP Archive в BigQuery лежат данные по страницам. Запрос по ним дал бы точное число сайтов хотя бы с одним таким скриптом. Я его не запускал.
Значит ли метка хоть что-то. “Powered by machine learning” в описании поставщика это заявление. Модель ни одного поставщика я не проверял. А поставщиков, которые используют машинное обучение и об этом молчат, счёт пропускает.
Desktop. Строгая сумма там выше, 1,17% до склейки Dynatrace. Почему, я не разбирался. Я взял mobile, потому что этот обход больше.
Модели на странице. TensorFlow.js и похожих библиотек в каталоге нет, поэтому здесь я их не вижу.