ChatGPT вышел 3 недели назад. Я взял выборку событий GitHub за этот месяц и 4 из 6 репозиториев, получивших больше всего звёзд, оказались про него. Один это список промптов, остальные это расширение для браузера, неофициальный клиент API и бот для WeChat. Вокруг говорят, что в этом году все начали свой ИИ-проект. Я сам так говорил и не раз. Ни разу не проверял, хотя данные для проверки открыты. GH Archive записывает каждое публичное событие на GitHub, час за часом, с февраля 2011 года.
Вопрос получился простой. Было ли в 2022 году больше новых ИИ-репозиториев, чем в 2021, если считать долю от всех новых?
Как я считал
Каждый час в GH Archive это один файл gzip с событиями JSON, в 2022 году от 30 до 200 МБ. Когда кто-то создаёт репозиторий, появляется CreateEvent с ref_type, равным repository. В нём лежит описание в том виде, в каком оно было в момент создания. Читать нужно 2 поля, имя и описание. Форки идут отдельным событием и в этот счёт не попадают.
Я взял 2 часа каждого дня, 04:00 и 16:00 UTC, с 1 января 2021 по 24 декабря 2022 года. Первый час приходится на день в Азии, второй на утро в Америке. Всего 1446 часов. 19 из них в GH Archive нет совсем: 2 дня в августе 2021 года и неделя в октябре 2021. Осталось 1427 часов. Диск у меня был почти забит, поэтому небольшой скрипт на Python читал каждый файл потоком через curl и gzip и сохранял только счётчики.
Репозиторий я отношу к ИИ, если об этом говорит его имя или описание. Слова такие: machine learning, deep learning, neural, NLP, computer vision, TensorFlow, PyTorch, YOLO, отдельное слово “AI” и ещё несколько вроде Keras, BERT или Kaggle. Внутри я выделил группу поменьше для генеративных моделей: GPT, ChatGPT, OpenAI без Gym, Stable Diffusion вместе с интерфейсами вроде AUTOMATIC1111, DreamBooth, DALL-E, Midjourney, Whisper. Whisper это распознавание речи, но он вышел у OpenAI той же осенью и я оставил его в этой группе.
Потом я вручную просмотрел 100 случайных репозиториев 2022 года. 60 из них метка взяла, а 40 поймал более широкий фильтр и метка отбросила. Ошибается метка редко, но пропускает много. Какой-нибудь “house price prediction” или проект на Vision Transformer обычно про машинное обучение, но нужных слов не содержит. Поэтому каждая доля ниже это нижняя граница, посчитанная одинаково для обоих лет.
Октябрь 2022
Первый результат дал 1,05% новых репозиториев в 2021 году и 0,91% в 2022. Меньше. В октябре 2022 доля упала до 0,65% и у меня уже была готова фраза о том, что все ушли из ИИ во что-то другое.
Потом я посмотрел на сам октябрь. В сентябре в моей выборке 444 234 новых репозитория, в октябре 677 185. Я открыл один час, 10 октября 16:00 UTC. В нём 15 267 новых репозиториев и у 12 856 из них нет описания. 8 самых активных аккаунтов создали за этот час от 125 до 241 репозитория каждый, со случайными именами. 2 из них называются pgslotzaa и PGSLOTTH888, это похоже на тайские сайты онлайн-слотов. Это был спам. И не только в этот час, так выглядит почти весь октябрь.
В 2021 году в выборке 1 434 695 новых репозиториев с описанием, в 2022 году 1 427 656. Почти столько же. Рост GitHub на 25% в моей выборке целиком пришёлся на репозитории без описания, их доля выросла с 61,5% до 69,3%. Поэтому я стал считать долю среди репозиториев с описанием. Я исхожу из того, что спам-аккаунты описаний в основном не пишут. Октябрьский час это подтверждает.
С таким знаменателем выходит 1,36% в 2021 году и 1,44% в 2022. За 24 месяца доля скачет от 0,81% до 1,95%. Декабрь 2022 года даёт 1,70%, но в мае 2021 было больше. Если 2022 год и был взрывом ИИ-репозиториев, то в том, что люди создают, я его не вижу.
Я проверял это не первым. OSS Insight в ноябре 2022 года выпустил отчёт за период с января по сентябрь, где ИИ-репозитории найдены по темам (topics). По их выводу, быстрый рост ИИ с открытым кодом пришёлся на 2016 и 2017 годы, а потом стал медленным. У меня только 2 года и про 2016 я ничего сказать не могу, но скачка в 2022 году я тоже не вижу. Их период кончается через 5 недель после выхода весов Stable Diffusion, ещё до ChatGPT.
Где что-то изменилось
Генеративная группа маленькая, но она движется. В моей выборке это 255 репозиториев за весь 2021 год и 1152 за 2022. 70% репозиториев 2022 года приходится на период с сентября по декабрь.
В июле и первой половине августа их было от 7 до 15 в неделю на мои 14 часов выборки. Stable Diffusion выложил веса 22 августа и с этой недели их стало от 18 до 34. ChatGPT вышел 30 ноября. На эту неделю приходится 66, на следующие 3 недели 155, 130 и 126. В последней из них только 12 часов, потому что мои данные кончаются 24 декабря. В декабре генеративная группа это 460 из 3268 ИИ-репозиториев, 14%. От всего, что создано на GitHub, это по-прежнему 0,15%.
Звезда в GH Archive это WatchEvent и описания у неё нет. Поэтому здесь я размечал репозитории по полному имени вместе с владельцем. Так в счёт попадает openai/whisper.
Обычные репозитории машинного обучения получили 2,64% всех звёзд выборки в 2021 году и 2,32% в 2022. Роста нет совсем. Генеративные получили 0,10% в 2021 году, 1,43% в сентябре 2022 и 3,07% в декабре. В сентябре больше всего звёзд среди генеративных было у CompVis/stable-diffusion и openai/whisper. Кода ChatGPT на GitHub нет. В декабре первым идёт f/awesome-chatgpt-prompts, список текстовых промптов.
В декабре звёзды в моей выборке получили 699 генеративных репозиториев. Вместе у них 3,07% всех звёзд и первые 3 из них держат 22% этой доли.
Чего я не проверял
- Темы (topics). OSS Insight считал по ним, я по именам и описаниям. Описание, добавленное после создания, мне не видно.
- 22 часа каждого дня. Мои числа это счёт по выборке. Настоящие числа намного больше и пересчитывать их на полные сутки я не пытался.
- Звёзды репозиториев, которые как ИИ помечает только имя владельца. Полный список я хранил только для имён, прошедших широкий фильтр, плюс топ-300 каждого часа.
- Приватные репозитории. GH Archive видит только публичные события.
- Не одни ли и те же люди стоят за этими 1,4%. Студент, который каждую неделю создаёт новый
ML-Homework-3, считается каждую неделю.
Декабрь ещё не кончился. Если недели ChatGPT продолжатся в январе, доля среди новых репозиториев наконец сдвинется. Посмотрим.