Каждая статья в этом блоге выходит на 3 языках и один из них беларусский. Я знал, что беларусского в интернете мало, но числа у меня не было, только ощущение. Единственное, что я мог назвать, это Википедия. На 8 октября 2026 года у беларусской в 2 редакциях 358692 статьи, у русской 2121411. Один к шести. Звучит не так уж плохо.
Первое настоящее число я получил из Common Crawl. Оно было 1 к 400. После этого я записал, чего жду от всего остального, ещё до подсчёта: Википедия около 1 к 6, у открытых корпусов текстов примерно то же, что у Common Crawl, на домене .by меньше 10% беларусского и 2 разных определителя языка, которые сходятся там в пределах 10%. Последняя догадка не подтвердилась.
Где я считал
Common Crawl это открытая копия веба, с которой начинают многие языковые модели и открытые корпуса текстов. С августа 2018 года он помечает каждую HTML-страницу её основным языком с помощью CLD2 и публикует итоги. Я взял их по всем 77 краулам по сентябрь 2026 года включительно. Ещё я взял размеры 3 больших очищенных корпусов из их карточек, в том виде, в каком они были на 8 октября 2026 года. FineWeb-2 и MADLAD-400 собраны из Common Crawl, HPLT 2.0 в основном из Internet Archive.
В последнем крауле, CC-MAIN-2026-39, 2171285702 страницы. Из них 364316 беларусские. Это 0,017%. W3Techs, который считает сайты, а не страницы, пишет, что беларусский используют меньше 0,1% всех сайтов, так что эта часть не новость. На каждую беларусскую страницу в крауле приходится 399 русских и 2495 английских. В корпусах разрыв между русским и беларусским от 333 до 505 раз. Это зависит от корпуса и от того, считать документы или слова.
Так что Википедия исключение, причём сильное. Разрыв там в 5,9 раза по статьям и в 13,5 раза по размеру дампа статей. 2 беларусские Википедии вместе даже больше литовской, 358692 статьи против 226895. В Common Crawl литовских страниц в 10 раз больше, чем беларусских. В тот же день в 2 беларусских редакциях было 584 зарегистрированных участника, активных за последние 30 дней, в русской 16120.
Моё ощущение выросло из единственного места, где язык выглядит почти нормально. Я ни разу не сверил его ни с чем другим, хотя остальные числа всегда были открыты.
Отношение за 8 лет
Я брал медиану по краулам каждого года. Русских страниц на одну беларусскую было 713 в 2018 году, потом около 400. С 2019 года это число держится между 359 и 412. Отдельные краулы скачут гораздо сильнее, поэтому я верю только медианам. Литовский все 8 лет держался между 9,6 и 10,8. Украинский опустился с 30 в 2018 году до значений от 19 до 26 с 2019 по 2023 год. Потом он вырос до 49 в этом году.
Из этих данных я не могу сказать, вырос украинский веб или краулер стал чаще туда ходить. Common Crawl сам решает, что скачивать. И это меняется от краула к краулу. Беларусский в любом случае не пошёл следом, его медианная доля была 0,0128% в 2018 году и от 0,015% до 0,019% в каждом следующем году.
Где живёт беларусский текст
В FineWeb-2 по его собственному подсчёту 1,17 миллиарда беларусских слов. Я сам разбил текст по пробелам и получил 965 миллионов слов на 22588 доменах. Все доли ниже посчитаны от этого числа. На один сайт, Радио Свабода, приходится 8,5% всех слов. Дальше идут государственная газета zviazda.by, Википедия, электронная библиотека knihi.com и cloudfront.net. Последний меня удивил. Я открыл несколько его страниц. Большая часть текста там это копии статей Нашай Нівы с теми же номерами, что и на nashaniva.com. На 10 самых больших доменов приходится 28,9% слов, на 100 самых больших 59,5%.
Для сравнения я взял 2 из 6 литовских файлов того же корпуса. В каждом около 1,3 миллиарда слов, на треть больше, чем во всём беларусском. Там на 10 самых больших доменов приходится 13,7% и 12,8%, примерно половину беларусской доли.
В текущем крауле то же самое. Его 364316 беларусских страниц лежат на 6394 доменах. У 10 самых больших из них 33%. На одну Википедию приходится 9,9%. На .by только 39% беларусских страниц, остальные в основном на .org и .com.
Проверка на .by
Потом я зашёл с другой стороны и взял все HTML-страницы в зоне .by из сентябрьского краула. Сначала я попробовал постраничный API индекса. Он отвечал ошибками 504 и 400 и отдавал примерно 1 блок в 3000 записей в минуту, так что я от него отказался. Колоночный индекс Common Crawl отдал все 4843281 страницу на 34107 доменах за несколько секунд. Потом сервер данных начал отвечать мне 403 и я ждал, пока он снова меня пустит.
CLD2 говорит, что беларусских страниц на .by только 2,7%, русских 86,6%. Только у 208 доменов большинство страниц беларусские, это 0,6% всех доменов. W3Techs даёт 0,9% сайтов на .by.
Доверять одному определителю на 2 таких близких языках я не хотел. Поэтому я взял случайные 500 страниц .by с меткой беларусского и 1000 с меткой русского и скачал их. Потом прогнал 2 другие проверки. Первая fastText lid.176, вторая простой счёт букв, которые есть только в беларусском (ў, і), против букв, которые есть только в русском (и, щ, ъ).
На 489 беларусских страницах с достаточным количеством текста fastText согласен в 85,5% случаев, обе проверки сразу в 79,8%. Но больше трети остальных это статьи skarnik.by, беларусско-русского словаря. Такая статья по своему устройству наполовину на одном языке и наполовину на другом. На 985 русских страницах обе проверки вместе не нашли ни одной беларусской. fastText в одиночку отметил 1 страницу. Значит, на этой выборке CLD2 немного завышает беларусский. Поправленная доля на .by от 2,1% до 2,3%. Это до 20% меньше, чем у CLD2, то есть расхождение до 2 раз больше того, что я ждал.
Чего я не проверял
Common Crawl почти не видит каналы в Telegram и совсем не видит того, что закрыто логином. Всё, что там написано по-беларусски, в эти числа не попало.
Я не разделял 2 правописания беларусского, официальное и тарашкевицу. У CLD2 для них одна метка, а в Википедии я сложил их вместе. Беларусский латиницей я не искал вообще. Страницы, которые CLD2 пометил английскими или оставил без метки, я в выборку не брал.
1 к 400 это счёт страниц и слов. Сколько людей читает по-беларусски в интернете, это другой вопрос. Отвечать на него здесь я не пытался.