Кожны артыкул у гэтым блогу выходзіць на 3 мовах і адна з іх беларуская. Я ведаў, што беларускай у інтэрнэце мала, але ліку ў мяне не было, толькі адчуванне. Адзінае, што я мог назваць, гэта Вікіпедыя. На 8 кастрычніка 2026 года ў беларускай у 2 рэдакцыях 358692 артыкулы, у рускай 2121411. Адзін да шасці. Гучыць не так ужо і дрэнна.
Першы сапраўдны лік я атрымаў з Common Crawl. Ён быў 1 да 400. Пасля гэтага я запісаў, чаго чакаю ад усяго астатняга, яшчэ да падліку: Вікіпедыя каля 1 да 6, адкрытыя корпусы тэкстаў блізка да Common Crawl, на дамене .by менш за 10% беларускай і 2 розныя вызначальнікі мовы, якія сыходзяцца там у межах 10%. Апошняя здагадка не спраўдзілася.
Дзе я лічыў
Common Crawl гэта адкрытая копія вэбу, з якой пачынаюць многія моўныя мадэлі і адкрытыя корпусы тэкстаў. З жніўня 2018 года ён пазначае кожную HTML старонку яе асноўнай мовай з дапамогай CLD2 і публікуе вынікі. Я ўзяў іх па ўсіх 77 краўлах па верасень 2026 года. Яшчэ я ўзяў памеры 3 вялікіх ачышчаных корпусаў з іх картак, такімі, якімі яны былі на 8 кастрычніка 2026 года. FineWeb-2 і MADLAD-400 сабраныя з Common Crawl, HPLT 2.0 у асноўным з Internet Archive.
У апошнім краўле, CC-MAIN-2026-39, 2171285702 старонкі. З іх 364316 беларускіх. Гэта 0,017%. W3Techs, які лічыць сайты, а не старонкі, піша, што беларускую выкарыстоўваюць менш за 0,1% усіх сайтаў, так што гэтая частка не навіна. На кожную беларускую старонку ў краўле прыпадае 399 рускіх і 2495 англійскіх. У корпусах рускай больш за беларускую ад 333 да 505 разоў. Гэта залежыць ад корпуса і ад таго, лічыць дакументы ці словы.
Так што Вікіпедыя выключэнне, прычым моцнае. Разрыў там 5,9 раза па артыкулах і 13,5 раза па памеры дампа артыкулаў. 2 беларускія Вікіпедыі разам нават большыя за літоўскую, 358692 артыкулы супраць 226895. У Common Crawl літоўскіх старонак у 10 разоў больш, чым беларускіх. У той жа дзень у 2 беларускіх рэдакцыях было 584 зарэгістраваныя ўдзельнікі, актыўныя за апошнія 30 дзён, у рускай 16120.
Маё адчуванне вырасла з адзінага месца, дзе мова выглядае амаль нармальна. Я ні разу не звярыў яго ні з чым іншым, хоць астатнія лікі заўсёды былі адкрытыя.
Суадносіны за 8 гадоў
Я браў медыяну краўлаў кожнага года. Рускіх старонак на 1 беларускую было 713 у 2018 годзе, потым каля 400. З 2019 года гэты лік трымаецца паміж 359 і 412. Асобныя краўлы скачуць значна мацней, таму я веру толькі медыянам. Літоўская ўсе 8 гадоў трымалася паміж 9,6 і 10,8. Украінская апусцілася з 30 у 2018 годзе да значэнняў ад 19 да 26 з 2019 па 2023 год. Потым яна вырасла да 49 у гэтым годзе.
З гэтых даных я не магу сказаць, ці вырас украінскі вэб, ці краўлер стаў часцей туды хадзіць. Common Crawl сам вырашае, што спампоўваць, і гэта мяняецца ад краўла да краўла. Беларуская ў любым выпадку следам не пайшла, яе медыянная доля была 0,0128% у 2018 годзе і ад 0,015% да 0,019% у кожным годзе пасля.
Дзе жыве беларускі тэкст
У FineWeb-2 паводле яго ўласнага падліку 1,17 мільярда беларускіх слоў. Я разбіў тэкст па прабелах і атрымаў 965 мільёнаў слоў на 22588 даменах. Усе долі ніжэй лічацца ад гэтага падліку. Адзін сайт, Радыё Свабода, трымае 8,5% усяго. Далей ідуць сайт дзяржаўнай газеты zviazda.by, Вікіпедыя, кніжная бібліятэка knihi.com і cloudfront.net. Апошні мяне здзівіў. Я адкрыў некалькі яго старонак. Большая частка тэксту там гэта копіі артыкулаў Нашай Нівы з тымі ж нумарамі артыкулаў, што і на nashaniva.com. 10 самых вялікіх даменаў трымаюць 28,9% слоў, 100 самых вялікіх 59,5%.
Для параўнання я ўзяў 2 з 6 літоўскіх файлаў таго ж корпуса. У кожным каля 1,3 мільярда слоў, на трэць больш, чым ва ўсёй беларускай. Там 10 самых вялікіх даменаў трымаюць 13,7% і 12,8%, прыкладна палову беларускай долі.
У бягучым краўле карціна тая самая. Яго 364316 беларускіх старонак ляжаць на 6394 даменах. У 10 самых вялікіх з іх 33%. Адна Вікіпедыя гэта 9,9%. На .by толькі 39% беларускіх старонак, астатнія ў асноўным на .org і .com.
Праверка на .by
З другога боку я ўзяў усе HTML старонкі на .by з верасеньскага краўла. Спачатку я паспрабаваў пастаронкавы API індэкса. Ён адказваў 504 і 400 і аддаваў прыкладна 1 блок у 3000 запісаў за хвіліну, так што я ад яго адмовіўся. Калонкавы індэкс Common Crawl аддаў усе 4843281 старонку на 34107 даменах за некалькі секунд. Потым сервер даных пачаў адказваць мне 403 і я чакаў, пакуль ён зноў мяне пусціць.
CLD2 кажа, што беларускіх старонак на .by толькі 2,7%, рускіх 86,6%. Толькі ў 208 даменаў большасць старонак беларускія, гэта 0,6% ад усіх. W3Techs дае 0,9% сайтаў на .by.
Давяраць аднаму вызначальніку, калі 2 мовы такія блізкія, я не хацеў. Таму я выпадкова выбраў 500 старонак .by з меткай беларускай мовы і 1000 з меткай рускай і спампаваў іх. Потым прагнаў 2 іншыя праверкі. Першая fastText lid.176, другая просты падлік літар, якія ёсць толькі ў беларускай (ў, і), супраць літар, якія ёсць толькі ў рускай (и, щ, ъ).
На 489 беларускіх старонках з дастатковай колькасцю тэксту fastText згодны ў 85,5% выпадкаў, абедзве праверкі адначасова ў 79,8%. Але больш за трэць астатніх гэта артыкулы skarnik.by, беларуска-рускага слоўніка. Такі артыкул паводле свайго ўладкавання напалову на адной мове і напалову на другой. На 985 рускіх старонках абедзве праверкі разам не знайшлі ніводнай беларускай. Сам fastText пазначыў 1 такую старонку. Значыць, на гэтай выбарцы CLD2 лічыць беларускую крыху зашчодра. Папраўленая доля на .by ад 2,1% да 2,3%. Гэта да 20% менш, чым у CLD2, то бок разыходжанне да 2 разоў большае за тое, якога я чакаў.
Чаго я не правяраў
Common Crawl амаль не бачыць каналаў Telegram і зусім не бачыць таго, што за лагінам. Усё, што напісана па-беларуску там, у гэтыя лікі не трапіла.
Я не раздзяляў 2 правапісы беларускай, афіцыйны і тарашкевіцу. У CLD2 для іх адна метка, а ў Вікіпедыі я склаў іх разам. Беларускую лацінкай я не шукаў зусім. Старонкі, якія CLD2 пазначыў англійскімі або пакінуў без меткі, я ў выбарку не браў.
1 да 400 гэта падлік старонак і слоў. Колькі людзей чытае па-беларуску ў інтэрнэце, гэта іншае пытанне. Тут я і не спрабаваў на яго адказаць.