Закон Бэнфарда гэта праверка на махлярства, пра якую чуў кожны, хто працуе побач з фінансавым софтам. У сапраўдных ліках першая лічба роўная 1 прыкладна ў 30% выпадкаў, а 9 менш чым у 5%. Людзі, якія выдумляюць лікі, гэтага не паўтараюць, таму гістаграма нібыта сама паказвае на ілгуна.
У 2013 годзе я прагнаў яго па гісторыі git рэпазіторыя express, дзе падрабляць нешта няма навошта. З 4 слупкоў не прайшлі 3. Я растлумачыў гэта данымі: гэтыя слупкі ахопліваюць занадта мала парадкаў велічыні. Сумы ў доларах у гадавой справаздачы ахопліваюць шмат, значыць там праверка павінна быць на сваім полі. Яшчэ я тады заўважыў, што MAD ніколі не пытаецца, з колькіх радкоў ён атрыманы. І пакінуў адкрытым пытанне, колькі трэба выдумаць, каб праверка гэта заўважыла. Ні да таго, ні да другога я так і не вярнуўся.
Таму я ўзяў усе гадавыя справаздачы, пададзеныя ў SEC у 2025 годзе, і прагнаў іх.
Як лічыў
SEC публікуе лікі XBRL з усіх пададзеных справаздач квартальнымі архівамі, гэта Financial Statement Data Sets. 8 кастрычніка 2026 года я ўзяў усе 10-K, пададзеныя ў 2025 годзе, без паправак: 5530 справаздач. З кожнай пакінуў значэнні ў долярах ЗША, без разбіўкі па сегментах, не менш за 10 па модулі і без дакладных паўтораў аднаго тэга за той жа перыяд. Справаздачы, дзе такіх лікаў менш за 50, адкінуў, засталося 5399.
Мера ўзятая з кнігі Марка Нігрыні: сярэдняе абсалютнае адхіленне (MAD) 9 доляў першых лічбаў ад Бэнфарда. Ягоныя парогі для першай лічбы 0,006, 0,012 і 0,015. Вышэй за 0,015 набор лікаў “не адпавядае”. Лічыў на Python 3.12 з numpy 2.5.
Ідэя не новая. Клаўс Хензельман з суаўтарамі праганялі закон па справаздачах S&P 500 у XBRL за 2010 год. У 2015 годзе Дэн Амірам з суаўтарамі выявілі, што іх мера па першых лічбах вышэйшая перад прымусовымі мерамі SEC. У 2022 годзе Стывен Уокер адказаў, што скажэнні справаздачнасці яна прадказвае горш, чым F-score або проста рост выручкі. Мне хацелася ўбачыць гэта на свежых даных.
1 мільён лікаў і 5399 справаздач
Усе 1 116 430 лікаў разам выглядаюць амаль як у падручніку. З адзінкі пачынаюцца 30,35% з іх, паводле Бэнфарда 30,10%. MAD усёй кучы 0,00074.
Калі ацэньваць справаздачы паасобку, яны размеркаваліся так: 2 “блізкая адпаведнасць”, 289 “прымальна”, 580 “на мяжы” і 4528 “не адпавядае”. Гэта 83,9% з 5399 справаздач.
Спачатку я падумаў, што рынак поўны выдумак. Гэта заведама не так. Другая, што ў медыяннай справаздачы ўсяго 210 лікаў. Калі выцягнуць 210 лічбаў з ідэальнай крыніцы Бэнфарда, долі будуць хістацца, а MAD мерае якраз гэтае хістанне. Я гэта змадэляваў, па 4000 выбарак на кожны памер справаздачы.
У ідэальнай крыніцы пры 210 ліках медыянны MAD 0,0158, ужо вышэй за рысу. Ніжэй за 0,015 ён апускаецца толькі прыкладна пры 240 ліках. Калі б кожную справаздачу згенераваў сумленны генератар, правіла Нігрыні ўсё роўна назвала б неадпаведнымі 60,3% з іх. Большая частка з 83,9% бярэцца з памеру справаздачы.
Да падліку я запісаў, што мяне абвергне. Калі маленькія справаздачы бракуюцца менш чым удвая часцей за вялікія, то справа не ў памеры. Іх бракуюць у 97,5% выпадкаў супраць 68,0%, гэта ў 1,43 раза, так што паводле майго ж правіла гэтая частка правалілася. Правіла было запісана дрэнна: доля каля 100% падвоіцца не можа, а ў сумленнай крыніцы той жа спуск з 88,9% да 32,8%. Але я запісаў яго да ліку. Лік яго не прайшоў.
Папраўка на памер
Слушнае пытанне ў тым, наколькі незвычайны MAD для свайго памеру. Для кожнай справаздачы я ўзяў працэнтыль яе MAD сярод змадэляваных сумленных выбарак таго ж памеру. Вышэй за 99-ы працэнтыль павінен апынуцца 1% справаздач. Апынулася 15,9%.
Я выказаў здагадку, што справаздача паўтарае сама сябе: адна і тая ж сума пад некалькімі тэгамі або нязменнае сальда за 2 гады. Калі я палічыў кожнае рознае значэнне адзін раз, доля ўпала да 8,2%, па 5250 справаздачах, дзе розных значэнняў хапіла. Астатняе ўсё роўна у 8 разоў больш, чым дае выпадковасць. Што гэта, я сказаць не магу. Выніковыя радкі гэта сумы радкоў над імі, таму справаздача не набор незалежных выбарак, але глыбей я не капаў.
Ці паказвае гэта на праблему
Праверка карысная, толькі калі адзначаныя справаздачы горшыя. Мне быў патрэбны зыход, які можна палічыць. Першай ідэяй было поле prevrpt, “на гэтую справаздачу пазней падалі папраўку”. Ва ўсіх 5530 радках яно роўнае 0, гэта значыць у гэтых архівах яго пасля падачы ніхто не запаўняе.
Першы зыход, які спрацаваў: наступны 10-K, пададзены ў 2026 годзе, паўтарае чысты прыбытак і ўласны капітал за мінулы год. Калі любы з двух лікаў зрушыўся больш чым на 1%, нешта змянілася. Для 4473 справаздач у мяне былі абедзве справаздачы, старая і новая. У 153 з іх стары лік зрушыўся. Плошча пад ROC-крывой (AUC) у сырога MAD выйшла 0,53, з 95-працэнтным даверным інтэрвалам па бутстрэпе ад 0,49 да 0,58. З папраўкай на памер 0,50, манетка. Адзін толькі памер справаздачы даў 0,58: у справаздач з меншай колькасцю значэнняў старыя лікі змяняліся часцей і MAD у іх таксама вышэйшы.
Гэты зыход брудны, у ім выпраўленні памылак змяшаныя з адваротнымі зліццямі. Таму, убачыўшы яго, я дадаў другі, выбраны пасля першага выніку, а не да яго. З 2023 года на вокладцы 10-K у кампаній з лістынгам ёсць сцяжок: справаздачнасць адлюстроўвае выпраўленне памылкі ў раней апублікаванай справаздачнасці. Я спампаваў вокладку наступнага 10-K для 4576 справаздач. Сцяжок ёсць у 4520, адзначаны ў 127.
Сярод справаздач, якія правіла Нігрыні называе неадпаведнымі, 2,64% потым выправілі памылку. Сярод астатніх 3,63%. Сама гэтая розніца можа быць выпадковай, але AUC сырога MAD 0,41 з інтэрвалам ад 0,37 да 0,46, гэта значыць сырая праверка паказвае ў адваротны бок. У кампаній, якія ставяць сцяжок, справаздачы большыя, медыяна 240 лікаў супраць 212. Вялікія справаздачы бракуюцца радзей. Думаю, у гэтым уся справа, але рэгрэсію, каб гэта даказаць, я не запускаў. З папраўкай на памер AUC 0,47, а інтэрвал ад 0,42 да 0,53 уключае 0,5, гэта значыць манетку.
Колькі трэба выдумаць
Апошняя праверка ішла з іншага боку. Я ўзяў сапраўдныя справаздачы і замяніў частку іх лікаў выдуманымі. У выдуманых кожная першая лічба ад 1 да 9 роўнаверагодная. Праверка адзначае верхнія 5% па ацэнцы з папраўкай на памер. З першай спробы парог выйшаў роўным 1,0, так што не злавілася ніводная справаздача. Працэнтыль упіраецца ў столь, калі справаздача выходзіць за ўсе 4000 мадэляванняў. Я ледзь не запісаў гэта як вынік. З z-ацэнкай замест працэнтыля праверка злавіла замену 30% лікаў у 5,3% справаздач, столькі ж, колькі без выдумкі наогул. Палова выдуманых лікаў дала 21,8%. Каб злавіць 60,3% справаздач, выдумаць трэба 70% лікаў.
Раўнамерныя лічбы гэта грубая мадэль ілгуна. Я мяркую, што сапраўднае скажэнне закранае некалькі радкоў, напрыклад выручку або адзін рэзерв. Некалькі лікаў сярод 210 губляюцца яшчэ лягчэй.
Чаго я не правяраў
Я не зверыўся з публікацыямі SEC пра прымусовыя меры (AAER), а якраз на гэтым зыходзе Амірам з суаўтарамі знайшлі свой сігнал. Я ўзяў адзін год без усялякіх кантрольных зменных, так што іх артыкул гэта не абвяргае. Другую і апошнюю лічбы я не аналізаваў. Кампаній я не называю: сігнал па Бэнфардзе не абвінавачанне. Пасля гэтага прагону я не ўпэўнены, што ён нават намёк.
У маіх даных першыя лічбы падымаюць трывогу ў асноўным у маленькіх справаздачах. Куча ўсіх справаздач разам па-ранейшаму супадае з законам з дакладнасцю да 0,00074. Як праверку асобнай гадавой справаздачы я не буду выкарыстоўваць яго без папраўкі на памер. І нават з ёй у мяне няма нічога, што паказвала б, што ён знаходзіць памылкі.