20 жніўня ў мяне ў кампазеры LinkedIn ляжаў гатовы пост і перад адпраўкай я памяняў 1 слова. Там стаяла Six node processes, я зрабіў 7 node processes. Днём раней тая ж фраза пайшла ў X, дзе Six было напісана словам. Гэтая праўка цяпер радок у файле, а пад ім рэгулярны выраз. Машына, якая піша для мяне чарнавікі, праганяе яго па кожным англійскім тэксце раней, чым я яго прачытаю. Усяго такіх праверак 19, англійскай тычацца 16. 5 з’явіліся па адной ужо пасля таго дня, кожная з такой самай праўкі. Астатнія 11 ляглі ў першы дзень: частка гэта агульны спіс машынных прыкмет, частка гэта перавагі, якія я тым вечарам назваў уголас.
Пярэчанне, якое я чую пастаянна: нічога з гэтага не трэба. Пакажы мадэлі апублікаванае, дай ёй вывесці голас самой і перастань запісваць правілы. Англійскіх эсэ на сайце да пачатку працы было 11, то бок матэрыял ляжаў на паверхні. Я напалову ў гэта верыў. Звод чытаецца як апісанне таго, як я пішу. Я ні разу не правяраў, ці апісанне гэта.
Абставіны
Прагоны ідуць у пустой папцы за межамі гэтага рэпазіторыя, бо аднойчы я так не зрабіў. Корпус, які я згенераваў знутры рэпазіторыя, падхапіў тутэйшы CLAUDE.md, дзе правілы запісаныя словамі. Тое, што я запісаў як уласцівасць мадэлі, было паслухмянасцю. context-check.mjs з tells-baseline ідзе ад рабочай папкі ўверх да кораня і пералічвае кожны файл, які падгружае CLI. На гэты раз знайшоўся адзін, ~/.claude/settings.json з адзіным ключом theme.
Корпус гэта тыя самыя 11 эсэ без шапкі, фігур і блокаў кода, то бок 12587 слоў прозы на каміце d4650ea. 8 самых старых ідуць мадэлі, 3 самыя свежыя адкладзеныя. Што я прасіў: вось 8 эсэ аднаго аўтара, напішы звод правілаў, паводле якога машына будзе пісаць у яго голасе. Кожны запіс, які можа несці рэгулярны выраз, абавязаны яго несці. 5 прагонаў, адзін промпт, claude-opus-5 праз claude CLI 2.1.235 на node 22.23.1.
Што вярнулася
Кожны прагон вярнуў 18 ці 19 запісаў, усяго 92. Я расклаў іх па кластарах рукамі і кластарызацыю занатаваў, так што з ёй можна спрачацца.
| кластараў | запісаў | |
|---|---|---|
| адна з маіх 16 праверак голасу | 2 | 10 |
| іншая інструкцыя, якую машына сапраўды атрымлівае | 6 | 23 |
| адпаведнасць, якую я б абараняў, але не настойваў бы | 5 | 17 |
| нідзе не запісана | 16 | 42 |
Знайшліся 2: забарона працяжніка і правіла, што лік пішацца лічбамі. Абедзве вярнуліся ва ўсіх 5 прагонах.
Усё, што знойдзена звыш іх, прыйшло з працэдуры, паводле якой я пішу гэтыя пасты, а не са зводу голасу. Такіх 6 і кожная патрабуе нешта пакласці на старонку. Раздзел пад пэўным загалоўкам, радок з версіяй, сказ, які называе перакананне, якое я ні разу не мераў. Яшчэ адзін пра месца, дзе я спатыкнуўся, зачын на канкрэтным выпадку і паметка, калі лік стаіць на адным прагоне.
Тыя 14, якіх там і не было
Усе 16 праверак даюць 0 на ўсіх 12587 словах, дзеля таго гейт і стаіць, а сам па сабе гэта не навіна. Карыснае пытанне ў тым, наколькі вялікая дзірка, якую пакідаюць гэтыя нулі.
У tells-baseline для гэтага ёсць 2 публічныя корпусы. Корпус A гэта 40 інжынерных тэкстаў, апублікаваных да 2020 года, 72573 словы. Я перасабраў яго з крыніц тым самым скрыптам. Усе 40 хэшаў вярнуліся без змен. Корпус B гэта 30 тэкстаў, напісаных claude-opus-5 у пустой папцы, 35907 слоў. Тут цікавейшы другі, бо звод стаіць супраць гэтай мадэлі, а не супраць чалавека.
Для кожнай праверкі я бяру той з 2 корпусаў, дзе яна сустракаецца часцей, каб нішто не выглядала менш прыкметным, чым яно ёсць на самай справе. Пры такіх частатах на мае 8001 паказанае слова мусіла прыпасці 129.5 косак перад and і 75.6 зрослага злучком слова. Яшчэ туды ж мусіла прыпасці 63.3 ліку словамі і 39.7 працяжніка. Гэтыя 4 пакідаюць дзірку, якую відаць. Астатнія 12 даюць 1.3 спрацавання і менш, а 6 не далі ўвогуле нічога на 108480 словах абодвух корпусаў разам.
Перавядзем гэта ў аб’ём: колькі мне трэба апублікаваць, каб чытач мог гэта заўважыць. Парог гэта 3 чаканыя спрацаванні, то бок 5% верагоднасці не ўбачыць ніводнага выпадкова. Працяжніку трэба 605 маіх слоў, косцы перад and трэба 185. Праверцы not-just-x-but-y трэба 18143, праверцы it-s-not-x-it-s-y трэба 217719. Абедзве лічбы ўзятыя па чалавечай частаце, бо мадэль такіх канструкцый не напісала ні разу. У мяне 12587.
Далей тое, што варта было прадбачыць. Усе 4 бачныя праверкі я ў нейкі момант сказаў сам. З 12 нябачных 9 адносяцца да таго самага агульнага спісу першага дня. У ім ракета, канцоўка з прынадай на водгук і delve з суседзямі. Ніводны з корпусаў іх не вырабляе, таму трымацца іх нічога не каштуе і мае эсэ ніколі б іх не паказалі.
Чаму працяжнік, а не коска
Коска перад and гэта самая гучная дзірка з 4 і яна не вярнулася ні разу. Паглядзіце, што мадэль прыдумала замест гэтага. Там праступае мяжа. Яна забараніла клічнік, кропку з коскай, раздзяляльнік тысяч, маркіраваны спіс і скарачэнні накшталт it's. Усё гэта сімвалы ці радкі, якіх у маіх эсэ няма ўвогуле нідзе. У коскі перад and іншая форма. У 8 эсэ стаяць 245 косак і 170 разоў and, але побач яны не апынуліся ні разу. Са злучком тое самае. Іх 102, праверка налічвае 9 зрослых пар і ўсе 9 стаяць унутры адваротных двукоссяў, дзе гэта код. Міма on-stack у прозе эсэ пра JIT яна праходзіць, бо патрабуе 3 літары злева ад злучка. 4 праверкі гэта хісткая падстава для правіла пра правілы, таму я называю гэта прачытаннем, а не вынікам.
Што яна напісала замест гэтага
42 запісы з 92 не адпавядаюць нічому, што гэтай машыне хто-небудзь казаў, а большасць з іх слушныя. Правіла against, not versus вярнулася ва ўсіх 5 прагонах і яно сапраўднае. Я яго за сабой не заўважаў. Правілы пра загалоўкі вярнуліся 6 разоў, забарона клічніка 4, адваротныя двукоссі вакол машынных імёнаў 4. 30 запісаў з 42 ляжаць у кластарах, на якіх сышліся 3 і больш асобных прагонаў. Пад большасцю я б падпісаўся.
Астатняе гэта шум выбаркі. Прагон 4 загадвае пісаць адлегласць як metre і kilometre, а ўзяў ён гэта з аднаго эсэ пра шпацыр з сабакам. 2 прагоны хочуць, каб файл адкрываўся загалоўкам трэцяга ўзроўню і датай у дужках пад ім. Гэта апісанне скрыпта, які склеіў корпус.
З 48 забараняльных запісаў з выразам 10 спрацоўваюць на маіх уласных сказах. Пры чытанні рукамі 7 аказаліся сапраўднымі, а 3 гэта выраз, які кажа не тое, што кажа правіла. Сапраўдныя зводзяцца да 4 сказаў. 2 звяртаюцца да чытача на you, у адным стаіць really, у адным кропка з коскай. Праз гэтую ж кропку з коскай 3 з 5 запісаў пра працяжнік шырэйшыя за маё правіла. Прагоны 3, 4 і 5 прыклейваюць яе да працяжніка.
Цяпер промах, які ледзь не прайшоў. Першае месца ў 4 прагонах з 5 займае забарона скарачэнняў. Першы лік сказаў, што адкладзеныя эсэ парушаюць яго 5 разоў. Усе 5 гэта чужыя словы. 4 гэта цытаты Рыча Хікі, пятае гэта What's in your Toolkit, яго слайд, які я называю без двукоссяў. Па-за двукоссямі лік роўны 1. Гэта назва слайда. Абзац пра гэта ў мяне быў напісаны раней, чым я паглядзеў.
Правіла, якое яна зразумела дакладней за мяне
Правіла пра лічбы гэта адзінае месца, дзе мадэль абыграла файл. Я сказаў яго 20 жніўня 4 словамі. Праверка, напісаная з гэтай фразы, паклала hundred, thousand, million і billion у адзін спіс з малымі лікамі. На маім жа апублікаваным корпусе такая форма спрацоўвае 25 разоў, на million rows, million keys і billion commits. Выпраўленая форма дае 0. Старая прастаяла 12 дзён і сышла 1 верасня, калі прыёмку адкалібравалі па артыкулах, якія ўжо выйшлі. Прагон 4 упісаў гэтае выключэнне ў сваю версію правіла сам. Прагоны 2 і 3 вывелі выключэнне для one.
Вывад дакладны адносна тых 8 эсэ, якія мадэль прачытала, калі не лічыць тыя 7 запісаў. На адным правіле ён аказаўся дакладнейшым за маю фразу. Да чаго ён не дацягваецца, дык гэта да рашэння, бо рашэнне пра тэкст, які я яшчэ не напісаў. Праверка hyphen-compound з’явілася 28 жніўня, пасля таго як дэтэктар ацаніў мой каментар як машынны на 100%. Розніцу далі 3 словы, зрослыя злучком. Кожная з 5 праверак, дададзеных пасля 14 жніўня, вырасла з тэксту, які пайшоў не так. А 19 жніўня ў маім апублікаваным тэксце ўсё яшчэ стаяла Six node processes.
Чаго я не правяраў
Адна мадэль, адзін промпт, 5 прагонаў, 8 эсэ. Просьба даць выраз магла штурхнуць адказы да таго, што ў выраз змяшчаецца. Я не спрабаваў паказаць 3 эсэ ці 30, таму крывой у мяне няма. Я не спрабаваў сказаць мадэлі, якога роду правілы шукаць. Гэта падняло б лік і заадно азначала б, што звод зноў пішу я. Нішто тут не аддзяляе правіла, вычытанае з майго тэксту, ад правіла, вядомага мадэлі як фальклор. Для гэтага патрэбны прагон, дзе імёны з фальклору схаваныя. 3 адкладзеныя эсэ слабая праверка: 4586 слоў не абвергнуць правіла, якое спрацоўвае раз на 20000. Мадэль, у якой папрасілі пост у іншым рэгістры, дала б не тыя частаты, што корпус B.