Бамп версіі ўнутры аднаго сямейства мадэляў выглядаў як патч, таму я памераў, што ён робіць з пошукам. З першай дзясяткі мяняецца 2.19 месца, а nDCG@10 рухаецца ў трэцім знаку. Фіксаванае адсячэнне па косінусе 0.8 прапускала 97.5% результатаў і стала прапускаць 1.8%, а індэкс на сярэдзіне міграцыі аддае 0 рэлевантных дакументаў для паловы калекцыі.
Беларуская гэта 0,017% Common Crawl: на кожную беларускую старонку прыпадае 399 рускіх і адкрытыя корпусы з гэтым згодныя. Толькі Вікіпедыя робіць з гэтага 1 да 6. Больш за чвэрць усяго беларускага тэксту ў вэбе ляжыць на 10 даменах, а на .by беларускіх старонак каля 2%.
Графік з Lost in the Middle быў у мяне ў галаве, але на мадэлі, якой я карыстаюся кожны дзень, я яго ні разу не правяраў. На пошуку значэння па ключы haiku 4.5 знайшла ключ 243 разы з 245 на 11 глыбінях у промптах да 96 тысяч токенаў, без правалу ў сярэдзіне. Дэградацыя знайшлася ў іншым месцы: на пытанне пра ключ, якога ў аб'екце няма, пасля 2000 пар яна пачала вяртаць значэнні замест NOT FOUND, а на 6000 парах вярнула значэнне 12 разоў з 20.
Я ўзяў адкрытыя датасэты націскаў, на якіх стаіць загаловак пра 95%, і простую лагістычную рэгрэсію. Яна назвала клавішу ў 92–99 выпадках са 100, але тая ж мадэль, навучаная на цішыні паміж націскамі, усё роўна называла яе да 39 разоў са 100. Кожная клавіша ў гэтых наборах ляжыць сваім файлам. На паролях, дзе файл не дапамагае, выйшла 77 са 100. Іншы запіс таго ж MacBook апусціў вынік да 5 або 6%.
Год таму я вычысціў з шаблонаў промптаў усе please і thank you праз жарт Сэма Альтмана пра электрычнасць. Колькі зэканоміў, так і не праверыў. Праз 20171 выклік ветлівая абгортка каштуе 24 даляры на мільён запытаў у sonnet і рухае адказ не мацней, чым кантрольная абгортка без ніводнага сацыяльнага слова. Рухае іншая: указанне пра даўжыню адказу зводзіць haiku на GSM8K з 88.5 працэнта да 56.0.
Я хацеў зрабіць анімацыю Вялікага Коўша ад 100 000 гадоў таму да 100 000 гадоў наперад і чакаў 7 зорак, што разлятаюцца ў 7 бакоў. Дубхе ў Gaia DR3 няма ўвогуле, таму ўзяты Hipparcos 2007 і прамянёвыя скорасці з SIMBAD, рух па прамых у 3D. Падгонка па 5 сярэдніх зорках пакідае іх у межах 0,17 градуса праз 100 000 гадоў, а Дубхе адыходзіць на 6,9, Бенетнаш на 7,3. Увесь распад зводзіцца да 2 крайніх зорак.
Я ўзяў 130 запісаў тэлефона і дыктафона з адкрытага ўханьскага набору і просты пошук: знайсці гул сеткі, прасачыць яго пасекундна, працягнуць крывую па сутках. На 50 Гц ён знайшоў 4 са 130, на 100 Гц той жа пошук знайшоў 116, а з гармонікай, выбранай без падглядвання ў адказ, 113. 2 з іх стаяць у гадзіне, якая ў адным эталонным файле паўтараецца 7 разоў, таму праверыць можна толькі 111 з 128. Потым тыя ж памылкі пайшлі ў месяц брытанскай сеткі.
Рэўю кода ў мяне ідзе ў 3 стадыі і памер ніводнай з іх я не выбіраў паводле замеру. Пасля 191 выкліку мадэлі стадыя, якую я бараніў бы найзацяцей, ні разу не разышлася сама з сабой. Няправым раз за разам аказваўся мой уласны вымяральны апарат: 2 радкі каментара ў кантрольным файле апусцілі 62 знаходкі да 0.
У README свайго замеру папярэдняга прагляду я напісаў, што харнэс не адрозніць 2 стратэгіі ў межах двухразовай розніцы. Я даў яму актыўнае чаканне вядомага памеру на PostgreSQL 16.14 і OpenJDK 21: 10 JVM на затрымку, па 300 пар. Парна ўнутры адной JVM ён убачыў 25 мкс на 800 (3%) у 10 JVM з 10, хоць медыяны JVM разыходзіліся на трэць. Параўнанне 2 асобных прагонаў дало правільны знак затрымкі 100 мкс у 68 выпадках з 90, а парадак блокамі з першай версіі назваў блок, павольнейшы на 50 мкс, хутчэйшым у 7 JVM з 10.
Стан гэтай машыны ляжыць у файлах markdown, і я тлумачу гэта фразай пра хуткасць, якую ні разу не мерыў. Я сабраў індэкс SQLite, пра які казаў, што ён нічога не дасць, і замерыў на 1x, 10x і 100x. Ён выйграе ўсюды, а потым высветлілася, што я мерыў fsync.
Кожны чарнавік тут праходзіць 19 механічных праверак, а потым крытыка-мадэль з адзнакай ад 0 да 10. Я паўтараю, што механіка вырашае тое, у чаго ёсць адназначны адказ, а меркаванне застаецца крытыку. Лікам я гэта ні разу не правяраў. На 16 сапраўдных чарнавіках механіка спрацавала на ўсіх 16, а 13 леглі на праходнай адзнацы або ніжэй. Падсадзі 8 парушэнняў майго правіла пра коску: крытык усё роўна скажа 2.7.
У маі 2013 года я завёў рэпазіторый, каб перакласці даклад Рыча Хікі на рускую. Ён дагэтуль на 0%. На тым жа тыдні я закаміціў сінхранізаваныя калекцыі ў java-сервер. Я сабраў тую форму нанова і памераў: частату падзенняў каміт не зрушыў увогуле. Потым прагнаў спіс з Simple Made Easy па сваім кодзе. У 2013 годзе ніводная з 102 лакальных зменных не была final, цяпер у жывым кодзе 91.6% гэта const. Я не выбіраў ні таго ні другога.