Бамп версии внутри одного семейства моделей выглядел как патч, поэтому я померил, что он делает с поиском. Из первой десятки меняется 2.19 места, а nDCG@10 шевелится в третьем знаке. Фиксированное отсечение по косинусу 0.8 пропускало 97.5% результатов и стало пропускать 1.8%, а индекс на середине миграции отдаёт 0 релевантных документов для половины коллекции.
Беларусский это 0,017% Common Crawl: на каждую беларусскую страницу приходится 399 русских и открытые корпуса с этим согласны. Только Википедия делает из этого 1 к 6. Больше четверти всего беларусского текста в вебе лежит на 10 доменах, а на .by беларусских страниц около 2%.
График из Lost in the Middle был у меня в голове, но на модели, которой я пользуюсь каждый день, я его ни разу не проверял. На поиске значения по ключу haiku 4.5 нашла ключ 243 раза из 245 на 11 глубинах в промптах до 96 тысяч токенов, без провала в середине. Деградация нашлась в другом месте: на вопрос про ключ, которого в объекте нет, после 2000 пар она начала возвращать значения вместо NOT FOUND, а на 6000 парах вернула значение 12 раз из 20.
Я взял открытые датасеты нажатий, на которых стоит заголовок про 95%, и простую логистическую регрессию. Она назвала клавишу в 92–99 случаях из 100, но та же модель, обученная на тишине между нажатиями, всё равно называла её до 39 раз из 100. Каждая клавиша в этих наборах лежит своим файлом. На паролях, где файл не помогает, вышло 77 из 100. Другая запись того же MacBook опустила результат до 5 или 6%.
Год назад я вычистил из шаблонов промптов все please и thank you из-за шутки Сэма Альтмана про электричество. Сколько сэкономил, так и не проверил. Через 20171 вызов вежливая обёртка стоит 24 доллара на миллион запросов у sonnet и двигает ответ не сильнее, чем контрольная обёртка без единого социального слова. Двигает другая: указание про длину ответа уводит haiku на GSM8K с 88.5 процента до 56.0.
Мне хотелось сделать анимацию Большого Ковша от 100 000 лет назад до 100 000 лет вперёд и я ждал 7 звёзд, разлетающихся в 7 сторон. Дубхе в Gaia DR3 нет вообще, поэтому данные взяты из Hipparcos 2007 с лучевыми скоростями из SIMBAD, звёзды летят по прямым в 3D. Подгонка по 5 средним звёздам оставляет их в пределах 0,17 градуса через 100 000 лет, а Дубхе уходит на 6,9, Бенетнаш на 7,3. Весь распад сводится к 2 крайним звёздам.
Я взял 130 записей телефона и диктофона из открытого уханьского набора и простой поиск: найти гул сети, проследить его посекундно, протащить кривую по суткам. На 50 Гц он нашёл 4 из 130, на 100 Гц тот же поиск нашёл 116, а с гармоникой, выбранной без подглядывания в ответ, 113. 2 из них стоят в часе, который в одном эталонном файле повторяется 7 раз, поэтому проверить можно только 111 из 128. Потом те же ошибки пошли в месяц британской сети.
Ревью кода у меня идёт в 3 стадии и размер ни одной из них я не выбирал по замеру. После 191 вызова модели стадия, которую я защищал бы яростнее всего, ни разу не разошлась сама с собой. Неправым раз за разом оказывался мой собственный измерительный аппарат: 2 строки комментария в контрольном файле опустили 62 находки до 0.
В README своего замера предпросмотра я написал, что харнесс не различит 2 стратегии в пределах двукратной разницы. Я дал ему активное ожидание известного размера на PostgreSQL 16.14 и OpenJDK 21: 10 JVM на задержку, по 300 пар. Парно внутри одной JVM он увидел 25 мкс на 800 (3%) в 10 JVM из 10, хотя медианы JVM расходились на треть. Сравнение 2 отдельных прогонов верно определило знак задержки 100 мкс в 68 случаях из 90, а порядок блоками из первой версии назвал блок, медленнее на 50 мкс, более быстрым в 7 JVM из 10.
Состояние этой машины лежит в файлах markdown, и я объясняю это фразой про скорость, которую ни разу не мерил. Я собрал индекс SQLite, про который говорил, что он ничего не даст, и замерил на 1x, 10x и 100x. Он выигрывает везде, а потом выяснилось, что я мерил fsync.
Каждый черновик здесь проходит 19 механических проверок, а потом критика-модель с оценкой от 0 до 10. Я повторяю, что механика решает то, у чего есть однозначный ответ, а суждение остаётся критику. Числом я это ни разу не проверял. На 16 настоящих черновиках механика сработала на всех 16, а 13 легли на проходной оценке или ниже. Подсади 8 нарушений моего правила про запятую: критик всё равно скажет 2.7.
В мае 2013 года я завёл репозиторий, чтобы перевести доклад Рича Хикки на русский. Он до сих пор на 0%. На той же неделе я закоммитил синхронизированные коллекции в java-сервер. Я собрал ту форму заново и померил: частоту падений коммит не сдвинул вообще. Потом прогнал список из Simple Made Easy по своему коду. В 2013 году ни одна из 102 локальных переменных не была final, сейчас в живом коде 91.6% это const. Я не выбирал ни того ни другого.