Дмитрий Семенкевич.

Год назад я вычистил из шаблонов промптов все please и thank you из-за шутки Сэма Альтмана про электричество. Сколько сэкономил, так и не проверил. Через 20171 вызов вежливая обёртка стоит 24 доллара на миллион запросов у sonnet и двигает ответ не сильнее, чем контрольная обёртка без единого социального слова. Двигает другая: указание про длину ответа уводит haiku на GSM8K с 88.5 процента до 56.0.

Бамп версии внутри одного семейства моделей выглядел как патч, поэтому я померил, что он делает с поиском. Из первой десятки меняется 2.19 места, а nDCG@10 шевелится в третьем знаке. Фиксированное отсечение по косинусу 0.8 пропускало 97.5% результатов и стало пропускать 1.8%, а индекс на середине миграции отдаёт 0 релевантных документов для половины коллекции.

Ревью кода у меня идёт в 3 стадии и размер ни одной из них я не выбирал по замеру. После 191 вызова модели стадия, которую я защищал бы яростнее всего, ни разу не разошлась сама с собой. Неправым раз за разом оказывался мой собственный измерительный аппарат: 2 строки комментария в контрольном файле опустили 62 находки до 0.