Каждый раз, когда модель подсказывает мне, какую версию библиотеки поставить, я не задумываясь доверяю одной дате: границе её знаний. Для моделей Claude 5.5 вендор заявляет июнь 2026 и модели повторяют это, если спросить. Я хотел понять, что этот месяц значит на практике. Поэтому спросил 7 моделей Claude про релизы пакетов, даты которых можно проверить. Поколение 5.5 здесь это Opus 5.5, Sonnet 5.5, Haiku 5.5 и Fable 5.1, у всех заявлен июнь 2026.
Часы, которые никто не писал по памяти
Реестры пакетов хорошо работают как часы. npm и PyPI записывают момент публикации каждой версии с точностью до секунды. Я взял 100 популярных пакетов, поровну из обоих реестров. У каждого оставил первый стабильный релиз каждой минорной линии. Из них набрал по 12 релизов на месяц с января 2023 по октябрь 2026, всего 552.
Про каждый релиз модель должна была сказать, знает ли она, что такая версия вышла. Если знает, то в каком месяце. Ответ “не знаю” был разрешён. Ответ считается верным, если месяц отличается от записи реестра не больше чем на 1.
Модель, которая на всё отвечает “да”, на таком тесте выглядела бы очень знающей. Поэтому я подмешал 200 версий, которых не существует: следующую мажорную и следующую минорную после последнего релиза каждого пакета. 4 модели поколения 5.5 признали знакомыми не больше 3 из них на 400 ответов каждая.
До первого вызова я записал правило, по которому считается измеренная граница. Записал и ожидание: разрыв с заявленной датой не меньше 2 месяцев. Ещё я ждал, что про себя модели назовут дату раньше заявленной.
Где кривая идёт вниз
До середины 2025 года модели 5.5 угадывают почти каждый релиз. Потом кривая идёт вниз. У Opus 5.5 это 22 из 24 в январе 2025, 17 в июне, 11 в августе, 3 в декабре и 0 начиная с февраля 2026.
Моё правило берёт последний месяц, где доля верных в скользящем окне на 3 месяца ещё не ниже половины уровня 2024 года. У 4 моделей этот месяц приходится на месяцы с сентября по декабрь 2025 года, то есть от 6 до 9 месяцев раньше июня 2026. С марта 2026 ни одна из них не угадывает ни одного релиза.
Падение постепенное. У Opus 5.5 путь от 90% уровня 2024 года до 10% занимает 9 месяцев, у Sonnet 5.5 занимает 4. Старый Opus 5 заявлен на месяц раньше, чем Opus 5.5, а по замеру выходит октябрь 2025, на месяц позже. Новая модель на этом наборе дальше не знает.
Что модель говорит о себе
Потом я спросил модели напрямую, 6 разными формулировками. Внутри Claude Code модели 5.5 ответили июнь 2026 в 63 ответах из 70.
Через Claude Code шли все вызовы и он добавляет свой системный промпт. Haiku 5.5 процитировала мне этот промпт. Рядом с названием модели там стоит строка “Assistant knowledge cutoff is June 2026.”
Ответы с этой строкой совпадают. Что их вызывает именно она, сказать не могу. Контекст я снял для 1 модели из 7 и условия без этой строки не запускал вообще. Модель, которая знает своё имя, может знать и свою официальную дату.
По ходу прогона я добавил ещё одну формулировку. В ней говорилось, что строку вставил клиент и она может быть неверной. С ней каждый ответ моделей 5.5 попал между январём и сентябрём 2025, раньше собственной кривой модели. Формулировка наводящая, поэтому я читаю это как подсказку, а не как замер.
Я был не первым
До прогона я искал предшественников и нашёл Dated Data 2024 года. Там на открытых моделях показано, что настоящая граница знаний расходится с заявленной. До arXiv мой поиск толком не дошёл: API начал резать запросы после 5 штук.
На рецензии через 2 дня я нашёл то, что пропустил. LLMLagBench (2025) поставил рядом дату вендора, дату от самой модели и измеренную для 35 моделей. HindsightBench (2026) методом чёрного ящика нашёл границы до 8 месяцев раньше даты вендора у 5 из 7 моделей, для которых эта дата опубликована. Значит, сам разрыв известен и в регистрации я заявил больше новизны, чем осталось.
То, что добавляет этот прогон, узко. Модели Claude 5.5 не покрывает ни одна из двух работ. У меня релизы пакетов с датой из реестра, контроль на несуществующих версиях и ответ модели о себе в том виде, в каком его отдаёт Claude Code. LLMLagBench видел, как старые модели Claude называют дату раньше вендорской. Внутри Claude Code модели 5.5 называют дату вендора.
Ограничения есть. Это популярные пакеты, а не знания вообще. Вопросы шли пачками по 20 через подписку, так что настройки сэмплирования я не контролировал.
Про версию пакета начиная с февраля 2026 молчание модели ничего не говорит о том, существует ли версия. Вопрос о границе знаний внутри Claude Code возвращает мне дату вендора.
Полный текст со всеми таблицами лежит на странице статьи. Набор вопросов, обвязка и журнал каждого вызова лежат в репозитории.