Кожны раз, калі мадэль падказвае мне, якую версію бібліятэкі паставіць, я не задумваючыся давяраю адной даце: мяжы яе ведаў. Для мадэляў Claude 5.5 вендар заяўляе чэрвень 2026 і мадэлі паўтараюць гэта, калі спытаць. Я хацеў зразумець, што гэты месяц значыць на практыцы. Таму спытаў 7 мадэляў Claude пра рэлізы пакетаў, даты якіх можна праверыць. Пакаленне 5.5 тут гэта Opus 5.5, Sonnet 5.5, Haiku 5.5 і Fable 5.1, ва ўсіх заяўлены чэрвень 2026.
Гадзіннік, які ніхто не пісаў па памяці
Рэестры пакетаў добра працуюць як гадзіннік. npm і PyPI запісваюць момант публікацыі кожнай версіі з дакладнасцю да секунды. Я ўзяў 100 папулярных пакетаў, пароўну з абодвух рэестраў. У кожнага пакінуў першы стабільны рэліз кожнай мінорнай лініі. З іх набраў па 12 рэлізаў на месяц са студзеня 2023 па кастрычнік 2026, усяго 552.
Пра кожны рэліз мадэль павінна была сказаць, ці ведае яна, што такая версія выйшла. Калі ведае, то ў якім месяцы. Адказ “не ведаю” быў дазволены. Адказ лічыцца правільным, калі месяц адрозніваецца ад запісу рэестра не больш чым на 1.
Мадэль, якая на ўсё адказвае “так”, на такім тэсце выглядала б вельмі дасведчанай. Таму я дамяшаў 200 версій, якіх не існуе: наступную мажорную і наступную мінорную пасля апошняга рэлізу кожнага пакета. 4 мадэлі пакалення 5.5 прызналі знаёмымі не больш за 3 з іх на 400 адказаў кожная.
Да першага выкліку я запісаў правіла, па якім лічыцца вымераная мяжа. Запісаў і чаканне: разрыў з заяўленай датай не менш за 2 месяцы. Яшчэ я чакаў, што пра сябе мадэлі назавуць дату раней за заяўленую.
Дзе крывая ідзе ўніз
Да сярэдзіны 2025 года мадэлі 5.5 адгадваюць амаль кожны рэліз. Потым крывая ідзе ўніз. У Opus 5.5 гэта 22 з 24 у студзені 2025, 17 у чэрвені, 11 у жніўні, 3 у снежні і 0 пачынаючы з лютага 2026.
Маё правіла бярэ апошні месяц, дзе доля правільных у слізгальным акне на 3 месяцы яшчэ не ніжэй за палову ўзроўню 2024 года. У 4 мадэляў гэты месяц прыпадае на месяцы з верасня па снежань 2025 года, гэта значыць ад 6 да 9 месяцаў раней за чэрвень 2026. З сакавіка 2026 ніводная з іх не адгадвае ніводнага рэлізу.
Падзенне паступовае. У Opus 5.5 шлях ад 90% узроўню 2024 года да 10% займае 9 месяцаў, у Sonnet 5.5 займае 4. Стары Opus 5 заяўлены на месяц раней, чым Opus 5.5, а па замеры выходзіць кастрычнік 2025, на месяц пазней. Новая мадэль на гэтым наборы далей не ведае.
Што мадэль кажа пра сябе
Потым я спытаў мадэлі наўпрост, 6 рознымі фармулёўкамі. Унутры Claude Code мадэлі 5.5 адказалі чэрвень 2026 у 63 адказах з 70.
Праз Claude Code ішлі ўсе выклікі і ён дадае свой сістэмны промпт. Haiku 5.5 працытавала мне гэты промпт. Побач з назвай мадэлі там стаіць радок “Assistant knowledge cutoff is June 2026.”
Адказы з гэтым радком супадаюць. Што іх выклікае менавіта ён, сказаць не магу. Кантэкст я зняў для 1 мадэлі з 7 і ўмовы без гэтага радка не запускаў наогул. Мадэль, якая ведае сваё імя, можа ведаць і сваю афіцыйную дату.
Па ходзе прагону я дадаў яшчэ адну фармулёўку. У ёй гаварылася, што радок уставіў кліент і ён можа быць няправільным. З ёй кожны адказ мадэляў 5.5 трапіў паміж студзенем і вераснем 2025, раней за ўласную крывую мадэлі. Фармулёўка сама падштурхоўвае да ранейшай даты, таму я чытаю гэта як падказку, а не як замер.
Я быў не першым
Да прагону я шукаў папярэднікаў і знайшоў Dated Data 2024 года. Там на адкрытых мадэлях паказана, што сапраўдная мяжа ведаў разыходзіцца з заяўленай. Да arXiv мой пошук як след не дайшоў: API пачаў рэзаць запыты пасля 5 штук.
На рэцэнзіі праз 2 дні я знайшоў тое, што прапусціў. LLMLagBench (2025) паставіў побач дату вендара, дату ад самой мадэлі і вымераную для 35 мадэляў. HindsightBench (2026) метадам чорнай скрыні знайшоў межы да 8 месяцаў раней за дату вендара ў 5 з 7 мадэляў, для якіх гэтая дата апублікаваная. Значыць, сам разрыў вядомы і ў рэгістрацыі я заявіў больш навізны, чым засталося.
Тое, што дадае гэты прагон, вузкае. Мадэлі Claude 5.5 не пакрывае ніводная з дзвюх работ. У мяне рэлізы пакетаў з датай з рэестра, кантроль на неіснуючых версіях і адказ мадэлі пра сябе ў тым выглядзе, у якім яго аддае Claude Code. LLMLagBench бачыў, як старыя мадэлі Claude называюць дату раней за вендарскую. Унутры Claude Code мадэлі 5.5 называюць дату вендара.
Абмежаванні ёсць. Гэта папулярныя пакеты, а не веды наогул. Пытанні ішлі пачкамі па 20 праз падпіску, так што налады сэмплавання я не кантраляваў.
Пра версію пакета пачынаючы з лютага 2026 маўчанне мадэлі нічога не кажа пра тое, ці існуе версія. Пытанне пра мяжу ведаў унутры Claude Code вяртае мне дату вендара.
Поўны тэкст з усімі табліцамі ляжыць на старонцы артыкула. Набор пытанняў, абвязка і журнал кожнага выкліку ляжаць у рэпазіторыі.