Тег: надёжность
- В августе мой контроль прочитал файл 4 из 4. В октябре он сказал "файла нет" и был прав
- 2 списка по 30 тестовых имён от одной модели Claude совпадают хотя бы одним именем до 98% пар. У Faker 1,29%
- Один вопрос к opus 5 дал 21 разный ответ за 64 вызова. Я пошёл искать, где начинается разница
- На середине апгрейда половина моей коллекции набрала 0
- Haiku 4.5 нашла ключ 243 раза из 245 в промптах до 96 тысяч токенов. На ключ, которого не было, она вернула значение 12 раз из 20.
- В январе colors и faker сломал их собственный автор. В декабре оба имени по-прежнему числятся за тем же аккаунтом
- Буря, которая унесла 38 Starlink, была слабой, а каталог увидел только 6
- С январским и декабрьским venv GPT-2 выдал одни и те же 20 000 токенов. Логиты за это время поменялись
- Flan-T5 ответила на 2000 вызовов кодом 200 OK и ошиблась в 161 сумме из 600
- Модель за моими регулярками для выписок превратила 300 громких отказов в 249 тихих ошибок
- Flan-T5 верно прочитала 1393 строки счетов из 1413, а сложила верно 1 счёт из 400
- Арендатор вернулся арендодателем после круга через русский
- Я заставил GPT-2 следовать схеме JSON, а сумма USD 11,113.79 превратилась в 11
- Я добавил "none of the above" и модель отказывалась так же часто, но на трети вопросов её решение поменялось
- Чат-бот назвал Москву столицей Ганы и на вопрос, уверен ли он, ответил "да"
- 93 процента работы ушло клиентам, которые уже ушли
- 199 запросов при лимите 100, и никто не атаковал