Тег: языковые модели
- В августе мой контроль прочитал файл 4 из 4. В октябре он сказал "файла нет" и был прав
- Claude 5.5 говорит, что знает мир до июня 2026. Ни одного релиза с марта 2026 он не угадал
- 2 списка по 30 тестовых имён от одной модели Claude совпадают хотя бы одним именем до 98% пар. У Faker 1,29%
- Один вопрос к opus 5 дал 21 разный ответ за 64 вызова. Я пошёл искать, где начинается разница
- На середине апгрейда половина моей коллекции набрала 0
- Haiku 4.5 нашла ключ 243 раза из 245 в промптах до 96 тысяч токенов. На ключ, которого не было, она вернула значение 12 раз из 20.
- Please стоит 24 доллара на миллион вызовов. Это ничто. Just the answer стоило мне 32.5 балла точности
- 2 строки комментария превратили 62 находки в 0
- Критик пропускает 13 из 16 черновиков, которые заваливает механика
- Модель, прочитавшая мои эссе, возвращает 2 правила из 16
- С январским и декабрьским venv GPT-2 выдал одни и те же 20 000 токенов. Логиты за это время поменялись
- Flan-T5 ответила на 2000 вызовов кодом 200 OK и ошиблась в 161 сумме из 600
- Модель за моими регулярками для выписок превратила 300 громких отказов в 249 тихих ошибок
- Flan-T5 верно прочитала 1393 строки счетов из 1413, а сложила верно 1 счёт из 400
- GPT-3 читает беларусский в 6,5 раза дороже английского
- Я задал своим заметкам 15 вопросов без ответа и получил 13 ответов
- Самая большая модель эмбеддингов OpenAI стоит в 75 раз дороже самой маленькой и проигрывает на ArguAna модели на 22 миллиона параметров
- Я заставил GPT-2 следовать схеме JSON, а сумма USD 11,113.79 превратилась в 11
- Я добавил "none of the above" и модель отказывалась так же часто, но на трети вопросов её решение поменялось
- Я попросил GPT-2 расписать решение, а она поверила своей неверной арифметике
- Я проверил советы по промптам на GPT-2 и порядок примеров оказался важнее их всех
- Чат-бот назвал Москву столицей Ганы и на вопрос, уверен ли он, ответил "да"
- Я обучил модель вознаграждения на 16 000 голосов с Reddit. Длину она любит больше, чем сами голосовавшие