К содержимому
sulimko.com

Сравнить поколения моделей

Сравните два поколения моделей при одинаковом уровне рассуждений, с источником каждой цифры.

Выберите вашу модель и поколение для сравнения. Отсутствующие уровни останутся видны.

Источники и ограничения

Столбцы с AA — прогоны Artificial Analysis, а не результаты агентов из официальных таблиц. Подключённый API не передаёт даты замеров.

Подключённый API не передаёт текущую стоимость, время и выходные токены на задачу. В истории есть прежние снимки с исходным временем и неизвестным часовым поясом. Они не заменяют текущие значения или тарифы за токены.

Официальные прогоны сохраняют агента, версию теста, модель, режим и идентификатор прогона. Они не входят в индексы AA.

Terminal-BenchSWE-benchArtificial Analysis