К содержимому
sulimko.com

Чем заменить мою модель?

Сравните варианты со своей моделью. Посмотрите, что улучшится и чем придётся поступиться.

Что должно стать лучше

Хотя бы на 20% дешевле за типичную задачу агента для кода. Модель, которая уступает вашей по интеллекту больше чем на 20 пунктов, не предлагается; меньшая потеря названа.

Варианты замены

Выберите свою модель, чтобы увидеть варианты.
Как выбирается ответ

Это арифметика, а не нейросеть: одна и та же модель и одно и то же желание всегда дают один ответ. Кандидат должен быть заметно лучше в том, что вы попросили, — хотя бы на 20% дешевле или быстрее, с более открытыми весами или с более длинным контекстом. А интеллект он должен сохранить: до 10 пунктов ниже вашей модели — «Лучший вариант», на 10–20 пунктов ниже — «Хорошая замена», ещё ниже — не предлагается вовсе. Модель, чей интеллект никто не измерял, получает только «Стоит взглянуть». Внутри вердикта первым идёт заметно больший выигрыш: свежее число засчитывается полностью, старое — меньше; при похожем выигрыше первой идёт та модель, что меньше теряет в интеллекте. «0» у поставщика — не цена, поэтому такую модель мы никогда не называем дешевле.

До пяти вариантов, сначала лучший вердикт. Внутри вердикта первой идёт заметно большая экономия; при похожей экономии — модель, которая меньше теряет в интеллекте.

Как мы считаем