Чем заменить мою модель?
Сравните варианты со своей моделью. Посмотрите, что улучшится и чем придётся поступиться.
Хотя бы на 20% дешевле за типичную задачу агента для кода. Модель, которая уступает вашей по интеллекту больше чем на 20 пунктов, не предлагается; меньшая потеря названа.
Варианты замены
Как выбирается ответ
Это арифметика, а не нейросеть: одна и та же модель и одно и то же желание всегда дают один ответ. Кандидат должен быть заметно лучше в том, что вы попросили, — хотя бы на 20% дешевле или быстрее, с более открытыми весами или с более длинным контекстом. А интеллект он должен сохранить: до 10 пунктов ниже вашей модели — «Лучший вариант», на 10–20 пунктов ниже — «Хорошая замена», ещё ниже — не предлагается вовсе. Модель, чей интеллект никто не измерял, получает только «Стоит взглянуть». Внутри вердикта первым идёт заметно больший выигрыш: свежее число засчитывается полностью, старое — меньше; при похожем выигрыше первой идёт та модель, что меньше теряет в интеллекте. «0» у поставщика — не цена, поэтому такую модель мы никогда не называем дешевле.
До пяти вариантов, сначала лучший вердикт. Внутри вердикта первой идёт заметно большая экономия; при похожей экономии — модель, которая меньше теряет в интеллекте.
Как мы считаем