Често задавани въпроси
Как да сравня производителността и цената на AI моделите?
Сравнявайте резултатите от бенчмаркове и измерените цени на задачите в една и съща версия на оценяването, като проверявате настройките за разсъждение на всеки модел. Цените за вход/изход сами по себе си не измерват производителността. Липсващите измервания остават неизвестни.
Моделът с най-висок резултат винаги ли е най-добър за мен?
Не. Резултатите от бенчмарк описват конкретно оценяване. Задачата ви, забавянето, настройките за разсъждение и общата цена могат да променят избора. Използвайте колоните за резултат и цена заедно и вижте условията в източника на бенчмарка.
Неизвестен резултат от бенчмарк означава ли, че моделът се представя зле?
Не. Това означава, че в този каталог няма сравнимо потвърдено измерване. Не задаваме нула и не оценяваме резултат по име на модел или цена на токен. Липсващите стойности остават отделни от измерените резултати.