Поширені запитання

Більше
Як порівняти продуктивність і вартість моделей ШІ?

Порівнюйте оцінки бенчмарків і виміряну вартість завдань у межах однієї версії оцінювання та перевіряйте налаштування міркування кожної моделі. Самі лише ціни введення й виведення не вимірюють продуктивність. Відсутні вимірювання залишаються невідомими.

Чи завжди модель із найвищою оцінкою найкраща для мене?

Ні. Оцінки бенчмарків описують конкретне оцінювання. На вибір можуть впливати завдання, затримка, налаштування міркування та загальна вартість. Використовуйте стовпці оцінки й вартості разом і відкрийте джерело бенчмарку, щоб переглянути умови.

Чи означає невідома оцінка бенчмарку низьку продуктивність моделі?

Ні. Це означає, що в каталозі немає порівнюваного перевіреного вимірювання. Ми не присвоюємо нуль і не оцінюємо результат за назвою моделі чи ціною токенів. Відсутні значення відокремлено від виміряних результатів.