Časté dotazy

Více
Jak porovnat výkon a cenu modelů AI?

Porovnávejte skóre benchmarků a naměřené náklady na úlohy v rámci stejné verze hodnocení a ověřte nastavení uvažování každého modelu. Samotné ceny vstupu a výstupu výkon neměří. Chybějící měření zůstávají neznámá.

Je model s nejvyšším skóre vždy nejlepší?

Ne. Skóre benchmarku popisuje konkrétní hodnocení. Volbu může ovlivnit vaše úloha, latence, nastavení uvažování i celkové náklady. Použijte sloupce skóre a nákladů společně a podmínky si ověřte ve zdroji benchmarku.

Znamená neznámé skóre benchmarku, že model podává špatný výkon?

Ne. Znamená to, že v katalogu není dostupné ověřené srovnatelné měření. Nepřiřazujeme nulu ani neodhadujeme skóre podle názvu modelu nebo ceny tokenu. Chybějící hodnoty zůstávají oddělené od naměřených výsledků.