Često postavljana pitanja
Kako mogu da uporedim performanse i troškove AI modela?
Uporedite rezultate benchmarka i izmerene troškove zadataka u istoj verziji evaluacije, uz proveru podešavanja rezonovanja svakog modela. Cene ulaza/izlaza same po sebi ne mere performanse. Nedostajuća merenja ostaju nepoznata.
Da li je model sa najvišim rezultatom uvek najbolji za mene?
Ne. Benchmark rezultati opisuju konkretnu evaluaciju. Vaš zadatak, kašnjenje, podešavanja rezonovanja i ukupan trošak mogu promeniti izbor. Koristite kolone za rezultat i cenu zajedno i pogledajte uslove izvora benchmarka.
Da li nepoznat benchmark rezultat znači da model loše radi?
Ne. To znači da u katalogu nema uporedivog potvrđenog merenja. Ne dodeljujemo nulu niti procenjujemo rezultat na osnovu imena modela ili cene tokena. Nedostajuće vrednosti odvojene su od izmerenih rezultata.