ఒకే మూల్యాంకన సంచికలో benchmark స్కోర్లు, కొలిచిన పని ఖర్చులను పోల్చండి; ప్రతి మోడల్ reasoning సెట్టింగ్లను కూడా చూడండి. Input/output ధరలతో మాత్రమే పనితీరు కొలవలేం. కొలతలు లేనప్పుడు తెలియదని ఉంచుతాం.
అత్యధిక స్కోరు ఉన్న మోడల్ నాకు ఎప్పుడూ ఉత్తమమా?
కాదు. Benchmark స్కోరు ఒక నిర్దిష్ట మూల్యాంకనాన్ని వివరిస్తుంది. మీ పని, latency, reasoning సెట్టింగ్లు, మొత్తం ఖర్చు ఎంపికను మార్చవచ్చు. స్కోరు, ఖర్చు కాలమ్లను కలిపి చూడండి; షరతుల కోసం benchmark మూలాన్ని తెరవండి.
తెలియని benchmark స్కోరు అంటే మోడల్ పనితీరు బాగోలేదా?
కాదు. ఈ కేటలాగ్లో పోల్చదగిన ధృవీకరించిన కొలత లేదని అర్థం. మోడల్ పేరు లేదా token ధర ఆధారంగా సున్నా ఇవ్వం, స్కోరు ఊహించం. లేని విలువలు కొలిచిన ఫలితాల నుంచి వేరుగా ఉంటాయి.