அடிக்கடி கேட்கப்படும் கேள்விகள்
AI மாடல்களின் செயல்திறனையும் செலவையும் எப்படிச் ஒப்பிடலாம்?
ஒரே evaluation பதிப்பில் benchmark scores மற்றும் அளவிடப்பட்ட task செலவுகளை ஒப்பிடும்போது ஒவ்வொரு மாடலின் reasoning அமைப்புகளையும் சரிபார்க்கவும். Input/output விலைகள் மட்டும் செயல்திறனை அளவிடாது. இல்லாத அளவீடுகள் தெரியாதவையாகவே இருக்கும்.
அதிக score பெற்ற மாடல் எனக்கு எப்போதும் சிறந்ததா?
இல்லை. Benchmark scores ஒரு குறிப்பிட்ட evaluation-ஐ விவரிக்கின்றன. உங்கள் பணி, latency, reasoning அமைப்புகள், மொத்தச் செலவு ஆகியவை தேர்வை மாற்றலாம். Score மற்றும் cost columns-ஐ ஒன்றாகப் பார்த்து benchmark source நிபந்தனைகளைத் திறக்கவும்.
தெரியாத benchmark score என்றால் மாடல் மோசமாகச் செயல்படுகிறதா?
இல்லை. இந்த catalog-இல் ஒப்பிடக்கூடிய உறுதிப்படுத்தப்பட்ட அளவீடு இல்லை என்பதே பொருள். மாடல் பெயர் அல்லது token விலையைக் கொண்டு பூஜ்ய score வழங்கவோ மதிப்பிடவோ மாட்டோம். இல்லாத மதிப்புகள் அளவிடப்பட்ட முடிவுகளிலிருந்து தனியாக வைக்கப்படும்.