پرسش‌های متداول
عملکرد و هزینهٔ مدلهای هوش مصنوعی را چگونه مقایسه کنیم؟
امتیازهای بنچمارک و هزینههای اندازهگیریشدهٔ کار را در یک نسخهٔ ارزیابی مقایسه کنید و تنظیمات استدلال هر مدل را هم بررسی کنید. قیمت ورودی و خروجی بهتنهایی عملکرد را نشان نمیدهد. اندازهگیریهای ناموجود، نامشخص باقی میمانند.
آیا مدلی که بالاترین امتیاز را دارد همیشه برای من بهترین است؟
خیر. امتیاز بنچمارک فقط یک ارزیابی مشخص را توصیف میکند. نوع کار، تأخیر، تنظیمات استدلال و هزینهٔ کل میتوانند انتخاب را تغییر دهند. ستونهای امتیاز و هزینه را با هم ببینید و شرایط منبع بنچمارک را بررسی کنید.
آیا امتیاز بنچمارک نامشخص یعنی مدل عملکرد ضعیفی دارد؟
خیر. یعنی در این فهرست، اندازهگیریِ تأییدشده و قابلمقایسهای موجود نیست. از روی نام مدل یا قیمت توکن، امتیاز صفر تعیین نمیکنیم یا آن را تخمین نمیزنیم. مقادیر ناموجود از نتایج اندازهگیریشده جدا میمانند.