שאלות נפוצות

עוד
כיצד אפשר להשוות ביצועים ועלויות של מודלי AI?

השוו ציוני בנצ׳מרק ועלויות משימה שנמדדו באותה גרסת הערכה, ובדקו את הגדרות החשיבה של כל מודל. מחירי קלט ופלט לבדם אינם מודדים ביצועים. מדידות חסרות נשארות לא ידועות.

האם המודל עם הציון הגבוה ביותר תמיד הכי מתאים לי?

לא. ציוני בנצ׳מרק מתארים הערכה מסוימת. המשימה שלך, זמן ההשהיה, הגדרות החשיבה והעלות הכוללת יכולים להשפיע על הבחירה. השתמשו יחד בעמודות הציון והעלות ופתחו את מקור הבנצ׳מרק לתנאים.

האם ציון בנצ׳מרק לא ידוע פירושו ביצועים גרועים?

לא. פירושו שאין בקטלוג מדידה מאומתת ובת־השוואה. איננו קובעים ציון אפס או מעריכים ציון לפי שם המודל או מחיר הטוקן. ערכים חסרים נשארים נפרדים מתוצאות שנמדדו.