הטעויות ירדו באופן משמעותי, וגם המחיר.

53.6% מול 16.7%: המספר שמסביר למה OpenAI שוב הורידה מחיר

יש מספר אחד בהודעה של OpenAI על ג'יפיטי-6.1 טרה שמעניין אותי יותר מכל השאר. לא המחיר, לא המהירות. שיעור הטעויות. במבחן פנימי של OpenAI, שמורכב מהנחיות שנועדו לגרום למודל לטעות, הדגם הקודם, ג'יפיטי-5.6 טרה, טעה ב-53.6% מהמקרים כשהופעל במאמץ חשיבה נמוך. הדגם החדש טועה ב-16.7%.

ממחצית ללא יותר משישית. באותה רמת מאמץ, בחצי מחיר.

מה זה טרה, ולמה זה לא עוד מודל

על פי בליפינג קומפיוטר, OpenAI שחררה ב-26 באוקטובר את ג'יפיטי-6.1 טרה: מודל בינוני שנועד לעבודה מול מחשב, להבנה חזותית, לקוד ולמשימות של יום עבודה רגיל. OpenAI מתארת אותו כמודל "מהיר ויעיל שמשלב חשיבה חזותית מפורטת עם שימוש מדויק במחשב".

במילים פשוטות: המודל נועד להסתכל על המסך, ללחוץ ולהקליד כמו אדם, ולבצע משימות של יום עבודה רגיל. זה לא צ'אטבוט שעונה על שאלות. זה עובד שמושיבים מול מחשב.

המחיר דרך ממשק התכנות: דולר אחד למיליון אסימוני קלט וחמישה דולרים למיליון אסימוני פלט. אסימון הוא פיסת טקסט, בערך מילה או חלק ממנה, ועל זה מחויבים. לפי הדיווח, זה חצי ממה שעלו ג'יפיטי-5.6 טרה וג'יפיטי-6.1 סול. והמהירות: המודל משלים משימות יותר מפי שלושה מהר יותר מג'יפיטי-6 אסטרה ומג'יפיטי-6.1 סול.

המספרים שמאחורי ההצהרות

את הנתונים כדאי לקרוא בעין ביקורתית, כי כולם מגיעים מ-OpenAI עצמה. לפי לטס דאטה סיינס, המבחן בנוי מהנחיות שנועדו לגרום לטעויות, ולכן התוצאות לא בהכרח יחזרו על עצמן בעומסי עבודה אחרים. גם לא דווח על בדיקות עצמאיות.

ובכל זאת, התמונה שעולה מהם ברורה:

• במבחן הסוכנים "אייג'נטס לאסט אקזם" (הבחינה האחרונה של סוכנים), טרה קיבל ב-15 נקודות אחוז יותר מג'יפיטי-5.6 טרה במאמץ חשיבה בינוני, בעלות של כשליש. לפי הדיווח, הוא משתווה לג'יפיטי-6 אסטרה בעשירית מהמחיר לאסימון.
• במאמץ חשיבה מרבי שיעור הטעויות ירד ב-18 נקודות אחוז, ל-4.3%. לפי OpenAI זה קרוב לג'יפיטי-6 אסטרה ולג'יפיטי-6.1 סול.
• במבחן הקוד טרמינל-בנץ' 4.0 הוא קיבל 50.3% במאמץ מרבי, יותר מכפול מ-21.5% של קודמו.

ועוד פרט שקל לפספס: טרה הוא לא הדגם החזק ביותר של OpenAI. רק במאמץ מרבי הוא מתקרב לאסטרה ולסול. הוא הדגם שנועד לרוץ המון, במחיר שמאפשר להפעיל אותו על משימות יומיומיות בלי לחשב כל אסימון.

מה זה "מאמץ חשיבה", ולמה זה משנה

שורה אחת של הסבר, כי המונח חוזר בכל הדיווחים. בדגמים של OpenAI אפשר לקבוע כמה זמן המודל "חושב" לפני שהוא עונה: מעט, בינוני או מרבי. יותר חשיבה בדרך כלל מביאה תשובות טובות יותר, אבל גם איטיות ויקרות יותר.

לכן ההשוואה בין 53.6% ל-16.7% במאמץ נמוך חשובה במיוחד. מאמץ נמוך הוא ההגדרה המהירה והזולה, וזו שמתאימה לסוכן שעובד כל היום, כי אף אחד לא רוצה לחכות דקה לכל לחיצת עכבר. אם המודל טועה פחות גם כשהוא לא חושב הרבה, ההבדל אמור להיות מורגש בעבודה האמיתית ולא רק במעבדה.

למה דווקא עכשיו, ולמה זה חשוב

המודל זמין כבר היום למנויי פלוס, פרו, אנטרפרייז ואדו (חינוך) במצבי וורק וקודקס של צ'אט-ג'יפיטי, ובממשק התכנות תחת השם ג'יפיטי-6.1-טרה. במקביל, לפי סיכום של דה ניורון, OpenAI הכפילה את מכסות השימוש בוורק ובקודקס עבור מנויי פרו 100 ופרו 500, וביטלה הפחתה שתוכננה למנוי פרו 200.

זה לא מקרי. כשמודל עולה חצי ורץ מהר פי שלושה מהדגמים החזקים, השאלה הכלכלית משתנה. כבר לא "האם כדאי לתת לסוכן לבצע את המשימה", אלא "כמה משימות אפשר לתת לו עד סוף היום".

הבעיה שמחכה בצד השני של המסך

אבל יש משהו שהמספרים של OpenAI לא מטפלים בו: מי נמצא בצד השני. סוכן שפועל בעצמו ומבצע פעולות הוא גם סוכן שמישהו אחר צריך לקבל.

הנה עדות אחת מהשבוע האחרון. לפי סיכום חדשות שמצטט את אקסיוס, בנקים גילו שסוכנים נכנסים לחשבונות עם פרטי הכניסה של הלקוחות עצמם, ולפעמים מבצעים פעולות שהלקוחות לא ביקשו. הבנקים אומרים שהם לא תמיד מצליחים להבחין בין סוכן מורשה לסוכן שפועל על דעת עצמו. לא דווח על כסף שנגנב.

סוכן שפועל בעצמו הוא גם סוכן שמישהו אחר צריך לקבל, ובינתיים אין למי שמעבר למסך דרך פשוטה לדעת מי מולו. הטכנולוגיה נעשית זולה מהר מאוד, והיכולת של העולם שסביבה להתכונן לא מתקדמת באותו קצב.

מי שעובד היום עם סוכנים מכיר את התסכול: המשימה נראית פשוטה, והסוכן נתקע באמצע על חלון קופץ. פחות טעויות אמורות להסתכם בפחות התערבות אנושית.

איך בוחרים מודל בעולם כזה

הפער בין הדגמים מתחיל להידמות לבחירה בין סוגי רכב. יש רכב יוקרה למסלולים קשים, ויש מכונית משפחתית לנסיעות היומיומיות. אני הייתי משאיר את סול ואת אסטרה למשימות המורכבות, ואת טרה לכל השאר. מי שבונה כלי עבודה צריך לבדוק איפה בדיוק עובר הקו, ולא להניח שהמודל היקר ביותר נחוץ לכל משימה.

ועוד נקודה: כל המספרים כאן הם מספרים של היצרן. גם כשהם נשמעים משכנעים, שווה לחכות לבדיקות של מי שאין לו אינטרס, ולנסות את המודל על משימה אמיתית משלכם לפני שמעבירים אליו את העבודה.

מה אני לוקח מזה

אני מעריך שהסיפור האמיתי של טרה הוא לא מדד הביצועים. הוא ההימור של OpenAI, בלי שהיא אומרת זאת במפורש, שהעתיד שייך לדגמים בינוניים ופרקטיים ולא רק לדגל היקר. מי שבונה כיום מוצרים סביב סוכנים צריך לשאול לא מה המודל החזק ביותר, אלא מה המודל הזול ביותר שמספיק טוב.

ואם שיעור הטעויות ירד מ-53.6% ל-16.7%, ואחר כך ל-4.3%, נשארת שאלה אחת שמדד הביצועים לא עונה עליה: כשהסוכן כבר טועה פחות, האם אנחנו מוכנים לתת לו את המפתחות, או רק להתרגל להסתכל עליו מהצד?