הבטיחו ל-27 באוקטובר. הגיעו ב-29. ובדרך הספיקו לשפר את המודל
מיסטרל הכריזה מראש שמשקלי המודל החדש שלה ייפתחו לציבור ב-27 באוקטובר. בפועל הם הגיעו יומיים מאוחר יותר. לפי הדיווח של ונצ'רביט, האיחור לא היה תקלה. החברה ניצלה כשלושה שבועות נוספים כדי להמשיך לאמן את המודל (בשיטה שבה הוא מקבל ציון על כל תשובה ולומד מהציונים) ולקבל משוב מלקוחות ומשותפי אבטחה, ושחררה גרסה משופרת לעומת זו שהציגה בתצוגה המקדימה ב-6 באוקטובר.
המודל נקרא מיסטרל לארג' 4, ושם החיבה שלו בכותרות הוא "לה צ'ונק". יש בו כטריליון פרמטרים. כן, טריליון. והמשקלים שלו פתוחים להורדה.
מה בדיוק קיבלנו?
זה מודל מסוג "תערובת מומחים": מודל ענק שבכל מילה שהוא מעבד מפעיל רק חלק קטן מעצמו, ולכן הוא מהיר וזול יותר ממודל שמפעיל הכול בכל פעם. לפי ונצ'רביט, יש בו 1.05 טריליון פרמטרים, מהם 52 מיליארד פעילים בכל רגע נתון. הוא מקבל טקסט ותמונות, מחזיק חלון הקשר של מיליון טוקנים (טוקן הוא יחידת טקסט, בערך חלק ממילה, וחלון הקשר הוא כמות הטקסט שהמודל מסוגל להחזיק בראש בבת אחת), ומציע שלוש רמות חשיבה: נמוכה, בינונית וגבוהה (ברירת המחדל).
האימון נעשה, לפי ההודעה הרשמית של מיסטרל, "מאפס על תשתית אירופית, עם שושלת ברורה מההתחלה ועד השחרור". לפי ונצ'רביט נעשה שימוש ב-3,800 שבבי גרייס בלאקוול של אנבידיה. המשקלים זמינים באגינגפייס, וגם דרך ממשק התכנות של מיסטרל, אופן-ראוטר, מיקרוסופט פאונדרי ושרתים של אנבידיה.
המחיר דרך ממשק התכנות: 0.70 דולר למיליון טוקנים נכנסים ו-2.10 דולר למיליון טוקנים יוצאים. בתצוגה המקדימה זה עמד על 1.36 ו-4.18 דולר. המחיר ירד כמעט בחצי.
המספרים: מי שמחפש כתר, יתאכזב
כאן הסיפור נעשה מעניין, כי מיסטרל לא מנצחת בכל מדד, ואפילו לא מתיימרת. במדד האינטליגנציה של ארטיפישל אנליסיס, גוף שמריץ מבחנים עצמאיים על מודלים, המודל קיבל 26 נקודות. הגירסה המקדימה, שמיסטרל הציגה ב-6 באוקטובר, קיבלה 25. שבעה מודלים עם משקלים פתוחים מקבלים יותר. ג'י-אל-אם 5.3 מגיע ל-32.
אז איך כותרות מכנות אותו "המודל הפתוח הטוב ביותר מחוץ לסין"? כי הוא הגבוה ביותר מבין המודלים הפתוחים שפותחו מחוץ לסין, בהפרש של נקודה אחת על פני מיוז ספארק אופן של מטא. זה כתר, אבל כתר אזורי.
הפעם הכוכב הוא היעילות, לא הציון הגולמי. במדד שבודק סוכנים שכותבים קוד הוא קיבל 48, שני בין המודלים הפתוחים, אחרי ג'י-אל-אם 5.3 שקיבל 49. אבל כדי להגיע לשם הוא השתמש בכ-8.5 מיליון טוקנים למשימה, מול 15.9 מיליון אצל ג'י-אל-אם ו-16.7 מיליון אצל דיפסיק. כלומר בערך חצי מהכמות.
גם העלות למשימה במדד האינטליגנציה ירדה ב-63%, מ-5.54 דולר ל-2.06 דולר. בקיצור: משימה אחת עולה עכשיו פחות ממחצית ממה שעלתה בתצוגה המקדימה.
ומה לגבי ההזיות?
כאן יש שיפור אמיתי. שיעור ההזיות, כלומר תשובות שהמודל ממציא, ירד מ-41% ל-28%. בצד השני, הדיוק במבחן הידע עומד על 26% בלבד, לעומת 40% אצל דיפסיק. כלומר המודל ממציא פחות, אבל גם יודע פחות. אני מעדיף מודל שיודע לומר "אני לא בטוח" על פני מודל שממציא בביטחון, אבל מי שקונה בגלל ידע כללי יתאכזב.
ויש הבדל בין מה שמיסטרל מדווחת לבין מה שהגוף העצמאי מצא. במבחן טרמינל-בנץ', מבחן שבודק עבודה של סוכנים בשורת הפקודה, מיסטרל מדווחת על 41%, אבל ההרצה של הגוף העצמאי מצאה 25%. במבחן פרונטיר-קוד: 19.7% אצל מיסטרל, 15% אצל הגוף העצמאי. כשיש שני מספרים שונים לאותו מבחן, כדאי להאמין לבודק העצמאי.
מה אומרים בני אדם: חזק מול הפתוחים, חלש מול הסגורים
בבדיקת ההעדפה העיוורת של סורג' קוד, שבה אנשים משווים תשובות קוד בלי לדעת איזה מודל כתב אותן, המודל ניצח את ג'י-אל-אם 5.3 ואת קימי קיי3 ב-64% מהמקרים, ואת דיפסיק 4.1 פלאש ב-56%. מול קלוד אופוס 5.5 הוא ניצח רק ב-22%.
זה בדיוק המיקום שלו: טוב יותר מהמתחרים הפתוחים בעבודת קוד, ורחוק מהמובילים הסגורים. במדד האינטליגנציה הכללי ג'מיני 4 קרבון מקבל 59, קלוד אופוס 5.5 מקבל 58 וג'יפיטי-6 אסטרה מקבל 57. המודל של מיסטרל רחוק מאוד מהקבוצה הזאת.
ומה זה אומר למפתח ישראלי?
מי שבונה כיום מוצר על גבי מודל סגור, ומשלם לפי טוקן, מקבל כאן שני דברים. האחד: מודל שאפשר להריץ בתשתית עצמאית כשהמשקלים ברשותך, מה שחשוב במיוחד לחברות שעובדות עם מידע רגיש של לקוחות. השני: לחץ על החברות להוריד מחירים. כשמודל פתוח מציע ביצועי קוד סבירים ב-2.10 דולר למיליון טוקנים יוצאים, החברות שמוכרות מודלים סגורים יתקשו להסביר ללקוחות למה הם משלמים יותר.
שימו לב גם למה שמיסטרל לא אומרת. הדוח הטכני המלא מסומן באתר "בקרוב", ודרישות החומרה להרצה עצמית לא פורסמו בהודעה. טריליון פרמטרים כנראה לא ירוץ על מחשב ביתי, גם אם רק 52 מיליארד פעילים בכל רגע, כי כל המשקלים צריכים להיות טעונים בזיכרון.
הרישיון: חופשי, אבל לא לכולם
הרישיון נקרא רישיון משקלים פתוחים של אקוסיסטם מיסטרל, ובפועל זה רישיון אם-איי-טי מותאם. מותר להשתמש בו, לשנות אותו, לכוונן אותו ולהרוויח ממנו. ההגבלה היחידה: מי שמפעיל שירות של מודל כשירות (כלומר מוכר גישה למודל לאחרים) צריך הסכם מסחרי נפרד עם מיסטרל. שימוש פנימי בארגון פטור.
זו לא ממש "קוד פתוח" במובן הקלאסי, אבל לרוב החברות זה לא משנה. זה משנה למי שחשב למכור גישה למודל לאחרים בלי לשלם למיסטרל.
למה זה חשוב לאירופה?
מרג'ורי ג'ניביץ', מנהלת ההכנסות של מיסטרל, הסבירה לוונצ'רביט מה לקוחות מבקשים: "אני לא רוצה להיות מנותקת. אני רוצה להיות הבעלים של המודל שלי". המשפט הזה מסביר למה מיסטרל משחקת במגרש שבו היא לא יכולה לנצח בציון הגולמי. המודל זכה לתמיכה מבלפיוס, איי-בי-אן אמרו, אי-אס-אם-אל והסוכנות האירופית לחלל, אם כי ונצ'רביט מציין שאין בהודעה תוצאות עסקיות מדידות של לקוח כלשהו.
לפי מיסטרל, המודל גם עמיד בפני ניסיונות ניצול: 97.1% עמידות במבחן אבטחת סוכנים, ו-96.6% סירוב לבקשות סייבר זדוניות. הנתונים האלה מדווחים על ידי מיסטרל עצמה, ויש להם משמעות מיוחדת במודל פתוח: אחרי שהמשקלים בחוץ, אי אפשר לקחת אותם בחזרה. מיסטרל מוסיפה שגרסה ייעודית לאבטחה זמינה רק לשותפים מאושרים, למשל אורנג' סייברדפנס, בכפוף להסכמים.
לאן מכאן?
המסקנה שלי: מיסטרל לא ניסתה לנצח במירוץ הציונים. היא ניסתה לבנות את המודל הפתוח שאירופי יכול להרשות לעצמו להפעיל. עלות נמוכה, חצי מהטוקנים, פחות הזיות, ומודל שאפשר להצביע עליו ולהגיד: זה נבנה באירופה.
האם זה מספיק? לפי המספרים, לא מול אופוס 5.5. אבל לכל מנכ"ל אירופי ששואל את עצמו מה הוא יעשה אם ספק אמריקאי יעלה מחירים או יסגור גישה, יש עכשיו תשובה עם טריליון פרמטרים, משקלים להורדה ורישיון שאפשר לחיות איתו. ויומיים איחור? אפשר לחיות עם זה.
התוכן עניין אתכם? שתפו, הגיבו וקראו עוד על
צרו דיון בנושא