כשכולם עושים MoE, מיסטרל עושה משהו אחר
בשנה האחרונה, כל ההכרזות הגדולות על מודלי שפה סובבות סביב ארכיטקטורה אחת: Mixture of Experts. הרעיון פשוט: מודל ענקי שמשתמש רק בחלק קטן מהפרמטרים שלו לכל פסקה. כך אפשר לטעון על הכרזות "מודל טריליון פרמטר" כשבפועל, בכל רגע נתון, עובדים חצי אחוז מהם.
מיסטרל החליטה לא ללכת לשם. Medium 3.5 הוא מודל צפוף. 128 מיליארד פרמטר, כולם פעילים, כל הזמן, לכל טוקן.
זו בחירה מכוונת, ולא סתם.
מה בפועל יש כאן?
Medium 3.5 שוחרר ב-29 באפריל כמשקולות פתוחות תחת רישיון MIT מורחב. הוא מחליף בבת אחת שלושה מודלים קודמים: Medium 3.1, Magistral ו-Devstral 2. במקום לתחזק שלוש גרסאות נפרדות לשיחה, להיסק ולקוד, מיסטרל אמרה: זה הכל אחד.
חלון ההקשר: 256 אלף טוקן. הוא רץ על 4 GPU בלבד. לשם השוואה, מודלים גדולים אחרים דורשים לעיתים עשרות כרטיסי מסך להרצה.
יחד עם המשקולות שוחרר גם Mistral Vibe CLI, כלי קידוד מרוחק עם ביצועים אסינכרוניים. כלומר: אפשר לתת לו משימה, לסגור את המחשב, ולחזור אחרי שעה. הוא ימשיך לעבוד.
בנוסף, ב-Le Chat, הממשק הציבורי של מיסטרל, הגיע Work Mode: תצורת פעולה עצמאית שמסוגלת לנהל תהליכים מרובי שלבים כמו מיון מיילים, סינתזת מחקרים ותיאום בין כלים שונים.
מה המחיר ואיפה יש ביקורת?
מיסטרל תמחרה את הגרסה הענן של Medium 3.5 ב-1.50 דולר לכל מיליון טוקן קלט ו-7.50 דולר לטוקן פלט.
זה לא מעט. במיוחד כשמדובר במודל עם משקולות פתוחות שאפשר להריץ גם לבד. חלק מהמגיבים ברשת הצביעו על כך שהמחיר גבוה יחסית לכך שמדובר בקוד פתוח, ושמי שיש לו את התשתית הנכונה לא יצטרך לשלם אגורה.
מיסטרל כנראה מכירה בנקודה הזו. הם לא מנסים לתחרות ב-OpenAI על לקוחות enterprise שרוצים שירות מנוהל בלי כאבי ראש. הם מנסים להחזיר את העמדה שכבר היה להם לפני שנה: הספק האמין ביותר של מודלים בקוד פתוח, שחברות רוצות להריץ אצלן בבית.
מה הניצחון הזה אומר לשוק?
בשוק שבו כולם מדברים על סוכנים, על אוטומציה, על הורדת תשתיות לתוך המוצר, מיסטרל עושה משהו נדיר: היא מספקת מודל אחד שמחליף שלושה, שרץ על ציוד נגיש, ושמשחרר גם כלי עבודה סביבו.
הצרפתים לא בנו את OpenAI. אבל הם גם לא מנסים להיות OpenAI.
הם בנו משהו ספציפי: מודל שחברות יכולות לפרוס אצלן, לשנות, לאמן מחדש, ולסמוך עליו כי הם יודעים בדיוק מה נמצא בפנים.
השאלה היא אם זה מספיק. בשוק שבו ג'יפיטי-5 ממשיך לצמוח בהכנסות בקצב של פי שניים מכל מודל קודם, ושבו גוגל ומטא ממשיכים לשחרר מודלים בחינם, להיות "האפשרות הנכונה למי שרוצה שליטה" היא פוזיציה נכונה אבל צרה.
מיסטרל מוכיחה שאפשר לבנות מודל ברמה עולמית מחוץ לאמריקה. השאלה הגדולה היא כמה זמן יש לה לפני שהמרחק בין הספינות רק יגדל.
