בשנה האחרונה, כל ההכרזות הגדולות על מודלי שפה סובבות סביב ארכיטקטורה אחת: Mixture of Experts. הרעיון פשוט: מודל ענקי שמשתמש רק בחלק קטן מהפרמטרים שלו לכל פסקה. כך אפשר לטעון על הכרזות "מודל טריליון פרמטר" כשבפועל, בכל רגע נתון, עובדים חצי אחוז מהם.

מיסטרל החליטה לא ללכת לשם. Medium 3.5 הוא מודל צפוף. 128 מיליארד פרמטר, כולם פעילים, כל הזמן, לכל טוקן.

זו בחירה מכוונת, ולא סתם.

מה בפועל יש כאן?

Medium 3.5 שוחרר ב-29 באפריל כמשקולות פתוחות תחת רישיון MIT מורחב. הוא מחליף בבת אחת שלושה מודלים קודמים: Medium 3.1, Magistral ו-Devstral 2. במקום לתחזק שלוש גרסאות נפרדות לשיחה, להיסק ולקוד, מיסטרל אמרה: זה הכל אחד.

חלון ההקשר: 256 אלף טוקן. הוא רץ על 4 GPU בלבד. לשם השוואה, מודלים גדולים אחרים דורשים לעיתים עשרות כרטיסי מסך להרצה.

יחד עם המשקולות שוחרר גם Mistral Vibe CLI, כלי קידוד מרוחק עם ביצועים אסינכרוניים. כלומר: אפשר לתת לו משימה, לסגור את המחשב, ולחזור אחרי שעה. הוא ימשיך לעבוד.

בנוסף, ב-Le Chat, הממשק הציבורי של מיסטרל, הגיע Work Mode: תצורת פעולה עצמאית שמסוגלת לנהל תהליכים מרובי שלבים כמו מיון מיילים, סינתזת מחקרים ותיאום בין כלים שונים.

מה המחיר ואיפה יש ביקורת?

מיסטרל תמחרה את הגרסה הענן של Medium 3.5 ב-1.50 דולר לכל מיליון טוקן קלט ו-7.50 דולר לטוקן פלט.

זה לא מעט. במיוחד כשמדובר במודל עם משקולות פתוחות שאפשר להריץ גם לבד. חלק מהמגיבים ברשת הצביעו על כך שהמחיר גבוה יחסית לכך שמדובר בקוד פתוח, ושמי שיש לו את התשתית הנכונה לא יצטרך לשלם אגורה.

מיסטרל כנראה מכירה בנקודה הזו. הם לא מנסים לתחרות ב-OpenAI על לקוחות enterprise שרוצים שירות מנוהל בלי כאבי ראש. הם מנסים להחזיר את העמדה שכבר היה להם לפני שנה: הספק האמין ביותר של מודלים בקוד פתוח, שחברות רוצות להריץ אצלן בבית.

מה הניצחון הזה אומר לשוק?

בשוק שבו כולם מדברים על סוכנים, על אוטומציה, על הורדת תשתיות לתוך המוצר, מיסטרל עושה משהו נדיר: היא מספקת מודל אחד שמחליף שלושה, שרץ על ציוד נגיש, ושמשחרר גם כלי עבודה סביבו.

הצרפתים לא בנו את OpenAI. אבל הם גם לא מנסים להיות OpenAI.

הם בנו משהו ספציפי: מודל שחברות יכולות לפרוס אצלן, לשנות, לאמן מחדש, ולסמוך עליו כי הם יודעים בדיוק מה נמצא בפנים.

השאלה היא אם זה מספיק. בשוק שבו ג'יפיטי-5 ממשיך לצמוח בהכנסות בקצב של פי שניים מכל מודל קודם, ושבו גוגל ומטא ממשיכים לשחרר מודלים בחינם, להיות "האפשרות הנכונה למי שרוצה שליטה" היא פוזיציה נכונה אבל צרה.

מיסטרל מוכיחה שאפשר לבנות מודל ברמה עולמית מחוץ לאמריקה. השאלה הגדולה היא כמה זמן יש לה לפני שהמרחק בין הספינות רק יגדל.

הפוסט מיסטרל שחררה מודל של 128 מיליארד פרמטר ב-4 כרטיסי מסך. ולא מדובר בטריק. הופיע לראשונה ב-Ai Samurai.

תחשבו על מכונה שמסוגלת לפצח בעיות שמחשב רגיל לא יפתור גם בעוד מאה שנה. עכשיו תחשבו שהמכונה הזו נשברת, ברמה הפיזיקלית, פעמים רבות לשנייה.

זו הבעיה עם מחשוב קוונטי. לא חוסר עוצמה, לא חוסר כסף ולא חוסר עניין. השגיאות. הקיוביטים, אותם יחידות עיבוד קוונטיות שאמורות להחזיק שני מצבים בו זמנית, מושפעים מכל רטט, מכל שינוי חום, מכל שדה מגנטי אקראי. הם מאבדים את המידע שלהם מהר מאוד.

אנבידיה החליטה שמספיק.

איזינג: לא רובוט, אלא שם של פיזיקאי

השם "איזינג" מגיע מארנסט איזינג, פיזיקאי גרמני שניסח ב-1925 מודל מתמטי לתיאור מגנטיות. המודל שלו הפך לאחד הכלים הבסיסיים ביותר בפיזיקה סטטיסטית, ועשרות שנים לאחר מכן, אנבידיה השאילה את שמו לפרויקט שאמור לשנות את המחשוב הקוונטי מהיסוד.

משפחת המודלים Ising של אנבידיה מורכבת משני מרכיבים עיקריים.

Ising Calibration: כיוון המעבד הקוונטי

המרכיב הראשון הוא מודל שפה ויזואלי בגודל 35 מיליארד פרמטר, שפועל כסוכן אוטומטי לכיוון מעבד קוונטי. בעבר, כיוון מעבד קוונטי היה תהליך ידני, איטי, שדרש מומחים אנושיים. המודל של אנבידיה עושה זאת אוטומטית, ועל פי מדד הביצועים החדש QCalEval, הוא מביס את ג'מיני 3.1 פרו, קלוד אופוס ואת ג'יפיטי-5.4 במשימה הזו.

Ising Decoding: תיקון שגיאות בזמן אמת

המרכיב השני מבוסס על רשת נוירונים תלת-ממדית שפועלת בזמן אמת לתיקון שגיאות קוונטיות. המספרים: 2.5 פעמים מהיר יותר ו-3 פעמים מדויק יותר בהשוואה לשיטות המסורתיות.

בעולם שבו כל שגיאה לא מתוקנת עלולה לאמלל חישוב שלם, המספרים האלה הם לא שיפור שולי.

מי כבר בפנים?

אנבידיה לא השיקה את האיזינג בחלל ריק. המודלים אומצו כבר על ידי חלק מהמוסדות המובילים בעולם: אוניברסיטת הרווארד, מעבדת לורנס ברקלי, אקדמיית סיניקה, IQM Quantum Computers, ועוד.

לא מדובר בהצהרה שיווקית. מדובר במוסדות שעבדו עם מחשוב קוונטי שנים לפני שזה הפך לטרנד.

למה זה חשוב יותר מכל הכרזה על מודל שפה חדש?

בשנים האחרונות, רוב החדשות מהעולם הטכנולוגי סובבות סביב מודלי שפה, צ'אטבוטים ובינה מלאכותית גנרטיבית. אלה כלים שמשפיעים על חיי אנשים רגילים כבר עכשיו.

המחשוב הקוונטי הוא שכבה אחרת לגמרי. אם מחשבים קוונטיים יהפכו לאמינים, הם יוכלו לשנות את הכימיה התרופתית, לשבור את תשתיות ההצפנה של האינטרנט, לדמות מערכות פיזיקאליות שאי אפשר לגעת בהן היום.

מה שאנבידיה עשתה עם האיזינג הוא להכניס את ארגז הכלים הכי חזק שהיא מכירה, בינה מלאכותית, לשרות הבעיה שמונעת מהמחשוב הקוונטי לממש את ההבטחה שלו.

יש לפרויקט גם מרכיב שאנשי אנבידיה לא מדגישים מספיק: המודלים הם קוד פתוח. מה שאומר שכל מעבדת מחקר, כל סטארטאפ קוונטי, כל אוניברסיטה שרוצה לעבוד עם מחשוב קוונטי אמין יותר יכולה להשתמש בהם.

זה לא רק פרסום GPU חדש. זו הנחת תשתית.

השאלה שנשארת פתוחה

אנבידיה היא קודם כל חברת חומרה. כשהיא משקיעה ברצינות בתוכנה שתעזור למחשוב הקוונטי, שאלה טבעית עולה: מה בדיוק הם מוכרים לאותם גופים בסוף?

המחשבים הקוונטיים עצמם לא רצים על ה-GPU של אנבידיה. לפחות לא עכשיו. אבל הסימולציה שלהם, הכיוון שלהם, ותיקון השגיאות שלהם, כל אלה יכולים לרוץ על תשתית אנבידיה.

אולי האיזינג הוא הדרך של אנבידיה להיות חלק ממהפכה שהם לא שולטים בה ישירות, אבל יכולים לגדר את עצמם לתוכה בלי שאף אחד ישים לב.

הפוסט המחשוב הקוונטי נתקע, עד שאנבידיה פתרה את זה עם AI. הופיע לראשונה ב-Ai Samurai.