שנתיים, כמעט חמישה מיליארד דולר, ואף מודל אחד
תדמיינו סטארטאפ שגייס בערך 4.7 מיליארד דולר, קיבל הערכת שווי של 25 מיליארד, חתם על עסקאות מחשוב בשווי של יותר משבעה מיליארד דולר עם ספייס-אקס ועם ספקית הענן נביוס, ובמשך שנתיים לא הוציא לעולם מוצר אחד.
לא בטא. לא דמו. כלום.
זאת הייתה רפלקשן עד יום שני השבוע. ואז, ב-5 באוקטובר, החברה מברוקלין חשפה את בים, מודל השפה הראשון שלה. מודל עם משקלים פתוחים, כלומר כזה שכל חברה תוכל להוריד, להריץ על השרתים שלה ולשנות כרצונה.
הכינוי שהודבק לחברה כבר מזמן הוא "הדיפסיק של המערב". והשאלה שכולם שואלים עכשיו: האם יש מאחוריו משהו?
מה יש בתוך המודל
בים הוא מודל ענק: 501 מיליארד פרמטרים, שמתוכם רק 23 מיליארד פעילים בכל רגע נתון. השיטה נקראת "תערובת מומחים". במקום שכל המוח יעבוד על כל מילה, המודל מחולק להרבה תתי-רשתות מתמחות, ונתב פנימי מחליט אילו מהן להפעיל בכל פעם. התוצאה: ידע של מודל גדול, וחשבון חשמל של מודל קטן בהרבה.
המודל אומן על 23.8 טריליון יחידות טקסט, יודע לקרוא עד מיליון יחידות טקסט בבת אחת, ועבר סבב ארוך של למידה מחיזוקים כדי להשתפר בחשיבה, בקוד ובעבודה כסוכן אוטונומי. הוא עובד רק עם טקסט. בלי תמונות, בלי קול.
וכאן מגיע הפאנץ' של רפלקשן. לפי החברה, בים משיג תוצאות דומות לאלה של ג'י-אל-אם 5.2, המודל הפתוח של המעבדה הסינית זי.איי, אבל צורך פי שלושה עד ארבעה פחות כוח מחשוב בזמן שהוא עונה. לשם ההשוואה, למודל הסיני יש כ-744 מיליארד פרמטרים, ו-40 מיליארד מהם פעילים.
רפלקשן גם טוענת שבים עוקף את אינקלינג, המודל הפתוח של ת'ינקינג מאשינס (החברה של מירה מוראטי, לשעבר מנהלת הטכנולוגיה של OpenAI), בארבעה מבחני קוד שבהם שתי החברות פרסמו תוצאות. רק שאינקלינג רואה גם תמונות, ובים לא.
שימו לב למילה "לפי". אף גוף חיצוני עוד לא בדק את המספרים האלה. כל התוצאות מגיעות מרפלקשן עצמה.
ההשוואה שמסגירה הכל
ועכשיו הפרט שהכי הצחיק אותי בכל הסיפור. הניוזלטר דה ראנדאון שם לב שג'י-אל-אם 5.2, המודל שרפלקשן בחרה להתמודד מולו, כבר הוחלף בגרסה חדשה יותר בזי.איי.
כלומר, המודל האמריקאי הכי מדובר של השבוע מתגאה בכך שהוא משתווה לדור הקודם של הסינים.
וזה עוד לפני שמדברים על קימי קיי3 של מונשוט, שעדיין עוקף את בים ביכולת הגולמית. לפי איי-איי מגזין, למודל הסיני הזה 2.8 טריליון פרמטרים, ו-104 מיליארד מהם פעילים בכל פעם. ההבדל בסדרי הגודל עצום.
אז רפלקשן לא מוכרת כוח. היא מוכרת יעילות. ובשוק שבו כל טוקן עולה כסף, יעילות היא לא פרס ניחומים.
הסוס הטרויאני של ג'נסן הואנג
כדי להבין למה המשקיעים שפכו כאן כמעט חמישה מיליארד דולר, צריך להקשיב למשפט אחד של מישה לסקין, מנכ"ל ומייסד שותף של החברה: "מודלים פתוחים הם סוסים טרויאניים לתשתית שהם מביאים איתם".
תחשבו על זה רגע. כשבנק בדרום מזרח אסיה או משרד ממשלתי באפריקה בוחר מודל פתוח סיני, הוא לא בוחר רק תוכנה. הוא נכנס לאקוסיסטם שלם: כלים, ספריות, שבבים, יועצים. ולסקין רוצה שהסוס שעומד בשער יהיה אמריקאי.
לסקין ושותפו יואניס אנטונוגלו הם שני חוקרים לשעבר מגוגל דיפמיינד. בין המשקיעים: אנבידיה, סקויה ולייטספיד. ואנבידיה כאן היא לא סתם עוד שם ברשימה.
התוכנית העסקית של רפלקשן נקראת "מפעלי בינה מלאכותית". קרן גידור, חברה גדולה או ממשלה מקבלים את בים, מאמנים אותו על המידע הפרטי שלהם ומריצים אותו על השבבים שלהם, בלי שום ענן חיצוני. ג'נסן הואנג, מנכ"ל אנבידיה, מטיף לרעיון הזה כבר שנים. ומה צריך כדי להריץ מפעל כזה? נכון מאוד. שבבים של אנבידיה.
לפי טק קראנץ', קרנות גידור וחברות מסחר הן בין הראשונות שמתעניינות. והפיילוט הראשון כבר רץ בדרום קוריאה, עם קבוצת שינסגה: מרכז נתונים של 250 מגה-וואט שאמור להריץ ענן ריבוני לחברות ולסוכנויות ממשלתיות.
אנבידיה, אגב, כבר הראתה בעבר כמה היא רוצה לשלוט בשכבה הפתוחה. מי שקרא אצלנו על המגעים בינה לבין האגינג פייס יזהה את הדפוס.
למה זה חשוב גם אם בים לא הכי חזק
אני חושב שכולם מפספסים כאן את הנקודה. השאלה היא לא אם בים טוב יותר מקימי. הוא לא. השאלה היא מה האלטרנטיבה.
מי שרוצה היום מודל פתוח ברמה גבוהה, ובונה מוצר שלא יכול לשלוח מידע לשרתים של OpenAI או של אנתרופיק, נשאר כמעט רק עם אפשרויות סיניות. דיפסיק, קוון, זי.איי, מונשוט. מצד המערב יש את מיסטרל הצרפתית, שבדיוק השבוע הציגה מודל של טריליון פרמטרים, ואת אינקלינג. וזהו בערך.
בנק אירופאי, משרד ביטחון או בית חולים לא תמיד ירצו להריץ מודל סיני על המידע הכי רגיש שלהם. לא בגלל שהקוד בהכרח מסוכן, אלא בגלל שאף אחד לא רוצה לעמוד מול ועדת חקירה ולהסביר את הבחירה הזאת.
שם בדיוק רפלקשן רוצה לשבת. לא בראש טבלת הביצועים, אלא במקום שבו מנהל רכש זהיר בוחר את האפשרות שלא תסבך אותו.
רפלקשן מבטיחה לשחרר את המשקלים המלאים ואת הדו"ח הטכני עוד החודש, ברישיון פתוח שמאפשר שימוש מסחרי חופשי. אז נדע אם המספרים מחזיקים מים כשמישהו אחר מריץ את המבחנים.
אז מה יוצא מזה?
מעניין שהסיפור הגדול כאן הוא לא המודל, אלא הזמן. רפלקשן שרפה שנתיים ומיליארדים לפני שהוציאה משהו לאוויר. באותן שנתיים, המעבדות הסיניות שחררו גרסה אחרי גרסה, לפעמים כל כמה שבועות.
זה מה שמדאיג אותי. לא שבים חלש. אלא שעד שרפלקשן תשחרר את המודל הבא, הסינים כבר יהיו שני דורות קדימה, והיא שוב תשווה את עצמה למשהו שכבר הוחלף.
הכינוי "הדיפסיק של המערב" נשמע מחמיא. אבל דיפסיק הפכה לסמל כי היא הפתיעה את כולם בבוקר אחד ומחקה מאות מיליארדי דולרים מהבורסה.
רפלקשן, בינתיים, רק הוכיחה שיש לה מודל.
