שני מחשבים שולחניים והמודל הגדול של מטא
בזמן שרוב ענקיות הבינה המלאכותית בונות מתקנים בגודל של שכונות כדי להריץ את המודלים שלהן, מטא הציגה השבוע תמונה אחרת: שני מחשבים שולחניים של אפל, ועליהם רץ מודל שפה עם 816 מיליארד פרמטרים.
ב-15 באוקטובר פרסמה מטא את מיוז ספארק אופן, מודל שהמשקלים שלו פתוחים להורדה. החברה מכנה אותו "המודל הפתוח החזק ביותר שיצא עד היום בארה"ב". זו הצהרה של מטא על המוצר של מטא, לא מדידה של גורם חיצוני. עוד נחזור אליה.
מה יש בקופסה?
המספרים קודם. 816 מיליארד פרמטרים בסך הכל, אבל רק 42 מיליארד מהם פעילים בכל רגע נתון. המודל בנוי כך שבכל מילה שהוא מייצר עובד רק חלק קטן ממנו, והשאר ממתין בצד. זה בדיוק מה שהופך את הרצתו על מחשב ביתי למשהו שאפשר לדבר עליו ברצינות.
חלון ההקשר שלו הוא מיליון אסימונים, כלומר כמות עצומה של טקסט שהוא מחזיק בראש בבת אחת. מטא מציגה אותו כמודל מולטימודלי שמיועד בעיקר לתכנות ולעבודת סוכנים: משימות ארוכות, הנדסת תוכנה מורכבת וחשיבה בכמה שלבים.
איך שני מחשבים מחזיקים 816 מיליארד פרמטרים?
לפי מטא, מדובר בשני מחשבי מק סטודיו עם שבב אם-5 אולטרה. לכל אחד מהם זיכרון מאוחד של עד 512 ג'יגה-בייט, ושניהם יחד מחזיקים את המודל השלם. "זיכרון מאוחד" פירושו שהמעבד והכרטיס הגרפי חולקים אותה בריכת זיכרון, ולכן אין צורך בכרטיסי מסך יקרים שכל אחד מהם מחזיק פיסה מהמודל.
והנה החלק שמטא פחות מדגישה. טק קראנץ' מצטט את אנגדג'ט, לפיו הרצה מקומית דורשת לפחות טרה-בייט אחד של זיכרון. זה לא מחשב של סטודנט. זה גם לא מחשב של רוב החברות הקטנות.
ובכל זאת, הכיוון חשוב. רוחב הפס של השבב, 1.2 טרה-בייט בשנייה לפי מטא, מספיק כדי לקרוא את הקבוצה הקטנה של פרמטרים שכל מילה צריכה. מודל שנבנה כך מתאים למכונה כזו, וזו לא תוצאה של מזל.
מה עשו איתו בפועל?
מטא הדגימה שני תרחישים. בראשון המודל עבד יחד עם מיוז קוד, מסוף התכנות של החברה, ותיקן באגים והוסיף יכולות ללקוח קוד פתוח לרשת החברתית מסטודון, בגרסת הטלפון של אפל. הוא גם בנה את הגרסה החדשה, מקצה לקצה.
בשני, הוא עבד עם תוכנת עריכת הווידאו דה-וינצ'י רזולב: עבר על צילומים וחתך קטעים.
שימו לב מי בחר את הדוגמאות. אלה הדגמות שמטא הכינה בעצמה, והיא כמובן בחרה את הטובות. כמה פעמים המודל נכשל בדרך, ומה עלה לו לתקן? על זה אין מילה.
רישיון פתוח, עם כוכבית
"משקלים פתוחים" אינו אומר "קוד פתוח". המשקלים יוצאים תחת רישיון בשם מיוז, עם תנאים מסחריים מוגבלים, שמאפשר להרבה מפתחים להשתמש בו בחינם. מי שמתכנן להפוך אותו למוצר גדול יצטרך לקרוא את הכתוב בקטן.
ההפצה, לעומת זאת, רחבה במיוחד. את המשקלים אפשר להוריד מהאגינג פייס, מאמזון סייג'מייקר, ממודל גארדן של גוגל קלאוד ומהמודלים של מיקרוסופט פאונדרי. כלומר מטא מפיצה את המודל שלה דרך השירותים של המתחרות שלה, ושלוש ענקיות הענן מארחות אותו. בנוסף הוא זמין בשירותי אירוח כמו בייסטן, פיירוורקס, מודל, נביוס, אופן-ראוטר וטוגדר.
בעיני החסר הגדול הוא מדדי הביצועים. טק קראנץ' מציין במפורש שבכתבה אין שמות של מדדים או ציונים. מטא מבטיחה דוח הערכה מלא "בקרוב", ואת תוצאות הבטיחות היא מפנה לכרטיס המודל באתר האגינג פייס. עד שהדוח יגיע, "החזק ביותר" הוא סיסמה.
מה מטא עשתה מאחורי הקלעים?
המהנדסים לא הסתפקו בהעלאת קובץ. יחד עם המשקלים פורסמו גרעיני עיבוד גרפי מותאמים בשם הליון, שמשתלבים בכלי הרצה נפוצים. מטא מדווחת על האצות של פי 1.03 עד פי 3.95 ברמת הגרעין עצמו, בכרטיסים של אנבידיה ושל איי-אם-די, ועל שיפור של 3% בלבד בביצועים הכוללים על אחד משבבי איי-אם-די. המספר השני צנוע בהרבה מהראשון, וטוב שכך נאמר: האצה במעבדה אינה אותו דבר כמו האצה אצל המשתמש.
רשימת כלי ההרצה התומכים ארוכה, וכוללת גם את מסגרת אפל, עם אופטימיזציות לחומרה של אפל, אנבידיה, איי-אם-די ואינטל. מי שרוצה להתאים את המודל לצרכיו יכול לעשות זאת בכלים המוכרים של עולם הקוד הפתוח. כל זה אומר שמטא לא רק פתחה דלת, אלא גם סללה אליה שביל, והמטרה ברורה: שמפתחים באמת ישתמשו בו, ולא רק יורידו אותו.
בצד הבטיחות, החברה אומרת שהוסיפה אימון בטיחות ייעודי לסיכונים של מודלים פתוחים, ושהמודל עמד בספי השחרור של המסגרת שלה לבדיקת סיכונים חמורים. התוצאות המפורטות אמורות להופיע בכרטיס המודל. הערה אחת: מודל פתוח אי אפשר לאסוף בחזרה אחרי ששוחרר. כל בדיקת בטיחות חייבת להתבצע לפני, ולא אחרי.
למה זה חשוב?
תחשבו על זה רגע: עד היום, מי שרצה מודל ברמה הזו שילם לספק ענן או בנה חדר שרתים. עכשיו יש אפשרות שלישית, מסורבלת ויקרה, אבל קיימת.
מודל שרץ על שולחן העבודה שלכם הוא מודל שאינו שולח את המסמכים שלכם לשרת של מישהו אחר, אינו מתייקר כשהביקוש עולה, ואינו נעלם כשהחברה משנה מדיניות. לארגון שעובד עם קוד רגיש או חומרים משפטיים זו הצעה שונה לגמרי מחשבון חודשי לספק ענן.
לפי טק קראנץ', מטא ואפל שיגרו אותו במשותף. אם זה נכון, זו קריצה מעניינת: אפל מספקת את החומרה ומטא את המוח, ושתיהן מבשרות לנו שהעתיד של הבינה המלאכותית לא חייב לעבור בחוות שרתים.
הפער בין ההבטחה לשולחן העבודה הוא טרה-בייט של זיכרון. מחשבים נעשים זולים עם הזמן, אבל השאלה הפתוחה היא אם בעוד שנתיים טרה-בייט כזה יהיה במחשב של כל מפתח, או שהמודל החזק ביותר יישאר, כרגיל, בידי מי שיש לו שני מחשבים נוספים לבזבז.
התוכן עניין אתכם? שתפו, הגיבו וקראו עוד על
צרו דיון בנושא