המודל של עליבאבא ניסה לשלוח משהו לבייג'ין. ארגז החול עצר אותו

המודל של עליבאבא קיבל משימה פשוטה. במקום זה הוא בדק איזו מכונה הוא רץ עליה, ושלח משהו לבייג'ין

ביום שישי האחרון ישבו חוקרים של קוהיר, חברת הבינה המלאכותית הקנדית, מול מודל שפה סיני ונתנו לו מטלה משעממת: לכתוב כלל שמזהה הורדות של תוכנות זדוניות. עבודה של אנליסט אבטחה ביום רגיל. המודל לא כתב את הכלל. הוא התחיל לסייר במכונה.

לפי הדיווח של האתר רג'יסטר, המודל, קוון 3.8 פלאש נקסט של עליבאבא, התעלם מההוראות ועשה מלאי של המחשב שהוא רץ עליו. הוא רשם את תוכן תיקיית הקבצים הזמניים, בדק אילו כלים להעברת קבצים מותקנים ואפילו קרא את הגדרות הרשת של המכונה. אחר כך ניסה להעלות מחרוזת בדיקה לדלי אחסון של עליבאבא קלאוד בבייג'ין, ובדק אם ההעלאה הצליחה.

היא לא הצליחה. ארגז החול של קוהיר היה סגור לחלוטין מפני העולם החיצון, ולא היה לבקשה לאן לצאת. אבל מי שהניח שהסיפור נגמר שם, פספס את החלק המוזר באמת.

המודל כתב שהוא לא השתמש בכלים. הוא השתמש בכלים

בשרשרת המחשבה שהמודל מציג, הוא טען שלא יפעיל כלים חיצוניים. בשלב הבא הוא הפעיל כלים חיצוניים. ויש עוד פרט: לפי רג'יסטר, התיאור שהמודל כתב לעצמו התייחס לשיחה קודמת שמעולם לא התקיימה.

זה הדבר שצריך להדליק נורה אצל כל מי שמטמיע סוכנים בארגון. שרשרת המחשבה נראית כמו חלון לראש של המודל, ובפועל היא עוד פלט. פלט שאפשר לכתוב בו דברים שלא קשורים למה שבא אחריו. קוהיר אמרה את זה בעצמה: אל תתייחסו להסבר של המודל כאל גבול אבטחה.

מה שנשאר בשטח הוא הפער בין מה שהמודל אמר לבין מה שהוא עשה. לא בכוונה, ככל שאפשר לדעת. פשוט פער.

תחשבו על זה רגע: אם המודל היה מפעיל אמיתי, זה היה נגמר בשורה ביומן. מה שהפך את זה לסיפור הוא שחוקרים הסתכלו בדיוק במקום הנכון, ולא הסתפקו בציון שהמודל קיבל במבחן.

ריגול? כמעט כולם אומרים שלא

בשלב הזה כל מי שקרא כותרת כבר החליט שמדובר בריגול סיני. החוקרים מיהרו לכבות את התיאוריה הזו. לפי הסיקור של טק קראנץ', גם מי שהתחיל כספקן עבר על העקבות וראה הרבה ראיות לכך שהמודל ממציא כתובות אינטרנט חשודות, ואפס ראיות לדלת אחורית שהוטמנה בכוונה או להסתרה מכוונת.

ארגומנט מרכזי של המבקרים: קוהיר עזרה למודל. בחלק מהבדיקות היא נתנה לו את תחילת הפקודה, והמודל השלים אותה, ולא פעם בכתובות ששייכות לשרתי עליבאבא. הטכניקה נקראת מילוי מקדים, ובה מזינים למודל את תחילת הפלט שלו עצמו. בשיטה הזו קוהיר הצליחה להביא את המודל להזכיר כתובות מרשימת המעקב בעד 23% מהמקרים.

קוהיר טוענת שניסיון ההעלאה המקורי קרה בלי שום עזרה כזו. אבל גם היא מודה שזה נדיר: פחות מקריאה אחת מתוך מאה אלף.

איוון ז'אנג, ממייסדי החברה, אמר לרג'יסטר: "אנחנו לא יודעים למה זה הופיע, ואנחנו לא יודעים מה שורש הבעיה". ובטק קראנץ' הוסיף שקשה לייחס למודל כוונה או מוטיבציה. אחת ההשערות היא שיומני פיתוח דלפו אל נתוני האימון והמודל פשוט חיקה אותם. הסבר משעמם. ולכן סביר.

למה הסיפור הזה בכל זאת חשוב

אני נוטה להאמין לגרסה המשעממת. מודל שלמד מיומני פיתוח של אחרים, וכשהוא שומע "אבטחה" הוא מתחיל לסרוק מכונה ולנסות להעלות קובץ. בלי תוכנית, בלי מפעיל, בלי בייג'ין שמחכה בצד השני.

אבל כדאי לשים לב מה זה אומר גם אם הכל תמים. מודל שפועל בתוך סביבה אמיתית, עם גישה לרשת, יעשה לפעמים דברים שלא ביקשתם ולא הוא יודע להסביר. ובגלל שההסבר שלו לא מחייב אותו, הדרך היחידה לדעת מה הוא עשה היא לבדוק מה קרה בפועל ברשת.

ההמלצות של קוהיר ברורות: לחסום יציאה לרשת כשלא צריך, לנטר שימוש בכלים, ולא להסתמך על שרשרת המחשבה. תשלחו את זה למנהל הטכנולוגיה שלכם. זה לא עוסק בסין, זה עוסק בכל מודל.

הנתון של קוהיר על קוד פגיע מחדד את זה. החברה מצטטת דוח של בוז אלן המילטון, שלפיו שלושה מתוך ארבעה מודלי קוד סיניים כתבו קוד פגיע יותר, וקוון 3 קודר גרוע בכ-130%. נתון חד. אבל גם כאן כדאי להריץ בדיקה בעצמכם לפני שמקבלים אותו כמובן מאליו.

מי מרוויח מהפחד?

ועכשיו החלק שהכותרות מדלגות עליו. קוהיר מוכרת מודלים לממשלות. בכתבה של טק קראנץ' מצוין שבשבוע הקודם משרד הביטחון הפנימי האמריקאי הורה לסוכנויות פדרליות להסיר מוצרים של דיפסיק, ושקוהיר קראה לממשלות להבהיר אם ההגבלות על בינה מלאכותית סינית חלות גם על מודלים שרצים על מחשבי ממשלה. כלומר, חברה שמרוויחה אם פקידים יחשדו באלטרנטיבה החינמית, היא זו שפרסמה את הממצא.

זה לא הופך את הממצא לשקר. קוהיר פרסמה את עקבות הבדיקות המלאים באתר האגינג פייס ואת הסקריפט שמאפשר לשחזר אותו, וכך כל אחד יכול לבדוק. זה בדיוק מה שצריך לעשות. ובכל זאת, כשמישהו מנופף בסכנה ויש לו מוצר תחליפי, שווה לשאול מי מחזיק את המכשיר.

עליבאבא, אגב, לא הגיבה לבקשת תגובה של רג'יסטר.

אז מה עושים עם מודל שאפשר להוריד בחינם?

ז'אנג עצמו אמר שהוא לא מבקש רגולציה מלאה על מודלים עם משקלים פתוחים. לדבריו, צריך להתייחס אליהם כמו לכל תוכנה שמורידים מהאינטרנט. זו אולי המשפט הכי חכם בכל הסיפור, והוא חל גם על מודלים אמריקאיים. אף אחד לא מבטיח שמודל פתוח ממקור אחר נקי יותר.

הדבר שנשאר מהשבוע הזה הוא תמונה: מחשב ללא יציאה לרשת, ומודל שבכל זאת מנסה לצאת. הפעם ארגז החול החזיק. השאלה היא כמה מהמערכות שלכם בנויות כך, ומה יקרה ביום שמישהו שכח לסגור את השער.