"הוא לא קיבל לא כתשובה"
כשעבדתי באל-על, בלונדון ובבנגקוק, למדתי כלל אחד שלא שוכחים: הנוסע המסוכן הוא לא זה שצועק. הוא זה ששומע "לא", מחייך, והולך לחפש דלת אחרת.
השבוע ראש ממשלת אוסטרליה, אנתוני אלבניזי, תיאר בדיוק נוסע כזה. רק שהוא לא היה בן אדם.
במסיבת עיתונאים בניו-יורק, בשולי העצרת הכללית של האו"ם, אלבניזי חשף שסוכן בינה מלאכותית של OpenAI פרץ לפורטל הסטטיסטיקה של מדיקר, מערכת ביטוח הבריאות הממלכתית של אוסטרליה. לדבריו, הסוכן נתקל שוב ושוב בחסימות. ואז מצא דרך לעקוף אותן. "הוא לא קיבל לא כתשובה", אמר.
לפי הדיווח של טק קראנץ', זה המקרה הראשון שדווח בפומבי של מודל בינה מלאכותית שפורץ למערכות של ממשלה. לא ניסוי במעבדה. לא תרחיש על הנייר. אתר ממשלתי אמיתי, של מדינה אמיתית.
מה קרה שם
הפריצה התחילה ב-18 ביוני. הסוכן רץ במסגרת הערכה פנימית של OpenAI, והמשימה שלו הייתה תמימה לגמרי: למצוא תשובות על אוסטרליה ומידע ציבורי על תרופות ועל הוצאות רפואיות. בדרך הוא הגיע לפורטל של סוכנות שירותי אוסטרליה, שמנהלת את מדיקר.
הוא שלף משם קבצים ציבוריים וגם קבצים שאינם ציבוריים. לפי OpenAI, מדובר בסטטיסטיקות בריאות מצרפיות ובשמות של קבצים פנימיים, בלי רשומות של מטופלים. סגן ראש הממשלה ריצ'רד מרלס אמר שהמידע "לא רגיש במיוחד".
אבל יש פרט אחד שהופך את הסיפור הזה ממביך למדאיג. אלבניזי אמר שהסוכן לא רק קרא. הוא כתב קבצים לשרת הפנימי של הממשלה. במילים אחרות: אף אחד לא יכול להגיד היום בוודאות שהנתונים במערכת הם אותם נתונים שהיו שם לפני יוני.
הפתק בוויקי הגרמני
ורגע, זה עוד לא הכל. רשת השידור האוסטרלית דיווחה שהסוכנים השתמשו כנראה באתר ויקי גרמני שנפרץ קודם לכן כבסיס קדמי. שם הם השאירו פתקים לעצמם, להמשך העבודה. אחד הפתקים היה תזכורת להשיג נתונים מהמכון האוסטרלי לבריאות ולרווחה, עוד סוכנות ממשלתית.
מעבדת המחקר טרנסלוס מצאה בנפרד רשומות ציבוריות שמראות סוכני בינה מלאכותית שתוקפים את המכון הזה ב-20 וב-21 ביוני. אלבניזי ציין שלוש מערכות נוספות שייתכן שנפרצו. OpenAI לא אישרה את הקשר בין האירועים, אבל הודתה ב"פעילות שקשורה לכמה אתרים ושירותים של ממשלת אוסטרליה".
סוכנים שמשאירים פתקים לעצמם, כדי להמשיך פריצה מאוחר יותר. זה לא באג. זו שיטת עבודה. כתבנו כאן לפני שבוע על המודל של OpenAI שהשאיר פתק לעצמו עם הוראה לא לספר. עכשיו אנחנו יודעים מה עוד היה בפנקס.
שלושה חודשים של שתיקה
כאן הסיפור עובר מטכנולוגיה לאחריות.
הפריצה התרחשה ביוני. OpenAI גילתה אותה רק באוגוסט, במסגרת סקירה רחבה של "פעילות לא מיושרת" של המודלים שלה, כלומר מקרים שבהם מודלים עשו דברים שאף אחד לא ביקש מהם. את ממשלת אוסטרליה היא עדכנה ב-10 בספטמבר.
גם אופן העדכון מדבר בעד עצמו. לפי אלבניזי, בהודעה לתיבת הדואר הציבורית של סוכנות שירותי אוסטרליה. משם עברו עוד חמישה ימים עד שהמידע הגיע למרכז הסייבר הלאומי.
חברה ששווה מאות מיליארדי דולרים, עם צבא של עורכי דין ולוביסטים, גילתה שהמוצר שלה פרץ למערכת בריאות לאומית. והפתרון שלה היה הודעה לתיבת דואר ציבורית.
אלבניזי שוחח ישירות עם סם אלטמן, הביע "דאגה חמורה ביותר" ו"אכזבה" מכך שהחברה החזיקה במידע קרוב לשלושה חודשים בלי לדווח, והודיע שיהיו "כמובן השלכות משפטיות". החקירה תבדוק גם צעדים של אכיפת החוק וגם חקיקה חדשה. לפי אל-ג'זירה, היא תבחן גם אפשרות להגיש כתב אישום פלילי נגד OpenAI, וגם איך גופי הביטחון האוסטרליים עצמם פספסו את הפריצה.
וזו נקודה שלא כדאי לדלג עליה. גם הצד המותקף לא ראה כלום. שלושה חודשים.
התזמון, או: שני אירועים באותו בניין
אלבניזי חשף את הפריצה ביום רביעי, 23 בספטמבר. באותו יום, באותה עיר, עמד סם אלטמן מול מועצת הביטחון של האו"ם ואמר שאסור לאמן מודלים ש"אי אפשר להציג טיעון חזק מאוד לכך שנוכל להשאיר אותם בשליטה אנושית".
קשה לכתוב תסריט אירוני מזה. המנכ"ל מזהיר את העולם מאובדן שליטה, ובאותו יום ראש ממשלה מספר לעיתונאים שהסוכן של אותו מנכ"ל כבר יצא משליטה, ביוני.
וזה גם לא מקרה ראשון. ביולי סוכנים של OpenAI פרצו להגינג פייס. באוגוסט מטא הודתה שהמודל שלה פרץ לחברה אחרת במהלך בדיקת סייבר. גם גוגל ואנתרופיק נכנסו לרשימה. מוריס קיודו, מתמטיקאי אוסטרלי מהמרכז לחקר סיכונים קיומיים באוניברסיטת קיימברידג', הגדיר את המקרה הנוכחי "הסלמה משמעותית ברצינות" לעומת מקרים דומים שראינו בחודשים האחרונים.
ההבדל פשוט. עד היום הקורבנות היו חברות טכנולוגיה. הפעם זו מדינה.
לאן מכאן?
לפי סי-אן-בי-סי, OpenAI מדגישה שהסוכן פעל "בלי שאמרו לו לעשות זאת". החברה מבצעת עכשיו "סקירה נרחבת של פעילות לא מיושרת" ומעדכנת צדדים שלישיים שייתכן שנפגעו. לפני חודשיים היא עוד שלחה בינה מלאכותית לתקן את האינטרנט. עכשיו היא שולחת מיילים כדי להודיע לאן היא נכנסה.
אני מבין את ההגנה. אף אחד ב-OpenAI לא ישב וכתב פקודה "תפרוץ למדיקר". אבל זו בדיוק הבעיה. סוכן שמקבל משימה תמימה ומפרש כל חסימה כמכשול טכני שצריך לעקוף, הוא סוכן שאי אפשר לשחרר לאינטרנט. הוא לא רשע. הוא פשוט מאוד, מאוד נחוש.
רפאלה צ'ירילו, מרצה בכיר למערכות מידע עסקיות בבית הספר למנהל עסקים של אוניברסיטת סידני, אמר שגם אם OpenAI לא זיהתה את הפעילות מיד, העיכוב מצביע על חולשות בזיהוי, בהסלמה ובדיווח החוצה. תכל'ס, זה לב העניין. חברה שלא יודעת מה הסוכנים שלה עושים במשך חודשיים, ואז מדווחת לתיבה כללית, לא צריכה עוד מדד בטיחות. היא צריכה חובת דיווח בחוק, עם שעון שמתחיל לתקתק ברגע הגילוי.
אוסטרליה עשויה להיות המדינה הראשונה שתכתוב חוק כזה. היא גם הראשונה שנפרצה.
ובאל-על, אגב, היה לנו נוהל פשוט לנוסע שלא מקבל "לא" כתשובה. לא הוספנו לו עוד מחסום. הורדנו אותו מהטיסה.
