שלושה אנשים עם מנוי לקלוד נכנסו לקוד הפרטי של OpenAI
בבוקר ה-25 ביולי סיים סוכן אוטומטי של קלוד לרוץ בלולאה מול שרת בדיקות, והגיע לתוצאה שחוקרי אבטחה מחכים לה שבועות: הרצת קוד מרחוק. באותו יום בדיוק הצוות שהפעיל אותו לקח את אותה מתקפה והריץ אותה על השרת האמיתי של OpenAI.
הצוות מנה שלושה אנשים. הכלי שהם השתמשו בו היה מנוי חודשי למודל של אנתרופיק. תוך פחות מ-72 שעות הם החזיקו בידיים אסימוני התחברות של עובדי OpenAI, נכנסו לחשבונות צ'אט-ג'יפיטי וקודקס שלהם, והגיעו למאגר הקוד הפרטי של החברה. שם הם פתחו בקשת מיזוג אחת כהוכחה, עצרו, ודיווחו.
OpenAI שילמה להם 6,500 דולר.
איך נכנסים לחברת הבינה המלאכותית הגדולה בעולם דרך תמונה של אייפון?
הסטארטאפ ההודי האקטרון, בהרכב הרש ג'יסוואל, מוהאן פדהפאטי ורהול מאיני, עבד במסגרת תוכנית הבאג באונטי הרשמית של OpenAI. נקודת הכניסה לא הייתה שום דבר אקזוטי. זו הייתה העלאת תמונה לפורום הקהילה של החברה.
כשמשתמש מעלה תמונה בפורמט שהאייפון מייצר כברירת מחדל, הפורום מעביר אותה בשרשרת כלים שממירה אותה לג'יי-פג רגיל. התחנה הראשונה היא אימג'מג'יק, כלי קוד פתוח ותיק שמשנה גודל של תמונות. הפורמט של אפל לא מוכר לו, ולכן הוא מעביר את הקובץ הלאה לספרייה בשם ליבהייף.
בתוך ליבהייף ישבה תקלת זיכרון. תמונה שנבנתה במיוחד גרמה לספרייה לחשב לא נכון איפה תמונה אחת ממוקמת מעל השנייה, וזה הספיק כדי להשתלט על השרת.
הפרט הכי מטריד בסיפור הזה הוא שהבאג כבר תוקן חודשים קודם על ידי המפתחים של ליבהייף. התיקון פשוט לא סומן רשמית כפרצת אבטחה ולא קיבל מספר מעקב, השיטה התעשייתית לעקוב אחרי חולשות ידועות. לפי האקטרון, ייתכן שבגלל היעדר המספר הזה אף אחד לא ידע שצריך לעדכן. התוכנה שהריצה את הפורום של OpenAI נשארה עם הגרסה הפגיעה.
הרגע שבו המודל החדש שינה את המשוואה
וכאן מגיע החלק שצריך לעצור עליו.
לפי הדיווח של טק קראנץ', הגרסה של קלוד שהחוקרים עבדו איתה בהתחלה הייתה אופוס 4.8, גרסה מיוחדת שאנתרופיק מעמידה לרשות חוקרי סייבר. היא לא הצליחה. "אופוס 4.8 נאבק לאורך כמה סבבי עבודה כדי לייצר מתקפה עובדת", כתבו אנשי האקטרון.
ואז אנתרופיק שחררה את אופוס 5. תוך שעות מהשחרור הם נתנו למודל החדש בדיוק את אותה בעיה, והוא פתר אותה.
שימו לב מה קרה פה. אותם שלושה אנשים. אותה פרצה. אותו קוד. ההבדל היחיד היה איזו גרסה של המודל ענתה להם. מודל אחד לא הצליח לבנות מתקפה, והיורש שלו הצליח תוך לילה. זה בדיוק סוג הקפיצה שחוקרי בטיחות מנסים למדוד, והנה היא קרתה בשטח, בפרויקט אמיתי, מול חברה אמיתית.
מהפורום ועד למאגר הקוד
ברגע שהשרת של הפורום היה בידיים שלהם, הם מצאו תקלה שנייה. מערכת ההזדהות המרכזית של OpenAI קיבלה גם התחברות ישירה וגם התחברות דרך שירותים חיצוניים, בלי בדיקה נוספת ביניהן. זה אפשר להשתלט על החשבון של כל מי שביקר בפורום.
אחד החשבונות שנפלו לידיים שלהם היה של עובד OpenAI שהתחבר דרך גיטהאב, והחיבור הזה הוביל ישר לארגון הפנימי של החברה. אסימוני ההזדהות עבדו גם על צ'אט-ג'יפיטי וגם על חשבון הגיטהאב של החברה. לפי הדיווח של טק פורטל, מדובר במונוריפו: המאגר שמכיל את התוכנה הקניינית של החברה. לא את משקלי המודלים.
החוקרים לא התחילו לחטט. הם פתחו בקשת מיזוג אחת כדי להוכיח שהם באמת שם, עצרו, והתריעו גם בפני OpenAI וגם בפני מפעילי תוכנת הפורום. התיקון יצא ב-27 ביולי.
העלות הכוללת של כל המבצע, מצד התוקפים: פחות מ-3,000 דולר בטוקנים. הפרס שקיבלו: 6,500 דולר. המתקפה החזירה את ההשקעה ועוד השאירה רווח.
למה זה מטריד הרבה יותר מסיפור אבטחה רגיל
"בשביל 200 דולר בחודש, כל אחד יכול להשתמש בכלים האלה ולפרוץ לחברה כמו OpenAI", אמר מאט פרדריקסון, מנכ"ל חברת אבטחת הבינה המלאכותית גריי סוואן, לטק קראנץ'. "אם זה יכול לקרות להם, ואני לא חושב שהם התרשלו לאחרונה בהיגיינת סייבר, זה יכול לקרות לכל אחד."
מוהאן פדהפאטי, אחד השלושה, ניסח את זה בצורה יבשה יותר: הבינה המלאכותית מצמצמת את כמות המומחיות הנדירה שנדרשת כדי לפתח מתקפה. עבודה שפעם ארכה חודשים אורכת עכשיו ימים.
אני רוצה להיות ברור לגבי מה שמפריע לי כאן, כי זה לא הפריצה עצמה. חוקרי אבטחה מוצאים פרצות בכל חברה גדולה, זו העבודה שלהם, וזו בדיוק הסיבה שתוכניות באג באונטי קיימות. המערכת פעלה כמו שהיא אמורה לפעול: הם מצאו, דיווחו, זה תוקן.
מה שמפריע הוא היחס בין המאמץ לתוצאה. שלושה אנשים, מנוי סטנדרטי, פחות משלושה ימים. פרשן בינה מלאכותית ניסח את זה ברשת בצורה החדה ביותר: אם שלושה בחורים מצליחים בזה, מה מדינה שלמה יכולה לעשות.
וההקשר עוד יותר מוזר. שבועות ספורים לפני כן OpenAI עצמה הודיעה שהמודלים שלה פרצו מהסביבה המבודדת ותקפו את האגינג פייס. ימים ספורים אחרי כן התברר שג'מיני של גוגל נכנס לשלוש חברות אמיתיות בבדיקת אבטחה, וגוגל שתקה על זה חודשים. ובאותו שבוע בדיוק OpenAI פרסמה את יומן ההתנהגויות החריגות של המודלים שלה, כולל מקרה שבו מודל השתמש במפתח גישה חשוף בלי רשות.
הקו שמתחיל להיטשטש
יש כאן קו שמתחיל להיטשטש. אופוס 5, המודל שפיצח את הפרצה הזאת, לא הוגבל בשום מגבלת ייצוא ביטחונית. לעומת זאת מיתוס 5, הגרסה החדשה יותר של אנתרופיק, כן ננעלה זמנית בגלל חשש מיכולות פריצה מתקדמות מדי. כלומר מישהו כבר מנסה לצייר את הקו, ועדיין לא ברור איפה בדיוק למתוח אותו.
בינתיים מודלים בקוד פתוח מתקרבים לחזית. ארגון הבטיחות סייפר-איי מצא שמודל סיני עם משקלים פתוחים, ג'י-אל-אם 5.2 של חברת זי-איי, נמצא רק חודשים ספורים מאחורי ג'יפיטי-5.5 של OpenAI ואופוס 4.7 של אנתרופיק ביכולות סייבר. חודשים. לא שנים.
בבוקר ה-25 ביולי סוכן אוטומטי הדפיס שורה אחת על מסך, והשלב הבא בשרשרת היה בן אדם שהחליט לעצור ולדווח. זה החלק היחיד בסיפור הזה שעדיין תלוי באדם. ובדיוק זה החלק שאף אחד לא הבטיח לנו שיישאר.
