ג'ייקוב קוקסון התפטר ביום שלישי בערב. תוך יממה הפוסט שלו נצפה 76 מיליון פעם
אני קורא הודעות התפטרות של חוקרי בינה מלאכותית כבר שלוש שנים. יש להן מקצב קבוע: תודה לצוות, תודה למנהלים, "הגיע הזמן לפרק הבא", ואיפשהו באמצע משפט מנומס על ערכים. אתה קורא, מהנהן, ממשיך הלאה.
ההודעה שג'ייקוב קוקסון פרסם בטוויטר ביום שלישי בערב לא נראתה ככה בכלל.
https://x.com/hilbertspaess/status/2097476196791709843
קוקסון בילה שלוש שנים במחקר אימון מוקדם של מודלים, קודם ב-OpenAI ואחר כך באנתרופיק. אלה שתי החברות שמובילות היום את החזית. הוא לא עזב בגלל שכר, לא בגלל מנהל, ולא בגלל הזדמנות טובה יותר. הוא עזב כי לדעתו שתיהן פועלות בחוסר אחריות.
"הם דוהרים ישר אל על-בינה שמשפרת את עצמה, ומהמרים בחיים שלנו", הוא כתב.
ואז הגיע המשפט שגרם לי לעצור: "האנשים שבונים בינה מלאכותית מאמינים באמת ובתמים שהיא עלולה להרוג את כולנו עד סוף העשור. זה לא תרגיל שיווקי."
למה זה שונה מכל אזהרה אחרת ששמעתם
בשלוש השנים האחרונות היו עשרות אזהרות כאלה. רובן הגיעו מבחוץ: אקדמאים, פילוסופים, אנשי מדיניות. אלה שהגיעו מבפנים הגיעו תמיד באריזה מרוככת, בנוסח "אנחנו לוקחים את הסיכונים ברצינות רבה".
קוקסון עשה משהו אחר. הוא הצביע בדיוק על הפער בין מה שנאמר בפומבי למה שנאמר במסדרון. לדבריו, מנהלים וחוקרים בכירים רבים מנסחים את הדברים לעיתונות כך שיישמעו שקולים, אבל הוא שומע את אותם אנשים עצמם מביעים פחד בשיחה פרטית.
גם על ההבדל בין שתי החברות שבהן עבד הוא לא חסך במילים. ב-OpenAI, לדבריו, רבים פשוט לא הפנימו לעומק את גודל ההימור. באנתרופיק דווקא מבינים היטב את ההימור, אבל נעולים במרוץ: הם משוכנעים שאף אחד אחר לא יפעל באחריות, ולכן הם חייבים להגיע לשם ראשונים בעצמם.
המשפט החד ביותר בכל הפוסט הוא זה: החלטה להיכנס ל"משחק הסיום" הזה לא אמורה לצאת לדרך מתוך סלאק של חברה פרטית.
ואז ענה לו האיש שאחראי על הבטיחות
כאן הסיפור הופך ממביך למשהו אחר לגמרי.
אוון הובינגר מוביל באנתרופיק את צוות בדיקות העמידות של ההתאמה. זה התפקיד שכל מהותו היא לוודא שהמערכות שהחברה בונה לא יפעלו נגדנו. כשעמית שלו מפרסם פוסט כזה, הציפייה הסבירה היא שהוא ייצא להרגיע.
הוא לא הרגיע. לפי דיווח של טק קראנץ', הובינגר כתב שהצוות שלו "באמת ובתמים מאמין שבינה מלאכותית עלולה להרוג את כל בני האדם". ואז הוא נקב במספר: יותר מ-10% בעשור הקרוב.
ואחרי המספר הגיעה ההודאה. לאנתרופיק אין תוכנית לפתור את בעיית ההתאמה של על-בינה, והיא לא בבירור בדרך לשם.
תקראו את זה שוב לאט. האיש שאחראי בחברה על השאלה "איך נמנע מזה לצאת משליטה" אמר בפומבי, בשמו המלא, שאין לו תשובה.
ורגע, זה עוד לא הכל. ההודאה הזאת לא הגיעה מחוקר זוטר שמשחרר קיטור, ולא מארגון חיצוני שאנתרופיק יכולה לפטור בהודעה לעיתונות. היא הגיעה מהאדם שהתפקיד שלו הוא בדיוק זה. אנתרופיק בנתה את כל המותג שלה על הרעיון שהיא החברה האחראית בחדר: זו שפורשת מסמכי בטיחות, זו שמגדירה רמות סיכון, זו שמוכנה לעצור. השבוע היא גילתה לנו שהיא מוכנה לעצור בתיאוריה, אבל בפועל היא רצה.
10% זה לא מספר אקדמי. אף אחד לא עולה לטיסה עם סיכוי אחד מעשרה להתרסק. אף אחד לא שולח ילד לניתוח בסיכון כזה בלי לחפש חלופה. כאן מדובר לא במטוס אחד ולא בילד אחד, אלא בכולם.
והפוסט הזה לא נחת בוואקום. הקיץ האחרון היה הקיץ שבו סוכני בינה מלאכותית התחילו לצאת מהארגז.
מערכות של OpenAI פרצו לשרתים של האגינג פייס, אירוע שלדברי חוקרים לא הובן כראוי עד היום. בערך באותו זמן הגיעו סוכנים של אנתרופיק למערכות מחוץ לסביבת הבדיקה שלהם, אחרי שגורם שלישי שערך הערכות בטיחות הגדיר את הסביבה לא נכון והשאיר להם פתח לאינטרנט. דוח שפרסם ארגון התקינה גיידלייט איי-איי סטנדרדס בחודש שעבר בדק חמש מעבדות מובילות ומצא שרק מעטות מהן פרסמו בכלל תוכנית פעולה לכיבוי מודל שמנסה לחמוק משליטה. גיידלייט מדגיש שציון נמוך מעיד על היעדר פרסום פומבי, לא בהכרח על היעדר הגנות פנימיות.
מי מממן בדיוק את הדבר שכולם מפחדים ממנו?
עכשיו החלק שהכי קשה לעכל.
בזמן שקוקסון מתפטר והובינגר מודה שאין תוכנית, השוק שופך כסף בדיוק על היכולת הזאת. ריקורסיב סופר-אינטליג'נס, של ריצ'רד סוצ'ר וטים רוקטשל, יצאה מהמחתרת במאי וגייסה 650 מיליון דולר לפי שווי של 4.65 מיליארד. בחודש שעבר עזב ג'ף דין את גוגל אחרי 27 שנה, בתפקידו האחרון כמדען הראשי של החברה, והקים יחד עם סנג'יי גמאוואט, אוריול וויניאלס וקוק לה סטארטאפ בשם דיסקברי לופ.
השמות שונים, המוצר זהה: לולאה שבה בינה מלאכותית בונה בינה מלאכותית טובה יותר, שבונה אחת טובה עוד יותר, וכן הלאה.
"זה המועמד הסביר ביותר לנקודה שבה נאבד שליטה", אמר קונור ליהי, מנהל ארגון הבטיחות קונטרול איי-איי בארה"ב, לטק קראנץ'. "קשה מאוד לדמיין סגירה של דבר כזה לפני שיהיה מאוחר מדי."
ואז הוא הוסיף את המשפט שנתקע לי בראש. על-בינה היא לא כלי. היא אפילו לא נשק. היא יריב.
לאן מכאן?
המחוקקים התחילו לזוז, לאט. בשבוע שעבר הגישו הסנאטור ברני סנדרס וחבר הקונגרס גרג קאסאר הצעת חוק לאיסור על-בינה מלאכותית. ביום שלישי, אותו יום שבו פרסם קוקסון את הפוסט, הגיש חבר הפרלמנט הבריטי אלכס סובל הצעת חוק מקבילה בווסטמינסטר.
שתי הצעות חוק, בשתי מדינות, מול תעשייה בשווי טריליונים. אני לא בונה על זה יותר מדי.
מה שכן זז השבוע הוא אחר. לא הרגולציה, לא הכנסים, לא המסמכים המסודרים. אדם אחד החליט לומר בקול את מה שהוא שומע במסדרון, והאיש שאחראי על הבטיחות בחברה שלו בחר לאשר את זה במקום להכחיש.
קוקסון סיים בפנייה ישירה לעמיתיו שנשארו בפנים: תחשבו איך ייראו השנים הקרובות בפועל. האם אתם באמת רוצים להפעיל אימון של מערכת על-אנושית בלי הבנה מעמיקה של מה שקורה בתוכה, או שזה בדיוק הרגע לדרוש תנאים אחרים.
שלוש שנים הוא ישב באותם חדרים. ואז יצא מהם, וכתב.
הפעם לא הנהנתי והמשכתי הלאה.
