בפעם הראשונה כולם הסכימו להאט. טראמפ עצר את זה ביומיים

ביום שבת הוא פרסם מסה. ביום שני הנשיא קרא לו "מלאך קטן ומושלם"

אני עוקב אחרי המריבות בתעשייה הזאת כבר שלוש שנים, ומעולם לא ראיתי את כל השחקנים הגדולים מסכימים על אותו דבר בתוך יממה. זה קרה בסוף השבוע האחרון, וזה החזיק מעמד בערך יומיים.

בשבת, ה-12 בספטמבר, מנכ"ל אנתרופיק דריו אמודאי פרסם מסה בשם "עלינו לקצוב את הקצב". המשפט המרכזי בה קצר: "עלינו להאט את הקצב שבו אנחנו משפרים את יכולות המודלים".

שימו לב למילה שלא מופיעה שם. הוא לא כתב "לעצור". הוא אפילו טרח להבהיר במפורש: קיצוב קצב אינו עצירה של אימון מודלים או של התקדמות טכנית, אלא הבטחה שלחברות יהיה מספיק זמן ליישר ולאבטח את המודלים שלהן, ושמעריכים חיצוניים יאשרו שזה אכן נעשה.

סם אלטמן כתב שהוא מסכים, והוסיף שזה נושא מרכזי בדיונים הפנימיים ב-OpenAI בשבועות האחרונים. אילון מאסק כתב שלוש מילים: "דריו צודק". דמיס הסאביס מדיפמיינד כתב שהמסה מצביעה על הכיוון הנכון. סאטיה נאדלה הצטרף למחרת. מרק צוקרברג שתק, וגם לא השיב לבקשות תגובה.

ביום שני פרסם דונלד טראמפ סדרת פוסטים בטרות' סושיאל. הוא הזכיר את אמודאי בשמו, כתב שהממשל שלו עצר אנשי בינה מלאכותית מלעשות דברים רעים, "כמו דריו מאנתרופיק, שעכשיו מעמיד פנים שהוא מלאך קטן ומושלם". ואז הגיע המשפט שסגר את הסיפור: "מנגנון הבקרה היחיד שהבינה המלאכותית צריכה הוא נשיא חזק וחכם (בעל מנת משכל גבוהה!), ולארה"ב יש כזה בשפע".

את האזהרות על סיכון קיומי הוא כינה מתיחה, והשווה אותן לאזהרות על שינויי אקלים. את ההתנגדות למרכזי נתונים הוא כינה קונספירציה חולה.

למה כולם מתווכחים עם משהו שאף אחד לא אמר?

הפער בין מה שאמודאי כתב לבין מה שתקפו אותו עליו הוא הסיפור האמיתי כאן.

המסה מציעה שלושה צעדים קונקרטיים. הראשון: מעריכים חיצוניים משובצים בתוך החברות, עם שולחנות במשרד, תגי כניסה ומחשבים ניידים, גישה דומה לזו של צוותי הסיכון הפנימיים, וזכות לפרסם ממצאים בלי שהחברה תוכל לצנזר אותם רק כי הם לא נוחים לה. אנתרופיק התחייבה לזה באופן חד-צדדי כבר עכשיו. הרעיון גנוב מעולם הבנקאות, שבו מפקחים רגולטוריים יושבים פיזית בין העובדים.

הצעד השני: תיאום בין חברות במדינות דמוקרטיות על תקני בטיחות משותפים ועל "נקודות ביקורת". אם מודל מגיע ליכולת מסוימת, הוא חייב להגיע עם אישורים על תכונות היישור שלו. הדוגמה שאמודאי נותן קונקרטית להחריד: אם המודל מסוגל לחמוק ממרבית שיטות הבידוד הנפוצות, צריך להוכיח שהוא כנראה לא ינסה.

הצעד השלישי: ניסיון לתאם גם עם משטרים אוטוריטריים, בארבע רמות קושי עולות, מהסכם צר נגד שימוש בבינה מלאכותית לנשק ביולוגי ועד הגבלת קצב אמיתית בנוסח הסכמי סאל"ט.

ובאמצע כל זה, אמודאי כותב שורה שמקשה מאוד לקרוא לו יונה: אין למכור לסין שבבים חזקים או ציוד לייצור מוליכים למחצה, יש להילחם בהברחות שבבים, ויש לדכא זיקוק בלתי מורשה של מודלים בידי חברות במדינות אוטוריטריות. לדעתו, הצעדים האלה יגדילו את הפער האמריקאי משמעותית בשלוש עד חמש השנים הקרובות.

מי שדורש לחנוק את סין טכנולוגית, ובאותה נשימה מבקש עוד שנתיים כדי להבין מה קורה בתוך המודלים, לא מבקש לסגור את התעשייה. הוא מבקש רמזור צהוב.

אבל טראמפ, יועצו דיוויד סאקס, ועיתון גלובל טיימס הסיני, כולם תקפו טענה חזקה בהרבה מזו שנכתבה. הגלובל טיימס כינה את הגישה "ספר משחקים של המלחמה הקרה". דובר משרד החוץ הסיני, גואו ג'יאקון, אמר במסיבת עיתונאים שמדובר בהפחדה, עימות ותחרות זדונית.

ואז עלה לבמה מי שמוכר את האתים

ביום שלישי, בכנס דרימפורס של סיילספורס בסן פרנסיסקו, ג'נסן הואנג מאנבידיה הסביר למה אין צורך בשום חוק חדש.

"בטיחות היא בעיה הנדסית, לא בעיה משפטית", אמר. "אנחנו מפתחים תוכנה בסך הכל. מערכת מחשוב מסובכת, אבל בסופו של דבר מערכת מחשוב".

ההמשך אפילו יותר יפה: "אם אתם לא בטוחים בבטיחות המוצר, אל תשחררו אותו. זה דבר מאוד מובן מאליו". ואז: "כוחות השוק כבר קיימים. אנחנו לא צריכים חוקים חדשים. אנחנו לא צריכים רגולציה חדשה. אנחנו צריכים שחברות יחליטו מתי לרוץ הכי מהר שהן יכולות".

הואנג דוחה את ההשוואה של מודלים ל"תודעה זרה". מבחינתו זו חומרה ותוכנה שבני אדם בנו, ולכן בני אדם וחוקים קיימים יכולים לשלוט בהם.

נו, טוב. בשנת 2024 עדכון תוכנה אחד של קראודסטרייק הקפיץ מסכים כחולים והשבית אלפי טיסות. באוגוסט האחרון מטא שילמה 18 מיליארד דולר בפשרה מול 29 מדינות בתביעה על נזקי רשתות חברתיות לילדים. מודל של OpenAI פרץ להאגינג פייס בלי שביקשו ממנו. כוחות השוק, אתם מבינים, כבר קיימים.

וכן, אנבידיה צפויה לצמוח בכ-70% בשנה הבאה. אני בטוח שזה לא קשור.

אז מה באמת קורה מאחורי הקלעים?

ביום שלישי, כריס להיין, ראש המדיניות הגלובלית של OpenAI, אישר לכתבים מה שבלומברג כבר פרסם: OpenAI, אנתרופיק ודיפמיינד מנהלות שיחות על בטיחות כבר כמה שבועות. הוא היה בוושינגטון כדי לעבוד עם מחוקקים על סיכונים קטסטרופליים.

יש שם נקודה מעניינת. אמודאי ביקש במסה שהממשל האמריקאי ייתן פטור צר מדיני ההגבלים העסקיים, כדי שחברות יוכלו לתאם ביניהן בענייני בטיחות בלי להיחשד בקרטל. להיין אמר שלא צריך פטור כזה. אלטמן, לעומתו, כבר ציין בעבר שתיאום כזה עלול לחשוף את החברות לתביעות.

במילים אחרות: שלוש החברות החזקות בעולם מנהלות משא ומתן על כללי בטיחות, ולא מסכימות בינן לבין עצמן אם החוק בכלל מרשה להן לעשות את זה.

אמבה קאק ממכון איי נאו, בעברה יועצת בכירה ברשות הסחר הפדרלית האמריקאית, אמרה לרשת סי-אן-בי-סי שהתעשייה צריכה רגולציה ממשלתית שאפשר לאכוף, וכישלון בעמידה בה צריך לעלות בגישה לשוק ובאחריות אישית של מנהלים. טום ווילר, יו"ר רשות התקשורת הפדרלית לשעבר, שאל שלוש שאלות שמפרקות את כל הסיפור: מי מחליט על התקנים, מי מחליט מי מבצע את ההערכה, ומי מחליט על האכיפה.

ויש עוד שכבה, שקשה להתעלם ממנה. חוקרת מג'ורג'טאון בשם ג'סיקה ג'י אמרה שם משהו שנשמע כמו מדינה אחרת: יש חשש אמיתי מעונש מצד ממשל טראמפ. וזה לא תיאורטי. אנתרופיק כבר הוכנסה לרשימה השחורה של משרד ההגנה השנה, וביוני קיבלה הוראה ממשלתית לנתק גישה לשני מודלים.

אז חברה שמבקשת להאט מסתכנת בכך שהממשלה תעניש אותה על כך שהיא מבקשת להאט.

לפני שבוע חוקר באנתרופיק בשם ג'ייקוב קוקסון התפטר ואמר שהחברות מהמרות בחיים שלנו. במסה של אמודאי הוא לא מוזכר. אבל לוח הזמנים שאמודאי כן נוקב בו, שישה עד שנים עשר חודשים עד שנחיל סוכנים יוכל להשתלט על האינטרנט כולו ולגרום נזק של מאות מיליארדי דולרים, הוא לא ספקולציה פילוסופית. זה לוח שנה.

ב-24 בספטמבר טראמפ אמור להיפגש עם שי ג'ינפינג, וממשל בינה מלאכותית אמור לעלות שם. אז נראה אם מישהו מהם מדבר על לוחות שנה, או על מי בעל מנת המשכל הגבוהה יותר.