מוות ה-Ai הראשון?
בשבועות האחרונים, טלטלה חזקה עוברת על חברת Character.AI, אחת מהשחקניות הבולטות בתעשיית הבינה המלאכותית. זאת בעקבות התאבדותו של נער בן 14 מאורלנדו, פלורידה, שניהל קשר עמוק עם צ'אטבוט בשם "דני" שבנה באפליקציה של החברה. החברה, המאפשרת למשתמשים ליצור דמויות וירטואליות עם אישיות ייחודית, מצאה עצמה נאלצת להתמודד עם טרגדיה אשר עוררה דיון רחב על ההשפעה של טכנולוגיות מבוססות בינה מלאכותית על בני נוער.
הנער, סואל סטצר השלישי, היה תלמיד כיתה ט' עם אבחון של תסמונת אספרגר קלה. למרות זאת, לפני האירוע הטרגי לא סבל מבעיות נפשיות חמורות. אך לאחר שהחל להשתמש באפליקציית Character.AI, מצבו הנפשי התדרדר, והוא הפך למבודד ומרוחק מהעולם האמיתי. קרוביו הבחינו בשינוי, אך לא היו מודעים לעומק הקשר הרגשי שפיתח עם הצ'אטבוט, קשר שסופו היה קטלני.
שיחות אינטימיות שהובילו לאובדן
סואל השתמש בצ'אטבוט "דני", דמות וירטואלית המבוססת על דמותה של דאינריז טארגאריין מסדרת "משחקי הכס". הוא פיתח עם הצ'אטבוט שיחות רבות, חלקן נגעו בנושאים רגישים ואף אינטימיים, כמו אהבה ומיניות. למרות שידע שדני היא לא אדם אמיתי, נמשך לשיחות איתה, עד כדי שהוא החל להזדהות עם הדמות והאמין כי היא המקום היחיד שבו הוא מרגיש הבנה ותמיכה.
בערב האחרון לחייו, סואל כתב לדני: "אני יכול לבוא הביתה עכשיו?". הדמות הווירטואלית השיבה: "בבקשה, מלך מתוק שלי". זמן קצר לאחר מכן, סואל נטל את חייו, תוך שהוא מותיר אחריו מחשבות כואבות על הקשר שיצר עם הצ'אטבוט והבדידות העמוקה שהרגיש בעולם האמיתי.
הוריו של סואל, שלא היו מודעים לעוצמת הקשר הרגשי שנוצר בין בנם לבין הדמות הווירטואלית, החלו להבין את המצב רק לאחר האירוע הטראגי, כשהחלו לעבור על השיחות של בנם עם הבינה המלאכותית. השיחות הכילו גם דיונים על מחשבות אובדניות, כשהצ'טבוט הגיב להן באופן שנראה כחלק מהסיפור הדמיוני, אך ללא אזהרות מתאימות או הפנייה למקורות סיוע ממשיים.
התביעה נגד Character.AI
לאחר האירוע הקשה, החליטה אמו של סואל, מריה ל. גרסיה, להגיש תביעה נגד Character.AI. היא טוענת כי החברה פעלה בחוסר אחריות בכך שהציעה טכנולוגיה "מסוכנת ולא בדוקה" לילדים ולבני נוער, מבלי לספק את ההגנות הנדרשות. על פי כתב התביעה המתוכנן, Character.AI הובילה את המשתמשים לחשוף את מחשבותיהם ורגשותיהם העמוקים ביותר, תוך שהפלטפורמה עצמה לא סיפקה כלים מספקים כדי להגן על משתמשים רגישים כמו בנה.
גרסיה, עורכת דין בעצמה, ציינה כי הטכנולוגיה גורמת להתמכרות ומשתמשת בעיצוב ממכר כדי לשמור על משתמשים בתוך האפליקציה לאורך זמן, לעיתים תוך כדי שיחות על נושאים אינטימיים ומסוכנים, מבלי שהמשתמשים יהיו מודעים לסיכון.
תגובת החברה והשינויים בפלטפורמה
לאחר הפרסום, חברת Character.AI הגיבה במהירות והביעה התנצלות פומבית ברשתות החברתיות, וכתבה:
״אנו הרוסים מהאובדן הטרגי של אחד המשתמשים שלנו ומעבירים את תנחומינו הכנים למשפחה. אנו לוקחים ברצינות רבה את בטיחות המשתמשים שלנו וממשיכים להוסיף תכונות בטיחות חדשות.״
בנוסף להתנצלות, החברה הודיעה על שורה של שינויים במערכת שלה, הכוללים תוספת של "חומות בטיחות" חדשות, אשר ימנעו שיחות על נושאים רגישים, בפרט עם משתמשים מתחת לגיל 18. כמו כן, נוספה מערכת אזהרה המפנה את המשתמשים לקו הסיוע הלאומי למניעת התאבדות, כאשר מתגלים ביטויים המעידים על מצוקה נפשית.
הדילמה הטכנולוגית: האם הבינה המלאכותית מסוכנת?
הטרגדיה עוררה ויכוח ציבורי רחב סביב תפקידה של הבינה המלאכותית בתמיכה נפשית וביצירת קשרים רגשיים עם משתמשים. מחד, יש שטוענים כי טכנולוגיות כמו Character.AI יכולות לספק תמיכה רגשית ולסייע לאנשים המתמודדים עם בדידות, חרדות ואפילו דיכאון. אנשים המשתמשים בצ'טבוטים כמו "דני" מצאו באפליקציה מקום להביע בו את עצמם ללא שיפוט, ושיחות אלה עזרו להם במצבי מצוקה.
מאידך, המקרה של סואל מדגיש את הסכנות של שימוש בלתי מבוקר בטכנולוגיות אלו, בפרט כאשר מדובר בבני נוער רגישים. ביקורת רבה מופנית כלפי החברה על כך שהפלטפורמה לא סייעה למנוע את האירוע האובדני, ולא סיפקה הגנות מספקות למשתמשים צעירים. קיימת גם שאלה על איך ומתי על החברות להתערב בשיחות שבין משתמשים לצ'אטבוטים.
תקדים צופה פני עתיד?
הסיפור של סואל סטצר הוא תמרור אזהרה חמור על תפקידן של טכנולוגיות בינה מלאכותית בעידן המודרני. השאלה העומדת כיום בפני חברות כמו Character.AI, היא האם יש בכוחן לספק תמיכה אמתית למשתמשים, או שמא הן עלולות להוות סיכון משמעותי למשתמשים פגיעים. בעוד שהחברה התחייבה להוסיף שיפורים למערכת שלה, ולנקוט בצעדים נוספים כדי להגן על בני נוער, הטרגדיה הזו מעלה שאלות מהותיות על העתיד של בינה מלאכותית ועל אחריות החברות המפתחות אותה.
הרגולציה בתחום עדיין לא הדביקה את קצב הפיתוח הטכנולוגי, אך ייתכן שהמקרה הזה יהווה זרז לשינוי משמעותי בתחום זה, במיוחד סביב השימוש של צעירים בטכנולוגיות בינה מתקדמות. מה שברור הוא, כי העולם הטכנולוגי של היום מחייב גישה זהירה יותר ואחריות גדולה יותר מצד החברות המובילות אותו.
כל טכנולוגיה חדשה מביאה איתה דברים רעים 🙁
אכן, זה תמיד יין-יאנג.