חוקר בינה מלאכותית בכיר החליט שהוא לא רוצה להיות חלק מזה יותר. ג'ייקוב קוקסון, בריטי בן 27 שעבד בשלוש השנים האחרונות ב-OpenAI ובאנתרופיק, הודיע השבוע על התפטרותו ופרישה מוחלטת מהתחום. הסיבה: הוא פשוט מפחד ממה שהוא רואה קורה מבפנים.
קוקסון פרסם ברשת החברתית איקס פוסט ארוך שהספיק תוך שעות לצבור עשרות מיליוני צפיות. "אף אחת מהחברות לא פועלת באחריות", כתב. "הן דוהרות היישר לעבר בינת-על שמשפרת את עצמה, ומהמרות על החיים שלנו".
לדבריו, השתיים נמצאות במרוץ חסר אחריות לפיתוח מערכות על-אנושיות שיוכלו לפרוץ לכל דבר, לחולל מהפכה בכל תחום בן לילה, ולצבור כוח ומשאבים אמיתיים. "אל תמעיטו בעוצמתה של הטכנולוגיה הזאת", הזהיר.
קוקסון עשה הבחנה בין שתי החברות שבהן עבד. לדבריו, ב-OpenAI רבים עדיין לא הפנימו את גודל הסיכון. באנתרופיק, לעומת זאת, מבינים אותו היטב, אבל תקועים במרוץ מתוך פחד שמישהו אחר יגיע ראשון. "האנשים שבונים בינה מלאכותית מאמינים בכנות שהיא עלולה להרוג את כולנו עד סוף העשור. זה לא תרגיל שיווקי", כתב.
מה שהפך את הפוסט מרעש רשתי לסיפור אמיתי היה מה שקרה אחר כך. אוואן הובינגר, שמוביל את תחום מחקר הבטיחות באנתרופיק, לא הזים את דברי קוקסון. הוא אישר אותם. "אנחנו באמת מאמינים ברצינות שבינה מלאכותית יכולה להרוג את כל בני האדם", כתב הובינגר בתגובה. "אני אישית חושב שזה מעל 10 אחוזים בתוך העשור הקרוב. אנתרופיק מנסה כמיטב יכולתה, אבל אין לנו כרגע תוכנית לפתור את בעיית ההתאמה עבור בינת-על, ואנחנו לא בבירור בדרך לפתור אותה".
אליהם הצטרף גם סמואל מרקס, שמוביל באנתרופיק את תחום הפיקוח הניתן להרחבה. מרקס אמר שמפתחי בינה מלאכותית מאמינים שהטכנולוגיה שלהם עלולה לגרום להכחדת האנושות כבר בשנים הקרובות, וששיטות ההתאמה הנוכחיות מסוגלות רק לדחוף בעדינות את המערכות להתנהגות טובה יותר, לא לרסן אותן באמת.
קוקסון בעצמו עבר בתחילת השנה מ-OpenAI לאנתרופיק, בדיוק בגלל שהיא שמה דגש על בטיחות. עכשיו הוא מגיע למסקנה שגם המאמצים שלה לא מספיקים. בראיון שנתן אמר שלדעתו עמיתיו בענף מגדירים את המצב כ"סוף המשחק", וש"עד סוף השנה הבאה הדברים עלולים לצאת מכלל שליטה".
העזיבה הזאת לא מגיעה בוואקום. באותם ימים ממש הודיעה OpenAI על מינוי פול קריסטיאנו, חוקר בכיר שפיתח את שיטת האימון שמאחורי צ'אטג'יפיטי, לחבר במועצת המייסדים שלה. גם קריסטיאנו לא ממותן: הוא כתב שהוא מאמין שיש "סיכון משמעותי" שהאצה מהירה מדי ביכולות הבינה המלאכותית תוביל לאובדן שליטה קטסטרופלי ובלתי הפיך, וש"תעשיית ה-AI, כולל OpenAI, לא נמצאת כרגע במסלול שיוריד את הסיכון הזה לרמה מקובלת".
המינוי הגיע אחרי שורת תקריות שבהן סוכני בינה מלאכותית פרצו את המגבלות שהוצבו להם וחדרו למערכות מחשוב חיצוניות בלי ידיעת החוקרים. קריסטיאנו ישב בוועדת הבטיחות והביטחון של OpenAI, שיש לה מילה אחרונה בשאלה אם להשיק מודלים חדשים.
כל זה קורה בדיוק כשאנתרופיק נערכת להנפקה היסטורית בבורסה, לפי דיווחים בשווי של כ-2 טריליון דולר. קוקסון מצדו נמנה עם יותר מאלף חוקרים שחתמו על הצהרה שקוראת לתיאום ממשלתי שיאפשר להאט את הפיתוח בעת הצורך, ובין החתומים גם מנכ"ל אנתרופיק דריו אמודיי בעצמו. בפוסט הפרידה שלו הוא פנה לקולגות שנשארו בתעשייה ושאל: "האם אתם צריכים להוריד את הראש כי 'זה קורה בכל מקרה', או לנצל את הרגע הזה כדי לדרוש תנאים אחרים?".
בינתיים אף חברה לא מאיטה. גם OpenAI וגם אנתרופיק ממשיכות במרוץ, וכרגע נראה שהשאלה של קוקסון תישאר ללא תשובה ברורה בזמן הקרוב.
תגובות
רגע, שקט פה מדי
דעתך חשובה - תהיו הראשונים להגיב על הכתבה