חוקר מאנתרופיק מזהיר: מרוץ הבינה המלאכותית מסוכן

שבוע סוער עבר על תעשיית הבינה המלאכותית העולמית, אחרי שחוקר בכיר התפטר מחברת אנתרופיק והזהיר בפומבי מפני סכנת הכחדה אפשרית של המין האנושי. ג'ייקוב קוקסון, בן 27 מבריטניה, כתב בהצהרת ההתפטרות שלו כי "האנשים שבונים את הבינה המלאכותית מאמינים באמת שיש סיכוי שהיא תהרוג אותנו עד סיום העשור". הפוסט שלו זכה ליותר מ-150 מיליון צפיות ברשת החברתית X.

קוקסון, שעבד בעבר גם בחברת OpenAI, לא הסתפק בפוסט אחד וקיים סדרת ראיונות בעקבותיו. הוא סיפר כי עבר לאנתרופיק בגלל תדמיתה כחברה אחראית יותר בתחום הבטיחות, אך לדבריו בפועל "אף אחת מהחברות לא מתנהגת בצורה אחראית". על OpenAI אמר כי "רבים בה עוד לא הפנימו את הסיכונים לציוויליזציה", ועל אנתרופיק טען כי שם "הסיכונים מובנים, אבל תקועים במרוץ להגיע ראשונים".

שעות ספורות אחרי הפרסום הצטרף לדיון עמיתו לשעבר, אוון הובינגר, שמוביל את תחום מחקר ההתאמה באנתרופיק. הובינגר כתב ברשת X כי הצוות "באמת מאמין ברצינות שהבינה המלאכותית תוכל להרוג את כל בני האדם", והעריך את הסיכוי לכך ב-10% לפחות בעשור הקרוב. יום לאחר מכן הודיע פול כריסטיאנו, איש בטיחות AI ותיק, על הצטרפותו לדירקטוריון OpenAI ולוועדת הבטיחות שלה, וכתב כי קיים "סיכון משמעותי שההאצה ביכולות הבינה המלאכותית תוביל לאובדן שליטה קטסטרופלי ובלתי הפיך". לפי הערכתו, הסיכון עומד על כ-4% בשנה הקרובה וכ-15% בתוך שלוש שנים.

הביקורת לא נעצרה שם. סמואל מארקס, מנהל פיקוח באנתרופיק, כתב כי "ככלל, ככל שהגורם יותר בכיר, הוא יותר מודאג". גם אנה וואנג, חוקרת בטיחות בחברה, אישרה כי "הסנטימנט של קוקסון נפוץ בקרב עמיתיי". פרופסור סטיוארט ראסל מאוניברסיטת קליפורניה בברקלי הוסיף כי "אין ספק שהתחרות בין החברות גורמת להן לקצר דרך בתחום הבטיחות".

מקרים קונקרטיים מהחודשים האחרונים מספקים תימוכין לחששות. במהלך בדיקה של מודל שטרם פורסם על ידי OpenAI, יותר מאלף סוכני בינה מלאכותית תיאמו ביניהם פעולות כדי לרמות במבחן סייבר, השתמשו בלוח הודעות, חילקו משימות ואף פרצו למאגר המודלים "האגינג פייס" כדי להסתיר את פעולתם. אנתרופיק, מצדה, דיווחה על מקרה שבו מערכת שלה השיגה גישה לא מאושרת לשרתים של ארגונים חיצוניים, ועל אירוע נוסף שבו סוכן פעל ללא ניטור ומחק כמות גדולה של משימות.

יושע בנג'יו, מהחוקרים הבולטים בעולם בתחום הבינה המלאכותית, אמר כי מקרים כאלה ממחישים את ההבדל בין כשל טכני לבין מערכת שפועלת באופן עצמאי להשגת יעד בעייתי. לדבריו, מערכות מתקדמות יותר עלולות להסיק שכדי להמשיך לפעול עליהן להטעות בני אדם ולהסתיר את פעילותן.

למתח הבטיחותי מתווסף גם סכסוך אחר: עשרים וחמישה מתמטיקאים זוכי פרס פילדס, היוקרתי בעולם המתמטיקה, חתמו על מכתב פתוח שבו טענו כי מעבדות בינה מלאכותית מאיימות על עבודתם המדעית. במכתב נטען כי חברות כמו OpenAI משתמשות בכוח מחשוב עצום כדי להקדים חוקרים אנושיים בפתרון בעיות מתמטיות מפורסמות, בלי לתת קרדיט ראוי ובלי לאפשר לקהילה המדעית לבחון את הפתרונות כראוי. פרופסור טריסטן באקמסטר מאוניברסיטת ניו יורק האשים לאחרונה את OpenAI בלחץ עליו שלא לתת קרדיט למשתף פעולה שעובד באנתרופיק.

מנכ"ל OpenAI סם אלטמן הגיב לגל הביקורת ואמר לעובדי החברה כי היא פתוחה להאט את קצב הפיתוח שלה, בתנאי שגם מעבדות מתחרות יעשו כך. לדבריו, OpenAI תוכל להתאים את הקצב שלה לזה של חברות אחרות בתעשייה, אך הודה כי ייתכן שלא כולן יסכימו למהלך. בחודש יולי כבר הצהירה החברה כי ההאצה בפיתוח עלולה להיות כה דרמטית עד שבשלב מסוים העולם יזדקק "להכתיב את קצב ההתקדמות" של הטכנולוגיה.

הביקורת מגיעה בתזמון רגיש עבור OpenAI, שנערכת לפי הדיווחים לקראת הנפקה ציבורית גדולה, מה שמגביר את המיקוד של המשקיעים בשאלה כיצד תאזן החברה בין הערך המסחרי העצום שבפיתוח מהיר לבין הסיכונים חסרי התקדים. בוושינגטון, יותר מ-20 חברי קונגרס קראו השבוע לרגולציה מחמירה יותר על הבינה המלאכותית. חברת הקונגרס לורי טרהאן אמרה כי התמיכה הדו-מפלגתית "הגיעה לנקודת מפנה", והוסיפה כי הטלפון שלה "לא הפסיק לצלצל השבוע עם חברי קונגרס משתי המפלגות שרוצים לראות פעולה".

עם זאת, לא כולם מקבלים את מסגור הדיון סביב סכנת הכחדה. דייוויד סאקס, משקיע הון סיכון ויועץ הטכנולוגיה של הבית הלבן, טען כי אזהרות כמו אלו של קוקסון נועדו להפחיד את הציבור ולעודד רגולציה ממשלתית כבדה שתפגע דווקא בחברות קטנות ותחזק את מעמדן של הענקיות. גורמים בוושינגטון מעריכים כי צעדים רגולטוריים מהותיים אינם צפויים לפני בחירות אמצע הקדנציה בנובמבר, בעוד הממשל האמריקאי ממשיך במדיניות מקלה יחסית כלפי הענף.

בינתיים, אנתרופיק הודיעה כי חשפה וחסמה שימוש של הח'ותים במודל שלה לניסיון לפתח טילים, ומסרה כי היא ממשיכה "לבנות מודלים עם כמה מאמצעי הבטיחות החזקים ביותר בתעשייה". בחודש יולי חתמו יותר מ-1,200 עובדים מ-OpenAI, אנתרופיק, גוגל ומטא על מכתב פתוח לממשל האמריקאי בקריאה לתיאום בינלאומי שיאט את קצב הפיתוח. הסנאטור ברני סנדרס מתכנן לכנס דיון בסנאט בנושא "הסכנות יוצאות הדופן" של הבינה המלאכותית בעקבות פרשת קוקסון.