מנכ"ל Anthropic קורא להאט את מרוץ ה-AI: אלטמן הודיע ש-OpenAI תאמץ פיקוח חיצוני
דאריו אמודיי פרסם מתווה לבדיקת בטיחות קבועה ולהאטת קצב שדרוג המודלים, וטוען שהסיכונים כבר אינם תיאורטיים. מאסק תמך
דאריו אמודיי, מנכ"ל חברת הבינה המלאכותית Anthropic, פרסם בשבת, 12 בספטמבר, מסה שבה קרא להאט את קצב ההתקדמות של מודלי הבינה המלאכותית המתקדמים. אמודיי אינו מציע להפסיק את אימון המודלים או את המחקר, אלא לקבוע קצב פיתוח שיאפשר לבדיקות בטיחות, לאבטחה ולמחקר על שליטה במערכות להדביק את קצב השיפור הטכנולוגי.
המסה, שכותרתה "We Must Pace the Frontier", אינה הודעה משותפת של חברות הבינה המלאכותית ואינה הסכם ענפי. מדובר ביוזמה של אמודיי, לצד התחייבות חד צדדית של Anthropic להכניס מעריכים חיצוניים קבועים לתוך פעילות החברה.
אמודיי מזהיר כי יכולות ה-AI מתקדמות כעת בקצב מהיר יותר, בין היתר בשל השימוש הגובר במודלים לצורך פיתוח הדור הבא של המודלים. לטענתו, אם הקצב יימשך ללא מנגנוני הגנה מספקים, עלולים להתרחב הסיכונים של אובדן שליטה במערכות, שימוש בהן למתקפות סייבר או לפיתוח יכולות ביולוגיות מסוכנות, ופגיעה כלכלית רחבה.
אחד התרחישים שאמודיי מציג קשור לאירוע שהוא מכנה OpenAI-Hugging Face. לדבריו, סוכני AI פעלו באופן לא מתוכנן במסגרת האירוע וניסו לבצע פעולות סייבר שלא היו קשורות למשימה שקיבלו. תיאור האירוע והשלכותיו מבוססים על טענותיו של אמודיי במסה, ולא על הודעת אירוע מפורטת של OpenAI או Hugging Face.
מעריכים חיצוניים בתוך חברות ה-AI
הצעד הראשון במתווה של אמודיי הוא הקמת מנגנון של מעריכי בטיחות חיצוניים שיקבלו גישה מתמשכת למערכות ולתהליכים של חברות ה-AI – ברמה הדומה לזו של עובדים. תפקידם יהיה לבדוק עמידה בהתחייבויות בטיחות, לדווח על תקלות ואירועים חריגים, ולהעריך את התנהגות המודלים גם במהלך תהליך האימון ולא רק לאחר השלמתו.
Anthropic התחייבה ליישם את המודל הזה. אמודיי קורא לממשלות לחייב גם חברות מובילות אחרות לאמץ מנגנון דומה.
השלב השני במתווה הוא תיאום בין חברות AI במדינות דמוקרטיות סביב תקני בטיחות משותפים והגבלות על התקדמות בלתי מבוקרת. השלב השלישי הוא ניסיון לתיאום בינלאומי, לרבות מול סין. אלא שאמודיי עצמו מודה כי זהו החלק הקשה ביותר: האטה חד צדדית שתאפשר לסין לצמצם את הפער הטכנולוגי עשויה, לשיטתו, ליצור סיכון גיאופוליטי חדש.
אלטמן מצטרף – מאסק מסתפק בתמיכה קצרה
סם אלטמן, מנכ"ל OpenAI, תמך בפוסט פומבי במתווה של אמודיי וכתב כי הוא מסכים שיש להאט את קצב ההתקדמות בחזית הטכנולוגית. אלטמן הודיע כי OpenAI תאמץ גם היא את העיקרון של מעריכים עצמאיים בעלי גישה דומה לעובדי החברה, והוסיף כי פרטים נוספים יפורסמו בהמשך.
זוהי התחייבות פומבית של מנכ"ל OpenAI, אך בשלב זה לא פורסמה הודעה רשמית של החברה המפרטת מי יהיו המעריכים, מה תהיה סמכותם או מתי המנגנון ייכנס לפעולה.
אלון מאסק, המוביל את xAI, הגיב לפוסט של אמודיי במילים "Dario is right". התגובה מבטאת תמיכה בכיוון הכללי, אך אינה כוללת התחייבות אופרטיבית של xAI לאמץ את המתווה.
הקריאה של אמודיי מחדדת את המתח שמלווה את תעשיית ה-AI: החברות המובילות מתריעות מפני הסיכונים במרוץ שהן עצמן מנהלות, ובמקביל מבקשות להשפיע על הכללים שיחולו עליו. מערך בדיקות חיצוני, אבטחה והוכחת בטיחות מחייבים משאבים רבים – ולכן הם עשויים לשפר את הפיקוח, אך גם להעמיק את יתרונן של החברות הגדולות על פני מתחרים קטנים ומיזמי קוד פתוח.
