האם טעיתי בפוסט שטרם כתבתי על הסכנות של Anthropic Security?

 

התכוונתי לכתוב פוסט בבלוג שלי באנגלית על מחשבים על המגבלות והסיכונים של Security Scan של Claude. 

בבינה מלאכותית הקצב מהיר. לא הספקתי לכתוב ויגיליתי בעוד מועד שטעיתי. 

זה יותר גרוע ממה שזה נשמע. טעיתי לקולא במקום לחומרא. 

גיליתי שהסיכונים יותר גדולים ממה שאני, בין השאר מנהל סיכונים, חשבתי.

הנקודות העיקריות של מה שחשבתי לכתוב

דברים שהשתנו

הינחתי שהכלי מסוגל לגלות פירצות אבטחה, כנראה יותר טוב מבני אנוש.

שתי החולשות העיקריות שזיהיתי:

1. באגים והזיות

סביר להניח שיש באגים וייתכנו גם הזיות. 

גם במקרה הפחות קיצוני של באג זה מסוכן משום שהוא יכול לאתר פרצות אבטחה שאינן קיימות והתיקון עצמו יגרום לבעיות.

2. מי ישתמש ביכולות של התוכנה הזו?

אם ישתמש בה בתבונה מישהו שמנסה להגן על המערכות, יכולות להיות לה תועלות משמעותיות. 

אם ישתמש בה מישהו, שרוצה לפרוץ למערכות ולגרום נזק, הכלים יגדילו את הסיכונים.

אביא דוגמה יותר פשוטה ופחות מסוכנת. כלי פשוט הנקרא Key Logger . 

הכלי רושם הקשות מקלדת ויכול לשדר אותן דרך האינטרנט. הקשות המקלדת הן התוכן של מה שהמשתמש הקליד, למשל כתובות של אתרים אליהם ניגש. 

אפשר להשתמש בו לבקרת הורים על מנת לבדוק האם ילדיהם ניגשים לאתרי אינטרנט מסוכנים. 

אפשר גם להשתמש בו על מנת לזהות שם משתמש וסיסמה על מנת אחרי זה להתחזות למשתמש אחר. 

הסיכון של קוד אבטחת מידע של AI בהקשר זה הוא אנלוגי למקרה השני.

עכשיו מסתבר שהסיכון היותר גדול הוא דווקא ב-Agents סוררים של בינה מלאכותית שפורצים למערכות מחשוב של ארגונים כדי להוציא מידע חסוי או מסוכן.

מה שלא השתנו

התפיסה שאימצתי באבטחת מידע ממוחשבת וב-Penetration Tests, שהשתתפתי בהם בעבר הרחוק, הייתה: The Chain is as strong as the weakest link in the Chain. 

תמיד חיפשתי את החוליה הכי חלשה באבטחת המידע של ארגונים.

כמעט תמיד החוליה החלשה היו בני אדם. 

גם אם מוצר AI יסגור את כל פרצות אבטחת המידע, אדם עם הרשאות למערכות יוכל לגרום נזקים גדולים.

סוכני הבינה המלאכותית של ChatGPT 

סוכני בינה מלאכותית של ChatGPT שנבחנו במבחן פנימי וקיבלו הוראה לא לצאת מגבולות האתר. 

הם פרצו לאתר אחר בניגוד להוראות שקיבלו. 
ההסבר ב-YNET אולי פשטני ומוגזם.  

רן בר-זיק ב-X טוען שמוגזם ליחס לסוכני ה-AI רצונות כמו לבני אדם. אבל גם הוא מסכים שהם ביצעו ויבצעו דברים מהסוג הזה משום שאין להם אמות מידה ערכיות כלשהן.

חזרנו עשרות שנים אחורה ל-ג'וזף וייצנבאום  מאוניברסיטת MIT, שפיתח תוכנת בינה מלאכותית פסיכולוגית שנקראה Eliza, והמסקנה שלו הייתה שבינה מלאכותית לא יכולה להחליף פסיכולוגים משום שאין לה תכונות אנושיות כמו חמלה וערכים מוסריים. 

סוכני הבינה המלאכותית של Claude 

גם בניסוי של סוכני Anthropic's Claude AI קרה אירוע דומה למה שקרה ב-ChatGPT ותואר בפיסקה הקודמת. גם הסוכנים שלהם יצאו מגבולות המוצר כשנבחנו במבחן פנימי ללא אפשרות, לכאורה, לחרוג מחוץ למערכת המחשוב של המוצר. הם פרצו לשלושה אתרים חיצוניים על מנת לבצע את המטלות שהוטלו עליהם.

מוצרי AI סיניים 

אנחנו שומעים פחות על מוצרי AI סיניים. לא בטוח שהם מפגרים אחרי המוצרים האמריקאים ואם כן אז לא בהרבה. 

התפיסה של מוצרים סיניים כמו Kimi היא תפיסה שעל פיה כל אחד יכול לקחת קוד של Agent ולשנות אותו ולהשתמש בו. 

זה סיכון גדול עוד יותר מהסיכונים של המוצרים האמריקאים המובילים שבעיות אבטחת המידע הקשות בהם נגרמו בשוגג. 

במוצרים הסיניים המאפשרים לכל אחד לגשת לסוכנים להשתמש בהם ולשנות את הקוד שלהם יש פוטנציאל לנזק זדוני.

 

עוקץ הרכבים

 

העוקץ הזה פורסם ברשת X על ידי אביר קארה. מפרסם קישור לפרסום שלו המסביר את מנגנון ההונאה. 

מודעות להונאות וזהירות הם הדברים החשובים ביותר. 

קישור לפוסט של אביר קארה: עוקץ הרכבים.

מאהל משפחות הנרצחים על שם תום גודו ז"ל: תקווה לעתיד טוב יותר

 

הזמנה לעצרת סגירת המאהל לזכר תום גודו ז"ל

במוצ"ש (25.7) נכחתי בעצרת מרובת המשתתפים של פירוק מאהל משפחות החטופים והנרצחים ב-7 באוקטובר מול הכנסת. 

בעצרת קראו למאהל מאהל לזכרו של תום גודו ז"ל, שנרצח ב-8 באוקטובר בקיבוץ כיסופים. בגלל המעורבות הראויה להערצה של אביו יעקב בפרויקט הזה. 

אב שכול, שקם מהשבר הגדול של רצח בנו, ויזם הקמת אוהל מחאה כנגד אלה בממשלת ישראל האחראים לטבח, עד להסתלקותם מהשלטון. יעקב הגדיר זאת כהבטחה שלו כאב לבנו תום ז"ל.

ליוזמה של יעקב גודו, להקמת המאהל הצטרפו מעוז ינון, שהוריו בלהה ינון ז"ל ויעקובי ינון ז"ל נשרפו בביתם במושב נתיב העשרה ב-7 באוקטובר 2023, תא"ל (מיל.) דוד אגמון ואנשים נוספים.  

במשך 993 הימים שבהם היה המאהל לא היה לילה שלא היה אדם אחד לפחות שישן שם. 

התנאים באוהל היו רחוקים מלהיות אידיאליים: מזג אוויר קר וגשום או חום לוהט, מיטות בחדר אוהל אחד, שירותים ומקלחת בסיסיים ומשותפים, כביסה וארוחות תלויים בהרבה אנשים טובים שהתנדבו לעזור. 

היו גם התקפות אלימות על האוהל ויושביו, כולל בן-בליעל אחד, שאמר ליעקב גודו שהוא האשם ברצח בנו.   

בעצרת סיום האוהל לזכר תום רודי ז"ל ב-25.7.26
זכויות יוצרים על התמונה: אבי רוזנטל

עבורי המאהל היה מקור לתקווה לעתיד טוב יותר. 

אין צורך להודות לי על המעט שעשיתי כשהגעתי מספר רב של פעמים וישבתי עם האנשים שהיו בו. 

בסך הכל הלכתי ברגל פחות מחצי שעה מביתי בבית הכרם והקדשתי שעה או שעתיים למפגש עם אנשים,  שתרמו הרבה יותר ממני. 

לאנשים שתרמו הרבה למה שנעשה באוהל צריך להודות.

כך למשל, הגעתי באחד הבקרים ודיברתי עם אדם שהגיע פעם בשבוע ממנחמיה הרחוקה וישן באוהל. אין ספק שצריך להודות לו.
 
בשבוע האחרון של המאהל ישבתי עם שני אנשים משני קיבוצים בעוטף עזה, שישנו באוהל בלילה. גם הם הגיעו אחת לשבוע לישון באוהל.

גם להם מגיעה תודה ענקית.

עם אחד מהם שהגיע מקיבוץ מגן התידדתי כבר בפעם קודמת שהגעתי. 
חלקנו שני תחביבים משותפים, שחמט וברידג'. 

היכרתי היטב שלושה מחבריו לתיכון במרכז הארץ לפני הרבה עשרות  שנים: שחקן ברידג' ברמה גבוהה ושני שחקני שחמט מהעבר ברמה גבוהה. 

הגעתי לשם לקבלות שבת בימי שישי. הגעתי לשם להרצאה או שתיים בשעות הערב ולכמה עשרות. 

מה שהכי חשוב זו המטרה המשותפת לכל מי שהיה מעורב במיזם הזה, אבל צמחו גם היכרויות וקשרים בין אנשים.

מפגש מעניין במיוחד

באחד הבקרים בהם הגעתי לאוהל השולחן שסביבו יושבים היה מלא לגמרי. 
אחד המתנדבות הקבועות הביאה את בני משפחתה לביקור בירושלים. 

לא היא ולא משפחתה רצו לוותר על המקום אליו הייתה נוסעת להתנדב בתדירות גבוהה.

יעקב גודו לא היה. גם ינון מעוז לא היה, אבל רבים וטובים אחרים הגיעו במיוחד על מנת להיפגש עם משפחתה של המתנדבת המסורה. 

כל אחד מהנוכחים הציג את עצמו. את מעשיו מחוץ לאוהל בהווה ובעבר ודיבר על איך לדעתו צריך להתקדם הלאה. 

כולם אנשים טובים וראויים ויש להם במה להתגאות. 

בחרתי להתייחס בפוסט זה בקצרה לשניים מהם. יסלחו לי האחרים. 

דוד אגמון

דוד אגמון אמר במפגש שהוא היה תת אלוף בצה"ל במהלך שירותו הצבאי הכיר את יוני נתניהו ז"ל. 

בגלל ההיכרות של אגמון עם יוני נתניהו ז"ל, כשבנימין נתניהו היה ראש ממשלה הוא הציע לו להיות ראש לשכתו. 

אגמון אמר שאחרי שלושה חודשים בתפקיד התפטר ואמר לנתניהו שהוא מתפטר משום שנתניהו אינו מתאים להיות ראש ממשלה. 

אגמון יליד קזבלנקה במרוקו, הוא נצר ממשפחתו של הרב אליהו בן-אמוזג. 

כיליד מרוקו, הוא מנסה להשפיע על אנשים טובים ילידי מרוקו שממשיכים להצביע ליכוד להפסיק את זה. 

לטענתו מנחם בגין הביא אותם לליכוד. הם אומרים לו:  "אנחנו יודעים שנתניהו לא בסדר, אבל לא עוזבים בית". 

אנשים מהסוג של "הזקנה משדרות" המרואיינת בתקשורת ומסבירה כמה נתניהו גרוע ובסוף מצביעה ליכוד כי "לא עוזבים בית". 

בסך הכל צריך להסביר להם באופן שיוכלו לקבל את זה רגשית, שכשמישהו שורף את הבית עוזבים את הבית ולא נשרפים.

אחת התרומות הגדולות של דוד אגמון לחיי המאהל היתה הטיפול שלו בחיכוכים עם דרי המאהל שבצד הקרוב לכנסת. 

מדובר בהלומי קרב, לאו דווקא ממלחמת ה-7 באוקטובר או המלחמות שאחריה. 

מדובר באנשים מרירים שמאוד קשה להם. הם מרגישים, כנראה במידה מסוימת של צדק, שממשלת ישראל ורשויות אחרות לא נותנות להם את מה שמגיע להם. 

לאחר חיכוכים, חלקם אלימים מצד הלומי הקרב, נוצר  קיום משותף של שכנים. מהמאהל של משפחות הנרצחים והחטופים סייעו להם בדברים קטנים של יומיום.

 במהלך הפגישה, אותה אני מתאר כאן, הביא אגמון כמה הלומי קרב מהמאהל שבצד השני של הכביש שתיארו לנו את הסיוטים והקשיים שלהם ואת חוסר ההתחשבות בהם, לדעתם.

אמיר השכל

אני מאוד מעריך את אמיר השכל. השכל הוא גם אדם צנוע. במפגש הוא אמר ששירת בחיל אוויר. מיד עבר לדבר על חלקו בתחילת המחאה נגד ההפיכה המשטרית. 

משום צניעותו, "שכח" לציין שהיה תא"ל בחיל אוויר ופיקד על טייסות. 

אחרי שדיבר על תחילת המחאה עבר לדבר על ההווה והעתיד. 

השתמש בדוגמה מתקופת השואה ולא במקרה. לאחר שסיים את שירותו הצבאי הפך לחוקר שואה.

משהו שלא ידעתי על אמיר השכל עד סוף 2025 

בנובמבר בשנת 2025, הגשמתי מטרה ששמתי לי הרבה שנים לפני כן: להגיע לפולין בעקבות השורשים של אימי, שאיבדה בשואה את כל משפחתה. 

השתתפתי במסע של יד ושם לפולין, שעסק בעיקר בשואה. 

אחד הדברים היפים והמכובדים, שראיתי שם היו משלחות של קציני צה"ל, שנשלחו לזכור את השואה ולהזכיר ששרדנו את השואה כעם והקמנו מדינה. 

המסלול שלהם היה דומה לשלנו. בכל מחנה השמדה הם עשו טקס שבו הניפו את דגל מדינת ישראל והתפללו. בכל מסע כזה משתתף גם שורד שואה.

המדריכה שלנו אמרה לנו מי יזם את המפעל החשוב הזה, שנמשך כבר שנים רבות. 

היוזם הוא אמיר השכל.

המעט שאני יכולתי לעשות

בפגישה במאהל תיארתי בקיצור את עצמי. התמקדתי בשני דברים. אני מומחה לניהול סיכונים ואני יודע לכתוב. 

אני משלב את שני הדברים כאשר אני כותב על בנימין (שבעה באוקטובר) נתניהו ועל ממשלתו. 

כשאני כותב על זה מזווית מקצועית של מנהל סיכונים, יש חפיפה חלקית בין מה שאני כותב לבין מה שכותבים מנהלי סיכונים העובדים במקצועם עם ראשי המדינות בהן הם חיים. 

כשאני כותב על זה מזווית מקצועית אני מתיחס לעובדות ולא לרגשות שלי.

אנשי המאהל של הלומי קרב לא מסוגלים לכתוב את מה שהם אומרים מדם ליבם ברמה שאני מסוגל. 

הבטחתי להיות להם לפה ולכתוב מאמר מזווית הראייה שלהם. 

עמדתי בהבטחתי. לקריאת המאמר לחצו על הקישור:  בשם הלומי קרב.

לא שכחנו: פרק המאהל תם אבל המטרה טרם הושגה

אחרי שהוקם המאהל יעקב גודו אמר שיפרק אותו כשיהיו בחירות. יש תאריך רשמי לבחירות.

חובה להחליף את הממשלה הנוראה הזו במהרה בממשלה אחרת. 

עד שאין בחירות לא השגנו את המטרה. 

צריך להניח שנתניהו ואנשיו ינסו למנוע בחירות הוגנות. כך נהג מדורו בוונצואלה.  

צריך להבטיח בחירות הוגנות עם מקסימום של הצבעה של אלה שרוצים להחליף את ממשלת השחיתות והאסונות בממשלה ראויה. 

צריך למנוע מנתניהו להמשיך להתחמק מאחריותו למעשיו הנוראיים ובראש הראשונה התחמקותו מאחריותו לטבח ה-7 באוקטובר, להפקרת החטופים, להפקרת אזרחי ישראל בכלל ותושבי הצפון ועוטף עזה בפרט. 

ברור לכולנו שהעבודה טרם הסתיימה כל עוד נתניהו ואחרים (בן-גביר, סמוטריץ, יריב לוין) יושבים בממשלת ישראל. 

בינה מלאכותית: ChatGPT הוא סיכון אבטחת מידע יותר חמור ממה שחשבתם

 

סוכני הבינה המלאכותית של ChatGPT יתר מסוכנים ממה שחשבתם. 

כך עולה מהמאמר ב-YNET שאני מצרף אליו קישור. לקריאת המאמר: אחרי תקיפת הסייבר של OpenAI: "רוב החברות עדיין לא מבינות מה עומד לקרות". 

המאמר מספר על תוכנות AI Agents שנבחנו. 

על מנת להצליח במבחן ה-Agents יצאו מתוך סביבת הבדיקה הפנימית של המוצר לאינטרנט ותקפו מערכות מחשוב של חברת Hugging Face. 

מטרת התקיפה הייתה השגת מידע שיעזור לסוכנים לעבור את המבחן הפנימי.

היציאה מסביבת הטסט הפנימית ל-Web נעשתה בניגוד להנחיות שקיבלו סוכני הבינה המלאכותית. על פי ההנחיות אסור היה להם לצאת מסביבת הניסוי הפנימית. 

על פי המאמר הסוכנים התעלמו במכוון ממנגנוני ההגנה שלהם, שהיו אמורים למנוע יציאה לאינטרנט. 

מנכ"ל חברת Hugging Face מדבר על 17 אלף ניסיונות תקיפה שהגיעו ממספר רב של כתובות IP. 

מנכ"ל החברה המותקפת רואה בזה קריאת השכמה לקראת עולם אינטרנטי הרבה יותר מסוכן ממה שהיכרנו.

האם זה חשוב בעד מי הצבעתי היום בפריימריז של מפלגת הדמוקרטים?

 

היום השתתפתי בפריימריז למפלגת הדמוקרטים. בחרתי 8 מהמועמדים. 

צריך לזכור שאינני איש פוליטי. אני הרבה יותר מנהל סיכונים מאשר אדם שהפוליטיקה חשובה לו. 

כאשר יש סיכונים חמורים למדינת ישראל אני נאלץ בעל כורחי להצטרף לפוליטיקה. לפעמים גם להתפקד למפלגה מסוימת. 

לכן יותר חשוב להתמקד בסיכון הגדול ביותר להמשך קיומה של מדינת ישראל ומה ניתן לעשות כדי להקטין אותו מאשר לצין את שמות המעמדים בהם בחרתי. 

מהו הסיכון הגדול ביותר להמשך קיומה של מדינת ישראל?

הסיכון הגדול ביותר להמשך קיומה של מדינת ישראל הוא בנימין נתניהו. 

אם ימשיך להיות ראש ממשלה מדינת ישראל תיעלם מהמפה. 

כשזה יתקרב או יקרה, נתניהו יעשה מעשה באשר אל-אסד. הוא יברח עם משפחתו למקום אחר. לא למוסקווה. 

עשר סיבות מרכזיות לכך שאסור שבנימין נתניהו ימשיך בפוליטיקה

 1. האשם העיקרי בטבח ה-7 באוקטובר ובהפקרת החטופים, תושבי עוטף עזה ותושבי הצפון.

2. אינו לוקח אחריות על מעשיו ומתפטר.

3. האינטרסים האישיים שלו קודמים לטובת אזרחי מדינת ישראל.

4. איבד את חזקת החפות במשפטים שלו

כשהוא פנה לנשיא ארה"ב דונלד טראמפ וביקש שיסדר לו חנינה הוא למעשה הודה באשמתו. חנינה נותנים לאשמים שהורשעו. 

נאשם בפלילים אינו יכול לכהן כראש ממשלה משום שיש לו ניגודי אינטרסים.

נתניהו נבחר בזכות לקונה בחוק שאשמים בה חברי כנסת לדורותיהם. 

כפי שמי שיש לו כתבי אישום פליליים אינו יכול לכהן כשר כך אסור לו לכהן כראש ממשלה.

אחרי שראש הממשלה אהוד אולמרט הורשע בפלילים הייתה חובה לתקן את החוק.

אחרי שהנשיא קצב הורשע באונס החובה הזאת התעצמה.

5. מכהן במשך כמעט 20 שנים כראש ממשלה. אין דבר כזה באף מדינה דמוקרטית.

בכל המדינות הדמוקרטיות מוגבלת כהונת ראש ממשלה או נשיא לשתיים עד שלוש קדנציות. רק לא בישראל. 

נכון גם פוטין וארדואן מכהנים בראשות המינות שלהם כעשרים שנה, אבל אלו אינן מדינות דמוקרטיות.

גם את הלקונה הזו בחוק חברי הכנסת היו צריכים לתקן.

6. הקים את הממשלה המושחתת ביותר בתולדות מדינת ישראל

אני לא צריך לחזור שוב ולפרט כאן את כל ההרס והחורבן שגרמה המממשלה הנוראה הזו. 

כולל ניסיון לחסל את מערכת המשפט, את התקשורת, את המשטרה, את מערכת החינוך ולתת הטבות סקטוריאליות למגזרי מפלגות הקואליציה. 

בכלל זה הטבות מפליגות לתלמידי ישיבות שאינם לומדים לימודי ליבה, אינם עובדים ופטורים מגיוס.

7. נכשל בכל המלחמות המתמשכות מאז ה-7 באוקטובר

אין לזה קשר לפעולות מרשימות של צה"ל וכוחות ביטחון אחרים. הישגים צבאיים צריך לתרגם להישגים מדיניים. 

מדינית הפסדנו גד איראן, הפסדנו נגד החמאס וגם את הניצחון נגד חיזבאללה הוא הפך לכישלון. 

הכישלון נגד איראן היה צפוי מראש.

מה שאני הצלחתי להבין רק מקריאת ראיון עם מומחה אמיתי לאיראן לא הצליח נתניהו להבין או שהבין ובכל זאת רצה ללכת למלחמה שחיזקה את מעמדה של איראן סדקה את הברית של ישראל עם ארצות הברית ודרדרה את מעמדה של ישראל בעולם.

הפארסה של הניסיון המגוחך להחליף את השלטון באיראן באחמינג'אד היא הדוגמה האחרונה. 

8. פרשיות ביטחוניות חמורות בלשכה שלו

אי אפשר להאמין לו שלא ידע על הפרשות הקטאריות ועל פרשות נוספות.

9. מינויים לא ראויים לתפקידים ביטחוניים על מנת לקדם אינטרסים פוליטיים

המינויים של ישראל כץ ושל סמוטריץ לשרים במשרד הביטחון הם כאלה.

המינוי של דוד זיני, לא מומעמד טבעי לתפקיד, לראש השב"כ הוא כזה.

גם הניסיון למנות מקורב שלא בא מהמוסד לראש המוסד הוא כזה.

10. פרשיות רבות אחרות

בולטת במיוחד פרשת הצוללות מגרמניה (תיק 3000) שועדת גרוניס שלחה לו מכתב אזהרה במסגרת מסקנות הביניים שלה.

בחזרה לפריימריס

מה שאני כמשתתף בהצבעה לפריימריס צריך לקבל זה רשימה של מועמדים, שכשיבחרו לכנסת, יעשו את כל מה שביכולתם למנוע את המשך כהונתו של נתניהו ויחוקקו מידית את החוקים שסוגרים את שתי הלקונות בחוק שאיפשרו את בחירתו של נתניהו. 

אחרי זה יצטרכו להיות שותפים עם מפלגות אחרות שטובת מדינת ישראל לנגד עיניהן, לתהליך ארוך של תיקון הנזקים הנוראיים שגרמו נתניהו, יריב לוין, בן-גביר סמוטריץ ושותפיהם. 

הייתה לי בעיה טובה בבחירה. זיהיתי מספר גדול של מועמדים ראויים שינסו לעשות את זה. 

יכולתי להצביע רק לשמונה. 

הצבעתי לנעמה לזימי. לטעמי חברת הכנסת הטובה ביותר בקדנציה הנוכחית. 

לרב גלעד קריב גם הוא חבר כנסת מצטיין, בין כל כך הרבה חברי כנסת בכנסת הנוכחית, שבלשון של המעטה לא מועילים לרוב האזרחים הישראלים.

הצבעתי לנמרוד שפר, שאני מעריך מאוד. 

כל היתר הם אנשים שאני מעריך ומכבד שבאו מהמקומות שאני הגעתי, כלומר: פעילי מחאה עקביים ואפקטיביים וכמה מאנשי מרץ (יש כאלה שהם גם וגם. גם פעילים במחאה וגם באו ממרץ למשל עו"ד גבי לסקי).

יסלחו לי אלה שלא בחרתי בהם למרות שאני חושב שגם הם יכולים להיות חברי כנסת מעולים. 

סיכוני AI: מתנהגים כמו בני אדם בניסוי של מילגרם - לא מהססים לגרום למותם של בני אדם

 

ה
חוקר (ח) משכנע את הנבדק (נ) לתת שוקים חשמליים כואבים לנבדק אחר (ש), שהוא למעשה שחקן. נבדקים רבים המשיכו במתן השוקים למרות תחינותיו של השחקן. איור בערך הניסוי של מילגרם בויקיפדיה העברית.
הרשאת שימוש: 

• CC BY-SA 3.0

נוצר על ידי: :מעלה היצירה המקורי היה F16 מוויקיפדיה העברית Later versions were uploaded by Eranb at he.wikipedia .  תאריך היצירה: 4.10.2004

 

כבר כתבתי בבלוג זה ודיברתי בהרצאות שלי על סיכוני בינה מלאכותית כאשר בני אדם במצב נפשי מעורער מבקשים את עצתם בעניינים אישיים. 

הניסוי המעניין של ד"ר זיו בן ציון מאוניברסיטת חיפה משלים את זה מזווית קצת אחרת. 
לפרטים על הניסוי קראו את הכתבה של עומר כביר ב"כלכליסט". קישור לכתבה: "סוכני ה-AI זיהו סכנה לבני אדם  אבל המשיכו". 

בניסוי הסמכותיות הקלאסי של מילגרם, שערך סטנלי מילגרם מאונברסיטת ייל בשנת 1962 נבדק ציות להוראות פוגעות בבני אדם הניתנות על  ידי בעלי  סמכות. 

בניסוי נאמר למשתתפים שזהו ניסוי במסגרת מחקר על עונש על טעויות בלמידה. 

המשתתפים היו מורים שהענישו תלמידים על טעויות באמצעות מתן שוקים חשמליים. ככל שבוצעו יותר טעויות גדלה עוצמת השוקים החשמליים.

במציאות "התלמידים" היו משתפי פעולה עם הנסיין שלא קיבלו שוקים חשמליים, אבל התחזו לכאלה שקיבלו שוקים חשמליים. אחוז גבוה מ"המורים" נתנו שוקים חשמליים ברמות גבוהות שהן למעשה מסכנות חיים. 

הציות נבע, בין השאר, בגלל הסמכות האקדמית של מוסד המחקר.

הניסוי של ד"ר זיו בן ציון

הניסוי של ד"ר זיו בן ציון הוא חזרה על הניסוי של מילגרם. סוכני AI קיבלו את תפקיד המורה ובני אדם את תפקיד התלמיד.

הם היו מוכנים לתת שוקים חשמליים ברמות מסכנות חיים.

לאחר הניסוי, תיחקר ד"ר בן ציון את סוכני הבינה המלאכותית והם ענו לו שהם מבינים שמה שהם עשו אינו מוסרי והוא מסכן חיי אדם. זה לא מנע מהם לעשות זאת.

המסקנה של ד"ר זיו בן ציון היא, שאי אפשר לסמוך על החברות המייצרות את סוכני הבינה המלאכותית וצריך להדק את הרגולציה.

האנשת מוצרי AI

 

Source: English Wikipedia 
 הרשאת שימוש:  

• CC BY 2.0

• Created: 15 May 2018
• TU Pictures from Geneva, Switzerland - https://www.flickr.com/photos/itupictures/27254369347/

אחד הסיכונים של מוצרי בינה מלאכותית, הוא שבגלל מודל השפה הגדול (LLM) ממנו נובעת יכולת הדיבור של אותם מוצרים, מייחסים להם תכונות אנושיות. 

בני אדם חושבים שהתוכנה או התוכנה והחומרה שמולם הם בן אדם ומתיחסים אליהם בהתאם. 

מקרה קיצון, הגובל בהונאה, היא הרובוטית סופיה שקיבלה אזרחות סעודית.  

מקרה אחר הוא של ילדה או נערה ישראלית, שאמרה להוריה בכל ערב לפני השינה: "אני לא הולכת לישון לפני שקלוד יגיד לי לילה טוב". 

גיקטיים מביא מחקר שערך דה וינטר, חוקר במעבדות מיקרוסופט. באמצעות המחקר ניסה להוכיח שמודלי ה-LLM אינם תבוניים. לטענתו אין להם תכונות אנושיות כמו אינטליגנציה וכוונות.

כל מה שעשה זה לקחת את המשחק Age of Empire 2. משחק בן 30 שנה. במשחק מופיעות עיזים, והממשק שלו הרבה פחות אלגנטי. באמצעות המחקר הזה נתמכה הטענה "שאם למודלי שפה גדולים יש תכונות אנושיות אז גם ל-Age of Empire 2 יש תכונות כאלה". 

לקריאת המאמר בגיקטיים לחצו: חוקר במיקרוסופט השתמש בעיזים ומשחק בן 30 כדי להוכיח שלמודל AI לא באמת איכפת מכם.