התכוונתי לכתוב פוסט בבלוג שלי באנגלית על מחשבים על המגבלות והסיכונים של Security Scan של Claude.
בבינה מלאכותית הקצב מהיר. לא הספקתי לכתוב ויגיליתי בעוד מועד שטעיתי.
זה יותר גרוע ממה שזה נשמע. טעיתי לקולא במקום לחומרא.
גיליתי שהסיכונים יותר גדולים ממה שאני, בין השאר מנהל סיכונים, חשבתי.
הנקודות העיקריות של מה שחשבתי לכתוב
דברים שהשתנו
הינחתי שהכלי מסוגל לגלות פירצות אבטחה, כנראה יותר טוב מבני אנוש.
שתי החולשות העיקריות שזיהיתי:
1. באגים והזיות
סביר להניח שיש באגים וייתכנו גם הזיות.
גם במקרה הפחות קיצוני של באג זה מסוכן משום שהוא יכול לאתר פרצות אבטחה שאינן קיימות והתיקון עצמו יגרום לבעיות.
2. מי ישתמש ביכולות של התוכנה הזו?
אם ישתמש בה בתבונה מישהו שמנסה להגן על המערכות, יכולות להיות לה תועלות משמעותיות.
אם ישתמש בה מישהו, שרוצה לפרוץ למערכות ולגרום נזק, הכלים יגדילו את הסיכונים.
אביא דוגמה יותר פשוטה ופחות מסוכנת. כלי פשוט הנקרא Key Logger .
הכלי רושם הקשות מקלדת ויכול לשדר אותן דרך האינטרנט. הקשות המקלדת הן התוכן של מה שהמשתמש הקליד, למשל כתובות של אתרים אליהם ניגש.
אפשר להשתמש בו לבקרת הורים על מנת לבדוק האם ילדיהם ניגשים לאתרי אינטרנט מסוכנים.
אפשר גם להשתמש בו על מנת לזהות שם משתמש וסיסמה על מנת אחרי זה להתחזות למשתמש אחר.
הסיכון של קוד אבטחת מידע של AI בהקשר זה הוא אנלוגי למקרה השני.
עכשיו מסתבר שהסיכון היותר גדול הוא דווקא ב-Agents סוררים של בינה מלאכותית שפורצים למערכות מחשוב של ארגונים כדי להוציא מידע חסוי או מסוכן.
מה שלא השתנו
התפיסה שאימצתי באבטחת מידע ממוחשבת וב-Penetration Tests, שהשתתפתי בהם בעבר הרחוק, הייתה: The Chain is as strong as the weakest link in the Chain.
תמיד חיפשתי את החוליה הכי חלשה באבטחת המידע של ארגונים.
כמעט תמיד החוליה החלשה היו בני אדם.
גם אם מוצר AI יסגור את כל פרצות אבטחת המידע, אדם עם הרשאות למערכות יוכל לגרום נזקים גדולים.
סוכני הבינה המלאכותית של ChatGPT
סוכני בינה מלאכותית של ChatGPT שנבחנו במבחן פנימי וקיבלו הוראה לא לצאת מגבולות האתר.
הם פרצו לאתר אחר בניגוד להוראות שקיבלו.
ההסבר ב-YNET אולי פשטני ומוגזם.
רן בר-זיק ב-X טוען שמוגזם ליחס לסוכני ה-AI רצונות כמו לבני אדם. אבל גם הוא מסכים שהם ביצעו ויבצעו דברים מהסוג הזה משום שאין להם אמות מידה ערכיות כלשהן.
חזרנו עשרות שנים אחורה ל-ג'וזף וייצנבאום מאוניברסיטת MIT, שפיתח תוכנת בינה מלאכותית פסיכולוגית שנקראה Eliza, והמסקנה שלו הייתה שבינה מלאכותית לא יכולה להחליף פסיכולוגים משום שאין לה תכונות אנושיות כמו חמלה וערכים מוסריים.
סוכני הבינה המלאכותית של Claude
גם בניסוי של סוכני Anthropic's Claude AI קרה אירוע דומה למה שקרה ב-ChatGPT ותואר בפיסקה הקודמת. גם הסוכנים שלהם יצאו מגבולות המוצר כשנבחנו במבחן פנימי ללא אפשרות, לכאורה, לחרוג מחוץ למערכת המחשוב של המוצר. הם פרצו לשלושה אתרים חיצוניים על מנת לבצע את המטלות שהוטלו עליהם.
מוצרי AI סיניים
אנחנו שומעים פחות על מוצרי AI סיניים. לא בטוח שהם מפגרים אחרי המוצרים האמריקאים ואם כן אז לא בהרבה.
התפיסה של מוצרים סיניים כמו Kimi היא תפיסה שעל פיה כל אחד יכול לקחת קוד של Agent ולשנות אותו ולהשתמש בו.
זה סיכון גדול עוד יותר מהסיכונים של המוצרים האמריקאים המובילים שבעיות אבטחת המידע הקשות בהם נגרמו בשוגג.
במוצרים הסיניים המאפשרים לכל אחד לגשת לסוכנים להשתמש בהם ולשנות את הקוד שלהם יש פוטנציאל לנזק זדוני.
אין תגובות:
הוסף רשומת תגובה