סיכוני קוד תכנות הנוצר על ידי מוצרי בינה מלאכותית

לאחרונה מדברים הרבה על יצירה אוטומטית של קוד תוכנה באמצעות דיבור בשפה טבעית עם כלי בינה מלאכותית. המוביל הוא Claude של חברת Anthropic באמצעות Claude Code. 

המתחרה הוא ChatGPT של OpenAI. כרגע Gemini של Google מפגר אחריהם בתחום זה. 

המירוץ הזה פחות מעניין אותי. אותי מעניינים הסיכונים. 

אני מזהה הרבה Hype שיוצרים אנשים שאינם מבינים בתכנות מחשבים ומתרשמים מזה שהם יכולים ליצר קוד באמצעות דיבור בשפה טבעית עם מוצר בינה מלאכותית. 

דוגמה מהשטח 

הדוגמה לקוחה מאחד היצרנים הגדולים בעולם של חומרה ותוכנה.  

אחד המתכנתים החליט לתת למוצר AI לכתוב קוד של Firmware.

המתכנת לא בדק את התוצר או לא בדק אותו לעומק. התוצאה: באג שגרם נזקים גדולים עד שמתכנת אחר בדק ומצא את הבאג ותיקן אותו.

הטענה שהעלתי בפוסטים אחרים על פיה אין לסמוך על תוכנות בינה מלאכותית ונדרשת בדיקה של התוצאות שלהם תקפה גם בהקשר הנוכחי. 

הדוגמה הזו היא חריגה מבחינת השימוש שנעשה במוצר ה-AI. 

שימוש רגיל

יצירת פונקציית תוכנה פשוטה יחסית לשימוש מי שייצר אותה. לא יצירת מערכת מורכבת וגדולה יחסית.

 

המסקנה היא שיצירת מערכות כאלה לא תייתר מתכנתי מחשב המפתחים מערכות מורכבות והטענה שרוב המתכנתים יאבדו את מקומות העבודה רחוקה מלהיות ריאלית בטווח השנים הקרובות. 

תחזוקה ופיתוח

מקצועני מחשוב אומרים שתחזוקת מערכות (ובכלל זה קוד המערכות) היא כ-70% מהתשומות של תוכנה. 

בכל מערכת יש שינויים הנובעים מצורך עסקי או צורך אחר לשינוי פונקציונאלי ומצורך לתקן באגים במערכת.

עשויים להידרש שינויים פונקציונליים גדולים ומורכבים ובצד השני של הסקלה שינויים פשוטים וקטנים יחסית.

ברור שקשה יותר לתחזק קוד שנוצר על ידי בינה מלאכותית. 

אלגוריתמים וקידוד

קידוד הוא לרוב בעיה קטנה יחסית. הבעיה המהותית היא בחירת אלגוריתם.

לא בכדי כשסין בנתה תוכנית אסטרטגית של AI לעשר שנים היא זיהתה אלגוריתמאים כאנשי המפתח להצלחה ולכן השקיעה בלימודי מתימטיקה. 

דוגמה שתבהיר את הטענה

כשהייתי מנהל של צוות מערכות הפעלה פנו אלי ואמרו שיש בעיה בתוכנית שירות שכתב הצוות העוסקת בתאריכים לועזיים. התוכנית זייפה ביום אחד. 

היות שהתוכנית נכתבה בשפת אסמבלר והדור החדש של מתכנתי מערכות הפעלה לא הכיר אותה, ניסיתי להתמודד בעצמי עם הבעיה. 

התוכנית נכתבה 12 או 16 שנים קודם על ידי אשף כתיבה מהירה בשפה הזו. 

את תוכנית המקור כבר לא מצאתי. נאלצתי לנתח את ה-Object Code (יצוג בשפת מכונה). 

הבעיה הייתה באלגוריתם. כל 4 שנים יש שנה מעוברת שבה יש תאריך של 29 בפברואר (נדמה לי שכל 100 שנים אין שנה מעוברת. במידת הצורך המעשי אלך לבדוק האם זה נכון). 

המתכנת לא ניסה להבין מהו האלגוריתם ולממש אותו.  במקום זה קידד כקבועים בתוכנית את השנים שבהן צריכה להיות שנה מעוברת, למשל: 1984, 1988 וכו'. 

הבעיה נוצרה בדיוק 4 שנים אחרי הקבוע האחרון בתוכנית שיצג שנה.

הטיית ייצוגיות אישית

שוב אחזור להטיית ייצוגיות שכבר עלתה בהקשרים אחרים של AI בהרצאות שלי על סיכוני בינה מלאכותית.

מי שמתפעלים מהיכולת הזו הם בעיקר אנשים שאינם מקצוענים בתחום המחשבים. 

יש הרבה יותר אנשים כאלה מאשר מומחי מחשוב ולכן פוגשים יותר כאלה.

מסקנות

1. גם בהקשר הזה תקף המחקר של MIT על פיו ב-95% מהארגונים אין תועלות מעשיות של AI חרף ההשקעות הגדולות מאוד. 

בשלב הנוכחי קוד שנוצר באמצעות הוראות קוליות בשפה טבעית לא ממש רלוונטי למערכות מחשוב אירגוניות.

2. גם בהקשרים המצומצמים שניתן לפתח קוד אוטומטית באמצעות כלי AI צריך לבדוק את הקוד שנוצר. 

3. מי שמודאג מכך שאנשי מחשוב רציניים יאבדו את מקום עבודתם משום שמוצר AI יחליף אותם יכול להסיר דאגה מליבו. 

זה לא יקרה בשנים הקרובות. 

4. זה כמובן לא אומר שלא צריך להשתמש בכלי AI ולהפיק מהם תועלת. 

גם לפני הרבה שנים היו כלי Case ומוצרי BPM שיצרו קוד. 

לא ממש קוד אלא שלד. שימוש בו כנקודת התחלה לכתיבת קוד חסך משאבים. 

בהחלט יתכן שהקוד שיוצרים מוצרי בינה מלאכותית מבוססי שפה מתקדם יותר, אבל זה אינו Game Changer בשלב הנוכחי.

סיכוני מלחמת איראן 2: ראשי מדינות חסרי אחריות

 

בנימין נתניהו.דיוקן רשמי 2023.. מקור התמונה: ויקיפדיה
זכויות יוצרים: אבי אוחיון לשכת העיתונות הממשלתית. תנאי שימוש: CC BY-SA 3.0

גם מי שלא ידע את זה לפני ה-7 באוקטובר צריך לדעת את זה היום: בנימין נתניהו הוא אדם חסר אחריות, ששם את האינטרסים האישיים שלו מעל האינטרסים של מדינת ישראל ואזרחיה. 

האיש דוחף את מדינת ישראל למלחמה נוספת עם איראן שעלולה להסתיים רע מאוד עבור חלק מאזרחי ישראל, שלא מסתתרים במקלט אטומי של מיליונר. 

אתם רק צריכים לקרוא את מאמרו המעולה של רונן ברגמן בעיתון "ידיעות אחרונות" מה-19.2 שכותרתו היא היערכות היא לא פקודה יש סימנים -אבל הבהלה מיותרת  (הכותרת במהדורה המודפסת: סימנים מעידים וסימנים להיסטריה) על מנת להבין. 

השאלה הראשונה שהוא מציג במאמר היא: "מה היו תוצאות ההתקפות הקודמות?" 

התשובה היא: הן לא חיסלו את תוכנית הגרעין האיראנית הן אולי דחו את התממשותה בכשנה. 

לא נהיה קטנוניים. בפוסט קודם שכתבתי הזכרתי ידיעה עיתונאית על איש CIA, שתפקידו היה להעריך את תוצאות ההתקפה. הוא דיבר על דחייה של שלושה חודשים במימוש תוכנית הגרעין האיראנית. 

לאחר דבריו פוטר על ידי דונלד טראמפ. 

על פי המאמר של רונן ברגמן הבעיה היא היומרה של שני המנהיגים, טראמפ ונתניהו, לתאר תוצאות הרבה יותר טובות ממה שקרה במציאות. 

הדרגים הצבאיים בשתי המדינות שמרו לעצמם את התוצאות האמיתיות אבל לא רצו להסתבך עם ראשי המדינות הנקמנים (למעט, איש ה-CIA שהזכרתי בפיסקה קודמת). 

מה השתנה לרעה מבחינת מדינת ישראל?

1. ברגמן כותב שהאיראנים מעריכים שלישראל יש פחות אמצעי הגנה נגד טילים נאשר היו לה במלחמה הקודמת לכן הם עלולים לתקוף מרכזי אוכלוסייה.

אי אפשר להתעלם מנזקים משמעותיים שהטילים האיראנים גרמו למדינת ישראל במלחמה הקודמת, למשל בבית החולים סורוקה ובמכון וייצמן. 

2. לדעתו, אם רק ארצות הברית תתקוף וישראל לא תהיה מעורבת בתקיפות באיראן סביר שהאיראנים לא יתקפו את ישראל. 

זה נשמע הגיוני, שהם לא ירצו לפתוח חזית נוספת, על אף שהם מצוטטים בתקשורת כמאיימים שיתקפו את ישראל אם ארצות הברית תתקוף. 

נתניהו מחפש המשך מעורבות במלחמות מטעמים אישיים שלו. עוד סוג של "ניצחון מוחלט" כמו בעזה. 

דעתי האישית היא שמצבנו הורע גם מבחינת היכולת לסמוך על אנשים שעומדים בראש המערכת. 

אין לי ספק שהרמטכ"ל אייל זמיר מחויב לגמרי לביטחונה של מדינת ישראל וינסה לעשות את כל מה שביכולתו. דעתי זו מתייחסת גם לדרגים שמתחתיו בצה"ל. 

אי אפשר לסמוך על נתניהו האשם העיקרי במה שקרה ב-7 באוקטובר.

אי אפשר לסמוך על נתניהו שנמנע מפיתרון של היום שאחרי בעזה מנימוקים אישיים ודיבר על "הניצחון המוחלט". 

אי אפשר לסמוך על נתניהו בגלל שתי הפרשות הקטאריות.

אי אפשר לסמוך על נתניהו ועל האנשים שמינה לתפקיד שר הביטחון ולתפקיד ראש השב"כ מנימוקים לא ענייניים. 

מהי מטרת התקיפה: כורים גרעיניים או הפלת המשטר?

הפלת המשטר

ברגמן חושב כמו כמעט כל המומחים לאיראן ששמעתי, שלא ניתן להפיל את השלטון הנוכחי באיראן מהחוץ. 

ללא פלישה קרקעית עקובה מדם גם לפולשים אין היתכנות להפלת המשטר. 

ברגמן אומר שהאמריקאים מתכננים מכה כואבת במטרה להחזיר את האיראנים למשא ומתן ואינם מאמינים שניתן להפיל את השלטון באמצעות מלחמה.

העיתוי המוצלח יותר, במועד שבו היו הפגנות מרובות משתתפים באיראן, הוחמץ.

טראמפ שולף יותר ומתכנן מראש פחות.

המומחה לאיראן, שאת דעתו אני מעריך יותר מדעת מומחים אחרים, חושב שאפשר להפיל את המשטר באיראן רק מבפנים. 

מומחים רבים שגדלו באיראן חושבים כמוהו. 

זה לא אומר שסיוע מתמשך ומסיבי לגורמי אופוזיציה באיראן לא יקצר את ימיו של משטר האייטולות.

כורים גרעיניים

אני מאוד ספקן ביחס לסיכויי פגיעה קשה ביכולת הגרעינית האיראנית. מה שלא הצליח בהפתעה כנראה יצליח עוד פחות כשהאיראנים מתכוננים.

השורה התחתונה

כדאי לנו להיערך גם לתרחישים גרועים ולהימנע מאופוריה.

הזיות AI: סופיה - אזרחית סעודית

 

קארל צ'אפק  1890-1938
הרשאת שימוש: נחלת הכלל

המושג רובוט נטבע על ידי הסופר הצ'כי קארל צ'אפק. הוא המציא את המושג הרבה זמן לפני שהיה רובוט כלשהו. 

בצעירותי קראתי את ספרו המעניין "האיש שידע לעופף".

בספרו "ההיסטוריה הקצרה של ה-AI" מזכיר טובי וולש את צ'אפק בפרק העוסק ברובוטיקה. 

הוא מזכיר סופר נוסף שאני מעריך דאגלס אדמס. וולש כותב שהוא אוהב את הרובוט הדימיוני המופיע בספרו המפורסם ביותר של אדמס מדריך הטרמפיסט לגלקסיה. 

לא את כל מי שמעורב ברובוטיקה אני מעריך. את דיווויד הנסון הבן, מייסד ומנכ"ל Hanson Robotics אני לא ממש מעריך. אני לא לבד. 

וולש מדבר עליו במונחים של הונאה ולמנהל ה-AI של Meta המצוטט באותו פרק מדבר עליו במונחים שליליים יותר. 

התלבטתי כיצד להתיחס להנסון: האם כטרמפיסט של גלקסיית ה-AI? כלומר: אחד מרבים שמנצלים את ה-Hype סביב AI כדי למכור דברים לא ראויים. 

כאדם עם תפיסת עולם הזויה סביב AI?

או אולי להזכיר את הרובוט שיצר בהקשר של הסיפור על ברנרד שו שאוסיף בסוף הפוסט?

אבל קודם כל אכתוב על הרובוטית סופיה שיצר, ועל פי ספרו של טובי וולש, קיבלה אזרחות בערב הסעודית. 

הנסון ויצירתו סופיה

 

  Sophia  Robot Source: English Wikipedia

הרשאת שימוש: 

• CC BY 2.0

• Created: 15 May 2018

ITU Pictures from Geneva, Switzerland - https://www.flickr.com/photos/itupictures/27254369347/

תפיסתו של הנסון כפי שהיא מוצגת בספרו של וולש היא ש"רובוטים הדומים לבני אדם יוכלו ליצור קשרים עמוקים ומשמעותיים עם בני אדם". 

סופיה אכן דומה מאוד לאישה אמיתית. ערב הסעודית אפילו נתנה לה אזרחות.

הבעיה

כל פעם שמראיינים אותה צריך להכין מראש את כל השאלות ואז טוענים את התשובות לתוכנה. 

כשהיא מגיעה לראיון זה נשמע יפה.

ברנרד שו ואיזידורה דנקן

מספרים שהרקדנית המפורסמת איזידורה דנקן כתבה למחזאי ברנרד שו והציעה לו שיביאו ביחד בן לעולם. 

היא כתבה: "הוא יהיה חכם כמוך ויפה כמוני".

שו כתב תשובה: "מה יהיה  אם הוא יהיה חכם כמוך ויפה כמוני"? 

הרובוטית הזו מתאימה לשאלה ששאל שו: חסרת אינטליגנציה או בעלת אינטליגנציה נמוכה באופן יוצא דופן. 

כשהבינה שלך אפסית לא חשוב האם היא בינה מלאכותית או בינה אנושית חשוב שהיא אפסית.

אגב, בתחילת שנות ה-90 של המאה הקודמת הייתה לי התנסות כזו עם מוצר AI. 

בסיור מקצועי בארה"ב בחנתי שלושה מוצרי תכנה מתחרים. שניים מעולים ואחד פחות. 

כשעשו לי הדגמה של המוצר שפחות סיפרו לי שהוא מוצר AI. 
אחרי שראיתי מה הוא יודע, ושאלתי שאלות ספציפיות ביחס לדברים נוספים שהוא יודע, הבנתי שהוא נחות משמעותית ממתחריו. 

אף אחד לא דיבר אז על Deep Learning. 

הערת שוליים או הערת Hype 

אם תעשו חיפוש ב-Google על "סופיה הרובוטית", תמצאו מאמרים בעיתונות הישראלית המגדירים את סופיה כרובוטית המתקדמת בעולם. 

סוג של בדיחה עצובה או אולי ההטיות הקוגניטיביות שכותב עליהן חתן פרס נובל לכלכלה דניאל כהנמן על פיהן אנשים יפים יותר נתפסים כמוצלחים יותר חלות גם על רובוטים?

מדוע בינה מלאכותית אינה יצירתית? - על קופים תוכיים ומבחן טיורינג

יארה ארגמנית. מקור התמונה: ויקיפדיה. 
הרשאת שימוש: GFDL 1.2
צולם על ידי:  Benjamint444

המאמר המרתק שכתב ערן הורוביץ, פוסט דוקטורנט באוניברסיטת ייל, מציג בצורה יפה ומעמיקה את הרעיונות הדומים, שאני שומע באופן פחות מעמיק ממשתמשים בתוכנות בינה מלאכותית כמו ChatGPT. 

אני שומע לא מעט על היותם של כלים אלה מעין תוכיים החוזרים על מידע שאספו.

כפי שכתבתי בפוסט קודם גם המקורות שלהם לא בהכרח משובחים.

לקריאת המאמר באתר "הזמן הזה" לחצו: אנושית, אנושית יותר מדי . 

אני האחראי היחיד לכותרת הפרובוקטיבית. 

הטענה המרכזית במאמר היא שתוכנות ה-AI מנסות לחשוב כבני אדם כפי שבוחן מבחן טיורינג. 

אם מנסים לעשות זאת כך, אין יכולת להיות יצירתיים. 

בעתיד אתיחס למאמר יותר לעומק בצירוף התיחסות לספר על תולדות AI הנוגע אף הוא בהיבט של צמידות כלי AI למבחן טיורינג.

בקרוב: קורס סיכוני AI

 

אחד הפרויקטים שאני עובד עליהם הוא הכנת קורס סיכוני AI. 

הקורס מבוסס על הדברים הבאים:

1. הרקע שלי ב-AI ובמחשוב

2. הרקע שלי בניהול סיכונים

3. מה שלמדתי מקריאה והקשבה לאחרים

4. הרצאות שלי על סיכוני בינה מלאכותית, שתוכלו למצוא הקלטות שלהן בערוץ ה-YouTube שלי ובערוץ ה-YouTube של נטוורקינג למרצים.

5. פוסטים על סיכוני בינה מלאכותית בבלוג זה.

הקורס יתן תמונה רחבה של סיכונים, כלומר: לא רק סיכונים טכנולוגיים.   

הוא יכלול גם מבוא לבינה מלאכותית.

צריך לזכור שלא מדובר רק בסיכונים אלא גם בסיכויים. הבינה המלאכותית עשויה להיות מהפכה בסדר גודל של המהפכה התעשייתית.  

עד שיהיה קורס אפשר להזמין הרצאות בודדות על  סוגי סיכונים של בינה מלאכותית.