האם קוד שנבנה על ידי AI באמת מאובטח? שאלות נפוצות לבונים

אני מקבל גרסה כלשהי של השאלה הזו כמעט בכל שיחת אונבורדינג, בדרך כלל מנוסחת בזהירות, כאילו השואל חצי-מצפה שישכנעו אותו להפסיק לדאוג. אין צורך לשכנע אותם. אבטחה היא אחד התחומים הבודדים שבהם מידה בריאה של פרנויה מכוילת נכון, בין אם בן אדם כתב את הקוד ובין אם מודל. להלן השאלות שאני באמת מקבל, עם תשובות ישירות ככל שאני מסוגל.

האם קוד שנכתב על ידי AI פחות מאובטח מקוד שנכתב על ידי בן אדם?

בממוצע, וללא בקרה, כן — מעט. מחקר של סטנפורד מלפני כמה שנים (Perry ואחרים, שמוזכר לעיתים קרובות כמבט הרציני הראשון על הנושא) מצא שמפתחים שהשתמשו בעוזר קידוד מבוסס AI ייצרו קוד פחות מאובטח מקבוצת ביקורת — וזה החלק שצריך להדאיג אתכם יותר — הם דירגו את הקוד שלהם כיותר מאובטח משהיה בפועל. הביטחון עלה בעוד האיכות ירדה. סריקות האבטחה העדכניות יותר של Veracode ל-GenAI נותנות לזה מספר גס: בערך 4 מתוך 10 דוגמאות קוד שנוצרו על ידי AI שהם בדקו הכניסו לפחות פגם אחד שניתן לניצול, בדרך כלל משהו יומיומי כמו בדיקת קלט חסרה או ברירת מחדל חלשה. שום דבר מזה לא אומר שקוד שנכתב על ידי AI רע מיסודו. זה אומר שקוד שנוצר על ידי AI ולא נבדק נושא את אותו סיכון כמו קוד אנושי שלא נבדק, ו"לא נבדק" הוא בדיוק המקום שבו טמונה הסכנה האמיתית. מודל שכותב מהר ואף פעם לא נבדק ישלח את אותן הטעויות שמפתח ג'וניור עושה ביום שישי אחר הצהריים — רק מהר יותר, ובכמות גדולה יותר.

מה קורה למפתחות ה-API והסודות שלי?

זה אחד שבאמת גוזל ממני שינה, כי זו הטעות שבלתי נראית עד שהיא מתגלה. תרחיש הכישלון לא דרמטי — אף שרת לא נפרץ בסגנון סרט האקרים. זה מפתח שנודבק לתוך צ'אט, מוחזר בהד לקובץ שנוצר, מוכנס ל-commit, ויושב בשקט כטקסט גלוי במאגר קוד חצי שנה מאוחר יותר כשמישהו מריץ עליו סורק סודות מתוך סקרנות. בפלטפורמה הזו, סודות אף פעם לא נמצאים בקוד המקור שנוצר — הם מוזרקים בזמן ריצה ממאגר מוצפן, מוגבלים לדייר שלכם, וסוכני הבנייה מקבלים הוראה להתייחס אליהם לפי שם, לעולם לא לפי ערך. אבל אם אתם בונים במקום אחר, או מדביקים אישורים ישירות לתוך חלון צ'אט עם כלי כלשהו, הניחו שהטקסט הזה הוא כעת חלק מלוג הקשור לאימון איפשהו, אלא אם הספק אומר אחרת במפורש. סובבו כל דבר שאי פעם הקלדתם לתוך תיבת צ'אט, מתוך עיקרון, באותו יום שבו סיימתם לבדוק.

האם מישהו יכול לפרוץ לאתר שלי דרך פרומפט, כמו התקפת הזרקת פרומפט?

שני דברים שונים מתבלבלים כאן, וההבחנה חשובה. הזרקת פרומפט נגד הבונה — מישהו שמרמה את ה-AI שבונה את האפליקציה שלכם לעשות משהו שלא ביקשתם — הוא סיכון אמיתי ונחקר, וזו הסיבה שסוכני הבנייה פועלים עם הרשאות כלים מוגבלות ולא גישת מעטפת גורפת, ולמה כל דבר שנוגע במערכת הקבצים או צינור ההפצה שלכם עובר דרך יומן פעולות מפורש שאפשר לבדוק אחר כך. הזרקת פרומפט נגד האפליקציה שלכם המושקת היא נושא נפרד שרלוונטי רק אם האפליקציה שלכם עצמה משבצת LLM בזמן ריצה — צ'אטבוט תמיכה, פיצ'ר חיפוש מבוסס AI, דברים כאלה. אם כן, התייחסו לכל טקסט שמשתמש יכול להקליד כקלט לא מהימן לאותו מודל, בדיוק כפי שהייתם מתייחסים אליו כקלט לא מהימן לשאילתת SQL. הכלל ישן, החלק החדש הוא רק איזו מערכת מנתחת את המחרוזת.

האם הבונה בודק את הקוד שלו עצמו לחולשות אבטחה לפני ההשקה?

בדיקות אוטומטיות תופסות באופן אמין את הדברים המשעממים והתדירים: סודות מוקשחים בקוד, אימות חסר בנקודת קצה שברור שדורשת אחד, שאילתות SQL שנבנות בשרשור מחרוזות במקום פרמטרים, תלויות עם CVE ידוע. מה שהן לא תופסות היטב הן פגמים בלוגיקה עסקית — הסוג שבו כל שורת קוד בפני עצמה תקינה והחולשה נמצאת בפער בין שני פיצ'רים שאף אחד לא חשב לבדוק יחד. קוד הנחה שנערם ללא הגבלה עם בונוס הפניה. תהליך איפוס סיסמה שחושף האם אימייל קיים במערכת. אלה דורשים מישהו שמבין למה האפליקציה משמשת, לא רק מה הקוד עושה, ואף סורק — AI או אחר — עדיין לא מוצא אותם באופן אמין. סקירה אוטומטית היא רצפה, לא תקרה.

מה לגבי חבילות צד שלישי שהוא מתקין — האם זה סיכון בשרשרת האספקה?

כן, ולמעשה זה סיכון גדול יותר בעולם האמיתי מאשר הקוד עצמו שנכתב על ידי AI. רוב האפליקציות הן 80-95% תלויות לפי מספר שורות; הקוד שהבונה כותב הוא שכבה דקה מעל npm, PyPI, או כל אקוסיסטם אחר שהמחסנית משתמשת בו. חבילה זדונית או שנחטפה יכולה לפגוע בכם ללא קשר למי או מה כתב את קוד הדבק סביבה — ראו את מקרי event-stream ו-colors.js כדי להבין איך זה מתפתח בעולם האמיתי. אמצעי ההפחתה משעממים ויעילים: נעילת גרסאות במקום מעקב אחר העדכני ביותר, העדפת חבילות עם היסטוריית תחזוקה אמיתית על פני כאלה שפורסמו שבוע שעבר, והרצת ביקורת תלויות (`npm audit`, `pip-audit`, מה שמתאים למחסנית שלכם) כהרגל קבוע, לא צעד חד-פעמי לפני ההשקה.

מי אחראי אם יש פריצה?

אתם — מבחינה משפטית, כמעט תמיד, אם זו האפליקציה שלכם והנתונים של הלקוחות שלכם. זה מפתיע אנשים שמניחים ש"ה-AI כתב את זה" מעביר את האחריות לאיזשהו מקום אחר. זה לא, בדיוק כמו ששכירת קבלן לא מעבירה אחריות על הפרת תקן בנייה מבעל הנכס. פלטפורמות נושאות אחריות על התשתית שהן שולטות בה: איך סודות נשמרים, איך נתוני דיירים מבודדים, האם שכבת האירוח עצמה מעודכנת. אבל לוגיקת האפליקציה שהגדרתם, הנתונים שבחרתם לאסוף, והתנאים שהצעתם למשתמשים שלכם — אלה שלכם. אם אתם מטפלים במשהו רגיש — פרטי תשלום, מידע בריאותי, כל דבר תחת GDPR או CCPA — קראו את הסכם עיבוד הנתונים בפועל של הפלטפורמה שאתם משתמשים בה במקום להניח ש"נבנה על ידי AI" מרמז על שכבת הגנה משפטית נוספת כלשהי. זה לא.

מייסדת סיפרה לי פעם, ברובו בצחוק, שהיא סומכת על הקוד של ה-AI יותר מאשר על שלה כי "לפחות הוא לא מתעייף ב-2 בלילה". אולי. אבל בני אדם עייפים בדרך כלל יודעים שהם עייפים. ל-AI אין מושג שהוא בדיוק עשה טעות, והוא יגיד לכם שהקוד מוכן באותה נימה בטוחה בדיוק בין אם הוא ללא רבב ובין אם הוא מלא בחורים. ביטחון הוא לא אינדיקטור אבטחה, לא ממקור זה ולא מהאחר.

האם כדאי לי לשלם על ביקורת אבטחה אמיתית לפני ההשקה?

אם אתם גובים תשלומים, שומרים כל דבר שרגולטור יקרא לו PII, או בונים עבור לקוח עסקי שיבקש דוח SOC 2 בכל מקרה — כן, ואל תתנו לעלות לשכנע אתכם לוותר. ביקורת ממוקדת על אפליקציה קטנה עולה כמה מאות עד כמה אלפי דולרים בודדים, תלוי בהיקף, וזה זול יחסית למכתב הודעת פריצה. אם אתם בונים פרויקט תחביב, כלי פנימי, או משהו ללא נתוני משתמשים אמיתיים על הפרק, ביקורת בתשלום היא הגזמה; הריצו את השכבה החינמית והזולה במקום — סריקת תלויות, מעבר ידני על כל גבול אימות (האם משתמש א' יכול לראות את הדברים של משתמש ב' על ידי שינוי URL?), וזוג עיניים אנושי נוסף על כל דבר שנוגע בכסף או בסיסמאות.

מהי טעות האבטחה הנפוצה ביותר שאנשים עושים, ומתי היא קורית?

לא בהשקה — שלושה חודשים אחרי, כשהאפליקציה עובדת ואף אחד כבר לא מסתכל עליה. זו נתיב ניהול שנשאר לא מוגן כי נבדק רק על ידי מי שבנה אותו, מחובר בתור עצמו. זו נקודת קצה לניפוי באגים שמחזירה עקבות מחסנית מלאים בסביבת ייצור. זו סיסמת ברירת מחדל במסד נתונים שהיה אמור להיות "רק לבדיקה" ואף פעם לא סוּבבה. שום דבר מזה לא אקזוטי. אלה המקבילה של אבטחה להשארת מפתח רזרבי מתחת לשטיח כי הייתם ממהרים באותה פעם ואז שכחתם שהוא שם. התיקון הוא לא כלי טוב יותר, אלא הרגל של חמש דקות: פעם בחודש, הסתכלו על האפליקציה שלכם כמו תוקף למשך חמש דקות לפני שאתם מסתכלים עליה כבונה גאה.