להפריד הצעת פעולה מביצועה
סוכן AI יכול לבחור כלי וצעדים כדי להשלים משימה. ברגע שכלי מסוגל לשנות מידע, לשלוח הודעה או לבצע פעולה חיצונית, תשובה שגויה יכולה להפוך לתוצאה בעולם האמיתי. לכן תכנון הסוכן מתחיל ביכולת שמעניקים לו ובתנאים שבהם הוא רשאי להשתמש בה.
לדוגמה, עוזר לתמיכה יכול לסכם פנייה ולהציע תגובה. שליחת התגובה ללקוח היא פעולה נוספת, עם הרשאה ובדיקה משלה. לא חייבים לתת לסוכן את שתיהן בשלב הראשון. אפשר ללמוד מאיכות ההצעות לפני שמאפשרים שינוי במערכת.
לבנות כלים עם אחריות מוגבלת
העדיפו כלי שמבצע פעולה מוגדרת ומאמת את הקלט על פני כלי כללי שמקבל פקודה חופשית. הרשאה צריכה להיאכף בצד השירות עבור המשתמש והפעולה, גם כאשר הסוכן מציג טיעון משכנע. הוראה בפרומפט אינה מנגנון בקרת גישה.
צמצמו את הנתונים שמוחזרים לכלי ואת הסודות שהסוכן יכול לראות. הגדירו מגבלות זמן, מספר ניסיונות וגודל בקשה. כאשר פעולה יכולה להישלח שוב, תכננו דרך לזהות כפילות. גם סוכן שפעל לפי ההנחיות עשוי לפגוש כשל רשת ולהפעיל ניסיון חוזר.
להתייחס למסמכים כמידע שאינו הוראה
Prompt Injection יכול להופיע במסמך, הודעה או תוצאה שהסוכן קורא. OWASP מתארת את הסיכון שבערבוב מידע חיצוני עם הוראות, וממליצה על הגנות בשכבות. אין להניח שטקסט שאומר להתעלם מהוראות, לשנות יעד או לחשוף מידע הוא אישור ממשתמש מורשה.
מסמך ספק הוא מקור מידע, גם אם הוא מכיל ניסוח שנראה כמו פקודה פנימית. הגבול צריך להישמר במנגנון שמפעיל את הכלים: יעדים מורשים, סכמות קלט, בדיקת הרשאה וביקורת. סינון מילים יכול לעזור בתרחיש מסוים, אך אינו מחליף את הגבולות האלה.
למקם אישור במקום שבו נוצרת ההשפעה
אישור צריך להציג את הפעולה הקונקרטית: הנמען, הנתונים שיועברו וההשלכה. הודעה כללית בתחילת תהליך אינה מסבירה פעולה שלא הייתה ידועה אז. לעומת זאת, דרישת אישור על כל קריאה פנימית יכולה להעמיס על המשתמש ולפגוע במשמעות של האישורים החשובים.
- קריאה בלבד: לבדוק הרשאות, חשיפת מידע ויעד.
- שינוי הפיך: להגביל היקף ולתעד מה שונה.
- פעולה חיצונית או משמעותית: להציג תוצאה לבדיקה לפני הביצוע.
- כשל או חוסר ודאות: לעצור ולהסביר, בלי להרחיב הרשאות באופן אוטומטי.
לבדוק לפני שמרחיבים סמכות
הריצו קבוצת תרחישים הכוללת מידע חסר, מסמך עוין, כלי שאינו זמין ובקשה שחוזרת. בדקו לא רק אם המשימה הושלמה, אלא גם אילו כלים הופעלו ואיזה מידע יצא. הגדירו תנאי עצירה ובעלים שמטפל במקרים שלא נפתרו.
כדאי להתחיל מסוכן שמציע תוכנית או תוצר לעיון. הרחיבו יכולות אחרי שיש ראיות שהגבולות והאישורים עובדים. אין כאן הבטחה למניעת כל תקיפה; המטרה היא לצמצם סמכות מיותרת ולהפוך התנהגות לניתנת לבדיקה.