מה צריך לקרות בסוף?
“אנחנו צריכים AI” היא התחלה לשיחה. כדי לבחור פתרון, תארו את העבודה במשפט: עובד מחפש נוהל, מנהל מאשר בקשה, או צוות מסכם מסמך. לאחר מכן שאלו איזה חלק דורש הבנת מידע ואיזה חלק דורש פעולה במערכת.
חיפוש, יצירת תשובה והפעלת פעולה הם יכולות שונות. אפשר לחבר ביניהן, אבל לכל אחת יש דרך אחרת לבדוק איכות וגבולות אחרים של הרשאות.
כשצריך תשובה מתוך ידע
RAG מחבר למודל מידע שאותר ממקורות ידע כדי לסייע ביצירת תשובה המבוססת על אותו מידע. האתגר כולל גם איכות האיתור, עדכניות המקורות והרשאות גישה. מקור שלא נמצא אינו יכול לתמוך בתשובה.
התחילו מאוסף שאלות אמיתי ומידע שאפשר להשתמש בו. בדקו בנפרד אם נמצאו המקורות הנכונים ואם התשובה נשענת עליהם. אם הדרישה היא רק למצוא מסמך, ייתכן שממשק חיפוש טוב מספיק.
- אפשר לזהות את המקור ואת מועד העדכון שלו?
- משתמש רואה רק מידע שהוא מורשה לראות?
- מה מוצג כשאין מקור שתומך בתשובה?
כשצריך להזיז תהליך
אם כל שלב בתהליך ידוע מראש, אפשר להתחיל מאוטומציה מפורשת: תנאים, אימות קלט, פעולה ותיעוד. מודל יכול לעזור בחלק מוגדר כמו סיווג טקסט, בעוד שהמערכת שומרת את השליטה בפעולות.
יכולת לבחור כלים וצעדים באופן גמיש עשויה להיות שימושית כשיש כמה דרכים להגיע למטרה. לפני שנותנים אותה לסוכן, הגדירו אילו פעולות מותרות, מה מחייב אישור ואיך מפסיקים תהליך שנכשל.
ניסוי קטן עם מדידה ברורה
בחרו תהליך מוגבל וקבוצת דוגמאות שמכילה גם מצבי קצה. מדדו תוצאה שקשורה לעבודה: האם המשתמש הגיע למידע, האם פעולה בוצעה נכון ואילו טעויות דורשות טיפול אנושי.
קבעו מראש תנאי עצירה והמשך. גם החלטה להישאר עם תהליך פשוט היא תוצאה מועילה של בדיקת היתכנות. המטרה היא לשפר עבודה שאפשר להגדיר ולבדוק.