איך בודקים איכות של מערכת RAG לפני שמעלים אותה לארגון?

לבדוק אחזור ותשובה בנפרד

מערכת RAG מאתרת מידע ומעבירה אותו למודל כדי לסייע ביצירת תשובה. כישלון יכול להתרחש באיתור המקור או בשימוש בו. אם בודקים רק את הטקסט הסופי, קשה להבין האם צריך לשפר את החיפוש, את הקשר שנשלח למודל או את אופן יצירת התשובה.

תיעוד ההערכה של Microsoft מפריד בין איכות אחזור, רלוונטיות וביסוס תשובות. החלוקה מועילה גם בלי להשתמש באותו כלי הערכה. היא מאפשרת לשאול שאלות מדויקות על כל שלב, במקום לחפש ציון יחיד שמסתיר בעיות שונות.

להכין אוסף שאלות שמייצג שימוש אמיתי

אספו שאלות שהמשתמשים באמת צריכים לענות עליהן. לכל שאלה ציינו אילו מקורות יכולים לתמוך בתשובה, מי רשאי לקרוא אותם ומה נחשב מידע מספק. כללו שאלות קצרות ועמומות, מסמכים ישנים ומקרים שבהם אין תשובה במקורות.

לדוגמה, עובד שואל על נוהל נסיעות. תשובה שנשענת על גרסה ישנה יכולה להישמע משכנעת ולהיות לא מתאימה. הדוגמה מראה מדוע כדאי לתעד מועד, גרסה והקשר ארגוני, ולא להסתפק בהתאמה לשונית בין שאלה למסמך. הימנעו מהעברת מידע אישי או סודי לסביבת בדיקה שאינה מאושרת.

לבדוק אם הראיות הגיעו למודל

לפני שיפוט התשובה, בדקו אילו קטעים אותרו. האם הם כוללים את ההוראה הרלוונטית? האם הוצאו מהקשרם? האם מקור אחד מופיע שוב ושוב ומסתיר מידע אחר? שינוי בחלוקת מסמכים או בדירוג יכול לשנות את התוצאה גם בלי להחליף את המודל.

• המקור הנדרש אותר ונשלח במסגרת ההקשר.
• הקטע מכיל מספיק מידע כדי לפרש את ההוראה.
• המידע עדכני לתרחיש ולמשתמש.
• משתמש לא מקבל מקור שאינו רשאי לקרוא.

לבדוק ביסוס, שימושיות והימנעות מניחוש

בדקו אם הטענות בתשובה נתמכות במידע שהתקבל, ואם התשובה מתייחסת לשאלה. ציון ביסוס גבוה אינו מבטיח שהמשתמש קיבל את ההנחיה שחיפש. קישור למקור אינו הוכחה שהמקור תומך בכל משפט. עברו על טענות משמעותיות והצליבו אותן.

במקרה של מידע חסר, בדקו שהמערכת מציגה את המגבלה ומציעה צעד מתאים. אפשר לבקש הבהרה, להציג מסמכים לבדיקה או להעביר את הפנייה לאדם. המטרה אינה לקבל תשובה מלאה בכל מחיר. הערכה באמצעות מודל נוסף יכולה לסייע, אך גם היא זקוקה לבדיקת אמינות ולדוגמאות שנבדקו ידנית.

לשמור את הבדיקה כחלק מתהליך השינוי

תעדו גרסאות של מקורות, תצורת אחזור, מודל והוראות. אחרי שינוי הריצו שוב את אותו אוסף ואת המקרים החדשים שהתגלו. קבעו אילו שגיאות חוסמות שחרור ואילו דורשות מעקב. כך אפשר להבין למה התוצאה השתנתה.

התחלה מעשית היא אוסף מצומצם אך מגוון של שאלות, יחד עם סקירה של מקורות ותשובות. ממנו אפשר לבנות תהליך הערכה שעוזר לצוות לבחור מה לשפר. מספר גדול של שאלות דומות אינו בהכרח תחליף לכיסוי של תרחישים שונים.