שיעור 8 — ידע, זיכרון ו־RAG
מטרות
- להבדיל בין הקשר, מצב עבודה וזיכרון שמור.
- להסביר למה קטע שנשלף אינו תשובה, ולמה שליפה ריקה אינה הוכחה שאין מידע.
- להחליט מתי לשלוף ומתי מספיק לשלוח את כל הטקסט.
- לזהות פתק שמור שהתיישן.
שלושה תפקידים של מידע
| תפקיד | מה יש בו | דוגמה |
|---|---|---|
| הקשר | מה נשלח לפנייה הנוכחית | השאלה, P:1 ו־C:1 |
| מצב עבודה | מה היישום עוקב אחריו במשימה | מזהים שכבר נבדקו |
| זיכרון שמור | פתק לפעם הבאה | „השתמשנו ב־P:1 וב־C:1” |
פתק שמור אינו נכנס למודל מעצמו. היישום טוען אותו, בודק גרסה, ומביא את הקטעים עצמם. פתק שאומר „הריקול 95%” מפסיק להיות תקף אחרי תיקון שאומר 36 מתוך 40.
שליפה אינה תשובה
מחלקים מקורות לקטעים עם מזהה יציב. חיפוש מילים מוצא מונח מדויק. חיפוש לפי וקטורים מוצא ניסוח קרוב, ויכול לקרב גם טענה הפוכה. אחרי הדירוג קוראים את הקטע.
שליפה של קטע אחד אינה מוכיחה ששאר המאגר ריק. רק אחרי שבדקו את החבילה המותרת מותר לומר שאין בה ראיה. וגם אז לא מסיקים שהערך החסר הוא אפס.
סוכן מחליט אם לשלוף, אם לשלוף שוב, או אם לענות. מערכת ששולפת תמיד באותו אופן אינה מדגימה את ההחלטה הזו.
שליפה או כל הטקסט
אם כל המקורות נכנסים בחלון ההקשר, אפשר לשלוח את כולם ולדלג על השליפה. זה פשוט, ואין סיכון שהקטע הנכון לא דורג גבוה. המחיר הוא עלות לכל פנייה, ומודל שצריך למצוא בעצמו את המשפט הרלוונטי בתוך טקסט ארוך.
שליפה משתלמת כשהמאגר גדול, כשהוא מתעדכן, או כשרוצים לדעת בדיוק מאיזה קטע הגיעה כל טענה. בכל מקרה, השאלה שנשארת זהה: האם הטענה בתשובה מופיעה במקור שנשלח.
בחרו „עלות חסרה” והשוו ל„שתי דרישות”. אחר כך הורידו את התקציב ל־1 וראו עצירה, לא סירוב.
בדיקת הבנה
לקריאה
Lewis ואחרים, Retrieval-Augmented Generation, NeurIPS 2020. arXiv:2005.11401. את התקציר, את איור 1, ואת פתיחת סעיף 2.
סיכום
מצאתם טעות בעמוד? כתבו למרצה