שיעור 7 — ניתוח כשלים
מטרות
- להפריד כשל של כלי מתשובה שגויה.
- להחליט מתי ניסיון נוסף מועיל.
- לזהות תשובה משכנעת שמסתירה פעולה שלא הצליחה.
- להבדיל בין בדיקה שמביאה ראיה חדשה לבין בקשה מהמודל „לבדוק את עצמו”.
מה בודקים ביומן
לכל צעד: מה הייתה המטרה, איזה כלי נקרא, מה חזר, והאם המונה זז. „הסוכן התנהג מוזר” אינו אבחנה.
כשל כלי הוא חריגה, זמן שעבר, או פלט שאינו תואם את הסכמה. תשובה שגויה יכולה להגיע גם כשכל הכלים הצליחו: למשל חישוב נכון על קובץ של שנה לא נכונה.
כשל שקט הוא הקשה ביותר למצוא: הכלי החזיר תוצאה ריקה, והסוכן המשיך כאילו קיבל תשובה. לכן תוצאה ריקה מקבלת סטטוס משלה, ולא רשימה ריקה שנראית כמו „אין בעיה”.
ניסיון נוסף, ומתי לא
ניסיון נוסף מתאים לתקלה חולפת, פעם אחת, ועם הודעת השגיאה בתוך ההקשר. הוא אינו מתאים לסירוב הרשאה. פעולה ששולחת דוא״ל או כותבת מחיר דורשת מפתח זהות, אחרת הניסיון השני עלול לשכפל אותה.
מפתח זהות הוא מזהה קבוע לבקשה. אם אותה בקשה מגיעה פעמיים, הכלי מזהה אותה ומחזיר את התוצאה הראשונה במקום לבצע שוב.
לולאה שחוזרת על אותה קריאה עם אותם ארגומנטים היא סימן לעצור. תקציב מונע ממנה לרוץ לנצח, אבל רק כלל מפורש מזהה אותה מוקדם.
בדיקה עם ראיה
„בדוק את עצמך” בלי ראיה חדשה מבקש מאותו חישוב לחזור על עצמו. בדיקה בקוד, או מקור חיצוני, היא ראיה. ניסוח חוזר אינו ראיה.
כשהבודק הוא מודל נוסף, הוא עלול לטעות באותו מקום כמו המודל הראשון, כי שניהם קראו את אותו הקשר. בודק מועיל רואה משהו שהראשון לא ראה: תוצאת בדיקה בקוד, מקור נוסף, או כלל שנכתב מראש.
קראו את היומן הבא וכתבו בשורה אחת: איזה צעד נכשל, האם הכשל בכלי או בתשובה, ומה הסטטוס הנכון.
1 retrieve {"q": "recall"} ok ids=["A:1"]
2 retrieve {"q": "recall"} ok ids=["A:1"]
3 calculate {"recall": 0.95} ok value=0.95
4 finish "meets the requirement"בדיקת הבנה
לקריאה
Shinn ואחרים, Reflexion: Language Agents with Verbal Reinforcement Learning, NeurIPS 2023. arXiv:2303.11366. התקציר ואיור 1. שימו לב מאיפה מגיע האות שאומר לסוכן שטעה.
סיכום
מצאתם טעות בעמוד? כתבו למרצה