דלג לתוכן הראשי

שיעור 6 — תכנון והחלטות

שיעור 6 מתוך 13תאוריהטיוטהקריאה: 4 דק׳

טיוטה לאישור המרצה. זהו חומר לימודי ראשוני. הוא אינו מחליף הנחיה שפורסמה במודל, ואינו קובע מועד או ציון.

מטרות​

  • להבדיל בין תוכנית שנכתבת מראש לבין החלטה אחרי כל תצפית.
  • לנסח תנאי עצירה לפני שהלולאה רצה.
  • לראות מתי פיצול לשני תפקידים מוסיף מידע, ומתי הוא רק מכפיל עבודה.

שתי צורות​

בתהליך קבוע סדר הצעדים ידוע. הוא זול וקל להסבר, ועיוור אחרי הצעד הראשון אם התצפית סותרת הנחה.

בסוכן מסתגל כל תצפית יכולה לשנות את הפעולה הבאה. הוא משלם על כך בעוד קריאות, ואפשר לקרוא את ההחלטה אם היא נכתבת ליומן.

אותה שאלה: האם QuickScreen עומד בשתי הדרישות. שתי המדיניות כתובות מראש.

תהליך קבוע, k=1, תקציב 2

stopped

תקציב הקריאות למודל הסתיים. זו עצירה טכנית, לא הוכחה שאין תשובה במאגר.

סוכן שממשיך אחרי התצפית, k=2

answered

לא עומד בדרישה המשותפת: הריקול 90% נמוך מ־95%, וקיצור הזמן 40% גבוה מ־30%. מקורות: P:1, C:1.

שתי דרכים לתכנן​

לסירוגין (ReAct): מחשבה קצרה, פעולה, תצפית, וחוזר חלילה. כל צעד נקבע אחרי שרואים את תוצאת הצעד הקודם. מתאים כשאי אפשר לדעת מראש מה תחזיר השליפה.

תוכנית ואז ביצוע: קודם רשימת צעדים, אחר כך ביצוע לפי הסדר. קל לבדוק את התוכנית לפני שמשהו רץ, ואפשר לאשר אותה. המחיר: אם צעד 2 מחזיר משהו לא צפוי, צריך כלל שמחליט מתי לכתוב תוכנית חדשה.

בשתי הדרכים מישהו צריך לבדוק שהמשימה הושלמה. תוכנית שבוצעה עד הסוף אינה הוכחה שהתשובה נכונה.

תנאי עצירה ותקציב​

תנאי עצירה צריך להיות אחד מאלה, במפורש: נמצאה ראיה מספיקה, הראיה הזמינה אינה מספיקה, או שנגמר תקציב או כלי. אסור לערבב את השלישי עם השני.

לפני שהלולאה רצה כותבים שלושה דברים: מה נחשב הצלחה, כמה צעדים או קריאות מותרים, ומה מחזירים כשהתקציב נגמר. מעבדה 3 בודקת מקרה כזה: עם מקור אחד בלבד, הסטטוס הוא „צריך שליפה נוספת”, לא תשובה.

חלוקה​

שני סוכנים מוצדקים כשלכל אחד חלון, כלים, או מקורות שונים, וכשיש כלל לסתירה. אותה משימה לשניהם, בלי גבול, מייצרת כפילות. שיעור 11 בודק את זה בקוד. כאן מספיק לשרטט מי שולח למי, מה אסור לחפוף, ומי חותם על התשובה.

בהדגמה למעלה שתי המדיניות עונות על אותה שאלה על QuickScreen. כתבו לתהליך הקבוע תוכנית של שלושה צעדים. סמנו את הצעד שבו התצפית הייתה צריכה לשנות את התוכנית, וכתבו את הכלל שהיה מזהה זאת. האם הכלל הזה הופך את התהליך לסוכן?

בדיקת הבנה​

התוכנית בוצעה במלואה, אבל השליפה בצעד 2 החזירה תקציר ישן במקום התיקון. מה הסטטוס הנכון?

בחרו תשובה כדי לראות הסבר. אין כאן ציון.

לקריאה​

Yao ואחרים, ReAct: Synergizing Reasoning and Acting in Language Models, ICLR 2023. arXiv:2210.03629. התקציר ואיור 1.

סיכום​

עודכן בתאריך

מצאתם טעות בעמוד? כתבו למרצה

הגדרות נגישות

ההגדרות משנות את מראה האתר במכשיר הזה בלבד, ונשמרות בדפדפן הזה.

טקסט

צבע

מצב בהיר וכהה נמצא בסרגל העליון, ליד החיפוש.

קריאה וניווט