שיעור 9 — סוכן מסמכים
מטרות
- להוסיף שליפה לסוכן משיעור 5.
- לצרף מזהה מקור לכל טענה מספרית.
- לבדוק מידע חסר ומידע שהתעדכן.
- לכתוב שאלה שאין לה תשובה במאגר, ולוודא שהסוכן אומר זאת.
מה בונים
מאגר של ארבעה קובצי טקסט קצרים, במבנה QuickScreen או במאגר אחר שמותר לפרסם. retrieve מחזיר מזהה, טקסט וציון. הציון אינו הוכחת תמיכה.
תשובה מוצלחת לשאלת שתי הדרישות אומרת: הריקול המתוקן 90%, קיצור הזמן 40%, הדרישה המשותפת אינה מתקיימת, והמקורות הם P:1 ו־C:1. תשובה לשאלת העלות אומרת שאין ראיה. תשובה שמחשבת 95% מתוך A:1, אחרי ש־C:1 נשלף, נכשלת גם אם המזהה אמיתי.
חלוקה לקטעים
קטע הוא יחידת השליפה, ולכן גם יחידת הציטוט. קטע ארוך מדי מביא איתו משפטים שלא קשורים לשאלה. קטע קצר מדי חותך מספר מההקשר שלו: „36 מתוך 40” בלי המשפט שאומר שזה תיקון.
כללים פשוטים לאוסף קטן:
- חותכים לפי מבנה המסמך, פסקה או סעיף, לא לפי מספר תווים קבוע.
- לכל קטע מזהה יציב, שלא משתנה כשמוסיפים מסמך חדש.
- שומרים עם הקטע את המסמך שממנו הגיע ואת הגרסה.
תשובה עם מקור
כל מספר בתשובה מגיע עם המזהה של הקטע שבו הוא מופיע. מספר שחושב, כמו קיצור הזמן, מגיע עם המזהים של כל המספרים שנכנסו לחישוב. אם אין קטע שתומך בטענה, הטענה יוצאת מהתשובה.
בדיקה בקוד יכולה לאכוף חלק מזה: לחלץ את המספרים מהתשובה ולוודא שכל אחד מופיע באחד הקטעים המצוטטים, או שהוא תוצאה של חישוב שנרשם ביומן.
זיכרון קטן
שומרים פתק אחד: מזהי המקורות והגרסה. בשיחה חדשה טוענים את הפתק ומשווים אותו לקבצים. אם התיקון השתנה, הפתק הישן אינו קובע את המספר.
מעבדה 3 כוללת את שלוש הבדיקות האלה כסקריפט.
הוסיפו למאגר קובץ חמישי שמתקן שוב את מספר הריקול. הריצו את שאלת שתי הדרישות עם הפתק השמור מהריצה הקודמת. האם הסוכן שם לב שהגרסה השתנתה? כתבו שאלה אחת שאין לה תשובה במאגר, ובדקו שהתשובה אומרת שאין ראיה ולא מנחשת.
בדיקת הבנה
סיכום
מצאתם טעות בעמוד? כתבו למרצה