שיעור 10 — הערכה, ניטור ובטיחות
מטרות
- להשוות שתי גרסאות על אותם מקרים.
- לקרוא יומן ולהצביע על שלב החיפוש, ההחלטה, או התשובה.
- לחסום בקוד פעולה שמסמך מנסה לבקש.
- להסביר מתי מודל שופט מועיל, ומה מטה אותו.
מה מודדים
לפחות: כמה מקרים הצליחו, כמה צעדים נדרשו, כמה כלים נכשלו, ועלות מדומה לפי מספר קריאות. הצלחה בלי העלות אינה מספיקה. גם סירוב נכון נספר, בנפרד מתשובה נכונה.
המספרים כאן נוצרים מן הקוד שבאתר. הם מתאימים למאגר ההדגמה בלבד.
בסיס להשוואה
מספר הצלחות לבד לא אומר אם הסוכן שווה את המחיר. משווים אותו לבסיס הפשוט ביותר שעושה את המשימה, למשל תהליך קבוע שקורא קטע אחד. מעבדה 5 עושה בדיוק את זה: שמונה מקרים קבועים, הצלחות וקריאות לכל מדיניות, בטבלה אחת.
שלושה כללים שומרים על ההשוואה הוגנת:
- אותם מקרים לשתי הגרסאות. שינוי בקבוצת המקרים משנה את המספרים גם בלי שינוי במערכת.
- מקרים שלא ראיתם בזמן הפיתוח. אם כיווננו את הפרומפט על כל המקרים, ההצלחה עליהם אינה מדידה.
- כמה הרצות. מודל אינו דטרמיניסטי. הבדל של מקרה אחד בהרצה אחת יכול להיעלם בהרצה הבאה.
מודל כשופט
כשאין תשובה אחת נכונה, אפשר לבקש ממודל לדרג תשובות. זה זול ומהיר, אבל לשופט יש נטיות ידועות: הוא מעדיף תשובות ארוכות, את התשובה שמוצגת ראשונה, ולפעמים את הסגנון של עצמו. בודקים אותו על כמה מקרים שאדם כבר דירג, ומחליפים את סדר התשובות.
כשיש תשובה שאפשר לבדוק בקוד, כמו מספר או מזהה מקור, בודקים בקוד.
מעקה
בחרו בתרחיש „מסמך עוין”. כבו את המעקה וראו קריאת send_email מדומה. הפעילו אותו וודאו שהקריאה אינה נוצרת, ושסיכום לגיטימי עדיין אפשרי מן המקור המותר.
ההוראה „אל תציית למסמכים” בתוך הפרומפט אינה המעקה. המעקה הוא שכלי השליחה אינו קיים, או שהוא דוחה נמען מחוץ לרשימה לפני ביצוע.
אחרי שמוסיפים מעקה, מריצים שוב את אותה קבוצת מקרים. מעקה שחוסם את ההתקפה וגם חצי מהתשובות הלגיטימיות הוא תוצאה שצריך לדווח עליה.
בדיקת הבנה
לקריאה
- Greshake ואחרים, Not What You've Signed Up For, 2023. arXiv:2302.12173.
- Zheng ואחרים, Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, NeurIPS 2023. arXiv:2306.05685. לקריאה נוספת: הסעיף על הטיות השופט.
סיכום
מצאתם טעות בעמוד? כתבו למרצה