שיעור 11 — שילוב לפרויקט
מטרות
- לחבר שליפה, כלי, תקציב ומעקה באותה ריצה.
- להשוות סוכן יחיד לשני תפקידים על אותן שאלות.
- לכתוב README ששותף אחר מצליח להריץ.
- לרשום בכל ריצה מספיק פרטים כדי לשחזר אותה.
מתי התפקיד השני עוזר
ההדגמה למטה קבועה: בלי גבול, שני החוקרים מביאים שני מחירים לאותו ספק. מסכם שבוחר ניסוח מוחק סתירה. מסכם ששומר את שני המקורות לפחות אינו ממציא מחיר אחד.
במעבדה 4 מחליפים את ההדגמה בקוד. אם אי אפשר להראות הבדל במספר הצלחות או בכשלי תיאום, לא כותבים שהצוות שיפר את המערכת.
כל העברה בין תפקידים היא מקום שבו מידע יכול ללכת לאיבוד. המסכם רואה רק את מה שהחוקרים כתבו לו. אם חוקר השמיט את המזהה של המקור, המסכם לא יכול להחזיר אותו.
מה רושמים בכל ריצה
כדי להשוות בין גרסאות, וכדי למצוא למה ריצה מסוימת נכשלה, כל ריצה שומרת:
- איזה מודל ואיזו גרסה של הפרומפט.
- גרסאות החבילות, או קובץ נעילה.
- היומן המלא: כל קריאה לכלי, הארגומנטים, הסטטוס והתוצאה.
- מספר הקריאות והזמן הכולל.
בלי הפרטים האלה, „עבד אתמול” אינו מידע שאפשר לבדוק. שינוי פרומפט קטן הוא גרסה חדשה, ומריצים עליו שוב את אותם מקרים.
מה בודק אדם אחר
לפי ה־README: התקנה, הרצת הבדיקות, ושאלה אחת. אם חסר קובץ, מפתח, או פקודה, זה ממצא של השיעור, לא תקלה שולית.
README שאפשר להריץ כולל:
- מה המערכת עושה, במשפט אחד, ועל איזה מאגר.
- פקודות התקנה והרצה, מתיקייה ריקה.
- איך מריצים את קבוצת המקרים, ואיפה נשמרות התוצאות.
- איפה שמים מפתח, אם צריך, בלי שהוא נכנס למאגר.
- מה המערכת לא יודעת לעשות.
החליפו מאגר עם זוג אחר. כל זוג מנסה להריץ את הפרויקט של השני רק לפי ה־README, בלי לשאול שאלות. רשמו כל צעד שנתקעתם בו. אחר כך כל זוג מתקן את ה־README שלו לפי הרשימה שקיבל.
בדיקת הבנה
לקריאה
Anthropic, How we built our multi-agent research system, 2025. anthropic.com/engineering/multi-agent-research-system. לקריאה נוספת: מתי כמה סוכנים עזרו, ובכמה זה עלה.
סיכום
מצאתם טעות בעמוד? כתבו למרצה