בשנים האחרונות סוכני בינה מלאכותית עברו ממעמד של כלי ניסיוני למערכות שמדברות ישירות עם לקוחות אמיתיים, בתחומים כמו שירות לקוחות, בנקאות ומסחר. המעבר הזה חושף בעיה שלא הייתה קיימת באותה חומרה כשמדובר היה בתוכנה קלאסית. בוט מבוסס מודל שפה לא פועל לפי חוקים קשיחים וצפויים, אלא מייצר תגובות בצורה גמישה בכל שיחה מחדש, ולכן אי אפשר לבדוק אותו רק באמצעות מבחני יחידה מסורתיים. הבדיקה חייבת לכסות טווח עצום של דרכים אפשריות שבהן משתמש עלול לנסח בקשה, לטעות, להפעיל לחץ או אפילו לנסות לתמרן את המערכת כדי לעקוף מדיניות.
הגישה המסורתית לבעיה הזו הייתה בדיקה ידנית, שבה צוות אנושי כותב מאות תרחישים אפשריים ומריץ אותם שוב ושוב מול הבוט. השיטה הזו איטית, יקרה ולא ניתנת לקנה מידה. לפי ניתוחים בתחום, כדי להגיע לכיסוי שמודל שיפוט אוטומטי מספק במהלך לילה אחד, נדרש צוות של עשרות בודקים אנושיים שיעבדו במקביל במשך יום שלם.
בשנים האחרונות התפתחה בקהילת המחקר גישה חלופית שנקראת LLM as a Judge, שבה מודל שפה משמש כשופט שמעריך את הפלט של מודל אחר. המחקר המכונן בתחום, שבחן את הגישה על אלפי השוואות בין תשובות של מודלים שונים, מצא ששופטי GPT-4 הגיעו להסכמה של מעל שמונים אחוז עם העדפות אנושיות, רמה זהה לרמת ההסכמה שמעריכים אנושיים מגיעים אליה ביניהם. מחקרים מאוחרים יותר דיווחו על תוצאות דומות ואף גבוהות מהן, לעיתים עד תשעים אחוז ומעלה, כאשר מודל השפה המשמש כשופט הוא מודל חזק וההנחיה שהוא מקבל בנויה כרשימת קריטריונים ברורים ולא כשאלה כללית ועמומה.
יחד עם זאת, רמת ההסכמה הזו אינה אחידה בכל סוגי המשימות. בבדיקות שנעשו על משימות פתוחות יותר, כמו כתיבה יצירתית או הנמקה פתוחה, רמת ההסכמה בין שופט מלאכותי לשופט אנושי צנחה לכדי כחמישים עד שישים אחוז בלבד, מה שמעיד על כך שאמינות השופט תלויה מאוד באופי המשימה ובבהירות הקריטריונים שהוגדרו לו מראש.
לצד זאת, אותם מחקרים חשפו הטיות שיטתיות ברורות. באותו מחקר מכונן נמצא ששופטים מבוססי מודל שפה מעדיפים את התשובה הראשונה שמוצגת להם בעד שבעים וחמישה אחוז מהמקרים, גם כשאין הבדל ממשי באיכות בין שתי התשובות. נמצאה גם הטיית העדפה עצמית, כלומר מודל שמשמש כשופט נוטה להעדיף תשובות שהופקו על ידי מודלים מאותה משפחה שלו, כאשר אצל GPT-4 ההטיה הזו הייתה בסביבות עשרה אחוז יתרון בשיעור הזכייה, ואצל מודלים אחרים שנבדקו ההטיה הגיעה עד כדי עשרים וחמישה אחוז. הטיה נוספת שתועדה היא נטייה עקבית להעדיף תשובות ארוכות יותר, גם כשאורך התשובה לא תרם בפועל לאיכותה.
כדי להתמודד עם ההטיות הללו, אחת השיטות המקובלות כיום היא לבדוק את השופט עצמו כמערכת שצריכה בקרה, למשל להציג לו את אותו זוג תשובות פעמיים בסדר הפוך, ואם פסק הדין מתהפך זהו סימן ברור להטיה לפי מיקום ולא הערכה אמיתית של התוכן. שיטה נוספת היא כיול השופט מול מדגם קטן של דוגמאות שסומנו ידנית, ובדיקה חוזרת שלו לאורך זמן כדי לוודא שהוא לא סוטה מהסטנדרט שנקבע.
התפתחות נוספת בתחום היא המעבר מהערכה חד ממדית של תשובה בודדת, להערכה של סוכן שלם לאורך תהליך, כולל הבחירות שהוא עושה, השימוש בכלים והדרך שבה הוא מגיע לתשובה. גישה כזו נדרשת כי סוכן יכול להצליח במשימה דרך נתיב בזבזני או שגוי, או לבצע קריאות לכלים בהצלחה טכנית אך עדיין לא לענות בפועל על מה שהמשתמש רצה. בהקשר הזה, סקרים על אימוץ הגישה בתעשייה מדווחים כי כתשעים ושניים אחוז מהצוותים שמפתחים מוצרי בינה מלאכותית כבר משלבים היום הערכה אוטומטית כלשהי בתהליך הפיתוח השוטף שלהם, מה שמעיד על כך שהמעבר משיפוט אנושי לשיפוט מבוסס מודל שפה הוא כבר לא כיוון עתידי אלא מגמה מבוססת בתעשייה.