מודל שפה יודע הרבה על העולם ולא יודע דבר על העסק. הוא לא מכיר את המחירון, את מדיניות ההחזרות ואת הנוהל הפנימי. כשנשאל עליהם, הוא ינסח תשובה סבירה שאינה נכונה. RAG היא השיטה שסוגרת בדיוק את הפער הזה.
איך זה עובד בשלושה צעדים
השאלה של המשתמש הופכת לחיפוש במאגר הידע של העסק; הקטעים הרלוונטיים ביותר נשלפים; והמודל מתבקש לענות על סמכם בלבד. התוצאה היא תשובה שנשענת על מסמך אמיתי, ושאפשר להציג לצידה את המקור שממנו נלקחה.
- הכנת מאגר הידע: פיצול המסמכים לקטעים בעלי משמעות
- אחזור: שליפת הקטעים הרלוונטיים לשאלה שנשאלה
- ניסוח: תשובה מבוססת מקורות, עם הפניה למסמך
1/5 פרקים מאחוריכם · נותרו כ-6 דק׳
איכות התשובה נקבעת במאגר, לא במודל
זו התובנה שחוסכת את רוב האכזבות. מאגר ידע מבולגן, עם שלוש גרסאות סותרות של אותו נוהל, ייצר תשובות סותרות בכל מודל שהוא. סידור הידע (מקור אחד לכל נושא, תאריך עדכון ובעלים אחראי) הוא רוב העבודה בפרויקט כזה.
סוכן AI מגלה לעסק בדיוק כמה מסודר הידע שלו. זה לא תמיד נעים, וזה כמעט תמיד שווה.
2/5 פרקים מאחוריכם · נותרו כ-4 דק׳
גבולות: מתי הסוכן אומר "אני לא יודע"
סוכן מקצועי מוגדר לענות רק כשנמצא מקור מספק, ולהעביר לאדם בכל מקרה אחר. משפט "אין לי מידע מספיק, מעבירה לנציג" שווה יותר מעשר תשובות מרשימות שאחת מהן שגויה. אמון נשבר פעם אחת בלבד.
3/5 פרקים מאחוריכם · נותרו כ-3 דק׳
איך יודעים שזה מדויק
לפני עלייה לאוויר נבנה מאגר של חמישים עד מאה שאלות אמיתיות עם התשובות הנכונות להן. כל שינוי במערכת נבדק מולו, וכל ירידה בדיוק נעצרת לפני שהיא מגיעה ללקוחות. בלי מאגר בדיקה כזה, שיפור ופגיעה נראים אותו דבר.
4/5 פרקים מאחוריכם · נותרו כ-2 דק׳
עלות: פחות ממה שנדמה, ובנויה נכון
עלות ההרצה נשלטת על ידי גודל ההקשר שנשלח, שמירת תשובות חוזרות במטמון, ובחירת מודל לפי סוג המשימה. תכנון נכון של שלושת אלה מוריד עלות חודשית בשיעור ניכר בלי לפגוע באיכות, וזה ההבדל בין הדגמה מרשימה למערכת שרצה בייצור.