יחידת הטקסט הבסיסית שמודל שפה מעבד (בדרך כלל חלק ממילה), והיחידה שלפיה נמדדת העלות.
החשיבות המעשית היא כלכלית: כל קריאה למודל מתומחרת לפי כמות ה-Tokens שנכנסו ויצאו. מערכת שמעבירה למודל מסמך שלם בכל שאלה תעלה פי כמה ממערכת ששולפת רק את הקטע הרלוונטי.
בעברית, אותו משפט נחתך בדרך כלל ליותר Tokens מאשר באנגלית, ולכן אומדן עלות שנעשה על טקסט אנגלי מטעה כלפי מטה.
צ׳אט שירות מעביר למודל את מסמך המדיניות המלא, כ-10 עמודים ו-10,000 Tokens, בכל שאלה. ב-1,000 שאלות ביום זה 10 מיליון Tokens של קלט ביום.
שליפה של הקטע הרלוונטי בלבד, כ-500 Tokens, מורידה את הנפח ל-500,000 ביום: פי 20 פחות, באותה תשובה. זה ההבדל בין חשבון חודשי שמטריד לחשבון שכמעט לא מרגישים.
הערך הבא במילון
מה שלא נענה כאן נשלח ב-WhatsApp לחבר צוות, עם שם המונח, וחוזר עם תשובה של מי שעובד עם זה כל יום.