טוקן (Token) הוא יחידת הטקסט הבסיסית שמודל שפה עובד איתה, בדרך כלל מילה קצרה, חלק ממילה או סימן פיסוק. כל קריאה למודל נמדדת בטוקנים של קלט ובטוקנים של פלט, ולפי זה מחושבת העלות ונקבע אורך ההקשר המקסימלי. בעברית טוקן מכסה פחות טקסט מאשר באנגלית, ולכן אותו תוכן בדיוק יעלה יותר ויתפוס יותר מקום בחלון.
סוכן שמטפל בחמש מאות פניות בחודש, כשלכל פנייה מצורפים נהלים והיסטוריית לקוח, יכול לצרוך פי כמה טוקנים ממה שנראה בשיחה עצמה על המסך. חישוב עלות אמיתי לפני פרויקט לוקח בחשבון גם את הנחיית המערכת, גם את המסמכים הנשלפים וגם את מספר הסבבים בשיחה, לא רק את הודעת הלקוח.
הטעות הנפוצה היא להעריך עלות לפי אורך התשובה בלבד, כי זה מה שרואים. בפרויקטים עסקיים רוב הטוקנים נמצאים דווקא בצד הקלט: הנחיית המערכת שנשלחת בכל פעם מחדש, היסטוריית השיחה שהולכת ומתארכת, והמסמכים שנשלפו מהמאגר.
Context Window הוא נפח הטקסט המקסימלי שמודל שפה יכול להחזיק בקריאה אחת, ונמדד בטוקנים. הוא…
להגדרה ←LLM (Large Language Model) הוא מודל שאומן על כמויות עצומות של טקסט, ותפקידו הבסיסי הוא לחז…
להגדרה ←פרומפט (Prompt) הוא הטקסט שמוזן למודל AI ומגדיר מה הוא צריך לעשות. פרומפט מלא כולל את המשי…
להגדרה ←פגישת אבחון בחינם — נמפה איפה המונחים האלה פוגשים את העסק שלך בפועל.
קבע פגישת אבחון ←