Context Window הוא נפח הטקסט המקסימלי שמודל שפה יכול להחזיק בקריאה אחת, ונמדד בטוקנים. הוא כולל את הכל ביחד: הנחיית המערכת, היסטוריית השיחה, המסמכים שנשלפו והתשובה שהמודל עומד לכתוב. כשחורגים ממנו, החלקים הישנים נחתכים והמודל פשוט מפסיק להכיר אותם. זה לא זיכרון קבוע אלא שולחן עבודה שמתרוקן בסוף כל קריאה.
בשיחת שירות ארוכה בוואטסאפ, אם לא שומרים את הפרטים החשובים במקום חיצוני, הסוכן ישכח את שם הלקוח ואת מספר ההזמנה שנמסרו בהתחלה ויתחיל לשאול שוב. לכן בונים סיכום מתגלגל של השיחה, ושומרים את שדות המפתח ב-CRM כבר ברגע שהם נאמרים, במקום להסתמך על מה שנשאר בחלון.
הבלבול הנפוץ הוא לחשוב שחלון גדול יותר פותר הכל, ולכן להזרים פנימה כל מסמך שאפשר. בפועל, יותר טקסט לא רלוונטי דווקא מוריד דיוק, מבלבל את המודל בין פרטים דומים, ומייקר כל קריאה. עדיף לשלוף בכל פעם רק את מה שנחוץ לשאלה הספציפית.
טוקן (Token) הוא יחידת הטקסט הבסיסית שמודל שפה עובד איתה, בדרך כלל מילה קצרה, חלק ממילה או…
להגדרה ←LLM (Large Language Model) הוא מודל שאומן על כמויות עצומות של טקסט, ותפקידו הבסיסי הוא לחז…
להגדרה ←RAG (Retrieval Augmented Generation) הוא דפוס עבודה שבו לפני שהמודל עונה, המערכת מחפשת במא…
להגדרה ←פרומפט (Prompt) הוא הטקסט שמוזן למודל AI ומגדיר מה הוא צריך לעשות. פרומפט מלא כולל את המשי…
להגדרה ←פגישת אבחון בחינם — נמפה איפה המונחים האלה פוגשים את העסק שלך בפועל.
קבע פגישת אבחון ←