עבור לתוכן הראשי
WIDER
לכל הפוסטים

רשימות על עבודה עם AI

המנגנון שעומד מאחורי כל חשבון Claude Code מפתיע

יש לנו כבר מספיק סבבים אוטומטיים של Claude Code שרצים בלילה כדי לעקוב ברצינות אחרי החשבון, וגילינו שהוא כמעט לא תלוי בכמות העבודה. הוא תלוי במנגנון cache שכמעט אף אחד לא מסביר, וזה יכול להפוך מילה אחת להוצאה אמיתית.

שלושה רגעים בטור אנכי לאורך שיחה אחת. הראשון, ההודעה הפותחת, נכתב לקאש — הפעולה היקרה. השני, כל הודעה שממשיכה תוך פחות משעה, נקרא מהקאש בעלות נמוכה בסדר גודל, והשעון מתאפס בכל הודעה. השלישי מודגש בזהב: חוזרים אחרי יותר משעה, הקאש פג, וכל השיחה נכתבת מחדש במחיר המלא עוד לפני שהמודל קרא את מה שהקלדתם.

  1. ההודעה הראשונה

    כתיבה לקאש

    אין עדיין היסטוריה להתייחס אליה, אז כל ההקשר נכתב. זו הפעולה היקרה, והיא בלתי נמנעת פעם אחת.

  2. כל הודעה תוך שעה

    קריאה מהקאש

    ההיסטוריה נקראת במקום להישלח מחדש, בעלות נמוכה בערך פי עשרים. כל הודעה מאפסת את השעון.

  3. חוזרים אחרי שעה וחצי

    נכתב מחדש, במלוא המחיר

    הקאש פג. השיחה כולה נכתבת שוב לפני שהמודל בכלל הגיע למה שכתבתם — גם אם כתבתם ׳היי׳.

לכן שיחה ארוכה שנשארה פתוחה מאתמול היא לא נוחות, היא התחייבות. לדחוס אותה או לפתוח חדשה עולה פחות מלהמשיך אותה.

אותה הודעה בדיוק. ההבדל היחיד הוא כמה זמן עבר מאז הקודמת.
2 דק׳ קריאה
  • claude-code
  • token-costs
  • prompt-caching
  • workflow

החשבון והעבודה כמעט ולא מתואמים

אנחנו מריצים כבר תקופה לא מבוטלת של סבבי Claude Code על לוח זמנים קבוע, סוכני builder שמקבלים משימה בלילה, עובדים עליה, ומוסרים אותה בבוקר. אי שם בערך בחודש השלישי לזה התחלנו לקרוא את שורת השימוש בטוקנים באותה תשומת לב שפעם שמרנו רק לזמן ריצה. והדבר הראשון שמתגלה כשמסתכלים הוא שהחשבון כמעט ולא קשור לכמות העבודה שנעשתה. הוא קשור לצורה שבה השיחה נבנתה.

ארבעה מספרים, לא שניים

מי שהעיף מבט בדף התמחור מכיר תעריף input ותעריף output. מה שרוב האנשים מפספסים הוא שיש עוד שתי קטגוריות מאחוריהם, cache write ו-cache hit. cache write קורה כשהודעה נשלחת ל-Claude בפעם הראשונה ואין עדיין היסטוריה להסתמך עליה, אז כל השיחה נכתבת למקום שממנו אפשר לקרוא בזול בהמשך. cache hit הוא בדיוק זה, קריאה של ההיסטוריה במקום שליחה מחדש ועיבוד מחדש שלה. הפער בין שני התעריפים הוא בסדר גודל אחד בערך, סביב פי עשרים, תלוי במודל ובמה שדף התמחור העדכני אומר באותו רגע (כדאי לבדוק, זה משתנה). היחס הזה הוא כל הסיפור. כל מה שבא בהמשך הוא בעצם ניסיון להימנע מ-cache write מיותרים.

השעון שרץ בלי שידעתם

וזה החלק שאף אחד לא מספר לכם בהתחלה. ה-cache לא חי לנצח. יש לו אורך חיים של בערך שעה, וכל הודעה שאתם שולחים מאפסת את הטיימר מחדש. אז כל עוד אתם בתוך שיחה ושולחים הודעות בקצב סביר, אתם ממשיכים לשלם את התעריף הזול. אבל אם הלכתם לשעה וחצי וחזרתם והקלדתם משהו, השיחה כולה נכתבת מחדש ל-cache בתעריף היקר עוד לפני ש-Claude בכלל מגיע למילה שהקלדתם. שיחה שבניתם כל אחר הצהריים לא נעלמת כשקמתם מהמחשב. היא פשוט מחכה להפוך שוב ליקרה בפעם הבאה שתיגעו בה.

זו המלכודת שאף אחד לא רואה מגיעה, כי היא לא נראית כמו טעות. לא ביקשתם שום דבר מסובך. כתבתם היי.

מה שבאמת משנה את המספר

ברגע שהמנגנון הזה נכנס ללוח, שאר הרשימה היא בעיקר תחזוקה. שיחה שהתיישנה שווה compact, או פשוט clear, לפני שממשיכים אותה, במקום לגרור היסטוריה בת שעה שרק חלק ממנה עדיין רלוונטי, במחיר מלא. במשימות ארוכות טווח משתלם להעמיד מודל חזק בתפקיד יועץ שמכוון תוכנית, ולתת למודל זול יותר לבצע בפועל ולעלות חזרה רק כשהוא נתקע. המודל היקר מבלה את הזמן שלו בהחלטות, לא בהקלדה. שווה גם לבדוק את הקונפיגורציה כמו שבודקים מנוי: CLAUDE.md שגדל מעבר למה שמישהו באמת קורא, או תיקיית skills שאף אחד לא הפעיל שבועות, יושבים בתוך חלון ההקשר ומשולמים בכל תור, גם כשהם לא עשו כלום באותו תור. גם הפלט מתומחר, אז מודל שמסביר את עצמו ארוכות לפני שהוא עושה את הדבר עולה יותר ממודל שקיבל הנחיה פשוט לעשות אותו.

עלות היא בחירת עיצוב, לא הצעת מחיר

שום דבר מכל זה לא דרש מאיתנו להריץ משהו יוצא דופן. זה בעיקר לא להשאיר שיחות פתוחות מעבר לשעה, לא לגרור יותר הקשר ממה שבאמת בשימוש, ולהיות כנים עם עצמנו לגבי מה שיחת בדיקה מהירה עולה לעומת מה ששאלה של חמש מילים באמת מצדיקה. מי שמתפלא מהחשבון, כמעט תמיד, לא עושה שום דבר חריג. הוא פשוט לא מתייחס לעלות כמשהו שהוא מעצב, וזה בדיוק מה שהיא, בכל סבב, גם כשאף אחד לא בודק אותה.

הדרכות Claude לצוותים

רוצים להעביר את זה לצוות שלכם?

זה בדיוק החומר שאנחנו מלמדים בסדנאות, אצלכם במשרד או אונליין. ספרו לנו על הצוות ועל מה שאתם מנסים לפתור, ונחזור אליכם עם הצעה.