איך עוצרים בזבוז תקציב סריקה ומאיצים אינדוקס? מדריך Crawl Budget מעשי

איך עוצרים בזבוז תקציב סריקה ומאיצים אינדוקס? מדריך Crawl Budget מעשי

מה זה Crawl Budget ולמה זה משנה לאתר שלכם?

Crawl Budget זה בעצם כמה דפים גוגל מוכן לסרוק באתר שלכם כל יום. זה לא מספר קבוע – זה תלוי בגודל האתר, במהירות השרת, ובכמה חשוב גוגל חושב שהאתר שלכם. אם האתר שלכם קטן, עד כמה אלפי דפים, אז בדרך כלל אין בעיה. אבל אם יש לכם עשרות אלפי דפים או יותר, אז פתאום זה הופך לבעיה אמיתית. אגב, מהירות האתר ו-Core Web Vitals משפיעים גם על כמה תקציב גוגל מוכן להקצות לכם.

מהניסיון שלנו, הרבה אתרים מבזבזים את התקציב הזה על דפים שלא באמת חשובים. דפי פילטרים, דפי תגיות, דפים עם פרמטרים מוזרים, דפי תוצאות חיפוש פנימי. כל הדפים האלה "אוכלים" מהתקציב, ובינתיים הדפים החשובים – דפי המוצרים, המאמרים החדשים, הדפים המסחריים – מחכים בתור.

איך לדעת אם יש לכם בעיה עם Crawl Budget?

לפעמים קשה לדעת אם יש בעיה. הסימנים הכי ברורים זה כשדפים חדשים לוקחים הרבה זמן להיכנס לאינדקס, או כשאתם רואים שגוגל סורק הרבה דפים מוזרים במקום הדפים החשובים. אנחנו ממליצים לבדוק את זה בכמה מקומות.

קודם כל, תסתכלו בגוגל סרץ' קונסול על הדוח של Coverage. אם אתם רואים הרבה דפים עם סטטוס "Crawled – currently not indexed", זה סימן שגוגל כן מגיע לדפים אבל לא חושב שהם מספיק חשובים לאינדקס. זה יכול להיות בזבוז תקציב.

דבר נוסף שכדאי לבדוק זה את הלוגים של השרת. אם יש לכם גישה ללוגים, תחפשו את הבוט של גוגל (Googlebot) ותראו איזה דפים הוא הכי הרבה מבקר. לפעמים תגלו שהוא מבזבז המון זמן על דפי פילטרים או דפים עם פרמטרים שלא באמת מעניינים אף אחד. אם אתם רואים דפדוף מוזר או בעיות בדירוגים, שיטת האבחון המקצועית יכולה לעזור לכם לזהות את הבעיה האמיתית.

איזה דפים בזבזים הכי הרבה תקציב סריקה?

מהניסיון שלנו, יש כמה סוגי דפים שהם הבזבזנים הכי גדולים. דפי פילטרים באתרי מסחר זה אחד הדברים הכי גרועים. תחשבו על זה – אם יש לכם אתר עם 1000 מוצרים ו-10 פילטרים, אתם יכולים לקבל עשרות אלפי דפי פילטרים שונים. רוב הדפים האלה לא מעניינים אף אחד ולא מביאים תנועה.

דפי תגיות זה עוד בעיה גדולה, בעיקר באתרי תוכן. כל פוסט יכול להיות עם 5-10 תגיות, וכל תג יוצר דף נפרד. בסופו של דבר יש לכם מאות דפי תגיות עם תוכן דל ולא מעניין.

פרמטרים זה עוד דבר שמבזבז תקציב. דפים עם ?utm_source, ?ref, ?sort ועוד מיליון פרמטרים שיוצרים דפים כפולים. גוגל לא תמיד מבין שזה אותו דף, אז הוא סורק את כולם.

איך מפסיקים את הבזבוז ומכוונים את הבוטים לדפים הנכונים?

הדרך הכי טובה להתחיל זה עם קובץ robots.txt חכם. אבל זהירות – robots.txt זה כמו סכין חדה. אם תעשו טעות, אתם יכולים לחסום דפים חשובים. אנחנו ממליצים להתחיל בזהירות ולחסום קודם דברים שאתם בטוחים שלא חשובים.

לדוגמה, אם יש לכם דפי פילטרים, תוכלו לחסום אותם ככה:
Disallow: /*?filter=
Disallow: /*?sort=
Disallow: /*?price=

זה יגיד לגוגל לא לסרוק דפים עם הפרמטרים האלה. דבר נוסף שעוזר זה להשתמש ב-canonical tags נכון. אם יש לכם דפים דומים, תגידו לגוגל איזה דף הוא הגרסה הראשית. ככה הוא לא יבזבז זמן על כל הגרסאות.

איך מפת האתר יכולה לעזור לכם לחסוך תקציב?

מפת אתר זה לא רק רשימה של דפים – זה המדריך שלכם לגוגל. אבל הרבה אנשים עושים טעות ושמים במפת האתר את כל הדפים, כולל אלה שלא חשובים. זה בדיוק ההפך ממה שצריך לעשות.

מפת האתר צריכה להכיל רק את הדפים הכי חשובים. דפי מוצרים, מאמרים חשובים, דפי קטגוריות ראשיות. אל תשימו שם דפי תגיות, דפי פילטרים, או דפים עם תוכן דל. ככה אתם אומרים לגוגל: "תסתכלו, אלה הדפים שבאמת חשובים לנו".

עוד דבר חשוב – תעדכנו את מפת האתר באופן קבוע. אם יש לכם דפים חדשים, תוסיפו אותם. אם יש דפים שלא רלוונטיים יותר, תוציאו אותם. מפת אתר מעודכנת זה סימן לגוגל שהאתר חי ופעיל.

איך לטפל בדפי 404 ושגיאות שבזבזים תקציב?

דפי 404 זה עוד בזבזן גדול של תקציב. כל פעם שגוגל מנסה לסרוק דף שלא קיים, הוא מבזבז זמן. אם יש לכם הרבה דפי 404, זה יכול לבזבז חלק נכבד מהתקציב.

הפתרון הכי טוב זה למצוא את כל הדפי 404 ולטפל בהם. אם הדף היה חשוב, תעשו redirect 301 לדף דומה. אם הדף לא היה חשוב, תוודאו שאין קישורים אליו באתר. אנחנו ממליצים לעבור על כל הקישורים הפנימיים ולתקן אלה שמובילים ל-404.

דבר נוסף שעוזר זה להשתמש ב-410 במקום 404 לדפים שאתם יודעים שלא יחזרו. 410 אומר לגוגל "הדף הזה נמחק לצמיתות", ואז הוא מפסיק לנסות לסרוק אותו.

איך לזהות ולתקן דפים עם תוכן דל שבזבזים תקציב?

דפים עם תוכן דל זה עוד בעיה גדולה. דפי תגיות עם 2-3 פוסטים, דפי קטגוריות ריקות, דפי מוצרים שאזלו מהמלאי – כל הדפים האלה לא מביאים ערך אבל גוגל עדיין סורק אותם.

הפתרון הכי טוב זה להוסיף noindex לדפים כאלה. זה אומר לגוגל "אל תכניס את הדף הזה לאינדקס", אבל הוא עדיין יכול לסרוק אותו ולעקוב אחרי הקישורים שבו. זה טוב יותר מ-robots.txt כי זה לא חוסם לגמרי את הגישה.

לדוגמה, אם יש לכם דפי תגיות עם פחות מ-5 פוסטים, תוכלו להוסיף להם noindex. אם יש לכם דפי מוצרים שאזלו מהמלאי, גם להם תוכלו להוסיף noindex עד שהמוצר יחזור.

איך לעקוב אחרי השיפורים ולמדוד הצלחה?

אחרי שעשיתם את כל השינויים, חשוב לעקוב אחרי התוצאות. הדרך הכי טובה זה לעקוב אחרי כמה דפים גוגל סורק כל יום, וכמה מהם באמת חשובים.

בגוגל סרץ' קונסול יש דוח שנקרא "Crawl Stats" שמראה לכם כמה דפים נסרקו כל יום. אם עשיתם עבודה טובה, אתם אמורים לראות שהמספר הכולל יורד (פחות דפים מיותרים) אבל הדפים החשובים נסרקים יותר.

עוד דבר שכדאי לעקוב אחריו זה כמה זמן לוקח לדפים חדשים להיכנס לאינדקס. אם התקציב מנוצל טוב יותר, דפים חדשים אמורים להיכנס לאינדקס מהר יותר.

מה השגיאות הכי נפוצות שאנשים עושים עם Crawl Budget?

מהניסיון שלנו, השגיאה הכי גדולה זה לחסום יותר מדי דפים ב-robots.txt. אנשים נכנסים לפאניקה ומתחילים לחסום הכל. זה יכול לפגוע בדפים חשובים.

שגיאה נוספת זה לא לעדכן את מפת האתר. אנשים יוצרים מפת אתר פעם אחת ושוכחים ממנה. מפת אתר ישנה יכולה להוביל את גוגל לדפים שכבר לא קיימים.

עוד שגיאה נפוצה זה לא לטפל בדפי 404. אנשים חושבים ש-404 זה לא נורא, אבל אם יש הרבה כאלה, זה יכול לבזבז הרבה תקציב.

איך לדעת מתי כדאי להתחיל לטפל ב-Crawl Budget?

לא כל אתר צריך לדאוג מ-Crawl Budget. אם יש לכם אתר קטן עם כמה מאות דפים, כנראה שאין לכם בעיה. אבל אם יש לכם אלפי דפים או יותר, ובעיקר אם אתם רואים שדפים חדשים לוקחים הרבה זמן להיכנס לאינדקס, אז כדאי להתחיל לטפל בזה.

סימן נוסף זה אם אתם רואים בגוגל סרץ' קונסול שגוגל סורק הרבה דפים שלא חשובים. אם רוב הדפים שנסרקים זה דפי פילטרים או דפי תגיות, זה סימן שאתם מבזבזים תקציב.

בסך הכל, Crawl Budget זה נושא שיכול להשפיע משמעותי על הביצועים של האתר שלכם במנועי חיפוש. זה לא משהו שצריך לטפל בו מיד, אבל אם האתר שלכם גדול ומורכב, זה בהחלט שווה את ההשקעה. הכי חשוב זה לעבוד בזהירות ולא לעשות שינויים דרסטיים בבת אחת. אחרי שתסדרו את ה-Crawl Budget, תוכלו להתמקד באסטרטגיות קידום מתקדמות שיעזרו לכם להגיע לתוצאות עוד יותר טובות.