הנה משהו שרוב בעלי האתרים אף פעם לא חושבים עליו: Googlebot לומד מההתנהגות של השרת שלכם. בכל פעם שהוא מנסה לסרוק את האתר ונתקל ב-timeout, שגיאת 500, או חיבור שנדחה, הוא רושם את זה לפניו. אם זה קורה מספיק פעמים, Googlebot בשקט משנה את התדירות שבה הוא טורח להגיע בכלל.
זה לא עונש במובן המסורתי. זה יותר דומה לגוגל שמגנה על המשאבים שלה. אבל התוצאה הסופית מרגישה בדיוק כמו עונש: אינדוקס איטי יותר, תוצאות חיפוש לא מעודכנות, ותוכן חדש שלוקח לו ימים במקום שעות כדי להופיע בגוגל.
Googlebot מסתגל לשרת שלכם, בין אם זה נוח לכם או לא
גוגל לא סורק כל אתר בקצב קבוע. הוא משתמש במשהו שנקרא crawl rate limit, שמשתנה בהתאם לאופן שבו השרת שלכם מגיב לאורך זמן. אם השרת שלכם עונה לבקשות במהירות ובאופן אמין, גוגל מרגיש בנוח לשלוח יותר בקשות. אם השרת שלכם איטי להגיב או לא זמין לעיתים קרובות, גוגל נסוג.
תחשבו על זה כמו נהג משלוחים שממשיך להגיע לחנות שסגורה באופן אקראי. אחרי כמה נסיעות מבוזבזות, הנהג מתחיל להתקשר מראש או פשוט מדלג על העצירה הזו לעיתים קרובות יותר. Googlebot מתנהג באותה צורה. הוא לא רוצה לבזבז את תקציב הסריקה שלו על אתר שאולי לא יגיב.
למה זה משפיע ישירות על זמינות אתר ל-SEO
כאן זמינות אתר ל-SEO מפסיקה להיות חשש תיאורטי והופכת למשהו שאפשר למדוד בפועל. אם האתר שלכם נופל אפילו לפרקי זמן קצרים בזמן חלונות הסריקה הרגילים של Googlebot, אתם לא רק מפסידים מבקרים באותו רגע. אתם משדרים למערכות של גוגל שהשרת שלכם לא אמין. Comments are closed. דילוג לתוכן תחת שבועות או חודשים של תקלות חוזרות, גוגל מוריד את תדירות הסריקה שלו. פחות סריקה אומר:
- לוקח יותר זמן לעמודים חדשים להיכנס לאינדקס
- תוכן מעודכן לא משתקף מהר בתוצאות החיפוש
- עמודים שהוסרו או הופנו מחדש נשארים באינדקס זמן רב מדי
- הנראות הכללית שלכם בחיפוש נשארת מאחור בהשוואה למתחרים שנשארים זמינים באופן עקבי
שום דבר מזה לא מופיע כירידה דרמטית בדירוג בן לילה. זה איטי ושקט הרבה יותר, וזו בדיוק הסיבה שכל כך הרבה בעלי אתרים מפספסים את הקשר בין אמינות האחסון שלהם לביצועי החיפוש שלהם.
הקשר לתקציב הסריקה
תקציב הסריקה (crawl budget) הוא מספר העמודים שגוגל מוכן לסרוק באתר שלכם בפרק זמן נתון. באתרים קטנים זה כמעט ולא משנה. אבל באתרים גדולים, חנויות אונליין עם אלפי מוצרים, או כל אתר שמוסיף תוכן באופן קבוע, תקציב הסריקה הופך למגבלה אמיתית.
זמן השבתה פוגע בתקציב הזה בצורה מבזבזת. כל ניסיון סריקה כושל עדיין נספר מתוך המשאבים שגוגל הקצתה לאתר שלכם. אז במקום ש-Googlebot יסרוק בהצלחה 500 עמודים, הוא עשוי לנסות 500 ולהצליח רק ב-350, כשהשאר נתקלים ב-timeout. גרוע מכך, גוגל זוכר את הכישלונות האלה ומוריד את הציפיות שלו מהאתר שלכם קדימה.
מה שגיאות שרת באמת אומרות לגוגל
לא כל זמן השבתה נראה אותו דבר בעיני Googlebot, והוא מגיב אחרת בהתאם למה שהוא נתקל בו:
- timeouts מרמזים שהשרת שלכם עמוס מדי או איטי מדי בלטפל בבקשות
- שגיאות שרת מסוג 5xx מרמזות שמשהו שבור בפועל
- כשלי DNS מרמזים שהאתר שלכם אולי בכלל לא נגיש
- כשלים לסירוגין, שבהם האתר עובד לפעמים ולא עובד בפעמים אחרות, נחשבים לעיתים קרובות לדפוס הכי פחות אמין, כי גוגל לא יכול לחזות מתי הוא יקבל תגובה טובה
שווה לעצור רגע על הנקודה האחרונה. אתר שתמיד איטי צפוי יותר בעיני גוגל מאתר שלפעמים מהיר ולפעמים לא נגיש בכלל. חוסר עקביות שוחק את האמון מהר יותר ממגבלה ידועה.
איך לדעת אם זמן השבתה כבר משפיע על קצב הסריקה שלכם
Google Search Console הוא הכלי החינמי הכי טוב שיש לכם כאן. תחת דוח Crawl Stats, אתם יכולים לראות כמה בקשות Googlebot ביצע באתר שלכם לאורך זמן, זמני תגובה ממוצעים, ופילוח של קודי התגובה שהוא נתקל בהם. מגמת עלייה בבקשות כושלות או מגמת ירידה בסך הבקשות לסריקה הן שני סימני אזהרה ששווה לבדוק.
אם אתם רואים זמני תגובה שמתארכים גם כשהאתר "מרגיש" לכם בסדר, זה לעיתים קרובות סימן מוקדם. Googlebot נוטה להגיב לעומס על השרת לפני שמבקרים אנושיים שמים לב לזה בכלל, מכיוון שהוא לעיתים קרובות סורק בשעות שפל כשהשרת שלכם אולי מריץ משימות תחזוקה או גיבויים שצורכים משאבים זמינים.
מה באמת פותר את הבעיה
החדשות הטובות הן שאפשר לתקן את זה, וזה מתחיל מהבסיס ולא ממשהו מסובך.
ראשית, תשיגו ראייה אמיתית לזמינות שלכם. אי אפשר לתקן מה שלא מודדים, וניחוש על בסיס תלונות לקוחות אומר שאתם כבר מפגרים מאחור. הקמה של ניטור זמינות תקין נותנת לכם תמונה מדויקת של כמה פעמים ולכמה זמן האתר שלכם באמת נופל, לא רק תחושת בטן.
שנית, ודאו שלשרת שלכם יש מספיק משאבים גם לתעבורה שלכם וגם לתהליכי רקע. הרבה זמן השבתה "אקראי" מגיע בעצם משרת שפשוט קטן מדי למה שמבקשים ממנו, במיוחד כשגיבויים, משימות cron, וקפיצות בתעבורה חופפים זה לזה.
שלישית, אם האתר שלכם רץ על WordPress, שאילתות מסד נתונים איטיות ותוספים מכבידים הם לעיתים קרובות האשמים מאחורי האטה לסירוגין שנראית ל-Googlebot כמו זמן השבתה, גם אם מבקר אנושי רק רואה עמוד איטי. כיסינו את זה בפירוט רב יותר במאמר למה אתר ה-WordPress שלכם מרגיש איטי גם אחרי שניסיתם הכל.
לבסוף, חשבו על יתירות (redundancy). אם ההגדרה הנוכחית שלכם חסרת failover ונקודת כשל בודדת מפילה את כל האתר, זו בעיה מבנית שאף שיפור ביצועים לא יפתור לגמרי. זה קשור, אך שונה, מבעיית אות הדירוג שחקרנו באיך זמן השבתה של אתר משדר ישירות בעיות איכות לאלגוריתם הדירוג של גוגל.
איפה אחסון מנוהל נכנס לתמונה
הרבה מזה מתבטא ביציבות השרת, וזו בדיוק הסיבה שבחירת אחסון חשובה ל-SEO יותר ממה שרוב האנשים חושבים. על VPS מנוהל היטב, משאבי שרת, ניטור זמינות, והתראות אוטומטיות מטופלים כעניין שבשגרה, כך שבעיות נתפסות ונפתרות לפני שהן הופכות לדפוס ש-Googlebot מתחיל לזהות. זו המטרה האמיתית כאן, לא רק לשרוד לילה אחד רע, אלא להימנע מהצטברות איטית של כשלים שמלמדת את גוגל שהאתר שלכם לא שווה ביקור תכוף.
לסיכום
Googlebot לא נוטר טינה, אבל הוא כן מסתגל לדפוסים. זמן השבתה תכוף, אפילו בפרצי זמן קצרים, מאמן אותו לצפות לפחות מהשרת שלכם ובעקבות כך לבקר פחות. זה מתבטא באינדוקס איטי יותר, תוכן לא מעודכן בתוצאות חיפוש, ותקציב סריקה שלעולם לא ממש מכסה את כל האתר שלכם.
אם לא בדקתם את דוח Crawl Stats ב-Search Console לאחרונה, זה המקום הראשון להסתכל בו. שלבו את זה עם ניטור אמיתי מהצד שלכם, ותדעו בדיוק איפה אתם עומדים במקום לקוות שגוגל ימשיך להגיע בזמן.
