إذا كان موقعك يحتوي على بضع عشرات من الصفحات فقط، فمن المحتمل أنك لا تفكر أبدًا في ميزانية الزحف (crawl budget). فجوجل ستصل في النهاية إلى كل شيء. لكن إذا كنت تدير متجر تجارة إلكترونية يحتوي على 50 ألف صفحة منتج، أو موقعًا إعلاميًا ينشر يوميًا، أو سوقًا إلكترونيًا مليئًا بالإعلانات التي ينشئها المستخدمون، فإن ميزانية الزحف تصبح أمرًا عليك إدارته فعليًا. والجزء الذي يغفل عنه معظم الناس هو أن استضافتك تلعب دورًا أكبر في ذلك من خريطة الموقع (sitemap).
ما الذي تعنيه ميزانية الزحف فعلًا
ميزانية الزحف هي عدد الصفحات التي يرغب محرك البحث ويستطيع زحفها على موقعك خلال فترة زمنية معينة. لا تملك جوجل موارد لا نهائية لزحف كل موقع على الإنترنت، لذا فهي تخصص ميزانية تقريبية لكل نطاق بناءً على أمرين: الطلب على الزحف (crawl demand) وهو مدى رغبة جوجل في زحف محتواك، وقدرة الزحف (crawl capacity) وهي مدى قدرة خادمك على التعامل مع ذلك دون مشاكل.
بالنسبة للمواقع الصغيرة، نادرًا ما يهم هذا الأمر. تستطيع جوجل زحف 200 صفحة في فترة بعد الظهر دون أي مجهود. لكن عندما تتعامل مع عشرات الآلاف من الروابط، تصبح الصفحات غير المفهرسة أو التي تُفهرس ببطء مشكلة حقيقية تؤثر على الإيرادات. صفحة منتج لم يتم زحفها لن تُصنَّف. وصفحة لم تُصنَّف لن تحصل على زيارات. الأمر بهذه البساطة.
قدرة الزحف مشكلة تخص الاستضافة
هذا هو الجزء الذي يفاجئ الكثير من أصحاب المواقع. الطلب على الزحف يتعلق بالمحتوى والروابط. أما قدرة الزحف فتتعلق بالكامل تقريبًا بالاستضافة. يراقب Googlebot باستمرار كيفية استجابة خادمك أثناء الزحف. فإذا بدأ خادمك بالاستجابة ببطء، أو إرجاع أخطاء، أو انتهاء المهلة أثناء حركة الزحف، تتراجع جوجل. تقلل من معدل الزحف لتجنب إرهاق خادمك.
هذا يعني أن الخادم البطيء أو المُحمَّل بشكل زائد أو المُهيَّأ بشكل سيئ لا يضر فقط بتجربة زوارك، بل يخبر جوجل مباشرة بأن تزحف موقعك بشكل أقل. بالنسبة لمدونة تحتوي على 200 صفحة، هذا إزعاج بسيط. أما بالنسبة لكتالوج تجارة إلكترونية كبير، فقد يعني ذلك بقاء آلاف الصفحات دون فهرسة لأشهر.
علامات تدل على أن استضافتك تحد من ميزانية الزحف
- أوقات استجابة الخادم ترتفع فوق 1-2 ثانية خلال فترات الحركة العالية
- ظهور أخطاء 5xx في تقرير إحصاءات الزحف في Google Search Console
- انخفاض ملحوظ في طلبات الزحف بعد زيادة في حركة الزيارات
- الصفحات الجديدة تستغرق أسابيع لتظهر في نتائج البحث رغم وجود روابط داخلية إليها
- استعلامات قاعدة البيانات تصبح أبطأ مع نمو الكتالوج أو مكتبة المحتوى
تقرير Crawl Stats في Search Console هو أفضل أداة مجانية لرصد ذلك. انظر إلى مخطط متوسط وقت الاستجابة. إذا كان هناك ارتباط بين ارتفاعه وانخفاض طلبات الزحف، فإن قدرة خادمك هي العائق، وليس استراتيجية المحتوى لديك.
لماذا يرتبط وقت استجابة الخادم بـ SEO واستضافة المواقع بشكل وثيق
يتعامل الكثير من أصحاب المواقع مع SEO والاستضافة كأنهما قسمان منفصلان. فريق يكتب المحتوى ويبني الروابط، وفريق آخر يبقي الخادم يعمل فقط. لكن عندما تدير SEO واستضافة المواقع لموقع كبير، فهما في الواقع وظيفة واحدة بقبعتين مختلفتين. كل ميلي ثانية يستغرقها خادمك للاستجابة يستهلك من ميزانية الزحف التي تخصصها جوجل لك، وكل تراجع في ميزانية الزحف يعني فهرسة أبطأ للمحتوى الجديد والمُحدَّث.
لقد كتبنا عن هذا الارتباط بتفصيل أكبر في كيف يرتبط SEO واستضافة المواقع أكثر مما تعتقد، ويستحق الأمر مراجعته إذا كنت قد أدركت للتو أن مواصفات خادمك تُعد رافعة لتحسين محركات البحث.
حِمل قاعدة البيانات هو المتهم المعتاد
بالنسبة للمواقع الكبيرة، نادرًا ما تكون المشكلة في خادم الويب نفسه. المشكلة عادة في قاعدة البيانات. كل صفحة منتج، أو فلتر تصنيف، أو قائمة ديناميكية عادة ما تعني استعلامًا في قاعدة البيانات، وفي كتالوج كبير، تتضاعف هذه الاستعلامات بسرعة. صفحة تستغرق 200 ملي ثانية لعرضها عند حركة زيارات منخفضة يمكن أن تصل إلى 3 ثوانٍ عندما يزحفها Googlebot ويزورها زوار حقيقيون في نفس الوقت.
لقد تناولنا سبب حدوث ذلك في لماذا تُعد استعلامات قاعدة البيانات البطيئة العائق الخفي في معظم تطبيقات الويب. إذا كان موقعك يعمل بكتالوج منتجات كبير، فمن المفيد تدقيق أبطأ الاستعلامات لديك تحديدًا أثناء محاكاة حِمل الزحف، وليس فقط أثناء الحركة العادية.
طرق عملية لحماية ميزانية الزحف في المواقع الكبيرة
1. أصلح وقت الاستجابة قبل خرائط المواقع
غالبًا ما يلجأ أصحاب المواقع أولًا إلى تعديل خرائط المواقع بصيغة XML. هذه التعديلات تساعد جوجل على إيجاد الصفحات، لكنها لا تساعدها فعليًا على جلبها بشكل أسرع. إذا كان متوسط وقت الاستجابة لديك يتجاوز ثانية واحدة، فهذا هو الإصلاح الأهم أولوية.
2. استخدم التخزين المؤقت بقوة على مستوى الخادم
يمنع التخزين المؤقت من جهة الخادم Googlebot من تحفيز استعلام كامل لقاعدة البيانات في كل عملية زحف. طبقة تخزين مؤقت مُعدَّة بشكل جيد يمكن أن تقلل أوقات الاستجابة من ثوانٍ إلى ميلي ثوانٍ، ما يزيد مباشرة من عدد الصفحات التي تستطيع جوجل زحفها في كل جلسة. التخزين المؤقت للكائنات باستخدام Redis فعّال بشكل خاص للمواقع الديناميكية كثيفة الاعتماد على قواعد البيانات.
3. قلّل الروابط منخفضة القيمة
يمكن للتصفح متعدد الفئات (faceted navigation)، ومعرّفات الجلسات، ومعاملات الروابط المُصفّاة أن تضاعف عدد الروابط القابلة للزحف بمقدار 10 أضعاف أو أكثر دون إضافة محتوى حقيقي. هذا يبعثر ميزانية الزحف على صفحات لا تهم فعليًا. استخدم robots.txt والعلامات القانونية (canonical tags) لإبقاء Googlebot مركزًا على الصفحات التي تريد فهرستها فعلًا.
4. راقب صحة الخادم باستمرار، وليس بشكل متقطع
غالبًا ما تظهر مشاكل الزحف كارتفاعات قصيرة، قفل في قاعدة البيانات أثناء عملية نسخ احتياطي، ارتفاع في الزيارات بسبب حملة تسويقية، أو تحديث إضافة (plugin) سار بشكل خاطئ. إذا كنت تتحقق من صحة الخادم مرة واحدة أسبوعيًا فقط، ستفوتك هذه الأنماط. المراقبة المستمرة لوقت التشغيل ووقت الاستجابة تلتقط هذه الانخفاضات فور حدوثها، حتى تتمكن من إصلاحها قبل أن تتراكم لتصبح مشكلة في ميزانية الزحف. لهذا السبب بالضبط نراقب أوقات الاستجابة والأخطاء على مدار الساعة للخوادم التي ندير، بدلًا من انتظار تقرير شهري.
5. امنح خادمك هامشًا كافيًا من القدرة الاحتياطية
إذا كان خادمك يعمل بنسبة 90% من طاقته خلال حركة الزيارات العادية، فلا يوجد هامش متبقٍ لارتفاع في الزحف أو زيادة مفاجئة في الزيارات. تحتاج المواقع الكبيرة إلى بنية تحتية قادرة على استيعاب الزوار الحقيقيين وحركة الروبوتات معًا دون أن تتباطأ لأي منهما. هذا أحد المجالات التي تُحدث فيها خطة VPS بحجم مناسب فرقًا ملموسًا مقارنة بالاستضافة المشتركة، حيث تتنافس على الموارد مع مواقع أخرى على نفس الخادم.
الخلاصة
ميزانية الزحف ليست مفهومًا تقنيًا مجردًا مخصصًا لمواقع المؤسسات الكبرى فقط. إنها نتيجة مباشرة لمدى سرعة وموثوقية استجابة خادمك للطلبات، بما فيها تلك القادمة من روبوتات محركات البحث. إذا كنت تدير كتالوجًا كبيرًا، أو تنشر بشكل متكرر، أو تتعامل مع آلاف الروابط، فإن إعداد استضافتك إما يساعد جوجل على إيجاد محتواك وتصنيفه بسرعة، أو يُبطئ هذه العملية بهدوء.
ابدأ بمراجعة إحصاءات الزحف في Search Console لديك. إذا كانت أوقات الاستجابة في ارتفاع، فهذه إشارتك للنظر في قدرة الخادم والتخزين المؤقت قبل أن تلمس أي شيء آخر.
