Jak uwzględnić crawl budget w strategii SEO?

Crawl budget to dosyć świeży termin w branży SEO. Oznacza on nakład pracy, jaki boty Google są skłonne poświęcić danej witrynie. W oczywisty sposób wpływa to na strategie optymalizacyjne, ponieważ ograniczony nakład pracy oznacza, iż część podstron może w ogóle nie zostać zaindeksowana. Jak to uwzględnić w strategii optymalizacyjnej?

Jeśli chodzi o sposoby budowania i rozbudowywania serwisów, jeszcze kilka lat temu wśród specjalistów od SEO dominowała strategia “one keyword – one page”. Przekładało się to na tworzenie ogromnej i wciąż rosnącej struktury podstron (kategorii, tagów, podstron tematycznych) dopasowanych do pojedynczych słów kluczowych, nawet jeżeli niezbyt mocno różniły się one między sobą, czyli np. “buty damskie” i “czerwone buty damskie” otrzymywały swoje oddzielne adresy URL.

W czasach, gdy moce przerobowe serwerów Google były wystarczające, nie powstawał żaden problem związany z dużą strukturą strony. Wbrew przeciwnie – było to pożądane i pozwalało skutecznie łapać ruch na tzw. długi ogon, czyli złożone, precyzyjne słowa kluczowe. Jednak stopniowo Google zaczął odchodzić od tej strategii i rozpoczął priorytetyzowanie zadań botów indeksujących. W ten sposób powstał czynnik nazywany crawl budget – czyli “budżet”, jaki Google przeznacza na indeksowanie danej strony.

Pojawienie się crawl budgetu to naturalna konsekwencja długofalowej strategii Google odchodzenia od ilości na rzecz jakości, jeśli chodzi o pracę wyszukiwarki. Coraz mniejsze znaczenie ma przełożenie 1:1 słów kluczowych z zapytania na słowa kluczowe obecne na stronie. Oczywiście jest to istotne, jednak algorytmy wyszukiwarki z zadziwiająco szybko rosnącą skutecznością zaczynają wychwytywać prawdziwe intencje szukającego oraz prawdziwy sens indeksowanych stron. Google chce rozumieć zapytania i podsuwać strony będące trafną odpowiedzią na takie zapytanie.

Jak to uwzględnić w budowaniu pozycji strony w wyszukiwarce? Pierwszy krok to zbadanie obecnej struktury witryny. To robota dla analityka – trzeba przejrzeć wszystkie podstrony i sprawdzić, czy i jaki generują ruch. Aby ułatwić sobie zadanie, można utworzyć kilka grup roboczych dla podstron, przypisując je do nich zależnie od tego, czy kwalifikują się do usunięcia jednoznacznie, czy warto się jeszcze nad tym zastanowić. Rzecz jasna do odstrzału w pierwszej kolejności pójdą te URL-e, które w ogóle nie generują ruchu, a więc – jak można się spodziewać, w wielu przypadkach nie są nawet indeksowane.

Sam proces odchudzania musi być zgodny z szerszą strategią przebudowy strony. To, że się nadmiernie rozrosła, to efekt dotychczasowych założeń lub trybu pracy zespołu. Należy zidentyfikować szkodliwe czynniki i przedefiniować je na nowo, np. ustalić zasady budowania struktury tagów i kategorii tak, by ta z czasem nie rozrastała się zbytnio i nie rodziła “martwych” podstron.

Po ustaleniu nowej strategii budowania witryny, można przejść do jej odchudzania. Tutaj przydadzą się stworzone w trakcie analizy grupy. Podstrony można usuwać zgodnie z wyznaczoną tym priorytetyzacją. Aby nie gubić mocy ew. przypisanej do likwidowanych URL-i, należy zaplanować i wdrożyć odpowiednią strategię przekierowywania ruchu. Zagospodarowywanie szczegółowych keywordów odbywa się głównie poprzez wkomponowywanie ich w podstrony bardziej ogólnych słów kluczowych, czyli, wracając do już przywołanego przykładu, na podstronie “buty damskie” treścią trzeba ugrać uszczegółowienia takie jak “czerwone buty damskie”.

Odchudzanie strony jest procesem “bolesnym”, ponieważ na pierwszy rzut oka wygląda, jak dobrowolne rezygnowanie ze zgromadzonych zasobów. Przykłady wielu stron pokazują jednak, iż zredukowana struktura łapie ruch dużo skuteczniej.