Poradnik Podstawowe przyczyny problemów z indeksacją

1,1 tys. · 10 Lutego 2014

Istnieje 5 podstawowych przyczyn, które mogą powodować zaburzenia w indeksowaniu się serwisu lub jego fragmentów:

robot nie wie o istnieniu serwisu lub dokumentu;
serwis lub jego część jest niedostępna dla robotów;
serwis znajduje się na “czarnej liście” wyszukiwarki;
problemy techniczne;
poszczególne strony lub rozdziały są niskiej jakości.

Poniżej szczegółowo omówimy cztery pierwsze punkty. Piąty wydaje się być oczywisty

1) Robot nie wie o istnieniu serwisu/dokumentu.

Robot może nie zauważyć serwisu, co jest równoznaczne z nie wprowadzeniem go do bazy danych, w głównej mierze z dwóch powodów:

Minęło mało czasu
Robot potrzebuje czasu, aby dowiedzieć się o serwisie, lub jego nowych elementach: w tym celu musi odnaleźć prowadzący do niego link, lub zostać o tym “poinformowany” przez toolbar zainstalowany na przeglądarce osoby odwiedzającej go, lub też właściciel może osobiście zgłosić robotowi pojawienie się nowego dokumentu. Przyspieszyć indeksację można za pomocą specjalnych serwisów Add URL, które “zaproszą” roboty indeksujące na Twoją stronę. Jest to bardzo proste: w przypadku wyszukiwarki Google należy zarejestrować (zalogować) się i przy pomocy zakładki w Narzędziach dla Webmasterów wysłać nasz link. Jeśli na podstawie logów serwera zorientujesz się, że robot odwiedził już Twój serwis, musisz uzbroić się w jeszcze trochę cierpliwości, gdyż wprowadzenie zmian w bazie danych może zająć trochę czasu (w przypadku Google minimum kilka godzin).

Do serwisu/dokumentu nie prowadzą linki
Jeśli serwis jest rzadko uzupełniany, to robot także będzie go odwiedzał rzadko i po dodaniu nowych treści należy się upewnić, że prowadzą do nich linki ze strony główniej, a w najlepszym wypadku także z innych serwisów, aby zwiększyć prawdopodobieństwo szybkiego zauważenia nowych dokumentów przez robota.

2) Cały serwis lub jego część jest niedostępna dla robota.

Nawet jeśli wyszukiwarka już wie o istnieniu Twojego serwisu, możesz (celowo lub nie) zamknąć mu dostęp do określonych rozdziałów lub dokumentów.

Domena nie jest delegowana (lub jej delegacja została wyłączona na podstawie skarg)
Należy upewnić się, że zakupiona przez Ciebie domena jest odpowiednio delegowana i dostępna przez nazwę domenową nie tylko dla Ciebie, ale również dla innych Internautów. Poproś znajomych, żeby przetestowali jej dostępność. Może się też zdarzyć, że serwis zostanie zablokowany z powodu niezgodnego z prawem contentu rozmieszczonego na nim, takiego jak, na przykład, treści hazardowe.

Dostęp zamknięty przez robots.txt
Otwórz plik /robots.txt, znajdujący się w katalogu głównym i przekonaj się, czy aby na pewno wszystkie odpowiednie rozdziały są otwarte dla indeksacji. Na przykład, czasem bywa, że zamykane są foldery ze skryptami lub szablonami, w których znajduje się też grafika, przez co nie jest ona indeksowana. Może się zdarzyć, że twórcy strony, przed oficjalną “premierą” witryny i w treści pliku dodają komendę “Disallow: /”, która blokuje możliwość odwiedzania witryny przez roboty, a potem zapominają ją usunąć.

Dostęp zamknięty przez meta-robots
Znacznik meta-robots rozmieszczany jest wewnątrz tagu head i jest to kolejna metoda blokowania dostępu do strony robotom indeksującym. Niektóre CMS, w tym na przykład WordPress, pozwalają w prosty sposób edytować ten znacznik, ale nie każdy przypomina sobie o konieczności sprawdzenia tego elementu od razu po udostępnieniu strony w Internecie i zapełnieniu jej treścią.

Dostęp zamknięty dla konkretnego adresu IP bota lub jego User-Agent(a)
Czasami, ale bardzo rzadko, bywa tak, że adres IP trafia przypadkowo na “czarną listę”. Można to sprawdzić, analizując logi serwera (access_log) i jeśli wykryjemy w nich ślady obecności botów, należy zwrócić się do naszego dostawcy usług hostingowych z prośbą o interwencję. Inną przyczyną może być zamknięcie robotom dostępu do danego IP przez właścicieli platformy hostingowej.

Dostęp zamknięty przez nagłówki http X-RBOTS-TAG
Rzadko wykorzystywana metoda, ale w nagłowkach http również można zabronić robotom indeksować stronę. Należy sprawdzić za pomocą specjalnych, łatwo dostępnych w sieci, narzędzi, jaki nagłówek posiada nasza strona i czy nie figuruje w nim X-ROBOTS-TAG.

Flash i AJAX nawigacja
Roboty wyszukiwarek właściwie nie indeksują elementów strony utworzonych we Flashu albo AJAX. Pierwszy, bardziej popularny problem polega na tym, że jedynie część serwisu nie zostanie zaindeksowana. Natomiast jeśli na dodatek ukryta jest w nich nawigacja, to może się to odbić na indeksacji całego serwisu i zrozumieniu przez wyszukiwarkę jego struktury. Aby przekonać się, jak widzą nasz serwis roboty, możemy do tego wykorzystać funkcję “Pobierz jako Google” w Narzędziach dla Webmasterów Google.

Ważne elementy strony są zamknięte w noindex
Ukrywając coś “niepotrzebnego”, możemy zamknąć i coś ważnego. Najlepiej po prostu nie korzystać ze znacznika noindex:) Czasem zdarza się tak, że z powodu nadmiaru znaczników noindex robot może stwierdzić, że na stronie nie znajduje się dostatecznie dużo unikalnej treści i nie wprowadzić strony do indeksu.

3) Serwis trafił na “czarną listę”.

Przyczyn, które mogą wprowadzić nasz serwis na czarną listę wyszukiwarki jest kilka. Obecność na “czarnej liście” wyszukiwarki jest równoznaczna z wypadnięciem serwisu lub niewprowadzenia go do indeksu. Oto podstawowe przyczyny:

Na serwis zostały nałożone sankcje
Bywa, że fakt wpadnięcia pod sankcje, czyli prościej mówiąc otrzymania bana od wyszukiwarki jest oczywisty, a czasem trudno jest to nawet podejrzewać. Przede wszystkim przy zakupie domeny należy upewnić się, że nie jest na nią nałożona żadna kara. Najczęstsze przyczyny bana to:

Manipulacja wynikami agresywnymi metodami “optymalizacji” (ukrywanie treści, podmienianie contentu dla użytkowników, pozycjonowanie strony technikami spamerskimi przy braku autorytetu itp.)
Serwis stworzony jest wyłącznie pod wyszukiwarki i nie zawiera elementów wartościowych dla użytkowników
Serwis to kopia (mirror) innego serwisu lub serwis o bardzo zbliżonej treści, nie niosący żadnych nowych treści (affiliate site)
Negatywna historia domeny.
Jaki serwis istniał na Twojej domenie przed tym, jak ją przejąłeś, możesz sprawdzić na serwisie WebArchive. Oczywiście, trzeba to zrobić przed zakupieniem domeny.

Serwis rozprzestrzenia wirusy
Może się zdarzyć, że na Twój serwis włamią się hakerzy i zainstalują złośliwy kod. Kiedy wyszukiwarka go odnajdzie, zaprzestanie indeksacji Twojego serwisu, do czasu, gdy serwis odzyska zaufanie. W celu odkrycia włamania we właściwym czasie, zanim wyszukiwarka się zorientuje, należy korzystać i stale monitorować panel dla webmastera.

4) Występuje techniczny błąd

Nierzadko przyczyną problemów w indeksacji okazuje się elementarny błąd techniczny, którego usunięcie zajmuje krótką chwilę.

Błędny nagłówek http
Kod odpowiedzi serwera powinien wynosić 200 dla tych stron, które mają trafić do indeksu. Sprawdzić to można rozlicznymi narzędziami, w tym w Systemie Rekomendacji SeoPilot. Informację o błędach możecie również uzyskać w Narzędziach dla Webmastera.

Błędny DOCTYPE
Zdarzają się przypadki, gdy w kodzie html przed DOCTYPE można znaleźć dodatkowe tagi (np. ?xml albo script), przeszkadzające stronom w dostaniu się do indeksu. Należy się upewnić, że kod odpowiada standardom html i robot bez przeszkód będzie mógł poruszać się po naszej stronie, określać typ contentu i jego podstawowe bloki.

Nieprawidłowe przekierowania
Pierwszy przypadek niewłaściwego przekierowania, to użycie 302 zamiast 301. Przy takim przekierowaniu stare strony nie będą zamieniane na nowe w indeksie, ponieważ jest to przekierownie tymczasowe, a nie stałe. Inny przypadek, to użycie tagu rel=”canonical” z przypisaniem tej samej kanonicznej strony dla wszystkich dokumentów.

Artykuł pochodzi z mailingu SeoKurier, który jest również jego autorem.