Skocz do zawartości

robots.txt - czy jest sens blokować


perepeczko

Rekomendowane odpowiedzi

Gdzieś widziałem wpis z listą serwisów i robotów jakie blokować na swojej stronie. Swoja drogą wiecie gdzie on jest?

 

Jednakże mam i tak w związku z tym pytanie. Jaki w zasadzie jest sens blkować dostęp tych robotom i crawlerem. Czytałem dyskusje że wrecz to może pomagać a nie szkodzić .

Jakie jest wasze zdanie?

czy warto powtarzać co robi większość ?

Odnośnik do komentarza

Dołącz do nas za darmo i naucz się zarabiać!

  • Dostęp do darmowych poradników pokazujących krok po kroku jak zarabiać w Internecie
  • Sposoby zarabiania niepublikowane nigdzie indziej
  • Aktywna społeczność, która pomoże Ci rozwiązać problemy i doradzi
  • Profesjonalne treści na temat SEO, social media, afiliacji, kryptowalut i wiele więcej!

 

 

Blokujesz inne boty niż google głównie na zapleczach i robisz przekierowanie na domenę docelową. Jak to zwykła strona, i nie masz z nią problemów, to nie kombinuj.

1 godzinę temu, perepeczko napisał:

czy warto powtarzać co robi większość ?

Nie zawsze to co robi większość jest mądre. Poza tym nie wiesz do końca czemu tak robią to po co papugować takie ruchy ? Może oni mają cel o którym nie wspominają ?

Odnośnik do komentarza
2 godziny temu, perepeczko napisał:

Swoja drogą wiecie gdzie on jest?

Plik robots.txt w odróżnieniu od sitemapy MUSI znajdować się w głównym folderze serwera ftp. Wywołujesz go przez www.abc.pl/robots.txt, a edytujesz z poziomu serwera ftp.

23 minuty temu, ŁDZ napisał:

Modyfikacje robisz w .htaccess, nie robots.txt

To prawda, plik robots.txt nie musi być respektowany przez roboty.

Co nie zmienia faktu, że skoro zadajesz takie pytnia to nie polecam Ci grzebania w .htaccess - łatwo tam coś zepsuć :) (jeżeli i tak chcesz to zrób koniecznie backup).

 

A ogólnie to lepiej skup się na tworzeniu dobrego contentu i pozyskiwaniu dobrych backlinków niż na takim cudowaniu :P 

Edytowane przez eM.
  • Super 1
Odnośnik do komentarza
  • 1 miesiąc temu...

Sory za odkopanie tematu ale dla potomnych taka mała informacja - blokowania robotów w pliku robots.txt używa się po to aby zatrzeć ślady swojego zaplecza przed konkurencją. Dzięki zablokowaniu w pliku robots.txt botów od Majestica / SEMRush itp. backlinki z tego zaplecza nie pokażą się w tych appkach ale będą przekazywały całą swoją moc

Udzielam wsparcia SEO | Tworzę aplikacje i migracje | tyle zarobiłem nic nie robiąc
40.png

Odnośnik do komentarza
2 godziny temu, wojci napisał:

Niejednokrotnie wspominano na tym forum i innych, że blokowanie wyżej wymienionych robotów w pliku robots.txt jest nieskuteczne.

Tak, htaccess zablokuje całkwoicie te boty a plik robots.txt to tylko sugestia - do której według tego co sprawdzałem, crawlery się stosują.

Udzielam wsparcia SEO | Tworzę aplikacje i migracje | tyle zarobiłem nic nie robiąc
40.png

Odnośnik do komentarza
19 godzin temu, WudoKa napisał:

sugestia - do której według tego co sprawdzałem, crawlery się stosują

Ja też sprawdzałem i wiem, że tylko nieliczne roboty stosują się do tego m.in. roboty wyszukiwarek. Jeżeli chodzi o roboty majestic, ahrefs itd. to blokowanie ich w robots.txt jest nieskuteczne.

Odnośnik do komentarza
2 minuty temu, wojci napisał:

Ja też sprawdzałem i wiem, że tylko nieliczne roboty stosują się do tego m.in. roboty wyszukiwarek. Jeżeli chodzi o roboty majestic, ahrefs itd. to blokowanie ich w robots.txt jest nieskuteczne.

:o nie pamiętam które roboty sprawdzałem - summa summarum dla potomnych - lepiej użyć htaccess bo wtedy dostęp jest blokowany natychmiastowo - plik robots.txt to tylko sugestia dla robota.

Udzielam wsparcia SEO | Tworzę aplikacje i migracje | tyle zarobiłem nic nie robiąc
40.png

Odnośnik do komentarza
  • Ciamciaj zmienił(a) tytuł na robots.txt - czy jest sens blokować

Jeśli chcesz dodać odpowiedź, zaloguj się lub zarejestruj nowe konto

Jedynie zarejestrowani użytkownicy mogą komentować zawartość tej strony.

Zarejestruj nowe konto

Załóż nowe konto. To bardzo proste!

Zarejestruj się

Zaloguj się

Posiadasz już konto? Zaloguj się poniżej.

Zaloguj się
×
×
  • Dodaj nową pozycję...

Powiadomienie o plikach cookie

Ta strona korzysta z ciasteczek aby świadczyć usługi na najwyższym poziomie. Dalsze korzystanie z witryny oznacza zgodę na ich wykorzystanie. Polityka prywatności .