robots.txt - czy jest sens blokować

Gdzieś widziałem wpis z listą serwisów i robotów jakie blokować na swojej stronie. Swoja drogą wiecie gdzie on jest?

Jednakże mam i tak w związku z tym pytanie. Jaki w zasadzie jest sens blkować dostęp tych robotom i crawlerem. Czytałem dyskusje że wrecz to może pomagać a nie szkodzić .

Jakie jest wasze zdanie?

czy warto powtarzać co robi większość ?

Jak najbardziej jest sens blokowania niepotrzebnego ruchu z niektórych robotów i crawlerów, ale robi się to w pliku .htaccess. Niestety nie ma teraz pod ręka listy.

Blokujesz inne boty niż google głównie na zapleczach i robisz przekierowanie na domenę docelową. Jak to zwykła strona, i nie masz z nią problemów, to nie kombinuj.

1 godzinę temu, perepeczko napisał:

czy warto powtarzać co robi większość ?

Nie zawsze to co robi większość jest mądre. Poza tym nie wiesz do końca czemu tak robią to po co papugować takie ruchy ? Może oni mają cel o którym nie wspominają ?

@ŁDZ no dobra zaplecze można zrozumieć, Tylko teraz pomyśl logicznie. Nie mądry i wcale nie sztucznie inteligenty wujaszek wchodzi na stronke która w pliku robot.txt widzi 186 serwisów zablokowanych. I co może sobie w tym momencie pomyśleć ?

Modyfikacje robisz w .htaccess, nie robots.txt

2 godziny temu, perepeczko napisał:

Swoja drogą wiecie gdzie on jest?

Plik robots.txt w odróżnieniu od sitemapy MUSI znajdować się w głównym folderze serwera ftp. Wywołujesz go przez www.abc.pl/robots.txt, a edytujesz z poziomu serwera ftp.

23 minuty temu, ŁDZ napisał:

Modyfikacje robisz w .htaccess, nie robots.txt

To prawda, plik robots.txt nie musi być respektowany przez roboty.

Co nie zmienia faktu, że skoro zadajesz takie pytnia to nie polecam Ci grzebania w .htaccess - łatwo tam coś zepsuć  (jeżeli i tak chcesz to zrób koniecznie backup).

A ogólnie to lepiej skup się na tworzeniu dobrego contentu i pozyskiwaniu dobrych backlinków niż na takim cudowaniu  

3 minuty temu, eM. napisał:

To prawda, plik robots.txt nie musi być respektowany przez roboty.

Dokładnie, dlatego nawet o nim nie wspominam, a mówię o htaccess

@łdz

@eM.

przecież nie  każdy skrypt oferuje możliwosc edycji htacces. Nie kazdy odpala wp i jazda

@perepeczko Ale .htaccess edytujesz w ftp. Ew. jeśli Twój hosting pozwala, to w managerze plików w panelu. Zawszę rób kopie pliku przed edycją, to nic się nie stanie jak trochę pomajstrujesz, a coś tam się nowego nauczysz

Sory za odkopanie tematu ale dla potomnych taka mała informacja - blokowania robotów w pliku robots.txt używa się po to aby zatrzeć ślady swojego zaplecza przed konkurencją. Dzięki zablokowaniu w pliku robots.txt botów od Majestica / SEMRush itp. backlinki z tego zaplecza nie pokażą się w tych appkach ale będą przekazywały całą swoją moc

2 godziny temu, WudoKa napisał:

Dzięki zablokowaniu w pliku robots.txt botów od Majestica / SEMRush itp. backlinki z tego zaplecza nie pokażą się w tych appkach

Niejednokrotnie wspominano na tym forum i innych, że blokowanie wyżej wymienionych robotów w pliku robots.txt jest nieskuteczne.

2 godziny temu, wojci napisał:

Niejednokrotnie wspominano na tym forum i innych, że blokowanie wyżej wymienionych robotów w pliku robots.txt jest nieskuteczne.

Tak, htaccess zablokuje całkwoicie te boty a plik robots.txt to tylko sugestia - do której według tego co sprawdzałem, crawlery się stosują.

19 godzin temu, WudoKa napisał:

sugestia - do której według tego co sprawdzałem, crawlery się stosują

Ja też sprawdzałem i wiem, że tylko nieliczne roboty stosują się do tego m.in. roboty wyszukiwarek. Jeżeli chodzi o roboty majestic, ahrefs itd. to blokowanie ich w robots.txt jest nieskuteczne.

2 minuty temu, wojci napisał:

Ja też sprawdzałem i wiem, że tylko nieliczne roboty stosują się do tego m.in. roboty wyszukiwarek. Jeżeli chodzi o roboty majestic, ahrefs itd. to blokowanie ich w robots.txt jest nieskuteczne.

 nie pamiętam które roboty sprawdzałem - summa summarum dla potomnych - lepiej użyć htaccess bo wtedy dostęp jest blokowany natychmiastowo - plik robots.txt to tylko sugestia dla robota.

Na boty ahrefsa plik robots.txt nie działa na 100%