Skocz do zawartości

robots.txt - czy jest sens blokować


Rekomendowane odpowiedzi

Gdzieś widziałem wpis z listą serwisów i robotów jakie blokować na swojej stronie. Swoja drogą wiecie gdzie on jest?

 

Jednakże mam i tak w związku z tym pytanie. Jaki w zasadzie jest sens blkować dostęp tych robotom i crawlerem. Czytałem dyskusje że wrecz to może pomagać a nie szkodzić .

Jakie jest wasze zdanie?

czy warto powtarzać co robi większość ?

Odnośnik do komentarza

Zarejestruj się za darmo i naucz się zarabiać online!

  • Dostęp do darmowych poradników pokazujących krok po kroku jak zarabiać w Internecie
  • Sposoby zarabiania niepublikowane nigdzie indziej
  • Aktywna społeczność, która pomoże Ci rozwiązać problemy i doradzi
  • Profesjonalne treści na temat SEO, social media, afiliacji, kryptowalut, sztucznej inteligencji i wiele więcej!

Blokujesz inne boty niż google głównie na zapleczach i robisz przekierowanie na domenę docelową. Jak to zwykła strona, i nie masz z nią problemów, to nie kombinuj.

1 godzinę temu, perepeczko napisał:

czy warto powtarzać co robi większość ?

Nie zawsze to co robi większość jest mądre. Poza tym nie wiesz do końca czemu tak robią to po co papugować takie ruchy ? Może oni mają cel o którym nie wspominają ?

Odnośnik do komentarza
2 godziny temu, perepeczko napisał:

Swoja drogą wiecie gdzie on jest?

Plik robots.txt w odróżnieniu od sitemapy MUSI znajdować się w głównym folderze serwera ftp. Wywołujesz go przez www.abc.pl/robots.txt, a edytujesz z poziomu serwera ftp.

23 minuty temu, ŁDZ napisał:

Modyfikacje robisz w .htaccess, nie robots.txt

To prawda, plik robots.txt nie musi być respektowany przez roboty.

Co nie zmienia faktu, że skoro zadajesz takie pytnia to nie polecam Ci grzebania w .htaccess - łatwo tam coś zepsuć :) (jeżeli i tak chcesz to zrób koniecznie backup).

 

A ogólnie to lepiej skup się na tworzeniu dobrego contentu i pozyskiwaniu dobrych backlinków niż na takim cudowaniu :P 

Edytowane przez eM.
  • Super 1
Odnośnik do komentarza
  • 1 miesiąc temu...

Sory za odkopanie tematu ale dla potomnych taka mała informacja - blokowania robotów w pliku robots.txt używa się po to aby zatrzeć ślady swojego zaplecza przed konkurencją. Dzięki zablokowaniu w pliku robots.txt botów od Majestica / SEMRush itp. backlinki z tego zaplecza nie pokażą się w tych appkach ale będą przekazywały całą swoją moc

Udzielam wsparcia SEO | Tworzę aplikacje i migracje | tyle zarobiłem nic nie robiąc
40.png

Odnośnik do komentarza
2 godziny temu, wojci napisał:

Niejednokrotnie wspominano na tym forum i innych, że blokowanie wyżej wymienionych robotów w pliku robots.txt jest nieskuteczne.

Tak, htaccess zablokuje całkwoicie te boty a plik robots.txt to tylko sugestia - do której według tego co sprawdzałem, crawlery się stosują.

Udzielam wsparcia SEO | Tworzę aplikacje i migracje | tyle zarobiłem nic nie robiąc
40.png

Odnośnik do komentarza
19 godzin temu, WudoKa napisał:

sugestia - do której według tego co sprawdzałem, crawlery się stosują

Ja też sprawdzałem i wiem, że tylko nieliczne roboty stosują się do tego m.in. roboty wyszukiwarek. Jeżeli chodzi o roboty majestic, ahrefs itd. to blokowanie ich w robots.txt jest nieskuteczne.

Odnośnik do komentarza
2 minuty temu, wojci napisał:

Ja też sprawdzałem i wiem, że tylko nieliczne roboty stosują się do tego m.in. roboty wyszukiwarek. Jeżeli chodzi o roboty majestic, ahrefs itd. to blokowanie ich w robots.txt jest nieskuteczne.

:o nie pamiętam które roboty sprawdzałem - summa summarum dla potomnych - lepiej użyć htaccess bo wtedy dostęp jest blokowany natychmiastowo - plik robots.txt to tylko sugestia dla robota.

Udzielam wsparcia SEO | Tworzę aplikacje i migracje | tyle zarobiłem nic nie robiąc
40.png

Odnośnik do komentarza
  • Ciamciaj zmienił(a) tytuł na robots.txt - czy jest sens blokować

Jeśli chcesz dodać odpowiedź, zaloguj się lub zarejestruj nowe konto

Jedynie zarejestrowani użytkownicy mogą komentować zawartość tej strony.

Zarejestruj nowe konto

Załóż nowe konto. To bardzo proste!

Zarejestruj się

Zaloguj się

Posiadasz już konto? Zaloguj się poniżej.

Zaloguj się
  • Polecana zawartość

    • Poradnik podatkowy - jak rozliczać się z pieniędzy zarobionych przez Internet bez DG?
      Zarabianie w Internecie wiąże się z koniecznością płacenia podatków - a rozliczanie się z urzędem skarbowym nie jest jednoznaczne i proste. Prawo podatkowe w Polsce jest nieujednolicone - co oznacza, że każdy urząd skarbowy może mieć inne interpretacje. Sprawdź jak się za to zabrać!
      • 12 odpowiedzi
    • JDG - Jak zarejestrować, rozliczać i prowadzić działalność gospodarczą w Polsce
      Jednoosobowa działalność gospodarcza (JDG) to najprostsza forma prowadzenia działalności gospodarczej w Polsce. Jest to działalność prowadzona przez jedną osobę fizyczną na własne nazwisko i na własne ryzyko. Jednak mimo, że nazywa się jednoosobowa - daje jednak możliwość zatrudniania pracowników. Takich firm jest zarejestrowanych w Polsce zdecydowanie najwięcej. Sprawdź jak zarejestrować, rozliczać i prowadzić własną JDG!
        • Super
      • 3 odpowiedzi
    • Inwestowanie w obligacje detaliczne skarbu państwa - od podstaw!
      Sprawdź jak inwestować w obligacje skarbowe - krok po kroku! Detaliczne obligacje skarbowe to rodzaj obligacji emitowanych przez Państwo, które są oferowane indywidualnym inwestorom, takim jak osoby fizyczne, a nie instytucjom finansowym.

      Są to instrumenty dłużne, nienotowane na żadnym rynku, co oznacza że kupując taką obligację, w praktyce pożyczasz pieniądze państwu na określony czas, a w zamian otrzymujesz odsetki. Można więc powiedzieć że obligacje są indywidualną pożyczką na określony % dla Skarbu Państwa. Państwo odda Ci więcej niż od Ciebie pożyczyło.
      • 7 odpowiedzi
    • Jak pozyskiwać i zarabiać na poleconych dzięki make-cash.pl
      W tym poradniku przedstawiam możliwości dostępne dla każdego użytkownika. Dowiesz się jak efektywnie wykorzystać forum do zbierania poleconych i budowania dodatkowych zysków.

      Make-cash.pl to miejsce, gdzie ludzie dzielą się swoimi doświadczeniami, poszukują porad i rekomendacji, a także nawiązują wartościowe kontakty. Codziennie odwiedza nas minimum 2000 unikalnych osób, które są zainteresowane zarabianiem przez Internet - a to ogromny potencjał, z którego może korzystać nie tylko administracja - ale każdy użytkownik forum !
      • 2 odpowiedzi
    • Jak pisać treści na stronę internetową z wykorzystaniem AI
      Tworzenie treści od podstaw może być procesem czasochłonnym. Istnieje wiele mniejszych kroków, o których należy pomyśleć w drodze do stworzenia atrakcyjnych treści, takich jak badanie rynku, SEO i redagowanie tekstu, a to tylko początek. Jednak nie musisz zaczynać od zera, gdy istnieją narzędzia AI, które mogą pomóc w tworzeniu wysokiej jakości treści. 
        • Super
      • 13 odpowiedzi
×
×
  • Dodaj nową pozycję...

Powiadomienie o plikach cookie

Ta strona korzysta z ciasteczek, aby świadczyć usługi na najwyższym poziomie. Dalsze korzystanie z witryny oznacza zgodę na ich wykorzystanie. Polityka prywatności .