Pytanie Blokada robotów

Podzieli się ktoś gotowym plikiem blokującym dostęp robotów takich jak Majestic, Ahrefs, Openlink?

#znalezione w sieci:

do htaccess

 SetEnvIfNoCase User-Agent .*rogerbot.* bad_bot
SetEnvIfNoCase User-Agent .*exabot.* bad_bot
SetEnvIfNoCase User-Agent .*mj12bot.* bad_bot
SetEnvIfNoCase User-Agent .*dotbot.* bad_bot
SetEnvIfNoCase User-Agent .*gigabot.* bad_bot
SetEnvIfNoCase User-Agent .*ahrefsbot.* bad_bot
SetEnvIfNoCase User-Agent .*sitebot.* bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit> 

Masz tutaj sprawdzone: 

PS. To nie jest plik, wrzucasz ten kod do .htaccess

SetEnvIfNoCase User-Agent .*rogerbot.* bad_bot
SetEnvIfNoCase User-Agent .*exabot.* bad_bot
SetEnvIfNoCase User-Agent .*mj12bot.* bad_bot
SetEnvIfNoCase User-Agent .*dotbot.* bad_bot
SetEnvIfNoCase User-Agent .*gigabot.* bad_bot
SetEnvIfNoCase User-Agent .*ahrefsbot.* bad_bot
SetEnvIfNoCase User-Agent .*sitebot.* bad_bot
SetEnvIfNoCase User-Agent .*spbot.* bad_bot
Order Allow,Deny
Allow from all
Deny from env=bad_bot

Dzięki ;-) Który to robot http://openlinkprofiler.org/ ?

co daje blokowanie tych robotów

????

19 minut temu, rogrip napisał:

co daje blokowanie tych robotów

Np. to że nikt nie zobaczy Twoich linków w Majestic itp. (w zależności co blokujesz) co nie oznacza że nie zobaczy ich wcale. Przed w miarę ogarniętym SEOwcem żaden link się nie ukryje  

Osobiście uważam że lepiej blokować roboty w robots.txt niż w htaccess na takiej zasadzie jak poniżej

User-agent: AhrefsBot
Disallow: /
User-agent: MJ12bot
Disallow: /

A ja mam pytanie z innej beczki, mianowicie czy powyższe instrukcje dodajemy również do money site (strona pozycjonowana) - czy blokujemy wejście na naszą stronę którą pozycjonujemy botom typu ahrefs, majsetic itd...

36 minut temu, Pr0miL napisał:

pozycjonowana

Do MS nie warto jeżeli nie masz linków wychodzących- blokowanie robotów ukrywa linki wychodzące więc nic to nie da. To się robi na drugą domene, z której robisz przekierowanie na ms i linkujesz tamtą domenę. 

Zauważyłem, że dużo osób stosuje taką taktykę:

Zaplecze (link: www.x1.com) przekierowywujące do www.ms.com

i linkują anchorem www.ms.com XD

ktoś wpisujący w google "www.ms.com" widzi wszystko, nie wiem co to daje (jak nieraz lecę po śladach to ~80% używa takiego sposobu xD)

takie proste ukrywanie też jest mało co warte, jest trochę miejscówek, które "idą" za linkiem i potrafią dodać nazwę ms czy główny link, a wystarczy jeden błąd i ktoś kto ma 1 przekierowanie odkrywa całe zaplecze.

4 minuty temu, yosumitshu napisał:

Do MS nie warto jeżeli nie masz linków wychodzących- blokowanie robotów ukrywa linki wychodzące więc nic to nie da. To się robi na drugą domene, z której robisz przekierowanie na ms i linkujesz tamtą domenę. 

Zauważyłem, że dużo osób stosuje taką taktykę:

Zaplecze (link: www.x1.com) przekierowywujące do www.ms.com

i linkują anchorem www.ms.com XD

ktoś wpisujący w google "www.ms.com" widzi wszystko, nie wiem co to daje (jak nieraz lecę po śladach to ~80% używa takiego sposobu xD)

1. Czyli tworzę stronę zaplecza (www.moje-zaplecze.com), linkuję ją - zdobywam dużo BL dla niej i jak osiągnie dobrą pozycje robię przekierowanie z tej strony zapleczowej  (301) do mojej strony którą pozycjonuję (money site) - linkując innym linkiem niż brandowym ?

2. Czy pozycjonując zaplecze, używam takich samych anchorów tematycznych jak do money site ?

3. Czy w sytuacji nałożenia kary na taką stronę zapleczową która bezpośrednio linkuje do money site istnieje realne ryzyko że kara przejdzie też na money site?

4. Jestem żółtodziobem i potrzebuję jakiejś wskazówki jaką techniką zdobywać linki dla strony zapleczowej - jakaś mała wskazówka żebym  mógł poszukać u wujka google i poczytać trochę.

Dziękuję z góry !

20 minut temu, Pr0miL napisał:

1. Czyli tworzę stronę zaplecza (www.moje-zaplecze.com), linkuję ją - zdobywam dużo BL dla niej i jak osiągnie dobrą pozycje robię przekierowanie z tej strony zapleczowej  (301) do mojej strony którą pozycjonuję (money site) - linkując innym linkiem niż brandowym ?

Po co chcesz zdobywać pozycje dla zaplecza? Po drugie zdecyduj się czy robisz przekierowanie czy zaplecze i anchor do MS. Jeżeli przekierowanie to od razu link do ms (w linku od przekierowania żadnego postu nie musi być wystarczy www.moje-zaplecze.com/1 i do ms) jeżeli zaplecze to anchor, który kieruje do ms i też od razu.

23 minut temu, Pr0miL napisał:

2. Czy pozycjonując zaplecze, używam takich samych anchorów tematycznych jak do money site ?

jedni robią tak, drudzy tak, trzeci tak. Jeżeli robisz przekierowanie to lecisz na anchorach głównych, jeżeli na zaplecze które ma anchor do MS to różnie to bywa. Na pewno nie ma co walić tak bardzo głównych żeby zaplecze nie było wyżej niż ms.

24 minut temu, Pr0miL napisał:

3. Czy w sytuacji nałożenia kary na taką stronę zapleczową która bezpośrednio linkuje do money site istnieje realne ryzyko że kara przejdzie też na money site?

Zaplecza to jedne z najbardziej bezpiecznych sposobów linkowania, ale filtra / bana można wyłapać zawsze. Jeżeli masz syfiasty content to w większości przypadków dostaniesz bana (filtra nie jest tak łatwo dostać, trzeba się postarać) i po to robi się przekierowania żeby szybko wrócić na pozycje.

2 godziny temu, yosumitshu napisał:

Po co chcesz zdobywać pozycje dla zaplecza? Po drugie zdecyduj się czy robisz przekierowanie czy zaplecze i anchor do MS. Jeżeli przekierowanie to od razu link do ms (w linku od przekierowania żadnego postu nie musi być wystarczy www.moje-zaplecze.com/1 i do ms) jeżeli zaplecze to anchor, który kieruje do ms i też od razu.

1.) przekierowuję całą główną domenę (www.moje-zaplecze.pl) (301) na MS ? Czy konkretną podstronę zaplecza (www.moje-zaplecze.pl/podstrona) ?

2.) Jeśli zdecyduje się na sam anchor z zaplecza do MS to ile mniej więcej ma być linków z jednej strony zaplecza do MS ?

16 godzin temu, Pr0miL napisał:

1.) przekierowuję całą główną domenę (www.moje-zaplecze.pl) (301) na MS ? Czy konkretną podstronę zaplecza (www.moje-zaplecze.pl/podstrona) ?

Jak masz jednoniszową stronę to pierwsze rozwiązanie będzie lepsze, czyli domena.com -> 301 -> moneysite.com (przy stronie wieloniszowej można linkować w ten sposób do podstrony), bo niektóre silniki stron mają możliwość wstawiania tylko strony głównej, więc przy domena.com/podstrona ucinałoby końcówkę.

O 25.06.2016 o 11:37, yosumitshu napisał:

nie wiem co to daje (jak nieraz lecę po śladach to ~80% używa takiego sposobu xD)

Może oni chcą żebyś myślał, że właśnie tak robią

Godzinę temu, Gigiz napisał:

Może oni chcą żebyś myślał

Tak, ktoś linkuje strone przekierowywującą, ukrywa boty i na pewno chce aby ktoś tak myslał (idealny plan na marnowanie czasu i mocy) xD Po prostu nie wie, że wystarczy wpisać url i wszystko będzie jak na dłoni. Wiele osób się dziwi czemu "słaba" strona siedzi na top1 bo ma tylko 5k syfiastych bl i to same url bez żadnych em- właśnie to jest powód. url,brandy byle jakim syfem na docelówke a mocne emy na przekierowaniach. Odnowić parę tys. byle jakich śmieci na url to nie problem bo one i tak nie rankują, emy idą na przekierowania żeby w razie filtra mieć łatwy powrót, ale jak kto woli

@up niektóre cms lepiej rankują/wzmacniają linkując na url zamiast EM, np. Discuz, reszty nie podam wystarczy zrobić testy jakie cms/linki w jaki sposób przykładać

O 26.06.2016 o 16:31, s_matysik napisał:

niektóre cms lepiej rankują/wzmacniają linkując na url zamiast EM

Serio? A czytałeś cały temat o czym piszemy? O świetnym sposobie "ukrywania" przekierowania w sposób taki, że ktoś linkuje stronę www.przekierowanie.com na anchor www.money-site.com, rozumiesz jaki w tym błąd? Chyba nie, bo moze też jesteś w tych 90% xD Następnym razem cytuj, bo nie widać że odpisujesz.

4 minuty temu, yosumitshu napisał:

A czytałeś cały temat o czym piszemy?

czytałem, ale napisałeś tak jakby w 301 walić samymi EM, napisałem że nie w każdym cms daje się em bo nie będzie to pomagać/rankować, a nawet może szkodzić

linkowanie na 301 adresem url strony docelowej jest zupełnie bez sensu i nikt tak prawie nie robi bo nie ma to najmniejszego sensu, no chyba że na hackach tak robią ;D

16 minut temu, s_matysik napisał:

linkowanie na 301 adresem url strony docelowej jest zupełnie bez sensu i nikt tak prawie nie robi bo nie ma to najmniejszego sensu

No i właśnie o to chodziło  Nie napisałbym, że ino na hackach, w wielu branżach widzę podobne sytuacje, kwestia tego czy ktoś faktycznie ma mistyczne mega super hiper miejscówki i chce je ukryć czy po prostu wali 301 żeby w razie wpadki szybko wrócić. No ale jeżeli próbuje coś ukryć i linkuje 301 urlem docelówki no to mózg 100%.