Pytanie Ukrywanie zaplecza SEO

Potrzebuje ukryć zaplecze seo przed jak największą ilością narzędzi śledzących takich jak Ahrefs, majestic itp. Zastosowałem taką regułę w .htaccess

Cytat

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^rogerbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot
RewriteRule ^.* – [F,L]
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>
# END WordPress

Niestety z jakiegoś powodu blokada mi nie działa. Co robię nie tak ?

Spróbuj może tak:

RewriteCond %{HTTP_USER_AGENT} ^.*(rogerbot|MJ12bot|AhrefsBot).*$ [NC]

Chodzi ci o takie ułożenie :

Cytat

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^.*(rogerbot|MJ12bot|AhrefsBot).*$ [NC]
RewriteRule ^.* – [F,L]
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>
# END WordPress

Zobacz ten temat:

Widziałem ten temat ale tam jest straszny bałagan i trudno z tym dojść do ładu. Ogólnie to moja blokada teoretycznie działa bo gdy wchodzę na strone jako AhrefsBot to strona mnie odrzuca. Problem jest w tym że linki są cały czas widoczne i nie wiem dlaczego ?

Jak już bot znalazł zaplecze to go nagle nie ukryje, mimo regułek. Trzeba od początku blokować.

Wiem o tym ale blokowałem od początku a i tak znajdują. Zastanawiam się czy reguła działa jak należy czy po prostu nie blokuje wszystkiego ?

Albo ukrywasz przed wszystkimi Bota oprócz Google, albo nie ukrywaj wcale - Bo jak ktoś bedzie chciał to w moment odkryje Twoje zaplecze.

A mogę zrobić całkowicie odwrotnie i zablokować wszystkie boty a potem dopuścić tylko google ? Jak to zrobić ?

Takiej kombinacji to jeszcze nie widziałem

Są specjalne skrypty pod takie coś. Cena ok 300 dolców rocznie. 

Cytat

bo gdy wchodzę na strone jako AhrefsBot to strona mnie odrzuca

Jako i realnie Ahrefs bot to zupełnie co innego.

p.s co do skryptów to jeszcze trzeba by było umieć z niego korzystać, nie jest to aż tak oczywiste czynności, ale można nauczyć się.

Czy ktoś więc podpowie mi jak skutecznie zrobić blokadę aby ukryć zaplecze ?

https://support.google.com/webmasters/answer/6062608?hl=pl

https://developers.google.com/search/reference/robots_meta_tag

content przed botami możesz uchronić guardem user-agent/recaptcha v3/cloudflare

ja używam tych kodów w htaccess

http://pastebin.com/5Hw9KZnW

https://perishablepress.com/6g/