Robot.txt - strony, wpisy, kategorie, obrazki

Cześć, mam pewne pytanie.

Jak ustawić plik Robots.txt żeby indeksował tylko strony, wpisy, kategorie, obrazki i oczywiście stronę główną i tylko to?

Czy taka formułka da rade?:

User-agent: *
Allow: mainpage.pl
Allow: page-sitemap.xml
Allow: post-sitemap.xml
Allow: cathegory-sitemap.xml

Czy rozwiązać to jakoś inaczej? Czy domyślnie tam gdzie jest allow to będzie indeksowane tylko to, a cała reszta jak np. /feed/ już nie? Z góry dzięki za pomoc !

Dodałbym to czego nie chcesz indeksować po prostu typu:

Disallow: */feed/

Dodatkowo mapy głównie daje w robots.txt jako

Sitemap: https://domain.com/sitemap_index.xml

gdzie w środku jest lista wszystkich map do postów, kategorii i stron. Inaczej będziesz musiał pamiętać o dodawaniu kolejnych w map do robots.

@Ciamciaj  Tak by było najprościej ale niestety nie chodzi tylko o folder /feed/, a kilka innych, problem w tym, że dynamicznych i nie wiem jaką nazwę bedą miały kolejne.

Wygląda to tak, że złapałem coś gdzieś w sieci jak linkowałem prawdopodobnie i pojawiają się w GSC wpisy typu:

DOMENA.PL/752922/Banging-Serenity-real-nicely/ (w tym wypadku liczby są za każdym razem inne)

DOMENA.PL/?opcja=kat&id=Lesbian&str=30

Dzieje się to na zewnatrz ,a google bot próbuje to zaindeksować bo pewnie jest to linkiem na jakiejś stronie spamerskiej.

W tym wypadku pomyślalem, żeby poblokować wszystko i dać dostęp tylko do tego co chce.

Co o tym sądzisz??