Szybka odpowiedź: jak napisać plik robots.txt?
- Umieść plik w katalogu głównym domeny, pod adresem
/robots.txt, jako zwykły tekst w UTF-8. - Zacznij od grupy
User-agent: *z regułamiDisallowdla ścieżek, których roboty nie powinny pobierać. - Dodaj linię
Sitemapz pełnym adresem mapy witryny. - Sprawdź plik w raporcie robots.txt w ustawieniach Google Search Console.
- Robots.txt nie usuwa stron z indeksu.
noindexwymaga ponownego pobrania strony przez robota; nie działa natychmiast.
Co to jest plik robots.txt i do czego służy?
Robots.txt to plik tekstowy w katalogu głównym strony, w którym mówisz robotom, których adresów nie powinny pobierać. By zobrazować, jak działa, możemy porównać go do takiej tablicy z napisem „Teren prywatny” przy wjeździe na posesję. Trzeba tutaj podkreślić, że plik to taka uprzejma prośba i sam w sobie nie jest blokadą. Googlebot jej przestrzega, ale tabliczka informacyjna nikogo fizycznie nie zatrzyma – plik jest publiczny, a robot może go po prostu zignorować.
Najczęściej plik ogranicza pobieranie adresów, które nie mają wartości w wynikach, na przykład wyników wewnętrznej wyszukiwarki, koszyka czy filtrów generujących tysiące kombinacji. Przy okazji wskazuje mapę witryny i pozwala ustawić osobne zasady dla wybranych robotów, w tym botów AI i poszczególnych wyszukiwarek.
Od początku pamiętaj, że robots.txt steruje pobieraniem, a nie indeksowaniem. Zablokowany adres może pojawić się w Google, jeśli prowadzą do niego linki, tyle tylko, że bez opisu. Jeśli ten temat interesuje Cię nieco bardziej, sporo wyjaśniam w artykule o tym, dlaczego Google nie indeksuje strony.
Składnia robots.txt: User-agent, Disallow, Allow i Sitemap
Plik składa się z grup. Każda grupa zaczyna się od jednej lub kilku linii User-agent, po których następują reguły.
| Dyrektywa | Co robi |
|---|---|
User-agent | wskazuje, którego robota dotyczy grupa; * to grupa ogólna dla robotów bez bardziej szczegółowego dopasowania |
Disallow | ścieżka, której robot nie powinien pobierać |
Allow | wyjątek od Disallow, czyli ścieżka, którą robot może pobrać |
Sitemap | pełny adres mapy witryny; może stać w dowolnym miejscu pliku |
Reguły w robots.txt dopasowują początek ścieżki. Wpis Disallow: /szukaj zablokuje /szukaj, /szukaj?q=buty oraz /szukajka. Z kolei Disallow: /szukaj/ zablokuje wszystko w katalogu /szukaj/, ale przepuści czysty adres /szukaj.
Google obsługuje też dwa znaki specjalne:
*(dowolny ciąg znaków),$(koniec adresu).
Dzięki temu Disallow: /*.pdf$ zablokuje wyłącznie pliki kończące się dokładnie na .pdf. Nie obejmie jednak adresu /raport.pdf?download=1 ani /RAPORT.PDF – dopasowanie ściśle uwzględnia wielkość liter oraz parametry URL.
Komentarz zaczyna się od #. Pusta reguła Disallow: niczego nie blokuje, natomiast Disallow: / blokuje wszystkie ścieżki w danej grupie. Jeśli żadna reguła nie pasuje, pobieranie jest dozwolone; Allow: / zwykle nie jest potrzebne. Sitemap pomaga odkrywać adresy, ale nie nadpisuje zakazów pobierania.
Gdy do adresu pasuje kilka reguł, Google wybiera tę z najdłuższą ścieżką, a przy remisie tę mniej restrykcyjną, czyli Allow. Nie obowiązuje zasada „ostatnia reguła wygrywa”; ważne jest jednak przypisanie reguł do właściwego User-agent. Google wybiera grupy z najbardziej szczegółowym dopasowaniem nazwy robota. Jeśli kilka grup ma to samo dopasowanie, łączy ich reguły. Jeśli w pliku jest grupa dla Googlebot, Googlebot zignoruje reguły z grupy *.
Google ignoruje dyrektywę Crawl-delay, a od 2019 roku także nieoficjalną dyrektywę Noindex w robots.txt. Bing i część innych wyszukiwarek Crawl-delay respektuje. Plik musi być zwykłym tekstem w UTF-8, a Google czyta z niego najwyżej 500 KiB.
Przykładowy plik robots.txt dla strony firmowej i sklepu
Strona firmowa albo blog zwykle nie potrzebuje żadnych blokad, ponieważ wystarczy zezwolenie i adres mapy witryny. Jedną regułę warto dodać wtedy, gdy roboty uparcie wracają po adresy, które nie istnieją, na przykład ścieżki typowe dla WordPressa na stronie zbudowanej w innej technologii. Takie adresy kończą się błędem 404, więc blokada oszczędza robotom i serwerowi pracy, a skoro strona nie stoi na WordPressie, reguła nie blokuje żadnych jej zasobów.
Sklep internetowy może ograniczać pobieranie koszyka, konta klienta, wewnętrznej wyszukiwarki i wariantów sortowania. Przykładowo, może wyglądać to tak:
Oczywiście zanim parametry zostaną zablokowane, trzeba się upewnić, że nie prowadzą do stron, które mają być w Google. Link kanoniczny wskazuje wersję preferowaną, lecz nie powstrzymuje bota przed pobraniem strony — aby go odczytać, Google i tak musi ją odwiedzić. Wybór między linkiem kanonicznym, noindex i ograniczeniem pobierania zależy od celu, co opisuję w artykule o parametrach w URL.
Wersję testową strony chroń hasłem, bo sam plik robots.txt jej nie ukryje.
Najczęstsze błędy w pliku robots.txt
Disallow: / na produkcji. Klasyczny błąd po wdrożeniu nowej wersji strony. Po odświeżeniu reguł Googlebot przestaje pobierać objęte blokadą adresy. Może to utrudnić aktualizację treści i zaszkodzić widoczności, ale nie wywołuje automatycznie usunięcia wszystkich stron ani spadku ruchu w określonym terminie. Najprościej zabezpieczyć się testem automatycznym, który sprawdza robots.txt przy każdym wdrożeniu, co pokazuję w tekście o testach regresji SEO w GitHub Actions.
Blokada CSS i JavaScriptu. Starsze poradniki dla WordPressa zalecały blokowanie katalogów /wp-content/ albo /wp-includes/, ale Google potrzebuje tych plików, żeby zobaczyć stronę tak jak użytkownik, więc taka blokada psuje renderowanie i ocenę wersji mobilnej. Podobnie jest w Next.js z katalogiem /_next/, w którym są skrypty i style strony, więc tego katalogu nie należy blokować.
Blokowanie strony, którą chcesz usunąć z indeksu. Jeśli zindeksowana strona trafi do Disallow, robot przestanie ją pobierać i nie zauważy już znacznika noindex – w efekcie może utknąć w wynikach wyszukiwania. Gdy chcesz trwale usunąć stronę z indeksu, zezwól botowi na jej pobieranie, zostawiając w kodzie noindex, aby robot mógł odczytać tę dyrektywę. Z kolei usunięta treść powinna zwracać kod 404 lub 410, a zasoby prywatne – wymagać logowania.
Plik zwracający błąd serwera. Gdy robots.txt zwraca błąd 5xx lub 429, Google przez pierwsze 12 godzin wstrzymuje pobieranie całej witryny, ponieważ nie zna aktualnych reguł. Przez kolejne maksymalnie 30 dni korzysta z ostatniej poprawnej kopii pliku (jeśli ją posiada) i ponawia próby, a gdy jej brak – zakłada całkowity brak ograniczeń. Przy dłuższych awariach zachowanie wyszukiwarki zależy od dostępności samej strony. Z kolei inne kody 4xx (w tym 401 i 403) Google traktuje tak, jakby pliku robots.txt w ogóle nie było – nie oznacza to jednak pomijania zabezpieczeń na samych podstronach.
Jak ustawić reguły dla botów AI w robots.txt?
Dostawcy botów AI publikują ich nazwy oraz zasady respektowania robots.txt, ale nie można zakładać, że każdy program podszywający się pod taką nazwę przestrzega tych zasad. Równie dobrze mogą tego nie robić. Poza tym należy rozróżnić boty, które zbierają dane do treningu modeli, od tych, które budują indeks wyszukiwarek AI.
| Robot | Firma | Do czego służy |
|---|---|---|
GPTBot | OpenAI | zbieranie danych do treningu modeli |
OAI-SearchBot | OpenAI | indeks wyszukiwarki ChatGPT |
ClaudeBot | Anthropic | zbieranie danych do treningu modeli |
Claude-SearchBot | Anthropic | indeks wyszukiwania Claude |
PerplexityBot | Perplexity | indeks wyszukiwarki Perplexity |
Google-Extended | zgoda na trening i ugruntowanie odpowiedzi (grounding) modeli Gemini; nie jest osobnym robotem |
Reguły dla treningu i wyszukiwania ustawiasz osobno, więc możesz na przykład blokować GPTBot, a dopuszczać OAI-SearchBot. Zasady pozostałych botów, w tym tych pobierających treść na żądanie użytkownika, oraz gotową konfigurację dla Next.js opisałem w artykule o botach AI w robots.txt.
Jak sprawdzić i przetestować plik robots.txt?
Otwórz plik w przeglądarce. Wpisz twojadomena.pl/robots.txt i sprawdź, czy plik się wyświetla, czy zawiera to, czego się spodziewasz, i czy nie ma w nim Disallow: / w grupie *.
Raport robots.txt w Search Console. W ustawieniach usługi typu Domena lub Prefiks URL bez ścieżki znajdziesz raport, który pokazuje, kiedy Google ostatnio pobrał plik, jaką wersję zna i czy znalazł w niej błędy lub ostrzeżenia. W usłudze obejmującej tylko katalog, np. /blog/, raport nie jest dostępny. Po istotnej zmianie możesz poprosić o ponowne pobranie pliku; nie jest to interaktywny tester dowolnej reguły. Google zwykle przechowuje robots.txt w pamięci podręcznej do 24 godzin, a przy problemach z pobraniem może dłużej. Raport zastąpił dawne narzędzie do testowania robots.txt, które Google wycofał w 2023 roku. Jak założyć Search Console, wyjaśniam w tekście o tym, czym jest Google Search Console.
Sprawdzenie adresu URL. Gdy chcesz wiedzieć, czy konkretna strona jest zablokowana, wklej jej adres w Sprawdzenie adresu URL i uruchom test na żywo. Sprawdź pole dotyczące dozwolonego pobierania oraz pobrany HTML. Tester w Bing Webmaster Tools pomoże analizować reguły dla robotów Bing, ale nie zastępuje sprawdzenia zachowania Googlebota.
Sprawdź odpowiedź HTTP i przykładowe adresy. Plik powinien odpowiadać kodem 200 i zawierać reguły jako tekst, a nie stronę błędu, logowania lub CAPTCHA. W terminalu sprawdzisz nagłówki i treść poleceniem:
Dla pierwszego przykładu oczekiwane wyniki dla Googlebota są następujące:
| Adres | Oczekiwany wynik |
|---|---|
/szukaj?q=buty | zablokowany przez /szukaj |
/szukaj/pomoc/ | dozwolony przez bardziej szczegółowe Allow |
/szukajka | zablokowany, choć nazwa może sugerować inną stronę |
/oferta/ | dozwolony, bo nie pasuje żaden zakaz |
W Next.js robots.txt możesz generować z pliku app/robots.ts, więc jego zawartość zmienia się razem z kodem, co opisuję w artykule o SEO w Next.js. Wtedy sprawdzaj plik na produkcji po każdym wdrożeniu, bo dopiero tam widać jego ostateczną wersję.


