Przejdź do treści

Plik robots.txt: jak go napisać i sprawdzić

Maciej Sala

Founder StriveLab

8 min czytaniaOpublikowano

Szybka odpowiedź: jak napisać plik robots.txt?

  • Umieść plik w katalogu głównym domeny, pod adresem /robots.txt, jako zwykły tekst w UTF-8.
  • Zacznij od grupy User-agent: * z regułami Disallow dla ścieżek, których roboty nie powinny pobierać.
  • Dodaj linię Sitemap z pełnym adresem mapy witryny.
  • Sprawdź plik w raporcie robots.txt w ustawieniach Google Search Console.
  • Robots.txt nie usuwa stron z indeksu. noindex wymaga ponownego pobrania strony przez robota; nie działa natychmiast.

Co to jest plik robots.txt i do czego służy?

Robots.txt to plik tekstowy w katalogu głównym strony, w którym mówisz robotom, których adresów nie powinny pobierać. By zobrazować, jak działa, możemy porównać go do takiej tablicy z napisem „Teren prywatny” przy wjeździe na posesję. Trzeba tutaj podkreślić, że plik to taka uprzejma prośba i sam w sobie nie jest blokadą. Googlebot jej przestrzega, ale tabliczka informacyjna nikogo fizycznie nie zatrzyma – plik jest publiczny, a robot może go po prostu zignorować.

Najczęściej plik ogranicza pobieranie adresów, które nie mają wartości w wynikach, na przykład wyników wewnętrznej wyszukiwarki, koszyka czy filtrów generujących tysiące kombinacji. Przy okazji wskazuje mapę witryny i pozwala ustawić osobne zasady dla wybranych robotów, w tym botów AI i poszczególnych wyszukiwarek.

Od początku pamiętaj, że robots.txt steruje pobieraniem, a nie indeksowaniem. Zablokowany adres może pojawić się w Google, jeśli prowadzą do niego linki, tyle tylko, że bez opisu. Jeśli ten temat interesuje Cię nieco bardziej, sporo wyjaśniam w artykule o tym, dlaczego Google nie indeksuje strony.

Składnia robots.txt: User-agent, Disallow, Allow i Sitemap

Plik składa się z grup. Każda grupa zaczyna się od jednej lub kilku linii User-agent, po których następują reguły.

robots.txt
Code
User-agent: *
Disallow: /koszyk/
Disallow: /szukaj
Allow: /szukaj/pomoc/
 
User-agent: GPTBot
Disallow: /
 
Sitemap: https://twojadomena.pl/sitemap.xml
DyrektywaCo robi
User-agentwskazuje, którego robota dotyczy grupa; * to grupa ogólna dla robotów bez bardziej szczegółowego dopasowania
Disallowścieżka, której robot nie powinien pobierać
Allowwyjątek od Disallow, czyli ścieżka, którą robot może pobrać
Sitemappełny adres mapy witryny; może stać w dowolnym miejscu pliku

Reguły w robots.txt dopasowują początek ścieżki. Wpis Disallow: /szukaj zablokuje /szukaj, /szukaj?q=buty oraz /szukajka. Z kolei Disallow: /szukaj/ zablokuje wszystko w katalogu /szukaj/, ale przepuści czysty adres /szukaj.

Google obsługuje też dwa znaki specjalne:

  • * (dowolny ciąg znaków),
  • $ (koniec adresu).

Dzięki temu Disallow: /*.pdf$ zablokuje wyłącznie pliki kończące się dokładnie na .pdf. Nie obejmie jednak adresu /raport.pdf?download=1 ani /RAPORT.PDF – dopasowanie ściśle uwzględnia wielkość liter oraz parametry URL.

Komentarz zaczyna się od #. Pusta reguła Disallow: niczego nie blokuje, natomiast Disallow: / blokuje wszystkie ścieżki w danej grupie. Jeśli żadna reguła nie pasuje, pobieranie jest dozwolone; Allow: / zwykle nie jest potrzebne. Sitemap pomaga odkrywać adresy, ale nie nadpisuje zakazów pobierania.

Gdy do adresu pasuje kilka reguł, Google wybiera tę z najdłuższą ścieżką, a przy remisie tę mniej restrykcyjną, czyli Allow. Nie obowiązuje zasada „ostatnia reguła wygrywa”; ważne jest jednak przypisanie reguł do właściwego User-agent. Google wybiera grupy z najbardziej szczegółowym dopasowaniem nazwy robota. Jeśli kilka grup ma to samo dopasowanie, łączy ich reguły. Jeśli w pliku jest grupa dla Googlebot, Googlebot zignoruje reguły z grupy *.

Google ignoruje dyrektywę Crawl-delay, a od 2019 roku także nieoficjalną dyrektywę Noindex w robots.txt. Bing i część innych wyszukiwarek Crawl-delay respektuje. Plik musi być zwykłym tekstem w UTF-8, a Google czyta z niego najwyżej 500 KiB.

Przykładowy plik robots.txt dla strony firmowej i sklepu

Strona firmowa albo blog zwykle nie potrzebuje żadnych blokad, ponieważ wystarczy zezwolenie i adres mapy witryny. Jedną regułę warto dodać wtedy, gdy roboty uparcie wracają po adresy, które nie istnieją, na przykład ścieżki typowe dla WordPressa na stronie zbudowanej w innej technologii. Takie adresy kończą się błędem 404, więc blokada oszczędza robotom i serwerowi pracy, a skoro strona nie stoi na WordPressie, reguła nie blokuje żadnych jej zasobów.

robots.txt strony firmowej
Code
User-agent: *
Allow: /
Disallow: /wp-
 
Sitemap: https://twojadomena.pl/sitemap.xml

Sklep internetowy może ograniczać pobieranie koszyka, konta klienta, wewnętrznej wyszukiwarki i wariantów sortowania. Przykładowo, może wyglądać to tak:

robots.txt sklepu
Code
User-agent: *
Disallow: /koszyk$
Disallow: /koszyk?
Disallow: /koszyk/
Disallow: /moje-konto$
Disallow: /moje-konto?
Disallow: /moje-konto/
Disallow: /szukaj
Disallow: /*?sort=
Disallow: /*&sort=
 
Sitemap: https://sklep.pl/sitemap.xml

Oczywiście zanim parametry zostaną zablokowane, trzeba się upewnić, że nie prowadzą do stron, które mają być w Google. Link kanoniczny wskazuje wersję preferowaną, lecz nie powstrzymuje bota przed pobraniem strony — aby go odczytać, Google i tak musi ją odwiedzić. Wybór między linkiem kanonicznym, noindex i ograniczeniem pobierania zależy od celu, co opisuję w artykule o parametrach w URL.

Wersję testową strony chroń hasłem, bo sam plik robots.txt jej nie ukryje.

Najczęstsze błędy w pliku robots.txt

Disallow: / na produkcji. Klasyczny błąd po wdrożeniu nowej wersji strony. Po odświeżeniu reguł Googlebot przestaje pobierać objęte blokadą adresy. Może to utrudnić aktualizację treści i zaszkodzić widoczności, ale nie wywołuje automatycznie usunięcia wszystkich stron ani spadku ruchu w określonym terminie. Najprościej zabezpieczyć się testem automatycznym, który sprawdza robots.txt przy każdym wdrożeniu, co pokazuję w tekście o testach regresji SEO w GitHub Actions.

Blokada CSS i JavaScriptu. Starsze poradniki dla WordPressa zalecały blokowanie katalogów /wp-content/ albo /wp-includes/, ale Google potrzebuje tych plików, żeby zobaczyć stronę tak jak użytkownik, więc taka blokada psuje renderowanie i ocenę wersji mobilnej. Podobnie jest w Next.js z katalogiem /_next/, w którym są skrypty i style strony, więc tego katalogu nie należy blokować.

Blokowanie strony, którą chcesz usunąć z indeksu. Jeśli zindeksowana strona trafi do Disallow, robot przestanie ją pobierać i nie zauważy już znacznika noindex – w efekcie może utknąć w wynikach wyszukiwania. Gdy chcesz trwale usunąć stronę z indeksu, zezwól botowi na jej pobieranie, zostawiając w kodzie noindex, aby robot mógł odczytać tę dyrektywę. Z kolei usunięta treść powinna zwracać kod 404 lub 410, a zasoby prywatne – wymagać logowania.

Plik zwracający błąd serwera. Gdy robots.txt zwraca błąd 5xx lub 429, Google przez pierwsze 12 godzin wstrzymuje pobieranie całej witryny, ponieważ nie zna aktualnych reguł. Przez kolejne maksymalnie 30 dni korzysta z ostatniej poprawnej kopii pliku (jeśli ją posiada) i ponawia próby, a gdy jej brak – zakłada całkowity brak ograniczeń. Przy dłuższych awariach zachowanie wyszukiwarki zależy od dostępności samej strony. Z kolei inne kody 4xx (w tym 401 i 403) Google traktuje tak, jakby pliku robots.txt w ogóle nie było – nie oznacza to jednak pomijania zabezpieczeń na samych podstronach.

Jak ustawić reguły dla botów AI w robots.txt?

Dostawcy botów AI publikują ich nazwy oraz zasady respektowania robots.txt, ale nie można zakładać, że każdy program podszywający się pod taką nazwę przestrzega tych zasad. Równie dobrze mogą tego nie robić. Poza tym należy rozróżnić boty, które zbierają dane do treningu modeli, od tych, które budują indeks wyszukiwarek AI.

RobotFirmaDo czego służy
GPTBotOpenAIzbieranie danych do treningu modeli
OAI-SearchBotOpenAIindeks wyszukiwarki ChatGPT
ClaudeBotAnthropiczbieranie danych do treningu modeli
Claude-SearchBotAnthropicindeks wyszukiwania Claude
PerplexityBotPerplexityindeks wyszukiwarki Perplexity
Google-ExtendedGooglezgoda na trening i ugruntowanie odpowiedzi (grounding) modeli Gemini; nie jest osobnym robotem

Reguły dla treningu i wyszukiwania ustawiasz osobno, więc możesz na przykład blokować GPTBot, a dopuszczać OAI-SearchBot. Zasady pozostałych botów, w tym tych pobierających treść na żądanie użytkownika, oraz gotową konfigurację dla Next.js opisałem w artykule o botach AI w robots.txt.

Jak sprawdzić i przetestować plik robots.txt?

Otwórz plik w przeglądarce. Wpisz twojadomena.pl/robots.txt i sprawdź, czy plik się wyświetla, czy zawiera to, czego się spodziewasz, i czy nie ma w nim Disallow: / w grupie *.

Raport robots.txt w Search Console. W ustawieniach usługi typu Domena lub Prefiks URL bez ścieżki znajdziesz raport, który pokazuje, kiedy Google ostatnio pobrał plik, jaką wersję zna i czy znalazł w niej błędy lub ostrzeżenia. W usłudze obejmującej tylko katalog, np. /blog/, raport nie jest dostępny. Po istotnej zmianie możesz poprosić o ponowne pobranie pliku; nie jest to interaktywny tester dowolnej reguły. Google zwykle przechowuje robots.txt w pamięci podręcznej do 24 godzin, a przy problemach z pobraniem może dłużej. Raport zastąpił dawne narzędzie do testowania robots.txt, które Google wycofał w 2023 roku. Jak założyć Search Console, wyjaśniam w tekście o tym, czym jest Google Search Console.

Sprawdzenie adresu URL. Gdy chcesz wiedzieć, czy konkretna strona jest zablokowana, wklej jej adres w Sprawdzenie adresu URL i uruchom test na żywo. Sprawdź pole dotyczące dozwolonego pobierania oraz pobrany HTML. Tester w Bing Webmaster Tools pomoże analizować reguły dla robotów Bing, ale nie zastępuje sprawdzenia zachowania Googlebota.

Sprawdź odpowiedź HTTP i przykładowe adresy. Plik powinien odpowiadać kodem 200 i zawierać reguły jako tekst, a nie stronę błędu, logowania lub CAPTCHA. W terminalu sprawdzisz nagłówki i treść poleceniem:

Sprawdzenie odpowiedzi serwera
Code
curl -i https://twojadomena.pl/robots.txt

Dla pierwszego przykładu oczekiwane wyniki dla Googlebota są następujące:

AdresOczekiwany wynik
/szukaj?q=butyzablokowany przez /szukaj
/szukaj/pomoc/dozwolony przez bardziej szczegółowe Allow
/szukajkazablokowany, choć nazwa może sugerować inną stronę
/oferta/dozwolony, bo nie pasuje żaden zakaz

W Next.js robots.txt możesz generować z pliku app/robots.ts, więc jego zawartość zmienia się razem z kodem, co opisuję w artykule o SEO w Next.js. Wtedy sprawdzaj plik na produkcji po każdym wdrożeniu, bo dopiero tam widać jego ostateczną wersję.

Audyt techniczny i optymalizacja SEO.
Audyt techniczny SEO

Często zadawane pytania

Gdzie powinien znajdować się plik robots.txt?

W katalogu głównym domeny, pod adresem twojadomena.pl/robots.txt. Plik działa tylko dla hosta, protokołu i portu, pod którymi jest dostępny, więc dla subdomeny, na przykład sklep.twojadomena.pl, reguły trzeba udostępnić osobno, jeśli chcesz ograniczyć jej pobieranie.

Czy robots.txt usuwa stronę z Google?

Nie. Robots.txt blokuje robotowi pobieranie strony, a zablokowany adres może nadal pojawić się w wynikach, jeśli prowadzą do niego linki. Żeby usunąć stronę z indeksu, pozwól robotowi ją pobrać i dodaj metatag noindex albo nagłówek X-Robots-Tag.

Czy strona musi mieć plik robots.txt?

Nie musi. Brak pliku, czyli odpowiedź 404, roboty traktują jako zgodę na pobieranie całej strony. Plik przydaje się, gdy chcesz wykluczyć część adresów, wskazać mapę witryny albo ustawić osobne zasady dla wybranych robotów, na przykład botów AI.

O autorze

Maciej Sala

Maciej Sala — konsultant technologiczny produktów cyfrowych i web developer z bogatym doświadczeniem w marketingu internetowym oraz SEO. Na co dzień pracuje z Reactem, Next.js i TypeScriptem, a ostatnio także z Astro i narzędziami do automatyzacji procesów AI. Sprawnie łączy perspektywę produktową z praktycznym podejściem do kodu. Przez kilka lat był związany z branżą gier wideo jako project manager i game designer. Absolwent historii na Uniwersytecie Jagiellońskim oraz studiów podyplomowych z marketingu internetowego na AGH w Krakowie. Po godzinach trenuje na siłowni, maluje figurki i rozwija własne projekty.

Pomagam przekładać takie tematy na konkretne wdrożenia w frontendzie, SEO, analityce i procesie produktowym.

Skontaktuj się ze mną
LH.pl – Hosting Mango

Biblioteka wiedzy na temat SEO

Czytaj dalej

Zobacz więcej wpisów
Boty AI w robots.txt: GPTBot, ClaudeBot i dostęp do treści dla RAG

Zaplanowanie jednej, ogólnej reguły w robots.txt może niechcący odciąć Cię od wyszukiwarek AI, mimo że Twoim celem było jedynie zablokowanie treningu modeli na autorskich treściach. Z kolei otwarty dostęp na nic się nie przyda, jeśli robot zderzy się z pustym kodem HTML lub zaporą Cloudflare. W związku z powyższym techniczne SEO pod kątem AI zaczyna się od precyzyjnego rozpoznania roli danego bota, a kończy na weryfikacji faktycznej odpowiedzi serwera. Poniżej pokażę Ci, jak rozdzielić te kwestie i poprawnie skonfigurować reguły w Next.js.

Maciej Sala

Maciej Sala

Founder StriveLab

Audyt techniczny SEO: co obejmuje w 2026 roku?

To, że strona otwiera się w przeglądarce, nie oznacza jeszcze, że robot wyszukiwarki jest w stanie bez przeszkód pobrać jej treść, poprawnie ją zinterpretować i ostatecznie włączyć do indeksu. Audyt techniczny SEO służy właśnie do weryfikacji tych krytycznych warunków. Pozwala on zidentyfikować fundamenty wymagające naprawy i wyznaczyć właściwe priorytety, zanim przejdziemy do rozbudowy treści oraz pozyskiwania linków.

Maciej Sala

Maciej Sala

Founder StriveLab

llms.txt: czym jest i jak go wdrożyć w Next.js i Astro

Systemy AI pozyskują treści na kilka sposobów. Korzystają z indeksów wyszukiwania, automatycznych crawlerów, danych treningowych oraz pobrań uruchamianych przez użytkownika. Każdy z tych mechanizmów ma inne zasady i ograniczenia. Propozycja llms.txt próbuje rozwiązać węższy problem: udostępnia zwięzły, wyselekcjonowany indeks treści narzędziom, które świadomie obsługują ten format podczas pracy z witryną.

Maciej Sala

Maciej Sala

Founder StriveLab

LH.pl – Cloud Server 1C4G