- Algorytmik
- SEO
- Plik robots.txt: składnia, przykłady i błędy, które wycinają stronę z Google
Plik robots.txt: składnia, przykłady i błędy, które wycinają stronę z Google
Plik robots.txt mówi robotom, gdzie mogą wchodzić, ale nie ukrywa stron przed Google. Składnia, cztery obsługiwane pola, gotowe przykłady i błędy, które blokują witrynę.
Spis treści
- Do czego służy robots.txt, a do czego nie
- Gdzie ma leżeć plik robots.txt i jaki ma mieć format
- Składnia robots.txt: pola i reguły
- Przykłady robots.txt do adaptacji
- Jak utworzyć, wgrać i przetestować plik
- Błędy w robots.txt, które wycinają stronę z Google
- Jak Google reaguje na kody HTTP pliku robots.txt
- FAQ
robots.txt to zwykły plik tekstowy w katalogu głównym witryny, który mówi robotom wyszukiwarek, do jakich adresów URL mogą wchodzić. Według dokumentacji Google służy głównie do tego, żeby serwer nie był przeciążony żądaniami robotów. Nie jest to mechanizm ukrywania strony przed Google. Poniżej składnia, przykłady do adaptacji i błędy, przez które witryna może przestać być skanowana albo wyświetlać się w wynikach bez opisu.
W skrócie
- Plik musi nazywać się
robots.txt, leżeć w katalogu głównym hosta i być zapisany w UTF-8. Witryna może mieć tylko 1 taki plik. - Google obsługuje cztery pola:
user-agent,allow,disallowisitemap. Polecrawl-delaynie jest obsługiwane. - Zablokowana strona nadal może pojawić się w wynikach, ale bez opisu. Do wykluczenia z wyników służy
noindexalbo hasło. - Google czyta w pliku maksymalnie 500 KiB, dalsza treść jest ignorowana.
- Przy błędzie 5xx pliku robots.txt Google przez pierwsze 12 godzin przestaje skanować witrynę.
Do czego służy robots.txt, a do czego nie
Plik zarządza ruchem robotów. Możesz nim ograniczyć skanowanie stron HTML, PDF i innych formatów tekstowych, żeby nie obciążać serwera albo nie marnować zasobów robota na nieistotne lub podobne strony. Działa też dla plików graficznych, wideo i dźwiękowych, ale inne strony nadal mogą linkować do tych plików.
Dokumentacja Google wymienia kilka ograniczeń, o których łatwo zapomnieć:
- Instrukcje nie narzucają robotowi zachowania. Googlebot i inne znane roboty się do nich stosują, ale część robotów może je zignorować.
- Każdy robot może inaczej interpretować składnię, więc część poleceń bywa nierozpoznana.
- Zablokowany adres URL może się pojawić w wynikach, jeśli prowadzi do niego link z innej witryny. Google może wtedy pokazać sam adres, a potencjalnie także tekst kotwicy linków.
Jeśli chcesz całkowicie wykluczyć adres z wyników Google, dokumentacja wskazuje inne metody: tag meta noindex, nagłówek odpowiedzi noindex, zabezpieczenie plików hasłem albo usunięcie strony. Prywatnych danych nie chroń wpisem w robots.txt.
Gdzie ma leżeć plik robots.txt i jaki ma mieć format
Plik trafia do katalogu głównego hosta, np. https://www.example.com/robots.txt. Podkatalog odpada: robots.txt w https://example.com/pages/ nie zadziała, bo roboty nie szukają go w podkatalogach. Według opisu Google plik musi być tekstem zakodowanym w UTF-8, a znaki spoza tego zakresu Google może zignorować, przez co reguły zadziałają nieprawidłowo.
Reguły obowiązują tylko dla hosta, protokołu i portu, pod którymi plik opublikowano. Specyfikacja Google podaje takie przykłady:
| Adres pliku | Obowiązuje dla | Nie obowiązuje dla |
|---|---|---|
https://example.com/robots.txt | https://example.com/ i wszystkich podkatalogów | https://other.example.com/, http://example.com/, https://example.com:8181/ |
https://www.example.com/robots.txt | https://www.example.com/ | https://example.com/, https://shop.www.example.com/ |
https://example.com:8181/robots.txt | treści z portu 8181 | https://example.com/ |
https://example.com/folder/robots.txt | nigdzie, plik jest nieprawidłowy | - |
Praktyczny wniosek: jeśli masz wersję z www i bez, a do tego subdomeny, każdy host potrzebuje własnego pliku. Standardowe porty (80 dla HTTP, 443 dla HTTPS, 21 dla FTP) są równoważne domyślnej nazwie hosta, więc https://example.com:443/ to to samo co https://example.com/.
Składnia robots.txt: pola i reguły
Poprawny wiersz to pole, dwukropek i wartość. Nazwy pól nie rozróżniają wielkości liter, ale wartości ścieżek tak. Spacje na początku i końcu wiersza są ignorowane, a wszystko po znaku # to komentarz. Wiersze, które nie pasują do żadnej obsługiwanej reguły, Google pomija.
Plik składa się z co najmniej 1 grupy. Każda grupa zaczyna się od wiersza user-agent, a pod nim idą reguły, po jednej w wierszu. Roboty przetwarzają grupy od góry do dołu, a dany robot jest dopasowywany tylko do 1 zestawu reguł, czyli do pierwszej najmocniej sprecyzowanej grupy, która go dotyczy.
user-agent
Wskazuje robota, którego dotyczą reguły. Gwiazdka * oznacza wszystkie roboty z wyjątkiem różnych robotów AdsBot, które trzeba wymienić z nazwy. Listę nazw znajdziesz na stronie Google o robotach i ciągach klienta użytkownika.
disallow i allow
disallow wskazuje ścieżki zablokowane dla robota, allow ścieżki dozwolone, także wewnątrz katalogu objętego disallow. Ścieżka musi zaczynać się od /. Jeśli dotyczy katalogu, powinna kończyć się znakiem /. Reguła bez ścieżki jest ignorowana, a w grupie wymagany jest co najmniej 1 wpis disallow lub allow.
Wielkość liter w ścieżce ma znaczenie: disallow: /file.asp zablokuje /file.asp, ale nie /FILE.asp. Wszystkie reguły oprócz sitemap obsługują symbol wieloznaczny * jako prefiks, sufiks lub całą ścieżkę.
sitemap
Pole opcjonalne. Wymaga pełnego adresu URL z protokołem i hostem. Może wskazywać także plik indeksu map witryn. Adres nie musi należeć do tego samego hosta co robots.txt i możesz podać wiele map bez limitu ich liczby. Pole nie jest przypisane do żadnego robota, korzystają z niego wszystkie.
Pola spoza tej czwórki, np. crawl-delay, Google nie obsługuje. Szczegóły indeksowania map znajdziesz w poradniku o indeksowaniu strony w Google.
Przykłady robots.txt do adaptacji
Najprostszy plik z dokumentacji Google ma 2 reguły i mapę witryny:
User-agent: Googlebot
Disallow: /nogooglebot/
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xmlGooglebot nie skanuje adresów zaczynających się od /nogooglebot/, wszystkie pozostałe roboty mogą skanować całą witrynę. Drugą grupę można pominąć, bo domyślnie wszystko jest dozwolone.
Drugi przykład, też z dokumentacji, pokazuje wyjątek dla Googlebota. Katalog z plikami CSS i JS jest zablokowany dla wszystkich, ale Google potrzebuje ich do renderowania, więc dostaje allow:
User-agent: *
Disallow: /includes/
User-agent: Googlebot
Allow: /includes/
Sitemap: https://example.com/sitemap.xmlTrzeci przykład to blokowanie wybranych robotów. Dokumentacja pokazuje trzy warianty:
# Tylko Googlebot
User-agent: Googlebot
Disallow: /
# Googlebot i AdsBot
User-agent: Googlebot
User-agent: AdsBot-Google
Disallow: /
# Wszystkie roboty poza AdsBot
User-agent: *
Disallow: /Ostatni wariant zamyka witrynę przed wszystkimi robotami z wyjątkiem AdsBot, który trzeba zablokować osobno, wymieniając go z nazwy.
Jak utworzyć, wgrać i przetestować plik
Google opisuje 4 czynności:
- Utwórz plik o nazwie
robots.txtw edytorze tekstu (Notatnik, TextEdit, vi, emacs). Nie używaj procesora tekstu, bo często zapisuje pliki w zastrzeżonym formacie i dodaje znaki, np. cudzysłowy drukarskie, które sprawiają problemy robotom. Przy pytaniu o kodowanie wybierz UTF-8. - Dodaj reguły według składni opisanej wyżej.
- Wgraj plik do katalogu głównego witryny. Nie ma jednego narzędzia do tego, bo zależy to od architektury serwera, więc sprawdź dokumentację hostingu.
- Przetestuj plik.
Dostępność sprawdzisz, otwierając adres pliku w oknie przeglądania prywatnego. Jeśli widzisz treść, możesz sprawdzić znaczniki w raporcie dotyczącym pliku robots.txt w Search Console. Działa on tylko dla plików już dostępnych w witrynie. Konfigurację konta opisuje poradnik o Google Search Console. Programiści mogą też testować plik lokalnie w otwartoźródłowej bibliotece Google.
Po wgraniu roboty Google znajdą plik i zaczną z niego korzystać automatycznie. Treść pliku Google zwykle trzyma w pamięci podręcznej maksymalnie 24 godziny, więc zmiana nie zadziała od razu. Okres ten może się wydłużyć, gdy odświeżenie się nie udaje, np. przez błędy 5xx.
Błędy w robots.txt, które wycinają stronę z Google
Poniższe pułapki wynikają wprost z dokumentacji Google.
- Blokada całej witryny.
Disallow: /w grupieUser-agent: *zamyka skanowanie dla wszystkich robotów poza AdsBotem. To częsty skutek pozostawienia pliku z wersji testowej. - Blokowanie zasobów potrzebnych do renderowania. Skrypty, style i obrazy możesz zablokować, jeśli ich brak nie wpływa istotnie na stronę. Jeśli robot bez nich gorzej rozumie stronę, blokada może uniemożliwić skuteczną analizę powiązanych stron.
- Plik w złym miejscu. Podkatalog, zły host,
httpzamiasthttpsalbo subdomena bez własnego pliku. Reguły nie obejmą tego, co chcesz. - Użycie robots.txt zamiast noindex. Zablokowany URL może zostać w wynikach, tylko bez opisu. Jeśli widzisz taki wynik i chcesz to naprawić, usuń blokujący wpis, a do wykluczenia z wyników użyj innej metody.
- Literówki w ścieżkach. Wielkość liter ma znaczenie, ścieżka musi zaczynać się od
/, a reguła bez ścieżki jest ignorowana. - Plik z edytora tekstu. Nietypowe znaki lub kodowanie inne niż UTF-8 mogą sprawić, że reguły zostaną odczytane nieprawidłowo. Znacznik BOM na początku Google ignoruje.
- Zbyt duży plik. Limit to 500 KiB, a dalsza treść jest ignorowana. Reguły dopisane na końcu rozbudowanego pliku mogą więc nie zadziałać. Dokumentacja radzi konsolidować reguły, np. wydzielając wykluczone materiały do osobnego katalogu.
- Zgubiony serwer. Błędy 5xx przy pobieraniu pliku wstrzymują skanowanie, o czym niżej.
Jak Google reaguje na kody HTTP pliku robots.txt
Odpowiedź serwera na żądanie pliku decyduje o tym, jak Googlebot go potraktuje. Specyfikacja Google opisuje to tak:
| Kod | Zachowanie Google |
|---|---|
| 2xx | Plik jest przetwarzany zgodnie z odpowiedzią serwera. |
| 3xx | Google śledzi co najmniej 5 przekierowań, potem przerywa i przyjmuje dla pliku kod 404. Nie śledzi przekierowań logicznych (ramki, JavaScript, metaodświeżanie). |
| 4xx (poza 429) | Traktowane tak, jakby pliku nie było. Google zakłada brak ograniczeń skanowania. |
| 5xx | Przez pierwsze 12 godzin Google przestaje skanować witrynę i próbuje pobrać plik. Potem do 30 dni używa ostatniej prawidłowej wersji. |
| Błędy DNS lub sieci | Traktowane jak błąd serwera. |
Po 30 dniach nieusuniętych błędów 5xx zachowanie zależy od dostępności witryny. Jeśli witryna jest ogólnie dostępna, robot działa tak, jakby pliku nie było, ale nadal sprawdza nową wersję. Przy problemach z dostępnością całej witryny Google przestaje ją skanować i tylko od czasu do czasu ponawia żądanie pliku. Jeśli nie ma wersji z pamięci podręcznej, Google zakłada brak ograniczeń.
Z tego wynika praktyczna lekcja: awaria hostingu, która zwraca 5xx na /robots.txt, potrafi zatrzymać skanowanie całej witryny. Po większych zmianach na serwerze otwórz adres pliku i sprawdź raport w Search Console. Szerszy kontekst techniczny znajdziesz w poradniku o pozycjonowaniu strony i w dziale SEO.
FAQ
Do czego służy plik robots.txt?
Przekazuje robotom wyszukiwarek, do których adresów URL w witrynie mogą wchodzić. Według Google służy głównie do tego, by serwer nie był przeciążony żądaniami, a nie do ukrywania strony przed wyszukiwarką.
Czy robots.txt usuwa stronę z wyników Google?
Nie. Zablokowany adres może nadal pojawiać się w wynikach, ale bez opisu, zwłaszcza jeśli linkują do niego inne witryny. Do wykluczenia z wyników Google wskazuje tag meta noindex, nagłówek odpowiedzi, hasło lub usunięcie strony.
Gdzie powinien znajdować się plik robots.txt?
W katalogu głównym hosta, np. https://www.example.com/robots.txt. W podkatalogu nie zadziała. Każdy host, protokół i port potrzebuje własnego pliku, a witryna może mieć tylko 1 plik robots.txt.
Jakie polecenia obsługuje Google w robots.txt?
Cztery pola: user-agent, allow, disallow i sitemap. Inne pola, np. crawl-delay, nie są obsługiwane, a wiersze niepasujące do reguł Google ignoruje.
Jak sprawdzić, czy mój robots.txt działa?
Otwórz adres pliku w oknie przeglądania prywatnego, żeby potwierdzić, że jest publicznie dostępny. Potem użyj raportu dotyczącego pliku robots.txt w Search Console, który działa dla plików już dostępnych w witrynie.
Jak szybko Google zauważy zmiany w robots.txt?
Google zwykle trzyma treść pliku w pamięci podręcznej maksymalnie 24 godziny. Okres ten może być dłuższy, gdy nie da się odświeżyć wersji, np. przez przekroczenie czasu oczekiwania lub błędy 5xx.
Źródła
- Plik robots.txt - wprowadzenie i przewodnik - Google for Developers - dostęp 24.10.2026
- Tworzenie i przesyłanie pliku robots.txt - Google for Developers - dostęp 24.10.2026
- Jak Google interpretuje specyfikację pliku robots.txt - Google for Developers - dostęp 24.10.2026
Widzisz błąd albo nieaktualną liczbę? Napisz: kontakt. Poprawki opisuję w tekście z datą.
Autor i wydawca Algorytmika. Od lat pisze o wyszukiwarkach, AI i mediach społecznościowych, a na co dzień prowadzi serwisy, które żyją z ruchu z Google, Discover i sociali. Każdą liczbę w tekstach podpina pod źródło.
Jak pracuję i skąd biorę dane →
