RSS
  1. Algorytmik
  2. SEO
  3. Noindex w meta tagu czy nagłówku X-Robots-Tag i pułapka z robots.txt
SEO/PORADNIK

Noindex w meta tagu czy nagłówku X-Robots-Tag i pułapka z robots.txt

Noindex możesz ustawić tagiem meta albo nagłówkiem HTTP X-Robots-Tag, efekt jest ten sam. Jeśli jednak robots.txt blokuje stronę, Googlebot nie zobaczy żadnej z tych reguł.

Opublikowano
7 min czytania1394 słów
Noindex: meta tag, X-Robots-Tag i robots.txt - okładka tekstu
Ilustracja: Algorytmik
Spis treści
  1. Meta tag czy X-Robots-Tag: co wybrać
  2. Jak wstawić noindex w tagu meta
  3. Jak ustawić noindex nagłówkiem X-Robots-Tag
  4. Dlaczego noindex nie działa razem z robots.txt
  5. Strona z noindex nadal jest w Google: co sprawdzić
  6. Reguły, które możesz połączyć z noindex
  7. Krótka lista kontrolna przed wdrożeniem

Noindex ustawisz na dwa sposoby: tagiem <meta> w sekcji <head> albo nagłówkiem odpowiedzi HTTP X-Robots-Tag. Dokumentacja Google mówi wprost, że oba dają taki sam efekt, więc wybierasz tę metodę, którą łatwiej wdrożyć. Najczęstszy błąd to dodanie noindex na stronie, którą jednocześnie blokuje robots.txt. Googlebot nie wejdzie wtedy na adres, więc nie przeczyta reguły. Samej reguły noindex w pliku robots.txt Google w ogóle nie obsługuje.

W skrócie

  • Noindex działa jako tag <meta> albo nagłówek X-Robots-Tag. Google podaje, że efekt jest taki sam.
  • Do plików innych niż HTML (PDF, wideo, obrazy) użyj nagłówka X-Robots-Tag.
  • Reguła noindex w pliku robots.txt nie jest obsługiwana przez Google.
  • Roboty muszą mieć dostęp do strony, żeby odczytać regułę. Blokada w robots.txt ukrywa noindex.
  • Po dodaniu noindex strona może zniknąć z wyników dopiero po kolejnej wizycie Googlebota, a to bywa kilka miesięcy.

Meta tag czy X-Robots-Tag: co wybrać

Google opisuje noindex jako regułę ustawioną tagiem <meta> lub nagłówkiem odpowiedzi HTTP. Służy do tego, żeby wyszukiwarki obsługujące tę regułę (np. Google) nie indeksowały treści. Różnica nie leży w skuteczności, tylko w tym, gdzie masz dostęp do zmian i jaki typ pliku chcesz wykluczyć.

KryteriumTag <meta>Nagłówek X-Robots-Tag
Gdzie umieszczasz regułęw sekcji <head> strony HTMLw nagłówku odpowiedzi HTTP na dany adres URL
Zasoby, które obejmujestrony HTMLtakże pliki PDF, wideo i graficzne
Efekt w Googletaki samtaki sam
Wygodny, gdyedytujesz szablon lub kod stronyzwracasz odpowiedź z serwera i chcesz objąć pliki inne niż HTML

Dokumentacja zaznacza też, że dyrektywa noindex przydaje się, gdy nie masz dostępu do katalogu głównego serwera. Edytujesz wtedy pojedyncze strony, a nie plik w głównym katalogu witryny.

Jak wstawić noindex w tagu meta

Tag wklejasz w sekcję <head> konkretnej strony. Wersja dla wszystkich wyszukiwarek, które obsługują tę regułę, wygląda tak:

<meta name="robots" content="noindex">

Jeśli reguła ma dotyczyć tylko robotów Google, zmień wartość name na googlebot:

<meta name="googlebot" content="noindex">

W tagu robots meta Google rozpoznaje 2 tokeny klienta użytkownika, inne wartości ignoruje:

  • googlebot - dla wszystkich wyników tekstowych,
  • googlebot-news - dla wyników z wiadomościami.

Kilka robotów wskazujesz osobnymi tagami meta, po jednym na każdego. Reguły możesz łączyć po przecinku, np. noindex, nofollow. Odpowiednikiem tej pary jest reguła none.

Dokumentacja ostrzega, że inne wyszukiwarki mogą interpretować noindex inaczej. Strona wyłączona z Google może więc nadal pojawiać się w innych wynikach.

Jak ustawić noindex nagłówkiem X-Robots-Tag

Nagłówek dodajesz do odpowiedzi serwera na żądanie danego adresu. Przykład z dokumentacji Google:

HTTP/1.1 200 OK
(...)
X-Robots-Tag: noindex
(...)

Wartością może być noindex albo none. To rozwiązanie dla PDF-ów, plików wideo i obrazów, bo w takich plikach nie ma sekcji <head>, w której umieściłbyś tag meta. Konkretnej konfiguracji serwera (Apache, Nginx) ani wtyczek CMS dokumentacja Google w tym miejscu nie podaje, więc zajrzyj do instrukcji swojego serwera lub systemu.

Każda reguła, której można użyć w tagu robots meta, może być też nagłówkiem X-Robots-Tag. W jednej odpowiedzi połączysz kilka nagłówków albo podasz listę reguł rozdzielonych przecinkami. Przed regułą możesz dodać nazwę klienta użytkownika:

X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow

Reguły bez nazwy klienta obowiązują wszystkie roboty.

Dlaczego noindex nie działa razem z robots.txt

Google zaznacza w specyfikacji metatagów, że żeby odczytać ustawienia i ich przestrzegać, roboty muszą mieć dostęp do stron, które je zawierają. Noindex, ani w tagu, ani w nagłówku, nie jest instrukcją czytaną z zewnątrz. Googlebot znajduje ją dopiero podczas pobierania adresu.

Jeśli plik robots.txt blokuje robotom dostęp do adresu URL, to według dokumentacji o blokowaniu indeksowania uniemożliwia im znalezienie tagu. Efekt jest odwrotny od zamierzonego: chcesz usunąć stronę z wyników, a blokada chroni ją przed odczytaniem reguły usuwającej.

Dwie różne rzeczy pod jedną nazwą

Reguła noindex wpisana do pliku robots.txt nie jest obsługiwana przez Google. To inna sytuacja niż blokada dostępu do adresu w robots.txt, o której mowa wyżej. W obu przypadkach noindex nie spełni swojej roli, ale z różnych powodów: w pierwszym Google ignoruje wpis, w drugim robot nie widzi strony.

Poprawny porządek wygląda więc tak:

  • adres ma być dostępny dla Googlebota, czyli robots.txt go nie blokuje,
  • na stronie jest tag noindex albo nagłówek X-Robots-Tag: noindex,
  • dopiero po ponownym odwiedzeniu strony przez Googlebota znika ona z wyników.

Jeśli wcześniej zablokowałeś adres w robots.txt, Google radzi wprowadzić zmiany w tym pliku, żeby odblokować dostęp do strony. Szczegóły samego pliku opisuję w tekście o robots.txt.

Strona z noindex nadal jest w Google: co sprawdzić

Częsty powód to zwykła kolejność zdarzeń. Google zaznacza, że żeby zobaczyć tagi meta i nagłówki HTTP, musi najpierw zindeksować stronę. Jeśli strona nadal wyświetla się w wynikach, prawdopodobnie robot nie odwiedził jej od czasu dodania reguły. W zależności od znaczenia strony w internecie ponowna wizyta może zająć kilka miesięcy.

Co możesz zrobić:

  • poproś o ponowne zindeksowanie w narzędziu do sprawdzania adresów URL w Search Console,
  • sprawdź, czy robots.txt nie blokuje adresu,
  • zobacz w narzędziu do sprawdzania adresów URL kod HTML, który Googlebot zeskanował, i upewnij się, że reguła noindex jest w nim widoczna,
  • w raporcie Indeksowanie stron w Search Console monitoruj strony, z których Googlebot wyodrębnił regułę noindex.

Jeśli stronę trzeba usunąć z wyników szybko, Google odsyła do osobnej dokumentacji o usuwaniu treści. Noindex jest metodą trwałą, ale zależną od tempa ponownego indeksowania. Dlaczego odwiedziny robota trwają i co je spowalnia, opisuję w tekście o indeksowaniu strony w Google.

Reguły, które możesz połączyć z noindex

Google pozwala łączyć reguły listą rozdzieloną przecinkami albo osobnymi tagami meta. Te, które mają związek z noindex lub wykluczaniem treści:

RegułaCo robi według dokumentacji Google
noindexuniemożliwia wyświetlanie strony, treści multimedialnej lub zasobu w wynikach wyszukiwania
nofollowGoogle nie korzysta z linków na tej stronie
noneodpowiednik noindex, nofollow
noimageindexuniemożliwia indeksowanie obrazów na tej stronie
unavailable_after: [data/godzina]strona nie będzie wyświetlana po podanej dacie i godzinie
indexifembeddedpozwala indeksować treść osadzoną na innej stronie (iframe), mimo noindex
allbrak ograniczeń, to wartość domyślna, jej podanie nie ma efektu

Czas ważności i osadzanie

Reguła unavailable_after przyjmuje datę w popularnym formacie, np. RFC 822, RFC 850 lub ISO 8601. Jeśli data jest nieprawidłowa, reguła jest ignorowana. Po wskazanym terminie Googlebot znacznie zmniejszy szybkość indeksowania adresu URL.

indexifembedded ma zastosowanie tylko wtedy, gdy towarzyszy mu reguła noindex. Przydaje się, jeśli twoja treść jest osadzana na innych stronach i chcesz, żeby Google mógł ją tam indeksować, choć sama strona ma noindex.

Do kontroli fragmentu w wynikach służą inne reguły, np. nosnippet, max-snippet czy max-image-preview. To ustawienia wyświetlania, a nie indeksowania. Jak ułożyć tytuł i opis, żeby Google ich nie przepisywał, znajdziesz w tekście o meta title i description.

Krótka lista kontrolna przed wdrożeniem

Przeczytałem dokumentację Google i z niej wynika taka kolejność działań dla strony, którą chcesz wykluczyć:

  • wybierz metodę: tag meta dla stron HTML, X-Robots-Tag dla PDF, wideo i obrazów,
  • dodaj regułę noindex (osobno googlebot, jeśli dotyczy tylko Google),
  • sprawdź, że robots.txt nie blokuje tego adresu,
  • zweryfikuj w narzędziu do sprawdzania adresów URL, że Googlebot widzi regułę w pobranym kodzie,
  • poproś o ponowne zindeksowanie,
  • po jakimś czasie sprawdź raport Indeksowanie stron w Search Console.

Więcej materiałów o kontroli widoczności w wyszukiwarce znajdziesz w dziale SEO.

Czy noindex działa, jeśli inne strony linkują do mojej?

Tak. Według dokumentacji Google, gdy Googlebot wyodrębni tag lub nagłówek noindex, całkowicie wyeliminuje stronę z wyników wyszukiwania Google. Dzieje się tak niezależnie od tego, czy w innych witrynach znajdują się prowadzące do niej linki.

Czy w tagu meta ma znaczenie wielkość liter?

Nie. Google podaje, że wielkość liter w atrybutach name i content nie jest rozróżniana. To samo dotyczy nagłówków HTTP, nazw klienta użytkownika i wartości reguł.

Czy meta robots noindex zablokuje też AdsBot-Google?

Niekoniecznie. Reguła <meta name="robots" content="noindex"> dotyczy robotów wyszukiwarki. Żeby zablokować inne roboty, np. AdsBot-Google, może być konieczne dodanie reguły skierowanej do konkretnego robota, na przykład <meta name="AdsBot-Google" content="noindex">.

Czy do ukrycia strony wystarczy reguła noarchive albo nocache?

Nie. Google zalicza noarchive, nocache i nositelinkssearchbox do reguł historycznych i nieużywanych, które ignoruje. Noarchive nie działa już dlatego, że funkcja linku z pamięci podręcznej nie istnieje.

Źródła

#noindex#X-Robots-Tag#robots.txt#indeksowanie#meta robots#Search Console

Widzisz błąd albo nieaktualną liczbę? Napisz: kontakt. Poprawki opisuję w tekście z datą.

Piotr Olszewski

Autor i wydawca Algorytmika. Od lat pisze o wyszukiwarkach, AI i mediach społecznościowych, a na co dzień prowadzi serwisy, które żyją z ruchu z Google, Discover i sociali. Każdą liczbę w tekstach podpina pod źródło.

Jak pracuję i skąd biorę dane →

Na bieżąco bez skrzynki

Nowe poradniki dochodzą codziennie rano, raport zasięgów raz w tygodniu. Najprościej śledzić je przez kanał RSS - działa w Feedly, Inoreaderze i w każdym czytniku.

Kanał RSS

Z Promptowego - blog o AI tego samego autora

Też w sieci: DYGOT - dziennik kultury, gier i nauki: Google wyłączy AI w szkołach. Kto ją zablokuje, straci też wyszukiwarkę