Przejdź do treści
Rank A Lot

Objaśnienie

Roboty AI dostają 403 albo 503

Plik robots.txt może wpuszczać roboty AI, a serwer i tak zamyka im drzwi. Wtedy czat nie ma z czego przeczytać Twojej strony.

Kto puka do strony

  • GPTBot: według OpenAI zbiera treści, które mogą posłużyć do trenowania modeli.
  • OAI-SearchBot: według OpenAI służy wyszukiwaniu w ChatGPT. Strony, które go nie wpuszczają, nie pojawią się w odpowiedziach wyszukiwania ChatGPT.
  • ChatGPT-User: wchodzi na stronę na prośbę użytkownika ChatGPT, nie skanuje sieci sam.
  • ClaudeBot, Claude-SearchBot i Claude-User: według Anthropic odpowiednio zbierają treści do trenowania, poprawiają wyniki wyszukiwania i wchodzą na strony, gdy ktoś pyta Claude.

Widzieliśmy oba przypadki. Na dwóch stronach robots.txt wpuszczał wszystkich, a serwer i tak oddawał GPTBotowi i ClaudeBotowi kod 403. Na innej z naszego biura przychodziło 403, a z serwera 200.

403 i 503: dwa kody, jeden skutek

Kod 403 znaczy „odmowa dostępu”: serwer zrozumiał prośbę i nie wpuszcza. Kod 503 znaczy „usługa chwilowo niedostępna”. Gdy robot dostaje 503 stale, a ludzie widzą stronę normalnie, to w praktyce też blokada.

Plik robots.txt jest prośbą, którą roboty OpenAI i Anthropic według ich opisów respektują. Kod 403 albo 503 to drzwi zamknięte na serwerze, niezależnie od tego, co jest w pliku.

Skąd się bierze blokada?

  • Zapora na hostingu albo wtyczka bezpieczeństwa, która odrzuca nieznane roboty.
  • Cloudflare: 1 lipca 2025 firma ogłosiła zmianę ustawień domyślnych na blokowanie robotów AI. Warto sprawdzić, co jest włączone w panelu.
  • Limit zapytań na sekundę, po którym serwer zwraca 503 każdemu, kto czyta szybko.
  • Reguła w pliku .htaccess, która odrzuca znane podpisy robotów.

Jak sprawdzić to rzetelnie

  1. Najpewniejsze są dzienniki serwera: czy są w nich wizyty GPTBot, OAI-SearchBot i ClaudeBot i jakie dostały kody.
  2. Próba z podpisem robota z własnego komputera to tylko wskazówka. Zapora może odrzucać podróbki, a prawdziwy robot przychodzi z adresów, które jego firma publikuje. OpenAI podaje je w plikach openai.com/gptbot.json i openai.com/searchbot.json.
  3. Sam kod 403 na taką próbę nie dowodzi blokady. Liczy się cały obraz: robots.txt, dzienniki i odpowiedzi z kilku miejsc.

Co zrobić

  1. Zdecyduj, które roboty chcesz wpuścić. Roboty wyszukiwania (OAI-SearchBot, Claude-SearchBot) decydują o tym, czy czat może pokazać Twoją stronę w odpowiedzi.
  2. Ustaw robots.txt zgodnie z tą decyzją.
  3. W zaporze albo w Cloudflare dodaj regułę, która przepuszcza zweryfikowane roboty, zamiast wyłączać ochronę dla wszystkich.
  4. Po zmianie sprawdź dzienniki po kilku dniach.
  5. Po aktualizacji wtyczki albo zmianie hostingu sprawdź jeszcze raz. Blokady lubią wracać.

W pakiecie Rank A Lot codziennie sprawdzamy, czy roboty ChatGPT, Claude’a i Perplexity mogą wejść na Twoją stronę.

Źródła

Nazwy stanów podajemy tak, jak w polskiej pomocy Google. W raporcie mogą się różnić drobnymi szczegółami zapisu. Jeśli coś się zmieniło, napisz na hello@rankalot.pl, poprawimy.

Sprawdź za darmo Zadzwoń