Objaśnienie
Roboty AI dostają 403 albo 503
Plik robots.txt może wpuszczać roboty AI, a serwer i tak zamyka im drzwi. Wtedy czat nie ma z czego przeczytać Twojej strony.
Kto puka do strony
- GPTBot: według OpenAI zbiera treści, które mogą posłużyć do trenowania modeli.
- OAI-SearchBot: według OpenAI służy wyszukiwaniu w ChatGPT. Strony, które go nie wpuszczają, nie pojawią się w odpowiedziach wyszukiwania ChatGPT.
- ChatGPT-User: wchodzi na stronę na prośbę użytkownika ChatGPT, nie skanuje sieci sam.
- ClaudeBot, Claude-SearchBot i Claude-User: według Anthropic odpowiednio zbierają treści do trenowania, poprawiają wyniki wyszukiwania i wchodzą na strony, gdy ktoś pyta Claude.
Widzieliśmy oba przypadki. Na dwóch stronach robots.txt wpuszczał wszystkich, a serwer i tak oddawał GPTBotowi i ClaudeBotowi kod 403. Na innej z naszego biura przychodziło 403, a z serwera 200.
403 i 503: dwa kody, jeden skutek
Kod 403 znaczy „odmowa dostępu”: serwer zrozumiał prośbę i nie wpuszcza. Kod 503 znaczy „usługa chwilowo niedostępna”. Gdy robot dostaje 503 stale, a ludzie widzą stronę normalnie, to w praktyce też blokada.
Plik robots.txt jest prośbą, którą roboty OpenAI i Anthropic według ich opisów respektują. Kod 403 albo 503 to drzwi zamknięte na serwerze, niezależnie od tego, co jest w pliku.
Skąd się bierze blokada?
- Zapora na hostingu albo wtyczka bezpieczeństwa, która odrzuca nieznane roboty.
- Cloudflare: 1 lipca 2025 firma ogłosiła zmianę ustawień domyślnych na blokowanie robotów AI. Warto sprawdzić, co jest włączone w panelu.
- Limit zapytań na sekundę, po którym serwer zwraca 503 każdemu, kto czyta szybko.
- Reguła w pliku .htaccess, która odrzuca znane podpisy robotów.
Jak sprawdzić to rzetelnie
- Najpewniejsze są dzienniki serwera: czy są w nich wizyty GPTBot, OAI-SearchBot i ClaudeBot i jakie dostały kody.
- Próba z podpisem robota z własnego komputera to tylko wskazówka. Zapora może odrzucać podróbki, a prawdziwy robot przychodzi z adresów, które jego firma publikuje. OpenAI podaje je w plikach openai.com/gptbot.json i openai.com/searchbot.json.
- Sam kod 403 na taką próbę nie dowodzi blokady. Liczy się cały obraz: robots.txt, dzienniki i odpowiedzi z kilku miejsc.
Co zrobić
- Zdecyduj, które roboty chcesz wpuścić. Roboty wyszukiwania (OAI-SearchBot, Claude-SearchBot) decydują o tym, czy czat może pokazać Twoją stronę w odpowiedzi.
- Ustaw robots.txt zgodnie z tą decyzją.
- W zaporze albo w Cloudflare dodaj regułę, która przepuszcza zweryfikowane roboty, zamiast wyłączać ochronę dla wszystkich.
- Po zmianie sprawdź dzienniki po kilku dniach.
- Po aktualizacji wtyczki albo zmianie hostingu sprawdź jeszcze raz. Blokady lubią wracać.
W pakiecie Rank A Lot codziennie sprawdzamy, czy roboty ChatGPT, Claude’a i Perplexity mogą wejść na Twoją stronę.
Źródła
- OpenAI: opis robotów i listy adresów, sprawdzone 8.11.2026
- Anthropic: opis robotów i robots.txt, sprawdzone 8.11.2026
- Cloudflare: zmiana ustawień domyślnych, 1.07.2025, sprawdzone 8.11.2026
Nazwy stanów podajemy tak, jak w polskiej pomocy Google. W raporcie mogą się różnić drobnymi szczegółami zapisu. Jeśli coś się zmieniło, napisz na hello@rankalot.pl, poprawimy.