Strona działa, Google ją indeksuje, a asystenci AI polecają konkurencję. Jedna z przyczyn bywa schowana w ochronie przed botami na hostingu: część robotów AI zamiast mapy strony dostaje ekran weryfikacji.
Marcin Ledwolorz
CEO, APTURN
Przy darmowym audycie strony salonu usług w Warszawie trafiliśmy na ciekawy przypadek. Strona była szybka, miała wzorowe dane strukturalne i komplet plików dla robotów: mapę strony, robots.txt i llms.txt, czyli krótkie streszczenie oferty dla asystentów AI. Mimo to Perplexity na ogólne pytanie o masaż w tej dzielnicy polecał dwa inne salony.
Przyczyn takiego wyniku może być wiele, więc nie twierdzimy, że znaleźliśmy jedyną. Znaleźliśmy za to rzecz, którą łatwo sprawdzić i naprawić: ochrona przed botami na hostingu przepuszczała tylko część robotów.
Co zobaczyliśmy
Hosting tej strony ma warstwę ochrony, która każdemu automatowi bez przeglądarki pokazuje ekran „Weryfikacja” z instrukcją noindex. Człowiek w przeglądarce przechodzi ją bez zauważenia. Dla robotów działa lista wyjątków i to ona decyduje, kto dostanie prawdziwą treść.
- Googlebot, Bingbot, GPTBot, OAI-SearchBot i ChatGPT-User dostawali prawdziwe pliki: mapę strony i llms.txt.
- PerplexityBot i ClaudeBot dostawali ekran weryfikacji zamiast pliku. Dla nich mapa strony i llms.txt praktycznie nie istniały.
- Ten sam ekran dostawał każdy zwykły klient HTTP, na przykład narzędzia do audytu SEO.
Ciekawostka: na bardzo konkretne pytanie o połączenie masażu z tężnią solankową Perplexity polecił właśnie ten salon, z adresem i telefonem. Robot widzi więc stronę przez inne źródła, ale bez dostępu do mapy strony i streszczenia oferty ma mniej materiału przy pytaniach ogólnych.
Tydzień po audycie powtórzyliśmy test. Ustawienie zostało zmienione: wszystkie roboty, a nawet zwykły klient HTTP, dostają już mapę strony i llms.txt. Naprawa nie wymagała zmian na samej stronie, tylko w konfiguracji ochrony.
Sprawdzimy, czy Google i AI widzą Twoją stronę
W darmowym audycie mierzymy szybkość, sprawdzamy roboty wyszukiwarek i asystentów AI i dajemy listę poprawek. Raport PDF w 48 godzin roboczych.
Jak to sprawdzić w 2 minuty
Wystarczy terminal i polecenie curl, które pobiera plik, przedstawiając się nazwą konkretnego robota:
- Jeśli w odpowiedzi jest treść pliku, robot o tej nazwie dostaje plik.
- Jeśli jest kod HTML strony weryfikacji, CAPTCHA albo kod 403, robot tej nazwy jest zatrzymywany.
- Powtórz test dla GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Googlebot i Bingbot oraz dla plików sitemap.xml, robots.txt i llms.txt.
Ważne zastrzeżenie
Ten test pokazuje, jak ochrona traktuje daną nazwę robota. Prawdziwy robot przychodzi z sieci swojej firmy i część ochron sprawdza też adres, więc wynik może się różnić. Pewność dają dopiero logi serwera albo zdarzenia w panelu ochrony z żądaniami od prawdziwych robotów. Pisaliśmy o tym szerzej przy Cloudflare i Merchant Center.
Co ustawić
- Pliki dla robotów (robots.txt, sitemap.xml, llms.txt) podawaj każdemu bez weryfikacji. Nie zawierają nic poufnego, a ich jedynym celem jest to, żeby roboty je przeczytały.
- W ustawieniach ochrony dopisz do wyjątków roboty asystentów AI, których obecność Cię interesuje: PerplexityBot, ClaudeBot, GPTBot, OAI-SearchBot. Najlepiej z weryfikacją adresu, bo samą nazwę łatwo podrobić.
- Jeśli nie chcesz, żeby jakiś robot uczył się na Twojej treści, zablokuj go w robots.txt, a nie ekranem weryfikacji. Wtedy decyzja jest jawna i świadoma.
- Po zmianie powtórz test z curl i sprawdź, czy wszystkie roboty dostają treść.
Chcesz sprawdzić, które roboty widzą Twoją stronę?
Sprawdzamy to w ramach darmowego audytu strony, razem z szybkością, bezpieczeństwem i widocznością w Google. Napisz do nas.
Sprawdzimy, czy Google i AI widzą Twoją stronę
W darmowym audycie mierzymy szybkość, sprawdzamy roboty wyszukiwarek i asystentów AI i dajemy listę poprawek. Raport PDF w 48 godzin roboczych.