gptbot robots txt – Czy roboty AI mają dostęp do Twojej strony?

Asystenci AI, tacy jak ChatGPT, Perplexity czy Claude, coraz częściej odpowiadają na pytania o firmy, produkty i usługi na podstawie tego, co znajdą w sieci. Jednak nawet najlepsza strona www nie pomoże, jeśli roboty AI nie mają do niej dostępu. W tym artykule pokazuję, jak sprawdzić, czy Twój serwis nie jest blokowany przez robots.txt i co zrobić, by zwiększyć swoją widoczność w odpowiedziach modeli AI.

Jak działa robots.txt i co blokuje GPTBot?

Plik robots.txt znajduje się w katalogu głównym strony i kontroluje, które boty mogą ją przeglądać. GPTBot, ClaudeBot, PerplexityBot czy OAI-SearchBot respektują jego ustawienia. W praktyce, domyślne konfiguracje hostingu lub wtyczek potrafią zablokować dostęp tym robotom bez wiedzy właściciela. Wystarczy jedna linijka 'User-agent: * Disallow: /', aby GPTBot nigdy nie przeczytał Twojej strony.

Widziałem przypadki, gdzie klient miał poprawnie działającą stronę i wizytówkę Google, ale w robots.txt pojawił się wpis blokujący GPTBot i PerplexityBot. Efekt? Firma nie pojawiała się w odpowiedziach AI, nawet na pytania o konkretną nazwę w mieście.

Jak sprawdzić, czy roboty AI widzą Twoją stronę?

• Wejdź na adres twojastrona.pl/robots.txt i sprawdź, czy nie ma tam wpisów typu 'Disallow' dla GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot lub Google-Extended.
• Jeśli korzystasz z gotowego hostingu lub wtyczek SEO, sprawdź, czy nie generują one domyślnie restrykcyjnych reguł.
• W razie wątpliwości, wpisz w robots.txt: 'User-agent: GPTBot Allow: /' i analogicznie dla innych botów AI.
• Regularnie testuj swoją widoczność, pytając asystenta AI o Twoją firmę w Twoim mieście i branży.

Dlaczego sama strona nie wystarczy – model AI szuka szerzej

Z moich wdrożeń wynika, że modele AI nie ograniczają się do jednej strony. Gdy pytasz asystenta o firmę w danym mieście, odpowiedź opiera się na tym, co znajdzie w sieci: wizytówkach Google, katalogach branżowych, opiniach i wzmiankach na cudzych stronach. Jeśli masz tylko własną stronę, często nie pojawiasz się w ogóle w odpowiedziach. Dopiero połączenie kilku źródeł daje realną szansę na wzmiankę.

Dane strukturalne Schema.org z polem sameAs pozwalają algorytmom powiązać Twoją stronę z wizytówką Google i profilami w katalogach. Bez tego AI traktuje je jako osobne podmioty, a Twoja widoczność jest rozmyta.

Widoczność w AI to migawka – mierz ją regularnie

Odpowiedzi asystentów AI są zmienne. Ten sam model potrafi dziś wymienić Twoją firmę, a jutro już nie. W praktyce mierzę widoczność w AI na stałym zestawie pytań, np. raz w tygodniu, zamiast polegać na pojedynczej odpowiedzi. To jedyny sposób, by wychwycić realne zmiany po optymalizacji robots.txt czy wdrożeniu danych strukturalnych.

Nisza daje przewagę – łatwiej wejść do odpowiedzi AI

W branżach o dużej konkurencji, jak agencje marketingowe w dużych miastach, wejście do odpowiedzi AI jest trudne. Jednak w wąskich niszach, np. wdrożenia n8n czy opieka nad agentami AI, modele często podają mało znane firmy. Próg wejścia jest niższy, a pojedyncza wzmianka w katalogu czy na blogu może już wystarczyć.