Wenn ein KI-Crawler die Website nicht lesen kann, wird Sie diese KI nicht zitieren. Doch nicht jeder Crawler kommt, um Sie zu zitieren: Manche lesen nur, um Modelle zu trainieren. Der Tab KI-Bots unterscheidet die beiden und schreibt die robots.txt für Sie.
Die drei Richtlinien
- Empfohlen: Suche ja, Training nein – lässt Such-Bots und Assistenten durch, blockiert reine Trainings-Bots.
- Alle zulassen – keine Regel: Die robots.txt bleibt, wie sie ist.
- Alle KI-Bots blockieren – kein KI-Crawler aus dem Katalog darf lesen.
Die rechte Spalte zeigt genau, was das Plugin in die robots.txt schreibt; der Link öffnet sie.
Bot für Bot
Die Tabelle listet jeden Crawler im Katalog (OpenAI, Perplexity, Anthropic, Google, Microsoft, Apple, Amazon, Meta, ByteDance, Common Crawl und weitere) mit seinem Zweck (Suche / Antworten, Assistent für den Nutzer, Training), den Besuchen der letzten sieben Tage und dem Schalter Zulassen / Blockieren, mit dem Sie die Richtlinie für einen einzelnen Bot übersteuern. Eine Regel pro Bot hat Vorrang vor der Voreinstellung.
Einen Trainings-Bot zu blockieren kostet Sie keine Zitierungen. Einen Such-Bot oder einen Assistenten zu blockieren schon: Das Plugin weist in der Zeile darauf hin.
Besuche und Verifizierung
Das Plugin erfasst die Besuche von KI-Crawlern, während WordPress die Seiten ausliefert, und verifiziert die IP bei den Bots, die ihre Adressen veröffentlichen (OpenAI, Perplexity, Google, Bing, Apple, Amazon): Die Spalte Verifizierung zeigt, wie viele Besuche wirklich vom angegebenen Bot kamen. Wer sich als GPTBot ausgibt, um Inhalte zu kopieren, bleibt aus den verifizierten Zahlen draußen.
Mit einem Seiten-Cache sieht PHP nicht jede Anfrage: Unten im Tab können Sie auf das Server-Protokoll (Apache/Nginx) verweisen, und das Plugin liest es aus, auch bei Websites hinter einem Cache.
Wohin die Daten gehen
Die Besuche fließen in das Diagramm der Übersicht, das Dashboard-Widget, die Seite KI-Bots im Dashboard und den monatlichen Nachweis. Das lokale Protokoll speichert die letzten 300 Besuche.
Verliere ich ChatGPT, wenn ich GPTBot blockiere?
Nein. GPTBot ist der Trainings-Crawler von OpenAI. ChatGPT zitiert über OAI-SearchBot und ChatGPT-User: Lassen Sie diese beiden durch und blockieren Sie GPTBot, ohne Zitierungen zu verlieren.
Halten sich die Bots an die robots.txt?
Die Bots im Katalog geben an, dass sie es tun, und bei den großen Anbietern bestätigen das die verifizierten Besuche. Ein Bot, der die robots.txt ignoriert, muss am Server oder im CDN gestoppt werden, nicht vom Plugin.