Er liest robots.txt, dokumentierte Tokens, Discovery-Dateien, technische Antworten und Indexierungssignale. Das Ergebnis beschreibt die getestete URL zu einem bestimmten Zeitpunkt.
Kann ich KI-Suche erlauben und Training blockieren?
Oft ja. Suche, Training und nutzergesteuerter Abruf können getrennte User-Agents verwenden. Prüfen Sie die aktuelle Dokumentation und vermeiden Sie eine globale Regel.
Schützt robots.txt private Inhalte?
Nein. robots.txt kommuniziert Präferenzen an kooperative Crawler. Für private Daten brauchen Sie Authentifizierung und Autorisierung.
Braucht der Audit einen API-Schlüssel?
Nein. Der öffentliche Checker nutzt zugängliche Belege ohne Schlüssel und ergänzt Serverlogs und Search Console.
