robots txt und noindex lösen unterschiedliche Aufgaben

Eine robots.txt-Datei steuert, welche Bereiche ein kooperierender Crawler abrufen darf. Noindex ist dagegen eine Anweisung, Inhalte nicht in den Suchindex aufzunehmen. Damit Google eine auf der Seite stehende Noindex-Regel erkennen kann, muss die Seite zunächst abrufbar sein.

Wer dieselbe Adresse per robots.txt sperrt, verhindert möglicherweise genau diesen Abruf. Vertrauliche Inhalte sollten außerdem nicht allein durch Suchmaschinenregeln geschützt werden. Weder eine nicht gelistete Adresse noch Noindex ersetzt eine Anmeldung oder eine serverseitige Zugriffsprüfung.

Empfehlung für Unternehmen

Erstellen Sie eine Liste für öffentliche Inhalte, aus der Suche auszuschließende Seiten und tatsächlich private Bereiche. Wählen Sie für jeden Fall die passende Maßnahme. Prüfen Sie anschließend das Ergebnis an einzelnen URLs und kontrollieren Sie, dass wichtige Leistungsseiten nicht versehentlich ausgeschlossen wurden.

Quelle: Google Search Central Noindex