Cloudflare bewertet das Verhalten verifizierter Bots fortlaufend

Cloudflare stellt ein System vor, das das Verhalten verifizierter Bots fortlaufend bewertet. Im Mittelpunkt steht die Unterscheidung zwischen einer bestätigten Identität und einem verantwortlichen Umgang mit den besuchten Websites. Auch ein bekanntes Programm kann durch Fehler oder falsche Einstellungen unnötige Last erzeugen. Cloudflare nennt die Beachtung von Websitevorgaben und die nachvollziehbare Identifizierung als wichtige Grundlagen. Der Ansatz soll helfen, Abweichungen sichtbar zu machen. Ein verifizierter Bot ist damit keine allgemeine Ausnahme von jeder betrieblichen Schutzmaßnahme.

Empfehlung für Unternehmen

Websitebetreiber sollten Zugriffe bekannter Crawler ebenfalls beobachten. Prüfen Sie Last, Fehlerquoten und erwünschte Nutzung. Bei Problemen hilft eine saubere Dokumentation, welche Regeln tatsächlich kommuniziert und welche Anfragen empfangen wurden. Blockieren Sie nützliche Suchsysteme nicht allein aufgrund hoher Gesamtzahlen.

Quelle: Cloudflare Blog