Kurz gesagt
Ein erheblicher Teil der Zugriffe auf Websites kommt von Programmen. Manche sind erwünscht, etwa die Crawler von Google und Bing. Andere kopieren Inhalte, probieren Passwörter, fluten Formulare oder belasten den Server. Erkennen lassen sie sich an Mustern, Herkunftsnetzen und Verhalten. Wirksam sind Blocklisten, eine Prüfung echter Suchmaschinen-Bots, Mengenbegrenzung und eine Prüfung im Browser für Verdächtige.
Gute Bots, schlechte Bots
- Suchmaschinen: Googlebot, Bingbot und Co. lesen Ihre Seite, damit sie gefunden wird. Die wollen Sie behalten.
- Überwachung: Dienste, die prüfen, ob Ihre Seite erreichbar ist. Meist harmlos und nützlich.
- KI-Crawler: Sammeln Inhalte zum Training von Sprachmodellen. Ob Sie das wollen, ist Ihre Entscheidung.
- Scanner: Suchen nach bekannten Lücken, veralteten Plugins und offenen Admin-Bereichen.
- Login-Rater: Probieren Passwörter am Login aus, oft aus vielen wechselnden Adressen.
- Formular-Spammer: Füllen Kontaktformulare mit Werbung und Schadlinks.
- Kopierer und Preis-Scraper: Laden Ihre Inhalte oder Preise massenhaft herunter.
Woran Sie Bots erkennen
- Viele Aufrufe in kurzer Zeit von einer Adresse oder einem Netz.
- Aufrufe von Pfaden, die es nicht gibt, etwa /wp-login.php auf einer Seite ohne WordPress.
- Herkunft aus Rechenzentren statt aus normalen Internetanschlüssen.
- Falsche Ausweise: Viele Bots geben sich als Googlebot aus. Echte Google-Bots kommen aus Netzen, die Google veröffentlicht, gefälschte nicht.
- Formulare, die in einer Sekunde ausgefüllt werden. Kein Mensch tippt so schnell.
Was wirklich hilft
- Blocklisten: Adressen, die als Angreifer oder Botnetz bekannt sind, werden vorab gesperrt. Gute Listen aktualisieren sich laufend.
- Echtheitsprüfung für Suchmaschinen: Wer sich als Google ausgibt, muss aus einem Google-Netz kommen. So bleibt Ihr Ranking unberührt und die Fälschungen fliegen raus.
- Mengenbegrenzung: Wer zu viele Anfragen schickt, wird gebremst. Menschen merken davon nichts.
- Prüfung im Browser: Verdächtige Besucher bekommen eine kurze Aufgabe, die ein normaler Browser in Sekunden löst und ein einfacher Bot nicht. Ohne Bilderrätsel geht das mit Captchas ohne Google.
- Eine Entscheidung zu KI-Crawlern: Per robots.txt bitten oder, verlässlicher, technisch sperren.
Wo der Schutz am besten sitzt
Plugins in der Website helfen, aber der Bot belastet Ihren Server trotzdem, bevor das Plugin ihn erkennt. Ein vorgelagerter Schutz wie Shield Web hält Bots fern, bevor sie Ihre Website erreichen. Dazu gehören Blocklisten, die Echtheitsprüfung für Google und Bing, eine Mengenbremse und eine Prüfung im Browser ohne Google und ohne Cookies.
Ob Ihre Seite unter Last langsam wird, kann viele Ursachen haben. Eine Übersicht steht in Warum lädt meine Website so langsam?.
Häufige Fragen
- Schadet es meinem Ranking, Bots zu sperren?
- Nicht, wenn die echten Suchmaschinen-Bots durchkommen. Die erkennt man an ihren offiziell veröffentlichten Netzen. Gesperrt werden nur Fälschungen und unerwünschte Bots.
- Wie sperre ich KI-Crawler?
- Per robots.txt können Sie bekannte KI-Crawler bitten, Ihre Seite nicht zu lesen. Verlässlicher ist eine technische Sperre anhand bekannter Kennungen und Netze, weil sich nicht jeder Crawler an die robots.txt hält.
- Woran sehe ich, wie viele Bots meine Seite besuchen?
- In den Zugriffsprotokollen Ihres Servers. Analyse-Werkzeuge im Browser zeigen Bots meist gar nicht, weil viele davon kein JavaScript ausführen.