Bots ausschließen: Techniken, Strategien & sinnvolle Schutzmaßnahmen

Bots gehören heute zum Internet wie Browser und Suchmaschinen. Während viele Bots harmlos oder sogar nützlich sind (z. B. Suchmaschinen), gibt es auch eine große Zahl unerwünschter Bots: Spam-Bots, Scraper, Brute-Force-Angreifer oder Traffic-Fälscher. Dieser Artikel zeigt übersichtlich, welche Möglichkeiten es gibt, Bots auszuschließen, wie sie funktionieren und welche Vor- und Nachteile sie haben.

1. robots.txt – der höfliche Hinweis

Die robots.txt ist die bekannteste Methode, um Bots den Zugriff auf bestimmte Bereiche einer Website zu untersagen.

User-agent: *
Disallow: /admin/
Disallow: /intern/
  

Wichtig: Die robots.txt ist keine Sicherheitsmaßnahme. Sie funktioniert nur bei „braven“ Bots (z. B. Google, Bing). Bösartige Bots ignorieren sie vollständig.

• ✅ Einfach umzusetzen
• ❌ Kein echter Schutz
• ❌ Sensible URLs werden sichtbar gemacht

2. User-Agent-Filter

Jeder Bot (und jeder Browser) sendet einen sogenannten User-Agent. Viele Bots verraten sich dadurch.

Beispiel in PHP:

$userAgent = $_SERVER['HTTP_USER_AGENT'] ?? '';

if (stripos($userAgent, 'bot') !== false) {
    http_response_code(403);
    exit;
}
  

Diese Methode filtert einfache Bots zuverlässig aus, ist aber leicht zu umgehen, da User-Agents frei fälschbar sind.

• ✅ Schnell & effizient
• ❌ Leicht manipulierbar

3. IP-Blocking & IP-Ranges

Viele Bots kommen immer wieder von denselben IP-Adressen oder IP-Bereichen. Diese können serverseitig blockiert werden (Apache, Nginx, Firewall).

Beispiel: bekannte Rechenzentren, Hosting-Anbieter oder Länder blockieren.

• ✅ Sehr effektiv
• ❌ Pflegeaufwand
• ❌ Gefahr von False Positives

4. Rate Limiting (Zugriff begrenzen)

Menschen klicken langsam, Bots nicht. Rate Limiting begrenzt die Anzahl der Anfragen pro IP oder Session.

Beispiel: max. 20 Requests pro Minute. Alles darüber wird blockiert oder verzögert.

• ✅ Sehr zuverlässig
• ✅ Schützt auch vor Brute-Force
• ❌ Etwas komplexer in der Umsetzung

5. CAPTCHA & Human Verification

CAPTCHAs unterscheiden Mensch und Maschine anhand von Aufgaben: Bilder auswählen, Rechnen, Checkboxen.

Moderne Varianten (z. B. unsichtbare CAPTCHAs) analysieren Mausbewegungen und Verhalten im Hintergrund.

• ✅ Sehr hohe Sicherheit
• ❌ Schlechtere User Experience
• ❌ Barrierefreiheit beachten

6. Honeypots (unsichtbare Fallen)

Honeypots sind versteckte Formularfelder, die nur Bots ausfüllen. Menschen sehen diese Felder nicht.

Wird das Feld ausgefüllt, ist klar: Bot.

• ✅ Unsichtbar für echte Nutzer
• ✅ Sehr effektiv gegen Spam-Bots
• ❌ Gegen „intelligente“ Bots begrenzt

7. JavaScript-Checks

Viele einfache Bots können kein oder nur eingeschränkt JavaScript ausführen. Seiten, die ohne JS nicht vollständig funktionieren, blockieren solche Bots automatisch.

Typisch sind Tokens, die per JavaScript erzeugt und serverseitig geprüft werden.

• ✅ Effektiv gegen einfache Scraper
• ❌ JS-fähige Bots bleiben möglich

8. Verhaltensanalyse

Moderne Systeme analysieren Nutzerverhalten:

• Klickgeschwindigkeit
• Mausbewegungen
• Scroll-Verhalten
• Timing zwischen Aktionen

Abweichungen vom menschlichen Verhalten deuten auf Bots hin. Diese Methode wird oft von WAFs und CDNs eingesetzt.

9. Web Application Firewalls (WAF)

Eine WAF sitzt vor deiner Website und filtert Traffic automatisch. Sie erkennt bekannte Bot-Signaturen, Angriffe und Anomalien.

• ✅ Sehr umfassender Schutz
• ✅ Kaum eigener Pflegeaufwand
• ❌ Kostenpflichtig

10. Kombination statt Einzellösung

Die wichtigste Erkenntnis: Es gibt keinen perfekten Einzelmechanismus.

Sinnvoll ist immer eine Kombination, z. B.:

• robots.txt + Rate Limiting
• Honeypot + CAPTCHA
• User-Agent-Filter + IP-Blocking

So steigt der Aufwand für Bots erheblich, während echte Nutzer kaum beeinträchtigt werden.

Fazit

Bots vollständig auszuschließen ist unrealistisch – und oft auch nicht sinnvoll. Ziel sollte immer sein, schädliche Bots zu minimieren, ohne Nutzererlebnis und Performance zu beeinträchtigen.

Wer seine Webseite kennt, Logs auswertet und gezielt Schutzmechanismen kombiniert, erreicht in der Praxis bereits einen sehr hohen Schutz.