Warum verhindert Ihr Schutz vor Bots, dass der Labrika-Crawler die Website scannt?

Eine Anleitung zur Lösung dieses Problems

Fügen Sie die IPs von Labrika zur Whitelist hinzu

„Schlechte“ Bots stellen eine der schwerwiegendsten Bedrohungen für Websites dar. Bösartiger Bot-Verkehr kann zu einer Verringerung der Website-Leistung, Verzerrung von Informationen über die Verfügbarkeit von Waren und Dienstleistungen auf Online-Plattformen, Verletzung der Vertraulichkeit personenbezogener Daten und letztlich zu einem Rückgang des Traffics und Verlusten führen.

Bots greifen Websites an und verursachen eine Reihe von Problemen für Unternehmen, wie z.B. Kontoübernahmen, DDoS-Angriffe, Missbrauch von APIs, Web-Scraping, Spam-Erstellung, Verzerrung von Analysen und Betrug.

Die Fähigkeit, zwischen guten und schlechten Bots zu unterscheiden, ist für moderne Unternehmen von größter Bedeutung. Laut dem Radware Application Security Report können jedoch 79 % der Organisationen den Verkehr nützlicher und bösartiger Bots nicht genau unterscheiden.

Der Bot-Verkehr und die Bedrohung durch deren zerstörerische Auswirkungen auf Unternehmen nehmen schnell zu. Das bedeutet, dass spezialisierte Lösungen zum Schutz vor Bot-Angriffen für Unternehmen von grundlegender Bedeutung sind. Die Situation hat sich mit dem Auftreten einer neuen Generation bösartiger Bots, die das Verhalten eines echten Benutzers nachahmen und traditionelle Informationssicherheits- und Schutzsysteme gegen Bots leicht umgehen können, noch weiter verschärft.

Mit dem Labrika http_info-Tool können Sie überprüfen, ob der Fehler beim Scannen der Website das Ergebnis des ausgelösten Schutzes der Website vor Bots ist. Dazu müssen Sie das Kontrollkästchen für die Anzeige des Inhalts aktivieren und den Antwortcode der Seite überprüfen. Üblicherweise können wir, wenn im Antwortcode Begriffe wie „Schutz“ angezeigt werden, schließen, dass der ausgelöste Schutz der Website die Ursache für den Fehler ist.

Wenn Ihre Website einen Schutz gegen Bots installiert hat, müssen Sie Folgendes tun:

• Fügen Sie die IP-Adressen von Labrika (178.32.114.61, 162.55.244.68) zur Whitelist hinzu.
• Überprüfen Sie anschließend in den Website-Einstellungen in Labrika im Abschnitt „Einstellungen für das Crawlen der Website“ den Punkt „Nur grundlegende IP-Adressen verwenden“.

So fügen Sie eine IP zur Whitelist hinzu:

1. SUCURI

Whitelist einer IP-Adresse

Standardmäßig wird die Sucuri-Firewall den Zugriff auf Ihre Administrationsseiten (z.B. `/wp-admin`, `/administrator` oder `/admin`) einschränken, sodass nur autorisierte IPs sich anmelden können. So bleibt Ihre Website sicher, selbst wenn Ihre Benutzerkonten kompromittiert werden.

Um eine IP zur Anmeldung auf Ihrer Website zu autorisieren, müssen Sie sie in Ihrem Dashboard zur Whitelist hinzufügen. Wenn Sie beim Zugriff auf Ihre Website den folgenden Fehler erhalten, müssen Sie Ihre eigene IP auf die Whitelist setzen.

Block ID: IPB17 
Block reason: Ihre Anfrage wurde aufgrund von IP-Blocking (nicht auf der Whitelist) nicht erlaubt.

Whitelisting von IPs über das Dashboard

Das Whitelisting von IPs ist sehr einfach und es gibt zwei Möglichkeiten, dies zu tun.

• Klicken Sie hier und geben Sie Ihre aktuelle IP-Adresse im Abschnitt „Whitelist-IP-Adressen“ ein.
  
• Klicken Sie auf **Whitelist**, um Ihre IP-Adresse hinzuzufügen, nachdem Sie sie in das Feld eingegeben haben.

Whitelisting von IPs über die API

• Klicken Sie hier, um zu Ihren API-Einstellungen zu gelangen, und klicken Sie dann auf die grüne Schaltfläche „Whitelist-IP“ im Abschnitt „Schnelllinks“.
  

Das wird Ihre IP-Adresse automatisch zur Whitelist hinzufügen. Sie können diesen Link als Lesezeichen speichern und anderen Administratoren Ihrer Website zur Verfügung stellen, um ihnen den Zugriff zu ermöglichen. Jedes Mal, wenn sie blockiert werden, müssen sie nur diesen Link besuchen, um wieder Zugang zu erhalten.

2. Wordfence

Schritt 1 – Finden Sie Ihre IP

Der schnellste und einfachste Weg, Ihre öffentliche IP-Adresse zu erfahren, ist, in Google „Was ist meine IP-Adresse“ einzugeben. Sie sehen sie oben. Markieren und kopieren Sie diese Adresse.

Schritt 2 – Öffnen Sie das WordPress-Admin

Navigieren Sie zu Ihrerdomain.com/wp-admin und melden Sie sich an. Wenn Sie derzeit ausgesperrt sind, müssen Sie möglicherweise Ihre E-Mail-Adresse hinzufügen und den Wiederherstellungsprozess von Wordfence durchlaufen.

Schritt 3 – Navigieren Sie zu WordFence > Firewall > Alle Firewall-Optionen

Fahren Sie mit der Maus über WordFence im linken Menü, klicken Sie auf Firewall und dann auf „Alle Firewall-Optionen“.

In dem sich öffnenden Bildschirm sollte die oberste Option ein Feld sein, um „Whitelisted IP-Adressen, die alle Regeln umgehen“ einzugeben – fügen Sie Ihre kopierte IP-Adresse in eine neue Zeile in dieses Feld ein und klicken Sie auf „Änderungen speichern“.

3. iThemes Security

Von Ihrem WordPress-Dashboard aus müssen Sie zu Ihren iThemes-Sicherheitseinstellungen > Globale Einstellungen > Einstellungen konfigurieren gehen.

Scrollen Sie dann nach unten zum Abschnitt „Lockout-Whitelist“, um die IPs einzugeben, die für ContentStudio auf die Whitelist gesetzt werden müssen.

Sobald dies erledigt ist, klicken Sie auf „Einstellungen speichern“, um den Vorgang abzuschließen.

4. Cloudflare

Melden Sie sich bei Ihrem Cloudflare-Konto an

1. Klicken Sie auf das Firewall-Symbol und dann auf die Registerkarte „Tools“
2. Listen Sie die Crawl-IP-Adressen von ContentKing unter den IP-Zugriffsregeln auf:
   • Geben Sie die IP-Adresse ein
   • Wählen Sie „Whitelist“ als Aktion
   • Wählen Sie die Website aus, auf die die Whitelisting-Regeln angewendet werden sollen
3. Klicken Sie auf „Hinzufügen“
4. Wiederholen Sie dies mit allen unseren Crawl-IP-Adressen

5. Brute-Force Firewall

Melden Sie sich als 'root'-Benutzer bei WHM an.

1. Navigieren Sie zu "Home » Security Center » cPHulk Brute Force Protection."
2. Öffnen Sie die Registerkarte „Whitelist-Verwaltung“.
3. Geben Sie die IP-Adresse oder den IP-Adressbereich ein, der in das Textfeld „Neue Whitelist-Einträge“ aufgenommen werden soll.
4. Klicken Sie auf die Schaltfläche „Hinzufügen“.

6. Malcare

Um IP-Adressen mit MalCare auf die Whitelist zu setzen, folgen Sie diesen Schritten: Installieren Sie MalCare und gehen Sie zum Tab „Sicherheit und Firewall“. Wählen Sie den Abschnitt „Traffic Requests“ aus und finden Sie die IP, die Sie auf die Whitelist setzen möchten. Fahren Sie mit der Maus über das Bearbeitungssymbol und klicken Sie auf „Zur Whitelist hinzufügen“.