Für die Indexierung blockiert, aber in Sitemap.xml

Eine Sitemap.xml Datei ist im Wesentlichen eine Karte Ihrer Website, die speziell für eine einfache Navigation und Indexierung Ihrer Seite durch Suchmaschinen erstellt wurde. Sie befindet sich im öffentlichen public_html Ordner (oder im Stammverzeichnis der Website) und enthält wichtige Anweisungen für Suchmaschinen-Crawler, die angeben, welche Seiten besucht werden sollen, in welcher Reihenfolge und wie oft.

Dies beschleunigt den Indexierungsprozess wichtiger Seiten erheblich und ermöglicht es den Such-Crawlern, ihre Crawling-Zeit auf Seiten von hoher Bedeutung für Sie und Ihre Nutzer zu konzentrieren.

Die Erstellung einer Sitemap.xml ist nicht immer notwendig, wird jedoch immer empfohlen, insbesondere für große Websites mit Tausenden von Seiten. Mit größeren Websites entsteht die Notwendigkeit, sicherzustellen, dass Suchmaschinen-Crawler ihre Zeit auf wertvolle Seiten mit tiefen Inhalten und kommerzieller Absicht verbringen und nicht auf Neben-Seiten, die nur wenig Wert bieten.

Als Faustregel gilt, dass Software und CMS, die automatisch eine Sitemap.xml-Datei generieren, in der Regel alle verfügbaren Seiten zur Indexierung einbeziehen. Ein typischer Website-Besitzer ist sich dessen wahrscheinlich nicht bewusst, und während er möglicherweise für bestimmte Seiten „noindex“ festgelegt hat, werden diese Seiten wahrscheinlich in den automatisch generierten Sitemaps eingeschlossen, was wertvolle Crawling-Budgets verschwendet!

Es wird dringend empfohlen, Plugins, benutzerdefinierte Software oder Sitemap-Generatoren zu verwenden, um spezifische URLs zu konfigurieren, die in Ihrer Sitemap angezeigt werden sollen, bestimmte URLs zu vermeiden, in welcher Reihenfolge URLs gecrawlt werden sollen und wie oft.

Fehler in der Sitemap, die von Labrika gefunden wurden

Achtung! Der Bericht über Sitemap-Fehler ist nur zugänglich, wenn ausreichende Berechtigungen zum Scannen der gesamten Website korrekt konfiguriert sind. Andernfalls kann Labrika nur Seiten anzeigen, die speziell in der Sitemap.xml aufgeführt sind, anstatt alle Seiten auf der Website zu sehen und diese mit den in der Sitemap aufgeführten Seiten zu vergleichen.

Die Analyse der Sitemap von Labrika hilft, die folgenden Arten von Fehlern zu finden:

• Seiten, die in der Sitemap existieren, aber nicht für die Indexierung zugänglich sind.
• Seiten, die in der Sitemap existieren, aber ein noindex-Tag haben.
• Seiten, die nicht in der Sitemap existieren, aber indexierbar sind.

Bitte beachten: Verschiedene Suchmaschinen verarbeiten Sitemap-Regeln unterschiedlich. Google wird in der Regel nur Seiten indexieren, die über automatisches Crawlen ohne eine Sitemap erreichbar sind. Das heißt, Seiten, die über interne Links innerhalb der festgelegten Crawling-Zeit und Crawling-Tiefe für Ihre Website an diesem Tag erreicht werden können. Sie werden Ihre Sitemap.xml-Datei nicht überprüfen, um festzustellen, welche Links gecrawlt werden sollen, sondern verwenden die Sitemap als Leitfaden, wie oft die in der Sitemap aufgeführten Seiten gecrawlt werden.