Sind alle meine Unterseiten im Google-Index?

Index, Quelle: Pixabay

Eine Frage, die sich jeder Website-Betreiber stellen sollte ist, ob auch alle Unterseiten von Google gefunden und indexiert wurden. Denn für die Sichtbarkeit bei Google ist es wichtig, dass möglichst alle Unterseiten einer Website von Google indexiert wurden. Damit erhöht sich die Chance, dass Nutzer auf die Website finden, die über einen Suchbegriff oder ein angrenzendes Thema auf einer Unterseite in die Website einsteigen. Häufig sind es neben der Startseite einzelne Unterseiten, die als Einstiegsseite dienen. So lässt sich beispielsweise auch ein Randthema auf definierte Keywords hin optimieren, um so mehr Besucher über diese Keywords auf die eigene Seite zu bekommen, die dann hoffentlich auch weitere Bereiche des Websiteangebots anklicken und dort einige Zeit verweilen.

Funktionsweise von Suchmaschinen, Indexierung

Kommt der Google-Bot auf eine Website, dann folgt er den Links und ruft die verlinken Seiten nacheinander auf. Diese werden dann indexiert (verschlagwortet) und landen in der Google-Datenbank.

Funktionsweise von Suchmaschinen, Indexierung

Für den Google-Bot ist es wichtig, dass es eine spezielle Datei gibt, sie heißt robots.txt. Dabei handelt es sich um eine Textdatei, die z.B. bestimmte Ordner und Dateien von der Indexierung ausschließt. Das ist z.B. für Content-Management-Systeme der admin-Ordner, der keine suchmaschinenrelevanten Daten enthält, sondern für die Funktionalität des Backends zuständig ist.

Prüfen Sie, ob eine robots.txt auf Ihrem Webspace vorhanden ist. Nutzen Sie dazu am einfachsten ein FTP-Programm. Wenn nicht können Sie einen der zahlreichen, kostenlosen robots.txt-Generatoren benutzen, um diese zu erstellen. Detaillierte Hinweise zur robots.txt-Datei finden Sie bei Google.

So prüfen Sie, welche Unterseiten von Google bereits indexiert wurden:

Rufen Sie die Google-Suche www.google.de auf und geben Sie in das Suchfeld ein:

site:www.meineDomain.de

Nun listet Google alle Seiten auf, die unter der Domain www.meineDomain.de im Google-Index hinterlegt sind. Sollten hier viele Unterseiten nicht auftauchen, dann kann es helfen eine XML-Sitemap bei Google einzureichen.

Sitemap Eine XML-Sitemap ist eine XML-Datei, die Links zu allen Unterseiten der Webpräsenz enthält. Zum Erstellen einer XML-Sitemap gibt es wiederum zahlreiche, kostenlose Sitemap-Generatoren, wie z.B. www.xml-sitemap.com. Die generierte XML-Datei mit dem Namen sitemap.xml muss auf dem Webspace im root-Verzeichnis (also auf der obersten Verzeichnisebene) abgelegt werden. In der robots.txt sollte dann noch der absolute Pfad zur Sitemap hinterlegt werden:

http://www.meineDomain.de/sitemap.xml

Alternativ können Sie die XML-Sitemap auch direkt über die Search Console (früher: Webmastertools) bei Google einreichen. Für die Search Console ist ein Google-Konto erforderlich.

Tipp: Link-Checker

Bevor Sie die XML-Sitemap erstellen, prüfen Sie, ob auch alle Links korrekt gesetzt sind und nicht auf eine Fehlerseite laufen, denn die Verlinkung Ihrer Unterseiten untereinander ist für die Indexierung durch Google wichtig. Nutzen Sie dazu z.B. den W3C Link Checker unter https://validator.w3.org/checklink, das Programm XenuLink oder das SEO-Tool SreamingFrog (benötigt Java).