Sitemap erstellen – Tipps für den Erfolg bei Google

Noch nicht jeder hat schon mal eine gesehen und auch nicht jede Webseite hat eine. Dennoch leistet sie sehr gute Dienste während sie nur wenig fordert: die Sitemap. In diesem Artikel will ich euch erklären, was eine Sitemap ist, wozu sie genutzt wird, worauf bei der Erstellung und Pflege geachtet werden sollte und wie ihr sie zu eurem Vorteil einsetzen könnt. Die Themen der SEO-Welt ändern sich stetig, doch die Relevanz einer gut gepflegten Sitemap ist auch 2017 nicht zu verleugnen. (Update Oktober 2017)
[toc]

Was ist eine Sitemap? – Ein etwas anderer Blickwinkel

Eine Sitemap ist in erster Linie eine einzelne Seite in eurer Webseitenstruktur. Darauf befinden sich Links und Informationen zu den wichtigen Unterseiten eurer Domain. Um es bildlich und für jeden verständlich darzustellen: Das Internet ist die Erdkugel. Auf dieser Erdkugel gibt es unzählige Städte und Dörfer – dies sind die Webseiten. Wikipedia z.B. ist eine Millionenmetropole, während viele kleine Webseiten wohl besser als ein Dorf beschrieben werden. Nun kommen als Touristen die Nutzer hinzu, die im WWW viele Webseiten (Städte /Dörfer) besuchen. Als Reiseberater bemühen sie am liebsten Suchmaschinen wie Google, Bing! und Co. Damit die Suchmaschinen gute Reiseinfos zur Verfügung stellen können, brauchen sie natürlich selbst Infos und die bekommt man bekanntlich am sichersten, wenn man selbst vor Ort war. Also reisen die Suchmaschinen ebenfalls durchs WWW und sammeln Daten zu den Webseiten.
Da sich (fast) jede Webseite gut präsentieren möchte und vor dem Reiseberater gut dastehen möchte, will sie ihm natürlich die schönsten und besten Attraktionen für den Nutzer zeigen. Genau an dieser Stelle kommt die Sitemap als Stadtplan ins Spiel. Sie zeigt der Suchmaschine, was es wichtiges auf der Webseite zu entdecken gibt. Dazu werden wichtige Unterseiten aufgelistet, die dann von der Suchmaschine betrachtet und im Index gespeichert werden. Darüber hinaus werden zu jeder Unterseite die folgenden Infos bereitgestellt:
• Datum der letzten Änderung < lastmod >
• Änderungshäufigkeit (Wie oft wird der Inhalt der Seite geändert?) < changefreq >
• Priorität (Welche Priorität hat die Unterseite im Vergleich zu anderen Unterseiten?)
< priority >
Da die meisten Unterseiten stetig geändert werden, kommt die Suchmaschine regelmäßig vorbei und überprüft, was sich getan hat. Bei jedem Besuch werden die alten Informationen zur Webseite gelöscht und durch die neuen Inhalte ersetzt. Diese Inhalte werden dann als Ergebnis von Suchanfragen an die Suchmaschine ausgeliefert. Welche Version einer Webseite Google im jetzigen Moment abgespeichert hat, lässt sich übrigens mit dem Operator „cache:“ herausfinden. Das Ergebnis von der Suchanfrage „cache:www.projecter.de“ zeigt uns, wann Google das letzte Mal unsere Seite angeschaut und abgespeichert hat. Außerdem bekommen wir ein exaktes Abbild der Seite, wie sie Google momentan im Cache hat – das nur am Rande.

Wichtig ist noch: Die Sitemap ist nur ein Empfehlungskatalog. Eine Suchmaschine entscheidet letztendlich selbst, welche und wie viele Unterseiten einer Domain sie sich anschaut und in den Index aufnimmt. Hier können verschiedene Kriterien ausschlaggebend sei. Genannt seien an dieser Stelle exemplarisch Rechenkapazität und Speicherplatz der Crawler sowie die Erreichbarkeit der Webseite.

Worauf sollte man bei der Erstellung achten?

Eine Sitemap zu erstellen ist nicht schwer. Genau deshalb sollte man sie auch für die eigene Webseite anlegen und pflegen.

Format: XML vs. HTML

Die beiden gängigsten Formate der Sitemap sind XML und HTML. Nun stellt sich die Frage, welche Variante besser ist. Hierzu hat sich im Jahre 2009 Matt Cutts (Oberhaupt des Google Webspam Teams) persönlich zu Wort gemeldet. Im Grunde kommt er zu der Aussage: „They’re both yummy!“, würde sich aber im Falle eines Falles für eine HTML Sitemap entscheiden – Begründung: Bei HTML Sitemaps finden sich sowohl Nutzer als auch Suchmaschinen (Crawler) zurecht. Aber Hand auf’s Herz: Welcher Nutzer klickt sich freiwillig durch eine Sitemap mit mehreren Hundert Einträgen? Dennoch ist dieser Punkt nicht gänzlich zu unterschlagen. Ein wesentlicher Vorteil von XML Sitemaps ist, dass man viele zusätzliche Informationen an die Suchmaschine übergeben kann. Neben den drei im ersten Abschnitt genannten Zusatzinfos können auch Informationen zum Inhalt übermittelt werden. Mit der entsprechenden Codierung kann man den Suchmaschinen mitteilen, dass sich auf der Unterseite Bilder, Videos, mobile Inhalte oder auch Nachrichten befinden.
Bei weniger umfangreichen Webseiten („wenige“ Unterseiten) könnte also eine HTML Sitemap sinnvoll sein, damit man sowohl User als auch Suchmaschine Hilfe bei der Navigation bietet. XML Sitemaps sind aufgrund ihrer höheren Informationsdichte dagegen der Liebling aller Crawler. Die Google Dokumentation selbst verweist auch recht selten auf die HTML Variante einer Sitemap.
Weitere mögliche Formate sind: RSS, mRSS, Atom 1.0 oder als Textdatei. Die URLs der Sitemaps können dann in der Google Search Console eingereicht werden. Allerdings sollte man hier bedenken: Google ist nicht die einzige Suchmaschine, die Inhalte des Netzes durchsucht. Auch andere Suchmaschinen wollen ggf. die Domain crawlen und ob diese mit einem der vorgenannten „exotischen“ Formate zurechtkommen, ist nicht sicher. Deshalb sollte man sich auf XML und HTML beim Einreichen konzentrieren. Für Interessierte gibt hier die Search Console-Hilfe weiteren Aufschluss.

Wohin mit der Sitemap-Datei?

Hat man sich für ein Sitemap-Format entschieden, stellt sich nun die Frage, wo sie auf der Seite eingebunden werden sollte. Generell wird empfohlen, die Sitemap im Rootverzeichnis der Webseite abzulegen, da sie die meisten Webcrawler dort finden.
Wenn aus technischen oder anderen Gründen nicht die Möglichkeit der Implementierung im Rootverzeichnis besteht, kann man die Sitemap auch in einem beliebigen anderen Verzeichnis ablegen. Um sie dann für Google und auch andere Suchmaschinen zugänglich zu machen, sollten zwei Schritte erledigt werden:

1. Die Webseite sollte in der Google Search Console eingereicht werden (Crawling >> Sitemap >> Sitemap hinzufügen/testen).
2. Die robots.txt sollte um einen Eintrag ergänzt werden, welcher dem Webcrawler mitteilt, wo die Sitemap zu finden ist. Der Code lautet dann:
   Sitemap: http://www.beispielseite.de/verzeichnis/sitemap.xml

Diese beiden Schritte empfehlen sich natürlich auch, wenn man die Sitemap im Rootverzeichnis abgelegt hat

Inhalt der Sitemap

Da die Sitemap wie bereits vorher beschrieben als Orientierungshilfe fungiert, die alle wichtigen Orte einer Webseite beschreibt, sollte man auch darauf achten, dass wirklich nur die relevantesten Seiten beinhaltet werden. Viele Sitemaps werden wahllos zusammengestellt und sämtliche Unterseiten mitsamt veralteten und nicht erreichbaren Inhalten darin aufgenommen. Stattdessen sollte man hier wirklich filtern, welche Unterseiten denn überhaupt relevant für den Nutzer sind. Hier sollen ein paar Fragen dem Verständnis dienen:

• Ist eine Loginseite für eine Suchmaschine relevant? (das kann natürlich unter Umständen der Fall sein)
• Interessiert den Nutzer eine Seite mit veralteten Inhalten, die nicht mehr gepflegt werden?
• Würdet ihr Produktleichen (Artikel, die nicht mehr im Sortiment sind) empfehlen?

All das sollte man beim Befüllen der Sitemap beachten. Seht die Sitemap als Empfehlungskatalog, in der ihr eure relevantesten Unterseiten präsentiert. In einem Shop sollten das folgende Seiten sein:

• Startseite
• Kategorieseiten (auch gern bis zur untersten Ebene)
• Topseller
• Landingpages/Infoseiten
• Blogseite & interessante Beiträge
• …

Natürlich kann man diese Liste nicht verallgemeinern. Für jede Webseite sollte deshalb eingeschätzt werden, welche Inhalte einen Mehrwert für Suchmaschinen und Nutzer darstellen und welche nicht. Insgesamt darf die Sitemap nicht mehr als 50.000 Einträge haben und nicht größer als 50 MB sein. Allerdings empfiehlt es sich, diese Größen nicht bis zum letzten Bit auszuschöpfen, da man nicht sicher sein kann, ob die Webcrawler tatsächlich mit dieser Datenmenge zurechtkommen, sehr leicht Inkonsistenzen entstehen können (beim Entfernen von Unterseiten entstehen Links auf 404 Seiten in der Sitemap) und bei so vielen Einträgen eine Relevanz-Gewichtung weniger Wert hat.
Auch empfiehlt sich eine Sitemap, um den Crawlern die Seiten zugänglich zu machen, die von der restlichen Seite nur spärlich verlinkt, also recht schwer auffindbar sind. Dies ist oft der Fall bei Landingpages. Gerade wenn diese schnell in den Index sollen, bietet sich eine Verlinkung via Sitemap an.
Ein letzter Anwendungsfall sind dynamische URLs, die beispielsweise durch Such- und Filterfunktionen entstehen. Normalerweise finden Suchmaschinen diese URLs nicht, weil sie nicht verlinkt sind. Wenn man aber diese Seiten in den Index bringt, schafft man zusätzliche Rankingmöglichkeiten und damit auch mehr Reichweite. Bsp.: Ein Bekleidungsshop rankt mit seinen Kategorieseiten bereits für die Keywords „[marke] shirt“ und „t shirt [marke]“. Auf der Webseite gibt es die Möglichkeit Filter zu setzen, beispielsweise für die Farbe. Wählen wir im Filter die Variante „schwarz“ und es ändert sich dadurch auch die URL z.B. durch den Parameter &colour=black so kann man diese neue URL in den Index bringen, um in Zukunft auch effektiv für die Longtail-Keywords „[marke] shirt schwarz“ und „t shirt [marke] schwarz“ zu ranken.
Seiten wie Impressum, Kontakt usw. müssen letztendlich nicht in der Sitemap landen, da sie zum einen die Kapazitäten der Crawler blockieren und zum anderen (in den meisten Fällen) überhaupt nicht ranken sollen. Oft sind sie auch über die robots.txt blockiert (noindex, nofollow), dann sollte sie auf keinen Fall in der Sitemap aufgeführt sein. Eine Sitemap sollte widerspruchsfrei sein!

Technische Umsetzung

Hat man sich einen Plan gemacht, welche Inhalte die Sitemap haben und wo sie liegen soll, so geht es darum, das Ganze umzusetzen. Im Netz gibt es viele verschiedene Online Tool Anbieter, bei denen man die eigene Domain übergibt und der Crawler des Tools dann alle Unterseiten durchsucht und in einer XML Datei ausgibt. Der Vorteil dieser Tools liegt klar auf der Hand: es geht schnell und einfach. Nachteil: Insofern überhaupt Prioritäten, Änderungszeiträume und weitere Daten im Endprodukt angegeben werden, werden diese Aufgrund einfacher Algorithmen berechnet. Änderungshäufigkeit gibt man meist global für alle Unterseiten an, die Priorität innerhalb der Webseite wird dann je nach „Linktiefe“ (wie viele Links musste der Crawler klicken, damit er zu der URL kam) berechnet. Eine weitere Einschränkung liegt in der Anzahl der Seiten. Einige Tools begrenzen ihren Crawler auf 500 Seiten oder ähnliche Größen. Für kleine Webseiten sollte das kein Manko darstellen, bei einigen Shops kann diese Schranke allerdings schon kritisch werden.
Nichtsdestotrotz bieten die Sitemaps, die diese Tools ausspucken, für kleine Webseiten eine gute Grundlage für verfeinerte Sitemaps. Man kann sich die Listen dann in Ruhe vornehmen, Prioritäten und Änderungshäufigkeiten anpassen, weitere URLs aufnehmen oder URLs rausschmeißen. Hat man sich für eine finale Variante entschieden, lädt man die Datei via FTP Client in das Rootverzeichnis der Domain und fertig.
Natürlich haben auch viele CMS Systeme einen bereits implementierten Sitemap Generator oder die Möglichkeit per Plugin nachzurüsten. Shopware erstellt z.B. die Sitemap völlig automatisch, speichert sie allerdings unter der URL http://www.domain.de/sitemap-xml. Damit diese Sitemap von den Suchmaschinen gefunden werden kann, muss ein entsprechender Eintrag in der robots.txt gesetzt werden (Sitemap: http://www.domain.de/sitemap-xml), andernfalls wird sie wohl nur schwer gefunden. Auch bei WordPress gibt es mittlerweile zahlreiche Plugins, welche das Erstellen von Sitemaps ganz einfach machen. Hier sei z.B. „Google XML Sitemaps“ genannt, das wohl populärste Plugin. Für Joomla finden sich auch entsprechende Plugins, die das Erstellen zum Kinderspiel machen. Auch Magento bietet eine automatisierte Variante der Erstellung an. Nach dem entsprechenden Setup läuft die Erstellung so gut wie von allein. Nähere Infos findet man hier.
Der Screaming Frog bietet ebenfalls die Möglichkeit eine gecrawlte Website als Sitemap auszugeben. Nun bleibt noch der absolute Perfektionist, der die Sitemap komplett in Handarbeit erstellt. Bitte hier darauf achten, dass die Sitemap UTF-8 codiert ist, sonst kann sie nicht gelesen werden. Deshalb müssen nicht codierte Zeichen „escaped“ werden (z.B. „&“ durch „&“ oder „>“ durch „>“). Weitere Infos zu den genauen technischen Anforderungen gibt es direkt auf http://www.sitemaps.org/protocol.html. Vorteil dieser Variante: Volle Kontrolle über die Einträge. Nachteil: Bis die Sitemap fertiggestellt und online ist, hat Google wahrscheinlich schon den letzten Winkel der Webseite von allein gefunden. 😉
In jedem Falle sollte die Sitemap nach der Erstellung an Google in der Search Console übergeben werden.

Pflege und Updates

Aktualisierung und erneute Übermittlung

Wenn man einmal die Sitemap aufgesetzt hat, stellt sich natürlich die Frage, wie oft der Inhalt aktualisiert werden sollte. Schließlich ändert sich z.B. der Inhalt einer Blogseite, wenn ein neuer Kommentar hinzukommt, neue Unterseiten kommen hinzu und andere fallen weg. Da im < lastmod > – Tag das letzte Änderungsdatum angegeben wird, müsste dieses ja dann auch aktualisiert werden. Wie man die Sitemap am besten aktualisiert, kommt darauf an, wie man sie erstellt hat. Einige Content Management Systeme updaten die Sitemap selbstständig, bei händischer Erstellung muss man natürlich auch bei der Pflege selbst Hand anlegen.
Um eine aktualisierte Sitemap an Google zu übergeben, ist es nicht nötig, dies jedes Mal per Hand in der Search Console zu tun. Viel einfacher ist es, wenn man über den folgenden Link Google „anpingt“:
www.google.com/webmasters/tools/ping?sitemap=http://www.webseite.de/sitemap.xml
Sobald diese URL aufgerufen wird, erhält Google die neue Sitemap. Natürlich kann man den Aufruf der Adresse automatisieren. Damit lässt sich also selbst ein Algorithmus entwickeln, welcher Google genau dann die neue Sitemap übermittelt, wenn sich etwas auf der Webseite geändert hat. Alternativ kann man natürlich auch festlegen, dass die neue Sitemap alle 3 Tage oder wöchentlich übermittelt wird. Als Signal für eine erfolgreiche Übermittlung gibt Google beim Aufruf der obigen URL einen HTTP Antwort-Code von 200 zurück.

Teilt man Google nicht mit, dass es eine Änderung in der Sitemap gab, so wird es der Suchmaschine spätestens dann auffallen, wenn sie sich das Dokument das nächste Mal abholt. Im Produktforum von Google gibt es Experimente, die ergeben haben, dass Google spätestens nach 5 Tagen schaut, ob es Neuerungen zu vermelden gibt.
Zwar gibt Google keine Zahlen an, wie oft man ein Sitemap-Update melden sollte, jedoch sollte man die Kapazitäten auch nicht überstrapazieren. Wer weiß, ob nicht das Webspam-Team aufmerksam wird, wenn zu viele Aktualisierungen verbucht werden. 😉
Wie man aus den letzten Abschnitten ableiten kann, ist es also wichtiger, sich darauf zu konzentrieren, die Sitemap selbst zu aktualisieren (entweder automatisiert oder händisch), als sich mit der Übermittlung an Google zu beschäftigen. Eine Ausnahme bilden an dieser Stelle News-Sitemaps. Diese sollten umgehend aktualisiert werden, sobald ein neuer Eintrag im eigenen Newsportal geschehen ist. Google kommt dann mit dem News-Crawler auf der Seite vorbei und indexiert die Inhalte. Google weist darauf hin, dass in dieser Art Sitemap lediglich Artikel gelistet sind, die nicht älter als 2 Tage sind. Artikel die älter sind, sollten bereits im Index sein und bleiben dort auch noch 30 weitere Tage.

Suche nach defekten Links

Weiterhin sollte man die Sitemap regelmäßig nach Fehlern überprüfen. Gerade bei großen Webseiten schleichen sich oft URLs ein, die nicht mehr erreichbar sind. Um diese Seiten zu identifizieren empfiehlt sich wie so oft das kostenlose Screaming Frog SEO Spider Tool. Wenn man die Sitemap in ein Textformat überträgt (z.B. via Google Docs mit dem Befehl =ImportXML(„[URL der Sitemap]“;“//url“), kann man alle URLs in einer Textdatei speichern, dann in das Tool importieren und auf den Antwortcode überprüfen.
Hat man defekte Links (Antwortcode 404) entdeckt, so sollten diese umgehend aus der Sitemap entfernt oder ggf. durch eine aktuellere URL ersetzt werden. Auch beim Entdecken von URLs welche mit „301“ antworten, kann man den alten Link durch das Weiterleitungsziel ersetzen. So erspart man dem Crawler Ressourcen und er wird in Zukunft vielleicht viel lieber vorbeikommen. 😉

Besonderheiten

Mehrere Sitemaps

Es gibt Situationen, in denen dazu geraten wird, nicht nur eine, sondern mehrere Sitemaps anzulegen und die Inhalte aufzuteilen. Beispielsweise, wenn eine Webseite sehr umfangreich ist und auch aus sehr großen Teilbereichen besteht. Dann kann man für jeden Teilbereich eine Sitemap anlegen. Um das technisch einwandfrei umzusetzen, sollte man ein sogenanntes Sitemap Index File anlegen.

Die Struktur dieser Datei ähnelt sehr der einer normalen Sitemap, denn letztendlich ist die Datei auch nur ein Verzeichnis, welches die Speicherorte der einzelnen Sitemaps angibt. Auch hier werden Tags wie < loc > und < lastmod > verwendet. Zusätzlich muss die Datei mit einem < sitemapindex > Tag eröffnet und jeder Eintrag mittels < sitemap > gekennzeichnet werden. Um Google auf die multiple Sitemap-Situation aufmerksam zu machen, reicht man dann dieses File anstatt der üblichen Sitemap ein – mehr muss man gar nicht machen.
Auch hier gilt wieder: eine Sitemap-Indexdatei darf nicht mehr als 50.000 Sitemaps enthalten (wer diese Zahl knackt, hat irgendwas falsch verstanden) und auch nicht größer als 10 MB sein. Wichtig: Die Indexdatei darf nur Sitemaps enthalten, die sich auf genau dieser Webseite befinden.
Ein weiterer Vorteil von mehreren Sitemaps – in der Search Console lässt sich so besser nachvollziehen, welche Bereiche der Website indexiert sind und welche nicht.

XML-Sitemaps für mehrere Webseiten

Wenn man viele kleine Webseiten hat, so kann es durchaus von Vorteil sein, eine Meta-Sitemap anzulegen. Diese Datei beinhaltet webseitenübergreifend alle relevanten URLs. Um dies umsetzen zu können, muss jede einzelne Seite in den Search Console bestätigt worden sein. Der letzte Schritt ist dann natürlich wieder das Einreichen der Meta-Sitemap über den herkömmlichen Weg in den Webmastertools.
Problem dieser Methodik ist natürlich, dass man relativ schnell den Überblick verlieren kann. Entscheidet man sich also für eine solche Variante sollte technisch sichergestellt sein, dass keine Inkonsistenzen auftauchen, die ggf. der Webseite schaden könnten.

Spezielle Sitemaps

Google bietet seinen Webmastern an, verschiedene Sitemaps für verschiedene Inhalte anzulegen. So besteht die Möglichkeit, spezielle Sitemaps für mobile Inhalte, Quellcodes, News, Bilder oder Videos anzulegen. Diese Formate sollen hier nicht alle im Detail erklärt werden. Die wichtigsten Infos dazu gibt es direkt in der Search Console-Hilfe.

Fazit

Eine Sitemap ist kein Instrument, um Rankings direkt beeinflussen oder manipulieren zu können. Dennoch ergeben sich durch die Funktionen Vorteile in den Suchmaschinen. Wie zu Anfang schon erwähnt, lassen sich auf diese Weise schnell Landingpages oder neue Produkte in den Index bringen. Jedoch ist das nicht gleichbedeutend damit, dass eine Seite auch besser rankt.
Man erleichtert also den Suchmaschinen den Crawlingprozess und geht (relativ) sicher, das auch schnell alle wichtigen Seiten im Index landen. Außerdem kann man einzelnen Seiten eine Wichtigkeit zumessen und damit indirekt den Indizierungsprozess von Suchmaschinen beeinflussen.
Jede Website sollte also eine Sitemap haben. Zum einen ist der Erstellungs- und Pflegeaufwand vertretbar, zum anderen profitiert man von den Vorteilen einer guten Lesbarkeit der Webseite.