SEO-Unterstützung dank CMS kinderleicht

Pflege von robots.txt und sitemap.xml mit einem Content Management System

Christiana Arnold
SEO CMS Sitemap
Mit der Erstellung und Pflege der robots.txt sowie sitemap.xml waren ursprünglich Webmaster einer Website betraut. Gab es Änderungen wurde i.d.R. der jeweilige technische Ansprechpartner mit Bitte um Aktualisierung kontaktiert. Mittlerweile ist das Hin und Her zwischen Redakteuren und Webmastern jedoch unnötig, da Content Management Systeme hierbei unterstützen.

Was sind robots.txt und sitemap.xml?

Die robots.txt gibt an, welche Seiten nicht in Suchmaschinen wie Google oder Bing indexiert werden sollen. Doch es können auch Crawler, die Websites möglicherweise nur auf der Suche nach E-Mail-Adressen durchstöbern, abgewiesen werden.

Seiten, die in der robots.txt aufgelistet werden sollten, da sie (noch) nicht für die Öffentlichkeit bestimmt sind, wären z.B.
  • unfertige Seiten
  • private Seiten wie Profile
  • passwortgeschützte Portale

In der robots.txt. sollte außerdem ein Hinweis auf die sitemap.xml gesetzt werden, der die Crawler zu weiteren Seiten, die indexiert werden sollen, schickt.

Mit der sitemap.xml kann ein Verzeichnis aller Seiten einer Website erstellt werden. Suchmaschinen können so eine Übersicht erhalten und die Strukturierung der Website erfassen. Metadaten und zusätzliche Informationen zu einer Seite können Suchmaschinen weitere hilfreiche Hinweise für die Indexierung geben. So werden nicht-textbasierte Inhaltstypen wie Bilder und Videos besser auffindbar. Ebenso werden Hinweise gegeben, wann die Seite erneut indexiert werden soll.

Die Sitemap ist interessant für
  • Websites mit vielen versteckten Unterseiten
  • regelmäßig aktualisierte und wechselnde Inhalte (wie auf Blogs, etc.)
  • neue, noch unbekannte Websites,
um schnell in den Index der Suchmaschinen aufgenommen zu werden.

Unterstützung durch ein Content Management System

Ein Content Management System kann bei der aufwändigen Erstellung und Pflege der Verzeichnisse helfen.
Dafür müssen lediglich Felder im CMS hinterlegt werden, die ein Redakteur bei der Erstellung von Inhalten einfach ausfüllen kann, wie es im Beispiel der Fall ist.
Neben oftmals standardisierten Angaben zu Keywords und zur Meta-Description können auch Informationen zum Autor, den robots, der Priorität der Seite sowie der Indexierungsfrequenz angegeben werden:
  1. Ein Autor kann beispielsweise bei der Suche über Google angezeigt werden. Blog-Einträge erhalten somit gleich ein Gesicht, sofern ein Google+-Profil hinterlegt ist.
  2. Im Feld "Indexierung für Suchmaschinen" wird zugewiesen, ob Crawler von der Seite ausgeschlossen werden. In diesem Fall ist die Seite für alle Crawler freigegeben.
  3. Die Priorität der Seite wird von 0.0 (unwichtig) bis 1.0 (sehr wichtig) bewertet. Nicht jede Seite sollte hierbei auf 1.0 stehen. Die Priorität gibt an, wie wichtig eine Seite im Verhältnis zu anderen Seiten der Website ist. Die Wertigkeit sollte also sinnvoll vergeben werden.
  4. Die Besuchfrequenz weist daraufhin, dass und wie häufig die Website geändert wird und neu indexiert werden sollte. Zwar haben die Suchmaschinen ein eigenes Indexierungsintervall, doch der Algorithmus kann sich durch solche Angaben anpassen.
  5. In dem Feld "Letzte Änderung" wird das Datum angegeben, an dem die URL zuletzt geändert wurde. Das Format des Zeitwertes ist optional.
Durch die vorgefertigten Felder werden die robots.txt und sitemap.xml automatisch nach Freigabe im CMS aktualisiert und müssen nicht separat geändert werden.

Tipp zur Indexierung

Wenn eine Seite explizit nicht indexiert werden soll, so kann sie bei Google dennoch gefunden werden. Es fehlt dann aber ein beschreibender Text.
Wer Wert auf "gutes Aussehen" legt oder eine Seite wirklich nicht im Index der Suchmaschine sehen möchte, sollte daher den noindex-Tag im HTML Code aufnehmen:

<meta name="robots" content="noindex">

Um Spam zu unterdrücken, sollten private Bereiche außerdem mit Passwort geschützt werden.