Wir hören zu. Und haben Ideen.
Webdesign. Print. Fotografie.
Reinhard Mohr deckt bei uns seit Jahren das gesamte Spektrum ab: Von digital gedruckten Visitenkarten bis zur funktionalen Homepage – super!
Stephan Rupp, enUMtec GmbH, München
24.02.2018

Roboter in der SEO? Was bedeutet robots.txt?


Kategorie: SEO-Tipps • Erstellt von: Reinhard

Wird die SEO roboterisiert? Ganz gewiss: Nein! Aber für Suchmaschinenoptimiereres gibt es zwei Punkte, bei denen Roboter eine Rolle spielen.

Bild eines Roboters als SEO-Beispiel für die Datei robots.txt
Roboter in der SEO? Die zähmen Sie ganz einfach mit robots.txt …

„Die ROBOTER beherrschen die Suchmaschinenoptimierung! HILFE!“

Nein, so wirklich angebracht ist dieser Hilferuf nicht. Nicht das ganze internet wird von (Ro)Bots beherrscht. Und auch der Bereich der Suchmaschinenoptimerung wird nicht von Maschinen beherrscht, sondern von Menschen „gezähmt“.

Eigentlich gibt es in der SEO nur zwei Stellen, an denen Roboter eine Rolle spielen: Zum einen ist der Google-Crawler, der von Website zu Website springt, um die Seiten zu indexieren, ein Roboter (mit dem netten Namen „Googlebot“). Aber dieser Roboter ist natürlich nur ein kleines Stückchen Software, das Informationen ausliest, um sie dann in der riesigen Google-Datenbank zu speichern.

Wie Sie den Googlebot zähmen

Und zum anderen ist der Googlebot zwar wirklich Tag und Nacht im Einsatz. Aber wenn er – früher oder später fast zwangsläufig – auf Ihrer Website vorbeikommt, können Sie ihn zähmen. Das geeignete Werkzeug dazu ist eine kleine Textdatei namens „robots.txt“. In die schreiben Sie einfach rein, welche Seiten der Googlebot besuchen darf – und welche nicht! Und daran hält er sich auch.

Einziger Nachteil: Sie müssen eine Sprache verwenden, die der Googlebot auch versteht. Zum Glück ist die sehr, sehr einfach. So sieht etwa die Datei robots.txt für meine SEO-Website aus, die Sie gerade besuchen:

User-agent: *

Sitemap: https://www.reinhardmohr.de/sitemap.xml

Disallow: /assets/
Disallow: /doc/
Disallow: /install/
Disallow: /lib/
Disallow: /modules/
Disallow: /module_custom/
Disallow: /plugins/
Disallow: /scripts/
Disallow: /tmp/

Allow: /assets/sitemaps/
Allow: /tmp/cache/

Allow: /modules/Showtime2/

Damit sagen Sie dem Googlebot z.B., dass es völlig unnötig ist, im Ordner „lib“ vorbeizuschauen (weil dort ohnehin nur die Programmdateien für mein Content Management System drin liegen). Sehr praktisch!

Wozu nutzt man eine robots.txt-Datei in der SEO?

In der Suchmaschinenoptimierung ist eine robots.txt-Datei sogar richtig wertvoll. Ein Beispiel aus der Praxis:

Ich habe auf meiner Website einen großen Hilfe-Bereich für die Nutzer meines Content Management Systems. Wenn der Googlebot dort vorbeikommt, schaut er sich all diese Hilfeseiten an – und wundert sich hinterher, was diese Seiten mit Suchmaschinenoptmierung zu tun haben? Dort geht‘s um Hilfe für die Online-Textverarbeitung oder um das Anlegen neuer Seiten im CMS. Für die SEO sind das eher uninteressante Dinge. Und so könnte der Googlebot – und später dann Google – auf die Idee kommen, dass es auf meiner Website gar nicht um die Suchmaschinenoptmierung geht. Fast zwangsläufig folgt dann ein Absturz in der Platzierung. Und das mag man als Suchmaschinenoptimierer gar nicht; weder hier in München noch anderswo …

Das Problem trat in der Tat für meine Website auf. Die Lösung: Unter anderem sperrte ich mit der robots.txt-Datei den Zugriff auf die von mir angebotenen Hilfeseiten. Der Googlebot schaut dann dort nicht mehr vorbei. Und das Schwergewicht meiner Website liegt wieder auf der SEO!

Weniger Seiten = mehr Suchmaschinenerfolg

Hier ist die „Erfolgskurve“ meiner immer weniger werdenden, von Google indexierten Seiten:

SEO-Beispiel: Weniger indexierte Seiten bei Google können eine bessere Platzierung bewirken.
Am 10.12.2017 waren noch 134 meiner Seiten bei Google indexiert – am 18.2.2018 hatte ich diese Zahl erfolgreich auf 59 gedrückt! Ein SEO-technischer Erfolg.

Optimal ist es natürlich, wenn im Index nur noch die gewünschten hauptsächlichen SEO- und anderen Geschäftsseiten bleiben. Bei mir wären das momentan 45 Webseiten – gegenüber noch 59 Seiten im Google-Index.

Die SEO hört nie auf …

Wie Sie sehen: Es bleibt immer noch etwas zu tun …
… aber irgendwann wird man dafür auch mit einer guten Google-Platzierung belohnt!

Wenn Sie mehr über die Suchmaschinenoptimierung erfahren wollen, schauen Sie doch mal auf meiner SEO-Spezialseite vorbei. Oder noch besser: Schauen Sie doch gleich mal bei meinem unwiderstehlichen SEO-Angebot vorbei – einfach hier klicken:

Zur Seite „Unser Angebot für Sie“


Zur SEO-Spezialseite