November 20th, 2008
SEO Tutorial: Eine Robots.txt selber machen
Die Robots.txt ist eine normale Textdatei, welche im Root-Verzeichnis der Webseite liegt. Eine Robots.txt bietet Betreibern von Internet-Seiten die Möglichkeit Einfluß auf die Indexierung von Suchmaschinen zu nehmen. Man kann wahlweise die Indexierung der eigenen Webseite verbieten, einschränken oder komplett erlauben. Hinsichtlich Suchmaschinenoptimierung ist es sinnvoll die Indexierung zuzulassen. Das ist soweit jedem bekannt.
Diese Liste zeigt die wichtigsten Befehle, die in einer Robots.txt möglich sind und was die einzelnen Befehle bewirken.
Jede Suchmaschine darf alle Seiten indexieren:
User-agent: *
Um duplicate Content zu vermeiden dürfen Suchmaschinen URLs (einzelne Seiten), die beispielsweise den Textinhalt “sID” und “sfkPage” nicht indexieren.
Disallow: /*sID*
Disallow: /*sfkPage*
In der letzten Zeile der Robots.txt kann der Pfad der Sitemap angegeben werden. Die Sitemap muss natürlich dort als XML-Datei gespeichert vorliegen.Genau so macht es nämlich Google und das kann ja nicht schaden. Robots.txt von Google.
Sitemap: http://www.fox-tutorials.de/sitemap.xml
Und so könnte ein komplette Robots.txt Datei, die sich jeder gerne kostenlos kopieren kann. Diese Robots.txt lässt alle Robots Ihre Seite indexieren, verbietet es das Impressum zu indexieren und gibt den Pfad der Sitemap für die Suchmaschinen an.
User-agent: *
Disallow: /impressum.html
Sitemap: http://www.domain.de/sitemap.xml
