Website und Technik
robots.txt
Kurz und einfach erklärt
Die robots.txt ist eine kleine Datei auf Ihrer Website.
Sie sagt Suchmaschinen, welche Teile der Seite sie lesen sollen und welche nicht. Sie kann auch auf die Liste Ihrer Seiten zeigen.
Eine Seite kann trotzdem in den Treffern auftauchen. Die Datei verhindert das nicht sicher.
Definition
Die robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die Crawlern sagt, welche Bereiche sie abrufen sollen und welche nicht. Sie kann außerdem auf die Sitemap verweisen. Eine Sperre in der robots.txt verhindert nicht sicher, dass eine Adresse in Suchergebnissen erscheint.