Robots.txt

Robots.txt ist eine Datei im Rootverzeichnis einer Website, die definiert, welche Inhalte von Suchmaschinen-Spiders indexiert werden dürfen und welche nicht. Unterstützung bei der Erstellung dieser Datei bieten die Google Webmaster Tools.