Mit einer robots.txt (Robots Exclusion Protocol) können Sie festlegen welche Dokumente nicht von einem Suchmaschinen-Robot besucht werden sollen. Dies ist zum Beispiel sinnvoll für Programmdateien, Bilder, Logfiles, private oder andere Dateien, die Sie vor der Indexierung durch Suchmaschinen schützen wollen.
Weiterlesen: robots.txt