Crawler

Diese Analyseprogramme von Suchmaschinen durchstreifen das Web und zeichnen Inhalte und Formatierungen von Webseiten auf. Die aufgezeichneten Daten übergeben sie dann dem Index der Suchmaschine. Crawler werden auch Spider, Robots oder kurz Bots genannt.