Crawler

Ein Crawler (engl. Kriecher), auch Robot, Bot, Searchbot oder Spider genannt, ist ein Computerprogramm, das im Auftrag einer Suchmaschine automatisch und wiederholt Inhalte von Websites analysiert, um Informationen zu sammeln, welche im Index gespeichert werden. Sie gelangen mithilfe von Webkatalogen und Links zu den Webseiten.

In der Logdatei des Internetproviders kann man sehen, wie häufig Crawler auf einer Website waren.

Eine ausgewertete Website wird in den Suchmaschinen-Index aufgenommen, regelmäßig von Crawlern besucht und ihr Inhalt wird erneut analysiert.