Was sind Crawler (Spider)?
Als Crawler (auch Spider) wird ein Computerprogramm bezeichnet, das sich – ähnlich der Bewegung einer Spinne – durch das Internet bewegt und Informationen sammelt. Dieser Vorgang wird als Crawling bezeichnet. Ein prominentes Beispiel ist der Google-Crawler.