Deep Crawl

Die Fähigkeit der Suchmaschinen, alle Unterseiten, die eine Webseite enthält, selbständig zu spidern und damit zu indexieren, nennt man Deep Crawl. Übersetzen kann man Deep Crawl mit Tiefen-Indexierung. Nicht alle Suchmaschinen sind in der Lage, die Tiefen-Indexierung durchzuführen. Diese können nur die Webseiten erfassen, die angemeldet sind oder eine bestimmte Verzeichnistiefe haben. Die Inhalte der Webseiten werden durch verschiedene Verfahren vom Crawler gelesen. Der Crawler, der oberflächlich arbeitet, wird nur die neuen Seiten oder Teile dieser erfassen. Der Deep Crawl erfasst alle verfügbaren Informationen auf den einzelnen Ebenen. Das kann einige Zeit in Anspruch nehmen. In der Regel sind Wartezeiten bei der Arbeit von Crawler üblich. Das hat den Grund, Überbelastung von Webservern zu vermeiden.