Der Crawler, der Robot, der Spider - er sammelt einfach alles:

Der Crawler oder auch Robot oder Spider und speziell bei Google "Googlebot" genannt, hat die Aufgabe die Webseite oder zumindest einen gewissen Teil der Webseite herunter zu laden (Page base download) und den gefunden Links auf der Webseite zu folgen, um daraufhin weitere Webseiten zu besuchen. Der Crawler "gräbt" sich also regelrecht durch das Internet und lädt "alle" Informationen welche er finden kann herunter.

Jedoch und genau hieran scheitern sehr viele Webseiten, der Crawler sieht die Webseiten mit gänzlich anderen Augen als der User. Um sich vorstellen zu können wie der Crawler eine Webseite sieht, empfiehlt es sich die Webseite (z.B. die eigene Webseite) mit einem rein textbasierten Browser wie zum Beispiel Lynx anzusehen.

Das Beispiel in der obigen Abbildung zeigt eine von einer Agentur gestalteten, auf die Bedürfnisse des Users hin optimierte Webseite. Sie ist multimedial, grafisch ansprechend gestaltet, enthält viel informativen Text, der dynamisch aus einem Content Management System heraus ständig aktualisiert wird. Die Navigation ist vielfältig und mittels php-Scripten interaktiv umgesetzt. Das heißt die Agentur hat sich voll am User orientiert und hier auch sicherlich sehr gute Arbeit geleistet.

Wenn man nun aber diese Webseite mit den "Augen einer Suchmaschine" betrachtet, indem man die Seite mit Lynx aufruft, findet man nichts als eine schwarze Fläche mit dem Text "detected Flash 6.0 Player".

Es findet sich kein Content, kein Link der weiterverfolgt werden kann - einfach nichts! Was ist hier geschehen? Ganz einfach: Wenn man sich die Webseite noch einmal genauer betrachtet zeigt sich, dass die Website mit Frames aufgebaut ist. Im index.html Frame (oben) befindet sich ein Flashbanner. Der Crawler besucht nun diese Domain, landet im index.html Frame und kann im dortigen Flashbanner keine für ihn lesbaren, verwertbaren Informationen finden. Weder Inhalt, noch Links auf andere Seiten dieser Domain. Die Folge davon war, dass diese gesamte Webseite nicht im Index in der Suchmaschine Google zu finden war - auch nicht auf Position 378.452. Die Webseite war im Index von Google ganz einfach nicht vorhanden.

Um eine Position in Google zu erreichen, muss der Crawler also überhaupt erst einmal die Möglichkeit haben den Inhalt der Webseite herunterladen zu können. Und hierbei ist einfach wichtig zu wissen, dass die Anforderungen von Usern an eine Webseite sich diametral von den Anforderungen des Crawlers an einer Webseite unterscheiden. Der Crawler sieht die Webseite einfach mit anderen Augen als der User! Probleme beim Download von Webseiten durch den Crawler einer Suchmaschine verursachen zum Beispiel (ohne Anspruch auf Vollständigkeit):

• Flash Seiten
• Frameseiten und html Fehler
• Dynamischer Content aus Datenbanken
• Links mit "?", "&", "%" oder anderen Sonderzeichen in der URL
• Links mit Sessions-ID's in der URL
• Links in Java-Script oder in Flash
• Formulare und Formularelemente als Navigation bzw. Links
• Imagemaps
• Mit Login geschützte Seiten
• Clientseitige Redirects