Die Indexierung - für die Suchmaschine ein wichtiger Schritt

Geht man davon aus, dass der Crawler die Seiten vollständig lesen konnte, werden die Inhalte in den Datenbanken der Suchmaschinen strukturiert, indiziert und abgespeichert. Google hat augenblicklich einen der größten Linux-Cluster weltweit in Betrieb (mehrere tausend Linuxrechner). Das Speichervolumen beträgt anscheinend über 80 Terabyte, das sind mehr als 80 Millionen Megabyte!