Das sichtbare und das unsichtbare Netz
Schätzungen zufolge gibt es ca. 100-200 Milliarden frei zugängliche Internetseiten. Dieser Teil des Internets ist das sichtbare Netz, das sogenannte "Visible Web". Die größte Suchmaschine - Google - hat davon ca. 30-100 Milliarden Internetseiten indexiert (gespeichert). Theoretisch könnte eine Suchmaschine alle Seiten aus diesem "Visible Web" indexieren, es gibt jedoch verschiedene Barrieren für die Suchmaschinen (dazu im nächsten Abschnitt mehr).
Darüber hinaus gibt es Seiten, die für Suchmaschinen von vornherein unsichtbar sind und die von Suchmaschinen nicht indexiert werden können. Diesen Teil des Internets nennt man daher auch das "Invisible Web".
Schätzungen über die Größe des "Invisible Web" differieren sehr stark. Die Datenmenge im "Invisible Web" soll laut einer Studie der Firma Brightplanet aus dem Jahr 2001 etwa 500-mal größer sein (http://www.brightplanet.com/resources/details/deepweb.html) als die des "Visible Web". Noch heute ist deshalb häufig zu lesen, dass das "Invisible Web" 500 mal größer sei als das "Visible Web".
Welche Barrieren gibt es für die Suchmaschinen?
Auch mit der optimalen Suchstrategie lassen sich niemals alle relevanten Internetseiten auffinden, denn es gibt einige Grenzen in den Suchmaschinen. Keine Suchmaschine kennt alle Seiten, die es im Internet gibt. Alles, was eine Suchmaschine jedoch nicht kennt, kann auch nicht von ihr indexiert werden. Alles, was nicht indexiert wurde, kann über diese Suchmaschine auch nicht gefunden werden. Viele Informationen bleiben der Suchmaschine somit verborgen. Andere Internetseiten, die zwar indexiert wurden, werden von der Suchmaschine aus unterschiedlichen Gründen nicht angezeigt. Auch diese Internetseiten bleiben dem Nutzer verborgen.
Wie finde ich Suchdienste für das Invisible Web?
Spezialsuchmaschinen:
Es gibt im Internet Tausende spezialisierten Suchmaschinen, z.B. für wissenschaftliche Internetseiten, besonders aktuelle Internetseiten (Nachrichten aus Tageszeitungen) oder für spezielle Dateiformate (Grafiken, Filme oder Musik). Zwar sind Spezialsuchmaschinen kleiner als allgemeine Suchmaschinen, über sie lassen sich jedoch auch Inhalte finden, die den großen, allgemeinen Suchmaschinen verborgen bleiben. Da es sehr viele Spezialsuchmaschinen gibt und diese in den Weiten des Internets häufig schwer zu finden sind, gibt es Suchmaschinenverzeichnisse, in denen diese Spezialsuchmaschinen gesammelt, geordnet und teilweise auch bewertet werden.
Fachdatenbanken
Für die wissenschaftliche Recherche sind Fachdatenbanken ein unverzichtbares Suchinstrument. Allgemeine oder spezialisierten Suchmaschinen allein reichen für eine fundierte Recherche nach Informationen im Internet nicht aus. Fachdatenbanken enthalten riesige Datenmengen. Diese gehören in aller Regel zum "Invisible Web", d.h. die Inhalte bleiben allgemeinen Suchmaschinen, aber auch vielen Spezialsuchmaschinen verborgen. Auch wenn viele Fachdatenbanken inzwischen frei im Internet zur Verfügung stehen, gibt es bei sehr vielen Fachdatenbanken eine Zugriffsbeschränkung. Hochschulbibliotheken bieten jedoch ihren Nutzern häufig den Zugriff auf viele dieser Fachdatenbanken, z.B. über das Rechercheportal. Auch Suchmaschinen, Suchmaschinenverzeichnisse und Internetverzeichnisse eignen sich für die Suche nach Fachdatenbanken.