Monet kouluttamaton käyttäjät ovat naiivi odottaa, että he voivat paikantaa mitään World Wide Web käyttämällä Google tai Yahoo tai Ask.com. Ei yhtä tehokas kuin nämä hakukoneet ovat, ne eivät indeksoi kaiken World Wide Web. Itse asiassa hakukoneiden indeksi alle 10% koko web! Että loput 90% kutsutaan "Invisible Web", tai toisin sanoen, "Peitetty Web" tai "Deep Web". Tämä on massiivinen sisältö, joka on julkisesti saatavilla, mutta piilossa säännöllisesti hakukoneita.
Todellakin, tämä on vaikea käsite ymmärtää - että miljardeja Web-sivuja ei löydy Google. Mutta se on totta, miljardit sivut eivät kuulu kyvyt hakukoneen luetteloinnin. Robotti "hämähäkit", joka skannaa ja luetteloida World Wide Web ovat rajalliset ... he eivät voi nähdä eikä indeksiin kaiken.
Paremmin visualisoida tätä käsitettä, Aloitetaan joitakin koon arvioita Google.com, Yahoo.com, Cyberatlas, ja MIT. Nämä tilastot virtaa Kevät 2011:
-
Google.com indeksit 26500000000 julkisilla www-sivuilla.
-
92 + miljardia staattiset sivut ovat julkisesti saatavilla.
Nämä sivut voidaan helposti löytyy Googlen ja muut hakukoneet.
(Esim. www.honda.com, www.australia.gov.au)
-
9500000000 staattisia sivuja ovat piilossa yleisöltä. Koska yksityiset intranet-sisältöä, nämä ovat yritysten sivut, jotka ovat avoinna vain työntekijöille tiettyjä yrityksiä.
(Esim. employees.honda.com, secure.australia.gov.au)
-
300 + miljardia tietokantaan perustuva sivut ovat täysin näkymättömiä Google. Nämä näkymättömät sivut eivät ole säännöllisiä Web-sivut ja voin tehdä.
Sen sijaan nämä ovat dynaaminen tietokanta kertoo, että olemassa vain kutsuttaessa suurista tietokannoista.
(Esim. mukautetun online auton haku Shelly, Australian hallitus keskustelua aboriginaalien verotus)
Google, katsottiin parhaaksi etsiä tietokannasta tänään, voi esiteasiakkaat murto tämän hirviömäisen sisältöä. Vaikka sähköinen hämähäkkejä kuvastoon miljoonia verkkosivujen viikoittain Google nykyinen indeksoi vain 23500000000 ulos 300 + miljardia sivua siellä ... alle 8% kaikista käytettävissä internetin sisältöä.
Joten jos Google vain luetteloita 8% World Wide Web, ja muut hakukoneet luetteloomme vielä vähemmän, niin missä on jäljellä 92% verkkosisältöjen piilotettu?
Siellä "Invisible Web" alkaa ...