A Web legmélyén

Néhány évvel ezelőtt azt hallhattuk, hogy a World Wide Web mennyire széleskörűbb, alaposabb, és hatalmasabb, mint ahogy azt megjósolták. Ez azonban nem teljesen van így. Mert hol is vannak azok a rejtett zsebecskék, a sok lebilincselő információval? Ha valóban vannak, akkor miért nem találja meg azokat például a Yahoo?

„A Web hatalmas, és lassan csillagászati nagyságokat ölt” –mondta Laura Ramos, a Giga Information Group elemzője.

„De a valóságban kik azok az emberek, amelyek képesek eldönteni, hogy az általuk learatni kívánt információk és anyagok biztosan ott vannak-e, és ha igen, megtalálják-e a sok szemét között?” – kérdezte az elemzőnő.

Milliárdnyi dokumentum

Szakértői becslések szerint a Web felszíne közel két milliárd dokumentumot tartalmaz, amíg a „mélyebb” része közel 550-et. Máshonnan nézve az előbb említett felszín 19 TB-nyi (terabyte) információt, míg az egész Web 7.500 TB mennyiségű adatot tartalmaz.

Közel 200 ezer „elsüllyesztett” website található, ellenben feleennyi sem jelenik meg a téma-specifikált adatbázisokban. Annak ellenére, hogy 95 százalékban ezek a site-ok nem titkosak, bárki hozzájuk férhet, díjfizetés nélkül.

Akkor mégis miért nem található?

Számtalan szörföző azért nem képes megtalálni ezeket a site-okat, mert az oldalak általában nincsenek összeköttetésben egymással, és az összes többi oldallal.

A full-text keresőmotorok kétféle módon listáznak: az oldalakat fejlesztőik címezhetik a keresőmotorhoz, kérve az indexelést, vagy a motorok úgynevezett spidereket (weblapokat automatikusan bejáró indexelő eszközök) alkalmazhatnak, ám ezek csak akkor működnek jól, ha létező site-okkal vannak összeköttetésben a felfedezésre várók.

Azonban számtalan olyan információ, mely nemcsak a kutatók és a tudósok számára lehet értékes, hanem egyszerűen a kíváncsiskodók számára is, hatalmas mennyiségben a Web mélyén lapul. Ám a csatolások hiányában csak a szerencsének köszönhető, ha rábukkan egy keresőmotor.

Rengeteg anyag és információ tárolódik a kormányok, az egyetemek és a vállalatok által létrehozott hatalmas adatbázisban. Azonban ezek nem hozzáférhetőek egy hagyományos keresőmotor révén, amely inkább a statikus oldalakat, mintsem a dinamikusakat ismeri fel. Így ezek az adatok direkt lekérdezésekkel lelhetőek csak fel.

Elméletileg, létezik egy fő adatbázis, amelyben az egész Web indexelve van, azonban a legnagyobb és a legjobb keresőmotorok is csupán a harmadát képesek ennek a nyilvánosság által is elérhető dokumentumok formájában megmutatni.

A felhasználó alkalmazkodjon a motorhoz?

Több mint 3 ezer keresőmotor található a Weben, és van köztük olyan is, amelyik képes mélyre ásni – ilyen például a Big Hub (címjegyzékében 3.000, adatbázisaiban 300 kategória).

A Beaucoup.com, amely egyszerűen csak „ultimate source of free information”-nek nevezi magát, több mint 2.500 adatbázissal és címjegyzékkel áll összeköttetésben.

A Document Delivery Service előhalássza a nyilvánosság számára is elérhető dokumentumokat, beleértve a kormányzati, szabadalmi és hadászati anyagokat is. A WebSearch Alliance címjegyzék pedig segíti megkeresni a felhasználóknak a megfelelő eszközöket a kereséshez.

Laura Ramos, a Giga Information Group elemzője szerint olyan érdekes ponthoz érkeztünk, amely új fejezetet nyithat a keresések terén…