Tesoros en la red: Caracterización de la web superficial y la web profunda

En esta nueva entrada trataremos sobre la caracterización de la web superficial y la web profunda.

Para comprender estos conceptos se suele comparar o representar como un iceberg. La parte que sobresale o que está en la superficie del agua es la web visible o superficial y se representa con un tamaño pequeño (son los sitios o páginas que se encuentra con facilidad por a través de los buscadores normales). En cambio, la base del iceberg, lo que no se ve, lo que está por debajo del agua es la web profunda o invisible y se representa con un gran tamaño (es difícil de acceder porque no se encuentra con los buscadores normales y reúne ciertas características que veremos más adelante en esta misma entrada).

A. Web superficial o visible: abarca todos aquellos sitios cuya información puede ser indexada por los robots de los buscadores convencionales y recuperada casi en su totalidad mediante una consulta en sus formularios de búsqueda.

Características principales de los sitios de la Web visible:

Su información no está contenida en bases de datos.
Es de libre acceso.
No se requiere la realización de un proceso de registro para acceder a la información.
Mayoritariamente está formada por páginas Web estáticas, es decir, páginas o archivos con una URL fija y accesibles desde otro enlace.

B. Web profunda o invisible: se denomina a todos aquellos sitios que los buscadores no pueden encontrar porque son sitios que no son editados en HTML y generalmente es información almacenada y accesible mediante bases de datos. Parte de la información es "invisible" a los robots de los buscadores convencionales, ya que los resultados se generan en la contestación a una pregunta directa mediante páginas dinámicas (ASP, PHP, etc.) es decir páginas que no tienen una URL fija y que se construyen en el mismo instante (temporales) desapareciendo una vez cerrada la consulta.

Características:

a. El contenido de bases de datos accesibles a través de web se trata de información estructurada en tablas de datos creados y manejadas con programas como: Access, Oracle, SQL Server, MySql. Esta información sólo puede ser presentada si se la requiere por medio de una consulta, un query. Para poder realizarlo se debe realizar un ingreso, login, a un área especial del sitio, a veces gratuito, a veces pago. Se ha estimado que el contenido del web de databases es 500 veces mayor que el del web estático. Se trata de bases de datos de empresas, organismos, instituciones, y pueden tener la forma de bases de datos de apoyo a la gestión, de catálogos para clientes e incluso de bases de datos bibliográficas especializadas en temáticas particulares: médicas, negocios, espaciales, y incluso bibliotecas virtuales de universidades y centros de estudios. Se dice que esta es información invisible, oculta o profunda porque los buscadores no pueden entrar en ellas para extraer los datos.

b. Forma parte también del web profundo el conjunto de los archivos llamados No textuales, es decir archivos multimedia, gráficos, software, y documentos en Portable Document Format (PDF). Algunos de estos sí son accesibles a través de los buscadores, siempre y cuando tengan la metadata que permite localizarlos.

¿Qué hay en la web profunda?

Guías y listas de teléfonos, e-mail, y todo tipo de directorios.
Leyes, decretos, en general información legal, aunque alguna se puede encontrar en web estático.
Patentes.
Productos de venta a través de e-commerce.
Archivos multimedia y gráfico que no tengan la metadata de palabras claves que la identifique en forma clara.
Sitios de empresas.
Publicaciones digitales de libros y diarios.
Páginas amarillas o blancas (Yellow/White pages).
Bibliotecas.
Librerías.

Sherman y Price identifican cuatro tipos de contenidos invisibles en la Web:

La Web opaca (the opaque Web).
La Web privada (the private Web).
La Web propietaria (the proprietary Web).
La Web realmente invisible (the truly invisible Web).

1. La Web opaca: compuesta por archivos que, si bien podrían estar incluidos en los índices de los buscadores, no lo están por alguno de los siguientes motivos:

Extensión de la indexación: a veces, por economía, no todas las páginas de un sitio son indexadas en los buscadores.
Frecuencia de la indexación: los buscadores no poseen la capacidad de indexar todas las páginas existentes; a diario se agregan y modifican muchas y la indexación no se realiza al ritmo que permita incluirlas a todas.
Número máximo de resultados visibles: aunque los motores de búsqueda arrojan a veces un gran número de resultados, generalmente limitan el número de documentos que se muestran (entre 200 y 1000).
URL desconectadas: las generaciones más recientes de buscadores, presentan los documentos por relevancia basada en el número de veces que aparecen referenciados en otros. Si un documento no tiene un link a él, desde otro documento, será imposible que la página sea encontrada, pues no se encuentra indexada.

2. La Web privada: consiste en las páginas Web que podrían estar indexadas en los buscadores pero son excluidas deliberadamente por alguno de estos motivos:

Las páginas están protegidas por contraseñas.
Contienen un archivo “robots.txt” para evitar ser indexadas.
Contienen un campo “noindex” para evitar que el buscador pueda indexar la parte correspondiente al cuerpo de la página. Este segmento de la Web contiene, en general, documentos excluidos deliberadamente por su falta de utilidad. Ya que son los dueños de la información que contienen, los que deciden que no se encuentre disponible, por lo que difícilmente se podrán encontrar mecanismos legítimos para franquear esa barrera.

3. La Web propietaria: incluye aquellas páginas en las que es necesario registrarse para tener acceso al contenido, gratis o paga.

4. La Web realmente invisible: se compone de páginas que no pueden ser indexadas por limitaciones técnicas de los buscadores, programas ejecutables y archivos comprimidos, páginas generadas dinámicamente, es decir, que se generan a partir de datos que introduce el usuario, información almacenada en bases de datos relacionales, que no puede ser extraída a menos que se realice una petición específica.

En forma resumida les comparto el siguiente vídeo que realicé en la plataforma de Powtoon.

Ejemplos de páginas de la web profunda:

CompletPlanet: http://www.completeplanet.com/ trae la referencia a miles de sitios la mayor parte invisible a los motores de búsqueda.

The WWW Virtual Library: se considera el catálogo más antiguo en la web y fue iniciado por Tim Berners-Lee, el creador de la web http://vlib.org/.

Academia.edu: es una red social 2.0 para investigadores que cuenta con un directorio de más de 12.000 publicaciones científicas de todo el mundo, facilitando la tarea de los que buscan artículos para sus trabajos. Lanzado en septiembre de 2008, se convirtió en uno de los mayores sitios de redes sociales para universitarios en el año 2010. Actualmente tiene 830.000 visitantes mensuales y cuenta con más de 191.000 académicos de todo el mundo https://www.academia.edu/.

Reefseek: es un motor de búsqueda en Internet para estudiantes e investigadores que tiene como objetivo hacer que la información académica sea de fácil acceso para todos. Busca en más de un billón de documentos, incluyendo páginas web, libros, enciclopedias, revistas y periódicos, intentando eliminar cualquier resultado no relativo a ciencia e investigación http://www.refseek.com/.

Jurn: es otro motor de búsqueda que permite buscar en millones de artículos libres académicos, capítulos y tesis de múltiples disciplinas (Artes, Historia, Humanidades, Negocios, Economía, Ecología, Ciencia y más) http://www.jurn.org.

Microsoft Academic Search: el buscador académico de Microsoft http://academic.research.microsoft.com/

TechXtra: centra su información, en ingeniería, matemáticas e informática. Es posible navegar a través de una extensa lista de revistas gratuitas especializadas de ingeniería, documentos técnicos, descargas y podcasts http://techxtra.tradepub.com/.

Ciencia: es la versión en español del portal Science.gov (http://www.science.gov/) para la búsqueda de información científica e investigación del gobierno de los Estados Unidos de América. Puede indexar más de 60 bases de datos y 200 millones de páginas con información científica para mostrar los resultados por subtemas, autores o fechas. También ofrece la posibilidad de búsqueda avanzada y búsqueda de imágenes http://ciencia.science.gov/.