Araña

Una araña es un programa de software que viaja por la Web (de ahí el nombre de "araña"), localizando e indexando sitios web para motores de búsqueda. Todos los principales motores de búsqueda, como Google y Yahoo !, usan arañas para crear y actualizar sus índices. Estos programas navegan constantemente por la Web, viajando desde uno hiperenlace a otro.

Por ejemplo, cuando una araña visita la página de inicio de un sitio web, puede haber enlaces 30 en la página. La araña seguirá cada uno de los enlaces y agregará todas las páginas que encuentre al índice del motor de búsqueda. Por supuesto, las nuevas páginas que encuentra la araña también pueden tener enlaces, que la araña continúa siguiendo. Algunos de estos enlaces pueden apuntar a páginas dentro del mismo sitio web (enlaces internos), mientras que otros pueden conducir a sitios diferentes (enlaces externos). Los enlaces externos harán que la araña salte a nuevos sitios, indexando aún más páginas.

Debido a la naturaleza entrelazada de los enlaces a sitios web, las arañas a menudo regresan a sitios web que ya han sido indexados. Esto permite a los motores de búsqueda realizar un seguimiento de cuántas páginas externas enlazan con cada página. Por lo general, cuantos más enlaces entrantes tenga una página, mayor será su clasificación en los resultados del motor de búsqueda. Las arañas no solo encuentran páginas nuevas y realizan un seguimiento de los enlaces, sino que también realizan un seguimiento de los cambios en cada página, lo que ayuda a los índices de los motores de búsqueda a mantenerse actualizados.

Las arañas también se llaman robots y rastreadores, que pueden ser preferibles para aquellos que no son aficionados a los arácnidos. La palabra "araña" también se puede usar como verbo, como "Ese motor de búsqueda finalmente arañó mi sitio web la semana pasada".