Crawler

Significado:

El concepto web Crawler proviene del inglés que significa tractor web, arador web o rastreador web, pero se refiere a un software que recorre un sitio web como lo haría un tractor en un campo de siembra o un rastreador para recoger información de las paginas web del sitio.

En término más simple un Crawler es un programa que rastrea las diferentes páginas de internet mediante un sistema automático y metódico.Su principal función es obtener información de las web's rastreadas. Un crawler, es un tipo de BOT, o agente del software. Comienza generalmente con una lista de URLs a visitar, llamadas semillas. Mientras que el crawler visita estas URLs, identifica todos los hipervínculos en la página y los agrega a la lista de URLs a la visita, llamada la frontera.

Ejemplo

Los crawlers se pueden usar para varias cosas, lo más común es que se usen para:

  • Crear el índice de una [article-1056.html máquina de búsqueda].
  • Analizar los enlaces de un sitio para buscar links rotos.
  • Recolectar información de un cierto tipo, como precios de productos para armar un catálogo.
img.png

Crawler aplicado al periodismo:

Para acceder de manera rápida a la información a través de un motor de búsqueda como google, se introduce una palabra y automáticamente nos entrega información relacionada con el término requerido, lo que facilita la labor del periodista para su investigación.

Fuentes:

http://vuxmi.com/web-crawler-que-son-y-como-funcionan/
http://tejedoresdelweb.com/w/%C2%BFQu%C3%A9_es_un_crawler_o_spider%3F

Unless otherwise stated, the content of this page is licensed under Creative Commons Attribution-ShareAlike 3.0 License