Crawler

El concepto web Crawler proviene del ingles que significa tractor web, arador web o rastreador web, pero se refiere a un software que recorre un sitio web como lo haría un tractor en un campo de siembra o un rastreador para recoger información de las paginas web del sitio.

En término más simple un Crawler es un programa que rastrea las diferentes páginas de internet mediante un sistema automático y metódico.Su principal función es obtener información de las web's rastreadas. Un crawler, es un tipo de BOT, o agente del software. Comienza generalmente con una lista de URLs a visitar, llamadas semillas. Mientras que el crawler visita estas URLs, identifica todos los hipervínculos en la página y los agrega a la lista de URLs a la visita, llamada la frontera.

  • Los crawlers se pueden usar para varias cosas, lo más común es que se usen para:
  • Crear el índice de una [article-1056.html máquina de búsqueda].
  • Analizar los enlaces de un sitio para buscar links rotos.
  • Recolectar información de un cierto tipo, como precios de productos para armar un catálogo.
  • etc.
img.png

Bibliografía:

http://vuxmi.com/web-crawler-que-son-y-como-funcionan/
http://tejedoresdelweb.com/w/%C2%BFQu%C3%A9_es_un_crawler_o_spider%3F

Si no se indica lo contrario, el contenido de esta página se ofrece bajo Creative Commons Attribution-ShareAlike 3.0 License