网络爬虫是一种相对简单的自动化程序或脚本，它有条不紊地扫描或"爬行"互联网页面，以创建其正在查找的数据的索引；这些程序通常只能使用一次，但也可以编程为长期使用。该程序有多种用途，也许最流行的是搜索引擎使用它为网络冲浪者提供相关网站。其他用户包括语言学家和市场研究人员，或任何试图以有组织的方式从互联网搜索信息的人。网络爬虫的替代名称包括网络蜘蛛、网络机器人、机器人、爬虫和自动索引器。爬虫程序可以在互联网上购买，也可以从许多销售计算机软件的公司购买，并且可以将程序下载到大多数计算机上。
常见用途
网络爬虫和其他类似技术使用算法、复杂的数学方程，这是在搜索中产生目标结果的关键。有多种用途对于网络爬虫来说，但本质上网络爬虫可以被任何想要在互联网上收集信息的人使用。搜索引擎经常使用网络爬虫来收集有关公共网页上可用内容的信息。他们的主要目的是收集数据，以便当互联网冲浪者在其网站上输入搜索词时，他们可以快速为冲浪者提供相关网站。语言学家可以使用网络爬虫进行文本分析；也就是说，他们可能会梳理互联网以确定当今常用的单词。市场研究人员可以使用网络爬虫来确定和评估给定市场的趋势。<图>
网络爬虫扫描互联网页面以创建数据索引。
网络爬虫是收集数据和跟上潮流的重要方法。 ，迅速扩展的互联网。每天都有大量的网页不断添加，信息也在不断变化。网络爬虫是搜索引擎和其他用户定期确保其数据库是最新的一种方式。网络爬虫还有许多非法用途，例如侵入服务器以获取超出免费提供的更多信息。
工作原理
网络爬虫可以针对特定的一次性进行操作当搜索引擎的网络爬虫访问网页时，它会"读取"可见文本、超链接和其他内容。网站中使用的各种标签的内容，例如关键字丰富的元标签。使用从爬虫收集的信息，搜索引擎将确定该网站的内容并为该信息建立索引。然后，该网站将包含在搜索引擎的数据库及其页面排名过程中。
网络爬虫可能仅运行一次，例如针对特定的一次性项目。如果其目的是长期的，就像搜索引擎的情况一样，网络爬虫可以被编程为定期梳理互联网，以确定是否有任何重大变化。如果站点遇到流量大或技术困难，蜘蛛程序可能会注意到这一点并再次重新访问该站点，希望在技术问题消退后。
