爬取数据是什么意思


爬取数据是什么意思

文章插图
【爬取数据是什么意思】爬取数据的意思就是通过程序来获取需要的网站上的内容信息 , 比如文字、视频、图片等数据 。网络爬虫(又称为网页蜘蛛 , 网络机器人 , 在FOAF社区中间 , 更经常的称为网页追逐者) , 是一种按照一定的规则 , 自动地抓取万维网信息的程序或者脚本 。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫 。
网络爬虫是一个自动提取网页的程序 , 它为搜索引擎从万维网上下载网页 , 是搜索引擎的重要组成 。传统爬虫从一个或若干初始网页的URL开始 , 获得初始网页上的URL , 在抓取网页的过程中 , 不断从当前页面上抽取新的URL放入队列 , 直到满足系统的一定停止条件 。