|
蜘蛛先去抓取百度白名单的网站或者一些信任度非常高的站点和页面(例如:一些高权重网站和网站的首页),在抓取这些网页的内容时发现一些指向另外一些一些页面的链接。蜘蛛会把这些链接保存在自己的数据库里面,然后再根据抓取顺序依次来抓取这些网页。
浙公网安备 33060302000191号
浙ICP备11034705号 BBS专项电子公告通信管[2010]226号GMT+8, 2024-5-26 23:26 , Processed in 0.054823 second(s), 21 queries , Gzip On.