[闲聊畅谈] 百度蜘蛛太不要脸了 [复制链接]
查看:6878 | 回复:22

logo设计专家 · 发表于 2018-8-26 12:32:54

本帖最后由 logo设计专家于 2018-8-27 13:31 编辑

我在百度站长工具限制了每天抓取10万次

蜘蛛无视这个限制还是每天给我抓100多万次害得我的高级高端土豪虚拟主机都挂了

ts99 · 发表于 2018-8-26 12:59:18

顶呱呱呀

leexiaochong · 发表于 2018-8-26 15:07:47

那光蜘蛛产生的日志就得估计200M了

collbird · 发表于 2018-8-26 16:17:50

说明网站牛啊

iawsky · 发表于 2018-8-26 18:07:33

说明你网站流量大啊

司马龙 · 发表于 2018-8-26 19:49:29

100万次？？？？？？？？一天才多少秒？？？？？？？

logo设计专家 · 发表于 2018-8-26 21:34:55

leexiaochong 发表于 2018-8-26 15:07
那光蜘蛛产生的日志就得估计200M了

没开启过日志

logo设计专家 · 发表于 2018-8-26 21:35:41

司马龙发表于 2018-8-26 19:49
100万次？？？？？？？？一天才多少秒？？？？？？？

又不是一只蜘蛛，好几个Ip同时多个进程迸发

bcnq · 发表于 2018-8-26 22:36:03

User-agent: baiduspider
Allow: /

cing02 · 发表于 2018-8-26 23:38:56

说明你网站流量大啊