百独托管7500 紫田网络超高转化播放器收cps[推荐]速盾CDN 免实名免备防屏蔽阿里云 爆款特卖9.9元封顶提升alexa、IP流量7Q5团队
【腾讯云】中小企福利专场【腾讯云】多款产品1折起高防 随时退换 好耶数据小飞国外网赚带你月入万元炎黄网络4H4G10M 99每月
香港带宽CN2/美国站群优惠中客数据中心 服务器租用联盟系统移动广告平台 中易企业专场腾讯云服务器2.5折九九数据 工信部正规资质
腾讯云新用户大礼包代金券高价收cpa注册量高价展示【腾讯云】2核2G/9.93起租服务器找45互联 随时退换阿里云 短信服务 验证秒达

[交流] VIP大讲堂(上海站)QA集锦——抓取建库篇 [复制链接]
查看:981 | 回复:6

311

主题

1万

帖子

2万

积分

落伍斑竹

Rank: 8Rank: 8

贡献
620
鲜花
240
注册时间
2011-8-9

落伍者站长知道能手落伍手机绑定

发表于 2014-12-11 08:58:09 | |阅读模式 来自 中国上海
【部分内容对站长的疑问有很清楚的解释,几个比较重要的解答如下】

1、问:为什么收录量像坐过山车一样的,还有为什么有些网页今天在明天就没了?
答:百度会周期建库,且每个库的收录量是恒定的,你老是有新增,肯定会再从库里淘汰一些,反正总是保持那个库是满的。在建库的过程中,你会感觉有波动。具体的怎么筛,哪个页面会留下哪个页面会淘汰,这个策略是有很多的,他随着时间的变化,收录的标准策略也是在发生微调。

2问:多个域名,他有相同的一些内容,怎么建库?
答:如果是多域名在同一个主域下面有相同内容的话,不可能所有都建库,而且被建库的那个可能不是你希望的那个,所以尽量不要有相同的内容。

3问:站点每天最高爬虫多少次?
答:这个其实说不好,有的站点我们一天会抓一两千万,有的站点只抓几个、几十个,看你的规模和质量,而且这个抓取量也是会根据网站的情况进行调整的。

4问:现在很多网站都有自己的站内搜索,都会产生站内搜索结果页,百度不喜欢搜索结果页的话,我们用这个会不会对我们有影响?只是不喜欢还是对我们网站会有惩罚
答:蜘蛛会去抓,抓完之后重要是提取里面的链接。如果只有一两条这样的页面质量不好问题不大,如果整体质量较差,有可能受到惩罚。

5问:现在我的网站被很多蜘蛛爬,我想只让百度蜘蛛爬,百度蜘蛛IP多少?能设白名单么?
答:百度蜘蛛IP是不断变的,现在网上的确有一些白名单的说法,暂时是有较的,但不保证今后不会变,所以建议站点还是通过ua进行判断,我们百度站长平台上有相关的文章,你可以找一下。




【关于CDN加速相关问题】
问:我们站点使用CDN加速会不会比较容易造成蜘蛛无法抓取?因为有时候修改掉他绑定的什么东西。
答:如果要修改掉一定要通知到上一级,现在不存在这个问题,现在你如果修改掉也可以解析掉,之前可能会存在这个问题。

问:你们百度自己也有一个CDN加速,对抓录排名有没有影响?
答:在使用CDN加速这个问题上,我们对所有站点一视同仁。但我建议你使用技术能力强的CDN服务商,保证站点的稳定和速度,百度会更喜欢。

问:刚才您说IP上的站点数不能太多,那CDN这种情况怎么办?
答:CDN的情况另说,如果我们识别出来是CDN的话不会受站点数量的影响,如果你是提供独立IP的话会有这样一些问题。

问:还是IP上站点数量的问题,如果是主域跟二级域名呢?也受数量限制?
答:我说的是独立域名。当然质量比较好的二级域名也可以认为是独立域名。

问:刚才讲的IP如果是多域名的话,好几百个IP域名,现在我们也用了CDN,按照刚才的说法,单个IP最多抓多少?1000万是说对站点还是对IP?
答:对IP,但1000万是我举例,不是实际的数据,这个数据不会分享出来的。




其他类问题:
问:如果我写robots只想禁掉动态链接的话,会不会影响动态参数前面正常链接的抓取?
答:不会的,你原来的页面还在,肯定会抓。

问:比如我们一个域名www.abcde.com,我们想把带?号的url全部禁掉,首页我们不要禁掉,怎么弄?
答:?前面有个*,后面再有个*就可以了。

问:我想了解,如果我现在收录有5万,大概多长时间才能把我原来收录5万重新抓取一遍?
答:不同站点不好说,一个是你站点做的很好,知名度很响更新很快质量很好就会快;如果你的站点默默无闻,贡献很少,可能就会很慢。

(接上个问题)
问:就是差不多的情况,大概。
答:这个没有人能估出来。

问:百度站长平台上有数据提交的工具,我们实时提交,你们也会实时抓取吗?
答:不会,他会有一层判断。现在只是通知你提交成功,后面什么时候抓,什么时候建库没有,我们正在研究要不要把这个分享出来。

问:我网站有一些列表页,都没有链接,担心百度抓不到
答:现在百度站长平台的站内搜索工具有一个绿色收录通道,在那里提交种子页,我们就知道的。

(接上个问题)
问:提交种子页面必须要用站搜?
答:是的。

问:如果说页面里url特别多的话,蜘蛛会不会有选择性的进行抓取?
答:不会,他都会一个不漏给你提出来,但会把JS、CSS这样的链接给过滤掉。但请注意,全部抓取过来之后会进行筛选,并不是所有都会建库。

问:新出的时效性文章当时没有被收录,后期是否还会被收录?
答:会

评分

参与人数 1积分 +1 鲜花 +1 收起 理由
mosics + 1 + 1 同意此观点,MJJ顶一个!

查看全部评分

别墅假山制作www.lingbishizi.com 庭院假山制作www.tingyuanjiashan.com

34

主题

296

帖子

246

积分

落伍者(一心一意)

Rank: 1

贡献
1293
鲜花
0
注册时间
2014-6-26

落伍者

发表于 2014-12-11 09:52:17 | 来自 中国广东佛山
很有用的东西,先顶下!
头像被屏蔽

210

主题

4756

帖子

3451

积分

禁访

贡献
1691
鲜花
2
注册时间
2013-8-8

落伍微信绑定落伍手机绑定

发表于 2014-12-11 10:47:02 | 来自 中国河北保定
提示: 作者被禁止或删除 内容自动屏蔽
签名被屏蔽

204

主题

2万

帖子

1万

积分

落伍者(四季发财)

Rank: 4

贡献
200
鲜花
27
注册时间
2011-3-21
发表于 2014-12-11 10:49:08 | 来自 中国广西南宁
多学习下。
头像被屏蔽

23

主题

937

帖子

679

积分

禁言

贡献
13
鲜花
0
注册时间
2013-8-26

QQ绑定落伍微信绑定落伍者落伍手机绑定

发表于 2014-12-11 11:07:50 | 来自 中国湖南长沙
提示: 作者被禁止或删除 内容自动屏蔽
签名被屏蔽

11

主题

79

帖子

-3

积分

接近落伍(少量栏能发帖)

贡献
4
鲜花
1
注册时间
2014-11-1

落伍微信绑定落伍手机绑定

发表于 2014-12-11 13:40:07 | 来自 中国重庆
来电沙井

271

主题

1305

帖子

1363

积分

落伍者(两全齐美)

Rank: 2

贡献
506
鲜花
0
注册时间
2012-2-17
发表于 2014-12-11 15:31:51 | 来自 中国广东佛山
收录方面很好的知识
论坛客服/商务合作/投诉举报:2171544 (QQ)
落伍者创建于2001/03/14,本站内容均为会员发表,并不代表落伍立场!
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论!
落伍官方微信:2030286 邮箱:(djfsys@gmail.com|tech@im286.com)
© 2001-2014

浙公网安备 33060302000191号

浙ICP备11034705号 BBS专项电子公告通信管[2010]226号

  落伍法律顾问: ITlaw-庄毅雄

手机版|找回帐号|不能发帖?|Archiver|落伍者

GMT+8, 2024-6-5 10:47 , Processed in 0.115766 second(s), 38 queries , Gzip On.

返回顶部