ZXY123

关于robots文件，屏蔽还是不屏蔽，你怎么看？

最近在考虑robots文件屏蔽掉css js文件，不过在百度上搜索之后发现分为两派，一个是支持屏蔽的。另外一派是不支持的。在这边想问下大家是什么观点，还是根据自己的网站自己评断呢？如果哪位大神有空的话，希望可以帮我分析我的网站，是我的签名。。。。谢谢了

mooncity12

JS文件最好屏蔽，另外一拨不建议屏蔽的其实也没什么坏处，百度爱抓取就让他抓就对了。

搭脚儿好

个人观点：
1、robots全部屏蔽掉不太建议，因为随着网页的发展，资源种类越来越多，蜘蛛需要分析；
2、根据之前看到的百度对网页主体内容模板的专利的简单介绍可以得出下面几个观点：
A、百度能够根据前台页面的链接布局、框架，判断出一个站点的主要页面类型，及各页面适合用户浏览的主体内容；
B、因此如果js、css等如果对蜘蛛判断站点的主体内容没有什么影响，比如遮罩、跟踪用户行为返回区域内容变化，那么屏蔽完全可以，但是从实际的例子来说可能对站点其他主体内容页面的抓取频次没有多大帮助，因为主体内容与js、css本来就互不相关的两类东西；
C、如果js、css等如果对蜘蛛判断站点的主体内容有影响，如包含较多网址、图片地址、有效资源地址、文字资源等建议不屏蔽，蜘蛛爬取js/css文件的同时可以爬取里面的内容，并且尽量简单处理，不要采用ajax或多重逻辑判断的代码；

经过上述处理后，如果发现有价值的js、css抓取次数还是较多，那么建议使用百度的抓取频次工具，反馈提高下，对一个站点的抓取频次现在可以对百度进行反馈。

yizhongtech

我觉得把**文件屏蔽了就可以了…………

m12244

部分可以屏蔽，如果没必要的还是可以不用屏蔽，只要你网站没有什么隐私的东西存在

ZXY123

mooncity12 发表于 2015-5-19 12:51 static/image/common/back.gif
JS文件最好屏蔽，另外一拨不建议屏蔽的其实也没什么坏处，百度爱抓取就让他抓就对了。

恩  但是现在网站的排名刚刚有点起色 不想有大的动静  现在先保持这个状态  等以后再说吧

ZXY123

搭脚儿好 发表于 2015-5-19 12:53 static/image/common/back.gif
个人观点：
1、robots全部屏蔽掉不太建议，因为随着网页的发展，资源种类越来越多，蜘蛛需要分析；
2、 ...

恩 我看网站上边也是这样讲的  不知道具体要怎么操作了  心里边也没有一个准儿了

ZXY123

yizhongtech 发表于 2015-5-19 13:06 static/image/common/back.gif
我觉得把**文件屏蔽了就可以了…………

你的回复可能是带违规的字了  是指屏蔽js文件吗？

mooncity12

ZXY123 发表于 2015-5-19 19:40 static/image/common/back.gif
恩  但是现在网站的排名刚刚有点起色 不想有大的动静  现在先保持这个状态  等以后再说吧

我看行~

yizhongtech

ZXY123 发表于 2015-5-19 19:42 static/image/common/back.gif
你的回复可能是带违规的字了  是指屏蔽js文件吗？

houtai  后--台…………