那是年少轻狂

       同样的内容不管是对用户来说还是对搜索引擎来说，都是一种资源的浪费和不友好的表现。所以对于搜索引擎自身而言，必定有一个去重的处理，那么搜索引擎是如何进行去重处理的呢?又是在哪个步骤就开始进行去重处理的呢?网上的哪些伪原创工具真的有效吗?重复的页面搜索引擎又是如何处理的呢?
       搜索引擎一般会对已经抓去过的重复页面进行归类处理，如果发现某些网站大部分都是重复页面或者完全是采集其他站点内容的网站，在后续可能会对该网站进行屏蔽抓取。

　　其实搜索引擎在蜘蛛抓取的时候就存在去重的步骤了，这个步骤进行的越早，越可以节约后续的处理系统的资源使用。去重处理一般是在分词之后和索引之前(也有可能是在分词之前)，搜索引擎会在页面已经分出的关键词中，提取部分具有代表性的关键词，然后计算这些关键词的“指纹”。每个网页都会有个这样的特征指纹，当新抓取的网页的关键词指纹和已索引网页的关键词指纹有重合时，那么这个新网页就有可能被搜索引擎当作重复内容而放弃索引。
　　然而搜索引擎不仅仅使用分词步骤分出有意义的关键词，还会使用连续连续切割的方式提取关键词，并进行指纹计算。连续切割时以单个字向后移动的方式进行切词的，比如：“时间不会等待任何人”会被切分成“时间不”“间不会”“不会等”“会等待”“等待任”“待任何”“任何人”。然后从这些词中提取部分关键词进行指纹计算，参与是否重复内容的对比。不过这只是搜索引擎基本的判断方法，还有更多方法，大家可以自行百度进行了解，年少这里不多少(咳咳，其实也不太了解的说)。
　　那么网上流行的哪些伪原创工具有作用吗?这个，当然，作用肯定是有的，不过，效果不是很好，理论上来说基本不会有好排名和收录，还有就是骗过的搜索引擎，对于用户来说，内容可读性就太差了，有的甚至完全不能阅读。
　　是不是所有的重复页面都会被搜索引擎抛弃掉呢?其实不然，看年少的，经常一篇文章发到几个不同的论坛(这些论坛权重很高，例如：搜外、落伍者、推一把等)，搜索引擎会对这些高权重的网站适度的放宽了标准，不过，你懂的，有人知道了，利用网站权重高，进行大量采集从而获取大量流量。百度当然不能坐视不理，算法的不断改变不断完善对这个问题也进行了打击。
　　所以做为SEO优化人员，在网站内容建设上，还是不要过多的采集，伪原创，也不是说非要原创，而是要站在用户的角度想，给用户所需要的，对于网站来说也是友好的。
还有就是重复内容在自己的网站也要进行一个管理，小点的网站博客基本没啥管的，但是对于那些B2B、论坛、分类信息等一些网站如果不加以限制，会造成很恶劣的后果，SEO优化效果不说，对于用户体验也是很不友好的。所以自己的网站内容也要进行一个去重的处理，大型的站一般可以让技术人员来进行实现，SEO人员也可以进行一个提点，毕竟程序猿也不是无敌的。你了解了吗?骚年，好好的写文章去吧。
首发个人博客：年少轻狂http://www.nsqk88.com/1460.html
原创作者：年少
日期：2014.5.19