robots是什么意思呢？这个文件通俗的讲就是我们在根目录下设置一个这个robots.txt的文件。写上代码搜索引擎就会认为哪些是不需要抓取的文件。这样可以更利于SEO网站优化。例如我的淘宝客站点相宜本草睡眠面膜的robots.txt文件http://inoherb.ynf99.com/robots.txt

这种写法就是要告诉各大搜索引擎有些文件是不需要来检索的。那么以后他就不会去爬取和收录。

User-agent:*这个代码就是不要爬取的意思
Disallow: /ADMIN/
Disallow: /CACHE/
Disallow: /CSS/
以上就是不要爬取的哪些文件。你不想搜索引擎检索那个文件就对应那个文件就OK。是不是很简单。OK！十堰SEO也认为很简单。只要大家认真学一下，其实是可以很容易掌握的。不要被这些代码吓到哦！