meta标签是放在html网页中head头部标签内的，我们可以通过设置html元素<meta>标签中name=＂robots＂相应的content属性值来告诉所有搜索引擎蜘蛛爬虫如何抓取页面。 在SEO中，对于蜘蛛的控制是非常重要的一部分内容，所以希望各位看官准确把握这部分的内容。
示例
如果我们希望所有搜索引擎蜘蛛爬虫来抓取页面，就可以这样写：
<meta name="robots" content="index"> |
但是要禁止所有搜索引擎蜘蛛爬虫抓取页面，就像这样写：
<meta name="robots" content="noindex"> |
书写格式
1、指定所有搜索引擎写法：
name="robots"表示content属性值指定的规则适用于所有搜索引擎，我们可以用如下格式表示：
<meta name="robots" content="属性值"> |
content="属性值"就是用来指定搜索引擎抓取方式，其属性值有all, none, index, noindex, follow, nofollow等。
2、指定单个搜索引擎写法：
我们已经知道，name=“robots”表示的是，所有的搜索引擎，如果想要content属性值的规则只适合被我们指定的搜索引擎的话，就把robots替换成你想要指定的搜索引擎种类。
比如，我只想禁止百度搜索引擎抓取页面，我们就应该这样写：
<meta name="baiduspider" content="noindex"> |
content常用属性值
| 属性值 | 说明 |
|---|---|
| all | 允许搜索引擎抓取该网页，也能通过该网页中的链接去抓取其他网页 |
| index | 允许搜索引抓取该网页； |
| noindex | 禁止搜索引擎抓取该页面，但能通过该网页中的链接去抓取其它网页 |
| follow | 允许搜索引擎通过该网页中的链接去抓取其它网页 |
| nofollow | 禁止搜索引擎通过该网页中的链接去抓取其它页面 |
| none | 禁止搜索引擎抓取，也不允许通过该网页中的链接去抓取其他网页 |
| noarchive | 在显示本网页于搜索结果中时，不要显示一个"网页快照"链接 |
| unavailable_after:[日期] | 在指定的日期和时间之后，从搜索结果中删除该网页 |
| nosnippet | 在搜索结果中显示当前页时，不要显示页面摘要 |
注意：content属性值为空，则表示默认值all
content的属性值也可以多个值，若包含多个属性值的时候，则需要用英文逗号隔开，注意同种属性正反两个方面（例如：index与noindex）不能同时出现在content之中。
< meta name="robots" content="index,follow"> < meta name="robots" content="noindex,follow"> < meta name="robots" content="index,nofollow"> < meta name="robots" content="noindex,nofollow"> |
content="index,follow"，也可以直接用 content="all"代替，两者作用是相同的；同理，content="noindex,nofollow"，可以直接用 content="none"代替；
还有需要注意的是，我们不能把对立的两个属性值写在一起，例如："index,noindex"和"noindex,nofollow"两种组合是不成立的！
各大搜索引擎蜘蛛名称
1、百度蜘蛛：BaiduSpider
常见的Baiduspider和Baiduspider-image（抓取图片）
百度公司还有其它几个蜘蛛：Baiduspider-video（抓取视频）、Baiduspider-news（抓取新闻）、Baiduspider-mobile（抓取wap），都不常见
2、谷歌蜘蛛：Googlebot
有人说谷歌蜘蛛是GoogleBot，官方谷歌蜘蛛最新名称为Googlebot，还发现了Googlebot-Mobile，看名字是应该是抓取wap内容的
3、360蜘蛛：360Spider
4、搜狗蜘蛛：Sogou News Spider
搜狗公司还有其它几个蜘蛛：Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider，冬镜在日志中只发现了常见的Sogou News Spider。
5、必应蜘蛛：bingbot
发表评论
评论列表（条）