首页 > Other > Robots.txt 知识汇总

Robots.txt 知识汇总

robots.txt文件是seo中不可忽略的一个细节,他的作用非常之大,最近在研究细节,搜了相关Robots.txt的文章记录下

一、定义:
robots.txt 是存放在站点根目录下的一个纯文本文件,让搜索蜘蛛读取的txt文件,文件名必须是小写的”robots.txt”。
二、作用:
通过robots.txt可以控制SE收录内容,告诉蜘蛛哪些文件和目录可以收录,哪些不可以收录。
三、语法:
User-agent:搜索引擎的蜘蛛名
Disallow:禁止搜的内容
Allow:允许搜的内容
四、实例:
1.User-agent: * //禁止所有搜索引擎搜目录1、目录2、目录3
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
2.
User-agent: Baiduspider //禁止百度搜索secret目录下的内容
Disallow: /secret/
3.
User-agent: * //禁止所有搜索引擎搜索cgi目录,但是允许slurp搜索所有
Disallow: /cgi/
User-agent: slurp
Disallow:
4. User-agent: * //禁止所有搜索引擎搜索haha目录,但是允许搜索haha目录下test目录
Disallow: /haha/
Allow:/haha/test/
五、常见搜索引擎蜘蛛的代码
#搜索引擎User-Agent代码对照表########################
# 搜索引擎 User-Agent代码
# AltaVista Scooter
# Infoseek Infoseek
# Hotbot Slurp
# AOL Search Slurp
# Excite ArchitextSpider
# Google Googlebot
# Goto Slurp
# Lycos Lycos

分类:Other
  1. 还没有评论。
  1. No trackbacks yet.

发表评论

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / 更改 )

Twitter picture

You are commenting using your Twitter account. Log Out / 更改 )

Facebook photo

You are commenting using your Facebook account. Log Out / 更改 )

Google+ photo

You are commenting using your Google+ account. Log Out / 更改 )

Connecting to %s

%d 博主赞过: