档案
网站SEO优化时高手使用的sitemap及robots.txt优化技巧
sitemap和robots.txt是一个网站针对搜索引擎设置的两个极其重要的文件。一般的站长都知道，建好网站后需要建立网站的sitemap.xml，还有特殊情况的话需要进行robots.txt文件的设置。
在做网站优化的时候，我们不仅要进行网站内容，外链，内链的优化，还需要从sitemap.xml和robots.txt这些细节之处着手。越是细节的地方越能体现一个站长水平的高低。下面说一下高手在做网站优化时考虑的几点技巧。
第一部分：网站sitemap优化的技巧
1. 网站必须要设立sitemap文件。
不管你的网站是不是已经被收录，设置sitemap文件就像相当于给搜索引擎提供了你网站的目录，让搜索引擎更有效率的在你的网站上爬行抓取。
2. 根目录下必须要有sitemap.xml文件。
这是针对第一点来说的，许多网站系统可以自动生成sitemap文件。但是存储的名称和位置可是多种多样：比如dedecms系统生成的 sitemap文件就位于data/rss/目录之下。名称也是已数字命名的。ecshop默认生成的sitemap文件命名为 sitemaps.xml。这些都不是规范的。搜索引擎默认的格式是你根目录下的sitemap.xml文件。也就是说，搜索引擎来到你网站的时候会自动 寻找你的sitemap.xml文件，而不是其他目录或其他名称的文件。
3. 建立sitemap的索引文件。
关于sitemap的索引文件，了解的人并不多，主要是大家都没有考虑到第2个问题，以为只要自己设立了sitemap文件就可以了。俗话说酒香还 怕巷子深，你把sitemap文件放到那么深的文件目录，你觉得搜索能找到吗。有人说，我提交到搜索引擎的管理员工具中，但并不是每个搜索引擎都有管理员 工具的。如果你在网站根目录下设立了默认的sitemap索引文件，则可以便捷的向来到你网站的任何一个搜索引擎展示你的网站目录。
并不是每个网站都需要一个sitemap索引文件。这是因为索引文件的作用是指引搜索引擎爬行你真正的sitemap文件的。一般情况下，当你的 sitemap文件至少在两个或以上时，才建议设立sitemap索引文件。在根目录下建立以sitemap.xml命名的索引文件指向你真正的 sitemap文件。
4. 在robots.txt声明你的sitemap文件。
如果没有直接链接的话，也许有的搜索引擎并不主动搜索你网站目录下的sitemap文件。但是，不论是google,baidu，还是其他不知名的 小搜索引擎，都会首先索引你网站根目录下 的robots.txt文件。如果你在robots.txt文件中声明你sitemap文件及其位置，那么蜘蛛的爬行也就顺利成章了。
第二部分：网站r0bots.txt优化的技巧
1. 根据需要设立robots.txt文件。
对任何一个东西进行优化，首先要了解它是干什么用的。robots.txt文件是专门给你搜索引擎看的，告诉他这个网站那些地方你可以爬行，那些地 方你不可以爬行。或者那些蜘蛛可以爬行，哪些蜘蛛不能爬行。比如：淘宝网的robots.txt中就声明了禁止百度的蜘蛛爬行。其实，说白 了，robots.txt就是搜索引擎爬行网站的准许证，在拿到了准许证后，根据网站的目录(sitemap文件)来爬行你的网站。如果你的网站有特殊设 置，可以利用robots.txt来设置。
2. 把你网站的非实质内容页面及目录在robot.txt中设定。
这里说的设定一般是指disallow这些没有实质内容的页面及目录。为什么这么做，原因在于搜索引擎在每个网站上停留及爬行的时间都有限。我们需 要确保搜索引擎爬行及收录我们网站上最有价值的页面。通过这些有价值的内容页面给我们带来更多流量。如果有些目录和页面就算被搜索引擎爬行收录了也带不来 流量，反而占用了搜索引擎搜索你其他有价值页面的机会，那就得不偿失。这些目录和页面常见的有：
a. 管理后台，被加密的目录（搜索引擎爬了对你没好处）。
b. 功能目录，无内容页面链接的目录；
c. 注册，注销，收藏，打印等链接（或使用rel=“nofollow”标记）；
3. 在robots.txt中声明你的sitemap文件。
具体原因已经在上面说过了。设置的方法如下：
在robots.txt加入如下的一行文字：
Sitemap: http://www.chinesesong.org/sitemap.xml (替换你自己实际的sitemap文件地址)
有多个sitemap文件，没有建立sitemap索引文件的也可以在robots.txt里同时声明。
Sitemap: http://www.chinesesong.org/sitemap.xml
Sitemap: http://www.chinesesong.org/sitemap_index.xml
教你设置GoDaddy免费空间支持rar等后缀文件直接下载
很多人在Godaddy注册域名以后，会开通GoDaddy域名赠送的免费空间，暂时停放域名或者用来做外链做其他下载用等等。但是在使用中发现下载.rar等后缀的文件时会出错。
这是什么情况呢？其实这是由于godaddy的免费空间含有godaddy本身的广告，为了在每一个页码输出广告，godaddy会重新将网页或其它文档加广告代码后输出。
进入GoDaddy的文件管理器 （File Manager）去看，发现这些文件的文件类型是File而不是Archive File或其他相应的类型。可见GoDaddy免费空间的Aphache默认配置把这些文件名后缀当成普通文档，因此在输出时自行加上广告代码，导致文件 被破坏。
为了解决这一问题，可以利用.htaccess文件来设置。在根目录下新建了一个.htaccess文件，对这些文件名后缀进行定义：
AddType application/octet-stream .rar
AddType application/octet-stream .zip
Ok,现在就可以完全可以自由上传下载了.
我本来把micfly的 主站放在免费空间的，后来看广告实在是太大，而本来网站又没几个网页，干脆找个稳定点，小点的无广告免费空间吧。现在暂时转移到alwaysdata的免 费空间了。这个空间很小，只有10MB空间，1G流量/月，但是速度和稳定性都还可以。法国的，php空间，不限子站的数量，域名一绑就可以了。不过人家 提示了禁止一个人利用多个email注册多个帐号，禁止投放商业广告，包括adsense，3个月至少访问一次后台。呵呵，纯粹供测试用了。
有兴趣的可以去注册：alwaysdata.com
本人的站点放在上面：www.micfly.com
网站转移中的另一点小风波：
micfly.com有多个子站，不想直接用alwaysdata的dns，还是想利用godaddy的dns进行域名管理，www.micfly.com可以直接利用cname解析到alwaysdata的空间，但是godaddy的域名控制面板不支持cname解析@（也就是godaddy不支持canme解析不带www的主域名），那这样的话micfly.com就不能直接用cname解析了，现在尝试用a记录解析到服务器IP吧，不知是否能成功。
zhuohang 