Syna Kyra 博客

关注互联网，关注生活，生命感悟

　　一般情况下，搜索引擎通过一种程序 Spider，自动访问互联网上的网页并获取网页信息。而网站根目录中，可以使用一个 robots.txt 文件来声明该网站中不想被 Spider 访问的部分。这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。 　　目前，搜狐博客在 robots 中屏蔽了所有搜索引擎的访问（http://blog.sohu.com/robots.txt）。这样一来，所有的搜狐博客都被指定为不可被搜索引擎收录。 　　同时，新浪博客也已经屏蔽了所有搜索引擎的抓取（http://blog.sina.com.cn/robots.txt）。 　　总之，这个现象很不正常。作为一个门户网站，应该鼓励网友去访问它的网页从而带来流量以及广告收入，而不应该去禁止搜索引擎收录从而减少它的流量。其实我并不能理解他们的用意。月光认为，它们是想防止有关部门通过搜索引擎来监控博客的内容。