正规的搜索公司会遵守(robots.txt)文件协议规则, 此协议只针对网站, 个人电脑及服务器不起效.
使用方法:
将robots.txt文件放在根目录
文件内容:
1. 禁止所有网络蜘蛛访问
User-agent: *
Disallow: /
2. 禁止部分网络蜘蛛访问
User-agent: Googlebot
Disallow: /
User-agent: Baiduspider
Disallow: /
3. 允许所有网络蜘蛛访问
设空文件则可
参考网址:
Google
http://www.google.com/bot.html
http://www.google.com.cn/bot.html
百度
http://www.baidu.com/search/spider.htm
Yahoo
http://help.yahoo.com/help/us/ysearch/slurp
|
