Bing将十月启用新爬虫Bingbot
作者:yafan99 日期:2010-07-06
自2009 年11 月，Bing（必应） 团队就已开始忙于改进 Bing 的抓取机器人（也称爬虫），并且将在今年 10 月 1 日，新的Bing 机器人 Bingbot 将代替旧的 MSNbot 2.0b。
更新后的UA 将是：
Mozilla/5.0 (compatible; bingbot/2.0 +http://www.bing.com/bingbot.htm)
HTTP 头也将附带如下 FROM 信息：
From: bingbot(at)microsoft.com
另外，robots.txt 中涉及 msnbot 的规则仍将生效，不过 bingbot 和其他旧版微软搜索引擎机器人共存情况下，bingbot 规则优先生效。
Tags: Bing 必应 爬虫 robots.txt msnbot
