国内外搜索引擎爬虫特征码，以下“符合某种情况才会出现的爬虫特征码”是指某种类型网站或者加入什么联盟才会触发的爬虫，比如您的网站如果加入了谷歌的Google Adsense联盟，您的网页中就有谷歌的Adsense广告，那么可能会出现这类特征码的爬虫进行抓取网页。
百度搜索引擎
baiduspider：百度网页搜索
baiduspider-mobile：无线搜索
baiduspider-image：图片搜索
baiduspider-video：视频搜索
baiduspider-news：新闻搜索
baiduspider-favo：百度搜藏
baiduspider-mobile-gate：百度手机搜索
baidu-thumbnail：百度快照
符合某种情况才会出动的爬虫特征码
baiduspider-cpro：百度联盟站点
baiduspider-sfkr：百度竞价站点
baidu-transcoder：未做说明
baiducustomer：百度开始人工审核
中英文谷歌(Google)搜索引擎
Googlebot：谷歌网页
Googlebot-Mobile：谷歌手机搜索
Googlebot-Image：谷歌网页图片
符合某种情况才会出动的爬虫特征码
Mediapartners-Google：Google Adsense网页
Adsbot-Google：Google Adwords网页
Feedfetcher-Google：Google订阅
搜狐搜狗搜索引擎
Sogou web robot：搜狗网页
Sogou web spider：搜狗网页
Sogou-Test-Spider：搜狗网页
Sogou Orion spider：搜狗网页
中英文雅虎搜索引擎
Yahoo! Slurp：雅虎英文
Yahoo! Slurp China：雅虎中国
YahooFeedSeeker：雅虎订阅
Yahoo Blogs：雅虎博客蜘蛛
Yahoo Image：雅虎图片蜘蛛
Yahoo AD：雅虎广告蜘蛛
Yahoo ContentMatch Crawler：Yahoo 搜索竞价蜘蛛
Yahoo-MMCrawler：雅虎图片
腾讯搜搜搜索引擎
Sosospider：搜搜网页蜘蛛
Sosoblogspider：搜搜博客蜘蛛
Sosoimagespider：搜搜图片蜘蛛
网易有道搜索引擎
YoudaoBot：有道网页
YodaoBot Image：有道图片
YodaoBot-Reader：有道订阅
微软MSN？
MSNBot：主网页爬虫
MSNBot-Media：图片及其它媒体爬虫
MSNBot-NewsBlogs：新闻及blog爬虫
MSNBot-Products：产品及购物爬虫
MSNBot-Academic：学术搜索爬虫
本页特征码收集于互联网，保持更新中。
转载请注明出处：唯众网络
