User Agent 是什么？
用户代理（User Agent，简称 UA），是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。
通常情况下这些爬虫都有固定特征的 User Agent(UA) ，下面的部分将会分享各家搜索引擎的 UA 特征。然而 User Agent 是请求头中的一个选项设置，是可以伪装的，这个方法只能告诉我们，这个请求/访问/IP 不是爬虫，而无法确切的告诉我们它是，所以通过 User Agent 判断请求的发起者是否是搜索引擎爬虫的方式是不靠谱的。
常见搜索引擎 user-agent列表
| 搜索引擎 | user-agent | 备注 |
|---|---|---|
| 百度 | Baiduspider/2.0 Baiduspider-image |
常见百度旗下同类型蜘蛛还有下面这些：Baiduspider-mobile（抓取wap）、Baiduspider-image（抓取图片）、Baiduspider-video（抓取视频）、Baiduspider-news（抓取新闻）
百度蜘蛛IP：
|
| Bing | bingbot/2.0 |
Bing蜘蛛IP：
|
| Googlebot/2.1 |
Google蜘蛛IP：
|
|
| 搜狗sogou | Sogou+web+spider/4.0 |
搜狗蜘蛛IP：
|
| 神马搜索 | Yisouspider | 原属一搜蜘蛛。
神马搜索IP：
|
| 360搜索 | 360Spider |
360搜索蜘蛛IP：
|
| 今日头条 | Bytespider |
今日头条蜘蛛IP：
|
| Yahoo | Yahoo! |
Yahoo蜘蛛IP：
|
