【网站抓与】怎样准确辨认Baiduspider挪动ua
百度站少仄台公布通告颁布发表新版Baiduspider挪动ua上线,同时宣布了PC版Baiduspider ua,那么该怎样准确辨认挪动ua呢?我们百度站少仄台手艺专家孙权教师给出了谜底:
新版挪动ua:
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +百度/search/spider.html)
PC ua:
Mozilla/5.0 (compatible; Baiduspider/2.0; +百度/search/spider.html)
之前经由过程“+百度/search/spider.html”停止辨认的网站请留意!您需求修正辨认方法,新的准确的辨认Baiduspider挪动ua的办法以下:
1. 经由过程枢纽词“Android”大概“Mobile”去停止辨认,判定为挪动会见大概抓与。
2. 经由过程枢纽词“Baiduspider/2.0”,判定为百度爬虫。
别的需求夸大的是,关于robots启禁,假如启禁的agent是Baiduspider,会对PC战挪动同时死效。即,不管是PC借是挪动Baiduspider,皆没有会对启禁工具停止抓与。之以是要夸大那一面,是发明有些代码适配站面(统一个url,PC ua翻开的时分是PC页,挪动ua翻开的时分是挪动页),念经由过程设置robots的agent启禁到达只让挪动Baiduspider抓与的目标,但因为PC战挪动Baiduspider的agent皆是Baiduspider,那种办法长短常不成与的。
相关信息
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|