Mediapartners-Google是什么蜘蛛
最近,我才注意到日志中,经常发现一个Mediapartners-Google蜘蛛在访问网站,当然频率也不是太高。它的ip一般是72.14.199.64、72.14.199.244、72.14.199.242这类。ip段一般是72.14.199.0-255。
然后,我查下了ip归属,它属于美国 加利福尼亚州圣克拉拉县山景市谷歌公司。
其实,这是谷歌广告(Google Adsense)的ip段,它用于谷歌抓取投放了谷歌广告的那些网址。
所以,投放了谷歌广告的网站,前往别去屏蔽这个ip段以及这个UA蜘蛛
2020年11月25日 23:21更多谷歌旗下蜘蛛可以参考文章:一份最全的谷歌全系蜘蛛爬虫名单列表
2020年11月28日 18:50