mj12bot
网站经常有mj12bot的爬虫来爬取数据。
MJ12bot是英国的一家搜索引擎营销网站Majestic的爬虫,是Majestic-12分布式搜索引擎的爬虫,它的中文站:zh.majestic.com。
它的抓取频率有时候很高,可以选择选择屏蔽掉,在robots.txt里添加:
User-agent: MJ12bot
Disallow: /
0
赞
热门推荐
-
2、 - 优质文章
-
3、 gate.io
-
8、 golang
-
9、 openharmony
-
10、 Vue中input框自动聚焦