以前看访问日志，主要区分搜索引擎蜘蛛和普通访问。现在又多了各种AI爬虫、内容采集程序、自动化浏览器。
有些User-Agent写得很清楚，有些直接模拟普通浏览器，光看访问记录也不一定能判断用途。
如果爬虫正常访问、没有明显影响服务器性能，你们会主动限制吗？还是只处理异常请求？
全部回复共9条回复
-
-
-
-
-
空哥咋这么活跃
![[不愧是你]](https://face.t.sinajs.cn/t4/appstyle/expression/ext/normal/2b/2025_ItsYou_mobile.png)
闲的慌！ -
-
-
-
发表回复
感谢优质内容，用金币表达支持。同一主题仅可打赏一次。
我的金币： 0