网站现在来了不少AI爬虫，但究竟是谁在抓取，越来越难判断了
回复：9
查看：63
以前看访问日志，主要区分搜索引擎蜘蛛和普通访问。现在又多了各种AI爬虫、内容采集程序、自动化浏览器。
有些User-Agent写得很清楚，有些直接模拟普通浏览器，光看访问记录也不一定能判断用途。
如果爬虫正常访问、没有明显影响服务器性能，你们会主动限制吗？还是只处理异常请求？
打赏
点赞
收藏
分享
![[不愧是你]](https://face.t.sinajs.cn/t4/appstyle/expression/ext/normal/2b/2025_ItsYou_mobile.png){kind=small}
闲的慌！
感谢优质内容，用金币表达支持。同一主题仅可打赏一次。
我的金币： 0