文章来源：08ai导航网发布时间：2025-08-06 17:06:24
8月5日消息，当地时间周一，Cloudflare发布了一份报告，指控AI初创公司Perplexity在网站已明确标注禁止AI抓取的情况下仍进行抓取，并通过改变身份标识规避拦截规则。
报告显示，Perplexity忽略网站robots.txt文件（用于告知搜索引擎和AI公司哪些页面可供索引）及针对其已知爬虫的拦截规则，调整UA和ASN信息，通过更换身份和网络地址等手段绕过屏蔽并抓取大量内容。
Cloudflare称，他们通过“机器学习与网络信号相结合”的方式，识别出了Perplexity爬虫的特征，其行为涉及“数万个域名，每天数百万次请求”。
针对指控，Perplexity发言人JesseDwyer表示：Cloudflare的博文是“销售噱头”，并表示文中截图“显示没有内容被访问”。在后续邮件中，Dwyer进一步否认，称Cloudflare提到的机器人“甚至不是我们的”。
Cloudflare表示，其调查源于客户投诉——部分客户已在robots文件中添加规则并专门拦截Perplexity的已知爬虫，但仍遭其抓取。Cloudflare测试后确认属实。
作为回应，Cloudflare已将Perplexity的爬虫移出认证名单（用于标识合法爬虫），并添加新的技术拦截其行为。
注意到，这并非Perplexity首次面临此类指控。去年《Wired》等媒体也曾指控Perplexity抄袭其内容；首席执行官AravindSrinivas在Disrupt2024大会上面对媒体问询却不敢回答。
参考资料：
《Perplexityisusingstealth,undeclaredcrawlerstoevadewebsiteno-crawldirectives》
相关攻略 更多
最新资讯 更多
Cloudflare称Perplexity绕过限制，抓取明令禁止AI抓取的网站
更新时间：2025-08-06
看完谷歌Meta最新财报，终于理解它们为啥砸锅卖铁干AI了
更新时间：2025-08-06
复星旅文与阿里云达成全栈AI合作基于通义千问3打造文旅智能体
更新时间：2025-08-06
谷歌出品“带娃神器”：Gemini上线AI生成故事书功能，10页内容图文并茂
更新时间：2025-08-06
腾讯旗下AI工作台ima上线新功能：支持上传文件生成AI播客
更新时间：2025-08-06
阿里巴巴2026秋季校招计划招聘7000人超6成AI相关岗位
更新时间：2025-08-06
OpenAI引信任危机：AI教父与诺奖得主等联名，要求回应八大问题
更新时间：2025-08-06
恐替代你的岗位：谷歌迈步通用人工智能，AI世界模型Genie3登场
更新时间：2025-08-06
AI Agent行业应用价值及全球市场机遇洞察
更新时间：2025-08-06
高盛：AI已开始重塑劳动力市场，美国年轻科技从业者首当其冲
更新时间：2025-08-06
