多家 AI 公司绕过网络标准抓取新闻出版商网站内容，并将抓取的内容用于训练生成式 AI 系统

文章来源：万象ai发布时间：2025-07-08 17:23:14

IT之家 6 月 24 日消息，据路透社上周六报道，专注于“内容许可”领域的初创公司 TollBit 近日向新闻出版商发出警告称，多家人工智能公司正在规避出版商用来阻止抓取内容的常见网络标准，并将抓取的内容用于训练生成式 AI 系统。

这一消息是在 AI 搜索初创公司 Perplexity 与媒体《福布斯》之间就同一网络标准公开争执的背景下发出的。当前，科技和媒体公司之间正在就生成式 AI 时代的内容价值展开更广泛的辩论。

Tollbit 将自己定位为内容匮乏的 AI 公司与愿意与他们达成重大许可协议的出版商之间的“媒人”。

IT之家注：《福布斯》曾指责 Perplexity 在 AI 生成的摘要中剽窃其报道内容，然而前者并未标注消息来源，也没有获得《福布斯》的许可。

另外，《连线》（Wired）杂志上周也发表了一篇调查报道并指出，Perpexity 可能绕过了（新闻出版商设置的）“机器人排除协议（Robots Exclusion Protocol）”或其他阻止网络爬虫的程序。

多家 AI 公司绕过网络标准抓取新闻出版商网站内容，并将抓取的内容用于训练生成式 AI 系统

图源 Pexels

自称代表 2000 多家美国出版商的贸易组织“新闻媒体联盟”也对这一行为表示担忧 ——AI 公司对出版商设置的“禁止抓取”机制或“robots.txt”等工具置若罔闻。该组织** Danielle Coffey 表示，“如果 AI 公司无法停止大规模抓取的话，我们就无法通过有价值的内容获利，也无法为记者们支付报酬。”

Tollbit 表示，Perplexity 并不是唯一无视出版商网站“禁止抓取”机制的违规者。根据其分析，“大量”AI 平台绕过了这一机制，而该机制为 AI 平台抓取自家内容设置了一份“白名单”—— 指示其网站哪些部分可以被抓取。

“这意味着，来自多个来源（而不仅仅是一家公司）的 AI 平台正在选择绕过 robots.txt 协议来从网站中检索内容，”TollBit 写道，“我们获取的出版商日志越多，这种模式出现的次数就越多。”

包括《纽约时报》在内的一些出版商已就这些侵权行为起诉 AI 公司。其他出版商则与人工智能公司签署了许可协议，AI 公司们也愿意为内容付费，尽管双方往往对材料的价值存在分歧。许多 AI 开发者认为，他们免费获取内容并未违反任何法律。

上一篇: 月之暗面回应：目前没有开发和发布任何海外产品的计划

钛媒体App 6月22日消息，有关月之暗面正在为进军美国市场做准备的消息引发广泛关注。据一名员工和相关知情者称，“月之暗面员工一直在开发最近在美国推出的产品，包括一款可在苹果和谷歌移动应用商店上下载的 AI

下一篇: “人工智能+”出现后在各行业带来的新变化

以生成式人工智能（AIGC）为代表的新一代人工智能技术创新加速演进，相关商业化应用成果也不断涌现，行业应用范围不断拓展，深度赋能实体经济，为行业提质增效与实现减排提供助力。自主航运初创公司OrcaAI于6月1