据悉：
面向 AI 爬虫的页面采用 Markdown 格式。相比普通网页中的图片、菜单和显示代码，Markdown 更便于基于文本的 AI 系统解析文章和链接。

施马尔巴赫测试通过更改 User-Agent（用于标识访问网站的浏览器或爬虫类型）测试《时代》网站。

测试结果显示，常规浏览器访问时，TIME 返回约 303KB 的 HTML；当访问身份改为 ClaudeBot 和 PerplexityBot 后，网站返回约 13KB 的 Markdown。

实际响应头中，content-type 被设为 text / markdown，说明服务器向这些爬虫发送的是 Markdown 内容。本站附上相关截图如下：

此外在内容方面，《时代》针对 AI 爬虫的 Markdown 内容还整合了定向广告，该服务由 AI 广告技术公司 Mobian 提供。

为了让生成式 AI 更容易读取广告主信息，在专题页和其他栏目中，页面还包含问答格式的赞助信息。这些广告明确标注为赞助内容，但在人类读者访问情况下不会出现。




https://www.xyfan.com/data/attac ... 7e11601485060eb.jpg
（转载IT之家）