Mintlify 报告:大模型爬虫究竟有多频繁访问 llms.txt
2026-11-05Mintlify约 1 分钟阅读
文献归档与全文阅读 • 本地全文存档
Mintlify 爬虫日志审计:AI 爬虫访问 llms.txt 的真实频次
文档托管服务商 Mintlify 分析了旗下数万个技术文档站点的 Nginx 访问日志,统计出主流大模型爬虫拉取根目录概览文件的访问规律。
一、主动抓取特征
一旦技术文档的 Sitemap 有更新,GPTBot 和 Claude-SearchBot 通常会在几小时内发出高频请求读取 llms.txt。
二、缓存周期窗口
不同于传统搜索引擎数周一次的刷新频率,各大 AI 搜索引擎在本地对 llms.txt 的缓存时间通常为 1 小时~24 小时。如果文档参数变动频繁,建议同步提供动态 API 端点输出。
前沿文献
觉得本文有启发?一键复制标准引用摘要
自带原文归因链接与核心摘要,可直接粘贴至团队飞书/Slack 知识库、技术周报或大模型上下文。