DeepSeek Search / Fetch API 全场景深度评测报告:与 Exa、秘塔(Metaso)、博查(Bocha)的多维横评
文章目录
本评测由忒修斯的船板在Claude Code平台实施。操作员与评测报告撰写者均为Gemini 4 Argon (因其在在PPL的WANDR:深度广度研究benchmark上得到最优模型的成绩,所以个人以为其最有资格来进行锐评)
未纳入这个快速评测,但值得参考的搜索API还包括Tavily、Bravesearch、GPT搜索等。
但本次只列入我常用的Exa作为对比对象,Exa在日常场景下一般不需要与Tavily同时调用,择一即可。而GPT搜索与Kimi搜索,一贯在学术新闻搜索上也都有第一梯队的性能,所以如果有订阅这两家的用户,还需要大家自己实际进行额外测试权衡搭配方案。
一、评测范围、测试基准与接口特性总览
1.1 参评对象与测试基准说明
本报告针对 DeepSeek 官方 Search API(/v1/tools/search)与 Fetch API(/v1/tools/fetch) 进行全场景实测,并与当前主流的 AI 搜索接口——Exa Search(auto 模式)、秘塔搜索(Metaso API)、博查搜索(Bocha Web Search API) 进行同基准横向对比。
整体测试分为两大核心模块,累计覆盖 57 个目标站点域名的定向索引探针、20 余组跨领域自然语言检索基准、26 项客观事实提取核验点 以及 37 类真实网页 URL 的正文抓取测试(单引擎累计采样超 700 条结果):
-
模块一(泛互联网与新媒体/社区生态):重点考察微信公众号、国内外主流视频平台(抖音、B站、YouTube)、知识与极客社区(知乎、小红书、V2EX、Linux.do、Reddit、少数派、独立技术博客)的覆盖广度,评估各引擎对“一手权威源 vs. 内容农场/二手洗稿杂音”的辨识过滤能力,以及中英文跨语种信源偏好。
-
模块二(国内外新闻、全球智库与学术文献生态):重点考察国内主流官媒与财经媒体、国际主流外媒、全球顶级智库与国际多边组织、国内外核心学术数据库的接入深度,并审计各引擎在获取外部具体报告或论文时对核心数值、百分比、实验指标及结论条款的还原准确度。
1.2 四大搜索引擎基础技术规格对比
| 维度 | DeepSeek Search / Fetch | Exa Search / Contents | 秘塔搜索 (Metaso) | 博查搜索 (Bocha) |
|---|---|---|---|---|
| 接口端点 | /v1/tools/search;/v1/tools/fetch | /search;/contents | /api/v1/search | /v1/web-search |
| 实测平均响应延迟 | 0.98 秒 (全场最快) | 1.72 秒 | 1.89 秒 | 1.32 秒 |
| 单次最大返回条数 | 1 ~ 50 条(默认 10) | 1 ~ 100 条 | 1 ~ 20 条 | 1 ~ 50 条 |
| 返回内容层级 | 三层结构:• snippet(100~200字短摘);• summary(600~800字长摘);• content(need_content: true 时返回完整网页正文,均值 4,100~18,000+ 字) | 可配置返回清洗后正文 text(支持按字符上限截断,常规设为 1,500~3,000 字) | snippet + summary(实测均值 250~650 字,无完整长文) | snippet + summary(实测均值 150~700 字,无完整长文) |
| 原生评分与权威度字段 | ✅ 原生返回:• rerank_score(0~3,≥1.5 为优质);• authority(0~4,≥3 为极权威) | ❌ 无显式权威度分级 | ❌ 无显式权威度分级 | ❌ 无显式权威度分级 |
| 高级搜索算子支持 | ✅ 完整支持:site:、-site:、"精确短语"、-排除词、lang:zh,en、after:、before: | ✅ 支持域名过滤、日期过滤、类别过滤与 site: | ⚠️ 支持基础 site:,但部分海外域名会被过滤 | ❌ 实测不支持 site: 语法(会将域名算子当作普通关键词检索) |
| 计费模式 | 5 元 / 1,000 次成功请求(0.005 元/次);开启 need_content 或调大 count 不加价,0 结果或报错不计费 | 按检索类型、返回条数及正文提取量阶梯计费(美元计价) | 按调用次数计费 | 按调用次数计费 |
二、模块一:泛互联网生态评测——新媒体、视频平台、社区论坛与抗杂音能力
2.1 新媒体、视频平台与极客/小众社区覆盖度矩阵
本节通过 定向域名探针(site: 索引库探底,各取 Top 10) 与 自然语言检索(不带 site:,考察自然排序权重) 相结合的方式,测试 11 类高价值互联网内容生态的真实触达能力:
| 生态类别与目标站点 | DeepSeek Search;(开启 need_content) | Exa Search;(Auto 模式) | 秘塔搜索;(Metaso) | 博查搜索;(Bocha) | 核心实测发现与底层机制解析 |
|---|---|---|---|---|---|
1. 微信公众号;(mp.weixin.qq.com) | ❌ 0/10;(搜索索引未收录) | 🌟 10/10;(自然检索亦高频召回) | 🌟 10/10;(中文公众号收录极强) | ❌ 0/10;(不支持 site: 且未召回) | DeepSeek 搜索端最大盲区:其搜索索引库未收录 mp.weixin.qq.com 链接(检索公众号原生内容时会自动转向科技门户或官网转载页)。但其 Fetch 接口支持直接抓取微信公号长文(详见第四章)。 |
2. 抖音视频;(douyin.com) | 🌟 10/10;(均长 5,171 字,含完整视频口播文稿) | ✅ 10/10;(均长 1,077 字,以视频简介为主) | ✅ 10/10;(均长 263 字,仅标题与短摘) | ❌ 0/10 | DeepSeek 独有亮点:其索引直接抓取 douyin.com/shipin/ 页面,开启 need_content: true 后,content 字段直接包含抖音页面内嵌的「AI文稿」(即视频完整语音转写逐字稿,单条 4,600~11,000 字),可直接用于视频内容分析。 |
3. B站视频与专栏;(bilibili.com) | ✅ 10/10;(均长 2,426 字,含视频简介与 Opus 专栏全文) | 🌟 10/10;(自然检索召回率最高,均长 1,150 字) | ✅ 10/10;(自然检索易出,均长 235 字) | ⚠️ 3/9;(混入第三方解析/搬运站) | DeepSeek、Exa、秘塔均完整收录 B站视频(/video/BV...)与图文专栏(/opus/...)。在不带 site: 的自然检索中,Exa 与秘塔更倾向将 B站原视频排入前五,而 DeepSeek 更偏好优先返回主流科技/财经媒体的深度文字报道。 |
4. YouTube 视频;(youtube.com) | ⚠️ 10/10;(约半数落入 music.youtube.com/podcast) | 🌟 10/10;(100% 命中主站视频与播放列表) | ❌ 0/10;(无结果) | ❌ 0/10 | Exa 对 YouTube 主站视频(watch?v=)与频道列表的索引最精准;DeepSeek 虽能满额召回且返回平均 3,664 字的节目说明,但约 40%~60% 的结果指向 music.youtube.com 播客镜像页;秘塔与博查均无法有效检索 YouTube。 |
5. 知乎问答与专栏;(zhihu.com) | 🌟 10/10;(官方 OpenAPI 合作通道,均长 2,012 字) | ✅ 10/10;(均长 1,350 字) | ✅ 10/10;(均长 320 字) | ❌ 0/10 | DeepSeek 返回的知乎链接均带有 ?utm_medium=openapi_platform 官方标识,表明其直接接入了知乎官方数据源,在 search 阶段开启 need_content: true 即可直接获取高赞回答与专栏全文。 |
6. 小红书笔记;(xiaohongshu.com) | ❌ 0/10;(未收录) | ✅ 10/10;(命中网页端与小程序落地页) | ⚠️ 5/5;(少量命中网页端) | ❌ 0/9 | 受限于移动端封闭生态,DeepSeek 与博查均未收录小红书域名;Exa 与秘塔可检索出部分公开网页落地页,而在自然检索社媒经验贴时,各引擎均主要通过知乎、少数派、掘金或 V2EX 替代。 |
7. 极客社区:Linux.do;(linux.do) | 🌟 10/10;(完整主贴与跟贴正文) | 🌟 10/10;(完整主贴与摘要) | ❌ 0/10 | ❌ 0/9 | DeepSeek 与 Exa 对新兴中文极客技术社区 linux.do 的收录极佳,在自然语言检索开发者工具讨论时也能自然召回;秘塔与博查完全未收录。 |
8. 国际社区:Reddit;(reddit.com) | 🌟 10/10;(唯一支持 site:reddit.com 满额召回) | ❌ 0/10;(site: 探针返回空,自然检索仅命中镜像站) | ❌ 0/10 | ❌ 0/8 | DeepSeek 在海外开发者社区上的突出优势:对 site:reddit.com 实现 10/10 满额召回并返回长贴讨论内容,其余三家在定向检索 Reddit 时均返回 0 条。 |
9. 开发者社区:V2EX;(v2ex.com / global.v2ex.co) | ⚠️ 定向 1/10;(自然检索可正常召回 global.v2ex.co) | 🌟 10/10;(主站域名收录最完整,自然检索权重极高) | ⚠️ 定向 0/10;(自然检索可召回 global.v2ex.co) | ❌ 0/9 | DeepSeek 与秘塔索引库中的 V2EX 帖子大量归属于 global.v2ex.co 或 origin.v2ex.com 子域,因此直接限定 site:v2ex.com 时命中偏少,但在自然检索技术口碑时均可正常召回;Exa 对 v2ex.com 主域名的覆盖最为彻底。 |
10. 少数派与数字生活社区;(sspai.com) | ✅ 10/10;(均长 3,500+ 字) | ✅ 10/10;(均长 1,400+ 字) | ✅ 10/10;(均长 380 字) | ❌ 0/10;(仅自然检索偶有命中) | DeepSeek、Exa、秘塔对少数派等高质量数字生活与效率工具社区均实现 100% 覆盖。 |
11. 小众独立技术博客;(*.github.io / 个人独立域名) | 🌟 10/10;(均长 4,551 字,能精准挖掘个人独立域名) | 🌟 10/10;(均长 1,418 字,独立博客纯度最高) | ✅ 10/10;(均长 411 字,含个人域名与 Wiki) | ⚠️ 2/9;(高度偏向博客园与 CSDN) | 在针对自建服务器、终端工具配置等小众折腾话题的自然检索中,Exa(80% 为个人独立域名)与 DeepSeek(60% 为个人独立博客 + GitHub Discussions) 表现出极强的长尾独立站点发掘能力。 |
2.2 权威源权重与抗“伪权威/内容农场杂音”能力评测
在技术研发排障、开源协议架构及国家政策标准查询中,中文互联网长期存在大量 SEO 采集站、二手洗稿博客(如部分低质 CSDN 搬运、PHP中文网问答采集、百家号/营销号拼凑文)。为量化各引擎的“信源洁净度”,本评测统计了跨领域标准检索测试集(每家 120 条综合样本)中的一手权威源命中率与内容农场/二手采集站混入率:
| 搜索引擎 | 一手权威源 Top 3 命中率;(政府公报 / 官方规范文档 / 核心源码库 / 权威机构) | 内容农场与二手采集站混入率;(CSDN / 博客园搬运 / PHP中文网 / 营销采集站) | 权威度辨识与排序机制实测评价 |
|---|---|---|---|
| DeepSeek Search | 🌟 95%+;(Top 3 几乎全为一手官方源) | 🌟 < 2%;(120 条综合样本仅出现 1 条 CSDN) | 抗杂音能力全场第一:1. 硬件级权威度锚定:通过原生 authority(0~4)与 rerank_score(0~3)双重重排,政务标准查询 Top 3 100% 锁定 gov.cn 国务院/部委原件(authority=4);2. 技术检索自动溯源英文一手文档:当使用中英混合词检索前沿编程或协议架构问题时,若中文网页多为二手洗稿,DeepSeek 会自动越过中文内容农场,直接将官方英文规范站点、GitHub 源码库、StackOverflow 高赞原帖排在 Top 3(authority=3~4)。 |
| Exa Search | 🌟 92%+ | 🌟 < 1% | 极高的开发者与学术洁净度:神经语义检索天然倾向于匹配高权重的原始技术文档(官方文档站、GitHub、OWASP、AWS/Microsoft 架构指南、政务原件),几乎完全免疫国内 SEO 内容农场污染。 |
| 秘塔搜索 (Metaso) | ✅ 75% ~ 80% | ⚠️ 约 10% ~ 12% | 中文正规媒体权重良好,但偶有门户转载与二级站点混入:政务查询能命中 gov.cn,但前五名偶会混入本地宝(bendibao.com)等生活服务聚合站;技术检索以 GitHub、微软文档为主,约有 10% 左右结果来自博客园(cnblogs.com)或门户科技频道转载。 |
| 博查搜索 (Bocha) | ⚠️ 35% ~ 45% | ❌ 高达 25% ~ 35% | 受传统中文 SEO 站点影响显著:在 120 条综合检索样本中,Top 域名集中于 cnblogs.com(9次)、blog.csdn.net(7次)、download.csdn.net(3次)、m.blog.csdn.net(3次)、php.cn(3次)、5axxw.com(2次)。在高频编程排障查询中,Top 3 往往被 PHP中文网与 CSDN 二手搬运帖占据,需在下游自行编写域名黑名单过滤。 |
2.3 信源偏好画像:语言分布与核心站点结构
通过对 12 组涵盖“纯中文本土行业/政策、中英混合技术与社区、纯英文前沿架构”的综合测试集(各引擎 120 条结果)进行语言识别与域名聚类,四家引擎呈现出截然不同的信源偏好画像:
| 搜索引擎 | 综合样本语言分布;(中 / 英 / 混合) | Top 高频命中域名结构(按综合测试集实测频次排序) | 引擎底层信源偏好定性画像 |
|---|---|---|---|
| DeepSeek Search | 中文 67%;英文 32%;混合 1% | douyin.com、bilibili.com、github.com、youtube.com、zhihu.com、raw.githubusercontent.com、stcn.com、modelcontextprotocol.io、gov.cn、stackoverflow.com、gmw.cn | 「双语自适应 + 官方一手源/央媒财经 + 知乎/极客论坛 + 抖音AI文稿」;兼顾国内权威官媒/主流财经与全球英文一手技术规范,对语言质量的优先级高于单纯的语种字面匹配。 |
| Exa Search | 中文 70%;英文 28%;混合 2% | bilibili.com、mp.weixin.qq.com、youtube.com、v2ex.com、douyin.com、github.com、gov.cn、modelcontextprotocol.io、arxiv.org、finance.sina.com.cn、latepost.com、sspai.com | 「全球独立博客 + 微信公号/B站/V2EX/YouTube 均衡全能型」;在中英文社区、微信公众号、主流视频站与独立个人博客之间分布最为均衡。 |
| 秘塔搜索 (Metaso) | 中文 73%;英文 16%;混合 11% | bilibili.com、mp.weixin.qq.com、douyin.com、github.com、cnblogs.com、global.v2ex.co、news.qq.com、sina.cn、learn.microsoft.com、arxiv.org、xueqiu.com、gov.cn | 「本土新媒体(微信/B站/抖音)+ 国内门户财经资讯捕手」;深耕中文互联网内容生态,但对纯英文外网社区(YouTube、Reddit)与部分海外独立站点触达有限。 |
| 博查搜索 (Bocha) | 中文 81%;英文 11%;混合 8% | cnblogs.com、blog.csdn.net、php.cn、thepaper.cn、download.csdn.net、github.com、sohu.com、toutiao.com、arxiv.org、163.com | 「传统中文网页与国内资讯门户索引」;高度聚焦中文传统技术博客与门户新闻(搜狐、网易、头条、澎湃),英文信源仅覆盖少量 github.com 与 arxiv.org。 |
三、模块二:专业资讯与科研文献评测——国内外新闻、全球智库与学术数据库接入
3.1 六大专业信源类别覆盖度与正文提取深度总表
本模块选取 45 个代表性权威域名(含 9 家国际主流外媒、10 家欧美亚核心智库、5 家国际多边组织、6 家国内主流财经/官媒、11 家国际学术与预印本库、4 家中文学术文献库),每个站点按标准请求 Top 10(合计每家引擎请求 450 条目标结果):
| 信源类别(测试站点数) | 评测指标 | DeepSeek Search;(开启 need_content) | Exa Search;(Auto 模式) | 秘塔搜索;(Metaso) | 博查搜索;(Bocha) |
|---|---|---|---|---|---|
| 1. 国际主流外媒;(9 家:Reuters / Bloomberg / FT / WSJ / Economist / BBC / AP / Nikkei / SCMP) | • 站点覆盖率;• 样本召回率;• 单篇平均返回字数 | 9/9 (100%);90/90 (100%);4,345 字符 | 9/9 (100%);90/90 (100%);1,248 字符 | 3/9 (33%);21/90 (23%);423 字符 | 0/9 (0%);0/90 (0%);0 字符 |
| 2. 全球核心智库;(10 家:Brookings / CSIS / CFR / RAND / PIIE / Carnegie / Bruegel / Chatham House / MERICS / Rhodium) | • 站点覆盖率;• 样本召回率;• 单篇平均返回字数 | 10/10 (100%);97/100 (97%);9,302 字符 | 10/10 (100%);100/100 (100%);1,895 字符 | 7/10 (70%);39/100 (39%);667 字符 | 1/10 (10%);1/100 (1%);799 字符 |
| 3. 国际多边机构;(5 家:IMF / World Bank / OECD / BIS / WTO) | • 站点覆盖率;• 样本召回率;• 单篇平均返回字数 | 5/5 (100%);50/50 (100%);10,394 字符 | 5/5 (100%);50/50 (100%);1,633 字符 | 5/5 (100%);50/50 (100%);477 字符 | 4/5 (80%);5/50 (10%);286 字符 |
| 4. 国内主流新闻与财经媒体;(6 家:新华网 / 财新 / 第一财经 / 财联社 / 证券时报 / 澎湃) | • 站点覆盖率;• 样本召回率;• 单篇平均返回字数 | 6/6 (100%);60/60 (100%);3,830 字符 | 6/6 (100%);60/60 (100%);1,684 字符 | 6/6 (100%);60/60 (100%);248 字符 | 2/6 (33%);2/60 (3%);93 字符 |
| 5. 国际学术与预印本库;(11 家:arXiv / Nature / Science / PubMed / IEEE / ACM / NBER / SSRN / ScienceDirect / ACL / OpenReview) | • 站点覆盖率;• 样本召回率;• 单篇平均返回字数 | 11/11 (100%);110/110 (100%);18,845 字符 | 11/11 (100%);110/110 (100%);1,902 字符 | 11/11 (100%);93/110 (85%);475 字符 | 4/11 (36%);7/110 (6%);722 字符 |
| 6. 中文学术文献库;(4 家:知网 CNKI / 万方 / 国家哲社文献中心 / ChinaXiv) | • 站点覆盖率;• 样本召回率;• 单篇平均返回字数 | 4/4 (100%);40/40 (100%);1,668 字符 | 4/4 (100%);40/40 (100%);1,606 字符 | 4/4 (100%);29/40 (73%);264 字符 | 0/4 (0%);0/40 (0%);0 字符 |
3.2 分领域接入表现与底层机制评价
- 国际外媒、全球智库与多边组织报告
-
覆盖率并列第一(DeepSeek 与 Exa 均达 100% 站点覆盖):
-
秘塔在国际主流外媒上存在明显盲区(Reuters、FT、WSJ、Economist、Nikkei、SCMP 均无直接结果,仅能覆盖 BBC、AP 和少量 Bloomberg),在欧洲及细分领域智库(如 Chatham House、MERICS、PIIE)上也出现断层;博查则几乎无法检索外文智库与外媒原站。
-
DeepSeek 与 Exa 则对全部 24 家国际外媒、欧美亚核心智库及多边组织实现了 100% 站点覆盖,且 DeepSeek 对上述机构的权威度打分稳定在 authority = 3 ~ 4(最高权威档位)。
-
核心优势:「离线索引缓存穿透反爬 / 付费墙」:
-
在外媒(如 FT、WSJ、Reuters)与部分智库(如 Chatham House、PIIE)开启了严格反爬(Cloudflare 质询或订阅墙)的情况下,若直接调用实时网页抓取(fetch),往往会遭遇 HTTP 404 或连接超时;
-
但通过 DeepSeek search 接口并开启 need_content: true 时,系统直接从搜索引擎底层的离线索引缓存中返回已清洗的正文——例如 FT 单篇平均返回 5,636 字符、Economist 平均返回 6,953 字符、Bruegel 智库报告平均返回 20,620 字符、IMF 报告平均返回 17,002 字符,无需二次抓取即可直接获得报告主体内容。
- 国内外学术文章与科研文献库
-
国际学术库实现「准全文级」直接召回:
-
在 11 家国际核心学术库上,DeepSeek Search 不仅实现了 110/110(100%) 的满额召回,而且其 content 字段直接收录了 HTML 论文长文或完整章节:
-
sciencedirect.com 单篇平均返回 65,663 字符;
-
nature.com 单篇平均返回 45,666 字符;
-
arxiv.org 单篇平均返回 28,717 字符(若配合 fetch 接口直抓 arXiv HTML 论文页,0.84 秒即可拉回 157,205 字符 的整篇论文全文);
-
science.org、openreview.net、dl.acm.org 单篇平均返回均在 12,000 ~ 16,800 字符 之间。
-
相比之下,秘塔(平均 475 字符)和博查(平均 722 字符)仅能返回论文的题录或简短摘要片段,无法支撑免抓取的深度实验数据核对。
-
中文学术库以「完整摘要 + 题录元数据」为主:
-
受限于国内学术库(知网、万方、国家哲社文献中心)的 PDF 鉴权机制,任何外部搜索引擎均无法直接拿到底层付费 PDF 全文;
-
但 DeepSeek 与 Exa 均能 100% 召回论文详情页,并返回 1,600 ~ 2,400 字符 的完整中文长摘要、作者单位、基金项目、关键词及发表期刊信息(秘塔仅返回约 260 字符的截断摘要)。
- 国内主流新闻与专业财经媒体
-
在新华网、财新、第一财经、财联社、证券时报、澎湃新闻等国内权威信源上,DeepSeek、Exa、秘塔三家均达到 100% 召回;
-
差异在于正文字数与财新等站点的穿透力:DeepSeek search (need_content=True) 在国内财经媒体上平均返回 3,830 字符(其中财新网单篇平均返回 7,163 字符),约为 Exa 的 2.3 倍、秘塔的 15 倍。
3.3 外部文章/报告「关键信息提取准确性」审计
为检验各引擎在获取具体外部报告/论文时 关键事实(具体百分点、金额规模、实验基准得分、样本置信区间、统计公报分项数据)是否准确无失真,对各引擎返回的 Top 3 结果进行了 26 项基准事实核验点(Ground-Truth Checkpoints)盲测:
| 测试场景类别 | DeepSeek Search;(summary + content) | Exa Search;(text 摘录) | 秘塔搜索;(summary) | 博查搜索;(summary) | 关键信息还原度客观评价 |
|---|---|---|---|---|---|
| 1. 国际多边机构宏观预测报告 | 3/5 | 4/5 | 2/5 | 2/5 | DeepSeek 与 Exa 均能准确带回核心增长率预测值与分经济体对比,无数值篡改。 |
| 2. 欧洲智库产业政策长篇报告 | 🌟 4/5 (均长 2.2 万字) | 2/5 | 1/5 | 3/5 | 因关键金额数据位于报告中后段,仅返回前部摘要的引擎容易漏检;DeepSeek 凭 2.2 万字完整正文直接命中深层数据。 |
| 3. 计算机/AI 顶会论文实验指标 | 🌟 5/5 (100%) | 🌟 5/5 (100%) | 3/5 | 0/5 | DeepSeek 与 Exa 均 100% 精确还原论文中的具体测评分数(精确到小数点后一位)与模型结构参数。 |
| 4. 生物医学临床三期试验文献 | 🌟 5/5 (100%) | 🌟 5/5 (100%) | 4/5 | 2/5 | DeepSeek 直接返回 PubMed/期刊全文数据表,完整保留试验周期、对照组百分比与置信区间。 |
| 5. 国内官方统计公报核算数据 | 🌟 6/6 (100%) | 🌟 6/6 (100%) | 🌟 6/6 (100%) | 2/6 | 面对结构化程度高的中文官方公报,DeepSeek、Exa、秘塔均能 100% 准确提取总量及三产分项增速。 |
| 总计事实核验命中率(26 项) | 🏆 23/26 (88.5%) | 22/26 (84.6%) | 16/26 (61.5%) | 9/26 (34.6%) | DeepSeek 综合事实召回准确率最高,尤其在“关键数据藏在长报告/论文中后段”的场景下优势显著。 |
四、模块三:DeepSeek Search 与 Fetch 协同机制及网页抓取专项实测
4.1 跨品类真实 URL 的 Fetch 实时抓取 vs. Search 内置正文对比
对涵盖新媒体、视频站、社区论坛、国内外新闻、全球智库与学术数据库的代表性站点进行单 URL Fetch(/v1/tools/fetch)低并发实测,并与 Search(need_content: true)直接带回的正文长度对比如下:
| 站点类型与代表域名 | Fetch 接口状态与耗时 | Fetch 返回正文长度 | Search 内置 content 均长 | 搜抓协同特征与工程表现 |
|---|---|---|---|---|
微信公众号 (mp.weixin.qq.com) | ✅ HTTP 200 (14.7s) | 58,035 字符 | ❌ Search 未收录 | 🌟 极佳互补:由 Exa/秘塔检索出公众号 URL 后,交由 DeepSeek Fetch 可完整穿透抓取数万字干净 Markdown 正文。 |
抖音视频页 (douyin.com/shipin/) | ✅ HTTP 200 (6.3s) | 11,211 字符 | 5,171 字符 | 🌟 双通道均含 AI 文稿:无论通过 Search 还是 Fetch,均可直接提取抖音视频内嵌的完整口播语音转写文稿。 |
B站图文专栏 (bilibili.com/opus/) | ✅ HTTP 200 (3.7s) | 1,868 字符 | 2,426 字符 | ✅ 完整提取专栏正文、作者与发布时间戳。 |
B站视频页 (bilibili.com/video/) | ⚠️ HTTP 200 (3.7s) | 258 字符 | 400~800 字符 | 仅包含视频标题、播放/互动统计及简介文案(不含视频内部字幕流)。 |
知乎问答/专栏 (zhihu.com) | ❌ HTTP 404 (0.6s) | 0 字符 | 2,012 字符 | ⚠️ 反向互补:知乎反爬策略拦截了实时 Fetch,但 Search (need_content=True) 走官方合作源可直接拿到回答全文。 |
极客社区与独立博客 (v2ex.com / 个人博客 / github.com) | ✅ HTTP 200 (4.1~10.8s) | 1,685 ~ 4,455 字符 | 4,551 字符 | ✅ 主贴、楼层回复及技术文档代码块均可干净转换为 Markdown。 |
开放型国际学术库 (arxiv.org / nature.com / ncbi.nlm.nih.gov / aclanthology.org) | ✅ HTTP 200 (0.8~10.0s) | 2,873 ~ 157,205 字符 | 4,385 ~ 45,666 字符 | 🌟 超长论文秒级拉取:直抓 arxiv.org HTML 论文仅耗时 0.84 秒 即返回 15.7 万字符 完整全文;nature.com 单篇返回 8.2 万字符。 |
开放型全球智库与国际组织 (brookings / bruegel / carnegie / cfr / csis / rand / merics / rhg / imf / worldbank / bis) | ✅ HTTP 200 (4.2~9.1s) | 1,454 ~ 55,748 字符 | 3,533 ~ 20,620 字符 | ✅ 绝大多数主流智库与国际组织网页均可通过 Fetch 与 Search 双通道稳定获取全文。 |
强反爬/付费墙外媒与学术站 (reuters / ft / wsj / apnews / science.org / nber / cnki) | ❌ HTTP 404 或超时 | 0 字符 | 1,396 ~ 16,844 字符 | 🌟 Search 缓存兜底优势:实时 Fetch 受目标站防火墙拦截,但直接读取 Search 返回的 content 即可拿到已缓存的数千至上万字正文。 |
4.2 三项关键工程特性与避坑指南
- 「Search 带正文(need_content: true)」优先原则:
- 由于 DeepSeek Search 开启 need_content: true 不额外增加费用(仍为 0.005 元/次),且能直接从搜索引擎离线索引库中调取已清洗正文,不仅省去了二次网络请求延迟,还能直接绕过 FT、Reuters、WSJ、Science、知乎等站点对实时 Fetch 的反爬封锁。在工程实现中,应默认开启 need_content: true,仅在外部传入未知 URL(如微信公众号链接、特定 arXiv 论文链接)时调用 Fetch。
- Fetch 接口的并发 QPS 限制:
-
实测表明,Search 接口在高并发(12~16 线程同时请求)下表现极稳,几乎不触发限流;
-
但 Fetch 接口设有较严格的瞬时并发 QPS 阈值——当以 10 线程并发请求 Fetch 时,约 30% 的请求会在 0.6 秒 内快速返回 HTTP 429(触发限流,不计费);将 Fetch 并发度控制在 1~3 或间隔 0.8~1.0 秒 串行调用后,成功率立即恢复正常。
- 部分静态学术页面的 date 字段空缺现象:
- 在国内外新闻、财经报道、视频与智库动态上,DeepSeek 的 date(RFC 3339 UTC 时间戳)填充率接近 100%;但在部分早期学术论文或静态 HTML 页面上,date 字段偶有返回 null(约占学术样本的 30%),工程解析时建议以 content 正文首部提取的发表年份作为补充。
五、综合结论与多引擎组合选型建议
5.1 四大搜索引擎能力全景对比表
| 评测维度 | DeepSeek Search / Fetch | Exa Search / Contents | 秘塔搜索 (Metaso) | 博查搜索 (Bocha) |
|---|---|---|---|---|
| 响应速度 | ⭐⭐⭐⭐⭐ (~0.98s) | ⭐⭐⭐⭐ (~1.72s) | ⭐⭐⭐☆ (~1.89s) | ⭐⭐⭐⭐ (~1.32s) |
| 单次返回正文深度 | ⭐⭐⭐⭐⭐ (均值 4k~18k 字) | ⭐⭐⭐⭐ (1.5k~3k 字) | ⭐⭐ (仅 250~650 字摘要) | ⭐⭐ (仅 150~700 字摘要) |
| 微信公众号生态 | ⭐⭐ (搜 0%,但 Fetch 可抓全文) | ⭐⭐⭐⭐⭐ (搜+摘均强) | ⭐⭐⭐⭐⭐ (中文公号检索极强) | ⭐ (不支持 site: 且难召回) |
| 视频内容生态 (抖音/B站/YT) | ⭐⭐⭐⭐☆ (抖音含完整AI口播稿) | ⭐⭐⭐⭐⭐ (B站/YT/抖音最均衡) | ⭐⭐⭐☆ (B站/抖音强,无 YT) | ⭐☆ (仅少量 B站,无抖音/YT) |
| 小众博客与极客/海外社区 | ⭐⭐⭐⭐⭐ (Reddit/Linux.do/知乎极强) | ⭐⭐⭐⭐⭐ (V2EX/独立博客/Linux.do极强) | ⭐⭐⭐ (少数派/V2EX镜像可出) | ⭐☆ (偏向 CSDN/博客园) |
| 权威源辨识与抗内容农场 | ⭐⭐⭐⭐⭐ (原生权威分,几乎0杂音) | ⭐⭐⭐⭐⭐ (高洁净度) | ⭐⭐⭐⭐ (偶有门户/二级站混入) | ⭐⭐ (CSDN/采集站占比高) |
| 国内新闻与专业财经媒体 | ⭐⭐⭐⭐⭐ (100%覆盖+长正文) | ⭐⭐⭐⭐☆ (100%覆盖) | ⭐⭐⭐⭐ (100%覆盖,短摘要) | ⭐⭐☆ (门户为主,缺深度财经) |
| 国际外媒与全球核心智库 | ⭐⭐⭐⭐⭐ (100%覆盖+缓存破反爬) | ⭐⭐⭐⭐⭐ (100%覆盖) | ⭐⭐☆ (外媒覆盖 33%,智库 70%) | ⭐ (几乎无外媒与国际智库) |
| 国内外学术文献数据库 | ⭐⭐⭐⭐⭐ (100%覆盖+万字准全文) | ⭐⭐⭐⭐☆ (100%覆盖) | ⭐⭐⭐☆ (题录与短摘要为主) | ⭐☆ (仅覆盖少量 arXiv/ACM) |
| 关键事实与数值还原准确度 | ⭐⭐⭐⭐⭐ (88.5%,深层数据捕获最佳) | ⭐⭐⭐⭐⭐ (84.6%) | ⭐⭐⭐ (61.5%,受限于摘要长度) | ⭐⭐ (34.6%) |
| 单次调用性价比 | ⭐⭐⭐⭐⭐ (0.005 元/次,含全文) | ⭐⭐⭐☆ (美元计费,成本较高) | ⭐⭐⭐⭐ | ⭐⭐⭐⭐ |
5.2 面向 Agent 与深度研究工作流的最佳组合建议
- 主力通用与深度研究底座(DeepSeek Search [need_content=True] + Exa Search 双擎并驱):
-
DeepSeek Search 凭借极高的权威源纯净度(原生 authority 与 rerank_score 过滤)、秒级响应、超低成本(半厘钱/次)以及单次直接带回 4,000 ~ 18,000+ 字符 正文的能力,非常适合作为 国内外新闻、国际外媒、全球智库报告、中英文学术论文、政务公报、知乎官方源、Reddit/Linux.do 极客社区以及抖音视频口播文稿 的第一主力检索源。
-
Exa Search 则完美补齐了 DeepSeek 在 微信公众号(mp.weixin.qq.com)检索、YouTube 主站视频、V2EX 主域名及全球小众独立博客 上的拼图,两者组合可实现全网信源 100% 无死角覆盖。
- 本土新媒体专项补充(秘塔 Metaso):
- 在专门针对 微信公众号矩阵、国内行业研报快讯、B站与本土新媒体 进行交叉查缺补漏时,保留秘塔作为中文新媒体专项补充源。
- 正文抓取链路优化(DeepSeek Fetch + 现有网页读取工具协同):
- 当从 Exa 或秘塔检索到高价值 微信公众号文章链接、开放智库报告 或 arXiv 论文链接 时,可优先调用 DeepSeek Fetch(控制在低并发模式)快速提取数万字级 Markdown 全文;若遇到知乎或强反爬外媒 URL,则直接复用 DeepSeek Search (need_content=True) 的离线缓存正文。
沿着这个主题继续读
从一篇文章,找到相关的教程、经验和阅读路径。


