AI 真的能帮你学习吗？我复现了一篇 1000 人的顶刊实验，发现了残酷的真相

Cheery·约 6 分钟阅读

2026年10月19日10月19日

文章封面：AI 真的能帮你学习吗？我复现了一篇 1000 人的顶刊实验，发现了残酷的真相

现在很多人都说：想学什么，让 AI 教你就行了。

写文案，问 AI；学编程，问 AI；看不懂一篇论文，也丢给 AI。

可事实是，AI 真的教会你了吗？你真的学会了吗？

有一篇 PNAS 论文给出了一组很扎心的数据：

用 AI 做练习，成绩高了 48%。撤掉 AI 独立考试，成绩反而低了 17%。

看到它的时候，我想到了身边很多人学 AI 的样子。

一、会使用 AI，不等于学会使用 AI

你是不是也这样：

想用 AI 做图，就去网上找教程，复制别人的提示词；想搭一个工作流，就去网站上找别人做好的 Skill，下载下来直接用。

东西确实做出来了，可那些提示词、那些 Skill，都是别人的。

你只是照着别人的步骤，一步一步操作。下次再遇到一件类似的事，你还是得回去翻别人的文章、找别人的模板。

用了很久 AI，自己却写不出一句像样的提示词。

这段时间也教过很多身边的人用 AI，我发现他们每次来问我的，其实都是同一个问题，只是换了一个工具。

这到底算不算学会？

这次我没有凭感觉回答，而是自己做了一次小研究。

二、我用 Open Science 研究了这个问题

研究案例是这篇论文：

📄 《Generative AI without guardrails can harm learning: Evidence from high school mathematics》（没有护栏的生成式 AI 可能损害学习：来自高中数学的证据，PNAS）

研究团队在土耳其一所高中做了随机对照实验，近 1000 名学生分成三组：

对照组：只用课本和笔记
GPT Base 组：用普通聊天式 AI
GPT Tutor 组：用带学习引导的 AI 导师，只给分步提示，不直接给答案

论文的结论是：练习阶段，两个 AI 组都明显更好；但到了独立考试，GPT Base 组比对照组低了 17%，GPT Tutor 组基本持平。

有些学生在借助 AI 学习，有些学生只是在借助 AI 完成答案。

论文作者公开了数据和分析代码。我没有只读结论，而是在 Open Science 里新建了一个研究项目，把论文和公开数据导进去，重新检查实验分组、练习成绩和独立测试成绩。

我给它的研究任务是这样的：

请读取我上传的论文和公开数据，帮我检查：三个实验组的样本量是否均衡；三组在练习阶段和独立考试阶段的平均成绩；用 Python 画一张对比图；把结果和论文结论对比，说明是否一致。保存分析代码、图表和一份简短报告。

Open Science 先把任务拆成五步执行计划，我确认计划后，它才开始读取论文、核对字段并运行分析。

我的发现

按照论文主样本口径排除 Honors 班级后，实际分析包含 839 名学生、2,899 条学生—session 记录。

Control：Part 2 练习均值 0.283829，Part 3 独立考试均值 0.321426
GPT Base：Part 2 0.473687，Part 3 0.286896
GPT Tutor：Part 2 0.668985，Part 3 0.315200

两种 AI 组在有辅助的练习阶段都高于 Control；撤掉 AI 后，GPT Base 的独立考试均值低于 Control，GPT Tutor 则接近 Control。这个方向与论文控制变量后的回归结论一致。

但必须强调：这里复现的是未调整的描述性均值，不是因果效应。论文所说的“独立考试下降17%”，来自控制前一年 GPA、session、评分者、年级和教师固定效应，并按班级聚类标准误后的回归结果，不能直接用本次均值差替代。

对我这种不会写代码的人来说，最有用的是每一步都查得到：数据从哪来、代码跑了什么、图是怎么画出来的，全都保留在执行记录里。

三、问题不在于用不用 AI，而在于人有没有参与思考

AI 本身不是问题。同样是用 AI，GPT Tutor 组没有退步，因为它逼着学生自己想下一步。

值得一提的是，GPT Tutor 的引导规则是老师事先写好的：只给提示，不给答案。AI 能不能帮你学习，很大程度上取决于它被怎样使用。

直接复制 AI 的答案，只是在借助 AI 完成任务。

真正学会，是能自己定义问题，能判断和修改 AI 的方案，换一个场景后还能重新做出来。

四、如何检查一个人是否真的学会

我让 Open Science 结合这次的研究数据，整理出三条检查标准。每一条都能在论文里找到依据：

✅ 撤除工具后，能不能独立完成概念相近的新题？论文把 Part 3 设计成闭卷、关闭电脑、无资源的独立评估。本次复现中，GPT Base 的练习均值比 Control 高 0.189858，但独立考试均值低 0.034530，说明练习表现不等于真正掌握。

✅ 能不能把“有帮助时的表现”和“无帮助时的保持与迁移”分开看？如果只看有 AI 帮助时的结果，很容易高估学习效果。是否学会，要看撤掉工具之后还能不能保持和迁移。

✅ 学习过程中有没有独立尝试、推理和错误校正？论文的交互机制分析指出，学生容易把无护栏的 GPT Base 当成“拐杖”；GPT Tutor 则鼓励提示式学习，而不是直接给答案。

五、这也改变了我设计 AI 直播课程的方法

现在我的直播课不只演示怎么做，还加入了独立任务、错误识别和最终项目验收。

判断学员有没有学会，不只看他交出来的结果，还要看他能不能理解、检查并复现过程。

六、我的答案

AI 真的能帮你学习吗？能，但有前提。

同样是用 AI，有人考试退步了，有人没有。区别不在于用不用 AI，而在于思考是谁完成的。

学会使用 AI，不是记住几个提示词，也不是跟着教程做出一个结果。

真正学会，是面对一个新问题时，知道怎样和 AI 分工，能检查它的工作，并对最终结果负责。

七、我为什么用 Open Science 完成这次研究

这次研究用的是 AIPOCH Open Science。

它是一款开源、不绑定单一模型的 AI 科研工作台。查文献、读数据、跑 Python 或 R、画图表、整理研究报告，都可以在同一个工作空间里完成。

开源，支持 macOS、Windows 和 Linux
不绑定模型：可以接各家模型，也能直接用你已有的 Codex 订阅登录
项目和研究记录默认保存在本地。如果用了云模型、联网搜索或外部连接器，相关数据会按你选择的服务商和权限来处理

但真正让我觉得"这个工具不一样"的，是下面这一步。

研究做完，可以打包带走，换个 AI 接着做

在 Open Science 里，整个研究可以导出成一个 .science 研究包，里面有数据来源、分析代码、执行记录和图表。

我把这次研究导出后，交给了 Codex，让它接着往下做：

这是我在 AIPOCH Open Science 里完成的研究包。请先读取里面的数据、代码和执行记录，总结之前的研究做到哪一步了。然后在此基础上，按年级拆分分析三组学生的练习成绩和考试成绩，画图并说明发现。

Codex 不需要我重新解释背景。它从研究包中识别出 analysis.py、group_summary.csv、learning_results.png 和 report.md，还原了之前做过的分析和结论，同时指出本次只完成描述性均值，没有重建论文完整回归、显著性检验和班级聚类标准误。

接着，Codex 按 9、10、11 年级继续拆分。新的描述性结果显示：GPT Tutor 在三个年级的 Part 2 练习均值都最高，11 年级最明显（0.771，Control 为 0.394）。Part 3 的年级差异更复杂：GPT Base 在 10 年级为 0.338，但在 9、11 年级都低于 Control，11 年级只有 0.163；GPT Tutor 在 9、11 年级接近 Control，在 10 年级低于 Control。

这些仍然是未调整的描述性均值，不能写成不同年级上的因果效应。