Theorizer 0.2.0:AI 怎样从论文证据生成理论,而不只是做摘要
让大模型读一批论文并不难,难的是让它提出一个值得检验的新解释,同时回答三个问题:这个解释依赖哪些观察、适用范围在哪里、每条证据来自哪篇论文。
Ai2 在 11 月 19 日把 Theorizer 接入 Asta 网页,并开放了 Python 库与完整工作流。它不是另一个“上传 PDF 后聊天”的界面,而是把规划问题、检索论文、抽取证据、组合理论和评估结果拆成可检查的阶段。0.2.0 版代码还保留了每次运行的中间文件,让研究者可以在生成理论前修改抽取结构,也能沿着证据编号追溯回原论文。
这件事现在值得关注,是因为科研 Agent 常把“能引用论文”说成“能做研究”。Theorizer 给出了更具体、也更容易被质疑和复现的工程答案:先把论文转成有出处的证据卡片,再让模型用这些卡片搭理论,而不是让模型凭参数记忆自由联想。
它解决的不是问答,而是证据组合
普通文献问答通常从检索结果中找几个相关段落,再生成一个直接答案。这样的 RAG 很适合回答“某种蛋白有什么作用”,却不天然适合处理“哪些分散现象可能由同一机制解释”。后一个问题需要比较多篇论文里的变量、条件、异常和相互矛盾的结果。
Theorizer 的完整流程可以概括为五步:
- 把自然语言研究问题改写成理论请求、论文检索词和抽取结构;
- 搜索或导入论文,网页端使用 Asta PaperFinder,本地库则由用户提供论文或 Semantic Scholar ID;
- 按同一结构逐篇抽取发现,每条记录生成稳定的 UUID;
- 把跨论文记录组合成候选理论,写明规律、适用范围和支持证据;
- 保存理论与证据记录之间的关联,供导出、复核和后续评估。
可以把它想成一次案情研判。普通聊天模型像让分析员凭读过的材料直接写结论;Theorizer 先要求每份材料填写同一种证据表,再让分析员拼出解释,并在每个判断后标上证物编号。编号不能保证判断正确,但能让人快速找到它依据了什么。
论文把理论形式化为一组 <LAW, SCOPE, EVIDENCE>:LAW 是变量之间的关系,SCOPE 是关系成立的条件,EVIDENCE 是支持它的文献观察。这一结构很朴素,却能阻止“模型写得像理论”与“理论确有文献支撑”被混成一件事。
为什么它不等于给 RAG 多写一个提示词
区别不只在提示词,而在数据流和可干预的中间状态。
| 方案 | 主要输出 | 证据处理 | 适合任务 |
|---|---|---|---|
| 直接问大模型 | 一段回答或假设 | 主要依赖参数记忆,引用可能后补 | 快速头脑风暴 |
| 文献 RAG | 基于检索片段的回答 | 引用通常对应回答片段 | 查事实、做摘要 |
| Theorizer | 带范围和证据的候选理论 | 先逐篇结构化抽取,再跨论文组合,并保存证据 UUID | 从多篇论文寻找共同机制或矛盾 |
研究者可以先只跑少量论文,检查模型设计的抽取字段是否真的能捕捉问题;字段不合适就修改 Schema,再扩大语料。抽取、变量发现、理论生成和评估也可以分别调用,不必把整个流程当成不可见的一次性 Agent。
这种设计还有一个实际好处:失败不一定要从头付费。运行目录会保存规划、论文、抽取结果、扁平化记录、理论和日志,后续可以从已有阶段继续。对于每篇论文都要调用模型的流程,中间状态既是审计材料,也是成本控制手段。
先做零 API 成本的安装验证
本地版要求 Python 3.12 以上。真正生成理论需要 OpenAI 或 Anthropic API,也可能用到 Semantic Scholar 与 Mistral OCR;在投入这些付费调用前,可以先固定 0.2.0 源码并运行仓库自带的离线测试:
git clone https://github.com/allenai/asta-theorizer.git
cd asta-theorizer
git checkout 7091964ddaef42a552fa48763361e7bc101f83b8
uv sync --extra dev
uv run python tests/RunAllTests.py2
3
4
5
我在 Linux x86-64、Python 3.12.14 和 uv 0.13.9 环境执行了这组命令,仓库列出的 24 个测试文件全部通过。测试覆盖论文导入、流水线、证据关联、持久化、断点继续、超时处理和符号求解等路径,使用的是替身模型,没有向真实模型 API 发请求。
这里应使用项目的 tests/RunAllTests.py,而不是直接把目录交给 pytest。部分测试脚本需要由这个入口分别创建临时运行目录,直接调用 pytest 会把这些参数误判为缺失的 Fixture。
通过离线测试只能说明代码在当前环境能够安装、核心数据流按测试预期工作,不能证明它生成的科学理论有效。下一步最小试用可准备六篇 Markdown 论文,运行仓库的完整示例:
export OPENAI_API_KEY='你的受限额度测试密钥'
uv run python examples/01_FirstRun.py ./papers2
仓库示例会依次规划问题、导入前六篇论文、抽取记录并生成理论,所有结果写入 example-01-run/。这一步会产生真实模型费用;我没有在缺少用户 API 密钥的环境代为运行,也没有把示例输出当成独立实测结果。
如果只有 PDF,可以先自行转成 Markdown 再导入。让 Theorizer 直接处理 PDF 需要指定 Mistral OCR 并提供对应密钥。网页端最省事,但只能使用能取得全文的开放获取论文;本地版可以处理用户合法取得的论文文件,不过 0.2.0 本地库不负责自动搜索论文,语料选择仍要由人或外部检索工具完成。
论文里的结果应该怎样理解
Theorizer 的 ACL 2026 论文使用 13,744 篇来源论文生成了 2,856 个理论,并把候选理论与之后发表的 4,554 篇论文比较。作者希望用“后来的研究是否出现相似结果”测试理论有没有预测性,而不只让另一个模型判断文字是否合理。
这个设计比只报一个 LLM 评分更有说服力,但仍不是“AI 已发现科学定律”的证明。后续论文与候选理论相似,可能说明它捕捉到了正在形成的方向,也可能受到语料边界、检索覆盖和文本相似性判断影响。论文同时使用 LLM 评审来衡量解释力、合理性和新颖性,这些分数应被理解为作者设定下的评测,而不是同行复现实验。
论文还报告,基于检索文献的方案成本接近只依赖模型参数记忆方案的七倍。这正是证据链的代价:论文搜索、全文处理和逐篇抽取都要消耗时间与模型调用。项目 README 给出的经验值是,约 100 篇论文的一次本地运行可能需要 30 到 60 分钟,具体取决于模型速度和 API 限流;它不是适合随手试一个问题的廉价聊天功能。
哪些场景值得用,哪些不值得
Theorizer 更适合以下任务:
- 一个问题的证据散落在许多论文中,需要统一抽取变量和实验条件;
- 研究者想寻找多个异常现象背后的共同解释;
- 团队需要保留“理论—抽取记录—原论文”的审计链;
- 需要反复调整抽取 Schema,而不是接受一次黑盒回答。
它不适合替代系统综述的纳入排除流程,也不应直接承担临床、监管或实验决策。模型可能误读论文、把相关性写成因果、遗漏反例,或者把已有观点误判为新颖。Ai2 自己在发布文章中也提醒:Theorizer 会尝试检查理论是否已被提出,但可能漏掉早期工作或误判原创性。
最关键的边界仍是语料。如果全文拿不到、检索词偏了,或者只导入支持某个方向的论文,后面的结构化流程只会把偏差整理得更整齐。UUID 能证明“这句话来自哪条记录”,不能证明记录抽对了,更不能证明候选机制在实验中成立。
因此更稳妥的用法不是让它替研究者宣布发现,而是把它当成一台可拆开的假设生产线:先用小语料检查抽取表,再扩大范围;让领域专家抽查证据链;把候选理论改写成能证伪的实验;最后由真实数据决定它是否成立。
💬 评论