Agent不会搞科研?人大微软开源框架&工具包解决盲目试错通病,抱抱脸日榜第一

5个月前发布 jovi
1 0 0

Agent不会搞科研?人大微软开源框架&工具包解决盲目试错通病,抱抱脸日榜第一

写代码、跑实验、改项目、迭代方案,现在的AI智能体样样都能搞定。
但绝大多数Agent,始终跨不过一道核心门槛:只是强大的执行器,不会进行自主科研。
它们可以一次次修改代码、运行评测、记录日志,但很难稳定地把假设、证据、失败与经验组织成一个持续演化的研究状态。
随着任务变长,Agent往往会退化成线性的局部试错:试一个方向,失败;再试一个方向,再失败;即便偶尔成功,也很难把成功背后的机制沉淀下来,指导后续探索。
为此,来自中国人民大学高瓴人工智能学院和Microsoft Research的研究者提出了Arbor:通用且实用的自主科研的框架与开源工具包。
借助Hypothesis-Tree,Arbor对优化空间进行结构化探索,不是通过test-time scaling让Agent尝试更多方向,而是通过特有的insight回传机制让每一次尝试都能加深Arbor对问题的理解。
目前Arbor在国内外社区收获了较高的关注度,同时荣登Huggingface Daily Paper日榜第一!
Definition:自主科研究竟在关注什么?
Agent的飞速发展让Autoresearch不再只是一个概念:如果给Agent一个真实研究项目,它是否可以像研究者一样,持续提出想法、实现方案、运行实验,并在反馈中不断修正自己的判断?
这类问题在论文中被形式化为Autonomous Optimization,简称AO。系统会给定一个初始artifact,例如模型训练代码、agent harness、数据生成pipeline;同时给定一个研究目标和可执行evaluator。
Agent需要在没有逐步人工监督的情况下,只可见dev集,通过多轮实验不断改进这个artifact,最终保证test集上效果提升。这一定义不绑定具体task,无论是训练模型、改进代码、调整流程,都能被划归到AO的定义中来:
这一设定更关注真实科研中的核心循环:我们不是让Agent回答一个问题,而是让它持续优化一个研究对象。它需要长期工作,需要处理延迟反馈,需要面对失败,也需要决定下一步应该继续哪个方向、放弃哪个方向、合并哪个结果。
Problem:为什么当前Agent还不能胜任AO任务?
在真实科研中,进展很少来自孤立的一次尝试。一个研究者可能会同时思考多个方向:某个方向看起来有潜力,但实验结果不稳定;另一个方向分数提升明显,但可能只是过拟合开发集;还有一个方向虽然失败了,却暴露出了关键问题。
这些信息都需要被比较、抽象和保留,而不是每一轮实验都像从头开始。
而许多现有Agent系统的状态表示并不适合这种长期科研过程。对话历史又长又散,难以承载结构化的研究判断;工作目录记录了代码变化,但并不解释这些变化对应的假设;日志保存了结果,却很难告诉Agent为什么成功或失败。最终,Agent虽然能执行很多次trial,但这些trial不一定能汇聚成真正的research  progress。
Arbor试图解决的正是这个问题:如何把一次次短暂的实验,组织成可以长期积累、可以被审计、可以指导未来探索的研究状态。
△
Method:Arbor,迈向通用+实用的自主科研
Arbor想强调并实现两个要点:
通用性。Arbor不绑定某一个特定benchmark或任务形态,只要有待优化的artifact、明确的目标和可执行的反馈信号,无论是model、harness、data都可以优化。
实用性。为了让框架真实可用,Arbor开源了独立CLI和Agent Skill:你既可以直接使用完整的CLI进行长时间自动化研究实验,也可以在Codex/Claude Code等环境中加载Arbor-style skills实现平替的效果。
Hypothesis-Tree Refinement:持续演进与动态选择
Arbor的核心机制是  Hypothesis-Tree Refinement,HTR。它将整个研究过程外化为一棵持续演化的Hypothesis  Tree。在这棵树中,每个节点都代表一个研究假设。这个假设不是一句随意的想法,而是一个可以被验证或证伪的claim:如果我们以某种方式修改artifact,是否会改进目标指标?
每个节点绑定四类信息:
Hypothesis,即当前节点想验证的研究主张
Artifact version,即该假设对应的代码、配置或数据pipeline修改
Experimental evidence,包括开发集分数、运行日志、错误信息、执行状态以及必要的held-out验证结果
Distilled insight,即这次实验沉淀出的可复用经验:为什么成功,为什么失败,在哪些条件下有效,哪些方向可能只是局部过拟合,后续探索应当继承或避免什么。
HTR的关键设计在于insight回传:如

来源:36氪

© 版权声明

相关文章

没有相关内容!