AutoResearch 是 Karpathy 开源的自主 AI 研究框架,让 Claude 等 AI Agent 在夜间自动进行机器学习实验。它给 Agent 一个小型 LLM 训练环境,每次实验固定 5 分钟训练预算,Agent 只能修改 train.py 这一个文件,用 validation bits per byte 作为统一指标评估效果。研究者通过编写 program.md 来定义 Agent 的实验策略,在 H100 上大约每小时能跑 12 轮实验,一晚上可以迭代约 100 次。
点评:Karpathy 的项目总能精准把握 AI 社区的脉搏。这次想验证的是 AI Agent 在受限环境下能否做出有意义的研究迭代。5 分钟预算和单文件约束的设计非常克制,既控制了风险又保证了可复现性。这可能是 AI 辅助科研从「工具」走向「自主研究者」的早期信号,但目前仍需要人类定义实验方向,离真正的自主研究还有距离。