世界上首位「AI 科学家」问世！
自 AI 诞生以来，不少人就将它用在科研领域，希望它能协助论文写作。但目前很多时候，AI 只能作为一种辅助工具，在集思广益、编写代码等具体步骤中提供辅助，能起到的作用非常有限。
来自日本的 Sakana AI 团队推出了一款号称「世界上之一个用于自动化科学研究和开放式发现的 AI 系统」——「AI 科学家」（The AI Scientist）。
Sakana 源自日语「さかな」，意为鱼，Sakana AI 的官网多次出现该元素
从构思、编写代码、运行实验和总结结果，到撰写整篇论文，它都能全部包揽，而且能够不断重复科研过程，以开放的方式迭代发现新想法。
此外，当一名「大模型作者」撰写论文的同时，还有一位「论文评审员」会对论文进行评论，通过「左右互搏」的方式，选出最有前途的方向进行迭代研究，更重要的是每篇论文的成本仅需约 15 美元。
具体的研究内容以「The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery」为题发表在 arXiv 平台上，论文链接：https://arxiv.org/abs/2408.06292
据介绍，「AI 科学家」全自动研究过程主要分为四个阶段：
1. 产生想法。
研究人员给「AI 科学家」提供了一个起始代码模板，AI 科学家会首先「集思广益」一系列新颖的研究方向，通过链式思维（chain-of-）和自我反思（self-reflection）生成新的研究方向。
每个创意包括描述、实验执行计划和自评的有趣度、新颖性和可行性评分。
The AI Scientist 概念插图
2. 实验迭代。
针对之一部分提出的想法，「AI 科学家」会使用 Aider 工具规划实验列表并执行实验。实验失败或超时的情况下，Aider 会修复代码并重试。实验完成后，Aider 会根据结果编辑绘图脚本以生成论文所需的图表。
它还有一个注释，描述了每个图包含的内容，使保存的图形和实验注释能够提供撰写论文所需的所有信息。
3. 论文撰写。
最后，「AI 科学家」会采用标准的机器学习会议论文格式编写论文，整个过程包括逐节文本生成、 *** 搜索参考文献、最终修订和编译等。
使用 LaTeX 编写论文，其中包括引言、背景、 *** 、实验设置、结果和结论等部分。Aider 会根据记录笔记和图表填充论文模板的各个部分。
由 AI Scientist 完全自主生成的《Adaptive Dual-Scale Denoising》论文预览
4. 自动化论文审阅。
最后，Sakana AI 还为 AI 科学家设计了一个基于 GPT-4o 基础模型的自动审稿人，它会使用顶级机器学习会议 NeurIPS（神经信息处理系统大会）的审稿标准指南对论文进行评分，评估生成的论文的质量，并提供修改意见。
这项工作的一个关键方面是开发一种自动化审稿人，据称能够以接近人类的准确性评估生成的论文。
生成的评论可用于改进项目或作为对后代的反馈，以进行开放式构思。这使得一个持续的反馈循环成为可能，使人工智能科学家能够迭代地提高其研究成果。
审阅者在三个领域和四个基础模型中为人工智能生成的论文的评分分布
不过，Sakana AI 也在论文中指出，「AI 科学家」目前也存在一定的问题：
1.
目前，人工智能科学家缺乏视觉能力，因此无法修复论文中的视觉问题或正确阅读绘图。例如，生成的图表有时难以辨认，表格可能超出页面宽度，页面布局也往往不够优化。
2.
人工智能科学家可能会错误地执行其设想，或与基线进行不公平的比较，从而导致结果的误导性。
3.
在撰写和评估结果时，人工智能科学家偶尔会犯严重错误。例如，它难以正确比较两个数字的大小，这也是大语言模型已知的缺陷。
看得出来，「AI 科学家」或许可以搞科研，但仍然很难消除「幻觉」，很有可能同样分不清 9.11 和 9.9 哪个更大。
Sakana AI 还提到了一个出现问题的例子。在一次运行中，「AI 科学家」为了完成研究修改了自己的执行代码，最终导致脚本无休止地调用自身，形成了死循环。
在另一次运行中，它的实验花费了太长的时间，达到了此前设置的超时限制，它非但没有想办法加快速度，反而试图通过修改代码来延长超时时间，以放宽人类的限制，确实有点小聪明在里面。
在很多人眼中，美国与中国是目前世界人工智能发展的两个「高地」，绝大多数领先的 AI 公司都来自这两个地区，但来自日本的 Sakana AI 同样拥有不可小觑的实力。
今年 1月，成立不到 1 年、员工总数不到 10 人的 Sakana AI 拿到了来自 Lux Capital、Khosla Ventures 以及其他投资者的种子资金，估值达到了 2 亿美元，成功跻身 AI 独角兽行列，再加上后来日本 *** 的扶持、OpenAI 的帮助，让 Sakana AI 迅速成为区域性 AI 强者，号称「日本的 OpenAI」。
其核心团队汇聚了来自 Google Brain、DeepMind 等机构的多位著名学者，CTO 兼联合创始人 Llion Jones 曾在 Google 人工智能研究室担任技术主管多年，是著名 Transformer 论文《Attention Is All You Need》的作者之一。
Sakana AI 的发展策略也同样与众不同，即拒绝盲目追求大数据模型，拥抱「小模型」，通过模型间的相互协作，解决针对性的问题，「AI 科学家」显然很明显带就着这样的特征。
至于为什么首先将目光集中在科研领域，其主要原因有这样三点：
撰写论文为人类提供了一种高度可解释的 *** ，使人类能够从所学知识中受益；
在现有的机器学习会议框架内审查书面论文使科学家能够标准化评估；
自现代科学诞生以来，科学论文一直是传播研究成果的主要媒介。
也就是说，由于撰写科研论文具备高度的解释性和可验证性，「AI 科学家」能够为科学研究提供一种标准化、系统化的自动化支持。这不仅能够大幅提升研究效率，还有利于催生出更多富有创造性和前瞻性的研究方向。
而撰写论文或许只是其将 AI 融入更广泛科学领域的一个开始。
我们相信「AI 科学家」将成为人类科学家的绝佳伙伴，但只有时间才能告诉我们答案。
发表评论