好文集ChatGPT Plus¥119

Open-Science 实战:从个人 Bot 到科研 Agent

文章目录

部分视频或图片暂未收录,已在正文保留提示;需要时可查看原文。查看原文 ↗

Muse、Grokbot 这些个人Bot火爆了,帮你处理所有日常任务。

今天介绍一个不一样的:专门面向科研的 AIPOCH Open-Science。

为了测试它,我拿上果蝇大脑,搬上 GPU,尝试训练它解三阶魔方。

这里先向科学家们致敬。

HHMI Janelia、Google Research 等团队(MaleCNS 项目),动用了 7 台定制电子显微镜,连续扫描约 13 个月,人工校对累计投入约 44 人年,最终完整重建出一只成年雄性果蝇的中枢神经系统,并向全球开放。

科学家花费多年绘制的神经接线图,现在普通开发者也能下载下来做实验。非常好奇,这里面会不会藏着下一个 ResNet,等着我们去发现。

这次从找论文、搭网络、接 GPU、训练到最后评测,我基本都在 Open-Science 里完成。先来看一下完成效果:

媒体暂未收录,可在原文中查看

导读

一、大自然的网络架构:果蝇大脑

二、下载果蝇大脑,为什么还不能直接运行?

三、接上眼睛和手:为什么果蝇的“翅膀”死活学不会拧魔方?

四、给生物大脑做“微调”:多卡并行训练与权重揭秘

五、用果蝇做推理:它真的学会了吗?

六、从 Vibe Coding 到 Vibe Research:普通人如何复现前沿科学?

一、大自然的网络架构:果蝇大脑

我们平时折腾模型,通常先看几样东西:多少参数、吃多少显存、每秒吐多少 token。

这次打开果蝇大脑数据,则完全不一样。

16.7 万个神经元,0.026B 连接,0.12B 的突触。

这里有两个容易混的词:神经元可以先理解成处理信号的节点。突触是传递信号的接触点。

跟当前主流规整的 AI 层级网络不同,这里到处是反馈、绕路和并行通路,不同神经元的连接数量也差得极大:一个神经元接收的上游连接,中位数是 98,最多的有 11,526。

文章配图

果蝇大脑这么复杂,能不能让它学会玩魔方这种任务呢?

1.1 关键第一步:搭实验环境

我不是神经科学研究者,最初其实只有一篇 Google 的博客。但真要把这东西跑起来,马上工作发散:要找原论文、核对参数、下载连接组数据、写代码,还要接远程 GPU。

我干脆把整个实验放进了 AIPOCH Open-Science。

一个开源、本地优先的科研工作台。一个面向 AI4S(AI for Science)的开放科研平台。 你可以在里面发布、下载、使用和分享科研相关的数据集、项目和实验内容。 整个研究过程也可以打包分享。 可以接你自己的Claude、Codex等各种订阅。论文、数据、Notebook、代码执行、远程机器、实验参数和运行记录,都可以沿着同一个 Project 往下走。 最后还可以通过 .science 格式,把一个研究项目整体导出和打包。

我先让它从 Google 那篇博客往下追原论文、核对 DOI、收进文献库,再一路追到后面真正要用的参数和数据。

媒体暂未收录,可在原文中查看

二、下载果蝇大脑,为什么还不能直接运行

光有连接结构还跑不起来,必须定义信号传递规则和初始权重。

  • 信号传递:我参考了 Shiu 等人发表在《Nature》(2024)的计算模型,用简化规则描述神经元怎么积累输入、达到阈值发出脉冲、再复位,对神经活动的近似模拟。

  • 初始权重:也就是一根连接的影响强弱。初始化公式可以简化为:

[未转换内容,参见原始 JSON]

果蝇的大脑和下载一个训练好的大模型不一样,它只有天生的生理结构,还不知道魔方是什么,更不知道哪个输出代表哪个动作。这些都得我们来连接和训练。

三、训练果蝇大脑准备

文章配图

3.1 输入:324 个颜色开关

一个三阶魔方有 54 个贴纸位置,每个位置有 6 种可能颜色。我给每个位置安排 6 个开关(例如是红色,就只打开“红色”开关):

  • 54 个位置 × 6 种颜色 = 324 个开关(始终有 54 个是开的)。

为了简化实验,我没有让它直接做图像识别,而是把 9,201 个视觉神经元分成 324 组与开关一一对应。哪个开关打开,就给对应那组视觉神经元输入电刺激。

3.2 输出:直接读取腿部运动神经元

魔方六个面,每面可顺时针、逆时针、转半圈,共 18 个动作。 最省事的办法是在脑内随便取一组活动,外接一个小分类器算分数。但我加了个挑战:不在脑内随便找位置,直接读取控制肌肉的运动神经元信号!

文章配图

我从前腿相关的运动神经元里选了 93 个,按肌肉和左右侧归成 18 组。每次推理汇总 18 组活动分数,哪个分高就选哪个动作,并由模拟器映射成腿部动画呈现出来。

3.3 小插曲:为什么翅膀完全学不动?

到底拿果蝇哪一组运动神经元当输出最好?我试了三次,结果非常反直觉:

  1. 前腿运动神经元:效果不错,可以当分类输出。

  2. 翅膀相关的运动神经元:完全学不动。

  3. 六条腿相关的运动输出:果断放弃翅膀改用六条腿后,效果最好!

同样是一只果蝇大脑,不同区域拿来做新任务,学习效果居然差这么多。我在 Open-Science 里往下查文献,看到一个更对口的方向:已经有人把果蝇的“视觉—运动回路”接到机器人和飞行器上,用来做转向、避障。

我现在有个很不严谨、但特别好玩的猜想: 解魔方,翅膀相关回路未必合适;但躲障碍、瞬间转向、快速逃逸,这才是它祖传几亿年的专业。😂

文章配图

四、果蝇大脑训练开始

输入和输出接好后,直接运行依然没法推理,因为天然连接不是为魔方准备的。

文章配图

4.1 训练的原理

我把大脑的连接拓扑设置为固定,只通过反向传播训练改变连接的强度:当输出动作分数与目标动作不符时,计算损失(Loss),通过梯度下降一步步微调连接权重。这相当于在大自然进化出的解剖学先验架构和初始参数上,做了一次面向魔方任务的微调。

4.2 设计和执行训练实验

本地笔记本跑不动训练,必须接远程 GPU。这个实验最多同时开 4 条分支跑在 4 张卡上,每条分支的配置、日志、checkpoint 都不一样。改了一份配置,很容易搞混到底跑的是哪个版本。这时候 Open-Science 对我最有用的不是查论文,而是管实验。

文章配图

4.3 训练好的大脑权重

训练完成后,我比较了训练前后的权重,整体相关系数高达 0.9813。也就是说,训练后的权重仍与生理初值高度相关。按脑区看,视觉区域调整很小,而与下行神经元(从脑向身体传命令的通路)相关的连接调整得更多。

这里再说一个好用的功能,AIPOCH Open-Science 可以把一次完整的研究过程打包成 .science 文件,包括 AI 对话、研究思路、数据文件、代码运行记录和实验结果。 直接发给同事、朋友、师兄师姐,对方导入就能查看整个研究过程,甚至可以 Fork 出新会话,在原来的基础上继续研究。直接分享研究过程和结果,超实用!

文章配图

五、 用果蝇做推理:它真的学会了吗?

来看训练前后的推理效果对比。单步动作准确率从 6.39% 提到了 64.86%。按“打乱深度”(越深越复杂)来看整局还原成功率:

打乱深度123456
训练后100%89.80%72.70%28.10%10.20%6.20%
训练前的解剖初始化11.70%0.80%0%0%0%0%

注意,深度 3 以内只有 3,240 个状态,都在训练集里。看模型有没有真正学到泛化能力,要看深度超过 3 的结果。

在复杂局面下,如果只用贪心原则(每步只取最高分),很容易进入死循环。如果换成 Beam Search(束搜索)——每一步同时留住若干条候选路线展开,只保留累计分数最高的那几条,在训练完全没见过的状态(深度 4~6)上测试结果如下:

真实距离贪心beam 8beam 32
421.10%62.50%83.30%
56.60%37.50%64.60%
60.80%12.50%33.30%

深度 6 从 0.8% 涨到 33.3%,翻了四十倍(这些局面里 99.7% 训练时没见过)。但严谨起见,这里得拆开看:

  • 果蝇大脑原生能力:深度 4 为 21.1%,深度 6 为 0.8%

  • 果蝇大脑 + 推理搜索优化:深度 4 为 83.3%,深度 6 为 33.3%

这是 Open-Science 很有价值的一点,科研不只是更快拿到结果,证伪和验真同样重要。这张表是哪份数据跑的?哪个 checkpoint?哪次 Notebook?当时参数是什么?这些记录都还在,回头才能重新检查实验记录。

六、从 Vibe Coding 到 Vibe Research:来自果蝇大脑的启示

这次最大的收获,我发现果蝇大脑有很多局限:不同神经回路的学习效果差别很大,浅层魔方存在训练状态重合,搜索算法对最终成功率的影响也很明显。但这才是科研有意思的地方,提出猜想、动手验证,甚至亲自推翻自己的结论。

最后夸一下这次真正帮我把实验跑完的工具:AIPOCH Open-Science。

这次从找论文、追原始数据,到 Notebook、远程 GPU、4 路实验并行、checkpoint、参数和结果管理,我基本都在 Open-Science 里完成。

这个开源项目的愿景:

Vibe Research的时代正在到来。AIPOCH Open-Science希望降低科研工具的使用门槛,让每一个有好奇心、有研究想法的人,都能更容易地参与研究,并通过开放共享的工具和方法,连接全球科研者。

你什么时候会用到:

Open-Science是发布、下载、使用和分享 AI4S 科研相关的数据集/相关内容的平台。研究流程可审计且公开/共享,任何人都实现研究过程的复现。

有一个好想法,先下场做实验。无论你是学生,或者是任何对研究感兴趣的人, 都可以通过Open-Science进行科研project复现 ,比如复现前沿科学或者前沿科学家的项目,AIPOCH Open-Science 可导出,可复现。

AIPOCH Open-Science @aipoch_ai:

关注:https://github.com/aipoch/open-science

Science, open to all.


原始数据:MaleCNS v1.0,CC-BY 4.0。

运行规则与参数参考:Shiu 等,A Drosophila computational brain model reveals sensorimotor processing,Nature,2024。

实验工作台:AIPOCH Open-Science。

全文完
查看原文