叢樂/王夢迪團(tuán)隊(duì)推出AI協(xié)作科學(xué)家，實(shí)時指導(dǎo)和糾正實(shí)驗(yàn)操作，讓小白秒變實(shí)驗(yàn)高手

撰文丨王聰

編輯丨王多魚

排版丨水成文

在科學(xué)研究的道路上，計算與實(shí)驗(yàn)如同雙翼，共同推動著人類認(rèn)知邊界的擴(kuò)展。然而，計算雖能高速模擬與預(yù)測，但實(shí)驗(yàn)卻仍是瓶頸——操作依賴人力、細(xì)節(jié)易出錯、技能難傳承。

有沒有一種方法，能讓 AI 不僅“想”得到，還能“看”得見、“做”得成？

現(xiàn)在，來自斯坦福大學(xué)和普林斯頓大學(xué)的華人團(tuán)隊(duì)給出了答案——將人工智能（AI）與擴(kuò)展現(xiàn)實(shí)（XR）技術(shù)結(jié)合，打造出了一個能真正與人類科學(xué)家（Human Scientist）攜手工作的“Al 協(xié)作科學(xué)家”（AI Co-Scientist）。

該研究以：LabOS: The AI-XR Co-Scientist That Sees and Works With Humans 為題，發(fā)表在了預(yù)印本平臺 arXiv 上，斯坦福大學(xué)叢樂教授和普林斯頓大學(xué)王夢迪教授為論文共同通訊作者。

該研究開發(fā)了一個Al-XR Co-Scientist——LabOS，這是一個融合了人工智能（AI）與擴(kuò)展現(xiàn)實(shí)（XR）的前沿科研協(xié)作平臺，旨在通過智能感知與虛實(shí)交互技術(shù)，重新定義科學(xué)研究的邊界，讓 AI 真正“看見”并與人類科學(xué)家協(xié)作。

LabOS是首個將計算推理與真實(shí)實(shí)驗(yàn)相結(jié)合的AI 協(xié)作科學(xué)家（AI Co-Scientist），它通過多模態(tài)感知、自進(jìn)化 AI 智能體以及XR 支持的人機(jī)協(xié)作來實(shí)現(xiàn)這一目標(biāo)。

通過連接多模態(tài) AI 智能體、智能眼鏡和人機(jī)協(xié)作，LabOS 使 AI 能夠“看見”人類科學(xué)家所看到的內(nèi)容，理解實(shí)驗(yàn)背景，并在實(shí)驗(yàn)操作過程中實(shí)時提供協(xié)助。在從癌癥免疫療法靶點(diǎn)發(fā)現(xiàn)到干細(xì)胞工程等各類應(yīng)用中，LabOS 展示了 AI 能夠超越計算設(shè)計，實(shí)現(xiàn)參與，將真實(shí)實(shí)驗(yàn)室轉(zhuǎn)變?yōu)橐粋€人類和機(jī)器發(fā)現(xiàn)共同演進(jìn)的智能協(xié)作空間。

什么是 LabOS？——從“思考”到“動手”的全能助手

LabOS不是簡單的自動化工具，而是一個融合多模態(tài)感知、自進(jìn)化 AI 智能體與 XR 交互的智能平臺。其核心由四類 AI 智能體組成：

• 規(guī)劃智能體：將科學(xué)目標(biāo)分解為可執(zhí)行的模塊；

• 開發(fā)智能體：生成代碼并執(zhí)行復(fù)雜分析；

• 批評智能體：評估結(jié)果并優(yōu)化流程；

• 工具創(chuàng)建智能體：從文獻(xiàn)與數(shù)據(jù)中自主擴(kuò)展工具庫。

LabOS：科學(xué)實(shí)驗(yàn)室中的人類-AI 多模態(tài)協(xié)作

這一架構(gòu)使 LabOS 能自主完成從假設(shè)生成、實(shí)驗(yàn)設(shè)計到數(shù)據(jù)分析的完整科研流程，并通過持續(xù)學(xué)習(xí)不斷進(jìn)化。在生物醫(yī)學(xué)推理基準(zhǔn)測試中，LabOS 在人類的最后考試：生物醫(yī)學(xué)（Humanity’s Last Exam: Biomedicine）中達(dá)到了 32% 的準(zhǔn)確率，在 LAB-Bench: DBQA 中達(dá)到了 61% 的準(zhǔn)確率，領(lǐng)先現(xiàn)有模型達(dá) 8%，且性能隨使用時間提升。

讓 AI “看見”實(shí)驗(yàn)室——視覺語言模型的突破

實(shí)驗(yàn)室環(huán)境的復(fù)雜性，對 AI 的視覺理解提出了極高要求。例如，如何判斷操作是否無菌？步驟是否合規(guī)？為此，團(tuán)隊(duì)構(gòu)建了 LabSuperVision（LSV）基準(zhǔn)——包含 200 多個真實(shí)實(shí)驗(yàn)視頻，由專家標(biāo)注步驟、錯誤與參數(shù)。測試發(fā)現(xiàn)，即使頂尖 AI 模型（例如 Gemini、GPT-4o）在協(xié)議對齊與錯誤識別任務(wù)中得分僅 2-3 分（滿分 5 分），遠(yuǎn)未達(dá)到實(shí)用水平。

研究團(tuán)隊(duì)以此為基礎(chǔ)訓(xùn)練了LabOS-VLM，通過監(jiān)督微調(diào)與強(qiáng)化學(xué)習(xí)，使模型能精準(zhǔn)解析實(shí)驗(yàn)視頻。例如，在 CRISPR 基因編輯實(shí)驗(yàn)中，它能實(shí)時識別操作錯誤（例如試劑孵育時間偏差），并生成步驟指導(dǎo)。LabOS-VLM-235B 版本在錯誤檢測中準(zhǔn)確率超 90%，成為實(shí)驗(yàn)室視覺推理的可靠“眼睛”。

LabOS-VLM 用于實(shí)驗(yàn)室視覺推理

XR 眼鏡：人類-AI 協(xié)作的“橋梁”

LabOS 的濕實(shí)驗(yàn)?zāi)K通過擴(kuò)展現(xiàn)實(shí)（XR）眼鏡實(shí)現(xiàn)與人類科學(xué)家的無縫交互。研究人員佩戴輕量級 AR 眼鏡，實(shí)時傳輸?shù)谝灰暯且曨l至 AI 服務(wù)器。AI 每 5-10 秒分析視頻片段，返回結(jié)構(gòu)化指令：

• 步驟指導(dǎo)：在顯示屏上渲染協(xié)議步驟；

• 錯誤提示：檢測到偏差（例如無菌操作失誤）時立即告警；

• 手勢交互：支持語音與手勢控制，避免污染。

同時，系統(tǒng)通過多視角相機(jī)與高斯?jié)姙R算法構(gòu)建實(shí)驗(yàn)室的 3D/4D 數(shù)字孿生，支持場景回放與模擬訓(xùn)練。這一設(shè)計不僅提升操作精度，還將專家經(jīng)驗(yàn)數(shù)字化，助力技能傳承。

基于 XR 眼鏡的 LabOS 實(shí)現(xiàn)了真實(shí)實(shí)驗(yàn)室中基于空間的人類-AI 協(xié)作

實(shí)戰(zhàn)驗(yàn)證：從靶點(diǎn)發(fā)現(xiàn)到干細(xì)胞工程

LabOS在三大生物醫(yī)學(xué)場景中展現(xiàn)了其價值：

癌癥免疫治療靶點(diǎn)發(fā)現(xiàn)：LabOS 分析了 CRISPR 激活篩選數(shù)據(jù)，通過多步推理將 CEACAM6 從低優(yōu)先級基因提升為 NK 細(xì)胞抗腫瘤的關(guān)鍵靶點(diǎn)，并自動關(guān)聯(lián) TCGA 患者數(shù)據(jù)驗(yàn)證其臨床意義。濕實(shí)驗(yàn)證實(shí)，CEACAM6 的激活，顯著增強(qiáng)了腫瘤對 NK 殺傷的抵抗。

細(xì)胞融合機(jī)制研究：AI 智能體提出，ITSN1 為細(xì)胞融合調(diào)控因子，研究團(tuán)隊(duì)通過 CRISPR 干擾實(shí)驗(yàn)驗(yàn)證了其功能，展示了 LabOS 從假設(shè)生成到濕實(shí)驗(yàn)驗(yàn)證的閉環(huán)能力。

干細(xì)胞工程指導(dǎo)：在 iPSC 的基因編輯與慢病毒轉(zhuǎn)導(dǎo)實(shí)驗(yàn)中，LabOS 通過 XR 眼鏡實(shí)時指導(dǎo)操作，記錄專家流程，并輔助新手規(guī)避常見錯誤，實(shí)現(xiàn)“AI 導(dǎo)師”功能。

LabOS 展示了 AI Co-Scientist 的潛力：它是一個能觀察、推理并協(xié)助實(shí)驗(yàn)室運(yùn)作的系統(tǒng)。通過將 AI 智能體與實(shí)時的、XR 引導(dǎo)的人機(jī)交互以及數(shù)據(jù)驅(qū)動的推理相結(jié)合，它能夠加快發(fā)現(xiàn)速度、實(shí)現(xiàn)可重復(fù)訓(xùn)練以及精確操作。在各種應(yīng)用場景中——包括假設(shè)生成、自動化文檔記錄、錯誤糾正、快速技能轉(zhuǎn)移、iPSC 實(shí)驗(yàn)指導(dǎo)以及對 NK 細(xì)胞-腫瘤通路和細(xì)胞融合調(diào)控因子的洞察——LabOS 將實(shí)驗(yàn)室轉(zhuǎn)變?yōu)橐粋€適應(yīng)性強(qiáng)、協(xié)作性高的工作空間，讓人類科學(xué)家與 AI Co-Scientist 并肩工作，共同加速發(fā)現(xiàn)進(jìn)程、生成可復(fù)現(xiàn)的科學(xué)成果，并共同進(jìn)步。

未來展望：科學(xué)發(fā)現(xiàn)的“共進(jìn)化”

LabOS 的誕生標(biāo)志著實(shí)驗(yàn)室進(jìn)入人機(jī)協(xié)作的新紀(jì)元。它不僅加速發(fā)現(xiàn)進(jìn)程，更通過標(biāo)準(zhǔn)化記錄與實(shí)時反饋，提升研究的可重復(fù)性。未來，隨著 AI 與 XR 技術(shù)的深度融合，LabOS 有望成為每個實(shí)驗(yàn)室的“標(biāo)準(zhǔn)配置”，讓人類直覺與機(jī)器共進(jìn)化，共同拓展科學(xué)邊界。

LabOS 不是取代科學(xué)家，而是成為人類科學(xué)家的“同事”。當(dāng) AI 能看見我們的所見、理解我們的動作、并從中學(xué)習(xí)，實(shí)驗(yàn)室將不再只是擺滿科學(xué)儀器的房間，而是一個充滿智能的探索空間。

叢樂

叢樂，2009 年本科畢業(yè)于清華大學(xué)生物系，2014 年獲哈佛大學(xué)博士學(xué)位，博士期間主要在張鋒實(shí)驗(yàn)室學(xué)習(xí)，2013 年作為第一作者在Science期刊發(fā)表了 CRISPR 基因編輯領(lǐng)域里程碑論文，首次將CRISPR基因編輯系統(tǒng)應(yīng)用于哺乳動物基因編輯。

王夢迪

王夢迪，本科畢業(yè)于清華大學(xué)自動化系，23 歲時獲得麻省理工學(xué)院（MIT）電子工程與計算機(jī)博士學(xué)位，同年加入普林斯頓大學(xué)任助理教授，29歲時獲得普林斯頓大學(xué)終身教職。

論文鏈接：

https://arxiv.org/pdf/2510.14861