華為世界模型來了！單卡30分鐘生成272㎡場(chǎng)景

聞樂 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

AI大house真來了。

華為聯(lián)合上海交通大學(xué)、華中科技大學(xué)推出了世界模型WordGrow，可以生成1800㎡超大室內(nèi)場(chǎng)景（19x39塊），單卡30分鐘就跑了272㎡。

里面的虛擬人還能順暢導(dǎo)航，不帶迷路的。(小聲說：大平層確實(shí)需要導(dǎo)航)

并且場(chǎng)景具備連貫的幾何拓?fù)浜驼掌?jí)真實(shí)感外觀，智能體的導(dǎo)航則是在復(fù)雜空間布局中自主規(guī)劃路徑。

這可以說是走到哪建到哪了，那場(chǎng)景是怎么搭的？

具備連貫的幾何拓?fù)浜驼掌?jí)真實(shí)感外觀

以前想造個(gè)像樣的3D大場(chǎng)景，坑不少。

比如有些技術(shù)先靠2D模型畫張圖，再硬掰成3D，結(jié)果換完視角一看，沙發(fā)腿歪了、墻壁紋理斷了……

還有一些方法最多只能造單個(gè)房間，擴(kuò)展成套房就卡殼；

更離譜的是沒有布局邏輯——出現(xiàn)冰箱塞進(jìn)臥室，床擺在廚房的情況。

現(xiàn)在，WorldGrow來搞裝修了（bushi），用三個(gè)核心技術(shù)填坑。

第一步是先做數(shù)據(jù)精準(zhǔn)預(yù)處理，從3D-FRONT這類大規(guī)模數(shù)據(jù)集里提取優(yōu)質(zhì)樣本，用Blender執(zhí)行場(chǎng)景切片，通過布爾交集對(duì)場(chǎng)景進(jìn)行區(qū)塊切分，再靠occupancy檢測(cè)確保區(qū)塊內(nèi)容密度（可見內(nèi)容≥95%）。

同時(shí)，構(gòu)建了粗、細(xì)兩個(gè)數(shù)據(jù)集，粗塊來確定宏觀布局，細(xì)塊保留紋理細(xì)節(jié)。

第二步靠3D塊補(bǔ)全機(jī)制實(shí)現(xiàn)了無縫拼接，在生成新區(qū)塊時(shí)，先讓結(jié)構(gòu)生成器確定3D結(jié)構(gòu)框架，再讓latent生成器重建結(jié)構(gòu)化潛變量（SLAT）特征，保證外觀風(fēng)格統(tǒng)一。

并且，在輸入模型時(shí)，會(huì)把帶噪潛變量、補(bǔ)全區(qū)域二進(jìn)制掩碼、已掩碼的已知區(qū)域特征打包融合，讓模型依據(jù)現(xiàn)有區(qū)塊的上下文信息精準(zhǔn)生成，消除邊緣斷裂、紋理錯(cuò)位等拼接縫。

第三步是粗到精生成策略，把場(chǎng)景擴(kuò)展變成了補(bǔ)全缺失塊的任務(wù)。

先通過粗結(jié)構(gòu)模型敲定整體規(guī)劃，比如窗戶朝向、走廊連接等布局；隨后對(duì)粗結(jié)構(gòu)進(jìn)行三線性插值上采樣，將分辨率匹配至細(xì)塊級(jí)別，再調(diào)用細(xì)結(jié)構(gòu)生成器補(bǔ)全家具、紋理等細(xì)節(jié)。

對(duì)比可以看出，WorldGrow能夠生成高分辨率、連續(xù)的室內(nèi)場(chǎng)景，且場(chǎng)景具有真實(shí)且連貫的紋理。

實(shí)驗(yàn)數(shù)據(jù)顯示，在3D-FRONT數(shù)據(jù)集上，它的幾何重建指標(biāo)MMD、COV均達(dá)SOTA，F(xiàn)ID（用于評(píng)估生成質(zhì)量的核心指標(biāo)，越低越優(yōu)）低至7.52，大幅優(yōu)于SynCity、BlockFusion等主流方法；

即便擴(kuò)展到7×7塊的超大場(chǎng)景，邊緣質(zhì)量仍然穩(wěn)定。

在效率上，單張A100顯卡，30 分鐘即可生成10×10區(qū)塊（約272㎡）的室內(nèi)場(chǎng)景，速度是同類技術(shù)的6倍。

團(tuán)隊(duì)介紹

本文一作是來自上海交通大學(xué)的Sikuang Li和Chen Yang，研究完成于他們?cè)谌A為實(shí)習(xí)期間。

Chen Yang目前仍為華為研究實(shí)習(xí)生，研究聚焦于計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)，導(dǎo)師之一就是這項(xiàng)研究的通訊作者、AI大牛田奇。

田奇，華為終端BG首席科學(xué)家，國際歐亞科學(xué)院院士，ACM/IEEE Fellow。

論文地址：https://arxiv.org/abs/2510.21682

— 完 —