羅永浩數(shù)字人：基于文心大模型的最佳實(shí)踐

6月17日，在百度AI Day開放日上，百度官宣打造業(yè)界首個(gè)超頭主播羅永浩數(shù)字人，并發(fā)布了高說服力數(shù)字人的四大技術(shù)突破。此前，羅永浩數(shù)字人直播首秀創(chuàng)下超1300萬人次觀看、GMV突破5500萬元的行業(yè)新紀(jì)錄，部分核心品類帶貨量反超真人直播。

新一代高說服力數(shù)字人 引領(lǐng)智能電商新篇章

百度副總裁、電商總經(jīng)理平曉黎表示，今年 4 月百度發(fā)布的高說服力數(shù)字人已讓數(shù)字人帶入 3.0 時(shí)代，這是一個(gè)新的里程碑，標(biāo)志著智能電商邁入新篇章，新一代高說服力數(shù)字人成為了一個(gè)像真人一樣，形神音容高度協(xié)調(diào)、會(huì)思考決策、能協(xié)作完成特定任務(wù)的超級(jí)智能體。“百度的羅永浩數(shù)字人已達(dá)到媲美超頭主播的體感效果，隨著大模型與多模能力發(fā)展，數(shù)字人未來超越真人效果極具潛力 ”，她補(bǔ)充道。

在高說服力數(shù)字人的基礎(chǔ)之上，百度電商慧播星再一次迭代，圍繞慧播星首席體驗(yàn)官羅永浩，發(fā)布了業(yè)界首個(gè)超頭主播的數(shù)字人，并實(shí)現(xiàn)了體驗(yàn)、內(nèi)容、視覺、效果的四大突破，使得數(shù)字人帶貨能力媲美真人。首先是體驗(yàn)突破，通過復(fù)刻羅永浩跟朱蕭木的絲滑配合，上線了業(yè)界首個(gè)雙數(shù)字人互動(dòng)直播間，給營(yíng)銷轉(zhuǎn)化和C端體驗(yàn)，打開了新的想象空間；二是內(nèi)容新突破，得益于文心4.5T的升級(jí)，通過深度訓(xùn)練，使數(shù)字人做到了“懂創(chuàng)作”，帶貨時(shí)塑品專業(yè)度更高，數(shù)字人可以“有個(gè)性”，甚至能“玩梗”，為數(shù)字人注入靈魂；三是視覺新突破，這次的羅永浩數(shù)字人直播，是業(yè)內(nèi)首個(gè)多模態(tài)高度融合的數(shù)字人應(yīng)用場(chǎng)景，實(shí)現(xiàn)了在直播實(shí)時(shí)環(huán)境下的超長(zhǎng)演繹，做到了動(dòng)作、表情、語調(diào)等貼合話術(shù)，且穩(wěn)定可控；四是效果新突破，AI大腦基于直播間信號(hào)靈活控場(chǎng)，數(shù)字人可以主動(dòng)邀評(píng)、高頻互動(dòng)，極大提升用戶沉浸感；通過多智能體實(shí)時(shí)調(diào)度，在數(shù)字人直播間實(shí)現(xiàn)了和真人直播間一樣的互動(dòng)玩法，如抽獎(jiǎng)、發(fā)福袋等；強(qiáng)大的運(yùn)營(yíng)場(chǎng)控能力、多樣化營(yíng)銷手段，有效提升用戶轉(zhuǎn)化。

百度電商商業(yè)業(yè)務(wù)部負(fù)責(zé)人、數(shù)字人創(chuàng)新業(yè)務(wù)部負(fù)責(zé)人吳晨霞表示，為了支撐本次羅永浩數(shù)字人的突破，慧播星重磅升級(jí)了新版本，實(shí)現(xiàn)了劇本、動(dòng)作、聲音、腳本、問答、互動(dòng)等維度的全方位升級(jí)。吳晨霞對(duì)羅永浩數(shù)字人的誕生過程進(jìn)行了揭秘，通過羅永浩、朱蕭木的海量數(shù)據(jù)訓(xùn)練生成數(shù)字人主播，同時(shí)結(jié)合商品特性與羅永浩人設(shè)量身定制直播劇本，實(shí)現(xiàn)了神形音容全模態(tài)高度統(tǒng)一，還原了羅永浩、朱蕭木的慣性動(dòng)作、表情等，做到如同真人一樣自然。在此基礎(chǔ)上，慧播星以大師級(jí)的創(chuàng)作能力，生成人物高光片段，復(fù)刻羅氏幽默，在直播中能夠接梗、玩梗，使得數(shù)字人表現(xiàn)力有了真人般的魅力。此外，本次突破技術(shù)難題的雙人劇本，實(shí)現(xiàn)了雙數(shù)字人的默契配合，屬于行業(yè)首創(chuàng)。最后，慧播星作為業(yè)界首家實(shí)現(xiàn)「AI大腦」多智能體調(diào)度的產(chǎn)品，實(shí)現(xiàn)了靈活場(chǎng)控，并支持一個(gè)數(shù)字人直播間上線多種玩法，有效提升了用戶轉(zhuǎn)化。羅永浩數(shù)字人首秀大捷，標(biāo)志著慧播星產(chǎn)品力邁向全新階段。

背后“黑科技”揭秘：多模協(xié)同的數(shù)字人技術(shù)

百度集團(tuán)副總裁吳甜系統(tǒng)性地介紹了多模協(xié)同的數(shù)字人技術(shù)。百度研制的多模協(xié)同的數(shù)字人技術(shù)，基于文心 4.5T 實(shí)現(xiàn)了融合多模規(guī)劃與深度思考的劇本生成，由劇本驅(qū)動(dòng)數(shù)字人多模協(xié)同，實(shí)現(xiàn)動(dòng)態(tài)決策的實(shí)時(shí)交互，使數(shù)字人的“神、形、音、容、話”達(dá)到高度統(tǒng)一。最終呈現(xiàn)出一個(gè)具備高表現(xiàn)力，內(nèi)容吸引人，人-物-場(chǎng)可自由交互的超擬真數(shù)字人。

她介紹道，劇本生成技術(shù)包含臺(tái)詞生成、多模驅(qū)動(dòng)和動(dòng)態(tài)交互三部分。以羅永浩數(shù)字人劇本為例，基于文心大模型4.5 Turbo生成的劇本，充分展現(xiàn)了主播的個(gè)人特色，具備典型的羅氏幽默風(fēng)格，并能夠?qū)崿F(xiàn)雙人主播的內(nèi)容協(xié)同，動(dòng)態(tài)實(shí)現(xiàn)豐富的實(shí)時(shí)互動(dòng)。通過文本自控的語音合成大模型，實(shí)現(xiàn)高復(fù)原的語音合成能力，再結(jié)合直播臺(tái)詞及發(fā)音人特征，合成風(fēng)格恰當(dāng)、自然流暢的聲音。為解決羅永浩數(shù)字人直播雙人聲音配合的難點(diǎn)，百度采用對(duì)話上下文編碼器，將對(duì)話歷史輸入和當(dāng)前對(duì)話進(jìn)行語音合成的統(tǒng)一推理計(jì)算，最終實(shí)現(xiàn)流暢、自然的雙人對(duì)話效果。在數(shù)字人形象生成以及驅(qū)動(dòng)方面，通過結(jié)合多模態(tài)視頻理解、跨模態(tài)信號(hào)生成、視頻生成等技術(shù)，克服了高可控交互，高精度、長(zhǎng)時(shí)間一致性保持等難點(diǎn)，實(shí)現(xiàn)了高一致性超擬真羅永浩數(shù)字人長(zhǎng)視頻生成。

吳甜表示，百度在今年4月發(fā)布了最新的文心 4.5 Turbo和文心X1 Turbo，羅永浩數(shù)字人是基于文心大模型的最佳實(shí)踐。百度在大模型技術(shù)的持續(xù)探索和創(chuàng)新，將為用戶帶來更優(yōu)質(zhì)的體驗(yàn)、為行業(yè)帶來更具創(chuàng)新力的業(yè)務(wù)模式。

“AI +直播” 模式開啟電商新想象 超頭主播的數(shù)字人或?qū)⒂楷F(xiàn)

會(huì)上，平曉黎正式宣布，羅永浩將正式擔(dān)任百度慧播星首席產(chǎn)品體驗(yàn)官，羅永浩在入駐百度優(yōu)選進(jìn)行真人直播帶貨外，其數(shù)字人也將不定期開播、常態(tài)化為用戶帶來更多福利。羅永浩的數(shù)字人作為新一代高說服力數(shù)字人的首秀，引發(fā)了用戶側(cè)的廣泛討論與行業(yè)熱議，特別是用戶的轉(zhuǎn)化效果媲美真人，意味著用戶對(duì)于數(shù)字人的接受度已經(jīng)被驗(yàn)證。

隨著百度電商與交個(gè)朋友戰(zhàn)略持續(xù)落地，未來，羅永浩作為超頭主播，也將發(fā)揮引領(lǐng)作用，吸引更多超頭主播加入，共建慧播星數(shù)字人矩陣，中國直播電商的競(jìng)爭(zhēng)或?qū)⒂瓉硇伦兙帧?/p>

此外，百度電商還推出兩大計(jì)劃：夢(mèng)蝶計(jì)劃將通過流量扶持，超頭主播數(shù)字人打造、預(yù)算扶持，實(shí)現(xiàn)百度優(yōu)選超頭主播的數(shù)量倍增；繁星計(jì)劃則將再次追加10萬個(gè)慧播星數(shù)字人，投入1億元數(shù)字人消費(fèi)補(bǔ)貼、千萬級(jí)別的運(yùn)營(yíng)扶持，幫助更多的普通人、中小企業(yè)開啟數(shù)字人直播。

據(jù)羅永浩所屬機(jī)構(gòu)交個(gè)朋友代表、公司副總裁吳加錄表示，百度的AI能力與交個(gè)朋友的直播運(yùn)營(yíng)經(jīng)驗(yàn)和供應(yīng)鏈資源實(shí)現(xiàn)了技術(shù)與場(chǎng)景的完美結(jié)合，這類“技術(shù)+IP”的協(xié)同模式也將為行業(yè)探索智能化轉(zhuǎn)型提供實(shí)踐樣本。