中科深智本月推出虛擬人開放平臺motionverse,并啟動DevBoost賦能計劃(即讓開發者飛速成長的數字人中臺賦能計劃),受到引擎開發者、動畫從業者的喜愛,經過一段時期的試用,并從開發者處獲得了反饋。
精準賦能元宇宙AI數字人
對于開發者,目前很難找到一款SDK或者API,可以幫助他們一站式完成從語音識別,到語音合成以及口型生成等這些數字人必備的功能。
(資料圖)
作為游戲/元宇宙空間的開發者,他們需要一款產品,快速的幫助他們解決數字人語音合成、口型生成等問題。
目前在語音合成領域還能找到比較多的解決方案,但在數字人驅動領域,單就口型一個問題,就很難找到合適的產品,尤其是適合中文的就更寥寥無幾,更不要說身體的驅動,市面上少之又少。
開發者之前只能通過拼湊語音合成,找一些面向英文的,準確度很低的口型插件,再配上極少的和說的話術無關的動作庫,來完成交互數字人的開發。
開發者加入了中科深智DevBoost賦能計劃后情況有了很大改觀。首先,一站式解決了數字人從開口說話,到動作表情生產的問題,不但有多種音色選擇,還可以直接生成對應的口型、表情,以及肢體動作;其次,口型準確度高,完全符合中文口型規律;更為重要的是,我們提供了生成式的肢體動作,整體表現自然流暢,和語音配合度非常高。
同時還有多種動作風格可以選擇,通過云端,直達本地直接使用。motinverse一套組合方案下來,極大的提升了引擎開發者的開發效率,可以在超短的時間內,完成自己內容中交互數字人的制作。
為絕美的外表輕松賦予精彩動作
對于動畫從業者,通常使用虛幻UE5引擎,雖然有著很棒的數字人制作能力,但從業者本身團隊沒有過多的研發基因,因此,在今年數字人落地場景井噴的時代,無法順利的讓自己的數字人動起來,擁有交互對話能力。此時,一款使用方便,功能強大的虛幻引擎插件,是必不可少的。目前虛幻商店提供的插件,一個是使用門檻很高,一個是服務器都在海外云端,返回速度極慢,根本無法滿足實時交互的需求。
motionverse的虛幻插件,極大的方便了動畫從業者。首先,動畫從業者只需導入插件,通過簡單的藍圖連接,就可以完成數字人交互功能,讓數字人輕松擁有聲音、口型和動作;其次,整個推理過程速度非???,完成一個交互時間在2秒內的數字人應用,會非常方便。讓動畫從業者,專注于藝術創作。
讓每個數字人擁有智慧大腦
除了提供一站式的語音合成及數字人口型動作的驅動外,motionverse更是結合自研的姜尚大語言模型,提供強大的專業垂直數據問答功能,極大的方便了各行各業的開發者。一站式打造一個交互式數字人,分分鐘即可完成。
在后臺完成了向量數據庫和大模型的連接。用戶在使用的時候,只要在后臺配置好自己的私有垂直數據,后臺會將數據嵌入存儲在向量數據庫中,非常方便的幫助用戶管理私域數據。在使用過程中,用自研的姜尚大模型和向量數據自動結合,搜索這些嵌入以找到最相關的上下文,并將其提供給姜尚大模型,來完成相關的推理,最終高效且準確的完成了專有垂直知識問答功能。