每日快報(bào)!西交大開(kāi)源SadTalker模型 圖片+音頻秒變視頻!

來(lái)源:DoNews快訊


【資料圖】

西安交通大學(xué)的研究人員提出了SadTalker模型,通過(guò)從音頻中學(xué)習(xí)生成3D運(yùn)動(dòng)系數(shù),使用全新的3D面部渲染器來(lái)生成頭部運(yùn)動(dòng),可以實(shí)現(xiàn)圖片+音頻就能生成高質(zhì)量的視頻。為了實(shí)現(xiàn)音頻驅(qū)動(dòng)的真實(shí)頭像視頻生成,研究人員將3DMM的運(yùn)動(dòng)系數(shù)視為中間表征,并將任務(wù)分為兩個(gè)主要部分,旨在從音頻中生成更真實(shí)的運(yùn)動(dòng)系數(shù),并單獨(dú)學(xué)習(xí)每個(gè)運(yùn)動(dòng)以減少不確定性。該技術(shù)可以應(yīng)用于數(shù)?(站長(zhǎng)之家)

標(biāo)簽:

推薦

財(cái)富更多》

動(dòng)態(tài)更多》

熱點(diǎn)