火星網(wǎng)校
谷歌AI視頻生成新系統(tǒng)：從首尾幀圖像輕松生成完整視頻
發(fā)布時(shí)間：2024-07-22 19:25:52 瀏覽量：190次
【新智元導(dǎo)讀】谷歌研究人員利用3D卷積網(wǎng)絡(luò)打造視頻生成新系統(tǒng)，只需要視頻的第一幀和最后一幀，就能生成完整合理的整段視頻，是不是很神奇？
漫畫書秒變動(dòng)畫片了解一下？
想象一下，現(xiàn)在你的手中有一段視頻的第一幀和最后一幀圖像，讓你負(fù)責(zé)把中間的圖像填進(jìn)去，生成完整的視頻，從現(xiàn)有的有限信息中推斷出整個(gè)視頻。你能做到嗎？
這可能聽起來像是一項(xiàng)不可能完成的任務(wù)，但谷歌人工智能研究部門的研究人員已經(jīng)開發(fā)出一種新系統(tǒng)，可以由視頻第一幀和最后一幀生成“似是而非的”視頻序列，這個(gè)過程被稱為“inbetween”。
“想象一下，如果我們能夠教一個(gè)智能系統(tǒng)來將漫畫自動(dòng)變成動(dòng)畫，會(huì)是什么樣子？如果真實(shí)現(xiàn)了這一點(diǎn)，無疑將徹底改變動(dòng)畫產(chǎn)業(yè)。“該論文的共同作者寫道?！半m然這種極其節(jié)省勞動(dòng)力的能力仍然超出目前最先進(jìn)的水平，但計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)技術(shù)的進(jìn)步正在使這個(gè)目標(biāo)的實(shí)現(xiàn)越來越接近?！?/p>
原理與模型結(jié)構(gòu)
這套AI系統(tǒng)包括一個(gè)完全卷積模型，這是是受動(dòng)物視覺皮層啟發(fā)打造的深度神經(jīng)網(wǎng)絡(luò)，最常用于分析視覺圖像。它由三個(gè)部分組成：2D卷積圖像解碼器，3D卷積潛在表示生成器，以及視頻生成器。
圖1：視頻生成模型示意圖
圖像解碼器將來自目標(biāo)視頻的幀映射到潛在空間，潛在表示生成器學(xué)習(xí)對(duì)包含在輸入幀中的信息進(jìn)行合并。最后，視頻生成器將潛在表示解碼為視頻中的幀。
研究人員表示，將潛在表示生成與視頻解碼分離對(duì)于成功實(shí)現(xiàn)中間視頻至關(guān)重要，直接用開始幀和結(jié)束幀的編碼表示生成視頻的結(jié)果很差。為了解決這個(gè)問題，研究人員設(shè)計(jì)了潛在表示生成器，對(duì)幀的表示進(jìn)行融合，并逐步增加生成視頻的分辨率。
圖2：模型生成的視頻幀序列圖，對(duì)于每個(gè)數(shù)據(jù)集上方的圖表示模型生成的序列，下方為原視頻，其中首幀和尾幀用于生成模型的采樣。
實(shí)驗(yàn)結(jié)果
為了驗(yàn)證該方法，研究人員從三個(gè)數(shù)據(jù)集中獲取視頻，并將這些數(shù)據(jù)下采樣至64 x 64像素的分辨率。每個(gè)樣本總共包含16幀，其中的14幀由AI系統(tǒng)負(fù)責(zé)生成。
研究人員為每對(duì)視頻幀運(yùn)行100次模型，并對(duì)每個(gè)模型變量和數(shù)據(jù)集重復(fù)10次，在英偉達(dá)Tesla V100顯卡平臺(tái)上的訓(xùn)練時(shí)間約為5天。結(jié)果如下表所示：
表1：我們報(bào)告了完整模型和兩個(gè)基線的平均FVD，對(duì)每個(gè)模型和數(shù)據(jù)集重復(fù)10次，每次運(yùn)行100個(gè)epoch，表中FVD值越低，表示對(duì)應(yīng)生成視頻的質(zhì)量越高。
表2：使用直接3D卷積和基于的替代方法的模型的平均SSIM
RNN（SDVI）或光流（SepConv和SuperSloMo），數(shù)值越高越好。
研究人員表示，AI生成的視頻幀序列在風(fēng)格上與給定的起始幀和結(jié)束幀保持一致，而且看上去說得通?！傲钊梭@喜的是，這種方法可以在如此長(zhǎng)的時(shí)間段內(nèi)實(shí)現(xiàn)視頻生成，”該團(tuán)隊(duì)表示，“這可能給未來的視頻生成技術(shù)研究提供了一個(gè)有用的替代視角。”
參考鏈接：
https://venturebeat.com/2019/05/28/googles-ai-can-create-videos-from-start-and-end-frames-alone/
論文鏈接：
https://arxiv.org/pdf/1905.10240.pdf
想要了解更多關(guān)于視頻生成和人工智能的內(nèi)容？歡迎點(diǎn)擊咨詢，了解火星時(shí)代教育的AI繪畫培訓(xùn)課程。
熱門課程推薦
熱門資訊
-
1. 照片變漫畫效果，這4個(gè)方法操作簡(jiǎn)單有效，快來試試吧！
想將照片變成漫畫效果？這篇文章分享了4個(gè)方法，包括Photoshop、聰明靈犀、VanceAI Toongineer、醒圖，簡(jiǎn)單操作就能實(shí)現(xiàn)，快來嘗試一下吧！
-
2. 華為手機(jī)神奇“AI修圖”功能，一鍵消除衣服！原圖變身大V領(lǐng)深V！
最近華為手機(jī)Pura70推出的“AI修圖”功能引發(fā)熱議，通過簡(jiǎn)單操作可以讓照片中的人物換裝。想了解更多這款神奇功能的使用方法嗎？點(diǎn)擊查看！
-
近年來,人工智能逐漸走入公眾視野,其中的AI圖像生成技術(shù)尤為引人注目。只需在特定軟件中輸入關(guān)鍵詞描述語以及上傳參考圖就能智能高效生成符合要求的...
-
4. AI視頻制作神器Viggle：讓靜態(tài)人物動(dòng)起來，創(chuàng)意無限！
Viggle AI是一款免費(fèi)制作視頻的AI工具，能讓靜態(tài)人物圖片動(dòng)起來，快來了解Viggle AI的功能和優(yōu)勢(shì)吧！
-
5. Logo Diffusion——基于sd繪畫模型的AI LOGO 生成器
這下LOGO設(shè)計(jì)徹底不用求人了。接下來詳細(xì)演示一遍操作流程首先進(jìn)入Logo D... 想學(xué)習(xí)更多AI技能,比如說關(guān)于怎么樣利用AI來提高生產(chǎn)效率、還能做什么AI...
-
6. 零基礎(chǔ)10分鐘生成漫畫，教大家如何用AI生成自己的漫畫
接下來,我將親自引導(dǎo)你,使用AI工具,創(chuàng)作一本既有趣又能帶來盈利的漫畫。我們將一起探索如何利用這個(gè)工具,發(fā)揮你的創(chuàng)意,制作出令人驚嘆的漫畫作品。讓...
-
7. 趕緊收藏好!這4個(gè)完全免費(fèi)的AI視頻制作網(wǎng)站和工具
以下是一些免費(fèi)的AI視頻制作網(wǎng)站或工具,幫助您制作各種類型的視頻。 1. Lumen5:Lumen5是一個(gè)基于AI的視頻制作工具,可將文本轉(zhuǎn)換為視頻。 用戶可以使...
-
8. AI顯卡繪畫排行榜:4090無懸念，最具性價(jià)比出人意料
在AI繪圖領(lǐng)域，Stable Diffusion的顯卡繪圖性能備受關(guān)注。本文整理了Stable Diffusion顯卡的硬件要求和性能表現(xiàn)，以及2023年3月顯卡AI繪圖效率排行榜和性價(jià)比排行榜。歡迎查看最新的AI顯卡算力排行榜。
-
9. 一款免費(fèi)無限制的AI視頻生成工具火了!國內(nèi)無障礙訪問!附教程
人人都可以動(dòng)手制作AI視頻! 打開網(wǎng)址https://pixverse.ai/,用郵箱注冊(cè)后,點(diǎn)擊右上角Create,就可以開始創(chuàng)作了。 PixVerse目前有文案生成視頻,和圖片生...
-
就能快速生成一幅極具藝術(shù)效果的作品,讓現(xiàn)實(shí)中不懂繪畫的人也能參與其中創(chuàng)作!真的超贊噠~趣趣分享幾款超厲害的AI繪畫軟件,提供詳細(xì)操作!有需要的快來...
最新文章
