激情六月丁香婷婷|亚洲色图AV二区|丝袜AV日韩AV|久草视频在线分类|伊人九九精品视频|国产精品一级电影|久草视频在线99|在线看的av网址|伊人99精品无码|午夜无码视频在线

高校合作1：010-59833514 ?咨詢電話：400-810-1418 服務(wù)與監(jiān)督電話：400-810-1418轉(zhuǎn)接2

SDXL Turbo、LCM相繼發(fā)布，AI畫圖進入實時生成時代

發(fā)布時間：2023-12-02 18:17:04 瀏覽量：272次

機器之心報道

機器之心編輯部

使用一塊 A100，出圖的延遲只有 200 毫秒。

本周二，Stability AI 推出了新一代圖像合成模型 Stable Diffusion XL Turbo，引發(fā)了一片叫好。人們紛紛表示，圖像到文本生成從來沒有這么輕松。

你可以不需要其他操作，只用在文本框中輸入你的想法，SDXL Turbo 就能夠迅速響應(yīng)，生成對應(yīng)內(nèi)容。一邊輸入，一邊生成，內(nèi)容增加、減少，絲毫不影響它的速度。

你還可以根據(jù)已有的圖像，更加精細地完成創(chuàng)作。手中只需要拿一張白紙，告訴 SDXL Turbo 你想要一只白貓，字還沒打完，小白貓就已經(jīng)在你的手中了。

SDXL Turbo 模型的速度達到了近乎「實時」的程度，讓人不禁開始暢想：圖像生成模型是不是可以干些其他事了。

有人直接連著游戲，獲得了 2fps 的風格遷移畫面：

據(jù)官方博客介紹，在 A100 上，SDXL Turbo 可在 207 毫秒內(nèi)生成 512x512 圖像（即時編碼 + 單個去噪步驟 + 解碼，fp16），其中單個 UNet 前向評估占用了 67 毫秒。

如此，我們可以判斷，文生圖已經(jīng)進入「實時」時代。

這樣的「即時生成」效率，與前不久爆火的清華 LCM 模型看起來有些相似，但是它們背后的技術(shù)內(nèi)容卻有所不同。Stability 在同期發(fā)布的一篇研究論文中詳細介紹了該模型的內(nèi)部工作原理。該研究重點提出了一種名為對抗擴散蒸餾（Adversarial Diffusion Distillation，ADD）的技術(shù)。SDXL Turbo 聲稱的優(yōu)勢之一是它與生成對抗網(wǎng)絡(luò)（GAN）的相似性，特別是在生成單步圖像輸出方面。

論文地址：https://static1.squarespace.com/static/6213c340453c3f502425776e/t/65663480a92fba51d0e1023f/1701197769659/adversarial_diffusion_distillation.pdf

論文細節(jié)

簡單來說，對抗擴散蒸餾是一種通用方法，可將預訓練擴散模型的推理步數(shù)量減少到 1-4 個采樣步，同時保持高采樣保真度，并有可能進一步提高模型的整體性能。

為此，研究者引入了兩個訓練目標的組合：（i）對抗損失和（ii）與 SDS 相對應(yīng)的蒸餾損失。對抗損失迫使模型在每次前向傳遞時直接生成位于真實圖像流形上的樣本，避免了其他蒸餾方法中常見的模糊和其他偽影。蒸餾損失使用另一個預訓練（且固定）的 擴散模型作為教師，有效利用其廣泛知識，并保留在大型擴散模型中觀察到的強組合性。在推理過程中，研究者未使用無分類器指導，進一步減少了內(nèi)存需求。他們保留了模型通過迭代細化來改進結(jié)果的能力，這比之前基于 GAN 的單步方法具有優(yōu)勢。

熱門課程推薦

熱門資訊

請綁定手機號

獲取驗證碼
x

同學您好！

您已成功報名0元試學活動，老師會在第一時間與您取得聯(lián)系，請保持電話暢通！
確定