背景

在視覺設(shè)計(jì)領(lǐng)域中，設(shè)計(jì)師們往往會(huì)因?yàn)橐恍┖?jiǎn)單需求付出相當(dāng)多的時(shí)間，比如修改文案內(nèi)容，設(shè)計(jì)簡(jiǎn)單的海報(bào)版式，針對(duì)不同機(jī)型、展位的多尺寸拓展等。這些工作需要耗費(fèi)大量的時(shí)間、人力成本（5~6張/人日），但對(duì)設(shè)計(jì)師的進(jìn)步成長(zhǎng)起到的作用卻非常有限。另一方面，精準(zhǔn)營(yíng)銷是未來的大趨勢(shì)，在大流量背景下，首頁(yè)的海報(bào)資源展位需要展示“千人千面”的效果，這對(duì)海報(bào)的生產(chǎn)效率也提出了非常高的要求。所以，我們美團(tuán)外賣技術(shù)團(tuán)隊(duì)嘗試結(jié)合AI技術(shù)，來協(xié)助設(shè)計(jì)師避免這種低收益、高重復(fù)的任務(wù)，同時(shí)低成本、高效率、高質(zhì)量地完成海報(bào)圖片的生成。本文以Banner（橫版海報(bào)）為例，介紹我們?cè)诤?bào)設(shè)計(jì)與AI技術(shù)結(jié)合方面所進(jìn)行的一些探索和研究。

分析

什么是Banner的設(shè)計(jì)過程？我們嘗試總結(jié)了對(duì)Banner設(shè)計(jì)的理解，Banner的設(shè)計(jì)過程是一系列的具備某種特征屬性的素材圖層的有序疊加過程。這里的特征屬性既包括顏色、形狀、紋理、主題等視覺屬性，也包括位置、大小、貼邊等空間屬性。在這個(gè)過程中，哪些環(huán)節(jié)可以被機(jī)器算法所探索呢？阿里巴巴的“鹿班”系統(tǒng)在去年雙十一當(dāng)天，生成1.7億張Banner，京東內(nèi)部也在孵化玲瓏和莎士比亞系統(tǒng)，更加智能地設(shè)計(jì)文案和Banner。

封面配色&布局設(shè)計(jì)

在設(shè)計(jì)領(lǐng)域的一些子問題上，可以用算法來挖掘出數(shù)據(jù)背后的規(guī)律（如圖1所示）。那么，能否構(gòu)建一個(gè)完整的學(xué)習(xí)算法和處理系統(tǒng)，統(tǒng)一解決Banner設(shè)計(jì)中所有的子問題（配色、布局、搭配、生成）呢？

技術(shù)方案

素材圖層是Banner的基礎(chǔ)元素，其本身可以被特征化，同時(shí)組成Banner的若干元素間的疊加順序可以被序列化，因此，算法實(shí)際是在學(xué)習(xí)“在什么時(shí)候，選擇某種素材，放在哪里”。

如圖2所示，為了解決這個(gè)問題，我們?cè)O(shè)計(jì)規(guī)劃器、優(yōu)化器、生成器來共同構(gòu)建海報(bào)設(shè)計(jì)的學(xué)習(xí)與生產(chǎn)過程。其中：

1. 規(guī)劃器從數(shù)據(jù)中學(xué)習(xí)設(shè)計(jì)師對(duì)不同風(fēng)格下的設(shè)計(jì)習(xí)慣與規(guī)律；
2. 優(yōu)化器基于美學(xué)質(zhì)量和設(shè)計(jì)原則，對(duì)前者的輸出結(jié)果做精細(xì)化調(diào)整；
3. 最后，由生成器選取/生成素材并渲染成圖；
4. 素材庫(kù)作為這三個(gè)環(huán)節(jié)的基礎(chǔ)，負(fù)責(zé)素材管理和素材標(biāo)簽化。

素材庫(kù)

如何提取素材圖片的特征屬性，這是比較典型的分類問題。在計(jì)算機(jī)視覺領(lǐng)域，傳統(tǒng)方案是提取圖像的顏色、梯度等低級(jí)語(yǔ)義特征[3]，結(jié)合傳統(tǒng)的分類器（LR、SVM等）來實(shí)現(xiàn)分類。近年來，基于深度學(xué)習(xí)的方法因?yàn)槟鼙磉_(dá)更為復(fù)雜的語(yǔ)義特征，逐漸成為主流方法[4]。如圖3所示我們提取傳統(tǒng)的低級(jí)語(yǔ)義特征，以及基于CNN的高級(jí)語(yǔ)義特征，來共同完成素材特征屬性提取。

規(guī)劃器

完成素材的數(shù)據(jù)化工作后，怎樣學(xué)習(xí)Banner的設(shè)計(jì)過程？

作為一種生成模型，對(duì)抗生成網(wǎng)絡(luò)（GAN）[5]在近年廣為應(yīng)用，其優(yōu)勢(shì)是可以端到端地訓(xùn)練圖像生成模型，但在我們的應(yīng)用場(chǎng)景下，GAN存在以下兩個(gè)問題：

1. GAN的過程更像是“黑盒”的過程：輸入方面，雖然Conditional-GAN之類的方法可以實(shí)現(xiàn)某種程度有條件地可控生成，但對(duì)于Banner設(shè)計(jì)任務(wù)來說，其輸入信息（文案、目標(biāo)風(fēng)格、主體信息）仍然過于復(fù)雜；
2. 輸出方面，GAN直接生成源數(shù)據(jù)（即圖像），但非常缺乏解釋性。我們需要的是更加直觀、更有解釋性的信息，比如素材的類型、顏色、輪廓、位置等。

在上文中有提到，Banner設(shè)計(jì)過程是素材圖層依次疊加的過程。因此，我們可以用序列生成模型來擬合這個(gè)過程[6]。在建模過程中，我們把素材視作詞匯（Word），海報(bào)視作句子（Sentence），詞匯索引視為離散化的特征索引，素材疊加順序就可以視為句子中的詞順序[7]。

圖4是我們使用的序列生成模型，輸入主體信息和目標(biāo)風(fēng)格，輸出素材特征的序列。為了增強(qiáng)預(yù)測(cè)過程中多條路徑結(jié)果的多樣性，我們?cè)诒O(jiān)督性地訓(xùn)練每個(gè)時(shí)刻的輸出之外，還引入了評(píng)估整個(gè)序列合理性的Object loss。如圖5所示，借鑒SeqGAN的思想，Object loss可以由判別器來提供[8]。

優(yōu)化器

規(guī)劃器預(yù)測(cè)素材的量化特征，為了確保最終成圖符合美學(xué)標(biāo)準(zhǔn)，需要一個(gè)后處理的過程（圖6）。我們用優(yōu)化器來解決這個(gè)問題。從本質(zhì)上講，這是一個(gè)優(yōu)化過程。通過和設(shè)計(jì)師們的溝通，我們?cè)O(shè)計(jì)了一些基于常規(guī)設(shè)計(jì)理念和美學(xué)標(biāo)準(zhǔn)的目標(biāo)函數(shù)，動(dòng)作集合包括移動(dòng)、縮放、亮度調(diào)整等，結(jié)合優(yōu)化方法，提升Banner的視覺效果。

生成器

優(yōu)化后的素材特征序列，通過生成器來渲染成圖。如圖7所示，對(duì)于素材庫(kù)檢索不到符合某種特征屬性的素材的情況，我們?cè)O(shè)計(jì)了圖像風(fēng)格遷移的方法來實(shí)現(xiàn)圖像特征遷移。這里的特征可以是顏色、形狀、紋理等低級(jí)特征，也可以是某種語(yǔ)義化的視覺風(fēng)格特征，對(duì)后者來說，可以將源圖像的內(nèi)容Content和目標(biāo)圖像的風(fēng)格Style在某種特征空間（CNN中的某一層）里做融合，實(shí)現(xiàn)風(fēng)格遷移[9,10]。

應(yīng)用場(chǎng)景及功能拓展

“千人千面”的精準(zhǔn)營(yíng)銷是未來營(yíng)銷策略的趨勢(shì)，這對(duì)商品素材的豐富性提出了非常高的要求；從為商家賦能的角度來說，也需要為商家提供更多樣的海報(bào)版式，這也要求系統(tǒng)具備海報(bào)風(fēng)格的快速學(xué)習(xí)能力和拓展能力。對(duì)此，在常規(guī)設(shè)計(jì)風(fēng)格的研究之外，我們從以下3個(gè)方面做了一些拓展研究。

主體圖片加工

商品素材的豐富度與美學(xué)質(zhì)量是精細(xì)化營(yíng)銷及海報(bào)美學(xué)質(zhì)量非常重要的一環(huán)。其中最核心的要求是圖像分割的能力[11,12]。以全卷積網(wǎng)絡(luò)（FCN）為基礎(chǔ)，如圖8所示，我們采取以下幾個(gè)在目標(biāo)分割領(lǐng)域常見的技巧，來實(shí)現(xiàn)商品圖片的目標(biāo)分割：

1. Encoder-Decoder結(jié)構(gòu)
2. 空洞卷積
3. 多尺度特征融合
4. Two-Stage微調(diào)網(wǎng)絡(luò)

這種基于語(yǔ)義分割方法的結(jié)果，在專業(yè)設(shè)計(jì)師人工評(píng)審質(zhì)量的過程中，發(fā)現(xiàn)主體邊緣有時(shí)會(huì)出現(xiàn)明顯的鋸齒感。經(jīng)過分析，我們認(rèn)為有以下兩個(gè)原因：

1. 語(yǔ)義分割模型把問題建模為一個(gè)“像素級(jí)分類過程”，每一個(gè)像素的類別都天然地被假設(shè)為“非此即彼”，大多數(shù)的Segmentation模型都采用Cross-Entropy作為損失函數(shù)；
2. 因此，無論是從模型結(jié)構(gòu)（CNN）還是從損失函數(shù)的角度來說，分割模型會(huì)更傾向于全局信息從而丟棄局部結(jié)構(gòu)信息，導(dǎo)致只能得到邊緣比較粗糙的分割結(jié)果。

為此，如圖8所示，我們?cè)趫D像分割的輸出結(jié)果之外，結(jié)合了Image Matting方法：

1. 對(duì)分割模型的輸出結(jié)果做形態(tài)學(xué)變換，生成三值Trimap，分別表示前景區(qū)、背景區(qū)、未知區(qū)；
2. 應(yīng)用常規(guī)的Matting方法，比如Bayesian、Close-Form等，以原圖像和Trimap圖像為輸入，輸出前景圖的Alpha通道；
3. Matting可以使前景主體的邊緣更加平滑，視覺質(zhì)量更高（圖9）。

另外，基于圖像美學(xué)質(zhì)量評(píng)分模型，我們會(huì)優(yōu)先選擇質(zhì)量分高的圖片作為主體素材來源。對(duì)中低分的圖片，未來可以考慮借鑒Cycle-GAN[13]的思想，設(shè)計(jì)基于半監(jiān)督和GAN的圖像增強(qiáng)網(wǎng)絡(luò)，美化后再經(jīng)過圖像分割產(chǎn)生主體素材。

海報(bào)模板拓展

上述的常規(guī)設(shè)計(jì)風(fēng)格的學(xué)習(xí)屬于一種廣義的設(shè)計(jì)風(fēng)格，需要設(shè)計(jì)師先期投入很多精力做風(fēng)格劃分以及數(shù)據(jù)收集、處理。為了快速適配熱點(diǎn)場(chǎng)景，我們借鑒圖像檢索技術(shù)（如圖10所示），提取素材圖片的CNN特征及顏色特征，使用歐式距離來度量素材相似度，這能節(jié)省人工打標(biāo)簽的成本，實(shí)現(xiàn)基于固定模板的自動(dòng)拓展及生成（海報(bào)臨摹）。

多分辨率拓展

在日常工作中，設(shè)計(jì)師在設(shè)計(jì)出Banner后，往往要花費(fèi)很長(zhǎng)時(shí)間對(duì)不同展位、不同版本、不同機(jī)型做多尺寸適配（如圖11所示）。能否用算法來協(xié)助人工提效？在素材已經(jīng)確定，并且相互的位置關(guān)系近乎確定的條件下做多分辨率適配，這本質(zhì)上是一個(gè)優(yōu)化問題，我們?cè)谏衔牟季謨?yōu)化器的基礎(chǔ)上，增加元素的局部相對(duì)位置與全局絕對(duì)位置的拓?fù)潢P(guān)系作為目標(biāo)函數(shù)。目前，系統(tǒng)支持在某個(gè)固定寬高比±30%范圍內(nèi)的任意分辨率適配，未來會(huì)進(jìn)一步擴(kuò)大適配范圍。