當(dāng)你的女朋友變身二次元，是什么樣子？

小聲說(shuō)：沒(méi)有女朋友。

搞錯(cuò)了，再來(lái)！

你下一個(gè)二次元老婆，可能是真人生成的！

即便是容嬤嬤本嬤，也能瞬間變溫婉~還有辣個(gè)清秀的爾康，也瞬間變身短發(fā)萌妹。

只需一張照片、甚至視頻就可以生成二次元老婆。

不管是蘿莉風(fēng)、御姐風(fēng)、甚至女王風(fēng)，統(tǒng)統(tǒng)都可以！

對(duì)此有網(wǎng)友評(píng)論道：我的生活完整了。

如何實(shí)現(xiàn)？

這樣一個(gè)生成器，叫做GANs N’ Roses，以下就簡(jiǎn)稱(chēng)GNR。

嗯？跟Guns N’ Roses（槍炮玫瑰）有什么關(guān)系。

按照論文標(biāo)題所言，要比以往的圖像轉(zhuǎn)換技術(shù)更穩(wěn)健、更可控，以及更多樣。

GNR，由一個(gè)編碼器和解碼器組成。

編碼器將圖像分解為內(nèi)容代碼c和風(fēng)格代碼s，解碼器接收一個(gè)內(nèi)容碼和一個(gè)樣式碼，產(chǎn)生相應(yīng)的圖像。

運(yùn)行時(shí)，把圖像傳給編碼器，保留產(chǎn)生的內(nèi)容代碼，獲得一些其他相關(guān)的風(fēng)格代碼，然后把這對(duì)代碼傳給解碼器。

那具體什么才是內(nèi)容、以及風(fēng)格？GNR的關(guān)鍵思路，是將內(nèi)容定義為事物的位置，風(fēng)格定義為為它們的樣子。

就像這樣。即使是同一種風(fēng)格，也有不同的演繹。

對(duì)于一個(gè)特定的風(fēng)格碼，包括眼睛、下巴、鼻子、頭發(fā)顏色等細(xì)節(jié)，都有很強(qiáng)的一致性。

但就像頭部?jī)A斜度、臉部形狀、發(fā)型等細(xì)節(jié)，則是由內(nèi)容碼控制的。

損失函數(shù)總共有三類(lèi)：風(fēng)格一致性損失、循環(huán)一致性損失、多樣性判別器和對(duì)抗損失。

與其他SOTA框架對(duì)比，GNR在多樣性、圖像質(zhì)量等多個(gè)指標(biāo)上都有明顯的改進(jìn)。

直接放圖來(lái)比較，則更為明顯。

最后，研究人員發(fā)現(xiàn)，在沒(méi)有額外訓(xùn)練的情況下，GNR對(duì)于視頻之間的轉(zhuǎn)換也同樣適合。

目前，GNR已經(jīng)在GitHub開(kāi)源，并上線了Demo試玩鏈接。

我試了試，似乎目前只有一種風(fēng)格。

但依然擋不住網(wǎng)友直呼：So cool！

團(tuán)隊(duì)成員

團(tuán)隊(duì)成員均來(lái)自美國(guó)伊利諾伊大學(xué)厄巴納-香檳分校。

一作華人Min Jin Chong，本科從美國(guó)伊利諾伊大學(xué)畢業(yè)后，繼續(xù)留校讀博，此前曾在字節(jié)實(shí)習(xí)3個(gè)月。

另一位作者、他的導(dǎo)師David Forsyth是知名CV大牛，曾與Jean Ponce 合著的《Computer Vision：A Modern Approach》，堪稱(chēng)計(jì)算機(jī)視覺(jué)經(jīng)典教材。

好了，感興趣的旁友，可戳下方鏈接哦~

試玩鏈接：https://gradio.app/g/AK391/GANsNRoses