當你的女朋友變身二次元，是什么樣子？

小聲說：沒有女朋友。

搞錯了，再來！

你下一個二次元老婆，可能是真人生成的！

即便是容嬤嬤本嬤，也能瞬間變溫婉~還有辣個清秀的爾康，也瞬間變身短發萌妹。

只需一張照片、甚至視頻就可以生成二次元老婆。

不管是蘿莉風、御姐風、甚至女王風，統統都可以！

對此有網友評論道：我的生活完整了。

如何實現？

這樣一個生成器，叫做GANs N’ Roses，以下就簡稱GNR。

嗯？跟Guns N’ Roses（槍炮玫瑰）有什么關系。

按照論文標題所言，要比以往的圖像轉換技術更穩健、更可控，以及更多樣。

GNR，由一個編碼器和解碼器組成。

編碼器將圖像分解為內容代碼c和風格代碼s，解碼器接收一個內容碼和一個樣式碼，產生相應的圖像。

運行時，把圖像傳給編碼器，保留產生的內容代碼，獲得一些其他相關的風格代碼，然后把這對代碼傳給解碼器。

那具體什么才是內容、以及風格？GNR的關鍵思路，是將內容定義為事物的位置，風格定義為為它們的樣子。

就像這樣。即使是同一種風格，也有不同的演繹。

對于一個特定的風格碼，包括眼睛、下巴、鼻子、頭發顏色等細節，都有很強的一致性。

但就像頭部傾斜度、臉部形狀、發型等細節，則是由內容碼控制的。

損失函數總共有三類：風格一致性損失、循環一致性損失、多樣性判別器和對抗損失。

與其他SOTA框架對比，GNR在多樣性、圖像質量等多個指標上都有明顯的改進。

直接放圖來比較，則更為明顯。

最后，研究人員發現，在沒有額外訓練的情況下，GNR對于視頻之間的轉換也同樣適合。

目前，GNR已經在GitHub開源，并上線了Demo試玩鏈接。

我試了試，似乎目前只有一種風格。

但依然擋不住網友直呼：So cool！

團隊成員

團隊成員均來自美國伊利諾伊大學厄巴納-香檳分校。

一作華人Min Jin Chong，本科從美國伊利諾伊大學畢業后，繼續留校讀博，此前曾在字節實習3個月。

另一位作者、他的導師David Forsyth是知名CV大牛，曾與Jean Ponce 合著的《Computer Vision：A Modern Approach》，堪稱計算機視覺經典教材。

好了，感興趣的旁友，可戳下方鏈接哦~

試玩鏈接：https://gradio.app/g/AK391/GANsNRoses