1. 藝術(shù)家如何理解神經(jīng)網(wǎng)絡(luò)？
David Aslan 是一個(gè)傳統(tǒng)油畫家，但他同時(shí)也對與藝術(shù)相關(guān)的科學(xué)技術(shù)有著濃厚的興趣。他想要通過撰寫這篇博客來分享他使用神經(jīng)網(wǎng)絡(luò)創(chuàng)作藝術(shù)作品的經(jīng)驗(yàn)與知識(shí)，從而幫助其他的藝術(shù)家也能理解神經(jīng)網(wǎng)絡(luò)，甚至讓他們也能在日后的工作里找到更有趣更炫酷的方式來實(shí)現(xiàn)并呈現(xiàn)他們的作品。
David 把神經(jīng)網(wǎng)絡(luò)看成一種用來解決問題的運(yùn)算工具，不過，它和傳統(tǒng)的計(jì)算工具還是有很大區(qū)別的。他認(rèn)為神經(jīng)網(wǎng)絡(luò)把一堆數(shù)據(jù)當(dāng)作輸入來進(jìn)行處理，但是卻輸出并不是太相關(guān)的結(jié)果。但是，神經(jīng)網(wǎng)絡(luò)卻可以從這些錯(cuò)誤中進(jìn)行學(xué)習(xí)，直到它達(dá)到一種平衡以至于得到一個(gè)近似「正確」的結(jié)果。David 打了一個(gè)比方來解釋這一處理過程：
你扔進(jìn)了一堆數(shù)據(jù)，你得到了一堆垃圾；你告訴計(jì)算機(jī)輸出的結(jié)果是過熱還是過冷，然后計(jì)算機(jī)再進(jìn)行下一次嘗試。
2. 藝術(shù)家如何通過神經(jīng)網(wǎng)絡(luò)創(chuàng)作藝術(shù)作品？
和那些希望通過神經(jīng)網(wǎng)絡(luò)直接產(chǎn)生出藝術(shù)作品的計(jì)算機(jī)科學(xué)家不同，David 卻是把神經(jīng)網(wǎng)絡(luò)當(dāng)作一種創(chuàng)作藝術(shù)的工具。
他使用「Deep Style」將原始的照片或者繪畫作品轉(zhuǎn)化成擁有其他藝術(shù)風(fēng)格的圖像?；谶@些通過神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換出來的圖像，他再利用 Photoshop 來修改并完善圖像中的細(xì)節(jié)。
具體來說，他的工作流程是這個(gè)樣子：
1、準(zhǔn)備好一張打算轉(zhuǎn)換的圖像（被稱作「內(nèi)容圖像」，content image）和若干張風(fēng)格圖像（用于提取圖像中的藝術(shù)風(fēng)格，style image）。
2、通過 Deep Style，他可以獲得若干張轉(zhuǎn)換好的，擁有不同的藝術(shù)風(fēng)格，但是內(nèi)容一致的輸出圖像（被稱作「風(fēng)格化圖像」）。
3、將這些風(fēng)格化圖像通過圖層功能堆疊在原始的內(nèi)容圖像之上，最后再在 Photoshop 里用蒙版功能有選擇性地保留或刪去風(fēng)格化圖像的部分內(nèi)容。
4、最后再添加一個(gè)圖層用于完善細(xì)節(jié)以及將上述步驟中最終保留下來的擁有不同風(fēng)格的部分混合在一張圖像里。
他將第三步和第四步統(tǒng)稱為「混合神經(jīng)技術(shù)」（Fusion Neural Technique），這也是他整個(gè)處理流程里的亮點(diǎn)。以下的這張動(dòng)圖則粗略地展示了他的處理過程。
3. 實(shí)驗(yàn)中的關(guān)鍵點(diǎn)
神經(jīng)網(wǎng)絡(luò)和 Photoshop 中傳統(tǒng)濾鏡功能的區(qū)別
David 發(fā)現(xiàn) Photoshop 中的藝術(shù)濾鏡功能并不能識(shí)別出輸入圖像里的物體，因此這些濾鏡只是對每一個(gè)像素都做了同一個(gè)簡單運(yùn)算。這種情況下，輸入圖像就失去了自己的「特異性」。與之相反，神經(jīng)網(wǎng)絡(luò)不僅能夠識(shí)別出圖像中的物體，也就是圖像的內(nèi)容，同時(shí)還可以鑒別出圖像的紋理特征，從而使最終的輸出結(jié)果更加真實(shí)。
「混合神經(jīng)技術(shù)」的作用
合成圖像通常有著模糊的邊界以及相對來說較低的分辨率。因此，人為增加的混合圖層可以補(bǔ)償一些由于神經(jīng)網(wǎng)絡(luò)處理而導(dǎo)致的信息或分辨率的損失，從而使最終的輸出結(jié)果有著更加銳利的邊緣以及更高的分辨率。這一部分的處理過程正是藝術(shù)家的」再創(chuàng)作「，也正如他所說，他將神經(jīng)網(wǎng)絡(luò)看成創(chuàng)作的工具之一。
David 對神經(jīng)網(wǎng)絡(luò)和藝術(shù)的一些獨(dú)到觀點(diǎn)
藝術(shù)與科技的關(guān)系：他認(rèn)為藝術(shù)的發(fā)展和技術(shù)的發(fā)展是密不可分的。打比方來說，「印象派」的出現(xiàn)正源自于光學(xué)領(lǐng)域的科學(xué)發(fā)現(xiàn)；具備電子放大器的樂器則為我們帶來了搖滾樂。因此，從這個(gè)角度來說，神經(jīng)網(wǎng)絡(luò)也可以當(dāng)成藝術(shù)創(chuàng)作的一種工具。
4. 他的藝術(shù)工作背后的技術(shù)細(xì)節(jié)
在這篇博客里，David 使用 Deep Style 來創(chuàng)作藝術(shù)作品。其中，Deep Style 則是基于《A Neural Algorithm of Artistic Style》這篇論文的一個(gè)具體實(shí)現(xiàn)。
這篇論文使用 VGG-Net 來分別從內(nèi)容圖像和風(fēng)格圖像中提取內(nèi)容信息和風(fēng)格信息，然后再分別計(jì)算它們和隨機(jī)噪音圖像之間的損失。通過反向傳播算法，隨機(jī)噪音圖像最終可以被轉(zhuǎn)換成擁有給定圖像內(nèi)容，但擁有另外的藝術(shù)風(fēng)格的圖像。
以下插圖展示了這個(gè)網(wǎng)絡(luò)的概覽：
將內(nèi)容圖像和生成圖像分別記為vec{p} 和 vec{x}，而它們對應(yīng)在 l 層的特征表達(dá)分別記為 P^l 和 F^l。那么內(nèi)容損失則可以定義成以下式子：
該式相關(guān)的偏導(dǎo)數(shù)記為：
通過使用反向傳播算法，初始的隨機(jī)輸入圖像 vec{x} 能夠不斷改變直到它的特征表達(dá)非常接近 P^l，也就意味著內(nèi)容被重構(gòu)出來了。
這篇論文同樣定義了一副圖像的「風(fēng)格」。G^l 是 Gram 矩陣用來表示 l 層的風(fēng)格特征表達(dá)。該矩陣的每個(gè)元素可以通過以下式子計(jì)算得到：
風(fēng)格圖像和生成圖像分別記為 vec{a} 和 vec{x}，A^l 和 G^l 分別是它們的特征表達(dá)。這樣一來，風(fēng)格損失則可以定義成：
這里，N_I 是 l 層的濾波器的個(gè)數(shù)。它的偏導(dǎo)數(shù)可以通過以下式子計(jì)算：
結(jié)合內(nèi)容損失和風(fēng)格損失，我們可以得到最終的目標(biāo)優(yōu)化函數(shù)：
通過優(yōu)化該式子，就可以生成目標(biāo)圖像 vec{x}。最終目標(biāo)圖像不僅擁有內(nèi)容圖像的內(nèi)容，同時(shí)還擁有給定的風(fēng)格，如下圖所示：
5. 一些其他的思考
顯然，藝術(shù)家更愿意將神經(jīng)網(wǎng)絡(luò)看成「繪畫」的工具。與之相反的是，計(jì)算機(jī)科學(xué)家則致力于設(shè)計(jì)能夠真正自己「創(chuàng)造」藝術(shù)的神經(jīng)網(wǎng)絡(luò)。我認(rèn)為就目前在該領(lǐng)域的研究成果來說，神經(jīng)網(wǎng)絡(luò)更適合成為一種「創(chuàng)作工具」而不是「創(chuàng)作者」。因?yàn)槟壳暗纳窠?jīng)網(wǎng)絡(luò)或多或少都是基于概率模型設(shè)計(jì)的，也就是說，這些網(wǎng)絡(luò)都是在給定條件下，通過輸入的數(shù)據(jù)來預(yù)測一個(gè)輸出結(jié)果。
不能否認(rèn)，人也是從過往的經(jīng)驗(yàn)里來學(xué)習(xí)新的知識(shí)與能力，正如機(jī)器學(xué)習(xí)中的「監(jiān)督學(xué)習(xí)」。但是人學(xué)習(xí)的這一過程則要復(fù)雜得多。對前文提到的神經(jīng)網(wǎng)絡(luò)來說，訓(xùn)練集僅僅只是「真實(shí)的照片」和「繪畫作品」，我們希望從中能夠找到某種能夠?qū)⑺鼈儍烧呗?lián)系起來的映射關(guān)系。然而，除了基于實(shí)實(shí)在在的場景（也就是所謂「真實(shí)的照片」）以外，藝術(shù)家更會(huì)結(jié)合自己的個(gè)人體驗(yàn)與經(jīng)驗(yàn)來進(jìn)行創(chuàng)作——這些個(gè)人的體驗(yàn)與經(jīng)驗(yàn)是極難被量化成計(jì)算機(jī)所能理解的數(shù)據(jù)。
這篇博客同時(shí)也從藝術(shù)家的角度提供了一些很有趣的觀點(diǎn)。在藝術(shù)家眼中，自然圖像（也就是真實(shí)的場景）中的噪音要遠(yuǎn)比圖畫這類藝術(shù)作品中的噪音多。這一觀點(diǎn)其實(shí)是和部分計(jì)算機(jī)科學(xué)家的理解相悖的，比如論文《ArtGAN-Artwork Synthesis with Conditional Categorical GANs》。
博客作者也指出目前這種生成類的神經(jīng)網(wǎng)絡(luò)存在的一個(gè)問題是：生成的圖像通常會(huì)有很模糊的邊緣。因此他不得不使用「混合神經(jīng)技術(shù)」在 Photoshop 中來手動(dòng)銳化這些邊緣。的確，這種附帶的模糊效果是很難在這一類神經(jīng)網(wǎng)絡(luò)中避免的。對此，論文《Face Aging with Conditional Generative Adversarial Networks》的作者提出可以使用一個(gè)訓(xùn)練好的用于識(shí)別的神經(jīng)網(wǎng)絡(luò)來分別提取原圖和生成圖像的深層次特征，然后計(jì)算二者的 L2 損失來進(jìn)行優(yōu)化，從而減弱邊緣模糊的效應(yīng)。盡管如此，這也僅僅只能「改善」輸出結(jié)果而非徹底解決這一問題。
作照片.jpg)
