Image Translation
簡介
Image translation 是一種深度學習的任務,其目標是將圖像從一種狀態(或”風格”)轉換為另一種狀態,同時保持原始圖像的基本結構和意義。這可以包括各種不同的轉換,例如改變圖像的色調、風格、光線效果,或者從一種類型的圖像(例如夜晚的風景)轉換為另一種類型的圖像(例如同一風景的白天版本)。
一種著名的圖像翻譯模型是 CycleGAN,它能夠在兩個圖像領域之間學習來回的映射,而不需要成對的訓練樣本。舉例來說,CycleGAN 可以將馬的圖片轉換為斑馬的圖片,反之亦然。
另一種重要的圖像翻譯技術是 Pix2Pix,這是一種條件對抗網絡 (Conditional Generative Adversarial Network, cGAN) ,能夠實現從一種類型的圖像轉換為另一種類型的圖像。不過與 CycleGAN 不同的是,Pix2Pix 需要配對的輸入/輸出圖像來訓練。
圖像翻譯有多種可能的應用,包括風格轉換、超解析度、影像修復、將草圖或語義分割圖轉換為寫實圖片等。