TWI739151B - 圖像生成網路的訓練及影像處理方法和裝置、電子設備 - Google Patents

圖像生成網路的訓練及影像處理方法和裝置、電子設備 Download PDF

Info

Publication number
TWI739151B
TWI739151B TW108131747A TW108131747A TWI739151B TW I739151 B TWI739151 B TW I739151B TW 108131747 A TW108131747 A TW 108131747A TW 108131747 A TW108131747 A TW 108131747A TW I739151 B TWI739151 B TW I739151B
Authority
TW
Taiwan
Prior art keywords
image
feature
structural
loss
network
Prior art date
Application number
TW108131747A
Other languages
English (en)
Other versions
TW202042176A (zh
Inventor
張宇
鄒冬青
任思捷
姜哲
陳曉濠
Original Assignee
大陸商深圳市商湯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商深圳市商湯科技有限公司 filed Critical 大陸商深圳市商湯科技有限公司
Publication of TW202042176A publication Critical patent/TW202042176A/zh
Application granted granted Critical
Publication of TWI739151B publication Critical patent/TWI739151B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本申請實施例公開了一種圖像生成網路的訓練及影像處理方法和裝置、電子設備，其中，圖像生成網路的訓練方法，包括：獲取樣本圖像，樣本圖像包括第一樣本圖像以及與第一樣本圖像對應的第二樣本圖像；基於圖像生成網路對第一樣本圖像進行處理，獲得預測目標圖像；確定預測目標圖像與第二樣本圖像之間的差異損失；基於差異損失對圖像生成網路進行訓練，獲得訓練後的圖像生成網路，通過差異損失對預測目標圖像與第二樣本圖像之間的結構差異進行描述，以差異損失對圖像生成網路進行訓練，保證了基於圖像生成網路生成的圖像的結構不失真。

Description

圖像生成網路的訓練及影像處理方法和 裝置、電子設備
本申請關於影像處理技術，尤其是一種圖像生成網路的訓練及影像處理方法和裝置、電子設備。
2D到3D立體效果的轉換，需要根據輸入的單目圖像，恢復其另一個視點下拍攝的場景內容。為了形成3D層次觀感，該過程需要理解輸入場景的深度資訊，並根據雙目視差關係，將輸入左目的像素按照視差平移，生成右目內容。傳統的手工製作過程，通常涉及深度重建、層次分割、以及空洞區域填補等流程，過程較為耗時耗力。隨著人工智慧領域的興起，學術界提出採用卷積神經網路建模基於雙目視差的圖像合成過程，並通過在大量立體圖像資料上進行訓練，自動學習正確的視差關係。在訓練過程中，要求通過該視差將左圖平移生成後的右圖，與真實右圖的顏色值一致。然而，在實際應用中，該方式生成的右圖內容經常發生結構缺失與對象形變，嚴重影響了生成圖像的品質。
本申請實施例提供的一種圖像生成網路的訓練及影像處理技術。
根據本申請實施例的一個方面，提供的一種圖像生成網路的訓練方法，包括：獲取樣本圖像，所述樣本圖像包括第一樣本圖像以及與所述第一樣本圖像對應的第二樣本圖像；基於圖像生成網路對所述第一樣本圖像進行處理，獲得預測目標圖像；確定所述預測目標圖像與所述第二樣本圖像之間的差異損失；基於所述差異損失對所述圖像生成網路進行訓練，獲得訓練後的圖像生成網路。
可選地，在本申請上述任一方法實施例中，所述確定所述預測目標圖像與所述第二樣本圖像之間的差異損失，包括：基於結構分析網路確定所述預測目標圖像與所述第二樣本圖像之間的差異損失；所述基於所述差異損失對所述圖像生成網路進行訓練，獲得訓練後的圖像生成網路，包括：基於所述差異損失對所述圖像生成網路和所述結構分析網路進行對抗訓練，獲得訓練後的圖像生成網路。
本申請實施例中在訓練階段，利用結構分析網路和圖像生成網路進行對抗訓練，通過對抗訓練提升了圖像生成網路的性能。
可選地，在本申請上述任一方法實施例中，所述差異損失包括第一結構差異損失以及特徵損失；所述確定所述預測目標圖像與所述第二樣本圖像之間的差異損失，包括：基於結構分析網路對所述預測目標圖像和所述第二樣本圖像進行處理，確定所述預測目標圖像與所述第二樣本圖像之間的第一結構差異損失；基於所述結構分析網路確定所述預測目標圖像與所述第二樣本圖像之間的特徵損失。
本申請實施例中，通過結構分析網路對目標圖像和第二樣本圖像進行處理，可分別獲得多個尺度的特徵圖，對每個尺度的特徵圖中的每個位置的結構特徵，基於目標圖像對應的多個特徵圖中每個位置的結構特徵，與第二樣本圖像對應的多個特徵圖中每個位置的結構特徵，確定第一結構差異損失；而特徵損失是基於預測目標圖像對應的多個特徵圖中每個位置和第二樣本圖像對應的多個特徵圖中每個位置確定的。
可選地，在本申請上述任一方法實施例中，所述基於結構分析網路對所述預測目標圖像和所述第二樣本圖像進行處理，確定所述預測目標圖像與所述第二樣本圖像之間的第一結構差異損失，包括： 基於所述結構分析網路對所述預測目標圖像進行處理，確定所述預測目標圖像中至少一個位置的至少一個第一結構特徵；基於所述結構分析網路對所述第二樣本圖像進行處理，確定所述第二樣本圖像中至少一個位置的至少一個第二結構特徵；基於所述至少一個第一結構特徵和所述至少一個第二結構特徵，確定所述預測目標圖像與所述第二樣本圖像之間的第一結構差異損失。
本申請實施例通過結構分析網路分別對預測目標圖像和第二樣本圖像進行處理，對於預測目標圖像獲得至少一個特徵圖，對每個特徵圖中的每個位置獲得一個第一結構特徵，即獲得至少一個第一結構特徵；對於第二樣本圖像同樣獲得至少一個第二結構特徵，本申請實施例中的第一結構差異損失通過統計在每個尺度中每個位置對應的目標圖像的第一結構特徵和第二樣本圖像的第二結構特徵之間的差異獲得，即分別計算每個尺度中同樣位置對應的第一結構特徵和第二結構特徵之間的結構差異，以確定兩個圖像之間的結構差異損失。
可選地，在本申請上述任一方法實施例中，所述基於所述結構分析網路對所述預測目標圖像進行處理，確定所述預測目標圖像中至少一個位置的至少一個第一結構特徵，包括： 基於結構分析網路對所述預測目標圖像進行處理，獲得所述預測目標圖像的至少一個尺度的第一特徵圖；對每個所述第一特徵圖，基於所述第一特徵圖中至少一個位置中每個位置的特徵與所述位置的相鄰區域特徵的余弦距離，獲得所述預測目標圖像的至少一個第一結構特徵；其中，所述第一特徵圖中的每個位置對應一個第一結構特徵，所述相鄰區域特徵為以所述位置為中心包括至少兩個位置的區域內的每個特徵。
可選地，在本申請上述任一方法實施例中，所述基於所述結構分析網路對所述第二樣本圖像進行處理，確定所述第二樣本圖像中至少一個位置的至少一個第二結構特徵，包括：基於結構分析網路對所述第二樣本圖像進行處理，獲得所述第二樣本圖像在至少一個尺度的第二特徵圖；對每個所述第二特徵圖，基於所述第二特徵圖中至少一個位置中每個位置的特徵與所述位置的相鄰區域特徵的余弦距離，獲得所述第二樣本圖像的至少一個第二結構特徵；其中，所述第二特徵圖中的每個位置對應一個第二結構特徵。
可選地，在本申請上述任一方法實施例中，所述第一特徵圖中的每個位置與所述第二特徵圖中的每個位置存在對應關係； 所述基於所述至少一個第一結構特徵和所述至少一個第二結構特徵，確定所述預測目標圖像與所述第二樣本圖像之間的第一結構差異損失，包括：計算存在對應關係的位置對應的所述第一結構特徵與所述第二結構特徵之間的距離；基於所述預測目標圖像對應的所有所述第一結構特徵與所述第二結構特徵之間的距離，確定所述預測目標圖像與所述第二樣本圖像之間的第一結構差異損失。
可選地，在本申請上述任一方法實施例中，所述基於所述結構分析網路確定所述預測目標圖像與所述第二樣本圖像之間的特徵損失，包括：基於所述結構分析網路對所述預測目標圖像和所述第二樣本圖像進行處理，獲得所述預測目標圖像的至少一個尺度的第一特徵圖和所述第二樣本圖像在至少一個尺度的第二特徵圖；基於所述至少一個第一特徵圖和所述至少一個第二特徵圖，確定所述預測目標圖像與所述第二樣本圖像之間的特徵損失。
可選地，在本申請上述任一方法實施例中，所述第一特徵圖中的每個位置與所述第二特徵圖中的每個位置存在對應關係；所述基於所述至少一個第一特徵圖和所述至少一個第二特徵圖，確定所述預測目標圖像與所述第二樣本圖像之間的特徵損失，包括： 計算存在對應關係的位置對應的所述第一特徵圖中的特徵與所述第二特徵圖中的特徵之間的距離；基於所述第一特徵圖中的特徵與所述第二特徵圖中的特徵之間的距離，確定所述預測目標圖像與所述第二樣本圖像之間的特徵損失。
可選地，在本申請上述任一方法實施例中，所述差異損失還包括顏色損失，在基於所述差異損失對所述圖像生成網路進行訓練，獲得訓練後的圖像生成網路之前，所述方法還包括：基於所述預測目標圖像與所述第二樣本圖像之間的顏色差異，確定所述圖像生成網路的顏色損失；所述基於所述差異損失對所述圖像生成網路和所述結構分析網路進行對抗訓練，獲得訓練後的圖像生成網路，包括：在第一反覆運算中，基於所述第一結構差異損失、所述特徵損失和所述顏色損失對所述圖像生成網路中的網路參數進行調整；在第二反覆運算中，基於所述第一結構差異損失對所述結構分析網路中的網路參數進行調整，其中，所述第一反覆運算和所述第二反覆運算為連續執行的兩次反覆運算；直到滿足訓練停止條件，獲得訓練後的圖像生成網路。
本申請實施例中，對抗訓練的目標為減小圖像生成網路獲得的預測目標圖像與第二樣本圖像之間的差異。對抗訓練通常採用交替訓練的方式實現，本申請實施例 通過交替對圖像生成網路和結構分析網路進行訓練，以獲得符合要求的圖像生成網路。
可選地，在本申請上述任一方法實施例中，在確定所述預測目標圖像與所述第二樣本圖像之間的差異損失之前，還包括：對所述第二樣本圖像加入雜訊，獲得雜訊圖像；基於所述雜訊圖像和所述第二樣本圖像確定第二結構差異損失。
可選地，在本申請上述任一方法實施例中，所述基於所述雜訊圖像和所述第二樣本圖像確定第二結構差異損失，包括：基於結構分析網路對所述雜訊圖像進行處理，確定所述雜訊圖像中至少一個位置的至少一個第三結構特徵；基於結構分析網路對所述第二樣本圖像進行處理，確定所述第二樣本圖像中至少一個位置的所述至少一個第二結構特徵；基於所述至少一個第三結構特徵和所述至少一個第二結構特徵，確定所述雜訊圖像與所述第二樣本圖像之間的第二結構差異損失。
可選地，在本申請上述任一方法實施例中，所述基於結構分析網路對所述雜訊圖像進行處理，確定所述雜訊圖像中至少一個位置的至少一個第三結構特徵，包括：基於所述結構分析網路對所述雜訊圖像進行處理，獲得所述雜訊圖像的至少一個尺度的第三特徵圖； 對每個所述第三特徵圖，基於所述第三特徵圖中至少一個位置中每個位置的特徵與所述位置的相鄰區域特徵的余弦距離，獲得所述雜訊圖像的至少一個第三結構特徵；其中，所述第三特徵圖中的每個位置對應一個第三結構特徵，所述相鄰區域特徵為以所述位置為中心包括至少兩個位置的區域內的每個特徵。
可選地，在本申請上述任一方法實施例中，所述第三特徵圖中的每個位置與所述第二特徵圖中的每個位置存在對應關係；所述基於所述至少一個第三結構特徵和所述至少一個第二結構特徵，確定所述雜訊圖像與所述第二樣本圖像之間的第二結構差異損失，包括：計算存在對應關係的位置對應的所述第三結構特徵與所述第二結構特徵之間的距離；基於所述雜訊圖像對應的所有所述第三結構特徵與所述第二結構特徵之間的距離，確定所述雜訊圖像與所述第二樣本圖像之間的第二結構差異損失。
可選地，在本申請上述任一方法實施例中，所述基於所述差異損失對所述圖像生成網路和所述結構分析網路進行對抗訓練，獲得訓練後的圖像生成網路，包括：在第三反覆運算中，基於所述第一結構差異損失、所述特徵損失和所述顏色損失對所述圖像生成網路中的網路參數進行調整； 在第四反覆運算中，基於所述第一結構差異損失和所述第二結構差異損失對所述結構分析網路中的網路參數進行調整，其中，所述第三反覆運算和所述第四反覆運算為連續執行的兩次反覆運算；直到滿足訓練停止條件，獲得訓練後的圖像生成網路。
在本申請實施例中，在獲得了雜訊圖像對應的第二結構差異損失之後，為了提高結構分析網路的性能，在調整結構分析網路的網路參數時，加入了第二結構差異損失。
可選地，在本申請上述任一方法實施例中，在基於所述結構分析網路對所述預測目標圖像進行處理，確定所述預測目標圖像中至少一個位置的至少一個第一結構特徵之後，還包括：基於圖像重構網路對所述至少一個第一結構特徵進行圖像重構處理，獲得第一重構圖像；基於所述第一重構圖像與所述預測目標圖像確定第一重構損失。
可選地，在本申請上述任一方法實施例中，在基於所述結構分析網路對所述第二樣本圖像進行處理，確定所述第二樣本圖像中至少一個位置的至少一個第二結構特徵之後，還包括：基於圖像重構網路對所述至少一個第二結構特徵進行圖像重構處理，獲得第二重構圖像； 基於所述第二重構圖像和所述第二樣本圖像確定第二重構損失。
可選地，在本申請上述任一方法實施例中，所述基於所述差異損失對所述圖像生成網路和結構分析網路進行對抗訓練，獲得訓練後的圖像生成網路，包括：在第五反覆運算中，基於所述第一結構差異損失、所述特徵損失和所述顏色損失對所述圖像生成網路中的網路參數進行調整；在第六反覆運算中，基於所述第一結構差異損失、所述第二結構差異損失、所述第一重構損失和所述第二重構損失對所述結構分析網路中的網路參數進行調整，其中，所述第五反覆運算和所述第六反覆運算為連續執行的兩次反覆運算；直到滿足訓練停止條件，獲得訓練後的圖像生成網路。
本申請實施例中，對圖像生成網路的參數進行調整的損失不變，僅針對結構分析網路的性能進行提升，而由於結構分析網路與圖像生成網路之間是對抗訓練的，因此，通過對結構分析網路的性能進行提升，可以加快對圖像生成網路的訓練。
可選地，在本申請上述任一方法實施例中，所述基於所述差異損失對所述圖像生成網路進行訓練，獲得訓練後的圖像生成網路之後，還包括：基於所述訓練後的圖像生成網路對待處理圖像進行處理，獲得目標圖像。
可選地，在本申請上述任一方法實施例中，所述待處理圖像包括左目圖像；所述目標圖像包括與所述左目圖像對應的右目圖像。
根據本申請實施例的另一個方面，提供的一種影像處理方法，包括：在三維圖像生成場景下，將左目圖像輸入圖像生成網路，獲得右目圖像；基於所述左目圖像以及所述右目圖像生成三維圖像；其中，所述圖像生成網路經過上述任意一項實施例所述的圖像生成網路的訓練方法訓練獲得。
本申請實施例提供的影像處理方法，通過圖像生成網路對左目影像處理獲得對應的右目圖像，受光照、遮擋、雜訊等環境因素的影響較小，得以保持視覺面積較小的對象的合成準確度，通過獲得的右目圖像與左目圖像可生成形變較小、細節保留較完整的三維圖像。
根據本申請實施例的又一個方面，提供的一種圖像生成網路的訓練裝置，包括：樣本獲取單元，用於獲取樣本圖像，所述樣本圖像包括第一樣本圖像以及與所述第一樣本圖像對應的第二樣本圖像；目標預測單元，用於基於圖像生成網路對所述第一樣本圖像進行處理，獲得預測目標圖像；差異損失確定單元，用於確定所述預測目標圖像與所述第二樣本圖像之間的差異損失； 網路訓練單元，用於基於所述差異損失對所述圖像生成網路進行訓練，獲得訓練後的圖像生成網路。
可選地，在本申請上述任一裝置實施例中，所述差異損失確定單元，具體用於基於結構分析網路確定所述預測目標圖像與所述第二樣本圖像之間的差異損失；所述網路訓練單元，具體用於基於所述差異損失對所述圖像生成網路和所述結構分析網路進行對抗訓練，獲得訓練後的圖像生成網路。
可選地，在本申請上述任一裝置實施例中，所述差異損失包括第一結構差異損失以及特徵損失；所述差異損失確定單元，包括：第一結構差異確定模組，用於基於結構分析網路對所述預測目標圖像和所述第二樣本圖像進行處理，確定所述預測目標圖像與所述第二樣本圖像之間的第一結構差異損失；特徵損失確定模組，用於基於所述結構分析網路確定所述預測目標圖像與所述第二樣本圖像之間的特徵損失。
可選地，在本申請上述任一裝置實施例中，所述第一結構差異確定模組，用於基於所述結構分析網路對所述預測目標圖像進行處理，確定所述預測目標圖像中至少一個位置的至少一個第一結構特徵；基於所述結構分析網路對所述第二樣本圖像進行處理，確定所述第二樣本圖像中至少一個位置的至少一個第二結構特徵；基於所述至少一個第一結構特徵和所述至少一個第二結構特徵，確定所述預測目標圖像與所述第二樣本圖像之間的第一結構差異損失。
可選地，在本申請上述任一裝置實施例中，所述第一結構差異確定模組在基於所述結構分析網路對所述預測目標圖像進行處理，確定所述預測目標圖像中至少一個位置的至少一個第一結構特徵時，用於基於結構分析網路對所述預測目標圖像進行處理，獲得所述預測目標圖像的至少一個尺度的第一特徵圖；對每個所述第一特徵圖，基於所述第一特徵圖中至少一個位置中每個位置的特徵與所述位置的相鄰區域特徵的余弦距離，獲得所述預測目標圖像的至少一個第一結構特徵；其中，所述第一特徵圖中的每個位置對應一個第一結構特徵，所述相鄰區域特徵為以所述位置為中心包括至少兩個位置的區域內的每個特徵。
可選地，在本申請上述任一裝置實施例中，所述第一結構差異確定模組在基於所述結構分析網路對所述第二樣本圖像進行處理，確定所述第二樣本圖像中至少一個位置的至少一個第二結構特徵時，用於基於結構分析網路對所述第二樣本圖像進行處理，獲得所述第二樣本圖像在至少一個尺度的第二特徵圖；對每個所述第二特徵圖，基於所述第二特徵圖中至少一個位置中每個位置的特徵與所述位置的相鄰區域特徵的余弦距離，獲得所述第二樣本圖像的至少一個第二結構特徵；其中，所述第二特徵圖中的每個位置對應一個第二結構特徵。
可選地，在本申請上述任一裝置實施例中，所述第一特徵圖中的每個位置與所述第二特徵圖中的每個位置存在對應關係； 所述第一結構差異確定模組在基於所述至少一個第一結構特徵和所述至少一個第二結構特徵，確定所述預測目標圖像與所述第二樣本圖像之間的第一結構差異損失時，用於計算存在對應關係的位置對應的所述第一結構特徵與所述第二結構特徵之間的距離；基於所述預測目標圖像對應的所有所述第一結構特徵與所述第二結構特徵之間的距離，確定所述預測目標圖像與所述第二樣本圖像之間的第一結構差異損失。
可選地，在本申請上述任一裝置實施例中，所述特徵損失確定模組，具體用於基於所述結構分析網路對所述預測目標圖像和所述第二樣本圖像進行處理，獲得所述預測目標圖像的至少一個尺度的第一特徵圖和所述第二樣本圖像在至少一個尺度的第二特徵圖；基於所述至少一個第一特徵圖和所述至少一個第二特徵圖，確定所述預測目標圖像與所述第二樣本圖像之間的特徵損失。
可選地，在本申請上述任一裝置實施例中，所述第一特徵圖中的每個位置與所述第二特徵圖中的每個位置存在對應關係；所述特徵損失確定模組在基於所述至少一個第一特徵圖和所述至少一個第二特徵圖，確定所述預測目標圖像與所述第二樣本圖像之間的特徵損失時，用於計算存在對應關係的位置對應的所述第一特徵圖中的特徵與所述第二特徵圖中的特徵之間的距離；基於所述第一特徵圖中的特徵與所述 第二特徵圖中的特徵之間的距離，確定所述預測目標圖像與所述第二樣本圖像之間的特徵損失。
可選地，在本申請上述任一裝置實施例中，所述差異損失還包括顏色損失；所述差異損失確定單元，還包括：顏色損失確定模組，用於基於所述預測目標圖像與所述第二樣本圖像之間的顏色差異，確定所述圖像生成網路的顏色損失；所述網路訓練單元，具體用於在第一反覆運算中，基於所述第一結構差異損失、所述特徵損失和所述顏色損失對所述圖像生成網路中的網路參數進行調整；在第二反覆運算中，基於所述第一結構差異損失對所述結構分析網路中的網路參數進行調整，其中，所述第一反覆運算和所述第二反覆運算為連續執行的兩次反覆運算；直到滿足訓練停止條件，獲得訓練後的圖像生成網路。
可選地，在本申請上述任一裝置實施例中，所述裝置還包括：雜訊加入單元，用於對所述第二樣本圖像加入雜訊，獲得雜訊圖像；第二結構差異損失單元，用於基於所述雜訊圖像和所述第二樣本圖像確定第二結構差異損失。
可選地，在本申請上述任一裝置實施例中，所述第二結構差異損失單元，具體用於基於結構分析網路對所述雜訊圖像進行處理，確定所述雜訊圖像中至少一個位置的 至少一個第三結構特徵；基於結構分析網路對所述第二樣本圖像進行處理，確定所述第二樣本圖像中至少一個位置的所述至少一個第二結構特徵；基於所述至少一個第三結構特徵和所述至少一個第二結構特徵，確定所述雜訊圖像與所述第二樣本圖像之間的第二結構差異損失。
可選地，在本申請上述任一裝置實施例中，所述第二結構差異損失單元在基於結構分析網路對所述雜訊圖像進行處理，確定所述雜訊圖像中至少一個位置的至少一個第三結構特徵時，用於基於所述結構分析網路對所述雜訊圖像進行處理，獲得所述雜訊圖像的至少一個尺度的第三特徵圖；對每個所述第三特徵圖，基於所述第三特徵圖中至少一個位置中每個位置的特徵與所述位置的相鄰區域特徵的余弦距離，獲得所述雜訊圖像的至少一個第三結構特徵；其中，所述第三特徵圖中的每個位置對應一個第三結構特徵，所述相鄰區域特徵為以所述位置為中心包括至少兩個位置的區域內的每個特徵。
可選地，在本申請上述任一裝置實施例中，所述第三特徵圖中的每個位置與所述第二特徵圖中的每個位置存在對應關係；所述第二結構差異損失單元在基於所述至少一個第三結構特徵和所述至少一個第二結構特徵，確定所述雜訊圖像與所述第二樣本圖像之間的第二結構差異損失時，用於計算存在對應關係的位置對應的所述第三結構特徵與所述第二結構特徵之間的距離；基於所述雜訊圖像對應的所有所述第 三結構特徵與所述第二結構特徵之間的距離，確定所述雜訊圖像與所述第二樣本圖像之間的第二結構差異損失。
可選地，在本申請上述任一裝置實施例中，所述網路訓練單元，具體用於在第三反覆運算中，基於所述第一結構差異損失、所述特徵損失和所述顏色損失對所述圖像生成網路中的網路參數進行調整；在第四反覆運算中，基於所述第一結構差異損失和所述第二結構差異損失對所述結構分析網路中的網路參數進行調整，其中，所述第三反覆運算和所述第四反覆運算為連續執行的兩次反覆運算；直到滿足訓練停止條件，獲得訓練後的圖像生成網路。
可選地，在本申請上述任一裝置實施例中，所述第一結構差異確定模組，還用於基於圖像重構網路對所述至少一個第一結構特徵進行圖像重構處理，獲得第一重構圖像；基於所述第一重構圖像與所述預測目標圖像確定第一重構損失。
可選地，在本申請上述任一裝置實施例中，所述第一結構差異確定模組，還用於基於圖像重構網路對所述至少一個第二結構特徵進行圖像重構處理，獲得第二重構圖像；基於所述第二重構圖像和所述第二樣本圖像確定第二重構損失。
可選地，在本申請上述任一裝置實施例中，所述網路訓練單元，具體用於在第五反覆運算中，基於所述第一結構差異損失、所述特徵損失和所述顏色損失對所述圖像生成網路中的網路參數進行調整；在第六反覆運算中，基於 所述第一結構差異損失、所述第二結構差異損失、所述第一重構損失和所述第二重構損失對所述結構分析網路中的網路參數進行調整，其中，所述第五反覆運算和所述第六反覆運算為連續執行的兩次反覆運算；直到滿足訓練停止條件，獲得訓練後的圖像生成網路。
可選地，在本申請上述任一裝置實施例中，所述裝置，還包括：影像處理單元，用於基於所述訓練後的圖像生成網路對待處理圖像進行處理，獲得目標圖像。
可選地，在本申請上述任一裝置實施例中，所述待處理圖像包括左目圖像；所述目標圖像包括與所述左目圖像對應的右目圖像。
根據本申請實施例的還一個方面，提供的一種影像處理裝置，包括：右目圖像獲取單元，用於在三維圖像生成場景下，將左目圖像輸入圖像生成網路，獲得右目圖像；三維圖像生成單元，用於基於所述左目圖像以及所述右目圖像生成三維圖像；其中，所述圖像生成網路經過上述任意一項實施例所述的圖像生成網路的訓練方法訓練獲得。
根據本申請實施例的再一個方面，提供的一種電子設備，其特徵在於，包括處理器，所述處理器包括上述任意一項實施例所述的圖像生成網路的訓練裝置或上述實施例所述的影像處理裝置。
根據本申請實施例的另一個方面，提供的一種電子設備，包括：記憶體，用於儲存可執行指令；以及處理器，用於與所述記憶體通信以執行所述可執行指令從而完成上述任意一項實施例所述圖像生成網路的訓練方法的操作，或與所述記憶體通信以執行所述可執行指令從而完成上述實施例所述影像處理方法的操作。
根據本申請實施例的又一個方面，提供的一種電腦儲存介質，用於儲存電腦可讀取的指令，其特徵在於，所述指令被執行時執行上述任意一項實施例所述圖像生成網路的訓練方法的操作，或執行上述實施例所述影像處理方法的操作。
根據本申請實施例的還一個方面，提供的一種電腦程式產品，包括電腦可讀代碼，其特徵在於，當所述電腦可讀代碼在設備上運行時，所述設備中的處理器執行用於實現上述任意一項實施例所述圖像生成網路的訓練方法的指令，或執行用於實現上述實施例所述影像處理方法的指令。
基於本申請上述實施例提供的一種圖像生成網路的訓練及影像處理方法和裝置、電子設備，獲取樣本圖像，樣本圖像包括第一樣本圖像以及與第一樣本圖像對應的第二樣本圖像；基於圖像生成網路對第一樣本圖像進行處理，獲得預測目標圖像；確定預測目標圖像與第二樣本圖像之間的差異損失；基於差異損失對圖像生成網路進行訓練， 獲得訓練後的圖像生成網路，通過差異損失對預測目標圖像與第二樣本圖像之間的結構差異進行描述，以差異損失對圖像生成網路進行訓練，保證了基於圖像生成網路生成的圖像的結構不失真。
下面通過附圖和實施例，對本申請的技術方案做進一步的詳細描述。
61‧‧‧樣本獲取單元
62‧‧‧目標預測單元
63‧‧‧差異損失確定單元
64‧‧‧網路訓練單元
71‧‧‧右目圖像獲取單元
72‧‧‧三維圖像生成單元
800‧‧‧電子設備
801‧‧‧中央處理單元(CPU)
802‧‧‧唯讀記憶體(ROM)
803‧‧‧隨機存取記憶體(RAM)
804‧‧‧匯流排
805‧‧‧I/O介面
806‧‧‧輸入部分
807‧‧‧輸出部分
808‧‧‧儲存部分
809‧‧‧通信部分
810‧‧‧驅動器
811‧‧‧可拆卸介質
812‧‧‧通信部
813‧‧‧加速單元(GPU)
構成說明書的一部分的附圖描述了本申請的實施例，並且連同描述一起用於解釋本申請的原理。
參照附圖，根據下面的詳細描述，可以更加清楚地理解本申請，其中：
圖1為本申請實施例提供的圖像生成網路的訓練方法的一個流程示意圖。
圖2為本申請實施例提供的圖像生成網路的訓練方法的另一流程示意圖。
圖3為本申請實施例提供的圖像生成網路的訓練方法的又一部分流程示意圖。
圖4為本申請實施例提供的圖像生成網路的訓練方法中涉及的一種網路結構示意圖。
圖5為本申請實施例提供的影像處理方法的一個流程示意圖。
圖6為本申請實施例提供的圖像生成網路的訓練裝置的一個結構示意圖。
圖7為本申請實施例提供的影像處理裝置的一個結構示意圖。
圖8為適於用來實現本申請實施例的終端設備或伺服器的電子設備的結構示意圖
現在將參照附圖來詳細描述本申請的各種示例性實施例。應注意到：除非另外具體說明，否則在這些實施例中闡述的部件和步驟的相對佈置、數位運算式和數值不限制本申請的範圍。
同時，應當明白，為了便於描述，附圖中所示出的各個部分的尺寸並不是按照實際的比例關係繪製的。
以下對至少一個示例性實施例的描述實際上僅僅是說明性的，決不作為對本申請及其應用或使用的任何限制。
對於相關領域普通技術人員已知的技術、方法和設備可能不作詳細討論，但在適當情況下，所述技術、方法和設備應當被視為說明書的一部分。
應注意到：相似的標號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨後的附圖中不需要對其進行進一步討論。
近年來，3D立體電影、廣告、直播平台等媒介的流行極大豐富了人們的日常生活，其產業規模仍在持續擴大。然而，與市場上3D顯示硬體的高普及率、高佔有比相反，立體圖像視頻內容的製作由於需要耗費高昂的費用、漫長的製作週期和大量的人工成本，其現有數量較為匱乏。相比之下，2D圖像視頻素材已經形成了相當規模，並在影視娛樂、文化藝術、科學研究等領域積累了豐富、有價值的資訊。若能夠以自動、低成本的方式，將這些2D圖像視訊轉換為高品質的立體圖像視頻，將創造全新的用戶體驗，具有廣泛的市場應用前景。
2D到3D立體效果的轉換，需要根據輸入的單目圖像，恢復其另一個視點下拍攝的場景內容。為了形成3D層次觀感，該過程需要理解輸入場景的深度資訊，並根據雙目視差關係，將輸入左目的像素按照視差平移，生成右目內容。常見的2D轉3D立體方法僅通過對比生成右圖與真實右圖的平均顏色差異作為訓練信號，易受到光照、遮擋、雜訊等環境因素影響，且難以保持視覺面積較小的對象的合成準確度，產生形變較大、細節丟失的合成結果。而現有的圖像保形生成方法主要通過引入三維世界的監督信號，使網路學習正確的跨視角變換，從而保持不同視角下的形狀一致性。然而，所引入的三維資訊由於應用條件較為特殊，限制了模型的泛化能力，難以在實際的工業領域發揮作用。
針對上述在2D到3D立體效果的轉換過程中出現的問題，本申請實施例提出了以下圖像生成網路的訓練方 法，本申請實施例的訓練方法獲得的圖像生成網路，可實現基於輸入到該圖像生成網路的單目圖像，輸出其另一個視點下拍攝的場景內容，實現2D到3D立體效果的轉換。
圖1為本申請實施例提供的圖像生成網路的訓練方法的一個流程示意圖。如圖1所示，該實施例方法包括：
步驟110，獲取樣本圖像。
其中，樣本圖像包括第一樣本圖像以及與第一樣本圖像對應的第二樣本圖像。
本申請實施例中的圖像生成網路的誤碼方法的執行主體可以是終端設備或伺服器或其它處理設備執行，其中，終端設備可以為使用者設備(User Equipment，UE)、移動設備、使用者終端、終端、蜂窩電話、無線電話、個人數位處理(Personal Digital Assistant，PDA)、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該圖像生成網路的訓練方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
其中，上述圖像幀可以為單幀圖像，可以是由圖像採集設備採集的圖像，比如終端設備的攝影頭拍攝的照片，或者是由視頻採集設備採集的視頻資料中的單幀圖像等，本申請實施例的具體實現不做限定。
可選地，第二樣本圖像可以是真實圖像，可作為本申請實施例中衡量圖像生成網路性能的參考資訊，圖像生成網路的目標是獲得的預測目標圖像與第二樣本圖像更加接近。樣 本圖像的獲取可以從已知對應關係的圖像庫中選取或根據實際需要拍攝獲得。
步驟120，基於圖像生成網路對第一樣本圖像進行處理，獲得預測目標圖像。
可選地，本申請實施例提出的圖像生成網路可以應用於例如3D圖像合成等功能，圖像生成網路可以採用任意的立體圖像生成網路，例如，華盛頓給大學的Xie等人於2016年提出的Deep3D網路等；而對於其他圖像生成應用，可以對圖像生成網路進行相應替換，僅需要保證該圖像生成網路可以端到端的根據輸入的樣本圖像合成目標圖像。
步驟130，確定預測目標圖像與第二樣本圖像之間的差異損失。
本申請實施例提出以差異損失描述圖像生成網路獲得的預測目標圖像與第二樣本圖像之間的差異，因此，以差異損失訓練的圖像生成網路，提高了生成的預測目標圖像與第二樣本圖像之間的相似性，提高了圖像生成網路的性能。
步驟140，基於差異損失對圖像生成網路進行訓練，獲得訓練後的圖像生成網路。
基於本申請上述實施例提供的一種圖像生成網路的訓練方法，獲取樣本圖像，樣本圖像包括第一樣本圖像以及與第一樣本圖像對應的第二樣本圖像；基於圖像生成網路對第一樣本圖像進行處理，獲得預測目標圖像；確定預測目標圖像與第二樣本圖像之間的差異損失；基於差異損失對圖像生成網路進行訓練，獲得訓練後的圖像生成網路，通過差異損 失對預測目標圖像與第二樣本圖像之間的結構差異進行描述，以差異損失對圖像生成網路進行訓練，保證了基於圖像生成網路生成的圖像的結構不失真。
圖2為本申請實施例提供的圖像生成網路的訓練方法的另一流程示意圖。如圖2所示，本申請實施例包括：
步驟210，獲取樣本圖像。
其中，樣本圖像第一樣本圖像以及與第一樣本圖像對應的第二樣本圖像。
步驟220，基於圖像生成網路對第一樣本圖像進行處理，獲得預測目標圖像。
步驟230，基於結構分析網路確定預測目標圖像與第二樣本圖像之間的差異損失。
在一個實施例中，結構分析網路可以提取到三層特徵即可，也即包括幾層CNN網路組成的編碼器即可。可選地，本申請實施中結構分析網路由編碼器與解碼器組成。其中，編碼器以一個圖像(本申請實施例中的預測目標圖像和第二樣本圖像)為輸入，得到一系列不同尺度的特徵圖，例如，包括幾層CNN網路。解碼器以這些特徵圖為輸入，重構出輸入圖像本身。符合上述要求的網路結構均可以作為結構分析網路。
作為對抗訓練的參考資訊，該差異損失是基於結構特徵確定的，例如，通過預測目標圖像的結構特徵和第二樣本圖像的結構特徵之間的差異確定差異損失，本申請實施例提出 的結構特徵可以認為是以一個位置為中心的局部區域與其周圍區域的歸一化相關性。
作為一個可選實施方式，本申請實施例可採用UNet結構。該結構的編碼器包含3個卷積模組，每個模組包含兩個卷積層以及一個平均池化層。因此，每經過一個卷積模組，解析度變為一半，最終得到大小為原圖像尺寸1/2，1/4以及1/8的特徵圖。解碼器包含同樣3個上採樣層，每一層將上一層的輸出上採樣後再經過兩個卷積層，最後一層的輸出為原解析度。
步驟240，基於差異損失對圖像生成網路和結構分析網路進行對抗訓練，獲得訓練後的圖像生成網路。
可選地，在訓練階段，利用圖像生成網路和結構分析網路進行對抗訓練，輸入圖像經過圖像生成網路，例如，應用到3D圖像生成時，將一個視點下的圖像輸入到圖像生成網路，得到該圖像在另一個視點下的生成圖像。生成圖像與該視點下的真實圖像輸入同一個結構分析網路，得到各自的多尺度特徵圖。在每一尺度上，計算各自的特徵相關性表達，作為該尺度上的結構表示。訓練過程採用對抗的方式進行，要求結構分析網路不斷放大生成圖像與真實圖像的結構表示之間的距離，同時要求圖像生成網路得到的生成圖像能夠盡可能使得該距離變小。
圖3為本申請實施例提供的圖像生成網路的訓練方法的又一部分流程示意圖。該實施例中，差異損失包括第一結構差異損失以及特徵損失； 上述圖1和/或圖2所示的實施例中步驟130和/或步驟230包括：
步驟302，基於結構分析網路對所預測目標圖像和第二樣本圖像進行處理，確定預測目標圖像與第二樣本圖像之間的第一結構差異損失。
步驟304，基於結構分析網路確定預測目標圖像與第二樣本圖像之間的特徵損失。
本申請實施例中，通過結構分析網路對目標圖像和第二樣本圖像(例如，對應第一樣本圖像的真實圖像)進行處理，可分別獲得多個尺度的特徵圖，對每個尺度的特徵圖中的每個位置的結構特徵，基於目標圖像對應的多個特徵圖中每個位置的結構特徵，與第二樣本圖像對應的多個特徵圖中每個位置的結構特徵，確定第一結構差異損失；而特徵損失是基於預測目標圖像對應的多個特徵圖中每個位置和第二樣本圖像對應的多個特徵圖中每個位置確定的。
可選地，步驟302包括：基於結構分析網路對預測目標圖像進行處理，確定預測目標圖像中至少一個位置的至少一個第一結構特徵；基於結構分析網路對第二樣本圖像進行處理，確定第二樣本圖像中至少一個位置的至少一個第二結構特徵；基於至少一個第一結構特徵和至少一個第二結構特徵，確定預測目標圖像與第二樣本圖像之間的第一結構差異損失。
本申請實施例通過結構分析網路分別對預測目標圖像和第二樣本圖像進行處理，對於預測目標圖像獲得至少一個特徵圖，對每個特徵圖中的每個位置獲得一個第一結構特徵，即獲得至少一個第一結構特徵；對於第二樣本圖像同樣獲得至少一個第二結構特徵，本申請實施例中的第一結構差異損失通過統計在每個尺度中每個位置對應的目標圖像的第一結構特徵和第二樣本圖像的第二結構特徵之間的差異獲得，即分別計算每個尺度中同樣位置對應的第一結構特徵和第二結構特徵之間的結構差異，以確定兩個圖像之間的結構差異損失。
例如，在一個示例中，將本申請實施例應用到3D圖像生成網路的訓練中，即，圖像生成網路完成的是基於左目圖像(對應樣本圖像)生成右目圖像(對應目標圖像)，設輸入的左目圖像為x，生成的右目圖像為y，真實的右目圖像為y g 。可以通過以下公式(1)計算：
Figure 108131747-A0101-12-0029-1
其中，d s (y,y g )表示第一結構差異損失，c(p)表示生成的右目圖像y中在一個尺度的特徵圖中位置p的第一結構特徵，c g (p)表示真實的右目圖像y g 中在一個尺度的特徵圖中位置p的第二結構特徵，P表示所有尺度的特徵圖中的所有位置，∥c(p)-c g (p)∥1表示c(p)与c g (p)之間的L1距離。
在訓練階段，結構分析網路尋找一個特徵空間，使得能夠最大化上式所表示的結構距離。與此同時，圖像生成網路通過生成與真實右圖的結構盡可能相似的右 圖，使得結構分析網路難以區分二者的差異性。通過對抗訓練，可以發現不同層次的結構差異，並不斷用於修正圖像生成網路。
可選地，基於結構分析網路對預測目標圖像進行處理，確定預測目標圖像中至少一個位置的至少一個第一結構特徵，包括：基於結構分析網路對預測目標圖像進行處理，獲得預測目標圖像的至少一個尺度的第一特徵圖；對每個第一特徵圖，基於第一特徵圖中至少一個位置中每個位置的特徵與位置的相鄰區域特徵的余弦距離，獲得預測目標圖像的至少一個第一結構特徵。
其中，第一特徵圖中的每個位置對應一個第一結構特徵，相鄰區域特徵為以位置為中心包括至少兩個位置的區域內的每個特徵。
可選地，本申請實施例中的相鄰區域特徵可以表示為以每個位置特徵為中心，K*K大小的區域內的每個特徵。
在一個可選的示例中，將本申請實施例應用到3D圖像生成網路的訓練中，即，圖像生成網路完成的是基於左目圖像(對應樣本圖像)生成右目圖像(對應目標圖像)，設輸入的左目圖像為x，生成的右目圖像為y，真實的右目圖像為y g 。分別將y與y g 輸入結構分析網路後，得到多尺度特徵。以下僅以某一尺度為例，其他尺度的處理方法類似。設該尺度上，生成右圖與真實右圖的特徵圖分別為f與 f g 。對於生成右圖特徵圖上某一像素位置p，f(p)表示該位置的特徵。則該尺度上，位於位置p的第一結構特徵的獲得可以基於以下公式(2)實現：
Figure 108131747-A0101-12-0031-2
其中，
Figure 108131747-A0101-12-0031-3
表示以位置p為中心，k×k大小的區域內的位置集合，q為位置集合中的一個位置，f(q)為位置q的特徵；∥．∥2為向量的模，vec表示向量化。上式計算特徵圖上位置p與其周圍鄰近位置的余弦距離。可選地，本申請實施例可以將視窗大小k設置為3。
可選地，基於結構分析網路對第二樣本圖像進行處理，確定第二樣本圖像中至少一個位置的至少一個第二結構特徵，包括：基於結構分析網路對第二樣本圖像進行處理，獲得第二樣本圖像在至少一個尺度的第二特徵圖；對每個第二特徵圖，基於第二特徵圖中至少一個位置中每個位置的特徵與位置的相鄰區域特徵的余弦距離，獲得第二樣本圖像的至少一個第二結構特徵。
其中，第二特徵圖中的每個位置對應一個第二結構特徵。
在一個可選的示例中，將本申請實施例應用到3D圖像生成網路的訓練中，即，圖像生成網路完成的是基於左目圖像(對應第一樣本圖像)生成右目圖像(對應預測目標圖像)，設輸入的左目圖像為x，生成的右目圖像為y，真實的右目圖像為y g 。分別將y與y g 輸入結構分析網路後， 得到多尺度特徵。以下僅以某一尺度為例，其他尺度的處理方法類似。設該尺度上，生成右圖與真實右圖的特徵圖分別為f與f g 。對於真實右圖特徵圖上某一像素位置p，f g (p)表示該位置的特徵。則該尺度上，位置p的第二結構特徵的獲得可以基於以下公式(3)實現：
Figure 108131747-A0101-12-0032-4
其中，
Figure 108131747-A0101-12-0032-5
表示以位置p為中心，k×k大小的區域內的位置集合，q為位置集合中的一個位置，f g (q)為位置q的特徵；∥．∥2為向量的模，vec表示向量化。上式計算特徵圖上位置p與其周圍鄰近位置的余弦距離。可選地，本申請實施例可以將視窗大小k設置為3。
可選地，第一特徵圖中的每個位置與第二特徵圖中的每個位置存在對應關係；基於至少一個第一結構特徵和至少一個第二結構特徵，確定預測目標圖像與第二樣本圖像之間的第一結構差異損失，包括：計算存在對應關係的位置對應的第一結構特徵與第二結構特徵之間的距離；基於預測目標圖像對應的所有第一結構特徵與第二結構特徵之間的距離，確定預測目標圖像與第二樣本圖像之間的第一結構差異損失。
在本申請實施例中計算獲得第一結構差異損失的過程可參考上述實施例中的公式(1)，基於上述實施例中基於公式(2)和公式(3)可分別獲得目標圖像y中在一 個尺度的特徵圖中位置p的第一結構特徵c(p)，以及真實圖像y g 中在一個尺度的特徵圖中位置p的第二結構特徵c g (p)；第一結構特徵與第二結構特徵之間的距離可以為L1距離。
在一個或多個可選的實施例中，步驟304包括：基於結構分析網路對預測目標圖像和第二樣本圖像進行處理，獲得預測目標圖像的至少一個尺度的第一特徵圖和第二樣本圖像在至少一個尺度的第二特徵圖；基於至少一個第一特徵圖和至少一個第二特徵圖，確定預測目標圖像與第二樣本圖像之間的特徵損失。
本申請實施例中的特徵損失是以預測目標圖像與第二樣本圖像獲得的對應的特徵圖之間的差異確定的，與上述實施例中的獲得第一結構差異損失基於結構特徵獲得不同；可選地，其中，第一特徵圖中的每個位置與第二特徵圖中的每個位置存在對應關係；基於至少一個第一特徵圖和至少一個第二特徵圖，確定預測目標圖像與第二樣本圖像之間的特徵損失，包括：計算存在對應關係的位置對應的第一特徵圖中的特徵與第二特徵圖中的特徵之間的距離；基於第一特徵圖中的特徵與第二特徵圖中的特徵之間的距離，確定預測目標圖像與第二樣本圖像之間的特徵損失。
在一個可選的實施例中，計算每個位置對應的第一特徵圖中的特徵與第二特徵圖中的特徵之間的L1距離，通過L1距離確定特徵損失。可選地，假設預測目標圖像 為y，第二樣本圖像為y g 。分別將y與y g 輸入結構分析網路後，得到多尺度特徵圖。以下僅以某一尺度為例，其他尺度的處理方法類似。設該尺度上，預測目標圖像與第二樣本圖像的特徵圖分別為f與f g 。對於第二樣本圖像的特徵圖上某一像素位置p，f g (p)表示該位置的特徵；此時，可基於以下公式(4)獲得特徵損失。
Figure 108131747-A0101-12-0034-6
其中，d f (y,y g )表示預測目標圖像與第二樣本圖像的特徵損失，f(p)為第一特徵圖中p位置的特徵，f g (p)表示第二特徵圖中p位置的特徵。
可選地，差異損失還可以包括顏色損失，在執行步驟240之前還包括：基於預測目標圖像與第二樣本圖像之間的顏色差異，確定圖像生成網路的顏色損失。
本申請實施例通過顏色損失體現預測目標圖像與第二樣本圖像之間的顏色差異，使預測目標圖像與第二樣本圖像之間在顏色上能盡可能接近，可選地，假設預測目標圖像為y，第二樣本圖像為y g ，顏色損失可基於以下公式(5)獲得。
d a (y,y g )=∥y-y g ∥1 公式(5)
其中，d a (y,y g )表示預測目標圖像與第二樣本圖像的顏色損失，∥y-y g ∥1表示預測目標圖像y與第二樣本圖像y g 之間的L1距離。
在本實施例中，步驟240包括： 在第一反覆運算中，基於第一結構差異損失、特徵損失和顏色損失對圖像生成網路中的網路參數進行調整；在第二反覆運算中，基於第一結構差異損失對結構分析網路中的網路參數進行調整；直到滿足訓練停止條件，獲得訓練後的圖像生成網路。
其中，第一反覆運算和第二反覆運算為連續執行的兩次反覆運算。可選地，訓練停止條件可以為預先設置的反覆運算次數或圖像生成網路生成的預測目標圖像與第二樣本圖像之間的差異小於設定值等，本申請實施例不限制具體採用哪種訓練停止條件。
對抗訓練的目標為減小圖像生成網路獲得的預測目標圖像與第二樣本圖像之間的差異。對抗訓練通常採用交替訓練的方式實現，本申請實施例通過交替對圖像生成網路和結構分析網路進行訓練，以獲得符合要求的圖像生成網路，可選地，對圖像生成網路的網路參數進行調整可以通過以下公式(6)進行：
Figure 108131747-A0101-12-0035-32
其中，w S 表示圖像生成網路中待優化的參數，L S (y,y g )表示圖像生成網路對應的總體損失，
Figure 108131747-A0101-12-0035-33
表示通過調整圖像生成網路的參數縮小圖像生成網路的總體損失，d a (y,y g )、d s (y,y g )、d f (y,y g )分別表示圖像生成網路生成的預測目標圖像和第二樣本圖像之間的顏色損失、第一結構差異損失和特徵損失，可選地，這些損失的獲得可參照上述公式(5)、(1)和(4)確定，或通過其他方式獲得這三種損 失，本申請實施例對獲得顏色損失、第一結構差異損失和特徵損失的具體方式不作限制。
可選地，對結構分析網路的網路參數進行調整可以通過以下公式(7)進行：
Figure 108131747-A0101-12-0036-34
其中，w A 表示結構分析網路中待優化的參數，L A (y,y g )表示結構分析網路對應的總體損失，
Figure 108131747-A0101-12-0036-35
表示通過調整結構分析網路的參數增大結構分析網路的總體損失，d s (y,y g )表示結構分析網路的第一結構差異損失，可選地，第一結構差異損失的獲得可參照上述公式(1)確定，或通過其他方式獲得，本申請實施例對第一結構差異損失的具體方式不作限制。
在一個或多個可選的實施例中，在確定目標圖像與真實圖像之間的結構差異損失之前，還包括：對第二樣本圖像加入雜訊，獲得雜訊圖像；基於雜訊圖像和第二樣本圖像的第二結構差異損失。
由於預測目標圖像通過樣本圖像生成，而第二樣本圖通常具有光照差異以及會被雜訊影響，導致生成的預測目標圖像與第二樣本圖像存在一定的分佈差異。為了避免結構分析網路關注這些差異，而非場景結構資訊，本申請實施例在訓練過程中加入了對雜訊的抵抗機制。
可選地，基於雜訊圖像和第二樣本圖像的第二結構差異損失，包括： 基於結構分析網路對雜訊圖像進行處理，確定雜訊圖像中至少一個位置的至少一個第三結構特徵；基於結構分析網路對第二樣本圖像進行處理，確定第二樣本圖像中至少一個位置的至少一個第二結構特徵；基於至少一個第三結構特徵和至少一個第二結構特徵，確定雜訊圖像與第二樣本圖像之間的第二結構差異損失。
可選地，雜訊圖像是基於第二樣本圖像進行處理得到的，例如，對第二樣本圖像加入人工雜訊，生成雜訊圖像，加入雜訊的方式有多種，例如，加入隨機高斯雜訊，對真實圖像(第二樣本圖像)做高斯模糊、對比度改變等等。本申請實施例要求加入雜訊後獲得的雜訊圖像僅改變第二樣本圖像中不影響結構的屬性(例如，顏色、紋理等)，而不改變第二樣本圖像中的形狀結構，本申請實施例不限制具體獲得雜訊圖像的方式。
本申請實施例中的結構分析網路以彩色圖像為輸入，而現有的結構分析網路主要以遮罩圖或者灰度圖為輸入。在處理彩色圖像這種高維信號時，更容易受到環境雜訊的干擾。因此，本申請實施例提出引入第二結構差異損失增強結構特徵的雜訊魯棒性。彌補了現有的結構對抗訓練方法沒有這種抗噪機制的缺點。
可選地，基於結構分析網路對雜訊圖像進行處理，確定雜訊圖像中至少一個位置的至少一個第三結構特徵，包括： 基於結構分析網路對雜訊圖像進行處理，獲得雜訊圖像的至少一個尺度的第三特徵圖；對每個第三特徵圖，基於第三特徵圖中至少一個位置中每個位置的特徵與位置的相鄰區域特徵的余弦距離，獲得雜訊圖像的至少一個第三結構特徵。
其中，第三特徵圖中的每個位置對應一個第三結構特徵，相鄰區域特徵為以位置為中心包括至少兩個位置的區域內的每個特徵。
本申請實施例確定第三結構特徵的方式與獲得第一結構特徵類似，可選地，在一個示例中，假設輸入的第一樣本圖像為x，第二樣本圖像為y g ，雜訊圖像為y n 。分別將y n 與y g 輸入結構分析網路後，得到多尺度特徵。以下僅以某一尺度為例，其他尺度的處理方法類似。設該尺度上，雜訊圖像與第二樣本圖像的特徵圖分別為f n 與f g 。對於雜訊圖像的特徵圖上某一像素位置p，f n (p)表示該位置的特徵。則該尺度上，位置p的第三結構特徵的獲得可以基於以下公式(8)實現：
Figure 108131747-A0101-12-0038-8
其中，
Figure 108131747-A0101-12-0038-9
表示以位置p為中心，k×k大小的區域內的位置集合，q為位置集合中的一個位置，f n (q)為位置q的特徵；∥．∥2為向量的模，vec表示向量化。上式計算特徵圖上位置p與其周圍鄰近位置的余弦距離。可選地，本申請實施例可以將視窗大小k設置為3。
可選地，第三特徵圖中的每個位置與第二特徵圖中的每個位置存在對應關係；基於至少一個第三結構特徵和至少一個第二結構特徵，確定雜訊圖像與第二樣本圖像之間的第二結構差異損失，包括：計算存在對應關係的位置對應的第三結構特徵與第二結構特徵之間的距離；基於雜訊圖像對應的所有第三結構特徵與第二結構特徵之間的距離，確定雜訊圖像與第二樣本圖像之間的第二結構差異損失。
在本申請實施例中，獲得第二結構差異損失的過程與獲得第一結構差異損失的過程類似，僅是將獲得第一結構差異損失中的預測目標圖像的第一結構特徵替換為本申請實施例中的雜訊圖像的第三結構特徵。可選地，可基於以下公式(9)獲得第二結構差異損失。
Figure 108131747-A0101-12-0039-10
其中，d n (y n ,y g )表示第二結構差異損失，c n (p)表示位置p的第三結構特徵，P表示所有尺度的特徵圖中的所有位置，c g (p)表示位置p的第二結構特徵(可基於上述公式(3)獲得)，|c n (p)-c g (p)∥1表示c n (p)與c g (p)之間的L1距離。
在一個或多個可選的實施例中，步驟240包括：在第三反覆運算中，基於第一結構差異損失、特徵損失和顏色損失對圖像生成網路中的網路參數進行調整； 在第四反覆運算中，基於第一結構差異損失和第二結構差異損失對結構分析網路中的網路參數進行調整；直到滿足訓練停止條件，獲得訓練後的圖像生成網路。
其中，第三反覆運算和第四反覆運算為連續執行的兩次反覆運算。在獲得了雜訊圖像對應的第二結構差異損失之後，為了提高結構分析網路的性能，在調整結構分析網路的網路參數時，加入了第二結構差異損失，此時，對結構分析網路的網路參數進行調整可通過以下公式(10)進行：
Figure 108131747-A0101-12-0040-36
其中，w A 表示結構分析網路中待優化的參數，L A (y,y g ,y n )表示結構分析網路對應的總體損失，
Figure 108131747-A0101-12-0040-37
表示通過調整結構分析網路的參數增大結構分析網路的總體損失，d s (y,y g )表示結構分析網路的第一結構差異損失，d n (y n ,y g )表示結構分析網路的第二結構差異損失，α n 表示一個設置的常數，用於調整第二結構差異損失在結構分析網路的參數調整中的比例，可選地，第一結構差異損失和第二結構差異損失的獲得可分別參照上述公式(1)和公式(9)確定，或通過其他方式獲得，本申請實施例對第一結構差異損失的具體方式不作限制。
在一個或多個可選的實施例中，在基於結構分析網路對預測目標圖像進行處理，確定預測目標圖像中至少一個位置的至少一個第一結構特徵之後，還包括： 基於圖像重構網路對至少一個第一結構特徵進行圖像重構處理，獲得第一重構圖像；基於第一重構圖像與預測目標圖像確定第一重構損失。
在本實施例中，為了提高結構分析網路的性能，在結構分析網路之後增加了圖像重構網路，可選地，可參照圖4所示在結構分析網路的輸出端連接圖像重構網路，該圖像重構網路以結構分析網路的輸出為輸入，對輸入到結構分析網路中的圖像進行重構，例如，在圖4所示的3D圖像應用場景下，對圖像生成網路生成的右目圖像(對應上述實施例中的預測目標圖像)和真實右目圖像(對應上述實施例中的第二樣本圖像)進行重構，以重構的生成的右目圖像與圖像生成網路生成的右目圖像之間的差異，以及重構的真實右目圖像與輸入左目圖像對應的真實右目圖像之間的差異衡量結構分析網路的性能，即通過增加第一重構損失和第二重構損失用於提升結構分析網路的性能，並加快結構分析網路的訓練速度。
在一個或多個可選的實施例中，在基於結構分析網路對第二樣本圖像進行處理，確定第二樣本圖像中至少一個位置的至少一個第二結構特徵之後，還包括：基於圖像重構網路對至少一個第二結構特徵進行圖像重構處理，獲得第二重構圖像；基於第二重構圖像和第二樣本圖像確定第二重構損失。
參考上一實施例，本實施例中的圖像重構網路對結構分析網路基於第二樣本圖像獲得的第二結構特徵進 行重構，以獲得的第二重構圖像與第二樣本圖像之間的差異衡量圖像重構網路和結構分析網路的性能，通過第二重構損失可提升結構分析網路的性能。
可選地，步驟240包括：在第五反覆運算中，基於第一結構差異損失、特徵損失和顏色損失對圖像生成網路中的網路參數進行調整；在第六反覆運算中，基於第一結構差異損失、第二結構差異損失、第一重構損失和第二重構損失對結構分析網路中的網路參數進行調整。
直到滿足訓練停止條件，獲得訓練後的圖像生成網路。
其中，第五反覆運算和第六反覆運算為連續執行的兩次反覆運算；在本申請實施例中，對圖像生成網路的參數進行調整的損失不變，僅針對結構分析網路的性能進行提升，而由於結構分析網路與圖像生成網路之間是對抗訓練的，因此，通過對結構分析網路的性能進行提升，可以加快對圖像生成網路的訓練。在一個可選的示例中，可以利用以下公式(11)獲得第一重構損失和第二重構損失。
d r (y,y g )=∥y-R(c；w R )∥1+∥y g -R(c g ；w R )∥1 公式(11)
其中，d r (y,y g )表示第一重構損失和第二重構損失的和，y表示圖像生成網路輸出的預測目標圖像，y g 表示第二樣本圖像，R(c；w R )表示圖像重構網路輸出的第一重構圖像，R(c g ；w R )表示圖像重構網路輸出的第二重構圖像，∥y R(c；w R )∥1表示預測目標圖像y與第一重構圖像之間的L1 距離，對應第一重構損失；∥y g -R(c g ；w R )∥1表示第二樣本圖像與第二重構圖像之間的L1距離，對應第二重構損失。
圖4為本申請實施例提供的圖像生成網路的訓練方法中涉及的一種網路結構示意圖。如圖4所示，在本實施例中圖像生成網路的輸入為左目圖像，圖像生成網路基於左目圖像獲得生成的右目圖像(對應上述實施例中的預測目標圖像)；生成的右目圖像、真實右目圖像和基於真實右目圖像(對應上述實施例的第二樣本圖像)增加的雜訊圖像分別輸入到同一結構分析網路，通過結構分析網路對生成的右目圖像和真實右目圖像進行處理，獲得特徵損失(對應圖中特徵匹配損失)、第一結構差異損失(對應圖中結構損失)、第二結構差異損失(對應圖中另一結構損失)；在結構分析網路之後還包括圖像重構網路，圖像重構網路將生成的右目圖像生成的特徵重構為新的生成的右目圖像，並將真實右目圖像生成的特徵重構為新的真實右目圖像。
在一個或多個可選的實施例中，在步驟140之後，還包括：基於訓練後的圖像生成網路對待處理圖像進行處理，獲得目標圖像。
本申請實施例提供的訓練方法，在具體應用中，基於訓練後的圖像生成網路對輸入的待處理圖像進行處理，獲得期望得到的目標圖像，該圖像生成網路可以應用於2D圖像視頻轉3D立體圖像、高幀率視頻生成等，還包括：已知一個視角的圖像通過圖像生成網路的處理，獲得另一視 角的圖像。所生成的高品質右目圖像也有助於其他視覺任務，例如，基於雙目圖像(包括左目圖像和右目圖像)實現深度估計。可選地，當圖像生成網路應用於2D圖像視頻轉3D立體圖像時，待處理圖像包括左目圖像；目標圖像包括與左目圖像對應的右目圖像。除了立體圖像生成以外，該方法可以應用於其他圖像/視頻的生成任務。例如，圖像的任意新視點內容生成，基於關鍵幀的視頻插值等。在這些情形下，僅需要替換圖像生成網路為目標任務所需的網路結構。
在將本申請實施例提供的訓練方法應用於三維圖像生成場景時，圖像生成網路和結構分析網路的一次對抗訓練可以包括以下步驟： 1)從訓練集(包括的多個樣本圖像)中，採樣包含m個樣本圖像的左圖
Figure 108131747-A0101-12-0044-11
，及其對應的真實右圖
Figure 108131747-A0101-12-0044-12
；2)將左圖輸入圖像生成網路，得到生成的右圖
Figure 108131747-A0101-12-0044-13
；針對每一真實右圖，添加雜訊得到雜訊右圖
Figure 108131747-A0101-12-0044-14
；3)將生成右圖
Figure 108131747-A0101-12-0044-15
、真實右圖
Figure 108131747-A0101-12-0044-16
與雜訊右圖
Figure 108131747-A0101-12-0044-17
分別輸入結構分析網路，計算結構表達特徵
Figure 108131747-A0101-12-0044-18
，
Figure 108131747-A0101-12-0044-19
，與
Figure 108131747-A0101-12-0044-20
；4)針對結構分析網路，執行梯度上升：w A ←w A +
Figure 108131747-A0101-12-0044-21
； 5)針對圖像生成網路，執行梯度下降：w S ←w S -
Figure 108131747-A0101-12-0045-23
； 其中，衰減學習率γ可隨著反覆運算次數的增加逐漸衰減，通過學習率控制網路損失在調整網路參數中的比例；而在獲得雜訊右圖時，添加的雜訊幅度可以在每次反覆運算時相同，或者隨著反覆運算次數的增加雜訊幅度逐漸衰減。
圖5為本申請實施例提供的影像處理方法的一個流程示意圖。該實施例方法包括：
步驟510，在三維圖像生成場景下，將左目圖像輸入圖像生成網路，獲得右目圖像。
步驟520，基於左目圖像以及右目圖像生成三維圖像。
其中，圖像生成網路經過上述任意一項實施例提供的圖像生成網路的訓練方法訓練獲得。
本申請實施例提供的影像處理方法，通過圖像生成網路對左目影像處理獲得對應的右目圖像，受光照、遮擋、雜訊等環境因素的影響較小，得以保持視覺面積較小的對象的合成準確度，通過獲得的右目圖像與左目圖像可生成形變較小、細節保留較完整的三維圖像。本申請實施例提供的影像處理方法可應用於自動的電影2D轉3D。人工的3D電影轉製需要耗費高昂的費用、漫長的製作週期和大量人工成本。例如，3D版《泰坦尼克號》轉製成本高達1800萬美元，參與後期製作的特效工程師300多名，花費75萬個小時。自動的2D轉3D演算法能夠大幅降低這一成本，加速3D電影製作流程。生成高品質的3D電影，一個重要因素是需 要生成結構不失真、不扭曲的立體圖像，營造準確的3D層次感，避免局部形變引起的視覺不適感。因此，形狀保持的立體圖像生成具有重要意義。
本申請實施例提供的影像處理方法也可以應用於3D廣告行業。目前，多個城市已在商業區、電影院、遊樂場等設施佈置了3D廣告顯示幕。生成高品質的3D廣告，可以加強品牌宣傳品質，使得顧客具有更好的現場體驗。
本申請實施例提供的影像處理方法同樣可以應用於3D直播行業。傳統3D直播要求播主購置專業的雙目攝影機，提高了行業准入的成本與門檻。通過高品質的自動2D轉3D，能夠降低准入成本，增加直播的現場感與互動性。
本申請實施例提供的影像處理方法還可以在未來應用於智慧手機行業。目前，具有裸眼3D顯示功能的手機已經成為熱點概念，已有一些廠家設計出了概念機原型。自動將拍攝的2D圖像轉3D，並通過社交APP允許用戶之間傳播、分享，可以使基於移動終端的交互具有全新的用戶體驗
本領域普通技術人員可以理解：實現上述方法實施例的全部或部分步驟可以通過程式指令相關的硬體來完成，前述的程式可以儲存於電腦可讀取儲存介質中，該程式在執行時，執行包括上述方法實施例的步驟；而前述的儲存介質包括：ROM、RAM、磁碟或者光碟等各種可以儲存程式碼的介質。
圖6為本申請實施例提供的圖像生成網路的訓練裝置的一個結構示意圖。該實施例的裝置可用於實現本申請上述各方法實施例。如圖5所示，該實施例的裝置包括：
樣本獲取單元61，用於獲取樣本圖像。
其中，樣本圖像包括第一樣本圖像以及與第一樣本圖像對應的第二樣本圖像。
目標預測單元62，用於基於圖像生成網路對第一樣本圖像進行處理，獲得預測目標圖像。
差異損失確定單元63，用於確定預測目標圖像與第二樣本圖像之間的差異損失。
網路訓練單元64，用於基於差異損失對圖像生成網路進行訓練，獲得訓練後的圖像生成網路。
基於本申請上述實施例提供的一種圖像生成網路的訓練裝置，獲取樣本圖像，樣本圖像包括第一樣本圖像以及與第一樣本圖像對應的第二樣本圖像；基於圖像生成網路對第一樣本圖像進行處理，獲得預測目標圖像；確定預測目標圖像與第二樣本圖像之間的差異損失；基於差異損失對圖像生成網路進行訓練，獲得訓練後的圖像生成網路，通過差異損失對預測目標圖像與第二樣本圖像之間的結構差異進行描述，以差異損失對圖像生成網路進行訓練，保證了基於圖像生成網路生成的圖像的結構不失真。
在一個或多個可選的實施例中，差異損失確定單元63，具體用於基於結構分析網路確定預測目標圖像與第二樣本圖像之間的差異損失； 網路訓練單元64，具體用於基於差異損失對圖像生成網路和結構分析網路進行對抗訓練，獲得訓練後的圖像生成網路。
可選地，在訓練階段，利用圖像生成網路和結構分析網路進行對抗訓練，輸入圖像經過圖像生成網路，例如，應用到3D圖像生成時，將一個視點下的圖像輸入到圖像生成網路，得到該圖像在另一個視點下的生成圖像。生成圖像與該視點下的真實圖像輸入同一個結構分析網路，得到各自的多尺度特徵圖。在每一尺度上，計算各自的特徵相關性表達，作為該尺度上的結構表示。訓練過程採用對抗的方式進行，要求結構分析網路不斷放大生成圖像與真實圖像的結構表示之間的距離，同時要求圖像生成網路得到的生成圖像能夠盡可能使得該距離變小。
可選地，差異損失包括第一結構差異損失以及特徵損失；差異損失確定單元63，包括：第一結構差異確定模組，用於基於結構分析網路對預測目標圖像和第二樣本圖像進行處理，確定預測目標圖像與第二樣本圖像之間的第一結構差異損失；特徵損失確定模組，用於基於結構分析網路確定預測目標圖像與第二樣本圖像之間的特徵損失。
可選地，第一結構差異確定模組，用於基於結構分析網路對預測目標圖像進行處理，確定預測目標圖像中至少一個位置的至少一個第一結構特徵；基於結構分析網路 對第二樣本圖像進行處理，確定第二樣本圖像中至少一個位置的至少一個第二結構特徵；基於至少一個第一結構特徵和至少一個第二結構特徵，確定預測目標圖像與第二樣本圖像之間的第一結構差異損失。
可選地，第一結構差異確定模組在基於結構分析網路對預測目標圖像進行處理，確定預測目標圖像中至少一個位置的至少一個第一結構特徵時，用於基於結構分析網路對預測目標圖像進行處理，獲得預測目標圖像的至少一個尺度的第一特徵圖；對每個第一特徵圖，基於第一特徵圖中至少一個位置中每個位置的特徵與位置的相鄰區域特徵的余弦距離，獲得預測目標圖像的至少一個第一結構特徵。
其中，第一特徵圖中的每個位置對應一個第一結構特徵，相鄰區域特徵為以位置為中心包括至少兩個位置的區域內的每個特徵。
可選地，第一結構差異確定模組在基於結構分析網路對第二樣本圖像進行處理，確定第二樣本圖像中至少一個位置的至少一個第二結構特徵時，用於基於結構分析網路對第二樣本圖像進行處理，獲得第二樣本圖像在至少一個尺度的第二特徵圖；對每個第二特徵圖，基於第二特徵圖中至少一個位置中每個位置的特徵與位置的相鄰區域特徵的余弦距離，獲得第二樣本圖像的至少一個第二結構特徵。
其中，第二特徵圖中的每個位置對應一個第二結構特徵。
可選地，第一特徵圖中的每個位置與第二特徵圖中的每個位置存在對應關係；第一結構差異確定模組在基於至少一個第一結構特徵和至少一個第二結構特徵，確定預測目標圖像與第二樣本圖像之間的第一結構差異損失時，用於計算存在對應關係的位置對應的第一結構特徵與第二結構特徵之間的距離；基於預測目標圖像對應的所有第一結構特徵與第二結構特徵之間的距離，確定預測目標圖像與第二樣本圖像之間的第一結構差異損失。
可選地，特徵損失確定模組，具體用於基於結構分析網路對預測目標圖像和第二樣本圖像進行處理，獲得預測目標圖像的至少一個尺度的第一特徵圖和第二樣本圖像在至少一個尺度的第二特徵圖；基於至少一個第一特徵圖和至少一個第二特徵圖，確定預測目標圖像與第二樣本圖像之間的特徵損失。
可選地，第一特徵圖中的每個位置與第二特徵圖中的每個位置存在對應關係；特徵損失確定模組在基於至少一個第一特徵圖和至少一個第二特徵圖，確定預測目標圖像與第二樣本圖像之間的特徵損失時，用於計算存在對應關係的位置對應的第一特徵圖中的特徵與第二特徵圖中的特徵之間的距離；基於第一特徵圖中的特徵與第二特徵圖中的特徵之間的距離，確定預測目標圖像與第二樣本圖像之間的特徵損失。
可選地，差異損失還包括顏色損失； 差異損失確定單元63，還包括：顏色損失確定模組，用於基於預測目標圖像與第二樣本圖像之間的顏色差異，確定圖像生成網路的顏色損失；網路訓練單元64，具體用於在第一反覆運算中，基於第一結構差異損失、特徵損失和顏色損失對圖像生成網路中的網路參數進行調整；在第二反覆運算中，基於第一結構差異損失對結構分析網路中的網路參數進行調整，直到滿足訓練停止條件，獲得訓練後的圖像生成網路。
其中，第一反覆運算和第二反覆運算為連續執行的兩次反覆運算。對抗訓練的目標為減小圖像生成網路獲得的預測目標圖像與第二樣本圖像之間的差異。對抗訓練通常採用交替訓練的方式實現，本申請實施例通過交替對圖像生成網路和結構分析網路進行訓練，以獲得符合要求的圖像生成網路。
在一個或多個可選的實施例中，本申請實施例提供的裝置還包括：雜訊加入單元，用於對第二樣本圖像加入雜訊，獲得雜訊圖像；第二結構差異損失單元，用於基於雜訊圖像和第二樣本圖像確定第二結構差異損失。
由於預測目標圖像通過樣本圖像生成，而第二樣本圖通常具有光照差異以及會被雜訊影響，導致生成的預測目標圖像與第二樣本圖像存在一定的分佈差異。為了避免 結構分析網路關注這些差異，而非場景結構資訊，本申請實施例在訓練過程中加入了對雜訊的抵抗機制。
可選地，第二結構差異損失單元，具體用於基於結構分析網路對雜訊圖像進行處理，確定雜訊圖像中至少一個位置的至少一個第三結構特徵；基於結構分析網路對第二樣本圖像進行處理，確定第二樣本圖像中至少一個位置的至少一個第二結構特徵；基於至少一個第三結構特徵和至少一個第二結構特徵，確定雜訊圖像與第二樣本圖像之間的第二結構差異損失。
可選地，第二結構差異損失單元在基於結構分析網路對雜訊圖像進行處理，確定雜訊圖像中至少一個位置的至少一個第三結構特徵時，用於基於結構分析網路對雜訊圖像進行處理，獲得雜訊圖像的至少一個尺度的第三特徵圖；對每個第三特徵圖，基於第三特徵圖中至少一個位置中每個位置的特徵與位置的相鄰區域特徵的余弦距離，獲得雜訊圖像的至少一個第三結構特徵；其中，第三特徵圖中的每個位置對應一個第三結構特徵，相鄰區域特徵為以位置為中心包括至少兩個位置的區域內的每個特徵。
可選地，第三特徵圖中的每個位置與第二特徵圖中的每個位置存在對應關係；第二結構差異損失單元在基於至少一個第三結構特徵和至少一個第二結構特徵，確定雜訊圖像與第二樣本圖像之間的第二結構差異損失時，用於計算存在對應關係的位置對應的第三結構特徵與第二結構特徵之間的距離；基於雜訊圖 像對應的所有第三結構特徵與第二結構特徵之間的距離，確定雜訊圖像與第二樣本圖像之間的第二結構差異損失。
可選地，網路訓練單元，具體用於在第三反覆運算中，基於第一結構差異損失、特徵損失和顏色損失對圖像生成網路中的網路參數進行調整；在第四反覆運算中，基於第一結構差異損失和第二結構差異損失對結構分析網路中的網路參數進行調整，直到滿足訓練停止條件，獲得訓練後的圖像生成網路。其中，第三反覆運算和第四反覆運算為連續執行的兩次反覆運算。
可選地，第一結構差異確定模組，還用於基於圖像重構網路對至少一個第一結構特徵進行圖像重構處理，獲得第一重構圖像；基於第一重構圖像與預測目標圖像確定第一重構損失。
可選地，第一結構差異確定模組，還用於基於圖像重構網路對至少一個第二結構特徵進行圖像重構處理，獲得第二重構圖像；基於第二重構圖像和第二樣本圖像確定第二重構損失。
可選地，網路訓練單元，具體用於在第五反覆運算中，基於第一結構差異損失、特徵損失和所述顏色損失對圖像生成網路中的網路參數進行調整；在第六反覆運算中，基於第一結構差異損失、第二結構差異損失、第一重構損失和第二重構損失對結構分析網路中的網路參數進行調整；直到滿足訓練停止條件，獲得訓練後的圖像生成網路。 其中，第五反覆運算和第六反覆運算為連續執行的兩次反覆運算。
在一個或多個可選的實施例中，本申請實施例提供的裝置，還包括：影像處理單元，用於基於訓練後的圖像生成網路對待處理圖像進行處理，獲得目標圖像。
本申請實施例提供的訓練裝置，在具體應用中，基於訓練後的圖像生成網路對輸入的待處理圖像進行處理，獲得期望得到的目標圖像，該圖像生成網路可以應用於2D圖像視頻轉3D立體圖像、高幀率視頻生成等。
可選地，待處理圖像包括左目圖像；目標圖像包括與左目圖像對應的右目圖像。
圖7為本申請實施例提供的影像處理裝置的一個結構示意圖。該實施例裝置包括：
右目圖像獲取單元71，用於在三維圖像生成場景下，將左目圖像輸入圖像生成網路，獲得右目圖像。
三維圖像生成單元72，用於基於左目圖像以及右目圖像生成三維圖像。
其中，圖像生成網路經過上述任意一項實施例提供的圖像生成網路的訓練方法訓練獲得。
本申請實施例提供的影像處理裝置，通過圖像生成網路對左目影像處理獲得對應的右目圖像，受光照、遮擋、雜訊等環境因素的影響較小，得以保持視覺面積較小的 對象的合成準確度，通過獲得的右目圖像與左目圖像可生成形變較小、細節保留較完整的三維圖像。
根據本申請實施例的再一個方面，提供的一種電子設備，其特徵在於，包括處理器，所述處理器包括上述任意一項實施例所述的圖像生成網路的訓練裝置或上述實施例所述的影像處理裝置。
根據本申請實施例的另一個方面，提供的一種電子設備，包括：記憶體，用於儲存可執行指令；以及處理器，用於與所述記憶體通信以執行所述可執行指令從而完成上述任意一項實施例所述圖像生成網路的訓練方法的操作，或與所述記憶體通信以執行所述可執行指令從而完成上述實施例所述影像處理方法的操作。
根據本申請實施例的又一個方面，提供的一種電腦儲存介質，用於儲存電腦可讀取的指令，其特徵在於，所述指令被執行時執行上述任意一項實施例所述圖像生成網路的訓練方法的操作，或執行上述實施例所述影像處理方法的操作。
根據本申請實施例的還一個方面，提供的一種電腦程式產品，包括電腦可讀代碼，其特徵在於，當所述電腦可讀代碼在設備上運行時，所述設備中的處理器執行用於實現上述任意一項實施例所述圖像生成網路的訓練方法的指令，或執行用於實現上述實施例所述影像處理方法的指令。
本申請實施例還提供了一種電子設備，例如可以是移動終端、個人電腦(PC)、平板電腦、伺服器等。下面參考圖8，其示出了適於用來實現本申請實施例的終端設備或伺服器的電子設備800的結構示意圖：如圖8所示，電子設備800包括一個或多個處理器、通信部等，所述一個或多個處理器例如：一個或多個中央處理單元(CPU)801，和/或一個或多個專用處理器，專用處理器可作為加速單元813，可包括但不限於影像處理器(GPU)、FPGA、DSP以及其它的ASIC晶片之類專用處理器等，處理器可以根據儲存在唯讀記憶體(ROM)802中的可執行指令或者從儲存部分808載入到隨機存取記憶體(RAM)803中的可執行指令而執行各種適當的動作和處理。通信部812可包括但不限於網卡，所述網卡可包括但不限於IB(Infiniband)網卡。
處理器可與唯讀記憶體802和/或隨機存取記憶體803中通信以執行可執行指令，通過匯流排804與通信部812相連、並經通信部812與其他目標設備通信，從而完成本申請實施例提供的任一項方法對應的操作，例如，獲取樣本圖像，樣本圖像包括第一樣本圖像以及與第一樣本圖像對應的第二樣本圖像；基於圖像生成網路對第一樣本圖像進行處理，獲得預測目標圖像；確定預測目標圖像與第二樣本圖像之間的差異損失；基於差異損失對圖像生成網路進行訓練，獲得訓練後的圖像生成網路。
此外，在RAM803中，還可儲存有裝置操作所需的各種程式和資料。CPU801、ROM802以及RAM803通過匯流排804彼此相連。在有RAM803的情況下，ROM802為可選模組。RAM803儲存可執行指令，或在運行時向ROM802中寫入可執行指令，可執行指令使中央處理單元801執行上述通信方法對應的操作。輸入/輸出(I/O)介面805也連接至匯流排804。通信部812可以集成設置，也可以設置為具有多個子模組(例如多個IB網卡)，並在匯流排連結上。
以下部件連接至I/O介面805：包括鍵盤、滑鼠等的輸入部分806；包括諸如陰極射線管(CRT)、液晶顯示器(LCD)等以及揚聲器等的輸出部分807；包括硬碟等的儲存部分808；以及包括諸如LAN卡、數據機等的網路介面卡的通信部分809。通信部分809經由諸如網際網路的網路執行通信處理。驅動器810也根據需要連接至I/O介面805。可拆卸介質811，諸如磁片、光碟、磁光碟、半導體記憶體等等，根據需要安裝在驅動器810上，以便於從其上讀出的電腦程式根據需要被安裝入儲存部分808。
需要說明的，如圖8所示的架構僅為一種可選實現方式，在具體實踐過程中，可根據實際需要對上述圖8的部件數量和類型進行選擇、刪減、增加或替換；在不同功能部件設置上，也可採用分離設置或集成設置等實現方式，例如加速單元813和CPU801可分離設置或者可將加速單元813集成在CPU801上，通信部可分離設置，也可集成設置 在CPU801或加速單元813上，等等。這些可替換的實施方式均落入本申請公開的保護範圍。
特別地，根據本申請的實施例，上文參考流程圖描述的過程可以被實現為電腦軟體程式。例如，本申請的實施例包括一種電腦程式產品，其包括有形地包含在機器可讀介質上的電腦程式，電腦程式包含用於執行流程圖所示的方法的程式碼，程式碼可包括對應執行本申請實施例提供的方法步驟對應的指令，例如，獲取樣本圖像，樣本圖像包括第一樣本圖像以及與第一樣本圖像對應的第二樣本圖像；基於圖像生成網路對第一樣本圖像進行處理，獲得預測目標圖像；確定預測目標圖像與第二樣本圖像之間的差異損失；基於差異損失對圖像生成網路進行訓練，獲得訓練後的圖像生成網路。在這樣的實施例中，該電腦程式可以通過通信部分809從網路上被下載和安裝，和/或從可拆卸介質811被安裝。在該電腦程式被中央處理單元(CPU)801執行時，執行本申請的方法中限定的上述功能的操作。
可能以許多方式來實現本申請的方法和裝置。例如，可通過軟體、硬體、固件或者軟體、硬體、固件的任何組合來實現本申請的方法和裝置。用於所述方法的步驟的上述順序僅是為了進行說明，本申請的方法的步驟不限於以上具體描述的順序，除非以其它方式特別說明。此外，在一些實施例中，還可將本申請實施為記錄在記錄介質中的程式，這些程式包括用於實現根據本申請的方法的機器可讀指 令。因而，本申請還覆蓋儲存用於執行根據本申請的方法的程式的記錄介質。
本申請的描述是為了示例和描述起見而給出的，而並不是無遺漏的或者將本申請限於所公開的形式。很多修改和變化對於本領域的普通技術人員而言是顯然的。選擇和描述實施例是為了更好說明本申請的原理和實際應用，並且使本領域的普通技術人員能夠理解本申請從而設計適於特定用途的帶有各種修改的各種實施例。
圖1代表圖為流程圖，無元件符號說明

Claims (23)

  1. 一種圖像生成網路的訓練方法，包括：獲取樣本圖像，所述樣本圖像包括第一樣本圖像以及與所述第一樣本圖像對應的第二樣本圖像；基於圖像生成網路對所述第一樣本圖像進行處理，獲得預測目標圖像；確定所述預測目標圖像與所述第二樣本圖像之間的差異損失；其中，所述差異損失包括第一結構差異損失以及特徵損失，基於所述預測目標圖像對應的多個特徵圖中每個位置的結構特徵，與所述第二樣本圖像對應的多個特徵圖中每個位置的結構特徵，確定所述第一結構差異損失；基於所述預測目標圖像對應的多個特徵圖中每個位置和所述第二樣本圖像對應的多個特徵圖中每個位置確定所述特徵損失；基於所述差異損失對所述圖像生成網路進行訓練，獲得訓練後的圖像生成網路。
  2. 根據請求項1所述的方法，所述確定所述預測目標圖像與所述第二樣本圖像之間的差異損失，包括：基於結構分析網路確定所述預測目標圖像與所述第二樣本圖像之間的差異損失；所述基於所述差異損失對所述圖像生成網路進行訓練，獲得訓練後的圖像生成網路，包括：基於所述差異損失對所述圖像生成網路和所述結構分析網路進行對抗訓練，獲得訓練後的圖像生成網路。
  3. 根據請求項2所述的方法，其中，所述確定所述預測目標圖像與所述第二樣本圖像之間的差異損失，包括：基於結構分析網路對所述預測目標圖像和所述第二樣本圖像進行處理，確定所述預測目標圖像與所述第二樣本圖像之間的第一結構差異損失；基於所述結構分析網路確定所述預測目標圖像與所述第二樣本圖像之間的特徵損失。
  4. 根據請求項3所述的方法，所述基於結構分析網路對所述預測目標圖像和所述第二樣本圖像進行處理，確定所述預測目標圖像與所述第二樣本圖像之間的第一結構差異損失，包括：基於所述結構分析網路對所述預測目標圖像進行處理，確定所述預測目標圖像中至少一個位置的至少一個第一結構特徵；基於所述結構分析網路對所述第二樣本圖像進行處理，確定所述第二樣本圖像中至少一個位置的至少一個第二結構特徵；基於所述至少一個第一結構特徵和所述至少一個第二結構特徵，確定所述預測目標圖像與所述第二樣本圖像之間的第一結構差異損失。
  5. 根據請求項4所述的方法，所述基於所述結構分析網路對所述預測目標圖像進行處理，確定所述預測目標圖像中至少一個位置的至少一個第一結構特徵，包括： 基於結構分析網路對所述預測目標圖像進行處理，獲得所述預測目標圖像的至少一個尺度的第一特徵圖；對每個所述第一特徵圖，基於所述第一特徵圖中至少一個位置中每個位置的特徵與所述位置的相鄰區域特徵的余弦距離，獲得所述預測目標圖像的至少一個第一結構特徵；其中，所述第一特徵圖中的每個位置對應一個第一結構特徵，所述相鄰區域特徵為以所述位置為中心包括至少兩個位置的區域內的每個特徵。
  6. 根據請求項4或5所述的方法，所述基於所述結構分析網路對所述第二樣本圖像進行處理，確定所述第二樣本圖像中至少一個位置的至少一個第二結構特徵，包括：基於結構分析網路對所述第二樣本圖像進行處理，獲得所述第二樣本圖像在至少一個尺度的第二特徵圖；對每個所述第二特徵圖，基於所述第二特徵圖中至少一個位置中每個位置的特徵與所述位置的相鄰區域特徵的余弦距離，獲得所述第二樣本圖像的至少一個第二結構特徵；其中，所述第二特徵圖中的每個位置對應一個第二結構特徵。
  7. 根據請求項6所述的方法，所述第一特徵圖中的每個位置與所述第二特徵圖中的每個位置存在對應關係； 所述基於所述至少一個第一結構特徵和所述至少一個第二結構特徵，確定所述預測目標圖像與所述第二樣本圖像之間的第一結構差異損失，包括：計算存在對應關係的位置對應的所述第一結構特徵與所述第二結構特徵之間的距離；基於所述預測目標圖像對應的所有所述第一結構特徵與所述第二結構特徵之間的距離，確定所述預測目標圖像與所述第二樣本圖像之間的第一結構差異損失。
  8. 根據請求項4或5所述的方法，所述基於所述結構分析網路確定所述預測目標圖像與所述第二樣本圖像之間的特徵損失，包括：基於所述結構分析網路對所述預測目標圖像和所述第二樣本圖像進行處理，獲得所述預測目標圖像的至少一個尺度的第一特徵圖和所述第二樣本圖像在至少一個尺度的第二特徵圖；基於所述至少一個第一特徵圖和所述至少一個第二特徵圖，確定所述預測目標圖像與所述第二樣本圖像之間的特徵損失。
  9. 根據請求項8所述的方法，所述第一特徵圖中的每個位置與所述第二特徵圖中的每個位置存在對應關係；所述基於所述至少一個第一特徵圖和所述至少一個第二特徵圖，確定所述預測目標圖像與所述第二樣本圖像之間的特徵損失，包括： 計算存在對應關係的位置對應的所述第一特徵圖中的特徵與所述第二特徵圖中的特徵之間的距離；基於所述第一特徵圖中的特徵與所述第二特徵圖中的特徵之間的距離，確定所述預測目標圖像與所述第二樣本圖像之間的特徵損失。
  10. 根據請求項4或5所述的方法，所述差異損失還包括顏色損失，在基於所述差異損失對所述圖像生成網路進行訓練，獲得訓練後的圖像生成網路之前，所述方法還包括：基於所述預測目標圖像與所述第二樣本圖像之間的顏色差異，確定所述圖像生成網路的顏色損失；所述基於所述差異損失對所述圖像生成網路和所述結構分析網路進行對抗訓練，獲得訓練後的圖像生成網路，包括：在第一反覆運算中，基於所述第一結構差異損失、所述特徵損失和所述顏色損失對所述圖像生成網路中的網路參數進行調整；在第二反覆運算中，基於所述第一結構差異損失對所述結構分析網路中的網路參數進行調整，其中，所述第一反覆運算和所述第二反覆運算為連續執行的兩次反覆運算；直到滿足訓練停止條件，獲得訓練後的圖像生成網路。
  11. 根據請求項4或5所述的方法，在確定所述預測目標圖像與所述第二樣本圖像之間的差異損失之前，還包括：對所述第二樣本圖像加入雜訊，獲得雜訊圖像；基於所述雜訊圖像和所述第二樣本圖像確定第二結構差異損失。
  12. 根據請求項11所述的方法，所述基於所述雜訊圖像和所述第二樣本圖像確定第二結構差異損失，包括：基於結構分析網路對所述雜訊圖像進行處理，確定所述雜訊圖像中至少一個位置的至少一個第三結構特徵；基於結構分析網路對所述第二樣本圖像進行處理，確定所述第二樣本圖像中至少一個位置的所述至少一個第二結構特徵；基於所述至少一個第三結構特徵和所述至少一個第二結構特徵，確定所述雜訊圖像與所述第二樣本圖像之間的第二結構差異損失。
  13. 根據請求項12所述的方法，所述基於結構分析網路對所述雜訊圖像進行處理，確定所述雜訊圖像中至少一個位置的至少一個第三結構特徵，包括：基於所述結構分析網路對所述雜訊圖像進行處理，獲得所述雜訊圖像的至少一個尺度的第三特徵圖；對每個所述第三特徵圖，基於所述第三特徵圖中至少一個位置中每個位置的特徵與所述位置的相鄰區域特徵的 余弦距離，獲得所述雜訊圖像的至少一個第三結構特徵；其中，所述第三特徵圖中的每個位置對應一個第三結構特徵，所述相鄰區域特徵為以所述位置為中心包括至少兩個位置的區域內的每個特徵。
  14. 根據請求項12所述的方法，所述第三特徵圖中的每個位置與所述第二特徵圖中的每個位置存在對應關係；所述基於所述至少一個第三結構特徵和所述至少一個第二結構特徵，確定所述雜訊圖像與所述第二樣本圖像之間的第二結構差異損失，包括：計算存在對應關係的位置對應的所述第三結構特徵與所述第二結構特徵之間的距離；基於所述雜訊圖像對應的所有所述第三結構特徵與所述第二結構特徵之間的距離，確定所述雜訊圖像與所述第二樣本圖像之間的第二結構差異損失。
  15. 根據請求項11所述的方法，所述基於所述差異損失對所述圖像生成網路和所述結構分析網路進行對抗訓練，獲得訓練後的圖像生成網路，包括：在第三反覆運算中，基於所述第一結構差異損失、所述特徵損失和所述顏色損失對所述圖像生成網路中的網路參數進行調整；在第四反覆運算中，基於所述第一結構差異損失和所述第二結構差異損失對所述結構分析網路中的網路參數進 行調整，其中，所述第三反覆運算和所述第四反覆運算為連續執行的兩次反覆運算；直到滿足訓練停止條件，獲得訓練後的圖像生成網路。
  16. 根據請求項4或5所述的方法，在基於所述結構分析網路對所述預測目標圖像進行處理，確定所述預測目標圖像中至少一個位置的至少一個第一結構特徵之後，還包括：基於圖像重構網路對所述至少一個第一結構特徵進行圖像重構處理，獲得第一重構圖像；基於所述第一重構圖像與所述預測目標圖像確定第一重構損失。
  17. 根據請求項16所述的方法，在基於所述結構分析網路對所述第二樣本圖像進行處理，確定所述第二樣本圖像中至少一個位置的至少一個第二結構特徵之後，還包括：基於圖像重構網路對所述至少一個第二結構特徵進行圖像重構處理，獲得第二重構圖像；基於所述第二重構圖像和所述第二樣本圖像確定第二重構損失。
  18. 根據請求項17所述的方法，所述基於所述差異損失對所述圖像生成網路和結構分析網路進行對抗訓練，獲得訓練後的圖像生成網路，包括： 在第五反覆運算中，基於所述第一結構差異損失、所述特徵損失和所述顏色損失對所述圖像生成網路中的網路參數進行調整；在第六反覆運算中，基於所述第一結構差異損失、所述第二結構差異損失、所述第一重構損失和所述第二重構損失對所述結構分析網路中的網路參數進行調整，其中，所述第五反覆運算和所述第六反覆運算為連續執行的兩次反覆運算；直到滿足訓練停止條件，獲得訓練後的圖像生成網路。
  19. 根據請求項4或5所述的方法，所述基於所述差異損失對所述圖像生成網路進行訓練，獲得訓練後的圖像生成網路之後，還包括：基於所述訓練後的圖像生成網路對待處理圖像進行處理，獲得目標圖像。
  20. 根據請求項19所述的方法，所述待處理圖像包括左目圖像；所述目標圖像包括與所述左目圖像對應的右目圖像。
  21. 一種影像處理方法，包括：在三維圖像生成場景下，將左目圖像輸入圖像生成網路，獲得右目圖像；基於所述左目圖像以及所述右目圖像生成三維圖像；其中，所述圖像生成網路經過上述請求項1至20任意一項所述的圖像生成網路的訓練方法訓練獲得。
  22. 一種電子設備，包括： 記憶體，用於儲存可執行指令；以及處理器，用於與所述記憶體通信以執行所述可執行指令從而完成請求項1至20任意一項所述圖像生成網路的訓練方法的操作，或與所述記憶體通信以執行所述可執行指令從而完成請求項21所述影像處理方法的操作。
  23. 一種電腦儲存介質，用於儲存電腦可讀取的指令，所述指令被執行時執行請求項1至20任意一項所述圖像生成網路的訓練方法的操作，或執行請求項21所述影像處理方法的操作。
TW108131747A 2019-04-30 2019-09-03 圖像生成網路的訓練及影像處理方法和裝置、電子設備 TWI739151B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910363957.5A CN110322002B (zh) 2019-04-30 2019-04-30 图像生成网络的训练及图像处理方法和装置、电子设备
CN201910363957.5 2019-04-30

Publications (2)

Publication Number Publication Date
TW202042176A TW202042176A (zh) 2020-11-16
TWI739151B true TWI739151B (zh) 2021-09-11

Family

ID=68113358

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108131747A TWI739151B (zh) 2019-04-30 2019-09-03 圖像生成網路的訓練及影像處理方法和裝置、電子設備

Country Status (6)

Country Link
JP (1) JP7026222B2 (zh)
KR (1) KR20200128378A (zh)
CN (1) CN110322002B (zh)
SG (1) SG11202004325RA (zh)
TW (1) TWI739151B (zh)
WO (1) WO2020220516A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI790560B (zh) * 2021-03-03 2023-01-21 宏碁股份有限公司 並排影像偵測方法與使用該方法的電子裝置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242844B (zh) * 2020-01-19 2023-09-22 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器和存储介质
CN113139893B (zh) * 2020-01-20 2023-10-03 北京达佳互联信息技术有限公司 图像翻译模型的构建方法和装置、图像翻译方法和装置
CN111325693B (zh) * 2020-02-24 2022-07-12 西安交通大学 一种基于单视点rgb-d图像的大尺度全景视点合成方法
CN111475618B (zh) * 2020-03-31 2023-06-13 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
CN116250021A (zh) * 2020-11-13 2023-06-09 华为技术有限公司 图像生成模型的训练方法、新视角图像生成方法及装置
CN112927172B (zh) * 2021-05-10 2021-08-24 北京市商汤科技开发有限公司 图像处理网络的训练方法和装置、电子设备和存储介质
CN113311397B (zh) * 2021-05-25 2023-03-10 西安电子科技大学 基于卷积神经网络的大型阵列快速自适应抗干扰方法
CN113900608B (zh) * 2021-09-07 2024-03-15 北京邮电大学 立体三维光场的显示方法、装置、电子设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI612433B (zh) * 2016-11-17 2018-01-21 財團法人工業技術研究院 整體式學習預測裝置與方法、以及非暫存電腦可讀的儲存媒介
CN108495110A (zh) * 2018-01-19 2018-09-04 天津大学 一种基于生成式对抗网络的虚拟视点图像生成方法
US20180307947A1 (en) * 2017-04-25 2018-10-25 Nec Laboratories America, Inc. Cyclic generative adversarial network for unsupervised cross-domain image generation
CN109166144A (zh) * 2018-07-20 2019-01-08 中国海洋大学 一种基于生成对抗网络的图像深度估计方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229494B (zh) * 2017-06-16 2020-10-16 北京市商汤科技开发有限公司 网络训练方法、处理方法、装置、存储介质和电子设备
CN108229526B (zh) * 2017-06-16 2020-09-29 北京市商汤科技开发有限公司 网络训练、图像处理方法、装置、存储介质和电子设备
US10578869B2 (en) * 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
CN109191409B (zh) * 2018-07-25 2022-05-10 北京市商汤科技开发有限公司 图像处理、网络训练方法、装置、电子设备和存储介质
CN109191402B (zh) * 2018-09-03 2020-11-03 武汉大学 基于对抗生成神经网络的图像修复方法和系统
CN109635745A (zh) * 2018-12-13 2019-04-16 广东工业大学 一种基于生成对抗网络模型生成多角度人脸图像的方法
CN110163193B (zh) * 2019-03-25 2021-08-06 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI612433B (zh) * 2016-11-17 2018-01-21 財團法人工業技術研究院 整體式學習預測裝置與方法、以及非暫存電腦可讀的儲存媒介
US20180307947A1 (en) * 2017-04-25 2018-10-25 Nec Laboratories America, Inc. Cyclic generative adversarial network for unsupervised cross-domain image generation
CN108495110A (zh) * 2018-01-19 2018-09-04 天津大学 一种基于生成式对抗网络的虚拟视点图像生成方法
CN109166144A (zh) * 2018-07-20 2019-01-08 中国海洋大学 一种基于生成对抗网络的图像深度估计方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI790560B (zh) * 2021-03-03 2023-01-21 宏碁股份有限公司 並排影像偵測方法與使用該方法的電子裝置

Also Published As

Publication number Publication date
CN110322002B (zh) 2022-01-04
CN110322002A (zh) 2019-10-11
KR20200128378A (ko) 2020-11-12
SG11202004325RA (en) 2020-12-30
JP2021525401A (ja) 2021-09-24
JP7026222B2 (ja) 2022-02-25
WO2020220516A1 (zh) 2020-11-05
TW202042176A (zh) 2020-11-16

Similar Documents

Publication Publication Date Title
TWI739151B (zh) 圖像生成網路的訓練及影像處理方法和裝置、電子設備
US20200349391A1 (en) Method for training image generation network, electronic device, and storage medium
WO2019223463A1 (zh) 图像处理方法、装置、存储介质和计算机设备
CN110378838B (zh) 变视角图像生成方法，装置，存储介质及电子设备
CN110782490A (zh) 一种具有时空一致性的视频深度图估计方法及装置
US20220239844A1 (en) Neural 3D Video Synthesis
CN110751649A (zh) 视频质量评估方法、装置、电子设备及存储介质
US11961266B2 (en) Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture
CN117252984A (zh) 三维模型生成方法、装置、设备、存储介质及程序产品
WO2022208440A1 (en) Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture
Ceruso et al. Relative multiscale deep depth from focus
Cao et al. Real-time video stabilization via camera path correction and its applications to augmented reality on edge devices
US20230177771A1 (en) Method for performing volumetric reconstruction
Han Texture image compression algorithm based on self-organizing neural network
CN117011137A (zh) 基于rgb相似度特征匹配的图像拼接方法、装置及设备
Wang et al. Deep intensity guidance based compression artifacts reduction for depth map
Guo et al. Heritage applications of landscape design in environmental art based on image style migration
CN113628349B (zh) 基于场景内容自适应的ar导航方法、设备及可读存储介质
Liang et al. Multi-scale and multi-patch transformer for sandstorm image enhancement
CN112995433B (zh) 一种时序视频生成方法、装置、计算设备及存储介质
Tsai et al. A novel method for 2D-to-3D video conversion based on boundary information
Xu et al. Interactive algorithms in complex image processing systems based on big data
Babbar et al. Hybrid model of alternating least squares and root polynomial technique for color correction
CN117474956B (zh) 基于运动估计注意力的光场重建模型训练方法及相关设备
CN116958451B (zh) 模型处理、图像生成方法、装置、计算机设备和存储介质