TWI756378B - 用於深度學習影像超解析度的系統及方法 - Google Patents

用於深度學習影像超解析度的系統及方法 Download PDF

Info

Publication number
TWI756378B
TWI756378B TW107107507A TW107107507A TWI756378B TW I756378 B TWI756378 B TW I756378B TW 107107507 A TW107107507 A TW 107107507A TW 107107507 A TW107107507 A TW 107107507A TW I756378 B TWI756378 B TW I756378B
Authority
TW
Taiwan
Prior art keywords
resolution
resolution image
super
image
neural network
Prior art date
Application number
TW107107507A
Other languages
English (en)
Other versions
TW201837854A (zh
Inventor
莫斯塔法 伊爾－哈米
任昊宇
正元 李
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW201837854A publication Critical patent/TW201837854A/zh
Application granted granted Critical
Publication of TWI756378B publication Critical patent/TWI756378B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4069—Super resolution, i.e. output image resolution higher than sensor resolution by subpixel displacement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

在一種用於超解析度成像的方法中，方法包含：藉由處理器接收低解析度影像；藉由處理器產生相比於低解析度影像具有提高的解析度的中間高解析度影像；基於中間高解析度影像及低解析度影像而藉由處理器產生最終高解析度影像；以及藉由處理器將最終高解析度影像傳輸至顯示裝置以供藉由顯示裝置進行顯示。

Description

用於深度學習影像超解析度的系統及方法
本揭露涉及一種用於深度學習影像超解析度的系統及方法。
影像超解析度是用於自單個低解析度（low resolution；LR）影像產生或恢復高解析度（high resolution；HR）影像的程序。輸入是模糊或LR影像。輸出是高解析度影像。在某些應用中，由於獲得所期望品質所需的資料處理功率及時間的量，基於低解析度輸入影像而產生高品質超解析度影像可以是即時地困難的。
此背景技術章節中揭露的上述資訊僅僅用於增強對本發明的背景的理解，且因此其可含有不形成先前技術的資訊。
本發明的一些實例實施例的態樣是有關於一種用於深度學習影像超解析度的系統及方法。
根據本發明的一些實例實施例，在一種用於超解析度成像的方法中，所述方法包含：藉由處理器接收低解析度影像；藉由所述處理器產生相比於所述低解析度影像具有提高的解析度的中間高解析度影像；基於所述中間高解析度影像及所述低解析度影像而藉由所述處理器產生最終高解析度影像；以及藉由所述處理器將所述最終高解析度影像傳輸至顯示裝置以供藉由所述顯示裝置進行顯示。
根據一些實例實施例，所述方法另外包含：藉由所述處理器自使用者裝置接收請求捕捉所述中間高解析度影像的信號；以及在自所述使用者裝置接收到所述信號之後藉由所述處理器產生所述最終高解析度影像。
根據一些實例實施例，所述方法另外包含：藉由所述處理器同時產生一或多個中間高解析度影像，所述影像各自利用個別卷積神經網路；以及藉由所述處理器將所述一或多個中間高解析度影像儲存於緩衝器中。
根據一些實例實施例，所述方法另外包含：藉由所述處理器自使用者裝置接收請求捕捉所述一或多個中間高解析度影像的信號；藉由所述處理器自所述緩衝器擷取所述一或多個中間高解析度影像；以及基於連同另一卷積神經網路處理來自所述緩衝器的所述一或多個中間高解析度影像，在自所述使用者裝置接收到所述信號之後藉由所述處理器產生所述最終高解析度影像。
根據一些實例實施例，所述方法另外包含：藉由所述處理器將所述低解析度影像儲存於第一緩衝器中。
根據一些實例實施例，所述方法另外包含：利用第一個別卷積神經網路來藉由所述處理器產生所述中間高解析度影像；藉由所述處理器將所述中間高解析度影像儲存於第二緩衝器中；藉由所述處理器自使用者裝置接收請求捕捉所述中間高解析度影像的信號；藉由所述處理器自所述第一緩衝器擷取所述低解析度影像；以及藉由第二個別卷積神經網路藉由所述處理器產生另一中間高解析度影像。
根據一些實例實施例，所述方法另外包含：藉由所述處理器將具有第一卷積核的第一融合層應用於所述第一個別卷積神經網路的輸出影像以產生第一資料集；藉由所述處理器將具有第二卷積核的第二融合層應用於所述第二個別卷積神經網路的輸出影像以產生第二資料集；以及藉由所述處理器合併所述第一資料集與所述第二資料集以產生所述最終高解析度影像。
根據一些實例實施例，在一種用於超解析度成像的系統中，所述系統包含：處理器；以及記憶體，其耦接至所述處理器，其中所述記憶體儲存在由所述處理器執行時使得所述處理器執行以下操作的指令：接收低解析度影像；產生相比於所述低解析度影像具有提高的解析度的中間高解析度影像；基於所述中間高解析度影像及所述低解析度影像而產生最終高解析度影像；以及將所述最終高解析度影像傳輸至顯示裝置以供藉由所述顯示裝置進行顯示。
根據一些實例實施例，所述指令另外使得所述處理器：自使用者裝置接收請求捕捉所述中間高解析度影像的信號；以及在自所述使用者裝置接收到所述信號之後產生所述最終高解析度影像。
根據一些實例實施例，所述指令另外使得所述處理器：同時產生一或多個中間高解析度影像，所述影像各自利用個別卷積神經網路；以及將所述一或多個中間高解析度影像儲存於緩衝器中。
根據一些實例實施例，所述指令另外使得所述處理器：自使用者裝置接收請求捕捉所述一或多個中間高解析度影像的信號；自所述緩衝器擷取所述一或多個中間高解析度影像；以及基於連同另一卷積神經網路處理來自所述緩衝器的所述一或多個中間高解析度影像，在自所述使用者裝置接收到所述信號之後產生所述最終高解析度影像。
根據一些實例實施例，所述指令另外使得所述處理器將所述低解析度影像儲存於第一緩衝器中。
根據一些實例實施例，所述指令另外使得所述處理器：利用第一個別卷積神經網路來產生所述中間高解析度影像；將所述中間高解析度影像儲存於第二緩衝器中；自使用者裝置接收請求捕捉所述中間高解析度影像的信號；自所述第一緩衝器擷取所述低解析度影像；以及藉由第二個別卷積神經網路產生另一中間高解析度影像。
根據一些實例實施例，所述指令另外使得所述處理器：將具有第一卷積核的第一融合層應用於所述第一個別卷積神經網路的輸出影像以產生第一資料集；將具有第二卷積核的第二融合層應用於所述第二個別卷積神經網路的輸出影像以產生第二資料集；以及合併所述第一資料集與所述第二資料集以產生所述最終高解析度影像。
根據一些實例實施例，在一種用於超解析度成像的系統中，所述系統包含：處理器；以及記憶體，其耦接至所述處理器，其中所述記憶體儲存在由所述處理器執行時使得所述處理器執行以下操作的指令：接收低解析度影像；產生相比於所述低解析度影像具有提高的解析度的中間高解析度影像；基於所述中間高解析度影像及所述低解析度影像而產生最終高解析度影像；自使用者裝置接收請求捕捉所述中間高解析度影像的信號；在自所述使用者裝置接收到所述信號之後產生所述最終高解析度影像；以及將所述最終高解析度影像傳輸至顯示裝置以供藉由所述顯示裝置進行顯示。
根據一些實例實施例，所述指令另外使得所述處理器：利用個別卷積神經網路來產生所述中間高解析度影像；以及將所述中間高解析度影像儲存於緩衝器中。
根據一些實例實施例，所述指令另外使得所述處理器：自使用者裝置接收請求捕捉所述中間高解析度影像的信號；自所述緩衝器擷取所述中間高解析度影像；以及基於來自所述緩衝器的所述中間高解析度影像而在自所述使用者裝置接收到所述信號之後產生所述最終高解析度影像。
根據一些實例實施例，所述指令另外使得所述處理器將所述低解析度影像儲存於第一緩衝器中。
根據一些實例實施例，所述指令另外使得所述處理器：利用第一個別卷積神經網路來產生所述中間高解析度影像；將所述中間高解析度影像儲存於第二緩衝器中；自使用者裝置接收請求捕捉所述中間高解析度影像的信號；自所述第一緩衝器擷取所述低解析度影像；以及藉由第二個別卷積神經網路產生另一中間高解析度影像。
根據一些實例實施例，所述指令另外使得所述處理器：將具有第一卷積核的第一融合層應用於所述第一個別卷積神經網路的輸出影像以產生第一資料集；將具有第二卷積核的第二融合層應用於所述第二個別卷積神經網路的輸出影像以產生第二資料集；以及合併所述第一資料集與所述第二資料集以產生所述最終高解析度影像。
在下文中，將參考附圖更詳細地描述實例實施例，在附圖中，相同參考數字始終指相同元件。然而，本發明可以各種不同形式體現，且不應解釋為僅限於本文中的所說明實施例。確切而言，提供此等實施例作為實例，以使得本發明將是透徹且完整的，且將向所屬領域中具通常知識者充分傳達本發明的態樣及特徵中的一些。因此，並未關於本發明的實施例中的一些而描述對於所屬領域中具通常知識者完全理解本發明的態樣及特徵不必要的程序、元件以及技術。除非另外指出，否則相同參考數字貫穿附圖及書面描述表示相同元件，且因此將不重複其描述。在圖式中，為了清楚起見，可誇示元件、層以及區的相對大小。
應理解，儘管在本文中可使用術語「第一」、「第二」、「第三」等以描述各種元件、組件、區、層及/或區段，但此等元件、組件、區、層及/或區段不應受此等術語限制。此等術語僅用以區別一個元件、組件、區、層或區段與另一元件、組件、區、層或區段。因此，下文所描述的第一元件、組件、區、層或區段在不脫離本發明的範疇的情況下可被稱作第二元件、組件、區、層或區段。
空間相對術語，諸如“底下”、“以下”、“下部”、“下面”、“上方”、“上部”等等，可在本文中出於解釋簡單起見而用以描述如圖式中所說明的一個元件或特徵與另一元件或特徵的關係。應理解，空間相對術語意欲涵蓋使用或操作中的裝置的除圖式中所描繪的定向以外的不同定向。舉例而言，若圖式中的裝置翻轉，則描述為「在」其他元件或特徵「下方」或「以下」或「下面」的元件將接著被定向為「在」其他元件或特徵「上方」。因此，實例術語「下方」及「下面」可涵蓋上方以及下方的定向兩者。裝置可以其他方式定向（例如，旋轉90度或處於其他定向），且本文中所使用的空間相對描述詞應相應地進行解釋。另外，亦應理解，當元件或層被稱作「在」兩個元件或層「之間」時，元件或層可以是兩個元件或層之間的唯一元件或層，或亦可存在一或多個介入元件或層。
本文中所使用的術語僅出於描述特定實施例之目的，且並不意欲限制本發明。如本文中所使用，除非上下文另外清晰地指示，否則單數形式「一」意欲亦包含複數形式。應另外理解，術語「包含」及/或「包括」在用於本說明書中時指定所陳述特徵、整體、步驟、操作、元件及/或組件的存在，但並不排除一或多個其他特徵、整體、步驟、操作、元件、組件及/或其群組的存在或添加。如本文中所使用，術語「及/或」包含相關聯所列項目中的一或多者中的任一者及所有組合。當在元件清單之前時，諸如「……中的至少一者」的表達修飾元件的整個清單，且並不修飾清單中的個別元件。另外，當描述本發明的實施例時，「可」的使用指代「本發明的一或多個實施例」。此外，術語「例示性」意欲指代實例或說明。
應理解，當稱元件或層「在」另一元件或層「上」、「連接至」另一元件或層、「與」另一元件或層「連接」、「耦接至」另一元件或層或「鄰近於」另一元件或層時，所述元件或層可直接在所述另一元件或層上、直接連接至所述另一元件或層、與所述另一元件或層連接、耦接至所述另一元件或層或鄰近於所述另一元件或層，或可存在一或多個介入元件或層。當元件或層被稱作「直接在」另一元件或層「上」、「直接連接至」另一元件或層、「直接耦接至」另一元件或層或「緊鄰於」另一元件或層時，不存在介入元件或層。
除非另外定義，否則本文中所使用的所有術語（包含技術及科學術語）具有與本發明所屬領域具通常知識者通常所理解相同的意義。應另外理解，諸如常用詞典中所定義的術語的術語應被解釋為具有與其在相關技術及/或本說明書的上下文中的含義一致的含義，且除非本文中明確地如此定義，否則不應以理想化或過分正式意義進行解釋。
超解析度成像系統是經組態以基於單個低解析度（LR）影像而產生或恢復高解析度（HR）影像的電子系統。單影像超解析度指代自一個LR影像產生單個HR影像。多影像超解析度指代自按不同時間、角度或空間維度獲得且需要就子像素準確性而言對準的多個影像產生HR影像。
超解析度（super resolution；SR）成像正在多種情境及應用中變得愈來愈重要。舉例而言，可利用超解析度成像以提高以經壓縮或經下取樣格式存在的網頁影像及視訊的感知品質。超解析度成像亦可用於數位相機的數位變焦程序中，不論是獨立還是蜂巢式手機相機。超解析度成像對於依賴於收集且分析影像的多種科學領域及應用具有額外益處。舉例而言，可利用超解析度成像以提高顯微影像的品質。
在一些應用中，超解析度成像系統的即時效能（例如自較低解析度影像產生較高解析度影像的速度及品質）可以是系統的品質及有用性的重要因素。舉例而言，在網際網路或網頁瀏覽器應用的情境中，提供快速網際網路瀏覽同時觀察影像的較高感知品質可以是有用的。快速且高品質的即時超解析度成像亦可有益於提高數位相機的檢影器或顯示器上的數位變焦功能性的所感知品質。
類似地，在顯微法中，使用者可瞭解能夠即時地觀察較高解析度影像的益處。舉例而言，在光顯微法的情境中，小於某一臨限大小（例如橫跨小於250奈米（nm））的物體會看起來模糊，此可限制或防止使用者分析顯微影像中的所述物體。因此，超解析度顯微法可使得能夠按小得多的比例分析物件，而較不受透鏡的繞射限度影響。在其他情形中，使用者可受益於能夠對分子觀察具有即時觀察。因此，在多種應用中，諸如數位相機上的數位變焦功能性、光顯微法以及網頁瀏覽，超解析度成像系統的使用者可受益於高品質即時效能及增強的離線效能。
另外，對於上文所提及的應用，獲取時間處的影像處理的離線效能亦具有重要性。在此類應用中，可例如藉由在瀏覽器中點擊影像或保存影像、藉由使用數位變焦自相機拍攝快照、藉由運用數位變焦記錄視訊或電影、或藉由拍攝快照或記錄顯微鏡輸出來觸發離線效能。
因此，本發明的實例實施例包含一種可在以下兩個模式下操作的超解析度成像的系統及方法：（1）預覽模式，其足夠快速以即時地產生較高解析度影像（例如不具有任何顯著的可察覺延遲），其中相比於較低解析度輸入影像具有增強的定量及定性感知品質；及（2）用於獲取處後處理的離線模式，其不如預覽模式一樣快速地產生輸出高解析度影像，但輸出影像比在預覽模式下所產生的影像具有更高的解析度。
本發明的一些實例實施例包含一種為基於深度學習的超解析度成像提供預覽模式及離線模式的系統及方法。根據一些實例實施例，在離線模式下利用在預覽模式下進行的計算。根據一些實例實施例，一種系統及方法包含自低解析度（LR）影像擷取資訊以生成或產生高解析度（HR）輸出影像的超解析度成像系統。可藉由學習極深層卷積神經網路來實現本系統。
因此，如上文所描述，本發明的一些實例實施例包含雙模式SR系統及方法。根據一些實例實施例，系統及方法包含在針對處於離線模式或預覽模式下時利用針對即時SR進行的計算的基於深度學習的SR。因此，本系統提供用於平衡準確性與效率之間的權衡的機構。
根據一些實例實施例的系統及方法包含預覽網路及一或多個改進網路。如將在下文更詳細地描述，一些實例實施例可利用本文中所描述的以下兩個深度學習架構中的一者：漸進式超解析度系統；及平行融合式超解析度系統。
如下文更詳細地描述，在漸進式超解析度系統中，可連續地訓練「預覽」網路及「改進」網路。相比之下，在情境式平行融合式超解析度系統中，可利用用於並聯的多個網路的情境式融合的情境式融合層。在下文更詳細地論述用於兩個狀況的用於使用預覽網路及改進網路的運行時間程序。
圖1是說明根據本發明的一些實例實施例的深度學習影像超解析度系統的態樣的方塊圖。如圖1中所說明，根據一些實例實施例的超解析度成像系統100包含影像處理系統102。影像處理系統102與影像源裝置104及影像輸出裝置106電子通信。影像源裝置104可以是經組態以捕捉及/或儲存數位影像的任何電子裝置，諸如數位顯微鏡、數位相機、操作網際網路網站的電腦以及個人電腦系統。影像輸出裝置106可以是經組態以接收基於低解析度影像的超解析度影像的任何適合電子裝置。舉例而言，影像輸出裝置106可以是用於顯示高解析度影像的顯示裝置或電腦系統。如將在下文更詳細地描述，超解析度成像系統100經組態以自影像源裝置104接收低解析度影像及基於低解析度影像而產生超解析度影像來提供至影像輸出裝置106。
根據一些實例實施例，本發明的系統及方法可利用本文中所描述的以下兩個深度學習架構中的一者：漸進式超解析度系統；及平行融合式超解析度系統。圖2是說明根據本發明的一些實例實施例的漸進式融合系統的態樣的方塊圖。
參考圖2，圖1的超解析度成像系統100可包含漸進式融合SR成像系統200，所述漸進式融合SR成像系統200經組態以經由漸進式融合提供漸進式超解析度以允許超解析度成像在預覽模式下產生中間高解析度影像作為預覽影像及在非預覽或離線模式下產生高解析度影像（例如比中間高解析度影像具有更高的解析度）。
如圖2中所說明，漸進式融合SR成像系統200包含第一個別超解析度網路S1 。第一個別超解析度網路S1 經組態以接收LR輸入影像202（自影像源裝置104）及產生中間品質高解析度影像（例如作為預覽影像）以供提供至顯示裝置及/或影像目的地裝置106。第一個別超解析度網路S1 可使用所屬領域中已知的任何適合超解析度成像演算法或程序來產生中間品質高解析度影像。
根據一些實例實施例，第一個別超解析度網路S1 包含任何適合的卷積神經網路架構。根據一些實例實施例，第一個別超解析度網路
Figure 02_image001
可具有相對低的複雜度（例如就產生輸出資料而言具有相對低的計算成本）。神經網路的輸出是基於輸入（例如LR輸入影像）及權重（例如網路參數）的乘法與累加的前饋程序。若網路較小（例如因為存在相對少的層及濾波器），則計算成本將較小。因此，網路
Figure 02_image001
可即時地基於輸入影像而產生中間高解析度影像204（例如就產生且顯示影像而言具有感知到極少或不感知到延遲）。根據本發明的實施例的「即時」的基線是每秒15圖框。因此，根據本發明的一些實例實施例，用於藉由第一個別超解析度網路S1 產生中間輸出影像的處理時間小於1/15秒。在此類條件下，人眼將不會感知任何延遲。
根據一些實例實施例，第一個別超解析度網路
Figure 02_image001
接收LR輸入影像202，或替代地接收LR輸入影像202的雙三次經上取樣版本，其中上取樣比是根據目標上取樣比。在給定輸入
Figure 02_image003
的情況下，
Figure 02_image001
的輸出
Figure 02_image005
可由下文的方程式（1）表示：
Figure 02_image007
（1）。
第一個別超解析度網路
Figure 02_image001
經訓練以提供輸出
Figure 02_image005
，輸出
Figure 02_image005
針對對影像的品質的增強的使用者體驗或使用者感知具有足夠的超解析度感知品質。舉例而言，對於相機應用，中間高解析度影像204可以是LR輸入影像202的放大版本（例如處於LR輸入影像202的大小的多倍（例如所述大小的3倍）的比例下），其在來自光學透鏡的原始影像中的所關注區域周圍與LR輸入影像202具有相同或更高的解析度。此類增大的縮放及影像解析度可使得例如使用者能夠掃描經縮放影像中的所關注物件且提高其清晰度、閱讀小文本等等。因此，中間高解析度影像204可提供至且顯示於由使用者操作的與超解析度成像系統100電子通信或併入為超解析度成像系統100的部分的裝置上。
根據一些實例實施例，一旦使用者對當前圖框滿意且想要捕捉影像，則使用者可將信號傳輸至漸進式融合SR成像系統200（例如藉由在用於與漸進式融合SR成像系統200交互的使用者介面中選擇按鈕或提示）以產生高解析度影像206。
在由第一個別超解析度網路S1 產生之後，中間高解析度影像204（例如輸出y1 ）亦可即刻儲存於時間圖框緩衝器208中。接著，回應於自使用者（或由使用者操作的裝置）接收到指示使用者需要捕捉影像的信號，自時間圖框緩衝器208擷取中間高解析度影像204（例如輸出
Figure 02_image005
），且將中間高解析度影像204提供至第二個別超解析度網路S2 以產生高解析度影像206。
具體而言，自預覽網路
Figure 02_image001
產生作為輸出的超解析度影像用作中間高解析度影像預覽，且在時間圖框緩衝器208中經緩衝以供另外超解析度成像，以基於原始低解析度輸入影像及中間高解析度影像而產生最終高解析度影像。若捕捉了圖框，則第一個別超解析度網路
Figure 02_image001
的超解析度輸出作為輸入經提供至第二個別超解析度網路
Figure 02_image011
，以按相同所期望比例提供增強的超解析度品質。第二個別超解析度網路
Figure 02_image011
的輸入解析度與輸出解析度相同，但第二個別超解析度網路
Figure 02_image011
的輸出具有較佳的感知品質。
舉例而言，根據一些實例實施例，第二個別超解析度網路S2 的輸出例如具有較高峰值信號對雜訊比（Peak Signal-to-Noise Ratio；PSNR）或較高結構類似性量度（Structural Similarity Measure；SSIM））。
PSNR是影像像素的最大可能功率與影響保真度的破壞性雜訊的功率之間的比。可根據下文的方程式（2）計算PSNR：
Figure 02_image013
（2）。
在方程式（2）中，在參考標準（ground truth）與經重建影像（SR輸出）之間計算均方差（MSE）。較大的PSNR對應於較佳的品質。PSNR的最大值無窮大。
SSIM是將影像退化視作結構資訊的所感知改變同時亦併有亮度掩蔽及對比度掩蔽的基於感知的模型。其相比於PSNR向人類視覺展示較佳的一致性。可根據以下方程式（3）計算SSIM：
Figure 02_image015
（3）。
其中x是經重建影像，y是參考影像（參考標準），是
Figure 02_image018
平均值，
Figure 02_image019
是變數，且
Figure 02_image021
是x與y之間的共變數。c1 =6.5025，c2 =58.5225。SSIM處於[0,1]之間。若x是y的完美複本，則SSIM將是1。
第二個別超解析度網路S2 可使用所屬領域中已知的任何適合的超解析度成像演算法或程序來基於中間高解析度影像204及LR輸入影像202而產生高解析度影像206。
第二級的輸出y2 可由下文的以下方程式（4）表示：
Figure 02_image023
（4）。
因為此被離線執行，所以可在輸出儲存於記憶體中之前耐受較多處理功率及潛時。
根據一些實例實施例，多個漸進式超解析度級（例如額外個別超解析度網路Sa ，其中「a」是大於2的自然數）可與第一個別超解析度網路S1 及第二個別超解析度網路S2 級聯，以獲得漸進地較佳的超解析度品質，其中每一級的輸出作為輸入經提供至下一級。舉例而言，第二級可在行動裝置上執行，而第三級可由在具有較高資料處理功率及輸送量的外部計算機器或雲端伺服器上操作的離線軟體執行。來自每一級的每一輸出是可被視為超解析度輸出影像的有意義輸出。若來自特定級的輸出令人滿意或是所期望的，可不調用則後續級。根據超解析度成像系統100的設計及功能及個別使用者的需要及需求，所期望的影像可基於數個因素，諸如感知品質、輸出產生速度、計算功率或儲存記憶體要求。
在圖3中說明根據一些實例實施例的用於訓練作為超解析度成像系統100的部分操作的漸進式融合SR成像系統200的程序。第一，在300處，超解析度成像系統100使用來自按目標比例縮小的輸入低解析度影像及輸出參考標準影像的修補對來訓練第一網路（例如第一個別超解析度網路S1 ）。第二，在302處，超解析度成像系統100產生新資料集，其具有來自第一網路及參考標準的中間高解析度輸出的修補對。第三，在304處，超解析度成像系統100接著修改後續級網路以在每一卷積層的輸出處執行適當的調整大小（如伸展或填充）以強加相同的輸入及輸出大小。第四，在306處，超解析度成像系統100接著使用新資料集來訓練後續級網路。接著，在308處，超解析度成像系統100判定是否已產生具有所期望解析度及感知品質（例如預定義臨限品質）的輸出影像。若未產生，則超解析度成像系統100重複304及306，直至所期望解析度及感知品質產生為止，此處影像經提供作為HR輸出影像。
對於具有共同網路架構的多個級，網路可由先前級的網路在訓練下一級網路時初始化，此可加速訓練後續級網路的收斂。
根據一些實例實施例，相比於非漸進式3層及5層網路結構，具有漸進式3層及5層網路結構的超解析度成像系統100可提供相對較佳的峰值信號對雜訊比（PSNR）及結構類似性量度（SSIM）。上文所描述的超解析度成像系統100可另外應用於情境式融合式網路。
根據一些實例實施例，超解析度成像系統100提供並行融合以藉由深度學習達成雙模式超解析度。若離線步驟包含漸進式超解析度系統中的多個級，則可能引入潛時。在一些情況下，可能需要此類潛時，此是因為不同級的網路可能不並置。
然而，若網路並置，則超解析度成像系統100可調用捕捉模式的並聯的多個級。在此類實施例中，超解析度成像系統100可融合與預覽級的輸出並行的捕捉步驟（例如在使用者選擇基於預覽影像而捕捉高解析度影像之後使用第二個別超解析度網路S2 來產生最終高解析度輸出影像的步驟）的多個級。假定充足的並行處理功率，具有並行處理的潛時限於捕捉級中的最慢融合式網路的潛時。
根據一些實施例，超解析度成像系統100可提供像素式融合以供在捕捉步驟處並行地融合。舉例而言，所有超解析度網路針對同一參考標準進行訓練，且在其輸出處具有相同影像大小。舉例而言，若
Figure 02_image025
是第
Figure 02_image027
網路的輸出，則藉由像素式融合，並行融合式網路的第
Figure 02_image029
個像素處的輸出是可根據下文的方程式（5）計算出的加權和：
Figure 02_image031
（5）。
關於方程式（5），w為可學習權重，並且b是偏差。由於w是像素式融合中的單個值而不是矩陣，因此它是小寫字母。
圖4是根據一些實例實施例的像素式融合的實例圖式，其中像素式加權和應用於多個個別超解析度網路的輸出影像，且所述網路中的每一者的總和經提供作為輸出影像。對於諸如超解析度的應用，獨立於像素的相鄰者查看所述像素可能並非極其有用的。因此，根據一個實施例，本系統及方法在產生經融合輸出之前併有關於如自每一網路預測的像素的情境資訊。此可使用卷積層來藉由融合達成。
相關卷積層應用三維（three-dimensional；3D）核，其中第3維度的大小是每一層中的輸入通道的數目。在像素式融合式網路中，給定像素的輸出是來自如藉由核的大小判定的所有經融合網路的跨越卷積輸出的加權和，意即，此像素的周圍環境的加權和，此產生情境資訊。此外，可插入額外卷積層以另外獲得在融合之後獲得的特徵的加權和。
圖5是根據一些實例實施例的利用情境式融合架構350的超解析度成像系統100的方塊圖。類似於如上文關於圖2所描述的漸進式超解析度成像，緩衝器352用以緩衝個別預覽網路S1 的中間高解析度輸出。然而，可利用另一緩衝器354以亦緩衝原始低解析度圖框，以在捕捉或離線模式下饋入至其他並聯的超解析度成像網路。
如圖5中所說明，作為預覽步驟網路操作的第一個別超解析度網路S1 可接收LR輸入影像202，如上文關於圖2所描述。另外，LR輸入影像202儲存於低解析度圖框緩衝器354中。第一個別超解析度網路S1 的輸出影像356接著在高解析度圖框緩衝器352中作為中間高解析度預覽影像加以儲存。在自使用者裝置接收到指示使用者希望產生預覽影像的最終高解析度影像的捕捉信號之後，一或多個捕捉步驟網路（例如個別超解析度網路S2 及S3 ）即刻自低解析度圖框緩衝器354擷取LR輸入影像202以產生各別中間高解析度影像358及360。可使用所屬領域中已知的任何適合的超解析度成像演算法或程序來產生中間高解析度影像356、358以及360。接著具有卷積核的對應融合層應用於中間高解析度影像356、358以及360，且每一融合層的輸出合併成待提供至輸出裝置106的高解析度影像206。合併是基於情境式融合，其首先藉由個別融合層(W1, b1)(W2, b2)(W3, b3)將高解析度影像356、358以及360進行卷積，且接著將所述高解析度影像在一起求和以獲得經改進HR影像206。類似於方程式（5），若
Figure 02_image025
是第
Figure 02_image027
網路的輸出，則藉由情境融合，第
Figure 02_image029
個像素處的輸出是可根據方程式（5）計算出的加權和。加權和藉由具有k×k×M個卷積核的情境卷積層隱含地實施，其中M是待融合的網路的數目（M = 3）。在此實例中，k×k是情境融合接收域，其中輸出通道
Figure 02_image033
的(y,x)像素由下文的方程式（6）給出：
Figure 02_image035
（6）。
因為接收域相比於像素式融合大得多，所以輸出HR的感知品質較佳。關於方程式（6），W是融合層中的卷積核。由於有M個網路需要融合，因此W（1,...,...）是第一個別網路之後的卷積核。W（2,...,...）是第二個別網路之後的卷積核，其餘由此類推。I是要融合的每個個別網路的輸出，所以它也是融合層的輸入。I（1,...,...）、I（2,...,...）對應於第一個別網路及第二個別網路，其餘由此類推。
在圖6中說明根據一些實例實施例的用於訓練雙模式超解析度的並聯情境式融合網路的程序。首先，在600處，超解析度成像系統100使用來自按目標比例縮小的輸入低解析度影像及輸出參考標準影像的修補對來訓練所有不同網路。第二，在602處，超解析度成像系統100建構新網路，新網路如所展示具有利用3維卷積核的一或多個情境融合層、隨附至3個網路的輸出、藉由高斯分佈初始化。
接著，在604處，根據一些實施例，超解析度成像系統100可用相同輸入輸出對重新訓練，同時凍結所有個別超解析度網路的權重且改變情境式融合層的權重。替代地，根據一些實施例，超解析度成像系統100用相同輸入輸出對重新訓練，同時允許對除了預覽網路的層以外的所有層的參數的微調。
可觀察到，訓練程序比漸進式超解析度成像更快。在超解析度成像系統100用相同輸入輸出對重新訓練的第二情形中，可凍結預覽網路的權重以利用在預覽模式期間進行的計算。來自預覽級的輸出直接饋入至情境式融合級中，且不必再次再運行預覽網路。
漸進式超解析度成像或並行情境式融合的應用取決於使用者的目標及超解析度成像系統100的設計及功能。若並置所有網路，則可藉由並行情境式融合達成最佳效能。否則，對於下一級的延遲應用，漸進式超解析度融合架構可達成優良的結果。
根據一些實例實施例，超解析度成像系統100提供包含預覽網路及至少一個改進網路的級聯融合、用於訓練所述網路的方法、以及用於操作漸進式超解析度成像的方法。根據另一實施例，超解析度成像系統100提供包含預覽網路、至少一個改進網路及情境式融合層的並行融合、用於訓練網路及其融合層的方法及用於在預覽模式及改進模式下操作的方法。
圖7A及圖7B描繪如可在本發明的實例實施例中使用的計算裝置1500的方塊圖。舉例而言，可針對超解析度成像系統100的各組件而利用計算裝置1500。
每一計算裝置1500包含中央處理單元1521及主記憶體單元1522。如圖7A中所展示，計算裝置1500亦可包含儲存裝置1528、可移除式媒體介面1516、網路介面1518、輸入/輸出（input/output；I/O）控制器1523、一或多個顯示裝置1530c、鍵盤1530a以及指向裝置1530b，諸如滑鼠。儲存裝置1528可包含但不限於用於作業系統及軟體的儲存器。如圖7B中所展示，每一計算裝置1500亦可包含額外的視情況選用元件，諸如記憶體埠1503、橋接器1570、一或多個額外輸入/輸出裝置1530d、1530e，以及與中央處理單元1521通信的快取記憶體1540。輸入/輸出裝置1530a、1530b、1530d以及1530e可在本文中使用參考數字1530來進行統稱。
中央處理單元1521是對自主記憶體單元1522提取的指令作出回應且處理所述指令的任何邏輯電路。其可實施於例如呈微處理器、微控制器或圖形處理單元（graphics processing unit；GPU）形式的積體電路中或實施於場可程式化閘陣列（field-programmable gate array；FPGA）或特殊應用積體電路（application-specific integrated circuit；ASIC）中。主記憶體單元1522可以是能夠儲存資料且允許任何儲存位置由中央處理單元1521直接存取的一或多個記憶體晶片。如圖7A中所展示，中央處理單元1521經由系統匯流排1550與主記憶體單元1522通信。如圖7B中所展示，中央處理單元1521亦可經由記憶體埠1503與主記憶體單元1522直接通信。
圖7B描繪中央處理單元1521經由有時被稱作背側匯流排的二級匯流排與快取記憶體1540直接通信的實施例。在其他實施例中，中央處理單元1521使用系統匯流排1550與快取記憶體1540通信。快取記憶體1540通常比主記憶體單元1522具有更快的回應時間。如圖7A中所展示，中央處理單元1521經由局域系統匯流排1550與各I/O裝置1530通信。各種匯流排可用作局域系統匯流排1550，包含視訊電子標準協會（Video Electronics Standards Association；VESA）局域匯流排（VESA Local bus；VLB）、工業標準架構（Industry Standard Architecture；ISA）匯流排、擴展工業標準架構（Extended Industry Standard Architecture；EISA）匯流排、微通道架構（MicroChannel Architecture；MCA）匯流排、周邊組件互連（Peripheral Component Interconnect；PCI）匯流排、PCI擴展（PCI Extended；PCI-X）匯流排、PCI高速匯流排或NuBus。對於I/O裝置是顯示裝置1530c的實施例，中央處理單元1521可經由高級圖形埠（Advanced Graphics Port；AGP）與顯示裝置1530c通信。圖7B描繪中央處理單元1521與I/O裝置1530e直接通信的電腦1500的實施例。圖7B亦描繪局域匯流排與直接通信混合的實施例：中央處理單元1521在與I/O裝置1530e直接通信時使用局域系統匯流排1550來與I/O裝置1530d通信。
廣泛多種I/O裝置1530可存在於計算裝置1500中。輸入裝置包含一或多個鍵盤1530a、滑鼠、軌跡墊、軌跡球、麥克風以及繪圖板。輸出裝置包含視訊顯示裝置1530c、揚聲器以及印表機。如圖7A中所展示，I/O控制器1523可控制I/O裝置。I/O控制器可控制一或多個I/O裝置，諸如鍵盤1530a及指向裝置1530b，例如滑鼠或光學筆。
再次參考圖7A，計算裝置1500可支援一或多個可移除式媒體介面1516，諸如軟碟驅動器、CD-ROM驅動器、DVD-ROM驅動器、各種格式的磁帶驅動器、USB埠、安全數位或COMPACT FLASHTM 記憶卡埠、或適合於自只讀媒體讀取資料或適合於自讀取寫入媒體讀取資料或將資料寫入至讀取寫入媒體的任何其他裝置。I/O裝置1530可以是系統匯流排1550與可移除式媒體介面1516之間的橋接器。
可移除式媒體介面1516可例如用於安裝軟體及程式。計算裝置1500可另外包括用於儲存作業系統及其他相關軟體且用於儲存應用軟體程式的儲存裝置1528，諸如一或多個硬碟驅動器或硬碟驅動器陣列。視情況，可移除式媒體介面1516亦可用作儲存裝置。舉例而言，作業系統及軟體可自例如可啟動CD的可啟動媒體運行。
在一些實施例中，計算裝置1500可包括或連接至多個顯示裝置1530c，顯示裝置1530c各自可屬於相同或不同類型及/或形式。因而，I/O裝置1530及/或I/O控制器1523中的任一者可包括任何類型及/或形式的適合硬體、軟體或硬體與軟體的組合，以支援、啟用或實現至計算裝置1500的多個顯示裝置1530c的連接及對顯示裝置1530c的使用。舉例而言，計算裝置1500可包含任何類型及/或形式的視訊配接器、視訊卡、驅動器及/或程式庫，以與顯示裝置1530c介接、通信、連接或以其他方式使用顯示裝置1530c。在一個實施例中，視訊配接器可包括多個連接器以與多個顯示裝置1530c介接。在其他實施例中，計算裝置1500可包含多個視訊配接器，其中每一視訊配接器連接至顯示裝置1530c中的一或多者。在一些實施例中，計算裝置1500的作業系統的任何部分可經組態用於使用多個顯示裝置1530c。在其他實施例中，顯示裝置1530c中的一或多者可由一或多個其他計算裝置提供、經由網路連接至例如計算裝置1500。此等實施例可包含經設計及建構以將另一計算裝置的顯示裝置用作計算裝置1500的第二顯示裝置1530c的任何類型的軟體。所屬領域中具通常知識者將認識且瞭解計算裝置1500可經組態以具有多個顯示裝置1530c的各種方式及實施例。
圖7A及圖7B中所描繪的種類的計算裝置1500可在作業系統的控制下操作，作業系統控制任務的排程及對系統資源的存取。計算裝置1500可運行任何作業系統、任何嵌入式作業系統、任何即時作業系統、任何開原作業系統、任何專屬作業系統、用於行動計算裝置的任何作業系統、或能夠在計算裝置上運行且執行本文中所描述的操作的任何其他作業系統。
計算裝置1500可以是任何工作站、桌上型電腦、筆記本電腦或筆記型電腦、伺服器機器、手持型電腦、行動電話或其他便攜式電信裝置、媒體播放裝置、遊戲系統、行動計算裝置、或能夠進行通信且具有充足的處理器功率及記憶體容量以執行本文中所描述的操作的任何其他類型及/或形式的計算、電信或媒體裝置。在一些實施例中，計算裝置1500可具有不同處理器、作業系統及與裝置一致的輸入裝置。
在其他實施例中，計算裝置1500是行動裝置，諸如具Java功能的蜂巢式電話或個人數位助理（personal digital assistant；PDA）、智慧型電話、數位音訊播放器或便攜式媒體播放器。在一些實施例中，計算裝置1500包括裝置的組合，諸如行動電話與數位音訊播放器或便攜式媒體播放器的組合。
如圖7C中所展示，中央處理單元1521可包含多個處理器P1、P2、P3、P4，且可提供用於對多於一段資料同時執行多個指令或用於對多於一段資料同時執行一個指令的功能性。在一些實施例中，計算裝置1500可包括具有一或多個核心的並聯處理器。在此等實施例中的一者中，計算裝置1500是共用的記憶體並聯裝置，其具有將所有可用記憶體作為單個全域位址空間進行存取的多個處理器及/或多個處理器核心。在此等實施例中的另一者中，計算裝置1500是具有多個處理器的分佈式記憶體並聯裝置，每個處理器僅存取局域記憶體。在此等實施例中的又另一者中，計算裝置1500具有經共用的某一記憶體及可僅由特定處理器或處理器的子集存取的某一記憶體兩者。在此等實施例中的再另一者中，中央處理單元1521包括多核心微處理器，多核心微處理器將兩個或多於兩個獨立處理器組合成單個封裝，例如組合成單個積體電路（integrated circuit；IC）。在圖7D中所描繪的一個實例實施例中，計算裝置1500包含至少一個中央處理單元1521及至少一個圖形處理單元1521'。
在一些實施例中，中央處理單元1521提供單指令多資料（single instruction, multiple data；SIMD）功能性，例如對多段資料同時執行單個指令。在其他實施例中，中央處理單元1521中的若干處理器可提供用於對多段資料同時執行多個指令（MIMD）的功能性。在又其他實施例中，中央處理單元1521可在單個裝置中使用SIMD與MIMD核心的任何組合。
計算裝置可以是由網路連接的多個機器中的一者，或其可包括如此連接的多個機器。圖7E展示實例網路環境。網路環境包括經由一或多個網路1504與一或多個遠端機器1506a、1506b、1506c（亦通常被稱作伺服器機器1506或遠端機器1506）通信的一或多個本端機器1502a、1502b（亦通常被稱作本端機器1502、用戶端1502、用戶端節點1502、用戶端機器1502、用戶端電腦1502、用戶端裝置1502、端點1502、或端點節點1502）。在一些實施例中，本端機器1502有能力充當尋求對由伺服器機器提供的資源的存取的用戶端節點及為其他用戶端1502a、1502b提供對代管資源的存取的伺服器機器對兩者。儘管在圖7E中僅說明兩個用戶端1502及三個伺服器機器1506，但通常可存在任意數目個用戶端及伺服器機器。網路1504可以是區域網路（local-area network；LAN），例如專用網路（諸如公司企業內部網路）、都會區域網路（metropolitan area network；MAN）或廣域網路（wide area network；WAN），諸如網際網路、另一公用網路或其組合。
計算裝置1500可包含網路介面1518以經由多種連接介接至網路1504，多種連接包含但不限於標準電話線、區域網路（LAN）或廣域網路（WAN）鏈路、寬帶連接、無線連接、或以上各者中的任一者或所有的組合。可使用多種通信協定來建立連接。在一個實施例中，計算裝置1500經由任何類型及/或形式的閘道器或諸如安全封包層協定（Secure Socket Layer；SSL）或傳輸層安全協定（Transport Layer Security；TLS）的隧道協定與其他計算裝置1500通信。網路介面1518可包括適合於將計算裝置1500介接至能夠通信且執行本文中所描述的操作的任何類型的網路的內置式網路配接器，諸如網路介面卡。I/O裝置1530可以是系統匯流排1550與外部通信匯流排之間的橋接器。
根據一個實施例，圖7E的網路環境可以是虛擬化網路的各組件的虛擬網路環境。舉例而言，各種機器1502可以是實施為在實體機器上運行的基於軟體的電腦的虛擬機。虛擬機可共用同一作業系統。在其他實施例中，不同的作業系統可在每一虛擬機例項上運行。根據一個實施例，實施“超管理器”類型的虛擬化，其中多個虛擬機在同一主機實體機器上運行，所述多個虛擬機各自如同其具有其自身的專用機盒一樣工作。當然，虛擬機亦可在不同主機實體機器上運行。
雖然已在某些特定實施例中描述本發明，但所屬領域中具通常知識者將輕易地設計所描述實施例的變型，所述變型決不脫離本發明的範疇。此外，對於各種領域中具通常知識者，本發明自身在本文中將建議其他任務的解決方案及其他應用的調適。申請人的目的是藉由申請專利範圍涵蓋本發明的所有此類用途及可在本文中在不背離本發明的範疇情況下對出於揭露的目的而選擇的本發明的實施例作出的彼等改變及修改。因此，本發明的本實施例應在所有方面被視為說明性而非限定性的，本發明的範疇應由所附申請專利範圍以及其等效物而非前述描述指示。
100‧‧‧超解析度成像系統102‧‧‧影像處理系統104‧‧‧影像源裝置106‧‧‧影像輸出裝置/影像目的地裝置200‧‧‧漸進式融合超解析度（SR）成像系統202‧‧‧低解析度（LR）輸入影像204‧‧‧中間高解析度影像206‧‧‧高解析度影像208‧‧‧時間圖框緩衝器300‧‧‧步驟302‧‧‧步驟304‧‧‧步驟306‧‧‧步驟350‧‧‧情境式融合架構352‧‧‧高解析度圖框緩衝器354‧‧‧低解析度圖框緩衝器356、358、360‧‧‧中間高解析度影像600‧‧‧步驟602‧‧‧步驟604‧‧‧步驟1500‧‧‧計算裝置1502a、1502b‧‧‧本端機器/用戶端1503‧‧‧記憶體埠1504‧‧‧網路1506a、1506b、1506c‧‧‧遠端機器1516‧‧‧可移除式媒體介面1518‧‧‧網路介面1521‧‧‧中央處理單元1521'‧‧‧圖形處理單元1522‧‧‧主記憶體單元1523‧‧‧輸入/輸出（I/O）控制器1528‧‧‧儲存裝置1530a‧‧‧鍵盤/輸入/輸出（I/O）裝置1530b‧‧‧指向裝置/輸入/輸出（I/O）裝置1530c‧‧‧顯示裝置1530d、1530e‧‧‧輸入/輸出（I/O）裝置1540‧‧‧快取記憶體1550‧‧‧系統匯流排1570‧‧‧橋接器P1‧‧‧處理器P2‧‧‧處理器P3‧‧‧處理器P4‧‧‧處理器S1‧‧‧第一個別超解析度網路S2‧‧‧第二個別超解析度網路S3‧‧‧個別超解析度網路
對本發明及其許多附帶特徵及態樣的更完全瞭解將變得更容易地顯而易見，此是因為本發明在結合附圖考慮時參考以下詳細描述變得更好理解，在附圖中：
圖1是說明根據本發明的一些實例實施例的深度學習影像超解析度系統的態樣的方塊圖。 圖2是說明根據本發明的一些實例實施例的漸進式融合系統的態樣的方塊圖。 圖3是說明根據一些實例實施例的用於訓練漸進式融合超解析度成像系統的程序的流程圖。 圖4是根據一些實例實施例的用於像素式融合的實例圖式。 圖5是根據一些實例實施例的利用情境式融合架構的超解析度成像系統的方塊圖。 圖6是說明根據一些實例實施例的用於訓練雙模式超解析度的平行情境式融合網路的程序的流程圖。 圖7A是根據本發明的實施例的計算裝置的方塊圖。 圖7B是根據本發明的實施例的計算裝置的方塊圖。 圖7C是根據本發明的實施例的計算裝置的方塊圖。 圖7D是根據本發明的實施例的計算裝置的方塊圖。 圖7E是根據本發明的實施例的包含若干計算裝置的網路環境的方塊圖。
100‧‧‧超解析度成像系統
102‧‧‧影像處理系統
104‧‧‧影像源裝置
106‧‧‧影像輸出裝置/影像目的地裝置

Claims (20)

  1. 一種用於超解析度成像的方法，所述方法包括：藉由處理器接收低解析度影像；藉由所述處理器產生相比於所述低解析度影像具有提高的解析度的第一中間高解析度影像，其中所述第一中間高解析度影像藉由第一卷積神經網路利用所述低解析度影像來產生；藉由所述處理器產生相比於所述低解析度影像具有提高的解析度的第二中間高解析度影像，其中所述第二中間高解析度影像藉由第二卷積神經網路利用所述低解析度影像來產生；藉由所述處理器合併所述第一中間高解析度影像及所述第二中間高解析度影像；以及基於所述合併而藉由所述處理器產生最終高解析度影像，其中產生所述最終高解析度影像包括執行跨越基於所述第一卷積神經網路及所述第二卷積神經網路的卷積輸出的加權和。
  2. 如申請專利範圍第1項所述的用於超解析度成像的方法，其中所述第一中間高解析度影像的產生與所述第二中間高解析度影像同時。
  3. 如申請專利範圍第1項所述的用於超解析度成像的方法，其中所述第一中間高解析度影像及所述第二中間高解析度影像不同於中間高解析度預覽影像。
  4. 如申請專利範圍第1項所述的用於超解析度成像的方法，更包括：藉由所述處理器自發起所述最終高解析度影像的產生的使用者裝置接收捕捉信號。
  5. 如申請專利範圍第1項所述的用於超解析度成像的方法，其中基於所述合併而藉由所述處理器產生所述最終高解析度影像包括：藉由所述處理器將具有第一卷積核的第一融合層應用於所述第一中間高解析度影像；藉由所述處理器將具有第二卷積核的第二融合層應用於所述第二中間高解析度影像；以及藉由所述處理器總和所述第一融合層與所述第二融合層的每一者的輸出以產生所述最終高解析度影像。
  6. 如申請專利範圍第5項所述的用於超解析度成像的方法，其中所述第一融合層與所述第二融合層的每一者的對應於包括k×k×M個卷積核的情境卷積層，其中M對應於待融合的網路的數目，且k×k對應於情境融合接收域。
  7. 如申請專利範圍第6項所述的用於超解析度成像的方法，其中所述加權和是藉由所述情境卷積層隱含地實施。
  8. 如申請專利範圍第1項所述的用於超解析度成像的方法，其中所述合併基於情境式融合。
  9. 如申請專利範圍第1項所述的用於超解析度成像的方法，更包括：藉由所述處理器使用來自按目標比例縮小的輸入低解析度影像及輸出參考標準影像的修補對來訓練所述第一卷積神經網路及所述第二卷積神經網路的每一者。
  10. 如申請專利範圍第9項所述的用於超解析度成像的方法，其中所述訓練包括： 藉由所述處理器建構包括3維卷積核的一或多個情境融合層；藉由所述處理器指派所述一或多個情境融合層至所述第一卷積神經網路及所述第二卷積神經網路的輸出；藉由所述處理器凍結所述第一卷積神經網路及所述第二卷積神經網路的每一者的權重；藉由所述處理器修改所述一或多個情境融合層的每一者的權重；以及藉由所述處理器利用同樣的所述修補對對所述第一卷積神經網路及所述第二卷積神經網路重新訓練。
  11. 一種用於超解析度成像的系統，所述系統包括：一或多個處理器；以及記憶體，其耦接至所述一或多個處理器，且其中儲存有使得所述一或多個處理器執行以下操作的指令：接收低解析度影像；產生相比於所述低解析度影像具有提高的解析度的第一中間高解析度影像，其中所述第一中間高解析度影像藉由第一卷積神經網路利用所述低解析度影像來產生；產生相比於所述低解析度影像具有提高的解析度的第二中間高解析度影像，其中所述第二中間高解析度影像藉由第二卷積神經網路利用所述低解析度影像來產生；合併所述第一中間高解析度影像及所述第二中間高解析度影像；以及基於所述合併產生最終高解析度影像；以及 其中產生所述最終高解析度影像包括執行跨越基於所述第一卷積神經網路及所述第二卷積神經網路的卷積輸出的加權和。
  12. 如申請專利範圍第11項所述的用於超解析度成像的系統，其中所述第一中間高解析度影像的產生與所述第二中間高解析度影像同時。
  13. 如申請專利範圍第11項所述的用於超解析度成像的系統，其中所述第一中間高解析度影像及所述第二中間高解析度影像不同於中間高解析度預覽影像。
  14. 如申請專利範圍第11項所述的用於超解析度成像的系統，其中所述指令更使得所述一或多個處理器：自發起所述最終高解析度影像的產生的使用者裝置接收捕捉信號。
  15. 如申請專利範圍第11項所述的用於超解析度成像的系統，其中對於基於所述合併產生所述最終高解析度影像，所述指令更使得所述一或多個處理器：將具有第一卷積核的第一融合層應用於所述第一中間高解析度影像；將具有第二卷積核的第二融合層應用於所述第二中間高解析度影像；以及總和所述第一融合層與所述第二融合層的每一者的輸出以產生所述最終高解析度影像。
  16. 如申請專利範圍第15項所述的用於超解析度成像的系統，其中所述第一融合層與所述第二融合層的每一者的對應於包括k×k×M個卷積核的情境卷積層，其中M對應於待融合的網路 的數目，且k×k對應於情境融合接收域。
  17. 如申請專利範圍第16項所述的用於超解析度成像的系統，其中所述加權和是藉由所述情境卷積層隱含地實施。
  18. 如申請專利範圍第12項所述的用於超解析度成像的系統，其中其中所述合併基於情境式融合。
  19. 如申請專利範圍第11項所述的用於超解析度成像的系統，其中所述指令更使得所述一或多個處理器：使用來自按目標比例縮小的輸入低解析度影像及輸出參考標準影像的修補對來訓練所述第一卷積神經網路及所述第二卷積神經網路的每一者。
  20. 如申請專利範圍第19項所述的用於超解析度成像的系統，其中所述指令更使得所述一或多個處理器：建構包括3維卷積核的一或多個情境融合層；指派所述一或多個情境融合層至所述第一卷積神經網路及所述第二卷積神經網路的輸出；凍結所述第一卷積神經網路及所述第二卷積神經網路的每一者的權重；修改所述一或多個情境融合層的每一者的權重；以及利用同樣的所述修補對對所述第一卷積神經網路及所述第二卷積神經網路重新訓練。
TW107107507A 2017-04-10 2018-03-07 用於深度學習影像超解析度的系統及方法 TWI756378B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762483924P 2017-04-10 2017-04-10
US62/483,924 2017-04-10
US15/671,036 2017-08-07
US15/671,036 US10489887B2 (en) 2017-04-10 2017-08-07 System and method for deep learning image super resolution

Publications (2)

Publication Number Publication Date
TW201837854A TW201837854A (zh) 2018-10-16
TWI756378B true TWI756378B (zh) 2022-03-01

Family

ID=63711727

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107107507A TWI756378B (zh) 2017-04-10 2018-03-07 用於深度學習影像超解析度的系統及方法

Country Status (4)

Country Link
US (3) US10489887B2 (zh)
KR (1) KR102479965B1 (zh)
CN (1) CN108694700B (zh)
TW (1) TWI756378B (zh)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
US11308361B1 (en) * 2017-07-07 2022-04-19 Twitter, Inc. Checkerboard artifact free sub-pixel convolution
WO2019025298A1 (en) * 2017-07-31 2019-02-07 Institut Pasteur METHOD, DEVICE AND COMPUTER PROGRAM FOR IMPROVING THE RECONSTRUCTION OF VERY HIGH RESOLUTION DENSED IMAGES FROM LIMITED-LIFE DIFFRACTION IMAGES ACQUIRED BY MONOMOLECULAR LOCATION MICROSCOPY
US10679129B2 (en) * 2017-09-28 2020-06-09 D5Ai Llc Stochastic categorical autoencoder network
JP7073715B2 (ja) * 2017-12-28 2022-05-24 富士フイルムビジネスイノベーション株式会社 画像処理装置及び画像処理プログラム
EP3514733A1 (en) * 2018-01-18 2019-07-24 Aptiv Technologies Limited A device and a method for image classification using a convolutional neural network
JP6978675B2 (ja) * 2018-01-25 2021-12-08 富士通株式会社 データ圧縮装置、データ圧縮方法およびデータ圧縮プログラム
CN108282664B (zh) * 2018-01-30 2020-12-29 深圳创维－Rgb电子有限公司 图像处理方法、装置、系统及计算机可读存储介质
DE102018214198A1 (de) * 2018-08-22 2020-02-27 Robert Bosch Gmbh System zum Bewerten eines Bildes, Betriebsassistenzverfahren und Steuereinheit für eine Arbeitsvorrichtung sowie Arbeitsvorrichtung
KR20200063289A (ko) 2018-11-16 2020-06-05 삼성전자주식회사 영상 처리 장치 및 그 동작방법
CN110009093B (zh) * 2018-12-07 2020-08-07 阿里巴巴集团控股有限公司 用于分析关系网络图的神经网络系统和方法
CN109658352B (zh) * 2018-12-14 2021-09-14 深圳市商汤科技有限公司 图像信息的优化方法及装置、电子设备和存储介质
TWI694414B (zh) * 2018-12-18 2020-05-21 國立成功大學 卷積神經網路分析方法、電腦程式產品與電子裝置
CN109934773B (zh) * 2019-03-13 2023-08-25 北京旷视科技有限公司 一种图像处理方法、装置、电子设备和计算机可读介质
KR102167344B1 (ko) 2019-03-19 2020-10-19 중앙대학교 산학협력단 초고해상도 복원을 위한 깊이 조절 가능한 신경망 설계 방법 및 그 시스템
KR20200127766A (ko) * 2019-05-03 2020-11-11 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
CN110246083B (zh) * 2019-05-10 2023-02-24 杭州电子科技大学 一种荧光显微图像超分辨率成像方法
KR102410907B1 (ko) * 2019-05-22 2022-06-21 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
CN111986069A (zh) 2019-05-22 2020-11-24 三星电子株式会社 图像处理装置及其图像处理方法
CN112153465B (zh) * 2019-06-28 2024-01-16 北京京东尚科信息技术有限公司 图像加载方法及装置
CN112188237A (zh) * 2019-07-04 2021-01-05 国家广播电视总局广播电视科学研究院 节目分发方法和装置、接收方法、终端设备及介质
US20220358571A1 (en) * 2019-07-05 2022-11-10 Infilect Technologies Private Limited System and method for extracting product information from low resolution photos for updating product master
KR20210019835A (ko) 2019-08-13 2021-02-23 한국전자통신연구원 방향 적응형 병렬 신경망을 이용한 초해상도 영상 생성 장치 및 방법
KR102147912B1 (ko) * 2019-08-13 2020-08-25 삼성전자주식회사 프로세서 칩 및 그 제어 방법들
KR20210020387A (ko) * 2019-08-14 2021-02-24 삼성전자주식회사 전자 장치 및 그 제어 방법
EP4028984A4 (en) * 2019-09-11 2023-01-11 The State of Israel, Ministry of Agriculture & Rural Development, Agricultural Research Organization (ARO) (Volcani Center) SUPER-RESOLUTION METHODS AND SYSTEMS FOR INFRARED IMAGING
CN110689061B (zh) * 2019-09-19 2023-04-28 小米汽车科技有限公司 一种基于对齐特征金字塔网络的图像处理方法、装置及系统
US11588987B2 (en) * 2019-10-02 2023-02-21 Sensors Unlimited, Inc. Neuromorphic vision with frame-rate imaging for target detection and tracking
KR102624027B1 (ko) 2019-10-17 2024-01-11 삼성전자주식회사 영상 처리 장치 및 방법
CN112905132B (zh) * 2019-11-19 2023-07-18 华为技术有限公司 投屏方法及设备
CN111083359B (zh) * 2019-12-06 2021-06-25 Oppo广东移动通信有限公司 图像处理方法及其装置、电子设备和计算机可读存储介质
KR20210079956A (ko) * 2019-12-20 2021-06-30 삼성전자주식회사 네트워크를 통해 영상 처리 서비스를 제공하는 전자 장치
US11403734B2 (en) 2020-01-07 2022-08-02 Ademco Inc. Systems and methods for converting low resolution images into high resolution images
CN113160044B (zh) * 2020-01-23 2023-12-26 百度在线网络技术（北京）有限公司 深度图像超分辨率方法、训练方法及装置、设备、介质
TWI733341B (zh) 2020-02-20 2021-07-11 瑞昱半導體股份有限公司 用於圖像放大與增強的方法與裝置
CN111447359B (zh) * 2020-03-19 2021-07-02 展讯通信（上海）有限公司 数字变焦方法、系统、电子设备、介质及数字成像设备
KR20220162603A (ko) 2020-04-01 2022-12-08 보에 테크놀로지 그룹 컴퍼니 리미티드 컴퓨터 구현 방법, 장치 및 컴퓨터 프로그램 제품
US11790489B2 (en) * 2020-04-07 2023-10-17 Samsung Electronics Co., Ltd. Systems and method of training networks for real-world super resolution with unknown degradations
US11335112B2 (en) 2020-04-27 2022-05-17 Adernco Inc. Systems and methods for identifying a unified entity from a plurality of discrete parts
US11978328B2 (en) 2020-04-28 2024-05-07 Ademco Inc. Systems and methods for identifying user-customized relevant individuals in an ambient image at a doorbell device
CN111654621B (zh) * 2020-05-26 2021-04-16 浙江大学 一种基于卷积神经网络模型的双焦相机连续数字变焦方法
TWI768364B (zh) * 2020-06-01 2022-06-21 宏碁股份有限公司 處理可播放於一虛擬裝置的圖片的方法及電子裝置
KR102478813B1 (ko) * 2020-08-14 2022-12-19 주식회사 지디에프랩 검사용 이미지의 화질 개선 시스템
US11848015B2 (en) 2020-10-01 2023-12-19 Realwear, Inc. Voice command scrubbing
US20220130013A1 (en) * 2020-10-26 2022-04-28 Nvidia Corporation Training one or more neural networks using synthetic data
CN112435162B (zh) * 2020-11-13 2024-03-05 中国科学院沈阳自动化研究所 一种基于复数域神经网络的太赫兹图像超分辨重建方法
KR102339619B1 (ko) * 2020-11-19 2021-12-17 광주과학기술원 이미지 품질향상장치, 이미지 품질향상방법
KR20220071011A (ko) * 2020-11-23 2022-05-31 삼성전자주식회사 전자 장치 및 그 제어 방법
CN112565887B (zh) * 2020-11-27 2023-06-20 紫光展锐(重庆)科技有限公司 一种视频处理方法、装置、终端及存储介质
US11823350B2 (en) * 2021-01-25 2023-11-21 Lemon Inc. Image/video processing
CN112995504B (zh) * 2021-02-08 2023-04-07 北京小米移动软件有限公司 图像的显示方法及装置、存储介质
CN112999655A (zh) * 2021-03-05 2021-06-22 南京雷鲨信息科技有限公司 智能终端、应用于该智能终端的游戏实时ai超分方法、系统及计算机可读存储介质
WO2023063939A1 (en) * 2021-10-13 2023-04-20 Hewlett-Packard Development Company, L.P. Neural network image enhancement
KR102651559B1 (ko) * 2021-12-08 2024-03-26 주식회사 딥엑스 영상 융합을 위한 신경 프로세싱 유닛 및 인공신경망 시스템
US20230252603A1 (en) * 2022-02-08 2023-08-10 Kyocera Document Solutions, Inc. Mitigation of quantization-induced image artifacts
CN114549328B (zh) * 2022-04-24 2022-07-22 西南财经大学 Jpg图像超分辨率恢复方法、计算机可读存储介质及终端
TWI799265B (zh) * 2022-05-12 2023-04-11 瑞昱半導體股份有限公司 超解析度裝置及方法
KR102628166B1 (ko) 2022-09-05 2024-01-24 주식회사 에어스메디컬 인공 신경망 기반 해상도 향상 방법, 프로그램 및 장치
CN116483587B (zh) * 2023-06-21 2023-09-08 湖南马栏山视频先进技术研究院有限公司 一种基于图像分割的视频超分并行方法、服务器及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130038758A1 (en) * 2010-04-15 2013-02-14 Olympus Corporation Image processing device, imaging device, information storage medium, and image processing method

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659666A (en) 1994-10-13 1997-08-19 Thaler; Stephen L. Device for the autonomous generation of useful information
US6324532B1 (en) * 1997-02-07 2001-11-27 Sarnoff Corporation Method and apparatus for training a neural network to detect objects in an image
US5933137A (en) * 1997-06-10 1999-08-03 Flashpoint Technology, Inc. Method and system for acclerating a user interface of an image capture unit during play mode
US7545965B2 (en) * 2003-11-10 2009-06-09 The University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
US7809155B2 (en) * 2004-06-30 2010-10-05 Intel Corporation Computing a higher resolution image from multiple lower resolution images using model-base, robust Bayesian estimation
GB2453263A (en) * 2006-05-16 2009-04-01 Douglas S Greer System and method for modeling the neocortex and uses therefor
US7817857B2 (en) 2006-05-31 2010-10-19 Microsoft Corporation Combiner for improving handwriting recognition
US7916971B2 (en) * 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
JP5397250B2 (ja) * 2010-02-10 2014-01-22 三菱電機株式会社 画像処理装置および画像処理方法
US8705828B2 (en) * 2011-08-31 2014-04-22 Carestream Health, Inc. Methods and apparatus for super resolution scanning for CBCT system and cone-beam image reconstruction
US9602241B2 (en) * 2013-12-17 2017-03-21 Samsung Electronics Co., Ltd. Computing system with polar processing mechanism and method of operation thereof
JP6384065B2 (ja) 2014-03-04 2018-09-05 日本電気株式会社 情報処理装置、学習方法、及び、プログラム
US9251431B2 (en) * 2014-05-30 2016-02-02 Apple Inc. Object-of-interest detection and recognition with split, full-resolution image processing pipeline
WO2015192316A1 (en) * 2014-06-17 2015-12-23 Beijing Kuangshi Technology Co., Ltd. Face hallucination using convolutional neural networks
WO2016019484A1 (en) * 2014-08-08 2016-02-11 Xiaoou Tang An apparatus and a method for providing super-resolution of a low-resolution image
JP6513941B2 (ja) * 2014-12-04 2019-05-15 株式会社東芝 画像処理方法、画像処理装置及びプログラム
KR101988222B1 (ko) 2015-02-12 2019-06-13 한국전자통신연구원 대어휘 연속 음성 인식 장치 및 방법
EP3259914A1 (en) * 2015-02-19 2017-12-27 Magic Pony Technology Limited Interpolating visual data
US9524450B2 (en) * 2015-03-04 2016-12-20 Accenture Global Services Limited Digital image processing using convolutional neural networks
GB201604672D0 (en) * 2016-03-18 2016-05-04 Magic Pony Technology Ltd Generative methods of super resolution
CN105120130B (zh) * 2015-09-17 2018-06-29 京东方科技集团股份有限公司 一种图像升频系统、其训练方法及图像升频方法
CN108475415B (zh) * 2015-12-21 2022-05-27 商汤集团有限公司 用于图像处理的方法和系统
US9836820B2 (en) * 2016-03-03 2017-12-05 Mitsubishi Electric Research Laboratories, Inc. Image upsampling using global and local constraints
CN105847968B (zh) * 2016-03-21 2018-12-21 京东方科技集团股份有限公司 基于深度学习的解像方法和系统
CN106204449B (zh) * 2016-07-06 2019-09-10 安徽工业大学 一种基于对称深度网络的单幅图像超分辨率重建方法
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法
US10929977B2 (en) * 2016-08-25 2021-02-23 Intel Corporation Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation
US11024009B2 (en) * 2016-09-15 2021-06-01 Twitter, Inc. Super resolution using a generative adversarial network
TWI624804B (zh) * 2016-11-07 2018-05-21 盾心科技股份有限公司 利用超解析重建法生成高解析度影像的方法與系統
US10701394B1 (en) * 2016-11-10 2020-06-30 Twitter, Inc. Real-time video super-resolution with spatio-temporal networks and motion compensation
JP6309070B2 (ja) * 2016-11-14 2018-04-11 シャープ株式会社 画像処理装置
CN106709875B (zh) * 2016-12-30 2020-02-18 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
US10803378B2 (en) * 2017-03-15 2020-10-13 Samsung Electronics Co., Ltd System and method for designing efficient super resolution deep convolutional neural networks by cascade network training, cascade network trimming, and dilated convolutions
WO2018216207A1 (ja) * 2017-05-26 2018-11-29 楽天株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US20180342045A1 (en) * 2017-05-26 2018-11-29 Microsoft Technology Licensing, Llc Image resolution enhancement using machine learning
US10438322B2 (en) * 2017-05-26 2019-10-08 Microsoft Technology Licensing, Llc Image resolution enhancement
WO2019025298A1 (en) * 2017-07-31 2019-02-07 Institut Pasteur METHOD, DEVICE AND COMPUTER PROGRAM FOR IMPROVING THE RECONSTRUCTION OF VERY HIGH RESOLUTION DENSED IMAGES FROM LIMITED-LIFE DIFFRACTION IMAGES ACQUIRED BY MONOMOLECULAR LOCATION MICROSCOPY
US10909657B1 (en) * 2017-09-11 2021-02-02 Apple Inc. Flexible resolution support for image and video style transfer
CN110838124B (zh) * 2017-09-12 2021-06-18 深圳科亚医疗科技有限公司 用于分割具有稀疏分布的对象的图像的方法、系统和介质
US11263782B2 (en) * 2017-10-11 2022-03-01 Qualcomm Incorporated Image signal processor for processing images
US10643306B2 (en) * 2017-10-11 2020-05-05 Qualcomm Incoporated Image signal processor for processing images
US10733714B2 (en) * 2017-11-09 2020-08-04 Samsung Electronics Co., Ltd Method and apparatus for video super resolution using convolutional neural network with two-stage motion compensation
US10922793B2 (en) * 2018-05-16 2021-02-16 Nvidia Corporation Guided hallucination for missing image content using a neural network
US10380753B1 (en) * 2018-05-30 2019-08-13 Aimotive Kft. Method and apparatus for generating a displacement map of an input dataset pair
US10547823B2 (en) * 2018-09-25 2020-01-28 Intel Corporation View interpolation of multi-camera array images with flow estimation and image super resolution using deep learning
US11010872B2 (en) * 2019-04-29 2021-05-18 Intel Corporation Method and apparatus for person super resolution from low resolution image
CA3144236A1 (en) * 2019-06-18 2020-12-24 Huawei Technologies Co., Ltd. Real-time video ultra resolution

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130038758A1 (en) * 2010-04-15 2013-02-14 Olympus Corporation Image processing device, imaging device, information storage medium, and image processing method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
期刊韕Liu, Ding, et al.韕 韕"Learning a mixture of deep networks for single image super-resolution." Asian Conference on Computer Vision. 韕DOI: 10.1007/978-3-319-54187-7_10韕Springer, Cham韕2017韕1-12韕 *
期刊韕Ren, Haoyu, Mostafa El-Khamy, and Jungwon Lee. 韕 韕 "Image super resolution based on fusing multiple convolution neural networks." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops.韕2017韕Computer Vision Foundation韕2017韕54-60韕; *

Also Published As

Publication number Publication date
CN108694700A (zh) 2018-10-23
TW201837854A (zh) 2018-10-16
US20180293707A1 (en) 2018-10-11
US20210224953A1 (en) 2021-07-22
CN108694700B (zh) 2023-12-01
US20200090305A1 (en) 2020-03-19
US10970820B2 (en) 2021-04-06
US10489887B2 (en) 2019-11-26
US11694305B2 (en) 2023-07-04
KR20180114488A (ko) 2018-10-18
KR102479965B1 (ko) 2022-12-20

Similar Documents

Publication Publication Date Title
TWI756378B (zh) 用於深度學習影像超解析度的系統及方法
US11481869B2 (en) Cross-domain image translation
WO2021018163A1 (zh) 神经网络的搜索方法及装置
Liu et al. Depth super-resolution via joint color-guided internal and external regularizations
US20220222776A1 (en) Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution
US9824486B2 (en) High resolution free-view interpolation of planar structure
KR100924689B1 (ko) 모바일 기기의 이미지 변환 장치 및 방법
CN109522902B (zh) 空-时特征表示的提取
US20120212573A1 (en) Method, terminal and computer-readable recording medium for generating panoramic images
CN113870104A (zh) 超分辨率图像重建
WO2019179342A1 (zh) 图像处理方法、图像处理装置、图像处理系统及介质
WO2024027583A1 (zh) 图像处理方法、装置、电子设备和可读存储介质
WO2023184181A1 (en) Trajectory-aware transformer for video super-resolution
US11107191B2 (en) Apparatus and method for detail enhancement in super-resolution imaging using mobile electronic device
Zhang et al. Thermal image super-resolution via multi-path residual attention network
Liu et al. Gradient prior dilated convolution network for remote sensing image super resolution
Feng et al. Applying holo360 video and image super-resolution generative adversarial networks to virtual reality immersion
KR102439246B1 (ko) 구형 좌표계 영상의 영상 처리 장치
Neshatavar et al. ICF-SRSR: Invertible scale-Conditional Function for Self-Supervised Real-world Single Image Super-Resolution
CN112241934B (zh) 一种图像处理方法以及相关设备
Deng et al. Attention-guided network with inverse tone-mapping guided up-sampling for HDR imaging of dynamic scenes
US20240161235A1 (en) System and method for self-calibrated convolution for real-time image super-resolution
US20230127476A1 (en) Method and apparatus with image processing
Lu et al. Dense U-Net for single image super-resolution using shuffle pooling
Deepak et al. Next-gen image enhancement: CapsNet-driven auto-encoder model in single image super resolution