TW201835817A - 設計超級解析度深度卷積神經網路的裝置及方法 - Google Patents

設計超級解析度深度卷積神經網路的裝置及方法 Download PDF

Info

Publication number
TW201835817A
TW201835817A TW107102265A TW107102265A TW201835817A TW 201835817 A TW201835817 A TW 201835817A TW 107102265 A TW107102265 A TW 107102265A TW 107102265 A TW107102265 A TW 107102265A TW 201835817 A TW201835817 A TW 201835817A
Authority
TW
Taiwan
Prior art keywords
convolutional neural
training
neural network
layers
network
Prior art date
Application number
TW107102265A
Other languages
English (en)
Other versions
TWI748041B (zh
Inventor
任昊宇
正元 李
莫斯塔法 伊爾－哈米
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW201835817A publication Critical patent/TW201835817A/zh
Application granted granted Critical
Publication of TWI748041B publication Critical patent/TWI748041B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本發明闡述了用於產生卷積神經網路（CNN）的裝置及其製造方法、系統、及方法。在一個態樣中，訓練具有例如三或更多個層的最小卷積神經網路。可對經訓練的所述卷積神經網路執行級聯訓練，以插入一或多個中間層直至訓練誤差小於閾值。當完成級聯訓練時，可對由所述級聯訓練輸出的所述卷積神經網路執行級聯網路修整以提高計算效率。為進一步減少網路參數，可由具有相同接受域的擴張卷積濾波器來取代卷積濾波器，之後進行額外的訓練/微調。

Description

設計超級解析度深度卷積神經網路的裝置及方法
本揭露大體而言是有關於影像超級解析度，且更具體而言，是有關於藉由級聯網路訓練（cascade network training）、級聯網路修整（cascade network trimming）、及擴張卷積來設計高效的超級解析度深度卷積神經網路的系統及方法。
超級解析度成像由低解析度（low resolution，LR）影像產生高解析度（high resolution，HR）影像。超級解析度（super resolution，SR）成像具有廣泛的適用性（自監視及臉部/虹膜辨識至醫學影像處理），且對影像及視訊的解析度具有直觀的改進。已提出以下諸多演算法/系統來執行超級解析度：自內插（interpolation）（李辛（Li, Xin）與奧查德·邁克爾（Orchard, Michael），新的邊緣定向內插（ New edge-directed interpolation ） ，電氣及電子工程師協會（IEEE）影像處理學報（Transactions on Image Processing，TIP），第十卷，第十刊，第1521頁至第1527頁（2001年10月），所述參考文獻全文倂入本案供參考）、輪廓特徵（contour feature）（戴宇榮（Tai, Yu-Wing）；劉帥成（Liu, Shuaicheng）；布朗·邁克爾（Brown, Michael）；及林·史蒂芬（Lin, Stephen），使用邊緣先驗及單幅影像細節合成的超級解析度（ Super resolution using edge prior and single image detail synthesis ） ，2010 IEEE國際電腦視覺與模式辨識（Computer Vision and Pattern Recognition，CVPR）會議，第2400頁至第2407頁，所述參考文獻全文倂入本案供參考）、及統計影像先驗（金光仁（Kim, Kwang In）與權英姬（Kwon, Younghee），使用稀疏回歸及自然影像先驗的單幅影像超級解析度（ Single-image super-resolution using sparse regression and natural image prior ） ，IEEE模式分析與機器智慧學報（Transactions on Pattern Analysis and Machine Intelligence，TPAMI），第32卷，第6期，第1127頁至第1133頁（2010年1月），所述參考文獻全文倂入本案供參考），至自補丁字典（dictionary of patches）習得的以實例為基礎的方法，例如鄰域嵌入（neighbor embedding）（常紅（Chang, Hong）；楊瓞仁（Yeung, Dit-Yan）；及熊一敏（Xiong, Yimin），基於鄰域 嵌入的超級解析度（ Super-resolution through neighbor embedding ） ，2004電腦視覺與模式辨識，第275頁至第282頁，所述參考文獻全文倂入本案供參考）及稀疏編碼（sparse coding）（楊建超（Yang, Jianchao）；懷特·約翰（Wright, John）；黃·托馬斯（Huang, Thomas）；及馬一（Ma, Yi），基於稀疏表示的影像超級解析度（ Image super-resolution via sparse representation ） ，IEEE影像處理學報，第19卷，第11期，第2861頁至第2873頁（2010年11月），所述參考文獻全文倂入本案供參考）。
近來，卷積神經網路（convolutional neural network，CNN）已達成了超級解析度準確度的明顯提高。參見，例如，董超（Dong, Chao）；呂健勤（Loy, Chen Change）；何愷明（He, Kaiming）；及湯曉歐（Tang, Xiaoou），基於影像超級解析度的深度卷積網路的學習（ Learning a deep convolutional network for image super-resolution ） ，2014歐洲電腦視覺會議（European Conference on Computer Vision，ECCV），第184頁至第199頁（在下文中被稱為「董等人2014」），所述參考文獻全文倂入本案供參考。卷積神經網路有時被稱為「SRCNN」（即，超級解析度卷積神經網路（super-resolution convolutional neural network）），卷積神經網路的準確度可受小的結構（例如，三層）、及/或小的背景接受域（context reception field）的限制。因應於此，研究人員已提議增大超級解析度卷積神經網路的大小，但大部分提案使用過大數目的參數，且所論述的諸多超級解析度卷積神經網路實際上無法執行。由於提出大的網路大小，因此甚至以適當的訓練設定值（即，學習速率、權重初始化、及權重衰減）來進行猜測可能都非常困難。結果，訓練可能完全無法收斂或者無法落入局部最小值的範圍中。
因此，製作了本揭露來解決至少本文所述的問題及/或缺點以及提供至少以下闡述的優點。
根據本揭露的態樣，提供一種產生卷積神經網路（CNN）的方法，所述方法包括：訓練具有三或更多個層的卷積神經網路；以及對經訓練的所述卷積神經網路執行級聯訓練，以在所述卷積神經網路中插入一或多個中間層直至訓練誤差小於閾值，其中所述級聯訓練是一或多個階段的迭代過程，在所述迭代過程中，所述階段中的每一階段包括：訓練當前卷積神經網路；判斷所述訓練誤差是否收斂；以及，若所述訓練誤差收斂，則在所述卷積神經網路中插入預設數目的中間層，每一個新的層的權重被設定成預定設定值；以及開始新階段。
根據本揭露的態樣，提供一種產生卷積神經網路（CNN）的方法，所述方法包括：訓練具有三或更多個層的卷積神經網路；以及執行經訓練的所述卷積神經網路的級聯網路修整，其中所述級聯網路修整是一或多個階段的迭代過程，在所述迭代過程中，所述階段中的每一階段包括：藉由減小一或多個中間層處的濾波器的維度來修整當前卷積神經網路的設定數目的層；判斷訓練誤差是否收斂；以及若所述訓練誤差收斂，則判斷是否所述當前卷積神經網路的所有所述層均已經過修整；若所述當前卷積神經網路的所有所述層均已經過修整，則輸出所述經網路修整的卷積神經網路；以及若並非所述當前卷積神經網路的所有所述層均已經過修整，則開始新階段。
根據本揭露的態樣，提供一種產生卷積神經網路（CNN）的裝置，所述裝置包括：一或多個非暫時性電腦可讀取媒體；以及至少一個處理器，所述至少一個處理器在執行儲存於所述一或多個非暫時性電腦可讀取媒體上的指令時，執行以下步驟：訓練具有三或更多個層的卷積神經網路；對經訓練的所述卷積神經網路執行級聯訓練，以添加一或多個中間層直至訓練誤差小於閾值；以及對由所述級聯訓練輸出的所述卷積神經網路執行級聯網路修整。
根據本揭露的態樣，提供一種製造晶片組的方法，所述晶片組包括至少一個處理器，所述至少一個處理器在執行儲存於一或多個非暫時性電腦可讀取媒體上的指令時，執行以下步驟：訓練具有三或更多個層的卷積神經網路；對經訓練的所述卷積神經網路執行級聯訓練，以添加一或多個中間層直至訓練誤差小於閾值；以及對由所述級聯訓練輸出的所述卷積神經網路執行網路修整；以及儲存所述指令的所述一或多個非暫時性電腦可讀取媒體。
根據本揭露的態樣，提供一種對裝置進行測試的方法，所述方法包括測試所述裝置是否具有至少一個處理器，所述至少一個處理器在執行儲存於一或多個非暫時性電腦可讀取媒體上的指令時執行以下步驟：訓練具有三或更多個層的卷積神經網路；對經訓練的所述卷積神經網路執行級聯訓練，以添加一或多個中間層直至訓練誤差小於閾值；以及對由所述級聯訓練輸出的所述卷積神經網路執行級聯網路修整，所述一或多個非暫時性電腦可讀取媒體儲存所述指令。
在下文中，參照附圖詳細闡述本揭露的實施例。應注意，相同的元件由相同的參考編號指示，儘管其示出於不同的圖式中。在以下說明中，提供例如詳細配置及部件等具體細節僅是為了幫助全面理解本揭露實施例。因此，對熟習此項技術者應顯而易見的是，在不背離本揭露的範圍的條件下可對本文所述的實施例作出各種變化及潤飾。另外，為清晰及簡潔起見，省略對眾所習知的功能及構造的說明。以下所述的用語是慮及本揭露的功能而定義的用語，且可根據使用者、使用者的意圖、或習慣而有所不同。因此，該些用語的定義應基於本說明書通篇的內容而確定。
本揭露可具有各種潤飾及各種實施例，以下參照附圖詳細闡述其中的一些實施例。然而，應理解，本揭露並非僅限於所述實施例，而是包括在本揭露的範圍內的所有潤飾、等效形式及替代形式。
儘管可能使用包括例如「第一」及「第二」等序數詞的用語來闡述各種組件，但結構性組件不受該些用語限制。該些用語僅用於區分各個組件。舉例而言，在不背離本揭露的範圍的條件下，「第一結構性組件」可被稱為「第二結構性組件」。相似地，「第二結構性組件」亦可被稱為「第一結構性組件」。本文中所用的用語「及/或」包括一或多個相關項的任意及所有組合。
本文中的用語僅用於闡述本揭露的各種實施例，而並非旨在限制本揭露。除非上下文中清楚地另外指明，否則單數形式旨在包括複數形式。在本揭露中，應理解，用語「包括（include）」或「具有（have）」指示特徵、數目、步驟、操作、結構性組件、零件或其組合的存在，但不排除一或多個其他特徵、數字、步驟、操作、結構性組件、零件或其組合的存在或添加的可能。
除非進行不同地定義，否則本文中所用的所有用語具有與熟習本揭露所屬技術領域者所理解的含意相同的含意。例如在常用字典中所定義的用語等用語應被解釋為具有與相關技術領域中的上下文含意相同的含意，且除非在本揭露中進行清楚定義，否則不應將其解釋為具有理想化或過於正式的含意。
各種實施例可包括一或多個組件。組件可包括被配置成執行某些操作的任何結構。儘管可以舉例方式將實施例闡述為具有處於某一配置中的限定數目的組件，然而所述實施例可根據給定實施方式的需要而在替代配置中包括更多或更少的組件。值得注意的是，每當提及「一個實施例（one embodiment）」或「實施例（an embodiment）」時，是意指結合所述實施例闡述的特定特徵、結構、或特性包含於至少一個實施例中。在本說明書中的各處出現的片語「一個實施例」（或「實施例」）未必全部指代同一實施例。
本揭露提供一種新的方式，或更準確而言，提供若干新技術來形成超級解析度卷積神經網路。在本文中，用語「經級聯訓練的超級解析度卷積神經網路（CT-SRCNN）」可一同指代本文中闡述的所有的新技術，或者指代所述新技術中的一或多種，此應根據使用所述用語的上下文來清楚地判斷。與以無監督權重初始化（unsupervised weight initailization）從一開始訓練所有層的現有方式不同的是，經級聯訓練的超級解析度卷積神經網路是以小的網路（例如，三個層）開始訓練。在當前網路無法充分地減小訓練誤差時在所述網路中逐漸插入新的層。
利用此種「級聯訓練」策略，收斂會更容易，且在使用更多層時準確度得到持續提高。但是在深度增大的同時，網路的相對複雜度不會因新的層的性質而增大。更具體而言，經級聯訓練的超級解析度卷積神經網路中的新的層的所有權重均被隨機地初始化，且學習速率是固定的。此相較於需要花費大量時間及資源來對參數進行調整的方式而言十分有利。一個具體實例是具有13個層的經級聯訓練的超級解析度卷積神經網路（如以下所進一步示出及論述），所述網路的準確度可與最先進的影像超級解析度網路相媲美，同時具有快五倍以上的執行速度，以及使用僅五分之一的參數。
在本揭露中，闡述了「級聯網路修整」，「級聯網路修整」藉由降低儲存及計算複雜度、以及另一種藉由部署一種「擴張卷積」的形式而非執行完整的傳統卷積計算來進一步提高超級解析度深度卷積神經網路的效率的方法來對經級聯訓練的超級解析度卷積神經網路模型進行進一步細化，此可進一步降低經級聯訓練的超級解析度卷積神經網路模型的複雜度。
本揭露的其餘部分按順序論述經級聯訓練的超級解析度卷積神經網路的此三種不同的方案/特徵： I. 級聯訓練； II. 級聯網路修整；以及 III. 擴張卷積。
儘管此三種方法/技術是在經級聯訓練的超級解析度卷積神經網路的上下文中進行論述，然而每一種方法/技術可單獨地或各自地適用於其他超級解析度方案或卷積神經網路（CNN network），如所屬領域中具有通常知識者應理解。
圖1示出根據一個實施例的用於構建經級聯訓練的超級解析度卷積神經網路（CT-SRCNN）的方法的示例性方塊圖。
在110處，準備訓練組，此意味著準備與高解析度（HR）影像對應的一組低解析度（LR）影像，經級聯訓練的超級解析度卷積神經網路藉由所述一組低解析度影像來學習當試圖由低解析度影像形成高解析度影像時所使用的模型。在此實施例中，在120處，對每一個低解析度影像進行雙立方升採樣（bicubic upsample）且對低解析度/高解析度補丁進行裁剪以準備用於訓練。參見，例如，「董等人2014」以及董超；呂健勤；何愷明；及湯曉歐，使用深度卷積網路的影像超級解析度（ Image super-resolution using deep convolutional networks ） ，IEEE模式分析與機器智慧學報（TPAMI），第38卷，第2期，第295頁至第307頁（2016年2月）（在下文中被稱為「董等人2016a」），所述參考文獻全文倂入本案供參考，以瞭解關於此步驟的更多細節。如所屬領域中具有通常知識者應理解，存在各種訓練前準備技術且本揭露並非僅限於將此種雙立方升採樣及低解析度/高解析度修補作為訓練前準備技術。
在130處，根據本揭露執行級聯訓練。以下闡述根據本揭露具體實施例的級聯訓練的實施例。在140處，根據本揭露執行級聯網路修整。以下進一步闡述根據本揭露具體實施例的網路修整的實施例。在150處，完成所述過程且經級聯訓練的超級解析度卷積神經網路系統已準備好供現實世界使用。
儘管在圖1中將該些不同的過程（即，級聯訓練及級聯網路修整）闡述及示出為單獨的及不同的階段/步驟，然而該些過程可在根據本揭露的實際實施方式中的該些功能之間交疊。I. 級聯訓練
圖2示出根據本揭露一個實施例的級聯訓練的示例圖。在205處，開始訓練過程。
在210處，以階段 i = 1開始所述訓練。新形成的網路以 b 個數目的層開始，且在其中訓練誤差收斂（220）或訓練誤差仍高於閾值（250）的每一階段中添加 c 個數目的層。因此，在每一訓練階段 i 處，對具有c*( i -1)+b個層的卷積神經網路進行訓練。當階段 i = 1時，對具有第一 b 個數目的層的卷積神經網路進行訓練。在階段 i = 1之後，級聯訓練開始根據需要向 b 個數目的層添加中間層，具體而言，每次添加 c 個數目的層。
在220處，判斷網路是否已開始收斂，例如判斷訓練誤差是否已停止（自前一階段）減小一定量。若是（即，卷積神經網路正在收斂），則在230處添加 c 個數目的中間層，且在240（ i = i + 1）處起始下一迭代。在此迭代過程期間，新的層可被設定成具有任意權重，乃因中間層將不會對其他層的權重矩陣大小造成影響。事實上，所有現有層繼承現有層的前一權重矩陣。此種級聯訓練迭代過程繼續進行，使得卷積神經網路越來越深，直至在250處訓練誤差小於閾值，且接著在255處輸出卷積神經網路模型。
圖3A及圖3B示出級聯訓練與現有的訓練方法之間的一些差異。
在圖3A中，示出圖2所示流程圖的實例。在圖3A中，層的數目 b 等於三，如在表示欲被訓練的第一卷積神經網路的頂部（310）處所示，且在每一階段中添加的層的數目 c 是一。每一新的層具有隨機設定的權重，而每一預先存在的層自前一階段繼承權重。由於在每一階段處新插入的中間層，卷積神經網路變得更深。在每一階段處，再次對更深的卷積神經網路進行訓練。由於大部分權重是自前一階段繼承的，因此連續的重訓練相對容易，甚至具有固定的學習速率。
然而，現有的方法如圖3B所示以需要同時進行調整的「完整」的一組層開始。如圖3B所示同時對所有的層進行訓練較圖3A所示方案複雜得多，進而導致慢速的收斂。級聯訓練對較淺的網路進行訓練直至收斂，且接著藉由在保持先前經訓練的層完整的同時遞增地插入具有隨機權重的層來使卷積神經網路加深，並保持整個網路直至更深的網路收斂。另外，級聯訓練可簡單地固定學習速率並產生具有隨機權重的新的層。
圖4A及圖4B示出分別在根據本揭露實施例的級聯訓練之後的開始卷積神經網路及終了卷積神經網路。
使 x 表示經內插的低解析度影像且 y 表示與經內插的低解析度影像匹配的高解析度影像。假定具有 N 個樣本的訓練組{( xi , yi )， i = 1, …, N }，經級聯訓練的超級解析度卷積神經網路的目標是學習用於預測高解析度輸出=g(x) 的模型 g 。在訓練期間，訓練組內的均方誤差（mean square error，MSE）被最小化。
在圖4A中，級聯訓練自三層模型（ b = 3）開始。第一層（410）由64個9 ´ 9濾波器組成，且第二層（413）及第三層（415）由32個5 ´ 5濾波器組成。（新的層的）所有權重均是藉由s = 0.001的高斯函數來隨機地初始化，且所有的卷積具有步幅1。「步幅（stride）」是卷積層的超參數（hyperparameter）中的一者，且用於控制如何圍繞空間維度（寬度及高度）分配深度行（depth column）—換言之，步幅指示濾波器如何圍繞輸入層（input volume）進行卷積，即，「步幅1」指示濾波器圍繞輸入層一次卷積一個畫素，「步幅2」指示濾波器一次卷積兩個畫素，等等。參見，例如於2017年6月5日自維基百科的https://en.wikipedia.org/wiki/Convolutional_neural_network下載的「卷積神經網路（Convolutional neural network）」的定義；於2017年6月5日自https://adeshpande3.github.io/A-Beginner%27s-Guide-To-Understanding-Convolutional-Neural-Networks-Part-2/下載的「理解卷積網路的新手指南-第2章（A Beginner’s Guide to Understanding Convolutional Networks – Part 2）」；所述兩個參考文獻全文倂入本案供參考。
返回至圖4A，在當前階段的均方誤差停止明顯減小時（例如，誤差在一時期中減小小於3%），訓練進行至下一階段。參見，例如圖2所示步驟220。為使此實施例中的訓練加快，對於每一階段向網路插入兩個新的層（即，在圖2所示步驟230中 c = 2）。因此，如圖4所示，訓練由3個層開始，且接著進行至5個層、7個層、…、以及最終在五個（5）階段之後的13個層。每一新的層由32個3 ´ 3濾波器組成。此種大小即使在卷積神經網路逐漸加深時亦會確保網路較小。新的中間層緊挨在最後的32個5 ´ 5濾波器層415之前插入。來自上一階段中已存在的任意層的權重繼承來自前一階段的權重，且所述兩個新的層的權重始終被隨機地初始化（s = 0.001的高斯分佈）。由於新的卷積層將減小特徵映射圖（feature map）的大小，因此在每一個新的中間3 ´ 3層中對兩個畫素進行零填充（zero-padded）。結果，在級聯訓練中所有階段具有相同的輸出大小，以使得可共享訓練樣本。
隨著網路加深，利用現有的方法訓練至收斂通常變得更困難。舉例而言，「董等人2016a」中的超級解析度卷積神經網路在多於三個層的情況下未能表現出優異的效能。在金知元（Kim, Jiwon）；李政權（Lee, Jung Kwon）；及李慶賢（Lee, Kyoung Mu），使用極深度卷積網路的精確影像超級解析度（ Accurate image super-resolution using very deep convolutional network ） ，2016電腦視覺與模式辨識，第1646頁至第1654頁（所述參考文獻全文倂入本案供參考）（在下文中被稱為「VDSR」）中，高的初始學習速率經過調整且逐漸降低。但是當使用大的多樣化訓練組（例如，來自160,000個影像的多於30百萬個補丁）時，高的學習速率效果不佳。此種情形的潛在原因在於高的學習速率會導致梯度消失（vanishing gradient）/梯度爆炸（exploding gradient）。
在經級聯訓練的超級解析度卷積神經網路中，在每一階段中僅隨機地初始化少數個權重，因此收斂相對容易。在經級聯訓練的超級解析度卷積神經網路中對於所有的層而言保持固定的學習速率0.0001而不發生任何衰減亦為可行的。為使訓練加快，僅需要改變第一階段，例如，可將第一階段的學習速率設定成0.001。在實驗/模擬中，13層經級聯訓練的超級解析度卷積神經網路（如圖4B所示者）已達成最先進的準確度，同時相較於例如以下其他網路而言使用少得多的參數：VDSR或金知元；李政權；及李慶賢，用於影像超級解析度的深度遞歸卷積網路（ Deeply-recursive convolutional network for image super-resolution ） ，2016電腦視覺與模式辨識，第1637頁至第1645頁（所述參考文獻全文倂入本案供參考）（在下文中被稱為「DRCN」）。相反，對隨機初始化的更深的網路進行直接訓練需要在參數調整方面進行大量努力以確保該些其他網路的最佳收斂，儘管實驗結果已表明該些網路可能無法以可接受的誤差收斂。
如以下表I所示，當測量兩個影像品質度量（image quality metric）（即，峰值訊號對雜訊比（peak signal to noise ratio，PSNR）、及結構相似性量度（structure similarity measure，SSIM））時，可看出經級聯訓練的超級解析度卷積神經網路會達成較佳的品質及較快的速度。此外，經級聯訓練的超級解析度卷積神經網路相較於VDSR及DRCN會擷取更多細節。
假定在卷積神經網路中具有L層，假設第i層具有 ni-1 個輸入通道、 ki ´ ki 個卷積核（convolution kernel）、及 ni 個濾波器。第i層中參數的數目是 ni-1 ´ ni ´ ki ´ ki 。在此計算中忽略偏置項（bias term）。於是，參數的總數目是。因此，舉例而言，在每一層中分別具有64個、32個、1個濾波器的三層經級聯訓練的超級解析度卷積神經網路中， n 0 = 1， n 1 = 64， n 2 = 32， n 3 = 1， k 1 = 9， k 2 = 5， k 3 =5，因而參數的總數目是1 ´ 64 ´ 9 ´ 9 + 64 ´ 5 ´ 5 ´ 32 + 1 ´ 32 ´ 5 ´ 5 ´ 1 = 57,184。
峰值訊號對雜訊比/結構相似性量度用於衡量影像重構品質。峰值訊號對雜訊比是影像畫素的最大可能功率與會影響保真度的破壞性雜訊的功率之間的比率。峰值訊號對雜訊比被計算為，其中均方誤差是在地面真值（ground truth）與重構影像（超級解析度輸出）之間計算的。峰值訊號對雜訊比越大，影像品質越佳。峰值訊號對雜訊比的最大值是無限的。參見，例如，於2017年6月27日自維基百科的https://en.wikipedia.org/wiki/Peak_signal-to-noise_ratio下載的「峰值訊號對雜訊比（Peak signal-to-noise ratio）」的定義，所述參考文獻全文倂入本案供參考。
結構相似性量度是基於感知的模型（perception-based model），所述模型將影像劣化視為結構資訊中的所感知變化，同時亦包含亮度遮蔽（luminance masking）與對比度遮蔽（contrast masking）。結構相似性量度較峰值訊號對雜訊比更符合人類視覺。結構相似性量度被計算為，其中 x 是重構影像， y 是參考影像（地面真值）， m 是平均值， s 是變異數（variance）， s xy 是 x 與 y 之間的共變異數（covariance）， c 1 = 6.5025，且 c 2 = 58.5225。結構相似性量度位於[0,1]之間。若x是y的完美副本（perfect copy），則結構相似性量度將為1。參見，例如於2017年6月27日自維基百科的https://en.wikipedia.org/wiki/Structural_similarity下載的「結構相似性（Structural Similarity）」的定義，所述參考文獻全文倂入本案供參考。表 I. 經級聯 訓練的超級解析度卷積神經網路與現有的方式的比較 II. 級聯網路修整
大部分神經網路具有冗餘（redundancy）。移除此種冗餘會使效率明顯提高。在本揭露的實施例中，可在準確度損失很小的條件下自某些層移除大多數的濾波器及/或權重。
此種技術/方式（級聯網路修整）可與上述級聯訓練一起使用，或者可獨立於級聯訓練使用。在深度卷積神經網路具有可接受的準確度或效能的條件下，一直需要用於減小網路大小、降低計算複雜度及/或縮短處理時間而同時保持網路深度相同且不會降低準確度的技術/方式。
與級聯訓練相似，級聯網路修整亦包括迭代過程。在每一階段中，僅自 d 個層修整濾波器，此意味著，對於L層網路而言，在階段 i 中對第（L-（i-1）d-1）層至第（L-id）層進行修整。舉例而言，當自13層經級聯訓練的超級解析度卷積神經網路修整d = 2個層時，在第一階段i = 1中對第12層及第11層進行修整，且接著對網路進行微調。當出現收斂時，以對第9層及第10層進行修整來開始第二階段i = 2。此種程序迭代地重複，直至所有的層均已經過修整。儘管在以上程序中忽略了第13層，然而所述程序亦可被視為在第一階段中對第12層及第13層進行修整，且在第二階段中對第10層及第11層進行修整，等等。
圖5示出根據本揭露一個實施例的級聯網路修整的示例圖。在505處，修整過程以具有 L 個層的經訓練的卷積神經網路開始。
在510處，在階段 i = 1處開始修整。如上所述，在一個階段中僅對總的L層卷積神經網路中的 d 個層進行修整。因此，在510處在階段 i 中對第（L-（i-1）d-1）層至第（L-id）層進行修整。在520處，執行微調。在530處，判斷訓練誤差是否已停止（自前一階段）減少一定量。若是，則在540處判斷階段的總數目乘以每一階段修整的層是否大於或等於層的總數目（「（id ＞= L）?」）。若在530處訓練誤差未停止減小，則方法返回至520處進行微調。
若在540處確定階段的總數目乘以每一階段修整的層大於或等於層的總數目（「（id ＞= L）?」），則過程結束並在565處輸出經修整的卷積神經網路模型。若在540處確定階段的總數目乘以每一階段修整的層小於層的總數目（「（id ＞= L）?」），則方法在550處開始下一階段（「i = i+1」）。
圖6A及圖6B示出根據本揭露實施例，網路修整方法之間的一些差異。
在圖6A中，根據本揭露的實施例，每一階段對卷積神經網路的一個層進行修整，且在每一階段之間執行微調。相比之下，圖6B中的卷積神經網路的所有的層同時經過微調及修整二者。如圖6B所示同時對所有的層進行調整及修整較圖6A所示方案複雜得多。
級聯網路修整是藉由對來自各個層的全部濾波器進行修整來完成。為恢復任何損失的準確度，逐層進行修整，在修整每一層或每一組層之後進行微調直至收斂。
圖7示出根據本揭露實施例的執行濾波器修整的示例圖。
如圖7所示，一旦濾波器被修整，相鄰的層亦將受到影響。在圖7中，自第 i 層對濾波器710（虛線所示區塊）進行修整。當 ni = ni-1 - 1時，第（ i +1）層中的一些權重720（在濾波器內由虛線指示）亦將被修整。因此，對第 i 層中的濾波器進行修整將降低第 i 層及第（ i +1）層二者的計算成本。在卷積神經網路中，第（ i +1）層的輸入通道的數目等於第 i 層的濾波器（輸出通道）的數目。
在圖7中，假設在修整之前在第 i 層中存在 ni = 4個濾波器及 ni-1 = 5個輸入通道，且在第（ i +1）層中存在 ni+1 = 10個濾波器及 ni = 4個輸入通道。若自第 i 層對濾波器710進行修整，則經修整的 ni 將減小至3，且 ni+1 仍為10。第（ i +1）層中的切片720是經修整的權重，所述權重對應於乘法。如在上一部分所提及，在第 i 層中將存在乘法，且在第（ i +1）層中將存在乘法。由於 n1 減小，因此第 i 層及第（ i +1）層二者中的乘法的數目亦會減少。
使用適當的標準來決定欲對哪一些濾波器進行修整。在此實施例中，使用相對重要性量度（measurement of relative importance）。更具體而言，第 i 層中的第 j 個濾波器的相對重要性 Ri,j 是由第 j 個濾波器中的所有權重的平方和來定義的，其中 Wi,j 是第 i 層中的第 j 個濾波器的權重矩陣，如方程式（1）所示：…（1）
因此， Ri,j 最小的濾波器被移除。如上所述，當自第 i 層對濾波器710進行修整時，第（ i +1）層中的一些權重720亦將被修整，進而得出 W ' i +1, j 。因此，當計算 Ri +1, j 時，在方程式（3）中使用未經修整的權重 Wi +1, j （亦被稱為「獨立修整（independent trimming）」），或者在方程式（2）中使用經修整的權重 W ' i +1, j ：…（2）
以下演算法提供自各個層修整濾波器的迭代過程的示例性高階說明。濾波器修整演算法
利用不同的速率/閾值及，可形成不同的經修整模型。由於濾波器修整會影響相鄰的層，因此在使用濾波器修整的大部分情形中將需要進行微調來挽回準確度。相比之下，權重修剪（weight pruning）具有相對較小的影響。在適當的修整速率（例如，小於0.2）的條件下，即使不進行微調，準確度亦不會降低過多。III. 擴張卷積
擴張卷積（亦被稱為「空洞卷積（à trous convolution）」）是最初為進行小波分解（wavelet decomposition）而開發的一種類型的卷積（參見，霍爾斯內德·M.（Holschneider, M.）；克蘭德-馬爾蒂納·R.（Kronland-Martinet, R.）；莫萊·J.（Morlet, J.）；及切阿米安·Ph.（Tchamitchian, Ph.）利用小波變換進行的訊號分析的即時演算法（ A Real-Time Algorithm for Signal Analysis with the Help of the Wavelet Transform ） ，收錄於《小波：時頻方法及相位空間》（WAVELETS: TIME-FREQUENCY METHODS AND PHASE SPACE）中，J.M.孔布（J.M. Combes）等人編輯，第286頁至第297頁（1987），所述參考文獻全文倂入本案供參考），但已被應用於語義分割（semantic segmentation），特別是為獲得密集特徵（參見，例如，餘·費舍爾（Yu, Fisher）、及科爾頓·弗拉德連（Koltun, Vladlen），基於擴張卷積進行多尺度背景聚合（ Multi-scale context aggregation by dilated convolutions ） ，2016國際學習表達會議（Int’l Conference on Learning Representations，ICLR）（在下文中被稱為「餘等人2016」），所述參考文獻全文倂入本案供參考）。
在由未進行池化（pooling）的卷積層構成的純卷積網路（purely convolutional network）中，各單元的接受域可僅線性地逐層生長，乃因特徵映射圖是基於對來自輸入的相鄰的畫素進行卷積而產生。增大接受域的可行方式是對來自較大區的輸入畫素進行卷積。此相似於在擴張卷積中使用‘擴張核（dilation kernel）’，而非使用傳統的密集核（dense kernel）進行傳統卷積。
假定 F 是離散函數， K 是卷積核，且擴張卷積| 是典型卷積的廣義版本，如以下方程式（3）所定義，其中 d 是擴張因數（dilation factor）。傳統卷積是簡單的1擴張卷積（simple 1-dilated convolution）（即，當d = 1時）。…（3）
在卷積神經網路中應用擴張卷積的一個優點在於擴張版本具有較大的接受域，如圖8A及圖8B所示。擴張卷積濾波器是藉由對原始濾波器進行升採樣（即，藉由在原始濾波器的元素之間插入零）獲得。因此，藉由設計，擴張濾波器具有由零元素構成的結構化圖案。相較於其中零元素具有隨機圖案及位置的權重修剪而言，擴張濾波器具有權重為零的結構化圖案，且對於降低硬體及軟體的計算複雜度而言有用得多。由此，為實現超級解析度，本揭露的實施例利用與濾波器的通常用法不同的方式來部署擴張濾波器，此藉由以下方式來達成：保持與未擴張的濾波器相同的接受域且轉而使用所述相同的接受域來相較於具有相同接受域的未擴張濾波器而言降低計算複雜度。
圖8A及圖8B分別示出根據本揭露實施例的擴張卷積與傳統卷積之間的一些差異。在圖8B中，傳統卷積利用步幅2執行，而在圖8A中，存在根據本揭露實施例的具有步幅1的2-擴張卷積（2-dilated convolution）（意指以每2個畫素為單位而非以每一個畫素為單元來應用卷積中的乘法與累加運算）。儘管圖8A與圖8B具有相同的特徵映射圖大小（經過填充以獲得擴張版本），然而，相較於卷積1，2-擴張特徵映射圖的接受域較大。在卷積神經網路中，輸入及輸出是二維（2 dimension，2-D）特徵映射圖，因此圖8A或圖8B僅位於x方向或y方向上。
圖8B示出具有大小為3的核及步幅2的傳統卷積的實例，在所述傳統卷積中，輸入是7-畫素訊號（由7個圓圈表示）。在圖8B中，每3個相鄰的畫素與核進行卷積（由連接線指示）且接著產生特徵映射圖的輸出（正方形），此以第一畫素至第三畫素（具有線紋的圓圈）以及特徵映射圖的第一輸出（具有線紋的正方形）起始。圖8B中的下一卷積是第三畫素至第五畫素，乃因步幅為2，且特徵映射圖的下一輸出（黑色正方形）由3個元素組成，即具有接受域3。
相比之下，圖8A示出具有大小為3的核及步幅1的2擴張卷積的實例。在d- 擴張卷積中，每d 個畫素應用一次卷積。舉例而言，在2-擴張卷積中，每2個畫素應用一次卷積。因此特徵映射圖的第一輸出（具有線紋的正方形）是藉由將第一畫素、第三畫素、及第五畫素（具有線紋的圓圈）與3 ´ 3核進行卷積而產生。接著下一輸出（黑色正方形）是藉由對第二畫素、第四畫素、及第六畫素進行卷積而產生。
在其中卷積神經網路中所有的層均是具有步幅1的卷積的實施例中，可以不同的方式應用擴張卷積。若使用1擴張卷積，假定 k ´ k 卷積核具有步幅1，則所得特徵映射圖的接受域是 k ´ k 。若使用2擴張卷積，假定 k ´ k 卷積核具有步幅1，則所得特徵映射圖的接受域是。舉例而言，圖4A及圖4B中的經級聯訓練的超級解析度卷積神經網路的具有9 ´ 9卷積核的1擴張層410及具有5 ´ 5卷積核的1擴張層413可轉而分別由具有卷積核5 ´ 5的2擴張層及具有卷積核3 ´ 3的2擴張層取代。所得網路將具有相同大小的接受域，但會因較小的核大小而具有較少參數。
因此，在一個實施例中，一旦訓練出具有9 ´ 9 1-擴張層及兩個5 ´ 5 1-擴張層的經級聯訓練的超級解析度卷積神經網路，便可在執行微調之前由5 ´ 5 2-擴張層及兩個3 ´ 3 2-擴張層來取代該些層。不同於「餘等人2016」，根據本揭露實施例的擴張式經級聯訓練的超級解析度卷積神經網路不需要在擴張層中進行任何零填充。
如上所述，諸多研究人員正試圖藉由例如使用更多層（例如，VDSR）或深度遞歸結構（例如，DRCN）來提高超級解析度卷積神經網路的準確度及效率。其他研究人員相似地提出使用更複雜的網路。王兆文（Wang, Zhaowen）；劉丁（Liu, Ding）；楊建超；韓偉（Han, Wei）；及黃·托馬斯，基於利用稀疏先驗的影像超級解析度的深度網路（ Deep networks for image super-resolution with sparse prior ） ，2015 IEEE國際電腦視覺會議（Int’l Conference on Computer Vision，ICCV），第370頁至第378頁（所述參考文獻倂入本案供參考）將稀疏表示先驗（sparse representation prior）與基於所學習的迭代收縮及閾限演算法的前饋網路整合在一起。VDSR將層數目增加至20且利用可調整的梯度裁剪來使用小的濾波器及高的學習速率；同一團隊亦利用在DRCN中進行遞歸監督（recursive-supervision）及跳躍連接（skip-connection）來設計一種深度遞歸卷積神經網路。達爾·瑞安（Dahl, Ryan）；諾羅奇·穆罕默德（Norouzi, Mohammad）；及施倫斯·喬納斯（Shlens, Jonathon），畫素遞歸 超級解析度（ Pixel Recursive Super Resolution ） ，arXiv 1702.00783[2017年3月22日]（所述參考文獻倂入本案供參考）將殘差網路（ResNet）與畫素遞歸超級解析度進行組合，此在其中向底層（bed）影像應用超級解析度的情形中在表面（face）及底層超級解析度方面表現出令人滿意的結果。
其他人偏好對訓練誤差使用感知損失（perception loss）而非均方誤差（MSE），感知損失更接近自然紋理（natural texture）及人類視覺。蘇德比·卡斯伯（Sønderby, Casper）；卡巴列儂·喬斯（Caballero, Jose）；泰斯·盧卡斯（Theis, Lucas）；石文哲（Shi, Wenzhe）；及華莎·費倫茨（Huszár, Ferenc），基於影像超級解析度的分散償還映射圖推斷（ Amortised MAP Inference for Image Super-resolution ） ，arXiv 1610.04490[2017年2月21日]（所述參考文獻倂入本案供參考）介紹了分散償還映射圖推斷的方法，所述方法使用卷積神經網路直接計算映射圖估算值。約翰遜·賈斯汀（Johnson, Justin）；阿拉黑·亞歷山大（Alahi, Alexandre）；及李飛飛（Fei-Fei, Li），即時風格轉換與超級解析度的感知損失（ Perceptual losses for real-time style transfer and super-resolution ） ，2016，歐洲電腦視覺會議，第694頁至第711頁（所述參考文獻倂入本案供參考）提出使用感知損失函數來訓練前饋網路以進行影像轉換任務。萊迪希·基斯頓（Ledig, Christian）等人，使用生成式對抗網路的照片級真實感的單幅影像超級解析度（ Photo-realistic single image super-resolution using a generative adversarial network ） ，arXiv 1609.04802[2017年4月13日]（所述參考文獻倂入本案供參考）採用極深殘差網路（residual network，ResNet），且進一步呈現了超級解析度產生式對抗網路（super resolution generative adversarial network，SRGAN）來獲得與自然紋理相似的影像。
然而，儘管以上列出的成果提高了超級解析度系統的準確度，然而準確度的提高是以更多層/參數及/或更困難的超參數調整程序為代價的。換言之，準確度上的任何進步均會因複雜度的極度增大而被抵消。
其他研究人員致力於藉由提取低解析度空間中的特徵映射圖以及使用升尺度濾波器（upscaling filter）進行訓練來提高效率。石文哲等人，使用高效子畫素卷積神經網路的即時單幅影像及視訊超級解析度（ Real-time Single Image and Video Super-Resolution Using an Efficient sub-pixel convolutional neural network ） ，2016國際電腦視覺與模式辨識，第1874頁至第1883頁（所述參考文獻倂入本案供參考）介紹了一種高效子畫素卷積層，所述高效子畫素卷積層學習升尺度濾波器的陣列以將低解析度特徵映射圖升尺度至高解析度輸出。董超；呂健勤；及湯曉歐，使超級解析度卷積神經網路加快（ Accelerating the super-resolution convolutional neural network ）， 2016歐洲電腦視覺會議，第391頁至第407頁（所述參考文獻全文倂入本案）（在下文中被稱為「董等人2016b」）藉由添加較小的濾波器、反卷積層（deconvolution layer）、及特徵空間收縮來重新設計超級解析度卷積神經網路以在不損失準確度的條件下加快速度。
然而，由於升尺度層的使用，因此該些網路的補丁大小及背景接受域將相對小。結果，相對於自經升採樣的低解析度空間提取的特徵映射圖而言，所述準確度相對較低。
相比之下，本文所述經級聯訓練的超級解析度卷積神經網路可加深，藉此達成高準確度，而無需對參數進行過多調整。相較於例如以上所列出的解決方案等最先進的解決方案而言，經級聯訓練的超級解析度卷積神經網路的網路大小小得多。經級聯訓練的超級解析度卷積神經網路亦可在單幅圖形處理單元（graphic processing unit，GPU）中對解析度為720 × 480的20圖框/秒至25圖框/秒的視訊進行處理。此種效率可藉由網路修整及擴張卷積進一步得到提高。
在本揭露中，闡述了用於訓練具有高準確度及高效率二者的基於超級解析度的深度卷積神經網路的級聯訓練方法。級聯訓練確保網路可以相對較小的大小持續加深。本文所述網路修整及擴張卷積會進一步降低網路複雜度。關於基準影像（benchmark image）及視訊資料集的實驗結果表明：相較於其他最先進的解決方案，本文中揭露的方法達成相媲美的效能，而速度高得多。
儘管是在影像超級解析度的框架中加以闡述，然而本文所述技術可出於任何類型的目的（例如，去除雜訊（denoising）、或影像恢復）被推及任何類型的卷積神經網路。
圖9示出根據一個實施例的本發明裝置的示例圖。一種裝置900包括至少一個處理器910及一或多個非暫時性電腦可讀取媒體920。所述至少一個處理器910在執行儲存於所述一或多個非暫時性電腦可讀取媒體920上的指令時，執行以下步驟：訓練具有三或更多個層的卷積神經網路；對經訓練的卷積神經網路執行級聯訓練，以添加一或多個中間層直至訓練誤差小於閾值；以及對由級聯訓練輸出的卷積神經網路執行網路修整。另外，所述一或多個非暫時性電腦可讀取媒體920儲存用於使所述至少一個處理器910執行以下步驟的指令：訓練具有三或更多個層的卷積神經網路；對經訓練的卷積神經網路執行級聯訓練，以添加一或多個中間層直至訓練誤差小於閾值；以及對由級聯訓練輸出的卷積神經網路執行網路修整。
圖10示出根據一個實施例的用於對本發明裝置進行製造及測試的示例性流程圖。
在1050處，製造所述裝置（在本例中為上述晶片組），所述裝置包括至少一個處理器以及一或多個非暫時性電腦可讀取媒體。在執行儲存於所述一或多個非暫時性電腦可讀取媒體上的指令時，所述至少一個處理器執行以下步驟：訓練具有三或更多個層的卷積神經網路；對經訓練的卷積神經網路執行級聯訓練，以添加一或多個中間層直至訓練誤差小於閾值；以及對由級聯訓練輸出的卷積神經網路執行網路修整。所述一或多個非暫時性電腦可讀取媒體儲存用於使所述至少一個處理器執行以下步驟的指令：訓練具有三或更多個層的卷積神經網路；對經訓練的卷積神經網路執行級聯訓練，以添加一或多個中間層直至訓練誤差小於閾值；以及對由級聯訓練輸出的卷積神經網路執行網路修整。
在1060處，對所述裝置（在本例中為晶片組）進行測試。測試步驟1060包括測試所述裝置是否具有至少一個處理器，以及測試所述裝置是否具有一或多個非暫時性電腦可讀取媒體，所述至少一個處理器在執行儲存於所述一或多個非暫時性電腦可讀取媒體上的指令時執行以下步驟：訓練具有三或更多個層的卷積神經網路；對經訓練的卷積神經網路執行級聯訓練，以添加一或多個中間層直至訓練誤差小於閾值；以及對由級聯訓練輸出的卷積神經網路執行網路修整，所述一或多個非暫時性電腦可讀取媒體儲存用於使所述至少一個處理器執行以下步驟的指令：訓練具有三或更多個層的卷積神經網路；對經訓練的卷積神經網路執行級聯訓練，以添加一或多個中間層直至訓練誤差小於閾值；以及對由級聯訓練輸出的卷積神經網路執行網路修整。
如此項技術中具有通常知識者應理解，端視具體實施例及/或實作方式而定，關於本揭露實施例的上述步驟及/或操作可按照不同次序或並列地進行或者針對不同時期同時進行等。不同的實施例可以不同的次序或藉由不同的方式或手段來執行各個動作。如此項技術中具有通常知識者應理解，一些圖式是所執行動作的簡化表示形式，在本文中簡要概述了對所述圖式的描述，且現實世界的實作方式將複雜得多、需要更多階段及/或部件，且亦將端視對具體實作方式的要求而變化。作為簡化表示形式，該些圖式未示出其他所需要的步驟，乃因該些所需要的步驟可為此項技術中具有通常知識者習知及理解的且可與本說明無關及/或無助於本說明。
相似地，如此項技術中具有通常知識者應理解，一些圖式為僅示出相關部件的簡化方塊圖，且該些部件中的一些僅表示此項技術中眾所習知的功能及/或操作而非實際的硬體。在該些情形中，可以各種方式及/或方式的組合來實作或提供部件/模組中的一些或全部，例如至少局部地以韌體及/或硬體來實作或提供，包括但不限於一或多個應用專用積體電路（application-specific integrated circuit，「ASIC」）、標準積體電路、執行適當指令並包括微控制器及/或嵌式控制器在內的控制器、現場可程式化閘陣列（field-programmable gate array，「FPGA」）、複雜可程式化邏輯元件（complex programmable logic device，「CPLD」）等。亦可將系統部件及/或資料結構中的一些或全部作為內容（例如，作為可執行的或其他機器可讀取的軟體指令或結構化資料）儲存於非暫時性電腦可讀取媒體（例如，硬碟、記憶體、電腦網路或蜂巢式無線網路或者其他資料傳輸媒體、或者欲由適當驅動機或經由適當連線讀取的可攜式媒體製品（例如數位多功能光碟（Digital Versatile Disc，DVD）或快閃記憶體元件））上，以使電腦可讀取媒體及/或一或多個相關聯計算系統或元件能夠或者被配置成執行或以其他方式使用或提供所述內容，以執行所述技術中的至少一些技術。
可單獨地或以多處理配置形式（multi-processing arrangement）採用一或多個處理器、簡單的微控制器、控制器等來執行儲存於非暫時性電腦可讀取媒體上的指令序列以實作本揭露的實施例。在一些實施例中，可使用硬接線式電路系統來代替軟體指令或與軟體指令組合。因此，本揭露的實施例並非僅限於硬體電路系統、韌體、及/或軟體的任何具體組合。
本文所用的用語「電腦可讀取媒體」指代儲存有可供處理器執行的指令的任何媒體。此種媒體可呈現諸多形式，包括但不限於非揮發性媒體及揮發性媒體。非暫時性電腦可讀取媒體的常用形式包括例如軟碟、軟性磁碟（flexible disk）、硬碟、磁帶、或任何其他磁性媒體、光碟唯讀記憶體（Compact Disc Read-Only Memory，CD-ROM）、任何其他光學媒體、打孔卡片（punch card）、紙帶、任何其他具有孔圖案的實體媒體、隨機存取記憶體（random access memory，RAM）、可程式化唯讀記憶體（programmable read-only memory，PROM）、及可抹除可程式化唯讀記憶體（erasable programmable read-only memory，EPROM）、快閃-可抹除可程式化唯讀記憶體（FLASH erasable programmable read-only memory，FLASH-EPROM）、任何其他記憶體晶片或記憶體匣、或上面儲存有可由處理器執行的指令的任何其他媒體。
可至少部分地在可攜式元件上實作本揭露的一些實施例。本文所述的「可攜式元件」及/或「行動元件」指代任何能夠接收無線訊號的可攜式或可移動電子元件，包括但不限於多媒體播放機、通訊元件、計算元件、導航元件等。因此，行動元件包括（但不限於）用戶設備（user equipment，UE）、膝上型電腦、平板電腦、可攜式數位助理（portable digital assistant，PDA）、mp3播放機、手持個人電腦（personal computer，PC）、即時傳訊元件（instant messaging device，IMD）、蜂巢式電話、全球導航衛星系統（global navigational satellite system，GNSS）接收器、手錶、或任何可隨身穿戴及/或攜帶的此種元件。
如此項技術中具有通常知識者根據本揭露應理解，可在積體電路（integrated circuit，IC）（亦被稱為微晶片、矽晶片、電腦晶片、或僅僅稱為「晶片」）中實作本揭露的各種實施例。此種積體電路可為例如寬頻及/或基頻數據機晶片。
儘管已闡述了若干實施例，然而應理解，在不背離本揭露的範圍的條件下可作出各種潤飾。因而，對此項技術中具有通常知識者而言將顯而易見的是，本揭露並非僅限於本文所述任意實施例，而是具有僅由隨附申請專利範圍及其等效範圍界定的範圍。附錄：實驗驗證 A . 級聯訓練 表A-II. 以組14、級別3進行的級聯訓練與傳統訓練之間的比較
在表A-II中，將根據本揭露的經級聯訓練的卷積神經網路的峰值訊號對雜訊比/結構相似性量度與來自VDSR的具有未監督的權重初始化的未經級聯訓練的卷積神經網路進行比較。可看出在相同的網路架構的條件下，經級聯訓練的超級解析度卷積神經網路的峰值訊號對雜訊比/結構相似性量度明顯比非級聯訓練的情況更佳。
圖11是示出根據本揭露實施例的經級聯訓練的卷積神經網路的收斂速度與未經級聯訓練的卷積神經網路的收斂速度之間的對比的示例圖。發現經級聯訓練的超級解析度卷積神經網路相較於未經級聯訓練的超級解析度卷積神經網路而言收斂得更快。經級聯訓練的超級解析度卷積神經網路的準確度在使用更多層時持續提高。此表明級聯網路訓練亦訓練越來越深的超級解析度卷積神經網路。級聯網路訓練在準確度與收斂速度二者方面相較於傳統訓練而言效能更佳。
在表A-III中，以級別3來將根據本揭露的經級聯訓練的超級解析度卷積神經網路-13的參數的數目、峰值訊號對雜訊比、結構相似性量度、及每一影像的時間與已知超級解析度網路進行比較。 表A-III. 以組14、級別3進行的級聯訓練與現有網路的比較 B. 級聯網路修整
表A-IV示出經級聯修整的經級聯訓練的超級解析度卷積神經網路（在所述網路中對13個層中的4個層進行了修整）達成了與未經級聯修整的經級聯訓練的超級解析度卷積神經網路相似的效能，但是網路大小減小了20%。根據本揭露的級聯網路修整亦應用於另一網路，即，快速超級解析度卷積神經網路（fast super resolution convolutional neural network，FSRCNN）（參見「董等人2016b」）。此網路由7個卷積層以及一個反卷積層組成。與以上根據本揭露實施例對經級聯訓練的超級解析度卷積神經網路進行修整相似，在每一階段中亦對快速超級解析度卷積神經網路的2個層進行修整。表A-IV示出根據本揭露的網路級聯修整對快速超級解析度卷積神經網路亦有效。 表A-IV. 以組14、級別3進行的對經級聯修整網路的評估
在修整速率與準確度之間存在折衷。若只對2個層（第7層及第8層）進行修整，則幾乎不存在準確度損失，同時移除30%的參數。若對全部8個層進行修整（經級聯修整的快速超級解析度卷積神經網路8層，修整8個層），則相較於官方模型（快速超級解析度卷積神經網路官方簡化版本）而言準確度仍較佳，且具有較小的網路大小（3,400個參數相較於3,900個參數）。C. 擴張卷積
表A-V示出擴張13層經級聯訓練的超級解析度卷積神經網路的實驗結果。對第一個9 ´ 9層、第二個5 ´ 5層、及最後一個5 ´ 5層應用擴張。轉而，利用5 ´ 5 2擴張卷積層、3 ´ 3 2擴張卷積層、及3 ´ 3 2擴張卷積層。可看出經級聯訓練的超級解析度卷積神經網路的擴張版本可達成與未擴張版本相似的峰值訊號對雜訊比/結構相似性量度，但是網路大小明顯減小。 表A-V. 以組14、級別3進行的對擴張經級聯訓練的超級解析度卷積神經網路的評估
110、120、130、140、150、205、210、220、230、240、250、255、505、510、520、530、540、550、565、1050、1060‧‧‧步驟
310‧‧‧第一卷積神經網路的頂部
410‧‧‧第一層/1擴張層
413‧‧‧第二層/1擴張層
415‧‧‧第三層/最後的32個5´ 5濾波器層
710‧‧‧濾波器
720‧‧‧權重/切片
900‧‧‧裝置
910‧‧‧處理器
920‧‧‧非暫時性電腦可讀取媒體
結合附圖閱讀以下詳細說明，本揭露的某些實施例的以上及其他態樣、特徵、及優點將更顯而易見，在所述附圖中： 圖1示出根據一個實施例的用於構建經級聯訓練的超級解析度卷積神經網路（cascade trained super resolution convolutional neural network，CT-SRCNN）的方法的示例性方塊圖。 圖2示出根據一個實施例的級聯訓練的示例圖。 圖3A及圖3B示出現有的訓練方法與根據實施例的級聯訓練之間的一些差異。 圖4A及圖4B示出分別在根據本揭露實施例的級聯訓練之後的起始卷積神經網路及末尾卷積神經網路。 圖5示出根據本揭露實施例的級聯網路修整的示例圖。 圖6A及圖6B示出根據本揭露實施例，網路修整方法之間的一些差異。 圖7示出根據本揭露實施例的執行濾波器修整的示例圖。 圖8A及圖8B分別示出根據本揭露實施例的擴張卷積與傳統卷積之間的一些差異。 圖9示出根據一個實施例的本發明裝置的示例圖。 圖10示出根據一個實施例的用於對本發明裝置進行製造及測試的示例性流程圖。 圖11是示出本揭露的附錄中所論述的實驗中的根據本揭露實施例的經級聯訓練的卷積神經網路的收斂速度與未經級聯訓練的卷積神經網路的收斂速度之間的對比的示例圖。

Claims (26)

  1. 一種產生卷積神經網路（CNN）的方法，包括： 訓練具有三或更多個層的卷積神經網路；以及 對經訓練的所述卷積神經網路執行級聯訓練，以在所述卷積神經網路中插入一或多個中間層直至訓練誤差小於閾值， 其中所述級聯訓練包括具有一或多個階段的級聯訓練迭代過程，其中所述級聯訓練迭代過程的所述階段中的每一階段包括： 訓練當前卷積神經網路； 判斷所述訓練誤差是否收斂；以及 若所述訓練誤差收斂，則 在所述當前卷積神經網路中插入預設數目的中間層，所述中間層中的每一者的權重被設定成預定設定值；以及 開始所述級聯訓練迭代過程的新階段。
  2. 如申請專利範圍第1項所述的方法，其中所述級聯訓練迭代過程的所述階段中的每一階段更包括： 若所述訓練誤差不收斂，則判斷所述訓練誤差是否小於所述閾值； 若所述訓練誤差小於所述閾值，則輸出所述當前卷積神經網路作為經級聯訓練的卷積神經網路；以及 若所述訓練誤差不小於所述閾值，則開始所述級聯訓練迭代過程的新階段。
  3. 如申請專利範圍第2項所述的方法，其中所述中間層中的每一者的所述權重是使用平均值為零且具有標準差s 的高斯分佈來隨機地初始化。
  4. 如申請專利範圍第1項所述的方法，其中所述卷積神經網路是用於處理影像或視訊中的至少其中之一的超級解析度卷積神經網路（SRCNN）。
  5. 如申請專利範圍第1項所述的方法，更包括： 在執行所述級聯訓練之後，執行級聯網路修整。
  6. 如申請專利範圍第5項所述的方法，其中級聯網路修整包括具有一或多個階段的級聯網路修整迭代過程，其中所述級聯網路修整迭代過程的所述階段中的每一階段包括： 藉由減小所述一或多個中間層處的濾波器的維度來修整所述當前卷積神經網路的設定數目的層； 判斷所述訓練誤差是否收斂；以及 若所述訓練誤差收斂，則判斷是否所述當前卷積神經網路的所有所述層均已經過修整； 若所述當前卷積神經網路的所有所述層均已經過修整，則輸出所述當前卷積神經網路作為經網路修整的卷積神經網路；以及 若並非所述當前卷積神經網路的所有所述層均已經過修整，則開始所述級聯網路修整迭代過程的新階段。
  7. 如申請專利範圍第6項所述的方法，其中所述級聯網路修整迭代過程更包括： 若所述訓練誤差不收斂，則在所述級聯網路修整迭代過程的其中所述訓練誤差最後出現收斂的階段處輸出所述卷積神經網路。
  8. 如申請專利範圍第1項所述的方法，其中所述級聯訓練是使用擴張卷積濾波器來執行。
  9. 一種產生卷積神經網路（CNN）的方法，包括： 訓練具有三或更多個層的卷積神經網路；以及 執行經訓練的所述卷積神經網路的級聯網路修整， 其中所述級聯網路修整包括具有一或多個階段的級聯網路修整迭代過程，其中所述級聯網路修整迭代過程的所述階段中的每一階段包括： 藉由減小一或多個中間層處的濾波器的維度來修整當前卷積神經網路的設定數目的層； 判斷訓練誤差是否收斂；以及 若所述訓練誤差收斂，則判斷是否所述當前卷積神經網路的所有所述層均已經過修整； 若所述當前卷積神經網路的所有所述層均已經過修整，則輸出所述當前卷積神經網路作為經網路修整的卷積神經網路；以及 若並非所述當前卷積神經網路的所有所述層均已經過修整，則開始所述級聯網路修整迭代過程的新階段。
  10. 如申請專利範圍第9項所述的方法，其中所述級聯網路修整迭代過程更包括： 若所述訓練誤差不收斂，則在所述級聯網路修整迭代過程的其中所述訓練誤差最後出現收斂的階段處輸出所述卷積神經網路。
  11. 如申請專利範圍第9項所述的方法，其中所述級聯網路修整迭代過程的所述階段中的每一階段更包括： 在判斷所述訓練誤差是否收斂之前進行微調。
  12. 如申請專利範圍第9項所述的方法，其中修整所述當前卷積神經網路的所述設定數目的層包括： 對於每一層，修整不滿足特定標準的濾波器。
  13. 如申請專利範圍第12項所述的方法，其中所述特定標準包括相對重要性量度。
  14. 如申請專利範圍第9項所述的方法，其中所述卷積神經網路是用於處理影像或視訊中的至少其中之一的超級解析度卷積神經網路（SRCNN）。
  15. 如申請專利範圍第9項所述的方法，更包括： 在所述級聯網路修整之前，執行級聯訓練。
  16. 如申請專利範圍第15項所述的方法，其中所述級聯訓練包括一或多個階段的迭代過程，其中所述級聯訓練迭代過程的所述階段中的每一階段包括： 訓練所述當前卷積神經網路； 判斷所述訓練誤差是否收斂；以及 若所述訓練誤差收斂，則 在所述當前卷積神經網路中插入預設數目的中間層，所述中間層中的每一者的權重被設定成預定設定值；以及 開始所述級聯訓練迭代過程的新階段。
  17. 如申請專利範圍第16項所述的方法，其中所述級聯訓練迭代過程的所述階段中的每一階段更包括： 若所述訓練誤差不收斂，則判斷所述訓練誤差是否小於所述閾值； 若所述訓練誤差小於所述閾值，則輸出所述當前卷積神經網路作為經級聯訓練的卷積神經網路；以及 若所述訓練誤差不小於所述閾值，則開始所述級聯訓練迭代過程的新階段。
  18. 如申請專利範圍第16項所述的方法，其中所述中間層中的每一者的所述權重是使用平均值為零且具有標準差s 的高斯分佈來隨機地初始化。
  19. 如申請專利範圍第16項所述的方法，其中所述級聯訓練是使用擴張卷積濾波器來執行。
  20. 一種產生卷積神經網路（CNN）的裝置，包括： 一或多個非暫時性電腦可讀取媒體；以及 至少一個處理器，所述至少一個處理器在執行儲存於所述一或多個非暫時性電腦可讀取媒體上的指令時，執行以下步驟： 訓練具有三或更多個層的卷積神經網路； 對經訓練的所述卷積神經網路執行級聯訓練，以添加一或多個中間層直至訓練誤差小於閾值；以及 對由所述級聯訓練輸出的所述卷積神經網路執行網路修整。
  21. 如申請專利範圍第20項所述的裝置，其中所述級聯訓練包括具有一或多個階段的級聯訓練迭代過程，其中所述級聯訓練迭代過程的所述階段中的每一階段包括： 訓練當前卷積神經網路； 判斷所述訓練誤差是否收斂；以及 若所述訓練誤差收斂，則 在所述當前卷積神經網路中插入預設數目的中間層，所述中間層中的每一者的權重被設定成預定設定值；以及 開始所述級聯訓練迭代過程的新階段。
  22. 如申請專利範圍第20項所述的裝置，其中所述級聯訓練是使用擴張卷積濾波器來執行。
  23. 如申請專利範圍第20項所述的裝置，其中所述級聯網路修整包括具有一或多個階段的級聯網路修整迭代過程，其中所述級聯網路修整迭代過程的所述階段中的每一階段包括： 藉由減小所述一或多個中間層處的濾波器的維度來修整當前卷積神經網路的設定數目的層； 判斷所述訓練誤差是否收斂；以及 若所述訓練誤差收斂，則判斷是否所述當前卷積神經網路的所有所述層均已經過修整； 若所述當前卷積神經網路的所有所述層均已經過修整，則輸出所述當前卷積神經網路作為經網路修整的卷積神經網路；以及 若並非所述當前卷積神經網路的所有所述層均已經過修整，則開始所述級聯網路修整迭代過程的新階段。
  24. 如申請專利範圍第21項所述的裝置，其中所述卷積神經網路是用於處理影像或視訊中的至少其中之一的超級解析度卷積神經網路（SRCNN）。
  25. 一種方法，包括： 製造晶片組，所述晶片組包括： 至少一個處理器，所述至少一個處理器在執行儲存於一或多個非暫時性電腦可讀取媒體上的指令時，執行以下步驟： 訓練具有三或更多個層的卷積神經網路； 對經訓練的所述卷積神經網路執行級聯訓練，以添加一或多個中間層直至訓練誤差小於閾值；以及 對由所述級聯訓練輸出的所述卷積神經網路執行級聯網路修整；以及 所述一或多個非暫時性電腦可讀取媒體，儲存所述指令。
  26. 一種對裝置進行測試的方法，包括： 測試用於產生卷積神經網路（CNN）的裝置是否具有至少一個處理器，所述至少一個處理器在執行儲存於一或多個非暫時性電腦可讀取媒體上的指令時執行以下步驟： 訓練具有三或更多個層的卷積神經網路； 對經訓練的所述卷積神經網路執行級聯訓練，以添加一或多個中間層直至訓練誤差小於閾值；以及 對由所述級聯訓練輸出的所述卷積神經網路執行級聯網路修整； 測試用於產生所述卷積神經網路（CNN）的所述裝置是否具有儲存所述指令的所述一或多個非暫時性電腦可讀取媒體。
TW107102265A 2017-03-15 2018-01-23 設計超級解析度深度卷積神經網路的裝置及方法 TWI748041B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762471816P 2017-03-15 2017-03-15
US62/471,816 2017-03-15
US15/655,557 US10803378B2 (en) 2017-03-15 2017-07-20 System and method for designing efficient super resolution deep convolutional neural networks by cascade network training, cascade network trimming, and dilated convolutions
US15/655,557 2017-07-20

Publications (2)

Publication Number Publication Date
TW201835817A true TW201835817A (zh) 2018-10-01
TWI748041B TWI748041B (zh) 2021-12-01

Family

ID=63520141

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107102265A TWI748041B (zh) 2017-03-15 2018-01-23 設計超級解析度深度卷積神經網路的裝置及方法

Country Status (4)

Country Link
US (2) US10803378B2 (zh)
KR (1) KR102420465B1 (zh)
CN (1) CN108629736A (zh)
TW (1) TWI748041B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI769820B (zh) * 2021-05-19 2022-07-01 鴻海精密工業股份有限公司 生成對抗網路優化方法及電子設備

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10489887B2 (en) 2017-04-10 2019-11-26 Samsung Electronics Co., Ltd. System and method for deep learning image super resolution
CN106886801B (zh) 2017-04-14 2021-12-17 北京图森智途科技有限公司 一种图像语义分割方法及装置
CN107169927B (zh) * 2017-05-08 2020-03-24 京东方科技集团股份有限公司 一种图像处理系统、方法及显示装置
KR102139740B1 (ko) * 2017-06-09 2020-07-31 한국과학기술원 전자 장치 및 학습 모델 최적화 방법
US11580376B2 (en) 2017-06-09 2023-02-14 Korea Advanced Institute Of Science And Technology Electronic apparatus and method for optimizing trained model
CN109426858B (zh) * 2017-08-29 2021-04-06 京东方科技集团股份有限公司 神经网络、训练方法、图像处理方法及图像处理装置
US11250329B2 (en) 2017-10-26 2022-02-15 Nvidia Corporation Progressive modification of generative adversarial neural networks
US11263525B2 (en) * 2017-10-26 2022-03-01 Nvidia Corporation Progressive modification of neural networks
US11875260B2 (en) * 2018-02-13 2024-01-16 Adobe Inc. Reducing architectural complexity of convolutional neural networks via channel pruning
CN109389556B (zh) * 2018-09-21 2023-03-21 五邑大学 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN111046710A (zh) * 2018-10-11 2020-04-21 顾泽苍 一种导入sdl模型的图像抽出的方法
CN109325928A (zh) * 2018-10-12 2019-02-12 北京奇艺世纪科技有限公司 一种图像重建方法、装置及设备
CN109615059B (zh) * 2018-11-06 2020-12-25 海南大学 一种卷积神经网络中边缘填充和滤波器膨胀运算方法及系统
GB2579040A (en) * 2018-11-15 2020-06-10 Camlin Tech Limited Apparatus and method for creating and training artificial neural networks
CN109635812B (zh) * 2018-11-29 2019-11-08 中国科学院空间应用工程与技术中心 图像的实例分割方法及装置
CN109636721B (zh) * 2018-11-29 2023-06-23 武汉大学 基于对抗学习和注意力机制的视频超分辨率方法
CN109785249A (zh) * 2018-12-22 2019-05-21 昆明理工大学 一种基于持续性记忆密集网络的图像高效去噪方法
CN109858613B (zh) * 2019-01-22 2021-02-19 鹏城实验室 一种深度神经网络的压缩方法、系统及终端设备
CN109859106B (zh) * 2019-01-28 2022-07-05 桂林电子科技大学 一种基于自注意力的高阶融合网络的图像超分辨率重建方法
US10762393B2 (en) * 2019-01-31 2020-09-01 StradVision, Inc. Learning method and learning device for learning automatic labeling device capable of auto-labeling image of base vehicle using images of nearby vehicles, and testing method and testing device using the same
CN109949224B (zh) * 2019-02-26 2023-06-30 北京悦图遥感科技发展有限公司 一种基于深度学习的联级超分辨率重建的方法及装置
CN110009568A (zh) * 2019-04-10 2019-07-12 大连民族大学 满文图像超分辨率重建的生成器构建方法
CN109991602A (zh) * 2019-04-10 2019-07-09 中国人民解放军国防科技大学 基于深度残差网络的isar图像分辨率增强方法
US11461640B2 (en) 2019-04-18 2022-10-04 International Business Machines Corporation Mitigation of conductance drift in neural network resistive processing units
CN113906435A (zh) * 2019-04-23 2022-01-07 巴黎欧莱雅 基于卷积神经网络的标志跟踪器
CN109996085B (zh) * 2019-04-30 2021-05-14 北京金山云网络技术有限公司 模型训练方法、图像处理方法、装置及电子设备
CN110136062B (zh) * 2019-05-10 2020-11-03 武汉大学 一种联合语义分割的超分辨率重建方法
CN112308200B (zh) * 2019-07-30 2024-04-26 华为技术有限公司 神经网络的搜索方法及装置
CN110599452B (zh) * 2019-08-07 2022-02-22 全球能源互联网研究院有限公司 锈迹检测系统、方法、计算机设备及可读存储介质
KR20210050684A (ko) 2019-10-29 2021-05-10 에스케이하이닉스 주식회사 이미지 처리 시스템
US11488007B2 (en) 2019-12-06 2022-11-01 International Business Machines Corporation Building of custom convolution filter for a neural network using an automated evolutionary process
CN111178499B (zh) * 2019-12-10 2022-06-07 西安交通大学 一种基于生成对抗网络改进的医学图像超分辨率方法
CN111079698A (zh) * 2019-12-30 2020-04-28 杭州小马智趣科技有限公司 一种七巧板玩具识别的方法和装置
CN111461990B (zh) * 2020-04-03 2022-03-18 华中科技大学 一种基于深度学习分步实现超分辨成像的方法
KR102393629B1 (ko) 2020-04-29 2022-05-02 연세대학교 산학협력단 다중 디콘볼루션 레이어를 갖는 인공 신경망을 이용하는 이미지 업스케일링 장치 및 이의 디콘볼루션 레이어 다중화 방법
CN111767799A (zh) * 2020-06-01 2020-10-13 重庆大学 一种改进的Faster R-CNN隧道环境下行人目标检测算法
CN111696043A (zh) * 2020-06-10 2020-09-22 上海理工大学 一种三维fsrcnn的高光谱图像超分辨率重建算法
CN111932456B (zh) * 2020-07-31 2023-05-16 浙江师范大学 一种基于生成对抗网络的单幅图像超分辨率重建方法
US11908103B2 (en) * 2020-08-14 2024-02-20 Tencent America LLC Multi-scale-factor image super resolution with micro-structured masks
US11842260B2 (en) * 2020-09-25 2023-12-12 International Business Machines Corporation Incremental and decentralized model pruning in federated machine learning
CN112257528B (zh) * 2020-10-12 2023-07-18 南京工业大学 一种基于小波变换和密集连接扩张卷积神经网络的风电齿轮箱故障诊断方法
CN112669216B (zh) * 2021-01-05 2022-04-22 华南理工大学 一种基于联邦学习的并行空洞新结构的超分辨率重构网络
CN112767280B (zh) * 2021-02-01 2022-06-14 福州大学 一种基于循环迭代机制的单幅图像雨滴去除方法
KR20220129995A (ko) 2021-03-17 2022-09-26 주식회사 에스아이에이 딥러닝 기반 초해상도 이미징 방법
CN113189879B (zh) * 2021-05-10 2022-07-15 中国科学技术大学 控制策略的确定方法及装置、存储介质及电子设备
CN113743591B (zh) * 2021-09-14 2023-12-26 北京邮电大学 一种自动化剪枝卷积神经网络的方法及其系统
WO2023104158A1 (en) * 2021-12-09 2023-06-15 Dolby Laboratories Licensing Corporation Method for neural network training with multiple supervisors
CN114626952A (zh) * 2022-01-28 2022-06-14 海南大学 一种新颖的鱼体形态学特征精准测量方法
WO2023220892A1 (en) * 2022-05-16 2023-11-23 Intel Corporation Expanded neural network training layers for convolution
KR102624934B1 (ko) * 2022-05-18 2024-01-15 국민대학교산학협력단 딥러닝 모델 구축의 효율성 향상을 위한 이미지 초해상화 기반 선택적 레이블링 장치 및 방법
CN115993611B (zh) * 2023-03-22 2023-06-20 清华大学 一种基于瞬态信号超分辨网络的非视域成像方法及装置
CN116859830B (zh) * 2023-03-27 2024-01-26 福建天甫电子材料有限公司 用于电子级氟化铵生产的生产管理控制系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7499588B2 (en) 2004-05-20 2009-03-03 Microsoft Corporation Low resolution OCR for camera acquired documents
US20070112701A1 (en) * 2005-08-15 2007-05-17 Microsoft Corporation Optimization of cascaded classifiers
DE102007001026B4 (de) 2007-01-02 2008-09-04 Siemens Ag Verfahren zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems
US9613450B2 (en) * 2011-05-03 2017-04-04 Microsoft Technology Licensing, Llc Photo-realistic synthesis of three dimensional animation with facial features synchronized with speech
CN102722712B (zh) 2012-01-02 2014-04-16 西安电子科技大学 基于连续度的多尺度高分辨图像目标检测方法
CN103679185B (zh) 2012-08-31 2017-06-16 富士通株式会社 卷积神经网络分类器系统、其训练方法、分类方法和用途
CN103279933B (zh) 2013-06-07 2016-10-26 重庆大学 一种基于双层模型的单幅图像超分辨率重建方法
EP3017403A2 (en) * 2013-07-01 2016-05-11 Agent Video Intelligence Ltd. System and method for abnormality detection
US9730643B2 (en) * 2013-10-17 2017-08-15 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
JP6236296B2 (ja) 2013-11-14 2017-11-22 株式会社デンソーアイティーラボラトリ 学習装置、学習プログラム、及び学習方法
DE102015002367A1 (de) * 2014-03-02 2015-09-03 Gabriele Trinkel Sichere Übertragung von Daten und Skalierung, Regelung zur Überlastabwehr in der Cloud und Cloud Computing
CN105960657B (zh) 2014-06-17 2019-08-30 北京旷视科技有限公司 使用卷积神经网络的面部超分辨率
US10223635B2 (en) * 2015-01-22 2019-03-05 Qualcomm Incorporated Model compression and fine-tuning
EP3136293A1 (en) * 2015-08-28 2017-03-01 Thomson Licensing Method and device for processing an image of pixels, corresponding computer program product and computer readable medium
WO2017106998A1 (en) * 2015-12-21 2017-06-29 Sensetime Group Limited A method and a system for image processing
CN106204467B (zh) * 2016-06-27 2021-07-09 深圳市未来媒体技术研究院 一种基于级联残差神经网络的图像去噪方法
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法
CN106204499B (zh) 2016-07-26 2019-05-24 厦门大学 基于卷积神经网络的单幅图像去雨方法
US20180101750A1 (en) * 2016-10-11 2018-04-12 Xerox Corporation License plate recognition with low-rank, shared character classifiers
US10685285B2 (en) * 2016-11-23 2020-06-16 Microsoft Technology Licensing, Llc Mirror deep neural networks that regularize to linear networks
US20180260695A1 (en) * 2017-03-07 2018-09-13 Qualcomm Incorporated Neural network compression via weak supervision
US10147193B2 (en) * 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI769820B (zh) * 2021-05-19 2022-07-01 鴻海精密工業股份有限公司 生成對抗網路優化方法及電子設備

Also Published As

Publication number Publication date
US20200401870A1 (en) 2020-12-24
US10803378B2 (en) 2020-10-13
US11900234B2 (en) 2024-02-13
US20180268284A1 (en) 2018-09-20
CN108629736A (zh) 2018-10-09
KR20180105556A (ko) 2018-09-28
KR102420465B1 (ko) 2022-07-13
TWI748041B (zh) 2021-12-01

Similar Documents

Publication Publication Date Title
TWI748041B (zh) 設計超級解析度深度卷積神經網路的裝置及方法
US20220300819A1 (en) System and method for designing efficient super resolution deep convolutional neural networks by cascade network training, cascade network trimming, and dilated convolutions
WO2020168844A1 (en) Image processing method, apparatus, equipment, and storage medium
US11790489B2 (en) Systems and method of training networks for real-world super resolution with unknown degradations
KR102225024B1 (ko) 이미지 채움 장치 및 방법
US20200210844A1 (en) Training and application method of a multi-layer neural network model, apparatus and storage medium
US20220245510A1 (en) Multi-dimensional model shape transfer
WO2020003434A1 (ja) 機械学習方法、機械学習装置、及び機械学習プログラム
WO2023098544A1 (zh) 基于局部稀疏约束的结构化剪枝方法和装置
CN113421187B (zh) 一种超分辨率重建方法、系统、存储介质、设备
CN112184547B (zh) 红外图像的超分辨率方法及计算机可读存储介质
CN104899835A (zh) 基于盲模糊估计与锚定空间映射的图像超分辨处理方法
CN110569882B (zh) 一种图像信息分类方法及装置
CN116883545A (zh) 基于扩散模型的图片数据集扩充方法、介质及设备
WO2022213623A1 (zh) 图像生成、三维人脸模型生成的方法、装置、电子设备及存储介质
Li et al. Detail-enhanced image inpainting based on discrete wavelet transforms
KR20190081218A (ko) 컨볼루션 신경망의 하이퍼파라미터를 설정하는 방법 및 이를 수행하는 단말 장치
Suo et al. Hierarchical sparse modeling using spike and slab priors
Wang et al. Face super-resolution via hierarchical multi-scale residual fusion network
CN110427892B (zh) 基于深浅层自相关融合的cnn人脸表情特征点定位方法
Chen et al. A multi-level feature integration network for image inpainting
CN113610711A (zh) 一种单图像引导的三维表面重建方法及装置
Wang et al. Fast image super-resolution with the simplified residual network
TW202139070A (zh) 訓練網路的方法及設備
TWI818491B (zh) 用於優化圖像之方法及系統