TW201423661A - 影像處理裝置及影像處理方法 - Google Patents

Abstract

本發明之目的在於提供一種影像處理裝置及影像處理方法，可減少建立資料庫的程序，有效利用樣本影像，並且進行適合輸入影像的影像處理。本發明之影像處理裝置包含：補丁產生機構，根據輸入影像，產生用於比較的輸入補丁；變形參數推定機構，根據輸入影像，推定用於劣化變形的參數；劣化影像產生機構，使用參數並根據樣本影像，以產生劣化影像；補丁對產生機構，根據劣化影像與樣本影像，產生用於復原影像之合成的補丁對；選擇機構，根據輸入補丁，選擇用於復原影像之合成的補丁對；及合成機構，根據選擇機構所選擇的補丁對，以合成復原影像。

Description

影像處理裝置及影像處理方法

本發明係關於一種影像處理，特別是關於一種提高影像解析度的影像處理裝置及影像處理方法。

伴隨著數位影像資料的普及，處理影像資料的技術被廣泛使用。

例如，使用影像資料的影像處理裝置，因應於需求而改變影像資料的解析度(例如，參照專利文獻1)。

另一方面，使用複數攝影裝置與處理影像之影像處理裝置的遠端監控系統亦被廣泛地使用。

在這種遠端監控系統中，所拍攝的影像資料，因為攝影裝置的性能與外在因素，其解析度有時會低於必要的解析度。

超解析技術係處理這種影像資料之解析度的一種技術，特別是提高影像資料之解析度的技術。

超解析技術係如下所述的技術。

第一種超解析技術係多影像超解析技術。多影像超解析技術，係使用動畫或是連拍的複數影像資料(複數畫面)，來產生一個高解析度影像資料的 技術(例如，參照專利技術2)。如此，多影像超解析技術中，為了實現高解析度，必須具有多個影像的影像資料。因此，多影像超解析技術，並無法從一個影像資料產生高解析度影像資料。

第二種超解析技術係以樣本為基礎的超解析技術(Example-Based Super Resolution Technique)。以樣本為基礎的超解析技術，係預先根據樣本來製作資料庫，並使用該資料庫來提高一個影像資料之解析度的技術(例如，參照專利文獻3)。以樣本為基礎的超解析技術，因為使用了資料庫，而能夠實現比多影像超解析技術更高的超解析度(Super-resolution)。

就使用以樣本為基礎之超解析技術的影像處理裝置，參照圖式進行更進一步的說明。

使用以樣本為基礎之超解析技術的影像處理裝置，一般而言，包含樣本建立階段與超解析階段。

圖7係顯示包含使用以樣本為基礎之超解析技術的影像處理裝置910的影像處理系統900之構成的一例的方塊圖。

影像處理系統900，包含影像處理裝置910、樣本建立裝置920、資料庫930。

樣本建立裝置920，使用樣本影像51，製作儲存於資料庫930的資料(資料庫資料)。亦即，樣本建立裝置920，處理樣本建立階段。

參照圖8及圖9，就樣本建立裝置920及樣本建立階段進行說明。

圖8係顯示樣本建立裝置920之構成的一例的方塊圖。

圖9係用以說明樣本建立階段的圖。

樣本建立裝置920，包含訊息接受部921、劣化影像產生部922、補丁對(Patch pair)產生部923以及登錄部924。

訊息接受部921，接收用以作為樣本的高解析度影像(樣本影像51)，並將樣本影像51送至劣化影像產生部922與補丁對產生部923。

劣化影像產生部922，根據樣本影像51，產生解析度降低的低解析度影像(劣化影像52)。劣化影像產生部922，如圖9所示，亦可產生多個劣化影像52。劣化影像產生部922，並將劣化影像52送至補丁對產生部923。

補丁對產生部923，從樣本影像51，裁切出既定範圍的影像(高解析補丁511)。接著，補丁對產生部923，再從劣化影像52裁切出與所裁切之高解析補丁511對應的影像(低解析補丁521)。補丁對產生部923，產生將高解析補丁511與低解析補丁521組合的補丁對531。補丁對產生部923將補丁對531送至登錄部924。

登錄部924將補丁對531儲存於資料庫930。

回到參照圖7的說明。

資料庫930，依照上述已說明之內容，儲存補丁對531。

影像處理裝置910，使用資料庫930的補丁對531，合成將輸入影像54高解析化的復原影像55。亦即，影像處理裝置910，處理高解析階段。

參照圖10及圖11，說明影像處理裝置910及高解析階段。

圖10係顯示影像處理裝置910之構成的一例的方塊圖。

圖11係用以說明高解析階段的圖。

影像處理裝置910，包含補丁產生部911、選擇部912、合成部913。

補丁產生部911接收輸入影像54。接著，補丁產生部911，根據輸入影像54，產生用以與補丁對531之低解析補丁521比較的補丁(輸入補丁541)。補丁產生部911將所產生的輸入補丁541送至選擇部912。

選擇部912，根據輸入補丁541，選擇資料庫930的補丁對531。更具體而言，選擇部912，例如以下述所說明的方式運作。選擇部912，計算出輸入補丁541與補丁對531中所有低解析補丁521的相似度。接著，選擇部912，選擇包含最類似之低解析補丁521的補丁對531。所選擇之補丁對531的高解析補丁511，成為用來合成的補丁(復原補丁551)。

選擇部912，選擇與所有輸入補丁541對應的補丁對531，並將所選擇的補丁對531通知合成部913。

合成部913，將所通知的補丁對531之高解析補丁511作為復原補丁551使用，以合成復原影像55。

【先行技術文獻】 【專利文獻】

【專利文獻1】日本特開2011-081476

【專利文獻2】日本特開2009-181508

【專利文獻3】日本特開2011-170456

上述影像處理系統900中，於樣本建立階段之中，產生包含低解析補 丁521與高解析補丁511的補丁對531，並將補丁對531儲存於資料庫930。

然而，輸入影像54成為低解析度的主要原因不僅有一個，而是有多個原因。更進一步，有些情況係多個原因組合而發生。再者，有些情況各原因的組合中，其影響程度不同。因此，影像處理系統900中，必須製作預想多種情況的劣化影像52，並將該等影像儲存於資料庫930。

亦即，上述影像處理系統900中，資料庫930需要很大的容量，且必須耗費很大的工程來建立資料庫930，此為一問題點。

有鑑於此，專利文獻3所記載的技術，為了減少資料庫的容量，不儲存高解析補丁511，而是對低解析補丁521施予既定的內插濾波(Interpolation Filtering)，並選出代表影像加以儲存。並且，專利文獻3所記載的技術，使用代表影像的內插(內插濾波)，以合成高解析度影像。

如此，專利文獻3所記載的技術，可減少資料庫容量，並合成適用於內插濾波的復原影像55。

然而，有些樣本影像51其低解析度影像52的相似度高，但彼此相似度卻低。此情況下，本發明之影像處理系統900，可使用樣本影像51或是包含樣本影像51之資訊的補丁對531，合成適用的復原影像55。

然而，專利文獻3中所記載的技術，並未儲存有與代表影像所未包含之低解析度影像52對應的樣本影像51相關的資訊。亦即，專利文獻3所記載的技術，無法有效使用樣本影像51，此為其問題。

另外，輸入影像54的劣化狀態會有所變化。因此，適用於輸入影像54的影像處理並非固定，此外，亦無法預先設定。

然而，上述專利文獻3所記載的技術，係在製作代表影像時，設定內 插濾波的參數。因此，專利文獻3所記載的技術，無法適用於輸入影像54之處理，此為其問題。

本發明之目的，係解決上述問題點，而提供一種影像處理裝置及影像處理方法，其可減少資料庫的建立程序、有效利用樣本影像51，且實現適用於輸入影像54的影像處理。

本發明之影像處理裝置包含：補丁產生機構，根據輸入影像，產生用於比較的輸入補丁；變形參數推定機構，根據輸入影像，推定用於劣化變形的參數；劣化影像產生機構，使用該參數，根據樣本影像產生劣化影像；補丁對產生機構，根據該劣化影像與該樣本影像，產生用於復原影像之合成的補丁對；選擇機構，根據該輸入補丁，選擇用於復原影像之合成的補丁對；及合成機構，根據該選擇機構所選擇的補丁對，以合成復原影像。

本發明之影像處理方法，係根據輸入影像，產生用於比較的輸入補丁；根據輸入影像，推定劣化變形所使用的參數；使用該參數並根據樣本影像，以產生劣化影像；根據該劣化影像與該樣本影像，產生用於復原影像之合成的補丁對；根據該輸入補丁，選擇用於復原影像之合成的補丁對；根據該選擇機構所選擇的補丁對，以合成復原影像。

本發明之電腦程式產品，使電腦執行下述處理：根據輸入影像，產生用於比較的輸入補丁的處理；根據輸入影像，推定劣化變形所使用之參數的處理；使用該參數並根據樣本影像，以產生劣化影像的處理；根據該劣化影像與該樣本影像，產生用於復原影像之合成的補丁對的處理；根據該輸入補丁，選擇用於復原影像之合成的補丁對的處理；及根據該選擇機構所選擇的補丁對，以合成復原影像的處理。

根據本發明，可減少建立資料庫的程序，有效利用樣本影像，並進行 適合輸入影像的影像處理。

10‧‧‧影像處理裝置

11‧‧‧影像處理裝置

20‧‧‧樣本建立裝置

30‧‧‧資料庫

40‧‧‧影像處理系統

51‧‧‧樣本影像

52‧‧‧劣化影像

54‧‧‧輸入影像

55‧‧‧復原影像

60‧‧‧影像處理裝置

110‧‧‧補丁產生部

120‧‧‧選擇部

130‧‧‧合成部

140‧‧‧變形參數推定部

150‧‧‧劣化影像產生部

160‧‧‧補丁對產生部

170‧‧‧評價部

210‧‧‧訊息接受部

220‧‧‧影像加工部

230‧‧‧登錄部

511‧‧‧高解析補丁

521‧‧‧低解析補丁

531‧‧‧補丁對

541‧‧‧輸入補丁

551‧‧‧復原補丁

610‧‧‧中央處理器

620‧‧‧唯讀記憶體

630‧‧‧隨機存取記憶體

640‧‧‧內部記憶裝置

650‧‧‧輸入輸出單元

660‧‧‧輸入設備

670‧‧‧表示設備

680‧‧‧網路介面卡

700‧‧‧記憶媒體

900‧‧‧影像處理系統

910‧‧‧影像處理裝置

911‧‧‧補丁產生部

912‧‧‧選擇部

913‧‧‧合成部

920‧‧‧樣本建立裝置

921‧‧‧訊息接受部

922‧‧‧劣化影像產生部

923‧‧‧補丁對產生部

924‧‧‧登錄部

930‧‧‧資料庫

【圖1】圖1係顯示包含本發明中的第1實施態樣之影像處理裝置的影像處理系統之一例的方塊圖。

【圖2】圖2係顯示圖1所示的影像處理系統所包含的樣本建立裝置之構成的一例的方塊圖。

【圖3】圖3係顯示第1實施態樣之影像處理裝置之構成的一例的方塊圖。

【圖4】圖4係用以說明第1實施態樣之影像處理裝置之動作的圖。

【圖5】圖5係顯示第1實施態樣之影像處理裝置的另一構成之一例的方塊圖。

【圖6】圖6係顯示第2實施態樣之影像處理裝置之構成之一例的方塊圖。

【圖7】圖7係顯示一般影像處理系統之構成的一例的方塊圖。

【圖8】圖8係顯示一般樣本建立裝置之構成的一例的方塊圖。

【圖9】圖9係用以說明樣本建立階段的圖。

【圖10】圖10係顯示一般影像處理裝置之構成的一例的方塊圖。

【圖11】圖11係用以說明超解析階段的圖。

接著，就本發明之實施態樣參照圖式進行說明。

又，各圖式係用以說明本發明之實施態樣。因此，本發明並不限於各圖式之記載。另外，對於各圖式中相同的構成附上相同編號，且有時省略其重複說明。

(第1實施態樣)

圖1係顯示包含本發明中的第1實施態樣之影像處理裝置10的影像處理系統40之構成的一例的方塊圖。

影像處理系統40，包含影像處理裝置10、樣本建立裝置20、資料庫30。

本實施態樣之影像處理裝置10，使用資料庫30，以合成與輸入影像54對應的復原影像55。

然而，如後述之更詳細的說明，影像處理裝置10，並非使用補丁對531，而是使用樣本影像51作為資料庫30的資料。

因此，影像處理系統40，亦可不包含樣本建立裝置20。此情況下，影像處理系統40，只要預先從圖中未顯示的裝置接收樣本影像51，並將該資料儲存於資料庫30即可。

然而，影像處理系統40，亦可在對樣本影像51實施既定的前處理之後，再將樣本影像51儲存於資料庫30。此處，前處理並未特別限制，例如可將樣本影像51中不要的部分刪除，或亦可將影像格式或形狀規格化(Normalization)。或是，亦可為對未以影像處理裝置10處理的影像所進行的劣化處理。

因此，樣本建立裝置20，進行樣本影像51的前處理，並將處理結束的樣本影像51儲存於資料庫30。

圖2係顯示樣本建立裝置20之構成的一例的方塊圖。

樣本建立裝置20，包含訊息接受部210、影像加工部220、登錄部230。

訊息接受部210，從圖中未顯示的裝置接收樣本影像51。訊息接受部 210，將樣本影像51送至影像加工部220。

影像加工部220，對樣本影像51進行既定的前處理(加工)。影像加工部220，將加工後的樣本影像51送至登錄部230。

登錄部230，將加工後的樣本影像51登錄於資料庫30。

又，樣本建立裝置20並不需要對所有的樣本影像51進行相同的加工。例如，樣本建立裝置20，亦可對既定範圍的樣本影像51進行加工，而不對其他的樣本影像51進行加工。另外，樣本建立裝置20，亦可在多種加工處理間切換。

或是，圖中未顯示的影像處理系統40的管理裝置，亦可經由樣本建立裝置20將樣本影像51的一部分儲存於資料庫30，且不經由樣本建立裝置20，將其他的樣本影像51儲存於資料庫30。

以下，將樣本建立裝置20所加工的樣本影像51及未加工的樣本影像51合併稱為樣本影像51。

回到參照圖1的說明。

資料庫30，儲存影像處理裝置10在高解析階段所使用的資料。

如上述所說明，資料庫30，係接收樣本影像51並儲存樣本影像51，而非補丁對531。亦即，影像處理裝置10所使用的資料庫30，不需要儲存與劣化處理對應的補丁對531。

如此，在建立資料庫30時，不需要製作補丁對531，故本實施態樣的影像處理裝置10，可減少建立資料庫30的程序。

更進一步，因為不須將補丁對531儲存於資料庫30，本實施態樣的影像處理裝置10，與一般使用以樣本為基礎的超解析技術的資料庫930相比，可減少資料庫30所需的容量。

又，有些樣本影像51係與隱私相關之影像。因此，資料庫30，亦可將樣本影像51加密之後加以儲存。更進一步，資料庫30，為了減少容量，亦可在將樣本影像51進行可逆壓縮之後加以儲存。

又，樣本建立裝置20，亦可將樣本影像51的加密或是可逆壓縮作為前處理。

接著，參照圖式，說明本實施態樣的影像處理裝置10。

圖3係顯示影像處理裝置10之構成的一例的方塊圖。

圖4係用以說明影像處理裝置10的動作(超解析階段)的圖。

影像處理裝置10，使用樣本影像51，合成與輸入影像54對應的復原影像55。

因此，影像處理裝置10，包含補丁產生部110、選擇部120、合成部130、變形參數推定部140、劣化影像產生部150、補丁對產生部160。

補丁產生部110，根據輸入影像54，產生處理單元、即補丁(輸入補丁541)。補丁產生部110，將輸入補丁541送至選擇部120。

變形參數推定部140，根據輸入影像54，推定用於劣化影像產生部150之劣化處理(劣化變形)的參數，並將其送至劣化影像產生部150。

劣化影像產生部150，使用接收的參數，根據資料庫30所儲存的樣本 影像51，產生劣化影像52。亦即，本實施態樣的劣化影像產生部150，可產生適用於輸入影像54的劣化影像52。

又，劣化影像產生部150，亦可不直接使用接收的參數，而是在將參數改變後加以使用。例如，劣化影像產生部150，可產生使用所接收之參數的劣化影像52，亦可產生使用在既定範圍變化之參數的劣化影像52。又，劣化影像產生部150，較宜使用複數之變化的參數，來產生劣化影像52。

另外，劣化影像產生部150的劣化處理(劣化變形)，並未特別限制。劣化影像產生部150，亦可使用模糊、縮小、偏差、明度(value)改變、光度(luminance)改變、頻率成分去除或是姿態變化(旋轉、傾斜)來作為劣化處理。

例如，劣化影像產生部150，亦可使用最近相鄰內插法(nearest neighbor interpolation)、雙線性內插法(bilinear interpolation)或是雙三次內插法(bi-cubic interpolation)。另外，劣化影像產生部150，亦可去除樣本影像51的高頻成分(提高模糊強度)，來產生劣化影像52。另外，劣化影像產生部150，亦可使樣本影像51的姿態變化，來產生劣化影像52。另外，劣化影像產生部150，亦可使樣本影像51的光度值減少(降低明度)，來產生劣化影像52。另外，劣化影像產生部150，亦可以固定間隔擷取樣本影像51的資料，以作為縮小處理(該縮小處理亦稱為次取樣(sub-sampling))。另外，劣化影像產生部150，亦可改變從樣本影像51擷取資料的位置以作為偏差(特別是微小偏差)，來產生劣化影像52。

又，劣化影像產生部150，較宜使用多種劣化處理，來產生多個劣化影像52。此情況下，劣化影像產生部150，可接收共用的參數，亦可接收用於各種劣化變形的參數，以作為多種劣化變形的參數。

另外，劣化影像產生部150，亦可使用一般影像處理之設計。例如，許多圖形處理單元(GPU；Graphics Processing Unit)被開發用來進行影像處理。圖形處理單元係使用並列處理來進行高速影像處理。因此，在劣化影像產 生部150中，將圖形處理單元用於產生劣化影像52，可縮短產生劣化影像52的處理時間。

另外，劣化影像產生部150，不需要將產生劣化影像52時所使用的劣化變形限定於1種。劣化影像產生部150，亦可使用多種劣化變形，來製作劣化影像52。

劣化影像產生部150，將劣化影像52送至補丁對產生部160。

又，從變形參數推定部140送至劣化影像產生部150的資料，並不需要限於用以劣化變形的參數。

例如，變形參數推定部140，亦可根據輸入影像54，推定適當的劣化變形，並將「與劣化影像產生部150所實施的劣化變形相關的資訊」，通知劣化影像產生部150。

或是，例如，變形參數推定部140，亦可解析輸入影像54所包含之影子之影響的狀態，並將較不會受到影子影響的劣化變形資訊，通知劣化影像產生部150。此情況下，劣化影像產生部150，只要使用較不會受到影子影響的劣化變形來產生劣化影像52即可。

或是，變形參數推定部140，亦可解析映寫於輸入影像54中之物體的特性，並將所解析之物體的資訊，通知劣化影像產生部150。此情況下，劣化影像產生部150，只要使用與物體對應的劣化變形來產生劣化影像52即可。

例如，在横向書寫的文章較多的情況，劣化影像產生部150，亦可使用儲存横向關係的劣化變形。另外，在縱向書寫的文章較多的情況，劣化影像產生部150，亦可使用儲存縱向關係的劣化變形。

或是，變形參數推定部140，亦可判斷作為目的之目標物以外的物體，並根據該判斷的結果來推定參數。

以下，包含所實施的劣化變形，對參數進行說明。

又，輸入影像54並不限於獨立的影像。例如，輸入影像54，亦可為較大之影像的一部分。此情況下，輸入影像54，至少在周圍的一部分有其他物體的影像。劣化影像產生部150，若使用周圍有其他影像的輸入影像54來產生劣化影像52，則會有輸入影像54之周圍影像的顏色滲出至劣化影像52內側的情況。因此，變形參數推定部140，亦可將輸入影像54周圍的顏色作為參數來進行通知。劣化影像產生部150，根據樣本影像51來製作劣化影像52時，產生適用所接收之周圍顏色的劣化影像52。

補丁對產生部160，產生補丁對531，該補丁對531包含：樣本影像51的高解析補丁511；以及與樣本影像51對應之劣化影像52的低解析補丁521的組合。補丁對產生部160，對於樣本影像51的所有高解析補丁511，產生補丁對531。另外，補丁對產生部160，對於與樣本影像51對應的所有劣化影像52的低解析補丁521，產生補丁對531。

又，本實施態樣的補丁對產生部160，只要製作與所有樣本影像51對應的補丁對531即可。然而，補丁對產生部160，例如，亦可根據與輸入影像54相關的資訊，來選擇產生補丁對531的樣本影像51。

如上述所說明，劣化影像產生部150，產生適合輸入影像54的劣化影像52。因此，本實施態樣的補丁對產生部160，可產生包含適合輸入影像54之低解析補丁521的補丁對531。

補丁對產生部160，將補丁對531送至選擇部120。

選擇部120，選擇與來自補丁產生部110的輸入補丁541對應的補丁對 531。補丁對產生部160，產生適合輸入影像54的補丁對531。因此，選擇部120，可選擇適合輸入影像54的補丁對531。

又，本實施態樣的選擇部120，對於補丁對531的選擇並無特別限制。例如，選擇部120，亦可根據補丁之間的光度的相似度，選擇補丁對531。作為光度的相似度，選擇部120，亦可使用例如：補丁畫素之光度差的平方和，或是畫素之光度差的絶對值之和。或是，選擇部120，在將補丁作為向量資料之情況中，亦可根據向量之間的角度，選擇補丁對531。

選擇部120，將所選擇的補丁對531送至合成部130。

合成部130，根據接收的補丁對531，合成復原影像55。選擇部120，選擇適合輸入影像54的補丁對531。因此，合成部130，可合成適合輸入影像54的復原影像55。

又，以上的說明中，係以影像處理裝置10的各構成元件，將製成的資料送至下一構成元件的方式進行說明。然而，本實施態樣的影像處理裝置10的構成並不限於此。

例如，影像處理裝置10，亦可包含圖中未顯示的記憶部。此情況下，影像處理裝置10的各構成，亦可將所產生的資料儲存於記憶部。接著，影像處理裝置10的各構成元件，亦可從記憶部讀取必要的資料。

如此，本實施態樣的影像處理裝置10，可減少建立資料庫30的程序，有效利用樣本影像51，並進行適合輸入影像54的影像處理。

其理由如下。

影像處理裝置10，儲存作為資料庫30之資料的樣本影像51，並在超解析階段中使用。

資料庫30，只要儲存樣本影像51。因此，影像處理裝置10，可減少製作儲存於資料庫30之資料的程序。

另外，影像處理裝置10，在復原影像55的合成中，根據樣本影像51來產生劣化影像52。因此，影像處理裝置10可有效利用樣本影像51。

更進一步，影像處理裝置10的變形參數推定部140，將適合輸入影像54的劣化變形，通知劣化影像產生部150。因此，影像處理裝置10，可合成適合輸入影像54的復原影像55。

<變化實施例>

影像處理裝置10的構成並不僅限於上述說明。

例如，影像處理裝置10，亦可包含資料庫30。

另外，影像處理裝置10，亦可將各構成元件分為多個構成元件。例如，變形參數推定部140，亦可被分為與各變形對應的構成元件。

另外，影像處理裝置10，亦可將多個構成元件合成一個構成元件。例如，劣化影像產生部150與補丁對產生部160，亦可改成從樣本影像51產生補丁對531的單一構成元件。

更進一步，亦可以包含下述元件的電腦來實現本實施態樣的影像處理裝置10：中央處理器(CPU；Central Processing Unit)、唯讀記憶體(ROM；Read Only Memory)、隨機存取記憶體(RAM；Random Access Memory)、輸入輸出單元(IO；Input/Output unit)、網路介面電路或是網路介面卡(NIC；Network Interface Circuit或是Network interface Card)。

圖5係本實施態樣的另一構成、即影像處理裝置60之構成的一例的方 塊圖。

影像處理裝置60，包含中央處理器610、唯讀記憶體620、隨機存取記憶體630、內部記憶裝置640、輸入輸出單元650、輸入設備660、顯示設備670、網路介面卡680，上述元件構成一電腦。

中央處理器610，從唯讀記憶體620或是內部記憶裝置640讀取程式。接著，中央處理器610，根據讀入的程式，來進行在圖3的影像處理裝置10中，補丁產生部110、選擇部120、合成部130、變形參數推定部140、劣化影像產生部150、補丁對產生部160的各種功能。中央處理器610，在進行各種功能時，將隨機存取記憶體630及內部記憶裝置640作為暫時記憶體使用。另外，中央處理器610，透過輸入輸出單元650，從輸入設備660接收輸入資料，並將資料顯示於顯示設備670。另外，中央處理器610，亦可將程式儲存於隨機存取記憶體630，並根據儲存於隨機存取記憶體640的程式運作。

又，中央處理器610，亦可使用圖中未顯示的記憶媒體讀取裝置，來讀入記憶媒體700所包含的程式，該記憶媒體700儲存能以電腦讀取的程式。或是，中央處理器610，亦可透過網路介面卡680，從圖中未顯示的外部裝置接收程式。

唯讀記憶體620，儲存中央處理器610所執行的程式及固定的資料。唯讀記憶體620，為例如：可程式唯讀記憶體(Programmable-ROM)或快閃唯獨記憶體(Flash ROM)。因此，唯讀記憶體620並非暫時的記憶裝置。

隨機存取記憶體630，暫時儲存中央處理器610所執行的程式及資料。隨機存取記憶體630，為例如：動態隨機存取記憶體(D-RAM；Dynamic-RAM)。因此，隨機存取記憶體630係暫時的記憶裝置。

內部記憶裝置640，儲存影像處理裝置60長期儲存的資料或是程式。 另外，內部記憶裝置640，亦可作為中央處理器610的暫時記憶裝置來運作。另外，內部記憶裝置640，亦可儲存劣化影像52或是補丁對531。內部記憶裝置640，為例如：硬碟裝置、光磁碟裝置、固態硬碟(SSD；Solid State Drive)或是硬碟陣列(Disk Array)裝置。因此，內部記憶裝置640並非暫時的記憶裝置。

又，內部記憶裝置640或是隨機存取記憶體630，亦可作為資料庫30來運作。

輸入輸出單元650，係作為中央處理器610、輸入設備660及顯示設備670之資料的媒介。輸入輸出單元650，為例如：輸入輸出單元介面卡。

輸入設備660，係接收來自影像處理裝置60的操作者所輸入之指示的輸入部。輸入設備660，可為例如：鍵盤、滑鼠或是觸控面板。

顯示設備670為影像處理裝置60的顯示部。顯示設備670，為例如：液晶面板。

網路介面卡680，透過網路即時擷取與其它裝置(例如，圖中未顯示的發送輸入影像54的裝置)的資訊。網路介面卡680為例如：區域網路(LAN；Local Area Network)卡。

這樣構成的影像處理裝置60，可得到與影像處理裝置10同樣的效果。

其理由，係因為影像處理裝置60的中央處理器610，可藉由程式來實現與影像處理裝置10同樣的動作。

(第2實施態樣)

影像處理裝置10，亦可重複以上所說明的處理。

圖6係顯示第2實施態樣的影像處理裝置11之構成的一例的方塊圖。

影像處理裝置11，除了影像處理裝置10的構成，更包含評價部170。

又，影像處理裝置11，除了與評價部170相關之構成與運作之外，皆與第1實施態樣的影像處理裝置10相同，故省略相同的構成及動作的說明。

另外，本實施態樣的影像處理裝置11，與圖3所示的影像處理裝置10相同，亦可以包含中央處理器610、唯讀記憶體620、隨機存取記憶體630的電腦來實現。

評價部170，對選擇部120所選擇之補丁對531的適合程度進行評價，並計算出作為評價結果的適合程度值(以下稱為「適合度」)。

又，評價部170用於評價的方法並未特別限制。

例如，評價部170，亦可對所選擇之補丁對531所包含的高解析補丁511(亦即復原補丁551)，與相鄰之復原補丁551的重複部分其畫素一致的程度進行評價，以計算出適合度。更進一步，評價部170，亦可將被評價為重複部分一致的復原補丁551，作為在縱向及横向上相鄰的復原補丁551，亦可作為縱向或横向其中之一的復原補丁551。另外，評價部170，對於一致的程度之分布進行評價，並算出適合度。或是，評價部170，亦可評價所選擇的補丁對531的低解析補丁521與輸入補丁541的相似度，以算出適合度。

評價部170，將評價結果(適合度)通知變形參數推定部140。

變形參數推定部140，根據評價部170的評價結果，改變參數，並將改變後的參數送至劣化影像產生部150。亦即，變形參數推定部140，可根據所選擇的補丁對531來改善參數。

劣化影像產生部150，根據改善的參數來產生劣化影像52。

補丁對產生部160，根據改善的劣化影像52來產生補丁對531。

選擇部120，從改善後的補丁對531，選擇與輸入補丁541對應的補丁對531。

合成部130，根據改善後的補丁對531，合成復原影像55。因此，合成部130可改善復原影像55。

如此，影像處理裝置11，可根據所選擇的補丁對531，改善復原影像55。

影像處理裝置11，並不需要將該處理限制於一次。影像處理裝置11，亦可在評價部170的評價結果收斂於既定範圍之前，重複該處理。另外，影像處理裝置11，亦可以既定的次數重複該處理。

變形參數推定部140，亦可使用多個評價結果來改變參數。

另外，影像處理裝置11亦可限制改善的程度。例如，變形參數推定部140，亦可將參數的改變量限定於既定範圍。改變量較大的情況，有時根據改變之改善效果會難以收斂。此情況下，影像處理裝置11，可藉由限定改變量的範圍，來改善「改善處理」的收斂狀態。

又，評價部170，除了選擇部120的選擇以外，亦可對合成部130的合成處理之狀況進行評價。例如，評價部170，亦可對補丁對531的高解析補丁511與復原補丁551的相似度進行評價。

此情況下，影像處理裝置11，除了補丁對531以外，亦可根據復原影 像55的狀態，來改善復原影像55的合成。

如此，第2實施態樣的影像處理裝置11，除了影像處理裝置11的效果以外，能夠得到可合成更適合之復原影像55的效果。

其理由如下。

影像處理裝置11，根據評價部170對於補丁對531的評價，改善補丁對531。結果，影像處理裝置11可改善復原影像55。

以上，雖參照實施態樣說明本發明，但本發明並不限定於上述實施態樣。本發明的構成及詳細內容，在本發明的範圍內，可進行本領域中具有通常知識者可理解的各種變化。

本申請案，係主張以2012年11月6日提出申請的日本申請「特願2012-244187」為基礎的優先權，並將其揭示的所有內容引用至此。

上述的實施態樣的一部分或是全部，亦可以下述附註的方式記載，但並不限於如以下所述。

(附註1)

一種影像處理裝置，包含：補丁產生機構，根據輸入影像，產生用於比較的輸入補丁；變形參數推定機構，根據輸入影像，推定用於劣化變形的參數；劣化影像產生機構，使用該參數，根據樣本影像產生劣化影像；補丁對產生機構，根據該劣化影像與該樣本影像，產生用於復原影像之合成的補丁對；選擇機構，根據該輸入補丁，選擇用於復原影像之合成的補丁對；及合成機構，根據該選擇機構所選擇的補丁對，以合成復原影像。

(附註2)

如附註1之影像處理裝置，更包含：評價機構，對該選擇部所選擇的補丁對進行評價；該變形參數推定機構，根據該評價的結果推定該參數。

(附註3)

如附註2之影像處理裝置，其中，該評價機構，評價該合成機構的結果。

(附註4)

如附註2或3之影像處理裝置，其中，在到達既定次數前，或是評價結果進入既定範圍之前，重複以該評價機構進行評價。

(附註5)

如附註1至4中任一項之影像處理裝置，其中，該變形參數推定機構，推定考量輸入影像周圍之顏色、影子及影像所包含之物體的至少一者之參數。

(附註6)

一種影像處理方法，包含以下步驟：根據輸入影像，產生用於比較的輸入補丁；根據輸入影像，推定劣化變形所使用的參數；使用該參數並根據樣本影像，以產生劣化影像；根據該劣化影像與該樣本影像，產生用於復原影像之合成的補丁對；根據該輸入補丁，選擇用於復原影像之合成的補丁對；根據該選擇機構所選擇的補丁對，以合成復原影像。

(附註7)

如附註6之影像處理方法，其中， 對該選擇的補丁對進行評價，並根據該評價結果推定該參數。

(附註8)

如附註7之影像處理方法，其中，在該評價中，對該合成的結果進行評價。

(附註9)

如附註7或8之影像處理方法，其中，在該評價達到既定次數，或是評價結果進入既定範圍之前，重複進行該評價。

(附註10)

如附註6至9中任一項之影像處理方法，其中，在該參數的推定中，推定考量輸入影像周圍的顏色、影子以及影像所包含之物體的至少一者之參數。

(附註11)

一種電腦程式產品，使電腦執行下述處理：根據輸入影像，產生用於比較之輸入補丁的處理；根據輸入影像，推定劣化變形所使用之參數的處理；使用該參數並根據樣本影像，以產生劣化影像的處理；根據該劣化影像與該樣本影像，產生用於復原影像之合成的補丁對的處理；根據該輸入補丁，選擇用於復原影像之合成的補丁對的處理；及根據該選擇機構所選擇的補丁對，以合成復原影像的處理。

(附註12)

如附註11之電腦程式產品，更使電腦執行下述處理：對該選擇之補丁對進行評價的處理；根據該評價結果推定該參數的處理。

(附註13)

如附註12之電腦程式產品，更使電腦執行下述處理：在該評價的處理中，評價該合成之結果的處理。

(附註14)

如附註12或13之電腦程式產品，其中，在該評價的處理達到既定次數，或是評價結果進入既定範圍之前，重複該評價的處理。

(附註15)

如附註11或14中任一項之電腦程式產品，更使電腦執行下述處理：在該參數的推定處理中，推定考量輸入影像周圍的顏色、影子及影像所包含之物體的至少一者之參數。

(附註16)

一種影像處理裝置，包含：劣化影像產生機構，根據輸入影像的劣化程度，從預先儲存的樣本影像產生劣化影像；選擇機構，選擇與該劣化影像的一部分對應之樣本影像的一部分，而該劣化影像與該輸入影像的一部分類似；及合成機構，根據該選擇機構所選擇之樣本影像的一部分，來合成復原影像。

(附註17)

一種影像處理方法，包含以下步驟：根據輸入影像的劣化程度，從預先儲存的樣本影像產生劣化影像；選擇與該劣化影像的一部分對應之樣本影像的一部分，而該劣化影像與該輸入影像的一部分類似；及根據該所選擇之樣本影像的一部分，來合成復原影像。

(附註18)

一種電腦程式產品，使電腦執行下述處理：根據輸入影像的劣化程度，從預先儲存的樣本影像產生劣化影像的處理；選擇與該劣化影像的一部分對應之樣本影像的一部分的處理，而該劣化影像與該輸入影像的一部分類似；及根據該所選擇之樣本影像的一部分，來合成復原影像的處理。

10‧‧‧影像處理裝置

20‧‧‧樣本建立裝置

30‧‧‧資料庫

40‧‧‧影像處理系統

51‧‧‧樣本影像

54‧‧‧輸入影像

55‧‧‧復原影像

Claims (18)

1. 一種影像處理裝置，包含：補丁產生機構，根據輸入影像，產生用於比較的輸入補丁；變形參數推定機構，根據輸入影像，推定用於劣化變形的參數；劣化影像產生機構，使用該參數，根據樣本影像產生劣化影像；補丁對產生機構，根據該劣化影像與該樣本影像，產生用於復原影像之合成的補丁對；選擇機構，根據該輸入補丁，選擇用於復原影像之合成的補丁對；及合成機構，根據該選擇機構所選擇的補丁對，以合成復原影像。
2. 如申請專利範圍第1項之影像處理裝置，其中更包含：評價機構，對該選擇部所選擇的補丁對進行評價；該變形參數推定機構，根據該評價的結果推定該參數。
3. 如申請專利範圍第2項之影像處理裝置，其中，該評價機構，評價該合成機構的結果。
4. 如申請專利範圍第2或3項之影像處理裝置，其中，在到達既定次數前，或是評價結果進入既定範圍之前，重複以該評價機構進行評價。
5. 如申請專利範圍第1至3項中任一項之影像處理裝置，其中，該變形參數推定機構，推定考量輸入影像周圍之顏色、影子及影像所包含之物體的至少一者之參數。
6. 一種影像處理方法，包含以下步驟：根據輸入影像，產生用於比較的輸入補丁；根據輸入影像，推定劣化變形所使用的參數；使用該參數並根據樣本影像，以產生劣化影像；根據該劣化影像與該樣本影像，產生用於復原影像之合成的補丁對；根據該輸入補丁，選擇用於復原影像之合成的補丁對；根據該選擇機構所選擇的補丁對，以合成復原影像。
7. 如申請專利範圍第6項之影像處理方法，其中，對該選擇的補丁對進行評價，並根據該評價結果推定該參數。
8. 如申請專利範圍第7項之影像處理方法，其中， 在該評價中，對該合成的結果進行評價。
9. 如申請專利範圍第7或8項之影像處理方法，其中，在該評價達到既定次數，或是評價結果進入既定範圍之前，重複進行該評價。
10. 如申請專利範圍第6至8項中任一項之影像處理方法，其中，在該參數的推定中，推定考量輸入影像周圍的顏色、影子以及影像所包含之物體的至少一者之參數。
11. 一種電腦程式產品，使電腦執行下述處理：根據輸入影像，產生用於比較之輸入補丁的處理；根據輸入影像，推定劣化變形所使用之參數的處理；使用該參數並根據樣本影像，以產生劣化影像的處理；根據該劣化影像與該樣本影像，產生用於復原影像之合成的補丁對的處理；根據該輸入補丁，選擇用於復原影像之合成的補丁對的處理；及根據該選擇機構所選擇的補丁對，以合成復原影像的處理。
12. 如申請專利範圍第11項之電腦程式產品，更使電腦執行下述處理：對該選擇之補丁對進行評價的處理；根據該評價結果推定該參數的處理。
13. 如申請專利範圍第12項之電腦程式產品，更使電腦執行下述處理：在該評價的處理中，評價該合成之結果的處理。
14. 如申請專利範圍第12或13項之電腦程式產品，其中，在該評價的處理達到既定次數，或是評價結果進入既定範圍之前，重複該評價的處理。
15. 如申請專利範圍第11至13中任一項之電腦程式產品，更使電腦執行下述處理：在該參數的推定處理中，推定考量輸入影像周圍的顏色、影子及影像所包含之物體的至少一者之參數。
16. 一種影像處理裝置，包含：劣化影像產生機構，根據輸入影像的劣化程度，從預先儲存的樣本影像產生劣化影像； 選擇機構，選擇與該劣化影像的一部分對應之樣本影像的一部分，而該劣化影像與該輸入影像的一部分類似；及合成機構，根據該選擇機構所選擇之樣本影像的一部分，來合成復原影像。
17. 一種影像處理方法，包含以下步驟：根據輸入影像的劣化程度，從預先儲存的樣本影像產生劣化影像；選擇與該劣化影像的一部分對應之樣本影像的一部分，而該劣化影像與該輸入影像的一部分類似；及根據該所選擇之樣本影像的一部分，來合成復原影像。
18. 一種電腦程式產品，使電腦執行下述處理：根據輸入影像的劣化程度，從預先儲存的樣本影像產生劣化影像的處理；選擇與該劣化影像的一部分對應之樣本影像的一部分的處理，而該劣化影像與該輸入影像的一部分類似；及根據該所選擇之樣本影像的一部分，來合成復原影像的處理。