TWI622020B

TWI622020B - 使用二階區域二元圖的分群方法及疊代影像測試系統

Info

Publication number: TWI622020B
Application number: TW105131055A
Authority: TW
Inventors: 謝明得; 徐芳凱; 陳俊維; 楊得煒
Original assignee: 財團法人成大研究發展基金會; 奇景光電股份有限公司
Priority date: 2016-09-26
Filing date: 2016-09-26
Publication date: 2018-04-21
Also published as: TW201812697A

Abstract

一種使用二階區域二元圖（2SLBP）的分群方法，包含根據影像的補塊的中心次區塊與相鄰次區塊，以產生梯度方向值；量化梯度方向值，以產生量化梯度方向值；根據梯度方向值，以產生梯度強度值；量化梯度強度值，以產生量化梯度強度值；串連量化梯度方向值與量化梯度強度值，以產生二階區域二元圖值；及使用二階區域二元圖值作為指標，執行超解析度影像處理的分群。

Description

使用二階區域二元圖的分群方法及疊代影像測試系統

本發明係有關超解析度（super-resolution, SR）技術，特別是關於一種使用二階區域二元圖（two-stage local binary pattern, 2SLBP）的分群方法及疊代（iterative）影像測試系統。

高解析度顯示器快速地發展，然而，仍有很多影像擷取裝置（例如監視裝置）會產生低解析度影像。為了填補兩者之間的差距，因此提出了超解析度（SR）技術。基於樣本的超解析度（example-based super resolution）為超解析度技術的一種，其自補塊（patch）資料庫中搜尋高解析度（HR）補塊，使用取得的高解析度補塊來替換低解析度（LR）輸入影像的低解析度次區塊，因而預測出高解析度影像。

在本說明書中，“高解析度”與“低解析度”為相對的用詞。因此，高解析度影像的解析度高於低解析度影像的解析度。

為了降低補塊資料庫的大小，通常使用迴歸（regression）技術將映射函數（mapping function）的係數或描述符（descriptor）儲存於補塊資料庫，而非直接儲存高解析度補塊本身。

區域二元圖（LBP）為一種常用的描述符，其描述補塊資料庫當中補塊的區域幾何特性，用以將相同或相似視覺特性的補塊分群在一起。然而，傳統區域二元圖會產生許多的極罕發生群集（例如使用率小於全部的0.001%），因而造成儲存的浪費。因此亟需提出一種新穎的方法，用以改善分群時的缺點。

鑑於上述，本發明實施例的目的之一在於提出一種使用二階區域二元圖（2SLBP）的分群方法及疊代影像測試系統，用以減少極罕發生群集，因而避免儲存的浪費且強化超解析度影像處理的強度。

根據本發明實施例，劃分一影像為複數補塊。根據補塊的中心次區塊與相鄰次區塊，以產生梯度方向值；且量化梯度方向值，以產生量化梯度方向值。根據梯度方向值，以產生梯度強度值；且量化梯度強度值，以產生量化梯度強度值。串連量化梯度方向值與量化梯度強度值，以產生二階區域二元圖值，其作為指標以執行超解析度影像處理的分群。

根據本發明另一實施例，基於二階區域二元圖以進行超解析度影像處理的疊代影像測試系統包含內插裝置，接收低解析度的輸入影像，以產生內插像素於輸入影像的補塊當中；分群裝置，產生二階區域二元圖值作為指標；映射裝置，其儲存複數函數表，每一函數表包含複數映射函數，根據指標以取得其中一個映射函數；及預測裝置，根據所取得的映射函數，將內插像素映射至強化像素，藉以產生高解析度輸出影像。此外，含有強化像素的補塊被回饋至分群裝置、映射裝置與預測裝置至少一次，以產生更新的強化像素，因而改善輸出影像。

第一圖的流程圖顯示本發明實施例的使用二階區域二元圖（two-stage local binary pattern, 2SLBP）的分群方法100。分群方法100可對超解析度（例如基於樣本的超解析度）的影像信號執行影像處理（例如訓練與測試）。分群方法100的步驟可藉由電子電路（例如數位影像處理器）來執行，且超解析度影像處理可使用硬體、軟體或其組合來實施。

於步驟11，欲進行分群的影像被劃分為預設大小（例如7x7）的補塊（patch）。第二A圖例示大小為7x7的補塊。第二A圖還顯示了中心次區塊21（例如大小為3x3），其中心像素211位於補塊的中央。

於步驟12，產生梯度（gradient）方向值。在一實施例中，產生相鄰次區塊與中心次區塊21之間的平均差值，以代表相鄰次區塊與中心次區塊21之間的梯度方向。首先，計算相鄰次區塊的平均值，且計算中心次區塊21的平均值。接著，相鄰次區塊的平均值減去中心次區塊21的平均值，以產生平均差值。在一實施例中，則是產生相鄰次區塊與中心次區塊21之間的加權（weighted）平均差值。

第二B圖更顯示了相鄰次區塊22（其大小為3x3），其中心像素221位於中心次區塊21的中上方。相鄰次區塊22與中心次區塊21之間的平均差值以箭號來表示，用以表示該二次區塊22與21之間的梯度方向。

對於其他方向（例如右上、右、右下、中下、左下、左及左上），重複前述步驟22，直到所有方向或者預定方向數已達到（步驟13）。第二C圖更顯示了相鄰次區塊23（其大小為3x3），其中心像素231位於中心次區塊21的右上方。相鄰次區塊23與中心次區塊21之間的平均差值以箭號來表示，用以表示該二次區塊23與21之間的梯度方向。

於步驟14，將步驟12所產生的平均差值予以量化（quantize），以產生區域多梯度位準圖（local multi-gradient level pattern, LMGP）值，或稱為量化梯度方向值。例如，將八個相鄰次區塊與中心次區塊21之間的平均差值予以量化，因而產生八位元數值。在一實施例中，平均差值被量化為0、1或2的三個量化位準其中之一，因而形成三進位（ternary）數值。平均差值及其量化可表示為如下：其中w _o、w _c及w _i為權重，P _o為相鄰次區塊22/23的像素值，P _c為中心次區塊21的像素值，且θ為預設臨界值。

第三A圖例示中心次區塊21與相鄰次區塊22/23的平均差值。第三B圖顯示各梯度的相應平均差值，其中臨界值θ為30。第三C圖顯示各梯度的相應量化平均差值。所產生的區域多梯度位準圖（LMGP）值可表示成三進位數值01200100，相當於十進位數值1224。

於步驟15，產生梯度強度值（gradient magnitude value）以表示相鄰次區塊22/23與中心次區塊21之間的梯度強度。在一實施例中，產生平均差值的均方根（root mean square, RMS）值，亦即計算平均差值的平方（square）的數學平均值（arithmetic mean）再取其平方根（square root）。

於步驟16，將步驟15所得到的平均差值的均方根（RMS）值（亦即，梯度強度值）予以量化，以產生量化梯度強度值。在一實施例中，平均差值的均方根（RMS）值及其量化可表示為如下：其中p _k為相鄰次區塊22/23的平均值，p _c為中心次區塊21的平均值，且Ψ ₁、Ψ ₂、Ψ _T-1為預設臨界值。

於步驟17，將步驟14（亦即，第一階段）所產生的區域多梯度位準圖（LMGP）值與步驟16（亦即，第二階段）所產生的量化梯度強度值（C _M）予以串連（concatenate）或結合（join），以產生二階區域二元圖（two-stage local binary pattern, 2SLBP）值。在一實施例中，量化梯度強度值（C _M）的位元較區域多梯度位準圖（LMGP）值的位元具有較高的有效性（significance）。步驟17所產生的二階區域二元圖（2SLBP）值，可於執行超解析度（SR）影像處理（例如訓練與測試）的分群（步驟18）時作為指標（index）。

根據前述的分群方法100，由於梯度方向與梯度強度係分別產生與量化，因此使用所產生的指標以執行分群時，較傳統方法更為強韌。例如，相較於傳統方法，本實施例的分群方法100所產生的極罕發生群集（例如使用率小於全部的0.001%）可有效降低，因而避免儲存的浪費且強化超解析度影像處理的強度。

第四圖的方塊圖顯示本發明實施例基於二階區域二元圖（2SLBP）以進行超解析度（SR）影像處理的疊代影像測試系統400。疊代影像測試系統400的方塊可使用硬體、軟體或其組合來實施。

在本實施例中，疊代影像測試系統400可包含內插裝置41，其接收低解析度（LR）輸入影像，以產生內插像素於補塊（例如大小為7x7）當中。內插裝置41可使用適當的內插方法，例如雙三次（Bicubic）內插法。接著，分群裝置42基於二階區域二元圖（2SLBP），對含有內插像素的補塊執行第一圖所示的步驟，以產生指標。

在一實施例中，分群裝置42於進行分群之前，先對含有內插像素的補塊進行常態化（normalization）。例如，將補塊的像素值減去補塊平均值以執行亮度（luminance）常態化。

疊代影像測試系統400還可包含映射裝置43，其包含複數函數表，每一函數表包含複數映射函數，其通常係以矩陣係數形式儲存於映射裝置43的記憶體裝置。值得注意的是，映射函數係由基於二階區域二元圖（2SLBP）的影像訓練系統（未顯示於圖式）所提供。影像訓練系統可由傳統技術來實施，因此不予贅述。根據分群裝置42所產生的指標，取得所提供的複數映射函數當中的其中一個。

疊代影像測試系統400更可包含預測（prediction）裝置44，其根據（映射裝置43）所取得的映射函數，將（內插裝置41所產生的）內插像素映射至強化像素。因此，強化像素與補塊的其他像素形成高解析度（HR）輸出影像。值得注意的是，根據本實施例，欲進行分群的像素係由內插裝置41予以預先內插（pre-interpolate），因此內插像素的影像品質係被預測裝置44強化（enhance），而非被增大比例（scale up）。

如果補塊於分群之前執行過常態化（例如亮度常態化），則高解析度（HR）輸出影像的補塊必須進行去常態化（de-normalize），亦即常態化的逆向動作。例如，將補塊平均值加至高解析度（HR）輸出影像的補塊的像素值。

根據本實施例的特徵，含有強化像素的補塊可重複（或疊代）地受影像訓練系統（未顯示於圖式）的處理，以提供包含複數映射函數的更新函數表。如第四圖所示，含有強化像素的補塊被回饋至分群裝置42、映射裝置43與預測裝置44，以產生更新的強化像素，因而改善高解析度（HR）輸出影像。本實施例可重複執行預設次數，每一次會相應有改善的更新函數表。於實務上，由於影像訓練系統通常為離線（offline）作業，而疊代影像測試系統400則為線上（online）作業，該些更新函數表可整個的儲存於映射裝置43的記憶體裝置中，於每一次重複執行時使用相應的更新函數表。

以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。

100 分群方法 11 劃分影像為補塊 12 產生平均差值 13 檢視所有方向已達到 14 量化平均差值以產生區域多梯度位準圖值 15 產生平均差值的均方根值 16 量化均方根值 17 產生二階區域二元圖值 18 執行分群 21 中心次區塊 211 中心像素 22 相鄰次區塊 221 中心像素 23 相鄰次區塊 231 中心像素 400 疊代影像測試系統 41 內插裝置 42 分群裝置 43 映射裝置 44 預測裝置

第一圖的流程圖顯示本發明實施例的使用二階區域二元圖（2SLBP）的分群方法。第二A圖至第二C圖顯示於相鄰次區塊與中心次區塊之間產生平均差值。第三A圖例示中心次區塊與相鄰次區塊的平均差值。第三B圖顯示各梯度的相應平均差值。第三C圖顯示各梯度的相應量化平均差值。第四圖的方塊圖顯示本發明實施例基於二階區域二元圖（2SLBP）以進行超解析度（SR）影像處理的疊代影像測試系統。

Claims

一種使用二階區域二元圖的分群方法，包含：劃分一影像為複數補塊；根據該補塊的中心次區塊與相鄰次區塊，以產生梯度方向值；量化該梯度方向值，以產生量化梯度方向值；根據該梯度方向值，以產生梯度強度值；量化該梯度強度值，以產生量化梯度強度值；串連該量化梯度方向值與該量化梯度強度值，以產生二階區域二元圖值；及使用該二階區域二元圖值作為指標，執行超解析度影像處理的分群；其中該梯度方向值的產生包含以下步驟：產生該中心次區塊與一方向上的相鄰次區塊之間的平均差值；及於其他方向重複執行前一步驟以分別產生平均差值。
根據申請專利範圍第1項所述使用二階區域二元圖的分群方法，其中所有方向的該些平均差值分別予以量化至三個量化位準的其中之一，以產生三進位數值。
根據申請專利範圍第2項所述使用二階區域二元圖的分群方法，其中該梯度強度值的產生包含以下步驟：產生所有方向的該些平均差值的均方根值，以形成該梯度強度值。
根據申請專利範圍第1項所述使用二階區域二元圖的分群方法，其中該量化梯度強度值的位元較該量化梯度方向值的位元具有較高的有效性。
一種使用二階區域二元圖的疊代影像測試系統，包含：內插裝置，接收低解析度的輸入影像，以產生內插像素於該輸入影像的補塊當中；分群裝置，執行以下步驟：根據該補塊的中心次區塊與相鄰次區塊，以產生梯度方向值；量化該梯度方向值，以產生量化梯度方向值；根據該梯度方向值，以產生梯度強度值；量化該梯度強度值，以產生量化梯度強度值；及串連該量化梯度方向值與該量化梯度強度值，以產生二階區域二元圖值，作為指標；映射裝置，其儲存複數函數表，每一函數表包含複數映射函數，根據該指標以取得其中一個映射函數；及預測裝置，根據所取得的該映射函數，將該內插像素映射至強化像素，藉以產生高解析度輸出影像；其中該梯度方向值的產生包含以下步驟：產生該中心次區塊與一方向上的相鄰次區塊之間的平均差值；及於其他方向重複執行前一步驟以分別產生平均差值。
根據申請專利範圍第5項所述使用二階區域二元圖的疊代影像測試系統，其中所有方向的該些平均差值分別予以量化至三個量化位準的其中之一，以產生三進位數值。
根據申請專利範圍第6項所述使用二階區域二元圖的疊代影像測試系統，其中該梯度強度值的產生包含以下步驟：產生所有方向的該些平均差值的均方根值，以形成該梯度強度值。
根據申請專利範圍第5項所述使用二階區域二元圖的疊代影像測試系統，其中該量化梯度強度值的位元較該量化梯度方向值的位元具有較高的有效性。
根據申請專利範圍第5項所述使用二階區域二元圖的疊代影像測試系統，其中該分群裝置於處理含有內插像素的該補塊前，先對該補塊進行常態化。
根據申請專利範圍第9項所述使用二階區域二元圖的疊代影像測試系統，其中該輸出影像的補塊進行去常態化。
根據申請專利範圍第5項所述使用二階區域二元圖的疊代影像測試系統，其中含有強化像素的該補塊被回饋至該分群裝置、該映射裝置與該預測裝置至少一次，以產生更新的強化像素，因而改善該輸出影像。
根據申請專利範圍第11項所述使用二階區域二元圖的疊代影像測試系統，其中含有強化像素的該補塊每一次被回饋至該分群裝置、該映射裝置與該預測裝置時，係使用儲存於該映射裝置的相應更新函數表。