TW202335481A - 用於處理影像資料的影像處理器單元及方法 - Google Patents

Abstract

本發明係關於一種用於處理影像感測器(4)的影像資料(IMGRAW)的方法，其中影像資料包含每影像的原始像素矩陣，其特徵在於： a) 啟動耦接至影像感測器(4)的機械致動器(6)，以致使影像感測器(4)的振動運動； b) 當機械致動器(6)啟動時擷取影像的叢訊； c) 將所擷取影像(IMGRAW)的叢訊的原始像素矩陣對準至一個特定對準；以及 d) 藉由使用可用於所得影像(IMGFIN)的矩陣中每一像素位置的原始矩陣的複數個像素，組合影像(IMGRAW)的叢訊以達成所得影像(IMGFIN)。

Description

用於處理影像資料的影像處理器單元及方法

本發明係關於一種用於處理影像感測器的影像資料的方法，其中影像資料包含每影像的原始像素矩陣，亦即，原始影像資料。

本發明進一步係關於一種用於處理藉由影像感測器所提供的原始影像資料的影像處理器單元，該影像感測器包含提供每影像的原始像素矩陣的感測器陣列。

此外，本發明係關於一種經佈置以執行前述方法的步驟的電腦程式。

數位成像器廣泛用於日常的消費型產品，諸如智慧型手機、平板電腦、筆記型電腦、攝影機、小汽車以及隨身產品。使用小型成像感測器正成為維持輕型產品的小形狀因數並且降低生產成本的一種趨勢。甚至當使用具有大量百萬像素的成像感測器時，通常使用濾色器陣列(colour filter array, CFA)(諸如，普通的Bayer(拜耳)濾色器陣列)來降低成本。使用濾色器陣列限制或降低了空間解析度，因為全色彩影像是經由色彩通道的內插(去馬賽克)而生成。

數位變焦是達成以下各項的普通特徵：變焦至影像中的感興趣區域(region of interest, ROI)，將其擴大至較大尺寸(甚至大至全感測器尺寸)，或修整掉感興趣區域外部的內容。數位變焦通常比藉由使用光學透鏡單元的光學變焦便宜，因為數位變焦是經由影像處理而操作的，不是經由複雜的光機透鏡系統。然而，不同於光學變焦，數位變焦並不總是生成高品質影像。數位變焦的品質及可達成的放大進一步受限於前述解析度限制因數，特別是小的感測器尺寸及濾色器陣列的使用。因此，以任意放大達成高品質變焦、克服成像系統解析度限制因數，並且擴大真實光學解析度是非常期望的特徵，這些特徵會使所討論的成像產品的消費者感到滿意。

經由在單個影像中內插感興趣區域(ROI)的數位變焦的品質及可達成的放大因數是有限的。在生成變焦的感興趣區域時使用來自多個圖框的資訊可導致顯著較好的影像品質(image quality, IQ)。多圖框超解析(Multi-frame super-resolution, MFSR)是用於提高空間解析度以及增強影像中詳情的已知成功方法。這種方法依賴於熔合多個子像素的位移後圖框以生成較高解析度圖框，因此是數位變焦的適當選項。

B. Wronski、I. Garcia-Dorado、M. Ernst、D. Kelly、M. Krainin、C. Liang、M. Levoy以及P. Milanfar的「Handheld multi-frame super-resolution (手持式多圖框超解析)」(ACM Trans.Graph.，第38卷，第4期，藝術，2019年7月28日)揭了一種多圖框超解析MFSR，其中子像素尺寸中藉由正常手部搖動或手部震顫所位移的原始圖框的叢訊經熔合以生成較高解析度圖框。這受限於Bayer濾色器陣列，並且僅依賴於手部震顫，而手部震顫並不足以以任意放大因數生成變焦後影像，尤其當感測器濾色器陣列具有色彩通道的較稀疏取樣時，諸如，Hexadeca Bayer CFA及RGBW CFA (RGBW = 紅色-綠色-藍色-白色)。完整的RGB影像是直接自濾色器陣列原始影像的叢訊創建，其中獲取的原始圖框的叢訊具有歸因於自然手部震顫的小幅偏移。然後，這些圖框經對準及合併以形成在每一個像素位點具有紅色、綠色以及藍色值的單個影像。原始影像去馬賽克替換了多圖框超解析演算法。

N. El.-Yamany及P. Papamichalis的「Robust color image superresolution: An Adaptive M-Estimation Framework」(EURASIP Journal on Image and Video Processing，第2008期，藝術，第763254期，2008年)揭示了一種用於穩健的色彩影像超解析的適應性M-估計框架，其在目標函數的資料保真度項中使用穩健的誤差範數，並且使估計程序適應低解析度圖框中的每一者及色彩分量中的每一者。這在並未使用正則化的情況下導致起皺詳情的色彩超解析影像，並且無假影。

N. El-Yamany、P. Papamichalis及M. Christensen的「Adaptive framework for robust high-resolution image reconstruction in multiplexed computational imaging architectures」(Applied Optics，第47卷，第10期，2008年4月1日，第B117-B126頁)揭示了一種用於在多工計算成像架構中穩健地重構高解析度影像的適應性演算法。

P. Vandewalle、K. Krichane、D. Alleyson以及S. Süsstrunk的「Joint demosaicing and super-resolution imaging from a set of unregistered aliased images」(Proceedings Volume 6502, Digital Photograph III, Electronic Imaging, 2007)呈現了一種自藉由濾色器陣列所取樣的原始影像的集合共同地執行去馬賽克及超解析的演算法。組合的方法允許在引入內插假影之前計算原始攝影機資料的影像之間的對準參數。在輸入影像之間，存在一些可建模為平面運動的小幅未知運動。對Bayer濾色器陣列影像上的低頻資訊使用頻域法來估計運動。對於輸入中的每一者而言，亮度與色度是獨立的。獨立地計算較高解析度亮度及色度影像。組合該等較高解析度亮度及色度影像以形成較高解析度色彩影像。

S. Farsiu、M. Elad、P. Milanfar的「Multi-frame demosaicing and super-resolution of color images」(IEEE Transactions on Image Processing，第15卷，第1期，第141至159頁，2006年1月)揭示了一種藉由最小化多項成本函數的基於最大後驗(maximum a posteriori, MAP)估計技術的超解析及去馬賽克的混合方法。判定高解析度影像的投射及估計與每一低解析度影像之間的差異。移除資料中的離群值及歸因於可能不準確的運動估計的誤差。雙邊正則化用於在空間上正則化亮度分量以改善邊緣的清晰度，以及迫使沿著邊緣內插而並不穿過。

S. Farsiu、M. Elad、P. Milanfar：「Multi-Frame Demosaicing and Super-Resolution from Under-Sampled Color Images」(Proc. of SPIE，The International Society for Optical Engineering，2004年5月)解釋了具有相對運動的低解析度影像的集合的熔合，導致對16個Bayer圖案低解析度影像的實例的高解析度影像。藉由使用高解析度影像的最大可能性估計，例如Bayer濾色後的低解析度影像熔合在一起，使解析度在每一方向上增大4倍。這是全部低解析度影像的位移和疊加。高解析度影像中色彩分佈的圖案並非必須遵循原生Bayer圖案，而是視低解析度影像的相對運動而定。真實世界低解析度影像的視野逐圖框而不同，以使得紅色、綠色，以及藍色像素的中心及邊界圖案在所得的高解析度影像中有所不同。

本發明的目標在於提供用於處理影像感測器的影像資料的改善方法及影像處理器單元。

該目標係藉由以下各項來達成：包含如請求項1所述之特徵的方法、包含如請求項11所述之特徵的影像處理器單元，以及包含如請求項13所述之特徵的電腦程式。在從屬請求項中描述了較佳實施例。

為了達成像素位置具有充分位移的影像的叢訊，方法包含以下步驟： a) 啟動耦接至影像感測器的機械致動器，以致使影像感測器的振動運動，以及 b) 當機械致動器啟動時擷取影像的叢訊。

然後，藉由以下步驟熔合影像的叢訊，例如，完整影像的圖框的叢訊： c) 將所擷取影像的叢訊的原始像素矩陣對準至一個特定對準，以及 d) 藉由使用可用於所得影像的矩陣中的每一像素位置的原始矩陣的複數個像素，組合影像的叢訊以達成所得影像。

此舉允許在數位變焦期間擴大真實光學解析度，而並不改變攝影機裝置中的現有光機透鏡系統，因此維持小的形狀因數，並且並不提高產品成本。這種方法以任意放大因數達成高品質數位變焦。並不需要受控設定。此外，並不要求所擷取的場景滿足某些約束。

啟動機械致動器具有如下效應：不論手部震顫，或除手部震顫以外，影像感測器的移動經迫使以使得相比僅藉由手部震顫來擷取感測器影像時，像素位置位移了顯著更大的距離。因此，這種方法可應用至各種濾色器陣列佈置，特別是相比Bayer CFA，相同色彩像素彼此間具有較大距離的情況。

藉由啟動手持式裝置的致動器，例如，振動器單元，作為經設置以主要用於其他目的的機械致動器，不要求用於裝置的額外硬體。振動器單元可以是例如應用於智慧型手機、平板電腦及隨身產品以用於發信目的的振動器單元。因此，可使用通常可用的現有硬體/機械品及各種攝影機產品，而無需額外成本。這些類似振動器單元的機械致動器亦不必耦接至影像感測器，以使得相對於攝影機裝置的外殼或攝影機裝置的固持框架來移動影像感測器。

因此，影像感測器自身維持其相對於影像感測器的固持框架或裝置外殼的相對位置。啟動機械致動器具有固持框架或裝置外殼連同影像感測器一起振動移動的效應。

在繼續步驟a)及d)之前，為了在機械致動器啟動時控制影像的叢訊(包括圖框)的擷取，較佳選擇待擷取影像的感興趣區域(ROI)，並且判定與藉由影像感測器所擷取的原始影像相關的區域的尺寸及放大因數。一旦選擇感興趣區域(ROI)，感興趣區域的選擇可用作步驟a)中機械致動器的自動啟動的觸發器訊號。

與原始影像或原始圖框相關的感興趣區域的尺寸及放大因數可基於藉由影像感測器所擷取的影像的已知尺寸以及完整影像的選定感興趣區域而自動地判定。放大因數是藉由影像感測器所擷取的原始影像的尺寸與待擷取影像(亦即，感興趣區域)的選定尺寸之間的關係。

選擇感興趣區域允許使用減小的記憶體容量，因為僅要求ROI緩衝器，特別是在記憶體受限的成像系統的狀況下。

機械致動器可動態地啟動，以致使藉由適應振動的強度及持續時間，致動器根據預限定或受控軌跡振動。因此，針對目標放大因數的充分數目個子像素位移可達成，同時慮及濾色器陣列佈置。由於動態的振動，影像感測器亦動態地振動。有可能程式化致動器以根據預限定軌跡振動，該預限定軌跡可經適應至相應的濾色器陣列佈置。此舉具有足以保障用於像素位置的影像的叢訊的組合的子像素位移效應，以使得對於每一像素位置而言，全部色彩資訊可自相應的濾色器陣列的原始影像資料達成。

步驟c)中的原始矩陣的對準可經執行以使得原始圖框的所擷取叢訊經對準至選定基礎圖框。藉由使用原始像素資料，在步驟d)中對準後圖框的像素資料以及基礎圖框的像素資料在原始域中熔合。

對準亦稱為影像的所擷取叢訊(例如，原始圖框)的「對位」。對準可藉由將原始圖框的叢訊對位至待變焦至的第一基礎圖框來執行。經由穩健的多圖框超解析演算法，在原始域中熔合對位後圖框以及基礎圖框的資訊，導致具有較高解析度的全色彩的變焦感興趣區域。

選擇基礎圖框作為對準的參照圖框可適應性地執行，特別是確保僅使用具有可用資訊的高品質圖框。此舉可例如藉由兩個步驟(效能性)來完成： 1) 基於圖框清晰度的估計，初始選擇用於全域運動估計的候選者圖框。可在選擇步驟中丟棄歸因於光學及/或運動模糊的模糊圖框。此舉可經由圖框中光學及/或運動模糊的量化來進行，其中： - 計算圖框或圖框ROI的梯度； - 計算邊緣像素的百分比； - 將預限定閾值施加至邊緣像素的百分比，以決定圖框用於運動估計的可用性，以及參照圖框用於多圖框熔合的可應用性。 2) 基於圖框間運動的估計，決定用於全域運動估計以及隨後多圖框熔合的圖框選擇。可在決定步驟中丟棄具有大量區域運動的圖框。此舉可經由圖框間運動的量化來進行，其中： - 例如，自運動向量場中可靠運動向量的百分比來計算圖框中可靠運動區域的百分比； - 將預限定閾值施加至可靠運動向量的百分比，以決定圖框用於運動估計的可用性，以及參照圖框用於多圖框熔合的可用性。

然後，選定感興趣區域(ROI)的穩健的多圖框超解析結果可再現或生成至使用者。因此，在步驟d)中達成的所得影像可經再現以用於藉由影像感測器所擷取的原始影像的變焦區。

步驟d) 可包括像素資料的色彩內插以及空間解析度提高的步驟。空間解析度的提高主要是熔合影像叢訊的原始像素資料的結果。

選定感興趣區域亦可以是全影像，例如，1或100%影像尺寸的放大因數。以此方式，這種方法可用以擴大兩個光學解析度，而無需執行任何數位變焦，亦即，可用作一種補償藉由傳統的濾色器陣列資料內插引入的解析度損失的去馬賽克解決方案。用於處理影像資料的方法並不要求去馬賽克的任何獨立步驟，因為步驟亦可藉由熔合原始像素資料的叢訊來執行。

原始圖框可劃分為均一成形的區域。然後，步驟c)中對準原始矩陣的步驟可在每一區域中獨立地執行。

對於全域運動模型參數估計而言，可使用完整圖框資訊，而對於區域運動模型參數估計而言，圖框可劃分成均一成形的區域，並且在每一區域中獨立地對位。

在步驟c)中，藉由使用具有最高取樣的色彩通道，例如，Bayer濾色器陣列中的G (綠色)或RGBW濾色器陣列中的W (白色)，原始矩陣可得以對準。較佳地，將具有最高取樣的色彩通道用於對位/對準程序，只要該色彩通道不飽和或非零即可。

可對低解析度網格內插低解析度圖框中的每一者的所選色彩通道，以便填充歸因於濾色器陣列取樣的缺失值。基於所選色彩通道上的資訊，圖框可經對準至低解析度網格上的選定基礎圖框。這種方法改善了影像對位/對準的準確度以及速度，因為在圖框匹配中使用最高取樣的一個色彩通道。若在濾色器陣列中存在一個以上色彩通道具有相同的最高取樣，則均可用於對準/對位的圖框匹配。

目標係藉由以下各項來進一步解決：影像處理器單元，包含如請求項11或12所述之特徵；以及電腦程式，包含當程式藉由處理單元執行時致使處理單元執行前述方法的步驟的指令。

第1圖是電子裝置1的示例性方塊圖，電子裝置1包含攝影機2及影像處理器單元3，影像處理器單元3用於處理藉由攝影機2的影像感測器4提供的原始影像資料IMG _RAW。

影像感測器4包含像素陣列，以使得原始影像IMG _RAW是每影像原始像素矩陣中的資料集。為了擷取影像中的色彩，在影像感測器4前方的光學路徑中設置濾色器陣列CFA。攝影機包含光機透鏡系統5，例如，固定的無控透鏡。

電子裝置1進一步包含機械致動器6。機械致動器6主要出於其他目的而設置於電子裝置中，例如，出於發信至使用者的目的。這是用於發信傳入新訊息或通話的智慧型手機的熟知特徵。

就這點而言，電子裝置1可以是手持式裝置，類似智慧型手機、平板電腦、 隨身產品或攝影機，等等。

影像處理器單元3經佈置以用於處理來自影像感測器4的影像資料IMG _RAW，如下文所描述，並且在擷取一個影像/圖框的叢訊的過程中強加電子裝置1 (包括影像感測器4)的運動時，控制機械致動器6以便擷取每影像/圖框的影像的叢訊(例如，圖框)。

影像處理器單元3經佈置以將所擷取影像的叢訊的像素矩陣對準至一個特定對準，並且藉由使用可用於每一像素位置的原始矩陣的複數個像素，組合影像的叢訊以達成所得影像IMG _FIN以及所得影像的矩陣。

第2圖呈現了指派至不同濾色器陣列的不同像素陣列。

在a)中，展示了指派至Bayer濾色器陣列CFA的熟知低階Bayer像素陣列。在8x8像素陣列內重複包括紅色(R)、綠色(G)以及藍色(B)像素的大量2x2塊。

在b)中，展示了6x6濾色器陣列圖案，該圖案形成與Bayer濾色器陣列圖案相比的較高階濾色器陣列圖案。6x6塊含有由相應色彩的紅色(R)、綠色(G)以及藍色(B)組成的四個3x3塊。特定色彩RGB的3x3塊是根據濾色器陣列圖案(R-G-B)中的2x2塊的色彩佈置來佈置的。

在c)中，展示了QuadBayer濾色器陣列圖案。較高階像素陣列含有呈8x8矩陣的像素，其中重複4x4塊，其中每一4x4是藉由相應色彩的R、G及B的四個2x2塊形成。相應色彩的RGB的2x2塊以較低階Bayer圖案R-G-G-B的方式佈置。

在d)中，呈現了HexaDeca濾色器陣列，該陣列是藉由8x8矩陣形成。此處，四個4x4陣列尺寸的塊經指派至相應色彩的R、G、B。相應色彩的四個塊以與a)中所展示的低階Bayer濾色器陣列圖案相同的次序佈置。

第3圖展示了用於處理影像感測器4的原始影像資料IMG _RAW的方法的流程圖，步驟如下： a) 啟動耦接至影像感測器4的機械致動器6，以致使影像感測器4的振動運動； b) 當機械致動器6啟動時擷取影像的叢訊； c) 將所擷取影像的叢訊的原始像素矩陣對準至一個特定對準；以及 d) 藉由使用可用於所得影像IMG _FIN的矩陣中的每一像素位置的原始矩陣的複數個像素，組合影像的叢訊達成所得影像IMG _FIN。

啟動機械致動器6的步驟a)可藉由選擇影像中使用者可能想要變焦至的感興趣區域ROI的前一步驟來觸發。感興趣區域ROI的選擇可簡化成放大因數的選擇。

當選擇感興趣區域ROI時，例如在屏幕上手動地選擇，程式化後的處理器有可能計算出選定感興趣區域ROI的尺寸以及目標放大因數。目標放大因數是選定感興趣區域ROI與藉由影像感測器4所提供的全影像尺寸之間的關係。當限定放大因數以及相關的感興趣區域ROI時，可慮及電子裝置1中所允許的記憶體源。

電子裝置，並且特別是影像處理器單元可以此方式佈置，以使得使用者可重複地執行感興趣區域ROI的選擇，以便變焦至逐漸變小的感興趣區域ROI。

較佳地，感興趣區域ROI及/或放大因數的選擇觸發機械致動器的啟動，亦即，用作步驟a)的觸發器訊號。

由於在步驟a)中啟動了機械致動器6的移動，使用者接收到作為請求數位變焦特徵的確認的觸覺反饋。這是因為電子裝置1的機械致動器6耦接至電子裝置1的外殼，以使得電子裝置歸因於機械致動器6的動作而振動。

由於啟動了機械致動器6的移動，電子裝置振動，從而致使影像感測器4亦振動。就這點而言，機械致動器6並非主要意欲並且直接安裝至影像感測器4以致使影像感測器4的受控移動。更確切而言，機械致動器4經安裝至電子裝置1的外殼或至框架至裝置外殼中，其中影像感測器4亦耦接至此框架或外殼。

較佳地，機械致動器6的外殼直接或間接地耦接至影像感測器4及其固持框架(例如，印刷電路板)，以使得暗示機械致動器6與影像感測器4之間沒有相對移動。驅動機械致動器6具有振動機械致動器6的固持框架的效應，包括振動裝置外殼1及影像感測器4。

在步驟a)中啟動機械致動器6之後，在機械致動器仍啟動時在步驟b)中擷取影像的叢訊。包括影像感測器4的電子裝置1的振動致使所擷取影像的子像素位移。在本發明的意義中，影像亦可理解為全影像的圖框，亦即，全影像的部分影像。

電子裝置1歸因於機械致動器6的啟動的振動的強度及持續時間可任選地經程式化以生成針對目標放大因數的足夠的子像素位移，並且慮及濾色器陣列佈置。亦有可能程式化機械致動器6以根據預限定軌跡振動。

由於機械致動器6的移動，影像感測器4亦振動，從而成像與位移後視圖相同的場景。

當影像感測器4歸因於機械致動器6所致使的振動而移動時，擷取到原始圖框感興趣區域ROI的叢訊。圖框的數目可基於機械致動器6的移動的統計分析、目標濾色器陣列佈置的對應的所產生子像素位移及子像素位移的所要求數目，以及目標放大因數而判定。

然後，將原始圖框或原始圖框感興趣區域ROI的所擷取叢訊對準(對位)至選定基礎圖框(通常，首先變焦至的圖框)，並且在原始域中熔合對位圖框及基礎圖框的資訊，從而經由穩健的多圖框超解析MFSR生成感興趣區域ROI的全色彩變焦(較高解析度)影像。

然後，可將選定感興趣區域ROI的穩健的多圖框超解析MFSR演算法的所得影像IMG _FIN再現/生成至使用者。

就這點而言，方法提供以下步驟： c) 將所擷取影像的叢訊的原始像素矩陣對準至一個特定對準；以及 d) 藉由使用可用於每一像素位置的原始矩陣的複數個像素，組合影像的叢訊以達成所得影像，以及所得影像IMG _FIN的矩陣。

稍後將解釋這些步驟c)及d)。

第4圖是圖示藉由使用者的手部7在電子裝置1的顯示器上選擇感興趣區域ROI的步驟的示意圖。

此舉致使機械致動器6的移動，亦即，觸發機械致動器6的啟動，此啟動致使電子裝置的振動並且提供觸覺反饋至使用者，如提示至首先圖示的電子裝置1的箭頭所指示。

機械致動器6的啟動具有不僅電子裝置的外殼而且影像感測器4實體地移動(例如，振動)的效應。

機械致動器6振動達充分量的時間，以允許擷取足夠的原始影像/圖框。振動的強度及持續時間可經調諧以產生針對目標變焦/放大因數的足夠的子像素移位。

第5圖是方法的步驟c)及d)的示意圖。

藉由影像感測器4所擷取的原始影像/圖框IMG _RAW1...n的叢訊包含例如紅色(R)、綠色(G)、藍色(B)以及亦可能白色(W)色彩資訊的像素矩陣。

低解析度圖框IMG _RAW1...n之間的子像素位移對於針對任意放大因數r的多圖框超解析MFSR演算法的效果至關重要。此舉要求可找出低解析度圖框IMG_i中的每一者與基礎低對位圖框IMG _{RAW 1}之間的正確位移(以及其他運動模型參數)的影像對位方法。除了要求子像素準確度以外，影像對位演算法應儘可能快，便最小化藉由影像對位及熔合的組合操作所引入的延時。

因此，提出低解析度圖框IMG _RAW1...n的對位在原始濾色器陣列域中進行，因為目的在於共同地執行色彩內插(去馬賽克)及空間解析度提高兩者。因為欠取樣的濾色器陣列空間中的對位可能無法導致所要求的準確度，所以追求以下策略，如第5圖中所指示： 1. 將具有最高取樣的色彩通道(例如，Bayer濾色器陣列中的G或RGBW濾色器陣列中的W)用於對位程序中，只要該色彩通道不飽和或非零即可。 2. 低解析度圖框IMG _RAW1...n中的每一者的所選色彩通道對低解析度網格內插，以填充歸因於濾色器陣列取樣的缺失值。基於來自所選色彩通道的資訊，將圖框對位至低解析度網格中的選定基礎圖框。這種方法改善了影像對位的準確度以及速度，因為在圖框匹配中使用了較高取樣的一個色彩通道R、G、B。若在濾色器陣列中存在一個以上色彩通道具有相同的最高取樣，則均可用於對位的圖框匹配。 3. 對於全域運動模型參數評估而言，可使用完整的圖框及資訊。對於區域運動模型參數估計而言，圖框可劃分為均一成形的區域，並且對位可在每一區域中獨立執行。

在步驟c)的對準/對位原始低解析度影像/圖框之後，在步驟d)中，穩健的適應性多圖框熔合針對每一色彩R、G、B獨立地進行。

影像對位誤差有可能歸因於所假設的運動模型、occlusion以及區域運動等等的不準確度。此外，應考慮雜訊的存在。多圖框超解析MFSR熔合應當對於此類不準確度(包括雜訊)的存在而言仍穩健，以便再現無假影及清晰的內容。

穩健的熔合可基於先前技術中已知的再發送M-估計值。為了慮及真實情形，其中全域與區域運動兩者可存在於所擷取的低解析度圖框及圖框感興趣區域ROI中，圖框可劃分為均一成形的區域。這與對位步驟中可能追求的劃分相同。超解析可如下追求為所提出成本函數的最小化： 其中 X= 未知的高解析度圖框 X _c,r = 未知高解析度圖框的色彩通道c中的區域誤差r，並且c是色彩通道及濾色器陣列的索引，例如，標準Bayer濾色器陣列中的R、G及B F _k,r = 圖框k中區域r的運動(移位)運算符；在僅全域運動模型的情況下，F _k,r= F _k,k = 1, 2, ...N，並且N是低解析度圖框/圖框感興趣區域ROI的數目 H _r = 攝影機的點擴散函數(point spread function, PSF)，該函數允許被稱為空間變數，必要時隨每區域r改變 D= 欠取樣運算符，該欠取樣運算符是目標放大運算符的倒數，並且假定針對全部圖框相同 S _c = 色彩通道c的濾色器陣列子運算符 Y _{k,c, r} = 低解析度圖框#k的色彩通道c中的區域r ρ _k,r = 低解析度圖框k中區域r的穩健的成本函數/穩健的估算符 M= 濾色器陣列圖案中色彩通道的數目 R= 圖框中區域的數目。

穩健的估算符函數 ρ _k,r中的每一者具有離群值閾值T _{k, r}，該離群值閾值基於誤差項E _{k, c, r}而動態地計算，以使得當誤差項在區域r中較小時設為高值，並且當誤差項對於區域r而言較高時設為低值，因此拒絕來自熔合結果的離群值設為高值。為了更好地理解對準原始像素矩陣及組合影像的叢訊(熔合)的步驟c)及d)，更詳細地解釋以下關鍵點： A. 原始資料的熔合相比去馬賽克後的資料的熔合

先前技術中研發及可用的多圖框超解析解決方案中的大多數依賴於全色彩(例如，全RGB)低解析度(LR)圖框的熔合，以便生成全色彩較高解析度圖框。通常經由去馬賽克在消費型攝影機中生成全色彩低解析度圖框，該去馬賽克視感測器濾色器陣列圖案及去馬賽克解決方案自身而定詳細的重構能力各不相同。欠取樣濾色器陣列資料的內插限制了MFSR中所使用的低解析度圖框中的每一者中的解析度及詳情，因此限制了所重構的高解析度(HR)圖框的最終品質。

不同於去馬賽克後的圖框的熔合，原始MFSR熔合(亦即，濾色器陣列資料空間中的熔合)會導致較高影像品質，因為濾色器陣列欠取樣已經由自多個子像素位移的低解析度圖框可得的豐富內容來補償。在這種狀況下的MFSR負責產生全色彩高解析度圖框，亦即，執行色彩內插，以及空間解析度提高。 B. MFSR的低解析度圖框的數目

限制在無控設定的情況下MFSR中可達成的放大的主要因數之一在於經熔合以產生較高解析度圖框的所擷取圖框之間沒有充分的子像素移位。手持式裝置(諸如，智慧型手機、平板電腦以及隨身產品)中的正常手部搖動(震顫)並不足以生成適合以任意放大因數(由小至大)生成變焦後影像的足夠子像素移位，尤其在色彩的濾色器陣列欠取樣的情況下。

要詳述這一點，考慮單色成像感測器。第6圖中的表格列出了高解析度網格中15個理想的整數位移(低解析度網格中的子像素位移)，以便使用MFSR來實現四倍(4x)放大。

此第6圖展示了具有R-G-B色彩的4x4像素矩陣的集合的拜耳濾色器陣列圖案。

第6圖進一步展示了基於針對15個理想的整數位移(亦即，具有索引編號1至15的圖框)藉由Bayer濾色器陣列圖案所擷取的原始影像，對原始高解析度網格重取樣低解析度圖框之後的所得圖案。

對於每一像素位置而言，藉由此像素位置的圖框索引編號來共同指示所得色彩R、G、B，此意指高解析度網格中的特定移位。

低解析度(low-resolution, LR)圖框#1沒有移位，並且選定為參照圖框。所有其他LR圖框#2至#16經對準(對位)至此參照圖框#1。其他圖框#2至#16中的每一者相對於參照LR圖框#1具有其自身的特定移位。這些移位在X(水平)及Y(豎直)方向上指示，如表格中所描繪。

任選地，參照圖框可適應性地選擇。特別地，選擇可經處理以確保僅使用具有可用資訊的高品質圖框。

對高解析度網格重取樣低解析度圖框，其中低解析度網格中相鄰像素之間的4個像素的間隙放大4倍。藉由使用粗線周界，此針對圖框#1的R-G-G-B像素突出顯示。16個移位覆蓋4x4像素塊中全部的必要位移，以便在單色狀況下實現4倍放大。因此，放大4倍後的16x16高解析度圖框的每一像素位置係藉由4x4低解析度網格的樣本來填充。

因此，藉由位移及疊加全部低解析度影像，Bayer濾色後的低解析度影像熔合在一起，使解析度在每一方向上增大4倍，如在S. Farsiu、M. Elad、P. Milanfar的「Multi-Frame Demosaicing and Super-Resolution from Under-Sampled Color Images」(Proc. of SPIE - The International Society for Optical Engineering，2004年5月)中所描述。

因為每一低解析度圖框呈平面濾色器陣列原始格式，左上角的起始像素可以是色器陣列的色彩中的任何者，亦即，在本實例中，R、G或B，並且並非R。高解析度影像中色彩分佈的所得圖案未必遵循原生Bayer圖案，而是視低解析度影像的相對運動而定。真實世界低解析度影像的視野逐圖框而不同，以使得紅色、綠色，以及藍色像素的中心及邊界圖案在所得的高解析度影像中有所不同。

例如，圖框#3在對準之後在藍色色彩的樣本位置B3處具有起始左上像素，並且圖框在(水平) X方向上移位2並且在(豎直) Y方向上移位0。左上樣本B3看起來與圖框#2的左上樣本R2相鄰。

低解析度網格中藉由歸因於機械致動器的振動所引起的子像素位移與高解析度網格中的像素位移相關如下。對於M倍放大而言，要求1/M像素準確度。因此，低解析度圖框的X方向及Y方向上相對於選定參照圖框的移位必須是所定義的子像素準確度(亦即，1/M)的倍數。對於4x放大而言，要求估計具有0.25像素準確度的低解析度圖框之間的移位。對於2x放大而言，需要具有0.5像素準確度。

基於對應的移位，對濾色器陣列低解析度圖框重取樣成放大的(例如，4x4)高解析度網格，並且每一圖框左上角具有其自身的色彩樣本。此在第6圖的表格中指示了實例。

很明瞭，在重取樣高解析度網格中的原始資料之後，資料經稀疏地分佈，並且遠離原生對稱的Bayer圖案。在冗餘的低解析度圖框的狀況下，一些位置將具有比其他位置多的色彩樣本。因此，高解析度圖框的重構在空間上不會具有一致的影像品質。

第7圖展示了較少樣本可用於填充高解析度網格的實例。在此實例中，缺失圖框索引編號9及14，因為在所得的重取樣高解析度圖案中缺失相關像素資料R9、G9、B9、R14、G14、B14。

因此，所得的重構品質將低於第6圖中所展示的情形。此藉由矩陣圖案中的空白指示。

對於成功地克服了濾色器陣列色彩欠取樣並且以任意放大因數r擴大真實光學解析度的高品質MFSR重構而言，較佳低解析度網格中的低解析度圖框具有充分數目個子像素位移，以使得原始高解析度網格將藉由可用於每一位置的更多色彩樣本密集地充填(填充)。

原始的濾色器陣列資料在高解析度網格中經色彩欠取樣。例如，對於Bayer圖案而言，對於每一位置，僅一個色彩樣本可用於高解析度網格中的每一位置。對於完美的超解析結果而言，高解析度網格上的每一位置期望至少三個色彩樣本R、G及B。與第6圖中的單色情形相比，16個移位並不充分。

第8圖展示了在Bayer濾色器陣列圖案中具有兩倍放大的實例，其中紅色通道R具有15個理想的(x, y)位移，並且在其他色彩通道中相對應，其中R_i及B_i分別是圖框#i的紅色及藍色通道樣本，並且圖框#1在此實例中是基礎低解析度圖框。藉由第8圖的表格中列出的那些位移，紅色、綠色及藍色樣本可用於高解析度網格中的每一位置中，從而實現高品質色彩內插以及空間解析度提高。此針對在x、y方向上的4x4矩陣而指示。

在實例中， 對於每一X移位、Y移位而言，三個圖框視為在低解析度網格的左上起始點處具有不同的色彩。此經列出以用於第8圖中的表格b)的紅色(R)通道(X, Y)位移及相關R/B通道。

第9圖呈現了針對四倍放大的36個理想的x, y位移的表格。同樣，列出像素在x及y方向上的位移數目，並且指派至圖框編號#1...36。

第10圖圖示具有第9圖的36個理想的x, y位移的Bayer濾色器陣列圖案中四倍放大的實例。顯而易見，對於高解析度網格中的每一樣本而言，四個樣本為可用的，其中色彩R、G及B中的每一者以樣本的集合表示。

因此，很明顯，對於高品質的基於MFSR的數位變焦或基於MFSR的去馬賽克而言，低解析度圖框的叢訊，或在低解析度網格中具有充分子像素位移的低解析度感興趣區域ROI應當是可用的。此係藉由啟動電子裝置1的機械致動器6來保護，因為正常手部搖動(震顫)並不足以在擷取原始影像/原始圖框IMG _RAW的叢訊中生成此類密集子像素分佈。

因此，藉由以正確的強度及持續時間程式化機械致動器6，所要求的子像素位移可保證存在於原始圖框IMG _RAW的叢訊中(包括原始全影像及原始圖框感興趣區域ROI)。電子裝置的所得振動在藉由目標放大因數r以及攝影機2的相應的濾色器陣列圖案所限定的區域中創建均一分佈的子像素位移。影像處理器單元可以是藉由電腦程式適當程式化的數位訊號處理器，該電腦程式包含當程式藉由影像處理單元執行時致使處理單元執行前述方法的步驟a)至d)的指令。

包括電腦程式的方法及影像處理單元可使用現有硬體，特別是機械致動器，該機械致動器在諸如智慧型手機、平板電腦以及隨身產品的各種攝影機產品中通常可用於其他目的。方法在數位變焦期間擴大真實光學解析度，而並不改變電子裝置中的現有光學透鏡系統，因此維持小的形狀因數，並且並不提高產品成本。方法以任意放大因數r達成高品質數位變焦，並且並不假設受控設定，亦不要求所擷取的場景滿足某些約束。方法應用至各種濾色器陣列佈置，其中在記憶體有限的成像系統的狀況下僅要求感興趣區域ROI緩衝器。方法可用以擴大真實光學解析度，而無需執行任何數位變焦，亦即，可用作一種補償藉由傳統的濾色器陣列資料內插引入的解析度損失的去馬賽克解決方案。

1:電子裝置 2:攝影機 3:影像處理器單 4:影像感測器 5:光機透鏡系統 6:機械致動器 7:手部 CFA:濾色器陣列 IMG _RAW:原始影像資料 IMG _FIN:所得影像 IMG _{RAW1 … n}:低解析度圖框 R:色彩 G:色彩 B:色彩 r:區域 W:色彩 X:方向 Y:方向

在下文中，藉由附圖藉助例示性實施例解釋本發明。附圖中：

第1圖- 包含攝影機、影像處理器單元以及機械致動器的電子裝置的方塊圖；

第2圖- 不同的濾色器陣列圖案的實例；

第3圖- 用於處理影像感測器的影像資料的方法的流程圖；

第4圖- 經佈置以執行用於處理影像資料的方法的手持式裝置的示意圖；

第5圖- 用於對準及組合影像的叢訊的方法步驟的示意圖；

第6圖- 對原始高解析度網格藉由Bayer濾色器陣列圖案再取樣低解析度圖框的實例；

第7圖- 在缺失圖框索引編號9及14的情況下較少樣本可用的實例；

第8圖- 以Bayer濾色器陣列的影像藉由使用用於影像處理的方法而兩倍放大的實例 ；

第9圖- 針對四倍放大的36個理想的x, y位移的表格；

第10圖- 針對具有36個理想的x, y位移的Bayer濾色器陣列圖框的四倍放大的實例。

國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無

1:電子裝置

2:攝影機

3:影像處理器單

4:影像感測器

5:光機透鏡系統

6:機械致動器

CFA:濾色器陣列

IMG_RAW:原始影像資料

IMG_FIN:所得影像

Claims (14)

1. 一種用於處理一影像感測器(4)的影像資料(IMG _RAW)的方法，其中該影像資料包含每影像的一原始像素矩陣，其特徵在於： a) 啟動耦接至該影像感測器(4)的一機械致動器(6)，以致使該影像感測器(4)的振動運動； b) 當該機械致動器(6)啟動時擷取影像的一叢訊； c) 將所擷取影像(IMG _RAW)的該叢訊的該等原始像素矩陣對準至一個特定對準；以及 d) 藉由使用可用於該所得影像(IMG _FIN)的矩陣中每一像素位置的該等原始矩陣的複數個像素，組合影像(IMG _RAW)的該叢訊以達成一所得影像(IMG _FIN)。
2. 如請求項1所述之方法，其特徵在於啟動一手持式裝置的一致動器，例如，振動器單元，作為經設置以主要用於其他目的的一機械致動器(6)。
3. 如請求項1或2所述之方法，其特徵在於在繼續該等步驟a)至d)之前，選擇一待擷取影像的一感興趣區域(ROI)，並且判定與藉由該影像感測器(4)所擷取的該原始影像(IMG _RAW)相關的該感興趣區域(ROI)的尺寸以及放大因數(r)。
4. 如請求項3所述之方法，其特徵在於該感興趣區域(ROI)的該選擇用作步驟a)中該機械致動器(6)的該啟動的一觸發器訊號。
5. 如前述請求項中一項所述之方法，其特徵在於動態地致動該機械致動器(6)以致使該影像感測器(4)根據一預限定或受控軌跡振動。
6. 如前述請求項中一項所述之方法，其特徵在於在步驟c)中對準該等原始矩陣，以使得原始影像(IMG _RAW)的所擷取叢訊經對準至一選定基礎影像，其中藉由使用該原始像素資料，在步驟d)中該對準後的相應像素矩陣的該像素資料以及該相關基礎影像的該像素資料在原始域中熔合。
7. 如請求項6所述之方法，其特徵在於藉由基於該影像的清晰度的一估計值，初始地選擇用於運動估計的候選者圖框，以及基於圖框間運動的一估計值，決定用於運動估計以及隨後用作參照圖框或對準的一圖框選擇，適應性地選擇該基礎影像，特別是該參照圖框。
8. 如前述請求項中一項所述之方法，其特徵在於再現在步驟d)中達成的該所得影像(IMG _FIN)或藉由該影像感測器所擷取的該原始影像(IMG _RAW)的一變焦區。
9. 如前述請求項中一項所述之方法，其特徵在於該步驟d)包含像素資料的色彩內插以及空間解析度的提高。
10. 如前述請求項中一項所述之方法，其特徵在於將該等原始影像(IMG _RAW)劃分成均一成形的區域，以及在步驟c)中在每一區域中獨立地對準該等原始影像(IMG _RAW)的該等原始矩陣。
11. 如前述請求項中一項所述之方法，其特徵在於藉由使用具有最高取樣的色彩通道，在步驟c中)對準該等原始矩陣。
12. 一種用於處理藉由一影像感測器(4)所提供的原始影像資料(IMG _RAW)的影像處理器單元(3)，該影像感測器(4)包含提供每影像的一原始像素矩陣的一感測器陣列，其特徵在於該影像處理器單元(3)經佈置以： a) 啟動耦接至該影像感測器(4)的一機械致動器(6)，以致使該影像感測器的振動運動； b) 當該機械致動器啟動時擷取影像(IMG _RAW1...n)的一叢訊； c) 將所擷取影像(IMG _RAW1...n)的該叢訊的該等原始像素矩陣對準至一個特定對準；以及 d) 藉由使用可用於該所得影像(IMG _FIN)的矩陣中每一像素位置的該等原始矩陣的複數個像素，組合影像(IMG _RAW1...n)的該叢訊以達成一所得影像(IMG _FIN)。
13. 如請求項12所述之影像處理器單元(3)，其特徵在於該影像處理器單元(3)經佈置以藉由執行如請求項1至10中一項所述之步驟來處理影像資料。
14. 一種包含指令的電腦程式，該等指令當該程式藉由一處理單元執行時致使該處理單元執行如請求項1至11中一項所述之方法的步驟。