TWI677233B

TWI677233B - 決定濾波器係數的方法

Info

Publication number: TWI677233B
Application number: TW107126784A
Authority: TW
Inventors: 李宗軒; Tsung-Hsuan Li; 唐婉儒; Wan-ju TANG; 周暘庭; Yang-Ting Chou; 陳世澤; Shih-Tse Chen
Original assignee: 瑞昱半導體股份有限公司; Realtek Semiconductor Corporation
Priority date: 2018-08-02
Filing date: 2018-08-02
Publication date: 2019-11-11
Also published as: US10762610B2; TW202008782A; US20200043152A1

Abstract

本發明揭露一種決定濾波器係數的方法，其一實施例包含下列步驟：提供一目標濾波器之係數，並計算一目標濾波響應；依據收集資料及/或預設資料以及依據一第一資料格式進行運算，使得一第一濾波響應近似該目標濾波響應，從而決定一第一濾波器之係數；以及依據該收集資料及/或該預設資料以及依據一第二資料格式進行運算，使得一第二濾波響應近似該目標濾波響應，從而決定一第二濾波器之係數。據上所述，該第一濾波響應與該第二濾波響應都近似於該目標濾波響應，能夠減少濾波響應不一致所帶來的負面影響，且該第一濾波器與該第二濾波器相較於該目標濾波器較為精簡，能夠取代該目標濾波器以降低成本。

Description

決定濾波器係數的方法

本發明是關於濾波器設計，尤其是關於決定濾波器係數的方法。

濾波器經常用於訊號處理。基於成本考量，濾波器之設計通常朝向減少濾波器所處理的訊號個數以降低計算複雜度，或者前端電路減少訊號的取樣率（sampling rate）以減少輸入至濾波器的資料量。舉例而言，影像感測裝置的顏色濾波陣列（Color Filter Array, CFA）令影像感測裝置的感光元件的每個像素位置只記錄一種色彩的強度以降低製造成本；然而，由於每個像素位置只記錄了單一色彩資訊，因此，一像素位置所遺失的色彩資訊需藉由濾波器依據其它像素位置所記錄的色彩資訊，還原出該像素位置的所有色彩資訊；舉例而言，當一目標像素的位置只記錄了綠色資訊，濾波器會依據該目標像素附近記錄紅色資訊的像素來插補出該目標像素的紅色資訊，以及依據該目標像素附近記錄藍色資訊的像素來插補出該目標像素的藍色資訊。

請參閱圖1、圖2與圖3，圖1顯示感光元件之影像像素陣列記錄紅色資訊（R）、綠色資訊（G）與藍色資訊（B）的一範例，圖2顯示該影像像素陣列所記錄的紅色資訊，圖3顯示該影像像素陣列所記錄的藍色資訊；為避免圖式過於複雜，圖1~3僅顯示部分紀錄資訊。如圖2（圖3）所示，若欲還原出像素T ₁（T ₃）與像素T ₂（T ₄）的紅色（藍色）資訊，會使用到二種濾波器，其中一種依據像素T ₁（T ₃）之上方與下方像素的紅色（藍色）資訊進行插補以產生像素T ₁（T ₃）的紅色（藍色）資訊，另一種依據像素T ₂（T ₄）之左上方、右上方、左下方與右下方像素的紅色（藍色）資訊進行插補以產生像素T ₂（T ₄）的紅色（藍色）資訊。目前技術中，上述二種濾波器之濾波響應通常不一致，容易造成影像失真（例如：拉鍊狀效應（Zipper Effect））。

本發明之一目的在於提供一種決定濾波器係數的方法，以避免先前技術的問題。

本發明之決定濾波器係數的方法的一實施例包含下列步驟：提供一目標濾波器之係數，並計算一目標濾波響應，其中該目標濾波響應是關於該目標濾波器處理原始資料；依據收集資料及/或預設資料以及依據一第一資料格式進行運算，使得一第一濾波響應與該目標濾波響應之差異小於一門檻，從而決定一第一濾波器之係數，其中該第一濾波響應是關於該第一濾波器處理第一資料，該第一資料源自於該原始資料；以及依據該收集資料及/或該預設資料以及依據一第二資料格式進行運算，使得一第二濾波響應與該目標濾波響應之差異小於該門檻，從而決定一第二濾波器之係數，其中該第二濾波響應是關於該第二濾波器處理第二資料，該第二資料源自於該原始資料。據上所述，該第一濾波響應與該第二濾波響應都近似於該目標濾波響應，能夠減少濾波響應不一致所帶來的負面影響。

本發明之決定濾波器係數的方法的另一實施例包含下列步驟：提供一目標濾波器之係數，並計算一目標濾波響應，其中該目標濾波響應關於該目標濾波器處理原始資料；以及依據收集資料及/或預設資料以及依據一前端濾波器之型式進行運算，使得一設計濾波響應與該目標濾波響應之差異小於一門檻，從而決定一設計濾波器之係數，其中該設計濾波響應是關於該設計濾波器處理濾波資料，該濾波資料是該前端濾波器處理該原始資料而產生的資料。據上所述，該設計濾波響應近似於該目標濾波響應，且該設計濾波器相較於該目標濾波器較為精簡，能夠取代該目標濾波器以降低成本。

有關本發明的特徵、實作與功效，茲配合圖式作較佳實施例詳細說明如下。

隨著近代資料科學與機器學習的發展，一種常被討論的理論是透過可被訓練的計算模型來近似資料關聯的真實規律。本發明之決定濾波器係數的方法即是基於該理論的研發成果（research development）。上述理論可見於下列文獻：國立台灣大學資訊工程系林軒田教授之講義“Machine Learning Foundations（機器學習基石）”（文獻來源：第21頁, “https://www.csie.ntu.edu.tw/~htlin/mooc/doc/01_handout.pdf”）。

圖4顯示本發明之決定濾波器係數的方法的一實施例，其可由一般計算機（general purpose computer）來執行。該實施例包含下列步驟：步驟S410：提供一目標濾波器之係數，並計算一目標濾波響應，其中該目標濾波響應是關於該目標濾波器處理原始資料。舉例而言，該原始資料包含一影像感測裝置所擷取的未經過顏色濾波陣列（Color Filter Array, CFA）的某一顏色（例如：紅色）的訊號（例如：以圖5之像素R ₂₂的位置（對應圖2之像素T ₁的位置）為中心的九個像素的紅色資訊）；為簡化說明以利瞭解，假定該原始資料包含一維影像矩陣以及該目標濾波器的係數為，該目標濾波響應可表示為，其中上標 T代表矩陣的轉置（transpose）。值得注意的是，該原始資料也包含其它資料，像是一影像感測裝置所擷取的未經過顏色濾波陣列的其它顏色（例如：綠色與藍色）的訊號。步驟S420：依據收集資料及/或預設資料（例如：自行給定的資料像是後述的對角矩陣與正交正規化基底 b ₀, …, b _m _-1）以及依據一第一資料格式（例如：一濾波器產生圖2之像素T ₁的紅色資訊時，該濾波器所參考的像素的分布樣式，其中G ₂₂對應圖2之像素T ₁的位置，其它對應圍繞像素T ₁的八個像素的位置）進行運算，使得一第一濾波響應與該目標濾波響應之差異小於一門檻，從而決定一第一濾波器之係數，其中該第一濾波響應是關於該第一濾波器處理第一資料（例如：顏色濾波陣列電路處理該原始資料而產生的資料，像是以圖2之像素T ₁為中心的九個像素的資料），該第一資料源自於該原始資料，該門檻可由實施本發明者依其設計需求自行決定。舉例而言，假定該收集資料包含一維影像陣列（例如：圖1之陣列的第一行中九個像素的值）以及該第一濾波器之係數為，該第一濾波響應應近似於該目標濾波響應（亦即：），且對於非紅色的資料（亦即： G ₀、 G ₂、 G ₄、 G ₆、 G ₈）而言，該第一濾波器的係數應為零，其可表示如下式：（上式適用於當該目標濾波器為任一種濾波器時）（上式適用於當該目標濾波器為一低通濾波器時）（上式適用於當該目標濾波器為一高通濾波器時），而步驟S420即是用來當與的差異最小時（或達到（例如：小於或等於）前述門檻時）運算出第一濾波器的係數。值得注意的是，上式中，矩陣 C與矩陣 d是依據資料格式來決定（矩陣 C與矩陣 d於圖6之實施例中是依據前端濾波器的格式來決定）；換言之，不同的資料格式對應不同的矩陣 C與矩陣 d，以達到對非目標顏色的資料而言濾波器的係數為零的目的。另值得注意的是，當收集資料是經由充分（資料筆數夠多）且適當（資料多樣性高）的取樣而得時，該收集資料越能接近於完整資料所關聯的真實規律，該差異也會跟著縮小」。另舉例而言，以一未經過顏色濾波陣列之5×5大小的RGB像素矩陣為例，完整的RGB影像資料 q（包含二十五個紅色像素的資料 R ₀~ R ₂₄、二十五個綠色像素的資料 G ₀~ G ₂₄與二十五個藍色像素的資料 B ₀~ B ₂₄）可以表示如下：，在該完整的RGB影像資料 q通過顏色濾波陣列後，若該矩陣之中心的像素為目標像素且該目標像素的紅色資訊 R ₁₂待求出，則該目標濾波器 f之係數可表示如下：，而第一濾波器的係數 g須滿足下列條件（其可以的形式被表示）： 1. 2. 3. 4. 5. 6. ，其中的定義如下：，表示通過顏色濾波陣列之該5×5矩陣中分別對應R、G、B通道（channel）的索引（index）；條件1~3是基本要求，以達成在對通道 C做濾波時不參考非通道 C的像素；條件4~6的意義是取一個二十五點的低通濾波器 LPF、一個二十五點的高通濾波器 HPF ₀以及一個二十五點的高通濾波器 HPF ₁分別表示如下：，並希望下式成立：，其中 APF代表全通濾波器，而 APF( R)相當於經過顏色濾波陣列前之完整的R通道資料。步驟S430：依據該收集資料及/或該預設資料以及依據一第二資料格式（例如：一濾波器產生圖2之像素T ₂的紅色資訊時，該濾波器所參考的像素的分布樣式，其中B ₂₅對應圖2之像素T ₂的位置，其它對應圍繞像素T ₂的八個像素的位置）進行運算，使得一第二濾波響應與該目標濾波響應之差異小於該門檻，從而決定一第二濾波器之係數，其中該第二濾波響應是關於該第二濾波器處理第二資料（例如：顏色濾波陣列電路處理該原始資料而產生的資料，像是以圖2之像素T ₂為中心的九個像素的資料），該第二資料源自於該原始資料。據上所述，該第一濾波器與該第二濾波器之濾波響應都近似於該目標濾波器之濾波響應，因此，該第一濾波器與該第二濾波器之濾波響應也會相近，從而避免了濾波響應不一致所導致的負面影響（例如：影像失真）。由於步驟S430與步驟S420相仿，兩步驟之差異僅在於所依據的資料格式的不同，因此，本領域具有通常知識者可依據步驟S420之說明來瞭解步驟S430的實施細節與變化。

底下說明是關於計算前述與之差異的一實作範例。首先，與之差異可由平方誤差的方式來量化並被最佳化，如下所示：，其中“Minimize”代表“解出能夠使方程式的值（在此為的值）為最小的 ”（或說“最佳化”）。前述收集資料可表示如下：，其中 Q為該收集資料， n代表資料的筆數（通常為正整數），每筆資料 q _i可以是一資料集像是前述像素陣列。因此，根據該收集資料 Q計算出該第一濾波器之係數 g ^T ，相當於是解出下式：，其中“subject to Cg= d”代表“「在滿足 Cg= d的條件下」做Minimize（最佳化）的操作”，矩陣 C與矩陣 d的說明載於先前段落，上式的解的求法可參考下列文獻：L. Vandenberghe, “Constrained least squares”, pages 15~16, ECE133A (Winter 2018) （文獻來源：http://www.seas.ucla.edu/~vandenbe/133A/lectures/cls.pdf）。上述之誤差項可改寫如下：，其中矩陣 M如下式所示：，上式中， E[ qq ^T ]代表 qq ^T 的期望值，相關於該收集資料 Q的統計特性，且矩陣 M的大小只和資料 q的維度 m有關（例如：當時， m=9），而與前述資料的筆數 n無關，因此最佳化濾波器係數之過程不會耗費過多的儲存空間。另外，矩陣 M是對稱且半正定的矩陣（symmetric positive semidefinite matrix），因此，特徵值分解（Eigen Decomposition）可用來處理矩陣 M，如下所示：其中（維度的歐幾里得空間（Euclidean_space），或說維度的實數空間）為特徵向量（Eigen Vector），是一組正交正規化基底（Orthonormal Basis），其相對應的特徵值（Eigen Value）為，對半正定矩陣做特徵值分解的理論基礎見於下列文獻：“Lecture 3 Positive Semideﬁnite Matrices”, Theorem 2（文獻來源：http://www.math.ucsd.edu/~njw/Teaching/Math271C/Lecture_03.pdf）；Zico Kolter, “Linear Algebra Review and Reference”, section 3.13, September 30, 2015（文獻來源：http://cs229.stanford.edu/section/cs229-linalg.pdf）。根據上述，矩陣 S可被導出如下：，該矩陣 S能使下式成立：，因此，前述誤差項可表示如下：，根據上述推導，與之差異的最佳化（亦即：）可改寫如下：，上式中，矩陣 S源自於已知的收集資料 Q，矩陣 f為自行決定的目標濾波器的係數，因此該第一濾波器的係數 g ^T 可據以求出。值得注意的是，前述第二濾波器之係數的求法與該第一濾波器之係數 g ^T 的求法相同。另值得注意的是，其它可用來計算與之差異的數學操作亦得用於本發明。

承前所述，當該收集資料 Q不足以用於進行有效統計以學習出可靠的矩陣 S時，實施本發明者可參考既存的影像統計資訊（例如：自然界影像之色彩變化的統計資料），自行決定一對角矩陣（其作為前述的預設資料）如下：，並決定一組向量空間上的正交正規化基底，從而利用該對角矩陣與該正交正規化基底來近似矩陣，以決定濾波器之係數。上式中， w _i 之一非限制性的例子為，其中 i=0~( m-1)， m為前述資料 q的維度，s為資料分布的標準差；更詳細地說，以一維影像訊號為例，可以依該訊號取得離散餘弦轉換之基底（DCT basis）如下（參考文獻：https://en.wikipedia.org/wiki/Discrete_cosine_transform#DCT-II），同時基於自然影像的平滑性（smoothness）（亦即：高頻成分的能量較弱），取。

於本實施例之一示範性實作中，前述第一資料與第二資料分別包含一特定顏色的像素資料。舉例而言，該特定顏色的像素資料是紅色像素資料或藍色像素資料。於本實施例之一示範性實作中，該第一資料之該特定顏色的像素資料的資料量小於該原始資料之該特定顏色的像素資料的資料量，該第二資料之該特定顏色的像素資料的的資料量小於該原始資料之該特定顏色的像素資料的資料量。於本實施例之一示範性實作中，該第一濾波器與該第二濾波器除係數之設定外，為已知濾波器。於本實施例之一示範性實作中，該第一資料不包含一目標像素之該特定顏色的像素資料，因此，該第一濾波器藉由插補方式，依據該第一資料產生該目標像素之該特定顏色的像素資料；該第二資料不包含另一目標像素之該特定顏色的像素資料，因此，該第二濾波器藉由插補方式，依據該第二資料產生該另一目標像素之該特定顏色的像素資料。

圖6顯示本發明之決定濾波器係數的方法的另一實施例，其可由一般計算機來執行。該實施例包含下列步驟：步驟S610：提供一目標濾波器之係數，並計算一目標濾波響應，其中該目標濾波響應關於該目標濾波器處理原始資料。步驟S620：依據收集資料及/或預設資料以及依據一前端濾波器（例如：顏色濾波陣列或是自行定義的遮罩（mask））之型式進行運算，使得一設計濾波響應與該目標濾波響應之差異小於一門檻，從而決定一設計濾波器之係數，其中該設計濾波響應是關於該設計濾波器處理濾波資料，該濾波資料是該前端濾波器處理該原始資料而產生的資料。

承上所述，圖6之實施例是令一種濾波器的濾波響應近似於一目標濾波器的濾波響應；相較之下，圖4之實施例是令二種濾波器之濾波響應均近似一目標濾波器的濾波響應，因此，圖6的應用範圍更廣。於本實施例之一示範性實作中，該濾波資料包含一特定顏色的像素資料，該濾波資料不包含一目標像素之該特定顏色的像素資料，該設計濾波器用來依據該濾波資料產生該目標像素之該特定顏色的像素資料。於本實施例之一示範性實作中，該特定顏色為紅色、綠色與藍色的其中之一。於本實施例之一示範性實作中，該濾波資料之該特定顏色的像素資料的資料量小於該原始資料之該特定顏色的像素資料的資料量。

由於本領域具有通常知識者能夠參酌圖4之實施例的說明來瞭解圖6之實施例的細節與變化，亦即圖4之實施例的技術特徵均可合理應用於圖6之實施例，因此，在不影響圖6之實施例的揭露要求與可實施性的前提下，重複及冗餘之說明在此省略。

請注意，在實施為可能的前提下，本技術領域具有通常知識者可選擇性地實施前述任一實施例中部分或全部技術特徵，或選擇性地實施前述複數個實施例中部分或全部技術特徵的組合，藉此增加本發明實施時的彈性。

綜上所述，本發明能夠適切地決定一或數個濾波器的係數，使該/該些濾波器之濾波響應近似於一目標濾波器之濾波響應，除能減少濾波響應不一致所帶來的負面影響，也能在該/該些濾波器之資料處理量較少的情形下，以該/該些濾波器取代該目標濾波器來降低成本。

雖然本發明之實施例如上所述，然而該些實施例並非用來限定本發明，本技術領域具有通常知識者可依據本發明之明示或隱含之內容對本發明之技術特徵施以變化，凡此種種變化均可能屬於本發明所尋求之專利保護範疇，換言之，本發明之專利保護範圍須視本說明書之申請專利範圍所界定者為準。

R‧‧‧像素陣列所記錄的紅色資訊

G‧‧‧像素陣列所記錄的綠色資訊

B‧‧‧像素陣列所記錄的藍色資訊

T₁、T₂、T₃、T₄‧‧‧像素

S410~S430‧‧‧步驟

R₁₁、R₁₂、…、R₆₅、R₆₆‧‧‧像素

S610~S620‧‧‧步驟

［圖1］顯示一示範性的影像像素陣列所記錄的色彩資訊；［圖2］顯示圖1之影像像素陣列所記錄的紅色資訊及利用該紅色資訊的插補方式；［圖3］顯示圖1之影像像素陣列所記錄的藍色資訊及利用該藍色資訊的插補方式；［圖4］顯示本發明之決定濾波器係數的方法的一實施例；［圖5］顯示影像感測裝置所擷取的未經過顏色濾波陣列的紅色的訊號；以及［圖6］顯示本發明之決定濾波器係數的方法的另一實施例。

Claims

一種決定濾波器係數的方法，包含下列步驟：提供一目標濾波器之係數，並計算一目標濾波響應，其中該目標濾波響應是關於該目標濾波器處理原始資料；依據收集資料及/或預設資料以及依據一第一資料格式進行運算，使得一第一濾波響應與該目標濾波響應之差異小於一門檻，從而決定一第一濾波器之係數，其中該第一濾波響應是關於該第一濾波器處理第一資料，該第一資料源自於該原始資料；以及依據該收集資料及/或該預設資料以及依據一第二資料格式進行運算，使得一第二濾波響應與該目標濾波響應之差異小於該門檻，從而決定一第二濾波器之係數，其中該第二濾波響應是關於該第二濾波器處理第二資料，該第二資料源自於該原始資料。
如申請專利範圍第1項所述之決定濾波器係數的方法，其中該原始資料是影像資料，該第一資料與該第二資料均為一顏色濾波陣列（color filter array, CFA）電路處理該原始資料而產生的資料。
如申請專利範圍第2項所述之決定濾波器係數的方法，其中該第一資料與該第二資料分別包含一特定顏色的像素資料。
如申請專利範圍第3項所述之決定濾波器係數的方法，其中該第一資料之該特定顏色的像素資料的資料量小於該原始資料之該特定顏色的像素資料的資料量，該第二資料之該特定顏色的像素資料的資料量小於該原始資料之該特定顏色的像素資料的資料量。
如申請專利範圍第3項所述之決定濾波器係數的方法，其中該第一資料不包含一目標像素之該特定顏色的像素資料，該第一濾波器用來依據該第一資料產生該目標像素之該特定顏色的像素資料，該第二資料不包含另一目標像素之該特定顏色的像素資料，該第二濾波器用來依據該第二資料產生該另一目標像素之該特定顏色的像素資料。
如申請專利範圍第3項所述之決定濾波器係數的方法，其中該特定顏色為紅色或藍色。
一種決定濾波器係數的方法，包含下列步驟：提供一目標濾波器之係數，並計算一目標濾波響應，其中該目標濾波響應關於該目標濾波器處理原始資料；以及依據收集資料及/或預設資料以及依據一前端濾波器之型式進行運算，使得一設計濾波響應與該目標濾波響應之差異小於一門檻，從而決定一設計濾波器之係數，其中該設計濾波響應是關於該設計濾波器處理濾波資料，該濾波資料是該前端濾波器處理該原始資料而產生的資料。
如申請專利範圍第7項所述之決定濾波器係數的方法，其中該原始資料是影像資料。
如申請專利範圍第8項所述之決定濾波器係數的方法，其中該濾波資料包含一特定顏色之像素資料，該濾波資料不包含一目標像素之該特定顏色的像素資料，該設計濾波器用來依據該濾波資料產生該目標像素之該特定顏色的像素資料。
如申請專利範圍第9項所述之決定濾波器係數的方法，其中該前端濾波器是一顏色濾波陣列電路。