TW201026079A - Apparatus for demosaicing colors and method thereof - Google Patents

Description

201026079 六、發明說明： 【發明所屬之技術領域】 本發明係關於一種影像感測器，特別是一種影像感測器之色 彩資料轉化裝置及其方法。 . 【先前技術】 通常，這種能夠捕獲數位影像之影像捕獲裝置例如數位照相 機、行動電話等包含影像感測器。影像感測器包含二維陣列感測 器。公眾已知每一感測器係被放置於夕晝素位置處。每一感測⑩ 器偵測光線之一種色彩之強度。通常有綠色感測器、紅色感測器 與藍色感測器。 目前存在電荷耦合裝置或互補金氧半導體影像感測器採用的 多種畫素陣列類型。然而，出於方便實現畫素設計、傑出的色彩 重現性與製程能力之緣故，大多數影像感測器採用「第1圖」所 示之拜耳圖樣。依照色彩與影像之可視化方式，為了透過影像感 測器取樣綠色’紅色與藍色被次取樣較佳。感測器之最上列包含 〇 交替的綠色與紅色晝素。最上列之鄰接列包含綠色與藍色畫素。 在影像感測器之垂直下方，依照一列挨一列之方式產生感測器之 順序。 綠色晝素G之數目大於紅色晝素R或藍色畫素b之數目。綠 色畫素G之數目等於紅色畫素R與藍色畫素b之數目之總和。因 此’綠色晝素G之數目相對大於紅色畫素R或藍色畫素b之數目。 4 201026079 這是因為綠色最接近亮度分量，並且因為人類的眼睛對綠色最敏 感。 因此’「第1圖」所示之影像感測器包含的綠色感測器比紅色 或藍色感測器多。這可被稱為次紅色與藍色次取樣夕。影像感測器 上每一晝素位置僅僅可取得一個色彩取樣值。例如，舉個例子， 每一色彩取樣值包含8位元之數值。 通常，影像包含由紅、綠與藍構成的一個畫素。然而，請參 © 考「第1圖」，拜耳圖樣包含由一種色彩例如紅、綠與藍構成的一 個晝素。為了重建全彩影像（纪11 image)，每一晝素漏失的色彩資 訊應該使用鄰接畫素被内插。 業界採用很多方法準確地内插漏失的色彩資訊。然而，如果 在影像之高頻區域中使用不正確的鄰接畫素資訊，則顯示出不自 然的影像視訊。 為了解決這個問題’在〃使用色彩相關性之差異之色彩轉化 法（C—Demosaicingusing Variance〇fc〇1〇rC〇ITelati〇nr、，電 荷耦合裝置彩色濾光片陣列中使用訊號相關性之有效色彩内插法 (Effective Color Interpolation in CCD Color Filter Arrays Using Signal Correlation)〃等參考書目中描述了研究的技術。關於這些 技術，邊緣感測可減少不正確的畫素資訊，但是能夠得到更多準 確的畫素資訊。因此，透過邊緣感測得到準確的畫素資訊，完成 内插（資料轉化）。 5 201026079 漢密頓邊緣分類器（classifier)主要用於邊緣感測，如公式i 所示。影像感測器包含行與列之色彩感測器之二維陣列。每一色 彩感測器位於一個畫素位置，然後偵測一種色彩。此例子中每 一色彩感測器產生8位元之色彩次晝素值。 標號‘Gij’用於指示色彩次畫素值。此標號中，前面的大寫字 母表示偵測之色彩。如果此字母為‘R，，則偵測之色彩為紅色。如 果此字母為‘G’，則偵測之色彩為綠色。如果此字母為‘B，，則偵測 之色彩為藍色。兩個數字‘ij’之標誌跟隨前面的字母。此標諸中， 第一個數字4指不次畫素值之列’第二個數字4j，指示次畫素值之 行。 [公式1] IG-1J+1 公式1中，如果用於查找一影像之漏失色彩資訊之晝素之當 前位置為(i，j)，則依照公式2查找水平梯度^：v與垂直梯度， 然後判定是水平方向之邊緣分量還是垂直方向之邊緣分量為主， 依照這種方式可找到漏失的綠色值。 [公式2]

ifA^< tVtJ > LVtJ _ G^+C^ (2RiJ-RiJ.2-RiJ+2)

Stj =-2 4 '

StJ=-2- 4

S tj 4 if Δ//„= AVtJ 201026079 即使使用公式i與公式2，如果存在連續的】線窄邊緣⑴⑹ _wedge)’公式〗不足以完美地區分邊緣之準確方向性。因此， 會出現資料轉化之錯誤。 為此〆使用色彩相關性之差異之色彩資料轉化法„中介紹 了-種使用色彩相關性之9χ9核心之邊緣感測方法。軸"電荷 耦合裝置彩色爐光片陣列中使用訊號相關性之有效色彩内插法〃 _介紹了-種上述漢純邊緣分類器之補充方法，但是如果存在 ❹連續的1線窄邊緣，則健存在不正確的邊緣感測。 【發明内容】 因此，本發明提供-種影像感測器之色彩資料轉化裝置及其 方法，實質上避免習知技術之限制與缺陷所導致的一或多個問題。 本發明之目的在於提供-娜像之雜轉絲置及其方法， 由此可提供高品質之影像。 本個之另-目的松提供—種資料轉蹄置及其方法，透 過在⑧頻區域巾準確地完成邊緣感測，可制鄰接晝素之資訊。 本發明之再-目的在於提供—種資料轉化裝置及其方法，在 存在連續1線窄邊緣之區域中’可避免邊緣感測錯誤之出現所導 致的缺點。 本發明其他的優點、目的和特徵將在如下的說明書中部分地 加以闡述’並且本發明其他的優點、目的和特徵對於本領域的普 通技術人貝來說’可以親本發明如下的說明得崎分地理解或 7 201026079 者可以從本發_實射得出。本發_目的和其它伽可以透 過本發明所記載的說明書和申請專利範圍中特職明的結構並結 合圖式部份，得以實現和獲得。 為了獲得本發_這些目的和其他特徵，麟本發明作具體 化和概括性的描述，本發明之—種色織料轉化裝置包含：影像 感測器’包含從每-畫素_的色彩訊號之資訊；第—線記憶體， 接收且儲存影像細n之輸出資料；漏失綠色資訊擷取器，從第 -線記憶體之資料中擷取漏失綠色晝素資訊；延遲器，用於接收 第一線記憶體之資料，延遲器將接收資料延遲一指定週期，延遲 器輸出此延遲資料；第二線記憶體，暫時地儲存漏失綠色資訊擷 取器輸出的資料以及藉由延遲器提供的資料；以及漏失紅色/藍 色資訊輸出器，從第二線記憶體之資料中擷取漏失紅色/藍色資 訊。 較佳地，漏失綠色資訊擷取器包含··梯度計算單元，用於查 找當前晝素之梯度；線邊緣判定單元，用於比較核心内複數個綠 色畫素值之最小/最大差值與閥值，線邊緣判定單元依照比較結 果判定連續1線邊緣區域之出現或未出現；方向性判定單元，透 過邊緣感測以中央畫素為中心之八個鄰接晝素，用於判定當前中 央晝素之邊緣之方向性；邊緣分類單元，根據梯度計算單元與線 邊緣判定單元提供的數值，用於區分從普通平面、連續1線邊緣 區域、垂直邊緣區域、水平邊緣區域以及紋理邊緣區域組成的集 201026079 合中選擇的一個數值；以及邊緣精煉單元，使用邊緣分類單元與 方向性判定單元提供的數值以及閥值修正一鄰接邊緣方向。 本發明之另一方面，一種色彩資料轉化方法包含：第一色彩 為儲存步驟’接收並儲存從影像感測器中镇測之每^一晶胞之色 彩訊號之資訊；漏失綠色資訊擷取步驟，用於擷取第一色彩資訊 儲存步驟中的漏失綠色畫素資訊；延遲步驟，將第一色彩資訊資 料延遲一指定週期，然後輸出延遲資料；第二色彩資訊儲存步驟， ® 用於儲存透過漏失綠色資訊操取步驟榻取的資料以及藉由延遲步 驟提供的資料；以及漏失紅色//藍色資訊輸出步驟，從第二色彩 為訊中掏取漏失紅色/藍色資訊。 較佳地，漏失綠色資訊掘取步驟包含以下步驟：在當前畫素 中查找梯度；比較核心内複數個綠色畫素數值之最小/最大差值 與閥值，然後依照比較結果判定判定連續i線邊緣區域之出現或 Q未出現，透過邊緣感測以中央畫素為申心的八個鄰接晝素，判定 與别中央晝素之邊緣之方向性；邊緣分類步驟，根據梯度值以及工 線邊緣區域之出現或未出現，用於區分從普通平面、連續^線邊 緣區域、垂直邊緣區域、水平邊緣區域以及紋理邊緣區域組成的 集合中選擇的-個數值；以及邊緣精煉轉，根據分類邊緣以及 邊緣之方向性’使關值用於修正—鄰接邊緣方向。 可以理解岐，如上崎的本發狀贿朗和隨後所述的 本發明之詳細說_是具有代紐和_性的朗，並且是為了 9 201026079 進一步揭示本發明之申請專利範圍。 【實施方式】 現在將結合圖式部份對本發明的較佳實施方式作詳細說明。 其中在這式部份巾所使關相_參考職代表相同或同類 部件。 如「第2圖」所示，本發明之一種色彩資料轉化震置包含： 影像感測1 1G，包含從每-畫素細之色彩訊號之資訊；第一線 記憶體20 ’用於接收並儲存影像感· 1〇之輸出資料；漏失綠色 資訊擷取㈣，在第-線記舰2〇之資料中存在賴丨線窄邊緣 之區域中’透過観此區域之狂確邊緣感測之顧，漏失綠色 資訊擷取器30驗娜漏失綠色畫素魏；延遲器4()，用於接收 第-線記憶體20之資料，延遲器40將接收的資料賴指定週期， 延遲器4G輸出該延遲資料；第二線記憶體5() 色資訊搁取器3G之贈祕藉由延_=供== 及漏失紅色/藍色資訊輸出器60,從第二線記憶體5〇之資料中操 取漏失之紅色/藍色資訊。 「第2圖」所示之漏失綠色資賴取器3()存在邊緣分類器。 如「第2圖」所示，邊緣分_錄綠色，錢制對應的數值 擷取紅色與藍色。 「第3圖」所示係為本發明之色彩資料轉化裝置之詳細方塊 201026079 請參考「第3圖」，漏失綠色資訊操取器包含：梯度計算單元 31，用於查找當前畫素之梯度；線邊緣判定單元％，用於將核心 内的綠色畫素數值之間的最小/最大差值與閥值比較，依照比較 結果線邊緣判疋單元32判定連續1線邊緣區域之出現或未出現； 方向性判定單元33，透過邊緣感測以中央晝素為中心之八個鄰接 畫素，用於判定當前中央畫素之邊緣之方向性；邊緣分類單元34， 根據梯度計算單元31與線邊緣判定單元32提供的數值，用於區 ❹分普通平面（Plain plane)、連續1線邊緣區域、垂直邊緣區域、 水平邊緣區域以及紋理邊緣區域其中之一；以及邊緣精煉 (refining)早元35，使用邊緣分類單元34與方向性判定單元33 提供的數值以及閥值’以用於修正鄰接的邊緣方向。 梯度計算單元31係為一個方塊，用於查找當前晝素之梯度 值。"使用色彩相關性之差異之色彩轉化法"即習知技術之使 ^ 用色彩相關性之差異之色彩轉化法〃提出一種使用色差之梯度計 算方法’梯度計算單元31使用此梯度計算方法之修正計算方法， 從而找到核心内鄰接晝素之色差之差異，以實現更準確的邊緣感 測。然而，因為這種方法需要沈重的作業負擔，所以應用公式3 與公式4。 [公式3] Κυ >!]+[(^v.2+2*>2] Κζ^[{/OTgj+u)> >!]+[(imgu2J+ 2*img^+img^^ >2] 11 201026079 其中水平與垂直權重分別為尤“與尤G。 公式4表示鄰接畫素之間的色差且表示如下。 dH -\KH - fCH l+UrH j^h I '

KiJ-2\+ \Kij- 線邊緣判定單元32係為新增至習知技術之邊緣分類器之方 塊。在連續出現1線窄邊緣之高頻區域中，色差(dH，dv)表現為非 常小的數值。因此’難以區分此區域是其中存在邊緣之區域或者 是其中無法存在邊緣之區域。 「第4圖」所示係為包含連續窄邊緣區域之核心中綠色分量⑬ 資訊之代表示意®。請參考「第4圖」，即使在垂直或水平方向中 找到綠色梯度，可期待幾乎相同的數值。 然而，如果在此核心内找到綠色數值之最小與最大數值，然 後找到最小與最大數值之間的差值，則此數值差值與普通平面之 情況有相當大的不同。因此，為了彼此區分連續1線邊緣區域與 普通平面區域，本發明之邊緣分_ 34查找核心⑽色數值之最 小與最大數值。如統差值糾較_^(nam>wEdgeThf)，則〇 判定此區域存在1線邊緣。 方向性判定單兀（局部梯度）33係為新增至習知技術邊緣分 類器之方塊。參考此核心内的中央晝素，在八個鄰接畫素上完成 簡單的邊緣感測。這種情形下，對應的邊緣分類採用廣泛使用的 漢密頓邊緣感測方法〔請參考公式1與公式2〕。 使用輸入的梯度值以及核心内綠色數值之最小/最大差值， 12 201026079 邊緣分類器34優先偵測當前中央晝素之邊緣方向性。接下來，準 備一個參考，對於當前找到的邊緣方向性是否為正確值再一次完 成精煉。 邊緣分類器34比較梯度計算單元31與線邊緣判定單元32提 供的數值與第一閥值提供單元36提供的PlainThr、Str()ngThr、 NarrowEdgeThr·值，以區分普通平面、連續1線邊緣區域、垂直邊 緣區域、水平邊緣區域以及紋理邊緣區域其中之一。 © 依照習知技術之公式2 ’透過比較垂直梯度值與水平梯度值， 依照ΔΗ>Δν、ΔΗ<Δν與ΔΗ=Δν其中之一判定邊緣。但是，本 發明採用以下方式做出此判定。 1·如果ΔΗ等於或小於普通閥值plainXhr，Δν等於或小於 plamThr ’最小與最大之間的差值diffMinMaxVal等於或小於窄邊 緣閥值narrowEdgethr，則判定為普通平面。 ©2.如果ΔΗ等於或小於普通閥值plainThr’AV等於或小於 plainThr最小與最大之間的差值大於窄邊緣閥值 narmwEdgethr ’則判定為連續1線邊緣區域。 3.如果ΔΗ大於增加一強閥值（str〇ng至Δν得到 的數值，則判定為垂直邊緣區域。 4.如果大於增加一強閥值至得到的數值，則判定為水 平邊緣區域。 5.否則，則判定為紋理邊緣區域。 13 201026079 其間，邊緣精煉單元（邊緣精煉）35使用方向性判定單元（局 部梯度方塊）33找到的梯度值作為參考。 對應的例子如「第5圖」所示。「第5圖」所示係為使用方向 性判定單70 (局部梯度方塊）33触的數值之雜畫素之邊緣方 向對映（edgedirectionmap)之例子。當前中央畫素之邊緣方向被 判定為水平方向，而鄰接晝素包含被主要判定為垂直方向之邊緣 方向。這種情形下，透過應顧下關，除去巾央以外的剩餘畫 素之邊緣方向性設定邊緣方向之準則。 edgeCriterion = 〇； forindxR = -l ： 1 forindxC = -1 : 1, if (indxR != 0) & (indxC != 0) if edgeMap(i+indxR,j+indxC edgeCriterion += 2; elseif edgeMap(i+indxR j+indxC == A_V edgeCriterion += 1;

elseif edgeMap(i+indxR,j+indxC == A—H edgeCriterion -= 1;

elseif edgeMap(i+indxRj+indxC — H edgeCriterion -= 2;

End 14 201026079

End

End

End 因此，如果邊緣準則值等於或大於指定閥值，則修正中央畫 素之邊緣方向性資訊。在「第5圖」之例子中，如果邊緣準則值 為6，第二閥值提供單元37所提供的閥值(edge Refmeme加為 5 ’因為邊緣準則值超出閥值，中央畫素之邊緣方向性被修正為 ❹ ‘vertical (V)’。 「第6圖」所示係為本發明之色彩資料轉化方法之進度之流 程圖。 請參考「第6圖」，從影像感測器中接收到從每一畫素偵測之 色彩訊號之資訊，然後儲存（第一色彩資料儲存）[sl〇]。 對於其中存在連續1線窄邊緣之區域，透過補充不正確邊緣 感測之缺陷，擷取混合綠色資訊，用於擁取漏失綠色晝素資訊（漏 〇 失綠色畫素估計）[S20]。 儲存的色彩資訊資料被延遲指定週期，然後被輸出（延遲） [S30]。 透過漏失綠色資訊揭取製程所擷取的資料以及透過延遲提供 的資料被儲存（第二色彩資料儲存）[S40]。 最終’完成混合綠色資訊擷取以後，從資料中擷取漏失紅色 與藍色資訊（漏失紅色與藍色畫素估計）[S50]。 15 201026079 「第7圖」所示係為本發明之色彩資料轉化方法之詳細進产 之流程圖。特別地，「第7圖」詳細表示了漏失綠色畫素估計。又 請參考「第7圖」’計算當前畫素之梯度值（使用色差計算梯 度）[S21]。 將核心内麟色畫素值之最小/最大差值與閥值比較，依照 比較結果判定是否存在連續的1線邊緣區域(Diff = Gmax _ (S22)〇 結合中央晝素，透過邊緣感測八個鄰接畫素，判定當前中央 晶胞之邊緣方向性（鄰接八個畫素之局部梯度）[S23]。 根據梯度仙及1線雜區敵&稍未丨現，區分普通平 面、連續1線邊緣區域、垂直邊緣_、水平邊緣區域以及紋理 邊緣區域其中之一（邊緣—分類器）[S24]。 根據分類之邊緣以及邊緣之方向性，使關值修正鄰接的邊 緣方向（邊緣一感測精煉）[S25]。 因此，本發明提供以下效果與/或優點。 首先’本發明能夠準確地在拜耳圖樣中找到當前畫素之邊緣 方向性。 其次，本發明能解確地谓測到！線邊緣，從而提高邊緣分 類器之性能。 第三，提高了拜耳圖樣之色彩資料轉化之準確度。 雖然本發明赠述之實麵揭露如上，然其並_以限定本 201026079 發明。在不脫離本發明之精神和範圍内，所為之更動與潤飾，均 屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考 所附之申請專利範圍。 【圖式簡單說明】 第1圖所示係為拜耳圖樣之示意圖； 第2圖所示係為本發明之色彩資料轉化裝置之方塊圖； 第3圖所示係為本發明之色彩資料轉化裝置之詳細方塊圖； ❹ 帛4 ®所耗為包錢财槪_之核心+雜分量資訊 之代表性示意圖； 第5圖所示係為邊緣方向性對映之代表性示意圖； 第6圖所示係為本發明之色彩資料轉化方法之進度之練 圖；以及 第7圖所示係為本發明之色彩資料轉化方法之詳細進度之流 程圖。 ® 【主要元件符號說明】 10 ...........................影像感測器 20 ...........................第一線記憶體

If) 、 ...........................漏失綠色資訊擷取器 31 ...........................梯度計算單元 32 ............................邊緣判定單元 ............................向性判定單元 17 201026079 34 ...........................邊緣分類單元 35 ...........................邊緣精煉單元 36 ...........................第一閥值提供單元 37 ...........................第二閥值提供單元 40 ...........................延遲器 50 ...........................第二線記憶體 60 ...........................漏失紅色/藍色資訊輸出器 18

Claims (1)

1. 201026079 七、申請專利範圍： 晝素偵測的一色彩訊號之資 1. 一種色彩資料轉化裝置，包含： 一影像感測器’包含從每_ 訊； -第-線遽體’接收且齡該影像感靡之輸出資料丨 -漏失綠色資訊擷取器，從該第—線記㈣之該資料中操 取漏失綠色畫素資訊； Ο ❹ -延遲器’麟接收該第—線記,_之該資料，該延遲器 將該接收資料延遲-指定週期，該延遲輯出該延遲資料； -第二線記舰’暫時崎存該漏紐色資觸取器輸出 的該資料以及藉由該延遲器提供的該資料；以及 一漏失紅色/藍色資訊輸出器，從該第二線記憶體之該資 料中擷取漏失紅色/藍色資訊。 2.如請求項第1項所述之色彩資料轉化裝置，該漏失綠色資訊禅 取器包含： 一梯度計异單元，用於查找一當前晝素之一梯度； 一線邊緣判定單元，用於比較一核心内複數個綠色畫素值 之一最小/最大差值與一閥值，該線邊緣判定單元依照該比較之 一結果判定一連續1線邊緣區域之出現或未出現； 一方向性判定單元，透過邊緣感測以一中央畫素為中心之 八個鄰接晝素，用於判定一當前中央畫素之一邊緣之方向性； 201026079 一邊緣分類單元，根據該梯度計算單元與該線邊緣判定單 元知供的數值，用於£为從一普通平面、一連續1線邊緣區域、 一垂直邊緣區域、一水平邊緣區域以及一紋理邊緣區域組成的集 合中選擇的一個數值；以及 一邊緣精煉單元，使用該邊緣分類單元與該方向性判定單 元提供的數值以及一閥值修正一鄰接邊緣方向。 3. 如請求項第2項所述之色彩資料轉化裝置，其中該梯度計算單 元使用應用以下公式之#使用色彩相關性之差異之色彩轉化 @ 法，其中以下公式定義鄰接畫素之間的一色差為 Η ’其中水平與垂直權重分別被設定為 > lMamgiJ.2+2*imgiJ+imgij+2> >2] v '^與 ^唁&心户/吨叫)〉>1]+[(加g叫+2*如〜+响叫)> >2]。 /、 4. 如請求項第1項所述之色彩資料轉化裝置，其中一區域中存在0 -連續1線窄邊緣’透過補充該區域之不正確邊緣感測之缺 陷，該漏失綠色資訊擷取器從該第一線記憶體之該資料中擷取 該漏失綠色畫素資訊。 5· —種色彩資料轉化方法，包含： 一第一色彩資訊儲存步驟，接收並儲存從一影像感測器中偵 測之每一晶胞之一色彩訊號之資訊； 20 201026079 一色彩資訊儲存步驟中 一漏失綠色資訊擷取步驟，擷取該第 的漏失綠色畫素資訊； -延遲步驟，將第-色㈣訊資料延遲—指定週期，然後輸 出該延遲資料； 一第二色織職存步驟，用於轉透過該漏失聽資訊擷 取步驟擷取的資料以及藉由該賴步驟提供的雜；以及 -漏失紅色/藍色資訊輸出步驟，從第二色㈣訊中娜漏 © 失紅色/藍色資訊。 6.如請求項第5項所述之色彩資料轉化方法，其中該漏失綠色資 訊擷取步驟包含以下步驟： 在一當前畫素中查找一梯度； 比較一核心内複數個綠色畫素數值之一最小/最大差值與一 閥值，然後依照該比較之一結果判定判定一連續丨線邊緣區域之 出現或未出現； Q 透過邊緣感測以一中央畫素為中心的八個鄰接畫素，判定該 當前中央晝素之一邊緣之方向性； —邊緣分類步驟，根據該梯度值以及一 1線邊緣區域之出現 或未出現，用於區分從一普通平面、一連續i線邊緣區域、一垂 直邊緣區域、一水平邊緣區域以及一紋理邊緣區域組成的集合中 選擇的一個數值；以及 一邊緣精煉步驟’根據該分類邊緣以及該邊緣之方向性，使 21 201026079 用一閥值用於修正一鄰接邊緣方向。 7.如請求項第5項所述之色彩眘4 巴心貝枓轉化方法，其中一區域中存在 、連續1線乍邊緣’透過補充該第—色彩資訊儲存步驟中該區 域之不正確邊緣感測之缺陷，該漏失綠色資訊_取步驟包含擷 取該漏失綠色畫素資訊之步驟。

   22