TWI220360B - Defect compensating method and device of color image - Google Patents

Description

1220360 五、發明說明（1) 發明所屬之技術領域 本發明係有關於一種影像缺陷補償方法，特別有關於 種彩色影像缺陷補償方法與裝置，可避免使用額外記憶 艘或大容量之線緩衝器（1 ine buf f er)而降低影像感測裝 置之成本。 先前技術

互補式金氧半影像感測器（CMOS image sensor)係近 年來新興之影像感測技術，其較傳統之電荷耦合式感測裝 f(CCD)具有更低之功率消耗、更高之系統整合能力且相 容於CMOS製程之等等優點。然而其卻因CM〇s製程控制之因 素’而較傳統CCD具有像素缺陷（defect)、暖像素（warm Pixel)及較差固定圖案雜訊（FpN)表現之缺點。儘管如 此，Cl^OS影像感測器由於其價格低廉，仍然在在較低階之 數位靜態影像擷取裝置，如低階數位相機之市場中佔有一 席之地同時亦逐漸在高階影像擷取裝置中展露頭腳。在 此一趨勢下，其影像缺陷補償能力便成為主要關鍵之一。 傳統對CMOS影像感測器進行之缺陷補償方法主要有兩 種。^種是製程中校正，另一種則是即時補償。

^製程中校正之方法，主要是在製作影像感測器過程中 就對像素矩陣進行測試，以確認發生缺陷之像素位置後， =將缺像素所在位置之資訊使用額外之記憶體儲存起 來，爾後在每一幀晝面資料產生並進行資料處理時，影像 擷取系，中負責資料處理之單元便會至上述額外之記憶體 中讀取这些缺陷像素之所在位置，然後將這些缺陷像素之

1220360 五 、發明說明（2) 資料加以修正後再輸出最終之畫面資料。此種方式的優點 在於不會誤判缺陷像素之位置，但其最大缺點在於需要使 Z額外之記憶體儲存缺陷位置資訊，造成影像感測器之成 本增加，而且其所能儲存缺陷位置之資料量受限於額外記 憶體之大小。 、 。 另一個即時補償方法，則是直接在資料處理單元中建 立一套判別缺陷像素位置之演算法則，當每一幀畫面資料 產生時便利用此種演算法則即時地找出缺陷像素之所在位 置f加以修正後，再輸出最終之畫面資料。此種方式之優 點是由於不使用額外記憶體來儲存缺陷像素之位置，其可 處理之缺陷像素量不會受到額外記憶體容量之限制，然而 其最大缺點則在於容易誤判缺陷像素之位置，而做出^誤 之修正，使最終輸出之晝面資料失真。如第3A圖所示，若 原始之畫面資料即存在一條與週遭色彩明顯不同之直線Η 時，由於直線31所包含之每一個像素值對於週遭之像素值 來說都是峰值，傳統之一維演算法將直接認定直線“中之 像素均為缺陷像素而自動將其修正，而使得最終輸出之畫 =(+如第3B圖所示），直線31將被消除。同時由於執行此 得統决算法則必需使用額外之線緩衝器，以暫存在 必要之像素資料，亦會造成成本上之增加。 ^述之即時補償方法將配合第丨圖所示之像素矩陣進 明。第1圖顯示了一種在灰階畫面中執行傳統演 算法來判別缺陷位置所需之最小像素矩陣（3*3)。以紊 Ρ5為例，在判別像素ρ5是否為一缺陷像素時由於 資

1220360 五、發明說明（3) Γ ί ί取係僅以一條水平線為單位，因此必需利用額外之 線緩衝器來暫存像素P1、Ρ2、ρ3、Ρ7、μ、ρ9之 以 判別像素Ρ5對其週遭之像素而言，是否具有一峰值， (peak)。因此對灰階之畫面資料而言，執行此種二維之演 算法至少需要二條線緩衝器。更甚者，對於彩色畫面而 言，如第2圖所示，由於其具有三種不同顏色之像素，對 一種顏色之像素而言，其四周鄰近之像素分佈在一個 =矩陣中（以藍色像素B為例），因此欲執行傳統二維演算 最小㈣是5*5 ’要判別某„像素是否為一缺陷 像素時，至少需要4條之線緩衝器。 發明内容 補償述:題丄本發明提供一種彩色影像之缺陷 補饴方法及裝置，可以減少對線緩衝 :低誤判之機率，使得最終輸出之畫面品” 成影像感測器成本增加。 買徒同而不會造 本發明之一目的在於提供一種务 法’適用於-具有複數像素之彩色缺陷補償方 括以下步驟：預設一第一及第二 ：：：羞β亥方：包 圍；當該些像素之一與其鄰近之兩疋義一矩陣範 均大於該第一臨限值時，判定哼 5色彩像素間之差值 判定該像素為一正常像素；當^該=為一峰值像素，否則 素分別與其鄰近之兩個同色彩像^值像素緊接之兩個像 臨限值，且以該峰值像素為中心、:之差值均小於該第二 素均為正常像素時，判定該峰值=矩陣範圍内所有之像 素為一缺陷像素；以及 Η 第6頁

I 〇723-90〇3TWF(nl)；vincent.ptd 1220360 五、發明說明（4) 修正該缺陷像素之色彩值。 裝署本另一目的在於提供一種彩色影像之缺陷補償 包…儲存單元；以及一運算步】裝置 設二第-及第二臨限值，並定義一矩陣範圍，當該些像： 之一與其鄰近之兩個同色彩像素間之差 ^ ； :::夺判定r素為一峰值像素，否二 正常像素，且為該像素儲存—識別位元至1素=、 表不該像素為JL常或峰值像素；以及#與 ^ ^ 之兩個像素分別與其鄰近之兩個肖色值像素緊接 於該第二臨限值且依據該儲存單元中‘：；二差值均小 以該峰值像素為中心 < 該矩陣範 位凡識別 像素時，狀該峰值像素為一為正常 素之色彩值。 京並修正該缺陷像 藉此’本發明利用一維方式依 值’將此資訊以-個位元儲存於緩衝器ΐ像二是否為峰 維之方式判斷與其緊接之像素是否與鄰：门，樣再利用-值小於-預設臨限值’接著再利用緩c素之差 訊決定該像素是否為一缺陷像峰值像素資 小量之緩衝器即可達成高正確率之 ^發明僅使用了 以下，就圖式說明本發明之一種色2補償。 法與裝置之實施例。 七色影像缺陷補償方 實施方式 本發明中之演算法之一般原則將配合第4圖說明如 第7頁 0723-9003TW( nl); v i ncen t. ptd 1220360

弟 -峰值像夸 ί ，首先決定像素(5,6)是否， κΠ 與鄰近同色像素之差值均大於Τ1時(即 -峰 Ι>Τ1 且丨(5,6)_(5,8)丨〉Tl)，則判定(5,二 預值否則像素(5,6)為正常像素。其中，m 第二，若像素（5, 6)在上一步驟中判定為峰 ==:素(5,6)是否為-缺陷像素。當下2 =件 時’已被狀為峰值像素之（5,6)將被認定為—

1:在所選取之矩陣範圍（第4圖中之像素（42)〜（5 T :Γ I:其同一列中鄰近之另一色像素間之差值均 =於T2(即丨（5,5)_(5,3)丨<T2、丨（5 7)_(5, 5)丨<τ2且 5’9) (5,7)丨<Τ2)。其中，Τ2為另一預設之臨限值； 2.在所選取之矩陣範圍中，除像素（5,6)之外之 像素均非峰值像素。 第三，若像素（5,6)在上述兩步驟後被判定為缺陷像 素時，則像素（5,6)之值將修正為像素（5,4)、（5,8)之平 均值’否則像素（5，6)之像素值保持不變。

上述之6m限值ΤΙ、Τ2係可程式化，所 選取之矩陣範圍大小亦可隨需要定義。同時，缺陷像素之 修正值亦可以其他之方式進行修正，並不需限定在鄰近 色像素之平均值上。 以下再配合第5圖具體說明本實施例中之具體演算過

1220360

程。 首先，在步驟51中，預設兩個臨限值T1及丁2， a :矩陣範圍。此矩陣範圍係在做為參考點之像 = 後’以，像素向左、右、上、下擴張之範圍，例如 7、向左4、向上i及向下〇。以第4圖所顯示之像素矩 =田假设做為參考點之像素係（56)，上述所定義之陣 範圍即*包括了像素（4,2)〜（4，D)及像素（5,2卜（5，D)。車 接者在步驟Μ中’隨著每一條水平繞姑讀％ 被讀取之水平線中每一後十線被4取，判斷 值像Ϊ疋！：大於臨限值T1n，則判定該像素為一峰 =之使用紅⑴、藍⑻、綠⑹三色響16彩【4圖所 :戈像：ί平：5、被讀取，且欲判定像素(5,6)為-峰值 (5 4)及(5 8V其鄰近之兩個同色彩(綠)像素係像素 判定為一峰2像：間；2亦大於71，則像素(5,6)將被 線之讀取，這此正常像素。隨著每-條水平 存至一缓衝為峰值或正常像素之資訊將被儲 個位元來表示，例如以「。」 代1!像素，以1」代表峰值像素。 + Ϊ，在步驟53中，當與被判定為峰值之像素緊接之 ==與其鄰近之兩個同色彩像素間之！ 大=此峰值像素為中心之矩陣範圍(步驟51中 )内所有之像素均為正常像素時，判定此峰

五、發明說明（7) $像素為-缺陷像素。再以第4圖為例，假設像素(5 6)在 去中被判定為-峰值像素’貞其緊接之像素係紅色像 m?7)，此時便需判斷紅色像素(5,5)與其鄰近 值π 5, 3)、（5, 7)間之差值是否小於Τ2，以及紅色 二與其鄰近之同色像素(5,5)、(5,9)間之差值是 咨、； 此外’再依據緩衝器中儲存之峰值及正常像 ^資訊，判斷是否在步驟51中定義之矩 條件均成立時，則判定像素（5, 6)為一缺陷像素。 正為ί ί兩ϊ Ξ :素：ί=為缺陷像素之色彩值修 抱如像素之平均值。依據上述之例子，當 及（5,8;之ί =為缺陷像素時，其值將修正為像素（5,4) 組成= ;法：’亦適用於由黑白像素 素組成之彩色影像。月…（〇、黃(Ye)、紅(Cy)互補色像 第6圖係本發明—杳 包括了-運算單元62/一知例中之影像缺陷補償裝置。其 感測器61依序讀取每？存裝置63。運算單元62自影像 如第5圖所示之步驟。儲〃 7平線之所/有像素資料，並執行 存目前所需之正常咬嵝子、置63則係一緩衝器，用以暫 之示意圖，儲存裝資訊：第6圖係-電路方塊 或運算單元62之中。貫際位置係可位於影像感測器61 由上述之實施例可以看出，在本發明中雖然仍需要一 1220360 一1 _輸 五、發明說明（8) = = 像ί判定演算法所需之像素資訊，但緩 訊，每個像素僅需要-個像素疋否為峰值像素的資 統暫存整條水二線器記憶趙之需求量遠較傳 i?犄分夕A 1 4 " 70 1像素色彩值的線緩衝器要小。以 8位兀之色彩畫面來說，受』以 之記憶空間。此外，比傳統方法卽省了至少8倍 了更嚴格之划 ；在判疋缺陷像素時，本發明使用 ^ " ，、件，不像傳統演算法中只要是峰值像f 低。 化像素因此，其誤判率遠較傳統演算法 及合ΐϊ;本發明提供一種彩色影像之缺陷補償方法 資讯以一個位元儲存於緩衝器中，同樣再 判斷與其緊接之像素是否與鄰近同色彩像素之差值/ 傻去曰不么一衝令之峰值像素資訊決定該 、疋為缺陷像素。如此，本發明減少了對線缕徐 記憶容量之需求’同時降低缺陷像素誤判之 ϊί!;=成本並提高最終輸出畫面之品質。 雖然本發月已以—較佳實施例揭 以限定本發明’任何熟習此技藝者，在不脫離用 神和範圍内，當可作些許之更動與潤之精 護範圍當視後附之申請專利範圍所界定者=本發明之保 0723-9003TWF(nl);vincent.ptd 第11頁 1220360 圖式簡單說明 第1圖係一3*3之灰階像素矩陣； 第2圖係一5*5之彩色像素矩陣； 第3A及3B圖顯示了傳統即時補償演算法所造成之誤判 情形； 第4圖顯示了一16*16之彩色像素矩陣； 第5圖係本發明一實施例中之影像缺陷補償方法之流 程圖； 第6圖係本發明一實施例中之影像缺陷補償裝置。 符號說明 31〜直線； 6卜影像感測器； 62〜儲存裝置； 63〜運算單元。

0723-9003TWF(nl);vincent.ptd 第12頁

Claims (1)

1220360 案號

申請專利範圍 1 · 一種彩色影像之缺陷補償方法， 素之^色影像感測器，該方法包括以下步驟··八有複數 Γί:1:及第二臨限值，並定義-“範圍； 田忒二像素之一與其鄰近之兩個同 大於兮链 巴心像素間之差信 大U第-臨限值時，#定該像素為差值 定該像素為-正常像素； 4 _值像素，否則 當與該峰值像素緊接之兩個像素分別盥盆 之i值均小於該=臨限值，、：以該峰：： 時’:判定該峰;均為正常像素 修正該缺陷像素之色彩值。 2苴Π ϊ專利範圍第1項所述之彩色影像缺陷補償方 其中更包括以下步驟： 1員万 為该像素儲存一個位元表示該像素為正常或峰值像 3·如申請專利範圍第1項所述之彩色影像缺陷補償方 ’其中该些像素係紅色、藍色及綠色像素。 4 ·如申請專利範圍第1項所述之彩色影像缺陷補償方 ’其中該些像素係青綠色、黃色及紅色像素。 5 ·如申請專利範圍第1項所述之彩色影像缺陷補償方 ’其中該彩色影像感測器係一互補金氧半（CMOS)影像感 i ° 6 ·如申請專利範圍第1項所述之彩色影像缺陷補償方 法，其中該缺陷像素之色彩值係修正為與該缺陷像素鄰近

Η 0723-9003TWFl(nl);vincent.ptc 第13頁 貝 、申請 之兩個同色彩像素值之肀均值。 ^如申請專利範園第1項所述之彩色影像缺陷補償方 其中該第一、第二臨限值及該矩陣範圍係可程式化。 後去 種彩色影像之缺陷補償裝置，適用於一具有複數 1豕素之彩色影像感測器，該裝置包括·· —儲存單元；以及 —運算單元，執行以下步驟： 當哕此後ΐ設一第一及ϊί臨限值，纟定義-矩陣範圍， 臨限值時’判定：像素為—峰值像素，否則判定 象素為一正常像素，且為該像素儲存一 存單元中以表示該像素為正常或峰值像素δ;以及 以儲 當與該峰值像素緊接之兩伽彳金二二 兩個同色彩像素間之差值均小於該 刀別與其鄰近之 存單元中之該些識別位元識別以=^限值且依據該儲 該矩陣範圍内所有之像素均為正；t素為-參考點之 素為一缺陷像素，並修正該缺 ^素時；判定該峰值像 9·如申請專利範圍第8項所，、之色彩值。 其中該些像素係紅色、/之彩色影像缺陷補償裝 1 0 ·如申請專利範圍第8項 ：$像素。 其中該些像素係青綠色、=迷之彩色影像缺陷補償裝 11.如申請專利範圍汽色及紅色像素。 置，其中該彩色影像感測2所述之彩色影像缺陷補償裝 測器。 ° 互補金氧半（CMOS)影像感 六 法 置 置 0723-9003TWFl(nl);vincent.ptc 第14頁

12 置，其 之兩個 13 置，其 14 之影像 預 當 該第一 像素為 當 像素間 參考點 該峰值 修 15 方法， 為 素0 •如甲請專利範圍第8〜^ 中該缺陷像素之色彩、〃〜L之彩色影像缺陷補償裝 同色彩像素值之平^值係修正為與該缺陷像素鄰近 •如申請專利範圍第8 ~ 中該第一、第二昨阳員所述衫色影像缺陷補償裝 一 # # # ϋ ^ ^ 〈值及該矩陣範圍係可程式化。 感測器，該ΛΛ方法，適用於-具有複數像素 必万法包括以下步驟： 詨此^去及第一臨限值，並定義-矩陣範圍； :以之：ί之兩；像素間之差值均大於 一正常像素^ 像素為一峰值像素，否則判定該 二：峰值像素緊接之兩個像素分別與其鄰近之兩個 值均小於該第二臨限值，且以該峰值像素為一 之以矩陣範圍内所有之像素均為正常像素時， 像素為一缺陷像素；以及 正該缺陷像素之值。 •如申請專利範圍第1 4項所述之彩色影像缺陷補償 其中更包括以下步驟： 该像素儲存一個位元表示該像素為正常或峰值像 1 6 ·如申凊專利範圍第1 &項所述之彩色影像缺陷補償 方法’其中該影像感測器係一立補金氣半（CMOS)影像感測 器。 1 7.如申請專利範圍第1 4項所述之彩色影像缺陷補償

0723-9003TWFl(nl);vincent.ptc 第15貢 1220360

案號9210!l 月 够6· 02修正 六、申請專利範圍 方法，其中該缺陷像素之值係修正為與該缺陷像素鄰近之 兩個像素值之平均值。 18. 如申請專利範圍第1 4項所述之彩色影像缺陷補償 方法，其中該第一、第二臨界值及該矩陣範圍係可程式 化0

0723-9003TWFl(nl);vincent.ptc 第16頁