TW200806010A - Method and apparatus for image noise reduction - Google Patents

Description

200806010 九、發明說明： 【發明所屬之技術領域】 本發明一般係關於爵態成像器器件領域，而更特定言之 係關於一種用以在一固態成像器器件中降低雜訊之方法及 裝置。 【先知技術】

光成像應用中已使用包括電荷耦合器件（CCD)、CMOS 成像器及其他器件之固態成像器。一固態成像器電路包括 像素單元之一焦平面陣列，該等單元中的各單元包括一光 感測器，該光感測器可以係具有一用以累積光致電荷的摻 雜區域之光閘極、光導體或光二極體。 對於固恶衫像感測裔而言最具挑戰性的問題之一係降低 雜訊’尤其係對於具有較小像素尺寸之❹b。雜訊對影 像品質之影響隨著像素尺寸不斷減小而增加而且可對影像 品質產生嚴重影響。尤其’由於減小的動態範圍，因此雜 訊，更小的像素中影響影像品f。解決此問題的方式之一 係豬由改良製程；但是與此類改良相關的成本較高。因 此，工程師們常常關注其他降低雜訊的方法。 本文間要彡兒明可用於去降旦彡会 々 、 、去除〜像雜吼之兩個範例性方法。 第-方法包括使用局部平滑濾 一 A 忑寺應波态猎由應用 二嶋處波器來降低該影像中的雜訊成分來運 類濾波益之典型範例包括平均、媒 部平滑濾波H相關之__n ' — ^ U11 °與局 率成分-由於雜其在作為該影像部分的高頻 羊成刀”由於雜讯而產生的高頻率成分之間不作區分。因 H7237.doc 200806010 此，此等濾波器不僅移除雜訊，而且還使得該影像之邊緣 變模糊。 一第二組去除雜訊之方法在空間頻域中.運作。此等方法 一般首先.將該影像資料轉換成一頻率空間（正向轉換），然 後過濾所轉換的影像，而·最後將該影像轉換回成該影像空 間（反向轉換）。此類濾波器之典型範例包括DFT(Discrete Fourier Transform ;離散傅立葉轉換）濾波器及波長轉換瀘 波益、。但是，將此等濾波器用於去除影像雜訊由於處理該 影像資料所需要的大量計算而受阻。此外，可因使用此等 濾波器來降低雜訊而產生區塊假影及振盪。進一步，最佳 的係在一 YUV(Y係亮度成分而卩與v係色度成分）顏色空間 中實施此等濾波器。因此，極需一種不會令該影像的邊緣 變杈糊之有效的去除影像雜訊方法及裝置。 【發明内容】 本發明在各項範例性具體實施例中係關於一種允許在一 成像器件中去除影像雜訊之方法及裝置。 依據本發明之範例性具體實施例，一方法及實施裝置選 T包括一所識別像素的相鄰像素對之一影像校正核心，決 疋；k正核心中像素對之平均輸出信號值，決定該等平均值 y所識別像素值之間的差，將該等差值與—臨界相比較， 並針對具有等於或小於_臨界值的不同值之像素對而將所 選取的平均像素對之值併人之該所識別像素值。 【實施方式】 在下文之4細說明中，將參考附圖，其形成說明之一部 117237.doc 200806010 分並藉由圖解顯示可實施本發明的特定具體實施例。對此 等具體實施例之詳細說明足以能使熟習此項技術者實施本 發明，且應瞭解可以使用其他具體實施例，並可以進行結 構、邏輯及電性#面的變化而不致背離本發明的精神及範 疇。所描述的處理步驟之進程為本發明之具體實施例的範 例；但是，該等步驟之順序並不限於本文所述者而正如此 項技術中所習知可以改變，除了必須以一特定順序發生的 步驟之外。 本文所使用的術語，，像素，，表示一光元件單位單元，其包 含用以將光子轉換為一電氣信號之一光感測器器件及相關 結構。基於解說之目的，圖式及本文說明中解說一單一的 代表性三色像素陣列。但是，本發明可以係應用於單色成 像器以及用以感測一陣列中三個以下或三個以上顏色成分 的成像器。因此，以下詳細說明不應從限制意義來看待， 而本發明之範疇僅由隨附申請專利範圍來定義。 此外，應瞭解，單獨來看，一像素一般不會在各個入射 光顏色之間加以區分，而其輸出信號僅表示所接收光之強 度，而並不對顏色作任何識別。但是，如本文所述，當與 該像素陣列結合使用一濾、色片81(圖υ以將—特定波長範圍 的光聚焦（對應於一特定顏色）到該等像素80上時，像素80 係以顏色來表示（即，"紅色像素”、，，藍色像素"等卜圖1說 明一範例性傳統濾色片陣列，其係配置為一 Bayer圖案， 覆蓋一像素陣列以聚焦入射光H，當本文中使用術語 ”紅色像素"時’其表示與穿過—紅色渡色片的光相關並接 117237.doc 200806010 收該：之-像素;當本文中使用術語"藍色像素，，時，其表 /、牙過監色濾色片的光相關並接收該光之一像素；而 當本文中使用術語"綠色像素"時，其表示與穿過'綠色濾 色片的光相關並接收該.光之一像素。 圖式中，圖2A及2B分別說明像素陣，列1〇〇、11〇之部 ^，每一陣列部分具有一個別的所識別像素32a、3几，該 等個別的所識別像素可經歷依據本發明之一校正方法。= 素陣列100中的所識別像素32a可以係一紅色或一藍色像 素。像素陣列110具有一所識別像素32b，其係一綠色像 素。 在圖示範例中，假定像素陣列100、110係與—^吖“圖 案濾色片陣列“（圖丨）相關；但是，本發明還可用於其他濾 色片圖案。該等濾色片81將一特定波長範圍的入射光聚2 到下部像素8G上。在該Bayer圖案中，每列像素陣列由= 替的紅色（R)與綠色（G)彩色像素組成，而其他列由交替= 綠色（G)與藍色（B)像素組成。 依據本發明之範例性具體實施例，為去除像素雜訊，本 發明使用所識別像素32a、32b之四個最近相鄰對之信號 值。所識別像素32a、32b係當前所處理的像素。本文中將 相鄰像素統稱為一影像核心，在圖2八及2B中分別顯示為 f心l〇la、i〇lb。每一核心1〇la、1〇lb中總共包括八個相 鄰像素。相同顏色的八個相鄰像素係分成相對於所識別像 素32a、32b而對稱的四對。應注意，圖示校正核心i〇h、 ⑺比係範例性，而對於使用#Bayer圖案的濾色片圖案之 117237.doc 200806010 像素陣列，可選擇其他校正核心。此外，#需要，一校正 核心可包涵多於或少於八個相鄰像素。 在圖2A及2B中，以-虛線勾畫出範例性的校正核心 l〇la、101b。對於核心1〇la，有八個像素(像素、η、 14 34 54 52、50及30)具有與所.識別像素32a相周之顏

色。儘管看起來校正核心101仏含十六個像素，但應注意 該等像素㈣—半像素係綠色像素，不會考慮將其信號用 於去除-紅色或藍色像素32a的雜訊。圖3更詳細地顯示組 成核心iGia之實際像素。核㈣⑽包括具有與所識別像 素32&相同的綠色之八個像素（像素12、23、％、β、 41、30及 21) 〇 參考圖4，現在說明本發明之一範例性方法。可藉由 一影像處理電路280來實施該方法（下面參考圖5而說明）。 應瞭解，母像素具有表示在該像素接收到的光數量之一 值。儘管表示來自該像素之一讀出信號，但該值係該讀出 類比#唬之一數位化表示。下面說明中將此等值表示為 Ρχ ’其中"p”係該值，而"χ"係圖2八或2]6所示像素編號。僅 基於說明目的，參考i2A所示核心1〇^及像素32a來說明 該方法200。 在一初始步驟201中，識別所處理的像素32a。接下來， 在步驟202中選擇/識別該核心1〇la。在針對該像素32&而選 擇相關核心1 〇 1 a後，對稱性位於該像素32a周圍的每一核 心像素皆成對，而在步驟203中計算針對每一對之平均值 Apair。針對核心l〇la的像素對係1〇與54 ; 12與52 ; 3〇與34 117237.doc 200806010 以及50與14。可看出，該箄斟 對侧t之德4 乂 4對包含在所㈣像素32a的相 i上之像素。例如’針對像素對12、 A!252=(P!2+P32)/2。 出千均值 在步驟2咐，針對每—對像素，計算 與所處理像素.32am mD 素對千均值 12、W出差"二 針對.像素對 、，旷1 ,252 ,〇接下來在步驟205中，將 所有成對的差值D .盘—s合w /士 πττ 1 ' _與^界值ΤΗ相比較。例如，可㈣ 用來自當前增益設定的雜訊位進 曰 疋扪雜Λ位準或使用其他適當方法， 預先選擇該臨界值丁Η。 接下來在步驟206中，將具有小於或等於該臨界值扭的 差值Dpair之像素對平均值、☆與像素值平均。例如， 若僅像素對12、52及30、34之#佶η rv 汉川34之差值Dl252、D3G34小於或等於 該臨界值TH ’則將平均值八1252及—Na相加而將總和 除以3’來去除P32a之值的雜訊。在一範例性具體實施例 中’當所有四個差值皆小於或等於該臨界時’使用四個平 均值^或P32a之初始值來計算P32a之值。在此具體實施例 中，若差值Dpair小於或等於該臨界，則將該對之平均值與 該總和相加，或者替代的係加上p^a之值。因此，若最近 相鄰像素對的所有四個差值皆小於或等於該臨界，則不使 用？32a之原始值來計算在去除雜訊後的值。但是，例 如’若該等差值中僅兩個差值小於或等於該臨界，則將 P32a之值使用二次來計算p^a在去除雜訊後的值（即 P32a-Apairl+Apair2+P32a+P32a)。一般地，平均作為二的冪方 (例如，平均2、4、8個值等）之一數目的值易於計算並應用 117237.doc -10· 200806010 於成像器。因此，藉由平均作為二的幕方之一數目的值， 攸而更谷易貝知本發明。但是，本發明不限於此等實施方 案’而可藉由使用任何合適數目的值來實施。 本斤。兒月的方法可在處理每一像素信號時針對每一像 素信號來實施。由於去除像素值的雜訊，因此先前已去除 雜訊的像素之值可用於去除其他像素值中的雜訊。因此， 田使用本文所5兒明的方法及先前去除雜訊的像素之值來去 瞻除其他像素雜訊時，該方法及裝置係以一部分遞迴的方式 貫施。但是，本發明不限於此實施方案，而可以係以一完 王遞迴（藉由使用來自其他已去除雜訊的像素之值來去除 像素雜λ )或非遞迴的方式（不使用已去除雜訊的像素來去 除後續像素的雜訊）實施。 如上所述，亦可對像素32b及相關影像校正核心1〇11)來 執行及κ施上述方法2〇〇。例如，在步驟2〇2中選擇/識辄 該核心loib。在針對像素32a而選擇相關核心1〇11>後，對 φ 稱地位於像素32b周圍的該等核心像素之每一像素皆係成 對，而在步驟203中計算針對每—對之平均值。針對 核心1〇lb的像素對係3〇與34 ; 12與52 ; 21與43以及41與 23 °如上所述來實施其餘步驟204至206。 上述具體實施例提供的去除雜訊可能不足以移除偽雜訊 (即，大於6個標準偏差之雜訊）。因此，本發明在已藉由一 將移除偽雜訊的濾波器來處理該影像資料之後實施的情況 下得到更佳的利用。 本發明不限於上述具體實施例。例如，可將一具體化該 117237.doc 200806010 、 私式儲存於一可包括 RAM(random access memory ;

隨機存取記愔鱗:^ + A ύ G體）、軟碟、資料傳輸、光碟等的載體媒體 上’而接菩Ιέ rk , 茶错由一相關處理器來實施。例如，本發明可以 係貝施為用於現有軟體應用程式之一插入件，或者其可以 係獨立使用。本發明不限於本文所指定的載體媒體，而且 可使用此項技術中習知的任何載體媒體來實施本發明。 圖5說明具有一像素陣列24〇之一範例性成像器件。 藉由列驅動器245回應於列位址解碼器255來選擇性地致 動4陣列240之列線。在該成像器件3〇〇中還包括一行驅動 260與行位址解碼器27〇。藉由時序及控制電路來操 作該成像器件300，該時序及控制電路25〇控制位址解碼器 255、270。該控制電路25〇還控制該列與行驅動器電路 245 、 260 〇 舁忒行驅動益260相關之一取樣與保持電路26丨針對該陣 列240之所選取像素而讀取一像素重設信號Vrst與一像素影 像信號Vsig。藉由差動放大器262針對每一像素產生一差 動信號（Vrst-Vsig)，並藉由類比至數位轉換器275(adc)來 數位化該差動信號。該類比至數位轉換器275將經數位化 的像素信號提供給形成並可輸出一數位影像之一影像處理 器280。該影像處理器280具有能夠在像素陣列24〇上實行 該方法20 0(圖4)之一電路。 圖6顯不系統11 〇〇，其係一修改成包括本發明之成像器 件300(圖5)的典型處理器系統。該系統11〇〇係具有可包括 景々像感測益益件的數位電路之一系統之範例。若不作限 117237.doc -12- 200806010 制’則此-系統可包括一電腦系統、靜態或視訊相機系 統、掃描器、機器視覺、禎 見視訊電話及自動聚焦系統或其他 成像器系統°或者’可藉由位於該放大器262與ADC 275 之間的一硬線電路來對該像素陣列之類比輸出進行處理。 糸統11〇〇(例如一相機系統）—般包含透過-匯流排1104 與一輸入/輸出_器件11〇6通信之一中央處理單元 (CPU)11G2’例如—微處理11 °成像器件300亦透'過匯流排 與CPU 1102通信。以處理器為主之系統蘭還包括隨 機存取記憶雜AM)⑽，並可包括亦透過匯流排ιι〇4與 〇2通仡之可移除的記憶體⑴$，例如快閃記憶體。 可將該成像器件_與一處理器（例如— cpu、數位信號處 理器。或微處理器）組合，而在—單—積體電路上或在與該 處理盗不同之—晶片上的記憶體儲存器可有可無。 儘管已結合當時已知的範例性具體實施例對本發明作詳 細说明’但應容易瞭解，本發明並不限於此類所揭示的具 體實施例。而是’可將本發明修改成併入至此尚未說明但 與本發明之精神及範嘴一致的任何數量之變化、更改、替 代或等效配置。例如’可將該等方法用於除所述㈣“圖 -、、卜的其他圖案中之像素’並會相應調整該等校正核 1此外，本發明不會受限於其所應用的成像器器件之類 型。因此’不應將本發明視為限於以上說明，而係僅限於 隨附申請專利範圍之範疇。 【圖式簡單說明】 稭由上面提供的關於本發明之詳細說明並參考附圖，將 H7237.doc 200806010 優點與特徵，其中： 用之一傳統微透鏡及濾色片 容易明白本發明之上述及其他 圖1係與一像素陣列結合使 陣列之一俯視圖； 圖2 A洗明依據本發明之一用 色像素的影像校正核心； 於像素陣列之一紅色或藍 像素陣列之一綠色像素 圖2B說明依據本發.明之一用於 的校正核心；

圖3更詳細地說明圖！所示校正核心； 圖4顯示依據本發明之一範例性方法藉由一用以校正像 素雜訊之影像處理器來實施之一方法之一流程圖； 圖5顯示依據本發明之一範例性具體實施例而構成之一 成像器之一方塊圖；以及 圖6顯示併入依據本發明之一具體實施例而構成的至少 一成像器件之一處理器系統。 【主要元件符號說明】 32a、32b 所識別像素 81 遽色片 82 Bayer圖案濾色片陣列 100 、 110 像素陣列 101a、101b 核心 240 像素陣列 245 列驅動器/列驅動器電路 250 時序及控制電路 255 列位址解碼器 117237.doc -14- 200806010 260 行驅動器/行驅動器電路 261 取樣與保持電路 262 差動放大器 270 行位址解碼器 275 類比至數位轉換器（ADC). 280 影像處理器/影像處理電路 300 成像器件 1100 系統 1102 中央處理單元（CPU) 11 04 匯流排 1106 輸入/輸出（I/O)器件 1110 隨機存取記憶體（RAM) 1115 可移除記憶體 117237.doc -15-

Claims (1)

1. 200806010 十、申請專利範園··

   一種去除像素值的雜訊之方法，其包含以下動作： 選擇圍繞一所識別像素的相鄰像素之一集合. 針對該集合内的每-對像素，來決定該對的該等像素 之-平均值其t每對中的像素係在該所識別像素之 相對側上； 針對每一對像素， 該平均值之間的該差 針對每一對像素， 以及 計算該所識別像素值與該像素對的 ， 將該差值與一預定臨界值相比較； 依據该比較，將至少一平均 α , α 卞叼值併入一已去除雜訊的所 識別像素值。 2·如睛求項！之方法，其中該併入步驟進一步包含： 針對小於或等於該臨界之每—差值，將該平均值與該 已去除雜訊的所識別像素值相加；以及 依據與該已去除雜 _ 除雜訊的所識別像素值相加的平均對之 值之該數目來獲得一平均。 3’ ：請求項1之方法’其中選擇圍繞-所識別像素之該像 素集合之該動作包含選擇具有與該缺陷像素相同顏色之 一預定數目的最近像素。 4 ·如请求項3之方法，甘士 永其中最近像素的該預定數目係八 個。 5 ·如請求項1之方法，、 /、中β方法係實施為一遞迴方法。 6.如請求項1之方 /、中違方法係實施為一非遞迴方 117237.doc 200806010 法。 7·如明求項1之方法，其中該方法係實施為一部分遞迴方 法0 8· 一種成像器件，其包含： _-像，素陣，列’其包含複數個像素，每像素輸出一表 不一所接收光數量之信號；以及 、去除像素雜訊電路，其係用以藉由提供一值取代該 鲁 所^像素值來去除至少__所識別像素值的雜訊，該值 係猎由將自平均像素對之值而導出的值與一臨界相比較 並且平均至少一平均像素對之值來獲得。 9·如請求項8之成像器件’其中該去除雜訊電路儲存該臨 界值。 10·如請求項8之成像器件，其中該集合包含四個像素對。 —月求項8之成像益件，其中該去除雜訊電路計算針對 每一像素對之該平均值。 〃 _ 12.如請求们丨之錢器件，其㈣去除雜訊電路計算針對 每一對的計算所得平均值與該所識別像素值之間的該 差' 13.如請求項12之成像器件，其中該去除雜訊電路將每—差 值與該臨界相比較。 如請求項13之減器件，其中該去除雜訊電路藉由將具 有小於或等於該臨界值的差值之該等像素對與該所識別 像素值合併來計算針對該所識別像素之一平均值。 15.如請求項8之成像器件，其中藉由平均至少一平均像素 117237.doc 200806010 對之值與該所識別像素值來計算該值。 16·如請求項15之成像器件，其中多次使用該所識別 來计鼻該值。 ' 17. —種處理系統，其包含： 一處理器.：；以及 一成像器件，其係連接至該處理器並包含·· 一像素陣列，其包含複數個像素，每一像素輸出一 表示一所接收光數量之信號；以及 去除像素雜訊電路，其係用以藉由提供一值取代 該所識別像素值來去除至少一所識別值的雜訊，該值 係藉由將自平均像素對之值而導出的值與—臨界相比 較並且藉由平均至少一平均像素對之值來獲得。 18. 如，求項17之處理系統，其中該成像裝置係_c咖成 19.=請求項i 7之處理系統，其中該成像裝置係—CCD成^ 〇 β求項17之處理系統’其中一給定像素之該值係該七 素所接收的該光數量之一數位化表示。 21.㈣求们7之處m其中該去除雜訊電路計算㈣ 每一像素對之該平均值。 請求項21之處m其巾該去除㈣電路計算針董 母-對㈣計算所得平均值與該所識別像素值之間的驾 差0 23·如請求項22之處理系統 其中該去除雜訊電路將每一差 117237.doc 200806010 值與一臨界相比較。 24.如請求項23之處理系統’其中該去除雜訊電路藉由併入 具有小於或等於該臨界值及該所識別像素值的差值之該 等像素.對來計异，針對該所識別像素之一平均值。 25·如請求柳之處理系統，其中藉由平均至少均像素 對之值與该所識別像素值來計算該值。 ” 26. 如請求項25之處理“，其中多次划該所識別像素值 來計算該值。 27. -種具有-相關程式之處理器，該程式使得該處理器能 夠藉由實施以下動作來去除一影像的雜訊： 選擇圍繞一所識別像素的相鄰像素之一集合； 針對該集合内的每一對像素，來決定該對的該等像素 之-平均值’其中每—對中的像素係在該所識別像素之 相對側上； ' 針對每一對像素， 該平均值之間的該差 針對每一對像素， 以及

   叶异該所識別像素值與該像素對的 J 將該差值與一預定臨界值相比較； 依據該比較 識別像素值。 將至少一平均值併入一 已去除雜訊的所 28. 如睛求項27之方法，其中該併入步驟進一步包含： 針對小於或等於該臨界之每一差值，將該平均值㈣ 已去除雜訊的所識別像素值相加；以及 依據…亥已去除雜訊的所識別像素值相加的平均對之 I17237.doc 200806010 值之該數目來獲得一平均。 29. ^請求項27之方法，其"擇_ —所識別像素之該像 素集合之該動作包切擇减與該缺陷像素 之 一預定‘數目的最近像素。 色之 3〇·如請求項29之方法， 其中最近像素的該預定數目係八 個。 即八 .如請求項27之方法，其中該方法係實施為一 32·如請求項27之古 、之方法，其中該方法係實施為一非遞迴方 法0 其中该方法係實施為一部分遞迴方 其進一步包含將該所識別像素值併 33·如請求項27之方法 34·如請求項28之方法 入該平均計算。 35_ 一：包含一程式用以操作-處理器來去除-影像的雜郭 之二體媒體，其包含以下動作·· 選擇圍繞-所識別像素的相鄰像素之一集合； 2㈣U㈣每_對像素’來決定該對的該等像素 之-平均值’其中每—對中的像素係在該所識 相對侧上； ^ /十對每—對像素，計算該所識別像素值與該像素對的 該平均值之間的該差； 比較； 針對每一對像素，將該差值與一預定臨界值相 以及 依據該比較’將至少—平均值併入一已去除雜訊的所 117237.doc 200806010 識別像素值。 36. 如請求項35之媒體，其中該併入步驟進一步包含： 針對】、於或等於4臨界之每一差值，將該平均值與該 已去除雜訊的所識別像素值相加；以及 依據與該所識別像素值相加的平均對之值之該數目來 獲得一平均。 37. 如請求項35之媒體，其中選擇圍繞—所識別像素之該像 素东《之錢作包含選擇具有與該缺陷像素相同顏色之 一預定數目的最近像素。 38. 如請求項37之媒體，其中最近像素的該預定數目係八 個。 39. 如請求項35之媒體，其中該方法係實施為-遞迴方法。 後如請求項35之媒體，其中該方法係實施為—非遞迴方 法。 仏如請求項35之媒體，其中該方法係實施為一部分遞迴方 法。 42·如明求項36之媒體，其進一步包含將該所識別像素值併 入該平均計算。 117237.doc