TWI333381B - - Google Patents

Description

1333381 九、發明說明： 【發明所屬之技術領域】 本發明係關於配置有含亮度【先前技術】 資訊之像素之攝像^

r 原色拜耳（Bayer)排列所代表之影像感測器 (例如參照專利文獻丨）中，在信號位準呈⑹、振幅之際暗電 流等雜訊之影響會顯著地顯現於畫質。因&，必須施行雜

訊降低處理，㈣無法避免據色器引起之信號#之減少， 故其效果有限。 因此，需要配置有白（W)像素，且具有對正方傾斜45。之 排列之影像感測器之雜訊降低方法。 又，在以往所使用之原色拜耳排列、補色格子花紋排列 等之不含W(White)像素之像素排料卜由於攝影部位有 著色(有彩色)或無著色(無彩色），即使是同一亮度之被照 體’可使用於輪廊之判定之像素也會發生變化。在多數之 情形，都會思考採用以含有佔視靈敏度特性之主要部分之 綠色」成分之像素為基準而施行端緣檢測'相關檢測等 處理之信號處理。但，卻有被照體不含綠色信號成分，或 成分比率低時，性能顯著降低或導致信號處理本身失敗之 問題。 另一方面，在含有W像素之像素排列中，w像素之成分 比率多半屬於與色像素相同之成分比率（相對於分色後之 個別色，多達2〜4倍），且檢測信號中之雜訊成分亦低，故 適合於端緣檢測、相關檢測等，但在其反面，由於可判別 118575.doc 1333381 顏色之像素數較少，故存在著難以達成色重現之問題 [專利文獻1]曰本特開2〇〇ι_2ΐ8073號公報 . 【發明内容】 ‘ (發明所欲解決之問題）

本發明所欲解決之問題係在於：因無法避免濾色器引起 之信號量之減少’故特別是在信號位準呈現小振幅之際暗 電流等雜訊之影響會顯著地顯現於4f之點。纟含有檢測 信號中之雜訊成分較低之w像素之像素排列中難以受到 雜訊之影響’但在其反面，由於可制顏色之像素=較 少’故難以達成色重現之點。 本發明之課題在於：以白像素之信號成分為指標，在彩 色像素之相位内插，而可將彩色圖像壓抑雜訊至與白像素 同等位準。 (解決問題之技術手段） 本發明之攝像裝置之特徵在於裝载有：感測器，其係具

有將複數色之有彩色像素與對入射光之靈敏度高於前述有 彩色像素之高靈敏度像素互相配置成格子花紋狀之單元排 列；白平衡區塊，其係將前述感測器之像素輸出正規化成 有彩色像素或高靈敏度像素；及像素内插區塊，其係藉由 内插將不足之他色内插於有彩色像素存在之相位；且包 3雜訊降低區塊，其係在前述白平衡區塊與前述像素内 插區塊之間，以前述高靈敏度像素之信號成分為指標，内 插於前述有彩色像素之相位而壓抑前述有彩色像素之雜訊 者0 118575.doc α在本發明中，由於包含：雜訊降低區塊，其係在白平衡 區塊與像素㈣區塊之間，以高該度像素之信號或分為 指標，内插於有彩色像素之相位而壓抑有彩色像素之雜 訊；故可確保色重現性，並可將有彩色圖像壓抑雜訊至與 高靈敏度像素同等位準。又，藉由使用高靈敏度像素， 壓抑在低照度之雜訊，改善靈敏度。 【實施方式】 (發明之效果） 依據本發明，可確保色重現性，並可將有彩色圖像之雜 訊壓抑至與高靈敏度像素同等位準。又，在使用高靈敏度 像素時，可抑制在低照度之雜訊，改善靈敏度。因此，對 於暗的被照體，可獲得高靈敏度之圖像，故具有可獲得高 靈敏度而雜訊影響受到壓抑之高畫質之攝像結果之優點。 尤其，即使為圖像之暗部、以低照度在感測器輸出乘以高 増益（HighGain)之狀態之圖像，也可以相對地雜訊較少之 高靈敏度像素，例如W(白）像素為基準再構建顏色，故可 將彩色圖像之雜訊壓抑至與高靈敏度像素同等位準。如 此，與RGB相比，可積極地活用在穿透分光特性方面較有. 利之高靈敏度像素之資訊’故可提高雜訊降低效果。 以下，依據圖1〜圖4說明本發明之攝像裝置之一實施型 態（第1實施例）。 首先，依據圖3之區塊圖說明適用本發明之攝像裝置之 一例。在圖3中，係表示作為一例而使用影像感測器之攝 像機系統之全體圖。 118575.doc 1333381 如圖3所示，攝像裝置！係包含：結成光像之透鏡系2、 具有施行光電變換之像素部之感測器3、接受電氣信·號而 除去Ι/f雜訊，僅抽出信號成分之相關雙重抽樣（(：1)8)部 4、將類比仏號之感測器之像素信號變換成數位信號之類 比數位變換器（ADC)5、及輸出數位信號化之感測器信號作 為最終之影像信號之信號處理區塊6。 在上述攝像裝置1中，透鏡系2所聚光之光像係在感測器 3之像素部成像’作為電氣信號被輸出至cds部4。在CDS 4 4，除去1/f雜訊，僅抽出信號成分，利用adc5將類比信 號之感測器之像素信號變換成數位信號。變換成數位信號 之感測器化號再被輸入至信號處理區塊6作為最終之影像 信號而被處理。 其次’依據圖4說明有關本發明之攝像裝置1之感測器3 之色排列例。 如圖4所示，感測器3之像素排列係相對於以往之RGB正 方形拜耳之像素排列，採用將獲得亮度資訊用之像素（在 本例中’為對入射光之靈敏度兩於有彩色像素之高靈敏度 像素）配置於空間相位偏移1 /2之相位位置之排列。此高靈 敏度像素例如係由白像素或灰像素所構成。在圖式中，表 示排列白像素作為其一例。以下，以排列白（W)像素之一 例加以說明。 其次’依據圖1及圖2說明有關本發明之重要部分。圖^ 係表示上述信號處理區塊6之詳細之區塊圖，圖.丨係表示插 入施行雜訊降低處理之雜訊降低區塊後之信號處理部之詳 118575.doc 1333381 細之區塊圖。 如圖2所示，被類比數位變換器（ADC)變換成數槎信號 之感測器之像素信號係在白平衡區塊丨i將感測器之像素輸 出正規化成有彩色像素之G(Green)像素或高靈敏度像素之 W像素。 正規化之信號分別獨立地被輸入至色判別區塊丨2與像素 内插區塊13。在色判別區塊丨2中，判定作為對象之像素及

其周邊是否有彩色，將其結果傳達至像素内插區塊13。 在像素内插區塊13中，利用内插將不足之2色内插至存 在有彩色像素之R/G/B像素之相位。例如，在將b/r像素内 插於存在有G像素之位置。又，像素内插區塊13係依據前 述色判別區塊12之判定結果，動態地變更内插處理。非為 有彩色之情形，在產生内插之像素之際，可積極地利用已 存在之像素之像素信號來提高解像度，另一方面，為有彩 色之情形，由周圍像素内插與欲内插之像素同色之像素信 號。 施行像素内插後，分成亮度產生與彩色產生之2系統進 行處理。首先，說明有關亮度產生之處理系統。 對像素内插區塊13所產生iR/G/B像素信號施行以 NTSC之亮度變換式等所代表之變換，產生γ信號。產生之 Y信號與W像素心信號位準並未—致，故在位準平衡區 塊14施行使位準—致。利用此位準平衡區塊Μ產生叙評 號與Υ信號之位準差之亮度信號（高頻。 但’在空間上有亮度信號存在之像素與無亮度信號存在 118575.doc 1333381 之像素會交互（在空間相位，各佔1/2)地出現，故需將像素 補足於像素不存在之相位。此動作係由亮度内插區滅16執 行。此補足處理之判定係由相關檢測區塊15執行。此相關 檢測區塊1 5係以亮度信號作為檢測信號進行處理。此檢測 結果分別被利用於亮度產生與彩色產生。 在彩色内插區塊17中，首先，將R/G/B像素内插於W像 • 素存在之相位。内插係由周圍之W像素與R/G/B像素，依 據比率運算等算出。另外，為了在空間上R/G/B像素不存 ® 在之相位施行像素補足，使其反映在亮度產生之說明中之 相關檢測區塊1 5之檢測結果，以施行像素補足。 梵度内插區塊18係將前述之高頻之亮度信號與由彩色產 生處理所運算之R/G/B信號產生γ信號之低頻之亮度信號 再合成之區塊。藉由此處理，可抑制低頻部分之亮度重現 性之劣化。 依據以上之動作，產生Y/ Cr/Cb之信號，完成像素内插 處理。 以上係具有前述圖4之像素排列之影像感測器之信號處 理之概略。在本發明之攝像裝置中，如圖丨所示在白平 ' #區塊11、像素内插區塊13與色判別區塊12之間設有雜訊 * ^區塊21。此雜訊降低區塊21係對在白平衡區塊u將感 測裔之像素輸出正規化成w像素、像素之作號 Wwb、Rwb、Gwb、Bwb，施行雜訊之壓抑。 … 其次，依據圖5之區境圖’說明上述.雜訊降低區塊。之 118575.doc 1333381 如圖5所示，使用Wwb、Rwb、Gwb、Bwb之4信號作為 輸入信號。在此，Wwb係表示白平衡後之W像素信諕。同 樣地，Rwb係表示白平衡後之R像素信號，Gwb係表示白 平衡後之G像素信號，Bwb係表示白平衡後之B像素信號。 首先，在平均化處理區塊22對W像素施行平均化處理。 其詳細以圖6之W像素平均化處理之演算法表示。 • 如圖6所示，在本例中，在3χ3之範圍内對W像素施行平 均化處理。此平均化處理之範圍可依需要任意選擇。 • W像素之平均化原本係為進一步改善S/N以獲得S/N之良 好之像素資訊而施行者。藉平均化處理，在W4像素之位 置產生新的W像素。此際，若採用單純平均化時，會失去 端緣等頻率較高之成分，故由W4像素與周邊之W0像素分 別求出至W8像素之差分之絕對值abs(W0-W4)、…、abs (W8-W4)，將此與臨限值th作比較。即，可成立下式： abs(W0-W4) ' ... ' abs(W8-W4)< th 上述臨限值th係用於設定供選擇與W4像素同位準之範圍 ® 之值。 利用上述運算將滿足條件之W像素全部累加，並求出其 . 平均值，作為新的W像素。即，可成立下式： . (l/n)IWi 接著，回到圖5，在像素内插部23中，將W像素内插於 RGB像素存在之相位。此内插處理以一例加以說明時，可 利用如圖7所示之演算法施行内插處理。在此之内插係為 達成產生可利用於後述之雜訊降低處理之檢測信號WIpfl 118575.doc •12- 之目的而設’其内插精度未必需要嚴格。 方面’對RGB像素之Rwb、Gwb、B wb各信繞，利 用平均化處理區塊24、25、26執行平均化處理。此平均化 處理之一例如圖8所示。以如圖8所示之演算法施行平均化 處理，對Rwb、Gwb、Bwb各信號，獲得檢測信號RIpf〇、 GIPf〇、BIpfO。此處理之目的係高頻部分之假色對策。 利用上述處理產生之像素，可適應於雜訊降低部27之雜 訊降低處理。 其次，依據圖9、圖10之標記法則，揭示對尺像素之處理 例作為雜訊降低處理例。 如圖9(1)所示，將前述圖4所示之像素排列置換成正方 排列。如圖9(2)所示，著眼於尺像素而將其重寫。又，如 圖1〇所示，著眼於R像素之5x5之區域而同樣地重寫。此著 眼區域為雜訊降低之處理單位。在此，說明有關著眼於圖 10之R12之雜訊降低。又，在圖1〇中，僅標示尺像素之情 形，但W像素也存在於因前述之内插處理而有尺像素存在 之相位。 雜訊降低處理首先利用臀像素，判定雜訊降低之適用範 圍》具體上，分別求出著眼像素（W12)與其周邊像素之 差。此時，设疋雜訊位準臨限值讣，施行小於化之位置之 W像素值及R像素值之累加。即，可成立下式· abs(W0-W12)、abs(Wl_Wl2)、abs(W2-Wl2)、...、abs (W24-W12)〈臨限值 th 在此，Wsum=滿足上述條件之冒像素值，Rsum=滿足上 118575.doc •13· 述條件之R像素值。 接著，利用下式算出應内插於R12之R像’素值 (R12new)，將其結果送至本線系之RGB内插區塊。 R12new=(W12/Wsum)xRsum 同樣地’也可對G像素、B像素施行同樣之運算，已產 生壓抑雜訊之信號。 其次，依據圖11〜圖16說明本發明之攝像裝置之一實施 型態（第2實施例）。首先，圖11係表示前述_ 3所示之信號 處理區塊之詳細圖。 如圖11所示，將被類比數位變換器（ADC)變換成數位信 戒之感測器之像素彳§號分別獨立地輸入至「白平衡檢測」 31、「光學的黑檢測（0B檢測）」32、「光學的黑補正（〇b箝 位）」33，在「白平衡」34，將感測器之像素輸出正規化 成有彩色像素之G(Green)像素或高靈敏度像素之w像素。 正規化之信號係分別被獨立地輸入至「輪廓檢測」35與 「像素内插」3 6。在「輪廓檢測」3 5争，判定圖像之輪 廓’將其結果傳達至「輪廓增強」37。又，在「像素内 插」36中，以白平衡調整後之信號作為輸入信號，將輸入 之像素信號分離成有彩色像素（彩色像素）之各色與高靈敏 度像素（例如白（W)像素）。依據被分色後之結果之…像素， 決定施行信號内插之對象區域，將w像素内插於w像素不 存在之彩色像素之上。依據此|像素之内插結果、與施行 抬號内插之對象區域’檢測相當於例如士丨〇% _ 又< 樣 之売度之例如白色之信號位準具有同樣傾向之面，以所檢 I18575.doc •14- 1333381 測之面單位施行有彩色像素之内插。 在上述「像素内插」36後，施行「色變換/修正」·38, 並施行「輪廓增強」37、「γ變換」39、「γ/c分離」4〇，產 生Y/Cr/Cb信號，完成像素内插處理。 此第2實施例也係以使用對入射光之靈敏度高於有彩色 像素之高靈敏度像素為前提之信號處理之方法。作為此種 像素排列之一例，如圖12所示，有將具有R/G/B之原色濾 光片之各有彩色像素、與白像素或灰像素構成之高靈敏度 像素互相配置成格子花紋狀之單元排列者。 又’本實施例雖係以使用圖12所示之像素排列為前提， 但並不限定使用於圖12所示之各有彩色像素排列，例如， 不僅可使用具有圖示之原色濾光片之像素，也可使用具有 補色信號濾光片之像素予以實現，又排列本身也不僅可使 用如圖12般之鋸齒狀排列，連正方排列也可適用。同樣地 W(像素）之數也可變更，也可實現將以往常用之原色正方 拜耳排列中之2個G像素中之一方置換成评像素之濾光片排 列。 其次，利用圖13之像素内插之區塊圖、圖14之彩色像素 内插結果之放大圖，說明本實施例之像素内插（相當於前 述圖Π之「像素内插」）之詳細。 如圖13所示，以光學的黑補正（0B檢測）處理、白平衡調 整後之信號作為輸入信號。將此輸入信號輸入至「分色」 41，將輸入之像素信號分離成彩色像素之各色像素與白 (w)像素。此分色例如係利用圖15所示方式進行。 118575.doc •15· 1333381 即，如圖15所示，由混合存在有尺像素、G像素、6像 素、W像素之狀態，不改變各像素位置而分解成各色之圖 像。其結果，可分離成R圖像、G圖像、B圖像、w圖像。 其次，施行「相關檢測」42。在此「相關檢測」42中， 依據分色之結果之W像素，決定施行信號内插之對象區 域。 其次，施行「W像素内插」43。在此「W像素内插」43 中，依據相關檢測結果，將w像素内插於w像素不存在之 彩色像素之上。 其-人，施行「面（群）檢測」44。在此「面（群）檢測」44 中’依據W像素内插結果與相關檢測結果，檢測相當於例 如±10%程度之同樣之亮度之例如白色之信號位準具有同 樣傾向之面（群）。 其人，麵行「彩色像素面（群）内插」45。在此「彩色像 素面（群）内插」45中，以檢測之面（群）單位施行彩色像素 之内插。此結果’如圖14所示，可内插各R像素、〇像 素、B像素。 例如，如圖16所示，欲在顯示「A」之處内插藍色之像 素之凊形，依據以下之步驟實施： ，先取彳于顯不在同一面内（圖十，以紅色線圖示）之藍 色（B)像素之平均，作為Μ”。其次取得顯示在同一面 内（圖中，4 a 紅色線圖示）之白色（W)像素之平均，作為 Wave。另外，少 ^ μ极 在同一面内之白色之亮度變化與彩色像素之 凴度變化大致„ 顯不相同之傾向，故以Α點之w像素值作為 118575.doc -16·

Wa利用以下之计算式求出内插於a點之b像素值Ba :

Ba=(Wa/Wave)xBave 對其他之彩色像素之R像素、〇像素也逐次適用與上述 同樣之步料，即可將純像素補足在對應於所攝像之全 部像素之位置。 依照上述步驟之情形，由於可對靈敏度因濾光片而降 低，導致雜訊較多之彩色信號施行平均化處理，故可藉平 均化除去隨機雜訊等之雜訊，且可依據w像素之亮度變 化’再生彩色像素之亮度值。 在本發明之攝像裝置中’在將S/N良好之W像素内插於 RGB各像素存在之處之㉟，可利用單純之平均化處理執 行故電路構成較為簡潔。又，因屬於對Raw資料之處 理，具有無需改變既存之信號處理之演算法之特徵。另 外，在圖像之暗部、低照度之圖像中，即使為在感測器輸 出乘以阿增益（HighGain)之狀態之圖像，也可以相對地雜 訊較少之W(白）像素為基準再構建顏色，故可將彩色圖像 之雜訊壓抑至與|(白）像素同等位準。又，因施行同一亮 度或同一傾向之面檢測/標示，故藉由與處理結果—起輸 出此仏號，可將其利用於後段之用途之圖像處理。 【圖式簡單說明】 圖1係表示本發明之攝像裝置之一實施型態（第1實施例） 之要部之區塊圖。 圖2係表示信號處理區塊之詳細之一例之區塊圖。 圖3係表示適用本發明之攝像裝置之一例之區塊圖。 H8575.doc •17· 丄*J J J JO丄 圖4係表示攝像裝置之感測器之色排列之之像素配 置圖。 · 圖5係表示雜訊降低區塊之詳細之一例之區塊圖。 圖6係表⑽像素平均化處理之—狀演算法。 圖7係表示像素内插處理之一例之演算法。 圖8係表示平均化處理圖之一例之演算法。 圖9(丨）、（2)係表示對尺像素之雜訊降低處理之一例之像 素配置圖。 圖1〇係表示對R像素之雜訊降低處理之一例之像素配置 圖。 圖11係表示本發明之攝像裝置之一實施型態（第2實施例） 之信號處理區塊之詳細之一例之區塊圖。 圖12係表示攝像裝置之感測器之色排列之一例之像素配 置圖。 、 圖13係表示本發明之攝像裝置之第2實施例之要部之像 素内插之區塊圖。 圖14係彩色像素内插結果之放大圖。 圖15係表示分色之一例之配置圖。 圖16係說明内插藍色像素之一例之像素配置圖。 【主要元件符號說明】 1 攝像裝置 11 白平衡區塊 13 像素内插區塊 21 雜訊降低區塊 118575.doc -18-

Claims (1)

1. 十、申請專利範圍： h 一種攝像裝置，其特徵在於裝載有： 感測器’其係具有將複數色之有彩色像素與對入射光 之靈敏度高於前述有彩色像素之高靈敏度像素互相配置 成格子花紋狀之單元排列； 白平衡區塊，其係將前述感測器之像素輸出正規化成 有卷色像素或高靈敏度像素；及 "像素内㈣塊，其係藉由㈣將不足之他色内插於有 I色像素存在之相位；且包含： 雜訊降低區塊，其係在前述白平衡區塊與前述像素 内插區塊之間，以前述高靈敏度像素之信號成分為指 標，内插於前述有彩色像素之相位而壓抑前述有彩 素之雜訊者》 2. 如請求項1之攝像裝置，其中 前述高靈敏度像素係白像素或灰像素。 3. 如請求項1之攝像裝置，其中 在前述雜訊降低區塊之前設置有算出有彩色像素之同 色像素平均値之平均化處理區塊。 4_如請求項1之攝像裝置，其中 别述像素内插區塊係以前述高靈敏度像素為基準判定 同一傾向之亮度區域； 施行以各有彩色像素置換同一傾向之亮度面内之前述 有彩色像素值之像素内插者。 5·如請求項1之攝像裝置，其中 H8575.doc 1333381 刖述像素内插區塊包含： 分色區塊，其係將前述白平衡後之像素信號#色成 有彩色像素之各色像素與高靈敏度像素； 相關檢測區塊，其係對前述分色之結果，依據高靈 敏度像素之圖像決定信號内插之對象區域； 南靈敏度像素内插區塊，其係依據前述相關檢測結 果，將高靈敏度像素内插於高靈敏度像素不存在之有彩 色像素上；

   面檢測區塊，其係依據前述高靈敏度像素之内插釺 果與前述相關檢測結果，檢測同一傾向之亮声 叫*及 有彩色像素面内插區塊，其係以前述所檢測 單位施行各色像素之内插。 出之面

   118575.doc