TW200810566A - Imaging apparatus - Google Patents

Description

200810566 九、發明說明： 貪訊之像素之攝像裝置 【發明所屬之技術領域】 本發明係關於配置有含亮度 【先前技術】 在以往之RGB原色拜耳（Bayer)排列所代表之影像感測器 (例如參照專利文獻1)中，在錢位準呈現小振幅之際暗電 流等雜訊之影響會顯著地顯現於畫質。因&，必須施行雜 訊降低處理，自因無法避免濾色器引起之信號量之減少， 故其效果有限。 因此，需要配置有白（W)像素，且具有對正方傾斜45。之 排列之影像感測器之雜訊降低方法。 又’在以往所使用之原色拜耳排列、補色格子花紋排列 等之不含W(White)像素之像素排列等中，由於攝影部位有 著色（有彩色）或無著色（無彩色），即使是同一亮度之被照 體，可使用於輪廓之判定之像素也會發生變化。在多數之 1*月幵/都會思考採用以含有佔視靈敏度特性之主要部分之 「綠色」成分之像素為基準而施行端緣檢測、相關檢測等 處理之信號處理。但，卻有被照體不含綠色信號成分，或 成分比率低時，性能顯著降低或導致信號處理本身失敗之 問題。 另一方面’在含有w像素之像素排列中，w像素之成分 比率多半屬於與色像素相同之成分比率（相對於分色後之 個別色’多達2〜4倍），且檢測信號中之雜訊成分亦低，故 適合於端緣檢測、相關檢測等，但在其反面，由於可判別 118575.doc 200810566 顏色之像素數較少，故存在著難以達成色重現之問題。 [專利文獻1]曰本特開2001-218073號公報 【發明内容】 (發明所欲解決之問題） 本發明所欲解決之問題係在於：因無法避免濾色器引起 之信號量之減少，故特別是在信號位準呈現小振幅之際暗 電流等雜訊之影響會顯著地顯現於晝質之點。在含有檢測 信號中之雜訊成分較低之W像素之像素排列中，難以受到 雜訊之影響，但在其反面，由於可判別顏色之像素數較 少，故難以達成色重現之點。 本發明之課題在於··以白像素之信號成分為指標，在彩 色像素之相位内插，而可將彩色圖像壓抑雜訊至與白像素 同等位準。 ' (解決問題之技術手段） 本發明之攝像裝置之特徵在於裝載有：感測器，其係具 有將複數色之有彩色像素與對入射光之靈敏度高於前述； 彩色像素之咼藍敏度像素互相配置成格子花紋狀之單元排 列；白平衡區&，其係將前述感測！！之像素輸出正規化成 有彩色像素或高靈敏度像素；及像素内插區塊，其係藉 内插將不足之他色内插於有彩色像素存在之相位；2 $ 含·雜訊降低區塊，其係在前述白平衡區塊與前述像素 插區塊之間，以前述高靈敏度像素之信號成分為指榡γ内 插於前述有彩色像素之相位而壓抑前述有彩色 内 务I之雜訊 H8575.doc 200810566 在本發明巾，由於包含：雜訊降低區塊，其係在白平衡 區塊與像素内插區塊之間，以高靈敏度像素之信號成分為 指標’内插於有彩色像素之相位而壓抑有彩色像素之雜 訊；故可確保色4現性，並可將有彩色圖像壓抑雜訊至血 =靈敏度像素同等位準。又，藉由使用高靈敏度像素，可 壓抑在低照度之雜訊，改善靈敏度。 【實施方式】 (發明之效果） 依據本發明，可確保色重現性，並可將有彩色圖像之雜 訊壓抑至與高靈敏度像素同等位準…在使用高靈敏度 像素時，可抑制在低照度之雜訊，改善靈敏度。因此，對 :暗的被照體，可獲得高靈敏度之圖冑，故具有可獲得高 靈敏度而雜訊影響受到壓抑之高畫質之攝像結果之優點。 尤其’即使為圖像之暗冑、以低照度在感測器輸出乘以高 增益（HighGain)之狀態之圖像，也可以相對地雜訊較少之 面靈敏度像素，例如W(白）像素為基準再構建顏色，故可 將彩色圖像之雜訊壓抑至與高靈敏度像素同等位準。如 此與RGB相比’可積極地活用在穿透分光特性方面較有. 利之回筮敏度像素之資訊，故可提高雜訊降低效果。 以下，依據圖1〜圖4說明本發明之攝像裝置之一實施型 悲（弟1實施例）。 首先’依據圖3之區塊圖說明適用本發明之攝像裝置之 例。在圖3中’係表示作為—例而使用影像感測器之攝 像機系統之全體圖。 118575.doc 200810566 如圖3所示，攝像裝置丨係包含：結成光像之透鏡系2、 具有施行光電變換之像素部之感測器3、接受電氣信號而 除去l/f雜訊，僅抽出信號成分之相關雙重抽樣（匸〇§)部 4、將類比仏唬之感測器之像素信號變換成數位信號之類 比數位變換器（ADC)5、及輸出數位信號化之感測器信號作 為最終之影像信號之信號處理區塊6。 在上述攝像裝置1中，透鏡系2所聚光之光像係在感測器 3之像素部成像，作為電氣信號被輸出至€£)§部4。在CDS 部4，除去1/f雜訊，僅抽出信號成分，利用ADC5將類比信 唬之感測器之像素信號變換成數位信號。變換成數位信號 之感測器信號再被輸入至信號處理區塊6作為最終之影像 信號而被處理。 其-人’依據圖4說明有關本發明之攝像裝置1之感測器3 之色排列例。 如圖4所示，感測器3之像素排列係相對於以往之rgb正 方形拜耳之像素排列，採用將獲得亮度資訊用之像素（在 本例中’為對入射光之靈敏度高於有彩色像素之高靈敏度 像素）配置於空間相位偏移1/2之相位位置之排列。此高靈 敏度像素例如係由白像素或灰像素所構成。在圖式中，表 不排列白像素作為其一例。以下，以排列白（W)像素之一 例加以說明。 其次’依據圖1及圖2說明有關本發明之重要部分。圖2 係表不上述信號處理區塊6之詳細之區塊圖，圖1係表示插 入施订雜訊降低處理之雜訊降低區塊後之信號處理部之詳 118575.doc 200810566 細之區塊圖。 如圖2所示，被類比數位變換器（ADC)變換成數位信號 之感測器之像素信號係在白平衡區塊11將感測器之像素輸 出正規化成有彩色像素之G(Green)像素或高靈敏度像素之 W像素。 正規化之信號分別獨立地被輸入至色判別區塊12與像素 内插區塊13。在色判別區塊12中，判定作為對象之像素及 其周邊是否有彩色，將其結果傳達至像素内插區塊13。 在像素内插區塊13中，利用内插將不足之2色内插至存 在有彩色像素之R/G/B像素之相位。例如，在將B/R像素内 插於存在有G像素之位置。又，像素内插區塊13係依據前 述色判別區塊12之判定結果，動態地變更内插處理。非為 有彩色之情形，在產生内插之像素之際，可積極地利用已 存在之像素之像素信號來提高解像度，另一方面，為有彩 色之情形，由周圍像素内插與欲内插之像素同色之像素信 號。 施行像素内插後，分成亮度產生與彩色產生之2系統進 行處理。首先，說明有關亮度產生之處理系統。 對像素内插區塊13所產生iR/G/B像素信號，施行以 NTSC之亮度變換式等所代表之變換， γ信號詩像素由於信號位準並未一致，故::準;= 塊14施行使位準—致。利用此位準平衡區㈣產生無|信 號與Y信號之位準差之亮度信號（高頻）。 仁在空間上有党度信號存在之像素與無亮度信號存在 118575.doc -10- 200810566 之像素會父互（在空間相位，各佔1/2)地出現，故需將像素 補足於像素不存在之相位。此動作係由亮度内插區塊16執 行。此補足處理之判定係由相關檢測區塊15執行。此相關 檢測區塊15係以亮度信號作為檢測信號進行處理。此檢測 結果分別被利用於亮度產生與彩色產生。 在彩色内插區塊17中，首先，將R/G/B像素内插於W像 素存在之相位。内插係由周圍之w像素與r/g/b像素，依 據比率運算等算出。另外，為了在空間上R/G/B像素不存 在之相位施行像素補足，使其反映在亮度產生之說明中之 相關檢測區塊15之檢測結果，以施行像素補足。 党度内插區塊18係將前述之高頻之亮度信號與由彩色產 生處理所運算之r/g/b信號產生γ信號之低頻之亮度信號 再合成之區塊。藉由此處理，可抑制低頻部分之亮度重現 性之劣化。 依據以上之動作，產生Y/ Cr/Cb之信號，完成像素内插 處理。 以上係具有前述圖4之像素排列之影像感測器之信號處 理之概略。在本發明之攝像褒置中，如圖i所示，在白平 衡區塊11、像素内插區塊13與色判別區塊之間設有雜訊 降低區塊21。此雜訊降低區塊2 i係對在白平衡區塊i i將感 測器之像素輸出正規化成w像素、像素之信號 WWb、Rwb'Gwb、Bwb，施行雜訊之壓抑。 八人依據圖5之區塊圖，說明上述雜訊降低區塊21之 詳細。 118575.doc 200810566 如圖5所示，使用Wwb、Rwb、Gwb、Bwb之4信號作為 輸入信號。在此，Wwb係表示白平衡後之W像素信號。同 樣地，Rwb係表示白平衡後之R像素信號，Gwb係表示白 平衡後之G像素信號，Bwb係表示白平衡後之B像素信號。 首先，在平均化處理區塊22對W像素施行平均化處理。 其詳細以圖6之W像素平均化處理之演算法表示。 如圖6所示，在本例中，在3x3之範圍内對W像素施行平 均化處理。此平均化處理之範圍可依需要任意選擇。 W像素之平均化原本係為進一步改善S/N以獲得S/N之良 好之像素資訊而施行者。藉平均化處理，在W4像素之位 置產生新的W像素。此際，若採用單純平均化時，會失去 端緣等頻率較高之成分，故由W4像素與周邊之W0像素分 別求出至W8像素之差分之絕對值abs(W0-W4)、…、abs (W8-W4)，將此與臨限值th作比較。即，可成立下式： abs(W0-W4)、_·.、abs(W8-W4)<th 上述臨限值th係用於設定供選擇與W4像素同位準之範圍 之值。 利用上述運算將滿足條件之W像素全部累加，並求出其 平均值，作為新的W像素。即，可成立下式： (l/n)ZWi 接著，回到圖5，在像素内插部23中，將W像素内插於 RGB像素存在之相位。此内插處理以一例加以說明時，可 利用如圖7所示之演算法施行内插處理。在此之内插係為 達成產生可利用於後述之雜訊降低處理之檢測信號WIpfl 118575.doc -12- 200810566 之目的而設，其内插精度未必需要嚴格。 另方面，對RGB像素之Rwb、Gwb、Bwb各信號，利 :平均化處理區塊24、25、26執行平均化處理。此平均化 处理之-例如圖8所示。以如圖8所示之演算法施行平均化 處理’對Rwb、Gwb、Bwb各信號，獲得檢測信號咖〇、 GIPf0、BIpfG。此處理之目的係高頻部分之假色對策。 利用上述處理產生之像素，可適應於雜訊降低部巧之雜 訊降低處理。 其次，依據圖9、圖1〇之標記法則，揭示對尺像素之處理 例作為雜訊降低處理例。 如圖9(1)所示，將前述圖4所示之像素排列置換成正方 排列。如圖9(2)所示，著眼於尺像素而將其重寫。又，如 圖10所示，著眼於尺像素之5χ5之區域而同樣地重寫。此著 眼區域為雜訊降低之處理單位。在此，說明有關著眼於圖 1〇之R12之雜訊降低。又，在圖1〇中，僅標示&像素之情 形，但W像素也存在於因前述之内插處理而有R像素存在 之相位。 雜訊降低處理首先利用冒像素，判定雜訊降低之適用範 圍。具體上，分別求出著眼像素（W12)與其周邊像素之 差。此時，設定雜訊位準臨限值，施行小於化之位置之 W像素值及R像素值之累加。即，可成立下式： abs(W0_W12)、abs(Wl-W12)、abs(W2_Wl2)、···、abs (W24-W12)< 臨限值 th 在此，Wsiim=滿足上述條件之w像素值，Rsum=滿足上 118575.doc •13- 200810566 述條件之R像素值。 接著，利用下式算出應内插於R12之R像素值 (R12new)，將其結果送至本線系之RGB内插區塊。 R12new=(W12/Wsum)xRsum 同樣地，也可對G像素、B像素施行同樣之運算，已產 生壓抑雜訊之信號。 其次，依據圖11〜圖16說明本發明之攝像裝置之一實施 型態（第2實施例）。首先，圖u係表示前述_ 3所示之信號 處理區塊之詳細圖。 如圖11所示，將被類比數位變換器（ADC)變換成數位信 號之感測器之像素信號分別獨立地輸入至「白平衡檢測」 31、「光學的黑檢測（0B檢測）」32、「光學的黑補正（〇b箝 位）」33，在「白平衡」34，將感測器之像素輸出正規化 成有彩色像素之G(Green)像素或高靈敏度像素之貿像素。 正規化之信號係分別被獨立地輸入至「輪廓檢測」乃與 「像素内插」36。在「輪廓檢測」35中，判定圖像之輪 廊’將其結果傳達至「輪廓增強」37。又，在「像素= 插」36中，以白平衡調整後之信號作為輸入信號，將輸入 之像素信號分離成有彩色像素（彩色像素）之各色與高靈敏 度像素（例如白（W)像素依據被分色後之結果之1=素， 決定施行信號内插之對象區域，將w像素内插於w像素不 2在之彩色像素之上。依據此臀像素之内插結果、與施行 仏唬内插之對象區域，檢測相當於例如±1 0%程度之同樣 之亮度之例如白色之信號位準具有同樣傾向之面，以所檢 H8575.doc -14- 200810566 /則之面單位施行有彩色像素之内插。 在上述「像素内插」36後，施行「色變換/修正」38， 並施行「輪廓增強」37、「γ變換」39、「Y/C分離」40，產 生Y/Cr/Cb信號，完成像素内插處理。 此第2實施例也係以使用對入射光之靈敏度高於有彩色 像素之面靈敏度像素為前提之信號處理之方法。作為此種 像素排列之一例，如圖12所示，有將具有R/G/B之原色濾 光片之各有彩色像素、與白像素或灰像素構成之高靈敏度 像素互相配置成格子花紋狀之單元排列者。 又，本實施例雖係以使用圖12所示之像素排列為前提， 但並不限定使用於圖12所示之各有彩色像素排列，例如， 不僅可使用具有圖示之原色濾光片之像素，也可使用具有 補色信號濾光片之像素予以實現，又排列本身也不僅可使 用如圖12般之鋸齒狀排列，連正方排列也可適用。同樣地 W(像素）之數也可變更，也可實現將以往常用之原色正方 拜耳排列中之2個G像素中之一方置換成冒像素之濾光片排 列。 其次，利用圖13之像素内插之區塊圖、圖14之彩色像素 内插結果之放大圖，說明本實施例之像素内插（相當於前 述圖Π之「像素内插」）之詳細。 如圖13所示，以光學的黑補正（〇B檢測）處理、白平衡調 整後之信號作為輸入信號。將此輸入信號輸入至「分色」 41，將輸入之像素信號分離成彩色像素之各色像素與白 (w)像素。此分色例如係利用圖15所示方式進行。 118575.doc -15- 200810566 即，如圖15所示，由混合存在有R像素、G像素、b像 素、W像素之狀悲’不改變各像素位置而分解成各色之圖 像。其結果’可分離成R圖像、G圖像、B圖像、w圖像。 其次，施行「相關檢測」42。在此「相關檢測」42中， 依據分色之結果之W像素，決定施行信號内插之對象區 域0 其次，施行「W像素内插」43。在此「w像素内插」43 中，依據相關檢測結果，將W像素内插於W像素不存在之 彩色像素之上。 其次，施行「面（群）檢測」44。在此「面（群）檢測」料 中，依據W像素内插結果與相關檢測結果，檢測相當於例 如土 程度之同樣之亮度之例如白色之信號位準具有同 樣傾向之面（群）。 其次，施行「彩色像素面（群）内插」45。在此「彩色像 素面（群）内插」45中，以檢測之面（群）單位施行彩色像素 之内插。此結果，如圖14所示，可内插各R像素、G像 素、B像素。 例如，如圖16所 素之情形，依據以下之步驟實施： 首先，取得顯示在同一面内（圖中，以紅色線圖示）之藍 色（B)像素之平均，作為Bav。其次，取得顯示在同一面 内（圖中，m線圖示）之自色（w)像素之平均，作為 :ave:另外’在同-面内之白色之亮度變化與彩色像素之 儿度文化大致顯示相同之傾向，故以A點之w像素值作為 118575.doc -16- 200810566

Wa，利用以下之計算式求出内插於A點之B像素值Ba ··

Ba=(Wa/Wave)xBave 對其他之彩色像素之R像素、（3像素也逐次適用與上述 同樣之步驟時，即可將彩色像素補足在對應於所攝像之全 部像素之位置。 依照上述步驟之情形，由於可對靈敏度因濾光片而降 低V致雜訊較多之彩色信號施行平均化處理，故可藉平 均化除去隨機雜訊等之雜訊，且可依據w像素之亮度變 化’再生彩色像素之亮度值。 本發明之攝像裝置中，在將S/N良好之w像素内插於 各像素存在之處之際，可利用單純之平均化處理執 打，故電路構成較為簡潔。又，因屬於對Raw資料之處 理’具有無需改變既存之信號處理之演算法之特徵。另 圖像之暗。卩、低照度之圖像中，即使為在感測器輸 出乘以π增S (HighGain)之狀態之圖|，也可以相對地雜 訊較少之W(白）像素為基準再構建顏色，故可將彩色圖像 之雜訊壓抑至訪（白）像素同等位準。又，因施行同一亮 〆5傾向之面檢測’標示，故藉由與處理結果一起輸 出此信號:可將其利用於後段之用途之圖像處理。 【圖式簡單說明】 :係表示本發明之攝像裝置之一實施型態(第卬 之要部之區塊圖。 圖2係表示信號處理 圖3係表示適用本發 區塊之詳細之一例之區塊圖。 明之攝像裝置之一例之區塊圖 〇 118575.doc -17- 200810566 W 4係表示攝傻 、置之感測器之色排列之一例之像素配 置圖。 圖5係表示雜訊降低區塊之詳細之一例之區塊圖。 圖6係表示w像素平均化處理之—例之演算法。 圖7係表示像素内插處理之—例之演算法。 圖8係表示平均化處理圖之一例之演算法。 圖9(1)、（2)係表示對R像素之雜訊降低處理之一例之像 素配置圖。 圖i〇係表不對R像素之雜訊降低處理之一例之像素配置 圖。 圖11係表示本發明之攝像裝置之一實施型態（第2實施例） 之“號處理區塊之詳細之一例之區塊圖。 圖12係表示攝像裝置之感測器之色排列之一例之像素配 置圖。 圖13係表示本發明之攝像裝置之第2實施例之要部之像 素内插之區塊圖。 圖14係彩色像素内插結果之放大圖。 圖15係表示分色之一例之配置圖。 圖16係說明内插藍色像素之一例之像素配置圖。 【主要元件符號說明】 1 攝像裝置 11 白平衡區塊 13 像素内插區塊 21 雜訊降低區塊 118575.doc -18 -

Claims (1)

1. 200810566 十、申請專利範圍： 1· 一種攝像裝置，其特徵在於裝載有： 感測器，其係具有將複數色之有彩色像素與對入射光 之靈敏度高於前述有彩色像素之高靈敏度像素互相配置 成格子花紋狀之單元排列； 白平衡區塊，其係將前述感測器之像素輸出正規化成 有彩色像素或高靈敏度像素；及 像素内插區塊，其係藉由内插將不足之他色内插於有 彩色像素存在之相位；且包含： 雜訊降低區塊，其係在前述白平衡區塊與前述像素 内插區塊之間，以前述高靈敏度像素之信號成分為指 標，内插於前述有彩色像素之相位而壓抑前述有彩色^ 素之雜訊者。 2·如請求項1之攝像裝置，其中 前述高靈敏度像素係白像素或灰像素。 3. 4. 5. 如請求項1之攝像裝置，其中 在前述雜訊降低區塊之前設置有算出有彩色像素 色像素平均値之平均化處理區塊。 如請求項1之攝像裝置，其中 判定 前述 前述像素内插區塊係以前述高靈敏度像素為基準 同一傾向之亮度區域； 施行以各有彩色像素置換同一傾向之亮度面内之 有彩色像素值之像素内插者。 如請求項1之攝像裝置，其中 118575.doc 200810566 前述像素内插區塊包含： 分色區塊，其係將前述白平衡後之像素信號分色成 有彩色像素之各色像素與高靈敏度像素； 相關檢測區塊，其係對前述分色之結果，依據高靈 敏度像素之圖像決定信號内插之對象區域； 高靈敏度像素内插區塊，其係依據前述相關檢測結 果，將高靈敏度像素内插於高靈敏度像素不存在之有彩 色像素上； 面檢測區塊，其係依據前述高靈敏度像素之内插斧 果與前述相關檢測結果，檢測同一傾向之亮度面·及 有彩色像素面内插區塊，其係以前述所檢測出之面 單位施行各色像素之内插。 118575.doc