TWI339064B - - Google Patents

Description

1339064 九、發明說明： 【發明所屬之技術領域】 本發明係關於配置有含亮度資訊之像素之攝像裝置。 【先前技術】 以往之RGB正方形拜耳（Bayer)排列之影像感測器係依據 配置於上下左右之G (Green)像素之相關資訊而施行像素内 插（例如參照專利文獻1) ^又’在配置有含亮度資訊之像 素’且具有對正方傾斜45。之排列之影像感測器中，由於〇 像素未配置於上下左右’故不能實施以往之像素内插方 法。因此，在此種像素排列之影像感測器之像素内插之相 關檢測中，一般係依據由同色像素之平均加以求出。但， 在此内插方法中’有局頻之空間頻率不能延長之缺點與發 生假色之缺點。又，在此相關檢測方法中，在亮度系信號 γ與彩色系信號Cr/Cb之信號處理中，不能施行正確之分色。 [專利文獻1]日本特開2001-218073號公報 【發明内容】 (發明所欲解決之問題） 本發明所欲解決之問題係在於：在相關檢測中，高頻之 空間頻率不能延長之缺點與發生假色之點。又，在亮度系

Uy與彩色系信號Cr/Cb之信號處理中，$能施行正確之 分色之點。 本發明之課題在於抑制有彩色被照體之假色，對單純平 均像素内插，延長頻帶。 (解決問題之技術手段） 118574.doc

1339064 本發明之攝像裝置之特徵在於：其係具有將複數色之有 衫色像素與對入射光之靈敏度高於前述有彩色像素之高靈 敏度像素互相配置成格子花紋狀之影像感測器者，且包 3，相關檢測部，其係由前述高靈敏度像素之信號成分與 前述有彩色像素之信號成分檢測所拍攝之被照體之相關關 係；色判別區塊，其係由前述有彩色像素之信號成分判別 所拍攝之被照體是否有彩色；及像素内插部，其係藉由前 述色判別區塊所判別之信號，以被照體是否有彩色而施行 切換像素内插方法之處理，在前述色判別區塊判別為有彩 色之情形，依據前述相關檢測部之資訊，施行以從相關較 高之像素之内插為優先之處理。 在本發明中，由於包含·色判別區塊，其係判別所拍攝 之被照體是否有彩色；及像素内插部，其係藉由前述色判 別區塊所判別之信號，以被照體是否有彩色而施行切換像 素内插方法之處理，在前述色判別區塊判別為有彩色之情 形，依據前述相關檢測部之資訊，施行以從相關較高之像 素之内插為優先之處理，故可施行有彩色像素之内插。 【實施方式】 (發明之效果） 依據本發明，由於包含像素内插部’其係在色判別區塊 判別為有彩色之情形，依據相關檢測部之資訊，施行以來 自相關較咼之像素之内插為優先之處理，因此，可施行有 彩色像素之内插，故具有可對單純平均像素内插，延長頻 帶之優點。又，具有比利用單純平均之像素内插更能抑制 118574.doc 1339064 有彩色被照體之假色之優點。 以下，依據圖1〜圖9說明適用本發明之攝像裝置之一實 施型態（第1實施例）。 首先，依據圖8之區塊圖說明適用本發明之攝像裝置之 一例。在圖8中，作為一例，顯示使用影像感測器之攝像 機系統之全體圖。 如圖8所示，攝像裝置1係包含：結成光像之透鏡系2、 具有施行光電變換之像素部之感測器3、接受電氣信號而 除去Ι/f雜訊，僅柚出信號成分之相關雙重抽樣 4、將類比信號之感測器之像素信號變換成數位信號之類 比數位變換器（ADC)5、及輸出數位信號化之感測器信號作 為最終之影像信號之信號處理區塊6。 在上述攝像裝置1中，透鏡系2所聚光之光像係在感測器

3之像素部成像，作為電氣信號被輸出至部4。在CDS 部4，除去1/f雜訊，僅抽出信號成分，利用入1)(：5將類比信 號之感測器之像素信號變換成數位信號。變換成數位信號 之感測器信號再被輸入至信號處理區塊6作為最終之影像 信號而被處理。 其次，依據圖9說明有關上述攝像裝置丨之感測器3之色 排列之一例。 如圖9所示，感測器3之色排列係相對於以往之rgb正方 形拜耳之像素排列，採用將獲得亮度資訊用之像素（在本 例中為對入射光之靈敏度高於有彩色像素之高靈敏度像 素)配置於空間相位偏移"2之相位位置之排列。此高靈敏 II8574.doc 1339064 度像素例如係由白像素或灰像素所構成。以下，以排列白 (w)像素之一例加以說明。 其次，說明有關本發明之重要部分。圖i係表示上述信 號處理區塊6之詳細之區塊圖，圖2係表示圖丨所示之攝像 機系統之信號處理部中之像素内插區塊丨3内之區塊圖。 如圖1所示，被類比數位變換器（ADC)變換成數位信號 之感測器之像素化號係在白平衡（WB )區塊11將感測器之像 素輸出正規化成有彩色像素之〇 (Green)像素或高靈敏度像 素之w像素。在此，作為一例，將其正規化成w像素但 也可其正規化成灰像素。以下，以W像素加以說明。 正規化之信號分別獨立地被輸入至色判別區塊1 2與像素 内插區塊13。在色判別區塊11中，判定作為對象之像素及 其周邊是否有彩色，將其結果傳達至像素内插區塊丨3。 在像素内插區塊13中，利用内插將不足之2色内播至存 在有R/G/B像素之相位。例如’在將b/R像素内插於存在有 G像素之位置。又，像素内插區塊13係依據前述色判別區 塊12之判定結果，動態地變更内插處理。非為有彩色之情 形，在產生内插之像素之際，可積極地利用已存在之像素 之像素信號來提高解像度，另一方面，為有彩色之情形， 由周圍像素内插與欲内插之像素同色之像素信號。 實施像素内插後，分成亮度產生與彩色產生之2系統進 行處理。首先，說明有關亮度產生之處理系統。 對像素内插區塊1 3所產生之R/G/B像素信號，施^亍q NTSC之亮度變換式等所代表之變換，產生γ信號^產生< 118574.doc yl號與w像素由於k號位準並未一致，故在位準平衡區 塊14施行使位準—致。利用此位準平衡區_產生無靠 號與Y信號之位準差之亮度信號（高頻）。 但，在空間上有亮度信號存在之像素與無亮度信號存在 之像素會交互(在空間相位’各佔1/2)地出現，故需將像素 補足於像素不存在之相位。此動作係由亮度内插區塊丨6執 行。此補足處理之判定係由相關檢測區塊15執行。此相關 檢測區塊15係以亮度信號作為檢測信號進行處理。此檢測 結果分別被利用於亮度產生與彩色產生。 在彩色内插區塊17中，首先，將R/G/B像素内插於冒像 素存在之相位。内插係由周圍之w像素與R/G/B像素，依 據比率運算等算出。另外，為了在空間上R/G/B像素不存 在之相位施行像素補足’使其反映在亮度產生之說明中之 相關檢測區塊15之檢測結果，以施行像素補足β 亮度内插區塊18係將前述之高頻之亮度信號與由彩色產 生處理所運算之R/G/B信號產生γ信號之低頻之亮度信號 再合成之區塊。藉由此處理’可抑制低頻部分之亮度重現 性之劣化。 依據以上之動作’產生Y/ Cr/Cb之信號，完成像素内插 處理。 其次，上述像素内插區塊1 3之詳細以一例加以說明時， 如圖2所示，係構成為：利用色識別區塊2 1識別位於作為 内插對象之相位之像素之濾色片，以多工器（MPX) 22分別 將信號切換至適切之内插處理（例如内插處理A部23或内插 H8574.doc -10· 處理B部24)。 其次，利用圖3、圖4說明有關作為内插對象之相位之像 素之濾色片為R (Red)或B (Blue)之情形之内插處理（例如内 插處理A部23)。圖3係表示内插處理a部23之區塊圖，圖4 係表示内插處理A部23之像素内插影像。 如圖4所示，内插對象之相位之像素為b像素，内插之像 素為R像素與G像素。可利用於内插之r像素對b像素，係 位於斜4方向（參照圖4(1))，故利用圖3所示之相關檢測部 25在斜方向施行相關檢測，依照由相關檢測部25輸出之相 關強度，在像素内插部26改變4方向之R像素之混合比而施 行象素之内插。G像素也依據同樣想法，由上下左右4方 向（參照圖4(2))，利用圖3所示之相關檢測部27在水平、垂 直方向施行相關檢測，依照由相關檢測部27輸出之相關檢 測結果’在像素内插部28利用4方向之G像素之混合比而施 行G像素之内插。 又，内插對象之相位之像素為R之情形，可藉由將B改 讀成R，將R改讀成B，而施行同等之處理。即，内插對象 之相位之像素為R像素，内插之像素為B像素與G像素。可 利用於内插之B像素對R像素，係位於斜4方向，故在斜方 向施行相關檢測，依照相關強度，改變4方向之R像素之混 合比而施行B像素之内插。G像素也依據同樣想法，由上 下左右4方向，依照相關檢測結果，利用4方向之G像素之 混合比施行G像素之内插。 其次，利用圖5、圖6說明作為内插對象之相位之像素之 118574.doc • η · 1339064 濾色片為G之情形之處理（内插處理B部24)。圖5係表示内 插處理B部之區塊圖’圖6( 1)係表示在水平方向相關較強 之情形之内插處理B部24之像素内插影像，圖6(2)係表示 在垂直方向相關較強之情形之内插處理B部24之像素内插 影像。又，内插之像素為R像素及B像素，但r像素及b像 素之配置方向因G像素之相位而異。 如圖6所示，在水平方向有6像素份R像素存在，在垂直 方向有6像素份B像素存在，但此關係會因g像素之相位而 反轉。而’如圖5所示，以G像素及W像素輸入至相關檢測 部29作為相關檢測信號，以求出上下左右之相關強度。 作為相關檢測部29之相關結果，左右方向較強之情形， 如圖6( 1)所示，R像素之内插係由内插對象位置之〇像素之 上下之水平方向6像素份之R像素算出，B像素係由内插對 象位置之G像素之左右之2像素份之B像素内插。此内插係 利用圖5所示之像素内插部3〇施行。 作為相關檢測部29之相關結果，上下方向之相關較強之 情形也同樣地加以處理。即，如圖6(2)所示，B像素之内 插係由内插對象位置之G像素之左右之垂直方向6像素份之 B像素算出，R像素之内插係由内插對象位置之G像素之上 下之2像素份之R像素内插。此内插係利用圖$所示之像素 内插部3 0施行。 前述圖5所示之實際之處理係利用如圖7所示之濾波器施 行運算。藉相關結果，將vk與hk之係數設定為1或0，以實 現前述之處理。 118574.doc 12- 藉以上之處理，可高精度地施行同色之像素内插。 其次，利用圖10〜圖1 7說明相關檢測之一實施例。 圖10係圖示内插對象位置之像素為B像素之情形之與r 像素排列之相關係數。又，圖11係圖示相關檢測處理之算 法。 如圖10所示，R像素係在對B像素傾斜45度方向配置有4 像素，以右上之R像素為R0 ’權宜地依順時針方向附上名 稱至R3。又’由R0依序使相關增益對應於RTGain、 RBGain、LB Gain、LT Gain 〇 如圖11所示’本例之情形’以内插對象位置之B像素為 中心在斜方向分別配置低通濾波器（LPF)。此時，配置低 通濾波器（LPF)之對象為W像素（Wwb)。對其結果，其次， 配置高通濾波器（HPF)，以算出差分值rt、LB、LT、 RB。相關愈大時，此差分值愈小。 其次’圖12係表示相關係數算出式。將上述差分值RT、 LB、LT ' RB代入此相關係數算出式，以求出相關係數。 利用此計算式’將4方向之合成比率設定為1，且增大相關 較強之方向之係數。 最後，施行像素内插處理。此像素内插處理係利用圖13 所示之算法進行β以前述圖1〇之例加以表示時，如以下所 示： 内插於Β像素位置之r像素=R〇 * RTGain+Ri*RBGain+ R2*LB Gain+R3*LT Gain 其次，圖14係表示内插對象位置之像素為B像素之情形 118574.doc -13· 1339064 之與G像素排列之相關係數。· 如圖14所示，G像素係像素位於上下左右方向之位 置，此等之相關檢測係利用圖15所示之相關檢測算法之電 路進行檢測。

右人求G像素之相關之情形，G像素之重複週期為4週期， 故也可利用鄰接於B像素之w像素提高檢測精度。配置低 通濾波器（LPF)後，配置高通濾波器（HpF)而求出差分值之 方法與上述相肖，利用在貨像素之算出結果與在g像素之 异出結果，以抑制被照體之色之影響之目的施行加權。將 此結果所求得之差分值妞、儿、^、戰入圖16所示之 相關係數算出式，以求出相關係數。 最後’施行像素内插處理。此像素内插處理例如係依據 圖17所不之算法施行，求出内插於B像素位置之g像素。 其次，依據圖18〜圖26說明有關本發明之攝像裝置之— 實施型態(第2實施型態）。首先，利用前述圖i所說明之信

號處理部之詳細之位準平衡區塊14產生無w信號與γ信號 之位準差之亮度信號（高頻）β圖18係表示此位準平衡處理 後之信號排列。 在圖18中，W係表示W傻音f以去& , 仏丨VV诼京（以素色四角形表示之像 素），Y表示由内插處理求得之R/G/B像素之信號量算出之 亮度（以斜線四角形表示之像素）。又， 存在之相位。此相位之資訊被後述之處 虛線係表示無像素 理所補足。 又w與Y之仏號位準由於若照原來樣子時會發生位準 差’故經由如在圖19中表示其—例之低通較器（LPF)， I18574.doc

•14- ^ S 1339064 如圖20之壳度形之式及矽色形之式所示，將w之平均設定 為Wave，將Y之平均設定為Yave，使Wave/Yave之比率與γ 相乘，以施行正規化成為W之位準之處理。又，由於藉此 處理，可改變亮度，故為使色差之位準也能一致，對 R/G/B，也施行同樣之正規化。即，將w之平均設定為 Wave將R之平均设定為Rave ’使Wave/ Rave之比率與r 相乘，以施行正規化成為|之位準之處理。G、8之情形也 可同樣地，將R改為G、B而施行正規化。

其次，在w像素存在之位置施行R/G/B像素之内插。如 圖2i所示，W像素全部存在於有像素之相位，故可利用w 像素内插R/G/B像素。圖21係表示R像素之内插式。又，對於 B像素及G像素’也可利用與R像素同樣之運算加已算出。 最後1行對像素不存在之相位之像素補I此處理如 圖22所不，以…像素作為相關檢測信號，對上下左右之4 像素依照相關強度動態地施行補足處理。

紅由以上之處理，可產生亮度及彩色信號。 其-人，依據圖23〜圖26說明上述相關檢測之—實施例 _表示對像素不存在之相位之像素補足之關係圖。 圖23所不，斜線所示之像素係由内插 料產生Y，純正規化成心素之料，素色^ 圖^像㈣表示^素本身。在此狀態下，為了對㈣ 2央之像素不存在之相㈣㈣素補足，㈣行以下之 如圖24所示，本例之情形 使W像素分別向水平/垂直方 118574.doc 1339064 向通至低通濾波器（LPF)·。其次，導至高通渡波器（HpF)， 以算出差分值SR、SL、ST、SB。 其次’圖25係表示相關係數算出式。將上述差分值SR、 SL、ST、SB代入此相關係數算出式’分別求出、 LGain、TGain、BGain 0 最後’施行像素内插處理。此像素内插處理係利用圖26 所示之算法對像素不存在之相位進行像素補足。又，此補 足處理不僅W像素，也適用於R、G、B各像素之補足。 如以上所說明，依據本發明，由於包含：色判別區塊 12 ’其係判別所攝像之被照體是否有彩色；及像素内插部 26、 28、30，其係藉由此色判別區塊12所判別之信號，以 被照體是否有彩色而施行切換像素内插方法之處理，在色 判別區塊12判別為有彩色之情形’依據相關檢測部乃、 27、 29等之資訊，施行以由相關較高之像素之内插為優先 之處理，故可施行有彩色像素之内插，故與單純平均像素 内插之情形相比，可延長頻帶。又，與利用單純平均之像 素内插相比，更能抑制有彩色被照體之假色。 在上述之說明中，雖以使用「白色（White)像素」作為高 靈敏度像素之例加以說明，但並非限定於嚴格意義（理想） 之白色或透明之像素，只要屬於以往可供獲得色重現性用 之各色成分之原色像素及靈敏度高於補色像素之像素即 了例如也叮為δ又置稍微混有不能以理想的白色或透明之 狀態透光之成分之灰色濾光片之像素，或設置混有少量色 素成分之濾光片之像素。但，與偏多地混有特定色素成分 118574.doc • 16 -

(S 之濾光片之情形相比，設置如灰色濾光片等穿透光之色成 刀之平衡性良好之濾光片時，從施行信號處理之觀點而 言’更為理想。 【圖式簡單說明】 圖1係表示本發明之攝像裝置之一實施型態（第丨實施例） 之區塊圖。 圖2係表示像素内插區塊之詳細之一例之區塊圖。 圖3係表示内插處理a部之一例之區塊圖。 圖4(1)、4(2)係表示内插處理A部之像素内插影像之一例 之配置圖。 圖5係表示内插處理b部之一例之區塊圖。 圖6(1)、6(2)係表示在水平方向相關較強之情形及在垂 直方向相關較強之情形之内插處理B部之像素内插影像例 之配置圖。 圖7係表示内插處理b部之一例之算法。 圖8係表示適用本發明之攝像裝置之一例之區塊圖。 圖9係表示攝像裝置之感測器之色排列之一例之像素配 置圖。 圖10係表示内插對象位置之像素為B像素之情形之與r 像素排列之相關係數之一例之配置圖。 圖11係表示相關檢測處理之一例之算法。 圖12係相關係數算出式。 圖13係表示像素内插處理之一例之算法。 圖14係表示内插對象位置之像素為b像素之情形之與g 118574.doc -17- 1339064 像素排列之相關係數之配置圖。 圖1 5係表示相關檢測處理之一例之算法。 圖16係相關係數算出式。 囷丨7係表不像素内插處理之一例之算決。 圖1 8係表示位準平衡處理後之信號排列之一例之配置 圖0 圖19係表示低通遽波器之一例之算法。 圖20係亮度形之式及彩色形之式。

圖21係表示在W像素之存在位置内插R/G/B像素之一例 之配置圖及内插式。 圖22係表示以W像素作為相關檢測信號之補足處理之一 例之配置圖。 圖23係表示對像素不存在之相位之像素補足之一例之配 置圖。 圖24係表示使W像素分別向水平/垂直方向通至低通濾波 器之一例之算法。

圖25係相關係數算出式。 圖26係表示像素内插處理之一例之算法。 【主要元件符號說明】 1 攝像裝置 12 色判別區塊 13 像素内插區塊 25 ' 27、29 相關檢測部 26 ' 28、30 像素内插部 118574.doc •18·

Claims (1)

1339064 第096112348號專利申嗜宏|99· ΙΟ 8 中文申請專利範圍替換本(99^· 1¾月歹6 錢)正替換買 十、申請專利範圍：一一 1 ·肖攝像裝置’其特徵在於：其係具有將複數色之有衫 色像素、與對入射光之靈敏度高於前述有彩色像素之高 靈敏度像素互相配置成格子花紋狀之影像感測器者，立 • 包含： . 4關裰測，其係由剷述高靈敏度像素之信號成分與 月j述有衫色像素之信號成分檢測所拍攝之被照體之相關 關係； 鲁 &判别區塊’其係由岫述有彩色像素之信號成分判別 所拍攝之被照體是否有彩色； 像素内插。卩，其係藉由前述色判別區塊所判別之信 唬’以被照體是否有彩色而施行切換像素内插方法之處 在引述色判別區塊判別為有彩色之情形，依據前述 相關檢測部之資訊，施行以從相關較高之像素之内插為 優先之處理；及 砝衫色内插區塊，其係使用相關檢測區塊所輸出之相關 •::果’產生衫色信號者，該相關檢測區塊係以亮度信號 作為檢測信號而施行前述像素内插處理之判定者，且該G 相關檢測區塊係輸出自高靈敏度像素所檢測出之相關結 果。 ，° 2. 如請求項1之攝像裝置，其中 • 前述高靈敏度像素係白像素或灰像素。 3. 如請求項丨之攝像裝置，其中包含： :::衡區塊’其係產生前述有彩色像素與前述高靈 破度像素之信號位準間無位準差之亮度信號。 118574-991028.doc