TW200913729A - Pixel interpolation circuit, pixel interpolation method, and recording medium - Google Patents

Description

200913729 九、發明說明： 【發明所屬之技術領域】 本發明係關於一種用於採用單板式之彩色攝像方式的 攝像裝置等之畫素插補電路、畫素插補方法及記錄媒體。 【先前技術】 數位相機以使用拜爾排列之畫素排列的攝像元件之單 板式攝像方式爲主流。從藉由拜爾排列之攝像元件所攝像 之景物影像資料的拜爾資料獲得圖像信號時，需要插補配 置於拜爾資料中之各畫素的濾色器以外的色資訊（畫素 値）。特別是因爲G畫素之資訊影響亮度資訊，所以〇畫 素之資訊影響圖像信號之解像度及輪廓的銳度。 在此，先前在拜爾資料中，對插補對象畫素（G畫素 之資訊未存在的R畫素及B畫素）插補G畫素者，有記載 於日本專利公開公報特開2000-278703號公報及特開 2006-135564號公報的技術。此等先前技術係考慮拜爾資料 中之在插補對象畫素周邊的畫素之相關性，而在插補對象 畫素中插補G畫素。 【發明內容】 (發明所欲解決之問題） 但是，此等先前技術均係對拜爾資料中之插補對象畫 素插補G畫素時，僅參考在插補對象畫素周邊之G畫素。因 而，在插補對象畫素中插補G畫素時，參照之畫素的資訊 少。結果無法正確地判定在插補對象畫素周邊之畫素的相 關性，而有無法在插補對象畫素中插補正確之G畫素的問 200913729 題。 因此，本發明之目的爲對拜爾資料正確地插補G畫素 之資訊。 (解決問題之手段） 本發明之1個態樣，係具備：相關性算出部，其係使 用前述拜爾資料中R畫素、G畫素及B畫素各自的畫素値， 算出插補對象畫素在周邊區域之水平方向的相關性與垂直 方向之相關性’該插補對象畫素屬未存在有G畫素的畫 素；及畫素値決定部，其係在藉由前述相關性算出部所算 出之各相關性中相關性強的方向，依據與前述插補對象畫 素鄰接之畫素的畫素値，決定插補於前述插補對象畫素之 G畫素的畫素値；對依據前述拜爾資料之圖像信號，插補 藉前述畫素値決定部所決定之畫素値所構成的G畫素。 本發明其他1個態樣，係包含：第丨步驟，其係使用 拜爾資料中R畫素、G畫素及B畫素各自的畫素値，算出 屬未存在有G畫素之畫素的插補對象畫素在周邊區域之水 平方向的相關性與垂直方向之相關性；第2步驟，其係在 前述第1步驟所篱出之各相關性中相關性強的方向，依據 與則述插補對象瓊素鄰接之畫素的畫素値’來決定插補於 前述插補對象畫素之G畫素的畫素値；及第3步驟，其係 對依據前述拜爾資料之圖像信號’插補在前述第2步驟中 決定之畫素値的G畫素。 本發明其他1個態樣’係使電腦執行：第1處理，其 係使用拜爾資料中R畫素、G畫素及B畫素各自的畫素値， 200913729 算出屬未存在有G畫素之畫素的插補對象畫素在周邊區域 之水平方向的相關性與垂直方向之相關性；第2處理，其 係在藉由前述第1處理所算出之各相關性中相關性強的方 向，依據與前述插補對象畫素鄰接之畫素的畫素値，決定 插補於前述插補對象畫素之G畫素的畫素値；及第3處理， 其係對依據前述拜爾資料之圖像信號’插補藉由前述第2 處理所決定之畫素値的G畫素。 (發明之效果） ί 採用本發明，可對拜爾資料正確地插補G畫素之資訊。 【實施方式】 就本發明之實施形態作說明。首先，參照第1圖說明 本實施形態之數位相機1 〇〇的全體結構。 攝像透鏡6 2包含：聚焦透鏡及變焦透鏡，且連接於透 鏡驅動區塊6 3。此透鏡驅動區塊6 3係由使無圖示之聚焦 透鏡及變焦透鏡分別驅動於與攝像面平行之光軸方向的聚 焦馬達及變焦馬達，與按照來自CPU70之控制信號，使聚 I 焦馬達及變焦馬達分別驅動之聚焦驅動器及變焦驅動器而 構成。 光圈兼用快門64包含無圖示之驅動電路，此驅動電路 按照從CPU70送達之控制信號使光圈兼用快門動作。另 外，此光圈兼用快門64發揮光圈與快門之功能。 在攝像元件之CCD50中，於受光面上設有拜爾排列之 濾色器。CCD50將經由攝像透鏡62及光圈兼用快門64而 投影之景物的光變換成電信號，並將變換後之電信號作爲 200913729 攝像信號而輸出至圖像處理部20。此外，CCD50按照TG66 按照來自CPU70之控制信號所產生的特定頻率之時序信號 而驅動。 卡I / F 7 6中可裝卸地連接記憶卡8 0。 記憶體69儲存藉由CPU70控制數位相機1 〇〇之各部 時需要的程式及資料。 DRAM68用作藉由 CCD50攝像後，暫時記憶送達 CPU70之圖像資料的緩衝記憶體，並且亦用作CPU70之工 作記憶體。 圖像顯示部7 1由液晶顯示器與其驅動電路而構成。數 位相機1 00在攝影待機狀態時，將藉由CCD50所拍攝之景 物作爲通過圖像而顯示於液晶顯示器。圖像顯示部7 1於數 位相機1 0 0再生圖像時，將從記憶卡8 0讀取之圖像顯示於 液晶顯不器。 鍵輸入部72包含：快門按鈕、模式鍵、SET鍵、十字 鍵、攝影模式選擇鍵等複數的操作鍵，並將依使用者之鍵 操作的操作信號輸出至CPU70。 CPU70控制數位相機1〇〇之全體。CPU70藉由與從記 憶體6 9讀取之程式合作，而執行各種動作。 其次，參照第2圖，就圖像處理部2 0之結構作說明。 圖像處理部20係由類比處理部（CDS、AGC、A/D) 21、 黑位準調整部2 2、白平衡調整部2 3、γ修正部2 4、畫素插 補單元30、YUV變換處理部27及JPEG變換部28而構成。 圖像處理部20中’相關雙重抽樣電路（CDS )減少從 200913729 CCD50輸出之類比信號之攝像信號中包含的雜訊。自動增 益控制電路（AGC )調整雜訊減低後之攝像信號的增益。A /D變換器（A/D)將增益調整後之攝像信號變換成數位 信號，也就是，變換成依濾色器之拜爾排列的R (顯示紅 色資訊之畫素資料）、G(顯示綠色資訊之畫素資料）、B(顯 示藍色資訊之畫素資料）的畫素資料之拜爾資料。 黑位準調整部22將拜爾資料夾入特定之黑位準。白平 衡調整部2 3對夾入後之拜爾資料，每R，G，B進行增益調 整，而執行白平衡之調整。γ修正部2 4於白平衡調整後， 進行對拜爾資料之γ特性（灰階特性）修正。畫素插補單 元3 0對γ特性修正後之拜爾資料插補畫素値之資訊，而產 生圖像信號。就畫素插補單元3 0之詳細內容於後述。 YUV變換處理部27從插補了畫素資訊之圖像信號產 生由亮度信號（Υ)與色差信號（U、V)構成的圖像信號。 JPEG變換部28以JPEG形式將圖像信號壓縮編碼。並將壓 縮編碼後之圖像信號記錄於記憶卡80。 其次，參照第3圖，就畫素插補單元3 0詳細地說明。 畫素插補單元30係由第一電路部30a、第二電路部3〇b之 2個電路部、LPF (低通濾波器）26、及加法器36而構成。 第一電路部30a係由寬頻帶LPF31、G插補電路32' R插 補電路3 3及B插補電路3 4而構成。第二電路部3 0 b係由 G畫素抽出電路40及HPF (高通濾波器）37而構成。 在第一電路部30a中，對於從γ修正部24送達之拜爾 資料’實施插補欠缺之畫素的資訊之信號處理，而產生成 200913729 爲在畫素插補單元30中產生之圖像信號的基準之彩色圖 像信號。 在此’第一電路部30a中之信號處理，係與日本公開 專利公報：特開2 006- 1 3 5 5 64號公報所揭示之信號處理相 同者。也就是，在第一電路部3〇a中實施信號處理時，在 拜爾資料中’於未存在G畫素之資訊的R畫素及B畫素（以 下稱「插補對象畫素」）中插補G畫素之畫素値時，僅參照 在插補對象畫素周邊之G畫素的畫素値。因而，在插補對 象畫素中插補G畫素之畫素値時，參照之畫素値的資訊變 > ° Ια果’無法正確地判定在插補對象畫素周邊之畫素値 的相關性’而無法在插補對象畫素中插補〇畫素之正確的 畫素値。 而該不適切之G畫素成爲孤立點，有時在圖像信號中 發生雜訊。因而’爲了除去此雜訊成分，係藉由使此圖像 信號通過低通濾波器之LPF26，而除去圖像信號之高頻成 分（雜訊成分等）。但是，使圖像信號通過LPF26時，雖可 除去雜訊成分’但是亦造成圖像信號中之輪廓的銳度降 低’依據圖像信號之再生圖像會變成模糊。 因此’藉由第二電路部3 〇b，從γ修正部24送達之拜 爾資料另行抽出G畫素之正確資訊。而後，在加法器3 6 中’對通過L P F 2 6之圖像信號加上抽出之g畫素的資訊。 因爲G畫素之資訊影響輪廓在再生圖像中的銳度，所以藉 由此種方式強調依據拜爾資料之再生圖像的輪廓，再生圖 像不致模糊。 -10- 200913729 其次’就第二電路部3 0 b中之信號處理詳細地說明。 第二電路部30b中之G畫素抽出電路40係用於抽出應對拜 爾資料中之插補對象畫素（G畫素之資訊未存在的R畫素、 B畫素）插補之G畫素的資訊（畫素値）之電路。如第* 圖所示，G畫素抽出電路40係由水平方向基準圖像產生部 41、垂直方向基準圖像產生部42、水平方向相關度算出部 43、垂直方向相關度算出部44、畫素値決定部45及畫素 抽出部46而構成。 水平方向基準圖像產生部41對拜爾資料進行使用鄰 接於水平方向之畫素的畫素値的運算，而產生水平方向基 準圖像。水平方向基準圖像係用於在拜爾資料之各插補對 象畫素的周邊求出像素之相關性強的方向之資訊。 具體而言，水平方向基準圖像產生部41就拜爾資料之 在各插補對象畫素周邊的各畫素，藉由依序執行其次之 (A1)至（A4)的任何一個處理，而產生水平方向基準圖 像。 (A1)就在水平方向鄰接於G畫素之R畫素，從該R 畫素之畫素値減去在水平方向鄰接於該R畫素之G畫素的 畫素値之平均値的處理 (A2 )就在水平方向鄰接於R畫素之G畫素，從在水 平方向鄰接於該G畫素之R畫素的畫素値之平均値，減去 該G畫素之畫素値的處理 (A3)就在水平方向鄰接於B畫素之G畫素，從在水 平方向鄰接於該G畫素之B畫素的畫素値之平均値’減去 -11- 200913729 該G畫素之畫素値的處理 (A4)就在水平方向鄰接於G畫素之B畫素，從該B 畫素之畫素値減去在水平方向鄰接於該B畫素之G畫素的 畫素値之平均値的處理 第5圖顯示拜爾資料中之各畫素的畫素値之例。第5 圖中，Β0、Β2、· · .B48等以B註記之位置，係在拜爾

資料中配置有B畫素之位置。G1、G3、. · .G47等以G 註記之位置，係在拜爾資料中配置有G畫素之位置。R8、 R 1 〇、. · · R 4 0等以R註記之位置，係在拜爾資料中配置 有R畫素之位置。

此外，在第5圖中，B0、B2、. ，·Β48顯示有各B 畫素之畫素値。G1、G3、· · .G47顯示有各G畫素之畫 素値。R8、R10、· . .R40顯示有各R畫素之畫素値。 產生水平方向基準圖像時，著眼於拜爾資料中之各插 補對象畫素的周邊區域。第6圖中顯示水平方向基準圖像 之例的水平方向基準圖像40H。水平方向基準圖像4 0H係 就在第5圖所示之「R24」的位置之畫素（插補對象畫素） 的水平方向基準圖像。 如產生水平方向基準圖像40H時，著眼於由在第5圖 所示之「R24」位置的畫素周邊區域之7x7個畫素的B0、 G1、B2、. . · B48之位置的各畫素構成的區域。另外， 著眼之周邊區域亦可並非是由7x7個畫素構成的區域。 其次，水平方向基準圖像中之各成分之例，就水平方 向基準圖像40H中之各成分作說明。 200913729 水平方向基準圖像4 OH中之成分「h8」，藉由使用第5 圖所示之G7、R8、G9之畫素値的（A1)之處理，而成爲 以下之値。 h8-R8- (G7 + G9)/ 2 水平方向基準圖像40H中之成分「h9」，藉由使用第5 圖所示之R8、G9、R10之畫素値的（A2 )之處理，而成爲 以下之値。 h9 = (R8 + Rl 0)/2- G9 水平方向基準圖像40H中之成分「hl5」，藉由使用第 5圖所示之B14、G15、B16之畫素値的（A3)之處理，而 成爲以下之値。 hl5 = (B14 + B16)/2 - G15 水平方向基準圖像40H中之成分「hl6」，藉由使用第 5圖所示之G15、B16、G17之畫素値的（A4)之處理，而 成爲以下之値。 hl6 = B16- (G15 + G17) 同樣地，就水平方向基準圖像40H中之其他成分，可 藉由執行（A1)至（A4)之處理而求出。 除了（ A 1 )至（A4 )之處理外，就拜爾資料之在插補 對象畫素周邊的各畫素，亦可藉由依序執行其次之（A5 ) 至（A8)的任何一個處理，而產生水平方向基準圖像。 (A5)就在水平方向鄰接於G畫素之R畫素，從在水 平方向鄰接於該R畫素之G畫素的畫素値之平均値，減去 該R畫素之畫素値的處理 -13- 200913729 (A6)就在水平方向鄰接於R畫素之G畫素，從該G 畫素之畫素値減去在水平方向鄰接於該G畫素之R畫素的 畫素値之平均値的處理 (A7)就在水平方向鄰接於B畫素之G畫素’從該G 畫素之畫素値減去在水平方向鄰接於該G畫素之B畫素的 畫素値之平均値的處理 (A8)就在水平方向鄰接於G畫素之B畫素’從在水 平方向鄰接於該B畫素之G畫素的畫素値之平均値’減去 該B畫素之畫素値的處理 另外，垂直方向基準圖像產生部42對拜爾資料進行使 用鄰接於垂直方向之畫素的畫素値的運算，而產生垂直方 向基準圖像。垂直方向基準圖像係用於在拜爾資料之各插 補對象畫素的周邊求出像素之相關性強的方向之資訊。具 體而言，垂直方向基準圖像產生部42就拜爾資料之在插補 對象畫素周邊的各畫素，藉由依序執行其次之（B1)至（B4) 的任何一個處理，而產生垂直方向基準圖像。 (B1)就在垂直方向鄰接於G畫素之R畫素，從該R 畫素之畫素値減去在垂直方向鄰接於該R畫素之G畫素的 畫素値之平均値的處理 (B2)就在垂直方向鄰接於R畫素之G畫素，從在垂 直方向鄰接於該G畫素之R畫素的畫素値之平均値，減去 該G畫素之畫素値的處理 (B3)就在垂直方向鄰接於B畫素之G畫素，從在垂 直方向鄰接於該G畫素之B畫素的畫素値之平均値，減去 -14- 200913729 該G畫素之畫素値的處理

(B4)就在垂直方向鄰接於G畫素之B畫素，從該B 畫素之畫素値減去在垂直方向鄰接於該B畫素之G畫素的 畫素値之平均値的處理 第7圖中，顯示垂直方向基準圖像4 0V作爲垂直方向 基準圖像之例。在此，就垂直方向基準圖像4〇V中之各成 分作說明。 垂直方向基準圖像40V中之成分「v8」，藉由使用第5 圖所示之Gl、R8、G15之畫素値的（B1)之處理，而成爲 以下之値。 v8 = R8 — (G1+G15)/ 2 垂直方向基準圖像40 V中之成分「vl5」，藉由使用第 5 _所示之R8、G15、R22之畫素値的（B2)之處理，而 成舄以下之値。 v 1 5 = (R8 + R22)/ 2 — G 1 5 垂直方向基準圖像40 V中之成分「v9」，藉由使用第5 陶所示之B2、G9、B16之畫素値的（B3)之處理，而成爲 以下之値。 v9 = (B2 + B 1 6)/ 2 — G9 垂直方向基準圖像40V中之成分「vl6」，藉由使用第 S陶所示之G9、B16、G23之畫素値的（B4)之處理，而 @舄以下之値。 v16 = B16 - (G9 + G23)/ 2 同樣地，就垂直方向基準圖像40V中之其他成分，可 200913729 藉由執行（B1)至（B4)之處理而求出。 除了（ B 1 )至（B4 )之處理外，就拜爾資料之在插補 對象畫素周邊的各畫素，亦可藉由依序執行其次之（B5) 至（B8)的任何一個處理，而產生垂直方向基準圖像。 (B5)就在垂直方向鄰接於G畫素之R畫素，從在垂 直方向鄰接於該R畫素之G畫素的畫素値之平均値，減去 該R畫素之畫素値的處理 (B6)就在垂直方向鄰接於R畫素之G畫素，從該G 畫素之畫素値減去在垂直方向鄰接於該G畫素之R畫素的 畫素値之平均値的處理 (B7)就在垂直方向鄰接於B畫素之G畫素，從該G 畫素之畫素値減去在垂直方向鄰接於該G畫素之B畫素的 畫素値之平均値的處理 (B8)就在垂直方向鄰接於G畫素之B畫素，從在垂 直方向鄰接於該B畫素之G畫素的畫素値之平均値，減去 該B畫素之畫素値的處理 水平方向相關度算出部4 3就拜爾資料中之各插補對 象畫素，從水平方向基準圖像算出水平方向之相關度的水 平相關度Hr。水平方向相關度算出部43藉由執行其次（C1 ) 至（C3 )之處理，而算出水平相關度Hr。 (C 1 )求出水平方向基準圖像中之各成分間的差分値。 (C 2 )求出（C 1 )中求出之各差分値的絕對値。 (C3 )算出（C2 )中求出之各絕對値乘上特定係數之 總和，作爲水平相關度Hr。 -16- 200913729 列舉（C 1 )至（C 3 )之處理例時，關於在第5圖所示 之「R24」位置的畫素之水平相關度Hr如下。

Hr=abs(h8-h9)+2xabs(h9-hl0)+2xabs(hl0-hll)+abs(hll-hl2)+ 2x{abs(hl5-hl6)+2xabs(hl6-hl7)+2xabs(hl7-hl8)+abs(hl8-hl9)}+ 2x{abs(h22-h23)+2xabs(h23-h24)+2xabs(h24-h25)+abs(h25-h26)}+ 2χ{abs(h29-h30)+2xabs(h30-h3l)+2xabs(h31-h32)+abs(h32-h33)}+ abs(h36-h37)+2xabs(h37-h38)+2xabs(h38-h39)+abs(h39-h40) 其中，abs()表示求出絕對値之運算。 C 水平相關度H r之値愈小，水平方向之相關性愈強。 垂直方向相關度算出部44就拜爾資料中之各插補對 象畫素，從垂直方向基準圖像算出垂直方向之相關度的垂 直相關度Vd。垂直方向相關度算出部44藉由執行其次（D1 ) 至（D3)之處理，而算出垂直相關度Vd。 (D1)求出垂直方向基準圖像中之各成分間的差分値。 (D2 )求出（D 1 )中求出之各差分値的絕對値。 (D3 )算出（D2 )中求出之各絕對値乘上特定係數之 V 總和，作爲垂直相關度Vd。 列舉（D 1 )至（D3 )之處理例時，關於在第5圖所示 之「R24」位置的畫素之垂直相關度Vd如下。

Vd=abs(v8-vl5) + 2xabs(vl5-v22)+2xabs(v22-v29) + abs(v29-v3 6)+ 2x{abs(v9-vl6) + 2xabs(vl6-v23) + 2xabs(v23-v30) + abs(v30-v37)} + 2x{abs(vl0-vl7)+2xabs(vl7-v24)+2xabs(v24-v31)+abs(v31-v38))+ 2x(abs(vll-vl8)+2xabs(vl8-v25)+2xabs(v25-v32)+abs(v32-v39)}+ abs(vl2-vl9)+2xabs(vl9-v25)+2xabs(v26-v33)+abs(v33-v40) 200913729 其中’ abs()表示求出絕對値之運算。 垂直相關度V d之値愈小，垂直方向之相關性愈強。 畫素値決定部45依據水平相關度Hr與垂直相關度Vd 決定對插補對象畫素之插補的G畫素之畫素値。 水平相關度Hr比垂直相關度Vd小，換言之，水平方 向之相關性比垂直方向之相關性強時，畫素値決定部4 5決 定在插補對象畫素之水平方向鄰接的G畫素之畫素値之平 均値’作爲對插補對象畫素插補之G畫素的畫素値。 此時’如畫素値決定部45就對第5圖所示之「R24」 位置的畫素（插補對象畫素）插補之G畫素的畫素値 「G24」’係使用在水平方向鄰接於在「R24」位置之畫素 的G畫素之畫素値「G23」、「G25」，決定以下之畫素値。 G24 = (G23+G25)/ 2 另外’垂直相關度Vd比水平相關度Hr小時，換言之， 垂直方向之相關性比水平方向之相關性強時，畫素値決定 部45決定在插補對象畫素之垂直方向鄰接的G畫素之畫素 値之平均値，作爲對插補對象畫素插補之G畫素的畫素値。 此時，如畫素値決定部4 5就對第5圖所示之「R24」 位置的畫素（插補對象畫素）插補之 G畫素的畫素値 「G24」，係使用在垂直方向鄰接於在「R24」位置之畫素 的G畫素之畫素値「G17」、「G31」，決定以下之畫素値。 G24 = (G 17 + G31)/2 畫素抽出部4 6抽出畫素値決定部所決定之畫素値，作 爲須對拜爾資料中之插補對象畫素插補的 G畫素之畫素 -18- 200913729 値。 G畫素抽出電路40除了在「R24」位置之畫素外，亦 就拜爾資料中之全部插補對象畫素（G畫素之資訊未存在 的R畫素、B畫素），實施上述說明之處理，抽出須對各插 補對象插補之G畫素的畫素値。也就是G畫素抽出電路4 0 就拜爾資料中之全部插補對象畫素之各個，產生水平方向 基準圖像與垂直方向基準圖像，使用此等水平方向基準圖 •像與垂直方向基準圖像中之成分，算出在水平方向之畫素 ί 値的相關性與在垂直方向之畫素値的相關性，而抽出須對 各插補對象插補的G畫素之畫素値。藉由此處理，而獲得 僅由從拜爾資料抽出之正確的G畫素資訊構成的圖像信號 (以下稱爲「G圖像信號」）。 回到第3圖，在第二電路部30b中，使G畫素抽出電 路40獲得之G圖像信號通過高通濾波器之HPF37,而除去 G圖像信號之低頻成分。 而後，在加法器3 6中，加上對於在第一電路部3 0a中 、 實施信號處理，通過LPF (低通濾波器）26之彩色圖像信 號，除去低頻成分之G圖像信號，也就是實施插補。 如以上之說明’採用本實施形態時，除了在插補對象 畫素周邊之G畫素外’亦參照在插補對象畫素周邊之R畫 素及B畫素，決定對拜爾資料插補之G畫素的畫素値。如 此，對拜爾資料插補G畫素時，參照之畫素的資訊多。結 果，可對圖像信號插補G畫素之正確的畫素値。 此外’採用本實施形態時，係使用在插補對象畫素周 -19- 200913729 邊之G畫素、R畫素、B畫素的各個畫素値，產生水 向基準圖像與垂直方向基準圖像，並使用此等水平方 準圖像與垂直方向基準圖像中之成分，算出在水平方 畫素値的相關性與在垂直方向之畫素値的相關性。如 算出關於畫素値之相關性時，參照之畫素的資訊多。結 可減低誤判關於畫素値之相關性強的方向之可能性。 此外’採用本實施形態時，係對於在第一電路部 中實施信號處理，而通過LPF (低通濾波器）26之彩 像信號，插補在第二電路部3 〇 b中抽出之G畫素的正 資訊。因爲G畫素之資訊影響再生圖像中之輪廓的銳 所以，如此可強調依據拜爾資料之再生圖像的輪廓， 再生圖像之畫質提高。 <改良例> 其次，就本實施形態之改良例作說明。就在插補 畫素周邊之畫素，有時水平方向之相關性與垂直方向 關性的差異微小。也就是在插補對象畫素之周邊，有 階層次緩和。此時，藉由第一種實施形態之處理，對 資料之插補對象畫素插補G畫素時，插補對象畫素之 値形成明顯之値（孤立點），而有依據圖像信號之再生 的畫質惡化之問題。本改良例係對應該問題者·。 此改良例中，如第8圖所不，與上述實施形態不 處僅爲在G畫素抽出電路4 0中設置了混合比決定部 其他結構及處理係與上述之實施形態相同。 混合比決定部47係從水平方向相關度算出部43 平方 向基 向之 此， 果， 3 0a 色圖 確之 度， 而使 對象 之相 時灰 拜爾 畫素 圖像 同之 47 ° 算出 -20- 200913729 之水平相關度Hr與從垂直方向相關度算出部44算出之垂 直相關度V d中，決定混合比。 水平相關度Hr比垂直相關度Vd小，也就是水平方向 之相關性比垂直方向之相關性強時，混合比決定部4 7決定 Hr/ Vd之値作爲混合比。另外，垂直相關度Vd比水平相 關度Hr小，也就是垂直方向之相關性比水平方向之相關性 強時，混合比決定部47決定Vd/ Hr之値作爲混合比。 水平方向之相關性比垂直方向之相關性強時，畫素値 決定部45決定以依據混合比之比率相加在水平方向鄰接 於插補對象畫素之G畫素的畫素値之平均値，與在水平方 向及垂直方向鄰接於插補對象畫素之4個G畫素之平均値 的畫素値之G畫素，作爲對插補對象畫素插補之G畫素的 畫素値。 此時，如對於在第5圖所示之「R24」位置的畫素插補 之G畫素的畫素値「G2 4」，成爲以下之畫素値。 G24 = (1.0 - (Hr/Vd))X(G23 + G25)/2 + (Hr/Vd)x (G17 + G31+ G23 + G25)/4 垂直方向之相關性比水平方向之相關性強時，畫素値 決定部45決定以依據混合比之比率相加在垂直方向鄰接 於插補對象畫素之G畫素的畫素値之平均値，與在水平方 向及垂直方向鄰接於插補對象畫素之4個G畫素之平均値 的畫素値之G畫素，作爲對插補對象畫素插補之G畫素的 畫素値。 此時’如對於在第5圖所示之「R2 4」位置的畫素插補 200913729 之G畫素的畫素値「G24」’成爲以下之畫素値。 G24 = (1.0 -（Vd/Hr))x(G17 + G31)/2 + (Vd/Hr) (G17 + G31+ G23 + G25)/4 畫素抽出部4 6抽出畫素値決定部所決定之畫素値，作 爲須對拜爾資料中之插補對象畫素插補的G畫素之畫素 値。如此獲得僅由從拜爾資料抽出之正確的G畫素之資訊 構成的圖像信號（G圖像信號）。 而後，回到第3圖’在加法器36中，對於在第一電路 部3 0 a中實施信號處理’並通過L P F (低通濾波器）2 6之 彩色圖像信號加上G圖像信號，也就是實施插補。 採用以上說明之改良例，於決定對拜爾資料插補之G 畫素的畫素値時’除了在相關性強的方向鄰接於插補對象 畫素之2個畫素之平均値之外，亦使用在水平方向及垂直 方向鄰接於插補對象畫素之4個畫素的平均値。如此，即 使水平方向之相關性與垂直方向之相關性之差異微小時， 插補對象畫素之畫素値不致成爲明顯之値（孤立點），而可 防止依據圖像信號之再生圖像的畫質惡化。 本發明並非限定於上述實施形態及改良例者，亦包含 在不脫離本發明之要旨的範圍內之設計變更。 【圖式簡單說明】 第1圖係顯示數位相機1 〇 〇之全體結構圖。 第2圖係顯示圖像處理部2 〇之結構圖。 第3圖係顯示畫素插補單元3 〇之結構圖。 第4圖係G畫素抽出電路40之結構圖。 -22 - 200913729 第5圖係顯示拜爾排列之例圖。 第6圖係顯示水平基準圖像之例圖。 第7圖係顯示垂直基準圖像之例圖。 第8圖係改良例中之G畫素抽出電路4 0的結構圖。 【主要元件符號說明】 20 圖像處理部 2 1 類比處理部 22 黑位準調整部 /

K 23 白平衡調整部 2 4 γ修正部 26 LPF (低通濾波器） 27 YUV變換處理部 28 JPEG變換部 30 畫素插補單元 30a 第一電路部 3 0b 第_•電路部

3 1 寬頻帶LPF 3 2 G插補電路 3 3 R插補電路 34 B插補電路 3 6 加法器

3 7 HPF 3 8 減法器 40 G畫素抽出電路 -23 - 200913729 40 畫 素 插 補 電 路 4 1 水 平 方 向 基 準 圖 像 產 生 部 42 垂 直 方 向 基 準 圖 像 產 生 部 43 水 平 方 向 相 關 度 算 出 部 44 垂 直 方 向 相 關 度 算 出 部 45 畫 素 値 決 /-*-f 疋 部 46 畫 素 抽 出 部 47 混 合 比 決 定 部 5 0 CCD 62 攝 像 透 鏡 63 透 鏡 驅 動 區 塊 64 光 圈 兼 用 快 門 66 TG 68 DRAM 69 記 憶 體 70 CPU 7 1 圖 像 顯 示 部 72 鍵 輸 入 部 80 記 憶 卡 100 數 位 相 機 R、G ' B 畫 素 ' 信 號 76 卡 I / F 40H 水 平 方 向 基 準 圖 像 Hr 水 平 相 關 度 -24 - 200913729

Vd 垂 直 相 關度 Y 売 度 信 號 U、V 色 差 信 號 CDS 相 關 雙 重抽樣 電 路 AGC 白 動 增 益控制 電 路 A/D A / D變換器 -25

Claims (1)

1. 200913729 十、申請專利範圍： 1. 一種畫素插補電路，具備： 相關性算出部’其係使用在拜爾資料中R書素、G 畫素及B畫素各自的畫素値’算出插補對象畫素在周邊 區域之水平方向的相關性與垂直方向之相關性，該插補 對象畫素屬未存在有G畫素的畫素；及 畫素値決定部’其係在藉前述相關性算出部所算出 之各相關性中相關性強的方向，依據與前述插補對象畫 ί 素鄰接之畫素的畫素値，決定插補於前述插補對象畫素 之G畫素的畫素値； 對依據前述拜爾資料之圖像信號，插補藉前述畫素 値決定部所決定之畫素値所構成的G畫素。 2 .如申請專利範圍第1項之畫素插補電路， 其中更具備： 第1基準圖像產生部，其係在前述插補對象畫素之 周邊區域，進行使用鄰接於水平方向之畫素的畫素値之 / 1 運算，而產生第1基準圖像；及 第2基準圖像產生部，其係在前述插補對象畫素之 周邊區域，進行使用鄰接於垂直方向之畫素的畫素値之 運算，而產生第2基準圖像； 前述相關性算出部依據藉前述第1基準圖像產生部 所產生之第1基準圖像，算出水平方向之相關性’ 並依據藉由前述第2基準圖像產生部所產生之第2 基準圖像，算出垂直方向之相關性。 -26 - 200913729 3 .如申請專利範圍第2項之畫素插補電路， 其中前述第1基準圖像產生部具備水平差分運算 部，其係在前述插補對象畫素之周邊區域，取得第1畫 素之畫素値與在水平方向和該第1畫素相鄰接之第2畫 素及第3畫素各自畫素値之平均値的差分値， 依據藉由前述水平差分運算部而獲得之各差分値， 產生前述第1基準圖像， 前述第2基準圖像產生部具備垂直差分運算部，其 係在前述插補對象畫素之周邊區域，取得第1畫素之畫 素値與在垂直方向和該第1畫素相鄰接之第4畫素及第5 畫素各自的畫素値之平均値的差分値， 依據藉由前述垂直差分運算部而獲得之各差分値， 產生前述第2基準圖像。 4·如申請專利範圍第2項之畫素插補電路，其中前述第1 基準圖像產生部具備： 第1水平差分運算部’其係取得R畫素之畫素値與 在水平方向鄰接於該R畫素之G畫素的畫素値之平均値 的差分値； 第2水平差分運算部，其係取得b畫素之畫素値與 在水平方向鄰接於該B畫素之G畫素的畫素値之平均値 的差分値； 第3水平差分運算部，其係取得在水平方向鄰接於G 畫素之R畫素的畫素値之平均値與該G畫素之畫素値的 差分値；及 -27 - 200913729 第4水平差分運算部’其係取得在水平方向鄰接於G 畫素之B畫素的畫素値之平均値與該G畫素之畫素値的 差分値； 依據藉由前述第1至第4水平差分運算部所獲得之 各差分値，產生前述第1基準圖像， 前述第2基準圖像產生部具備： 第1垂直差分運算部，其係取得R畫素之畫素値與 在垂直方向鄰接於該R畫素之G畫素的畫素値之平均値 的差分値； 第2垂直差分運算部，其係取得B畫素之畫素値與 在垂直方向鄰接於該B畫素之G畫素的畫素値之平均値 的差分値； 第3垂直差分運算部’其係取得在垂直方向鄰接於g 畫素之R畫素的畫素値之平均値與該G畫素之畫素値的 差分値；及 第4垂直差分運算部’其係取得在垂直方向鄰接於G 畫素之B畫素的畫素値之平均値與該G畫素之晝素値的 差分値； 依據藉由前述第1至第4垂直差分運算部所獲得之 各差分値，產生前述第2基準圖像。 如申請專利範圍第4項之畫素插補電路，其中相關性算 出部具備： 第1算出部，其係算出第1相關値，該第1相關値 係藉由前述第1至第4水平差分運算部所獲得之各差分 -28 - 200913729 値的各個絕對値乘上特定係數之値後的總和；及 第2算出部，其係算出第2相關値，該第2相關値 係藉由前述第1至第4垂直差分運算部所獲得之各差分 値的各個絕對値乘上特定係數之値後的總和； 依據藉由前述第1算出部所算出之第1相關値與藉 由則述第2算出部所算出之弟2相關値’算出水平方向 之相關性與垂直方向之相關性。 6 ·如申請專利範圍第1項之畫素插補電路，其中前述畫素 値決定部係在藉由前述相關性算出部所算出之各相關性 中相關性強的方向，決定與前述各插補對象畫素鄰接之 畫素的畫素値之平均値，作爲插補於前述插補對象畫素 的G畫素之畫素値。 7.如申請專利範圍第1項之畫素插補電路，其中前述畫素 決定部係在藉由前述相關性算出部所算出之各相關性中 相關性強的方向，將和前述各插補對象畫素相鄰接之畫 素的畫素値之平均値與在水平方向及垂直方向鄰接於前 述各插補對象畫素之畫素的平均値按特定比例相加後之 畫素値，決疋爲插補於述插補封象畫素的G畫素之畫 素値。 8 ·如申請專利範圍第7項之畫素插補電路，其中前述所謂 特定之比率，係依據藉由前述第1算出部所算出之第1 相關値與藉由前述第2算出部所算出之第2相關値的比 率 〇 9 . 一種畫素插補方法，包含： -29 - 200913729 第1步驟，其係使用拜爾資料中R畫素、G畫素及B 畫素各自的畫素値，算出屬未存在有G畫素之畫素的插 補對象畫素在周邊區域之水平方向的相關性與垂直方向 之相關性； 第2步驟，其係在前述第1步驟所算出之各相關性 中相關性強的方向，依據與前述插補對象畫素鄰接之畫 素的畫素値，來決定插補於前述插補對象畫素之G畫素 的畫素値；及 第3步驟，其係對依據前述拜爾資料之圖像信號， 插補在前述第2步驟中決定之畫素値的G畫素。 1 0 · 一種記錄媒體，係記憶有電腦可讀取之程式，其係使電 腦執行： 第1處理，其係使用拜爾資料中R畫素、G畫素及B 畫素各自的畫素値，算出屬未存在有G畫素之畫素的插 補對象畫素在周邊區域之水平方向的相關性與垂直方向 之相關性； 第2處理，其係在藉由前述第1處理所算出之各相 關性中相關性強的方向，依據與前述插補對象畫素鄰接 之畫素的畫素値，決定插補於前述插補對象竃素之G畫 素的畫素値；及 第3處理’其係對依據前述拜爾資料之圖像信號， 插補藉由前述第2處理所決定之畫素値的G竃素。 -30 -