TWI387352B

TWI387352B - 畫素插補電路、畫素插補方法及記錄媒體

Info

Publication number: TWI387352B
Application number: TW097128554A
Authority: TW
Inventors: Shohei Sakamoto
Original assignee: Casio Computer Co Ltd
Priority date: 2007-07-30
Filing date: 2008-07-29
Publication date: 2013-02-21
Also published as: TW201234866A; TW200913729A; KR20100057558A; KR101003605B1; JP2009055595A; CN101360248A; JP4497233B2; TWI387353B; CN101360248B; KR101003681B1; KR20090013047A

Description

畫素插補電路、畫素插補方法及記錄媒體

本發明係關於一種用於採用單板式之彩色攝像方式的攝像裝置等之畫素插補電路、畫素插補方法及記錄媒體。

數位相機以使用拜爾排列之畫素排列的攝像元件之單板式攝像方式為主流。從藉由拜爾排列之攝像元件所攝像之景物影像資料的拜爾資料獲得圖像信號時，需要插補配置於拜爾資料中之各畫素的濾色器以外的色資訊(畫素值)。特別是因為G畫素之資訊影響亮度資訊，所以G畫素之資訊影響圖像信號之解像度及輪廓的銳度。

在此，先前在拜爾資料中，對插補對象畫素(G畫素之資訊未存在的R畫素及B畫素)插補G畫素者，有記載於日本專利公開公報特開2000－278703號公報及特開2006－135564號公報的技術。此等先前技術係考慮拜爾資料中之在插補對象畫素周邊的畫素之相關性，而在插補對象畫素中插補G畫素。

但是，此等先前技術均係對拜爾資料中之插補對象畫素插補G畫素時，僅參考在插補對象畫素周邊之G畫素。因而，在插補對象畫素中插補G畫素時，參照之畫素的資訊少。結果無法正確地判定在插補對象畫素周邊之畫素的相關性，而有無法在插補對象畫素中插補正確之G畫素的問題。

因此，本發明之目的為對拜爾資料正確地插補G畫素之資訊。

本發明之1個態樣，係具備：相關性算出部，其係使用前述拜爾資料中R畫素、G畫素及B畫素各自的畫素值，算出插補對象畫素在周邊區域之水平方向的相關性與垂直方向之相關性，該插補對象畫素屬未存在有G畫素的畫素；及畫素值決定部，其係在藉由前述相關性算出部所算出之各相關性中相關性強的方向，依據與前述插補對象畫素鄰接之畫素的畫素值，決定插補於前述插補對象畫素之G畫素的畫素值；對依據前述拜爾資料之圖像信號，插補藉前述畫素值決定部所決定之畫素值所構成的G畫素。

本發明其他1個態樣，係包含：第1步驟，其係使用拜爾資料中R畫素、G畫素及B畫素各自的畫素值，算出屬未存在有G畫素之畫素的插補對象畫素在周邊區域之水平方向的相關性與垂直方向之相關性；第2步驟，其係在前述第1步驟所算出之各相關性中相關性強的方向，依據與前述插補對象畫素鄰接之畫素的畫素值，來決定插補於前述插補對象畫素之G畫素的畫素值；及第3步驟，其係對依據前述拜爾資料之圖像信號，插補在前述第2步驟中決定之畫素值的G畫素。

本發明其他1個態樣，係使電腦執行：第1處理，其係使用拜爾資料中R畫素、G畫素及B畫素各自的畫素值，算出屬未存在有G畫素之畫素的插補對象畫素在周邊區域之水平方向的相關性與垂直方向之相關性；第2處理，其係在藉由前述第1處理所算出之各相關性中相關性強的方向，依據與前述插補對象畫素鄰接之畫素的畫素值，決定插補於前述插補對象畫素之G畫素的畫素值；及第3處理，其係對依據前述拜爾資料之圖像信號，插補藉由前述第2處理所決定之畫素值的G畫素。

採用本發明，可對拜爾資料正確地插補G畫素之資訊。

就本發明之實施形態作說明。首先，參照第1圖說明本實施形態之數位相機100的全體結構。

攝像透鏡62包含：聚焦透鏡及變焦透鏡，且連接於透鏡驅動區塊63。此透鏡驅動區塊63係由使無圖示之聚焦透鏡及變焦透鏡分別驅動於與攝像面平行之光軸方向的聚焦馬達及變焦馬達，與按照來自CPU70之控制信號，使聚焦馬達及變焦馬達分別驅動之聚焦驅動器及變焦驅動器而構成。

光圈兼用快門64包含無圖示之驅動電路，此驅動電路按照從CPU70送達之控制信號使光圈兼用快門動作。另外，此光圈兼用快門64發揮光圈與快門之功能。

在攝像元件之CCD50中，於受光面上設有拜爾排列之濾色器。CCD50將經由攝像透鏡62及光圈兼用快門64而投影之景物的光變換成電信號，並將變換後之電信號作為攝像信號而輸出至圖像處理部20。此外，CCD50按照TG66按照來自CPU70之控制信號所產生的特定頻率之時序信號而驅動。

卡I/F76中可裝卸地連接記憶卡80。

記憶體69儲存藉由CPU70控制數位相機100之各部時需要的程式及資料。

DRAM68用作藉由CCD50攝像後，暫時記憶送達CPU70之圖像資料的緩衝記憶體，並且亦用作CPU70之工作記憶體。

圖像顯示部71由液晶顯示器與其驅動電路而構成。數位相機100在攝影待機狀態時，將藉由CCD50所拍攝之景物作為通過圖像而顯示於液晶顯示器。圖像顯示部71於數位相機100再生圖像時，將從記憶卡80讀取之圖像顯示於液晶顯示器。

鍵輸入部72包含：快門按鈕、模式鍵、SET鍵、十字鍵、攝影模式選擇鍵等複數的操作鍵，並將依使用者之鍵操作的操作信號輸出至CPU70。

CPU70控制數位相機100之全體。CPU70藉由與從記憶體69讀取之程式合作，而執行各種動作。

其次，參照第2圖，就圖像處理部20之結構作說明。圖像處理部20係由類比處理部(CDS、AGC、A/D)21、黑位準調整部22、白平衡調整部23、γ修正部24、畫素插補單元30、YUV變換處理部27及JPEG變換部28而構成。

圖像處理部20中，相關雙重抽樣電路(CDS)減少從 CCD50輸出之類比信號之攝像信號中包含的雜訊。自動增益控制電路(AGC)調整雜訊減低後之攝像信號的增益。A/D變換器(A/D)將增益調整後之攝像信號變換成數位信號，也就是，變換成依濾色器之拜爾排列的R(顯示紅色資訊之畫素資料)、G(顯示綠色資訊之畫素資料)、B(顯示藍色資訊之畫素資料)的畫素資料之拜爾資料。

黑位準調整部22將拜爾資料夾入特定之黑位準。白平衡調整部23對夾入後之拜爾資料，每R,G,B進行增益調整，而執行白平衡之調整。γ修正部24於白平衡調整後，進行對拜爾資料之γ特性(灰階特性)修正。畫素插補單元30對γ特性修正後之拜爾資料插補畫素值之資訊，而產生圖像信號。就畫素插補單元30之詳細內容於後述。

YUV變換處理部27從插補了畫素資訊之圖像信號產生由亮度信號(Y)與色差信號(U、V)構成的圖像信號。JPEG變換部28以JPEG形式將圖像信號壓縮編碼。並將壓縮編碼後之圖像信號記錄於記憶卡80。

其次，參照第3圖，就畫素插補單元30詳細地說明。畫素插補單元30係由第一電路部30a、第二電路部30b之2個電路部、LPF(低通濾波器)26、及加法器36而構成。第一電路部30a係由寬頻帶LPF31、G插補電路32、R插補電路33及B插補電路34而構成。第二電路部30b係由G畫素抽出電路40及HPF(高通濾波器)37而構成。

在第一電路部30a中，對於從γ修正部24送達之拜爾資料，實施插補欠缺之畫素的資訊之信號處理，而產生成為在畫素插補單元30中產生之圖像信號的基準之彩色圖像信號。

在此，第一電路部30a中之信號處理，係與日本公開專利公報：特開2006－135564號公報所揭示之信號處理相同者。也就是，在第一電路部30a中實施信號處理時，在拜爾資料中，於未存在G畫素之資訊的R畫素及B畫素(以下稱「插補對象畫素」)中插補G畫素之畫素值時，僅參照在插補對象畫素周邊之G畫素的畫素值。因而，在插補對象畫素中插補G畫素之畫素值時，參照之畫素值的資訊變少。結果，無法正確地判定在插補對象畫素周邊之畫素值的相關性，而無法在插補對象畫素中插補G畫素之正確的畫素值。

而該不適切之G畫素成為孤立點，有時在圖像信號中發生雜訊。因而，為了除去此雜訊成分，係藉由使此圖像信號通過低通濾波器之LPF26，而除去圖像信號之高頻成分(雜訊成分等)。但是，使圖像信號通過LPF26時，雖可除去雜訊成分，但是亦造成圖像信號中之輪廓的銳度降低，依據圖像信號之再生圖像會變成模糊。

因此，藉由第二電路部30b，從γ修正部24送達之拜爾資料另行抽出G畫素之正確資訊。而後，在加法器36中，對通過LPF26之圖像信號加上抽出之G畫素的資訊。因為G畫素之資訊影響輪廓在再生圖像中的銳度，所以藉由此種方式強調依據拜爾資料之再生圖像的輪廓，再生圖像不致模糊。

其次，就第二電路部30b中之信號處理詳細地說明。第二電路部30b中之G畫素抽出電路40係用於抽出應對拜爾資料中之插補對象畫素(G畫素之資訊未存在的R畫素、B畫素)插補之G畫素的資訊(畫素值)之電路。如第4圖所示，G畫素抽出電路40係由水平方向基準圖像產生部41、垂直方向基準圖像產生部42、水平方向相關度算出部43、垂直方向相關度算出部44、畫素值決定部45及畫素抽出部46而構成。

水平方向基準圖像產生部41對拜爾資料進行使用鄰接於水平方向之畫素的畫素值的運算，而產生水平方向基準圖像。水平方向基準圖像係用於在拜爾資料之各插補對象畫素的周邊求出像素之相關性強的方向之資訊。

具體而言，水平方向基準圖像產生部41就拜爾資料之在各插補對象畫素周邊的各畫素，藉由依序執行其次之(A1)至(A4)的任何一個處理，而產生水平方向基準圖像。

(A1)就在水平方向鄰接於G畫素之R畫素，從該R畫素之畫素值減去在水平方向鄰接於該R畫素之G畫素的畫素值之平均值的處理

(A2)就在水平方向鄰接於R畫素之G畫素，從在水平方向鄰接於該G畫素之R畫素的畫素值之平均值，減去該G畫素之畫素值的處理

(A3)就在水平方向鄰接於B畫素之G畫素，從在水平方向鄰接於該G畫素之B畫素的畫素值之平均值，減去該G畫素之畫素值的處理

(A4)就在水平方向鄰接於G畫素之B畫素，從該B畫素之畫素值減去在水平方向鄰接於該B畫素之G畫素的畫素值之平均值的處理

第5圖顯示拜爾資料中之各畫素的畫素值之例。第5圖中，B0、B2、．．．B48等以B註記之位置，係在拜爾資料中配置有B畫素之位置。G1、G3、．．．G47等以G註記之位置，係在拜爾資料中配置有G畫素之位置。R8、R10、．．．R40等以R註記之位置，係在拜爾資料中配置有R畫素之位置。

此外，在第5圖中，B0、B2、．．．B48顯示有各B畫素之畫素值。G1、G3、．．．G47顯示有各G畫素之畫素值。R8、R10、．．．R40顯示有各R畫素之畫素值。

產生水平方向基準圖像時，著眼於拜爾資料中之各插補對象畫素的周邊區域。第6圖中顯示水平方向基準圖像之例的水平方向基準圖像40H。水平方向基準圖像40H係就在第5圖所示之「R24」的位置之畫素(插補對象畫素)的水平方向基準圖像。

如產生水平方向基準圖像40H時，著眼於由在第5圖所示之「R24」位置的畫素周邊區域之7×7個畫素的B0、G1、B2、．．．B48之位置的各畫素構成的區域。另外，著眼之周邊區域亦可並非是由7×7個畫素構成的區域。

其次，水平方向基準圖像中之各成分之例，就水平方向基準圖像40H中之各成分作說明。

水平方向基準圖像40H中之成分「h8」，藉由使用第5圖所示之G7、R8、G9之畫素值的(A1)之處理，而成為以下之值。

h8＝R8－(G7＋G9)/2

水平方向基準圖像40H中之成分「h9」，藉由使用第5圖所示之R8、G9、R10之畫素值的(A2)之處理，而成為以下之值。

h9＝(R8＋R10)/2－G9

水平方向基準圖像40H中之成分「h15」，藉由使用第5圖所示之B14、G15、B16之畫素值的(A3)之處理，而成為以下之值。

h15＝(B14＋B16)/2－G15

水平方向基準圖像40H中之成分「h16」，藉由使用第5圖所示之G15、B16、G17之畫素值的(A4)之處理，而成為以下之值。

h16＝B16－(G15＋G17)

同樣地，就水平方向基準圖像40H中之其他成分，可藉由執行(A1)至(A4)之處理而求出。

除了(A1)至(A4)之處理外，就拜爾資料之在插補對象畫素周邊的各畫素，亦可藉由依序執行其次之(A5)至(A8)的任何一個處理，而產生水平方向基準圖像。

(A5)就在水平方向鄰接於G畫素之R畫素，從在水平方向鄰接於該R畫素之G畫素的畫素值之平均值，減去該R畫素之畫素值的處理

(A6)就在水平方向鄰接於R畫素之G畫素，從該G畫素之畫素值減去在水平方向鄰接於該G畫素之R畫素的畫素值之平均值的處理

(A7)就在水平方向鄰接於B畫素之G畫素，從該G畫素之畫素值減去在水平方向鄰接於該G畫素之B畫素的畫素值之平均值的處理

(A8)就在水平方向鄰接於G畫素之B畫素，從在水平方向鄰接於該B畫素之G畫素的畫素值之平均值，減去該B畫素之畫素值的處理

另外，垂直方向基準圖像產生部42對拜爾資料進行使用鄰接於垂直方向之畫素的畫素值的運算，而產生垂直方向基準圖像。垂直方向基準圖像係用於在拜爾資料之各插補對象畫素的周邊求出像素之相關性強的方向之資訊。具體而言，垂直方向基準圖像產生部42就拜爾資料之在插補對象畫素周邊的各畫素，藉由依序執行其次之(B1)至(B4)的任何一個處理，而產生垂直方向基準圖像。

(B1)就在垂直方向鄰接於G畫素之R畫素，從該R畫素之畫素值減去在垂直方向鄰接於該R畫素之G畫素的畫素值之平均值的處理

(B2)就在垂直方向鄰接於R畫素之G畫素，從在垂直方向鄰接於該G畫素之R畫素的畫素值之平均值，減去該G畫素之畫素值的處理

(B3)就在垂直方向鄰接於B畫素之G畫素，從在垂直方向鄰接於該G畫素之B畫素的畫素值之平均值，減去該G畫素之畫素值的處理

(B4)就在垂直方向鄰接於G畫素之B畫素，從該B畫素之畫素值減去在垂直方向鄰接於該B畫素之G畫素的畫素值之平均值的處理

第7圖中，顯示垂直方向基準圖像40V作為垂直方向基準圖像之例。在此，就垂直方向基準圖像40V中之各成分作說明。

垂直方向基準圖像40V中之成分「v8」，藉由使用第5圖所示之G1、R8、G15之畫素值的(B1)之處理，而成為以下之值。

v8＝R8－(G1＋G15)/2

垂直方向基準圖像40V中之成分「v15」，藉由使用第5圖所示之R8、G15、R22之畫素值的(B2)之處理，而成為以下之值。

v15＝(R8＋R22)/2－G15

垂直方向基準圖像40V中之成分「v9」，藉由使用第5圖所示之B2、G9、B16之畫素值的(B3)之處理，而成為以下之值。

v9＝(B2＋B16)/2－G9

垂直方向基準圖像40V中之成分「v16」，藉由使用第5圖所示之G9、B16、G23之畫素值的(B4)之處理，而成為以下之值。

v16＝B16－(G9＋G23)/2

同樣地，就垂直方向基準圖像40V中之其他成分，可藉由執行(B1)至(B4)之處理而求出。

除了(B1)至(B4)之處理外，就拜爾資料之在插補對象畫素周邊的各畫素，亦可藉由依序執行其次之(B5)至(B8)的任何一個處理，而產生垂直方向基準圖像。

(B5)就在垂直方向鄰接於G畫素之R畫素，從在垂直方向鄰接於該R畫素之G畫素的畫素值之平均值，減去該R畫素之畫素值的處理

(B6)就在垂直方向鄰接於R畫素之G畫素，從該G畫素之畫素值減去在垂直方向鄰接於該G畫素之R畫素的畫素值之平均值的處理

(B7)就在垂直方向鄰接於B畫素之G畫素，從該G畫素之畫素值減去在垂直方向鄰接於該G畫素之B畫素的畫素值之平均值的處理

(B8)就在垂直方向鄰接於G畫素之B畫素，從在垂直方向鄰接於該B畫素之G畫素的畫素值之平均值，減去該B畫素之畫素值的處理

水平方向相關度算出部43就拜爾資料中之各插補對象畫素，從水平方向基準圖像算出水平方向之相關度的水平相關度Hr。水平方向相關度算出部43藉由執行其次(C1)至(C3)之處理，而算出水平相關度Hr。

(C1)求出水平方向基準圖像中之各成分間的差分值。

(C2)求出(C1)中求出之各差分值的絕對值。

(C3)算出(C2)中求出之各絕對值乘上特定係數之總和，作為水平相關度Hr。

列舉(C1)至(C3)之處理例時，關於在第5圖所示之「R24」位置的畫素之水平相關度Hr如下。

Hr＝abs(h8－h9)＋2×abs(h9－h10)＋2×abs(h10－h11)÷abs(h11－h12)＋2×{abs(h15－h16)＋2×abs(h16－h17)＋2×abs(h17－h18)＋abs(h18－h19)}＋2×{abs(h22－h23)＋2×abs(h23－h24)＋2×abs(h24－h25)＋abs(h25－h26)}＋2×{abs(h29－h30)＋2×abs(h30－h31)＋2×abs(h31－h32)＋abs(h32－h33)}＋abs(h36－h37)＋2×abs(h37－h38)＋2×abs(h38－h39)＋abs(h39－h40)

其中，abs( )表示求出絕對值之運算。

水平相關度Hr之值愈小，水平方向之相關性愈強。

垂直方向相關度算出部44就拜爾資料中之各插補對象畫素，從垂直方向基準圖像算出垂直方向之相關度的垂直相關度Vd。垂直方向相關度算出部44藉由執行其次(D1)至(D3)之處理，而算出垂直相關度Vd。

(D1)求出垂直方向基準圖像中之各成分間的差分值。

(D2)求出(D1)中求出之各差分值的絕對值。

(D3)算出(D2)中求出之各絕對值乘上特定係數之總和，作為垂直相關度Vd。

列舉(D1)至(D3)之處理例時，關於在第5圖所示之「R24」位置的畫素之垂直相關度Vd如下。

Vd＝abs(v8－v15)＋2×abs(v15－v22)＋2×abs(v22－v29)＋abs(v29－v36)＋2×{abs(v9－v16)＋2×abs(v16－v23)＋2×abs(v23－v30)＋abs(v30－v37)}＋2×{abs(v10－v17)＋2×abs(v17－v24)＋2×abs(v24－v31)＋abs(v31－v38))＋2×(abs(v11－v18)＋2×abs(v18－v25)＋2×abs(v25－v32)＋abs(v32－v39)}÷abs(v12－v19)＋2×abs(v19－v25)＋2×abs(v26－v33)＋abs(v33－v40)

其中，abs( )表示求出絕對值之運算。

垂直相關度Vd之值愈小，垂直方向之相關性愈強。

畫素值決定部45依據水平相關度Hr與垂直相關度Vd決定對插補對象畫素之插補的G畫素之畫素值。

水平相關度Hr比垂直相關度Vd小，換言之，水平方向之相關性比垂直方向之相關性強時，畫素值決定部45決定在插補對象畫素之水平方向鄰接的G畫素之畫素值之平均值，作為對插補對象畫素插補之G畫素的畫素值。

此時，如畫素值決定部45就對第5圖所示之「R24」位置的畫素(插補對象畫素)插補之G畫素的畫素值「G24」，係使用在水平方向鄰接於在「R24」位置之畫素的G畫素之畫素值「G23」、「G25」，決定以下之畫素值。

G24＝(G23＋G25)/2

另外，垂直相關度Vd比水平相關度Hr小時，換言之，垂直方向之相關性比水平方向之相關性強時，畫素值決定部45決定在插補對象畫素之垂直方向鄰接的G畫素之畫素值之平均值，作為對插補對象畫素插補之G畫素的畫素值。

此時，如畫素值決定部45就對第5圖所示之「R24」位置的畫素(插補對象畫素)插補之G畫素的畫素值「G24」，係使用在垂直方向鄰接於在「R24」位置之畫素的G畫素之畫素值「G17」、「G31」，決定以下之畫素值。

G24＝(G17＋G31)/2

畫素抽出部46抽出畫素值決定部所決定之畫素值，作為須對拜爾資料中之插補對象畫素插補的G畫素之畫素值。

G畫素抽出電路40除了在「R24」位置之畫素外，亦就拜爾資料中之全部插補對象畫素(G畫素之資訊未存在的R畫素、B畫素)，實施上述說明之處理，抽出須對各插補對象插補之G畫素的畫素值。也就是G畫素抽出電路40就拜爾資料中之全部插補對象畫素之各個，產生水平方向基準圖像與垂直方向基準圖像，使用此等水平方向基準圖像與垂直方向基準圖像中之成分，算出在水平方向之畫素值的相關性與在垂直方向之畫素值的相關性，而抽出須對各插補對象插補的G畫素之畫素值。藉由此處理，而獲得僅由從拜爾資料抽出之正確的G畫素資訊構成的圖像信號(以下稱為「G圖像信號」)。

回到第3圖，在第二電路部30b中，使G畫素抽出電路40獲得之G圖像信號通過高通濾波器之HPF37，而除去G圖像信號之低頻成分。

而後，在加法器36中，加上對於在第一電路部30a中實施信號處理，通過LPF(低通濾波器)26之彩色圖像信號，除去低頻成分之G圖像信號，也就是實施插補。

如以上之說明，採用本實施形態時，除了在插補對象畫素周邊之G畫素外，亦參照在插補對象畫素周邊之R畫素及B畫素，決定對拜爾資料插補之G畫素的畫素值。如此，對拜爾資料插補G畫素時，參照之畫素的資訊多。結果，可對圖像信號插補G畫素之正確的畫素值。

此外，採用本實施形態時，係使用在插補對象畫素周邊之G畫素、R畫素、B畫素的各個畫素值，產生水平方向基準圖像與垂直方向基準圖像，並使用此等水平方向基準圖像與垂直方向基準圖像中之成分，算出在水平方向之畫素值的相關性與在垂直方向之畫素值的相關性。如此，算出關於畫素值之相關性時，參照之畫素的資訊多。結果，可減低誤判關於畫素值之相關性強的方向之可能性。

此外，採用本實施形態時，係對於在第一電路部30a中實施信號處理，而通過LPF(低通濾波器)26之彩色圖像信號，插補在第二電路部30b中抽出之G畫素的正確之資訊。因為G畫素之資訊影響再生圖像中之輪廓的銳度，所以，如此可強調依據拜爾資料之再生圖像的輪廓，而使再生圖像之畫質提高。

<改良例>

其次，就本實施形態之改良例作說明。就在插補對象畫素周邊之畫素，有時水平方向之相關性與垂直方向之相關性的差異微小。也就是在插補對象畫素之周邊，有時灰階層次緩和。此時，藉由第一種實施形態之處理，對拜爾資料之插補對象畫素插補G畫素時，插補對象畫素之畫素值形成明顯之值(孤立點)，而有依據圖像信號之再生圖像的畫質惡化之問題。本改良例係對應該問題者。

此改良例中，如第8圖所示，與上述實施形態不同之處僅為在G畫素抽出電路40中設置了混合比決定部47。其他結構及處理係與上述之實施形態相同。

混合比決定部47係從水平方向相關度算出部43算出之水平相關度Hr與從垂直方向相關度算出部44算出之垂直相關度Vd中，決定混合比。

水平相關度Hr比垂直相關度Vd小，也就是水平方向之相關性比垂直方向之相關性強時，混合比決定部47決定Hr/Vd之值作為混合比。另外，垂直相關度Vd比水平相關度Hr小，也就是垂直方向之相關性比水平方向之相關性強時，混合比決定部47決定Vd/Hr之值作為混合比。

水平方向之相關性比垂直方向之相關性強時，畫素值決定部45決定以依據混合比之比率相加在水平方向鄰接於插補對象畫素之G畫素的畫素值之平均值，與在水平方向及垂直方向鄰接於插補對象畫素之4個G畫素之平均值的畫素值之G畫素，作為對插補對象畫素插補之G畫素的畫素值。

此時，如對於在第5圖所示之「R24」位置的畫素插補之G畫素的畫素值「G24」，成為以下之畫素值。

G24＝(1.0－(Hr/Vd))×(G23＋G25)/2＋(Hr/Vd)×(G17＋G31＋G23＋G25)/4

垂直方向之相關性比水平方向之相關性強時，畫素值決定部45決定以依據混合比之比率相加在垂直方向鄰接於插補對象畫素之G畫素的畫素值之平均值，與在水平方向及垂直方向鄰接於插補對象畫素之4個G畫素之平均值的畫素值之G畫素，作為對插補對象畫素插補之G畫素的畫素值。

G24＝(1.0－(Vd/Hr))×(G17＋G31)/2＋(Vd/Hr)×(G17＋G31＋G23＋G25)/4

畫素抽出部46抽出畫素值決定部所決定之畫素值，作為須對拜爾資料中之插補對象畫素插補的G畫素之畫素值。如此獲得僅由從拜爾資料抽出之正確的G畫素之資訊構成的圖像信號(G圖像信號)。

而後，回到第3圖，在加法器36中，對於在第一電路部30a中實施信號處理，並通過LPF(低通濾波器)26之彩色圖像信號加上G圖像信號，也就是實施插補。

採用以上說明之改良例，於決定對拜爾資料插補之G畫素的畫素值時，除了在相關性強的方向鄰接於插補對象畫素之2個畫素之平均值之外，亦使用在水平方向及垂直方向鄰接於插補對象畫素之4個畫素的平均值。如此，即使水平方向之相關性與垂直方向之相關性之差異微小時，插補對象畫素之畫素值不致成為明顯之值(孤立點)，而可防止依據圖像信號之再生圖像的畫質惡化。

本發明並非限定於上述實施形態及改良例者，亦包含在不脫離本發明之要旨的範圍內之設計變更。

20‧‧‧圖像處理部

21‧‧‧類比處理部

22‧‧‧黑位準調整部

23‧‧‧白平衡調整部

24‧‧‧γ修正部

26‧‧‧LPF(低通濾波器)

27‧‧‧YUV變換處理部

28‧‧‧JPEG變換部

30‧‧‧畫素插補單元

30a‧‧‧第一電路部

30b‧‧‧第二電路部

31‧‧‧寬頻帶LPF

32‧‧‧G插補電路

33‧‧‧R插補電路

34‧‧‧B插補電路

36‧‧‧加法器

37‧‧‧HPF

38‧‧‧減法器

40‧‧‧G畫素抽出電路

40‧‧‧畫素插補電路

41‧‧‧水平方向基準圖像產生部

42‧‧‧垂直方向基準圖像產生部

43‧‧‧水平方向相關度算出部

44‧‧‧垂直方向相關度算出部

45‧‧‧畫素值決定部

46‧‧‧畫素抽出部

47‧‧‧混合比決定部

50‧‧‧CCD

62‧‧‧攝像透鏡

63‧‧‧透鏡驅動區塊

64‧‧‧光圈兼用快門

66‧‧‧TG

68‧‧‧DRAM

69‧‧‧記憶體

70‧‧‧CPU

71‧‧‧圖像顯示部

72‧‧‧鍵輸入部

80‧‧‧記憶卡

100‧‧‧數位相機

R、G、B‧‧‧畫素、信號

76‧‧‧卡I/F

40H‧‧‧水平方向基準圖像

Hr‧‧‧水平相關度

Vd‧‧‧垂直相關度

Y‧‧‧亮度信號

U、V‧‧‧色差信號

CDS‧‧‧相關雙重抽樣電路

AGC‧‧‧自動增益控制電路

A/D‧‧‧A/D變換器

第1圖係顯示數位相機100之全體結構圖。

第2圖係顯示圖像處理部20之結構圖。

第3圖係顯示畫素插補單元30之結構圖。

第4圖係G畫素抽出電路40之結構圖。

第5圖係顯示拜爾排列之例圖。

第6圖係顯示水平基準圖像之例圖。

第7圖係顯示垂直基準圖像之例圖。

第8圖係改良例中之G畫素抽出電路40的結構圖。