JP3997273B2 - 単板カラーカメラの信号補間方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、単板カラーカメラの再生画像において、被写体像の境界部分に発生する偽の色信号を軽減しようとする単板カラーカメラの信号補間方法に関わり、特に、ある透過光の微小色フィルタが市松状に配置された、いわゆるベイヤ配列の色フィルタを用いた単板カラーカメラの信号補間方法に関する。
【０００２】
【従来の技術】
２次元状に画素を並べた固体撮像素子を一つだけ用いて、カラーのビデオ信号を得る単板カラーカメラは、家庭用ビデオカメラや電子スチルカメラなど、広い分野で利用されている。単板カラーカメラでは、固体撮像素子の各画素に数種類の微小色フィルタを周期的に対応させて、それぞれの画素から微小色フィルタの透過光に対応した色信号を得る。したがって、各色信号は空間的に異なる位置の被写体像に対応したものであるので、被写体像の境界部では偽の色信号が発生しやすい。
【０００３】
ある透過光の微小色フィルタが市松状に配置されたいわゆるベイヤ配列の原色型色フィルタを用いて、被写体像の境界部で発生する偽の色信号の発生原因を説明する。ベイヤ配列の原色型色フィルタは図２に示す構成が一般的である。図２において、Ｒは赤色光、Ｇは緑色光、Ｂは青色光を透過させる微小色フィルタであり、それぞれ固体撮像素子の１画素に対応している。また、微小色フィルタの配列の上部に記された番号は、水平方向の位置番号であり、左側に記された番号は垂直方向の位置番号である。以後、図２において、水平方向の位置番号が2nで、垂直方向の位置番号が2mである画素を「水平位置2n,垂直位置2mの画素」と呼ぶ。
【０００４】
ここで図２において斜線のある部分が暗く、斜線のない部分が明るい無彩色の被写体像が結像した場合を考える。明るい部分に対応する各画素の出力がＲ信号、Ｇ信号、Ｂ信号とも1.0で、暗い部分に対応する各画素の出力がＲ信号、Ｇ信号、Ｂ信号とも0.2であるとすると、垂直位置2mの画素列にある各画素の出力は図３（ａ）に示すとおりである。これをＲ信号とＧ信号に分離して、それぞれの色信号において画素の位置に存在しない信号を一般的に行われているように前後の当該色の画素で得られる信号から線形補間すると、図３（ｂ）に示すＲ信号と、図３（ｃ）に示すＧ信号が得られる。図３（ｂ）、図３（ｃ）からわかるように水平位置2(n+1)+1の画素の位置ではＲ信号が点線で示した本来得られるべき信号より大きくなり、水平位置2(n+1)の画素の位置ではＧ信号の大きさが本来得られるべき信号より小さくなる。この結果、それぞれの位置で偽色が発生する。
【０００５】
図２に示すベイヤ配列の色フィルタは、たとえば水平位置2n,垂直位置2mの画素を中心に９０度回転したものの構成は元と同じものになる。したがって、上述の説明は水平方向の画素列を対象に行ったが、垂直方向の画素列を対象としても同様である。
【０００６】
以上、単板カラーカメラにおける偽の色信号の発生過程を、空間的な信号波形を用いて説明した。次に、周波数領域の信号を用いて単板カラーカメラにおける偽の色信号の発生過程を説明する。
【０００７】
図２に示したベイヤ配列の原色型色フィルタによって得られる各色信号の空間的な関数は、当該色信号が得られる画素の空間的な位置をあらわす関数と、被写体像の当該色信号に対応する成分の大きさをあらわす関数を掛け合わせたものである。したがって各色信号のもつ周波数成分は、周波数領域での位置をあらわす関数と被写体の各色成分がもつ周波数成分との重畳積分（コンボリューション）となることがフーリエ変換の定理から知られている。ここで重畳積分は、次の数１で示す関係である。
【０００８】
【数１】

【０００９】
図２に示す色フィルタは水平方向２画素、垂直方向２画素の最小単位が繰り返されるから、画素の空間的な位置をあらわす関数は４種類を考慮すればよい。ここで、水平方向の画素間隔をdx、垂直方向の画素間隔をdy、正方形である画素の一辺の長さをdwとする。また、水平位置と垂直位置がともに０であるＲの画素の中心位置を、空間的な座標(0,0)にとる。
【００１０】
水平位置2n、垂直位置2m（ｎおよびｍは任意の整数）の画素からはＲ信号が得られ、その２次元の周波数成分をＳr(fx,fy)とすると次の数２となる。また、水平位置2n+1、垂直位置2mの画素からはＧ信号が得られ、その２次元の周波数成分をＳg1(fx,fy)とすると次の数３となる。同様に水平位置2n、垂直位置2m+1の画素からはＧ信号が得られ、その２次元の周波数成分をＳg2(fx,fy)とすると次の数４となる。さらに、水平位置2n+1、垂直位置2m+1の画素からはＢ信号が得られ、その２次元の周波数成分をＳb(fx,fy)とすると次の数５となる。
【００１１】
【数２】

【００１２】
【数３】

【００１３】
【数４】

【００１４】
【数５】

【００１５】
数２ないし数５において、fx、fyはそれぞれ水平方向と垂直方向の周波数である。Frx、Fryは被写体像のＲ成分、Fgx、Fgyは被写体像のＧ成分、Fbx、Fbyは被写体像のＢ成分のそれぞれ水平方向の周波数成分と垂直方向の周波数成分をあらわす関数である。また、「＊」は数１に示した重畳積分をあらわす。デルタ関数は、サンプリングに起因して発生する高調波成分の発生位置をあらわす関数である。また、Fax、Fayはそれぞれ画素のアパーチャに起因して発生する周波数レスポンスであり、次の数６、数７のとおりである。
【００１６】
【数６】

【００１７】
【数７】

【００１８】
数２と数３の比較、あるいは数４と数５の比較から、水平方向の位置がdxだけ異なると、サンプリングに起因して発生する水平方向の高調波成分の位相が-jkπ（kは整数）だけ回転することがわかる。同様に数２と数４の比較、あるいは数３と数５の比較から、垂直方向の位置がdyだけ異なると、サンプリングに起因して発生する垂直方向の高調波成分の位相が-jlπ（lは整数）だけ回転することがわかる。
【００１９】
ここで、たとえば図２に示した垂直位置が2mの画素列のみに注目する。垂直位置が同一の画素列上では、垂直方向の変化は考慮する必要がないので、水平方向の周波数成分のみを検討すればよい。このとき、数２および数３は次の数８および数９のように書き換えることができる。
【００２０】
【数８】

【００２１】
【数９】

【００２２】
数８、数９において被写体像が無彩色でFgx(fx)＝Frx(fx)であり、その水平方向の周波数成分が図４（ａ）に示すものであるとする。このとき数８、数９の示す各信号の持つ水平方向の周波数成分Sr(fx)、Sg1(fx)はそれぞれ図４（ｂ）、図４（ｃ）に示すものとなる。数９における高調波成分の-jkπの位相回転は、図４（ｂ）と図４（ｃ）の比較から明らかなように1/2dxを中心に発生する高調波成分が逆極性となって現れることにつながる。
【００２３】
ここで、Sr(fx)とSg1(fx)のうちの図に斜線で示す０から1/4dxの周波数領域をローパスフィルタで取り出して色信号に用いると、1/2dxを中心に発生する高調波成分の一部が有効帯域内に混入する。有効帯域に混入するのは被写体像の1/4dxよりも高い周波数成分であるが、ステップ状に明るさが変化するなど広い範囲の周波数成分を持つ被写体像では、有効帯域への混入成分が無視できない大きさとなる。なおかつ、Sr(fx)とSg1(fx)では高調波成分の混入が逆相となり、その影響が全く逆の方向に現れるので、混入成分の大きさに対応した偽の色信号が発生する。
【００２４】
以上が偽の色信号の発生原因を、周波数領域から説明したものである。無彩色の被写体像の境界部分で発生する偽の色信号は、本来無彩色である部分が着色して再現されるので、視覚上特に目立ちやすい。これに対して、彩度の高い被写体像の境界部分の色相が変化する偽の色信号は、一般に色信号では周波数帯域を狭帯域に制限して用いることから目立ちにくくなる。そこで、彩度の高い被写体像の境界部分よりも、無彩色の被写体像の境界部分で発生する偽の色信号を抑圧する方が大きな改善効果を期待できる。
【００２５】
偽の色信号を低減する第１の従来の方法は、特開平３−１２４１９０に示された本発明の発明者による方法である。特開平３−１２４１９０の方法は、例えば上述のSr(fx)の低周波成分とSg1(fx)の低周波成分の比を求めて、それをSg1(fx)に乗算し、得られた信号をSr(fx)の補間信号として用いるものである。以下に、特開平３−１２４１９０の方法を、図５に示す構成図を用いて説明する。
【００２６】
図５に示す構成において、例えば図２の垂直位置2mの画素列における偽の色信号を低減する動作はつぎのとおりである。なお、図５において、固体撮像素子１には図２に示すベイヤ配列の原色型色フィルタが組み合わされているものとする。また、固体撮像素子１は垂直方向の画素列を１列づつ順番に読み出す、いわゆる全画素順次読み出し型のものであるとする。
【００２７】
固体撮像素子１から得られた画素信号を、サンプラ２、サンプラ３に加えてそれぞれＲ信号sr(x)とＧ信号sg1(x)に分離する。さらにサンプラ２、サンプラ３から得られたＲ信号とＧ信号を、それぞれfaよりも低い周波数成分を通過させるローパスフィルタ４、ローパスフィルタ５に加える。ここでローパスフィルタ４、ローパスフィルタ５から得られた出力信号srl(x)、sg1l(x)の持つ周波数成分Srl(fx)、Sg1l(fx)は、図４（ｄ）、図４（ｅ）に斜線で示すものである。図４（ｄ）、図４（ｅ）からわかるようにSrl(fx)、Sg1l(fx)は、それぞれ被写体の持つ周波数成分Fr(fx)、Fg(fx)のうちのfaよりも低い周波数範囲の成分Frl(fx)、Fgl(fx)と、1/2dxを中心とする高調波となってfa以下の帯域に混入する、(1/2dx−fa）よりも高い周波数範囲の成分Frh(fx)、Fgh(fx)を加えたものである。すなわち、Srl(fx)、Sg1l(fx)は数１０、数１１の関係となる。
【００２８】
【数１０】

【００２９】
【数１１】

【００３０】
図４（ｄ）、（ｅ）あるいは数１０、数１１より、Frh(fx)、Fgh(fx)が小さければSrl(fx)、Sg1l(fx)はそれぞれ被写体のもつ低周波成分Frl(fx)、Fgl(fx)にほぼ等しい大きさとなる。また、局所での被写体像の色相の変化が小さいときには、その周辺で任意の２つの色信号のもつ周波数成分はすべての周波数範囲でほぼ一定の比率になることが期待できる。これらの条件が満足されるとき、低周波成分の比は全体の周波数成分の比にほぼ等しくなり、次の数１２が成り立つ。
【００３１】
【数１２】

【００３２】
さらに、次の数１３に示すパーシバルの定理によれば、空間領域の関数を積分したパワー値は、周波数領域の関数を積分したパワー値に等しい。そこで有限の積分範囲内でも空間領域の関数を積分したパワー値と周波数領域の関数を積分したパワー値が近いものとなることを期待し、さらに進めて、ローパスフィルタ出力の瞬時値も、その周辺での周波数成分と相関があることを期待する。
【００３３】
【数１３】

【００３４】
そこで図５に示す構成では、ローパスフィルタ４、ローパスフィルタ５の出力信号をゲート回路６およびゲート回路７に加える。さらにゲート回路６およびゲート回路７の出力信号を割り算器８に加える。ここでゲート回路６、ゲート回路７は、たとえば垂直位置2mの画素列において、固体撮像素子１からＲ信号が得られるときには割り算器８の除数側にローパスフィルタ４の出力srl(x)が加わり、被除数側にローパスフィルタ５の出力sg1l(x)が加わるように動作する。また、固体撮像素子１からＧ信号が得られるときには、割り算器８の除数側にローパスフィルタ５の出力sg1l(x)が加わり、被除数側にローパスフィルタ４の出力srl(x)が加わるように動作する。この結果割り算器８は、固体撮像素子１からＲ信号が得られるときにはSg1l(fx)をSrl(fx)で割った値に対応する信号を出力し、Ｇ信号が得られるときにはSrl(fx)をSg1l(fx)で割った値に対応する信号を出力する。さらに割り算器８の出力信号を固体撮像素子１から得られる画素信号とともに掛け算器９に加えて補間信号sig(x)を得る。
【００３５】
この結果、たとえば固体撮像素子１からＲ信号が得られるときには、掛け算器９から得られる補間信号sig(x)のもつ周波数成分Sig(fx)は次の数１４で表されるものとなる。
【００３６】
【数１４】

【００３７】
数１４に数８、数１２を用いると、数１４は次の数１５のように書き改められるので、Sig(fx)は図６（ａ）に示すものとなる。
【００３８】
【数１５】

【００３９】
なお、数１５におけるegは補間信号の精度をあらわす係数で、数１０、数１１と数１２より次の数１６の関係である。数１６より、被写体像のfaより低い帯域の成分が1/2dx-faより高い帯域の成分に比べて大きいほどegが１に近づき、補間信号の精度が向上する。
【００４０】
【数１６】

【００４１】
数１５と数９との比較、あるいは図４（ｃ）と図６（ａ）の比較から、egが１に近いとき、掛け算器９から得られる補間信号の周波数成分は、Ｇ信号の持つ周波数成分Sg1(fx)とは奇数次の高調波成分の位相が逆相となることがわかる。この結果、固体撮像素子１から得られるＧ信号sg1(x)と、掛け算器９から得られる補間信号sig(x)をゲート回路１０によって選択して加え合わせたＧ信号の周波数成分は、奇数次の高調波成分がほぼ相殺されて図６（ｂ）に示すものとなる。
【００４２】
同様に、固体撮像素子１からＧ信号が得られるときには掛け算器９から、Ｒ信号sr(x)の持つ周波数成分Sr(fx)とは奇数次の高調波成分の位相が逆相である補間信号が得られる。この結果、固体撮像素子１から得られるＲ信号と、掛け算器９から得られる補間信号をゲート回路１１によって選択して加え合わせたＲ信号の周波数成分も、奇数次の高調波成分がほぼ相殺されて図６（ｃ）に示すものとなる。
【００４３】
こうして得られるゲート回路１０、ゲート回路１１の出力をローパスフィルタ１２、ローパスフィルタ１３に加え、1/4dx以下の周波数帯域を取り出してＧ信号、Ｒ信号を得る。図６（ｂ）、図６（ｃ）からわかるように、Ｇ信号、Ｒ信号では有効帯域に混入する1/2dxを中心に発生した高調波成分が十分抑圧され、これに起因する偽の色信号が改善される。
【００４４】
以上の説明は、垂直位置が2mのＲとＧが繰り返される画素列を例にとって行なったが、垂直位置が2m+1の画素列ではＧ信号とＢ信号の間で同様の補間処理が実現できる。ところが、垂直位置が2mの画素列に存在しないＢ信号、あるいは垂直位置が2m+1の画素列に存在しないＲ信号を補間する方法については述べられておらず、すべての画素列に対応する各色信号を得ることができない。
【００４５】
これに対して、ベイヤ配列の原色型フィルタにおいてＲとＧが繰り返される画素列のＢ信号、あるいはＧとＢが繰り返される画素列のＲ信号を補間する第２の従来の方法が特開平７−２３６１４７で述べられている。特開平７−２３６１４７の方法では、ある画素の周辺に存在する複数の画素の信号を利用して、当該画素に対する複数の色信号を得る補間処理手段が述べられている。また同時に、補間処理を行なう当該画素における垂直方向および水平方向の相関値を得る手段を備え、この相関に基づいて補間処理の動作を制御する方法が述べられている。この方法を図７を用いて説明する。
【００４６】
図７（ａ）は、例えば図２に示すベイヤ配列の原色型フィルタの水平位置2(n+1)、垂直位置2m+1の画素を中心とする９画素を取りだしたものである。ここで水平方向の被写体像の変化が少ないものと仮定したときのG22の位置における補間信号Rh、Gh、Bhを、次の数１７、数１８、数１９の演算で求める。
【００４７】
【数１７】

【００４８】
【数１８】

【００４９】
【数１９】

【００５０】
また、垂直方向の被写体像の変化が少ないものと仮定したときのG22の位置における補間信号Rv、Gv、Bvを次の数２０、数２１、数２２の演算で求める。
【００５１】
【数２０】

【００５２】
【数２１】

【００５３】
【数２２】

【００５４】
一方、垂直方向の相関を判定する垂直相関係数Svと水平方向の相関を判定する水平相関係数Shは次の数２３、数２４あるいは数２５、数２６で求める。数２３、数２４は、被写体像の彩度が高いときに適用し、数２５、数２６は無彩色のときに適用する。さらに、垂直相関係数Svと水平相関係数Shから次の数２７、数２８に示す水平方向の係数Khと垂直方向の係数Kvを得る。
【００５５】
【数２３】

【００５６】
【数２４】

【００５７】
【数２５】

【００５８】
【数２６】

【００５９】
【数２７】

【００６０】
【数２８】

【００６１】
水平方向の係数Khは、水平方向の被写体像の変化が小さいものとして求めた補間信号Rh、Gh、Bhの増幅率であり、垂直方向の係数Kvは垂直方向の被写体像の変化が小さいものとして求めた補間信号Rv、Gv、Bvの増幅率である。それぞれの係数で増幅したRhとRv、GhとGv、BhとBvを加算して、最終的な補間信号とする。数２３、数２４あるいは数２５、数２６と数２７、数２８より、たとえば垂直方向の変化のみが大きな被写体像ではSvの値が大きくなり、Shが０になるのでKh＝１、Kv＝０となる。このとき最終的な補間信号は、水平方向の被写体像の変化が小さいものとして求めた補間信号Rh、Gh、Bhのみで構成される。一方、水平方向の変化のみが大きな被写体像ではShの値が大きくなり、Svが０になるのでKh＝０、Kv＝１となる。このとき最終的な補間信号は、垂直方向の被写体像の変化が小さいものとして求めた補間信号Rv、Gv、Bvのみで構成される。
【００６２】
また図７（ｂ）は、図２における水平位置2(n+1)+1、垂直位置2m+1の画素を中心とする９画素を取りだしたものである。B22の位置における水平方向の被写体像の変化が少ないものと仮定したときの補間信号Rh、Gh、Bhは、次の数２９、数３０、数３１の演算で求め、垂直方向の被写体像の変化が少ないものと仮定したときの補間信号Rv、Gv、Bvは、次の数３２、数３３、数３４で求める。
【００６３】
【数２９】

【００６４】
【数３０】

【００６５】
【数３１】

【００６６】
【数３２】

【００６７】
【数３３】

【００６８】
【数３４】

【００６９】
ここで、図７（ａ）において斜線で示す部分が暗く、斜線のない部分が明るい無彩色の被写体像が結像したものとする。暗い部分の信号の大きさがＲ、Ｇ、Ｂとも0.2で、明るい部分の信号の大きさがＲ、Ｇ、Ｂとも1.0であるとして、数１７ないし数２８にしたがって補間信号を求める。このとき、Kh＝１、Kv＝０となるのでRh＝1.0、Gh＝1.0、Bh＝1.0が補間信号として出力され、それぞれ本来得られるべき色信号と一致する。ところが図７（ａ）に示す被写体像が緑色で、斜線のない部分のＧが1.0でＲ、Ｂが0.2、斜線で示す部分のＲ、Ｇ、Ｂが0.2であるとする。数１７ないし数２８にしたがって補間信号を求めると、Kh＝１、Kv＝０となるのでRh＝1.0、Gh＝1.0、Bh＝0.2が補間信号として出力される。このときＲ信号が本来得られるべきものと異なり、偽の色信号が発生する。
【００７０】
このように特開平７−２３６１４７に述べられている第２の従来の方法では、たとえばＲの画素がない画素列に対応するＲ信号を補間して無彩色の被写体像での偽の色信号を軽減することができるが、彩度の高い被写体像での偽の色信号が防止できないという問題点があった。また、特開平７−２３６１４７に述べられている方法では、無彩色の被写体像と彩度の高い被写体像で相関判定方法を変えるなど、複雑な相関検出方法を要するので回路規模が増大する。
【００７１】
なお上述の説明は図７（ａ）、図７（ｂ）に示すような水平方向３画素の範囲で補間処理を行なう場合を例にとったが、特開平７−２３６１４７には水平方向５画素の範囲の画素を用いた補間処理についても述べられている。しかし彩度の高い被写体像の変化する部分では偽の色信号が軽減できないことは変わらないので、詳細な説明は省略する。
【００７２】
一方、ベイヤ配列の原色型フィルタにおいてＲとＧが繰り返される画素列のＢ信号、あるいはＧとＢが繰り返される画素列のＲ信号を補間する第３の従来の方法が特開昭６１−５０１４２４で述べられている。特開昭６１−５０１４２４の方法を、図８を用いて以下に説明する。
【００７３】
まず、図８におけるＲ、Ｂの画素の位置のＧ信号を、上下左右にある４つのＧの画素の信号の平均値で補間する。すなわち、例えば図８における斜線で示すB9の位置のＧ信号は、次の数３５であらわされるG9で補間する。
【００７４】
【数３５】

【００７５】
Ｇ信号を補間したあとのＲ信号、Ｂ信号の補間方法は次の通りである。補間する位置の左右の画素が補間しようとする当該色の画素である場合、たとえば図８における砂地模様で示したG2の位置のＲ信号R2は、次の数３６の演算で得る。
【００７６】
【数３６】

【００７７】
また、たとえばＲの画素のない画素列でのＲ信号を補間するに際して、上下の画素がＲの画素である場合、たとえば図８における２重枠で示したG5の位置のＲ信号R5は次の数３７の演算で得る。
【００７８】
【数３７】

【００７９】
そして、斜め４方向の画素が補間しようとする当該色の画素である場合、たとえば図８におけるB9の位置のＲ信号R9は次の数３８の演算で得る。Ｂの画素のない画素列でのＢ信号を補間する場合も同様の処理を行えばよい。
【００８０】
【数３８】

【００８１】
ここで、図８（ａ）に示したG5の画素の周辺を抜き出して図８（ｂ）としたとき、斜線で示す部分が暗く、斜線のない部分が明るい緑色の被写体像が結像したとする。斜線でしめす部分のＧ、Ｒ、Ｂが0.2で、斜線のない部分のＧが1.0、Ｒ、Ｂが0.2であるとき、数３５ないし数３７にしたがってG5の位置のＲ、Ｇ、Ｂを求めるとG5＝1.0、R5＝0.35、B5＝0.25となり、Ｒ信号は本来得られるべき信号よりも若干大きくなるり、Ｂ信号は若干小さくなるが、前述の第２の従来の方法に比べると大幅に改善される。
【００８２】
一方、図８（ｂ）において斜線で示す部分のＧ、Ｒ、Ｂが0.2で、斜線のない部分のＲ、Ｇ、Ｂが1.0である無彩色の被写体像が結像したとする。数３５ないし数３７にしたがってG5の位置のＲ、Ｇ、Ｂを求めると、G5＝1.0、R5＝0.75、B5＝1.25となる。このようにＲ信号は本来得られるべき信号よりも若干小さくなり、Ｂ信号は若干大きくなるので前述の第２の従来の方法に比べると偽の色信号が大きくなる。
【００８３】
【発明が解決しようとする課題】
以上述べたように、上述の第１の従来の方法は、ベイヤ配列の原色型色フィルタにおいてＲとＧが繰り返される画素列のＢ信号、あるいはＧとＢが繰り返される画素列のＲ信号を補間する処理に対応していないという問題点がある。また、上述の第２の従来の方法は、ベイヤ配列の原色型色フィルタにおけるＲとＧが繰り返される画素列のＢ信号、ＧとＢが繰り返される画素列のＲ信号を補間して無彩色の被写体像での偽の色信号を十分低減できるが、彩度の高い被写体像では大きな偽の色信号が発生するという問題点がある。また、相関の検出方法が複雑であるという問題点も合わせ持つ。さらに、上述の第３の従来の方法では、無彩色の被写体像の場合と彩度の高い被写体像の場合の両方で偽の色信号を軽減できるが、軽減量が十分でないという問題点があった。
【００８４】
本発明の目的は、ベイヤ配列の色フィルタを用いた場合にも、ある色信号の画素が存在しない画素列で当該色信号を補間して、被写体像が無彩色の場合の偽の色信号の発生を十分に軽減すると同時に、被写体像の彩度が高い場合にも偽の色信号が大きく増加することのない単板カラーカメラの信号補間方法を提供することにある。
【００８５】
【課題を解決するための手段】
上記目的を達成するために、本発明の単板カラーカメラの信号補間方法では、分光感度特性の異なる複数種の画素群を２次元状に、しかも上記複数種の画素群のうち第１の種類に対応する第１の画素群が隣接画素列の間で互いに補間する関係に配され、少なくとも上記複数種の画素群のうち上記第１の種類とは異なる第２の種類に対応する第２の画素群の画素が１画素列おきに存在するよう配された撮像素子を用いて少なくともすべての画素列に対応した上記第２の種類の信号を生成する単板カラーカメラの信号補間方法において、上記第２の画素群が存在しない画素列から任意に選んだ第１の画素列に存在する第１の画素の位置における上記第１の画素群の信号である第１の信号を取り出し、上記第１の画素列に隣接する第２の画素列上の上記第１の画素群に属する画素の信号と上記第１の画素列に隣接し、かつ上記第２の画素列とは異なる第３の画素列上の上記第１の画素群に属する画素の信号を加算した信号から上記第１の画素の位置に対応する第１の低周波信号を取り出し、上記第２の画素列上の上記第２の画素群に属する画素の信号と上記第３の画素列上の上記第２の画素群に属する画素の信号を加算した信号から上記第１の画素の位置に対応する第２の低周波信号を取り出し、上記第１の低周波信号に対する上記第２の低周波信号の大きさに対応した第１の係数信号を上記第１の信号に乗算した第１の補間信号を取り出して上記第１の画素の位置における上記第２の種類の信号として用いることとした。このとき、上記第１の画素が上記第１の画素群に属するときには上記第１の画素の信号を上記第１の信号とし、上記第１の画素が上記第１の画素群に属するものではないときには上記第１の画素列上に存在し、上記第１の画素に両側で隣接する上記第１の画素群に属する第２の画素と第３の画素の信号の平均値信号を上記第１の信号とすることが望ましい。
【００８６】
また上記撮像素子は、上記画素列の方向の解像度を低下させる光学ローパスフィルタを組み合わせたものであってもよい。
【００８７】
さらに、分光感度特性の異なる複数種の画素群を２次元状に、しかも上記複数種の画素群のうち第１の種類に対応する第１の画素群が隣接画素列の間で互いに補間する関係に配され、少なくとも上記複数種の画素群のうち上記第１の種類とは異なる第２の種類に対応する第２の画素群の画素が１画素列おきに存在するよう配された撮像素子を用いて、上記第２の画素群を除くすべての画素の位置に対応する上記第２の種類の信号をすくなくとも２つの方法で生成した補間信号によって補間する単板カラーカメラの信号補間方法において、上記第２の画素群に属さない画素から任意に選んだ第１の画素を含む第１の画素列に隣接する第２の画素列上の上記第１の画素群に属する画素の信号と上記第１の画素列に隣接し、かつ上記第２の画素列とは異なる第３の画素列上の上記第１の画素群に属する画素の信号を加算した信号から上記第１の画素の位置に対応する第１の低周波信号を生成し、上記第２の画素列上の上記第１の画素群に属さない画素の信号と上記第３の画素列上の上記第１の画素群に属さない画素の信号を加算した信号から上記第１の画素の位置に対応する第２の低周波信号を生成し、上記第１の画素列上に存在して上記第１の画素に隣接する第２の画素をとおり、上記第１の画素列に垂直の方向の第１のライン上に存在する上記第１の画素群に属する画素の信号と上記第１の画素列上に存在して上記第１の画素に対して上記第２の画素とは反対側に隣接する第３の画素をとおり、上記第１の画素列に垂直の方向の第２のライン上に存在する上記第１の画素群に属する画素の信号を加算した信号から上記第１の画素に対応する第３の低周波信号を生成し、上記第１のライン上に存在する上記第１の画素群に属さない画素の信号と上記第２のライン上に存在する上記第１の画素群に属さない画素の信号を加算した信号から上記第１の画素に対応する第４の低周波信号を生成し、上記第１の低周波信号と上記第２の低周波信号の加算値に対する上記第１の低周波信号と上記第２の低周波信号の差の絶対値の比に対応した第１の係数信号を生成し、上記第３の低周波信号と上記第４の低周波信号の加算値に対する上記第３の低周波信号と上記第４の低周波信号の差の絶対値の比に対応した第２の係数信号を生成し、上記第１の係数信号と上記第２の係数信号の加算値に対する上記第１の係数信号の比に対応した第１の増幅度を生成し、上記第１の係数信号と上記第２の係数信号の加算値に対する上記第２の係数信号の比に対応した第２の増幅度を生成し、上記第１の増幅度と上記第２の増幅度を用いて上記２つの方法で生成した補間信号を合成するようにしても良い。
【００８８】
このとき好適な構成方法としては上記２つの方法で生成した補間信号は、上記第１の低周波信号に対する上記第２の低周波信号の比に対応した信号を上記第１の画素列上に存在する上記第１の画素群に属する画素の信号から得た上記第１の画素の位置における上記第１の種類に対応する信号に乗算した第１の補間信号と、上記第３の低周波信号に対する上記第４の低周波信号の比に対応した信号を上記第１の画素をとおり、上記第１の画素列に垂直の方向の第３のライン上に存在する上記第１の画素群に属する画素の信号から得た上記第１の画素の位置における上記第１の種類に対応する信号に乗算した第２の補間信号であり、上記第１の補間信号を上記第２の増幅度で増幅し、上記第２の補間信号を上記第１の増幅度で増幅することである。
【００８９】
【作用】
上記の構成により、ローパスフィルタの出力信号の比から被写体像の成分比に近い値が得られるので、ベイヤ配列の色フィルタを用いた場合にもある色信号の画素が存在しない画素列で本来得られるべき当該色信号に十分近い補間信号が生成できる。これにより、被写体像が無彩色の場合の偽の色信号の発生を十分に軽減すると同時に、被写体像が彩度の高い場合にも偽の色信号が大きく増加することのない単板カラーカメラの信号補間方法が実現できる。
【００９０】
また、２つの補間信号を重み付けして最終的な補間信号を生成するときにも、補間信号を生成する際に用いるローパスフィルタの出力信号を利用して重み付けの増幅度を得るので、構成が複雑にならない。
【００９１】
【実施例】
以下、本発明の一実施例を、図１に示す構成図を用いて説明する。図１において、固体撮像素子１は図２に示すベイヤ配列の原色型色フィルタを組み合わせたものである。
【００９２】
本発明では図１の構成において、固体撮像素子１の出力を遅延時間が１水平走査期間に等しい１Ｈ遅延回路１４に加える。さらに、１Ｈ遅延回路１４の出力信号を１Ｈ遅延回路１５に加える。これによって、たとえば固体撮像素子１から図２に示す垂直位置2(m+1)の画素列の信号が得られるとき、１Ｈ遅延回路１４からは垂直位置2m+1の画素列の信号、１Ｈ遅延回路１５からは垂直位置2mの画素列の信号が同時に得られる。
【００９３】
一方、固体撮像素子１から得られた垂直位置2(m+1)の画素列の信号はサンプラ２、サンプラ３に加えられ、それぞれＲ信号とＧ信号に分離される。同様に、１Ｈ遅延回路１５から得られた垂直位置2mの画素列の信号はサンプラ１６、サンプラ１７に加えられ、それぞれＲ信号とＧ信号に分離される。さらにサンプラ２、サンプラ３、サンプラ１6、サンプラ１７の出力は、周波数ｆaよりも低い帯域を通過させるローパスフィルタ４、ローパスフィルタ５、ローパスフィルタ１８、ローパスフィルタ１９にそれぞれ加えられて低周波成分が取り出される。このとき得られたローパスフィルタ４の出力とローパスフィルタ１８の出力は加算器２０に加えられ、ローパスフィルタ５の出力とローパスフィルタ１９の出力は加算器２１に加えられる。この結果、加算器２０からは垂直位置2mの画素列のＲ信号の低周波成分と、垂直位置2(m+1)の画素列のＲ信号の低周波成分の加算信号が得られる。同様に加算器２１からは垂直位置2mの画素列のＧ信号の低周波成分と、垂直位置2(m+1)の画素列のＧ信号の低周波成分の加算信号が得られる。
【００９４】
ここで、１Ｈ遅延回路１４から得られる垂直位置2m+1の画素列の信号を基準に考えると、１Ｈ後の垂直位置2(m+1)の画素列の信号は垂直方向に-dyだけシフトして利用することに当たり、１Ｈ前の垂直位置2mの画素列の信号は垂直方向に+dyだけシフトして利用することに当たる。すなわち垂直位置2mおよび2(m+1)の画素列のＲ信号の低周波の信号がsrl(x,y)ならば、加算器２０から得られるsra(x,y)は次の数３９に示すとおりである。
【００９５】
【数３９】

【００９６】
yのシフトによる周波数レスポンスの変化を求めるためsrl(x,y)＝exp(jωy)とおく。この結果、数３９は次の数４０のように書き改められ、垂直位置2mの画素列と2(m+1)の画素列を加算して垂直位置2m+1で利用することによる周波数レスポンスはcosωdyとなる。すなわち加算器２０から得られる信号sra(x,y)の持つ周波数成分Sra(fx,fy)は、Sr(fx,fy)の水平方向の帯域をローパスフィルタで制限したものに、垂直の周波数が1/4dyのときレスポンスが０となる垂直方向の周波数レスポンスcosωdyを掛け合わせたものとなる。加算器２１から得られるＧ信号の周波数成分についても同様である。
【００９７】
【数４０】

【００９８】
なお、１Ｈ遅延回路１４、１Ｈ遅延回路１５の遅延量が正確に１水平走査期間に設定されているとき、固体撮像素子１から得られる信号と１Ｈ遅延回路１５から得られる信号の図２における画素の水平位置は同一である。そこで、図９に示す本発明の第２の実施例の構成では、固体撮像素子１の出力と１Ｈ遅延回路１５の出力を加算器２０で加算する。加算器２０の出力は、たとえば垂直位置2mの画素列と垂直位置2(m+1)の画素列における、水平位置が同一で同色の画素同志が加算されたものとなるから、サンプラ２、サンプラ３に加えて一括してＲ信号とＧ信号に分離することができる。このとき、サンプラ２、サンプラ３の出力をローパスフィルタ４、ローパスフィルタ５に加えて得られる信号は、図１において加算器２０、加算器２１から得られる信号と同一であることは明らかである。したがって、図９の構成におけるローパスフィルタ４、ローパスフィルタ５以降の説明は、以下に述べる図１の構成に対するものと同様である。
【００９９】
ところで、垂直位置2mの画素列と垂直位置2(m+1)の画素列のＲ信号が持つ周波数成分Sr(fx,fy)は数２で示されるものであり、Ｇ信号が持つ周波数成分Sg1(fx,fy)は数３で示されるものであった。また、垂直位置2m+1の画素列のＧ信号が持つ周波数成分Sg2(fx,fy)は数４で示されるものであり、Ｂ信号が持つ周波数成分Sb(fx,fy)は数５で示されるものであった。ここで被写体像が無彩色で、その被写体像が持つ２次元の周波数成分F(fx,fy)が図１０（ａ）に円で示すものであるとき、Sr(fx,fy)、Sg1(fx,fy)、Sg2(fx,fy)、Sb(fx,fy)は、それぞれ図１０（ｂ）ないし図１０（ｅ）に示すような高調波成分を持ったものとなる。図１０において、斜線を施した円で示す周波数成分は、被写体像の持つ周波数成分とは位相が逆相であることをあらわす。
【０１００】
数２と数３の比較、あるいは図１０（ｂ）と図１０（ｃ）の比較から、Sr(fx,fy)とSg1(fx,fy)では水平周波数の奇数次に発生する高調波成分が逆相で、垂直周波数に発生する高調波成分の位相は一致することがわかる。ここでローパスフィルタ４、ローパスフィルタ５、ローパスフィルタ１８、ローパスフィルタ１９の水平方向の周波数レスポンスが図１１（ａ）に示すものであると、加算器２０、加算器２１から得られる信号はそれぞれ図１１（ｂ）、図１１（ｃ）に示すように水平方向の周波数帯域がfa以下に制限されたものとなる。
【０１０１】
そこで図１に示す構成では、加算器２０から得られるＲ信号の低周波成分srl(x,y)を割り算器８の被除数側に加え、加算器２１から得られるＧ信号の低周波成分sg1l(x,y)を割り算器８の除数側に加える。図１１（ｂ）、図１１（ｃ）に示すようにsrl(x,y)とsg1l(x,y)がもつ垂直周波数の高調波成分は位相が一致しているので、混入成分の影響は同方向となる。したがって被写体像が無彩色であれば、加算器２０と加算器２１の出力信号の比率が被写体像の持つＲ成分とＧ成分の比率から異なる要因は、水平方向の周波数における奇数次の高調波成分の影響のみである。これは、第１の従来の方法における１つの画素列のみを考えた場合と同様であり、被写体像のもつ水平方向の(1/2dx-fa)を超える周波数領域の成分が小さいほど、加算器２０と加算器２１から得られるＲ信号の低周波成分とＧ信号の低周波成分の比が被写体像のＲ成分とＧ成分の比に近くなる。
【０１０２】
一方、１Ｈ遅延回路１４から得られる信号は位相調整器２２に加えられる。さらに位相調整器２２の出力をサンプラ２３、サンプラ２４に加え、たとえば１Ｈ遅延回路１４から垂直位置2m+1の画素列の信号が得られる場合にはＧ信号とＢ信号に分離する。位相調整器２２では、一般的に水平方向のローパスフィルタで発生する信号遅延が補償され、これによって割り算器８から得られる信号と、サンプラ２３から得られる信号の図２における水平位置が一致するように調整される。
【０１０３】
こうして得られた割り算器８の出力とサンプラ２３から得られたＧ信号を掛け算器９で掛け合わせて、垂直位置2m+1の画素列に対応したＲの補間信号sir(x,y)を生成する。掛け算器９の出力信号sir(x,y)は、図１０（ｄ）に示す垂直位置2m+1の画素列のＧ信号にSrl(fx,fy)/Sg1l(fx,fy)を乗算したものとなる。すなわちsir(x,y)の持つ周波数成分Sir(fx,fy)は次の数４１であらわされ、図１１（ｄ）に示すものとなる。
【０１０４】
【数４１】

【０１０５】
ここで、第１の従来の技術の場合における数１２と同様に、次の数４２の関係が見込めるとき、数４１は次の数４３のように置き換えることができる。数２と数４３の比較、あるいは図１０（ｂ）と図１１（ｄ）の比較から、掛け算器９から得られたＲの補間信号sir(x,y)は、垂直位置2mあるいは2(m+1)の画素列のＲ信号とは垂直方向の奇数次の高調波成分が逆相の関係にある。そこで、掛け算器９の出力とサンプラ２４の出力をゲート回路２５に加え、補間信号sir(x,y)と垂直位置2m（mは任意の整数）でのＲ信号sr(x,y)とを画素列ごとに選択的に合成すると、図１１（ｅ）に示すように垂直方向の奇数次の高調波成分が相殺されて軽減される。同様に、Ｂ信号をゲート回路２６によって選択的に合成すれば、Sb(fx,fy)から垂直方向の奇数次の高調波成分が相殺される。
【０１０６】
【数４２】

【０１０７】
【数４３】

【０１０８】
ここで、たとえば被写体像が無彩色で、図12に示す斜線の部分のＲ、Ｇ、Ｂが0.2で、斜線のない部分のＲ、Ｇ、Ｂが1.0であるとする。このときローパスフィルタ４から得られる垂直位置2(m+1)の画素列のＲ信号の低周波成分は1.0、ローパスフィルタ１８から得られる垂直位置2mの画素列のＲ信号の低周波成分は0.2となり、同様に、ローパスフィルタ５から得られる垂直位置2(m+1)の画素列のＧ信号の低周波成分が1.0、ローパスフィルタ１９から得られる垂直位置2mの画素列のＧ信号の低周波成分が0.2となることは明らかである。この結果、加算器２０、加算器２１を経て割り算器８から得られる信号の大きさは1.0となり、これを数４１にしたがってサンプラ２３から得られるＧ信号と掛け算器９で掛け合わせた水平位置2(n+1)、垂直位置2m+1のＲ信号は本来得られるべき信号に等しい1.0となる。
【０１０９】
一方、被写体像が緑色で、図12に示す斜線の部分のＲ、Ｇ、Ｂが0.2で、斜線のない部分のＧが1.0、Ｒ、Ｂが0.2であるとする。このとき、ローパスフィルタ４から得られる垂直位置2(m+1)の画素列のＲ信号の低周波成分とローパスフィルタ１８から得られる垂直位置2mの画素列のＲ信号の低周波成分はともに0.2となり、ローパスフィルタ５から得られる垂直位置2(m+1)の画素列のＧ信号の低周波成分が1.0、ローパスフィルタ１９から得られる垂直位置2mの画素列のＧ信号の低周波成分が0.2となる。この結果、加算器２０、加算器２１を経て割り算器８から得られる信号の大きさは0.33となり、これをＧ信号と掛け合わせた水平位置2(n+1)、垂直位置2m+1のＲ信号は0.33となる。これは前述の第２の従来の方法や第３の従来の方法よりも本来得られるべき信号に近い大きさである。
【０１１０】
このように本発明の実施例によれば、ベイヤ配列の色フィルタを用いた場合にも、ある色信号が得られない画素列で当該色信号を補間できる。しかも、被写体像が無彩色の場合には本来得られるべき信号に一致した補間信号が得られるので、偽の色信号が十分に軽減できる。また、被写体像の彩度が高い場合にも本来得られるべき信号に近い大きさの補間信号が得られ、偽の色信号の発生が抑圧される。
【０１１１】
なお、図１においてローパスフィルタ４等から得られる信号には被写体像のもつ水平方向の周波数成分のうち、(1/2dx-fa)を越える領域の成分が混入するが、固体撮像素子１の前面に光学ローパスフィルタを挿入してこれを低減すれば、ローパスフィルタから得られる２つの色信号の低周波成分の比を被写体像の持つ当該色成分の比に一層近づけることができる。光学ローパスフィルタの一例は、図１３に示すように、固体撮像素子１の水平方向の画素間隔dxに等しい距離だけずれた二重像を生成する水晶板５４が適用可能である。
【０１１２】
また、図１の構成では位相調整器２２から得られた信号をサンプラ２３、サンプラ２４に加えてＧ信号とＲ信号あるいはＢ信号を分離したが、図１４に示す本発明の第３の構成例のように線形補間回路２７に加えてもよい。線形補間回路２７は、Ｇ信号とＢ信号に分離するだけでなく、一般的な線形補間を同時に実現する。ここで線形補間回路２７は図１５に示す構成で実現できる。図１５において、線形補間回路２７への入力信号は画素遅延回路２８に加えられ、画素遅延回路２８の出力はさらに画素遅延回路２９に加えられる。画素遅延回路２８、画素遅延回路２９の遅延時間は、それぞれ一画素分の遅延時間に等しいものとする。さらに線形補間回路２７への入力信号と画素遅延回路２９の出力は加算平均回路３０に加えられて、２つの入力の加算平均値に対応する信号を出力する。画素遅延回路２８の出力と加算平均回路３０の出力は、それぞれ同時にゲート回路３１とゲート回路３２に加えられる。この結果、たとえば線形補間回路２７への入力が図２における水平位置2(n+1),垂直位置2m+1の画素のＧ信号であるときは、画素遅延回路２８から水平位置2n+1の画素のＢ信号が得られ、画素遅延回路２９から水平位置2nの画素のＧ信号が得られる。このとき、ゲート回路３１は加算平均回路３０から得られる水平位置2nと2(n+1)の画素のＧ信号の平均値を出力し、ゲート回路３２は画素遅延回路２８から得られる水平位置2n+1の画素のＢ信号を出力するよう動作する。また、線形補間回路２７への入力が水平位置2(n+1)+1、垂直位置2m+1の画素のＢ信号であるときは、ゲート回路３１が画素遅延回路２８からの信号を出力し、ゲート回路３２が加算平均回路３０からの信号を出力すれば、Ｇ信号とＢ信号の分離と一般的な線形補間処理が同時に達成できる。なお図１４に示す構成の他の部分の動作は、同じ番号を付した図１に示す構成のものと同一である。
【０１１３】
以上の説明は、ある水平方向の画素列に存在しない色信号を、その上下の水平方向画素列での当該色信号とＧ信号の関係を用いて補間する場合を例に取った。しかし、前述のようにベイヤ配列の色フィルタは９０度回転させても配列のパターンが変わらないので、垂直方向の画素列の間で補間を行なうことも可能である。これには、図１６に示す本発明の第４の実施例による構成のように、１Ｈ遅延回路を複数段重ねて垂直方向の画素列の信号を同時化して用いればよい。
【０１１４】
図１６の構成では、固体撮像素子１の出力を直列に接続した１Ｈ遅延回路１４、１Ｈ遅延回路１５、１Ｈ遅延回路３３、１Ｈ遅延回路３４に順次加える。これによって、図２において垂直位置が連続する５つの画素列の信号が同時に得られる。また、固体撮像素子１の出力は、遅延時間がそれぞれ一画素分で互いに直列接続された画素遅延回路２８、画素遅延回路２９に順次加えられる。同様に、１Ｈ遅延回路１４の出力は画素遅延回路３５、画素遅延回路３６に順次加えられ、１Ｈ遅延回路１５の出力は画素遅延回路３７、画素遅延回路３８に順次加えられる。また、１Ｈ遅延回路３３の出力は画素遅延回路３９、画素遅延回路４０に順次加えられ、１Ｈ遅延回路３４の出力は画素遅延回路４１、画素遅延回路４２に順次加えられる。
【０１１５】
固体撮像素子１と画素遅延回路２９の出力は加算平均回路３０に加えられ、両者の平均値に対応した信号が出力される。同様に、１Ｈ遅延回路１４と画素遅延回路３６の出力は加算平均回路４３、１Ｈ遅延回路１５と画素遅延回路３８の出力は加算平均回路４４、１Ｈ遅延回路３３と画素遅延回路４０の出力は加算平均回路４５、１Ｈ遅延回路３４と画素遅延回路４２の出力は加算平均回路４６に加えられ、それぞれ両入力信号の平均値に対応した信号が出力される。この結果、画素遅延回路２８、画素遅延回路３５、画素遅延回路３７、画素遅延回路３９、画素遅延回路４１から図２における水平位置2n+1の画素列の信号が得られるとき、加算平均回路３０、加算平均回路４３、加算平均回路４４、加算平均回路４５、加算平均回路４６からは、水平位置2nと2(n+1)の画素列の加算平均値に対応した信号が得られる。
【０１１６】
さらに、加算平均回路３０、加算平均回路４４、加算平均回路４６の出力は垂直ローパスフィルタ４７に加えられ、加算平均回路４３、加算平均回路４５の出力は垂直ローパスフィルタ４８に加えられる。ここで垂直ローパスフィルタ４７は、加算平均回路３０の出力信号の1/4倍、加算平均回路４４の出力信号の1/2倍、加算平均回路４６の出力信号の1/4倍を加え合わせるものとする。また、垂直ローパスフィルタ４８は、加算平均回路４３の出力信号の1/2倍、加算平均回路４５の出力信号の1/2倍を加え合わせるものとする。このとき垂直ローパスフィルタ４８の周波数レスポンスは、前述のように数４０に示したとおりである。これに対して垂直ローパスフィルタ４７の周波数レスポンスは数４０を求めた方法と同様に、次の数４４のように(1+cos2ωdy)/2と求められる。
【０１１７】
【数４４】

【０１１８】
この結果、垂直ローパスフィルタ４７の周波数レスポンスは図１７（ａ）に示すものであり、垂直ローパスフィルタ４８の周波数レスポンスは図１７（ｂ）に示すものであるから、レスポンスが０となる周波数がともに1/4dyで一致する。このように、連続する５つの画素列の信号を同時に得ることは、交互に得られる２つの色信号の間で周波数帯域が近い垂直ローパスフィルタを構成する上での最低限の条件である。連続する３つの画素列の信号のみを用いるときには、２つの色信号の一方は１画素のみからの信号となるので垂直ローパスフィルタが構成できない。このとき、２つの色信号の間では混入する高調波成分の影響が大きく異なるので、両者の比が被写体像の持つ当該色成分の比をあらわすことが期待できない。１Ｈ遅延回路をさらに増やして垂直ローパスフィルタのタップ数を増加させるほど、２つの色信号の垂直ローパスフィルタのレスポンスが近づくので、被写体像の持つ当該色成分の比を得る上では好ましいことは明らかである。
【０１１９】
さらに図１６に示す構成では、垂直ローパスフィルタ４７および垂直ローパスフィルタ４８の出力を、それぞれゲート回路４９およびゲート回路５０に同時に加える。ゲート回路４９の出力は割り算器８の被除数側に加えられ、ゲート回路５０の出力は割り算器８の除数側に加えられる。このときゲート回路４９、ゲート回路５０は、割り算器８の被除数側にＲ信号あるいはＢ信号の低周波成分が加わり、割り算器８の除数側にＧ信号の低周波成分が加わるよう動作する。
一方、画素遅延回路３５と画素遅延回路３９の出力は加算平均回路５１に加えられて垂直方向の線形補間信号が生成される。さらに加算平均回路５１と画素遅延回路３７の出力は、それぞれゲート回路５２とゲート回路５３に同時に加えられる。このときゲート回路５２とゲート回路５３は、ゲート回路５２からＧ信号が得られ、ゲート回路５３からＲ信号あるいはＢ信号が得られるよう動作する。
【０１２０】
この結果、たとえば画素遅延回路３７から図２に示す水平位置2n+1、垂直位置2(m+1)の画素のＧ信号が得られるとき、垂直ローパスフィルタ４７からはそれぞれ垂直位置2mで水平位置2nと2(n+1)のＲ信号、垂直位置2(m+1)で水平位置2nと2(n+1)のＲ信号、および垂直位置2(m+2)で水平位置2nと2(n+1)のＲ信号を加え合わせてから垂直方向に帯域制限した信号が得られる。一方、垂直ローパスフィルタ４８からはそれぞれ垂直位置2m+1で水平位置2nと2(n+1)のＧ信号、垂直位置2(m+1)+1で水平位置2nと2(n+1)のＧ信号を加え合わせてから垂直方向に帯域制限した信号が得られる。
【０１２１】
このとき割り算器８から得られる水平位置2nと2(n+1)の画素列におけるＧ信号の低周波成分に対するＲ信号の低周波成分の比に対応した信号は掛け算器９に加えられる。同時に掛け算器９には、ゲート回路５２を経て出力された水平位置2n+1、垂直位置2(m+1)の画素のＧ信号が加えられる。掛け算器９の出力はゲート回路２５で選択され、水平位置2n+1、垂直位置2(m+1)の画素に対応したＲの補間信号となる。このとき加算平均回路５１から得られる水平位置2n+1で垂直位置2m+1と2(m+1)+1のＢ信号の平均値に対応した信号は、ゲート回路５３、ゲート回路２６で選択されて水平位置2n+1、垂直位置2(m+1)の画素に対応するＢ信号となる。
【０１２２】
画素遅延回路３７から得られる信号が１画素分ずれて、図２における水平位置2(n+1),垂直位置2(m+1)の画素のものとなったときには、垂直ローパスフィルタ４７から水平位置2n+1と2(n+1)+1の画素列のＧ信号の低周波成分が得られ、垂直ローパスフィルタ４８からＢ信号の低周波成分が得られる。また、加算平均回路５１からは水平位置2(n+1)で垂直位置2m+1と2(m+1)+1のＧ信号の平均値に対応した信号が得られる。このときゲート回路４９とゲート回路５０は、割り算器８の除数側に垂直ローパスフィルタ４７から得られるＧ信号の低周波成分が加わり、被除数側に垂直ローパスフィルタ４８から得られるＢ信号の低周波成分が加わるよう動作し、ゲート回路５２は掛け算器９に加算平均回路５１のＧ信号が加わるよう動作する。さらにゲート回路２５はゲート回路５３を経て画素遅延回路３７から得られる水平位置2(n+1),垂直位置2(m+1)のＲ信号が出力されるよう動作し、ゲート回路２６は掛け算器９から得られるＢの補間信号が出力されるよう動作する。
【０１２３】
さらに画素遅延回路３７から得られる信号の図２における位置がずれても、同様にゲート回路４９とゲート回路５０は割り算器８の除数側にＧ信号の低周波成分が加わり、被除数側にＲ信号あるいはＢ信号の低周波成分が加わるよう動作すればよい。またゲート回路５２とゲート回路５３は掛け算器９にＧ信号が加わり、ゲート回路２５、ゲート回路２６にＲ信号あるいはＢ信号が加わるよう動作し、ゲート回路２５とゲート回路２６はそれぞれからＲ信号とＢ信号が得られるよう動作すればよい。
【０１２４】
以上述べたように図１６に示す構成を用いれば、図１に示した構成による上下の水平方向画素列を用いた垂直方向の補間処理を、左右の垂直方向画素列を用いた水平方向の補間処理に変換した動作を実現できる。
【０１２５】
また、図１８に本発明の第５の実施例の構成を示す。図１８の構成は、図１６に示した左右の垂直方向画素列を用いた水平方向の補間信号を生成する構成に、図９に示した上下の水平方向画素列を用いた垂直方向の補間信号を生成する構成を組み合わせたものである。図１８において、同じ番号を付した部分の動作はそれぞれ図１６あるいは図９のものと同様である。ここで左右の垂直方向画素列を用いた水平方向の補間処理後のＲ信号、Ｂ信号、Ｇ信号を出力するゲート回路２５−１、ゲート回路２６−１およびゲート回路５２の出力は、それぞれゲインコントロール回路５５、ゲインコントロール回路５６、ゲインコントロール回路５７に加えられる。また、上下の水平方向画素列を用いた垂直方向の補間処理後のＲ信号、Ｂ信号、Ｇ信号を出力するゲート回路２５−２、ゲート回路２６−２およびサンプラ２３の出力は、それぞれゲインコントロール回路５８、ゲインコントロール回路５９、ゲインコントロール回路６０に加えられる。さらに、ゲインコントロール回路５５とゲインコントロール回路５８の出力は加算器６１、ゲインコントロール回路５６とゲインコントロール回路５９の出力は加算器６２、ゲインコントロール回路５７とゲインコントロール回路６０の出力は加算器６３でそれぞれ加え合わされる。
【０１２６】
ここで、ゲート回路４９から得られるＲ信号あるいはＢ信号の垂直方向の低周波成分srlv(x,y)あるいはsblv(x,y)と、ゲート回路５０から得られるＧ信号の垂直方向の低周波成分sglv(x,y)は、それぞれ加算器６４と減算絶対値回路６５に加えられて、両者の加算値に対応した信号sav(x,y)と両者の差の絶対値に対応した信号sdv(x,y)が出力される。さらに加算器６４の出力sav(x,y)は割り算器６６の除数側に加えられ、減算絶対値回路６５の出力sdv(x,y)は割り算器６６の被除数側に加えられる。この結果、割り算器６６からは次の数４５であらわされるSv(x,y)が得られる。
【０１２７】
【数４５】

【０１２８】
一方、ローパスフィルタ４から得られるＲ信号あるいはＢ信号の水平方向の低周波成分srlh(x,y)あるいはsblh(x,y)と、ローパスフィルタ５から得られるＧ信号の水平方向の低周波成分sglh(x,y)は、それぞれ加算器６７と減算絶対値回路６８に加えられて、両者の加算値に対応した信号sah(x,y)と両者の差の絶対値に対応した信号sdh(x,y)が出力される。加算器６７の出力sah(x,y)は割り算器６９の除数側に加えられ、減算絶対値回路６８の出力sdh(x,y)は割り算器６９の被除数側に加えられる。この結果、割り算器６９からは次の数４６であらわされるSh(x,y)が得られる。
【０１２９】
【数４６】

【０１３０】
割り算器６６の出力Sv(x,y)と割り算器６９の出力Sh(x,y)は加算器７０に加えられて、両者の加算信号を出力する。さらに加算器７０の出力は割り算器７１と割り算器７２の除数側に加えられる。また、割り算器７１の被除数側には割り算器６６の出力信号Sv(x,y)が加えられ、割り算器７２の被除数側には割り算器６９の出力信号Sh(x,y)が加えられる。この結果、割り算器７１からは次の数４７であらわされる垂直補間係数Gv(x,y)が得られ、割り算器７２からは次の数４８であらわされる水平補間係数Gh(x,y)が得られる。
【０１３１】
【数４７】

【０１３２】
【数４８】

【０１３３】
割り算器７１から得られた垂直補間係数Gv(x,y)は掛け算器５８、掛け算器５９、掛け算器６０に加えられて、上下の水平方向画素列を用いた垂直方向の補間信号のゲインとなる。また、割り算器７２から得られた水平補間係数Gh(x,y)は掛け算器５５、掛け算器５６、掛け算器５７に加えられて、左右の垂直方向画素列を用いた水平方向の補間信号のゲインとなる。
【０１３４】
ここで被写体像が無彩色で、垂直方向の変化が水平方向の変化に比べて小さいときには、srlv(x,y)あるいはsblv(x,y)とsglv(x,y)とがより近い値となる。このとき、数４５ないし数４８の関係から垂直補間係数Gv(x,y)が小さく、水平補間係数Gh(x,y)が大きな値となることがわかる。この結果、加算器６１ないし６３の出力では、ゲインコントロール回路５５ないし５７から得られる左右の垂直方向画素列を用いた水平方向の補間信号が大きな割合を占める。
【０１３５】
また、水平方向の変化が垂直方向の変化に比べて小さいときにはsrlh(x,y)あるいはsblh(x,y)とsglh(x,y)とがより近い値となるので、水平補間係数Gh(x,y)が小さく、垂直補間係数Gv(x,y)が大きくなる。この結果、加算器６１ないし６３の出力では、ゲインコントロール回路５８ないし６０から得られる上下の水平方向画素列を用いた垂直方向の補間信号が大きな割合を占める。
【０１３６】
このように図１８に示す構成によれば、Ｒ信号（あるいはＢ信号）とＧ信号の差が小さい方向の低周波成分を用いて補間信号を生成するよう動作する。これによって被写体像の変化が小さく、無彩色に近い方向から補間信号生成の際の係数を得るよう働くので、係数への高調波成分の影響が少なく、本来得られるべき信号に近い補間信号の生成が期待できる。さらに、補間信号を生成する際に用いるローパスフィルタの出力を利用して垂直方向と水平方向の補間信号の重みづけを決定するので、回路規模の大きな増加を防止できる。
【０１３７】
なお本発明の実施例は、図２に示すＧを市松状に配した色フィルタを用いる場合を例にとって説明したが、その動作から、図１９に示すようにＷ（透明）を市松状に配した色フィルタをはじめ、任意のフィルタを市松状に配した色フィルタに適用できることは明らかである。
【０１３８】
さらに、本発明の実施例はハードウェアによる処理を例にとって説明したが、ソフトウェアによる汎用コンピュータ上での処理によっても実現できることは明らかである。
【０１３９】
【発明の効果】
以上説明したように本発明の単板カラーカメラの信号補間方法によれば、ベイヤ配列の色フィルタを用いた場合にも、ある色信号が得られない画素列で当該色信号を補間できる。しかも、被写体像が無彩色の場合には本来得られるべき信号に一致した補間信号が得られるので、偽の色信号が十分に軽減できる。また、被写体像の彩度が高い場合にも本来得られるべき信号に近い大きさの補間信号が得られ、偽の色信号の発生を抑圧できる。
【０１４０】
また、本発明の単板カラーカメラの信号補間方法によれば、左右の垂直方向画素列を用いた補間信号と上下の水平方向画素列を用いた補間信号の重み付けを、補間信号を生成する際に用いるローパスフィルタの出力を利用して決定するので、回路規模を大きく増加することなく本来得られるべき信号に近い補間信号の生成が可能である。
【図面の簡単な説明】
【図１】本発明の単板カラーカメラの信号補間方法における第１の実施例の構成を示す図である。
【図２】本発明の単板カラーカメラの信号補間方法に用いられるベイヤ配列の原色型フィルタの構成を示す図である。
【図３】従来の単板カラーカメラにおいて偽の色信号が発生する原因を説明するための図である。
【図４】従来の単板カラーカメラにおいて固体撮像素子から得られる画素の信号がもつ周波数成分の例を示す図である。
【図５】第１の従来の単板カラーカメラの信号補間方法における構成を示す図である。
【図６】第１の従来の単板カラーカメラの信号補間方法で得られる色信号の周波数成分の一例を示す図である。
【図７】第２の従来の単板カラーカメラの信号補間方法における演算処理の説明に用いる図である。
【図８】第３の従来の単板カラーカメラの信号補間方法における演算処理の説明に用いる図である。
【図９】本発明の単板カラーカメラの信号補間方法における第２の実施例の構成を示す図である。
【図１０】ベイヤ配列の原色型色フィルタで得られる色信号の周波数成分の一例を示す図である。
【図１１】本発明の単板カラーカメラの信号補間方法で得られる色信号の周波数成分の一例を示す図である。
【図１２】本発明の単板カラーカメラの信号補間方法で、偽の色信号を軽減する補間処理の動作を説明する図である。
【図１３】本発明の単板カラーカメラの信号補間方法で併用可能な光学ローパスフィルタの動作を示す図である。
【図１４】本発明の単板カラーカメラの信号補間方法における第３の実施例の構成を示す図である。
【図１５】本発明の単板カラーカメラの信号補間方法における第３の実施例の構成に用いることのできる線形補間回路の構成を示す図である。
【図１６】本発明の単板カラーカメラの信号補間方法における第４の実施例の構成を示す図である。
【図１７】本発明の単板カラーカメラの信号補間方法における第４の実施例で用いた垂直ローパスフィルタの周波数レスポンスを示す図である。
【図１８】本発明の単板カラーカメラの信号補間方法における第５の実施例の構成を示す図である。
【図１９】本発明の単板カラーカメラの信号補間方法が適用可能な他のフィルタの一例を示す図である。
【符号の説明】
１ 固体撮像素子
２、３、１６、１７、２３、２４ サンプラ
４、５、１２、１３、１８、１９ ローパスフィルタ
６、７、１０、１１、２５、２６、３１、３２、４９、５０、５２、５３ ゲート回路
８、６６、６９、７１、７２ 割り算器
９ 掛け算器
１４、１５、３３、３４ １Ｈ遅延回路
２０、２１、６１、６２、６３、６４、６７、７０ 加算器
２２ 位相調整器
２７ 線形補間回路
２８、２９、３５、３６、３７、３８、３９、４０、４１、４２ 画素遅延回路
３０、４３、４４、４５、４６、５１ 加算平均回路
４７、４８ 垂直ローパスフィルタ
５５、５６、５７、５８、５９、６０ ゲインコントロール回路
６５、６８ 減算絶対値回路
５４ 水晶板

Claims (5)

1. 分光感度特性の異なる複数種の画素群を２次元状に、しかも上記複数種の画素群のうち第１の種類に対応する第１の画素群が隣接画素列の間で互いに補間する関係に配され、少なくとも上記複数種の画素群のうち上記第１の種類とは異なる第２の種類に対応する第２の画素群の画素が１画素列おきに存在するよう配された撮像素子を用いて少なくともすべての画素列に対応した上記第２の種類の信号を生成する単板カラーカメラの信号補間方法において、上記第２の画素群が存在しない画素列から任意に選んだ第１の画素列に存在する第１の画素の位置における上記第１の画素群の信号である第１の信号を取り出し、上記第１の画素列に隣接する第２の画素列上の上記第１の画素群に属する画素の信号と上記第１の画素列に隣接し、かつ上記第２の画素列とは異なる第３の画素列上の上記第１の画素群に属する画素の信号を加算した信号から上記第１の画素の位置に対応する第１の低周波信号を取り出し、上記第２の画素列上の上記第２の画素群に属する画素の信号と上記第３の画素列上の上記第２の画素群に属する画素の信号を加算した信号から上記第１の画素の位置に対応する第２の低周波信号を取り出し、上記第１の低周波信号に対する上記第２の低周波信号の大きさに対応した第１の係数信号を上記第１の信号に乗算した第１の補間信号を取り出して上記第１の画素の位置における上記第２の種類の信号として用いることを特徴とする単板カラーカメラの信号補間方法。
2. 上記第１の画素が上記第１の画素群に属するときには上記第１の画素の信号を上記第１の信号とし、上記第１の画素が上記第１の画素群に属するものではないときには上記第１の画素列上に存在し、上記第１の画素に両側で隣接する上記第１の画素群に属する第２の画素と第３の画素の信号の平均値信号を上記第１の信号とすることを特徴とする請求項１記載の単板カラーカメラの信号補間方法。
3. 上記撮像素子は、上記画素列の方向の解像度を低下させる光学ローパスフィルタを組み合わせたものであることを特徴とする請求項１記載の単板カラーカメラの信号補間方法。
4. 分光感度特性の異なる複数種の画素群を２次元状に、しかも上記複数種の画素群のうち第１の種類に対応する第１の画素群が隣接画素列の間で互いに補間する関係に配され、少なくとも上記複数種の画素群のうち上記第１の種類とは異なる第２の種類に対応する第２の画素群の画素が１画素列おきに存在するよう配された撮像素子を用いて、上記第２の画素群を除くすべての画素の位置に対応する上記第２の種類の信号をすくなくとも２つの方法で生成した補間信号によって補間する単板カラーカメラの信号補間方法において、上記第２の画素群に属さない画素から任意に選んだ第１の画素を含む第１の画素列に隣接する第２の画素列上の上記第１の画素群に属する画素の信号と上記第１の画素列に隣接し、かつ上記第２の画素列とは異なる第３の画素列上の上記第１の画素群に属する画素の信号を加算した信号から上記第１の画素の位置に対応する第１の低周波信号を生成し、上記第２の画素列上の上記第１の画素群に属さない画素の信号と上記第３の画素列上の上記第１の画素群に属さない画素の信号を加算した信号から上記第１の画素の位置に対応する第２の低周波信号を生成し、上記第１の画素列上に存在して上記第１の画素に隣接する第２の画素をとおり、上記第１の画素列に垂直の方向の第１のライン上に存在する上記第１の画素群に属する画素の信号と上記第１の画素列上に存在して上記第１の画素に対して上記第２の画素とは反対側に隣接する第３の画素をとおり、上記第１の画素列に垂直の方向の第２のライン上に存在する上記第１の画素群に属する画素の信号を加算した信号から上記第１の画素に対応する第３の低周波信号を生成し、上記第１のライン上に存在する上記第１の画素群に属さない画素の信号と上記第２のライン上に存在する上記第１の画素群に属さない画素の信号を加算した信号から上記第１の画素に対応する第４の低周波信号を生成し、上記第１の低周波信号と上記第２の低周波信号の加算値に対する上記第１の低周波信号と上記第２の低周波信号の差の絶対値の比に対応した第１の係数信号を生成し、上記第３の低周波信号と上記第４の低周波信号の加算値に対する上記第３の低周波信号と上記第４の低周波信号の差の絶対値の比に対応した第２の係数信号を生成し、上記第１の係数信号と上記第２の係数信号の加算値に対する上記第１の係数信号の比に対応した第１の増幅度を生成し、上記第１の係数信号と上記第２の係数信号の加算値に対する上記第２の係数信号の比に対応した第２の増幅度を生成し、上記第１の増幅度と上記第２の増幅度を用いて上記２つの方法で生成した補間信号を合成することを特徴とする単板カラーカメラの信号補間方法。
5. 上記２つの方法で生成した補間信号は、上記第１の低周波信号に対する上記第２の低周波信号の比に対応した信号を上記第１の画素列上に存在する上記第１の画素群に属する画素の信号から得た上記第１の画素の位置における上記第１の種類に対応する信号に乗算した第１の補間信号と、上記第３の低周波信号に対する上記第４の低周波信号の比に対応した信号を上記第１の画素をとおり、上記第１の画素列に垂直の方向の第３のライン上に存在する上記第１の画素群に属する画素の信号から得た上記第１の画素の位置における上記第１の種類に対応する信号に乗算した第２の補間信号であり、上記第１の補間信号を上記第２の増幅度で増幅し、上記第２の補間信号を上記第１の増幅度で増幅することを特徴とする請求項４記載の単板カラーカメラの信号補間方法。

Images