JP4175924B2

JP4175924B2 - Single-panel color camera signal interpolation method

Info

Publication number: JP4175924B2
Application number: JP2003070336A
Authority: JP
Inventors: 直樹小澤
Original assignee: 有限会社ビーテック
Priority date: 2003-03-14
Filing date: 2003-03-14
Publication date: 2008-11-05
Anticipated expiration: 2023-03-14
Also published as: JP2004282366A

Description

【０００１】
【発明が属する技術分野】
本発明は、単板カラーカメラで得られる緑色信号等の生成方法に関わり、特に、緑色の画素が欠落した画素位置に対して補間信号を生成する単板カラーカメラの信号補間方法に関する。
【０００２】
【従来の技術】
電子スチルカメラの撮像部の多くは、固体撮像素子を１つだけ用いてカラーの画像信号を得る単板カラーカメラで構成されている。単板カラーカメラでは、固体撮像素子の画素ごとに透過光の異なる微小な色フィルタを組み合わせることによってカラー画像の生成に必要なＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の信号を得ている。ここで微小な色フィルタの配列の代表的な例は、米国特許番号３、９７１、０６５で示されているいわゆる原色形ベイヤ配列である。
【０００３】
原色形ベイヤ配列における微少フィルタの構成を図２に示す。原色形ベイヤ配列では、固体撮像素子の各画素に対応する微小フィルタのうち、Ｇを透過する微小フィルタがすべての水平画素列において水平方向に１画素おきに、なおかつ奇数番目の水平画素列と偶数番目の水平画素列では水平方向に１画素分だけずれた、インタリーブの関係に配置されている。一方、Ｒを透過する微小フィルタは偶数番目の水平画素列のＧの間にある画素に配置され、Ｂを透過する微小フィルタは奇数番目の水平画素列のＧの間にある画素に配置されている。この結果、全体の構成は水平方向２画素、垂直方向２画素の部分が繰り返される構成となっている。
【０００４】
単板カラーカメラでは、色フィルタを組み合わせた固体撮像素子からＲ、Ｇ、Ｂの信号を取り出してカラー画像を得る。このとき、画像の解像度に関わる輝度信号Ｙは、ＮＴＳＣ方式のビデオ信号では次の（１）式の関係で生成される。
【０００５】
【数１】

【０００６】
（１）式の関係から、画像の解像度は大きな割合を占めるＧの解像度に大きく関わるので、固体撮像素子のＲ、Ｂの画素位置に対応するＧ信号を正しく補間し、すべての画素に対するＧ信号が得られれば、画像の解像度向上が達成できる。
【０００７】
また、Ｇ信号がすべての画素で得られると、信号の相関の大きな方向を判定するにあたり、Ｇ信号から判定することで高い精度での判定が期待できる。このとき，たとえば公開特許公報の特開昭５７−１３１１８５あるいは特開平７−２３６１４７で提案されているような信号の相関の大きな方向を判別し、それに対応してその位置で得られないＲ，Ｂの補間信号の生成方法を選択する方法を適用すると、Ｒ、Ｂの補間信号の精度向上が期待できる。
【０００８】
また，ＧとＲ、Ｂの低周波成分の相関を利用してＧの画素位置のＲ、Ｂ信号を補間する方法を適用する場合にも、補間信号の精度向上が見込める。すなわちＲ、ＢとＧを同じ画素位置で得られると、たとえば５画素程度の狭い範囲内でもＲ、ＢとＧに対して帯域の一致したローパスフィルタが構成できるので、両者の低周波成分の比がより高精度で得られる。こうしたＧとＲ、Ｂの低周波成分の相関を利用してＧの位置のＲ、Ｂ信号を補間する方法についてはここでは詳しく説明しないが、たとえば公開特許公報の特開平１１−２４３５５４が提案されいる。
【０００９】
インタリーブの関係にあるＧの信号を補間する一般的な方法は、公開特許公報の特開昭６１−５０１４２４において（１６）式として述べられているように、周辺にある４画素の信号の平均値を用いる方法である。たとえば図２に示した原色形ベイヤ配列において水平方向の画素位置が２ｍ、垂直方向の画素位置が２ｎであるＲの信号をR(2m,2n)とあらわすものとする（以後、同様）。このとき、実在しないG(2m+2,2n+2)に対する補間信号に、実在するG(2m+2,2n+1)、G(2m+1,2n+2)、G(2m+3,2n+2)、およびG(2m+2,2n+3)の４画素の平均値を用いる。
【００１０】
こうした隣接画素のみの加算平均の演算から得られる信号は、Ｇ信号にコサインカーブの狭帯域なローパスフィルタの処理を施したことにほかならないので、補間信号を欠落する画素の位置に組み込んだあとのＧ信号の解像度は若干低下する。そこで、解像度を低下することなくベイヤ配列の単板カラーカメラで得られるＧ信号を補間する方法が、公開特許公報の特開平９−８４０３１、特開平１０−１０８２０９、特開平１１−２７５３７３等で提案されている。
【００１１】
こうした公開特許公報に述べられている方法は、いずれも、Ｇが欠落した画素の位置に対応するＧ信号を、その周辺の画素の信号から判定した相関の方向性に基づいて、水平方向に隣接するＧの画素から生成した補間信号、あるいは垂直方向に隣接するＧの画素から生成した補間信号のうちのいづれかを選択して補間に用いるものである。すなわち、図２に示す配列において実在しないG(2m+2,2n+2)を、画像の水平方向の変化が垂直方向の変化よりも小さいと判定したときにはG(2m+1,2n+2)とG(2m+3,2n+2)の平均値で補間し、画像の垂直方向の変化が水平方向の変化よりも小さいと判定したときにはG(2m+2,2n+1)とG(2m+2,2n+3)の平均値で補間する。
【００１２】
この結果、変化の大きな方向の信号を加算平均するローパスフィルタの処理を行わないので、補間後のＧ信号の周波数特性が低下するのを軽減できる。このとき補間信号の生成に用いるのは変化の小さい方向の信号であるから、もともと高域の周波数成分は少なく、加算平均することによってローパスフィルタの処理を施しても周波数特性の低下には結びつかない。このように、上記の公開特許公報に述べられている方法によると、画像の方向性の判定が正しくなされれば、解像度を低下させることなくＧ信号を補間できる。
【００１３】
画像の方向性の判定は、特開平１０−１０８２０９では周辺のＧの画素信号から求めることとしている。すなわち、実在しないG(2m+2,2n+2)の補間信号を生成する際は、G(2m+1,2n+2)とG(2m+3,2n+2)の差から水平方向の変化を検出し、G(2m+2,2n+1)とG(2m+2,2n+3)の差から垂直方向の変化を検出する。ところが、この差信号の周波数特性は２画素での位相が等しくなる周波数で出力が零になることから、画素間隔の２倍の逆数に対応する周波数、すなわち画素の繰り返し周期dx（dy）の２倍に対応する周波数1/2dx（1/2dy）周辺で零となる。1/2dx（1/2dy）の周波数はＲとＢのサンプリング周波数に等しいので、Ｒ信号とＢ信号から1/2dx（1/2dy）の周波数成分を正しく得ることも期待できず、画像が1/2dx（1/2dy）の周波数成分を多く含む場合には補間信号の解像度向上は望めない。
【００１４】
特開平９−８４０３１における画像の方向性の判定方法も周辺のＧの画素信号を利用するものであり、特開平１０−１０８２０９と同様の問題点を持つ。また、特開平１１−２７５３７３では、補間する画素の位置で得られるＲあるいはＢの画素信号と周辺のＧの画素信号から画像の方向性の判定を行うことが述べられている。すなわち、実在しないG(2m+2,2n+2)の補間信号を生成する際は、R(2m+2,2n+2)とG(2m+1,2n+2)あるいはG(2m+3,2n+2)の差から水平方向の変化を検出し、R(2m+2,2n+2)とG(2m+2,2n+1)あるいはG(2m+2,2n+3)の差から垂直方向の変化を検出する。こうした隣り合う２画素から求めた差信号には周波数1/2dx（1/2dy）の周波数成分が含まれるので、広い周波数帯域をもつ画像での方向性の判定に有利であるが、彩度の高い被写体ではＲとＧの差信号に色彩に起因する差が含まれるので、方向性の判定結果の信頼性は低下する。
【発明が解決しようとする課題】
以上述べたように、原色形ベイヤ配列においてＲ、Ｂの画素位置に対応するＧの補間信号を生成する際に、周辺に位置する４画素のＧ信号の平均値を用いる従来の単板カラーカメラの信号補間方法では、補間前のＧ信号よりも周波数特性が劣化した信号しか得られないという問題がある。また、補間の対象となる画素位置における信号の相関の方向を判定して、対応する補間信号の生成方法を選択する従来の単板カラーカメラの信号補間方法では、相関の方向性が正しく判定できた場合には周波数帯域を低下させることなく補間信号を生成できるが、画像が広い周波数帯域を持つ場合、あるいは彩度が高い場合などを含むあらゆる条件での正しい方向性の判定が難しいという問題がある。
【００１５】
本発明は、上記従来技術の問題点に鑑み、あらゆる条件の画像で周波数帯域を低下させることなく欠落した画素位置での補間信号を生成できる、単板カラーカメラの信号補間方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】
上記課題を解決するために本発明の単板カラーカメラの信号補間方法は、二次元状に配列された複数の画素を持ち、しかも上記複数の画素には分光感度特性の異なる複数種の微少フィルタが一定の繰り返しで組み合わされた撮像素子を用いて上記複数種の微少フィルタのうちの第１のフィルタに対応する信号を上記撮像素子のすべての画素位置に対応して生成する単板カラーカメラの信号補間方法において、上記撮像素子から得られる上記複数の画素の信号から上記第１のフィルタが組み合わされた第１の画素群の信号を分離して第１の信号を生成し、上記第１の信号において上記第１の画素群に含まれない画素の位置に対応する信号を該画素の位置の周辺に存在する上記第１の画素群の信号を用いて補間した第２の信号を生成し、Ｎを任意の整数として上記撮像素子の上記複数の画素から任意に選んだ水平方向Ｎ画素、垂直方向Ｎ画素のブロックの画素群を取り出して第１のブロック信号を生成し、上記第２の信号から上記ブロックの画素群に対応する位置で得られる信号を取り出して第２のブロック信号を生成し、上記第１のブロック信号に直交変換を施すことによって第１の係数群を生成し、上記第２のブロック信号に直交変換を施すことによって第２の係数群を生成し、上記第２の係数群において、上記第１のフィルタの上記繰り返し周期が大きな方向に対応する部分の係数を上記第１の係数群のものと合成して第３の係数群を生成し、上記第３の係数群に対して逆直交変換を施すことによって生成した信号で上記第１の信号あるいは上記第２の信号における上記第１の画素群に含まれない画素の位置に対応する信号を補間する。
【００１７】
ここで，上記第１のフィルタは上記二次元状に配列された複数の画素においてすべての画素列で１画素おきに、しかも隣り合う画素列では互いに補間する関係に配置されているときには、上記第３の係数群を生成する際に上記第１の係数群と合成する上記第２の係数群の係数は、水平方向の周波数が上記複数の画素の水平方向の繰り返し周波数の半分で、垂直方向の周波数が上記複数の画素の垂直方向の繰り返し周波数の半分である周波数領域の周辺に対応する係数である。また、上記第１のフィルタは上記二次元状に配列された複数の画素において一方向に１画素おきに、しかも直交する方向には連続に配置されているときには、上記第３の係数群を生成する際に上記第１の係数群と合成する上記第２の係数群の係数は、上記１画素おきとなる方向の周波数が上記複数の画素の繰り返し周波数の半分である周波数領域の周辺に対応する係数である。
【００１８】
なお、上記第１のフィルタが緑色光を透過するフィルタであるときに、特に好ましい。
【００１９】
【作用】
本発明の単板カラーカメラの信号補間方法によれば、たとえばＧに対応する画素の信号の周波数係数のうち，高調波成分が多く混入する可能性のある部分を固体撮像素子の全画素から得られる周波数係数と置き換えるので，高調波成分の影響が軽減され、しかも全画素に対応したＧ信号を得ることができる。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を用いて説明する。
【００２１】
図１は本発明の実施の形態の一例を示すブロック図であり、ベイヤ配列の単板カラーカメラの信号処理装置におけるＧ信号の補間処理に関わる部分を示す。図１において、固体撮像素子１から得られる画素の信号はＡ／Ｄ変換器２でディジタル信号に変換される。ここで、固体撮像素子１には図２に示したベイヤ配列のフィルタが組み合わされているものとする。
【００２２】
このとき固体撮像素子１は、Ｒ、Ｇ、Ｂの微小フィルタを組み合わせた各画素が、撮像面に結像した被写体像をベイヤ配列の構成に応じて二次元でサンプリングすることによって得られる各画素の信号を順次出力する。したがって固体撮像素子１から得られるＲ、Ｇ、Ｂ信号をあらわす空間領域の関数は、当該色の画素の二次元での空間的な位置をあらわす関数と、被写体像の当該色の成分の２次元での明るさをあらわす関数を掛け合わせたものである。これを周波数領域に変換すると、Ｒ、Ｇ、Ｂ信号の周波数成分をあらわす関数は、当該色の画素の周波数領域での位置をあらわす関数と被写体像の当該色がもつ周波数成分をあらわす関数との重畳積分（コンボリューション）となることが知られている。ここで重畳積分は次の（２）式に示す関係である。
【００２３】
【数２】

【００２４】
図２に示すベイヤ配列の色フィルタは，水平方向２画素、垂直方向２画素の最小単位が繰り返されるものであるから、画素の空間的な位置をあらわす関数は４種類を考慮すればよい。ここで、水平方向の画素間隔をdx、垂直方向の画素間隔をdy、正方形である画素の一辺の長さをdwとする。また、水平位置と垂直位置がともに零であるＲの画素の中心位置を、空間的な座標(0,0)にとる。
【００２５】
水平位置2m、垂直位置2n（ｎおよびｍは任意の整数）の画素からはＲ信号が得られ、その二次元の周波数成分をSr(fx,fy)とすると下記の（３）式となる。また、水平位置2m+1、垂直位置2nの画素からはＧ信号が得られ、その二次元の周波数成分をSg1(fx,fy)とすると下記の（４）式となる。同様に水平位置2m、垂直位置2n+1の画素からはＧ信号が得られ、その二次元の周波数成分をSg2(fx,fy)とすると下記の（５）式となる。さらに、水平位置2m+1、垂直位置2n+1の画素からはＢ信号が得られ、その二次元の周波数成分をSb(fx,fy)とすると下記の（６）式となる。
【００２６】
【数３】

【００２７】
【数４】

【００２８】
【数５】

【００２９】
【数６】

【００３０】
（３）ないし（６）式において、fx、fyはそれぞれ水平方向と垂直方向の周波数である。Frx、Fryは被写体像のＲ成分、Fgx、Fgyは被写体像のＧ成分、Fbx、Fbyは被写体像のＢ成分のそれぞれ水平方向の変化と垂直方向の変化をあらわす関数である。また、”＊”は（２）式に示した重畳積分をあらわす。デルタ関数は、サンプリングに起因して発生する高調波成分の発生位置をあらわす関数である。また、Fax、Fayはそれぞれ画素のアパーチャに起因して発生する周波数レスポンスであり、次の（７）、（８）式のとおりである。
【００３１】
【数７】

【００３２】
【数８】

【００３３】
（３）式と（４）式の比較、あるいは（５）式と（６）式の比較から、水平方向の位置がdxだけ異なると、サンプリングに起因して発生する水平方向の高調波成分の位相が-jkπ（kは整数）だけ回転することがわかる。同様に（３）式と（５）式の比較、あるいは（４）式と（６）式の比較から、垂直方向の位置がdyだけ異なると、サンプリングに起因して発生する垂直方向の高調波成分の位相が-jlπ（lは整数）だけ回転することがわかる。
【００３４】
この結果，被写体像においてFrx，Fgx，Fbx（Fry，Fgy，Fby）の分布する周波数範囲が等しく，その２次元の周波数領域での範囲が図３（ａ）に円で示すものであるとき，Sr(fx,fy)、Sg1(fx,fy)、Sg2(fx,fy)、Sb(fx,fy)はそれぞれ図３（ｂ），（ｃ），（ｄ），（ｅ）に示す周波数位置に高調波成分を持ったものとなる。なお，図３は存在する周波数成分の位置のみを二次元の周波数領域にあらわし，周波数成分の大きさはあらわさないものとする．また，斜線を施した円で示す周波数成分は、被写体像の持つ周波数成分とは逆の位相関係であることをあらわすものとする。
【００３５】
ここで図１に示す構成において，Ａ／Ｄ変換器２でディジタル信号に変換された画素信号を分離器３に加え、Ｇに対応する画素信号のみを分離する．分離されたＧの画素信号のもつ周波数成分Sg(fx,fy)は，（４）式であらわされるSg1(fx,fy)と（５）式であらわされるSg2(fx,fy)を加算したものであるから、図３（ｃ）、（ｄ）に示す両者で逆の位相関係にあるものが相殺されて図４（ａ）に示すものとなる．一方，Ａ／Ｄ変換器２から得られる全画素の信号のもつ周波数成分Sa(fx,fy)は，Sr(fx,fy)、Sg1(fx,fy)、Sg2(fx,fy)、Sb(fx,fy)を加えあわせたものであるから、図３（ｂ）、（ｃ）、（ｄ）、（ｅ）を合成した図４（ｂ）に示すものとなる。
【００３６】
図４（ａ）において水平の周波数1/2dx、垂直の周波数1/2dyに発生する高調波は、ベースバンド成分と大きさが等しく、位相が逆の関係となる。一方、図４（ｂ）において水平の周波数1/2dx、垂直の周波数1/2dyに発生する高調波は”R+B-2G”に対応した大きさで、被写体がＧ成分のみあるいはＲとＢ成分のみのときを除いてベースバンドの大きさ”R+B+2G”より小さい。一方、図４（ａ）では水平の周波数1/2dx、垂直の周波数零の位置、および水平の周波数零、垂直の周波数1/2dyに高調波成分は発生しないのに対して、図４（ｂ）では”R-B”に対応した大きさの高調波成分が発生する。
【００３７】
そこで図１に示すブロック図において、分離器３で取り出されたＧの画素信号を仮の補間を行うプリ補間器４に加え、Ｒ、Ｂの画素位置に対応するＧの補間信号を仮に生成する。プリ補間器４の一例は、隣接する４画素の平均値信号を生成する従来技術の補間方法によるものである。プリ補間器４によって固体撮像素子の全画素に対応して生成された１画面分のＧ信号はフレームメモリ５に記録される。同時に、Ａ／Ｄ変換器２から出力される全画素の信号は、フレームメモリ５に記録されたのと同じ１画面分がフレームメモリ７に記録される。
【００３８】
さらに、フレームメモリ５からは、記録された１画面分のＧ信号のうち、たとえば水平方向８画素、垂直方向８画素の合計６４画素分が１ブロックとして直交変換器６に送り出される。１ブロックの画素は、たとえば図２におけるR(2m,2n)から水平方向に８画素、垂直方向に８画素を取り出した、図５に丸で示す画素位置の信号である。同様に、フレームメモリ７に記録された全画素の信号のうち、上記の画素位置で得られた６４画素分の信号が１ブロック分として直交変換器８に送り出される。図５において、白丸で示すのはＧの画素位置であり、黒丸で示すのはＲあるいはＢの画素位置である。したがって、黒丸で示す画素位置の信号は、直交変換器６に送られる１ブロックでは隣接する白丸で示す４画素の平均値信号であり、直交変換器８に送られる１ブロックではＲあるいはＢの画素信号である。
【００３９】
ここで、直交変換の一例に離散コサイン変換（以後”ＤＣＴ”）を用いて以後説明する。図５に示す１ブロック分の画素位置において水平方向ｉを零から７、垂直方向ｊを零から７に書き直して、直交変換器６に送り出された各画素位置のＧ信号をg(i,j)であらわすと、直交変換器６から得られるＧ信号の周波数係数Fg(u,v)は次の（９）式であることが知られている。ここで、ｕは水平周波数、ｖは垂直周波数、ＮはＤＣＴの対象となるブロックの水平方向および垂直方向の画素数であり、図５の例では”８”である。
【００４０】
【数９】

【００４１】
同様に図５に示す画素位置をｉ、ｊで書き直して、直交変換器８に送り出された全画素の信号をs(i,j)であらわすと、直交変換器８から得られる全画素の信号の周波数係数Fa(u,v)は次の（１０）式である。
【００４２】
【数１０】

【００４３】
（９）式あるいは（１０）式で得られる周波数係数Fg(u,v)あるいはFa(u,v)は、ｕおよびｖがともに零から７までである。（９）式あるいは（１０）式のコサインの項から、ｕ（またはｖ）が零の周波数は画素によって位相が変わらない直流であり、ｕ（またはｖ）＝１の周波数では１ブロック内にある７画素間隔の間でcos(PI/16)からcos(15PI/16)まで変化する。ここで、”ＰＩ”は円周率である。これは、ブロックの周期の８画素間隔ではちょうどＰＩの位相変化に対応するので、８画素間隔が１／２周期にあたる周波数1/16dx（または1/16dy）である。ｕ（またはｖ）＝２、３、４、．．．、７ではその２、３、４、．．．、７倍であることから、（８）式あるいは（９）式で得られる周波数係数Fg(u,v)、Fa(u,v)においてｕ（またはｖ）が取る最大の周波数は7/16dx（または7/16dy）である。この結果、Fg(u,v)、Fa(u,v)が存在するのは図６に点で示した周波数の位置となる。図６において、水平方向は水平周波数ｕ、垂直方向は垂直周波数ｖをあらわし、各点は周波数係数の大きさはあらわさず，存在する周波数の位置のみをあらわすものとする。
【００４４】
ここで、図６に示す周波数係数の存在する位置と、図４に示すＧ信号あるいは全画素の信号において高調波成分が発生する周波数位置を比較する。図４（ａ）からわかるように、Ｇ信号では水平周波数1/2dx、垂直周波数1/2dyにベースバンドと大きさが等しく、位相が逆である高調波成分が発生するので、図６において水平周波数1/2dxと垂直周波数1/2dyを結ぶ直線１００より周波数の高い領域にある周波数係数は、高調波成分を多く含む可能性が高い。これに対して図４（ｂ）から、全画素の信号では水平周波数1/2dx、垂直周波数1/2dyに発生する高調波成分はベースバンドより小さくなるので、直線１００より周波数の高い領域にある周波数係数はベースバンド成分を多く含むことが期待できる。
【００４５】
一方、図４（ａ）に示すように、Ｇ信号では垂直周波数が零で水平周波数1/2dx、あるいは水平周波数が零で垂直周波数1/2dyの周波数位置には高調波成分が発生しないので、こうした周波数領域では周波数係数はベースバンド成分を多く含むことが期待できる。これに対して図４（ｂ）に示すように、全画素の信号では垂直周波数が零で水平周波数1/2dx、あるいは水平周波数が零で垂直周波数1/2dyの周波数位置に高調波成分が発生する。
【００４６】
そこで図１に示すブロック図では、直交変換器６で得られた周波数係数Fg(u,v)と直交変換器８で得られた周波数係数Fa(u,v)を合成器９に加える。合成器９では、各周波数位置の周波数係数Fg(u,v)と周波数係数Fa(u,v)を高調波成分の混入が小さくなる可能性が高くなる方向に合成して、新たな周波数係数F(u,v)を生成する。合成器９の合成方法の一例は、図６に示した直線１００よりも低い周波数領域の周波数係数をFg(u,v)とし、直線１００よりも高い周波数領域の周波数係数をFa(u,v)とするものである。また、直線１００の周辺では周波数係数Fg(u,v)と周波数係数Fa(u,v)に重み付けして徐々に切り替えることとしてもよい。このほか、本発明は水平周波数1/2dx、垂直周波数1/2dy周辺で周波数係数Fg(u,v)を用いないことが本質であるから、水平周波数1/2dx、垂直周波数1/2dy周辺のみFa(u,v)を用い、それ以外は周波数係数Fg(u,v)を用いるなどの方法が可能である。
【００４７】
こうして合成器９で生成した周波数係数F(u,v)は、逆変換器１０に加えられる。逆変換器１０は直交変換器６の逆変換を行うもので、ここでは直交変換器６でＤＣＴを施したので逆変換器１０は次の（１１）式で示す逆離散コサイン変換（以後”ＩＤＣＴ”）を行えばよい。
【００４８】
【数１１】

【００４９】
図５との比較から、こうして得られるx(i,j)のうちｉ、ｊがともに偶数あるいはともに奇数のとき得られる信号は、ＲあるいはＢの画素位置に対応した信号である。これを分離器１１によって取り出し、分離器３の出力信号を遅延回路１３に加えることによって処理時間の違いを調整したＧ信号とともに補間器１２に加えて合成すれば、水平周波数1/2dx、垂直周波数1/2dyに発生する高調波成分の影響が軽減され、しかも固体撮像素子の全画素に対応するＧ信号が得られる。
【００５０】
このとき、x(0,0)、x(2,0)などブロックの端に位置する画素に対応する信号は、隣のブロックの画素信号を考慮せずに生成されるので、周波数係数に処理を加えた場合には補間信号に誤差が含まれることがある。そこで、ブロックの周辺の画素、すなわち図５におけるｉあるいはｊが零あるいは７である画素位置の信号を補間に用いないこととする。このときすべてのＲあるいはＢの画素の位置で補間信号を生成するには、各ブロックの範囲を隣接するブロックのあいだで１画素分重複するよう設定すればよい。
【００５１】
なお、本発明の実施例では直交変換にＤＣＴを行う場合を説明したが、離散ウェーブレット変換など周波数係数に変換する直交変換を用いれば、同様の効果が得られることは明らかである。
【００５２】
また本発明の実施例は、図２に示したＧを市松状に配した色フィルタを用いる場合を例にとって説明したが、Ｗ（透明）など他のフィルタを市松状に配した色フィルタに適用できることは明らかである。さらに、代表的な例として市松状に配したＧ信号を補間する場合を説明したが、本発明の本質は、ある色フィルタに対応する画素の信号の周波数係数のうち、高調波成分が多く混入する可能性のある部分を、固体撮像素子の全画素から得られる周波数係数と置き換えることによって、高調波成分の影響を軽減することにある。たとえば図７に示す配列のフィルタで得られるＧ信号は、図３（ｂ），（ｄ）からの類推で水平周波数が1/2dx，垂直周波数が零の周波数位置に高調波成分が発生するので、図６に示す周波数係数のうち水平周波数が1/4dxを超える部分の周波数係数を全画素から得られる周波数係数と置き換えればよい。
【００５３】
さらに、本発明の実施例はハードウェアによる処理を例にとって説明したが、ソフトウェアによる汎用コンピュータ上での処理によっても実現できることは明らかである。
【００５４】
【発明の効果】
以上説明したように、本発明の単板カラーカメラの信号補間方法によれば、あらゆる条件の画像に対してサンプリングに起因する高調波成分が軽減され，解像度の改善された全画素に対応するＧ信号を生成できる。しかも、ローパスフィルタで取り出したＧ信号の低域成分とハイパスフィルタで取り出した全画素信号の高域成分を合成する方法と異なり、直交変換と逆変換を用いることによって実在のＧ信号に影響を与えることなくＲ、Ｂの画素の信号のみを選択的に補間することができる。
【図面の簡単な説明】
【図１】本発明の単板カラーカメラの信号補間方法による実施の形態の一例を示す図である。
【図２】本発明に関わる単板カラーカメラに使用される色フィルタの配列の一例を示す図である。
【図３】図２に示したベイヤ配列の色フィルタで得られる各画素信号に発生する高調波成分の周波数位置を示す図である。
【図４】図２に示したベイヤ配列の色フィルタで得られるＧ信号に発生する高調波成分および全画素の信号に発生する高調波成分の周波数位置を示す図である。
【図５】ＤＣＴの処理の説明に用いる１ブロック分の画素位置をあらわす図である。
【図６】ＤＣＴの処理で得られる周波数係数の周波数領域での位置をあらわす図である。
【図７】本発明に関わる単板カラーカメラの信号補間方法に使用できる他の色フィルタの配列の一例を示す図である。
【符号の説明】
１固体撮像素子
２Ａ／Ｄ変換器
３分離器
４プリ補間器
５、７フレームメモリ
６、８直交変換器
９合成器
１０逆変換器
１１分離器
１２補間器
１３遅延回路[0001]
[Technical field to which the invention belongs]
The present invention relates to a method for generating a green signal or the like obtained by a single-panel color camera, and more particularly to a signal interpolation method for a single-panel color camera that generates an interpolation signal for a pixel position where a green pixel is missing.
[0002]
[Prior art]
Many of the imaging units of an electronic still camera are configured by a single-plate color camera that uses only one solid-state imaging device to obtain a color image signal. In a single-plate color camera, signals of R (red), G (green), and B (blue) necessary for generating a color image are obtained by combining minute color filters with different transmitted light for each pixel of the solid-state imaging device. ing. Here, a typical example of the arrangement of minute color filters is a so-called primary color Bayer arrangement shown in US Pat. No. 3,971,065.
[0003]
The configuration of the micro filter in the primary color Bayer arrangement is shown in FIG. In the primary color Bayer array, among the microfilters corresponding to each pixel of the solid-state imaging device, the microfilter that transmits G is every other pixel in the horizontal direction in all the horizontal pixel columns, and is even with the odd-numbered horizontal pixel column. The second horizontal pixel row is arranged in an interleaved relationship shifted by one pixel in the horizontal direction. On the other hand, the minute filter that transmits R is arranged in the pixels between G of the even-numbered horizontal pixel columns, and the minute filter that transmits B is arranged in the pixels between G of the odd-numbered horizontal pixel columns. Yes. As a result, the entire configuration is a configuration in which a portion of two pixels in the horizontal direction and two pixels in the vertical direction are repeated.
[0004]
In a single-plate color camera, R, G, and B signals are extracted from a solid-state imaging device combined with color filters to obtain a color image. At this time, the luminance signal Y related to the image resolution is generated in the relationship of the following expression (1) in the NTSC video signal.
[0005]
[Expression 1]

[0006]
Since the resolution of the image is greatly related to the resolution of G that occupies a large proportion from the relationship of the expression (1), the G signals corresponding to the R and B pixel positions of the solid-state imaging device are correctly interpolated, and the G signals for all pixels Can be achieved, the resolution of the image can be improved.
[0007]
Further, when the G signal is obtained from all the pixels, it is possible to expect a determination with high accuracy by determining from the G signal in determining the direction in which the signal correlation is large. At this time, for example, the direction in which the signal correlation is large, as proposed in Japanese Patent Laid-Open No. 57-131185 or Japanese Patent Laid-Open No. 7-236147, is discriminated, and corresponding R, B cannot be obtained at that position. If the method for selecting the interpolation signal generation method is applied, improvement in the accuracy of the R and B interpolation signals can be expected.
[0008]
In addition, when applying a method of interpolating R and B signals at G pixel positions using the correlation between low frequency components of G and R and B, the accuracy of the interpolation signal can be improved. That is, if R, B, and G are obtained at the same pixel position, a low-pass filter having the same band for R, B, and G can be formed even within a narrow range of about 5 pixels, for example. Can be obtained with higher accuracy. A method of interpolating the R and B signals at the G position using the correlation between the low frequency components of G and R and B will not be described in detail here. For example, Japanese Patent Application Laid-Open No. 11-243554 has been proposed. Yes.
[0009]
A general method for interpolating a G signal having an interleaved relationship is described in Japanese Patent Application Laid-Open No. 61-501424 as equation (16). It is a method using. For example, in the primary color Bayer array shown in FIG. 2, an R signal having a horizontal pixel position of 2 m and a vertical pixel position of 2n is represented as R (2m, 2n) (hereinafter the same). At this time, the interpolation signal for the nonexistent G (2m + 2,2n + 2) is added to the existing G (2m + 2,2n + 1), G (2m + 1,2n + 2), G (2m + 3, 2n + 2) and the average value of 4 pixels of G (2m + 2, 2n + 3) are used.
[0010]
The signal obtained from the calculation of the averaging of only the adjacent pixels is nothing but the G signal subjected to a narrow band low-pass filter processing of the cosine curve. The resolution of the G signal is slightly reduced. Therefore, methods for interpolating G signals obtained with a single-layer color camera with a Bayer array without reducing the resolution are proposed in Japanese Patent Laid-Open Nos. 9-84031, 10-108209, and 11-275373. Has been.
[0011]
In any of the methods described in these published patent publications, the G signal corresponding to the position of the pixel in which G is missing is adjacent in the horizontal direction based on the directionality of the correlation determined from the signals of the surrounding pixels. The interpolation signal generated from the G pixel to be selected or the interpolation signal generated from the G pixel adjacent in the vertical direction is selected and used for interpolation. That is, G (2m + 1,2n + 2) that does not exist in the arrangement shown in FIG. 2 is determined to be G (2m + 1,2n + 2) when it is determined that the change in the horizontal direction of the image is smaller than the change in the vertical direction. And G (2m + 3,2n + 2) are interpolated, and G (2m + 2,2n + 1) and G (2m) are determined when the change in the vertical direction of the image is smaller than the change in the horizontal direction. Interpolate with the average value of + 2,2n + 3).
[0012]
As a result, the low-pass filter processing for averaging the signals in the direction of large change is not performed, so that the frequency characteristic of the G signal after interpolation can be reduced. At this time, since the interpolation signal is generated using a signal in a direction of small change, the high frequency component is originally small, and even if the low pass filter processing is performed by averaging, it does not lead to a decrease in frequency characteristics. . Thus, according to the method described in the above-mentioned published patent publication, if the directionality of the image is correctly determined, the G signal can be interpolated without reducing the resolution.
[0013]
The determination of the directionality of an image is obtained from a peripheral G pixel signal in Japanese Patent Laid-Open No. 10-108209. That is, when generating an interpolated signal of G (2m + 2,2n + 2) that does not exist, the horizontal direction is determined from the difference between G (2m + 1,2n + 2) and G (2m + 3,2n + 2). The change is detected, and the change in the vertical direction is detected from the difference between G (2m + 2,2n + 1) and G (2m + 2,2n + 3). However, since the frequency characteristic of this difference signal is zero at the frequency at which the phases of the two pixels are equal, the frequency corresponding to the reciprocal of twice the pixel interval, that is, the pixel repetition period dx (dy) is 2. It becomes zero around the frequency 1 / 2dx (1 / 2dy) corresponding to the double. Since the frequency of 1 / 2dx (1 / 2dy) is equal to the sampling frequency of R and B, it cannot be expected that a frequency component of 1 / 2dx (1 / 2dy) is correctly obtained from the R signal and B signal, and the image is 1 When the frequency component of / 2dx (1 / 2dy) is included a lot, the resolution of the interpolated signal cannot be improved.
[0014]
The method for determining the directionality of an image in Japanese Patent Laid-Open No. 9-84031 also uses the surrounding G pixel signal, and has the same problems as in Japanese Patent Laid-Open No. 10-108209. Japanese Patent Laid-Open No. 11-275373 describes that the directionality of an image is determined from an R or B pixel signal obtained at the position of a pixel to be interpolated and a surrounding G pixel signal. That is, when generating an interpolation signal of G (2m + 2,2n + 2) that does not exist, R (2m + 2,2n + 2) and G (2m + 1,2n + 2) or G (2m + 3) , 2n + 2) to detect horizontal changes, and the difference between R (2m + 2,2n + 2) and G (2m + 2,2n + 1) or G (2m + 2,2n + 3) To detect changes in the vertical direction. The difference signal obtained from these two adjacent pixels contains a frequency component of frequency 1 / 2dx (1 / 2dy), which is advantageous for determining directionality in an image having a wide frequency band. In a high subject, since the difference signal due to the color is included in the difference signal between R and G, the reliability of the directionality determination result is lowered.
[Problems to be solved by the invention]
As described above, when a G interpolation signal corresponding to the R and B pixel positions is generated in the primary color Bayer array, a conventional single-panel color camera that uses the average value of the G signals of the four pixels located in the periphery In this signal interpolation method, there is a problem that only a signal having a frequency characteristic deteriorated as compared with the G signal before the interpolation can be obtained. In addition, with the signal interpolation method of the conventional single panel color camera that determines the correlation direction of the signal at the pixel position to be interpolated and selects the corresponding interpolation signal generation method, the correlation directionality can be correctly determined. In this case, the interpolation signal can be generated without lowering the frequency band, but it is difficult to determine the correct directionality under all conditions including when the image has a wide frequency band or when the saturation is high. is there.
[0015]
The present invention provides a signal interpolation method for a single-panel color camera that can generate an interpolation signal at a missing pixel position without reducing the frequency band in an image of any condition, in view of the above-described problems of the prior art. Objective.
[0016]
[Means for Solving the Problems]
In order to solve the above problems, a signal interpolation method for a single-plate color camera of the present invention has a plurality of pixels arranged in a two-dimensional manner, and the plurality of pixels have a plurality of types of microfilters having different spectral sensitivity characteristics. Of a single-plate color camera that generates a signal corresponding to the first filter of the plurality of types of microfilters corresponding to all the pixel positions of the image sensor using an image sensor in which are combined at a constant repetition In the signal interpolation method, a first signal is generated by separating a signal of a first pixel group in which the first filter is combined from signals of the plurality of pixels obtained from the imaging element, and the first signal is generated. Generating a second signal obtained by interpolating a signal corresponding to a position of a pixel not included in the first pixel group using a signal of the first pixel group existing around the position of the pixel in the signal; N is optional A block group of N pixels in the horizontal direction and N pixels in the vertical direction arbitrarily selected from the plurality of pixels of the image sensor as an integer is extracted to generate a first block signal, and the block signal is generated from the second signal. A signal obtained at a position corresponding to the pixel group is extracted to generate a second block signal, and a first coefficient group is generated by performing orthogonal transformation on the first block signal, and the second block signal is generated. Is subjected to orthogonal transformation to generate a second coefficient group, and in the second coefficient group, the coefficient of the portion corresponding to the direction in which the repetition period of the first filter is large is determined as that of the first coefficient group. And a first coefficient group in the first signal or the second signal generated by applying an inverse orthogonal transform to the third coefficient group. Picture Interpolating the signals corresponding to the positions of the pixels that are not included in the group.
[0017]
Here, when the first filter is arranged so as to interpolate every other pixel row in the plurality of pixels arranged in a two-dimensional manner and in an adjacent pixel row, the first filter is arranged. The coefficient of the second coefficient group to be combined with the first coefficient group when generating the coefficient group of 3 is half of the horizontal repetition frequency of the plurality of pixels and the vertical frequency This is a coefficient corresponding to the periphery of the frequency region whose frequency is half the vertical repetition frequency of the plurality of pixels. The first filter generates the third coefficient group when the plurality of pixels arranged two-dimensionally are arranged every other pixel in one direction and continuously in the orthogonal direction. The coefficients of the second coefficient group to be combined with the first coefficient group correspond to the periphery of the frequency region in which the frequency in the direction of every other pixel is half of the repetition frequency of the plurality of pixels. It is a coefficient.
[0018]
It is particularly preferable that the first filter is a filter that transmits green light.
[0019]
[Action]
According to the signal interpolation method for a single-panel color camera of the present invention, for example, a portion of a frequency coefficient of a pixel signal corresponding to G that may contain a large amount of harmonic components is obtained from all pixels of the solid-state imaging device. Therefore, it is possible to obtain a G signal corresponding to all pixels.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0021]
FIG. 1 is a block diagram showing an example of an embodiment of the present invention, and shows a part related to a G signal interpolation process in a signal processing apparatus of a single-panel color camera having a Bayer array. In FIG. 1, pixel signals obtained from the solid-state imaging device 1 are converted into digital signals by an A / D converter 2. Here, it is assumed that the solid-state imaging device 1 is combined with a Bayer array filter shown in FIG.
[0022]
At this time, the solid-state imaging device 1 has each pixel obtained by sampling each subject image formed on the imaging surface in two dimensions according to the configuration of the Bayer array, with each pixel combining R, G, and B microfilters. Are sequentially output. Therefore, the function of the spatial region that represents the R, G, and B signals obtained from the solid-state imaging device 1 includes the function that represents the spatial position of the pixel of the color in two dimensions and the two-dimensional component of the color of the subject image. Multiply by the function that expresses the brightness at. When this is converted into the frequency domain, the function representing the frequency components of the R, G, and B signals is a function representing the position of the pixel of the color in the frequency domain and a function representing the frequency component of the color of the subject image. It is known to be a superposition integral (convolution). Here, the superposition integral is the relationship shown in the following equation (2).
[0023]
[Expression 2]

[0024]
Since the Bayer array color filter shown in FIG. 2 repeats the minimum unit of 2 pixels in the horizontal direction and 2 pixels in the vertical direction, four types of functions representing the spatial positions of the pixels may be considered. Here, the pixel interval in the horizontal direction is dx, the pixel interval in the vertical direction is dy, and the length of one side of a square pixel is dw. Further, the center position of the R pixel in which the horizontal position and the vertical position are both zero is taken as a spatial coordinate (0, 0).
[0025]
The R signal is obtained from the pixel at the horizontal position 2m and the vertical position 2n (n and m are arbitrary integers), and the two-dimensional frequency component is Sr (fx, fy), the following equation (3) is obtained. Further, a G signal is obtained from the pixels at the horizontal position 2m + 1 and the vertical position 2n, and when the two-dimensional frequency component is Sg1 (fx, fy), the following equation (4) is obtained. Similarly, a G signal is obtained from the pixels at the horizontal position 2m and the vertical position 2n + 1, and when the two-dimensional frequency component is Sg2 (fx, fy), the following equation (5) is obtained. Further, the B signal is obtained from the pixels at the horizontal position 2m + 1 and the vertical position 2n + 1, and the two-dimensional frequency component is Sb (fx, fy), the following equation (6) is obtained.
[0026]
[Equation 3]

[0027]
[Expression 4]

[0028]
[Equation 5]

[0029]
[Formula 6]

[0030]
In the expressions (3) to (6), fx and fy are horizontal and vertical frequencies, respectively. Frx and Fry are R components of the subject image, Fgx and Fgy are G components of the subject image, and Fbx and Fby are functions representing changes in the horizontal and vertical directions of the B component of the subject image, respectively. “*” Represents the superposition integral shown in the equation (2). The delta function is a function representing the generation position of harmonic components generated due to sampling. Fax and Fay are frequency responses generated due to pixel apertures, respectively, and are as shown in the following equations (7) and (8).
[0031]
[Expression 7]

[0032]
[Equation 8]

[0033]
If the horizontal position differs by dx from the comparison of Equations (3) and (4) or (5) and (6), the horizontal harmonic components generated due to sampling It can be seen that the phase rotates by -jkπ (k is an integer). Similarly, if the vertical position is different by dy from the comparison between the expressions (3) and (5), or the comparison between the expressions (4) and (6), the vertical harmonics generated due to the sampling. It can be seen that the phase of the component rotates by -jlπ (l is an integer).
[0034]
As a result, when the frequency range in which Frx, Fgx, and Fbx (Fry, Fgy, and Fby) are distributed in the subject image is equal and the range in the two-dimensional frequency domain is shown by a circle in FIG. Sr (fx, fy), Sg1 (fx, fy), Sg2 (fx, fy), and Sb (fx, fy) are the frequency positions shown in FIGS. 3B, 3C, 3D, and 3E, respectively. Have harmonic components. In Fig. 3, only the position of the existing frequency component is shown in the two-dimensional frequency domain, and the magnitude of the frequency component is not shown. Further, it is assumed that the frequency component indicated by the hatched circle has a phase relationship opposite to the frequency component of the subject image.
[0035]
Here, in the configuration shown in FIG. 1, the pixel signal converted into the digital signal by the A / D converter 2 is added to the separator 3, and only the pixel signal corresponding to G is separated. The frequency component Sg (fx, fy) of the separated G pixel signal is the sum of Sg1 (fx, fy) expressed by equation (4) and Sg2 (fx, fy) expressed by equation (5) Therefore, in FIG. 3 (c) and FIG. 3 (d), those in the opposite phase relationship are canceled and the result shown in FIG. 4 (a) is obtained. On the other hand, the frequency components Sa (fx, fy) of the signals of all pixels obtained from the A / D converter 2 are Sr (fx, fy), Sg1 (fx, fy), Sg2 (fx, fy), Sb ( (fx, fy) is added, and the result is as shown in FIG. 4B, which is a combination of FIGS. 3B, 3C, 3D, and 3E.
[0036]
In FIG. 4 (a), the harmonics generated at the horizontal frequency 1 / 2dx and the vertical frequency 1 / 2dy have the same magnitude as the baseband component and the opposite phase. On the other hand, in FIG. 4B, the harmonics generated at the horizontal frequency 1 / 2dx and the vertical frequency 1 / 2dy have a magnitude corresponding to “R + B-2G” and the subject is only the G component or R and B. The baseband size is smaller than “R + B + 2G” except when only the component is present. On the other hand, in FIG. 4A, harmonic components are not generated at the horizontal frequency 1 / 2dx, the vertical frequency zero position, the horizontal frequency zero, and the vertical frequency 1 / 2dy, whereas FIG. ) Generates a harmonic component of a size corresponding to “RB”.
[0037]
Accordingly, in the block diagram shown in FIG. 1, the G pixel signal extracted by the separator 3 is added to the pre-interpolator 4 that performs temporary interpolation, and a G interpolation signal corresponding to the R and B pixel positions is temporarily generated. . An example of the pre-interpolator 4 is based on a conventional interpolation method that generates an average value signal of four adjacent pixels. The G signal for one screen generated corresponding to all the pixels of the solid-state image sensor by the pre-interpolator 4 is recorded in the frame memory 5. At the same time, the signal of all pixels output from the A / D converter 2 is recorded in the frame memory 7 for the same one screen recorded in the frame memory 5.
[0038]
Further, the frame memory 5 sends, for example, a total of 64 pixels of 8 pixels in the horizontal direction and 8 pixels in the vertical direction out of the recorded G signals for one screen to the orthogonal transformer 6 as one block. One block of pixels is, for example, a signal at a pixel position indicated by a circle in FIG. 5 in which 8 pixels in the horizontal direction and 8 pixels in the vertical direction are extracted from R (2m, 2n) in FIG. Similarly, among the signals of all the pixels recorded in the frame memory 7, a signal for 64 pixels obtained at the above pixel position is sent to the orthogonal transformer 8 as one block. In FIG. 5, white circles indicate G pixel positions, and black circles indicate R or B pixel positions. Therefore, the signal at the pixel position indicated by the black circle is an average value signal of four pixels indicated by adjacent white circles in one block sent to the orthogonal transformer 6, and the R or B pixel in one block sent to the orthogonal transformer 8 Signal.
[0039]
Here, a discrete cosine transform (hereinafter referred to as “DCT”) is used as an example of the orthogonal transform and will be described below. In the pixel position for one block shown in FIG. 5, the horizontal direction i is rewritten from zero to 7 and the vertical direction j is rewritten from zero to 7, and the G signal at each pixel position sent to the orthogonal transformer 6 is expressed as g (i, j ), It is known that the frequency coefficient Fg (u, v) of the G signal obtained from the orthogonal transformer 6 is expressed by the following equation (9). Here, u is the horizontal frequency, v is the vertical frequency, and N is the number of pixels in the horizontal and vertical directions of the block to be subjected to DCT, which is “8” in the example of FIG.
[0040]
[Equation 9]

[0041]
Similarly, when the pixel position shown in FIG. 5 is rewritten with i and j and the signal of all the pixels sent to the orthogonal transformer 8 is represented by s (i, j), the signal of all the pixels obtained from the orthogonal transformer 8 The frequency coefficient Fa (u, v) is expressed by the following equation (10).
[0042]
[Expression 10]

[0043]
In the frequency coefficient Fg (u, v) or Fa (u, v) obtained by the equation (9) or (10), both u and v are from 0 to 7. From the cosine term of equation (9) or equation (10), the frequency where u (or v) is zero is a direct current whose phase does not change depending on the pixel, and the frequency of u (or v) = 1 is within one block. It changes from cos (PI / 16) to cos (15PI / 16) within 7 pixel intervals. Here, “PI” is a circumference ratio. This corresponds to a phase change of PI at an interval of 8 pixels in the block period, and therefore the frequency is 1 / 16dx (or 1 / 16dy) at which the interval of 8 pixels corresponds to 1/2 period. u (or v) = 2, 3, 4,. . . , 7, 2, 3, 4,. . . Therefore, the maximum frequency taken by u (or v) in the frequency coefficients Fg (u, v) and Fa (u, v) obtained by equation (8) or (9) is 7 / 16dx. (Or 7 / 16dy). As a result, Fg (u, v) and Fa (u, v) exist at the frequency positions indicated by dots in FIG. In FIG. 6, the horizontal direction represents the horizontal frequency u, and the vertical direction represents the vertical frequency v. Each point does not represent the magnitude of the frequency coefficient, but only the position of the existing frequency.
[0044]
Here, the position where the frequency coefficient shown in FIG. 6 exists is compared with the frequency position where the harmonic component is generated in the G signal or the signal of all pixels shown in FIG. As can be seen from FIG. 4 (a), in the G signal, a harmonic component having the same magnitude as the baseband and having the opposite phase is generated at the horizontal frequency 1 / 2dx and the vertical frequency 1 / 2dy. A frequency coefficient in a higher frequency region than the straight line 100 connecting the frequency 1 / 2dx and the vertical frequency 1 / 2dy is likely to contain a lot of harmonic components. On the other hand, from FIG. 4B, since the harmonic components generated at the horizontal frequency 1 / 2dx and the vertical frequency 1 / 2dy are smaller than the baseband in the signals of all pixels, they are in a higher frequency region than the straight line 100. The frequency coefficient can be expected to contain a lot of baseband components.
[0045]
On the other hand, as shown in FIG. 4A, in the G signal, no harmonic component is generated at the frequency position where the vertical frequency is zero and the horizontal frequency 1 / 2dx, or the horizontal frequency is zero and the vertical frequency 1 / 2dy. In such a frequency region, it can be expected that the frequency coefficient includes a lot of baseband components. On the other hand, as shown in FIG. 4 (b), in the signal of all pixels, a harmonic component is generated at a frequency position where the vertical frequency is zero and the horizontal frequency is 1 / 2dx, or the horizontal frequency is zero and the vertical frequency is 1 / 2dy. To do.
[0046]
Therefore, in the block diagram shown in FIG. 1, the frequency coefficient Fg (u, v) obtained by the orthogonal transformer 6 and the frequency coefficient Fa (u, v) obtained by the orthogonal transformer 8 are added to the synthesizer 9. The synthesizer 9 synthesizes the frequency coefficient Fg (u, v) and frequency coefficient Fa (u, v) at each frequency position in a direction in which there is a high possibility that mixing of harmonic components will be reduced, and a new frequency coefficient. Generate F (u, v). An example of the synthesis method of the synthesizer 9 is that the frequency coefficient in the frequency region lower than the straight line 100 shown in FIG. ). In addition, the frequency coefficient Fg (u, v) and the frequency coefficient Fa (u, v) may be weighted and gradually switched around the straight line 100. In addition, since it is essential that the present invention does not use the frequency coefficient Fg (u, v) around the horizontal frequency 1 / 2dx and the vertical frequency 1 / 2dy, only the periphery around the horizontal frequency 1 / 2dx and the vertical frequency 1 / 2dy. Other methods such as using Fa (u, v) and using frequency coefficient Fg (u, v) are possible.
[0047]
The frequency coefficient F (u, v) thus generated by the synthesizer 9 is added to the inverse converter 10. The inverse transformer 10 performs the inverse transformation of the orthogonal transformer 6. Here, since the orthogonal transformer 6 performs DCT, the inverse transformer 10 performs an inverse discrete cosine transform (hereinafter referred to as "IDCT") expressed by the following equation (11). )).
[0048]
## EQU11 ##

[0049]
From the comparison with FIG. 5, the signal obtained when i and j are both even or both odd in x (i, j) thus obtained is a signal corresponding to the R or B pixel position. If this is taken out by the separator 11 and added to the interpolator 12 together with the G signal whose difference in processing time is adjusted by adding the output signal of the separator 3 to the delay circuit 13, the horizontal frequency 1 / 2dx, the vertical frequency The influence of the harmonic component generated at 1 / 2dy is reduced, and a G signal corresponding to all the pixels of the solid-state imaging device can be obtained.
[0050]
At this time, the signal corresponding to the pixel located at the end of the block, such as x (0,0), x (2,0), is generated without considering the pixel signal of the adjacent block. In some cases, an error may be included in the interpolation signal. Therefore, pixels around the block, that is, signals at pixel positions where i or j in FIG. 5 is zero or 7 are not used for interpolation. At this time, in order to generate an interpolation signal at the positions of all the R or B pixels, the range of each block may be set to overlap by one pixel between adjacent blocks.
[0051]
In the embodiment of the present invention, the case where DCT is performed for the orthogonal transform has been described. However, it is obvious that the same effect can be obtained by using the orthogonal transform such as discrete wavelet transform that converts the frequency coefficient.
[0052]
In the embodiment of the present invention, the case of using a color filter in which G shown in FIG. 2 is arranged in a checkered pattern has been described as an example. Obviously we can do it. Furthermore, as a typical example, the case of interpolating G signals arranged in a checkered pattern has been described. However, the essence of the present invention is that many harmonic components are mixed in the frequency coefficient of the pixel signal corresponding to a certain color filter. This is to reduce the influence of the harmonic component by replacing a portion that has a possibility of being replaced with a frequency coefficient obtained from all pixels of the solid-state imaging device. For example, in the G signal obtained by the filter having the arrangement shown in FIG. 7, harmonic components are generated at frequency positions where the horizontal frequency is 1 / 2dx and the vertical frequency is zero by analogy from FIGS. 3 (b) and 3 (d). In the frequency coefficient shown in FIG. 6, the frequency coefficient of the part where the horizontal frequency exceeds 1/4 dx may be replaced with the frequency coefficient obtained from all pixels.
[0053]
Furthermore, although the embodiment of the present invention has been described by taking the processing by hardware as an example, it is obvious that the embodiment can be realized by processing on a general-purpose computer by software.
[0054]
【The invention's effect】
As described above, according to the signal interpolation method of the single-plate color camera of the present invention, the harmonic component caused by sampling is reduced for an image of any condition, and G corresponding to all pixels with improved resolution is obtained. A signal can be generated. Moreover, unlike the method of synthesizing the low-frequency component of the G signal extracted by the low-pass filter and the high-frequency component of all the pixel signals extracted by the high-pass filter, the actual G signal is affected by using orthogonal transformation and inverse transformation. Therefore, it is possible to selectively interpolate only the signals of the R and B pixels.
[Brief description of the drawings]
FIG. 1 is a diagram showing an example of an embodiment according to a signal interpolation method of a single-plate color camera of the present invention.
FIG. 2 is a diagram showing an example of an arrangement of color filters used in a single-plate color camera according to the present invention.
3 is a diagram showing the frequency position of harmonic components generated in each pixel signal obtained by the color filter having the Bayer array shown in FIG. 2;
4 is a diagram showing frequency positions of harmonic components generated in a G signal obtained by the Bayer array color filter shown in FIG. 2 and harmonic components generated in signals of all pixels. FIG.
FIG. 5 is a diagram showing pixel positions for one block used for explanation of DCT processing;
FIG. 6 is a diagram showing a position in a frequency domain of a frequency coefficient obtained by DCT processing.
FIG. 7 is a diagram showing an example of an arrangement of other color filters that can be used in the signal interpolation method of a single-plate color camera according to the present invention.
[Explanation of symbols]
1 Solid-state image sensor
2 A / D converter
3 Separator
4 Pre-interpolator
5, 7 frame memory
6, 8 Orthogonal transformer
9 Synthesizer
10 Inverter
11 Separator
12 Interpolator
13 Delay circuit

Claims

It has a plurality of pixels arranged two-dimensionally, and the plurality of types of microfilters using the image sensor in which a plurality of types of microfilters having different spectral sensitivity characteristics are combined in a certain repetition. In a signal interpolation method for a single-panel color camera that generates a signal corresponding to the first filter corresponding to all the pixel positions of the image sensor,
Separating a signal of a first pixel group in which the first filter is combined from signals of the plurality of pixels obtained from the imaging element to generate a first signal;
A second signal obtained by interpolating a signal corresponding to a position of a pixel not included in the first pixel group in the first signal using a signal of the first pixel group existing around the position of the pixel. Produces
A first block signal is generated by taking out a pixel group of a block of N pixels in the horizontal direction and N pixels in the vertical direction arbitrarily selected from the plurality of pixels of the image sensor, where N is an arbitrary integer,
A signal obtained at a position corresponding to the pixel group of the block is extracted from the second signal to generate a second block signal,
A first coefficient group is generated by performing orthogonal transform on the first block signal, a second coefficient group is generated by performing orthogonal transform on the second block signal, and the second coefficient group The third coefficient group is generated by combining the coefficient of the portion corresponding to the direction in which the repetition period of the first filter is large with the one of the first coefficient group,
A signal corresponding to a position of a pixel not included in the first pixel group in the first signal or the second signal is a signal generated by performing inverse orthogonal transform on the third coefficient group. A signal interpolation method for a single-panel color camera, characterized by interpolation.

The first filter is arranged so that every other pixel column in the plurality of pixels arranged in the two-dimensional array is interpolated with each other, and adjacent pixel columns are interpolated with each other, and the third coefficient group The coefficient of the second coefficient group to be combined with the first coefficient group when generating the horizontal frequency is half the horizontal repetition frequency of the plurality of pixels, and the vertical frequency is the plurality of the plurality of pixels. 2. The signal interpolating method for a single-panel color camera according to claim 1, wherein the coefficient is a coefficient corresponding to a periphery of a frequency region which is half of a repetition frequency in the vertical direction of the pixel.

The first filter is arranged every other pixel in one direction and continuously in a direction orthogonal to the plurality of pixels arranged in the two-dimensional shape, and generates the third coefficient group. The coefficient of the second coefficient group to be combined with the first coefficient group is a coefficient corresponding to the periphery of the frequency region in which the frequency in the direction of every other pixel is half of the repetition frequency of the plurality of pixels. The signal interpolation method for a single-plate color camera according to claim 1.

2. The signal interpolation method for a single-panel color camera according to claim 1, wherein the first filter is a filter that transmits green light.