JP3946866B2 - 画像信号処理装置及びプログラムを記録した媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像信号の処理技術に関し、特に画像信号の補間を行う画像信号処理技術に関する。
【０００２】
【従来の技術】
図１１（Ａ）は、電荷結合素子（ＣＣＤ）カメラにより撮像された画像データの一部を示す。画像データは、赤（Ｒ）信号と緑（Ｇ）信号と青（Ｂ）信号とから構成される。３枚板式センサは、Ｒ信号とＧ信号とＢ信号の３枚のセンサから構成される。一方、図１１（Ａ）に示す単板式センサは、１枚のセンサ上にＲ，Ｇ，Ｂ信号が配列されている。その配列は、種々のものがある。図１１（Ａ）はベイヤ配列の例を示す。ベイヤ配列では、ある行（横配列）はＲ信号とＧ信号とが交互に配列されており、その次の行はＧ信号とＢ信号とが交互に配列されている。つまり、Ｒ，Ｇ信号の行とＧ，Ｂ信号の行とが交互に並ぶ。
【０００３】
図１１（Ａ）は、画像データ内に含まれる３×３の画像データを示す。Ｒ信号の画素は、３×３ユニット内の４隅の４画素である。その他の画素位置では、Ｒ信号が得られないので、補間により求める必要がある。Ｇ１信号が位置する画素におけるＲ信号を求めるには、左右両隣の２画素のＲ信号を平均化することにより補間する。Ｇ４信号が位置する画素におけるＲ信号も同様にして補間する。Ｇ２信号及びＧ３信号が位置する画素におけるＲ信号は、それぞれ上下両隣の２画素のＲ信号を平均化することにより補間する。Ｂ信号が位置する画素におけるＲ信号は、斜め方向に隣接する４画素（３×３ユニットの４隅の４画素）のＲ信号を平均化することにより補間する。以上は、Ｒ信号の補間方法を示したが、Ｂ信号も同様の補間を行う。
【０００４】
次に、Ｇ信号の補間を示す。ユニット内の中央の画素は、Ｂ信号である。この画素は、Ｇ信号の情報がないので、Ｇ信号を補間により求める必要がある。中央の画素のＧ信号をＧｃ信号とする。Ｇｃ信号は、以下の平均化処理により求めることができる。
【０００５】
Ｇｃ＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４ ・・・（１）
ここで、Ｇ１，Ｇ２，Ｇ３，Ｇ４信号は、それぞれＧｃ信号の画素に隣接する４画素のＧ信号である。
【０００６】
図１１（Ｂ）は、１本の横エッジを含む３×３の画像データを示す。この画像データの場合、上記の４画素平均により中央画素のＧｃ信号を求めると、横エッジがぼやけてしまい、好ましくない。そこで、横エッジを含む画像データの場合は、以下の式により、Ｇｃ信号を求める。
【０００７】
Ｇｃ＝（Ｇ２＋Ｇ３）／２ ・・・（２）
【０００８】
３×３の画像データが横エッジを含むか否かの判断方法を示す。画像データがエッジを含む場合において、以下の条件式を満たす場合は、画像データが横エッジを含むものと判断する。
【０００９】
｜Ｇ１−Ｇ４｜＞｜Ｇ２−Ｇ３｜ ・・・（３）
【００１０】
図１１（Ｃ）は、１本の縦エッジを含む３×３の画像データを示す。この画像データの場合も、上記の４画素平均により中央画素のＧｃ信号を求めると、縦エッジがぼやけてしまい、好ましくない。縦エッジを含む画像データの場合は、以下の式により、Ｇｃ信号を求める。
【００１１】
Ｇｃ＝（Ｇ１＋Ｇ４）／２ ・・・（４）
【００１２】
３×３の画像データが縦エッジを含むか否かの判断方法を示す。画像データがエッジを含む場合において、以下の条件式を満たす場合は、画像データが縦エッジを含むものと判断する。
【００１３】
｜Ｇ１−Ｇ４｜＜｜Ｇ２−Ｇ３｜ ・・・（５）
【００１４】
図１１（Ｂ）、（Ｃ）は、いずれも画像データが１本のエッジを含むものである。その場合は、上記の方法によりＧｃ信号を求めることにより、エッジの解像度を維持することができる。
【００１５】
図１１（Ｄ）は、２本の横エッジを含む３×３の画像データを示す。２本の横エッジは、第１行と第２行の間の横エッジと第２行と第３行の間の横エッジを指すものとする。この画像データは、上記の条件式（３）と（５）を用いても、横エッジかあるいは縦エッジかを判断することができない。具体的には、｜Ｇ１−Ｇ４｜＝｜Ｇ２−Ｇ３｜となり、条件式（３）と（５）のいずれをも満足しない。
【００１６】
この場合、条件式（３）と（５）のいずれをも満足しないからといって、上式（１）により、Ｇｃ信号を求めることは適切ではない。つまり、この場合は、画像データに横エッジが含まれると判断し、上式（２）により、Ｇｃ信号を求めることが好ましい。仮に、Ｇｃ信号を式（１）により求めると、第２行を構成する１ライン中で、Ｇｃ信号のみが他とは異なる値になってしまう。
【００１７】
【発明が解決しようとする課題】
画像データ中に１本のエッジが含まれている場合には、Ｇ信号の適切な補間を行うことができるが、画像データ中に２本のエッジが含まれている場合には、Ｇ信号の適切な補間を行うことができない。
【００１８】
また、画像データにノイズが入っている場合には、横エッジまたは縦エッジのいずれかを判定する際に、誤判定を行うことがある。エッジの誤判定を基に補間を行うと、適切な補間を行うことができない。
【００１９】
不適切な補間を行うと、エッジ（輪郭）がぼけてしまい、画像の解像度が低下してしまう。また、偽色（本来存在しない色）が発生してしまい、画像の再現性が低下する。
【００２０】
本発明の目的は、種々のパターンを構成する画像信号を適切に補間することができる画像信号処理技術を提供することである。
【００２１】
本発明の他の目的は、ノイズを含む画像信号を適切に補間することができる画像信号処理技術を提供することである。
【００２２】
【課題を解決するための手段】
本発明の一観点によれば、ベイヤ配列の単板式電荷結合素子が出力する画像信号中の複数の画素をそれぞれ順次対象画素として該対象画素の補間を行う装置は、対象画素に隣接する４画素を基に対象画素が１本のエッジを形成する画素であるか否かを判定する第１のエッジ判定手段と、前記第１のエッジ判定手段により前記対象画素が１本のエッジを形成する画素であると判定されると、該エッジが横方向であるか又は縦方向であるかを判定する第１のエッジ方向判定手段と、前記第１のエッジ判定手段により前記対象画素が１本のエッジを形成する画素でないと判定されると、該対象画素に隣接する４画素を基に対象画素が２本のエッジを形成する画素であるか否かを判定する第２のエッジ判定手段と、前記第１のエッジ方向判定手段により前記エッジが横方向であると判定されると、少なくとも前記対象画素の横方向に隣接する左右の２画素を基に該対象画素の補間を行い、前記エッジが縦方向であると判定されると、少なくとも前記対象画素の縦方向に隣接する上下の２画素を基に該対象画素の補間を行うとともに、前記第２のエッジ方向判定手段により前記エッジが横方向であると判定されると、少なくとも前記対象画素の横方向に隣接する左右の２画素を基に該対象画素の補間を行い、前記エッジが縦方向であると判定されると、少なくとも前記対象画素の縦方向に隣接する上下の２画素を基に該対象画素の補間を行う補間手段と、前記画像信号処理装置はさらに、前記第１及び第２のエッジ方向判定手段により判定される複数の対象画素のエッジ方向を記憶する記憶手段と、前記記憶手段に記憶される対象画素の周囲の画素のエッジ方向の過半数が該対象画素のエッジ方向と異なるエッジ方向であるときには、該対象画素が該異なるエッジ方向であると再判定し、前記補間手段に対象画素の補間を指示又は自ら補間する再判定手段とを有する。
【００２３】
対象画素が１本のエッジを形成する画素であるか否かを判定した後に、該エッジの方向を判定するので、適切なエッジ方向を判定することができる。例えば、対象画素が２本のエッジを形成するものや対象画素がエッジを形成しないものを除外した後に、エッジの方向を判定することができる。
【００２５】
対象画素が形成するエッジの方向を判定した後に、周囲の画素のエッジ方向を基に対象画素のエッジ方向を再判定するので、ノイズが含まれている場合であっても、適切なエッジ方向を判定することできる。
【００２６】
【発明の実施の形態】
図２は、単板式電荷結合素子（ＣＣＤ）カメラにより撮像された画像データ１を示す。画像データ１は、例えばＶＧＡ規格の画像であり、その大きさは６４０×４８０画素である。
【００２７】
画像データ１は、単板のセンサ上にベイヤ配列でＲ，Ｇ，Ｂ信号（原色）が配列されている。ベイヤ配列では、ある行（横配列）はＲ信号とＧ信号とが交互に配列されており、その次の行はＧ信号とＢ信号とが交互に配列されている。つまり、Ｒ，Ｇ信号の行とＧ，Ｂ信号の行とが交互に並ぶ。各Ｒ信号及び各Ｂ信号は、上下左右をＧ信号で囲まれる。Ｇ信号は、輝度（Ｙ）信号との相関が強いため、解像度に大きな影響を与える。ベイヤ配列は、解像度を低下させないために、Ｇ信号を多く含む配列になっている。
【００２８】
画像データ１は、６４０×４８０画素のデータを有するが、各画素はＲ，Ｇ，Ｂ信号のうちのいずれか１つの色信号から構成される。各画素は、１色で構成されるので、他の２色を補間する必要がある。その補間を行うために、補間用の画像データ２を生成する。
【００２９】
画像データ２は、６４２×４８２の大きさを有する。画像データ２は、画像データ１を１まわり大きくしたものである。すなわち、最上行Ｌ０、最下行Ｌ４８１、最左列Ｃ０及び最右列Ｃ６４１を画像データ１に付加して、画像データ２を生成する。
【００３０】
第０行（最上行）Ｌ０は第２行Ｌ２をコピーしたものであり、第４８１行（最下行）Ｌ４８１は第４７９行Ｌ４７９をコピーしたものである。第０列（最左列）Ｃ０は第２列Ｃ２をコピーしたものであり、第６４１列（最右列）Ｃ６４１は第６３９列Ｃ６３９をコピーしたものである。
【００３１】
画像データ２を任意の場所で３×３のブロックに分割すると、４種類のブロックに分割され得る。
【００３２】
図３（Ａ）〜（Ｄ）は、分割可能な４種類の３×３のブロックを示す。各ブロックの中央の画素についての色信号を補間する。
【００３３】
図３（Ａ）は、中央の画素がＢ信号であるので、中央画素のＧ信号とＲ信号とを補間により求める。Ｒ信号はＧ信号に比べ解像度への影響が小さいため、中央画素のＲ信号は平均化処理により求める。すなわち、３×３のブロック内に存在する４つのＲ信号の平均を、中央画素のＲ信号とする。Ｇ信号は解像度への影響が大きいため、後に示す方法により、中央画素のＧ信号を求める。
【００３４】
図３（Ｂ）は、中央の画素がＧ信号であるので、中央画素のＲ信号とＢ信号とを補間により求める。Ｒ，Ｂ信号はＧ信号に比べ解像度への影響が小さいため、平均化処理により中央画素のＲ，Ｂ信号を求める。すなわち、中央画素のＲ信号は、３×３のブロック内に存在する２つのＲ信号を平均することにより求め、中央画素のＢ信号も、３×３のブロック内に存在する２つのＢ信号を平均することにより求める。
【００３５】
図３（Ｃ）は、中央の画素がＧ信号であるので、中央画素のＲ信号とＢ信号とを補間により求める。この場合も、図３（Ｂ）の場合と同様に、平均化処理により中央画素のＲ，Ｂ信号を求める。
【００３６】
図３（Ｄ）は、中央の画素がＲ信号であるので、中央画素のＧ信号とＢ信号とを補間により求める。Ｂ信号はＧ信号に比べ解像度への影響が小さいため、中央画素のＢ信号を平均化処理により求める。すなわち、３×３のブロック内に存在する４つのＢ信号の平均を、中央画素のＢ信号とする。Ｇ信号は解像度への影響が大きいため、後に示す方法により、中央画素のＧ信号を求める。
【００３７】
画像データ２（図２）において、３×３のブロック単位でラスタスキャンの順番で上記の補間処理が行われる。すなわち、画像データ２の左上から右上の方向へ順次ブロックを移動させて処理を行う。その次に、１画素だけ下にずらして左端から右端へブロックを移動させる。その後、同様な処理を繰り返し、最後に右下隅のブロックの処理を行う。
【００３８】
なお、上記では、Ｒ信号及びＢ信号を平均化処理により求める場合を説明したが、Ｒ信号及びＢ信号の補間精度を高めるため、Ｇ信号の補間が終了した後に、Ｒ信号及びＢ信号の補間を行ってもよい。その補間方法を、後に図１４〜図１６を参照しながら説明する。
【００３９】
次に、図３（Ａ）、（Ｄ）に示すブロックの中央画素のＧ信号を求める方法を示す。
【００４０】
図４（Ａ）は、図３（Ａ）と図３（Ｄ）の２つのブロックを便宜上、１つのブロックで表した図である。
【００４１】
ＲＢ０，ＲＢ１，ＲＢ２，ＲＢ３，ＲＢ４信号は、いずれもＲ信号又はＢ信号のいずれかを表す。ＢＲ０信号は、中央画素の色信号である。Ｇ１信号は、中央画素の上の画素のＧ信号である。Ｇ２信号は、中央画素の左の画素のＧ信号である。Ｇ３信号は、中央画素の右の画素のＧ信号である。Ｇ４信号は、中央画素の下の画素のＧ信号である。
【００４２】
図４（Ｂ）は、図４（Ａ）のブロックについてＧ信号のみを表したブロックの図である。Ｇｃ信号は、中央画素のＧ信号であり、補間により求めるべき信号である。
【００４３】
図５（Ａ）〜（Ｃ）は、図４（Ｂ）に示すブロックのパターンの分類を示す。
図５（Ａ）は、１本のエッジ（輪郭）を含むブロックのパターンＰＮ１を示す。パターンＰＮ１は、中央画素が１本のエッジを形成する。パターンＰＮ１は、さらに、横エッジを含むブロックのパターンＰＮ１ｈと縦エッジを含むブロックのパターンＰＮ１ｖとに分類される。
【００４４】
横エッジパターンＰＮ１ｈは、例えば、第１行と第２行の間にエッジがあるブロックＰ１１，Ｐ１３、及び第２行と第３行の間にエッジがあるブロックＰ１２，Ｐ１４を含む。横エッジパターンＰＮ１ｈの場合は、以下の式により、Ｇｃ信号を求める。
【００４５】
Ｇｃ＝（Ｇ２＋Ｇ３）／２ ・・・（６）
【００４６】
縦エッジパターンＰＮ１ｖは、例えば、第１列と第２列の間にエッジがあるブロックＰ１５，Ｐ１７、及び第２列と第３列の間にエッジがあるブロックＰ１６，Ｐ１８を含む。縦エッジパターンＰＮ１ｖの場合は、以下の式により、Ｇｃ信号を求める。
【００４７】
Ｇｃ＝（Ｇ１＋Ｇ４）／２ ・・・（７）
【００４８】
図５（Ｂ）は、２本のエッジを含むブロックのパターンＰＮ２を示す。パターンＰＮ２は、中央画素が２本のエッジを形成する。パターンＰＮ２は、横エッジを含むブロックのパターンＰＮ２ｈと縦エッジを含むブロックのパターンＰＮ２ｖとに分類される。
【００４９】
横エッジパターンＰＮ２ｈは、例えば、第１行と第２行との間のエッジ及び第２行と第３行との間のエッジを有するブロックＰ２１，Ｐ２２を含む。横エッジパターンＰＮ２ｈの場合には、上式（６）により、Ｇｃ信号を求める。
【００５０】
縦エッジパターンＰＮ２ｖは、例えば、第１列と第２列との間のエッジ及び第２列と第３列との間のエッジを有するブロックＰ２５，Ｐ２６を含む。縦エッジパターンＰＮ２ｖの場合は、上式（７）により、Ｇｃ信号を求める。
【００５１】
図５（Ｃ）は、エッジを含まないブロックのパターンＰＮ０を示す。パターンＰＮ０は、中央画素がエッジを形成しない。パターンＰＮ０は、いわゆるコントラストのないブロックであり、例えば、全画素がほぼ同じ信号であるブロックＰ１，Ｐ２、及び少なくとＧ１，Ｇ２，Ｇ３，Ｇ４信号がほぼ同じ信号であるブロックＰ３，Ｐ４を含む。無エッジパターンＰＮ０の場合には、以下の平均化処理によりＧｃ信号を求める。
【００５２】
Ｇｃ＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４ ・・・（８）
【００５３】
次に、具体的にＧｃ信号を補間する方法を示す。
【００５４】
図１は、本発明の実施例によるＧｃ信号の処理方法を示すフローチャートである。
【００５５】
（１）第１の判定（ステップＳ１）
ステップＳ１では、第１の判定を行う。第１の判定は、対象ブロックが１本のエッジを含むブロックパターンＰＮ１に属するか否かを判定する。以下の条件式（９）を満たす場合には、対象ブロックが１本のエッジを含むブロックパターンＰＮ１（図５（Ａ））に属すると判定され、ＹＥＳの矢印に従い、第２の判定（ステップＳ２）へ進む。条件式（９）を満たさない場合には、対象ブロックがブロックパターンＰＮ２（図５（Ｂ））またはＰＮ０（図５（Ｃ））に属すると判定され、ＮＯの矢印に従い、第３の判定（ステップＳ３）へ進む。
【００５６】

【００５７】
δ１はしきい値である。δ１を所定値以上に設定することにより、｜Ｇ１−Ｇ４｜、｜Ｇ２−Ｇ３｜、｜｜Ｇ１−Ｇ４｜−｜Ｇ２−Ｇ３｜｜がそれぞれ有意な値を持つか否かを判断することができる。
【００５８】
しきい値δ１は、Ｇ１，Ｇ２，Ｇ３，Ｇ４を基にした次式（１０）の値が好ましい。
【００５９】

【００６０】
αとしては０．１程度が好ましい。このαを調整することで、元データのノイズレベル等の影響をほとんど受けないように最適化させることが可能である。
【００６１】
ただし、しきい値δ１があまりに小さな値になるとノイズ成分の方が大きくなり、誤判定が増える。そこで、δ１にリミッターをかける。すなわち、δ１がある数β以下になる時はδ１＝βとする。Ｇ信号が１０ビット（２¹⁰＝１０２４）の場合には、この値βは６４程度が好ましい。
【００６２】
（２）第２の判定（ステップＳ２）
ステップＳ２では、第２の判定を行う。第２の判定は、対象ブロックに含まれるエッジが横エッジ又は縦エッジのいずれであるのかを判定する。以下の条件式（１１）を満たす場合には、対象ブロックが横エッジブロックパターンＰＮ１ｈ（図５（Ａ））に属すると判定され、横エッジ処理（ステップＳ５）へ進む。条件式（１１）を満たさない場合には、以下の条件式（１２）を満たすことになり、対象ブロックが縦エッジブロックパターンＰＮ１ｖ（図５（Ａ））に属すると判定され、縦エッジ処理（ステップＳ６）へ進む。
【００６３】
｜Ｇ１−Ｇ４｜＞｜Ｇ２−Ｇ３｜ ・・・（１１）
｜Ｇ１−Ｇ４｜＜｜Ｇ２−Ｇ３｜ ・・・（１２）
【００６４】
（３）第３の判定（ステップＳ３）
ステップＳ３では、第３の判定を行う。第３の判定は、対象ブロックが２本のエッジを含むブロックパターンＰＮ２に属するか否かを判定する。以下の条件式（１３）を満たす場合には、対象ブロックが２本のエッジを含むブロックパターンＰＮ２（図５（Ｂ））に属すると判定され、ＹＥＳの矢印に従い、第４の判定（ステップＳ４）へ進む。条件式（１３）を満たさない場合には、対象ブロックが無エッジブロックパターンＰＮ０（図５（Ｃ））に属すると判定され、ＮＯの矢印に従い、無エッジ処理（ステップＳ７）へ進む。
【００６５】
｜｜Ｇ１＋Ｇ４｜−｜Ｇ２＋Ｇ３｜｜＞δ２ ・・・（１３）
【００６６】
δ２はしきい値である。δ２を所定値以上に設定することにより、｜｜Ｇ１＋Ｇ４｜−｜Ｇ２＋Ｇ３｜｜が有意な値を持つか否かを判断することができる。
【００６７】
しきい値δ２は、しきい値δ１を基にした次式（１４）の値が好ましい。
【００６８】
δ２＝γ×δ１ ・・・（１４）
【００６９】
γとしては０．５程度が好ましい。このγを調整することで、元データのノイズレベル等の影響をほとんど受けないように最適化させることが可能である。
【００７０】
（４）第４の判定（ステップＳ４）
ステップＳ４では、第４の判定を行う。第４の判定は、対象ブロックに含まれるエッジが横エッジ又は縦エッジのいずれであるのかを判定する。図６（Ａ）に示すように、対象ブロック１１内において中央画素の左上のＧ’信号を用いる。Ｇ’信号は、ブロック１２において補間により求められる信号である。ブロック１２は、対象ブロック１２の左上のブロックである。ブロック１２は、対象ブロック１１よりも前に処理されているので、対象ブロック１１の処理を行う際には、Ｇ’信号は既知の信号である。
【００７１】
以下の条件式（１５）を満たす場合には、図６（Ｂ）に示すように、対象ブロックが横エッジブロックパターンＰＮ２ｈ（図５（Ｂ））に属すると判定され、横エッジ処理（ステップＳ５）へ進む。条件式（１５）を満たさず、かつ以下の条件式（１６）を満たす場合には、図６（Ｃ）に示すように、対象ブロックが縦エッジブロックパターンＰＮ２ｖ（図５（Ｂ））に属すると判定され、縦エッジ処理（ステップＳ６）へ進む。
【００７２】
｜Ｇ２−Ｇ’｜＞｜Ｇ１−Ｇ’｜ ・・・（１５）
｜Ｇ２−Ｇ’｜＜｜Ｇ１−Ｇ’｜ ・・・（１６）
【００７３】
なお、第１行の画素を求める際、左上にブロックが存在しないので、上記の方法により判定することができないが、第１行の画素は１フレーム内の隅の画素であるので、例え誤判定によりノイズが発生しても、視覚上それほど気にならない。
【００７４】
また、中央画素の左上の画素のＧ’信号を用いる代わりに、中央画素の右上の画素を用いてもよい。また、画像データの下から上の方向へ処理する場合には、中央画素の左下又は右下の画素のＧ信号を用いてもよい。
【００７５】
（５）横エッジ処理（ステップＳ５）
ステップＳ５では、横エッジ処理を行う。すなわち、対象ブロックのＧｃ信号を、以下の式（１７）により求め、エラー補正処理（ステップＳ８）へ進む。
【００７６】
Ｇｃ＝（Ｇ２＋Ｇ３）／２ ・・・（１７）
【００７７】
さらに、図７（Ｂ）に示すように、当該ブロックが横エッジパターンであることを示すため、横エッジデータＨＲを記録する。図７（Ｂ）に示すエッジデータ２２は、図７（Ａ）に示す画像データ２１に対応するエッジデータである。エッジデータ２２は、Ｇｃ信号を求めたブロックのエッジデータである。画像データ２１中の横エッジの部分は、エッジデータ２２において横エッジデータＨＲとして記録される。例えば、横エッジデータＨＲを「＋１」として記録する。
【００７８】
（６）縦エッジ処理（ステップＳ６）
ステップＳ６では、縦エッジ処理を行う。すなわち、対象ブロックのＧｃ信号を、以下の式（１８）により求め、エラー補正処理（ステップＳ８）へ進む。
【００７９】
Ｇｃ＝（Ｇ１＋Ｇ４）／２ ・・・（１８）
【００８０】
さらに、エッジデータ２２（図７（Ｂ））において、当該ブロックが縦エッジパターンであることを示すため、縦エッジデータＶＲを記録する。画像データ２１（図７（Ａ））中の縦エッジの部分は、エッジデータ２２において縦エッジデータＶＲとして記録される。例えば、縦エッジデータＶＲを「−１」として記録する。
【００８１】
（７）無エッジ処理（ステップＳ７）
ステップＳ７では、無エッジ処理を行う。すなわち、対象ブロックのＧｃ信号を、以下の式（１９）により求め、エラー補正処理（ステップＳ８）へ進む。
【００８２】
Ｇｃ＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４ ・・・（１９）
【００８３】
さらに、エッジデータ２２（図７（Ｂ））において、当該ブロックが無エッジパターンであることを示すため、無エッジデータ（図示せず）を記録する。例えば、無エッジデータを「０」として記録する。
【００８４】
（８）エラー補正処理（ステップＳ８）
ステップＳ８では、エラー補正処理を行う。例えば、エッジデータ２２（図７（Ｂ））において、本来、縦エッジデータＶＲであるべきところが、ノイズ等により誤って横エッジデータＨＲ’と判断されて記録されることがある。この横エッジデータＨＲ’は、非常に目立つ補間エラーとして画像データ中に現れる。すなわち、縦エッジの線の中に１点だけ補間エラーが生じる。この補間エラーは、画像データ中の数％程度であるが、消去することが好ましい。この補間エラーをなくすために、以下のエラー補正処理を行う。
【００８５】
エッジデータ２２を、図８に示す５×５のブロック２３単位で処理する。ブロック２３の横軸をＸ軸とし、縦軸をＹ軸とする。座標（Ｘ，Ｙ）に位置するエッジデータＥを、エッジデータＥ（Ｘ，Ｙ）と表現する。エッジデータＥ（Ｘ，Ｙ）は、Ｇｃ信号を求めた画素の位置に生成される。
【００８６】
エッジデータＥ（０，０）は、ブロック２３の中央のエッジデータである。エラー補正処理により、エッジデータＥ（０，０）に誤りがあれば、その補正を行う。
【００８７】
まず、式（２０）により、Ｅ（０，０）の周囲の８つのデータを加算し、値ＲＤを求める。
【００８８】

【００８９】
エッジデータＥは、上記のように、横エッジデータＨＲのときに「＋１」で表され、横エッジデータＶＲのときに「−１」で表され、無エッジデータのときに「０」で表される。
【００９０】
周囲の８つのデータ中で、横エッジデータＨＲが多く含まれている場合には値ＲＤが正値になり、縦エッジデータＶＲが多く含まれている場合には値ＲＤが負値になる。
【００９１】
次に、対象エッジデータＥ（０，０）と上記の値ＲＤを比較する。データＥ（０，０）が「−１」（縦エッジ）であるのに、値ＲＤが正値（横エッジ）であるときには、データＥ（０，０）を「＋１」（横エッジ）に補正し、Ｇｃ信号を横エッジ処理（ステップＳ５）により求め直す。すなわち、周囲の大部分が横エッジであるので、データＥ（０，０）を横エッジに補正する。
【００９２】
一方、データＥ（０，０）が「＋１」（横エッジ）であるのに、値ＲＤが負値（縦エッジ）であるときには、データＥ（０，０）を「−１」（縦エッジ）に補正し、Ｇｃ信号を縦エッジ処理（ステップＳ６）により求め直す。すなわち、周囲の大部分が縦エッジであるので、データＥ（０，０）を縦エッジに補正する。
【００９３】
なお、データＥ（０，０）が「０」（無エッジ）であるときには、値ＲＤにかかわらず、補正を行わない。データＥ（０，０）が「０」であるときには、エラーを含んでいる確率が少ないこと、及びエラーを含んでいるときでも目立つノイズにはならないことの理由から、補正を行う必要性は少ない。
【００９４】
画像データがノイズを含んでいる場合でも、上記のエラー補正処理を行うことにより、正しいエッジ方向を再判定して、Ｇｃ信号の補間を行うことができる。正しいエッジ方向を判定又は再判定してＧ信号の補間を行うことにより、解像度の低下を防止すると共に、偽色（本来存在しないはずの色）の発生を防止することができる。
【００９５】
図９は、本実施例による色信号処理装置の構成を示す。この色信号処理装置は、図１のフローチャートに示す処理を実現する装置である。
【００９６】
ビデオソース３１は、例えばＣＣＤカメラやメモリであり、画像データＳＳ１を供給する。入力手段３２は、ビデオソース３１から画像データＳＳ１を受けて、３×３のブロックデータＳＳ２を出力する。
【００９７】
１本のエッジ検出手段３３は、図１のステップＳ１に相当し、入力手段３２からブロックデータＳＳ２を受けて、当該ブロックデータが１本のエッジパターンＰＮ１に属するか否かを検出し、第１のエッジ方向検出手段３４と２本のエッジ検出手段３６に検出信号ＳＳ３を出力する。
【００９８】
第１のエッジ方向検出手段３４は、図１のステップＳ２に相当し、上記の検出信号ＳＳ３を受けたときに、ブロックデータＳＳ２に含まれるエッジの方向を検出し、エッジ信号Ｓｈ又はＳｖを出力する。横エッジを検出したときには横エッジ信号Ｓｈを横エッジ処理手段３７に出力し、縦エッジを検出したときには縦エッジ信号Ｓｖを縦エッジ処理手段３８に出力する。
【００９９】
２本のエッジ検出手段３６は、図１のステップＳ３に相当し、上記の検出信号ＳＳ３が得られないとき、入力手段３２からブロックデータＳＳ２を受けて、当該ブロックデータが２本のエッジパターンＰＮ２に属するか否かを検出する。そして、属する旨を検出したときには信号ＳＳ４を第２のエッジ方向検出手段３５に出力し、属する旨を検出しないときには無エッジ信号Ｓｎを無エッジ処理手段３９に出力する。
【０１００】
第２のエッジ方向検出手段３５は、図１のステップＳ４に相当し、上記の検出信号ＳＳ４を受けたときに、ブロックデータＳＳ２に含まれるエッジの方向を検出し、エッジ信号Ｓｈ又はＳｖを出力する。横エッジを検出したときには横エッジ信号Ｓｈを横エッジ処理手段３７に出力し、縦エッジを検出したときには縦エッジ信号Ｓｖを縦エッジ処理手段３８に出力する。
【０１０１】
横エッジ処理手段３７は、図１のステップＳ５に相当し、横エッジ信号Ｓｈを受けると、ブロックデータＳＳ２を基に上式（１７）によりＧｃ信号を求め、エッジデータＥを「＋１」として記録する。
【０１０２】
縦エッジ処理手段３８は、図１のステップＳ６に相当し、縦エッジ信号Ｓｖを受けると、ブロックデータＳＳ２を基に上式（１８）によりＧｃ信号を求め、エッジデータＥを「−１」として記録する。
【０１０３】
無エッジ処理手段３９は、図１のステップＳ７に相当し、無エッジ信号Ｓｎを受けると、ブロックデータＳＳ２を基に上式（１９）によりＧｃ信号を求め、エッジデータＥを「０」として記録する。
【０１０４】
エラー補正手段４０は、横エッジ処理手段３７と縦エッジ処理手段３８と無エッジ処理手段３９に接続される。エラー補正手段４０は、図１のステップＳ８に相当し、エッジデータＥにエラーが含まれているときには、それに対応するＧｃ信号を求め直す。エラー補正手段４０は、自らＧｃ信号を求め直してもよいし、横エッジ処理手段３７又は縦エッジ処理手段３８にＧｃ信号の求め直しを指示してもよい。
【０１０５】
記憶手段４１は、画像データＳＳ１及び補間信号Ｇｃを記憶する。補間信号Ｇｃの他、Ｒ，Ｂ信号の補間信号も記憶手段４１に記憶される。記憶手段には、１フレーム分のＲ，Ｇ，Ｂ信号が記憶される。この後、Ｒ，Ｇ，Ｂ信号をＹ，Ｃｂ，Ｃｒ信号に変換してもよい。
【０１０６】
図１のステップＳ４では、補間対象画素の左上のＧ’信号を用いることにより、横エッジ又は縦エッジのいずれであるのかを判定した。このＧ’信号は補間によって求められたものであるため、Ｇ’信号自身が誤判定により導出されたものである可能性がある。Ｇ’信号の導出に誤判定があった場合には、現在の補間対象画素についても、エッジ判定で誤判定となる可能性が高い。その結果、１つの画素についての誤判定が隣接するユニット（ブロック）内の他の画素についての誤判定をも引き起し、ある領域で連鎖的に誤判定を引き起こすことがある。誤判定の領域が広範囲に及ぶと、図１のステップＳ８におけるエラー補正処理によってもエラー補正ができなくなってしまうことがある。ステップＳ８のエラー補正処理は、誤判定が散らばって発生した際に、有効なエラー補正である。また、誤判定が広範囲に及ぶと、その領域でのノイズは目立つものになってしまう。
【０１０７】
次に、図１のステップＳ４におけるエッジ判定の他の方法を示す。上記のＧ’信号を用いてエッジ判定をする代わりに、次のエッジ判定を行うことができる。上記では、Ｇ信号のみを使っていたが、Ｇ信号のみを使ってエッジ判定をすることは困難であるため、Ｒ信号及びＢ信号をも用いてエッジ判定を行う。図３（Ａ）及び（Ｄ）の場合が、中央画素のＧｃ信号を補間により求める必要がある場合である。まず、図３（Ａ）の場合を説明する。
【０１０８】
図１２（Ａ）〜（Ｄ）は、図３（Ａ）の３×３ブロックを示し、いずれも２本のエッジを含む。図１のステップＳ４では、ステップＳ３でブロック内に２本のエッジが含まれていると判断されたもののみが処理対象となる。したがって、対象ブロックは、図１２（Ａ）〜（Ｄ）の４種類である。図１２（Ａ）及び（Ｂ）のブロックは、第１行ＬＮ１及び第２行ＬＮ２の間のエッジと第２行ＬＮ２及び第３行ＬＮ３の間のエッジとの２本のエッジを含む。図１２（Ｃ）及び（Ｄ）のブロックは、第１列ＣＬ１及び第２列ＣＬ２の間のエッジと第２列ＣＬ２及び第３列ＣＬ３の間のエッジの２本のエッジを含む。
【０１０９】
まず、縦方向（垂直方向）の差分ＤＶを次式により求める。

【０１１０】
縦方向の差分ＤＶは、第１行ＬＮ１（３画素の和）と第２行ＬＮ２（３画素の和）の差分と、第３行ＬＮ３（３画素の和）と第２行ＬＮ２（３画素の和）の差分との和であり、縦方向の差分の大きさを表す。これは、３×３ブロック内でＲ、Ｇ、Ｂ信号の３種類の信号を区別することなく、差分の大きさを検出していることになる。
【０１１１】
同様に、横方向（水平方向）の差分ＤＨを次式により求める。

【０１１２】
横方向の差分ＤＨは、第１列ＣＬ１（３画素の和）と第２列ＣＬ２（３画素の和）の差分と第３列ＣＬ３（３画素の和）と第２列ＣＬ２（３画素の和）の差分との和であり、横方向の差分の大きさを表す。
【０１１３】
縦方向の差分ＤＶと横方向の差分ＤＨとの関係は、次の３種類に大別される。各関係に応じて、次に示す補間を行い、中央画素のＧｃ信号を求める。
【０１１４】
（１）ＤＶ＞ＤＨ
縦方向の差分ＤＶが横方向の差分ＤＨよりも大きいときには、対象ブロックが横エッジを含むと判定する。横エッジの場合は、上記と同様に、次式により、左右両隣の２画素を平均化して、Ｇｃ信号を求める。
【０１１５】
Ｇｃ＝（Ｇ２＋Ｇ３）／２
【０１１６】
（２）ＤＨ＞ＤＶ
横方向の差分ＤＨが縦方向の差分ＤＶよりも大きいときには、対象ブロックが縦エッジを含むと判定する。縦エッジの場合は、次式により、上下両隣の２画素を平均化して、Ｇｃ信号を求める。
【０１１７】
Ｇｃ＝（Ｇ１＋Ｇ４）／２
【０１１８】
（３）ＤＶ＝ＤＨ
縦方向の差分ＤＶと横方向の差分ＤＨが同じときには、エッジ方向を判別することができないので、次式により、隣接する４画素を平均化してＧｃ信号を求める。
【０１１９】
Ｇｃ＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４
【０１２０】
なお、４画素平均する代わりに、縦エッジ又は横エッジのいずれかであるとして、強行的に２画素平均により、Ｇｃ信号を求めてもよい。この場合は、エッジ判定に失敗する可能性があるが、この後に行うエラー補正処理（図１のステップＳ８）により、そのエッジ判定の誤りを訂正可能である。
【０１２１】
縦方向の差分ＤＶ及び横方向の差分ＤＨは、上式（２１）及び（２２）に限らず、次式により簡略化し、少ない演算で求めても、同様な効果が得られる。次式（２３）及び（２４）は、各行又は各列についての２画素の和の差分を求める。
【０１２２】

【０１２３】
図１３（Ａ）〜（Ｄ）は、図３（Ｄ）の３×３ブロックを示し、いずれも２本のエッジを含む。縦エッジの差分ＤＶ及び横エッジの差分ＤＨを次式により求め、その後、上記と同様に３つの場合に大別して、Ｇｃ信号を求める。
【０１２４】

【０１２５】
この場合も、式（２３）及び（２４）と同様に、式（２５）及び（２６）を簡略化して演算量を減らしてもよい。
【０１２６】
上記のエッジ判定方法は、誤判定を完全になくすことができないが、連鎖的に他の画素についての誤判定を引き起こすことは少なく、分散して誤判定が生じ易い。このような分散した誤判定は、エラー補正処理（図１のステップＳ８）により効果的に訂正することができるので、誤判定は激減する。結果的に、正しいエッジ判定を行うことができるので、Ｇｃ信号を適切に補間し、画質を高めることができる。
【０１２７】
以上は、Ｇ信号の補間方法を示した。次に、Ｒ信号及びＢ信号の補間方法を説明する。Ｇ信号の補間が終了した後、以下の方法によりＲ信号及びＢ信号を補間することができる。Ｒ信号の場合を例にして以下説明するが、Ｂ信号もＲ信号と同様な方法により補間することができる。
【０１２８】
図１４（Ａ）は、図３（Ａ）に示す３×３ブロックのうちＲ信号のみを示す。３×３ブロックは、４隅の信号Ｒ１１，Ｒ１３，Ｒ３１，Ｒ３３がＣＣＤカメラにより撮像された信号であり、それ以外の信号Ｒ１２，Ｒ２１，Ｒ２２，Ｒ２３，Ｒ３２が補間により求める信号である。まず、信号Ｒ１２を求める方法を示す。信号Ｒ３２も、信号Ｒ１２と同様の方法により求めることができる。
【０１２９】
図１４（Ｂ）は、補間対象である信号Ｒ１２の画素を含む第１行ＬＮ１の画素を示す。上段は、第１行ＬＮ１のＧ信号を示し、上記の補間により全画素の緑信号Ｇ１〜Ｇ５が求められている。下段は、同じ第１行ＬＮ１の画素において、奇数番目の画素の信号Ｒ１１，Ｒ１３，Ｒ１５，…がＣＣＤカメラにより撮像された信号であり、偶数番目の画素の信号Ｒ１２，Ｒ１４，…が補間により求める信号である。すなわち、第１の画素は、緑信号がＧ１であり、赤信号がＲ１１である。
【０１３０】
図１５（Ａ）は、上段に第１行ＬＮ１の色信号を示し、下段に当該第１行ＬＮ１に入射する光信号を示す。
【０１３１】
第１、第３、第５及び第７の画素には白色が入射し、第２、第４及び第６の画素には黒色が入射する場合を考える。色信号を８ビットで表現する場合、白色は、赤信号が２５５、緑信号が２５５、青信号が２５５で表される。図では、これを（２５５，２５５，２５５）で表す。黒色は、赤信号が０、緑信号が０、青信号が０で表される。図では、これを（０，０，０）で表す。
【０１３２】
図１５（Ｂ）は、上段に緑信号の画素位置を示し、下段に緑信号の大きさを示す。緑信号Ｇ１＝Ｇ３＝Ｇ５＝Ｇ７＝２５５であり、緑信号Ｇ２＝Ｇ４＝Ｇ６＝０である。
【０１３３】
図１５（Ｃ）は、上段に赤信号の画素位置を示し、下段に赤信号の大きさを示す。赤信号Ｒ１１，Ｒ１３，Ｒ１５，Ｒ１７は、ＣＣＤカメラにより撮像された値をそのまま使用することができる。すなわち、赤信号Ｒ１１＝Ｒ１３＝Ｒ１５＝Ｒ１７＝２５５である。第２、第４及び第６の画素については、後に示す色差信号空間で補間を行うことにより、赤信号Ｒ１２＝Ｒ１４＝Ｒ１６＝０を得ることができる。この補間により、図１５（Ａ）の下段に示す原信号中の赤成分をノイズなしで再現することができる。
【０１３４】
図１５（Ｄ）は、上段に青信号の画素位置を示し、下段に青信号の大きさを示す。青信号Ｂ１２，Ｂ１４，Ｂ１６は、ＣＣＤカメラにより撮像された値をそのまま使用することができる。すなわち、青信号Ｂ１２＝Ｂ１４＝Ｂ１６＝０である。第１、第３、第５及び第７の画素については、赤信号と同様な補間を行うことにより、青信号Ｂ１１＝Ｂ１３＝Ｂ１５＝Ｂ１７＝２５５を得ることができる。この補間により、図１５（Ａ）の下段に示す原信号中の青成分をノイズなしで再現することができる。
【０１３５】
図１６（Ａ）〜（Ｅ）は、図１５（Ｃ）に示す赤信号の補間方法の詳細を示す。
【０１３６】
図１６（Ａ）は、第１行ＬＮ１の色信号を示す。第１行ＬＮ１には、図１５（Ａ）の下段に示す信号が入射される。括弧内の値は、色信号の大きさを表す。
【０１３７】
まず、図１６（Ａ）に示す原色信号Ｒ，Ｇを図１６（Ｂ）に示す色差信号Ｃｒに変換する。すなわち、原色信号空間から色差信号空間への写像を行う。Ｙ−Ｃｂ−Ｃｒ空間とＲ−Ｇ−Ｂ空間は、以下の関係を有する。ここで、Ｙ信号は輝度信号を意味する。
【０１３８】
Ｙ ＝ ０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ ・・・（２７）
Ｃｒ＝ ０．７Ｒ−０．５９Ｇ−０．１１Ｂ ・・・（２８）
Ｃｂ＝−０．３Ｒ−０．５９Ｇ＋０．８９Ｂ ・・・（２９）
【０１３９】
式（２８）は式（３０）に近似することができ、式（２９）は式（３１）に近似することができる。
【０１４０】
Ｃｒ≒Ｒ−Ｇ ・・・（３０）
Ｃｂ≒Ｂ−Ｇ ・・・（３１）
【０１４１】
式（３０）を用いて、図１６（Ａ）の各画素についてのＣｒ信号を求める。ただし、Ｇ信号とＲ信号が存在する第１、第３、第５及び第７画素の信号のみを次式により求める。
【０１４２】
Ｃｒ１１＝Ｒ１１−Ｇ１＝２５５−２５５＝０
Ｃｒ１３＝Ｒ１３−Ｇ３＝２５５−２５５＝０
Ｃｒ１５＝Ｒ１５−Ｇ５＝２５５−２５５＝０
Ｃｒ１７＝Ｒ１７−Ｇ７＝２５５−２５５＝０
【０１４３】
次に、上記の色差信号（図１６（Ｂ））を基に足りない画素の色差信号（図１６（Ｃ））を補間により求める。すなわち、Ｒ信号が存在しない第２、第４及び第６画素のＣｒ信号を以下の直線補間により求める。
【０１４４】
Ｃｒ１２＝（Ｃｒ１１＋Ｃｒ１３）／２＝０
Ｃｒ１４＝（Ｃｒ１３＋Ｃｒ１５）／２＝０
Ｃｒ１６＝（Ｃｒ１５＋Ｃｒ１７）／２＝０
【０１４５】
なお、補間方法は、隣接する２画素を基に補間する場合に限定されず、それ以上又はそれ以下の画素数を基に補間を行ってもよい。また、補間方法は、直線補間に限定されず、その他の重み付け補間により求めてもよい。
【０１４６】
次に、補間された色差信号Ｃｒ（図１６（Ｃ））を原色信号Ｒ（図１６（Ｄ））に戻す。原色信号Ｒは、上式（３０）を用いて以下のように求める。
【０１４７】
Ｒ１２＝Ｃｒ１２＋Ｇ２＝０＋０＝０
Ｒ１４＝Ｃｒ１４＋Ｇ４＝０＋０＝０
Ｒ１６＝Ｃｒ１６＋Ｇ６＝０＋０＝０
【０１４８】
図１６（Ｅ）に示すように、補間されたＲ１２，Ｒ１４，Ｒ１６信号が得られる。図１６（Ｅ）の赤信号は、図１５（Ｃ）に示す赤信号と同じである。上記の補間により、図１６（Ａ）の下段に示す入射信号中の赤成分をノイズなしで再現することができ、解像度の低下及び偽色（本来被写体にない色）の発生を抑制することができる。
【０１４９】
例えば、図１６（Ａ）において、仮に以下の平均化処理により、赤信号Ｒ１２を求めるとすると、本来はＲ１２＝０であるのに、Ｒ１２＝２５５となり、ノイズを含むものになってしまう。このノイズは、解像度の低下又は偽色の発生を招き、好ましくない。
【０１５０】
Ｒ１２＝（Ｒ１１＋Ｒ１３）／２＝２５５ ・・・（３２）
【０１５１】
以上は具体例を示した。一般的に、第ｎ画素の赤信号Ｒ_n は、次の一般式により補間することができる。
【０１５２】
Ｒ_n ＝Ｇ_n ＋｛（Ｒ_n-1 −Ｇ_n-1 ）＋（Ｒ_n+1 −Ｇ_n+1 ）｝／２
【０１５３】
青信号も、上記の赤信号と同様な方法により補間を行うことができる。
【０１５４】
次に、上記の補間方法を用いることにより、画像の解像度の低下を抑制することができる理由を説明する。
【０１５５】
上式（２７）〜（２９）は、色差信号空間（Ｙ−Ｃｂ−Ｃｒ）と原色信号空間（Ｒ−Ｇ−Ｂ）が別空間であることを示す。赤信号の単純平均化処理は、原色信号空間で補間を行うため、輝度（Ｙ）信号に対して多かれ少なかれ影響を与えてしまう。これが、Ｙ信号にノイズを発生させる原因になる。Ｙ信号は、Ｃｒ，Ｃｂ信号に比べ、解像度に大きな影響を与えることが知られている。つまり、原色信号空間で補間を行うと、解像度の低下を招く。
【０１５６】
一方、本実施例では、色差信号空間で補間を行う。具体的には、Ｃｒ信号とＣｂ信号について補間を行い、Ｙ信号を変化させない。Ｙ信号を変化させないので、解像度の低下を激減させることができる。本実施例は、色差信号空間で補間を行うことにより、解像度の低下を抑制することができる。
【０１５７】
次に、本実施例の補間方法を用いることにより、偽色の発生を抑制することができる理由を説明する。
【０１５８】
偽色は、被写体上のエッジ（輪郭）部分において発生しやすい。単純平均化の補間方法（上式（３２））を用いて、図１６（Ａ）に示す白と黒の繰り返しパターンを補間する場合を考える。補間により求めた赤信号Ｒ１２＝Ｒ１４＝Ｒ１６＝２５５が偽色となる。つまり、本来、黒色である第２、第４及び第６画素に赤色の偽色が発生する。
【０１５９】
本実施例の補間方法を用いて、図１６（Ａ）に示す白と黒の繰り返しパターンを補間する場合を考える。図１６（Ｃ）に示すように、補間により求めた赤信号Ｒ１２＝Ｒ１４＝Ｒ１６＝０は偽色の原因にならない。つまり、本来、黒色である第２、第４及び第６画素は黒色として再現される。本実施例の補間方法によれば、偽色の発生を抑制することができる。
【０１６０】
次に、図１４（Ａ）において、信号Ｒ２１を求める方法を示す。信号Ｒ２３も、信号Ｒ２１と同様の方法により求めることができる。
【０１６１】
図１４（Ｃ）は、補間対象である信号Ｒ２１の画素を含む第１列ＣＬ１の画素を示す。左段は、第１列ＣＬ１の緑信号を示す。右段は、同じ第１列ＣＬ１の赤信号を示す。第１列ＣＬ１は、上記の第１行ＬＮ１の場合と同様にして、赤信号及び青信号を求めることができる。第１行ＬＮ１では、横方向の補間を行ったが、第１列では縦方向の補間を行えばよい。
【０１６２】
以上により、図１４（Ａ）において、赤信号Ｒ１２，Ｒ２１，Ｒ２３，Ｒ３２を求めることができる。次に、中央画素の赤信号Ｒ２２の補間方法を説明する。中央画素は、元々青信号が存在しており（図３（Ａ））、緑信号が存在していなかったため、中央画素の緑信号は補間により求められている。その補間の際に、エッジ方向のデータ２２（図７（Ｂ））が記録されている。そのエッジデータ２２を用いて、赤信号Ｒ２２の補間を行う。
【０１６３】
エッジデータ２２が縦エッジを示すときには、次式により、上下２画素の平均化処理により赤信号Ｒ２２を求める。
【０１６４】
Ｒ２２＝（Ｒ１２＋Ｒ３２）／２
【０１６５】
エッジデータ２２が横エッジを示すときには、次式により、左右２画素の平均化処理により赤信号Ｒ２２を求める。
【０１６６】
Ｒ２２＝（Ｒ２１＋Ｒ２３）／２
【０１６７】
エッジデータ２２が無エッジを示すときには、次式により隣接する４画素の平均化処理により赤信号Ｒ２２を求める。
【０１６８】
Ｒ２２＝（Ｒ１２＋Ｒ２１＋Ｒ２３＋Ｒ３２）／４
【０１６９】
なお、赤信号Ｒ２２についても、上記の色差空間で補正してもよい。その際、上記のエッジデータ２２に応じて、縦方向又は横方向の補間を行うことができる。
【０１７０】
図１０は、図１のフローチャートの処理をコンピュータプログラムにより実行する場合のハードウエア構成を示す。
【０１７１】
バス５８には、ＲＯＭ５１、ＲＡＭ５２、ＣＰＵ５３、入力装置５４、表示装置５５、外部記憶装置５６、インタフェース５７が接続される。
【０１７２】
ＲＯＭ５１は、図１のフローチャートの処理を行うプログラムを記憶する。プログラムは、ＲＯＭ５１に記憶する場合に限定されず、ＲＡＭ５２又は外部記憶装置５６に記憶させてもよい。ＲＯＭ５１は、プログラムの他、パラメータ等を記憶する。
【０１７３】
ＲＡＭ５２は、画像データを記憶するフレームメモリを含む。ＲＡＭ５２は、画像データを記憶する他、フラグやレジスタを記憶し、バッファ等、ＣＰＵ５３のワーキングエリアを有する。
【０１７４】
外部記憶装置５６は、例えば、フロッピディスクドライブ（ＦＤＤ）、ハードディスクドライブ（ＨＤＤ）、コンパクトディスクリードオンリィメモリ（ＣＤ−ＲＯＭ）ドライブであり、プログラムや画像データ等を記憶する。
【０１７５】
ＣＰＵ５３は、上記のプログラムに従い、演算又は処理を行う。具体的には、画像データを基に色信号の補間処理を行い、ＲＡＭ５２又は外部記憶装置５６に補間後の画像データを記録する。
【０１７６】
インタフェース５７は、外部に対して通信を行うことができる。ＣＰＵ５３は、インタフェース５７を介して、プログラム又は画像データを入出力することができる。例えば、外部からプログラム又は画像データを入力し、ＲＡＭ５２又は外部記憶装置５６に記録することができる。
【０１７７】
入力装置５４は、ＣＣＤカメラやイメージスキャナや操作スイッチを含む。ＣＰＵ５３は、ＣＣＤカメラやイメージスキャナから画像データを取り込むことができる。操作者は、操作スイッチを操作することにより、各種処理を指示することができる。表示装置５５は、画像データや各種パラメータを表示することができる。
【０１７８】
なお、本実施例では、Ｇ信号とＲ，Ｂ信号を異なる方法で補間する場合を説明したが、Ｒ，Ｂ信号についてもＧ信号と同様な方法により補間してもよいし、Ｇ信号についてもＲ，Ｂ信号と同様な方法により補間してもよい。また、Ｙ，Ｃｂ，Ｃｒ等のその他の画像信号についても、同様な補間を行うことができる。
【０１７９】
また、３×３のブロック単位で処理する場合に限定されず、それ以上の大きさのブロックで処理してもよい。大きなブロック単位で処理を行えば、多くの画素を基に補間を行うので、補間の精度は高くなる長所はあるが、処理速度が遅くなる欠点がある。
【０１８０】
以上実施例に沿って本発明を説明したが、本発明はこれらに制限されるものではない。例えば、種々の変更、改良、組み合わせ等が可能なことは当業者に自明であろう。
【０１８１】
【発明の効果】
以上説明したように、本発明によれば、対象画素が１本のエッジを形成する画素であるか否かを判定した後に、該エッジの方向を判定するので、適切なエッジ方向を判定することができる。
【０１８２】
例えば、対象画素が２本のエッジを形成するものや対象画素がエッジを形成しないものを除外した後に、エッジの方向を判定することができる。
【０１８３】
また、対象画素が形成するエッジの方向を判定した後に、周囲の画素のエッジ方向を基に対象画素のエッジ方向を再判定するので、ノイズが含まれている場合であっても、適切なエッジ方向を判定することできる。
【０１８４】
エッジ方向を適切に判定して対象画素を補間することにより、解像度の低下又は偽色の発生を防止することができる。
【図面の簡単な説明】
【図１】本発明の実施例による画像信号処理装置又はコンピュータプログラムの処理方法を示すフローチャートである。
【図２】単板式電荷結合素子（ＣＣＤ）カメラにより撮像された画像データを示す図である。
【図３】図３（Ａ）〜（Ｄ）は、図２に示す画像データを分割可能な４種類のブロックを示す図である。
【図４】図４（Ａ）は図３（Ａ）と図３（Ｄ）の２つのブロックを便宜上、１つのブロックで表した図であり、図４（Ｂ）は図４（Ａ）のブロックについてＧ信号のみを表したブロックの図である。
【図５】図５（Ａ）は１本のエッジを含むブロックのパターンを示す図であり、図５（Ｂ）は２本のエッジを含むブロックのパターンを示す図であり、図５（Ｃ）はエッジを含まないブロックのパターンを示す図である。
【図６】図６（Ａ）は、２本のエッジを含むブロックのエッジ方向を検出する方法を示す図であり、図６（Ｂ）は横方向の２本のエッジを含むブロックを示す図であり、図６（Ｃ）は縦方向の２本のエッジを含むブロックを示す図である。
【図７】図７（Ａ）は画像データを示す図であり、図７（Ｂ）はエッジデータを示す図である。
【図８】エッジデータ及び補間データのエラー補正を行う方法を示す図である。
【図９】本実施例による画像信号処理装置の構成を示す図である。
【図１０】図１のフローチャートの処理をコンピュータプログラムにより実行する場合のハードウエア構成を示す図である。
【図１１】図１１（Ａ）はベイヤ配列の画像信号を示す図であり、図１１（Ｂ）は１本の横エッジを含むブロックを示す図であり、図１１（Ｃ）は１本の縦エッジを含むブロックを示す図であり、図１１（Ｄ）は２本の横エッジを含むブロックを示す図である。
【図１２】図３（Ａ）の３×３ブロックであり、２本のエッジを含むものを示す図である。
【図１３】図３（Ｄ）の３×３ブロックであり、２本のエッジを含むものを示す図である。
【図１４】赤信号の補間方法を示す図である。
【図１５】白と黒のストライプ模様が入射したときの色信号を示す図である。
【図１６】赤信号の補間方法をより具体的に示した図である。
【符号の説明】
１ 画像データ
２ 拡張画像データ
１１，１２ ブロック
２１ 画像データ
２２ エッジデータ
２３ エッジデータブロック
３１ ビデオソース
３２ 入力手段
３３ １本のエッジ検出手段
３４ 第１のエッジ方向検出手段
３５ 第２のエッジ方向検出手段
３６ ２本のエッジ検出手段
３７ 横エッジ処理手段
３８ 縦エッジ処理手段
３９ 無エッジ処理手段
４０ エラー補正手段
４１ 記憶手段
５１ ＲＯＭ
５２ ＲＡＭ
５３ ＣＰＵ
５４ 入力装置
５５ 表示装置
５６ 外部記憶装置
５７ インタフェース
５８ バス
ＰＮ１ １本エッジブロックパターン
ＰＮ２ ２本エッジブロックパターン
ＰＮ０ 無エッジブロックパターン

Claims (18)

1. ベイヤ配列の単板式電荷結合素子が出力する画像信号中の複数の画素をそれぞれ順次対象画素として該対象画素の補間を行う装置であって、
   対象画素に隣接する４画素を基に対象画素が１本のエッジを形成する画素であるか否かを判定する第１のエッジ判定手段と、
   前記第１のエッジ判定手段により前記対象画素が１本のエッジを形成する画素であると判定されると、該エッジが横方向であるか又は縦方向であるかを判定する第１のエッジ方向判定手段と、
   前記第１のエッジ判定手段により前記対象画素が１本のエッジを形成する画素でないと判定されると、該対象画素に隣接する４画素を基に対象画素が２本のエッジを形成する画素であるか否かを判定する第２のエッジ判定手段と、
   前記第１のエッジ方向判定手段により前記エッジが横方向であると判定されると、少なくとも前記対象画素の横方向に隣接する左右の２画素を基に該対象画素の補間を行い、前記エッジが縦方向であると判定されると、少なくとも前記対象画素の縦方向に隣接する上下の２画素を基に該対象画素の補間を行うとともに、前記第２のエッジ方向判定手段により前記エッジが横方向であると判定されると、少なくとも前記対象画素の横方向に隣接する左右の２画素を基に該対象画素の補間を行い、前記エッジが縦方向であると判定されると、少なくとも前記対象画素の縦方向に隣接する上下の２画素を基に該対象画素の補間を行う補間手段と、
   前記画像信号処理装置はさらに、前記第１及び第２のエッジ方向判定手段により判定される複数の対象画素のエッジ方向を記憶する記憶手段と、
   前記記憶手段に記憶される対象画素の周囲の画素のエッジ方向の過半数が該対象画素のエッジ方向と異なるエッジ方向であるときには、該対象画素が該異なるエッジ方向であると再判定し、前記補間手段に対象画素の補間を指示又は自ら補間する再判定手段と
   を有する画像信号処理装置。
2. 前記補間手段は、前記第２のエッジ判定手段により前記対象画素が２本のエッジを形成する画素でないと判定されると、少なくとも前記対象画素に隣接する４画素を基に該対象画素の補間を行う請求項１記載の画像信号処理装置。
3. 前記第１のエッジ判定手段は、前記対象画素の横方向に隣接する左右の画素の値の差と該対象画素の縦方向に隣接する上下の画素の値の差とに応じて前記判定を行う請求項１又は２記載の画像信号処理装置。
4. 前記第１のエッジ方向判定手段は、前記対象画素の横方向に隣接する左右の画素の値の差と該対象画素の縦方向に隣接する上下の画素の値の差とに応じてエッジ方向を判定する請求項１〜３のいずれかに記載の画像信号処理装置。
5. 前記画像信号処理装置は画像中の複数の画素をそれぞれ順次対象画素として該対象画素の補間を行う装置であって、前記第２のエッジ方向判定手段は、前記対象画素の横方向及び縦方向に１画素ずつずれた画素について前記補間手段により補間された値に応じてエッジ方向の判定を行う請求項１又は２記載の画像信号処理装置。
6. 前記第２のエッジ方向判定手段は、対象画素及びそれに縦方向に隣接する上下の画素を含む第１の列と該第１の列に対して横方向に隣接し、かつ縦方向に並ぶ第２の列との差分を求める横方向差分手段と、対象画素及びそれに横方向に隣接する左右の画素を含む第１の行と該第１の行に対して縦方向に隣接し、かつ横方向に並ぶ第２の行との差分を求める縦方向差分手段と、前記第１及び第２の列の差分と前記第１及び第２の行の差分とに応じてエッジ方向の判定を行う差分判定手段とを含む請求項１又は２記載の画像信号処理装置。
7. 前記横方向差分手段は、第１の列において、対象画素及びそれに隣接する上下の画素のうち少なくとも２画素の和と、該２画素に対して横方向に隣接する第２の列中の少なくとも２画素の和との差分を求め、前記縦方向差分手段は、第１の行において対象画素及びそれに隣接する左右の画素のうちの少なくとも２画素の和と、該２画素に対して縦方向に隣接する第２の行中の少なくとも２画素の和との差分を求める請求項６記載の画像信号処理装置。
8. 前記横方向差分手段は、第１の列において対象画素及びそれに隣接する上下の画素の合計３画素の和と、該３画素に対して横方向に隣接する第２の列中の３画素の和との差分を求め、前記縦方向差分手段は、第１の行において対象画素及びそれに隣接する左右の画素の合計３画素の和と、該３画素に対して縦方向に隣接する第２の行中の３画素の和との差分を求める請求項７記載の画像信号処理装置。
9. 前記第２のエッジ判定手段は、前記対象画素の横方向に隣接する左右の画素の値の和と該対象画素の縦方向に隣接する上下の画素の値の和とに応じて前記判定を行う請求項１、２又は５記載の画像信号処理装置。
10. ベイヤ配列の単板式電荷結合素子が出力する画像信号中の複数の画素をそれぞれ順次対象画素として該対象画素の補間を行うプログラムを記録した媒体であって、
    （ａ）対象画素に隣接する４画素を基に対象画素が１本のエッジを形成する画素であるか否かを判定する手順と、
    （ｂ）前記対象画素が１本のエッジを形成する画素であると判定されると、該エッジが横方向であるか又は縦方向であるかを判定する手順と、
    （ｃ）前記手順（ａ）で前記対象画素が１本のエッジを形成する画素でないと判定されると、該対象画素に隣接する４画素を基に対象画素が２本のエッジを形成する画素であるか否かを判定する手順と、
    （ｄ）前記対象画素が２本のエッジを形成する画素であると判定されると、該エッジが横方向であるか又は縦方向であるかを判定する手順と
    （ｅ）前記エッジが横方向であると判定されると、少なくとも前記対象画素の横方向に隣接する左右の２画素を基に該対象画素の補間を行い、前記エッジが縦方向であると判定されると、少なくとも前記対象画素の縦方向に隣接する上下の２画素を基に該対象画素の補間を行うとともに、前記手順（ｄ）で前記エッジが横方向であると判定されると、少なくとも前記対象画素の横方向に隣接する左右の２画素を基に該対象画素の補間を行い、前記エッジが縦方向であると判定されると、少なくとも前記対象画素の縦方向に隣接する上下の２画素を基に該対象画素の補間を行う手順と、
    （ｆ）前記手順（ｂ）及び（ｄ）で判定される対象画素の周囲の画素のエッジ方向の過半数が該対象画素のエッジ方向と異なるエッジ方向であるときには、該対象画素が該異なるエッジ方向であると再判定し、前記手順（ｅ）による対象画素の補間を指示又は自ら補間する手順と
    をコンピュータに実行させるためのプログラムを記録した媒体。
11. 前記手順（ｅ）は、前記手順（ｃ）で前記対象画素が２本のエッジを形成する画素でないと判定されると、少なくとも前記対象画素に隣接する４画素を基に該対象画素の補間を行う請求項１０記載のプログラムを記録した媒体。
12. 前記手順（ａ）は、前記対象画素の横方向に隣接する左右の画素の値の差と該対象画素の縦方向に隣接する上下の画素の値の差とに応じて前記判定を行う請求項１０又は１１記載のプログラムを記録した媒体。
13. 前記手順（ｂ）は、前記対象画素の横方向に隣接する左右の画素の値の差と該対象画素の縦方向に隣接する上下の画素の値の差とに応じてエッジ方向を判定する請求項１０〜１２のいずれかに記載のプログラムを記録した媒体。
14. 前記媒体は画像中の複数の画素をそれぞれ順次対象画素として該対象画素の補間を行うプログラムを記録した媒体であって、前記手順（ｅ）は、前記対象画素の横方向及び縦方向に１画素ずつずれた画素について前記手順（ｃ）により補間された値に応じてエッジ方向の判定を行う請求項１０又は１１記載のプログラムを記録した媒体。
15. 前記手順（ｅ）は、（ｅ−１）対象画素及びそれに縦方向に隣接する上下の画素を含む第１の列と該第１の列に対して横方向に隣接し、かつ縦方向に並ぶ第２の列との差分を求める手順と、（ｅ−２）対象画素及びそれに横方向に隣接する左右の画素を含む第１の行と該第１の行に対して縦方向に隣接し、かつ横方向に並ぶ第２の行との差分を求める手順と、（ｅ−３）前記第１及び第２の列の差分と前記第１及び第２の行の差分とに応じてエッジ方向の判定を行う手順とを含む請求項１０又は１１記載のプログラムを記録した媒体。
16. 前記手順（ｅ−１）は、第１の列において、対象画素及びそれに隣接する上下の画素のうち少なくとも２画素の和と、該２画素に対して横方向に隣接する第２の列中の少なくとも２画素の和との差分を求め、前記手順（ｅ−２）は、第１の行において対象画素及びそれに隣接する左右の画素のうちの少なくとも２画素の和と、該２画素に対して縦方向に隣接する第２の行中の少なくとも２画素の和との差分を求める請求項１１記載のプログラムを記録した媒体。
17. 前記手順（ｅ−１）は、第１の列において対象画素及びそれに隣接する上下の画素の合計３画素の和と、該３画素に対して横方向に隣接する第２の列中の３画素の和との差分を求め、前記手順（ｅ−２）は、第１の行において対象画素及びそれに隣接する左右の画素の合計３画素の和と、該３画素に対して縦方向に隣接する第２の行中の３画素の和との差分を求める請求項１２記載のプログラムを記録した媒体。
18. 前記手順（ｄ）は、前記対象画素の横方向に隣接する左右の画素の値の和と該対象画素の縦方向に隣接する上下の画素の値の和とに応じて前記判定を行う請求項１０、１１又は１４記載のプログラムを記録した媒体。

Images