JP4702912B2 - 信号処理方法及び信号処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は信号処理方法及び信号処理装置に関し、更に詳しくは画像信号処理における、適応輝度補間処理の処理精度を向上させた信号処理方法及び信号処理装置に関する。
【０００２】
【従来の技術】
図６は従来の単板方式のデジタルカメラの信号処理ユニットの構成を示すブロック図である。ＣＣＤ撮像素子５０１からの信号は、ホワイトバランス回路５０２で白のゲインが調整され、輝度ノッチ回路５１０に送られる。輝度ノッチ回路５１０にて、垂直ローパスフィルタ（ＶＬＰＦ）を用いて、垂直方向に色のナイキスト付近の周波数の信号ゲインを低減する処理が施される。水平方向も同様に水平ローパスフィルタ（ＨＬＰＦ）によるゲインの低減処理が施される。以下、このフィルタを輝度ノッチフィルタと呼ぶ。その後、水平バンドパスフィルタ（ＨＢＰＦ）回路５１１及び垂直バンドパスフィルタ（ＶＢＰＦ）回路５１４によって、ノッチフィルタにより弱められたナイキスト周波数よりも若干低い周波数をもちあげる。
【０００３】
その後、水平、垂直ともにＰＰ（Aperture Peak）Ｇａｉｎ回路５１２及び５１５で振幅が調整され、ベースクリップ（ＢＣ）回路５１３及び５１６で小振幅がカットされノイズ除去される。その後、加算器５１７で水平成分と垂直成分が加算され、ＡＰＣ（Aperture Control）ＭａｉｎＧａｉｎ回路５１８ でメインゲインがかかり、加算器５１９でベースバンド信号と加算される。その後、ガンマ変換回路５２０でガンマ変換が施され、輝度修正（YCOMP)回路５２１で、色による輝度信号レベル補正が実施される。
【０００４】
また、色信号処理として、色補間回路５０３により全ての画素について全ての色画素値が存在するように補間され、色変換マトリクス（ＭＴＸ）回路５０４にて補色信号が輝度信号（Ｙ）及び色差信号（Ｃｒ、Ｃｂ）に変換される。その後クロマ抑圧（ＣＳＵＰ：Chroma Supress)回路５０５によって低輝度及び高輝度領域の色差ゲインが抑圧され、クロマローパスフィルタ（ＣＬＰＦ）回路５０６にて帯域が制限される。帯域制限されたクロマ信号はガンマ変換回路５０７において、ＲＧＢ信号に変換されると同時にガンマ変換が施される。ガンマ変換後のＲＧＢ信号は再びＹ、Ｃｒ、Ｃｂ信号に変換され、ＣＧａｉｎＫｎｅｅ(Chroma Gain Knee)回路にて彩度ゲインが調整され、ＬＣＭＴＸ(Linear Clip Matrix)回路５０９にて、色相の微少修正及び、撮像素子の個体差バラツキによる色相ずれを修正する。
【０００５】
ここで、図７に示すような市松模様のベイヤー配列のフィルターを備えた撮像素子からの出力を処理した場合を考える。特に純色フィルターの場合、色の分離がよいために、例えば図８（ａ）のように、左半分が赤、右半分が青といった相反する色相を有する画像のエッジ部では、ノッチフィルタ方式であると、ＬＰＦだけでは異なる色フィルタ間のゲイン差を吸収することができず、ギザギザ（ジャギ）となって再生画像の画質を劣化させてしまう。以下に、図８（ｂ）を参照して更に説明する。
【０００６】
図８（ｂ）は、撮像素子の各画素からの出力レベルを示す説明図である。同図においては、説明の簡略化のため、比較的大きい値を出力する画素を白で、出力がほぼ０である画素を黒で示している。このように、相反する色相のエッジであると異なる色フィルタでの信号レベル差が大きくなり、結果としてにジャギとなって現れる。更に、ＬＰＦによって落ちた解像感（ＭＴＦ）をあげるためにエッジ強調を行なうため、さらにジャギを強調させてしまうという欠点があった。
【０００７】
そこで、このジャギを回避するために以下のような適応補間輝度信号作成手法が提案されている。すなわち、補間対象画素の上下左右の信号相関を検出し、これにより縦縞か横縞かを判別し、縦縞の場合は上下の信号から補間を行ない、横縞の場合は左右の信号から補間することで、輝度信号のジャギを防ぐものである。
【０００８】
以下、適応補間輝度信号作成手法について、図９を参照して説明する。
【０００９】
まずグリーン信号の補間を行う。例えば、画素Ｐ１〜Ｐ９に対する補間を行う場合（括弧内は、その画素から得られる色信号を示し、フィルタの色に対応する。但し、）、画素Ｐ５におけるグリーン信号（Ｐ５（Ｇ））の補間方法は以下の通りである。
【００１０】
１．式（１）により補間対象の上下、左右の画素の差の絶対値（ＨＤｉｆｆ，ＶＤｉｆｆ）を求める。
ＨＤｉｆｆ＝｜Ｐ４（Ｇ）−Ｐ６（Ｇ）｜、
ＶＤｉｆｆ＝｜Ｐ２（Ｇ）−Ｐ８（Ｇ）｜ …（１）
【００１１】
２．求めた絶対値に基づいて、補間の仕方を変更する。
【００１２】
ＶＤｉｆｆ＜ＨＤｉｆｆならば、垂直の画素を用い、式（２）を用いて補間する。
Ｐ５（Ｇ）＝（Ｐ２（Ｇ）＋Ｐ８（Ｇ））／２ …（２）
【００１３】
また、ＶＤｉｆｆ＞ＨＤｉｆｆなら、水平の画素を用い、式（３）を用いて補間する。
Ｐ５（Ｇ）＝（Ｐ４（Ｇ）＋Ｐ６（Ｇ））／２ …（３）
【００１４】
更に、Ｖｄｉｆｆ＝ＨＤｉｆｆなら、水平及び垂直両方の画素を用い、式（４）を用いて補間する。
Ｐ５（Ｇ）＝（Ｐ２（Ｇ）＋Ｐ８（Ｇ）＋Ｐ４（Ｇ）＋Ｐ６（Ｇ））／４…（４）
【００１５】
上記のようにして、グリーン信号以外を出力する画素についてグリーン信号を補間する。
【００１６】
また、レッド信号は、
P2(R)=((P1(R)-P1(G))+(P3(R)-P3(G)))/2+P2(G)
P4(R)=((P1(R)-P1(G))+(P7(R)-P7(G)))/2+P4(G)
P5(R)=((P1(R)-P1(G))+(P3(R)-P3(G))+(P7(R)-P7(G))+(P9(R)-P9(G)))/4+P5(G) …（５）
【００１７】
で求めることができる。ブルー信号も同様の計算で求めることができる。これにより同一画素についてＲＧＢ３色分の信号を得ることができる。更に、
Ｙ＝０．３×Ｒ＋０．５９×Ｇ＋０．１１×Ｂ …（６）
より輝度信号Ｙを求める。
また、特開平１１−２７５３７３号公報に開示されているように、エッジ判別に色差信号を用い、その後、相関度に応じて縦方向からの補間信号と横方向からの補間信号を加重加算によって補間画素を算出する方法がある。この方法では、加重加算により２値的な切り替わりを無くすことが可能である。
【００１８】
さらに、特開平８−２９８６６９号公報では、ラプラシアン２次値及び傾斜値を得て分類器を決定し、分類器に基づく失われたカラー値の補間に対する好ましい方向を選択するためにラプラシアン２次値及び傾斜値を加算する構造を含む。最終的に配置は好ましい方向に一致するように選択された複数のカラー値の付近から失われたカラー値を補間する方法が開示されている。つまり、グリーン信号を補間する際に求める縦横相関係数を求める場合に、図１０に示す配列において
ＨＤｉｆｆ＝｜P32(G)-P34(G)｜+｜P31(B)+P35(B)-2×P33(B)｜
ＶＤｉｆｆ＝｜P23(G)-P43(G)｜+｜P13(B)+P53(B)-2×P33(B)｜…（７）
【００１９】
のような第２項をそれぞれ加えることで、さらに判定精度をあげることができるとある。
【００２０】
【発明が解決しようとする課題】
しかしながら、上記式（１）〜（６）に示す従来の適応補間手法では、縦縞横縞判別で２値的に補間方向を切り替えているため、図１１（ａ）のような１画素ピッチの縞の被写体において画素、例えば画素Ｐ５を補間して作成する場合、ＶＤｉｆｆ（＝｜Ｐ２（Ｇ）−Ｐ８（Ｇ）｜＝０）、ＨＤｉｆｆ（＝｜Ｐ４（Ｇ）−Ｐ６（Ｇ）｜＝０）の両者の値がほぼ０となる。この結果、撮像素子のノイズなどの影響で誤判定を行ってしまい、図１１（ｂ）のように縦からの補間と横からの補間がランダム（不規則）に２値的に切り替わり（縦縞横縞の誤判別）、本来あるべきでないところに縞が発生するという欠点があった。
【００２１】
また、特開平１１−２７５３７３号公報記載の方法では、エッジ判別に色差信号を用いているため、図１２のような白黒エッジの場合に水平垂直方向の色差信号が両者共に０になってしまい（例えばＰ５（Ｇ）を補間する場合、Ｈｄｉｆｆ＝｜（Ｐ５（Ｂ）−Ｐ２（Ｇ））−（Ｐ５（Ｇ）−Ｐ８（Ｇ））｜＝０、Vｄｉｆｆ＝｜（Ｐ５（Ｂ）−Ｐ４（Ｇ））−（Ｐ５（Ｇ）−Ｐ６（Ｇ））｜＝０）、エッジ判別が不可能になってしまう欠点があった。さらに、色差信号の絶対値和による判定を行うと、図１３の（ａ）ような色エッジの場合、図１３（ｂ）のようにたとえば、Ｐ２（Ｇ）＝Ｐ４（Ｇ）＝Ｐ６（Ｇ）＝２０，Ｐ１（Ｒ、Ｂ）＝Ｐ３（Ｒ、Ｂ）＝Ｐ５（Ｂ、Ｒ）＝７０，Ｐ７（Ｒ、Ｂ）＝Ｐ９（Ｒ、Ｂ）＝１７０，Ｐ８（Ｇ）＝１２０，のような色エッジの場合、Ｐ５（Ｇ）を求めるとすると、特開平１１−２７５３７３号公報に記載の補間方法でｔ＝ｙ＝０．５として計算すると
水平類似度：Ctsum＝(|P5(B,R)-P4(G)|+|P5(B,R)-P6(G)|)/2=50,
垂直類似度：Cysum＝(|P5(B,R)-P2(G)|+|P5(B,R)-P8(G)|)/2=50…（８）
【００２２】
となり、水平類似度が高くなるべきところが、垂直類似度と水平類似度が同じになり、判定を誤るため、図１３（ｃ）に示すように色エッジにおけるジャギが発生するという問題があった。
更に、特開平８−２９８６６９号公報の手法を用いて色信号の補間を行うと、グリーン信号を補間するために５ライン分の情報が必要になり、更に式（５）で色信号を補間する際に上下１ライン分のグリーン信号を作成する必要が有るため、結果的に７ライン分の情報が必要になり、回路規模が大きくなってしまう。
【００２３】
ところが、上下１ラインのグリーン信号は色信号を作成する際、色差信号を作成するためのみに用いられるため、画質の面ではそれはど重要ではない。
【００２４】
本発明は上記問題点に鑑みてなされたものであり、輝度信号作成時のグリーン信号補間時に、縦縞、横縞判別を行い垂直方向および水平方向からの補間を適応的に切り替える手法において、従来のような縦縞横縞誤判別による２値的な切り替わりを低減させ、より高品位な輝度信号が作成することを第１の目的とする。
【００２５】
また、縦縞、横縞判別の精度を向上させると共に、回路規模を抑え、かつ精度よくグリーン信号の適応補間を行うことを第２の目的とする。
【００２６】
【課題を解決するための手段】
上記第１の目的を達成するために、グリーン、レッド、及びブルーのカラーフィルタがベイヤー配列された撮像素子から得られる画像信号を、各画素が前記グリーン、レッド、及びブルーの色信号をそれぞれ有するように補間する本発明の信号処理方法は、輝度信号を求める１つのブルーの画素にグリーンの信号を補間する場合に、前記ブルーの画素の第１の方向に隣接する第１画素数の画素から得られる第１の相関と、第２の方向に隣接する第２画素数の画素から得られる第２の相関とを求める第１の相関演算工程と、
前記ブルーの画素にレッドの信号を補間するために、前記ブルーの画素から予め決められた範囲内にあるレッドの画素にグリーンの信号を補間する場合に、前記レッドの画素の前記第１の方向に隣接する前記第１画素数よりも少ない第３画素数の画素から得られる第１の相関と、前記第２の方向に隣接する前記第２画素数よりも少ない第４画素数の画素から得られる第２の相関を求める第２の相関演算工程と、前記ブルーの画素及び前記レッドの画素それぞれにグリーンの信号を補間するグリーン補間工程と、前記レッドの画素の信号と、前記グリーン補間工程で補間されたグリーンの信号とを用いて、前記ブルーの画素に前記レッドの信号を補間する他色補間工程とを有し、前記グリーン補間工程は、前記第１及び第２の相関の差分が予め設定された範囲内になく、且つ、前記第１の相関が前記第２の相関よりも強い場合に、前記第１の方向に位置する画素のみを用いて補間する第１の補間工程と、前記第１及び第２の相関の差分が前記範囲内になく、且つ、前記第２の相関が前記第１の相関よりも強い場合に、前記第２の方向に位置する画素のみを用いて補間する第２の補間工程と、前記第１及び第２の相関の差分が前記範囲内にある場合に、前記第１及び第２の方向に位置する画素を用いて補間する第３の補間工程とを有する。
【００２７】
また、グリーン、レッド、及びブルーのカラーフィルタがベイヤー配列された撮像素子から得られる画像信号を、各画素が前記グリーン、レッド、及びブルーの色信号をそれぞれ有するように補間する本発明の信号処理装置は、輝度信号を求める１つのブルーの画素にグリーンの信号を補間する場合に、前記ブルーの画素の第１の方向に隣接する第１画素数の画素から得られる第１の相関と、第２の方向に隣接する第２画素数の画素から得られる第２の相関とを求める第１の相関演算手段と、前記ブルーの画素にレッドの信号を補間するために、前記ブルーの画素から予め決められた範囲内にあるレッドの画素にグリーンの信号を補間する場合に、前記レッドの画素の前記第１の方向に隣接する前記第１画素数よりも少ない第３画素数の画素から得られる第１の相関と、前記第２の方向に隣接する前記第２画素数よりも少ない第４画素数の画素から得られる第２の相関を求める第２の相関演算手段と、前記ブルーの画素及び前記レッドの画素それぞれにグリーンの信号を補間するグリーン補間手段と、前記レッドの画素の信号と、前記グリーン補間手段により補間されたグリーンの信号とを用いて、前記ブルーの画素に前記レッドの信号を補間する他色補間手段とを有し、前記グリーン補間手段は、前記第１及び第２の相関の差分が予め設定された範囲内になく、且つ、前記第１の相関が前記第２の相関よりも強い場合に、前記第１の方向に位置する画素のみを用いて補間する第１の補間方法により、前記第１及び第２の相関の差分が前記範囲内になく、且つ、前記第２の相関が前記第１の相関よりも強い場合に、前記第２の方向に位置する画素のみを用いて補間する第２の補間方法により、前記第１及び第２の相関の差分が前記範囲内にある場合に、前記第１及び第２の方向に位置する画素を用いて、前記補間の対象となる画素を補間する第３の補間方法により、補間を行う。
【００３０】
また好ましくは、前記カラーフィルタの配列はベイヤー配列である。
【００３８】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００３９】
［第１の実施形態］
図１は、本発明の第１の実施形態におけるデジタルカメラの信号処理ユニットの構成を示すブロック図である。図６に示す構成とは、輝度ノッチ回路５１０が適応輝度補間回路５５０に変わっているところが異なる。
【００４０】
図２は、適応輝度補間回路５５０の処理構成を示すブロック図である。適応輝度補間回路５５０は相関度検出部５６０、Ｇ補間部５７０、Ｒ・Ｂ補間部５８０、及び輝度生成部５９０とを有する。
【００４１】
以下、本発明の第１の実施形態にかかる上記構成を有する適応輝度補間回路５５０における輝度信号作成方法を説明する。図３は、輝度信号作成方法の手順を示すフローチャートである。
【００４２】
基本となる方法は、グリーン信号を適応的に補間した後、グリーン信号をもとにレッド信号及びブルー信号を補間し輝度信号を作成する手法である。本第１の実施の形態では、グリーン信号の補間時に、縦縞、横縞判別の結果に応じて水平方向補間、垂直方向補間を２値的に切り替えるのではなく、縦縞、横縞判別で相関度があまり変わらない画素には、水平方向補間からのグリーン信号と、垂直方向補間からのグリーン信号に重みをつけて分配することを特徴とする。
【００４３】
まず、グリーン以外の全ての画素、すなわちレッド画素、ブルー画素について、グリーン信号を補間する（ステップＳ１１〜Ｓ１５）。例えば図７に示す配列のフィルターを有し、図９の画素Ｐ５（Ｐ１〜Ｐ９は画素の位置を示し、括弧内は、その画素から得られる色信号を示し、フィルタの色に対応する。）にグリーン信号（Ｐ５（Ｇ））を補間する場合、相関度検出器５６０では従来と同様に、補間対象画素の上下左右の信号相関を検出し、これにより縦縞、横縞を判別する。すなわち、補間対象の上下、左右の画素の差の絶対値を求める。（ステップＳ１１、相関度算出）
ＨＤｉｆｆ＝｜Ｐ４（Ｇ）−Ｐ６（Ｇ）｜、
ＶＤｉｆｆ＝｜Ｐ２（Ｇ）−Ｐ８（Ｇ）｜ …（９）
【００４４】
次に、ＨＤｉｆｆとＶＤｉｆｆの差をとり、その差の絶対値が予め設定した閾値Ｔｈより小さい場合、水平補間値と垂直補間値を重みをつけて線形的に振り分ける。またその差の絶対値が閾値Ｔｈより大きい場合には、相関度が小さい方の補間結果を用いる。
【００４５】
ここでは、相関度検出器５６０が重みα（水平相関係数）を算出し、Ｇ補間部５７０がこの算出した水平相関係数αを利用して、上記条件毎に補間方法を変更してグリーン信号の補間を行う方法を説明する。
【００４６】
まず、以下の式（１０）を用いて水平相関係数αを算出する（ステップＳ１２）。
α＝（ＶＤｉｆｆ−ＨＤｉｆｆ）／（２×Ｔｈ）＋０．５ …（１０）
【００４７】
得られた水平相関係数αにより、以下の３通りの方法のいずれかで補間を行う（ステップＳ１３）。
１．（０≦α≦１）の場合（ステップＳ１４）
【００４８】
水平方向の相関と垂直方向の相関が近似しているため、得られた水平相関係数αを用いて、以下の式（１１）を用いて、垂直・水平補間の線形切り替えを使用する。つまり、重みをつけて垂直補間と水平補間を振り分ける。
Ｐ５（Ｇ）＝（α（Ｐ４（Ｇ）＋Ｐ６（Ｇ））＋（１−α）（Ｐ２（Ｇ）＋Ｐ８（Ｇ）））／２ …（１１）
【００４９】
２．（α＜０）の場合（ステップＳ１５）
【００５０】
垂直方向の相関が強いため、垂直方向からの補間のみ使用する。すなわち、
Ｐ５（Ｇ）＝（Ｐ２（Ｇ）＋Ｐ８（Ｇ））／２ …（１２）
【００５１】
により補間する。
３．（α＞１）の場合（ステップＳ１６）
【００５２】
水平方向の相関が強いため、水平方向からの補間のみ使用する。すなわち、
Ｐ５（Ｇ）＝（Ｐ４（Ｇ）＋Ｐ６（Ｇ））／２ …（１３）
【００５３】
により補間する。
図４は、式（１０）を上記の３つの場合分けに基づいてグラフ化したものである。すなわち、（α＜０）の場合は、図４に示すようにα＝０として式（１１）に代入すれば、式（１２）が得られ、（α＞１）の場合には、α＝１として式（１１）に代入すれば、式（１３）を得られることを示している。
【００５４】
同様の方法で、全てのブルー画素及びレッド画素についても補間を行う。
【００５５】
また、Ｒ・Ｂ補間部５８０において、補間したグリーン信号を用いて、レッド以外の全ての画素についてレッド信号を補間する（ステップＳ１７）。グリーン画素については、左右または上下のレッド信号及びそのレッド画素のグリーン信号を用いて、また、ブルー画素については、周辺の４つのレッド画素を用いて、以下の式に示すように補間を行う。
P2(R)=((P1(R)-P1(G))+(P3(R)-P3(G)))/2+P2(G１)
P4(R)=((P1(R)-P1(G))+(P7(R)-P7(G)))/2+P4(G２)
P5(R)=((P1(R)-P1(G))+(P3(R)-P3(G))+(P7(R)-P7(G))+(P9(R)-P9(G)))/4+P5(G) …（１４）
【００５６】
また、ブルー信号も同様の計算により求めることができる。これにより同一画素についてＲＧＢ３色分の信号を得る。更に、輝度生成器５９０において、例えばｍｓｃ方式の式を用い、
Ｙ＝０．３×Ｒ＋０．５９×Ｇ＋０．１１×Ｂ …（１５）
【００５７】
より輝度信号Ｙを求める（ステップＳ１８）。なお、式（１５）の各項の係数は、適宜変更することが可能である。
輝度信号ではグリーン信号の割合が約６０％を占める。よってグリーン信号の補間が最も画質に影響を及ぼす。
【００５８】
従って、上記第１の実施形態によれば、縦縞、横縞判別を行い垂直方向および水平方向からの補間を適応的に切り替える手法において、垂直画素からの補間信号と水平画素からの補間信号を、縦横相関係数を用いて線形的に分配する処理を行なうことより、従来のような縦縞横縞誤判別による２値的な切り替わりを低減させ、より高品位な輝度信号が作成可能となる。
【００５９】
なお、本第１の実施形態では水平補間値の重みαを求めるために式（１０）を用いたが、式（１０）に関わらず他の関数から求めてもよい。また、関数でなくルックアップテーブル等で表現することも可能である。
【００６０】
［第２の実施形態］
第２の実施形態では、第１の実施形態における水平相関度算出方法を、特開平８−２９８６６９号公報の式（７）を適応した場合に、回路規模が大きくならないようにするグリーン信号作成方法について説明する。図５は、本発明の第２の実施形態における輝度信号作成方法の手順を示すフローチャートである。
【００６１】
図１０において、画素Ｐ３３の輝度信号Ｙ（Ｐ３３（Ｙ））は以下の式（１６）で求められる。
P33(Y)=0.30×P33(R)＋0.59×P33(G)＋0.11×P33(B) …（１６）
【００６２】
つまり輝度信号Ｐ３３（Ｙ）を求めるためには、画素Ｐ３３のグリーン信号Ｐ３３（Ｇ）とレッド信号Ｐ３３（Ｒ）は補間して求める必要がある。
【００６３】
Ｐ３３（Ｒ）は以下の式（１７）で求められる。
P33(R)={P22(R)-P22(G))+(P24(R)-P24(G))+(P42(R)-P42(G))
+(P44(R)-P44(G))}/4+P33(G) …（１７）
【００６４】
つまり、Ｐ２２（Ｇ），Ｐ２４（Ｇ），Ｐ４２（Ｇ），Ｐ４４（Ｇ）を補間により求める必要がある。
【００６５】
例えば上述の式（７）によって、Ｐ２２（Ｇ）を求めるために、
ＨＤｉｆｆ＝｜P21(G)-P23(G)｜+｜P20(R)+P24(R)-2×P22(R)｜
ＶＤｉｆｆ＝｜P12(G)-P32(G)｜+｜P02(R)+P42(R)-2×P22(R)｜
【００６６】
となり、Ｐ３３（Ｇ）信号を求める為に３ライン上のＰ０２（Ｒ）の信号が必要になる。つまり、式（７）を判定基準にするためには、トータル７タップのデータが必要になり、回路規模が大きくなる。
そこで、第２の実施形態では、Ｐ３３（Ｂ）の場所の輝度信号を求める場合、Ｐ３３（Ｇ）を求める際には（ステップＳ２１でＹＥＳ）ＨＤｉｆｆ及びＶＤｉｆｆを式（７）を用いて算出し（ステップＳ２２）、Ｐ２２（Ｇ），Ｐ２４（Ｇ），Ｐ４２（Ｇ），Ｐ４４（Ｇ）を求める場合には（ステップＳ２１でＮＯ）、ＨＤｉｆｆ及びＶＤｉｆｆを上記第１の実施形態で説明した式（９）を用いて算出する（ステップＳ２３）。
【００６７】
すなわち、Ｐ３３（Ｇ）の場合、
ＨＤｉｆｆ＝｜P32(G)-P34(G)｜+｜P31(B)+P35(B)-2×P33(B)｜
ＶＤｉｆｆ＝｜P23(G)-P43(G)｜+｜P13(B)+P53(B)-2×P33(B)｜
【００６８】
また、Ｐ２２（Ｇ）の場合、
ＨＤｉｆｆ＝｜Ｐ２１（Ｇ）−Ｐ２３（Ｇ）｜、
ＶＤｉｆｆ＝｜Ｐ１２（Ｇ）−Ｐ３２（Ｇ）｜
である。Ｐ２４（Ｇ），Ｐ４２（Ｇ），Ｐ４４（Ｇ）についても同様にして求める。
このようにして求めたＨＤｉｆｆ及びＶＤｉｆｆに基づいて、第１の実施形態で説明した式（１０）〜（１３）に示す方法によりグリーン信号を求め（ステップＳ１２〜Ｓ１６）、式（１４）によりレッド及びブルー信号を補間し（ステップＳ１７）、得られたグリーン信号Ｇ、レッド信号Ｒ、ブルー信号Ｂを用いて各画素毎に式（１５）により輝度信号を補間する（ステップＳ１８）。
【００６９】
ＮＴＳＣの輝度信号ではグリーン信号の割合が約６０％を占め、グリーン信号の補間が最も画質に影響を及ぼす。よってグリーン信号の適応補間には精度良く行う必要がある。しかし、色差信号を補間する場合に必要となるグリーン信号も同じように生成すると、回路規模が大きくなってしまう。
【００７０】
しかし上記第２の実施形態によれば、縦縞、横縞判別を行い垂直方向および水平方向からの補間を適応的に切り替える手法において、色差信号を作成するために必要なグリーン信号作成方法と輝度信号を作成する為のグリーン信号作成方法の２つの方法を用いることによって、回路規模を抑え、かつ精度よくグリーン信号の適応補間を行うことが可能となる。
【００７１】
【他の実施形態】
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
【００７２】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７４】
【発明の効果】
以上説明したように、本発明によれば、輝度信号作成時のグリーン信号補間時に、縦縞、横縞判別を行い垂直方向および水平方向からの補間を適応的に切り替える手法において、従来のような縦縞横縞誤判別による２値的な切り替わりを低減させ、より高品位な輝度信号が作成可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態におけるデジタルカメラの信号処理ユニットの構成を示すブロック図である。
【図２】本発明の第１の実施形態における適応輝度補間回路の処理構成を示すブロック図である。
【図３】本発明の第１の実施形態における輝度信号作成方法の手順を示すフローチャートである。
【図４】本発明の第１の実施形態における水平相関係数のグラフを示す図である。
【図５】本発明の第２の実施形態における輝度信号作成方法の手順を示すフローチャートである。
【図６】従来のデジタルカメラの信号処理ユニットの構成を示すブロック図である。
【図７】フィルタ配列を示す図である。
【図８】ジャギの発生を説明する図である。
【図９】適応補間を説明するための図である。
【図１０】適応補間の別の例を説明するための図である。
【図１１】従来の適応補間で誤判別を起こす例を示す図である。
【図１２】従来の適応補間で誤判別を起こす別の例を示す図である。
【図１３】従来の適応補間で誤判別を起こす別の例を示す図である。
【符号の説明】
５０１ 撮像素子
５０２ ホワイトバランス回路
５０３ 色補間回路
５０４ 色変換マトリクス回路
５０５ クロマ抑圧回路
５０６ クロマローパスフィルタ回路
５０７，５２０ ガンマ変換回路
５０８ ＣＧａｉｎＫｎｅｅ回路
５０９ ＬＣＭＴＸ回路
５１０ 輝度ノッチ回路
５１１ 水平バンドパスフィルタ回路
５１２，５１５ ＰＰＧａｉｎ回路
５１３，５１６ ベースクリップ回路
５１４ 垂直バンドパスフィルタ回路
５１７，５１９ 加算器
５１８ ＡＰＣＭａｉｎＧａｉｎ回路
５２１ 輝度修正回路
５５０ 輝度適応補間回路
５６０ 相関度検出器
５７０ Ｇ補間回路
５８０ Ｒ・Ｂ補間回路
５９０ 輝度生成器

Claims (7)

1. グリーン、レッド、及びブルーのカラーフィルタがベイヤー配列された撮像素子から得られる画像信号を、各画素が前記グリーン、レッド、及びブルーの色信号をそれぞれ有するように補間する信号処理方法であって、
   輝度信号を求める１つのブルーの画素にグリーンの信号を補間する場合に、前記ブルーの画素の第１の方向に隣接する第１画素数の画素から得られる第１の相関と、第２の方向に隣接する第２画素数の画素から得られる第２の相関とを求める第１の相関演算工程と、
   前記ブルーの画素にレッドの信号を補間するために、前記ブルーの画素から予め決められた範囲内にあるレッドの画素にグリーンの信号を補間する場合に、前記レッドの画素の前記第１の方向に隣接する前記第１画素数よりも少ない第３画素数の画素から得られる第１の相関と、前記第２の方向に隣接する前記第２画素数よりも少ない第４画素数の画素から得られる第２の相関を求める第２の相関演算工程と、
   前記ブルーの画素及び前記レッドの画素それぞれにグリーンの信号を補間するグリーン補間工程と、
   前記レッドの画素の信号と、前記グリーン補間工程で補間されたグリーンの信号とを用いて、前記ブルーの画素に前記レッドの信号を補間する他色補間工程とを有し、
   前記グリーン補間工程は、
   前記第１及び第２の相関の差分が予め設定された範囲内になく、且つ、前記第１の相関が前記第２の相関よりも強い場合に、前記第１の方向に位置する画素のみを用いて補間する第１の補間工程と、
   前記第１及び第２の相関の差分が前記範囲内になく、且つ、前記第２の相関が前記第１の相関よりも強い場合に、前記第２の方向に位置する画素のみを用いて補間する第２の補間工程と、
   前記第１及び第２の相関の差分が前記範囲内にある場合に、前記第１及び第２の方向に位置する画素を用いて補間する第３の補間工程と
   を有することを特徴とする信号処理方法。
2. 前記ベイヤー配列のカラーフィルタのグリーンフィルタ以外のフィルタに対応し、前記ブルーの画素及び前記レッドの画素をＰｉｊとし、ｉを画素アレイの行、ｊを画素アレイの列とした場合に、前記第１の相関値としての水平相関値をＨＤｉｆｆ、前記第２の相関値としての垂直相関値をＶＤｉｆｆとすると、前記第１の相関値演算工程では、
   ＨＤｉｆｆ＝|P(i, j-1)-P(i, j+1)|+|P(i, j-2)+P(i, j+2)-2×P(i, j)|、
   ＶＤｉｆｆ＝|P(i-1, j)-P(i+1, j)|+|P(i, j)+P(i+2, j)-2×P(i, j)|
   により演算を行い、前記第２の相関値演算工程では、
   ＨＤｉｆｆ＝|P(i, j-1)-P(i, j+1)|、
   ＶＤｉｆｆ＝|P(i-1, j)-P(i+1, j)|
   により演算を行うことを特徴とする請求項１に記載の信号処理方法。
3. 前記第３の補間工程では、前記第１の相関が前記第２の相関よりも強ければ、前記第１の方向に位置する画素の重み付けを大きくし、前記第２の相関が前記第１の相関よりも強ければ、前記第２の方向に位置する画素の重み付けを大きくして、前記補間を行うことを特徴とする請求項１または２に記載の信号処理方法。
4. 前記第１の方向は垂直方向であり、前記第２の方向は水平方向であることを特徴とする請求項１乃至３のいずれか１項に記載の信号処理方法。
5. グリーン、レッド、及びブルーのカラーフィルタがベイヤー配列された撮像素子から得られる画像信号を、各画素が前記グリーン、レッド、及びブルーの色信号をそれぞれ有するように補間する信号処理装置であって、
   輝度信号を求める１つのブルーの画素にグリーンの信号を補間する場合に、前記ブルーの画素の第１の方向に隣接する第１画素数の画素から得られる第１の相関と、第２の方向に隣接する第２画素数の画素から得られる第２の相関とを求める第１の相関演算手段と、
   前記ブルーの画素にレッドの信号を補間するために、前記ブルーの画素から予め決められた範囲内にあるレッドの画素にグリーンの信号を補間する場合に、前記レッドの画素の前記第１の方向に隣接する前記第１画素数よりも少ない第３画素数の画素から得られる第１の相関と、前記第２の方向に隣接する前記第２画素数よりも少ない第４画素数の画素から得られる第２の相関を求める第２の相関演算手段と、
   前記ブルーの画素及び前記レッドの画素それぞれにグリーンの信号を補間するグリーン補間手段と、
   前記レッドの画素の信号と、前記グリーン補間手段により補間されたグリーンの信号とを用いて、前記ブルーの画素に前記レッドの信号を補間する他色補間手段とを有し、
   前記グリーン補間手段は、前記第１及び第２の相関の差分が予め設定された範囲内になく、且つ、前記第１の相関が前記第２の相関よりも強い場合に、前記第１の方向に位置する画素のみを用いて補間する第１の補間方法により、前記第１及び第２の相関の差分が前記範囲内になく、且つ、前記第２の相関が前記第１の相関よりも強い場合に、前記第２の方向に位置する画素のみを用いて補間する第２の補間方法により、前記第１及び第２の相関の差分が前記範囲内にある場合に、前記第１及び第２の方向に位置する画素を用いて、前記補間の対象となる画素を補間する第３の補間方法により、補間を行うことを特徴とする信号処理装置。
6. コンピュータに、請求項１乃至４のいずれか１項に記載の信号処理方法の各工程を実行させるためのプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
7. コンピュータ装置が実行可能なプログラムを格納した記憶媒体であって、前記プログラムを実行したコンピュータ装置を、請求項５に記載の信号処理装置として機能させるためのプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。

Images