JP4333997B2 - 画像処理装置、撮影装置、画像処理方法、画像処理プログラムおよび記録媒体 - Google Patents

Description

本発明は、複数種類の色フィルタが各画素部に離散的に配置された固体撮像素子から出力される色信号から、各画素における全ての色信号を、注目画素およびその近傍画素の色信号を用いた補間処理により生成する画像処理装置、これを用いた単板式のディジタルカメラ、ビデオカメラおよびカメラ付き携帯電話装置などの撮影装置、この画像処理装置を用いた画像処理方法、これをコンピュータに実行させるための画像処理プログラムおよびこの画像処理プログラムを格納したコンピュータ読み出し可能な可読記録媒体に関する。

従来、例えばディジタルカメラやビデオカメラなどで用いられているＣＣＤやＣＭＯＳなどの固体撮像素子からは、一般に、光の明るさに関する情報のみが出力される。

したがって、固体撮像素子が一つである単板式カメラでは、色情報を得るために、ＣＣＤに含まれる１画素毎に一つの色成分のみを通過させる色フィルタがＣＣＤの前に被せられ、動作時に各画素部から対応する色成分をそれぞれ出力するように構成されている。例えば原色フィルタの場合、色成分の種類は三原色のＲ（赤）、Ｇ（緑）およびＢ（青）の３種類である。

これらの色フィルタの各色成分の配列には、いくつかの種類が提案されている。その代表的なものとして、図１１に示すようなベイヤ配列が挙げられる。このベイヤ配列は、輝度信号に寄与する割合が大きいＧが市松状に配置され、残りの箇所にＲおよびＢが市松状に配置されている。

このようなベイヤ配列などの色フィルタが被せられたＣＣＤから信号出力された時点では、各画素毎にＲＧＢの色成分の中で１色分の色情報しか得られていない。

そこで、画像処理部によって、各画素毎に残り２色分の情報を周辺画素の色信号値から推定して算出することにより、残りの色情報を得るという補間処理が行われている。

さらに、ＣＣＤにより得られた各画素毎の１色分の色情報に対しても、注目画素自体の色信号値およびその周辺画素（近傍画素）の色信号値から補間処理が行われることがある。

以下に、従来の補間処理法であるバイリニア法について、図１２を用いて説明する。

図１２（ａ）は注目画素の色成分がＧである場合のベイヤ配列を示す図であり、図１２（ｂ）は注目画素の色成分がＲまたはＢである場合のベイヤ配列を示す図である。なお、記号ＰおよびＱはそれぞれ色成分ＲおよびＢ、またはＢおよびＲを表しており、ＰがＲを表す場合にはＱはＢを表し、逆にＰがＢを表す場合にはＱはＲを表すものとする。

色フィルタがベイヤ配列である場合のバイリニア法における補間式（式１）は、以下の通りである。
（式１）
図１２（ａ）に示すように注目画素がＧ３３の場合（注目画素の色要素はＧ）、式１は、
Ｇｏ＝Ｇ３３ または Ｇｏ＝（Ｇ３３×４＋Ｇ２２＋Ｇ４２＋Ｇ２４＋Ｇ４４）／８
Ｐｏ＝（Ｐ３２＋Ｐ３４）／２
Ｑｏ＝（Ｑ２３＋Ｑ４３）／２
である。

図１２（ｂ）に示すように注目画素がＰ３３の場合（注目画素の色要素はＲまたはＢ）、式１は、
Ｇｏ＝（Ｇ３２＋Ｇ２３＋Ｇ４３＋Ｇ３４）／４
Ｐｏ＝Ｐ３３
Ｑｏ＝（Ｑ２２＋Ｑ４２＋Ｑ２４＋Ｑ４４）／４
である。

但し、Ｇｏ：注目画素の出力Ｇ信号
Ｐｏ：注目画素の出力Ｐ信号
Ｑｏ：注目画素の出力Ｑ信号
このとき、（Ｐ，Ｑ）＝（Ｒ，Ｂ）または（Ｂ，Ｒ）
しかしながら、上記従来のバイリニア法を用いて、白から黒に変化する画像に対して色信号の補間処理を行った場合、エッジ部分で偽の色信号（以下、偽色信号という）が発生することが知られている。

このような偽色信号を減少させる方法として、例えば特許文献１に、色の相関性を利用して偽色信号の発生を抑制した補間処理法が提案されている。

一般的な画像の特徴として、「色信号の局所的な領域において、特定の色成分の低域成分と、高域成分との比は他の色成分においても等しい」という性質と、「色信号の局所的な領域において、Ｇ信号とＲ信号との差、またはＧ信号とＢ信号との差は、隣接画素間においてほぼ等しい」という性質がある。

これらの性質を利用して、特許文献１の補間処理法では、ベイヤ配列に配置された色信号から、垂直方向（縦方向）と水平方向（横方向）との相関性が検出され、この相関性を用いて補間処理が行われている。具体的には、垂直方向に相関を有する場合の補間処理による色信号と、水平方向に相関を有する場合の補間処理による色信号とが予め計算され、垂直方向の相関性と水平方向の相関性との強度に応じて、各方向性の補間処理で求めた色信号を混ぜ合わせる処理が行われている。
特許第２９３１５２０号公報

ところが、上記特許文献１に記載されている従来の補間処理法であっても、バイリニア法を用いた場合に比べて偽色信号が低減されている。しかしながら、一般的な画像では、垂直方向（縦方向）および水平方向（横方向）以外にも、様々な方向のエッジが多数存在する。特許文献１の補間処理法では、このように多数存在するエッジ方向に対して、垂直方向および水平方向の２種類の相関性データ（相関性の強度）に応じて、２方向の補間処理によって得られた色信号を混ぜ合わせているため、斜め方向のエッジによって偽色信号が発生する場合がある。

例えば、ＣＣＤなどの固体撮像素子が図１３（ｂ）に示すようなカラーフィルタを有し、Ａ／Ｄ変換によって図１３（ａ）に示すようなモノクロの色信号が得られた場合について説明する。

図１３（ａ）は、垂直方向からやや右上側に傾いたエッジ部分の一部に相当する。図１３（ａ）の色信号値に対して、特許文献１に記載されているように、５画素×３画素の色差を用いた相関により補間処理を行うと、各色信号は、
Ｒｖ＝Ｇ３３＋（Ｒ３２＋Ｒ３４）／２−（Ｇ３１＋２×Ｇ３３＋Ｇ３５）／４
＝６４
Ｇｖ＝Ｇ３３
＝２
Ｂｖ＝Ｇ３３＋Ｂ２３−Ｇ２３
＝Ｇ３３＋Ｂ２３−｛Ｂ２３＋（Ｇ２２＋Ｇ２４）／２−（Ｂ２１＋２×Ｂ２３＋Ｂ２５）／４｝
＝−６０
Ｒｈ＝Ｇ３３＋Ｒ３２−Ｇ３２
＝Ｇ３３＋Ｒ３２−｛Ｒ３２＋（Ｇ２２＋Ｇ４２）／２−（Ｒ１２＋２×Ｒ３２＋Ｒ５２）／４｝
＝６４
Ｇｈ＝Ｇ３３
＝２
Ｂｈ＝Ｇ３３＋（Ｂ２３＋Ｂ４３）／２−（Ｇ１３＋２×Ｇ３３＋Ｇ５３）／４
＝６４
となる。

ただし、色信号Ｒｖ、ＧｖおよびＢｖは、垂直方向の相関が強い場合に適した処理がなされた場合の色信号である。また、色信号Ｒｈ、ＧｈおよびＢｈは、水平方向の相関が強い場合に適した処理がなされた場合の色信号である。

上記特許文献１に記載されている方向性の相関係数の算出式を用いると、水平方向の相関係数は０となるため、色信号を求める際に、垂直方向のみの色信号が参照されることになる。

したがって、
Ｒｏ＝Ｒｖ＝６４
Ｇｏ＝Ｇｖ＝２
Ｂｏ＝Ｂｖ＝−６０
となる。

本来、モノクロ画像はＲ＝Ｇ＝Ｂであるのに対して、算出された色信号はＲｏ≠Ｇｏ≠Ｂｏとなっている。これは、偽色信号が発生していることを示している。

このことについて、更に詳細に検討する。

上記特許文献１に記載されている色相関性を利用した補間処理では、ベイヤ配列に配置されたカラーフィルタの垂直方向および水平方向に必ずＧ成分が含まれるという特徴を利用して、Ｇ成分と他の色成分との相関により注目画素の他の色成分を求めている。例えば、図１２（ａ）の水平方向をその一例として説明する。

図１２（ａ）に示すように、注目画素Ｇ３３を含む水平ラインには、ＧとＱとが含まれる。よって、これらの値から注目画素のＱ成分であるＱ３３を求めることができる。また、１ライン上のＰ３２を含む水平ラインには、ＧとＰとが含まれる。よって、これらの値から注目画素のＧ成分であるＧ３２を求めることができる。

特許文献１に記載されている補間処理法では、前述したように、図１２（ａ）に示すＰ３２およびＧ３３の画素に着目して、局所領域におけるＧとＰとの差がほぼ等しいという性質
（Ｐ３３−Ｇ３３＝Ｐ３２−Ｇ３２）
または、局所領域におけるＧとＰの比がほぼ等しいという性質
（Ｐ３３／Ｇ３３＝Ｐ３２／Ｇ３２）
を利用して、Ｐ３３を求めている。

一般的な画像に対して、エッジは様々な方向にあるため、方向性検出についても垂直および水平の２方向だけではなく、さらに多数の方向性を検出する方が好ましい。

しかしながら、上記特許文献１に記載されている補間処理法では、斜め方向の色相関性を考慮して補間処理を行うことができない。

この理由は、例えば図１２（ａ）において、斜め４５度の方向にはＧ成分しか存在せず、また、図１２（ｂ）において、斜め４５度の方向にはＰ成分およびＱ成分（Ｂ成分およびＲ成分）しか存在しないためである。

本発明は、上記従来の問題を解決するもので、ベイヤ配列などのように複数色の色フィルタが各画素部に離散的に配置された固体撮像素子から出力される色信号から、各画素における全ての色信号を、注目画素およびその近傍画素の色信号を用いた補間処理により生成する際に、斜め方向を含む複数の方向のエッジに対する色信号の相関性を利用して、偽色信号の発生を更に抑制することができる画像処理装置、これを用いた撮影装置、この画像処理装置を用いた画像処理方法、これをコンピュータに実行させるための画像処理プログラムおよびこの画像処理プログラムを格納したコンピュータ読み出し可能な可読記録媒体を提供することを目的とする。

本発明の画像処理装置は、複数種類の色フィルタが各画素部にベイヤ配列で離散的に配置された固体撮像素子から出力される色信号から、各画素における全ての色信号を、注目画素およびその近傍画素の色信号を用いたデータ補間処理により生成するデータ補間部を有する画像処理装置において、該データ補間部は、注目画素付近における斜め方向を含む複数の方向に対するエッジの方向性を定量化した方向性データを算出する方向性データ算出手段と、該方向性データ算出手段で算出された、該複数の方向に対する方向性データを用いて注目画素付近におけるエッジの方向性を検出する方向性検出手段と、該方向性検出手段で検出された一または複数のエッジの方向性に対応する色信号を算出する方向性色信号算出手段と、該方向性色信号算出手段で算出された一つ以上の色信号を用いて注目画素の色信号を算出する注目画素色信号算出手段とを備え、該方向性データ算出手段は、該方向性データとして、指定された方向と注目画素付近におけるエッジ方向との近似度が大きいほど小さい値を算出し、該ベイヤ配列の斜め方向のデータ補間を行う際に、該注目画素および該斜め方向の一方の画素を含む２×２の４画素に注目し、画素の中心にとらわれず、互いに隣接する該４画素の間の交点における色信号を算出すると共に、該注目画素および該斜め方向の他方の画素を含む２×２の４画素に注目し、画素の中心にとらわれず、互いに隣接する該４画素の間の交点における色信号を算出し、算出された各色信号との色の相関を用いて前記注目画素の色信号を算出することにより、該斜め方向のエッジに対する色信号の相関性をも利用した補間処理を行うものであり、そのことにより上記目的が達成される。

さらに、好ましくは、本発明の画像処理装置において、斜め方向を含む複数の方向は、注目画素付近における右斜め上方向および右斜め下方向の少なくとも一方を含む複数の方向である。

さらに、好ましくは、本発明の画像処理装置における方向性データ算出手段は、注目画素を通る右斜め上方向、水平方向、右斜め下方向および垂直方向の４方向に対して前記方向性データを算出する。

さらに、好ましくは、本発明の画像処理装置における方向性データ算出手段は、注目画素を中心として上方向、斜め右上方向、右方向、斜め右下方向、下方向、斜め左下方向、左方向および斜め左上方向の８方向に対して前記方向性データを算出する。

さらに、好ましくは、本発明の画像処理装置における方向性データ算出手段は、注目画素付近の複数の方向に対するエッジの方向性を定量化する際に、該エッジの有無に応じて変化する色信号の相関性の強度を表す項が方向性データ算出式に加えられている。また、好ましくは、本発明の画像処理装置において、エッジ部分に色信号の相関があるときに値が小さくなり、該エッジ部分に該色信号の相関がないときには値が大きくなるような項が前記方向性データ算出式に加えられている。

さらに、好ましくは、本発明の画像処理装置における方向性検出手段は、前記複数の方向に対する方向性データの最大値が所定の閾値よりも小さいか否かによって、注目画素付近にエッジがなく輝度勾配がなだらかな平坦部であるか否かを判定し、該平坦部の場合には「方向性なし」を検出し、該平坦部ではない場合には「方向性あり」を検出する。

さらに、好ましくは、本発明の画像処理装置における方向性検出手段は、前記「方向性あり」を検出した場合に、前記方向性データの値が最小値となる方向を注目画素付近におけるエッジ方向として検出する。

さらに、好ましくは、本発明の画像処理装置における方向性検出手段は、前記「方向性あり」を検出した場合であっても、前記方向性データの値が最小値となる方向が複数存在する場合には、「方向性なし」を検出する。

さらに、好ましくは、本発明の画像処理装置における方向性検出手段は、複数の方向に対する各方向性データから値の小さい順に一つ以上の方向を注目画素付近におけるエッジの方向性候補として検出する。

さらに、好ましくは、本発明の画像処理装置における方向性色信号算出手段は、 注目画素近傍の任意の位置において前記エッジの方向における異なる２色の色信号の差を算出する色差算出手段と、該色差算出手段で算出された色信号の差の相関性を用いて色信号を算出する色信号算出手段とを有する。

さらに、好ましくは、本発明の画像処理装置における方向性色信号算出手段は、 注目画素近傍の任意の位置において前記エッジの方向における異なる２色の色信号の比を算出する色比算出手段と、該色比算出手段で算出された色信号の比の相関性を用いて色信号を算出する色信号算出手段とを有する。

さらに、好ましくは、本発明の画像処理装置における方向性色信号算出手段は、前記注目画素近傍の任意の位置として、該注目画素の位置、該注目画素の近傍画素の中央位置、および、該注目画素の近傍において互いに隣接する画素間の交点のいずれかを用いる。

さらに、好ましくは、本発明の画像処理装置における方向性色信号算出手段は、前記方向性検出手段で検出された方向に対して、算出しようとする色成分の画素が存在しない場合に、該検出された方向以外の注目画素の近傍画素から、該算出しようとする色成分の画素を参照して前記エッジの方向性に対応する色信号を算出する。

さらに、好ましくは、本発明の画像処理装置における方向性色信号算出手段は、前記検出された方向以外の注目画素の複数の近傍画素において前記算出しようとする色成分の平均値を用いる。

さらに、好ましくは、本発明の画像処理装置における注目画素色信号算出手段は、前記方向性検出手段で「方向性あり」と検出された画素に対して、前記方向性色信号算出手段で算出された色信号を注目画素における色信号として算出する。

さらに、好ましくは、本発明の画像処理装置における注目画素色信号算出手段は、前記方向性検出手段で「方向性なし」と検出された画素に対して、バイリニア法を用いて注目画素における色信号を算出する。

さらに、好ましくは、本発明の画像処理装置における注目画素色信号算出手段は、前記方向性検出手段で検出された複数の方向性に対応する各色信号の平均色を注目画素における色信号として算出する平均色算出手段を有する。

さらに、好ましくは、本発明の画像処理装置における注目画素色信号算出手段は、前記方向性検出手段で検出された複数の方向性に対応する各色信号の平均色を算出する平均色算出手段と、該平均色算出手段で算出された平均色と注目画素の色との相関性を利用して注目画素における色信号を算出する多重色相関色信号算出手段とを有する。

本発明の撮影装置は、被写体を撮像可能とする固体撮像素子と、該固体撮像素子からの撮像データをアナログ／デジタル変換するアナログ／デジタル変換部と、該アナログ／デジタル変換部からのデジタル信号を信号処理する請求項１〜２０のいずれかに記載の上記画像処理装置とを有しており、そのことにより上記目的が達成される。

本発明の画像処理方法は、複数種類の色フィルタが各画素部にベイヤ配列で離散的に配置された固体撮像素子から出力される色信号から、各画素における全ての色信号を、注目画素およびその近傍画素の色信号を用いたデータ補間処理により生成する画像処理方法において、注目画素付近における斜め方向を含む複数の方向に対するエッジの方向性を定量化した方向性データを算出する方向性データ算出ステップと、該方向性データ算出ステップで算出された、該複数の方向に対する方向性データを用いて注目画素付近におけるエッジの方向性を検出する方向性検出ステップと、該方向性検出ステップで検出された一または複数のエッジの方向性に対応する色信号を算出する方向性色信号算出ステップと、
該方向性色信号算出ステップで算出された一つ以上の色信号を用いて注目画素の色信号を算出する注目画素色信号算出ステップとを有し、該方向性データ算出ステップは、該方向性データとして、指定された方向と注目画素付近におけるエッジ方向との近似度が大きいほど小さい値を算出し、該ベイヤ配列の斜め方向のデータ補間を行う際に、該注目画素および該斜め方向の一方の画素を含む２×２の４画素に注目し、画素の中心にとらわれず、互いに隣接する該４画素の間の交点における色信号を算出すると共に、該注目画素および該斜め方向の他方の画素を含む２×２の４画素に注目し、画素の中心にとらわれず、互いに隣接する該４画素の間の交点における色信号を算出し、算出された各色信号との色の相関を用いて前記注目画素の色信号を算出することにより、該斜め方向のエッジに対する色信号の相関性をも利用した補間処理を行うものであり、そのことにより上記目的が達成される。

さらに、好ましくは、本発明の画像処理方法における方向性データ算出ステップは、注目画素を通る右斜め上方向、水平方向、右斜め下方向および垂直方向の４方向に対して前記方向性データを算出する。

さらに、好ましくは、本発明の画像処理方法における方向性データ算出ステップは、注目画素を中心として上方向、斜め右上方向、右方向、斜め右下方向、下方向、斜め左下方向、左方向および斜め左上方向の８方向に対して前記方向性データを算出する。

さらに、好ましくは、本発明の画像処理方法における方向性データ算出ステップは、注目画素付近の複数の方向に対するエッジの方向性を定量化する際に、該エッジの有無に応じて変化する色信号の相関性の強度を表す項が方向性データ算出式に加えられる。また、好ましくは、本発明の画像処理方法において、エッジ部分に色信号の相関があるときに値が小さくなり、該エッジ部分に該色信号の相関がないときには値が大きくなるような項が前記方向性データ算出式に加えられる。

さらに、好ましくは、本発明の画像処理方法における方向性検出ステップは、複数の方向に対する方向性データの最大値が所定の閾値よりも小さいか否かによって、注目画素付近にエッジがなく輝度勾配がなだらかな平坦部であるか否かを判定し、該平坦部の場合には「方向性なし」を検出し、該平坦部ではない場合には「方向性あり」を検出する。

さらに、好ましくは、本発明の画像処理方法における方向性検出ステップは、前記「方向性あり」を検出した場合に、前記方向性データの値が最小値となる方向を注目画素付近におけるエッジ方向として検出する。

さらに、好ましくは、本発明の画像処理方法における方向性検出ステップは、前記「方向性あり」を検出した場合であっても、前記方向性データの値が最小値となる方向が複数存在する場合には、「方向性なし」を検出する。

さらに、好ましくは、本発明の画像処理方法における方向性検出ステップは、複数の方向に対する方向性データから値の小さい順に一つ以上の方向を注目画素付近におけるエッジ方向の方向性候補として検出する。

さらに、好ましくは、本発明の画像処理方法における方向性色信号算出ステップは、注目画素の近傍の任意の位置において前記エッジの方向における異なる２色の色信号の差を算出する色差算出ステップと、該色差算出ステップで算出された色信号の差の相関性を用いて色信号を算出する色信号算出ステップとを有する。

さらに、好ましくは、本発明の画像処理方法における方向性色信号算出ステップは、注目画素の近傍の任意の位置において前記エッジの方向における異なる２色の色信号の比を算出する色比算出ステップと、該色比算出ステップで算出された色信号の比の相関性を用いて色信号を算出する色信号算出ステップとを有する。

さらに、好ましくは、本発明の画像処理方法における方向性色信号算出ステップは、注目画素の近傍の任意の位置として、該注目画素の位置、該注目画素の近傍画素の中央位置、および、該注目画素の近傍において互いに隣接する画素間の交点のいずれかを用いる。

さらに、好ましくは、本発明の画像処理方法における方向性色信号算出ステップは、前記方向性検出手段で検出された検出方向に対して、算出しようとする色成分の画素が存在しない場合に、該検出された方向以外の注目画素の複数の近傍画素から、該算出しようとする色成分の画素を参照して前記エッジの方向性に対応する色信号を算出する。

さらに、好ましくは、本発明の画像処理方法における方向性色信号算出ステップは、前記検出された方向以外の注目画素の複数の近傍画素において前記算出しようとする色成分の平均値を用いる。

さらに、好ましくは、本発明の画像処理方法における注目画素色信号算出ステップは、前記方向性検出ステップで「方向性あり」と検出した画素に対して、前記方向性検出ステップで算出された色信号を注目画素における色信号として算出する。

さらに、好ましくは、本発明の画像処理方法における注目画素色信号算出ステップは、前記方向性検出ステップで「方向性なし」と検出した画素に対して、バイリニア法を用いて注目画素における色信号を算出する。

さらに、好ましくは、本発明の画像処理方法における注目画素色信号算出ステップは、前記方向性検出ステップで検出された複数の方向性に対応する各色信号の平均色を注目画素における色信号として算出する平均色算出ステップを有する。

さらに、好ましくは、本発明の画像処理方法における注目画素色信号算出ステップは、前記方向性検出ステップで検出された複数の方向性に対応する各色信号の平均色を算出する平均色算出ステップと、該平均色算出ステップで算出した平均色と注目画素の色との相関性を利用して注目画素における色信号を算出する多重色相関色信号算出ステップとを有する。

本発明の画像処理プログラムは、請求項２２〜４０のいずれかに記載の上記画像処理方法の各処理ステップをコンピュータに実行させるためのものであり、そのことにより上記目的が達成される。

本発明の可読記録媒体は、請求項４１に記載の画像処理プログラムが格納されたコンピュータ読み取り可能なものであり、そのことにより上記目的が達成される。

上記構成により、以下に、本発明の作用について説明する。

一般的な画像には、前述したように、局所領域における特徴として、「局所領域では色信号の変化が少ないため、Ｇ、ＲおよびＢの差、並びにＧ、ＲおよびＢの比はほぼ一定である」という性質がある。

従来の補間処理法では、上記画像の局所領域における特徴と、ベイヤ配列の垂直方向および水平方向には必ずＧ成分が含まれるという特徴とを利用して、水平方向および垂直方向の色相関を利用した補間を行っていた。

これに対して、本発明にあっては、上記従来法の場合と同様に画像の局所領域における特徴を利用すると共に、斜め方向の補間を行う際に、斜め方向に限らず、より広範囲の画素に注目し、また、必要に応じては画素の中心にとらわれず、任意の点（例えば、画素と画素との交点）における色信号を算出して、算出された色信号との色の相関によって注目画素の色信号を算出することにより、斜め方向のエッジに対する色信号の相関性をも利用した補間処理を行うことが可能である。

このように、ベイヤ配列の補間処理は、より多くの方向性を調べて、それぞれの方向性に適応した色信号を算出した方が、色信号の誤差を減少させることができて、偽色信号の発生を更に抑制することが可能となる。

即ち、本発明にあっては、斜め方向の色相関を利用して色信号を算出することができるため、従来の垂直方向および水平方向の色相関だけを利用した補間処理法よりも、より精密な画像の方向性検出を行うことが可能となって、偽色信号の発生を抑制した色信号算出を行うことが可能となる。

また、注目画素を中心とする８方向の方向性検出を行って、色相関を利用した色信号を算出することにより、エッジの端点を考慮して、さらに偽色信号の少ない補間処理を行うことが可能となる。

さらに、色相関の特徴を利用して算出した色信号を用いて、さらに色相関を利用して色信号を算出することにより、偽色信号をさらに低減することが可能となる。

以上説明したように、本発明によれば、画像の局所領域における特徴を利用すると共に、斜め方向のエッジに対する色信号の相関性をも利用した補間処理を行うことにより、偽色信号の発生を更に抑制した色信号の算出を行うことができる。

また、注目画素を中心とする８方向の方向性検出を行って色信号算出を行うことにより、更に偽色信号の少ない補間処理を行うことができる。

さらに、色相関の特徴を利用して算出した色信号を用いて、さらに色相関を利用して色信号を算出することにより、偽色信号を更に低減することができる。

以下に、本発明の画像処理装置の実施形態１〜５を撮影装置に適用した場合について、図面を参照しながら詳細に説明する。
（実施形態１）
図１は、本発明の画像処理装置の実施形態１を用いた撮影装置の構成例を示すブロック図である。

図１に示すように、本実施形態１の撮影装置１０は、被写体を撮像可能とする固体撮像素子１と、固体撮像素子１からの撮像データをＡ／Ｄ変換するＡ／Ｄ変換部２と、このＡ／Ｄ変換部２からのデジタル信号を各種信号処理する画像処理装置としての画像処理部３とを有している。

固体撮像素子１は、被写体光が所定のカラーフィルタを通ってフォトダイオード部に入射され、フォトダイオード部によって各画素に対応する色の大きさを表すアナログ電気信号に光電変換されて出力される。なお、この場合のカラーフィルタは、ＲＧＢの三原色でベイヤ配列とする。

Ａ／Ｄ変換部２は、固体撮像素子１から出力されるアナログ電気信号がディジタル信号（以下、ベイヤデータという）に変換されて出力される。

画像処理部３は、ホワイトバランス部４と、ガンマ補正部５と、データ補間部６とを有し、Ａ／Ｄ変換部２から出力されるベイヤデータが入力されて、ホワイトバランス、ガンマ補正およびデータ補間などの各種画像処理が施された後に、各画素部毎にＲＧＢデータが全て揃った画像データが画像処理部３から出力される。

ホワイトバランス部４は、Ａ／Ｄ変換部２から出力されるベイヤデータが入力されて、ベイヤデータの各画素値に対して、対応するＲＧＢゲインが乗算されて白色の調整が行われ、白色調整後のベイヤデータが出力される。

ガンマ補正部５は、ホワイトバランス部４から出力される白色調整後のベイヤデータが入力され、このベイヤデータの各画素値に対して、表示部に対応するように輝度の階調に関する調整（ガンマ補正）が行われ、ガンマ補正後のベイヤデータが出力される。

データ補間部６は、ガンマ補正部５から出力されるガンマ補正後のベイヤデータが入力されて、二次元状でマトリクス状に配列された各画素部に対してそれぞれ、注目画素付近におけるエッジ（輝度値が急激に変化する部分で平坦部ではない部分）の有無およびエッジの方向性が、注目画素とその近傍画素の色信号を用いた演算処理によって検出され、このエッジの有無および検出されたエッジの方向性に応じたデータ補間処理が行われて、各画素毎にＲＧＢ信号が出力される。

図２は、図１のデータ補間部６の構成例を示すブロック図である。

図２に示すように、データ補間部６は、方向性データ算出部６１と、方向性検出部６２と、方向性色信号算出部６３と、注目画素色信号算出部６４と、これらを制御する制御部６５とを有し、エッジの有無およびエッジの方向性を検出し、この検出されたエッジの方向性に応じたデータ補間処理が行われる。この方向性データ算出部６１と制御部６５とによって方向性データ算出手段が構成されている。また、方向性検出部６２と制御部６５とによって方向性検出手段が構成され、方向性色信号算出部６３と制御部６５とによって方向性色信号算出手段が構成され、注目画素色信号算出部６４と制御部６５とによって注目画素色信号算出手段が構成されている。

方向性データ算出部６１は、対象となるベイヤデータの各画素に対して、少なくとも斜め方向を含む指定方向と注目画素付近における実際のエッジ方向との近似度が大きいほど値が小さくなる方向性データが、予め決められた複数の指定方向に対してそれぞれ算出される。

方向性検出部６２は、方向性データ算出部６１によって算出された複数の指定方向に対する各方向性データを用いて、注目画素付近（注目画素を通る付近画素を含む部分）におけるエッジの有無およびエッジの方向性が検出される。

方向性色信号算出部６３は、方向性検出部６２によって検出されたエッジの方向性に対応した色信号が算出される。本実施形態１では、方向性色信号算出部６３は、注目画素の近傍の任意の点（画面上の位置）において方向性を考慮した異なる２色の色信号の差を算出する色差算出手段としての色差算出部（図示せず）と、その色差算出部によって算出された色信号の差の相関性を用いて色信号を算出する色信号算出手段としての色信号算出部（図示せず）とを有している。

注目画素色信号算出部６４は、方向性検出部６２によって検出されたエッジの方向性と、方向性色信号算出部６３によって算出された色信号とを用いて、注目画素における色信号が算出される。

制御部６５は、上記方向性データ算出部６１、方向性検出部６２、方向性色信号算出部６３および注目画素色信号算出部６４にそれぞれ接続されており、この制御部６５によって、各部分の処理の流れを制御する。

以下に、図１および図２のデータ補間部６によるデータ補間処理の処理手順について、図３を用いて順に説明する。

図３は、図２のデータ補間部６のデータ補間動作を説明するためのフローチャートである。なお、図３のステップＳ１〜Ｓ４の処理は、ステップＳ５により、入力されたベイヤデータ領域内の補間指定領域内における画素の数だけ繰り返される。また、図４に示すように、鎖線で囲まれた補間指定領域は、実線で囲まれたベイヤデータ領域内に収まり、かつ、補間指定領域の外側には、上下左右共に幅２画素分以上のベイヤデータが存在するものとする。これは、補間指定領域境界部の画素に対して、補間処理に必要なだけの近傍画素の情報を得ることができるようにするためである。

図３に示すように、方向性データ算出部６１によって、まず、ステップＳ１では、注目画素毎の方向性データが、予め決められた複数の指定方向に対して算出される。

本実施形態１では、図５に示すように、複数の指定方向として、右斜め上、水平、右斜め下および垂直の４方向が用いられる。これらの指定方向に限らず、上記以外の指定方向も考えられるが、微小領域内においては、概ね上記４方向に近似することができる。

また、注目画素の付近に位置する複数の近傍画素として、本実施形態１では、例えば図１２（ａ）に示すように注目画素に隣接する８つの近傍画素と、さらにそれらの周囲を取り囲むように位置する１６の近傍画素とを用いるが、データ補間処理に必要な数の画素であって、注目画素を取り囲むように位置する画素であれば、これらに限らず、任意の数の近傍画素を用いることができる。

方向性データ算出部６１では、注目画素付近における右斜め上方向、水平方向、右斜め下方向および垂直方向を含む複数の指定方向（ここでは４方向）に対するエッジの方向性を定量化した方向性データを算出する。即ち、方向性データとして、指定された方向（指定方向）と注目画素付近における実際のエッジ方向との近似度の値に応じた値を算出する。例えば、指定された方向（指定方向）と注目画素付近における実際のエッジ方向との近似度が大きいほど値が小さくなるように、方向性データが算出される。このような方向性データ算出式としては、各種のものが考えられるが、例えば、以下のような算出式（式２）を用いることができる。

ただし、ＤＤｒｕ：右斜め上方向の方向性データ算出式
ＤＤｈｏ：水平方向の方向性データ算出式
ＤＤｒｄ：右斜め下方向の方向性データ算出式
ＤＤｖｅ：垂直方向の方向性データ算出式
とする。
（式２）
・注目画素がＧ３３の場合（図１２（ａ）参照）
ＤＤｒｕ＝{(｜G51−G33｜＋｜G42−G33｜＋｜G24−G33｜＋｜G15−G33｜
＋｜G22−G31|＋｜G22−G13｜＋｜G44−G53｜＋｜G44−G35|)／２
＋(｜P32−P14｜＋｜P52−P34｜)
＋(｜Q41−Q23｜＋｜Q43−Q25｜)}／２
ＤＤｈｏ＝{(｜G13−G33｜＋｜G53−G33｜＋｜G22−G42｜＋｜G24−G44｜)
＋(｜Q23−Q43｜)×２
＋(｜P12−P32｜＋｜P52−P32｜＋｜P14−P34｜＋｜P54−P34｜)／２}／２
ＤＤｒｄ＝{(｜G11−G33｜＋G22−G33｜＋｜G44−ＧG33｜＋｜G55−G33｜
＋｜G42−G31｜＋｜G42−G53｜＋｜G24−G13｜＋｜G24−G35｜)／２
＋(｜P32−P54｜＋｜P12−P34｜)
＋(｜Q21−Q43｜＋｜Q23−Q45｜)}／２
ＤＤｖｅ＝{(｜G31−G33｜＋｜G35−G33｜＋｜G22−G24｜＋｜G42−G44｜)
＋(｜P32−P34｜)×２
＋(｜Q21−Q23｜＋｜Q25−Q23｜＋｜Q41−Q43｜＋｜Q45−Q43｜)／２}／２
・注目画素がＰ３３の場合（図１２（ｂ）参照）
ＤＤｒｕ＝(｜P15−P33｜＋｜P51−P33｜)
＋(｜Q42−Q24｜)
＋(｜G32−G23｜＋｜G43−G34｜)／２
ＤＤｈｏ＝(｜P13−P33｜＋｜P53−P33｜)
＋(｜G23−G43｜)
＋(｜Q22−Q42｜＋｜Q24−Q44｜)／２
ＤＤｒｄ＝(｜P11−P33｜＋｜P55−P33｜)
＋(｜Q44−Q22｜)
＋(｜G32−G43｜＋｜G23−G34｜)／２
ＤＤｖｅ＝(｜P31−P33｜＋｜P35−P33｜)
＋(｜G32−G34｜)
＋(｜Q22−Q24｜＋｜Q42−Q44｜)／２
次に、図３に戻って、ステップＳ２では、方向性検出部６２によって、ステップＳ１で算出された方向性データを用いて、注目画素のエッジの有無およびエッジの方向性が検出される。

以下に、図２の方向性検出部６２による方向性検出処理の各処理手順について、図６を用いて説明する。

図６は、図２の方向性検出部６２（図３のステップＳ２の一例）の動作例を説明するためのフローチャートである。

図６に示すように、方向性検出部６２によって、まず、ステップＳ２１では、図３のステップＳ１で算出された図５の４種類の方向性データの最大値が検出される。

次に、ステップＳ２２では、ステップＳ２１で検出された方向性データの最大値が、図示しないレジスタに記憶された閾値Ａよりも小さいか否か、即ち、注目画素付近にエッジがなく輝度勾配がなだらかな平坦部であるか否かが判定される。これが平坦部である場合（Ｙｅｓ）には、ステップＳ２３において「方向性なし」を示す信号が出力され、注目画素の方向性検出処理が終了する。また、ステップＳ２２で平坦部ではない場合（Ｎｏ）、即ち、エッジ部がある場合には「方向性あり」と判定して、次のステップＳ２４の処理に移行する。このように、ステップＳ２２では平坦部であるか否かを検出することによりエッジの有無を検出する。なお、この場合の閾値Ａの取り得る値の範囲は、方向性データ算出式により異なるが、閾値Ａを大きくするほど平坦部と判定される画素データが増加し、閾値Ａを小さくするほど平坦部と判定される画素データが減少する。

ステップＳ２４では、ステップＳ１で算出された４種類の方向性データから、値の一番小さい方向性が検出される。

その後のステップＳ２５では、最小となる値の方向性データを有する方向が複数存在するかどうかが検出され、最小となる値の方向性データが複数存在する場合（Ｙｅｓ）には、ステップＳ２３の処理に移行し、ステップＳ２３で「方向性なし」を示す信号が出力されて注目画素の方向性検出処理が終了する。また、最小となる値の方向性データが複数存在しない場合（Ｎｏ）に、ステップＳ２６の処理に移行する。

ステップＳ２６では、ステップＳ２４で検出された最小の方向性が出力され、注目画素の方向性検出処理が終了する。

次に、図３に戻って、ステップＳ３では、方向性色信号算出部６３によって、方向性検出部６２で検出されたエッジ方向（エッジの方向性）に対応する色信号が算出される。この方向性色信号算出部６３による方向性色信号の算出処理については、本実施形態１の特徴構成であるので詳細に後述する。

次に、ステップＳ４では、注目画素色信号算出部６４によって、ステップＳ３で方向性色信号算出部６３で算出された色信号が注目画素における色信号として算出される。なお、ステップＳ２で方向性検出部６２によって「方向性なし」と検出された画素については、バイリニア法を用いて色信号が算出される。

ステップＳ５を介して、全画素における補間処理が終了するまでステップＳ１〜Ｓ４の処理が繰り返される。

以下に、方向性色信号算出部６３（図３のステップＳ３）による色信号算出方法について、詳細に説明する。

各エッジ方向について色信号を算出する方法は多数存在するが、ここでは、垂直方向および右斜め上方向について、色信号算出式を説明する。水平方向の色信号算出式は、垂直方向の色信号算出式を９０度回転させることにより求めることができる。これと同様に、右斜め下方向の色信号算出式は、右斜め上方向の色信号算出式を９０度回転することにより求めることができる。

下記（式３）は、方向性色信号算出部６３によって用いられる色信号算出式の一例である。
（式３）
・注目画素がＧ３３の場合（図１２（ａ）参照）
Ｇｖｅ＝Ｇ３３
Ｐｖｅ＝（Ｐ３２＋Ｐ３４）／２
Ｑｖｅ＝Ｇ３３＋（Ｑ２３−Ｇ２３’＋Ｑ４３−Ｇ４３’）／２
ただし
Ｇ２３’＝（Ｇ２２＋Ｇ２４）／２
Ｇ４３’＝（Ｇ４２＋Ｇ４４）／２
Ｇｒｕ＝（２×Ｇ３３＋Ｇ４２＋Ｇ２４）／４
Ｐｒｕ＝Ｇｒｕ＋（Ｐ３２−Ｇ３２’＋Ｐ３４−Ｇ３４’）／２
Ｑｒｕ＝Ｇｒｕ＋（Ｑ２３−Ｇ２３’＋Ｑ４３−Ｇ４３’）／２
とする。

・注目画素がＰ３３の場合（図１２（ｂ）参照）
Ｇｖｅ＝（Ｇ３２＋Ｇ３４）／２
Ｐｖｅ＝Ｐ３３
Ｑｖｅ＝Ｇｖｅ＋（Ｑ２３’−Ｇ２３＋Ｑ４３’−Ｇ４３）／２
ただし、Ｇ３２’＝（Ｇ２２＋Ｇ４２）／２
Ｇ３４’＝（Ｇ２４＋Ｇ４４）／２
Ｇ２３’＝（Ｇ２２＋Ｇ２４）／２
Ｇ４３’＝（Ｇ４２＋Ｇ４４）／２
とする。

ただし、
Ｑ２３’＝（Ｑ２２＋Ｑ２４）／２
Ｑ４３’＝（Ｑ４２＋Ｑ４４）／２
Ｐｒｕ＝Ｐ３３
Ｑｒｕ＝（Ｑ４２＋Ｑ２４）／２
Ｇｒｕ＝Ｓ３３＋（Ｇａ−Ｓａ＋Ｇｂ−Ｓｂ）／２
とする。

ただし、
Ｓ３３＝（２×Ｐ３３＋Ｑ４２＋Ｑ２４）／４
Ｓａ＝（Ｐ３３＋Ｑ２２）／２
Ｇａ＝（Ｇ３２＋Ｇ２３）／２
Ｓｂ＝（Ｐ３３＋Ｑ４４）／２
Ｇｂ＝（Ｇ３４＋Ｇ４３）／２
Ｇｖｅ：垂直方向のＧ成分色信号
Ｐｖｅ：垂直方向のＰ成分色信号
Ｑｖｅ：垂直方向のＱ成分色信号
Ｇｒｕ：右斜め上方向のＧ成分色信号
Ｐｒｕ：右斜め上方向のＰ成分色信号
Ｑｒｕ：右斜め上方向のＱ成分色信号
とする。

以下に、上記（式３）の導き方について説明する。

まず、注目画素がＧ成分のときの垂直方向（検出エッジ方向が垂直方向の場合）の色信号の導き方、次に、注目画素がＰ成分のときの垂直方向の色信号の導き方、続いて、注目画素がＧ成分のときの右斜め上方向（検出エッジ方向が右斜め上方向の場合）の色信号の導き方、最後に、注目画素がＰ成分のときの右斜め上方向の色信号の導き方について順次説明する。

まず、注目画素Ｖ３３がＧ成分のときの垂直方向の色信号算出式（式３）の導き方について、画素の位置を示す図７および図１２（ａ）を用いて説明する。

上記（式３）において、垂直方向の色信号のＧ成分、Ｒ成分およびＢ成分は、Ｇｖｅ、ＰｖｅおよびＱｖｅで表されている。ただし、ＰｖｅはＲ成分またはＢ成分であり、ＱｖｅはＢ成分またはＲ成分である。

注目画素Ｖ３３のＧ信号Ｇｖｅとしては、値Ｇ３３が用いられる。

また、注目画素Ｖ３３のＰ信号Ｐｖｅとしては、垂直方向の１画素隣（Ｖ３２とＶ３４）の画素成分の平均値が用いられる。

さらに、注目画素Ｖ３３のＱ信号Ｑｖｅは、垂直方向における色信号の差に関する相関性を利用して算出される。

ここで、色信号の差に関する相関性とは、「局所領域において色信号の変化は少なく、異なる色成分の差はほぼ一定である」という性質のことである。即ち、方向性を考慮した近傍画素のＱ成分Ｑ’とＧ成分Ｇ’とを算出し、注目画素のＱ成分ＱとＧ成分Ｇとの関係から、以下の（式４）を用いて、注目画素のＱ成分Ｑを導くことができる。Ｐ成分に関しても同様である。
（式４）
Ｑ＝Ｇ＋（Ｑ’−Ｇ’）
Ｐ＝Ｇ＋（Ｐ’−Ｇ’）
ここでは、画素Ｖ２３、画素Ｖ４３および画素Ｖ３３に注目して、画素Ｖ２３におけるＧ成分Ｇ２３’とＱ成分Ｑ２３との差、画素Ｖ４３におけるＧ成分Ｇ４３’とＱ成分Ｑ４３との差、および画素Ｖ３３におけるＧ成分Ｇ３３とＱ成分Ｑ３３との差がほぼ等しいとする。画素Ｖ２３におけるＱ成分とＧ成分との差、および画素Ｖ４３におけるＱ成分とＧ成分との差の平均を、上記（式４）の（Ｑ’−Ｇ’）として、注目画素Ｖ３３におけるＱ成分Ｑ３３が算出される。

次に、注目画素Ｖ３３がＰ成分のときの垂直方向の色信号算出式（式３）の導き方について、画素の位置を示す図７および図１２（ｂ）を用いて説明する。

注目画素Ｖ３３のＧ信号Ｇｖｅとしては、垂直方向の１画素隣（Ｖ３２とＶ３４）の画素成分の平均値が用いられる。

また、注目画素Ｖ３３のＰ信号Ｐｖｅとしては、値Ｐ３３が用いられる。

さらに、注目画素Ｖ３３のＱ信号Ｑｖｅは、注目画素がＧ成分のときと同様に、垂直方向における色信号の差に関する相関性を利用して算出される。

ここでは、画素Ｖ２３、画素Ｖ４３および画素Ｖ３３に注目して、画素Ｖ２３におけるＧ成分Ｇ２３とＱ成分Ｑ２３’との差、画素Ｖ４３におけるＧ成分Ｇ４３とＱ成分Ｑ４３’との差、および画素Ｖ３３におけるＧ成分ＧｖｅとＱ成分Ｑ３３との差がほぼ等しいとする。画素Ｖ２３におけるＱ成分とＧ成分との差、および画素Ｖ４３におけるＱ成分とＧ成分との差の平均を、上記（式４）の（Ｑ’−Ｇ’）として、注目画素Ｖ３３におけるＱ成分Ｑ３３が算出される。

続いて、注目画素Ｖ３３がＧ成分のときの右斜め上方向の色信号算出式（式３）の導き方について、画素の位置を示す図７および図１２（ａ）を用いて説明する。

上記（式３）において、右斜め上方向の色信号のＧ成分、Ｒ成分およびＢ成分は、Ｇｒｕ、ＰｒｕおよびＱｒｕで表されている。ただし、ＰｒｕはＲ成分またはＢ成分であり、ＱｒｕはＢ成分またはＲ成分である。

注目画素Ｖ３３のＧ成分Ｇｒｕは、画素Ｖ３３、画素Ｖ４２および画素Ｖ２４から算出される。

また、注目画素Ｖ３３のＰ成分Ｐｒｕおよび注目画素Ｖ３３のＱ成分Ｑｒｕは、右斜め上方向における色信号の差に関する相関性を利用して算出される。

まず、注目画素Ｖ３３のＰ成分について、色相関を利用した色信号の算出方法を説明する。

ここでは、画素Ｖ３２、画素Ｖ３４および画素Ｖ３３に注目して、画素Ｖ３２におけるＰ成分Ｐ３２とＧ成分Ｇ３２’との差、画素Ｖ３４におけるＰ成分Ｐ３４とＧ成分Ｇ３４’との差、および画素Ｖ３３におけるＰ成分Ｐ３３とＧ成分Ｇ３３との差がほぼ等しいとする。

本発明の主な特徴構成の一つは、Ｇ成分Ｇ３２’およびＧ３４’の求め方にある。従来法では、画素Ｖ３２の右斜め上方向のＧ成分を求めようとするときに、画素Ｖ３２を含む右斜め上方向の画素から算出してきた。しかしながら、画素Ｖ３２を含む右斜め上方向にはＰ成分とＱ成分しか存在しないため、Ｇ成分を求めることができなかった。

これに対して、本実施形態１では、画素Ｖ３２のＧ成分Ｇ３２’の値を求めるために、右斜め上方向の画素以外の画素を参照することを特徴としている。

例えば、画素Ｖ３２におけるＧ成分Ｇ３２’の値として、Ｇ成分Ｇ２２とＧ成分Ｇ４２との平均値が用いられる。同様に、画素Ｖ３４におけるＧ成分Ｇ３４’の値としてＧ成分、Ｇ２４とＧ成分Ｇ４４との平均値が用いられる。

このようにして算出されたＧ成分を用いて、上記垂直方向の色相関性のときと同様に、画素Ｖ３２におけるＰ成分とＧ成分との差と、画素Ｖ３４におけるＰ成分とＧ成分との差との平均値を上記（式４）の（Ｐ’−Ｇ’）として、注目画素Ｖ３３におけるＰ成分Ｐ３３が算出される。

次に、注目画素Ｖ３３のＱ成分について、色相関を利用した色信号の算出方法を説明する。基本的には、Ｐ成分と同様の手順で色信号が算出される。

ここでは、画素Ｖ２３、画素Ｖ４３および画素Ｖ３３に注目して、画素Ｖ２３におけるＱ成分Ｑ２３とＧ成分Ｇ２３’との差、画素Ｖ４３におけるＱ成分Ｑ４３とＧ成分Ｇ４３’との差、および画素Ｖ３３におけるＱ成分Ｑ３３とＧ成分Ｇ３３との差がほぼ等しいとする。

例えば、画素Ｖ２３におけるＱ成分とＧ成分との差と、画素Ｖ４３におけるＱ成分とＧ成分との差との平均値を上記（式４）の（Ｑ’−Ｇ’）として、注目画素Ｖ３３におけるＱ成分Ｑ３３が算出される。

最後に、注目画素Ｖ３３がＰ成分のときの右斜め上方向の色信号算出式（式３）の導き方について、画素の位置を示す図７および図１２（ｂ）を用いて説明する。

注目画素Ｖ３３のＰ成分Ｐｒｕとしては、値Ｐ３３が用いられる。

また、注目画素Ｖ３３のＱ成分Ｑｒｕとしては、右斜め上方向の１画素隣（Ｖ４２とＶ２４）の画素値の平均値が用いられる。

さらに、注目画素Ｖ３３のＧ成分Ｇｒｕは、右斜め上方向における色信号の差に関する相関性を利用して算出される。

図７において、画素Ｖ２２、画素Ｖ３２、画素Ｖ２３および画素Ｖ３３の４画素が交わる点（位置）を点Ａとする。また、画素Ｖ３３、画素Ｖ４３、画素Ｖ３４および画素Ｖ４４の４画素が交わる点（位置）を点Ｂとする。

ここでは、画素Ｖ３３の他に、点Ａおよび点Ｂの各位置に注目する。画素Ｖ３３におけるＰ成分とＱ成分との平均値Ｓ３３とＧ成分Ｇ３３との差、点ＡにおけるＰ成分とＱ成分との平均値ＳａとＧ成分Ｇａとの差、および点ＢにおけるＰ成分とＱ成分の平均ＳｂとＧ成分Ｇｂとの差がほぼ等しいとする。

ここで、局所領域における色信号の差に関する相関性より、上記（式４）と同様に、以下の（式５）が導かれる。
（式５）
Ｇ＝Ｓ＋（Ｇ’−Ｓ’）
Ｇ：注目画素のＧ成分
Ｓ：注目画素のＰ成分とＱ成分の平均値
Ｇ’：注目画素の近傍点におけるＧ成分
Ｓ’：注目画素の近傍点におけるＰ成分とＱ成分の平均値
ただし、
Ｇ’およびＳ’において、注目画素の近傍点は同じ位置
とする。

これにより、点ＡにおけるＳ値とＧ成分との差、および点ＢにおけるＳ値とＧ成分との差の平均値を上記（式５）の（Ｇ’−Ｓ’）として、注目画素Ｖ３３におけるＧ成分Ｇ３３が算出される。

以上説明したように、本実施形態１によれば、画像の局所領域における特性を利用すると共に、斜め方向のエッジに対する色信号の相関性をも利用した補間処理を行うことができる。斜め方向の色相関を利用して色信号を算出することができるため、従来の垂直方向および水平方向の色相関を利用した補間処理法よりも精密な画像の方向性検出を行って、色信号を算出することができる。

例えば、図１３（ａ）に示す輝度値を有するベイヤ配列において、注目画素Ｇ３３に対して、本実施形態１による方向性データ算出式（式２）を用いると、
ＤＤｒｕ＝２４８
ＤＤｈｏ＝７４４
ＤＤｒｄ＝７４４
ＤＤｖｅ＝４３４
となり、方向性検出部６２は、方向性データの値が最小値となる方向「ＤＤｒｕ；右斜め上方向」を注目画素付近におけるエッジ方向として検出する。

本実施形態１による色信号算出式（式３）を用いると、
Ｇｒｕ＝（２×Ｇ３３＋Ｇ２４＋Ｇ４２）／４＝６４
Ｒｒｕ＝（Ｒ３２＋Ｒ３４）／２＋（２×Ｇ３３−Ｇ２２−Ｇ４４）／４＝６４
Ｂｒｕ＝（Ｂ２３＋Ｂ４３）／２＋（２×Ｇ３３−Ｇ２２−Ｇ４４）／４＝６４
となり、
Ｒ＝Ｇ＝Ｂ
となるため、偽色信号のない色信号を算出することができる。

本発明の特徴構成の一つは、「注目画素の色成分は近傍点の色成分に相関性がある」ということを利用して、近傍画素以外の近傍点における色信号の相関性を用いた点にある。

従来法では、画素の中心における色信号を算出して、その画素値と算出された色信号とを用いて、注目画素の色成分との相関性により注目画素の色信号を算出していた。

本発明では、注目画素付近の任意の点（位置）における色成分を算出して、注目画素の色信号との相関性により色信号を算出するため、同じ方向性における色信号算出式であっても、様々な色信号算出式を導くことが可能である。

なお、以下に、いくつかの色信号算出式の例について説明する。

まず、図１２（ａ）を参照して、注目画素がＧ成分の場合について、右斜め上方向の色信号算出式を下記（式６）および（式７）に示す。
（式６）
Ｇｒｕ＝（２×Ｇ３３＋Ｇ４２＋Ｇ２４）／４
Ｐｒｕ＝Ｇｒｕ＋（Ｐａ−Ｇａ＋Ｐｂ−Ｇｂ）／２
Ｑｒｕ＝Ｇｒｕ＋（Ｑａ−Ｇａ＋Ｑｂ−Ｇｂ）／２
ただし、
Ｇａ＝（Ｇ２２＋Ｇ３３）／２
Ｐａ＝（３×Ｐ３２＋Ｐ１４）／４
Ｑａ＝（３×Ｑ２３＋Ｑ４１）／４
Ｇｂ＝（Ｇ３３＋Ｇ４４）／２
Ｐｂ＝（３×Ｐ３４＋Ｐ５２）／４
Ｑｂ＝（３×Ｑ４３＋Ｑ２５）／４
とする。

上記（式６）は、図７に示すＶ２２、Ｖ３２、Ｖ２３およびＶ３３の交点Ａの位置と、Ｖ３３、Ｖ４３、Ｖ３４およびＶ４４の交点Ｂの位置と、注目画素とにおけるＧ成分、Ｐ成分およびＱ成分について、色信号の差に関する相関性を利用して色信号を求めた式である。
（式７）
Ｇｒｕ＝（２×Ｇ３３＋Ｇ４２＋Ｇ２４）／４
Ｐｒｕ＝Ｇｒｕ＋（Ｐａ−Ｇａ＋Ｐｂ−Ｇｂ）／２
Ｑｒｕ＝Ｇｒｕ＋（Ｑａ−Ｇａ＋Ｑｂ−Ｇｂ）／２
ただし、
Ｇａ＝（２×Ｇ２４＋Ｇ３３＋Ｇ１５）／４
Ｐａ＝（Ｐ１４＋Ｐ３４）／２
Ｑａ＝（Ｑ２３＋Ｑ２５）／２
Ｇｂ＝（２×Ｇ４２＋Ｇ３３＋Ｇ５１）／４
Ｐｂ＝（Ｐ３２＋Ｐ５２）／２
Ｑｂ＝（Ｑ４１＋Ｑ４３）／２
とする。

上記（式７）は、図７に示すＶ２４、Ｖ４２および注目画素におけるＧ成分、Ｐ成分およびＱ成分について、色信号の差に関する相関性を利用して色信号を求めた式である。

次に、図１２（ｂ）を参照して、注目画素がＰ成分の場合について、右斜め上方向の色信号算出式を、下記（式８）および（式９）に示す。
（式８）
Ｐｒｕ＝Ｐ３３
Ｑｒｕ＝（Ｑ４２＋Ｑ２４）／２
Ｇｒｕ＝Ｐ３３＋（Ｇａ−Ｐａ＋Ｇｂ−Ｐｂ）／２
ただし、
Ｐａ＝（２×Ｐ３３＋Ｐ３１＋Ｐ１３）／４
Ｇａ＝（Ｇ３２＋Ｇ２３）／２
Ｐｂ＝（２×Ｐ３３＋Ｐ３５＋Ｐ５３）／４
Ｇｂ＝（Ｇ３４＋Ｇ４３）／２
とする。

上記（式８）は、Ｖ２２、Ｖ３２、Ｖ２３およびＶ３３の交点Ａの位置と、Ｖ３３、Ｖ４３、Ｖ３４およびＶ４４の交点Ｂの位置と、注目画素とにおけるＧ成分およびＰ成分について、色信号の差に関する相関性を利用して色信号を求めた式である。
（式９）
Ｐｒｕ＝Ｐ３３
Ｑｒｕ＝（Ｑ４２＋Ｑ２４）／２
Ｇｒｕ＝Ｓ３３＋（Ｇａ−Ｓａ＋Ｇｂ−Ｓｂ）／２
ただし、
Ｓ３３＝（２×Ｐ３３＋Ｑ４２＋Ｑ２４）／４
Ｓａ＝（２×Ｐ３３＋Ｐ３１＋Ｐ１３＋２×Ｑ２２＋Ｑ２４＋Ｑ４２）／８
Ｇａ＝（Ｇ４１＋３×Ｇ３２＋３×Ｇ２３＋Ｇ１４）／８
Ｓｂ＝（２×Ｐ３３＋Ｐ３５＋Ｐ５３＋２×Ｑ４４＋Ｑ２４＋Ｑ４２）／８
Ｇｂ＝（Ｇ２５＋３×Ｇ３４＋３×Ｇ４３＋Ｇ５２）／８
とする。

上記（式９）は、Ｖ２２、Ｖ３２、Ｖ２３およびＶ３３の交点Ａの位置と、Ｖ３３、Ｖ４３、Ｖ３４およびＶ４４の交点Ｂの位置と、注目画素とにおけるＧ成分とＰ成分およびＱ成分の平均値とについて、色信号の差に関する相関性を利用して色信号を求めた式である。

上記（式３）および（式６）〜（式９）以外にも、様々な色信号算出式を考えることが可能である。
（実施形態２）
本実施形態２では、上記実施形態１の方向性色信号算出部６３による処理（図３のステップＳ３）が色差相関を用いる場合とは異なり、色比相関を用いる場合について説明する。即ち、上記実施形態１では色信号の差に関する相関性を利用して色信号を算出したが、本実施形態２では色信号の比に関する相関性を利用して色信号を算出する場合である。

図１および図２に示すように、本実施形態２のが画像処理装置１０Ａは、被写体を撮像可能とする固体撮像素子１と、固体撮像素子１からの撮像データをＡ／Ｄ変換するＡ／Ｄ変換部２と、このＡ／Ｄ変換部２からのデジタル信号を各種信号処理する画像処理装置としての画像処理部３Ａとを有している。

画像処理部３Ａは、ホワイトバランス部４と、ガンマ補正部５と、データ補間部６Ａとを有している。データ補間部６Ａは、方向性データ算出部６１と、方向性検出部６２と、方向性色信号算出部６３Ａと、注目画素色信号算出部６４と、これらを制御する制御部６５とを有している。

方向性色信号算出部６３Ａは、注目画素の近傍の任意の点において方向性を考慮した異なる２色の色信号の比を算出する色差算出部（図示せず）と、その色比算出部によって算出された色信号の比の相関性を用いて色信号を算出する色信号算出部（図示せず）とを有する。

以下に、本実施形態２における方向性色信号算出部６３Ａ（図３のステップＳ３に対応）による色信号算出方法について説明する。なお、方向性データ算出部６１（図３のステップＳ１）、方向性検出部６２（図３のステップＳ２）および注目画素色信号算出部６４（図３のステップＳ４）については、上記実施形態１の場合と同様の処理を行うことができるので、ここではその説明を省略する。

ここで、色信号の比に関する相関性とは、「局所領域において色信号の変化は少なく、異なる色成分の比はほぼ一定である」という性質のことである。即ち、方向性を考慮した近傍画素のＱ成分Ｑ’とＧ成分Ｇ’とを算出し、注目画素のＱ成分ＱとＧ成分Ｇとの関係から、以下の（式１０）を用いて、注目画素のＱ成分Ｑを導くことができる。Ｐ成分に関しても同様である。
（式１０）
Ｑ＝Ｇ×（Ｑ’／Ｇ’）
Ｐ＝Ｇ×（Ｐ’／Ｇ’）
各方向について色信号を算出する方法は多数存在するが、ここでは、上記実施形態１の場合と同様に、垂直方向および右斜め上方向について、色信号算出式を説明する。水平方向の色信号算出式は、垂直方向の色信号算出式を９０度回転することにより求めることができる。同様に、右斜め下方向の色信号算出式は、右斜め上方向の色信号算出式を９０度回転することにより求めることができる。

下記（式１１）は、方向性色信号算出部６３Ａによって用いられる色信号算出式の一例である。
（式１１）
・注目画素がＧ３３の場合（図１２（ａ）参照）
Ｇｖｅ＝Ｇ３３
Ｐｖｅ＝（Ｐ３２＋Ｐ３４）／２
Ｑｖｅ＝Ｇ３３×（Ｑ２３／Ｇ２３’＋Ｑ４３／Ｇ４３’）／２
ただし、
Ｇ２３’＝（Ｇ２２＋Ｇ２４）／２
Ｇ４３’＝（Ｇ４２＋Ｇ４４）／２
Ｇｒｕ＝（２×Ｇ３３＋Ｇ４２＋Ｇ２４）／２
Ｐｒｕ＝Ｇｒｕ×（Ｐ３２／Ｇ３２’＋Ｐ３４／Ｇ３４’）／２
Ｑｒｕ＝Ｇｒｕ×（Ｑ２３／Ｇ２３’＋Ｑ４３／Ｇ４３’）／２
とする。

ただし、
Ｇ３２’＝（Ｇ２２＋Ｇ４２）／２
Ｇ３４’＝（Ｇ２４＋Ｇ４４）／２
Ｇ２３’＝（Ｇ２２＋Ｇ２４）／２
Ｇ４３’＝（Ｇ４２＋Ｇ４４）／２
とする。

・注目画素がＰ３３の場合（図１２（ｂ）参照）
Ｇｖｅ＝（Ｇ３２＋Ｇ３４）／２
Ｐｖｅ＝Ｐ３３
Ｑｖｅ＝Ｇｖｅ×（Ｑ２３’／Ｇ２３＋Ｑ４３’／Ｇ４３）／２
ただし、
Ｑ２３’＝（Ｑ２２＋Ｑ２４）／２
Ｑ４３’＝（Ｑ４２＋Ｑ４４）／２
Ｐｒｕ＝Ｐ３３
Ｑｒｕ＝（Ｑ４２＋Ｑ２４）／２
Ｇｒｕ＝Ｓ３３×（Ｇａ／Ｓａ＋Ｇｂ／Ｓｂ）／２
とする。

ただし、
Ｓ３３＝（２×Ｐ３３＋Ｑ４２＋Ｑ２４）／４
Ｓａ＝（Ｐ３３＋Ｑ２２）／２
Ｇａ＝（Ｇ３２＋Ｇ２３）／２
Ｓｂ＝（Ｐ３３＋Ｑ４４）／２
Ｇｂ＝（Ｇ３４＋Ｇ４３）／２
Ｇｖｅ：垂直方向のＧ成分色信号
Ｐｖｅ：垂直方向のＰ成分色信号
Ｑｖｅ：垂直方向のＱ成分色信号
Ｇｒｕ：右斜め上方向のＧ成分色信号
Ｐｒｕ：右斜め上方向のＰ成分色信号
Ｑｒｕ：右斜め上方向のＱ成分色信号
とする。

以下に、上記（式１１）の導き方について説明する。

まず、注目画素がＧ成分のときの垂直方向（検出エッジ方向が垂直方向の場合）の色信号の導き方、次に、注目画素がＰ成分のときの垂直方向の色信号の導き方、続いて、注目画素がＧ成分のときの右斜め上方向（検出エッジ方向が右斜め上方向の場合）の色信号の導き方、最後に、注目画素がＰ成分のときの右斜め上方向の色信号の導き方について説明する。

まず、注目画素Ｖ３３がＧ成分のときの垂直方向の色信号算出式（式１１）の導き方について、画素の位置を示す図７および図１２（ａ）を用いて説明する。

上記（式１１）において、垂直方向の色信号のＧ成分、Ｒ成分およびＢ成分は、Ｇｖｅ、ＰｖｅおよびＱｖｅで表されている。ただし、ＰｖｅはＲ成分またはＢ成分であり、ＱｖｅはＢ成分またはＲ成分である。

注目画素Ｖ３３のＧ信号Ｇｖｅとしては、値Ｇ３３が用いられる。

また、注目画素Ｖ３３のＰ信号Ｐｖｅとしては、垂直方向の１画素隣（Ｖ３２とＶ３４）の画素成分の平均値が用いられる。

さらに、注目画素Ｖ３３のＱ信号Ｑｖｅは、垂直方向における色信号の比に関する相関性を利用して算出される。

ここでは、画素Ｖ２３、画素Ｖ４３および画素Ｖ３３に注目して、画素Ｖ２３におけるＧ成分Ｇ２３’とＱ成分Ｑ２３との比、画素Ｖ４３におけるＧ成分Ｇ４３’とＱ成分Ｑ４３との比、および画素Ｖ３３におけるＧ成分Ｇ３３とＱ成分Ｑ３３との比がほぼ等しいとする。画素Ｖ２３におけるＱ成分とＧ成分との比と、画素Ｖ４３におけるＱ成分とＧ成分との比の平均値を上記（式１０）の（Ｑ’／Ｇ’）として、注目画素Ｖ３３におけるＱ成分Ｑ３３が算出される。

次に、注目画素Ｖ３３がＰ成分のときの垂直方向の色信号算出式（式１１）の導き方について、画素の位置を示す図７および図１２（ｂ）を用いて説明する。

注目画素Ｖ３３のＧ成分Ｇｖｅとしては、垂直方向の１画素隣（Ｖ３２とＶ３４）の画素値の平均値が用いられる。

また、注目画素Ｖ３３のＰ成分Ｐｖｅとしては、値Ｐ３３が用いられる。

さらに、注目画素Ｖ３３のＱ成分Ｑｖｅは、注目画素がＧ成分のときと同様に、垂直方向における色信号の比に関する相関性を利用して算出される。

ここでは、画素Ｖ２３、画素Ｖ４３および画素Ｖ３３に注目して、画素Ｖ２３におけるＧ成分Ｇ２３とＱ成分Ｑ２３’との比、画素Ｖ４３におけるＧ成分Ｇ４３とＱ成分Ｑ４３’との比、および画素Ｖ３３におけるＧ成分ＧｖｅとＱ成分Ｑ３３との比がほぼ等しいとする。画素Ｖ２３におけるＱ成分とＧ成分との比と、画素Ｖ４３におけるＱ成分とＧ成分との比の平均を上記（式１０）の（Ｑ’／Ｇ’）として、注目画素Ｖ３３におけるＱ成分Ｑ３３が算出される。

続いて、注目画素Ｖ３３がＧ成分のときの右斜め上方向の色信号算出式（式１１）の導き方について、画素の位置を示す図７および図１２（ａ）を用いて説明する。

上記（式１１）において、検出エッジ方向が右斜め上方向のときの色信号のＧ成分、Ｒ成分およびＢ成分は、Ｇｒｕ、ＰｒｕおよびＱｒｕで表されている。ただし、ＰｒｕはＲ成分またはＢ成分であり、ＱｒｕはＢ成分またはＲ成分である。

注目画素Ｖ３３のＧ成分Ｇｒｕは、画素Ｖ３３、画素Ｖ４２および画素Ｖ２４から求められる。

また、注目画素Ｖ３３のＰ成分Ｐｒｕおよび注目画素Ｖ３３のＱ成分Ｑｒｕは、右斜め上方向における色信号の比に関する相関性を利用して算出される。

まず、注目画素Ｖ３３のＰ成分について、色相関を利用した色信号の算出方法を説明する。

ここでは、画素Ｖ３２、画素Ｖ３４および画素Ｖ３３に注目して、画素Ｖ３２におけるＰ成分Ｐ３２とＧ成分Ｇ３２’との比、画素Ｖ３４におけるＰ成分Ｐ３４とＧ成分Ｇ３４’との比、および画素Ｖ３３におけるＰ成分Ｐ３３とＧ成分Ｇ３３との比がほぼ等しいとする。

本発明の主な特徴構成の一つは、Ｇ３２’およびＧ３４’の求め方にある。従来法では、画素Ｖ３２のＧ成分を求めようとするときに、画素Ｖ３２を含む右斜め上方向の画素から算出してきた。しかしながら、画素Ｖ３２を含む右斜め上方向にはＰ成分とＱ成分しか存在しないため、Ｇ成分を求めることができなかった。

これに対して、本発明では、画素Ｖ３２のＧ成分Ｇ３２’の値を求めるために、右斜め上方向の画素以外の画素を参照することを特徴とする。

例えば、画素Ｖ３２におけるＧ成分Ｇ３２’の値として、Ｇ２２とＧ４２との平均値が用いられる。同様に、画素Ｖ３４におけるＧ成分Ｇ３４’の値として、Ｇ２４とＧ４４との平均値が用いられる。

このようにして算出されたＧ成分を用いて、上記垂直方向の色相関性のときと同様に、画素Ｖ３２におけるＰ成分とＧ成分との比と、画素Ｖ３４におけるＰ成分とＧ成分との比との平均値を上記（式１０）の（Ｐ’／Ｇ’）として、注目画素Ｖ３３におけるＰ成分Ｐ３３が算出される。

次に、注目画素Ｖ３３のＱ成分について、色相関を利用した色信号の算出方法を説明する。基本的には、Ｐ成分の場合と同様の手順で色信号が算出される。

ここでは、画素Ｖ２３、画素Ｖ４３および画素Ｖ３３に注目して、画素Ｖ２３におけるＱ成分Ｑ２３とＧ成分Ｇ２３’との比、画素Ｖ４３におけるＱ成分Ｑ４３とＧ成分Ｇ４３’との比、および画素Ｖ３３におけるＱ成分Ｑ３３とＧ成分Ｇ３３との比がほぼ等しいとする。

例えば、画素Ｖ２３におけるＱ成分とＧ成分との比と、画素Ｖ４３におけるＱ成分とＧ成分との比との平均値を上記（式１０）の（Ｑ’／Ｇ’）として、注目画素Ｖ３３におけるＱ成分Ｑ３３が算出される。

最後に、注目画素Ｖ３３がＰ成分のときの右斜め上方向の色信号算出式（式１１）の導き方について、画素の位置を示す図７および図１２（ｂ）を用いて説明する。

注目画素Ｖ３３のＰ成分Ｐｒｕとしては、値Ｐ３３が用いられる。

また、注目画素Ｖ３３のＱ成分Ｑｒｕとしては、右斜め上方向の１画素隣（Ｖ４２とＶ２４）の画素値の平均値が用いられる。

さらに、注目画素Ｖ３３のＧ成分Ｇｒｕは、右斜め上方向における色信号の比に関する相関性を利用して算出される。

図８において、画素Ｖ２２、画素Ｖ３２、画素Ｖ２３および画素Ｖ３３の４画素が交わる点（位置）を点Ａとする。また、画素Ｖ３３、画素Ｖ４３、画素Ｖ３４および画素Ｖ４４の４画素が交わる点（位置）を点Ｂとする。

ここでは、画素Ｖ３３の他に、点Ａおよび点Ｂに注目する。画素Ｖ３３におけるＰ成分とＱ成分との平均値Ｓ３３とＧ成分Ｇ３３との比、点ＡにおけるＰ成分とＱ成分との平均値ＳａとＧ成分Ｇａとの比、および点ＢにおけるＰ成分とＱ成分の平均ＳｂとＧ成分Ｇｂとの比がほぼ等しいものとする。

ここで、局所領域における色信号の比に関する相関性により、上記（式１０）と同様に、以下の（式１２）が導かれる。
（式１２）
Ｇ＝Ｓ×（Ｇ’／Ｓ’）
Ｇ：注目画素のＧ成分
Ｓ：注目画素のＰ成分とＱ成分の平均値
Ｇ’：注目画素の近傍点におけるＧ成分
Ｓ’：注目画素の近傍点におけるＰ成分とＱ成分の平均値
ただし、Ｇ’およびＳ’において、注目画素の近傍点は同じ位置
とする。

これにより、点ＡにおけるＳ値とＧ成分との比、および点ＢにおけるＳ値とＧ成分との比の平均値を上記（式１２）の（Ｇ’／Ｓ’）として、注目画素Ｖ３３におけるＧ成分Ｇ３３が算出される。

以上説明したように、本実施形態２によれば、画像の局所領域における特性を利用すると共に、斜め方向のエッジに対する色信号の相関性をも利用した補間処理を行うことができる。斜め方向の色相関を利用して色信号を算出することができるため、従来の垂直方向および水平方向の色相関を利用した補間処理法よりも精密な画像の方向性検出を行って、色信号を算出することができる。

例えば、図１３（ａ）に示す輝度値を有するベイヤ配列において、注目画素Ｇ３３に対して、本実施形態２による方向性データ算出式（式２）を用いると、
ＤＤｒｕ＝２４８
ＤＤｈｏ＝７４４
ＤＤｒｄ＝７４４
ＤＤｖｅ＝４３４
となり、方向性検出部６２は、方向性データの値が最小値となる方向「ＤＤｒｕ；右斜め上方向」を注目画素付近におけるエッジ方向として検出する。

本実施形態２による色信号算出式（式１１）を用いると、
Ｇｒｕ＝（２×Ｇ３３＋Ｇ２４＋Ｇ４２）／２＝１２８
Ｒｒｕ＝Ｇｒｕ×［｛（Ｒ３２／（Ｇ２２＋Ｇ４２）／２｝＋｛（Ｒ３４／（Ｇ２４＋Ｇ４４）／２｝］＝１２８
Ｂｒｕ＝Ｇｒｕ×［｛（Ｂ２３／（Ｇ２２＋Ｇ２４）／２｝＋｛（Ｂ４３／（Ｇ４２＋Ｇ４４）／２｝］＝１２８
となり、
Ｒ＝Ｇ＝Ｂ
となるため、偽色信号のない色信号を算出することができる。
（実施形態３）
本実施形態３では、注目画素を中心として上方向、斜め右上方向、右方向、斜め右下方向、下方向、斜め左下方向、左方向および斜め左上方向の８方向に対して方向性データを算出する場合であって、複数の方向に対する各方向性データから値の小さい順に一つ以上の方向を注目画素を含むその付近におけるエッジの方向性候補として検出する場合について説明する。

図１および図２に示すように、本実施形態３のが画像処理装置１０Ｂは、被写体を撮像可能とする固体撮像素子１と、固体撮像素子１からの撮像データをＡ／Ｄ変換するＡ／Ｄ変換部２と、このＡ／Ｄ変換部２からのデジタル信号を各種信号処理する画像処理装置としての画像処理部３Ｂとを有している。

画像処理部３Ｂは、ホワイトバランス部４と、ガンマ補正部５と、データ補間部６Ｂとを有している。データ補間部６Ｂは、方向性データ算出部６１Ｂと、方向性検出部６２Ｂと、方向性色信号算出部６３Ｂと、注目画素色信号算出部６４Ｂと、これらを制御する制御部６５とを有している。

注目画素色信号算出部６４Ｂは、方向性検出部６２Ｂで検出された複数の方向性に対応する各色信号の平均色を算出する平均色算出手段としての平均色算出部（図示せず）と、この平均色算出部（図示せず）で算出された色と注目画素の色との相関性を利用して色信号を算出する多重色相関色信号算出手段としての多重色相関色信号算出部（図示せず）とを有している。

図３は、本実施形態３のデータ補間部６Ｂの動作例を説明するためのフローチャートでもある。

以下に、本実施形態３のデータ補間部６Ｂによるデータ補間処理の処理手順について、各ステップに従って順に説明する。なお、ステップＳ１〜Ｓ４の各処理は、図３および図４に示すように、入力されたベイヤデータ領域内の補間指定領域内における画素の数だけ繰り返される。

図３に示すように、まず、ステップＳ１では、方向性データ算出部６１Ｂによって、注目画素の方向性データが、予め決められた複数のエッジ方向（指定方向）に対して算出される。

方向性データ算出部６１Ｂでは、図８に示すように、複数のエッジ方向として、注目画素を中心として、右斜め上方向、右方向、右斜め下方向、下方向、左斜め下方向、左方向、左斜め上方向および上方向の８方向が用いられる。本実施形態３の特徴は、注目画素を中心として、８方向の方向性データを算出することにより、エッジの端点を考慮したエッジデータを算出することができる点である。

方向性データ算出部６１Ｂでは、例えば、指定された方向と注目画素付近における実際のエッジ方向との近似度が大きいほど値が小さくなるように、方向性データが算出される。このような方向性データ算出式としては、各種のものが考えられるが、例えば、以下のような算出式（式１３）が用いられる。
（式１３）
・注目画素がＧ３３の場合（図１２（ａ）参照）
ＤＤｒｕ＝(｜G51−G33｜＋｜G42−G33｜＋｜P52−P34｜＋｜Q41−Q23｜)
ＤＤｒｉ＝(｜G53−G33｜＋｜Q23−Q43｜)
＋(｜G22−G42｜＋｜G24−G44｜＋｜P52−P32｜＋｜P54−P34｜)／２
ＤＤｒｄ＝(｜G44−G33｜＋｜G55−G33｜＋｜P32−P54｜＋｜Q23−Q45｜)
ＤＤｄｏ＝(｜G35−G33｜＋｜P32−P34｜)
＋(｜G22−G24｜＋｜G42−G44｜＋｜Q25−Q23｜＋｜Q45−Q43｜)／２
ＤＤｌｄ＝(｜G15−G33｜＋｜G24−G33｜＋｜P25−P43｜＋｜Q14−Q32｜)
ＤＤｌｅ＝(｜G13−G33｜＋｜Q23−Q43｜)
＋(｜G22−G42｜＋｜G24−G44｜＋｜P12−P32｜＋｜P14−P34｜)／２
ＤＤｌｕ＝(｜G22−G33｜＋｜G11−G33｜＋｜P12−P34｜＋｜Q21−Q43｜)
ＤＤｕｐ＝(｜G31−G33｜＋｜P32−P34｜)
＋(｜G22−G24｜＋｜G42−G44｜＋｜Q21−Q23｜＋｜Q41−Q43｜)／２
・注目画素がＰ３３の場合（図１２（ｂ）参照）
ＤＤｒｕ＝(｜P51−P33｜＋｜Q42−Q24｜)
＋(｜G32−G23｜＋｜G41−G32｜＋｜G52−G43｜＋｜G43−G34｜)／２
ＤＤｒｉ＝(｜P53−P33｜＋｜G23−G43｜)
＋(｜Q22−Q42｜＋｜G32−G52｜＋｜Q24−Q44｜＋｜G34−G54｜)／２
ＤＤｒｄ＝(｜P55−P33｜＋｜Q44−Q22｜)
＋(｜G32−G43｜＋｜G43−G54｜＋｜G23−G34｜＋｜G34−G45｜)／２
ＤＤｄｏ＝(｜P35−P33｜＋｜G32−G34｜)
＋(｜Q22−Q24｜＋｜G23−G25｜＋｜Q42−Q44｜＋｜G43−G45｜)／２
ＤＤｌｄ＝(｜P15−P33｜＋｜Q42−Q24｜)
＋(｜G32−G23｜＋｜G43−G34｜＋｜G23−G14｜＋｜G34−G25｜)／２
ＤＤｌｅ＝(｜P13−P33｜＋｜G23−G43｜)
＋(｜Q22−Q42｜＋｜Q24−Q44｜＋｜G12−G32｜＋｜G14−G34｜)／２
ＤＤｌｕ＝(｜P11−P33｜＋｜Q22−Q44｜)
＋(｜G21−G32｜＋｜G32−G43｜＋｜Q12−Q23｜＋｜G23−G34｜)／２
ＤＤｕｐ＝(｜P31−P33｜＋｜G32−G34｜)
＋(｜Q22−Q24｜＋｜Q42−Q44｜＋｜G21−G23｜＋｜G41−G43｜)／２
ただし、
ＤＤｒｕ：右斜め上方向の方向性データ算出式
ＤＤｒｉ：右方向の方向性データ算出式
ＤＤｒｄ：右斜め下方向の方向性データ算出式
ＤＤｄｏ：下方向の方向性データ算出式
ＤＤｌｄ：左斜め下方向の方向性データ算出式
ＤＤｌｅ：左方向の方向性データ算出式
ＤＤｌｕ：左斜め上方向の方向性データ算出式
ＤＤｕｐ：上方向の方向性データ算出式
とする。

次に、ステップＳ２では、方向性検出部６２Ｂによって、ステップＳ１で算出された方向性データを用いて、注目画素の方向性の有無および方向性が検出される。

図９は、本実施形態３における方向性検出部６２Ｂ（ステップＳ２の他の例）の動作例を説明するためのフローチャートである。

以下に、方向性検出部６２Ｂによる方向性検出処理の処理手順について、各ステップに従って順に説明する。

図９に示すように、まず、ステップＳ２１Ｂでは、ステップＳ１で算出された８種類の方向性データの最大値が検出される。

次に、ステップＳ２２Ｂでは、ステップＳ２１Ｂで検出された方向性データの最大値が、図示しないレジスタに記憶された閾値Ｂよりも小さいか否か、即ち、注目画素付近にエッジがなく輝度勾配がなだらかな平坦部であるか否かが判定される。平坦部であれば（Ｙｅｓ）、ステップＳ２３Ｂにおいて「方向性なし」を示す信号が出力され、注目画素の方向性検出処理が終了される。また、平坦部ではない場合（Ｎｏ）には、ステップＳ２４Ｂの処理に移行する。

なお、閾値Ｂの取り得る値の範囲は、方向性データ算出式により異なるが、閾値Ｂを大きくするほど平坦部と判定される画素が増加し、小さくするほど平坦部と判定される画素が減少する。

次に、ステップＳ２４Ｂでは、ステップＳ１で算出された８種類の方向性データから、値の小さい順に一つ以上の方向性が検出される。このとき検出された一つ以上の方向性を方向性候補と呼ぶ。

例えば、以下の判定式（式１４）を満たせば、その方向性データに対応する方向性が検出される。
（式１４）
ＤＤｍｉｎ≧閾値Ｃ×ＤＤｉ
ＤＤｉ：注目画素の方向性データ
ＤＤｍｉｎ：方向性データの最小値
なお、閾値Ｃの取り得る値の範囲は０≦閾値Ｃ≦１であり、閾値Ｃを大きくするほど検出される方向性の数が減少し、小さくするほど検出される方向性の数が増加する。

最後に、ステップＳ２６Ｂでは、ステップＳ２４Ｂで検出された方向性が出力され、注目画素の方向性検出処理が終了する。

次に、図３のステップＳ３では、方向性色信号算出部６３Ｂによって、方向性検出部６２Ｂで検出された方向に対する色信号が算出される。

本実施形態３では、色相関性を利用した色信号算出式により、斜め方向を含む８方向に対して、色信号を算出することができる。また、本実施形態３では、８方向に対応する色信号として、注目画素の色信号ではなく、注目画素に接する８近傍画素に対する色信号を算出する。

例えば、図７における注目画素Ｖ３３の例えば右斜め上方向の方向性色信号として、Ｖ４２の色信号が算出される。

また、図７における注目画素Ｖ３３の例えば下方向の方向性色信号として、Ｖ３４の色信号が算出される。

方向性色信号を算出する際には、上記実施形態１で説明した色信号の差に関する相関性を利用した色信号算出式、または、上記実施形態２で説明した色信号の比の相関性を利用した色信号算出式を用いて、各方向性候補に対する色信号を算出することができる。

下記（式１５）および（式１６）は、８方向に対する方向性色信号算出式の一例である。なお、（式１５）は注目画素がＧ３３のとき（図１２（ａ）参照）の方向性色信号算出式であり、（式１６）は注目画素がＰ３３のとき（図１２（ｂ）参照）の方向性色信号算出式である。
（式１５）
Ｇｒｕ＝（Ｇ３３＋２×Ｇ４２＋Ｇ５１）／４
Ｐｒｕ＝（Ｐ３２＋Ｐ５２）／２＋（２×Ｇ４２−Ｇ３１−Ｇ５３）／４
Ｑｒｕ＝（Ｑ４１＋Ｑ４３）／２＋（２×Ｇ４２−Ｇ３１−Ｇ５３）／４
Ｇｒｉ＝（Ｇ５３＋Ｇ３３）／２
Ｐｒｉ＝（Ｐ３２＋Ｐ５２＋Ｐ３４＋Ｐ５４）／４
＋（Ｇ３３＋Ｇ５３−Ｇ４２−Ｇ４４）／２
Ｑｒｉ＝Ｑ４３
Ｇｒｄ＝（Ｇ３３＋２×Ｇ４４＋Ｇ５５）／４
Ｐｒｄ＝（Ｐ３４＋Ｐ５４）／２＋（２×Ｇ４４−Ｇ３５−Ｇ５３）／４
Ｑｒｄ＝（Ｑ４３＋Ｑ４５）／２＋（２×Ｇ４４−Ｇ３５−Ｇ５３）／４
Ｇｄｏ＝（Ｇ３３＋Ｇ３５）／２
Ｐｄｏ＝Ｐ３４
Ｑｄｏ＝（Ｑ２３＋Ｑ２５＋Ｑ４３＋Ｑ４５）／４
＋（Ｇ３３＋Ｇ３５−Ｇ２４−Ｇ４４）／２
Ｇｌｄ＝（Ｇ３３＋２×Ｇ２４＋Ｇ１５）／４
Ｐｌｄ＝（Ｐ１４＋Ｐ３４）／２＋（２×Ｇ２４−Ｇ３３−Ｇ１５）／４
Ｑｌｄ＝（Ｑ２３＋Ｑ２５）／２＋（２×Ｇ２４−Ｇ３３−Ｇ１５）／４
Ｇｌｅ＝（Ｇ３３＋Ｇ１３）／２
Ｐｌｅ＝（Ｐ１２＋Ｐ３２＋Ｐ１４＋Ｐ３４）／４
＋（Ｇ３３＋Ｇ１３−Ｇ２２−Ｇ２４）／２
Ｑｌｅ＝Ｑ２３
Ｇｌｕ＝（Ｇ３３＋２×Ｇ２２＋Ｇ１１）／４
Ｐｌｕ＝（Ｐ１２＋Ｐ３２）／２＋（２×Ｇ２２−Ｇ３１−Ｇ１３）／４
Ｑｌｕ＝（Ｑ２１＋Ｑ２３）／２＋（２×Ｇ２２−Ｇ３１−Ｇ１３）／４
Ｇｕｐ＝（Ｇ３３＋Ｇ３１）／２
Ｐｕｐ＝Ｐ３２
Ｑｕｐ＝（Ｑ２１＋Ｑ２３＋Ｑ４１＋Ｑ４３）／４
＋（Ｇ３３＋Ｇ３１−Ｇ２２−Ｇ４２）／２
Ｇｒｕ：右斜め上方向のＧ成分
Ｐｒｕ：右斜め上方向のＰ成分
Ｑｒｕ：右斜め上方向のＱ成分
Ｇｒｉ：右方向のＧ成分
Ｐｒｉ：右方向のＰ成分
Ｑｒｉ：右方向のＱ成分
Ｇｒｄ：右斜め下方向のＧ成分
Ｐｒｄ：右斜め下方向のＰ成分
Ｑｒｄ：右斜め下方向のＱ成分
Ｇｄｏ：下方向のＧ成分
Ｐｄｏ：下方向のＰ成分
Ｑｄｏ：下方向のＱ成分
Ｇｌｄ：左斜め下方向のＧ成分
Ｐｌｄ：左斜め下方向のＰ成分
Ｑｌｄ：左斜め下方向のＱ成分
Ｇｌｅ：左方向のＧ成分
Ｐｌｅ：左方向のＰ成分
Ｑｌｅ：左方向のＱ成分
Ｇｌｕ：左斜め上方向のＧ成分
Ｐｌｕ：左斜め上方向のＰ成分
Ｑｌｕ：左斜め上方向のＱ成分
Ｇｕｐ：上方向のＧ成分
Ｐｕｐ：上方向のＰ成分
Ｑｕｐ：上方向のＱ成分
（式１６）
Ｇｒｕ＝（Ｇ４１＋Ｇ３２＋Ｇ５２＋Ｇ４３）／４
＋（Ｐ３３＋Ｐ５１−Ｐ３１−Ｐ５３）／４
Ｐｒｕ＝（Ｐ３３＋Ｐ５１）／２
Ｑｒｕ＝Ｑ４２
Ｇｒｉ＝Ｇ４３
Ｐｒｉ＝（Ｐ３３＋Ｐ５３）／２
Ｑｒｉ＝（Ｑ４２＋Ｑ４４）／２
＋（４×Ｇ４３−Ｇ３２−Ｇ５２−Ｇ３４−Ｇ５４）／４
Ｇｒｄ＝（Ｇ４５＋Ｇ３４＋Ｇ５４＋Ｇ４３）／４
＋（Ｐ３３＋Ｐ５５−Ｐ３５−Ｐ５３）／４
Ｐｒｄ＝（Ｐ３３＋Ｐ５５）／２
Ｑｒｄ＝Ｑ４４
Ｇｄｏ＝Ｇ３４
Ｐｄｏ＝（Ｐ３３＋Ｐ３５）／２
Ｑｄｏ＝（Ｑ２４＋Ｑ４４）／２
＋（４×Ｇ３４−Ｇ２３−Ｇ２５−Ｇ４３−Ｇ４５）／４
Ｇｌｄ＝（Ｇ２５＋Ｇ２３＋Ｇ１４＋Ｇ３４）／４
＋（Ｐ３３＋Ｐ１５−Ｐ１３−Ｐ３５）／４
Ｐｌｄ＝（Ｐ３３＋Ｐ１５）／２
Ｑｌｄ＝Ｑ２４
Ｇｌｅ＝Ｇ２３
Ｐｌｅ＝（Ｐ１３＋Ｐ３３）／２
Ｑｌｅ＝（Ｑ２２＋Ｑ２４）／２
＋（４×Ｇ２３−Ｇ１２−Ｇ３２−Ｇ１４−Ｇ３４）／４
Ｇｌｕ＝（Ｇ２１＋Ｇ１２＋Ｇ３２＋Ｇ２３）／４
＋（Ｐ３３＋Ｐ１１−Ｐ３１−Ｐ１３）／４
Ｐｌｕ＝（Ｐ３３＋Ｐ１１）／２
Ｑｌｕ＝Ｑ２２
Ｇｕｐ＝Ｇ３２
Ｐｕｐ＝（Ｐ３３＋Ｐ３１）／２
Ｑｕｐ＝（Ｑ２２＋Ｑ４２）／２
＋（４×Ｇ３２−Ｇ２１−Ｇ２３−Ｇ４１−Ｇ４３）／４
次に、図３のステップＳ４では、注目画素色信号算出部６４Ｂによって、方向性検出部６２Ｂ（ステップＳ２）により検出された各方向性候補に対応して方向性色信号算出部６３Ｂ（ステップＳ３）により算出された方向性色信号を基にして、色信号の平均（ｒｒ，ｇｇ，ｂｂ）が、注目画素の色信号として算出される。

ステップＳ５を介して、全画素における補間処理が終了するまでステップＳ１〜Ｓ４の処理が繰り返される。

本実施形態３によれば、注目画素を中心として８方向の方向性検出を行うことにより、エッジの端点を考慮して、偽色信号の少ない補間処理を行うことができる。

また、その他の注目画素色信号算出方法として、以上のようにして算出された方向性候補に対応する方向性色信号の平均色（ｒｒ，ｇｇ，ｂｂ）と、注目画素の色成分との色信号相関性を利用して、注目画素の色信号を算出する方法もある。

例えば、注目画素の色成分がＧ成分ｇの場合に、注目画素の色信号の各色成分Ｇｏ、ＲｏおよびＢｏは、下記（式１７）を用いて算出することができる。
（式１７）
Ｇｏ＝ｇ
Ｒｏ＝ｇ＋ｒｒ−ｇｇ
Ｂｏ＝ｇ＋ｂｂ−ｇｇ
上記（式１７）を用いた方法によれば、各方向における方向性色信号を算出する際に、色信号の相関性を利用して色信号を算出し、それらの色信号の平均の色と注目画素の色成分の色との相関性を利用している。このように、色信号の相関性により求められた色信号に対して、再び色信号の相関性を利用して色信号を算出することにより、さらに偽色信号の発生を抑制することができる。
（実施形態４）
本実施形態４では、図２に示す方向性データ算出部６１Ｃによる処理（図３のステップＳ１）が上記実施形態１〜３の場合とは異なる事例であって、注目画素付近の複数の方向に対するエッジの方向性を定量化する際に、色信号の相関性の強度を考慮する場合について説明する。

図１および図２に示すように、本実施形態４の画像処理装置１０Ｃは、被写体を撮像可能とする固体撮像素子１と、固体撮像素子１からの撮像データをＡ／Ｄ変換するＡ／Ｄ変換部２と、このＡ／Ｄ変換部２からのデジタル信号を各種信号処理する画像処理装置としての画像処理部３Ｃとを有している。

画像処理部３Ｃは、ホワイトバランス部４と、ガンマ補正部５と、データ補間部６Ｃとを有している。データ補間部６Ｃは、方向性データ算出部６１Ｃと、方向性検出部６２と、方向性色信号算出部６３と、注目画素色信号算出部６４と、これらを制御する制御部６５とを有している。

以下に、本実施形態４における方向性色データ算出部６１Ｃ（図３のステップＳ１の他の例）による方向性データ算出方法について説明する。なお、方向性検出部６２（図３のステップＳ２）、方向性色信号算出部６３（図３のステップＳ３）および注目画素色信号算出部６４（図３のステップＳ４）については、実施形態１〜３の場合と同様の処理を行うことができるので、ここではその説明を省略する。

上記実施形態１〜３では、例えば、指定されたエッジ方向と注目画素付近における実際のエッジ方向との近似度が大きいほど値が小さくなるように、方向性データが算出されている。これに対して、本実施形態４では、このような方向性データ算出式に、色信号の相関性の強度を表す項が加えられている。例えば、エッジ部分に色信号の相関があるときに値が小さくなり、色信号の相関がないときには値が大きくなるような項が、方向性データ算出式に加えられる。即ち、方向性データ算出部６１Ｃは、注目画素を含む注目画素付近の複数の方向に対するエッジの方向性を定量化する際に、エッジの有無に応じて大きく変化する色信号の相関性の強度を考慮してエッジの方向性を定量化する。

注目画素の近傍の２点ａおよびｂにおいて、色信号のＧ成分とＰ成分とに相関性がある場合、
Ｇａ−Ｐａ＝Ｇｂ−Ｐｂ
となる。したがって、
｜Ｇａ−Ｇｂ＋Ｐｂ−Ｐａ｜
が０に近い値であるほど、２点ａおよびｂの間に色の相関性があると言うことができる。

例えば、上記実施形態１，２で用いられる方向性データ算出式（式２）に対して、下記式（式１８）のような相関性強度の項が加えられる。
（式１８）
・注目画素がＧ３３の場合（図１２（ａ）参照）
ＤＤｒｕ’＝ＤＤｒｕ
＋（｜（Ｇ２２＋Ｇ４２−Ｇ２４−Ｇ４４）／２＋（Ｐ３４−Ｐ３２）｜
＋｜（Ｇ４２＋Ｇ４４−Ｇ２２−Ｇ２４）／２＋（Ｑ２３−Ｑ４３）｜）／２
ＤＤｈｏ’＝ＤＤｈｏ
＋｜（Ｇ２２＋Ｇ４２−Ｇ２４−Ｇ４４）／２＋（Ｐ３４−Ｐ３２）｜
ＤＤｒｄ’＝ＤＤｒｄ
＋（｜（Ｇ２２＋Ｇ４２−Ｇ２４−Ｇ４４）／２＋（Ｐ３４−Ｐ３２）｜
＋｜（Ｇ４２＋Ｇ４４−Ｇ２２−Ｇ２４）／２＋（Ｑ２３−Ｑ４３）｜）／２
ＤＤｖｅ’＝ＤＤｖｅ
＋｜（Ｇ４２＋Ｇ４４−Ｇ２２−Ｇ２４）／２＋（Ｑ２３−Ｑ４３）｜
・注目画素がＰ３３の場合（図１２（ｂ）参照）
ＤＤｒｕ’＝ＤＤｒｕ
＋｜（Ｇ３２＋Ｇ２３−Ｇ４３−Ｇ３４）／２＋（Ｑ４４−Ｑ２２）｜
ＤＤｈｏ’＝ＤＤｈｏ
＋｜（Ｇ３２−Ｇ３４）＋（Ｑ２４＋Ｑ４４−Ｑ２２−Ｑ４２）／２｜
ＤＤｒｄ’＝ＤＤｒｄ
＋｜（Ｇ３２＋Ｇ２３−Ｇ４３−Ｇ３４）／２＋（Ｑ２４−Ｑ２２）｜
ＤＤｖｅ’＝ＤＤｖｅ
＋｜（Ｇ２３−Ｇ４３）＋（Ｑ４２＋Ｑ４４−Ｑ２２−Ｑ２４）／２｜
ＤＤｒｕ’：右斜め上方向の方向性データ算出式
ＤＤｈｏ’：水平方向の方向性データ算出式
ＤＤｒｄ’：右斜め下方向の方向性データ算出式
ＤＤｖｅ’：垂直方向の方向性データ算出式
また、上記実施形態３で用いられる方向性データ算出式（式１３）には、下記式（式１９）のような相関性強度の項が加えられる。
（式１９）
・注目画素がＧ３３の場合（図１２（ａ）参照）
ＤＤｒｕ’＝ＤＤｒｕ
＋（｜（Ｇ３１＋Ｇ５１−Ｇ３３−Ｇ５３）／２＋（Ｑ４３−Ｑ４１）｜
＋｜（Ｇ３１＋Ｇ３３−Ｇ５１−Ｇ５３）／２＋（Ｐ５２−Ｐ３２）｜）／２
ＤＤｒｉ’＝ＤＤｒｉ
＋（｜（Ｐ３２＋Ｐ５２−Ｐ３４−Ｐ５４）／２＋（Ｇ４４−Ｇ４２）｜）
ＤＤｒｄ’＝ＤＤｒｄ
＋（｜（Ｇ３３＋Ｇ３５−Ｇ５３−Ｇ５５）／２＋（Ｐ５４−Ｐ３４）｜
＋｜（Ｇ３３＋Ｇ５３−Ｇ３５−Ｇ５５）／２＋（Ｑ４５−Ｑ４３）｜）／２
ＤＤｄｏ’＝ＤＤｄｏ
＋（｜（Ｑ２３＋Ｑ２５−Ｑ４３−Ｑ４５）／２＋（Ｇ４４−Ｇ２４）｜）
ＤＤｌｄ’＝ＤＤｌｄ
＋（｜（Ｇ１３＋Ｇ３３−Ｇ１５−Ｇ３５）／２＋（Ｑ２５−Ｑ２３）｜
＋｜（Ｇ１３＋Ｇ１５−Ｇ３３−Ｇ３５）／２＋（Ｐ３４−Ｐ１４）｜）／２
ＤＤｌｅ’＝ＤＤｌｅ
＋（｜（Ｐ１２＋Ｐ３２−Ｐ１４−Ｐ３４）／２＋（Ｇ２４−Ｇ２２）｜）
ＤＤｌｕ’＝ＤＤｌｕ
＋（｜（Ｇ１１＋Ｇ３１−Ｇ１３−Ｇ３３）／２＋（Ｑ２３−Ｑ２１）｜
＋｜（Ｇ１１＋Ｇ１３−Ｇ３１−Ｇ３３）／２＋（Ｐ３２−Ｐ１２）｜）／２
ＤＤｕｐ’＝ＤＤｕｐ
＋（｜（Ｑ２１＋Ｑ２３−Ｑ４１−Ｑ４３）／２＋（Ｇ４２−Ｇ２２）｜）
・注目画素がＰ３３の場合（図１２（ｂ）参照）
ＤＤｒｕ’＝ＤＤｒｕ
＋（｜（Ｇ４１＋Ｇ３２−Ｇ５２−Ｇ４３）＋（Ｐ５３−Ｐ３１）｜）
ＤＤｒｉ’＝ＤＤｒｉ
＋（｜（Ｇ３２＋Ｇ５２−Ｇ３４−Ｇ５４）／２＋（Ｑ４４−Ｑ４２）｜）
ＤＤｒｄ’＝ＤＤｒｄ
＋（｜（Ｇ４３＋Ｇ５４−Ｇ３４−Ｇ４５）＋（Ｐ３５−Ｐ５３）｜）
ＤＤｄｏ’＝ＤＤｄｏ
＋（｜（Ｇ２３＋Ｇ２５−Ｇ４３−Ｇ４５）／２＋（Ｑ４４−Ｑ２４）｜）
ＤＤｌｄ’＝ＤＤｌｄ
＋（｜（Ｇ２３＋Ｇ１４−Ｇ３４−Ｇ２５）＋（Ｐ３５−Ｐ１３）｜）
ＤＤｌｅ’＝ＤＤｌｅ
＋（｜（Ｇ１２＋Ｇ３２−Ｇ１４−Ｇ３４）／２＋（Ｑ２４−Ｑ２２）｜）
ＤＤｌｕ’＝ＤＤｌｕ
＋（｜（Ｇ２１＋Ｇ３２−Ｇ１２−Ｇ２３）＋（Ｐ１３−Ｐ３１）｜）
ＤＤｕｐ’＝ＤＤｕｐ
＋（｜（Ｇ２１＋Ｇ２３−Ｇ４１−Ｇ４３）／２＋（Ｑ４２−Ｑ２２）｜）
ＤＤｒｕ’：右斜め上方向の方向性データ算出式
ＤＤｒｉ’：右方向の方向性データ算出式
ＤＤｒｄ’：右斜め下方向の方向性データ算出式
ＤＤｄｏ’：下方向の方向性データ算出式
ＤＤｌｄ’：左斜め下方向の方向性データ算出式
ＤＤｌｅ’：左方向の方向性データ算出式
ＤＤｌｕ’：左斜め上方向の方向性データ算出式
ＤＤｕｐ’：上方向の方向性データ算出式
図２に示す方向性データ算出部６１Ｃでは、方向性データ算出式として上記（式２）の代わりに（式１８）を用いて方向性データが算出され、その方向性データを用いて、上記実施形態１，２で説明したように、方向性検出部６２、方向性色信号算出部６３および注目画素色信号算出部６４による処理が行われる。

または、図２に示す方向性データ算出部６１Ｃでは、方向性データ算出式として上記（式３）の代わりに（式１９）を用いて方向性データが算出され、その方向性データを用いて、上記実施形態３で説明したように、方向性検出部６２、方向性色信号算出部６３および注目画素色信号算出部６４による処理が行われる。

以上により、本実施形態４では、一般的な画像の局所領域における色信号の特徴を利用して、色信号の相関性を考慮した色信号算出が行われている。しかしながら、一般的には、画像全体において、色信号の相関性が必ずしもあるわけではない。本実施形態４は、画像のエッジ部分において、色信号の相関性が強い部分に対して、色信号の相関性を利用した補間を行う場合に特に適している。
（実施形態５）
本実施形態５では、パーソナルコンピュータ（以下パソコンという）本体、入出力装置、および本発明の画像処理プログラムと、閾値などの各種データが格納されたパラメータファイルと、ベイヤデータとが格納されたコンピュータ読み出し可能な可読記録媒体（記憶媒体）を備えたデータ処理装置を用いて、上記実施形態１〜４のいずれかの処理を行う場合について説明する。

図１０は、本実施形態５のデータ処理装置の構成例を示すブロック図である。

図１０に示すように、本実施形態５のデータ処理装置７は、パソコン本体８と、入出力装置９とを有している。

パソコン本体８には各部を制御する制御部としてのＣＰＵ８１と、ハードディスクなどのメモリ８２と、入出力インタフェース８３とが内蔵されており、入出力装置９には光ディスクなどの可読記録媒体９１が内蔵されている。なお、メモリ８２も、画像処理プログラムが格納されたコンピュータ読み出し可能な可読記録媒体である。

ＣＰＵ８１によって、入出力インタフェース８３を介して入出力装置９が制御され、入出力装置９内の可読記録媒体９１から読み出された画像処理プログラム、パラメータファイルおよびベイヤデータが入出力インタフェース８３を介して入力されてメモリ８２内に格納される。

また、ＣＰＵ８１によって、パソコン本体８内のメモリ８２から画像処理プログラム、パラメータファイルおよびベイヤデータが読み取られ、画像処理プログラムの各命令に従って、入力されたベイヤデータに対して上記実施形態１〜４のいずれかの補間処理を含む画像処理が行われた後、パソコン本体８の入出力インタフェース８３から入出力装置９が制御されて、入出力インタフェース８３を介して画像処理後の画像データが可読記録媒体９１に出力される。

したがって、本実施形態５によれば、パソコン上で上記実施形態１〜４のいずれかの補間処理を含む画像処理を行うことができる。即ち、ここでは図示しないが、撮像装置からベイヤデータのみが出力され、パソコン本体８側で画像処理部３，３Ａ〜３Ｃのいずれかによる画像処理が行われることによって、撮像装置側では高速な撮影を行うことができる。さらに、パソコン本体８側では閾値を変化させて複数回の画像処理を行うことも可能となり、所望の高画質の画像を容易に得ることができる。

以上により、本実施形態１〜４によれば、データ補間部は、注目画素付近における右斜め上方向および右斜め下方向の少なくとも一方を含む複数の方向に対するエッジの方向性を定量化して方向性データを算出する方向性データ算出部と、この方向性データ算出部６１で算出された複数の方向に対する方向性データを用いて注目画素付近におけるエッジの方向性を検出する方向性検出部と、この方向性検出部で検出された方向性に対応する色信号を算出する方向性色信号算出部と、この方向性色信号算出部で算出された一つ以上の色信号を用いて注目画素の色信号を算出する注目画素色信号算出部とを有している。これによって、斜め方向を含む複数の方向のエッジに対する色信号の相関性を利用して、偽色信号の発生を更に抑制することができる。

なお、以上のように、本発明の好ましい実施形態１〜５を用いて本発明を例示してきたが、本発明は、この実施形態１〜５に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態１〜５の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。

本発明は、複数種類の色フィルタが各画素部に離散的に配置された固体撮像素子から出力される色信号から、各画素における全ての色信号を、注目画素およびその近傍画素の色信号を用いた補間処理により生成する画像処理装置、これを用いた単板式のディジタルカメラ、ビデオカメラおよびカメラ付き携帯電話装置などの撮影装置、この画像処理装置を用いた画像処理方法、これをコンピュータに実行させるための画像処理プログラムおよびこの画像処理プログラムを格納したコンピュータ読み出し可能な可読記録媒体の分野において、複数種類の色フィルタが各画素ブロックに離散的に配置された固体撮像素子から出力される色信号から各画素における例えばＲＧＢ全ての色信号を、注目画素およびその近傍画素の色信号を用いた補間処理により生成する際に、画像の局所領域における特徴を利用すると共に、斜め方向のエッジに対する色信号の相関性をも利用した補間処理を行うことにより、偽色信号の発生を更に抑制した色信号算出を行うことができる。また、注目画素を中心とする８方向の方向性検出を行って色信号算出を行うことにより、更に偽色信号の少ない補間処理を行うことができる。さらに、色相関の特徴を利用して算出した色信号を用いて、さらに色相関を利用して色信号を算出することにより、偽色信号を更に低減することができる。本発明の画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび可読記録媒体によれば、被写体に含まれるエッジを高い精度で検出して、偽色信号の発生を更に抑制した色信号を算出することができるため、高画質の画像を得ることができる。

本発明の実施形態１〜４の画像処理装置の構成例を示すブロック図である。 図１のデータ補間部の詳細構成例を示すブロック図である。 図２のデータ補間部による補間処理動作の一例を説明するためのフローチャートである。 入力されたベイヤデータ領域内の補間指定領域を説明するための平面図である。 本発明の実施形態１，２で用いられる４種類の指定方向を説明するための模式図である。 図２の方向性検出部による方向性検出処理動作の一例（実施形態１，２）を説明するためのフローチャートである。 注目画素の色成分がＧ、ＲまたはＢである場合のベイヤ配列の画素位置を示す平面図である。 本発明の実施形態３で用いる８種類の指定方向を説明するための模式図である。 図２の方向性検出部による方向性検出処理動作の他の例（実施形態３）を説明するためのフローチャートである。 本発明の実施形態５のデータ処理装置の構成例を示すブロック図である。 ベイヤ配列の色フィルタアレイの一例を示す平面図である。 （ａ）は注目画素の色成分がＧである場合のベイヤ配列を示す平面図であり、（ｂ）は注目画素の色成分がＲまたはＢである場合のベイヤ配列を示す平面図である。 （ａ）は固体撮像素子の色信号値（輝度データ）の一例を示す平面図であり、（ｂ）は各画素におけるベイヤ配列のカラーフィルタの配置例を示す平面図である。

符号の説明

１ 固体撮像素子
２ Ａ／Ｄ（アナログ／ディジタル）変換部
３，３Ａ〜３Ｃ 画像処理部（画像処理装置）
４ ホワイトバランス部
５ ガンマ補正部
６，６Ａ〜６Ｃ データ補間部
６１，６１Ｂ，６１Ｃ 方向性データ算出部
６２，６２Ｂ 方向性検出部
６３，６３Ａ，６３Ｂ 方向性色信号算出部
６４，６４Ｂ 注目画素色信号算出部
６５ 制御部
７ データ処理装置
８ パソコン本体
８１ ＣＰＵ
８２ メモリ
８３ 入出力インタフェース
９ 入出力装置
９１ 可読記録媒体
１０，１０Ａ〜１０Ｃ 撮影装置

Claims (40)

1. 複数種類の色フィルタが各画素部にベイヤ配列で離散的に配置された固体撮像素子から出力される色信号から、各画素における全ての色信号を、注目画素およびその近傍画素の色信号を用いたデータ補間処理により生成するデータ補間部を有する画像処理装置において、
   該データ補間部は、
   注目画素付近における斜め方向を含む複数の方向に対するエッジの方向性を定量化した方向性データを算出する方向性データ算出手段と、
   該方向性データ算出手段で算出された、該複数の方向に対する方向性データを用いて注目画素付近におけるエッジの方向性を検出する方向性検出手段と、
   該方向性検出手段で検出された一または複数のエッジの方向性に対応する色信号を算出する方向性色信号算出手段と、
   該方向性色信号算出手段で算出された一つ以上の色信号を用いて注目画素の色信号を算出する注目画素色信号算出手段とを備え、
   該方向性データ算出手段は、該方向性データとして、指定された方向と注目画素付近におけるエッジ方向との近似度が大きいほど小さい値を算出し、
   該ベイヤ配列の斜め方向のデータ補間を行う際に、該注目画素および該斜め方向の一方の画素を含む２×２の４画素に注目し、画素の中心にとらわれず、互いに隣接する該４画素の間の交点における色信号を算出すると共に、該注目画素および該斜め方向の他方の画素を含む２×２の４画素に注目し、画素の中心にとらわれず、互いに隣接する該４画素の間の交点における色信号を算出し、算出された各色信号との色の相関を用いて前記注目画素の色信号を算出することにより、該斜め方向のエッジに対する色信号の相関性をも利用した補間処理を行う画像処理装置。
2. 前記斜め方向を含む複数の方向は、注目画素付近における右斜め上方向および右斜め下方向の少なくとも一方を含む複数の方向である請求項１に記載の画像処理装置。
3. 前記方向性データ算出手段は、注目画素を通る右斜め上方向、水平方向、右斜め下方向および垂直方向の４方向に対して前記方向性データを算出する請求項１または２に記載の画像処理装置。
4. 前記方向性データ算出手段は、注目画素を中心として上方向、斜め右上方向、右方向、斜め右下方向、下方向、斜め左下方向、左方向および斜め左上方向の８方向に対して前記方向性データを算出する請求項１または２に記載の画像処理装置。
5. 前記方向性データ算出手段は、注目画素付近の複数の方向に対するエッジの方向性を定量化する際に、該エッジの有無に応じて変化する色信号の相関性の強度を表す項が方向性データ算出式に加えられている請求項１〜４のいずれかに記載の画像処理装置。
6. エッジ部分に色信号の相関があるときに値が小さくなり、該エッジ部分に該色信号の相関がないときには値が大きくなるような項が前記方向性データ算出式に加えられている請求項５に記載の画像処理装置。
7. 前記方向性検出手段は、前記複数の方向に対する方向性データの最大値が所定の閾値よりも小さいか否かによって、注目画素付近にエッジがなく輝度勾配がなだらかな平坦部であるか否かを判定し、該平坦部の場合には「方向性なし」を検出し、該平坦部ではない場合には「方向性あり」を検出する請求項１に記載の画像処理装置。
8. 前記方向性検出手段は、前記「方向性あり」を検出した場合に、前記方向性データの値が最小値となる方向を注目画素付近におけるエッジ方向として検出する請求項７に記載の画像処理装置。
9. 前記方向性検出手段は、前記「方向性あり」を検出した場合であっても、前記方向性データの値が最小値となる方向が複数存在する場合には、「方向性なし」を検出する請求項７に記載の画像処理装置。
10. 前記方向性検出手段は、複数の方向に対する各方向性データから値の小さい順に一つ以上の方向を注目画素付近におけるエッジの方向性候補として検出する請求項１に記載の画像処理装置。
11. 前記方向性色信号算出手段は、
    注目画素近傍の任意の位置において前記エッジの方向における異なる２色の色信号の差を算出する色差算出手段と、
    該色差算出手段で算出された色信号の差の相関性を用いて色信号を算出する色信号算出手段とを有する請求項１に記載の画像処理装置。
12. 前記方向性色信号算出手段は、
    注目画素近傍の任意の位置において前記エッジの方向における異なる２色の色信号の比を算出する色比算出手段と、
    該色比算出手段で算出された色信号の比の相関性を用いて色信号を算出する色信号算出手段とを有する請求項１に記載の画像処理装置。
13. 前記方向性色信号算出手段は、前記注目画素近傍の任意の位置として、該注目画素の位置、該注目画素の近傍画素の中央位置、および、該注目画素の近傍において互いに隣接する画素間の交点のいずれかを用いる請求項１１または１２に記載の画像処理装置。
14. 前記方向性色信号算出手段は、前記方向性検出手段で検出された方向に対して、算出しようとする色成分の画素が存在しない場合に、該検出された方向以外の注目画素の近傍画素から、該算出しようとする色成分の画素を参照して前記エッジの方向性に対応する色信号を算出する請求項１および１１〜１３のいずれかに記載の画像処理装置。
15. 前記方向性色信号算出手段は、前記検出された方向以外の注目画素の複数の近傍画素において前記算出しようとする色成分の平均値を用いる請求項１４に記載の画像処理装置。
16. 前記注目画素色信号算出手段は、前記方向性検出手段で「方向性あり」と検出された画素に対して、前記方向性色信号算出手段で算出された色信号を注目画素における色信号として算出する請求項７または８に記載の画像処理装置。
17. 前記注目画素色信号算出手段は、前記方向性検出手段で「方向性なし」と検出された画素に対して、バイリニア法を用いて注目画素における色信号を算出する請求項７または９に記載の画像処理装置。
18. 前記注目画素色信号算出手段は、前記方向性検出手段で検出された複数の方向性に対応する各色信号の平均色を注目画素における色信号として算出する平均色算出手段を有する請求項１に記載の画像処理装置。
19. 前記注目画素色信号算出手段は、前記方向性検出手段で検出された複数の方向性に対応する各色信号の平均色を算出する平均色算出手段と、該平均色算出手段で算出された平均色と注目画素の色との相関性を利用して注目画素における色信号を算出する多重色相関色信号算出手段とを有する請求項１に記載の画像処理装置。
20. 被写体を撮像可能とする固体撮像素子と、該固体撮像素子からの撮像データをアナログ／デジタル変換するアナログ／デジタル変換部と、該アナログ／デジタル変換部からのデジタル信号を信号処理する請求項１〜１９のいずれかに記載の画像処理装置とを有する撮影装置。
21. 複数種類の色フィルタが各画素部にベイヤ配列で離散的に配置された固体撮像素子から出力される色信号から、各画素における全ての色信号を、注目画素およびその近傍画素の色信号を用いたデータ補間処理により生成する画像処理方法において、
    注目画素付近における斜め方向を含む複数の方向に対するエッジの方向性を定量化した方向性データを算出する方向性データ算出ステップと、
    該方向性データ算出ステップで算出された、該複数の方向に対する方向性データを用いて注目画素付近におけるエッジの方向性を検出する方向性検出ステップと、
    該方向性検出ステップで検出された一または複数のエッジの方向性に対応する色信号を算出する方向性色信号算出ステップと、
    該方向性色信号算出ステップで算出された一つ以上の色信号を用いて注目画素の色信号を算出する注目画素色信号算出ステップとを有し、
    該方向性データ算出ステップは、該方向性データとして、指定された方向と注目画素付近におけるエッジ方向との近似度が大きいほど小さい値を算出し、
    該ベイヤ配列の斜め方向のデータ補間を行う際に、該注目画素および該斜め方向の一方の画素を含む２×２の４画素に注目し、画素の中心にとらわれず、互いに隣接する該４画素の間の交点における色信号を算出すると共に、該注目画素および該斜め方向の他方の画素を含む２×２の４画素に注目し、画素の中心にとらわれず、互いに隣接する該４画素の間の交点における色信号を算出し、算出された各色信号との色の相関を用いて前記注目画素の色信号を算出することにより、該斜め方向のエッジに対する色信号の相関性をも利用した補間処理を行う画像処理方法。
22. 前記方向性データ算出ステップは、注目画素を通る右斜め上方向、水平方向、右斜め下方向および垂直方向の４方向に対して前記方向性データを算出する請求項２１に記載の画像処理方法。
23. 前記方向性データ算出ステップは、注目画素を中心として上方向、斜め右上方向、右方向、斜め右下方向、下方向、斜め左下方向、左方向および斜め左上方向の８方向に対して前記方向性データを算出する請求項２１に記載の画像処理方法。
24. 前記方向性データ算出ステップは、注目画素付近の複数の方向に対するエッジの方向性を定量化する際に、該エッジの有無に応じて変化する色信号の相関性の強度を表す項が方向性データ算出式に加えられる請求項２１〜２３のいずれかに記載の画像処理方法。
25. エッジ部分に色信号の相関があるときに値が小さくなり、該エッジ部分に該色信号の相関がないときには値が大きくなるような項が前記方向性データ算出式に加えられる請求項２４に記載の画像処理方法。
26. 前記方向性検出ステップは、複数の方向に対する方向性データの最大値が所定の閾値よりも小さいか否かによって、注目画素付近にエッジがなく輝度勾配がなだらかな平坦部であるか否かを判定し、該平坦部の場合には「方向性なし」を検出し、該平坦部ではない場合には「方向性あり」を検出する請求項２１に記載の画像処理方法。
27. 前記方向性検出ステップは、前記「方向性あり」を検出した場合に、前記方向性データの値が最小値となる方向を注目画素付近におけるエッジ方向として検出する請求項２６に記載の画像処理方法。
28. 前記方向性検出ステップは、前記「方向性あり」を検出した場合であっても、前記方向性データの値が最小値となる方向が複数存在する場合には、「方向性なし」を検出する請求項２６に記載の画像処理方法。
29. 前記方向性検出ステップは、複数の方向に対する方向性データから値の小さい順に一つ以上の方向を注目画素付近におけるエッジ方向の方向性候補として検出する請求項２１に記載の画像処理方法。
30. 前記方向性色信号算出ステップは、
    注目画素の近傍の任意の位置において前記エッジの方向における異なる２色の色信号の差を算出する色差算出ステップと、
    該色差算出ステップで算出された色信号の差の相関性を用いて色信号を算出する色信号算出ステップとを有する請求項２１に記載の画像処理方法。
31. 前記方向性色信号算出ステップは、
    注目画素の近傍の任意の位置において前記エッジの方向における異なる２色の色信号の比を算出する色比算出ステップと、
    該色比算出ステップで算出された色信号の比の相関性を用いて色信号を算出する色信
    号算出ステップとを有する請求項２１に記載の画像処理方法。
32. 前記方向性色信号算出ステップは、注目画素の近傍の任意の位置として、該注目画素の位置、該注目画素の近傍画素の中央位置、および、該注目画素の近傍において互いに隣接する画素間の交点のいずれかを用いる請求項３０または３１に記載の画像処理方法。
33. 前記方向性色信号算出ステップは、前記方向性検出手段で検出された検出方向に対して、算出しようとする色成分の画素が存在しない場合に、該検出された方向以外の注目画素の複数の近傍画素から、該算出しようとする色成分の画素を参照して前記エッジの方向性に対応する色信号を算出する請求項２１および３０〜３２のいずれかに記載の画像処理方法。
34. 前記方向性色信号算出ステップは、前記検出された方向以外の注目画素の複数の近傍画素において前記算出しようとする色成分の平均値を用いる請求項３３に記載の画像処理方法。
35. 前記注目画素色信号算出ステップは、前記方向性検出ステップで「方向性あり」と検出した画素に対して、前記方向性検出ステップで算出された色信号を注目画素における色信号として算出する請求項２６または２７に記載の画像処理方法。
36. 前記注目画素色信号算出ステップは、前記方向性検出ステップで「方向性なし」と検出した画素に対して、バイリニア法を用いて注目画素における色信号を算出する請求項２６または２８に記載の画像処理方法。
37. 前記注目画素色信号算出ステップは、前記方向性検出ステップで検出された複数の方向性に対応する各色信号の平均色を注目画素における色信号として算出する平均色算出ステップを有する請求項２１に記載の画像処理方法。
38. 前記注目画素色信号算出ステップは、前記方向性検出ステップで検出された複数の方向性に対応する各色信号の平均色を算出する平均色算出ステップと、該平均色算出ステップで算出した平均色と注目画素の色との相関性を利用して注目画素における色信号を算出する多重色相関色信号算出ステップとを有する請求項２１に記載の画像処理方法。
39. 請求項２１〜３８のいずれかに記載の画像処理方法の各処理ステップをコンピュータに実行させるための画像処理プログラム。
40. 請求項３９に記載の画像処理プログラムが格納されたコンピュータ読み取り可能な可読記録媒体。
    

Images