JP4128538B2 - 画素信号処理方法及び装置 - Google Patents

Description

本発明は、画素信号処理装置及び画素信号処理方法に関し、特に２次元平面上に配列され、各々が複数の色成分値のうちのいずれか１つを有する画素信号の組に基づき、上記複数の色成分値のうちの一つの色成分値を有する画素信号が存在する注目画素位置（補間処理対象画素）における他の色成分値を生成する画素信号処理方法及び装置に関する。

このような画素信号処理は、例えば、各々が複数の色成分（分光感度特性）、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）のうちのいずれか一つの色成分値を発生する複数種類の光電変換素子が２次元平面上に、例えばベイヤ型に配列された撮像素子をさらに備えるもので、カラー撮像装置の一部として用いられ、撮像素子から出力された画素信号のうちの、各画素位置において欠落している色成分値（不足色成分値）を補間するために用いられる。

従来の、赤、緑、青の３原色の色フィルタがベイヤ型に配置された撮像素子を有する撮像装置では、例えば下記の特許文献１に示されるように、解像感を高めるために、色毎の局所的な出力信号の分布に基づいて各画素の出力信号を平均値で置き換え、これによって想定される既知色幾何学図形と不足色幾何学図形の線形相似比に基づく補間方法を用いている。

特開２００１−１９７５１２公報（段落００４８〜００４９、図７）

この従来の方法は、注目画素の近傍の領域内において、それぞれの色成分（例えば、ベイヤ型配列におけるＲ、Ｇ、Ｂ成分）の変化の様子に相似の関係があると仮定している。そのため、色成分の変化の様子に相似の関係がない領域（例えばある色と別の色との境界など）での補間結果に偽色が発生するという問題があり、また注目画素の近傍の領域内における、複数の色成分値の変化の仕方によって、補間方法が適切でなくなることがあると言う問題があった。

本発明は、注目画素の近傍の領域内での色成分の変化の様子に相似の関係がない領域においても補間結果に偽色が発生するのを抑制することができ、また注目画素の近傍の領域内での色成分値の変化の仕方に拘らず常に最適の補間方法で補間を行うことができる画素信号処理装置及び方法を提供することを目的とする。

本発明は、
２次元平面上に配列され、各々が第１乃至第Ｎ（Ｎは２以上の整数）の互いに異なる色成分のいずれかを有する複数の画素の、それぞれの色成分値を表す画素信号の組に基づいて、第Ｊ（Ｊは１からＮのうちのいずれか一つ）の色成分値を有する注目画素の位置における第Ｋ（ＫはＪを除く１からＮのうちのいずれか一つ）の色成分値を表す画素信号を補間により生成する画素信号処理方法において、
注目画素の近傍の領域内に位置し、注目画素と同じ色成分を有する画素及び注目画素の色成分値の変化の態様を判別するステップと、
上記変化の態様を判別するステップでの判別結果に応じて、
上記補間を第１の補間方法で行って第１の補間値を生成する第１の補間演算ステップ又は上記補間を上記第１の補間方法とは異なる第２の補間方法で行って第２の補間値を生成する第２の補間演算ステップのいずれか一方を実行する補間演算ステップと
を備え、
上記第１の補間演算ステップ及び第２の補間演算ステップは、上記注目画素の上記第Ｊの色成分値と、上記注目画素の近傍の領域内に位置する画素の色成分値とに基づいて上記補間を行うことを特徴とする
画素信号処理方法を提供する。

本発明によれば、偽色の発生を抑えることができ、また注目画素の近傍の領域内での画素の色成分値の変化の仕方に応じて最適の補間を行うことができると言う効果がある。

以下、図面を参照して本発明の実施の形態を説明する。以下に説明する実施の形態は、フルカラー画像撮像装置、例えばデジタルスチルカメラの一部として用いるのに適したものであるが、本発明はこれに限定されない。

実施の形態１．
図１は、この発明の実施の形態１の画素信号処理装置を備えた撮像装置の構成を示すブロック図である。レンズ１から入射した光は、２次元撮像素子２に結像する。２次元撮像素子２は、２次元的に配列された複数の光電変換素子を有し、この複数の光電変換素子は、例えば図２に示すように、ベイヤ（Ｂａｙｅｒ）型に配置された、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色に対応する分光感度特性を有する色フィルタで覆われており、各光電変換素子からは、色フィルタの色に対応した色成分のアナログ信号が出力される。

図２において、横、縦はそれぞれ撮像面の水平方向（Ｈ）、垂直方向（Ｖ）を表す。光電変換素子は画素を構成し、撮像面上で各光電変換素子が占める位置が画素位置に対応する。各画素は、撮像素子の撮像面上に２次元的に配列されているので、それらの位置は、ＨＶ座標面上の座標値で表すことができる。

２次元撮像素子２は入射光を光電変換し入射光量に応じたレベルのアナログ画素信号を画素ごとに出力する。このアナログ画素信号はＡ／Ｄ変換器３でデジタル画素信号に変換され、出力され、補間処理回路４内のフレームメモリ１１に記憶される。この際、各画素の信号は、各画素の、撮像面上での位置、従ってＨＶ座標面上での位置に対応付けて記憶される。

上記のようにしてフレームメモリ１１に記憶された画素信号は、撮像素子２から出力された信号の値を表すので、「撮像素子の出力信号」、或いは単に「出力信号」と呼ばれ、後述のように周囲の画素の平均を求めることにより得られる画素信号や補間により得られる画素信号と区別される。

上記のように各画素を構成する光電変換素子の各々からは、Ｒ、Ｇ、Ｂのいずれかの一つの成分値を表す信号しか得られない。即ち、フレームメモリ１１に記録される、各画素位置の出力信号は、Ｒ成分値のみを有する画素（Ｒ画素）、Ｇ成分のみを有する画素（Ｇ画素）、Ｂ成分のみを有する画素（Ｂ画素）のいずれかである。言換えると、各画素位置には一つの色の画素信号のみが既知であり、他の色の画素信号は未知である。本発明の補間処理は、この各画素位置において未知である色（不足色）の色成分値を補間により求めるものである。

なお、本実施の形態では、各画素位置の画素信号が、Ｒ、Ｇ、Ｂのいずれかの色成分を有するものであるが、本発明は一般的には、各画素位置の画素信号が、第１乃至第Ｎ（Ｎは２以上の整数）の色成分値のいずれかを有する場合に適用可能である。

合成回路５において補間処理回路４から入力される補間結果ＯＵＴ４と、Ａ／Ｄ変換器３から入力される固体撮像素子２で得られた信号ＯＵＴ３を合成することでフルカラー画像を得る。

図３は、この実施の形態１で用いられる補間処理回路４の構成を示す。
図示のように、補間処理回路４は、フレームメモリ１１と、読出し制御回路１６と、プロセッサ３５と、メモリ３６とを有する。プロセッサ３５は、図２に示されるベイヤ配列型の画像データの各画素に対する不足色成分値の補間処理のため、図４、図５、図６のフローチャートに示すように動作する。プロセッサ３５で計算された不足色成分値（補間値）はメモリ３６に書き込まれる。

以下、補間処理回路４で行われる不足色成分の補間処理について説明する。不足色成分の補間には、
（Ｐ１） Ｒ画素及びＢ画素の位置におけるＧ成分値を求める処理、
（Ｐ２） Ｇ画素の位置におけるＲ成分値及びＢ成分値を求める処理、
（Ｐ３） Ｒ画素の位置におけるＢ成分値を求める処理、及び
（Ｐ４） Ｂ画素の位置におけるＲ成分値を求める処理
が含まれ、例えば上に記載の順で行われる。

最初に、Ｒ画素及びＢ画素の位置におけるＧ成分値の補間処理について説明する。まず、Ｒ画素の位置におけるＧ成分値の補間について図４及び図７を参照して説明する。図４はＲ画素の位置におけるＧ成分値の補間の際のプロセッサ３５の動作を示すフローチャート、図７はＲ画素の位置におけるＧ成分値の補間を行う際に利用される画素とその色成分値を示す。図７におけるＲ画素Ｒ４４が注目画素（補間処理対象画素）になる。

ステップＳＴ１１にて、図７に示された、注目画素Ｒ４４の近傍の領域内に位置する複数の画素の色成分値がフレームメモリ４から読み出される。即ち注目画素Ｒ４４と、注目画素Ｒ４４に対し垂直方向に整列したＲ画素Ｒ４２、Ｒ４６、注目画素Ｒ４４に対し水平方向に整列したＲ画素Ｒ２４、Ｒ６４のＲ成分値Ｒ４４、Ｒ４２、Ｒ４６、Ｒ２４、Ｒ６４と、注目画素Ｒ４４に対し垂直方向にＧ画素Ｇ４１、Ｇ４３、Ｇ４５、Ｇ４７と、注目画素Ｒ４４に対し水平方向に整列したＧ画素Ｇ１４、Ｇ３４、Ｇ５４、Ｇ７４のＧ成分値Ｇ４１、Ｇ４３、Ｇ４５、Ｇ４７、Ｇ１４、Ｇ３４、Ｇ５４、Ｇ７４が読み出される。
なお、上記のように、ある色成分を有する画素とその画素の色成分値を同じ符号で表すことがある。

次に、ステップＳＴ１２で注目画素を中心に水平方向及び垂直方向のいずれに相関が強いかが判別される。この判別のため、ステップＳＴ１１で読み出された画素信号（色成分値）の一部を用いて、以下の値ｄＶ、ｄＨが計算される。
ｄＶ＝｜Ｇ３４−Ｇ５４｜
ｄＨ＝｜Ｇ４３−Ｇ４５｜

ここで、ｄＶは、注目画素を中心とした垂直方向の画素の色成分値、即ち注目画素に対し垂直方向に整列し、注目画素に隣接する２つの画素の色成分値の差の絶対値を表し、ｄＨは、注目画素を中心とした水平方向の画素の色成分値、即ち注目画素に対し水平方向に整列し、注目画素に隣接する２つの画素の色成分値の差の絶対値を表す。
例えば細かい横縞の画像のように画像中に水平方向の相関が強い場合はｄＨ＜ｄＶとなり、細かい縦縞の画像のように垂直方向の相関が強い場合はｄＶ＜ｄＨとなる。

このｄＶ、ｄＨの大小関係に応じて、ステップＳＴ１３ａ以下の処理もしくはステップＳＴ１３ｂ以下の処理が行われる。即ち、ｄＨ＜ｄＶのときは（水平方向の相関が強いと判断されたときは）ステップＳＴ１３ａ以下の処理が、それ以外のときは（垂直方向の相関が強いと判断されたときは）ステップＳＴ１３ｂ以下の処理が行われる。なお、ｄＨ、ｄＶを求める式は上記の式に限定されない。

ステップＳＴ１３ａ以下の処理について述べる。
ステップＳＴ１３ａでは、注目画素の近傍の領域内に位置し、注目画素を中心として水平方向（上記相関判別ステップＳＴ１２で相関が強いと判定された方向）に整列し、注目画素と同じ色成分を有する画素及び注目画素の色成分値の変化の態様を判定する。即ち、画素位置との関係で、画素の色成分値が単調に変化（増加又は減少）しているかどうかを判定する。
これは例えば以下のようにして行われる。即ち、注目画素Ｒ４４、及び注目画素Ｒ４４に対して水平方向（相関が強いと判定された方向）に整列し、注目画素に近接し（例えば２画素分離れた位置の）、注目画素を中心として互いに反対側に位置する画素Ｒ２４、Ｒ６４のＲ成分値Ｒ４４、Ｒ２４、Ｒ６４の大小関係が調べられる。即ち、Ｒ成分値Ｒ２４、Ｒ４４、Ｒ６４が以下の条件１、２のいずれかを満たすかどうかの判定が行われる。

条件１：Ｒ２４＜Ｒ４４かつＲ６４＜Ｒ４４
条件２：Ｒ２４＞Ｒ４４かつＲ６４＞Ｒ４４

条件１が満たされるときは、色成分値が、上に凸に変化しており、条件２が満たされるときは色成分値が下に凸に変化しており、条件１、２のいずれも満たされないときは、色成分値が単調に変化していると言える。

ステップＳＴ１３ａにおける判定の結果に応じて、ステップＳＴ１４ａもしくはステップＳＴ１５ａ以下の処理のどちらか一方が行われる。即ち、条件１、２のいずれかが満たされるときは、ステップＳＴ１４ａの処理が、そうでないときはステップＳＴ１５ａ以下の処理が行われる。

ステップＳＴ１４ａは、相似関係を仮定した補間演算であり、以下の式（２）で注目画素Ｒ４４のＧ成分値Ｇ４４を計算する。

ステップＳＴ１５ａでは、以下に示される二つの２次元データを計算する。これらの２次元データの各々は、注目画素に対して水平方向（相関が強いと判定された方向）に整列し、注目画素に近接し（例えば２画素分離れた位置の）、注目画素を中心として互いに反対側に位置する画素の位置に対して求められた、上記注目画素位置における既知の色成分をｘ成分（ｘｉ）とし、不足色（未知）の色成分をｙ成分（ｙｉ）（ただし、ｉ＝１、２）とするものである。

上記の式から分るように、ｘ成分ｘｉとしては、撮像素子２から得られた各画素位置のＲ成分がそのまま用いられ、ｙ成分ｙｉとしては、各画素位置の周囲の、例えば水平方向の両側において隣接する画素のＧ成分の平均が用いられている。

ステップＳＴ１６ａでは、上記のｘ成分ｘ１とｘ２の差の絶対値がある閾値以下かどうかを調べる。ｘ１とｘ２の差の絶対値が上記閾値以下のときはステップＳＴ１８ａの処理を、それ以外のときはステップＳＴ１７ａの処理を行う。

ステップＳＴ１７ａは、単調変化を仮定した補間演算であり、以下の式（３）で注目画素Ｒ４４に対するＧ成分値Ｇ４４を計算する。

ステップＳＴ１８ａでは線形補間を用いて注目画素Ｒ４４に対するＧ成分値Ｇ４４を計算する。即ち、注目画素Ｒ４４に対するＧ成分値Ｇ４４は、注目画素に隣接する画素の色成分値を用いて、以下の式で与えられる。
Ｇ４４＝（Ｇ３４＋Ｇ５４）／２

ステップＳＴ１３ｂ以下の処理について述べる。
ステップＳＴ１３ｂでは、注目画素の近傍の領域内に位置し、注目画素を中心として垂直方向（上記相関判別ステップＳＴ１２で相関が強いと判定された方向）に整列し、注目画素と同じ色成分を有する画素、及び注目画素の色成分値が、画素位置との関係で、単調に変化しているかどうかの判定が行われる。
そのため、例えばＲ画素Ｒ４２、Ｒ４４、Ｒ４６のＲ成分値Ｒ４２、Ｒ４４、Ｒ４６の大小関係が調べられる。そして、その結果によりステップＳＴ１４ｂもしくはステップＳＴ１５ｂ以下の処理のどちらか一方が行われる。即ち、Ｒ成分値Ｒ４２、Ｒ４４、Ｒ４６が以下の条件１、２のいずれかを満たすときはステップＳＴ１４ｂの処理が、そうでないときはステップＳＴ１５ｂ以下の処理が行われる。

条件１：Ｒ４２＜Ｒ４４かつＲ４６＜Ｒ４４
条件２：Ｒ４２＞Ｒ４４かつＲ４６＞Ｒ４４

ステップＳＴ１４ｂは、相似関係を仮定した補間演算であり、以下の式で注目画素Ｒ４４のＧ成分値Ｇ４４を計算する。

ステップＳＴ１５ｂでは、以下に示される二つの２次元データを計算する。これらの２次元データの各々は、注目画素に対して垂直方向（相関が強いと判定された方向）に整列し、注目画素に近接し（例えば２画素分離れた位置の）、注目画素を中心として互いに反対側に位置する画素の位置に対して求められた、上記注目画素位置における既知の色成分をｘ成分（ｘｉ）とし、不足色（未知）の色成分をｙ成分（ｙｉ）（ただし、ｉ＝１、２）とするものである。

ステップＳＴ１６ｂでは、上記のｘ成分ｘ１とｘ２の差の絶対値がある閾値以下かどうかを調べる。ｘ１とｘ２の差の絶対値が上記閾値以下のときはステップＳＴ１８ｂの処理を、それ以外のときはステップＳＴ１７ｂの処理を行う。

ステップＳＴ１７ｂは、単調変化を仮定した補間演算であり、以下の式で注目画素Ｒ４４に対するＧ成分値Ｇ４４を計算する。

ステップＳＴ１８ｂでは線形補間を用いて注目画素Ｒ４４に対するＧ成分値Ｇ４４を計算する。即ち、注目画素Ｒ４４に対するＧ成分値Ｇ４４は、注目画素に隣接する画素の色成分値を用いて、以下の式で与えられる。
Ｇ４４＝（Ｇ４３＋Ｇ４５）／２

上記したステップＳＴ１４ａ、ＳＴ１７ａ、ＳＴ１８ａ、ＳＴ１４ｂ、ＳＴ１７ｂ、ＳＴ１８ｂのいずれかにより補間された不足色成分値（補間値）がステップＳＴ１９で、注目画素Ｒ４４の位置における、補間により求められたＧ成分値としてメモリ３６に、画素位置に対応付けて、書込まれる。
以上の補間処理がすべてのＲ画素の位置におけるＧ成分値に対して行われる。

以上はＲ画素の位置におけるＧ成分値の補間処理であるが、Ｂ画素の位置におけるＧ成分値の補間もＲとＢが入れ替わる以外は同様に行われる。

次にＧ画素の位置におけるＲ成分値、Ｂ成分値の補間処理について述べる。
ベイヤ配列においては、Ｇ画素を中心にした場合、Ｒ、Ｇ、Ｂ各画素の配置は図８に示されるように、注目画素が奇数行にある場合（ａ）と、偶数行にある場合（ｂ）とで異なり、ＲとＢが入れ替わった配置となっている。まず、奇数行におけるＧ画素の位置におけるＲ成分値及びＢ成分値の補間を、図５及び図９を参照して説明する。

図５はＧ画素の位置におけるＲ成分値の補間の際のプロセッサ３５の動作を示すフローチャート、図９は奇数行のＧ画素の位置におけるＲ成分値及びＢ成分値の補間を行う際に利用される画素とその色成分値を示す。

図９において、Ｇ画素Ｇ４４が注目画素になるが、注目画素Ｇ４４の垂直方向にはＲ画素が存在せず、水平方向にはＢ画素が存在しない。従って、奇数行のＧ画素の位置におけるＲ成分値の補間に用い得るのは水平方向の画素のみであり、Ｂ成分値の補間に用い得るのは垂直方向の画素のみである。従って補間処理のために参照する方向は自ずと一方向に限られるので、図４のステップＳＴ１２のような相関判別は行わない。

最初に奇数行のＧ画素の位置におけるＲ成分値の補間処理について述べる。

ステップＳＴ２１にて、図９に示された、注目画素Ｇ４４の近傍の領域内に位置する複数の画素の色成分値がフレームメモリ４から読み出される。即ち、注目画素Ｇ４４と、注目画素Ｇ４４に対し、水平方向に整列したＧ画素Ｇ２４、Ｇ６４のＧ成分値Ｇ４４、Ｇ２４、Ｇ６４と、注目画素に対して水平方向に整列したＲ画素Ｒ１４、Ｒ３４、Ｒ５４、Ｒ７４のＲ成分値Ｒ１４、Ｒ３４、Ｒ５４、Ｒ７４が読み出される。

次にステップＳＴ２２で、注目画素の近傍の領域内に位置し、注目画素を中心として水平方向（Ｒ画素が存在する方向）に整列し、注目画素と同じ色成分を有する画素、及び注目画素の色成分値が、画素位置との関係で、単調に変化しているかどうかを判定する。
そのため、例えばＧ画素Ｇ２４、Ｇ４４、Ｇ６４のＧ成分値Ｇ２４、Ｇ４４、Ｇ６４の大小関係が調べられる。そして、その結果によりステップＳＴ２３もしくはステップＳＴ２４以下の処理のどちらか一方が行われる。即ち、Ｇ成分値Ｇ２４、Ｇ４４、Ｇ６４が以下の条件１、２のいずれかを満たすときはステップＳＴ２３の処理が、そうでないときはステップＳＴ２４以下の処理が行われる。

条件１：Ｇ２４＜Ｇ４４かつＧ６４＜Ｇ４４
条件２：Ｇ２４＞Ｇ４４かつＧ６４＞Ｇ４４

ステップＳＴ２３は、相似関係を仮定した補間演算であり、以下の式で注目画素Ｇ４４のＲ成分値Ｒ４４を計算する。

ステップＳＴ２４では、以下に示される二つの２次元データを計算する。これらの２次元データの各々は、注目画素に対して水平方向（Ｒ画素が存在する方向）に整列し、注目画素に近接し（例えば２画素分離れた位置の）、注目画素を中心として互いに反対側に位置する画素の位置に対して求められた、上記注目画素位置における既知の色成分をｘ成分（ｘｉ）とし、不足色（未知）の色成分をｙ成分（ｙｉ）（ただし、ｉ＝１、２）とするものである。

上記の式から分るように、ｘ成分ｘｉとしては、撮像素子２から得られた各画素位置のＧ成分がそのまま用いられ、ｙ成分ｙｉとしては、各画素位置の周囲の、例えば水平方向の両側において隣接する画素のＲ成分の平均が用いられている。

ステップＳＴ２５では、上記のｘ成分ｘ１とｘ２の差の絶対値がある閾値以下かどうかを調べ、ｘ１とｘ２の差の絶対値が上記閾値以下のときは、次にステップＳＴ２７の処理を、それ以外のときは、次にステップＳＴ２６の処理を行う。

ステップＳＴ２６は、単調変化を仮定した補間演算であり、以下の式で注目画素Ｇ４４のＲ成分値Ｒ４４を計算する。

ステップＳＴ２７では線形補間を用いて注目画素Ｇ４４に対するＲ成分値Ｒ４４を計算する。即ち、注目画素Ｇ４４に対するＲ成分値Ｒ４４は、注目画素に隣接する画素の色成分値を用いて、以下の式で与えられる。
Ｒ４４＝（Ｒ３４＋Ｒ５４）／２

上記したステップＳＴ２３、ＳＴ２６、ＳＴ２７のいずれかにより補間された不足色成分値（補間値）がステップＳＴ２８で、注目画素Ｇ４４の位置における、補間により求められたＲ成分値としてメモリ３６に、画素位置に対応付けて、書込まれる。

以上の補間処理がすべての奇数行のＧ画素の位置におけるＲ成分値に対して行われる。

次に奇数行のＧ画素の位置におけるＢ成分値の補間処理について説明する。図８（ａ）に示すように、注目画素であるＧ画素を中心として、Ｂ成分を有する画素は縦方向（上下方向）に位置しており、横方向（左右方向）には存在しない。

ステップＳＴ２１にて、図９に示された、注目画素Ｇ４４の近傍の領域内に位置する複数の画素の色成分値がフレームメモリ４から読み出される。即ち、注目画素Ｇ４４と、注目画素Ｇ４４に対し、垂直方向に整列したＧ画素Ｇ４２、Ｇ４６のＧ成分値Ｇ４４、Ｇ４２、Ｇ４６と、注目画素に対して垂直方向に整列したＢ画素Ｂ４１、Ｂ４３、Ｂ４５、Ｂ４７のＢ成分値Ｂ４１、Ｂ４３、Ｂ４５、Ｂ４７が読み出される。

次にステップＳＴ２２で、注目画素の近傍の領域内に位置し、注目画素を中心として垂直方向（Ｂ画素が存在する方向）に整列し、注目画素と同じ色成分を有する画素、及び注目画素の色成分値が、画素位置との関係で、単調に変化しているかどうかを判定する。
そのため、例えば、Ｇ画素Ｇ４２、Ｇ４４、Ｇ４６のＧ成分値Ｇ４２、Ｇ４４、Ｇ４６の大小関係が調べられる。そして、その結果によりステップＳＴ２３もしくはステップＳＴ２４以下の処理のどちらか一方が行われる。即ち、Ｇ成分値Ｇ４２、Ｇ４４、Ｇ４６が以下の条件１、２のいずれかを満たすときはステップＳＴ２３の処理が、そうでないときはステップＳＴ２４以下の処理が行われる。

条件１：Ｇ４２＜Ｇ４４かつＧ４６＜Ｇ４４
条件２：Ｇ４２＞Ｇ４４かつＧ４６＞Ｇ４４

ステップＳＴ２３では以下の式で注目画素Ｇ４４のＢ成分値Ｂ４４を計算する。

ステップＳＴ２４では、以下に示される二つの２次元データを計算する。これらの２次元データの各々は、注目画素に対して垂直方向（Ｂ画素が存在する方向）に整列し、注目画素に近接し（例えば２画素分離れた位置の）、注目画素を中心として互いに反対側に位置する画素の位置に対して求められた、上記注目画素位置における既知の色成分をｘ成分（ｘｉ）とし、不足色（未知）の色成分をｙ成分（ｙｉ）（ただし、ｉ＝１、２）とするものである。

ステップＳＴ２５では、上記のｘ成分ｘ１とｘ２の差の絶対値がある閾値以下かどうかを調べる。ｘ１とｘ２の差の絶対値が上記閾値以下のときは、次にステップＳＴ２７の処理を、それ以外のときは、次にステップＳＴ２６の処理を行う。

ステップＳＴ２６では以下の式で注目画素Ｇ４４のＢ成分値Ｂ４４を計算する。

ステップＳＴ２７では線形補間を用いて注目画素Ｇ４４に対するＢ成分値Ｂ４４を計算する。即ち、注目画素Ｇ４４に対するＢ成分値Ｂ４４は、注目画素に隣接する画素の色成分値を用いて、以下の式で与えられる。
Ｂ４４＝（Ｂ４３＋Ｂ４５）／２

上記したステップＳＴ２３、ＳＴ２６、ＳＴ２７のいずれかにより補間された不足色成分値（補間値）がステップＳＴ２８で、注目画素Ｇ４４の位置における、補間により求められたＢ成分値としてメモリ３６に、画素位置に対応付けて、書込まれる。

以上の補間処理がすべての奇数行のすべてのＧ画素の位置におけるＢ成分値に対して行われる。

上記した奇数行のＧ画素の位置におけるＲ成分値の補間の説明と、奇数行のＧ画素の位置におけるＢ成分値の補間の説明とは、垂直方向（上下方向）と水平方向（左右方向）とが入れ替え変わっただけである。

以上は奇数行のＧ画素の位置における、Ｒ成分値及びＢ成分値の補間処理であるが、偶数行のＧ画素の位置におけるＲ成分値及びＢ成分値の補間も、奇数行の場合と同様に行われる。但し、「垂直方向」と「水平方向」を入れ替える。別の見方をすれば、偶数行におけるＧ画素の位置におけるＲ成分値及びＢ成分値の補間は、奇数行におけるＧ画素の位置におけるＲ成分値及びＢ成分値の補間と、ＲとＢが入れ替わる以外は同様に行われる。

次にＲ画素の位置におけるＢ成分値の補間処理について図６及び図１０を参照して説明する。
図６はＲ画素の位置におけるＢ成分値の補間の際のプロセッサ３５の動作を示すフローチャート、図１０はＲ画素の位置におけるＢ成分値の補間を行う際に利用される画素とその色成分値を示す。図１０におけるＲ画素Ｒ４４が注目画素になる。

ステップＳＴ３１にて、図１０に示された、注目画素Ｒ４４の近傍の領域内に位置する複数の画素の色成分値がフレームメモリ４から読み出される。即ち注目画素Ｒ４４と、注目画素に対し、右斜め上から左斜め下の方向（４５度の方向）に整列したＲ画素Ｒ６２、Ｒ２６、左斜め上から右斜め下の方向（−４５度の方向）に整列したＲ画素Ｒ２２、Ｒ６６、のＲ成分値Ｒ４４、Ｒ６２、Ｒ２６、Ｒ２２、Ｒ６６と、注目画素に対し、右斜め上から左斜め下の方向（４５度の方向）に整列したＢ画素Ｂ７１、Ｂ５３、Ｂ３５、Ｂ１７、左斜め上から右斜め下の方向（−４５度の方向）に整列したＢ画素Ｂ１１、Ｂ３３、Ｂ５５、Ｂ７７のＢ成分値Ｂ７１、Ｂ５３、Ｂ３５、Ｂ１７、Ｂ１１、Ｂ３３、Ｂ５５、Ｂ７７、が読み出される。

次に、ステップＳＴ３２で、注目画素を中心に４５度の方向及び−４５度の方向のいずれに相関が強いかが判別される。この判別のため、ステップＳＴ３１で読み出された画素信号（色成分値）の一部を用いて、以下の値ｄ（４５）、ｄ（−４５）が計算される。
ｄ（４５）＝｜Ｂ５３−Ｂ３５｜
ｄ（−４５）＝｜Ｂ５５−Ｂ３３｜

ｄ（４５）は注目画素を中心として水平方向となす角度が４５度の方向（右上から左下への方向、即ち右上がりの方向）の直線上の画素の色成分値、即ち注目画素に対し４５度の方向に整列し、注目画素に隣接する２つの画素の色成分値の差の絶対値を表し、ｄ（−４５）は注目画素を中心として水平方向となす角度が−４５度の方向（左上から右下への方向、即ち左上がりの方向）の直線上の画素の色成分値、即ち注目画素に対し−４５度の方向に整列し、注目画素に隣接する２つの画素の色成分値の差の絶対値を表す。

ステップＳＴ１２の処理同様、画像中に相関の強い方向の画素の色成分値を用いて計算した値の方が小さくなる。
このｄ（４５）、ｄ（−４５）の大小関係に応じて、ステップＳＴ３３ａ以下の処理もしくはステップＳＴ３３ｂ以下の処理が行われる。即ち、ｄ（４５）＜ｄ（−４５）のときは（４５度の方向に相関が強いときは）ステップＳＴ３３ａ以下の処理が、それ以外のときは（−４５度の方向に相関が強いときは）ステップＳＴ３３ｂ以下の処理が行われる。なお、ｄ（４５）、ｄ（−４５）を求める式は上記のものに限定されない。

ステップＳＴ３３ａ以下の処理について述べる。
ステップＳＴ３３ａでは、注目画素の近傍の領域内に位置し、注目画素を中心として４５度の方向（上記相関判別ステップＳＴ３２で相関が強いと判定された方向）に整列し、注目画素と同じ色成分を有する画素、及び注目画素の色成分値が、画素位置との関係で、単調に変化しているかどうかを判定する。
そのため、例えばＲ画素Ｒ６２、Ｒ４４、Ｒ２６のＲ成分値Ｒ６２、Ｒ４４、Ｒ２６の大小関係が調べられる。そして、その結果によりステップＳＴ３４ａもしくはステップＳＴ３５ａ以下の処理が行われる。即ち、Ｒ６２、Ｒ４４、Ｒ２６が以下の条件１、２のいずれかを満たすときはステップＳＴ３４ａの処理が、そうでないときはステップＳＴ３５ａ以下の処理が行われる。

条件１：Ｒ６２＜Ｒ４４かつＲ２６＜Ｒ４４
条件２：Ｒ６２＞Ｒ４４かつＲ２６＞Ｒ４４

ステップＳＴ３４ａは、相似関係を仮定した補間演算であり、以下の式で注目画素Ｒ４４のＢ成分値Ｂ４４を計算する。

ステップＳＴ３５ａでは、以下に示される二つの２次元データを計算する。これらの２次元データの各々は、注目画素に対して４５度の方向（相関が強いと判定された方向）に整列し、注目画素に近接し（例えば４５度の方向に２画素分離れた位置（水平方向及び垂直方向に２画素分離れた位置）の）、注目画素を中心として互いに反対側に位置する画素の位置に対して求められた、上記注目画素位置における既知の色成分をｘ成分（ｘｉ）とし、不足色（未知）の色成分をｙ成分（ｙｉ）（ただし、ｉ＝１、２）とするものである。

上記の式から分るように、ｘ成分ｘｉとしては、撮像素子２から得られた各画素位置のＲ成分がそのまま用いられ、ｙ成分ｙｉとしては、各画素位置の周囲の、例えば４５度の方向の両側において隣接する画素のＢ成分の平均が用いられている。

ステップＳＴ３６ａでは、上記のｘ成分ｘ１とｘ２の差の絶対値がある閾値以下かどうかを調べる。ｘ１とｘ２の差の絶対値が上記閾値以下のときはステップＳＴ３８ａの処理を、それ以外のときはステップＳＴ３７ａの処理を行う。

ステップＳＴ３７ａは、単調変化を仮定した補間演算であり、以下の式で注目画素Ｒ４４に対するＢ成分値Ｂ４４を計算する。

ステップＳＴ３８ａでは線形補間を用いて注目画素Ｒ４４に対するＢ成分値Ｂ４４を計算する。即ち、注目画素Ｂ４４に対するＢ成分値Ｂ４４は、注目画素に隣接する画素の色成分値を用いて、以下の式で与えられる。
Ｂ４４＝（Ｂ５３＋Ｂ３５）／２

次にステップ３３ｂ以下の処理について述べる。
まず、ステップＳＴ３３ｂでは、ステップ３３ａと同様に、注目画素の近傍の領域内に位置し、注目画素を中心として−４５度の方向（上記相関判別ステップＳＴ３２で相関が強いと判定された方向）に整列し、注目画素と同じ色成分を有する画素、及び注目画素の色成分値が、画素位置との関係で、単調に変化しているかどうかの判定が行われる。
そのため、例えばＲ画素Ｒ２２、Ｒ４４、Ｒ６６のＲ成分値Ｒ２２、Ｒ４４、Ｒ６６の大小関係が調べられる。そして、その結果によりステップＳＴ３４ｂもしくはステップＳＴ３５ｂ以下の処理のどちらか一方が行われる。即ち、Ｒ成分値Ｒ２２、Ｒ４４、Ｒ６６が以下の条件１、２のいずれかを満たすときはステップＳＴ３４ｂの処理が、そうでないときはステップＳＴ３５ｂ以下の処理が行われる。

条件１：Ｒ２２＜Ｒ４４かつＲ６６＜Ｒ４４
条件２：Ｒ２２＞Ｒ４４かつＲ６６＞Ｒ４４

ステップＳＴ３４ｂは、相似関係を仮定した補間演算であり、以下の式で注目画素Ｒ４４のＢ成分値Ｂ４４を計算する。

ステップＳＴ３５ｂでは、以下に示される二つの２次元データを計算する。これらの２次元データの各々は、注目画素に対して−４５度の方向（相関が強いと判定された方向）に整列し、注目画素に近接し（例えば−４５度の方向に２画素分離れた位置の）、注目画素を中心として互いに反対側に位置する画素の位置に対して求められた、上記注目画素位置における既知の色成分をｘ成分（ｘｉ）とし、不足色（未知）の色成分をｙ成分（ｙｉ）（ただし、ｉ＝１、２）とするものである。

ステップＳＴ３６ｂでは、上記のｘ成分ｘ１とｘ２の差の絶対値がある閾値以下かどうかを調べる。ｘ１とｘ２の差の絶対値が上記閾値以下のときはステップＳＴ３８ｂの処理を、それ以外のときはステップＳＴ３７ｂの処理を行う。

ステップＳＴ３７ｂは、単調変化を仮定した補間演算であり、以下の式で注目画素Ｒ４４に対するＢ成分値Ｂ４４を計算する。

ステップＳＴ３８ｂでは線形補間を用いて注目画素Ｒ４４に対するＢ成分値Ｂ４４を計算する。即ち、注目画素Ｒ４４に対するＢ成分値Ｂ４４は、注目画素に隣接する画素の色成分値を用いて、以下の式で与えられる。
Ｂ４４＝（Ｂ３３＋Ｂ５５）／２

上記したステップＳＴ３４ａ、ＳＴ３７ａ、ＳＴ３８ａ、ＳＴ３４ｂ、ＳＴ３７ｂ、ＳＴ３８ｂのいずれかにより補間された不足色成分値（補間値）がステップＳＴ３９で、注目画素Ｒ４４の位置における、補間により求められたＢ成分値としてメモリ３６に、画素位置に対応付けて、書込まれる。

以上の補間処理がすべてのＲ画素の位置におけるＢ成分値に対して行われる。

以上がＲ画素の位置におけるＢ成分値を補間する処理であるが、Ｂ画素の位置におけるＲ成分値の補間もＲとＢが入れ替わる以外は同様に行われる。

以上により、Ｒ、Ｇ、Ｂ各画素に対する不足色成分値がすべて計算され、全画素に対する全不足色成分値がメモリ３６に書込まれたことになる。

全画素に対する全不足色成分値がメモリ３６に書込まれると、次に、メモリ３６内部の内容が、補間処理回路４外部へ、補間結果ＯＵＴ４として出力される。補間結果ＯＵＴ４と、Ａ／Ｄ変換器３から入力される固体撮像素子２で得られた信号ＯＵＴ３とが、合成回路５で合成されることにより、すべての画素についてＲ、Ｇ、Ｂ各色の色成分が揃った画像信号（フルカラー画像）が出力されることになる。

以下、ステップＳＴ１７ａ、ＳＴ１７ｂ、ＳＴ２６、ＳＴ３７ａ、ＳＴ３７ｂで行われる補間処理（以下「単調変化を仮定した補間処理」と呼ぶ）の特徴、ステップＳＴ１４ａ、ＳＴ１４ｂ、ＳＴ２３，ＳＴ３４ａ、ＳＴ３４ｂで行われる、「相似関係を仮定した補間処理」の特徴、及びこれらの選択のためにステップＳＴ１３ａ、ＳＴ１３ｂ、ＳＴ２２、ＳＴ３３ａ、ＳＴ３３ｂで行われる色成分値の変化の態様についての判定について述べる。
最初に変化の態様についての判定について述べる。

例えば、ステップ１３ａのように、Ｒ成分値の変化の態様について判定を行う場合、変化の態様を、図１１（ａ）乃至（ｄ）に分類することができる。

図１１（ａ）乃至（ｄ）において、横軸をＲ画素の位置、縦軸を各画素のＲ成分値に対応させた座標平面上に、Ｒ画素Ｒ２４、Ｒ４４、Ｒ６４間でのＲ成分値の、画素位置に対する、変化のパターンを、グラフで表している。

高周波成分を多く含んだ画像は図１１（ａ）または（ｂ）に示されるように上に凸か下に凸であり、図１１（ａ）の場合には条件１が満たされ、図１１（ｂ）の場合には、条件２が満たされる。一方、低周波成分を多く含んだ画像において色信号は図１１（ｃ）に示されるように単調増加、又は図１１（ｄ）に示されるように単調減少であり、このとき、条件１、条件２がともに満たされない。以下に詳しく説明するように、図１１（ａ）、（ｂ）の場合には、相似関係を仮定した補間処理が優れておおり、図１１（ｃ）、（ｄ）の場合には、単調変化を仮定した補間処理が優れている。
そこで、図１１（ａ）、（ｂ）の場合、即ち、条件１、条件２のいずれかが満たされるときは、ステップＳＴ１４ａによる相似関係を仮定した補間処理を行い、図１１（ｃ）、（ｄ）の場合、即ち条件１、条件２のいずれも満たされないときは、ステップＳＴ１５ａ以下の処理、特に単調変化を仮定した補間処理（ＳＴ１７ａ）を行うこととしている。但し、変化分が極めて小さい場合には、単調変化を仮定した補間処理（ＳＴ１７ａ）の代わりに線形補間（ＳＴ１８ａ）を行っている。
これにより、変化の態様に応じて最適な補間処理を選択して実行することができる。

ステップＳＴ１３ｂ、ＳＴ２２、ＳＴ３３ａ、ＳＴ３３ｂの動作もステップ１３ａの動作と同様である。

以下、ステップＳＴ１７ａ、ＳＴ１７ｂ、ＳＴ２６、ＳＴ３７ａ、ＳＴ３７ｂで行われる単調変化を仮定した補間処理の特徴について詳しく説明する。

注目画素の近傍の領域において、注目画素位置において既知の色成分値が図１１（ｃ）、（ｄ）に示すように単調に変化している場合、不足色の色成分値も同様に単調に変化していることが多い。即ち、既知色と同じ方向に単調に変化（既知色とともに増加、又は既知色とともに減少）しているか、逆方向に単調に変化（既知色の増加に対して不足色が減少、又は既知色の減少に対して不足色が増加）していることが多い。
前者は、例えば次第に明るさが変化している場合であり、後者は、例えば一つの色から別の色になめらかに切り替わっている場合である。

その場合、色の変化分相互間には、近似的に、図１２（ａ）又は（ｂ）に示すような関係があるものと仮定することができる。図１２（ａ）、（ｂ）で、Ｈ軸は撮像素子２の撮像面上の水平軸に対応し、Ｚ軸は各画素の色成分値を表す。そして、ｘ０、ｘ１、ｘ２は、注目画素及びそれに近接する画素における、既知色（注目画素において色成分値が既知の色）の色成分値を示し、これらを結ぶ実線がその変化を示す。ｙ１、ｙ２は、注目画素に近接する画素における、不足色（注目画素において色成分値が未知の色）の色成分値である。ｙ０は、注目画素における、上記不足色色成分値の補間値である。図１２（ａ）は、既知色の色成分値と不足色の色成分値が同じ方向に変化している場合を示し、図１２（ｂ）は、既知色の色成分値と不足色の色成分値が逆の方向に変化している場合を示す。
単調変化を仮定した補間処理では、上記のように、既知色の色成分値と不足色の色成分値が同じように且つ同じ向きに単調に変化するか、同じように且つ逆向きに単調に変化すると仮定し、以下の関係が満たされるように、注目画素位置における、不足色の色成分値ｙ０を定める。
（ｙ０−ｙ１）／（ｘ０−ｘ１）＝（ｙ１−ｙ２）／（ｘ１−ｘ２）
この式を変形すると、

となる。即ち上記の式によって注目画素における不足色の色成分値ｙ０を求めることとする。
ｘ０、ｙ０は上記のように、注目画素位置における既知色の色成分値、不足色の色成分値であり、例えば、注目画素Ｒ４４におけるＧ成分値を求める場合（式（３）の場合）、Ｒ４４がｘ０となり、Ｇ４４がｙ０となる。

単調変化を仮定した補間処理の概念はまた以下のようにも説明できる。
即ち、図１３に示す、既知色の色成分値をｘ成分、不足色の色成分値ｙ成分とする２次元平面内で、（ｘ１，ｙ１）、（ｘ２，ｙ２）を通る直線の傾きは、
（ｙ１−ｙ２）／（ｘ１−ｘ２）
であり、ｘのｘ１からｘ０への変化に伴うｙの増分Δｙ（＝ｙ０−ｙ１）は、
Δｙ０＝｛（ｙ１−ｙ２）／（ｘ１−ｘ２）｝×（ｘ０−ｘ１）
であり、またこの直線は（ｘ１，ｙ１）を通るので、Δｙ０にｙ１を加算した値が、ｙ０となる。即ち、ｙ０を与える式は、上記の式（１）の通りとなる。このように、単調変化を仮定した補間処理は、ｘｙ座標面内において、（ｘ１，ｙ１）、（ｘ２，ｙ２）を通る直線上に補間値があるとの推測に基づく補間であり、「直線にのせる補間」と呼ぶこともできる。

単調変化を仮定した補間処理は、画像中において、上記のように、明るさが次第に変化する場合や、ある色から別の色になめらかに切り替わる場合に適したものであり、言換えれば、低周波成分を多く含む画像領域における補間処理に優れている。

単調変化を仮定した補間処理で用いる式（１）の計算には除算が入っている。一般に除算は除数（上記の式の（ｘ１−ｘ２））がゼロになるときは計算を行うことが出来ない。また、除数がゼロに近い値のときは計算の精度が悪くなり、それが誤差の増大につながる。したがってｘ１とｘ２の差の絶対値がゼロかゼロに近い値のときは、式（１）を用いず、異なる補間処理を用いるのが望ましい。そこで、上記の実施の形態では、ステップＳＴ１６ａ、ＳＴ１６ｂ、ＳＴ２５、ＳＴ３６ａ、ＳＴ３６ｂで、ｘ１とｘ２の差の絶対値がある閾値以下かどうかを調べ、上記閾値以下のときは、式（１）による補間以外の補間、例えば線形補間を行うようにしている。

ｘ１とｘ２の差の絶対値が上記閾値以下であるときは、色の変化がほとんどない場合と推定できるので、線形補間などの単純な補間でも十分満足できる結果が得られると考えられる。また、線形補間は演算が簡単であるので、その点でも好都合である。

次に、ステップＳＴ１４ａ、ＳＴ１４ｂ、ＳＴ２３、ＳＴ３４ａ、ＳＴ３４ｂで行われる、相似関係を仮定した補間処理について図１４を用いて説明する。相似関係を仮定した補間処理は、２つの色成分値の変化の様子が互いに相似の関係を有することを仮定したものである。

図１４はステップ１４ａの補間処理により補間される、注目画素Ｒ４４の位置におけるＧ成分値の定め方を説明する図である。図においてＨ軸は撮像素子２の撮像面上の水平軸に対応し、Ｚ軸は各画素の成分値を表す。Ｒ１、Ｒ２は画素Ｒ２４、Ｒ６４のＲ成分値をＲ成分値Ｒ２４、Ｒ６４の平均値で置き換えた点であり、Ｒ０は画素Ｒ４４のＲ成分値Ｒ４４を表した点である。
Ｇ１、Ｇ２は画素Ｇ３４、Ｇ５４のＧ成分値をそれらの平均値で置き換えた点であり、Ｇ０は画素Ｒ４４上に補間されるＧ成分値を表した点である。

ステップＳＴ１４ａなどで行われる式（２）の計算は、三角形Ｒ０Ｒ１Ｒ２と三角形Ｇ０Ｇ１Ｇ２が相似になるように、Ｇ０の値を定めるものである。即ち、注目画素Ｒ４４における既知色成分Ｒ０に関して、注目画素Ｒ４４のＲ成分値と注目画素Ｒ４４の周辺のＲ成分を有する画素のＲ成分値の平均値でつくる既知色成分三角形（幾何学図形）と、注目画素Ｒ４４上に補間される不足色成分Ｇ０に関して、補間により求められる値Ｇ０と注目画素Ｒ４４の周辺のＧ成分（不足色成分）を有する画素のＧ成分値の平均値でつくる不足色成分三角形（幾何学図形）が相似になるようにＧ０が定められる。

言換えれば、注目画素Ｒ４４の周辺の２つのＲ成分を有する画素（Ｒ２４、Ｇ６４）のＲ成分の値の平均値と、注目画素Ｒ４４の位置におけるＲ成分の値との差と、上記平均値の計算に用いられた２つの画素（Ｒ２４、Ｒ６４）及び注目画素（Ｒ４４）相互間のＨ軸上の距離（２次元平面（ＨＶ平面）上における距離）との比と、注目画素Ｒ４４の周辺の２つのＧ成分を有する画素（Ｇ３４、Ｇ５４）のＧ成分の値の平均値と、補間により求められる注目画素Ｒ４４上のＧ成分の値Ｇ０との差と、上記平均値の計算に用いられた２つの画素（Ｇ３４、Ｇ５４）及び注目画素（Ｒ４４）相互間の２次元平面上における距離との比が互いに等しくなるように、注目画素の位置におけるＧ成分の値Ｇ０が定められる。

図１４において、またＬ１は既知色の色成分値（例えばＲ成分値）の変化を表す曲線であり、Ｌ２は不足色の色成分値（例えばＧ成分値）の変化を表す曲線であり、●で示される点は、例えば撮像素子２の出力として与えられた画素信号の色成分値、○で示される点が補間処理により与えられる画素信号の色成分値を表している。
図１４から、二つの色の色成分値が同じように変化する場合には、相似関係を仮定した補間処理により満足できる結果が得られることが分る。

即ち、相似関係を仮定した補間処理では、局所領域において、Ｒ、Ｇ、Ｂ各色の色成分値の増減が一致するよう補間処理が行われる。従って相似関係を仮定した補間処理は、局所領域で色成分の増減が激しい領域、特に高周波成分を多く含む画像での補間処理に優れている。

説明の例として、ステップＳＴ１４ａで行われる補間処理を取り上げたが、ステップＳＴ１４ｂ、ＳＴ２３、ＳＴ３４ａ、ＳＴ３４ｂで行われる補間処理についても同様のことが言える。

単調変化を仮定した補間処理（但し、変化が極めて小さい場合にはこれに代えて線形補間）及び相似関係を仮定した補間処理を状況に応じて選択して実行させることにより補間の結果が良好（高精度）になることを図１５及び図１６を参照して、具体的な数値例について説明する。
図１５及び図１６において、横軸は画素がＧＲＧＲと並ぶ方向（例えば奇数行）での各画素の位置を表し、縦軸は各画素の色成分値を表し、■はＧ画素の色成分値を表し、◆はＲ画素の色成分値を表し、○は単調変化を仮定した補間処理による結果を表し、△は相似関係を仮定した補間処理による結果を表し、各数値は各々の色成分値を表す。

上記の説明において、図１５のように色成分値が緩やかに変化する場合には、単調変化を仮定した補間処理の結果が、図１６のように色成分値が短い周期で変化する場合には相似関係を仮定した補間処理の結果がより良好であることが分る。変化の態様に応じて補間処理を選択することで、変化の態様に拘らず常に良好な補間結果が得られることが分る。

本実施の形態ではさらに、ステップＳＴ１２、ＳＴ３２により、注目画素を通り、互いに直交する２本の直線上に存在する画素が有する色成分値を使い、画像中の相関の強い方向を判別し、補間処理に使う画素及び色成分値を、注目画素を中心に、相関が強いと判定された方向に存在するものに絞っているため、高精度の補間処理を行うことができる。

実施の形態２．
次に、実施の形態１で説明した補間処理をハードウエアで実現した例を説明する。
この実施の形態２で用いられる補間処理回路４の構成は図１７に示すごとくであり、図３と同様のフレームメモリ１１と、読み出し制御回路１６、メモリ３６のほか、図３のプロセッサ３５の代わりに、相関判別回路１２、第１の補間演算回路１３、第２の補間演算回路１４、及び選択回路１５を備えている。

相関判別回路１２が、図４のステップＳＴ１２、図６のステップＳ３２と同等の機能を持ち、選択回路１５が、図４のステップ１３ａ、１３ｂ、図５のステップＳＴ２２、図６のステップＳＴ３３ａ、ＳＴ３３ｂと同等の機能を持ち、補間演算回路１３は、相似関係を仮定した補間を行うものであって、図４のステップＳＴ１４ａ、ＳＴ１４ｂ、図５のステップＳＴ２３、図６のステップＳＴ３４ａ、ＳＴ３４ｂと同等の機能を持ち、補間演算回路１４は、単調変化を仮定した補間又は線形補間を行うものであって、図４のステップＳＴ１５ａ、ＳＴ１６ａ、ＳＴ１７ａ、ＳＴ１８ａ、ＳＴ１５ｂ、ＳＴ１６ｂ、ＳＴ１７ｂ、ＳＴ１８ｂ、図５のステップＳＴ２４、ＳＴ２５、ＳＴ２６、ＳＴ２７、図６のステップＳＴ３５ａ、ＳＴ３６ａ、ＳＴ３７ａ、ＳＴ３８ａ、ＳＴ３５ｂ、ＳＴ３６ｂ、ＳＴ３７ｂ、ＳＴ３８ｂと同等の機能を持つ。

図１７に示す補間処理回路４も、図１の撮像装置の一部を成すものとして利用し得るものである。

フレームメモリ１１に蓄積された信号の一部が読み出し制御回路１６により出力され（ＯＵＴ１１）、相関判別回路１２、補間演算回路１３、補間演算回路１４及び選択回路１５に入力される。
相関判別回路１２は、フレームメモリ１１からの出力ＯＵＴ１１をもとに画像における相関の強い方向を判別し、その判別結果は、補間演算回路１３、補間演算回路１４及び選択回路１５に供給される。

補間演算回路１３は、フレームメモリ１１からの出力ＯＵＴ１１、及び相関判別回路１２の判別結果に基づいて後述の補間（相似関係を仮定した補間）を行って、補間結果ＯＵＴ１３を出力する。
補間演算回路１４は、フレームメモリ１１からの出力ＯＵＴ１１、相関判別回路１２の判別結果に基づき、後述の補間（単調変化を仮定した補間又は線形補間）を行って補間結果ＯＵＴ１４を出力する。

選択回路１５は、フレームメモリ１１からの出力ＯＵＴ１１、及び相関判別回路１２の判別結果に基づいて、注目画素の近傍の領域内に位置し、注目画素を中心として、上記相関判別手段１２で相関が強いと判定された方向に整列し、注目画素と同じ色成分を有する画素及び注目画素の色成分値の変化の態様を判定する。即ち、画素位置との関係で、画素の色成分値が単調に変化しているかどうかを判定する。そして、単調に変化しているかどうかの判定結果に基づいて、補間結果ＯＵＴ１３及びＯＵＴ１４のいずれかを選択し、選択結果を選択された補間信号ＯＵＴ１５として出力する。即ち、単調に変化していると判定したときは、ＯＵＴ１４を選択し、そうでないときはＯＵＴ１３を選択する。

選択回路１５の出力ＯＵＴ１５は、メモリ３６に書込まれる。

次に実施の形態２の補間処理回路４において行われる不足色成分値の補間処理について述べる。Ｒ画素についてはＧ成分値、Ｂ成分値が、Ｇ画素についてはＢ成分値、Ｒ成分値が、Ｂ画素についてはＲ成分値、Ｇ成分値が不足色成分値となる。これらの不足色成分値の補間処理について順に説明する。

まず、Ｒ画素の位置におけるＧ成分値の補間処理について説明する。

フレームメモリ１１から図７に示された各画素の色成分値が読み出され、ＯＵＴ１１として出力される。即ち注目画素Ｒ４４と、注目画素Ｒ４４に対し垂直方向に整列したＲ画素Ｒ４２、Ｒ４６、注目画素Ｒ４４に対し水平方向に整列したＲ画素Ｒ２４、Ｒ６４のＲ成分値Ｒ４４、Ｒ４２、Ｒ４６、Ｒ２４、Ｒ６４と、注目画素Ｒ４４に対し垂直方向にＧ画素Ｇ４１、Ｇ４３、Ｇ４５、Ｇ４７と、注目画素Ｒ４４に対し水平方向に整列したＧ画素Ｇ１４、Ｇ３４、Ｇ５４、Ｇ７４のＧ成分値Ｇ４１、Ｇ４３、Ｇ４５、Ｇ４７、Ｇ１４、Ｇ３４、Ｇ５４、Ｇ７４が読み出される。

相関判別回路１２は、注目画素を中心に水平方向及び垂直方向のいずれに相関が強いかの判別を行う。この判別のため、上記のようにして読み出された画素信号（色成分値）の一部を用いて、以下の値ｄＶ、ｄＨを計算し、その大小関係を調べる。

ｄＶ＝｜Ｇ３４−Ｇ５４｜
ｄＨ＝｜Ｇ４３−Ｇ４５｜

ここで、ｄＶは、注目画素に対し垂直方向に整列し、注目画素に隣接する２つの画素の色成分値の差の絶対値を表し、ｄＨは、注目画素に対し水平方向に整列し、注目画素に隣接する２つの画素の色成分値の差の絶対値を表す。
ｄＨ＜ｄＶであるときは、水平方向の相関が強いと判断し、そうでないときは、垂直方向の相関が強いと判断する。
このｄＶ、ｄＨの大小関係により、補間演算回路１３、補間演算回路１４、選択回路１５の動作が変わる。
まず、ｄＨ＜ｄＶであるときの補間演算回路１３、補間演算回路１４、選択回路１５の動作について述べる。

補間演算回路１３では以下の式で注目画素Ｒ４４のＧ成分値ＯＵＴ１３を計算し、出力する。

補間演算回路１４では以下の式で注目画素Ｒ４４のＧ成分値ＯＵＴ１４を計算する。

但し、

であり、ｘ１、ｙ１、ｘ２、ｙ２は補間演算回路１４内で演算される。

補間演算回路１４はさらに、ｘ１とｘ２の差の絶対値がある閾値以下かどうかの判定を行い、該閾値以下のときは線形補間を用いて注目画素Ｒ４４に対するＧ成分値ＯＵＴ１４を計算し出力する。即ち、注目画素Ｒ４４に対するＧ成分値ＯＵＴ１４を、注目画素に隣接する画素の色成分値を用いて、以下の式で計算して出力する。
ＯＵＴ１４＝（Ｇ３４＋Ｇ５４）／２

選択回路１５は、注目画素の近傍の領域内に位置し、注目画素を中心として、上記相関判別手段１２で相関が強いと判定された方向に整列し、注目画素と同じ色成分を有する画素、及び注目画素の色成分値の変化の態様を判定する。即ち、画素位置との関係で、画素の色成分値が単調に変化しているかどうかを判定する。これは例えば以下のようにして行われる。即ち、例えばＲ画素Ｒ２４、Ｒ４４、Ｒ６４のＲ成分値Ｒ２４、Ｒ４４、Ｒ６４の大小関係を調べる。即ち、Ｒ成分値Ｒ２４、Ｒ４４、Ｒ６４が以下の条件１、２のいずれかを満たすかどうかの判定を行う。

条件１：Ｒ２４＜Ｒ４４かつＲ６４＜Ｒ４４
条件２：Ｒ２４＞Ｒ４４かつＲ６４＞Ｒ４４

条件１、２のいずれかが満たされるときは、補間演算回路１３からの補間信号ＯＵＴ１３を選択し、そうでないときは、補間演算回路１４からの補間信号ＯＵＴ１４を選択する。選択された補間信号がＯＵＴ１５として出力される。

以上が、ｄＨ＜ｄＶであるときの補間演算回路１３、補間演算回路１４、選択回路１５の動作である。次に、ｄＨ＜ｄＶでないときの補間演算回路１３、補間演算回路１４、選択回路１５の動作について述べる。

補間演算回路１３では以下の式で注目画素Ｒ４４のＧ成分値ＯＵＴ１３を計算し出力する。

補間演算回路１４では以下の式で注目画素Ｒ４４のＧ成分値ＯＵＴ１４を計算し出力する。

但し、

であり、ｘ１、ｙ１、ｘ２、ｙ２は補間演算回路１４内で演算される。

補間演算回路１４はさらに、ｘ１とｘ２の差の絶対値がある閾値以下かどうかの判定を行い、該閾値以下のときは線形補間を用いて注目画素Ｒ４４に対するＧ成分値ＯＵＴ１４を計算し出力する。即ち、注目画素Ｒ４４に対するＧ成分値ＯＵＴ１４を、注目画素に隣接する画素の色成分値を用いて、以下の式で計算して出力する。

ＯＵＴ１４＝（Ｇ４３＋Ｇ４５）／２

選択回路１５は、注目画素の近傍の領域内に位置し、注目画素を中心として、上記相関判別手段１２で相関が強いと判定された方向に整列し、注目画素と同じ色成分を有する画素、及び注目画素の色成分値が、画素位置との関係で、単調に変化しているかどうかを判定する。そのため、例えば、Ｒ画素Ｒ４２、Ｒ４４、Ｒ４６のＲ成分値Ｒ４２、Ｒ４４、Ｒ４６の大小関係を調べる。そして、その結果によりＯＵＴ１３もしくはＯＵＴ１４のどちらか一方をＯＵＴ１５として出力する。即ち、Ｒ成分値Ｒ４２、Ｒ４４、Ｒ４６が以下の条件１、２のいずれかを満たすときはＯＵＴ１３を、そうでないときはＯＵＴ１４を出力する。

条件１：Ｒ４２＜Ｒ４４かつＲ４６＜Ｒ４４
条件２：Ｒ４２＞Ｒ４４かつＲ４６＞Ｒ４４

以上はＲ画素の位置におけるＧ成分値の補間処理であるが、Ｂ画素の位置におけるＧ成分値の補間もＲとＢが入れ替わる以外は同様に行われる。

次にＧ画素の位置におけるＲ成分値、Ｂ成分値の補間処理について述べる。

ベイヤ配列においては、Ｇ画素を中心にした場合、Ｒ、Ｇ、Ｂ各画素の配置は図８に示されるように、注目画素が奇数行にある場合（ａ）と、偶数行にある場合（ｂ）とで異なり、ＲとＢが入れ替わった配置となっている。まず、奇数行のＧ画素の位置におけるＲ成分値、Ｂ成分値の補間を、図９を参照して説明する。

図９に示された、注目画素Ｇ４４の近傍の領域内に位置する複数の画素の色成分値がフレームメモリ４から読み出され、ＯＵＴ１１として出力される。即ち、注目画素Ｇ４４と、注目画素Ｇ４４に対し、水平及び垂直方向に整列したＧ画素Ｇ２４、Ｇ６４、Ｇ４２、Ｇ４６のＧ成分値Ｇ４４、Ｇ２４、Ｇ６４、Ｇ４２，Ｇ４６と、注目画素に対して水平方向に整列したＲ画素Ｒ１４、Ｒ３４、Ｒ５４、Ｒ７４のＲ成分値Ｒ１４、Ｒ３４、Ｒ５４、Ｒ７４と、注目画素に対して垂直方向に整列したＢ画素Ｂ４１、Ｂ４３、Ｂ４５、Ｂ４７のＢ成分値Ｂ４１、Ｂ４３、Ｂ４５、Ｂ４７が読み出される。

図９において、Ｇ画素Ｇ４４が注目画素になるが、注目画素Ｇ４４の垂直方向にはＲ画素が存在せず、水平方向にはＢ画素が存在しない。従って、奇数行のＧ画素の位置におけるＲ成分値の補間に用い得るのは水平方向の画素のみであり、Ｂ成分値の補間に用い得るのは垂直方向の画素のみである。従って補間処理のために参照する方向は自ずと一方向に限られるので、相関判別回路１２は相関判別を行わない。

最初に奇数行のＧ画素におけるＲ成分値の補間処理について述べる。

補間演算回路１３は以下の式で注目画素Ｇ４４のＲ成分値ＯＵＴ１３を計算し、出力する。

補間演算回路１４では以下の式で注目画素Ｇ４４のＲ成分値ＯＵＴ１４を計算する。

但し、

であり、ｘ１、ｙ１、ｘ２、ｙ２は補間演算回路１４内で演算される。

補間演算回路１４はさらに、ｘ１とｘ２の差の絶対値がある閾値以下かどうかの判定を行い、該閾値以下のときは線形補間を用いて注目画素Ｒ４４に対するＧ成分値ＯＵＴ１４を計算し出力する。即ち、注目画素Ｇ４４に対するＲ成分値ＯＵＴ１４を、注目画素に隣接する画素の色成分値を用いて、以下の式で計算して出力する。
ＯＵＴ１４＝（Ｒ３４＋Ｒ５４）／２

選択回路１５では、注目画素の近傍の領域内に位置し、注目画素を中心として、水平方向（Ｒ画素が存在する方向）に整列し、注目画素と同じ色成分を有する画素、及び注目画素の色成分値が、画素位置との関係で、単調に変化しているかどうかを判定する。そのため、例えばＧ画素Ｇ２４、Ｇ４４、Ｇ６４のＧ成分値Ｇ２４、Ｇ４４、Ｇ６４の大小関係を調べる。そして、その結果によりＯＵＴ１３もしくはＯＵＴ１４のどちらか一方をＯＵＴ１５として出力する。即ち、Ｇ成分値Ｇ２４、Ｇ４４、Ｇ６４が以下の条件１、２のいずれかを満たすときはＯＵＴ１３を、そうでないときはＯＵＴ１４を選択して出力する。

条件１：Ｇ２４＜Ｇ４４かつＧ６４＜Ｇ４４
条件２：Ｇ２４＞Ｇ４４かつＧ６４＞Ｇ４４

以上が奇数行のＧ画素の位置におけるＲ成分値の補間処理である。
次に奇数行のＧ画素の位置におけるＢ成分値の補間処理について説明する。

補間演算回路１３では以下の式で注目画素Ｇ４４のＢ成分値ＯＵＴ１３を計算し、出力する。

補間演算回路１４では以下の式で注目画素Ｇ４４のＢ成分値ＯＵＴ１４を計算する。

但し、

であり、ｘ１、ｙ１、ｘ２、ｙ２は補間演算回路１４内で演算される。

補間演算回路１４はさらに、ｘ１とｘ２の差の絶対値がある閾値以下かどうかの判定を行い、該閾値以下のときは線形補間を用いて注目画素Ｇ４４に対するＢ成分値ＯＵＴ１４を計算し出力する。即ち、注目画素Ｇ４４に対するＢ成分値ＯＵＴ１４を、注目画素に隣接する画素の色成分値を用いて、以下の式で計算して出力する。

ＯＵＴ１４＝（Ｂ４３＋Ｂ４５）／２

選択回路１５では、注目画素の近傍の領域内に位置し、注目画素を中心として、垂直方向（Ｂ画素が存在する方向）に整列し、注目画素と同じ色成分を有する画素、及び注目画素の色成分値が、画素位置との関係で、単調に変化しているかどうかを判定する。そのため、例えばＧ画素Ｇ４２、Ｇ４４、Ｇ４６のＧ成分値Ｇ４２、Ｇ４４、Ｇ４６の大小関係を調べる。そして、その結果によりＯＵＴ１３もしくはＯＵＴ１４のどちらか一方をＯＵＴ１５として出力する。即ち、Ｇ成分値Ｇ４２、Ｇ４４、Ｇ４６が以下の条件１、２のいずれかを満たすときはＯＵＴ１３を、そうでないときはＯＵＴ１４を選択して出力する。

条件１：Ｇ４２＜Ｇ４４かつＧ４６＜Ｇ４４
条件２：Ｇ４２＞Ｇ４４かつＧ４６＞Ｇ４４

以上の補間処理がすべての奇数行のすべてのＧ画素の位置におけるＢ成分値に対して行われる。
以上が奇数行のＧ画素の位置におけるＢ成分値の補間処理である。
以上は奇数行のＧ画素の位置におけるＲ成分値、Ｂ成分値の補間処理であるが、偶数行のＧ画素の位置におけるＲ成分値、Ｂ成分値の補間処理もＲとＢが入れ替わる以外は同様に行われる。

次にＲ画素の位置におけるＢ成分値の補間処理について図１０を参照して説明する。
図１０に示された、注目画素Ｒ４４の近傍の領域内に位置する複数の画素の色成分値がフレームメモリ４から読み出され、ＯＵＴ１１として出力される。即ち注目画素Ｒ４４と、注目画素に対し、右斜め上から左斜め下の方向（４５度の方向）に整列したＲ画素Ｒ６２、Ｒ２６、左斜め上から右斜め下の方向（−４５度の方向）に整列したＲ画素Ｒ２２、Ｒ６６、のＲ成分値Ｒ４４、Ｒ６２、Ｒ２６、Ｒ２２、Ｒ６６と、注目画素に対し、右斜め上から左斜め下の方向（４５度の方向）に整列したＢ画素Ｂ７１、Ｂ５３、Ｂ３５、Ｂ１７、左斜め上から右斜め下の方向（−４５度の方向）に整列したＢ画素Ｂ１１、Ｂ３３、Ｂ５５、Ｂ７７のＢ成分値Ｂ７１、Ｂ５３、Ｂ３５、Ｂ１７、Ｂ１１、Ｂ３３、Ｂ５５、Ｂ７７、が読み出される。

相関判別回路１２は、注目画素を中心に右上がりの方向（４５度の方向）及び左上がりの方向（−４５度の方向）のいずれに相関が強いかの判別を行う。この判別のため、上記のようにして読み出された画素信号（色成分値）の一部を用いて、以下の値ｄ（４５）、ｄ（−４５）を計算し、その大小関係を調べる。

ｄ（４５）＝｜Ｂ５３−Ｂ３５｜
ｄ（−４５）＝｜Ｂ５５−Ｂ３３｜

ｄ（４５）は注目画素を中心として、水平方向となす角度が４５度の方向（右上から左下への方向、即ち右上がりの方向）に整列し、注目画素に隣接する２つの画素の色成分値の差の絶対値を表し、ｄ（−４５）は注目画素を中心として、水平方向となす角度が−４５度の方向（左上から右下への方向、即ち左上がりの方向）に整列し、注目画素に隣接する２つの画素の色成分値の差の絶対値を表す。
ｄ（４５）＜ｄ（−４５）であるときは、右上がりの方向の相関が強いと判断し、そうでないときは、左上がりの方向の相関が強いと判断する。
このｄ（４５）、ｄ（−４５）の大小関係により、補間演算回路１３、補間演算回路１４、選択回路１５の動作が変わる。まず、ｄ（４５）＜ｄ（−４５）であるときの補間演算回路１３、補間演算回路１４、選択回路１５の動作について述べる。

補間演算回路１３では以下の式で注目画素Ｒ４４のＧ成分値ＯＵＴ１３を計算し、出力する。

補間演算回路１４では以下の式で注目画素Ｒ４４のＧ成分値ＯＵＴ１４を計算する。

但し、

であり、ｘ１、ｙ１、ｘ２、ｙ２は補間演算回路１４内で演算される。

補間演算回路１４はさらに、ｘ１とｘ２の差の絶対値がある閾値以下かどうかの判定を行い、該閾値以下のときは線形補間を用いて注目画素Ｇ４４に対するＲ成分値ＯＵＴ１４を計算し出力する。即ち、注目画素Ｇ４４に対するＲ成分値ＯＵＴ１４を、注目画素に隣接する画素の色成分値を用いて、以下の式で計算して出力する。
ＯＵＴ１４＝（Ｂ５３＋Ｂ３５）／２

選択回路１５は、注目画素の近傍の領域内に位置し、注目画素を中心として、上記相関判別手段１２で相関が強いと判定された方向に整列し、注目画素と同じ色成分を有する画素及び注目画素の色成分値が、画素位置との関係で、単調に変化しているかどうかを判定する。そのため、例えばＲ画素Ｒ６２、Ｒ４４、Ｒ２６のＲ成分値Ｒ６２、Ｒ４４、Ｒ２６の大小関係を調べる。そして、その結果によりＯＵＴ１３もしくはＯＵＴ１４のどちらか一方をＯＵＴ１５として出力する。即ち、Ｒ６２、Ｒ４４、Ｒ２６が以下の条件１、２のいずれかを満たすときはＯＵＴ１３を、そうでないときはＯＵＴ１４を出力する。

条件１：Ｒ６２＜Ｒ４４かつＲ２６＜Ｒ４４
条件２：Ｒ６２＞Ｒ４４かつＲ２６＞Ｒ４４

以上がｄ（４５）＜ｄ（−４５）のときの動作である。次に、ｄ（４５）＜ｄ（−４５）以外のときの動作について述べる。

補間演算回路１３では以下の式で注目画素Ｒ４４のＢ成分値ＯＵＴ１３を計算し、出力する。

補間演算回路１４では以下の式で注目画素Ｒ４４のＢ成分値ＯＵＴ１４を計算する。

但し、

であり、ｘ１、ｙ１、ｘ２、ｙ２は補間演算回路１４内で演算される。

補間演算回路１４はさらに、ｘ１とｘ２の差の絶対値がある閾値以下かどうかの判定を行い、該閾値以下のときは線形補間を用いて注目画素Ｒ４４に対するＢ成分値ＯＵＴ１４を計算し出力する。即ち、注目画素Ｒ４４に対するＢ成分値ＯＵＴ１４を、注目画素に隣接する画素の色成分値を用いて、以下の式で計算して出力する。
ＯＵＴ１４＝（Ｂ３３＋Ｂ５５）／２

選択回路１５は、注目画素の近傍の領域内に位置し、注目画素を中心として、上記相関判別手段１２で相関が強いと判定された方向に整列し、注目画素と同じ色成分を有する画素、及び注目画素の色成分値が、画素位置との関係で、単調に変化しているかどうかを判定する。そのため、例えばＲ画素Ｒ２２、Ｒ４４、Ｒ６６のＲ成分値Ｒ２２、Ｒ４４、Ｒ６６の大小関係を調べる。そして、その結果によりＯＵＴ１３もしくはＯＵＴ１４のどちらか一方をＯＵＴ１５として出力する。即ち、Ｒ２２、Ｒ４４、Ｒ６６が以下の条件１、２のいずれかを満たすときはＯＵＴ１３を、そうでないときはＯＵＴ１４を出力する。

条件１：Ｒ２２＜Ｒ４４かつＲ６６＜Ｒ４４
条件２：Ｒ２２＞Ｒ４４かつＲ６６＞Ｒ４４

以上の補間処理がすべてのＲ画素の位置におけるＢ成分値に対して行われる。
以上がＲ画素の位置におけるＢ成分値の補間処理である。
Ｂ画素の位置におけるＲ成分値の補間処理はＲとＢが入れ替わる以外はＲ画素の位置におけるＢ成分値の補間処理と同様に行われる。

以上により、補間処理が終了し、全画素に対する全不足色成分値がメモリ３６に書込まれたことになる。次に、メモリ３６の内容が、補間処理回路４外部へ、補間結果ＯＵＴ４として出力される。この補間結果ＯＵＴ４が、Ａ／Ｄ変換器３から入力される固体撮像素子２で得られた信号ＯＵＴ３と合成回路５で合成されることにより、すべての画素についてＲ、Ｇ、Ｂ各色の色成分が揃った画像信号（フルカラー画像）が出力されることになる。

なお、実施の形態１と同様、ｄＨ、ｄＶ、ｄ（４５）、ｄ（−４５）の計算式は本実施例に記載されたものに限定されない。

また、実施の形態２におけるフルカラー画像撮像装置の構成は図１に記載のものに限られない。たとえばホワイトバランス処理を行う回路やガンマ補正を行う回路を追加してもよい。

実施の形態２における補間処理回路４の内部構成は図１７に示されたのものに限られない。たとえばフレームメモリ１１のかわりに補間処理に必要なライン数のラインメモリを用いた構成などが考えられる。

また、実施の形態１、２における補間処理の対象はベイヤ型配列に限られず、複数色の色成分の画素が規則的に配列されていればよい。

この発明の実施の形態１の画素信号処理装置を備えた撮像装置の構成を示すブロック図である。 ベイヤ型の画素配置を示す図である。 実施の形態１の補間処理回路の構成を示すブロック図である。 実施の形態１の補間処理を示すフローチャートである。 実施の形態１の補間処理を示すフローチャートである。 実施の形態１の補間処理を示すフローチャートである。 Ｒ画素の位置におけるＧ成分値の補間を行う際に利用される画素とその色成分値を示す図である。 （ａ）及び（ｂ）はそれぞれ、ベイヤ配列において、奇数行のＧ画素を中心にした場合の画素配置、及び偶数行のＧ画素を中心にした場合の画素配置を示す図である。 奇数行のＧ画素の位置におけるＲ成分値及びＢ成分値の補間を行う際に利用される画素とその色成分値を示す図である。 Ｒ画素の位置におけるＢ成分値の補間を行う際に利用される画素とその色成分値を示す図である。 （ａ）乃至（ｄ）は、横軸をＲ画素の位置、縦軸を各画素のＲ成分値に対応させた座標平面上に、Ｒ画素Ｒ２４、Ｒ４４、Ｒ６４間でのＲ成分値の変化のパターンを示す図である。 単調変化を仮定した補間処理の概念を説明する図である。 単調変化を仮定した補間処理の概念を説明する図である。 相似関係を仮定した補間処理の概念を説明するための図である。 色成分値がなだらかに変化する場合に、単調変化を仮定した補間処理により好ましい結果が得られることを説明するための図である。 色成分値が短い周期で変化する場合に、相似関係を仮定した補間処理により好ましい結果が得られることを示す図である。 本発明の実施の形態２の補間処理回路４の構成を示すブロック図である。

符号の説明

ＳＴ１２ 相関判別ステップ、 ＳＴ１３ａ 変化の態様を判別するステップ、 ＳＴ１３ｂ 変化の態様を判別するステップ、 ＳＴ１４ａ 相似関係を仮定した補間処理を行うステップ、 ＳＴ１４ｂ 相似関係を仮定した補間処理を行うステップ、 ＳＴ１７ａ 単調変化を仮定した補間処理を行うステップ、 ＳＴ１７ｂ 単調変化を仮定した補間処理を行うステップ、 ＳＴ２２ 変化の態様を判別するステップ、 ＳＴ２３ 相似関係を仮定した補間処理を行うステップ、 ＳＴ２６ 単調変化を仮定した補間処理を行うステップ、 ＳＴ３２ 相関判別ステップ、 ＳＴ３３ａ 変化の態様を判別するステップ、 ＳＴ３３ｂ 変化の態様を判別するステップ、 ＳＴ３４ａ 相似関係を仮定した補間処理を行うステップ、 ＳＴ３４ｂ 相似関係を仮定した補間処理を行うステップ、 ＳＴ３７ａ 単調変化を仮定した補間処理を行うステップ、 ＳＴ３７ｂ 単調変化を仮定した補間処理を行うステップ、 １２ 相関判別回路、 １３ 補間演算回路、 １４ 補間演算回路、 １５ 選択回路。

Claims (10)

1. ２次元平面上に配列され、各々が第１乃至第Ｎ（Ｎは２以上の整数）の互いに異なる色成分のいずれかを有する複数の画素の、それぞれの色成分値を表す画素信号の組に基づいて、第Ｊ（Ｊは１からＮのうちのいずれか一つ）の色成分値を有する注目画素の位置における第Ｋ（ＫはＪを除く１からＮのうちのいずれか一つ）の色成分値を表す画素信号を補間により生成する画素信号処理方法において、
   注目画素の近傍の領域内に位置し、注目画素と同じ色成分を有する画素及び注目画素の色成分値の変化の態様を判別するステップと、
   上記変化の態様を判別するステップでの判別結果に応じて、
   上記補間を第１の補間方法で行って第１の補間値を生成する第１の補間演算ステップ又は上記補間を上記第１の補間方法とは異なる第２の補間方法で行って第２の補間値を生成する第２の補間演算ステップのいずれか一方を実行する補間演算ステップとを備え、
   上記第１の補間演算ステップ及び第２の補間演算ステップは、上記注目画素の上記第Ｊの色成分値と、上記注目画素の近傍の領域内に位置する画素の色成分値とに基づいて上記補間を行い、
   注目画素の近傍の領域内に位置する画素信号の相関の強い方向を判別する相関判別ステップをさらに有し、
   上記変化の態様を判別するステップは、注目画素の近傍の領域内に位置し、上記相関判別ステップで相関が強いと判定された方向に整列し、注目画素と同じ色成分を有する画素及び注目画素の色成分値の変化の態様を判別し、
   上記第１の補間演算ステップ及び第２の補間演算ステップは、上記注目画素の上記第Ｊの色成分値と、上記注目画素の近傍の領域内に位置し、上記相関判別ステップで相関が強いと判定された方向に整列する画素の色成分値とに基づいて上記補間を行い、
   上記第１の補間演算ステップは、
   画素の２次元平面上の配列を互いに直交するＨ軸及びＶ軸を含む２次元座標平面上に表し、色成分値を上記２次元平面に垂直なＺ軸に表す三次元直交座標系において、
   上記注目画素の周辺に位置し、上記相関判別ステップで相関が強いと判定された方向に整列した上記第Ｊの色成分を有する複数の画素のそれぞれの位置における、それらの画素の上記第Ｊの色成分の値の平均値と、上記注目画素の位置における該注目画素の色成分の値とで作る第１の多角形と、
   上記注目画素の周辺に位置し、上記相関判別ステップで相関が強いと判定された方向に整列した上記第Ｋの色成分を有する複数の画素のそれぞれの位置における、それらの画素の上記第Ｋの色成分の平均値と、上記第１の補間演算ステップで補間により求められる上記注目画素の位置における上記第Ｋの色成分の値とで作る第２の多角形とが互いに相似になるように、
   上記注目画素の位置における上記第Ｋの色成分の値を定め,
   上記第２の補間演算ステップは、上記相関判別ステップで相関が強いと判定された方向に整列する画素のうち、上記第Ｊの色成分を有する画素の上記第Ｊの成分値をｘ成分とし、上記第Ｋの色成分を有する画素の上記第Ｋの成分値をもとに算出した値をｙ成分とする二つの２次元データ（ｘ１，ｙ１）、（ｘ２，ｙ２）、及び注目画素の上記第Ｊの色成分値ｘ０を用いた以下の式（１）、
   

   

   で注目画素の位置における上記第Ｋの色成分値ｙ０を計算し、
   上記変化の態様を判別するステップは、注目画素の近傍の領域内に位置し、上記相関判別ステップで相関が強いと判定された方向に整列し、注目画素と同じ色の色成分を有する画素及び注目画素の色成分値が、それぞれの画素の位置との関係で、単調に変化しているかどうかの判定を行い、単調に変化していると判定したときは、上記第２の補間演算ステップの出力を、それ以外のときは、上記第１の補間演算ステップの出力を選択して出力する
   ことを特徴とする画素信号処理方法。
2. ２次元平面上に配列され、各々が第１乃至第Ｎ（Ｎは２以上の整数）の互いに異なる色成分のいずれかを有する複数の画素の、それぞれの色成分値を表す画素信号の組に基づいて、第Ｊ（Ｊは１からＮのうちのいずれか一つ）の色成分値を有する注目画素の位置における第Ｋ（ＫはＪを除く１からＮのうちのいずれか一つ）の色成分値を表す画素信号を補間により生成する画素信号処理方法において、
   注目画素の近傍の領域内に位置し、注目画素と同じ色成分を有する画素及び注目画素の色成分値の変化の態様を判別するステップと、
   上記変化の態様を判別するステップでの判別結果に応じて、
   上記補間を第１の補間方法で行って第１の補間値を生成する第１の補間演算ステップ又は上記補間を上記第１の補間方法とは異なる第２の補間方法で行って第２の補間値を生成する第２の補間演算ステップのいずれか一方を実行する補間演算ステップとを備え、
   上記第１の補間演算ステップ及び第２の補間演算ステップは、上記注目画素の上記第Ｊの色成分値と、上記注目画素の近傍の領域内に位置する画素の色成分値とに基づいて上記補間を行い、
   注目画素の近傍の領域内に位置する画素信号の相関の強い方向を判別する相関判別ステップをさらに有し、
   上記変化の態様を判別するステップは、注目画素の近傍の領域内に位置し、上記相関判別ステップで相関が強いと判定された方向に整列し、注目画素と同じ色成分を有する画素及び注目画素の色成分値の変化の態様を判別し、
   上記第１の補間演算ステップ及び第２の補間演算ステップは、上記注目画素の上記第Ｊの色成分値と、上記注目画素の近傍の領域内に位置し、上記相関判別ステップで相関が強いと判定された方向に整列する画素の色成分値とに基づいて上記補間を行い、
   上記第１の補間演算ステップは、
   上記注目画素の周辺に位置し、上記相関判別ステップで相関が強いと判定された方向に整列した上記第Ｊの色成分を有する複数の画素の上記第Ｊの色成分の値の平均値と、上記注目画素の位置における上記第Ｊの色成分の値との差と、上記平均値の計算に用いられた複数の画素及び上記注目画素相互間の上記２次元平面上における距離との比と、
   上記注目画素の周辺に位置し、上記相関判別ステップで相関が強いと判定された方向に整列した上記第Ｋの色成分を有する複数の画素の上記第Ｋの色成分の値の平均値と、上記第２の補間演算ステップで補間により求められる上記注目画素の位置における上記第Ｋの色成分の値との差と、上記平均値の計算に用いられた複数の画素及び上記注目画素相互間の上記２次元平面上における距離との比が互いに同じになるように、
   上記注目画素の位置における上記第Ｋの色成分の値を定め、
   上記第２の補間演算ステップは、上記相関判別ステップで相関が強いと判定された方向に整列する画素のうち、上記第Ｊの色成分を有する画素の上記第Ｊの成分値をｘ成分とし、上記第Ｋの色成分を有する画素の上記第Ｋの成分値をもとに算出した値をｙ成分とする二つの２次元データ（ｘ１，ｙ１）、（ｘ２，ｙ２）、及び注目画素の上記第Ｊの色成分値ｘ０を用いた以下の式（１）、
   

   

   で注目画素の位置における上記第Ｋの色成分値ｙ０を計算し、
   上記変化の態様を判別するステップは、注目画素の近傍の領域内に位置し、上記相関判別ステップで相関が強いと判定された方向に整列し、注目画素と同じ色の色成分を有する画素及び注目画素の色成分値が、それぞれの画素の位置との関係で、単調に変化しているかどうかの判定を行い、単調に変化していると判定したときは、上記第２の補間演算ステップの出力を、それ以外のときは、上記第１の補間演算ステップの出力を選択して出力する
   ことを特徴とする画素信号処理方法。
3. 上記第２の補間演算ステップは、
   上記二つの２次元データのｘ成分ｘ１、ｘ２の差の絶対値がある閾値以下のとき、上記注目画素の近傍の領域内に位置する画素の、注目画素と同じ色の色成分値を用いた線形補間を行い、
   上記二つの２次元データのｘ成分ｘ１、ｘ２の差の絶対値が上記閾値を超えるとき、上記式（１）を用いた補間を行う
   ことを特徴とする請求項１又は２に記載の画素信号処理方法。
4. 上記変化の態様を判別するステップは、注目画素の色成分値をｘ０で表し、上記相関判別ステップで相関が強いと判定された方向に整列し、注目画素と同じ色成分を有する２つの画素が有する色成分値をｘ１、ｘ２で表したとき、ｘ０、ｘ１、ｘ２が以下の条件１及び２、即ち、
   条件１：ｘ０＞ｘ１かつｘ０＞ｘ２
   条件２：ｘ０＜ｘ１かつｘ０＜ｘ２
   のいずれも満たさないときに上記色成分値が単調に変化していると判定する
   ことを特徴とする請求項１又は２に記載の画素信号処理方法。
5. 各々が第１乃至第Ｎの色成分のうちの一つを発生する第１乃至第Ｎ種類の光電変換素子が２次元平面上に配列された撮像素子の上記光電変換素子の各々から得られる信号を、上記画素信号の組の少なくとも一部として用いることを特徴とする請求項１又は２に記載の画素信号処理方法。
6. ２次元平面上に配列され、各々が第１乃至第Ｎ（Ｎは２以上の整数）の互いに異なる色成分のいずれかを有する複数の画素の、それぞれの色成分値を表す画素信号の組に基づいて、第Ｊ（Ｊは１からＮのうちのいずれか一つ）の色成分値を有する注目画素の位置における第Ｋ（ＫはＪを除く１からＮのうちのいずれか一つ）の色成分値を表す画素信号を補間により生成する画素信号処理装置において、
   上記補間を第１の補間方法で行って第１の補間値を生成する第１の補間演算手段と、
   上記補間を上記第１の補間方法とは異なる第２の補間方法で行って第２の補間値を生成する第２の補間演算手段と、
   注目画素の近傍の領域内に位置し、注目画素と同じ色成分を有する画素及び注目画素の色成分値の変化の態様に応じて、上記第１の補間値と上記第２の補間値のいずれかを、選択して出力する選択手段とを備え、
   上記第１の補間演算手段及び第２の補間演算手段は、上記注目画素の上記第Ｊの色成分値と、上記注目画素の近傍の領域内に位置する画素の色成分値とに基づいて上記補間を行い、
   注目画素の近傍の領域内に位置する画素信号の相関の強い方向を判別する相関判別手段と、
   上記選択手段は、注目画素の近傍の領域内に位置し、上記相関判別手段で相関が強いと判定された方向に整列し、注目画素と同じ色成分を有する画素及び注目画素の色成分値の変化の態様に応じて、上記第１の補間値と上記第２の補間値のいずれかを、選択して出力し、
   上記第１の補間演算手段及び第２の補間演算手段は、上記注目画素の上記第Ｊの色成分値と、上記注目画素の近傍の領域内に位置し、上記相関判別手段で相関が強いと判定された方向に整列する画素の色成分値とに基づいて上記補間を行い、
   上記第１の補間演算手段は、
   画素の２次元平面上の配列を互いに直交するＨ軸及びＶ軸を含む２次元座標平面上に表し、色成分値を上記２次元平面に垂直なＺ軸に表す三次元直交座標系において、
   上記注目画素の周辺に位置し、上記相関判別手段で相関が強いと判定された方向に整列し、上記第Ｊの色成分を有する複数の画素のそれぞれの位置における、それらの画素の上記第Ｊの色成分の値の平均値と、上記注目画素の位置における該注目画素の色成分の値とで作る第１の多角形と、
   上記注目画素の周辺に位置し、上記相関判別手段で相関が強いと判定された方向に整列し、上記第Ｋの色成分を有する複数の画素のそれぞれの位置における、それらの画素の上記第Ｋの色成分の平均値と、上記第１の補間演算手段で補間により求められる上記注目画素の位置における上記第Ｋの色成分の値とで作る第２の多角形とが互いに相似になるように、
   上記注目画素の位置における上記第Ｋの色成分の値を定め、
   上記第２の補間演算手段は、上記相関判定手段で相関が強いと判定された方向に整列する画素のうち、上記第Ｊの色成分を有する画素の上記第Ｊの色成分値をｘ成分とし、上記第Ｋの色成分を有する画素の上記第Ｋの色成分値をもとに算出した値をｙ成分とする二つの２次元データ（ｘ１，ｙ１）、（ｘ２，ｙ２）、及び注目画素の上記第Ｊの色成分値ｘ０を用いた以下の式（１）、
   

   

   で注目画素の位置における上記第Ｋの色成分値ｙ０を計算し、
   上記選択手段は、注目画素の近傍の領域内に位置し、上記相関判別手段で相関が強いと判定された方向に整列し、注目画素と同じ色の色成分を有する画素及び注目画素の色成分値が、それぞれの画素の位置との関係で、単調に変化しているかどうかの判定を行い、単調に変化していると判定したときは、上記第２の補間演算手段の出力を、それ以外のときは、上記第１の補間演算手段の出力を選択して出力する
   ことを特徴とする画素信号処理装置。
7. ２次元平面上に配列され、各々が第１乃至第Ｎ（Ｎは２以上の整数）の互いに異なる色成分のいずれかを有する複数の画素の、それぞれの色成分値を表す画素信号の組に基づいて、第Ｊ（Ｊは１からＮのうちのいずれか一つ）の色成分値を有する注目画素の位置における第Ｋ（ＫはＪを除く１からＮのうちのいずれか一つ）の色成分値を表す画素信号を補間により生成する画素信号処理装置において、
   上記補間を第１の補間方法で行って第１の補間値を生成する第１の補間演算手段と、
   上記補間を上記第１の補間方法とは異なる第２の補間方法で行って第２の補間値を生成する第２の補間演算手段と、
   注目画素の近傍の領域内に位置し、注目画素と同じ色成分を有する画素及び注目画素の色成分値の変化の態様に応じて、上記第１の補間値と上記第２の補間値のいずれかを、選択して出力する選択手段とを備え、
   上記第１の補間演算手段及び第２の補間演算手段は、上記注目画素の上記第Ｊの色成分値と、上記注目画素の近傍の領域内に位置する画素の色成分値とに基づいて上記補間を行い、
   注目画素の近傍の領域内に位置する画素信号の相関の強い方向を判別する相関判別手段と、
   上記選択手段は、注目画素の近傍の領域内に位置し、上記相関判別手段で相関が強いと判定された方向に整列し、注目画素と同じ色成分を有する画素及び注目画素の色成分値の変化の態様に応じて、上記第１の補間値と上記第２の補間値のいずれかを、選択して出力し、
   上記第１の補間演算手段及び第２の補間演算手段は、上記注目画素の上記第Ｊの色成分値と、上記注目画素の近傍の領域内に位置し、上記相関判別手段で相関が強いと判定された方向に整列する画素の色成分値とに基づいて上記補間を行い、
   上記第１の補間演算手段は、
   上記注目画素の周辺に位置し、上記相関判別手段で相関が強いと判定された方向に整列し、上記第Ｊの色成分を有する複数の画素の上記第Ｊの色成分の値の平均値と、上記注目画素の位置における上記第Ｊの色成分の値との差と、上記平均値の計算に用いられた複数の画素及び上記注目画素相互間の上記２次元平面上における距離との比と、
   上記注目画素の周辺に位置し、上記相関判別手段で相関が強いと判定された方向に整列し、上記第Ｋの色成分を有する複数の画素の上記第Ｋの色成分の値の平均値と、上記第２の補間演算手段で補間により求められる上記注目画素の位置における上記第Ｋの色成分の値との差と、上記平均値の計算に用いられた複数の画素及び上記注目画素相互間の上記２次元平面上における距離との比が互いに同じになるように、
   上記注目画素の位置における上記第Ｋの色成分の値を定め、
   上記第２の補間演算手段は、上記相関判定手段で相関が強いと判定された方向に整列する画素のうち、上記第Ｊの色成分を有する画素の上記第Ｊの色成分値をｘ成分とし、上記第Ｋの色成分を有する画素の上記第Ｋの色成分値をもとに算出した値をｙ成分とする二つの２次元データ（ｘ１，ｙ１）、（ｘ２，ｙ２）、及び注目画素の上記第Ｊの色成分値ｘ０を用いた以下の式（１）、
   

   

   で注目画素の位置における上記第Ｋの色成分値ｙ０を計算し、
   上記選択手段は、注目画素の近傍の領域内に位置し、上記相関判別手段で相関が強いと判定された方向に整列し、注目画素と同じ色の色成分を有する画素及び注目画素の色成分値が、それぞれの画素の位置との関係で、単調に変化しているかどうかの判定を行い、単調に変化していると判定したときは、上記第２の補間演算手段の出力を、それ以外のときは、上記第１の補間演算手段の出力を選択して出力する
   ことを特徴とする画素信号処理装置。
8. 上記第２の補間演算手段は、
   上記二つの２次元データのｘ成分ｘ１、ｘ２の差の絶対値がある閾値以下のとき、上記注目画素の近傍の領域内に位置する画素の、注目画素と同じ色の色成分値を用いた線形補間を行い、
   上記二つの２次元データのｘ成分ｘ１、ｘ２の差の絶対値が上記閾値を超えるとき、上記式（１）を用いた補間を行う
   ことを特徴とする請求項６又は７に記載の画素信号処理装置。
9. 上記選択手段は、注目画素の色成分値をｘ０で表し、上記相関判定手段で相関が強いと判定された方向に整列し、注目画素と同じ色成分を有する２つの画素が有する色成分値をｘ１、ｘ２で表したとき、ｘ０、ｘ１、ｘ２が以下の条件１及び２、即ち、
   条件１：ｘ０＞ｘ１かつｘ０＞ｘ２
   条件２：ｘ０＜ｘ１かつｘ０＜ｘ２
   のいずれも満たさないときに上記色成分値が単調に変化していると判定する
   ことを特徴とする請求項６又は７に記載の画素信号処理装置。
10. 各々が第１乃至第Ｎの色成分のうちの一つを発生する第１乃至第Ｎ種類の光電変換素子が２次元平面上に配列された撮像素子をさらに有し、上記光電変換素子の各々から得られる信号が上記画素信号の組の少なくとも一部として用いられることを特徴とする請求項６又は７に記載の画素信号処理装置。

Images