JP4334496B2 - 画素信号処理装置、及び画素信号処理方法 - Google Patents

Description

本発明は、画素信号処理装置、及び方法に関し、特に２次元平面上に配列された画素の各々が複数の色成分値のうちの少なくとも一つの色成分値を有していないとき、その画素が有していない色成分値を補間により生成することでカラー画像を得る画素信号処理装置に関するものである。

このような画素信号処理は、例えば、各々が複数の色成分値、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のうちのいずれか一つの色成分値を発生する複数種類の光電変換素子が２次元平面上に、例えばベイヤ型に配列された撮像素子をさらに備えるカラー撮像装置の一部として用いられ、撮像素子から出力された画素信号に基づき、各画素位置において欠落している色成分値（不足色成分値）を補間するために用いられる。

従来の、赤、緑、青のカラーフィルタがベイヤ型に配置された撮像素子を有する撮像装置では、各々の画素につき、Ｇ、ＢまたはＢ、ＲまたはＲ、Ｇの色成分値が不足しており、例えば下記の特許文献１に示されるように、解像感を高めるために、色毎の局所的な画素信号の分布に基づいて各画素の画素信号を平均値で置き換え、これによって想定される既知色幾何学図形と不足色幾何学図形の線形相似比に基づく補間方法を用いている。

特開２００１−１９７５１２公報（段落００４８〜００４９、図７）

この従来の方法は、補間処理対象画素の近傍の領域内において、それぞれの色成分値（例えば、ベイヤ型配列におけるＲ、Ｇ、Ｂ成分値）間に正の相関があると仮定している。
そのため、色成分値相互間に正の相関がない領域（例えばある色と別の色との境界など）、例えば相関がない場合や、負の相関がある領域では、補間を適切に行うことができず、補間誤差が大きくなるという問題があった。

本発明は、補間処理対象画素の近傍の領域内での色成分値の変化の仕方に拘らず常に最適の補間方法で補間を行うことができる画素信号処理装置を提供することを目的とする。

この発明は、
２次元平面上に配列され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素の画素信号の組に基づき、第ｈ（ｈは１からＮのうちのいずれか一つ）の分光感度特性の画素信号が存在する注目画素位置における第ｋ（ｋはｈを除く１からＮのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理装置において、
上記注目画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の低周波数成分を生成するｈ信号ローパスフィルタと、
上記注目画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の変化成分を生成するｈ信号ハイパスフィルタと、
上記注目画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の低周波数成分を生成するｋ信号ローパスフィルタと、
上記注目画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の変化成分を生成するｋ信号ハイパスフィルタと、
上記注目画素位置の近傍の領域内の複数の画素位置における画素信号に基づいて、上記注目画素周辺の画素信号の水平及び垂直方向の相関の強さを表す水平方向相関係数Δｈ及び垂直方向相関係数Δｖを生成する方向別相関算出手段と、
上記水平方向相関係数Δｈと垂直方向相関係数Δｖに応じて変化する係数βを生成する係数算出手段と、
上記ｋ信号ハイパスフィルタで生成された変化成分と上記ｈ信号ハイパスフィルタで生成された変化成分の差と、上記係数βとに基づいて、第ｋの信号と第ｈの信号との非相関値を算出する非相関値算出手段と、
上記ｋ信号ローパスフィルタで生成された低周波数成分と上記ｈ信号ローパスフィルタで生成された低周波数成分の差を求める差算出手段と、
注目画素位置における第ｈの画素信号と、上記非相関値と、上記差算出手段で求めた差に定数を掛けたものを加算して、注目画素位置における第ｋの画素信号を求める補間値算出手段と
を有する画素信号処理装置を提供する。

この発明によれば、補間対象の画素が色の境界付近にある場合など、色成分値相互間の相関関係が種々異なっていても、正確に補間を行うことができる。

以下、図面を参照して本発明の実施の形態を説明する。以下に説明する実施の形態は、デジタルスチルカメラの一部として用いるのに適したものであるが、本発明はこれに限定されない。本発明は、欠落（不足）している信号を補間により生成するものであり、デジタルスチルカメラのような撮像装置の他、プロジェクタなどの表示装置において解像度を変換する場合などにも適用できる。
また、本発明は、一般的に言えば、２次元平面上に配置され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素の画素信号の組に基づき、第ｈ（ｈは１からＮのうちのいずれか一つ）の分光感度特性の画素信号が存在する注目画素位置における第ｋ（ｋはｈを除く１からＮのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理装置及び方法に関するものであるが、以下の実施の形態では、Ｎが３であり、第１から第Ｎの分光感度特性を有する画素が、Ｒ、Ｇ、Ｂ画素の３種類の画素である。

実施の形態１．
図１はこの発明の実施の形態１の画素信号処理装置を備えた撮像装置の構成を表すブロック図である。
レンズ１から入射した光は、例えば固体撮像素子で構成される２次元イメージセンサ２の撮像面に結像する。イメージセンサ２は、２次元的に配列された複数の光電変換素子を有し、この複数の光電変換素子は、例えば図２に示すように、ベイヤ（Ｂａｙｅｒ）型に配置された、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色に対応する分光感度特性を有するカラーフィルタで覆われており、各光電変換素子からは、カラーフィルタの色に対応した色成分のアナログ信号が出力される。

図２において、横、縦はそれぞれ撮像面の水平方向（Ｈ）、垂直方向（Ｖ）を表す。光電変換素子は画素を構成し、撮像面上で各光電変換素子が占める位置が画素位置に対応する。各画素は、撮像素子の撮像面上に２次元的に配置されているので、それらの位置は、ＨＶ座標面（またはＨＶ面）上の座標値で表すことができる。図２はイメージセンサの一部のみ、即ち７行７列の範囲を示す。中心の画素の水平方向位置をｉ、垂直方向位置をｊ、従って座標値を（ｉ，ｊ）で表し、その周囲の画素の水平方向（行方向）の位置を、ｉ−３，ｉ−２、…ｉ＋３、垂直方向（列方向）の位置を、ｊ−３、ｊ−２、…ｊ＋３で表している。尚、ｉ、ｊはともに整数であり、水平方向に互いに隣接する画素は水平方向の座標値が「１」だけ異なり、垂直方向に互いに隣接する画素は垂直方向の座標値が「１」だけ異なる。

また以下の説明で、Ｒのカラーフィルタで覆われた光電変換素子に対応した画素をＲ画素、Ｇのカラーフィルタで覆われた光電変換素子に対応した画素をＧ画素、Ｂのカラーフィルタで覆われた光電変換素子に対応した画素をＢ画素と呼ぶ。

イメージセンサ２は入射光を光電変換し入射光量に応じたレベルのアナログ信号を画素ごとに出力する。このアナログ信号はＡ／Ｄ変換器３でデジタル信号に変換され、各画素の持つ色成分値（画素信号）として、フレームメモリ４に書き込まれる。この際、各信号は、各画素の、撮像面上での位置、従ってＨＶ座標面上での位置に対応づけて書き込まれる。

上記のように、各画素を構成する光電変換素子の各々は、フィルタにより覆われているので、赤、緑、青のいずれか１つの色の光を受光する。各光電変換素子で受光する光の色を「受光色」と、各画素について受光色以外の色を「不足色」ということがある。
各画素を構成する光電変換素子の各々からは、受光色に対応する一つの色成分値を表す信号しか得られない。即ち、Ｒ画素については、Ｒ成分値が既知である一方、Ｇ及びＢ成分値が未知であり、Ｇ画素については、Ｇ成分値が既知である一方、Ｂ及びＲ成分値が未知であり、Ｂ画素については、Ｂ成分値が既知である一方、Ｒ及びＧ成分値が未知である。各画素について、Ｒ、Ｇ、Ｂすべての色成分値を持つことで、カラー画像を得ることができるので、フレームメモリ４に書き込まれている、各画素位置における未知の色成分値は不足色成分値とも言われる。本発明の画素信号処理は、各画素において未知である色成分値（不足色成分値）を補間により求めるものである。

フレームメモリ４に記憶された画素信号は、デマルチプレクサ５でＲ、Ｇ、Ｂ信号ごとに２次元メモリ６ｒ、６ｇ、６ｂに分配され、記憶される。即ちＲ信号が２次元メモリ６ｒに、Ｇ信号が２次元メモリ６ｇに、Ｂ信号が２次元メモリ６ｂにそれぞれ記憶される。

図３、図４、図５はそれぞれ、イメージセンサ２の撮像面上における、Ｒ画素、Ｇ画素、Ｂ画素の配置を色毎に別々に示す。２次元メモリ６ｒ、６ｇ、６ｂの各々においても、各画素の信号（色成分値）は、撮像面上での位置、従ってＨＶ座標面上での位置に対応づけて書き込まれる。従って、図３、図４、図５は、デマルチプレクサ５から分配され、記憶された画素信号の、ＨＶ座標面上での位置を表すものでもある。

なお、フレームメモリ４はイメージセンサ２が２行に１行ずつ読み出しを行ういわゆるインターレース読み出し方式のものであり、１枚（フレーム）の画素信号がすべて揃うために２度の（２フィールドの）読み出しを行わなければならない場合に必要である。図２に示した画素配列における画素を上から順次１行ずつ読み出すいわゆるプログレッシブ読み出し方式のイメージセンサ２の場合には、イメージセンサ２から送られてきた画素の信号をそのままデマルチプレクサ５で振り分けていけばよいため、フレームメモリ４が無くても同様の動作を実現することができる。

ローパスフィルタ８ｒ、８ｇ、８ｂはそれぞれメモリ６ｒ、６ｇ、６ｂに対応して設けられたものであり、メモリ６ｒ、６ｇ、６ｂから読み出された画素信号に対して各色成分の低周波数成分を出力する。即ち、ローパスフィルタ８ｒ、８ｇ、８ｂの各々は、各画素について、その画素位置の近傍の領域内の複数の画素位置における、各色の画素信号の低周波数成分を算出する。
ここで、ローパスフィルタ８ｒ、８ｇ、８ｂは、図６に示すように、それぞれ、水平方向の低周波成分を算出する水平ローパスフィルタ１４ｒ、１４ｇ、１４ｂと、垂直方向の低周波成分を算出する垂直ローパスフィルタ１５ｒ、１５ｇ、１５ｂと、加重加算手段３５ｒ、３５ｇ、３５ｂを有する。
水平ローパスフィルタ１４ｒ、１４ｇ、１４ｂは、メモリ６ｒ、６ｇ、６ｂから読み出された画素信号に対して各色成分の水平方向の低周波数成分を出力する。即ち、水平ローパスフィルタ１４ｒ、１４ｇ、１４ｂの各々は、各画素について、その画素位置の近傍の領域（当該画素位置を含む領域）内の複数の画素位置における、各色の画素信号の水平方向の低周波数成分を算出する。
垂直ローパスフィルタ１５ｒ、１５ｇ、１５ｂは、メモリ６ｒ、６ｇ、６ｂから読み出された画素信号に対して各色成分の垂直方向の低周波数成分を出力する。即ち、垂直ローパスフィルタ１５ｒ、１５ｇ、１５ｂの各々は、各画素について、その画素位置の近傍の領域（当該画素位置を含む領域）内の複数の画素位置における、各色の画素信号の垂直方向の低周波数成分を算出する。
図７、図８、図９に水平ローパスフィルタ１４ｒ、１４ｇ、１４ｂと垂直ローパスフィルタ１５ｒ、１５ｇ、１５ｂの出力例を示す。図７（ａ）、図８（ａ）、図９（ａ）が水平ローパスフィルタ１４ｒ、１４ｇ、１４ｂの出力例、図７（ｂ）、図８（ｂ）、図９（ｂ）が垂直ローパスフィルタ１５ｒ、１５ｇ、１５ｂの出力例である。
加重加算手段３５ｒ、３５ｇ、３５ｂは、それぞれ水平ローパスフィルタ１４ｒ、１４ｇ、１４ｂにより得られる値と、垂直ローパスフィルタ１５ｒ、１５ｇ、１５ｂにより得られる値と、方向別相関算出手段９により算出される水平方向相関係数Δｈ及び垂直方向相関係数Δｖを用いて、低周波数成分を算出する。
これらの算出方法については後に詳しく述べる。

同様にハイパスフィルタ７ｒ、７ｇ，７ｂもそれぞれメモリ６ｒ、６ｇ、６ｂに対応して設けられたものであり、メモリ６ｒ、６ｇ、６ｂから読み出された画素信号に対して各色成分の高周波数成分を出力する。即ち、ハイパスフィルタ７ｒ、７ｇ、７ｂの各々は、各画素について、その画素位置の近傍の領域内の複数の画素位置における、各色の画素信号の変化成分を算出する。
ここで、ハイパスフィルタ７ｒ、７ｇ，７ｂは、図１０に示すように、それぞれ、水平方向の変化成分を算出する水平ハイパスフィルタ１６ｒ、１６ｇ、１６ｂと、垂直方向の変化成分を算出する垂直ハイパスフィルタ１７ｒ、１７ｇ、１７ｂと加重加算手段３６ｒ、３６ｇ、３６ｂを有する。
水平ハイパスフィルタ１６ｒ、１６ｇ、１６ｂは、メモリ６ｒ、６ｇ、６ｂから読み出された画素信号に対して各色成分の水平方向の変化成分を出力する。即ち、ハイパスフィルタ１６ｒ、１６ｇ、１６ｂの各々は、各画素について、その画素位置の近傍の領域（当該画素位置を含む領域）内の複数の画素位置における、各色の画素信号の水平方向の変化成分を算出する。
垂直ハイパスフィルタ１７ｒ、１７ｇ、１７ｂは、メモリ６ｒ、６ｇ、６ｂから読み出された画素信号に対して各色成分の垂直方向の変化成分を出力する。即ち、垂直ハイパスフィルタ１７ｒ、１７ｇ、１７ｂの各々は、各画素について、その画素位置の近傍の領域（当該画素位置を含む領域）内の複数の画素位置における、各色の画素信号の垂直方向の変化成分を算出する。
図１１、図１２、図１３に水平ハイパスフィルタ１６ｒ、１６ｇ、１６ｂと垂直ハイパスフィルタ１７ｒ、１７ｇ、１７ｂの出力例を示す。図１１（ａ）、図１２（ａ）、図１３（ａ）が水平ローパスフィルタ１６ｒ、１６ｇ、１６ｂの出力例、図１１（ｂ）、図１２（ｂ）、図１３（ｂ）が垂直ローパスフィルタ１７ｒ、１７ｇ、１７ｂの出力例である。
加重加算３６ｒ、３６ｇ、３６ｂにより、それぞれ水平ハイパスフィルタ１６ｒ、１６ｇ、１６ｂにより得られる値と、垂直ハイパスフィルタ１７ｒ、１７ｇ、１７ｂにより得られる値と、方向別相関算出手段９により算出される水平方向相関係数Δｈ及び垂直方向相関係数Δｖを用いて変化成分を算出する。
これらの算出方法については後に詳しく述べる。

図７、図８、図９、図１１、図１２、図１３に示されるように、水平ローパスフィルタ１４ｒ、１４ｇ、１４ｂの出力（ＲＬＰＦＨ，ＧＬＰＦＨ、ＢＬＰＦＨ）、垂直ローパスフィルタ１５ｒ、１５ｇ、１５ｂの出力（ＲＬＰＦＶ，ＧＬＰＦＶ、ＢＬＰＦＶ）、水平ハイパスフィルタ１６ｒ、１６ｇ、１６ｂの出力（ＲＨＰＦＨ、ＧＨＰＦＨ、ＢＨＰＦＨ）、及び垂直ハイパスフィルタ１７ｒ、１７ｇ、１７ｂの出力（ＲＨＰＦＶ、ＧＨＰＦＶ、ＢＨＰＦＶ）はすべての画素について求められる。

方向別相関算出手段９は、２次元メモリ６ｒ、６ｇ、６ｂから読み出された画素信号から、水平、垂直方向における画素信号の変化を示す水平方向相関係数Δｈと垂直方向相関係数Δｖを算出する。これらの水平方向相関係数Δｈ及び垂直方向相関係数Δｖは、各画素の周辺の画素信号の水平、垂直方向の相関の強さを表すものである。
方向別相関算出手段９は、例えば、各画素及びその近傍の領域内の複数の画素位置における画素のうち、Ｒ、Ｇ、Ｂの各々につき、水平方向の変化成分ΔｈＲ、ΔｈＧ、ΔｈＢを算出し、これらを単純加算、または加重加算することにより水平方向相関係数Δｈを算出し、各画素及びその近傍の領域内の複数の画素位置における画素のうち、Ｒ、Ｇ、Ｂの各々につき、垂直方向の変化成分ΔｖＲ、ΔｖＧ、ΔｖＢを算出し、これらを単純加算、または加重加算することにより垂直方向相関係数Δｖを算出する。

係数算出手段１３は、方向別相関算出手段９で算出されるΔｈとΔｖに応じて変化する係数βを算出する。

非相関値算出手段１２は、ハイパスフィルタ７ｒ、７ｇ、７ｂの出力、及び係数算出手段１３で算出される係数βとに基づき、各画素について非相関値を求める。
非相関値算出手段１２は、例えば図１４に示すように、選択手段２３ｋ、２３ｈと、差計算手段２５と、係数乗算手段２７と、制御手段３０ａを有する。

演算手段１０は、２次元メモリ６ｒ、６ｇ、６ｂから読み出された画素信号、ローパスフィルタ８ｒ、８ｇ、８ｂの出力、及び非相関値算出手段１２の出力とに基づき、各画素について低周波数成分の差を求め、さらに、補間値を求める。
演算手段１０は、例えば図１５に示すように、選択手段２４ｋ、２４ｈ、２１と、差計算手段２６と、係数乗算手段２８と、加算手段２９と、制御手段３０ｂとを有する。

非相関値算出手段１２の選択手段２３ｋは、ハイパスフィルタ７ｒ、７ｇ、７ｂの出力ＲＨＰＦ、ＧＨＰＦ、ＢＨＰＦを受け、これらのうちの１つを選択して出力する。選択手段２３ｈは、ハイパスフィルタ７ｒ、７ｇ、７ｂの出力ＲＨＰＦ、ＧＨＰＦ、ＢＨＰＦを受け、これらのうちの選択手段２３ｋで選択していない１つを選択して出力する。
演算手段１０の選択手段２１は、２次元メモリ６ｒ、６ｇ、６ｂのうちの一つを選択し、選択された２次元メモリ６ｒ、６ｇ、６ｂから読み出された画素信号を加算手段２９に供給する。
演算手段１０の選択手段２４ｋは、ローパスフィルタ８ｒ、８ｇ、８ｂの出力ＲＬＰＦ、ＧＬＰＦ、ＢＬＰＦを受け、これらのうちの１つを選択して出力する。選択手段２４ｈは、ローパスフィルタ８ｒ、８ｇ、８ｂの出力ＲＬＰＦ、ＧＬＰＦ、ＢＬＰＦを受け、これらのうちの選択手段２４ｋで選択していない１つを選択して出力する。

選択手段２１、２３ｋ、２３ｈ、２４ｋ、２４ｈによる選択は制御手段３０ａ、３０ｂにより制御される。
補間対象画素がＲ、Ｇ、Ｂのうちの第ｈの色の色成分値を有し、補間対象画素の第ｋの色の色成分値を補間により求めるときは、選択手段２１が第ｈの色の色成分値を記憶している２次元メモリを選択し、補間対象画素の第ｈの色の色成分値（例えばｈ（ｉ，ｊ）で表される）を読み出し、選択手段２３ｋが第ｋの色のハイパスフィルタの出力ｋＨＰＦを選択し、選択手段２３ｈが、第ｈの色のハイパスフィルタの出力ｈＨＰＦを選択し、選択手段２４ｋが第ｋの色のローパスフィルタの出力ｋＬＰＦを選択し、選択手段２４ｈが、第ｈの色のローパスフィルタの出力ｈＬＰＦを選択する。

上記のように、加重加算手段３６ｒ、３６ｇ、３６ｂは、水平方向のハイパスフィルタ値ＲＨＰＦＨ、ＧＨＰＦＨ、ＢＨＰＦＨと垂直方向のハイパスフィルタ値ＲＨＰＦＶ、ＧＨＰＦＶ、ＢＨＰＦＶと方向別相関算出手段９から出力される水平方向相関係数Δｈと垂直方向相関係数Δｖとを用いた加重加算により、ハイパスフィルタ値ＲＨＰＦ、ＧＨＰＦ、ＢＨＰＦを算出し、加重加算手段３５ｒ、３５ｇ、３５ｂは、水平方向のローパスフィルタ値ＲＬＰＦＨ、ＧＬＰＦＨ、ＢＬＰＦＨと垂直方向のローパスフィルタ値ＲＬＰＦＶ、ＧＬＰＦＶ、ＢＬＰＦＶと方向別相関算出手段９から出力される水平方向相関係数Δｈと垂直方向相関係数Δｖとを用いた加重加算により、ローパスフィルタ値ＲＬＰＦ、ＧＬＰＦ、ＢＬＰＦを算出する。
この時、例えば、強い相関関係があるほど相関係数の値が小さくなるような場合には、水平方向又は垂直方向のうち、相関係数が小さい方向のフィルタ値の加算割合を大きくする。

第ｈの色のハイパスフィルタ値ｈＨＰＦ（選択手段２３ｈの出力）及びローパスフィルタ値ｈＬＰＦ（選択手段２４ｈの出力）は、例えば式（１）に示す加重加算により算出する。このとき、水平方向のフィルタ値の加算割合をＫｈ、垂直方向のフィルタ値の加算割合をＫｖとする。

また、式（１）の代わりに、式（２）に示すような加算割合Ｋｈ、Ｋｖを用いて加重加算を行っても良い。

上式（２）において、Ｔｈ１、Ｔｈ２は所定のしきい値である。
また「＆＆」は、「かつ」と言う意味であり、「ｉｆ」は「もしも」と言う意味であり、「ｅｌｓｅ」は「そうでない場合には」と言う意味であり、「ｅｌｓｅ ｉｆ」は「そうではなく、もしも」と言う意味であり、これらの記号はＣ言語の表記法に準じたものであり、この点は本願の他の式においても同様である。

つまり、水平方向と垂直方向に共に強い相関がある場合、注目画素周辺の画素信号は均一であると判断して水平方向と垂直方向のフィルタ値の平均値をとる。水平方向と垂直方向の相関の差が小さい（斜め方向に相関がある可能性がある）場合も、水平方向と垂直方向のフィルタ値の平均値をとる。その他の場合には、水平方向又は垂直方向のうちのいずれか相関が強い方向のフィルタ値をそのまま用いる。

非相関値算出手段１２の差計算手段２５は、第ｋのハイパスフィルタ値ｋＨＰＦと、第ｈのハイパスフィルタ値ｈＨＰＦとの差（前者から後者を引いたもの）（ｋＨＰＦ−ｈＨＰＦ）を求める。

演算手段１０の差計算手段２６は、第ｋのローパスフィルタ値ｋＬＰＦと、第ｈのローパスフィルタ値ｈＬＰＦとの差（前者から後者を引いたもの）（ｋＬＰＦ−ｈＬＰＦ）を求める。

非相関値算出手段１２の係数乗算手段２７は、差計算手段２５の出力（ｋＨＰＦ−ｈＨＰＦ）と、係数算出手段１３の出力βを受け、差計算手段２５の出力（ｋＨＰＦ−ｈＨＰＦ）に、水平方向相関係数Δｈと垂直方向相関係数Δｖに応じて変化する係数βと所定の定数ｑを掛け、積βｑ（ｋＨＰＦ−ｈＨＰＦ）を求め、これを非相関値として出力する。係数乗算手段２７の出力が、非相関値算出手段１２の出力として用いられる。
係数βの算出方法については後に詳しく述べるが、補間対象画素位置において、水平方向、垂直方向の少なくとも一方に強い相関がある場合には、係数βの値を小さくし、非相関値が小さくなるようにする。逆に水平方向にも垂直方向にも強い相関が無い場合には、係数βの値を大きくし、非相関値が大きくなるようにする。本来、補間対象画素周辺の画素信号に相関がある場合、非相関値は小さくなるはずだが、画素信号が欠落しているなどの理由で小さくならない場合がある。特に、補間対象画素の位置に予め存在しない画素信号のフィルタ値を算出する際には、離れた位置にある画素の信号を用いるために誤差が発生し易い。例えば、ラプラシアン型のハイパスフィルタを用いる場合について説明する。

図１６〜図１９は、Ｇ信号が予め存在しない画素位置（ｉ，ｊ）において、Ｇ信号を算出するために必要なローパスフィルタ値とハイパスフィルタ値を算出する際に使用する画素を示している。説明を簡単にするため、水平方向のフィルタ値を算出する際に使用する画素のみ示している。図１６はＧ信号の水平方向のローパスフィルタ値を算出する際に使用する画素、図１７はＧ信号の水平方向のハイパスフィルタ値を算出する際に使用する画素、図１８はＢ信号の水平方向のローパスフィルタ値を算出する際に使用する画素、図１９はＢ信号の水平方向のハイパスフィルタ値を算出する際に使用する画素をそれぞれハッチングで示している。

各フィルタ値の算出式を式（３）に示す。

図１７に示すようにｉ列目におけるＧ色の水平方向の変化成分を算出する時、式（３）で示したように、補間対象画素の上下の行にある画素を用いることになる。
この時、ｉ−１行目とｉ行目の間（図中太線ＢＬで示した位置）に色の境界があると、ローパスフィルタ値は正しく算出されるが、ハイパスフィルタ値には誤差が含まれてしまう。その結果、補間誤差が生じる。
そこで、水平方向または垂直方向に相関がある場合には、係数βの値を小さくすることにより、ハイパスフィルタ値の結果によらず非相関値を小さくすることが出来る。このように、非相関値に含まれる誤差が結果に与える影響を抑えることで、精度の良い補間が行えるようにした。

係数乗算手段２８は、差計算手段２６の出力（ｋＬＰＦ−ｈＬＰＦ）に所定の定数ｒを掛けて、積ｒ（ｋＬＰＦ−ｈＬＰＦ）を出力する。
加算手段２９は、選択手段２１から出力される画素値ｈと、非相関値算出手段１２（係数乗算手段２７）から出力される値βｑ（ｋＨＰＦ−ｈＨＰＦ）と、係数乗算手段２８から出力される値ｒ（ｋＬＰＦ−ｈＬＰＦ）とを加算して、その和

ｈ＋β・ｑ（ｋＨＰＦ−ｈＨＰＦ）＋ｒ・（ｋＬＰＦ−ｈＬＰＦ）

を出力する。
加算手段２９の出力が、補間対象画素の第ｋの色の色成分値（補間値）として用いられる。

上記のうち、ローパスフィルタ８ｒ、８ｇ、８ｂと、選択手段２４ｈとで、注目画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の低周波数成分を算出するｈ信号ローパスフィルタが構成され、
ローパスフィルタ８ｒ、８ｇ、８ｂと、選択手段２４ｋとで、注目画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の低周波数成分を算出するｋ信号ローパスフィルタが構成され、
ハイパスフィルタ７ｒ、７ｇ、７ｂと、選択手段２３ｈとで、注目画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の変化成分を算出するｈ信号ハイパスフィルタが構成され、
ハイパスフィルタ７ｒ、７ｇ、７ｂと、選択手段２３ｋとで、注目画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の変化成分を算出するｋ信号ハイパスフィルタが構成されている。
また、係数乗算手段２８及び加算手段２９により、注目画素位置における第ｈの画素信号と、非相関値算出手段１２で算出した非相関値βと、差算出手段２６で求めた差に定数ｒを掛けたものを加算して、注目画素位置における第ｋの画素信号を求める補間値算出手段が構成されている。

演算手段１０で算出された補間値は例えば第ｋの色の画素信号のための２次元メモリ（６ｒ、６ｇ、６ｂのいずれか）に記憶され、或いは出力端子１１から出力される。

以下、上記した補間方法についてさらに詳しく説明する。

上記の様に、図４は、ＨＶ座標面上におけるＧ信号の配列を示したものである。
図に記載されているＧ信号は元々イメージセンサ２上にＧの色フィルタが配置されているため、その色フィルタを介して得られる信号であり、空白の箇所は他のＲ，Ｂの色フィルタが配置されているため、Ｇの色信号が欠落した場所である。この欠落した場所におけるＧ信号を補間する必要がある。
補間のための従来の方法として、周辺の画素の平均値を用いる平均補間方法（バイリニア補間）があるが、信号の変化の大きい箇所では精度の高い補間が期待できない。
また、異なる色成分の信号の変化に相関があるという仮定に基づく補間方法がある。しかし、全ての場合において異なる色成分の信号の間に正の相関があるとは限らないため、相関が無い場合や、負の相関がある場合に適切な補間が出来ない。

一方、本実施の形態は、補間処理対象画素の近傍の領域内での色成分値の変化の様子に相似の関係がない領域においても正確に補間を行うことができ、また補間処理対象画素の近傍の領域内での色成分値の変化の仕方に拘らず常に最適の補間方法で補間を行うものであり、上記した演算手段１０における補間演算は、以下の式（４）により表される。

ｋ（ｉ，ｊ）＝ｈ（ｉ，ｊ）＋β・ｑ｛ｋＨＰＦ（ｉ，ｊ）−ｈＨＰＦ（ｉ，ｊ）｝
＋ｒ｛ｋＬＰＦ（ｉ，ｊ）−ｈＬＰＦ（ｉ，ｊ）｝
…（４）

式（４）において、ｋ（ｉ，ｊ）はイメージセンサ２上の座標（ｉ，ｊ）において、欠落した色信号であり、補間される色信号である。ｈ（ｉ，ｊ）は（ｉ，ｊ）の位置に予め存在する（値が既知の）色信号である。
ｋＨＰＦ，ｈＨＰＦは、それぞれ（ｉ，ｊ）の位置とその周辺の画素位置におけるｋ信号及びｈ信号から所定の演算により算出されたＨＰＦ値である。
ここでＨＰＦ値とは、既知の画素信号（イメージセンサ出力）から推測される真値の空間高周波成分である。水平方向の高周波成分と垂直方向の高周波成分を個別に算出し、座標（ｉ，ｊ）における水平方向と垂直方向の相関の強さに応じて加算することにより得られる。
ｋＬＰＦ，ｈＬＰＦは、それぞれ（ｉ，ｊ）の位置とその周辺の画素位置におけるｋ信号及びｈ信号から別の所定の演算により算出されたＬＰＦ値である。
ここでＬＰＦ値とは、既知の画素信号（イメージセンサ出力）から推測される真値の空間低周波成分である。水平方向の高周波成分と垂直方向の低周波成分を個別に算出し、座標（ｉ，ｊ）における水平方向と垂直方向の相関の強さに応じて加算することにより得られる。
ここで言う真値は、イメージセンサの画素間隔が無限小であり、光電変換誤差がないときに得られるであろう空間的に連続した画素信号の値を意味する。
相関の強さは、水平、垂直方向における画素信号の変化を示す水平方向相関係数Δｈと垂直方向相関係数Δｖに基づいて決まる。つまり、画素信号の変化量に相当する値をΔｈとΔｖとする場合、相関係数の値が小さい場合には画素信号の変化が少ないため相関が強いといえる。逆に、相関係数の値が大きい場合には画素信号の変化が大きいため相関が弱いといえる。水平方向と垂直方向の各成分を加算する際には、相関の強い方向の成分の割合が多く、相関の弱い方向の成分が少なくなるように行う。このとき例えば、水平方向に強い相関があり、垂直方向に相関が無い場合には、垂直方向の成分の加算割合をゼロとしてもよい。また、水平方向にも垂直方向にも同程度の相関がある場合や、水平方向にも垂直方向にも相関が無い場合には、水平方向の成分と垂直方向の成分の加算割合を同じにしてもよい。
ｑ及びｒは予め定めた定数である。

係数βは、（ｉ，ｊ）の位置とその周辺の画素位置における信号の水平方向の変化成分に基づく水平方向相関係数Δｈと、（ｉ，ｊ）の位置とその周辺の画素位置における信号の垂直方向の変化成分に基づく垂直方向相関係数Δｖによって決まる係数で、水平方向または垂直方向に強い相関がある場合にはβの値が小さくなるように、水平方向及び垂直方向に強い相関が無い場合にはβの値が大きくなるように設定する。
これにより、水平方向又は垂直方向に強い相関がある場合には、βｑ｛ｋＨＰＦ（ｉ，ｊ）−ｈＨＰＦ（ｉ，ｊ）｝で表される非相関値を抑制する作用が働き、補間精度が向上する。

係数βの値は、例えば式（５）のように設定しても良い。

上式（５）において、Ｔｈ３、Ｔｈ４は所定のしきい値、Ｎは設定値である。

つまり、水平方向、垂直方向共に相関係数が小さい場合は、画素位置（ｉ，ｊ）周辺では画素信号が均一で強い相関があると考えられるので、係数βをゼロにする。
それ以外で、水平方向の相関係数と垂直方向の相関係数の差が一定値より小さい場合、水平方向または垂直方向に明確な相関が無いと考えられるので、係数βをゼロ以外の値にする。
その他の場合には、水平方向または垂直方向のどちらかに相関があると考えられるので、係数βをゼロにする。

しきい値Ｔｈ３、Ｔｈ４、係数βの設定値Ｎは、それぞれのシステムや装置等に応じて適宜設定すればよいが、例えば、Ｔｈ３は４、Ｔｈ４は１２、Ｎの値は０．５としても良い。

ここでは係数βの値はゼロまたはＮの２値としたが、相関の度合いに応じて多段階に変化させても良い。

別の効果について説明する。
本方式において係数βをゼロにすると、従来例で示した手法と等しくなる。つまり、係数βの値を調整することにより、画素信号に正の相関がある場合に適した補間方法と画素信号に正の相関が無い場合に適した補間方法を切り替えることができる。これは、二つの全く異なる補間方法を切り替えながら用いる場合と比較して、装置や回路の規模を小さく抑えることができるという利点がある。
また、複数の異なる補間方式を切り替えながら補間を行う場合、しきい値等の設定によっては、もともと良く似た色信号を持つ隣接する画素で異なる補間方法が選択されてしまい、補間結果が異なり、不自然な画像になってしまう場合がある。しかし、本発明は、共通の補間処理を行うことが出来るので、回路規模を小さく抑えると共に、自然な補間結果を得ることが出来る。

式（４）に示した算出式の意味について図２０〜図２３を参照して説明する。これらの図には、各画素における色信号レベルとイメージセンサ２上の各画素の位置が示されている。また、これらの図では、説明を簡単にするため、イメージセンサ２の１行だけを記載し、一次元方向だけに演算を限定して示す。上部に記載したのは各色フィルタの配列であり、ｈはｈ画素、ｋはｋ画素、各画素の括弧（ ）内は画素位置を示す座標である。また、曲線ａはｋ信号の真値であり、曲線ｂはｈ信号の真値である。曲線ａ、ｂ上において、黒丸印（●）で示した箇所は、イメージセンサ２から得られたｋ信号及びｈ信号の画素信号値である。曲線ｃ、ｄはそれぞれｋ信号、ｈ信号のＬＰＦ値であり、曲線ｅ，ｆはそれぞれｋ信号、ｈ信号のＨＰＦ値である。これら図を参照して、画素位置（ｉ，ｊ）におけるｋ信号の画素補間を行う方法を具体的に述べる。
図２０は、ｋ信号とｈ信号との間に正の相関がある場合を示し、図２１及び図２２は、ｋ信号とｈ信号との間に相関がない場合を示し、図２３は、ｋ信号とｈ信号との間に負の相関がある場合を示す。

最初に図２０を参照してｋ信号とｈ信号との間に正の相関がある場合について説明する。画素位置（ｉ，ｊ）における曲線ｃとｄの差が低周波数成分の差（ｋＬＰＦ−ｈＬＰＦ）に比例する値ｒ（ｋＬＰＦ−ｈＬＰＦ）となる。また、画素位置（ｉ，ｊ）における曲線ｅとｆの差が非相関値（ｋＨＰＦ−ｈＨＰＦ）となる。曲線ｅとｆで示されるＨＰＦ値はｋ信号とｈ信号の変化が同様の場合、同じ値となるため重なって描写されており、非相関値（ｋＨＰＦ−ｈＨＰＦ）は“０”である。
ただし、演算方法やフィルタの作り方によっては誤差が含まれてしまい、非相関値が“０”とならない場合がある。そこで、式（４）では、相関の有無により変化する係数βを非相関値に乗じた値を改めて非相関値とし、相関がある場合には非相関値が小さくなる仕組みにしている。
従来技術によるバイリニア方法では、画素位置（ｉ−１，ｊ）と（ｉ＋１，ｊ）におけるｋ信号を用いてその平均値を画素位置（ｉ，ｊ）におけるｋ信号とする。バイリニア方法によって補間された信号レベルを、図２０において、白三角印（△）で示したが、求められるべき真値との間に補間誤差が生じている。
本実施の形態による補間方法では、画素位置（ｉ，ｊ）において既知の値ｈ（ｉ，ｊ）に非相関値（ｋＨＰＦ−ｈＨＰＦ）と低周波数成分の差（ｋＬＰＦ−ｈＬＰＦ）とをそれぞれ係数β、ｑ、ｒを乗じた後加算するが、図２０に示すようにｋ信号とｈ信号との間に相関がある場合、非相関値は “０”であり、結局、画素位置（ｉ，ｊ）において既知の値ｈ（ｉ，ｊ）に、低周波数成分の差（ｋＬＰＦ−ｈＬＰＦ）に係数ｒを乗じた後加算したものが、補間信号ｋ（ｉ，ｊ）となる。この補間信号ｋ（ｉ，ｊ）を図２０に白丸印（○）にて示す。真値に対して精度良く画素補間が実現できていることが分かる。このように、本実施の形態により、色信号間の相関が大きい場合にも精度良く画素補間を行うことができる。

次に色信号間に相関が無い場合について説明する。図２１と図２２に各画素における色信号レベルとイメージセンサ２上の各画素の位置を示す。図２１及び図２２に示した信号ではｋ信号は一定であり、ｋ信号とｈ信号の変化に相関が無い。

まず、図２１を参照して説明する。図２１の例では、ｋ信号に変化が無いため曲線ｅで示されるｋ信号のＨＰＦ値ｋＨＰＦは“０”である。上記特許文献１（特開２００１−１９７５１２号公報）に開示された方法による色の相関変化だけを用いた補間は、ｈ（ｉ，ｊ）の信号に（ｋＬＰＦ−ｈＬＰＦ）に比例した値を加算することに相当する。
この場合、画素補間された信号レベルは、図２１において、白四角印（□）で示す信号レベルとなる。白四角印に示す信号レベルはｋ信号の真値から離れた位置の値となるため補間誤差が生じていることが分かる。これは、画素位置（ｉ，ｊ）における補間対象のｋ信号は、参照とするｈ信号との間に相関が無いためである。
一方、本実施の形態による画素補間方法では、画素位置（ｉ，ｊ）におけるｈ信号ｈ（ｉ，ｊ）に（ｋＬＰＦ−ｈＬＰＦ）に係数ｒを掛けたものを加算し、さらに（ｋＨＰＦ−ｈＨＰＦ）に係数β、ｑを掛けたものを加算する。ｋＨＰＦは“０”であるため、画素位置（ｉ，ｊ）における（ｋＨＰＦ−ｈＨＰＦ）は負の値となる。よって、本実施の形態による補間方法では補間された信号レベルは白丸印（○）の位置となり、ｋ信号の真値に対して精度高く補間される。本実施の形態ではｋ信号とｈ信号との信号変化にどれだけ相関が無いかは、（ｋＨＰＦ−ｈＨＰＦ）の値として求められることとなる。（ｋＨＰＦ−ｈＨＰＦ）を「非相関値」と呼ぶのはこのためである。一方、低周波数成分の差（ｋＬＰＦ−ｈＬＰＦ）は、相関の度合いを表し、相関の度合いが高いほど一定の値により近くなる。よって、（ｋＬＰＦ−ｈＬＰＦ）と（ｋＨＰＦ−ｈＨＰＦ）の両方の値がそれぞれの係数β、ｒ、ｑを掛けた上でｈ（ｉ，ｊ）に加算されることにより信号間に相関が無い場合でも精度高く画素補間を行うことができる。

図２２には図２１とは逆にｋ信号が変化して、ｈ信号に変化が無い、２つの色信号間に相関が無い別の例を示す。上記特許文献１（特開２００１−１９７５１２号公報）に開示された方法による色の相関変化だけを用いた補間は、ｈ（ｉ，ｊ）の信号に（ｋＬＰＦ−ｈＬＰＦ）の信号レベルを加算することに相当する。
この場合、画素補間された信号レベルを図２２において白四角印（□）で示す信号レベルとなる。白四角印に示す信号レベルはｋ信号の真値から離れた位置の値となるため補間誤差が生じていることが分かる。
一方、本実施の形態による画素補間方法では、画素位置（ｉ，ｊ）におけるｈ信号ｈ（ｉ，ｊ）に（ｋＬＰＦ−ｈＬＰＦ）に係数ｒを掛けたものを加算し、さらに（ｋＨＰＦ−ｈＨＰＦ）に係数β、ｑを掛けたものを加算する。ｈＨＰＦは“０”であるため、画素位置（ｉ，ｊ）における（ｋＨＰＦ−ｈＨＰＦ）は正の値となる。よって、本実施の形態による補間方法では補間された信号レベルは白丸印（○）の位置となり、ｋ信号の真値に対して精度高く補間される。本実施の形態では、（ｋＬＰＦ−ｈＬＰＦ）と（ｋＨＰＦ−ｈＨＰＦ）の両方の値がｈ（ｉ，ｊ）にそれぞれの係数β、ｒ、ｑを掛けた上で加算されることにより図２２に示す信号間に相関が無い場合においても精度高く画素補間を行うことができる。

図２１及び図２２では色信号間に相関が無い場合について説明したが、次に色信号間に負の相関がある場合について説明する。図２３にｋ信号とｈ信号との間に負の相関がある場合を示す。画素位置（ｉ，ｊ）における、曲線ａと鎖線ｃの差Δ（ａ−ｃ）と、曲線ｄと曲線ｂの差Δ（ｄ−ｂ）の和が、非相関値（ｋＨＰＦ−ｈＨＰＦ）に比例する値βｑ（ｋＨＰＦ−ｈＨＰＦ）に等しい。バイリニア補間方法による画素補間は白三角印（△）で示す信号レベルであり図２０と同様に真値に対して補間誤差が生じている。また、負の相関関係である場合、上記特許文献１（特開２００１−１９７５１２号公報）に開示された方法による色の相関変化だけを用いた画素補間では白四角印（□）で示すようにさらに補間誤差が拡大する。本実施の形態による補間方法では白丸印（○）で示すように精度高く画素補間が実現できている。
以上のように、色信号間に正の相関がある場合、相関が無い場合、負の相関となっている場合のいずれにおいても精度の高い画素補間を行うことができる。

画素補間の演算処理について以下に具体的に説明する。図２４にハイパスフィルタ７ｒ、７ｇ、７ｂ、ローパスフィルタ８ｒ、８ｇ、８ｂ、方向別相関算出手段９、係数算出手段１３、非相関値算出手段１２、演算手段１０の演算の手順をフローチャートとして示す。フローチャートに記載するように、補間値の算出は、以下の６つの処理を含む。
ステップＳ１；Ｒ画素位置におけるＧ信号（ＧｏｎＲ）を求めるための処理。
ステップＳ２；Ｂ画素位置におけるＧ信号（ＧｏｎＢ）を求めるための処理。
ステップＳ３；Ｇ画素位置におけるＲ信号（ＲｏｎＧ）を求めるための処理。
ステップＳ４；Ｇ画素位置におけるＢ信号（ＢｏｎＧ）を求めるための処理。
ステップＳ５；Ｒ画素位置におけるＢ信号（ＢｏｎＲ）を求めるための処理。
ステップＳ６；Ｂ画素位置におけるＲ信号（ＲｏｎＢ）を求めるための処理。
これら６つの処理は、
「ｈ色（ｈ＝Ｒ、Ｇ、又はＢ）の画素信号が存在する画素位置におけるｋ色（ｋ＝Ｒ、Ｇ、又はＢ、但しｈはｋとは異なる）の画素信号を求めるための処理」
と一般化して言うことができる。これらの６つの処理の各々は画面上（１フレーム内）のすべての画素位置について行われる。
ステップＳ１乃至Ｓ６の処理は、例えば、図示しない制御手段（図１４、図１５の制御手段３０ａ、３０ｂはその一部として構成することもできる）により、ハイパスフィルタ７ｒ、７ｇ、７ｂ、ローパスフィルタ８ｒ、８ｇ、８ｂ、方向別相関算出手段９、係数算出手段１３、非相関値算出手段１２、及び演算手段１０を順次動作させることにより、実行される。

上記の６つの処理がすべて終わったときに、１画面上のすべての画素位置のすべての画素における不足した色の画素信号が揃う。

まず、ステップＳ１の演算処理について説明する。図４において、Ｇ信号が予め存在しない（値が未知の）画素の座標（ｉ，ｊ）に着目する。座標（ｉ，ｊ）のＧ信号のＬＰＦ値ＧＬＰＦは、例えば次式（６）にて算出される。

ＧＬＰＦ（ｉ，ｊ）＝Ｋｈ×ＧＬＰＦＨ＋Ｋｖ×ＧＬＰＦＶ
…（６）

つまり、Ｇ信号の水平方向と垂直方向のＬＰＦ値であるＧＬＰＦＨとＧＬＰＦＶと水平方向のＬＰＦ値の加算割合Ｋｈと垂直方向のＬＰＦ値の加算割合Ｋｖとを用いてＧＬＰＦを求める。
加算割合ＫｈとＫｖは例えば式（１）にて算出するが、式（１）で用いるΔｈとΔｖの算出方法については後で述べる。

このとき、Ｇ信号の水平方向のＬＰＦ値ＧＬＰＦＨとＧ信号の垂直方向のＬＰＦ値ＧＬＰＦＶは、例えば次式（７）にて算出される。

各信号の括弧（ ）内は画素の座標を意味している。

Ｇ信号が予め存在している画素位置（ｉ＋１，ｊ）のＧ信号の水平方向のＬＰＦ値ＧＬＰＦＨとＧ信号の垂直方向のＬＰＦ値ＧＬＰＦＶは、次式（８）にて算出される。

Ｇ画素の配列はいずれも同じ画素間隔の繰り返しであるため、上記式（７）及び式（８）にてＧ信号のＬＰＦ値を算出することができる。Ｇ信号の水平方向のＬＰＦ値とＧ信号の垂直方向のＬＰＦ値は図６のＧＬＰＦＨ１４ｇとＧＬＰＦＶ１５ｇによって算出され、加重加算手段３５ｒ、３５ｇ、３５ｂを経て、演算手段１０に入力される。

また、Ｇ信号が予め存在しない画素位置（ｉ，ｊ）のＧ信号のＨＰＦ値ＧＨＰＦは、次式（９）にて算出される。

ＧＨＰＦ（ｉ，ｊ）＝Ｋｈ×ＧＨＰＦＨ＋Ｋｖ×ＧＨＰＦＶ
…（９）

このとき、Ｇ信号の水平方向のＨＰＦ値ＧＨＰＦＨとＧ信号の垂直方向のＨＰＦ値ＧＨＰＦＶは、例えば次式（１０）にて算出される。
ＧＨＰＦＨ（ｉ，ｊ）
＝−Ｇ（ｉ−３，ｊ）＋Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）−Ｇ（ｉ＋３，ｊ）
ＧＨＰＦＶ（ｉ，ｊ）
＝−Ｇ（ｉ，ｊ−３）＋Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ，ｊ＋１）−Ｇ（ｉ，ｊ＋３）
…（１０）

Ｇ信号が予め存在している画素位置（ｉ＋１，ｊ）のＧ信号の水平方向のＨＰＦ値ＧＨＰＦＨとＧ信号の垂直方向のＨＰＦ値ＧＨＰＦＶは、次式（１１）にて算出される。

Ｇ画素の配列はいずれも同じ画素間隔の繰り返しであるため、上記式（１０）及び式（１１）にてＧ信号のＨＰＦ値を算出することができる。Ｇ信号の水平方向のＨＰＦ値とＧ信号の垂直方向のＨＰＦ値は図１０のＧＨＰＦＨ１６ｇとＧＨＰＦＶ１７ｇによって算出され、加重加算手段３６ｒ、３６ｇ、３６ｂを経て、非相関値算出手段１２に入力される。

Ｒ信号のＬＰＦ値、ＨＰＦ値は次式（１２）によって算出される。

ＲＬＰＦ（ｉ，ｊ）＝Ｋｈ×ＲＬＰＦＨ＋Ｋｖ×ＲＬＰＦＶ
ＲＨＰＦ（ｉ，ｊ）＝Ｋｈ×ＲＨＰＦＨ＋Ｋｖ×ＲＨＰＦＶ
…（１２）

このとき、どの画素にもＲ信号が存在しないｊ行目においては、上下の行から値を算出する。画素の座標（ｉ，ｊ）のＲ信号の水平方向のＬＰＦ値ＲＬＰＦＨとＲ信号の垂直方向のＬＰＦ値ＲＬＰＦＶは、次式（１３）にて算出される。

座標（ｉ＋１，ｊ）のＲ信号の水平方向のＬＰＦ値ＲＬＰＦＨとＲ信号の垂直方向のＬＰＦ値ＲＬＰＦＶは、次式（１４）にて算出される。

一方、Ｒ信号が予め存在する行、例えばｊ＋１行の画素位置（ｉ，ｊ＋１）のＲ信号の水平方向のＬＰＦ値ＲＬＰＦＨとＲ信号の垂直方向のＬＰＦ値ＲＬＰＦＶは、次式（１５）にて算出される。

さらに、Ｒ信号が予め存在する行、例えばｊ−１行の画素位置（ｉ＋１，ｊ＋１）のＲ信号の水平方向のＬＰＦ値ＲＬＰＦＨとＲ信号の垂直方向のＬＰＦ値ＲＬＰＦＶは、次式（１６）にて算出される。

Ｒ画素の配列は（ｉ，ｊ）、（ｉ＋１，ｊ）、（ｉ，ｊ＋１）、（ｉ＋１，ｊ＋１）の繰り返しであるため、上記式（１３）から式（１６）にてＲ信号の水平方向のＬＰＦ値とＲ信号の垂直方向のＬＰＦ値を算出することができる。Ｒ信号の水平方向のＬＰＦ値とＲ信号の垂直方向のＬＰＦ値は図６のＲＬＰＦＨ１４ｒとＲＬＰＦＶ１５ｒによって算出され、加重加算手段３５ｒ、３５ｇ、３５ｂを経て、演算手段１０に入力される。

また、座標（ｉ，ｊ）におけるＲ信号のＨＰＦ値ＲＨＰＦは、次式（１７）にて算出される。

ＲＨＰＦ（ｉ，ｊ）＝Ｋｈ×ＲＨＰＦＨ＋Ｋｖ×ＲＨＰＦＶ
…（１７）

このとき、Ｒ信号の水平方向のＨＰＦ値ＲＨＰＦＨとＲ信号の垂直方向のＨＰＦ値ＲＨＰＦＶは、例えば次式（１８）にて算出される。

座標（ｉ＋１，ｊ）におけるＲ信号の水平方向のＨＰＦ値ＲＨＰＦＨとＲ信号の垂直方向のＨＰＦ値ＲＨＰＦＶは、次式（１９）にて算出される。

一方、Ｒ信号が予め存在する行、例えばｊ＋１行の画素位置（ｉ，ｊ＋１）のＲ信号の水平方向のＨＰＦ値ＲＨＰＦＨとＲ信号の垂直方向のＨＰＦ値ＲＨＰＦＶは、次式（２０）にて算出される。

さらに、Ｒ信号が予め存在する行、例えばｊ＋１行の画素位置（ｉ＋１，ｊ＋１）のＲ信号の水平方向のＨＰＦ値ＲＨＰＦＨとＲ信号の垂直方向のＨＰＦ値ＲＨＰＦＶは、次式（２１）にて算出される。

Ｒ画素の配列は（ｉ，ｊ）、（ｉ＋１，ｊ）、（ｉ，ｊ＋１）、（ｉ＋１，ｊ＋１）の繰り返しであるため、上記式（１８）から式（２１）にてＲ信号の水平方向のＨＰＦ値とＲ信号の垂直方向のＨＰＦ値も算出することができる。Ｒ信号の水平方向のＨＰＦ値とＲ信号の垂直方向のＨＰＦ値は図１０のＲＨＰＦＨ１６ｒとＲＨＰＦＶ１７ｒによって算出され、加重加算手段３５ｒ、３５ｇ、３５ｂを経て、非相関値算出手段１２に入力される。

最後に、Ｂ信号のＬＰＦ値、ＨＰＦ値であるが、Ｂ画素の配列はＲ画素の配列と座標値が異なるだけであり、同様の配列をしている。よって、式（１２）から式（２１）に示したＲ信号のＬＰＦ、ＨＰＦの算出式と同様に、その座標を変えるだけで算出することができるためその詳細式は省略する。Ｂ信号の水平方向のＬＰＦ値とＢ信号の垂直方向のＬＰＦ値の演算は図６のＢＬＰＦＨ１４ｂとＢＬＰＦＶ１５ｂによって算出され、加重加算手段３５ｒ、３５ｇ、３５ｂを経て、演算手段１０に入力される。また、Ｂ信号の水平方向のＨＰＦ値とＢ信号の垂直方向のＨＰＦ値の演算は図１０のＢＨＰＦＨ１６ｂとＢＨＰＦＶ１７ｂによって算出され、加重加算手段３６ｒ、３６ｇ、３６ｂを経て、非相関値算出手段１２に入力される。

以上示したＬＰＦ及びＨＰＦの算出式は式（４）に用いるための値を算出する式であるが、一例に過ぎず、例えば、ＬＰＦ値の演算式及びＨＰＦ値の演算式において用いる画素数や係数は画像の大きさや解像度に応じて他の値を適切に設けても良い。

次に、係数βの算出や、ＬＰＦ値やＨＰＦ値を算出する際の係数ＫｈとＫｖを算出するために用いる水平方向相関係数Δｈと垂直方向相関係数Δｖの算出方法について説明する。
画素位置（ｉ，ｊ）の水平方向相関係数Δｈは、例えば式（２２）で示すような方法で求める。

つまり、Ｒ、Ｇ、Ｂ成分別に水平方向における信号成分の変化量を求め、各色成分の変化量を加算する。

同様に、画素位置（ｉ，ｊ）の垂直方向相関係数Δｖは、例えば式（２３）で示すような方法で求める。

相関係数ΔｈとΔｖは、係数算出手段１３と非相関値算出手段１２に入力される。
係数算出手段１３では、例えば式（５）に基づいて係数βを算出する。算出された係数βは、非相関値算出手段１２に入力される。

以上の相関係数ΔｈとΔｖの算出式は一例に過ぎず、用いる画素数や係数は画像の大きさや解像度に応じて他の値を適切に設けても良い。また、予め存在している画素信号のみ用いて相関係数ΔｈとΔｖを算出したが、補間により算出された画素信号を用いて算出しても良い。

また、この実施の形態では、係数β、Ｋｈ、Ｋｖの算出に用いるΔｈ、Δｖは全て同じ方法で求めた値として説明しているが、それぞれ別の方法で求めた値を用いても良い。また、Ｒ、Ｇ、Ｂ全ての色成分を用いて色の変化成分を求めているが、１つの色、または補間演算に使用する２つの色成分のみを用いて求めても良い。

上述した式（５）から式（２３）により、Ｒ，Ｇ，Ｂ信号の画像全ての画素位置に対するＬＰＦ値、ＨＰＦ値及び係数βが求められる。ステップＳ１ではＲ画素の位置における欠落したＧ信号を算出する。Ｒ画素の位置におけるＧ信号は式（４）に従い次式（２４）にて算出される。Ｒ画素は（ｉ＋ｎ，ｊ＋ｍ）（ｎ，ｍは奇数）の位置に存在するため、これに伴い式（４）とは座標値が異なるものとなる。

Ｇ（ｉ＋ｎ，ｊ＋ｍ）
＝ Ｒ（ｉ＋ｎ，ｊ＋ｍ）
＋β・ｑ｛ＧＨＰＦ（ｉ＋ｎ，ｊ＋ｍ）−ＲＨＰＦ（ｉ＋ｎ，ｊ＋ｍ）｝
＋ｒ｛ＧＬＰＦ（ｉ＋ｎ，ｊ＋ｍ）−ＲＬＰＦ（ｉ＋ｎ，ｊ＋ｍ）｝
…（２４）

式（２４）にて示したＧＨＰＦ，ＧＬＰＦ，ＲＨＰＦ，ＲＬＰＦ，βは上述した式（５）から式（２３）にて算出したＨＰＦ値，ＬＰＦ値及び係数βである。定数ｑ、ｒは画像が最適に補間されるように予め定めておけばよい。例えば、ｑ＝０．２５、ｒ＝１で良好に画素補間を行うことができるが、この値に限定されるものではない。図２５は、式（２４）による補間の結果得られたＧ信号ｇｒをそれぞれ対応するＲ画素位置に２次元的に示す。

次に、ステップＳ２の演算処理に移る。ステップＳ２はＢ画素の位置において欠落したＧ信号を補間する。Ｂ画素の位置におけるＧ信号は式（４）に従い次式（２５）にて算出される。Ｂ画素は（ｉ＋ｓ，ｊ＋ｔ）（ｓ，ｔは偶数）の位置に存在するため、これに伴い式（４）とは座標値が異なるものとなる。

Ｇ（ｉ＋ｓ，ｊ＋ｔ）
＝ Ｂ（ｉ＋ｓ，ｊ＋ｔ）
＋β・ｑ｛ＧＨＰＦ（ｉ＋ｓ，ｊ＋ｔ）−ＢＨＰＦ（ｉ＋ｓ，ｊ＋ｔ）｝
＋ｒ｛ＧＬＰＦ（ｉ＋ｓ，ｊ＋ｔ）−ＢＬＰＦ（ｉ＋ｓ，ｊ＋ｔ）｝
…（２５）

図２６は、式（２５）による補間の結果得られたＧ信号ｇｂをそれぞれ対応するＢ画素位置に２次元的に示す。図２６には、式（２４）による補間の結果ｇｒも示されている。
式（２４）による、Ｒ画素位置のＧ信号の補間、及び式（２５）による、Ｂ画素位置におけるＧ信号の補間により、全画素位置におけるＧ信号が得られる。

次に、ステップＳ３の演算処理に移る。ステップＳ３はＧ画素の位置において欠落したＲ信号を補間する。Ｇ画素の位置におけるＲ信号は式（４）に従い次式（２６）、式（２７）にて算出される。Ｇ画素は（ｉ＋ｓ，ｊ＋ｍ）（ｓは偶数、ｍは奇数）の位置と（ｉ＋ｎ，ｊ＋ｔ）（ｎは奇数、ｔは偶数）とに存在するため、これに伴い式（４）とは座標値が異なるものとなる。

Ｒ（ｉ＋ｓ，ｊ＋ｍ）
＝ Ｇ（ｉ＋ｓ，ｊ＋ｍ）
＋β・ｑ｛ＲＨＰＦ（ｉ＋ｓ，ｊ＋ｍ）−ＧＨＰＦ（ｉ＋ｓ，ｊ＋ｍ）｝
＋ｒ｛ＲＬＰＦ（ｉ＋ｓ，ｊ＋ｍ）−ＧＬＰＦ（ｉ＋ｓ，ｊ＋ｍ）｝
…（２６）

Ｒ（ｉ＋ｎ，ｊ＋ｔ）
＝ Ｇ（ｉ＋ｎ，ｊ＋ｔ）
＋β・ｑ｛ＲＨＰＦ（ｉ＋ｎ，ｊ＋ｔ）−ＧＨＰＦ（ｉ＋ｎ，ｊ＋ｔ）｝
＋ｒ｛ＲＬＰＦ（ｉ＋ｎ，ｊ＋ｔ）−ＧＬＰＦ（ｉ＋ｎ，ｊ＋ｔ）｝
…（２７）

図２７は、式（２６）及び式（２７）による補間の結果得られたＲ信号ｒｇをそれぞれ対応するＧ画素位置に２次元的に示す。
なお、式（２６）及び式（２７）においてもＲＬＰＦ，ＲＨＰＦ，ＧＬＰＦ，ＧＨＰＦ，βは上述した式（６）から式（２３）に示したＬＰＦ値，ＨＰＦ値及び係数βであるが、ＧＬＰＦ及びＧＨＰＦについては、ステップＳ１及びステップＳ２で算出した補間値ｇｒ、ｇｂを用いて新たに算出してもよい。その場合、図１に示すように、演算手段１０にて算出した補間値ｇｒ、ｇｂを一度２次元メモリ６ｇへ出力し、一時的に記憶保持した後、再度ＨＰＦ７ｇ、ＬＰＦ８ｇにて算出することとなる。つまり、ステップＳ３以降では、ステップＳ１、Ｓ２で算出したｇｒ、ｇｂを用いて、式（７）、（８）、（１０）、（１１）とは異なる方法でＧＬＰＦ、ＧＨＰＦ値を算出してもよい。

次に、ステップＳ４の演算処理に移る。ステップＳ４はＧ画素の位置において欠落したＢ信号を補間する。Ｇ画素の位置におけるＢ信号は式（４）に従い次式（２８）、式（２９）にて算出される。Ｇ画素は（ｉ＋ｓ，ｊ＋ｍ）（ｓは偶数、ｍは奇数）の位置と（ｉ＋ｎ，ｊ＋ｔ）（ｎは奇数、ｔは偶数）とに存在するため、これに伴い式（４）とは座標値が異なるものとなる。

Ｂ（ｉ＋ｓ，ｊ＋ｍ）
＝ Ｇ（ｉ＋ｓ，ｊ＋ｍ）
＋β・ｑ｛ＢＨＰＦ（ｉ＋ｓ，ｊ＋ｍ）−ＧＨＰＦ（ｉ＋ｓ，ｊ＋ｍ）｝
＋ｒ｛ＢＬＰＦ（ｉ＋ｓ，ｊ＋ｍ）−ＧＬＰＦ（ｉ＋ｓ，ｊ＋ｍ）｝
…（２８）

Ｂ（ｉ＋ｎ，ｊ＋ｔ）
＝ Ｇ（ｉ＋ｎ，ｊ＋ｔ）
＋β・ｑ｛ＢＨＰＦ（ｉ＋ｎ，ｊ＋ｔ）−ＧＨＰＦ（ｉ＋ｎ，ｊ＋ｔ）｝
＋ｒ｛ＢＬＰＦ（ｉ＋ｎ，ｊ＋ｔ）−ＧＬＰＦ（ｉ＋ｎ，ｊ＋ｔ）｝
…（２９）

図２８は、式（２８）及び式（２９）による補間の結果得られたＢ信号ｂｇをそれぞれ対応するＧ画素位置に２次元的に示す。
なお、本式（２８）及び式（２９）においてもＢＬＰＦ，ＢＨＰＦ，ＧＬＰＦ，ＧＨＰＦ，βは上述したＬＰＦ値，ＨＰＦ値及び係数βであるが、ＧＬＰＦ及びＧＨＰＦについては、ステップＳ１及びステップＳ２で算出した補間値ｇｒ、ｇｂを用いて新たに算出してもよい。

次に、ステップＳ５の演算処理に移る。ステップＳ５はＢ画素の位置において欠落したＲ信号を補間する。Ｂ画素の位置におけるＲ信号は式（４）に従い次式（３０）にて算出される。Ｂ画素は（ｉ＋ｓ，ｊ＋ｔ）（ｓ，ｔは偶数）の位置に存在するため、これに伴い式（４）とは座標値が異なるものとなる。

Ｒ（ｉ＋ｓ，ｊ＋ｔ）
＝ Ｇ（ｉ＋ｓ，ｊ＋ｓ）
＋β・ｑ｛ＲＨＰＦ（ｉ＋ｓ，ｊ＋ｔ）−ＧＨＰＦ（ｉ＋ｓ，ｊ＋ｔ）｝
＋ｒ｛ＲＬＰＦ（ｉ＋ｓ，ｊ＋ｔ）−ＧＬＰＦ（ｉ＋ｓ，ｊ＋ｔ）｝
…（３０）

図２９は、式（３０）による補間の結果得られたＲ信号ｒｂをそれぞれ対応するＢ画素位置に２次元的に示す。図２９にはまた、式（２６）及び式（２７）による補間の結果得られたＲ信号ｒｇをそれぞれ対応するＧ画素位置に示されている。式（２６）及び式（２７）による補間と、式（３０）による補間の結果、すべての画素のＲ信号が揃う。
なお、式（３０）においてもＲＬＰＦ，ＲＨＰＦ，ＧＬＰＦ，ＧＨＰＦ，βは上述したＬＰＦ値，ＨＰＦ値及び係数βであるが、ＧＬＰＦ及びＧＨＰＦについては、ステップＳ１及びステップＳ２で算出した補間値ｇｒ、ｇｂを用いて新たに算出してもよい。また、ＲＬＰＦ、ＲＨＰＦも、ステップＳ３にて算出した補間値ｒｇを用いて新たに算出してよい。

次に、ステップＳ６の演算処理に移る。ステップＳ６はＲ画素の位置において欠落したＢ信号を補間する。Ｒ画素の位置におけるＢ信号は式（４）に従い次式（３１）にて算出される。Ｒ画素は（ｉ＋ｎ，ｊ＋ｍ）（ｎ，ｍは奇数）の位置に存在するため、これに伴い式（４）とは座標値が異なるものとなる。

Ｂ（ｉ＋ｎ，ｊ＋ｍ）
＝ Ｇ（ｉ＋ｎ，ｊ＋ｍ）
＋β・ｑ｛ＢＨＰＦ（ｉ＋ｎ，ｊ＋ｍ）−ＧＨＰＦ（ｉ＋ｎ，ｊ＋ｍ）｝
＋ｒ｛ＢＬＰＦ（ｉ＋ｎ，ｊ＋ｍ）−ＧＬＰＦ（ｉ＋ｎ，ｊ＋ｍ）｝
…（３１）

図３０は、式（３１）による補間の結果得られたＢ信号ｂｒをそれぞれ対応するＲ画素位置に２次元的に示す。図３０にはまた、式（２８）及び式（２９）による補間の結果得られたＢ信号ｂｇがそれぞれ対応するＧ画素位置が示されている。式（２８）及び式（２９）による補間と、式（３１）による補間の結果、すべての画素のＢ信号が揃う。
なお、式（３１）においてもＢＬＰＦ，ＢＨＰＦ，ＧＬＰＦ，ＧＨＰＦ，βは上述したＬＰＦ値，ＨＰＦ値及び係数βであるが、ＧＬＰＦ及びＧＨＰＦについては、ステップＳ１及びステップＳ２で算出した補間値ｇｒ、ｇｂを用いて新たに算出してもよい。また、ＢＬＰＦ、ＢＨＰＦも、ステップＳ４にて算出した補間値ｂｇを用いて新たに算出してよい。

以上ステップＳ１からステップＳ６の演算により、各画素において欠落した色信号を補間し、全画素のＲ，Ｇ，Ｂ信号が得られる。

上記の例で説明したハイパスフィルタ７ｒ、７ｇ、７ｂ、ローパスフィルタ８ｒ、８ｇ、８ｂ、方向別相関算出手段９、係数算出手段１３、非相関値算出手段１２及び演算手段１０は、ソフトウェアにより、即ちプログラムされたコンピュータにより実現することもできる。その場合、ステップＳ１〜Ｓ６の処理は以下のようにして行われる。

図３１はステップＳ１の手順を示すフローチャートである。ステップＳ１ではＲ画素の位置における欠落したＧ信号を算出するので、Ｒ信号が予め存在する画素を注目画素として選択する（ステップＳ１０）。
まず、選択した注目画素位置における水平方向相関係数Δｈと垂直方向相関係数Δｖを算出する（ステップＳ１１）。
水平方向相関係数Δｈと垂直方向相関係数Δｖを用いて、選択した注目画素位置におけるＧ色のＬＰＦ値とＲ色のＬＰＦ値を算出し（ステップＳ１２、Ｓ１３）、その差に所定の定数ｒを乗じた値を低周波成分の差とする（ステップＳ１４）。
次に、選択した注目画素位置におけるＧ色のＨＰＦ値とＲ色のＨＰＦ値を算出する（ステップＳ１５、Ｓ１６）。
更に、水平方向相関係数Δｈと垂直方向相関係数Δｖを用いて係数βを算出し（ステップＳ１７）、係数βと所定の定数ｑをＲ色とＧ色のＨＰＦ値の差に乗じて非相関値を算出する（ステップＳ１８）。
そして、注目画素位置におけるＲ色信号に、低周波成分の差と非相関値を加算してＧ色信号を算出する（ステップＳ１９）。得られたＧ色信号の値は２次元メモリ６ｇへ出力する（ステップＳ２０）。以上の処理をＲ信号が予め存在する全ての画素について繰り返し実行する（ステップＳ２１）。

ステップＳ２〜Ｓ６の処理も、ステップＳ１と同様である。即ち、ステップＳ２〜Ｓ６の各々の手順は、図３１のフローチャートの「Ｒ」と「Ｇ」を、注目画素の色（ｈ）と補間により求めたい色（ｋ）に置き換えたものとして示される。

図３１に示す各ステップと図１、図１４、図１５に示す部材との対応関係は以下の通りである。即ち、
ステップＳ１０の処理は選択手段２１における処理及び図示しない制御手段（制御手段３０ａ、３０ｂはその一部をなす）による処理に対応し、
ステップＳ１１の処理は、方向別相関算出手段９における処理に対応し、
ステップＳ１２の処理は、ローパスフィルタ８ｇ及び選択手段２４ｋにおける処理に対応し、
ステップＳ１３の処理は、ローパスフィルタ８ｒ及び選択手段２４ｈにおける処理に対応し、
ステップＳ１４の処理は、差計算手段２６及び係数乗算手段２８における処理に対応し、
ステップＳ１５の処理は、ハイパスフィルタ７ｇ及び選択手段２３ｋにおける処理に対応し、
ステップＳ１６の処理は、ハイパスフィルタ７ｒ及び選択手段２３ｈにおける処理に対応し、
ステップＳ１７の処理は、係数算出手段１３における処理に対応し、
ステップＳ１８の処理は、差計算手段２５及び係数乗算手段２７における処理に対応し、
ステップＳ１９の処理は、加算手段２９における処理に対応し、
ステップＳ２０の処理は、演算手段１０から２次元メモリ６ｇへのデータ転送、書き込みに対応する。
ステップＳ２１の処理、及び各ステップにおける各手段の制御は、制御手段（図１４、図１５の制御手段３０ａ、３０ｂはその一部をなすが、その全体は図示されていない）によって行われる。

図３２はステップＳ１７の手順を示すフローチャートである。ステップＳ１７では係数βを算出する。初めに、方向別相関係数算出手段９で求めた水平方向相関係数Δｈと垂直方向相関係数Δｖをしきい値Ｔｈ３と比較し（ステップＳ３１）、共にＴｈ３より低い場合には係数βを０とする（ステップＳ３２）。そうでない場合、水平方向相関係数Δｈと垂直方向相関係数Δｖの差の絶対値をしきい値Ｔｈ４と比較し（ステップＳ３３）、Ｔｈ４より小さい場合には係数βをＮとし（ステップＳ３４）、そうでない場合は係数βを０とする（ステップＳ３５）。

実施の形態２．
次に実施の形態２の画像信号処理装置を説明する。実施の形態２の画像信号処理装置を備えた撮像装置の全体的構成は、図１に示すごとくであるが、演算手段１０の構成が実施の形態１とは異なる。図３３は、実施の形態２の演算手段の構成を示す。図３３に示された演算手段は、概して図１５の演算手段と同様であるが、差計算手段２６の代わりに比計算手段３２を備え、加算手段２９の代わりに、加算手段３３と乗算手段３４の組合せを有する点で異なる。

比計算手段３２は、選択手段２４ｋの出力と選択手段２４ｈの出力の比ｋＬＰＦ／ｈＬＰＦを求める。
係数乗算手段２８は、比計算手段３２の出力ｋＬＰＦ／ｈＬＰＦに所定の係数ｒを掛け、その積ｒ（ｋＬＰＦ／ｈＬＰＦ）を出力する。
加算手段３３は、選択手段２１から出力される画素値ｈと、非相関値算出手段１２から出力される値βｑ（ｋＨＰＦ−ｈＨＰＦ）とを加算して、その和
ｈ＋βｑ（ｋＨＰＦ−ｈＨＰＦ）
を出力する。

乗算手段３４は、加算手段３３の出力
ｈ＋βｑ（ｋＨＰＦ−ｈＨＰＦ）
と、係数乗算手段２８の出力
ｒ（ｋＬＰＦ／ｈＬＰＦ）
とを乗算し、その積

を出力する。
乗算手段３４の出力が、補間対象画素の第ｋの色の色成分値（補間値）として用いられる。

上記のうち、係数乗算手段２８、加算手段３３及び乗算手段３４により、注目画素位置における第ｈの画素信号と、非相関値算出手段１２で算出した非相関値βとを加算した値に、比算出手段３２で求めた比に定数ｒを掛けたものを乗算して、注目画素位置における第ｋの画素信号を求める補間値算出手段が構成されている。

補間値算出手段で算出された補間値は例えば第ｋの色の画素信号のための２次元メモリ（６ｒ、６ｇ、６ｂのいずれか）に記憶され、或いは出力端子１１から出力される。

上記した演算手段１０による補間演算は次式（３２）で表される。

式（３２）において、式（４）と同様にｋ（ｉ，ｊ）はイメージセンサ２上の座標（ｉ，ｊ）において、欠落した色信号であり、補間される色信号である。ｈ（ｉ，ｊ）は（ｉ，ｊ）の位置に予め存在する色信号である。ｋＨＰＦ，ｈＨＰＦはｋ信号及びｈ信号の（ｉ，ｊ）の位置の周辺の画素から所定の演算により算出されたＨＰＦ値である。ｋＬＰＦ，ｈＬＰＦはｋ信号及びｈ信号の（ｉ，ｊ）の位置の周辺の画素から別の所定の演算により算出されたＬＰＦ値である。ｑ及びｒは予め定めた定数である。係数βは、水平方向相関係数Δｈと垂直方向相関係数Δｖに応じて変化する値で、（ｉ，ｊ）の位置とその周辺の画素位置において、水平方向、垂直方向の少なくとも一方に強い相関がある場合には、βの値をは小さくなるように設定する。

式（３２）に示した算出式の意味について図３４〜図３７を参照して説明する。これらの図には、図２０〜図２３と同様に、各信号レベルとイメージセンサ２上の各画素の位置が示されている。また、説明を簡単にするため、イメージセンサ２の１行だけを記載し、一次元方向だけに演算を限定して示す。上部に記載したのは各色フィルタの配列であり、ｈはｈ画素、ｋはｋ画素、各画素の括弧（ ）内は画素位置を示す座標である。また、曲線ａはｋ信号の真値であり、曲線ｂはｈ信号の真値である。曲線ａ、ｂ上において、黒丸印（●）で示した箇所は、イメージセンサ２から出力されたｋ信号及びｈ信号の画素信号値である。曲線ｃ、ｄはそれぞれｋ信号、ｈ信号のＬＰＦ値であり、曲線ｅ，ｆはそれぞれｋ信号、ｈ信号のＨＰＦ値である。これら図を参照して、画素位置（ｉ，ｊ）におけるｋ信号の画素補間を行う方法を具体的に述べる。
図３４は、ｋ信号とｈ信号との間に正の相関がある場合を示し、図３５及び図３６は、ｋ信号とｈ信号との間に相関がない場合を示し、図３７は、ｋ信号とｈ信号との間に負の相関がある場合を示す。

最初に図３４を参照してｋ信号とｈ信号との間に正の相関がある場合について説明する。曲線ｅとｆで示されるＨＰＦ値、はｋ信号とｈ信号の変化が同様の場合、同じ値となるため重なって描写されている。
ただし、演算方法やフィルタの作り方によっては誤差が含まれてしまい、非相関値が“０”とならない場合がある。そこで、本方式では、相関の有無により変化する係数βを非相関値に乗じた値を改めて非相関値とし、相関がある場合には非相関値が小さくなる仕組みにしている。
従来技術によるバイリニア方法では、画素位置（ｉ−１，ｊ）と（ｉ＋１，ｊ）におけるｋ信号を用いてその平均値を画素位置（ｉ，ｊ）におけるｋ信号とする。バイリニア方法によって補間された信号レベルを、図３４において白三角印（△）で示したが、求められるべき真値と補間誤差が生じている。

一方、本実施の形態による補間方法では、画素位置（ｉ，ｊ）において既知の値ｈ（ｉ，ｊ）に、非相関値（ｋＨＰＦ−ｈＨＰＦ）を係数βと係数ｑを乗じた後加算し、加算結果に、比ｋＬＰＦ／ｈＬＰＦに係数ｒを乗じたものを乗算することにより得られた値が、補間信号ｋ（ｉ，ｊ）となる。ｋＬＰＦ／ｈＬＰＦは、ＬＰＦ値の比を表すものであり、この比は、相関の程度を表し、相関の度合いが高いほど「１」により近くなる。

実施の形態１にて述べたように画像の局所的な領域では信号の変化には強い相関がある。よって、信号の緩やかな変化を示すＬＰＦ値とそれぞれの信号との間には次式（３３）が成り立つ。

ｋ（ｉ，ｊ）：ｈ（ｉ，ｊ）＝ｋＬＰＦ（ｉ，ｊ）：ｈＬＰＦ（ｉ，ｊ）
…（３３）

式（３３）を変形すると、ｈ画素のある（ｉ，ｊ）におけるｋ（ｉ，ｊ）の信号は次式（３４）で表すことができる。

式（３４）は画像の局所的な領域では信号の変化に強い相関を持つと仮定しており、画像のほとんどの領域では上記仮定が成り立つため、信号の変化に正の相関の高い領域では精度の高い画素補間を可能とする。しかし、実施の形態１と同様に画像のエッジなど相関がない領域や、負の相関を有する領域では画素補間誤差が発生する。

図３４では画素位置（ｉ，ｊ）における、曲線ｃとｄとの比がｋＬＰＦ／ｈＬＰＦとなる。画素位置（ｉ，ｊ）における曲線ｅとｆの差が（ｋＨＰＦ−ｈＨＰＦ）となる。本実施の形態による補間方法では、画素位置（ｉ，ｊ）において既知の値ｈ（ｉ，ｊ）に（ｋＨＰＦ−ｈＨＰＦ）に係数βと係数ｑを掛けたものを加算し、ｋＬＰＦ／ｈＬＰＦに係数ｒを掛けたものを乗ずる。式（３２）で示す本方法によって算出された補間信号ｋ（ｉ，ｊ）を図３４に白丸印（○）にて示す。真値に対して精度良く画素補間が実現できている。図３４に示したように、ｋ信号とｈ信号との信号の変化が同様である場合、（ｋＨＰＦ−ｈＨＰＦ）は“０”に近くなるため、ＬＰＦから求められる変化の信号間の比に比例した値を掛けることにより補間信号が算出されることになる。本方法により、色信号間の相関が大きい場合精度良く画素補間を行うことができる。

次に色信号間に相関が無い場合について説明する。画像のエッジなどでは各色の間の相関が低くなるため式（３４）では補間誤差が生じてしまう。そこで、エッジ部では相関が低くなることを考慮し、式（３４）にＨＰＦの信号差（ｋＨＰＦ−ｈＨＰＦ）を挿入し、上記式（３２）の補間方法とすることで上記の問題を解決することができる。式（３２）において、（ｋＨＰＦ（ｉ，ｊ）−ｈＨＰＦ（ｉ，ｊ））は画像エッジ部の信号成分の差であり、ｋ信号とｈ信号の変化にエッジ部でも強い相関がある場合には、“０”となるため、式（３２）でｒ＝１であれば、式（３４）と同じ式となる。各色の相関が無い場合には、（ｋＨＰＦ（ｉ，ｊ）−ｈＨＰＦ（ｉ，ｊ））が各色の信号の固有の値に関係するので、各色について高精度の画素補間を実現することができる。

図３５及び図３６に各信号レベルとイメージセンサ２上の各画素の位置を示す。図３５及び図３６に示した信号ではｋ信号とｈ信号の変化に相関が無い。

まず、図３５を参照して説明する。図３５の例では、ｋ信号に変化が無いため曲線ｅで示されるｋ信号のＨＰＦ値ｋＨＰＦは“０”である。
式（３４）で示した色の相関変化だけを用いた補間を行う場合、画素位置（ｉ，ｊ）における補間対象のｋ信号は変化していないにもかかわらず、参照とするｈ信号が変化しているため、白四角印（□）で示す信号レベルに画素補間され、補間誤差が生じる。
しかし、ｋ信号とｈ信号との信号変化にどれだけ相関が無いかは、（ｋＨＰＦ−ｈＨＰＦ）の値として求められることとなる。よって、（ｋＨＰＦ−ｈＨＰＦ）の値に係数βと係数ｑを掛けたものが、ｈ（ｉ，ｊ）の値に加算され、加算結果に、ｒ（ｋＬＰＦ／ｈＬＰＦ）が乗算される。図３５の場合、ｋＨＰＦは“０”であり、画素位置（ｉ，ｊ）における（ｋＨＰＦ−ｈＨＰＦ）は負の値になるため、ｈ（ｉ，ｊ）の値はある値が差し引かれることとなる。
本実施の形態による演算（式（３２））の画素補間の信号レベルを白丸印（○）にて示す。真値と比べ精度高く補間できている。このように信号間に相関が無い場合でも精度高く画素補間を行うことができる。

図３６には図３５とは逆にｋ信号が変化して、ｈ信号に変化が無い、２つの色信号間に相関が無い別の例を示す。式（３４）による色の相関変化だけを用いた補間を行う場合、ｈ（ｉ，ｊ）の信号にｋＬＰＦ／ｈＬＰＦの信号レベル比に係数ｒを掛けたものが乗算されることになる。この場合、画素補間された信号レベルを図３６において白四角印（□）で示す信号レベルとなる。白四角印に示す信号レベルはｋ信号の真値から離れた位置の値となるため補間誤差が生じていることが分かる。
一方、本実施の形態による画素補間方法では、画素位置（ｉ，ｊ）におけるｈ信号ｈ（ｉ，ｊ）に（ｋＬＰＦ−ｈＬＰＦ）に係数βと係数ｑを掛けたものが加算され、加算結果に、ｒ（ｋＬＰＦ／ｈＬＰＦ）が乗算される。図３６の場合、ｈＨＰＦは“０”であり、画素位置（ｉ，ｊ）における（ｋＨＰＦ−ｈＨＰＦ）は正の値となる。本実施の形態による補間方法では補間された信号レベルは白丸印（○）の位置となり、ｋ信号の真値に対して精度高く補間される。

図３５及び図３６では色信号間に相関が無い場合について説明したが、次に色信号間に負の相関がある場合について説明する。図３７にｋ信号とｈ信号との間に負の相関がある場合を示す。バイリニア補間方法による画素補間は白三角印（△）で示す信号レベルであり図３４と同様に真値に対して補間誤差が生じている。また、負の相関関係である場合、式（３４）による色の相関変化だけを用いた画素補間では白四角印（□）で示すようにさらに補間誤差が拡大する。本実施の形態による補間方法では白丸印（○）で示すように精度高く画素補間が実現できている。
以上のように、色信号間に正の相関がある場合、相関が無い場合、負の相関となっている場合のいずれにおいても精度の高い画素補間を行うことができる。

画素補間の演算処理については実施の形態１と同様に、図２４に示したフローチャートの手順にて行う。フローチャートに示した６つの処理がすべて終わったときに、１画面上のすべての画素位置のすべての画素における不足した色の画素信号が揃う。

各手順における演算処理を具体的に説明する。まず、各色信号Ｒ，Ｇ，ＢのＨＰＦ、ＬＰＦ値は実施の形態１と同様に式（６）から式（２１）に示す演算にて求められる。

まず、ステップＳ１の演算処理について説明する。ステップＳ１ではＲ画素の位置における欠落したＧ信号を算出する。Ｒ画素の位置におけるＧ信号は式（３２）に従い次式（３５）にて算出される。Ｒ画素は（ｉ＋ｎ，ｊ＋ｍ）（ｎ，ｍは奇数）の位置に存在するため、これに伴い式（３２）とは座標値が異なるものとなる。

定数ｑ、ｒは画像が最適に補間されるように予め定めておけばよい。例えば、ｑ＝０．２５、ｒ＝１でも良好に画素補間を行うことができる。図２５は、式（３５）による補間の結果ｇｒをそれぞれ対応するＲ画素位置に示す。

次に、ステップＳ２の演算処理に移る。ステップＳ２はＢ画素の位置において欠落したＧ信号を補間する。Ｂ画素の位置におけるＧ信号は式（３２）に従い次式（３６）にて算出される。Ｂ画素は（ｉ＋ｓ，ｊ＋ｔ）（ｓ，ｔは偶数）の位置に存在するため、これに伴い式（３２）とは座標値が異なるものとなる。

図２６は、式（３６）による補間の結果ｇｂをそれぞれ対応するＢ画素位置に示す。図２６には、式（３５）による補間の結果ｇｒも示されている。式（３５）による、Ｒ画素位置のＧ信号の補間、及び式（３６）による、Ｂ画素位置におけるＧ信号の補間により、全画素位置におけるＧ信号が得られる。

次に、ステップＳ３の演算処理に移る。ステップＳ３はＧ画素の位置において欠落したＲ信号を補間する。Ｇ画素の位置におけるＲ信号は式（３２）に従い次式（３７）、式（３８）にて算出される。Ｇ画素は（ｉ＋ｓ，ｊ＋ｍ）（ｓは偶数、ｍは奇数）の位置と（ｉ＋ｎ，ｊ＋ｔ）（ｎは奇数、ｔは偶数）とに存在するため、これに伴い式（３２）とは座標値が異なるものとなる。

図２７は、式（３７）及び式（３８）による補間の結果得られたＲ信号ｒｇをそれぞれ対応するＧ画素位置に２次元的に示す。
なお、式（３７）及び式（３８）においてもＲＬＰＦ，ＲＨＰＦ，ＧＬＰＦ，ＧＨＰＦ，βは上述したＬＰＦ、ＨＰＦ及び係数算出手段１３の出力値であるが、ＧＬＰＦ及びＧＨＰＦについては、ステップＳ１及びステップＳ２で算出した補間値ｇｒ、ｇｂを用いて新たに算出してもよい。

次に、ステップＳ４の演算処理に移る。ステップＳ４はＧ画素の位置において欠落したＢ信号を補間する。Ｇ画素の位置におけるＢ信号は式（３２）に従い次式（３９）、式（４０）にて算出される。Ｇ画素は（ｉ＋ｓ，ｊ＋ｍ）（ｓは偶数、ｍは奇数）の位置と（ｉ＋ｎ，ｊ＋ｔ）（ｎは奇数、ｔは偶数）とに存在するため、これに伴い式（３２）とは座標値が異なるものとなる。

図２８は、式（３９）及び式（４０）による補間の結果得られたＢ信号ｂｇをそれぞれ対応するＧ画素位置に２次元的に示す。
なお、本式（３９）及び式（４０）においてもＢＬＰＦ，ＢＨＰＦ，ＧＬＰＦ，ＧＨＰＦ，βは上述したＬＰＦ、ＨＰＦ及び係数算出手段１３の出力値であるが、ＧＬＰＦ及びＧＨＰＦについては、ステップＳ１及びステップＳ２で算出した補間値ｇｒ、ｇｂを用いて新たに算出してもよい。

次に、ステップＳ５の演算処理に移る。ステップＳ５はＢ画素の位置において欠落したＲ信号を補間する。Ｂ画素の位置におけるＲ信号は式（３２）に従い次式（４１）にて算出される。Ｂ画素は（ｉ＋ｓ，ｊ＋ｔ）（ｓ，ｔは偶数）の位置に存在するため、これに伴い式（３２）とは座標値が異なるものとなる。

図２９は、式（４１）による補間の結果得られたＲ信号ｒｂをそれぞれ対応するＢ画素位置に２次元的に示す。図２９にはまた、式（３７）及び式（３８）による補間の結果得られたＲ信号ｒｇがそれぞれ対応するＧ画素位置に示されている。式（３７）及び式（３８）による補間と、式（４１）による補間の結果、すべての画素のＲ信号が揃う。
なお、式（４１）においてもＲＬＰＦ，ＲＨＰＦ，ＧＬＰＦ，ＧＨＰＦ，βは上述したＬＰＦ、ＨＰＦ及び係数算出手段１３の出力値であるが、ＧＬＰＦ及びＧＨＰＦについては、ステップＳ１及びステップＳ２で算出した補間値ｇｒ、ｇｂを用いて新たに算出してもよい。また、ＲＬＰＦ、ＲＨＰＦも、ステップＳ３にて算出した補間値ｒｇを用いて新たに算出してよい。

次に、ステップＳ６の演算処理に移る。ステップＳ６はＲ画素の位置において欠落したＢ信号を補間する。Ｒ画素の位置におけるＢ信号は式（３２）に従い次式（４２）にて算出される。Ｒ画素は（ｉ＋ｎ，ｊ＋ｍ）（ｎ，ｍは奇数）の位置に存在するため、これに伴い式（３２）とは、座標値が異なるものとなる。

図３０は、式（４２）による補間の結果得られたＢ信号ｂｒをそれぞれ対応するＲ画素位置に２次元的に示す。図３０にはまた、式（３９）及び式（４０）による補間の結果得られたＢ信号ｂｇがそれぞれ対応するＧ画素位置に示されている。式（３９）及び式（４０）による補間と、式（４２）による補間の結果、すべての画素のＢ信号が揃う。
なお、式（３８）においてもＢＬＰＦ，ＢＨＰＦ，ＧＬＰＦ，ＧＨＰＦ，βは上述したＬＰＦ、ＨＰＦ及び係数算出手段１３の出力値であるが、ＧＬＰＦ及びＧＨＰＦについては、ステップＳ１及びステップＳ２で算出した補間値ｇｒ、ｇｂを用いて新たに算出してもよい。また、ＢＬＰＦ、ＢＨＰＦも、ステップＳ４にて算出した補間値ｂｇを用いて新たに算出してよい。

以上ステップＳ１からステップＳ６の演算により、各画素において欠落した色信号を補間し、全画素のＲ，Ｇ，Ｂ信号が得られる。

上記の例で説明したハイパスフィルタ７ｒ、７ｇ、７ｂ、ローパスフィルタ８ｒ、８ｇ、８ｂ、フィルタ閾値算出１２及び演算手段１０は、ソフトウェアにより、即ちプログラムされたコンピュータにより実現することもできる。その場合、ステップＳ１〜Ｓ６の処理は以下のようにして行われる。

図３８はステップＳ１の手順を示すフローチャートである。ステップＳ１ではＲ画素の位置における欠落したＧ信号を算出するので、Ｒ信号が予め存在する画素を注目画素として選択する（ステップＳ４０）。
まず、選択した注目画素位置における水平方向相関係数Δｈと垂直方向相関係数Δｖを算出する（ステップＳ４１）。
水平方向相関係数Δｈと垂直方向相関係数Δｖを用いて、選択した注目画素位置におけるＧ色のＬＰＦ値とＲ色のＬＰＦ値を算出し（ステップＳ４２、Ｓ４３）、その比に所定の定数ｒを乗じた値を低周波成分の比とする（ステップＳ４４）。
次に、選択した注目画素位置におけるＧ色のＨＰＦ値とＲ色のＨＰＦ値を算出する（ステップＳ４５、Ｓ４６）。更に、注目画素とその周辺の画素の信号を用いて係数βを算出し（ステップＳ４７）、係数βと所定の定数ｑをＲ色とＧ色のＨＰＦ値の差に乗じて非相関値を算出する（ステップＳ４８）。
そして、注目画素位置におけるＲ色信号に非相関値を加算し、更に低周波成分の比を乗じてＧ色信号を算出する（ステップＳ４９）。得られたＧ色信号の値は２次元メモリ６ｇへ出力する（ステップＳ５０）。以上の処理をＲ信号が予め存在する全ての画素について繰り返し実行する（ステップＳ５１）。

ステップＳ２〜Ｓ６の処理も、ステップＳ１と同様である。即ち、ステップＳ２〜Ｓ６の各々の手順は、図３８のフローチャートの「Ｒ」と「Ｇ」を、注目画素の色（ｈ）と補間により求めたい色（ｋ）に、置き換えたものとして示される。

図３８に示す各ステップと図１、図１４、図１５に示す部材との対応関係は以下の通りである。即ち、
ステップＳ４０の処理は選択手段２１における処理及び図示しない制御手段（制御手段３０ａ、３０ｂはその一部をなす）による処理に対応し、
ステップＳ４１の処理は、方向別相関算出手段９における処理に対応し、
ステップＳ４２の処理は、ローパスフィルタ８ｇ及び選択手段２４ｋにおける処理に対応し、
ステップＳ４３の処理は、ローパスフィルタ８ｒ及び選択手段２４ｈにおける処理に対応し、
ステップＳ４４の処理は、差計算手段３２及び係数乗算手段２８における処理に対応し、
ステップＳ４５の処理は、ハイパスフィルタ７ｇ及び選択手段２３ｋにおける処理に対応し、
ステップＳ４６の処理は、ハイパスフィルタ７ｒ及び選択手段２３ｈにおける処理に対応し、
ステップＳ４７の処理は、係数算出手段１３における処理に対応し、
ステップＳ４８の処理は、差計算手段２５及び係数乗算手段２７における処理に対応し、
ステップＳ４９の処理は、加算手段３３及び乗算手段３４における処理に対応し、
ステップＳ５０の処理は、演算手段１０から２次元メモリ６ｇへのデータ転送、書き込みに対応する。
ステップＳ５１の処理、及び各ステップにおける各手段の制御は、制御手段（図１４、図１５の制御手段３０ａ、３０ｂはその一部をなすが、その全体は図示されていない）によって行われる。

図３８のステップＳ４７における処理は、図３１のステップＳ１７と同様、図３１に示すように行い得る。

実施の形態１及び２において、各色の信号を生成する順序は図２４に示した順序に限るものではなく、信号を生成する順序を入れ替えても差し支えない。例えば、ステップＳ１とステップＳ２、ステップＳ３とステップＳ４、ステップＳ５とステップＳ６は演算の順序を差し替えることができる。

また、実施の形態１及び２において、Ｒ、Ｇ、Ｂの３色からなるカラーフィルタの場合について説明したが、カラーフィルタの色はＲ、Ｇ、Ｂでなくてもよく、また何色であってもよい。

さらに、実施の形態１及び２で説明したハイパスフィルタ７ｒ、７ｇ、７ｂ、ローパスフィルタ８ｒ、８ｇ、８ｂ、方向別相関算出手段９、係数算出手段１３、非相関値算出手段１２及び演算手段１０は、ソフトウェアにより、即ちプログラムされたコンピュータにより実現することもできる。

実施の形態１及び２で説明した方法で補間を行うと、各信号（Ｒ，Ｇ，Ｂ）間に相関があるときは、相関を利用した画素補間を行うことができ、画像のエッジ部分など相関が無い箇所においても、精度の高い画素補間を行うことができ、上記特許文献１（特開２００１−１９７５１２号公報）に開示された方法が抱える、色の境界付近での黒ずみや白抜けなどの画像劣化が発生すると言う問題が著しく改善される。

この発明の実施の形態１の画素信号処理装置を備えた撮像装置の構成を示すブロック図である。 ベイヤ型に配置されたＲ、Ｇ、Ｂの３原色の色フィルタを示す説明図である。 イメージセンサの撮像面上における、Ｒ画素の配置を示す図である。 イメージセンサの撮像面上における、Ｇ画素の配置を示す図である。 イメージセンサの撮像面上における、Ｂ画素の配置を示す図である。 実施の形態１、２のローパスフィルタの構成を示すブロック図である。 Ｒ信号の水平ＬＰＦ値と垂直ＬＰＦ値を示す図である。 Ｇ信号の水平ＬＰＦ値と垂直ＬＰＦ値を示す図である。 Ｂ信号の水平ＬＰＦ値と垂直ＬＰＦ値を示す図である。 実施の形態１、２のハイパスフィルタの構成を示すブロック図である。 Ｒ信号の水平ＨＰＦ値と垂直ＨＰＦ値を示す図である。 Ｇ信号の水平ＨＰＦ値と垂直ＨＰＦ値を示す図である。 Ｂ信号の水平ＨＰＦ値と垂直ＨＰＦ値を示す図である。 実施の形態１の非相関値算出手段の構成を示すブロック図である。 実施の形態１の演算手段の構成を示すブロック図である。 この発明の実施の形態１、２において、Ｇ信号の水平方向のローパスフィルタ値の算出に用いる画素の一例を示す図である。 この発明の実施の形態１、２において、Ｇ信号の水平方向のハイパスフィルタ値の算出に用いる画素の一例を示す図である。 この発明の実施の形態１、２において、Ｂ信号の水平方向のローパスフィルタ値の算出に用いる画素の一例を示す図である。 この発明の実施の形態１、２において、Ｂ信号の水平方向のハイパスフィルタ値の算出に用いる画素の一例を示す図である。 ｋ信号とｈ信号の間に正の相関がある場合の、実施の形態１の画素補間の原理を模式的に示す説明図である。 ｋ信号とｈ信号の間に相関がない場合の、実施の形態１の画素補間の原理を模式的に示す説明図である。 ｋ信号とｈ信号の間に相関がない場合の、実施の形態１の画素補間の原理を模式的に示す説明図である。 ｋ信号とｈ信号の間に負の相関がある場合の、実施の形態１の画素補間の原理を模式的に示す説明図である。 この発明の実施の形態１、２における補間手順を示すフローチャートである。 Ｒ画素位置における画素補間したＧ信号の配列を示す図である。 Ｂ画素位置における画素補間したＧ信号の配列を示す図である。 Ｇ画素位置における画素補間したＲ信号の配列を示す図である。 Ｇ画素位置における画素補間したＢ信号の配列を示す図である。 Ｂ画素位置における画素補間したＲ信号の配列を示す図である。 Ｒ画素位置における画素補間したＢ信号の配列を示す図である。 この発明の実施の形態１において、Ｒ画素位置のＧ信号を補間する手順を示すフローチャートである。 この発明の実施の形態１、２において、係数βを算出する手順を示すフローチャートである。 実施の形態２の演算手段の構成を示すブロック図である。 ｋ信号とｈ信号の間に正の相関がある場合の、実施の形態２の画素補間の原理を模式的に示す説明図である。 ｋ信号とｈ信号の間に相関がない場合の、実施の形態２の画素補間の原理を模式的に示す説明図である。 ｋ信号とｈ信号の間に相関がない場合の、実施の形態２の画素補間の原理を模式的に示す説明図である。 ｋ信号とｈ信号の間に負の相関がある場合の、実施の形態２の画素補間の原理を模式的に示す説明図である。 この発明の実施の形態２において、Ｒ画素位置のＧ信号を補間する手順を示すフローチャートである。

符号の説明

１ レンズ、 ２ イメージセンサ、 ３ Ａ／Ｄ変換器、 ４ フレームメモリ、 ５ デマルチプレクサ、 ６ｒ Ｒ信号用２次元メモリ、 ６ｇ Ｇ信号用２次元メモリ、 ６ｂ Ｂ信号用２次元メモリ、 ７ｒ Ｒ信号用ＨＰＦ、 ８ｒ Ｒ信号用ＬＰＦ、 ７ｇ Ｇ信号用ＨＰＦ、 ８ｇ Ｇ信号用ＬＰＦ、 ７ｂ Ｂ信号用ＨＰＦ、 ８ｂ Ｂ信号用ＬＰＦ、 ９ 方向別相関算出手段、 １０ 演算手段、 １１ 出力端子、 １２ 非相関値算出手段、 １３ 係数算出手段、 ２１、２３ｈ、２３ｋ、２４ｈ、２４ｋ 選択手段、 ２５、２６ 差計算手段、 ２７、２８ 係数乗算手段、 ２９ 加算手段、 ３０ａ、３０ｂ 制御手段、 ３２ 比計算手段、 ３３ 加算手段、 ３４ 乗算手段、 ３５ｒ、３５ｇ、５ｂ、３６ｒ、３６ｇ、３６ｂ 加重加算手段。

Claims (22)

1. ２次元平面上に配列され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素の画素信号の組に基づき、第ｈ（ｈは１からＮのうちのいずれか一つ）の分光感度特性の画素信号が存在する注目画素位置における第ｋ（ｋはｈを除く１からＮのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理装置において、
   上記注目画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の低周波数成分を生成するｈ信号ローパスフィルタと、
   上記注目画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の変化成分を生成するｈ信号ハイパスフィルタと、
   上記注目画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の低周波数成分を生成するｋ信号ローパスフィルタと、
   上記注目画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の変化成分を生成するｋ信号ハイパスフィルタと、
   上記注目画素位置の近傍の領域内の複数の画素位置における画素信号に基づいて、上記注目画素周辺の画素信号の水平及び垂直方向の相関の強さを表す水平方向相関係数Δｈ及び垂直方向相関係数Δｖを生成する方向別相関算出手段と、
   上記水平方向相関係数Δｈと垂直方向相関係数Δｖに応じて変化する係数βを生成する係数算出手段と、
   上記ｋ信号ハイパスフィルタで生成された変化成分と上記ｈ信号ハイパスフィルタで生成された変化成分の差と、上記係数βとに基づいて、第ｋの信号と第ｈの信号との非相関値を算出する非相関値算出手段と、
   上記ｋ信号ローパスフィルタで生成された低周波数成分と上記ｈ信号ローパスフィルタで生成された低周波数成分の差を求める差算出手段と、
   注目画素位置における第ｈの画素信号と、上記非相関値と、上記差算出手段で求めた差に定数を掛けたものを加算して、注目画素位置における第ｋの画素信号を求める補間値算出手段と
   を有する画素信号処理装置。
2. ２次元平面上に配列され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素の画素信号の組に基づき、第ｈ（ｈは１からＮのうちのいずれか一つ）の分光感度特性の画素信号が存在する注目画素位置における第ｋ（ｋはｈを除く１からＮのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理装置において、
   上記注目画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の低周波数成分を生成するｈ信号ローパスフィルタと、
   上記注目画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の変化成分を生成するｈ信号ハイパスフィルタと、
   上記注目画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の低周波数成分を生成するｋ信号ローパスフィルタと、
   上記注目画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の変化成分を生成するｋ信号ハイパスフィルタと、
   上記注目画素位置の近傍の領域内の複数の画素位置における画素信号に基づいて、上記注目画素周辺の画素信号の水平及び垂直方向の相関の強さを表す水平方向相関係数Δｈ及び垂直方向相関係数Δｖを算出する方向別相関算出手段と、
   上記水平方向相関係数Δｈと垂直方向相関係数Δｖに応じて変化する係数βを算出する係数算出手段と、
   上記ｋ信号ハイパスフィルタで生成された変化成分と上記ｈ信号ハイパスフィルタで生成された変化成分の差と、上記係数βとに基づいて、第ｋの信号と第ｈの信号との非相関値を算出する非相関値算出手段と、
   上記ｋ信号ローパスフィルタで生成された低周波数成分と上記ｈ信号ローパスフィルタで生成された低周波数成分の比を求める比算出手段と、
   注目画素位置における第ｈの画素信号と、上記非相関値とを加算した値に、上記比算出手段で求めた比に定数を掛けたものを乗算して、注目画素位置における第ｋの画素信号を求める補間値算出手段と
   を有する画素信号処理装置。
3. 上記非相関値算出手段は、上記ｋ信号ハイパスフィルタで生成された変化成分と上記ｈ信号ハイパスフィルタで生成された変化成分の差に、上記係数β及び所定の係数を乗じることにより得られた値を、上記非相関値とする
   ことを特徴とする請求項１又は２に記載の画素信号処理装置。
4. 上記ｈ信号ローパスフィルタは、
   上記注目画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の水平方向の低周波数成分を算出するｈ信号水平ローパスフィルタと、
   上記注目画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の垂直方向の低周波数成分を算出するｈ信号垂直ローパスフィルタと、
   上記ｈ信号水平ローパスフィルタ及び上記ｈ信号垂直ローパスフィルタによって得られた値を、上記方向別相関算出手段によって得られた上記水平方向相関係数Δｈ及び上記垂直方向相関係数Δｖに基づいて加重加算することにより、上記第ｈの分光感度特性の画素信号の低周波数成分を算出する加重加算手段とを備え、
   上記ｈ信号ハイパスフィルタは、
   上記注目画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の水平方向の変化成分を算出するｈ信号水平ハイパスフィルタと、
   上記注目画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の垂直方向の変化成分を算出するｈ信号垂直ハイパスフィルタと、
   上記ｈ信号水平ハイパスフィルタ及び上記ｈ信号垂直ハイパスフィルタによって得られた値を、上記方向別相関算出手段によって得られた上記水平方向相関係数Δｈ及び上記垂直方向相関係数Δｖに基づいて加重加算することにより、上記第ｈの分光感度特性の画素信号の変化成分を算出する加重加算手段とを備え、
   上記ｋ信号ローパスフィルタは、
   上記注目画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の水平方向の低周波数成分を算出するｋ信号水平ローパスフィルタと、
   上記注目画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の垂直方向の低周波数成分を算出するｋ信号垂直ローパスフィルタと、
   上記ｋ信号水平ローパスフィルタ及び上記ｋ信号垂直ローパスフィルタによって得られた値を、上記方向別相関算出手段によって得られた上記水平方向相関係数Δｈ及び上記垂直方向相関係数Δｖに基づいて加重加算することにより、上記第ｋの分光感度特性の画素信号の低周波数成分を算出する加重加算手段とを備え、
   上記ｋ信号ハイパスフィルタは、
   上記注目画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の水平方向の変化成分を算出するｋ信号水平ハイパスフィルタと、
   上記注目画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の垂直方向の変化成分を算出するｋ信号垂直ハイパスフィルタと、
   上記ｋ信号水平ハイパスフィルタ及び上記ｋ信号垂直ハイパスフィルタによって得られた値を、上記方向別相関算出手段によって得られた上記水平方向相関係数Δｈ及び上記垂直方向相関係数Δｖに基づいて加重加算することにより、上記第ｋの分光感度特性の画素信号の変化成分を算出する加重加算手段とを備える
   ことを特徴とする請求項１乃至３のいずれかに記載の画素信号処理装置。
5. 上記係数算出手段は、
   上記水平方向相関係数Δｈと垂直方向相関係数Δｖに基づき、水平方向、または垂直方向に強い相関があると判定された場合には、その他の場合よりも係数βの値を小さくする
   ことを特徴とする請求項１乃至４のいずれかに記載の画素信号処理装置。
6. 上記方向別相関算出手段は、
   上記注目画素位置において、上記注目画素及びその近傍の領域内の複数の画素位置における画素信号の水平方向の変化成分を上記水平方向相関係数Δｈ、垂直方向の変化成分を上記垂直方向相関係数Δｖとする
   ことを特徴とする請求項１乃至５のいずれかに記載の画素信号処理装置。
7. 上記方向別相関算出手段は、
   上記注目画素及びその近傍の領域内の複数の画素位置における画素のうち、第１乃至第Ｎの分光感度特性毎にそれぞれの水平方向の変化成分Δｈ１〜ΔｈＮを算出し、上記第１乃至第Ｎの水平方向の変化成分Δｈ１〜ΔｈＮを単純加算、または加重加算することにより上記水平方向相関係数Δｈを算出し、
   上記注目画素及びその近傍の領域内の複数の画素位置における画素のうち、第１乃至第Ｎの分光感度特性毎にそれぞれの垂直方向の変化成分Δｖ１〜ΔｖＮを算出し、上記第１乃至第Ｎの垂直方向の変化成分Δｖ１〜ΔｖＮを単純加算、または加重加算することにより上記垂直方向相関係数Δｖを算出する
   ことを特徴とする請求項６に記載の画素信号処理装置。
8. 上記係数算出手段は、
   下記の相関判定に基づき、係数βの値を決定する
   ことを特徴とする請求項６又は７に記載の画素信号処理装置。
   

   
9. 上記ｈ信号ローパスフィルタ、上記ｈ信号ハイパスフィルタ、上記ｋ信号ローパスフィルタ及び上記ｋ信号ハイパスフィルタの各々は、
   各々における、上記水平フィルタと上記垂直フィルタによって得られた値を加重加算する際に、
   上記水平方向相関係数Δｈが上記水平方向相関係数Δｖより小さい場合には、
   上記水平フィルタによって得られた値の加算割合が上記垂直フィルタによって得られた値の加算割合より多くなるように加重加算を行い、
   上記垂直方法相関係数Δｖが上記水平方向相関係数Δｈより小さい場合には、
   上記垂直フィルタによって得られた値の加算割合が上記水平フィルタによって得られた値の加算割合より多くなるように加重加算を行う
   ことを特徴とする請求項６又は７に記載の画素信号処理装置。
10. 上記ｈ信号ローパスフィルタ、上記ｈ信号ハイパスフィルタ、上記ｋ信号ローパスフィルタ及び上記ｋ信号ハイパスフィルタの各々は、
    各々における上記水平フィルタによって得られた値の加算割合Ｋｈと上記垂直フィルタによって得られた値の加算割合Ｋｖを、下記の演算により算出することを特徴とする請求項９に記載の画素信号処理装置。
    

    
11. 請求項１乃至１０のいずれかに記載の第１から第Ｎの分光感度特性を有する画素とはＲ、Ｇ、Ｂ画素の３種の画素であることを特徴とする画像信号処理装置。
12. ２次元平面上に配列され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素の画素信号の組に基づき、第ｈ（ｈは１からＮのうちのいずれか一つ）の分光感度特性の画素信号が存在する注目画素位置における第ｋ（ｋはｈを除く１からＮのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理方法において、
    上記注目画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の低周波数成分を生成するｈ信号ローパスフィルタステップと、
    上記注目画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の変化成分を生成するｈ信号ハイパスフィルタステップと、
    上記注目画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の低周波数成分を生成するｋ信号ローパスフィルタステップと、
    上記注目画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の変化成分を生成するｋ信号ハイパスフィルタステップと、
    上記注目画素位置の近傍の領域内の複数の画素位置における画素信号に基づいて、上記注目画素周辺の画素信号の水平、及び垂直方向の相関の強さを表す水平方向相関係数Δｈ、及び垂直方向相関係数Δｖを算出する方向別相関算出ステップと、
    上記水平方向相関係数Δｈと垂直方向相関係数Δｖに応じて変化する係数βを算出する係数算出ステップと、
    上記ｋ信号ハイパスフィルタステップで生成された変化成分と上記ｈ信号ハイパスフィルタステップで生成された変化成分の差と、上記係数βとに基づいて、第ｋの信号と第ｈの信号との非相関値を算出する非相関値算出ステップと、
    上記ｋ信号ローパスフィルタステップで生成された低周波数成分と上記ｈ信号ローパスフィルタステップで生成された低周波数成分の差を求める差算出ステップと、
    注目画素位置における第ｈの画素信号と、上記非相関値と、上記差算出ステップで求めた差に定数を掛けたものを加算して、注目画素位置における第ｋの画素信号を求める補間値算出ステップと
    を有する画素信号処理方法。
13. ２次元平面上に配列され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素の画素信号の組に基づき、第ｈ（ｈは１からＮのうちのいずれか一つ）の分光感度特性の画素信号が存在する注目画素位置における第ｋ（ｋはｈを除く１からＮのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理方法において、
    上記注目画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の低周波数成分を生成するｈ信号ローパスフィルタステップと、
    上記注目画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の変化成分を生成するｈ信号ハイパスフィルタステップと、
    上記注目画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の低周波数成分を生成するｋ信号ローパスフィルタステップと、
    上記注目画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の変化成分を生成するｋ信号ハイパスフィルタステップと、
    上記注目画素位置の近傍の領域内の複数の画素位置における画素信号に基づいて、上記注目画素周辺の画素信号の水平、及び垂直方向の相関の強さを表す水平方向相関係数Δｈ、及び垂直方向相関係数Δｖを算出する方向別相関算出ステップと、
    上記水平方向相関係数Δｈと垂直方向相関係数Δｖに応じて変化する係数βを算出する係数算出ステップと、
    上記ｋ信号ハイパスフィルタステップで生成された変化成分と上記ｈ信号ハイパスフィルタステップで生成された変化成分の差と、上記係数βとに基づいて、第ｋの信号と第ｈの信号との非相関値を算出する非相関値算出ステップと、
    上記ｋ信号ローパスフィルタステップで生成された低周波数成分と上記ｈ信号ローパスフィルタステップで生成された低周波数成分の比を求める比算出ステップと、
    注目画素位置における第ｈの画素信号と、上記非相関値とを加算した値に、上記比算出ステップで求めた比に定数を掛けたものを乗算して、注目画素位置における第ｋの画素信号を求める補間値算出ステップと
    を有する画素信号処理方法。
14. 上記非相関値算出ステップは、上記ｋ信号ハイパスフィルタで生成された変化成分と上記ｈ信号ハイパスフィルタで生成された変化成分の差に、上記係数β及び所定の係数を乗じることにより得られた値を、上記非相関値とする
    ことを特徴とする請求項１２又は１３に記載の画素信号処理方法。
15. 上記ｈ信号ローパスフィルタステップは、
    上記注目画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の水平方向の低周波数成分を算出するｈ信号水平ローパスフィルタステップと、
    上記注目画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の垂直方向の低周波数成分を算出するｈ信号垂直ローパスフィルタステップと、
    上記ｈ信号水平ローパスフィルタステップ及び上記ｈ信号垂直ローパスフィルタステップによって得られた値を、上記方向別相関算出ステップによって得られた上記水平方向相関係数Δｈ及び上記垂直方向相関係数Δｖに基づいて加重加算することにより、上記第ｈの分光感度特性の画素信号の低周波数成分を算出する加重加算ステップとを備え、
    上記ｈ信号ハイパスフィルタステップは、
    上記注目画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の水平方向の変化成分を算出するｈ信号水平ハイパスフィルタステップと、
    上記注目画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の垂直方向の変化成分を算出するｈ信号垂直ハイパスフィルタステップと、
    上記ｈ信号水平ハイパスフィルタステップ及び上記ｈ信号垂直ハイパスフィルタステップによって得られた値を、上記方向別相関算出ステップによって得られた上記水平方向相関係数Δｈ及び上記垂直方向相関係数Δｖに基づいて加重加算することにより、上記第ｈの分光感度特性の画素信号の変化成分を算出する加重加算ステップとを備え、
    上記ｋ信号ローパスフィルタステップは、
    上記注目画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の水平方向の低周波数成分を算出するｋ信号水平ローパスフィルタステップと、
    上記注目画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の垂直方向の低周波数成分を算出するｋ信号垂直ローパスフィルタステップと、
    上記ｋ信号水平ローパスフィルタステップ及び上記ｋ信号垂直ローパスフィルタステップによって得られた値を、上記方向別相関算出ステップによって得られた上記水平方向相関係数Δｈ及び上記垂直方向相関係数Δｖに基づいて加重加算することにより、上記第ｋの分光感度特性の画素信号の低周波数成分を算出する加重加算ステップとを備え、
    上記ｋ信号ハイパスフィルタステップは、
    上記注目画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の水平方向の変化成分を算出するｋ信号水平ハイパスフィルタステップと、
    上記注目画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の垂直方向の変化成分を算出するｋ信号垂直ハイパスフィルタステップと、
    上記ｋ信号水平ハイパスフィルタステップ及び上記ｋ信号垂直ハイパスフィルタステップによって得られた値を、上記方向別相関算出ステップによって得られた上記水平方向相関係数Δｈ及び上記垂直方向相関係数Δｖに基づいて加重加算することにより、上記第ｋの分光感度特性の画素信号の変化成分を算出する加重加算ステップとを備える
    ことを特徴とする請求項１２乃至１４のいずれかに記載の画素信号処理方法。
16. 上記係数算出ステップは、
    上記水平方向相関係数Δｈと垂直方向相関係数Δｖに基づき、水平方向、または垂直方向に強い相関があると判定された場合には、その他の場合よりも係数βの値を小さくする
    ことを特徴とする請求項１２乃至１５のいずれかに記載の画素信号処理方法。
17. 上記方向別相関算出ステップは、
    上記注目画素位置において、上記注目画素及びその近傍の領域内の複数の画素位置における画素信号の水平方向の変化成分を上記水平方向相関係数Δｈ、垂直方向の変化成分を上記垂直方向相関係数Δｖとする
    ことを特徴とする請求項１２乃至１６のいずれかに記載の画素信号処理方法。
18. 上記方向別相関算出ステップは、
    上記注目画素及びその近傍の領域内の複数の画素位置における画素のうち、第１乃至第Ｎの分光感度特性毎にそれぞれの水平方向の変化成分Δｈ１〜ΔｈＮを算出し、上記第１乃至第Ｎの水平方向の変化成分Δｈ１〜ΔｈＮを単純加算、または加重加算することにより上記水平方向相関係数Δｈを算出し、
    上記注目画素及びその近傍の領域内の複数の画素位置における画素のうち、第１乃至第Ｎの分光感度特性毎にそれぞれの垂直方向の変化成分Δｖ１〜ΔｖＮを算出し、上記第１乃至第Ｎの垂直方向の変化成分Δｖ１〜ΔｖＮを単純加算、または加重加算することにより上記垂直方向相関係数Δｖを算出する
    ことを特徴とする請求項１７に記載の画素信号処理方法。
19. 上記係数算出ステップは、
    下記の相関判定に基づき、係数βの値を決定する
    ことを特徴とする請求項１７又は１８に記載の画素信号処理方法。
    

    
20. 上記ｈ信号ローパスフィルタステップ、上記ｈ信号ハイパスフィルタステップ、上記ｋ信号ローパスフィルタステップ及び上記ｋ信号ハイパスフィルタステップの各々は、
    各々における上記水平フィルタステップと上記垂直フィルタステップによって得られた値を加重加算する際に、
    上記水平方向相関係数Δｈが上記水平方向相関係数Δｖより小さい場合には、
    上記水平フィルタステップによって得られた値の加算割合が上記垂直フィルタステップによって得られた値の加算割合より多くなるように加重加算を行い、
    上記垂直方法相関係数Δｖが上記水平方向相関係数Δｈより小さい場合には、
    上記垂直フィルタステップによって得られた値の加算割合が上記水平フィルタステップによって得られた値の加算割合より多くなるように加重加算を行う
    ことを特徴とする請求項１７又は１８に記載の画素信号処理方法。
21. 上記ｈ信号ローパスフィルタステップ、上記ｈ信号ハイパスフィルタステップ、上記ｋ信号ローパスフィルタステップ及び上記ｋ信号ハイパスフィルタステップの各々は、
    各々における上記水平フィルタステップによって得られた値の加算割合Ｋｈと上記垂直フィルタステップによって得られた値の加算割合Ｋｖを、下記の演算により算出することを特徴とする請求項２０に記載の画素信号処理方法。
    

    
22. 請求項１２乃至２１のいずれかに記載の第１から第Ｎの分光感度特性を有する画素とはＲ、Ｇ、Ｂ画素の３種の画素であることを特徴とする画像信号処理方法。

Images