JP3729842B1 - 画素信号処理装置及び方法 - Google Patents

Abstract

【課題】 色信号の相関がない箇所においても精度の高い画素補間を行い、かつノイズの影響を受けにくい画素補間を行う。
【解決手段】 ｋ信号非線形ローパスフィルター（８ｇ）の出力と、ｈ信号非線形ローパスフィルター（８ｒ）の出力の差（４３）を、注目画素位置における第ｈの画素信号（ｈ（ｉ，ｊ））の値に加算して（４４）、注目画素位置における第ｋの画素信号（ｋ（ｉ，ｊ））を求める。
【選択図】 図１

Description

本発明は、画素信号処理装置及び方法に関し、特に２次元平面上に配列され、各々が複数の分光感度特性のうちのいずれか１つを有する画素位置から得られる画素の画素信号の組に基づき、上記複数の分光感度特性のうちの一つの分光感度特性の画素信号が存在する注目画素位置における他の分光感度特性の画素信号（以後色信号と称する）を生成する画素信号処理装置及び方法に関する。
このような画素信号処理装置は、例えば、各々が複数の分光感度特性、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）のうちのいずれか一つの分光感度特性、即ち色を有する複数種類の光電変換素子が２次元平面上に、例えばベイヤ型に配列された撮像素子（イメージセンサ）をさらに備えるカラー撮像装置の一部として用いられ、イメージセンサから出力された画素信号のうちの、各画素位置において欠落している色信号を補間するために用いられる。

従来の、赤、緑、青のカラーフィルタがベイヤ型に配置されたイメージセンサを有する撮像装置では、各々の画素につき、Ｇ、ＢまたはＢ、ＲまたはＲ、Ｇの色成分値が不足しており、例えば下記の特許文献１に示されるように、解像感を高めるために、色毎の局所的な画素信号の分布に基づいて各画素の画素信号を平均値で置き換え、これによって想定される既知色幾何学図形と不足色幾何学図形の線形相似比に基づく補間方法を用いている。

特開２００１−１９７５１２公報（段落００４８〜００４９、図７）

この従来の方法は、補間処理対象画素の近傍の領域内において、それぞれの色成分値（例えば、ベイヤ型配列におけるＲ、Ｇ、Ｂ成分値）間に強い正の相関があると仮定している。そのため、色成分値相互間に正の相関がない領域（例えばある色と別の色との境界など）、例えば相関がなかったり、負の相関がある領域で、補間を適切に行うことができず、補間誤差が大きくなるという問題があった。

また、ノイズが信号に加算された場合、色信号間の相関を線形相似比にて算出しているため、他方の色信号に生じたノイズに対して相関があるように補間を行うことで、非補間対象の色信号までノイズによる影響を受けてしまい補間誤差が生じるという問題があった。

本発明は、補間処理対象画素の近傍の領域内での色成分値の変化の仕方に拘らず常に最適の補間方法で補間を行うことができる画素信号処理装置を提供することを目的とする。

この発明は、
２次元平面上に配列され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素の画素信号の組のうちの第ｈ（ｈは１からＮのうちのいずれか一つ）の分光感度特性の画素信号が存在する注目画素位置における第ｋ（ｋはｈを除く１からＮのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理装置において、
前記注目画素位置の近傍の、前記第ｈの分光感度特性を有する第１の複数の画素（以下「第１の近傍画素」と言う）の各々について、その信号値と、前記注目画素位置の前記第ｈの分光感度特性の画素信号の各々の信号値の差（以下「第１の差」と言う）の絶対値が予め定めた第１の閾値よりも大きいかどうかの判定を行い、前記第１の差の絶対値が前記第１の閾値よりも大きいときは、前記注目画素位置の前記第ｈの分光感度特性の画素信号の信号値を選択し、前記第１の差の絶対値が前記第１の閾値よりも小さいときは前記第１の近傍画素の信号値を選択する第１の比較選択手段と、
前記第１の比較選択手段によって選択された複数の画素の信号値の平均値を算出する第１の平均値演算手段とを有し、
前記平均値演算手段によって演算された結果を、注目画素位置における、前記第ｈの分光感度特性の画素信号の低周波数成分とするｈ信号非線形ローパスフィルターと、
前記注目画素位置の近傍の、前記第ｋの分光感度特性を有する第２の複数の画素（以下「第２の近傍画素」と言う）の各々について、
その信号値と、前記注目画素位置に隣接する複数の前記第ｋの分光感度特性の画素の信号の平均値との差（以下「第２の差」と言う）の絶対値が予め定めた第２の閾値よりも大きいかどうかの判定を行い、前記第２の差の絶対値が前記第２の閾値よりも大きいときは、前記複数の第ｋの分光感度特性の画素の信号の前記平均値を選択し、前記第２の差の絶対値が前記第２の閾値よりも小さいときは前記第２の近傍画素の信号値を選択する第２の比較選択手段と、
前記第２の比較選択手段によって選択された複数の画素の信号値の平均値を算出する第２の平均値演算手段とを有し、
前記平均値演算手段によって演算された結果を、注目画素位置における、前記第ｋの分光感度特性の画素信号の低周波数成分とするｋ信号非線形ローパスフィルターと、
前記ｋ信号非線形ローパスフィルターと前記ｈ信号非線形ローパスフィルターによって得られた値の差を、前記注目画素位置における前記第ｈの画素信号の値に加算して、前記注目画素位置における前記第ｋの画素信号を求める演算手段とを
有する画素信号処理装置を提供する。

この発明によれば、補間対象の画素が色の境界付近にある場合など、色成分値相互間の相関関係が種々異なっていても、正確に補間を行うことができる。また、ノイズの影響を受けにくい良好な画素補間を行うことができる。

以下、図面を参照して本発明の実施の形態を説明する。以下に説明する実施の形態は、デジタルスチルカメラの一部として用いるのに適したものであるが、本発明はこれに限定されない。

実施の形態１．
図１はこの発明の実施の形態１の画素信号処理装置を備えた撮像装置の構成を表すブロック図である。
レンズ１から入射した光は、例えば固体撮像素子で構成される２次元イメージセンサ２の撮像面に結像する。イメージセンサ２は、２次元的に配列された複数の光電変換素子を有し、この複数の光電変換素子は、例えば図２に示すように、ベイヤ（Ｂａｙｅｒ）型に配置された、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色に対応する分光感度特性を有するカラーフィルタで覆われており、各光電変換素子からは、カラーフィルタの色に対応した色成分のアナログ信号が出力される。

図２において、横、縦はそれぞれ撮像面の水平方向（Ｈ）、垂直方向（Ｖ）を表す。光電変換素子は画素を構成し、撮像面上で各光電変換素子が占める位置が画素位置に対応する。各画素は、撮像素子の撮像面上に２次元的に配列されているので、それらの位置は、ＨＶ座標面（またはＨＶ面）上の座標値で表すことができる。図２はイメージセンサの一部のみ、即ち７行７列の範囲を示す。中心の画素の水平方向位置をｉ、垂直方向位置をｊ、従って座標値を（ｉ，ｊ）で表し、その周囲の画素の水平方向（行方向）の位置を、ｉ−３，ｉ−２、…ｉ＋３を、垂直方向（列方向）の位置を、ｊ−３、ｊ−２、…ｊ＋３で表している。

また以下の説明で、Ｒのカラーフィルタで覆われた光電変換素子に対応した画素をＲ画素、Ｇのカラーフィルタで覆われた光電変換素子に対応した画素をＧ画素、Ｂのカラーフィルタで覆われた光電変換素子に対応した画素をＢ画素と呼ぶ。

イメージセンサ２は入射光を光電変換し入射光量に応じたレベルのアナログ信号を画素ごとに出力する。このアナログ信号はＡ／Ｄ変換器３でデジタル信号に変換され、出力され、各画素の持つ色成分値（画素信号）として、フレームメモリ４に書き込まれる。この際、各信号は、各画素の、撮像面上での位置、従ってＨＶ座標面上での位置に対応づけて書き込まれる。

上記のように、各画素を構成する光電変換素子の各々は、フィルタにより覆われているので、赤、緑、青のいずれか１つの色の光を受光する。各光電変換素子で受光する光の色を「受光色」或いは「既知色」と言い、各画素について受光色以外の色を「不足色」或いは「未知色」と言うことがある。

各画素を構成する光電変換素子の各々からは、受光色に対応する一つの色成分値を表す信号しか得られない。即ち、Ｒ画素については、Ｒ成分値が既知である一方、Ｇ及びＢ成分値が未知であり、Ｇ画素については、Ｇ成分値が既知である一方、Ｂ及びＲ成分値が未知であり、Ｂ画素については、Ｂ成分値が既知である一方、Ｒ及びＧ成分値が未知である。各画素について、Ｒ、Ｇ、Ｂ全ての色成分値を持つことで、カラー画像を得ることができるので、フレームメモリ４に書き込まれている、各画素位置における未知の色成分値は不足色成分値とも言われる。本発明の画素信号処理は、各画素において未知である色成分値（不足色成分値）を補間により求めるものである。

フレームメモリ４に記憶された画素信号は、デマルチプレクサ５でＲ、Ｇ、Ｂ信号ごとに２次元メモリ６ｒ、６ｇ、６ｂに分配され、記憶される。即ちＲ信号が２次元メモリ６ｒに、Ｇ信号が２次元メモリ６ｇに、Ｂ信号が２次元メモリ６ｂにそれぞれ記憶される。

図３、図４、図５はそれぞれ、イメージセンサ２の撮像面上における、Ｒ画素、Ｇ画素、Ｂ画素の配置を色毎に別々に示す。２次元メモリ６ｒ、６ｇ、６ｂの各々においても、各画素の信号（色成分値）は、撮像面上での位置、従ってＨＶ座標面上での位置に対応付けて書き込まれる。したがって、図３、図４、図５は、デマルチプレクサ５から分配され、記憶された画素信号の、ＨＶ座標面上での位置を表すものでもある。

なお、フレームメモリ４はイメージセンサ２が２行に１行ずつ読み出しを行ういわゆるインターレース読み出し方式のものであり、１枚（フレーム）の画素信号がすべて揃うために２度の（２フィールドの）読み出しを行わなければならない場合に必要である。図２に示した画素配列における画素を上から順次１行ずつ読み出すいわゆるプログレッシブ読み出し方式のイメージセンサ２の場合には、イメージセンサ２から送られてきた画素の信号をそのままデマルチプレクサ５で振り分けていけばよいため、フレームメモリ２がなくても同様の動作を実現することができる。

非線形ローパスフィルタ８ｒ、８ｇ、８ｂはそれぞれメモリ６ｒ、６ｇ、６ｂに対応して設けられたものであり、メモリ６ｒ、６ｇ、６ｂから読み出された画素信号に対して各色成分の非線形のフィルタリングを行い、それぞれの色信号の低周波数成分を出力する。即ち、ローパスフィルタ８ｒ、８ｇ、８ｂの各々は、各画素について、その画素位置の近傍の領域（当該画素位置を含む領域）内の複数の画素位置における各色の画素信号の低周波数成分を算出する。その算出方法についての後に詳しく述べる。図６、図７、図８に非線形ローパスフィルタ８ｒ、８ｇ、８ｂの出力例を示す。

図６、図７、図８に示されるように、ローパスフィルタ８ｒ、８ｇ、８ｂの出力（ＲＮＦ，ＧＮＦ、ＢＮＦ）はすべての画素について求められる。

非線形ローパスフィルタ８ｇの具体的な構成例を図９、図１０、図１１に示す。なお、図９、図１０、図１１に示した構成例は説明を簡易にするためイメージセンサ２の１水平ライン（行）方向においてのみ示した構成例である。その動作と構成について説明する。
図９には非線形ローパスフィルタ８ｇの構成全体を示す。図９に示す非線形フィルタ８ｇは、入力端子１３と、出力端子１４と、選択手段１５及び１６と、既知色フィルタ２１と、未知色フィルタ３１とを有する。入力端子１３及び出力端子１４は、それぞれ非線形フィルタ８ｇの入力端子及び出力端子を構成する。
既知色フィルタ２１は、Ｇ信号が存在する画素位置（例えば、図４の（ｉ−１，ｊ））の近傍におけるＧ信号のフィルタリングを行うものであり、例えば図１０に示されるように構成されている。
未知色フィルタ３１は、Ｇ信号が存在しない画素位置（例えば、図４の（ｉ，ｊ））の近傍におけるＧ信号の非線形フィルタリングを行うものであり、例えば図１１に示されるように構成されている。
選択手段１５及び１６は、フィルタリングの対象がＧ信号が存在しない画素位置の近傍かＧ信号が存在する画素位置の近傍かに応じて未知色フィルタ３１及び既知色フィルタ２１のいずれかを選択して非線形フィルタリングを行わせ、フィルタリングの結果を選択して出力する。選択手段１６の出力が、図７に示す出力値となる。

まず、図１０の既知色フィルタ２１について説明する。Ｇ信号は入力端子２２より画素の読み出し順に従い入力されていく。入力されたＧ信号はラッチ２３ａ〜２３ｄによって色信号が１画素ずつ遅延され、順次、比較手段２４ａ〜２４ｅへ入力されていく。ここで、Ｇ信号は１画素おきに存在するので、相前後する画素信号は、ＨＶ平面上では、２画素に相当する隔たり（間に１画素を置いて隔てられた画素同士の距離）を有する。例えば、ラッチ２３ｄから比較手段２４ｅへ出力されるＧ信号がＧ（ｉ−５，ｊ）とすると、ラッチ２３ｃから比較手段２４ｄへ出力されるＧ信号はＧ（ｉ−３，ｊ）、ラッチ２３ｂから比較手段２４ｃへ出力されるＧ信号はＧ（ｉ−１，ｊ）、ラッチ２３ａから比較手段２４ｂへ出力されるＧ信号はＧ（ｉ＋１，ｊ）、入力端子２２から比較手段２４ａへ出力されるＧ信号はＧ（ｉ＋３，ｊ）となる。なお、ラッチ２３ａ〜２３ｄおよび入力端子２２から出力されるこれらＧ信号は比較手段２４ａ〜２４ｄへ出力されると同時に選択手段２５ａ〜２５ｅへも出力される。一方、Ｇ（ｉ−１，ｊ）も選択手段２５ａ〜２５ｅへと出力されていく。

比較手段２４ａ〜２４ｅはラッチ２３ａ〜２３ｄおよび入力端子２２から入力されたＧ信号と、Ｇ（ｉ−１，ｊ）に予め定めておいた定数ｓ（第１の閾値）を加算した値及び定数ｓを減算した値とを比較し、その比較結果を選択手段２５ａ〜２５ｅへ出力する。

選択手段２５ａ〜２５ｅは、比較手段２４ａ〜２４ｅの比較結果により信号を選択する。比較手段２４ａ〜２４ｅは入力されたＧ信号と、Ｇ（ｉ−１，ｊ）に予め定めておいた閾値ｓを加算した値Ｇ（ｉ−１，ｊ）＋ｓとを、また閾値ｓを減算したＧ（ｉ−１，ｊ）−ｓとを比較し、その比較結果を出力する。

選択手段２５ａ〜２５ｅは比較手段２４ａ〜２４ｅに入力されたＧ信号のほうがＧ（ｉ−１，ｊ）＋ｓより小さく、かつＧ（ｉ−１，ｊ）−ｓより大きいときはＧ信号のほうを選択し、Ｇ（ｉ−１，ｊ｝＋ｓより大きいか、またはＧ（ｉ−１，ｊ）−ｓより小さいときはＧ（ｉ−１，ｊ）を選択する。すなわち、その位置におけるＧ信号とＧ（ｉ−１，ｊ）の差の絶対値が閾値ｓ以上大きくないときはそのままＧ信号が選択され、差の絶対値が閾値ｓ以上大きいときは、Ｇ（ｉ−１，ｊ）が選択されることとなる。
なお、選択手段２５ｃでは、Ｇ信号がＧ（ｉ−１，ｊ）であるので、「Ｇ信号とＧ（ｉ−１，ｊ）の差の絶対値が閾値ｓ以上大きくない」という条件が常に満たされ、従って常にＧ信号が選択されて出力される。従って、比較手段２４ｃと選択手段２５ｃを省略し、ラッチ２３ｂの出力を直接２ビットシフト器２６ｃに入力しても良い。

比較手段２４ａ〜２４ｅと、選択手段２５ａ〜２５ｅとにより、注目画素位置（ｉ，ｊ）の近傍の、第ｈの分光感度特性を有する第１の複数の画素（以下「第１の近傍画素」と言う）の各々について、その信号値（第１の近傍画素の各々の信号値）と、注目画素位置（ｉ，ｊ）の第ｈの分光感度特性の画素信号の各々の信号値（ｈ（ｉ，ｊ））の差（以下「第１の差」と言う）の絶対値が予め定めた第１の閾値（ｓ）よりも大きいかどうかの判定を行い、前記第１の差の絶対値が前記第１の閾値よりも大きいときは、注目画素位置の前記第ｈの分光感度特性の画素信号の信号値を選択し、前記第１の差の絶対値が前記第１の閾値よりも小さいときは第１の近傍画素の信号値を選択する第１の比較選択手段が構成されている。

選択手段２５ａによって選択された信号は３ビットシフト器２６ａによって信号が下位方向に３ビットシフトすることで信号レベルが１／８となる。選択手段２５ｂ、２６ｃ、２６ｄによって選択された信号は２ビットシフト器２６ｂ、２６ｃ、２６ｄによって信号が下位方向に２ビットシフトすることで信号レベルが１／４となる。選択手段２５ｅによって選択された信号は３ビットシフト器２６ｅによって信号が下位方向に３ビットシフトすることで信号レベルが１／８となる。上記ビットシフトされたそれぞれの信号は加算手段２７によって加算される。

上記の演算を行うことにより、単純に水平５画素の加重平均を算出するいわゆる線形ローパスフィルタと異なり、信号の変化が大きい画素の信号は用いない非線形のローパスフィルタリングを行う。

次に図１１の未知色フィルタ３１について説明する。Ｇ信号は入力端子３２より画素の読み出し順に従い入力されていく。入力されたＧ信号はラッチ３３ａ〜３３ｃによって１画素ずつ遅延され、順次、比較手段３４ａから比較手段３４ｄへ入力されていく。例えば、ラッチ３３ｃから比較手段３４ｄへ出力されるＧ信号が（ｉ−３，ｊ）の画素位置のＧ信号Ｇ（ｉ−３，ｊ）（以後、他の画素位置の信号についても同様に、例えばＧ（ｘ，ｙ）」のように、色信号名と画素位置（ｘ，ｙ）を表わす）とすると、ラッチ３３ｂから比較手段３４ｃへ出力されるＧ信号はＧ（ｉ−１，ｊ）、ラッチ３３ａから比較手段３４ｂへ出力されるＧ信号はＧ（ｉ＋１，ｊ）、入力端子３２から比較手段３４ａへ出力されるＧ信号はＧ（ｉ＋３，ｊ）となる。なお、ラッチ３３ａ〜３３ｃおよび入力端子３２から出力されるこれらＧ信号は比較手段３４ａ〜３４ｄへ出力されると同時に選択手段３５ａ〜３５ｄへも出力される。

一方、Ｇ（ｉ−１，ｊ）とＧ（ｉ＋１，ｊ）とは加算手段３６ａへも入力され、加算手段３６ａによって信号加算が行われた後、１ビットシフト器３６ｂにより下位方向に１ビットシフトされることにより、信号の平均値｛Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）｝／２が算出され、選択手段３５ａ〜３５ｄへと出力されていく。

比較手段３４ａ〜３４ｄは、ラッチ３３ａ〜３３ｃおよび入力端子３２から入力されたＧ信号と、１ビットシフト器３６ｂから出力された｛Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）｝／２に予め定めておいた定数ｓ（第２の閾値。なお、本実施の形態では、第１の閾値と第２の閾値が同じ値（ｓ）を有するが、互いに異なる値としても良い。）を加算した値｛Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）｝／２＋ｓとを、また、閾値ｓを減算した値｛Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）｝／２−ｓとを比較し、その比較結果を選択手段３５ａ〜３５ｄへ出力する。

選択手段３５ａ〜３５ｄは、比較手段３４ａ〜３４ｄの比較結果により信号を選択する。比較手段３４ａ〜３４ｄは入力されたＧ信号と、｛Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）｝／２＋ｓおよび｛Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）｝／２−ｓとを比較し、Ｇ信号が｛Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）｝／２＋ｓより大きいか、かつ｛Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）｝／２−ｓより小さいか、比較結果を出力する。選択手段３５ａ〜３５ｄは比較手段３４ａ〜３４ｄに入力されたＧ信号が｛Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）｝／２＋ｓより小さくかつ｛Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）｝／２−ｓより大きいときはＧ信号のほうを選択し、｛Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）｝／２＋ｓより大きいか、または｛Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）｝／２−ｓより小さいときは｛Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）｝／２を選択する。すなわち、ローパスフィルタの演算に用いる画素位置におけるＧ信号と｛Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）｝／２の差の絶対値が閾値ｓ以上大きくないときはそのままＧ信号が選択され、差の絶対値が閾値ｓ以上大きいときは、｛Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）｝／２が選択されることとなる。これにより被演算対象位置の信号値に比べ大きく信号値が変動している画素の値はローパスフィルタの演算に用いられないこととなる。

比較手段３４ａ〜３４ｄと選択手段３５ａ〜３５ｄとにより、注目画素位置（ｉ，ｊ）の近傍の、第ｋの分光感度特性を有する第２の複数の画素（以下「第２の近傍画素」と言う）の各々について、その信号値（第２の近傍画素の各々の信号値）と、注目画素位置（ｉ，ｊ）に隣接する複数の第ｋの分光感度特性の画素の信号の平均値との差（以下「第２の差」と言う）の絶対値が予め定めた第２の閾値（ｓ）よりも大きいかどうかの判定を行い、前記第２の差の絶対値が第２の閾値よりも大きいときは、前記複数の第ｋの分光感度特性の画素の信号の前記平均値を選択し、前記第２の差の絶対値が前記第２の閾値よりも小さいときは前記第２の近傍画素の信号値を選択する第２の比較選択手段が構成されている。
上記のように、本実施の形態では、第２の閾値が第１の閾値と同じ値（ｓ）を有するが、互いに異なる値としても良い。

選択手段３５ａ〜３５ｃによって選択された４つの信号は加算手段３７ａによって加算され、２ビットシフト器３７ｂによって信号の２ビットシフトを行うことで、４つの画素の平均値（単純平均値）が算出される。なお、本構成では２ビットシフト器３７ｂを加算手段３７ａの後ろに設けているが、加算手段３７ａの演算ビット数を低減させるために各選択手段３５ａ〜３５ｄの後ろに設けても同様の演算はできる。

上記の演算を行うことにより、単純に水平４画素の加算値の平均（単純平均又は加重平均）を算出するいわゆる線形ローパスフィルターと異なり、信号の変化が大きい画素の信号は用いない非線形のローパスフィルタリングを行う。

上記のような、非線形フィルタ８ｇにより、図４に示すＧ信号をフィルタリングする際にその画素位置（例えば、（ｉ，ｊ））においてＧ信号が存在しないときは選択手段２９によって図１１に示した未知色フィルタ３１へ入力され、その画素位置（例えば、（ｉ−１，ｊ））においてＧ信号が存在するときは選択手段２９によって図１０に示した既知色フィルタ２１へ入力される。選択手段１６はそれぞれの未知色フィルタ３１及び既知色フィルタ２１からの出力信号を順次切り替えて出力する。
その結果、出力端子１４から図７に示す非線形フィルタ出力（ＧＮＦ）が得られる。

非線形ローパスフィルタ８ｒ、８ｂも非線形ローパスフィルタ８ｇと同様に構成されている。

以上の簡単のため１次元の場合について説明したが、２次元の場合でも同様に複数のラインメモリと図９、図１０、図１１と同様の回路を用いて、比較手段と平均値（単純平均値または加重平均値）を算出する手段とを具備することで非線形のフィルタリングを行うことができる。

図１２〜図２１に各色信号における２次元上で非線形フィルタリングのための演算に用いる画素位置の一例を示す。図１２、図１３はＧ信号の場合であり、図１２は演算対象位置である（ｉ，ｊ）にＧ信号がない場合を示した一例である。図中ハッチしている箇所が演算に用いるＧ信号である。ただし、平均のための加算を行う際に、（ｉ，ｊ）位置のＧ信号、例えば｛Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）＋Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ，ｊ＋１）｝／４と各Ｇ信号を比較してその差の絶対値が閾値ｓより大きいときには、演算に用いるＧ信号に｛Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）＋Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ，ｊ＋１）｝／４を用いる。なお、平均を求める際に演算対象位置（ｉ，ｊ）からの距離に応じた重み付けを行い、加重平均を求めても良い。この場合、重み付けの係数は、距離が大きいほど小さな値とする。

また、図１３に示すように演算対象位置である（ｉ−１，ｊ）にＧ信号が存在する場合には、（ｂ）中のハッチした画素位置のＧ信号を（ｉ−１，ｊ）からの距離に応じて加重平均値を求める。ただし、加重平均において加算を行う際に、Ｇ（ｉ−１，ｊ）と各Ｇ信号を比較してその差が閾値ｓより大きいときには、演算に用いるＧ信号にＧ（ｉ−１，ｊ）を用いる。Ｇ信号の場合は、図１２か図１３の加重平均にて全ての画素位置の非線形ローパスフィルタ出力を演算することができる。

一方、Ｒ信号、Ｂ信号は２行に１行ずつしか画素が配置されていないため、Ｒ信号の場合は、図１４乃至図１７の演算となる。Ｇ信号と同様に加重平均を算出する際に演算対象位置の信号に比べ信号の変化の大きいＲ信号は用いない。Ｂ信号の場合は図１８から図２１に示すが、Ｒ信号と同様である。

上述した非線形ローパスフィルタにおける加重平均の重み付けや、用いる信号の数は一例であり、一般式で表すと次式（１）の通りになる。

式（１）において、Ｃは色信号で、Ｇ信号、Ｒ信号、Ｂ信号のいずれかである。ＣＮＦ（ｉ，ｊ）は（ｉ，ｊ）位置における非線形ローパスフィルタリングされた出力信号で、Ｃ（ｉ，ｊ）は入力信号である。−ＮからＮは定数でありそれぞれ画素信号のある位置をサンプリングする値となる。ａｉ，ｊはフィルタ係数であり、重み付けを行ったり、単純加算のばあいでも、全体の信号レベルが変化しないように値を予め定める。上述した図１１の例では１／４であり、図１０の例では１／８と１／４が用いられている。Ｆ［・］は非線形関数でありその関数値の絶対値が｜Ｆ［・］｜＜ｓに押さえられている非線形関数である。ｓは上述したように予め定めた閾値である。このフィルタは入力と出力の差を有限値内に保ちながら信号の平滑を行うので、信号の急峻な変化を保持しながら小信号のランダムノイズを除去するという特徴がある。

次に演算手段１０について説明する。

演算手段１０は、２次元メモリ６ｒ、６ｇ、６ｂから読み出された画素信号と、非線形ローパスフィルタ８ｒ、８ｇ、８ｂの出力とに基づいて、各画素について補間値を求める。
演算手段１０は、例えば図２２に示すように、選択手段４２ｋ、４２ｈ、４１と、差計算手段４３と、加算手段４４と、制御手段４５とを有する。

選択手段４１は、２次元メモリ６ｒ、６ｇ、６ｂのうちの一つを選択し、選択された２次元メモリ６ｒ、６ｇ、６ｂから読み出された画素信号を加算手段４４に供給する。
選択手段４２ｋは、ローパスフィルタ８ｒ、８ｇ、８ｂの出力ＲＮＦ、ＧＮＦ、ＢＮＦを受け、これらのうちの１つを選択して出力する。選択手段４２ｈは、ローパスフィルタ８ｒ、８ｇ、８ｂの出力ＲＮＦ、ＧＮＦ、ＢＮＦを受け、これらのうちの他の１つを選択して出力する。

選択手段４１、４２ｋ、４２ｈによる選択は制御手段４５により制御される。
補間対象画素がＲ、Ｇ、Ｂのうちの第ｈの色の色成分値を有し、補間対象画素の第ｋの色の色成分値を補間により求めるときは、選択手段４１が第ｈの色の色成分値を記憶している２次元メモリを選択し、補間対象画素の第ｈの色の色成分値（例えばｈ（ｉ，ｊ）で表される）を読み出し、選択手段４２ｋが第ｋの色のローパスフィルタの出力ｋＮＦを選択し、選択手段４２ｈが、第ｈの色のローパスフィルタの出力ｈＮＦを選択する。

差計算手段４３は、選択手段４２ｋで選択された第ｋの非線形ＬＰＦ信号ｋＮＦと、選択手段４２ｈで選択された第ｈの非線形ＬＰＦ信号ｈＮＦとの差（前者から後者を引いたもの）（ｋＮＦ−ｈＮＦ）を求める。

加算手段４４は、選択手段４１から出力される画素値ｈと、差計算手段４３の出力（ｋＮＦ−ｈＮＦ）とを加算して、その和ｈ＋ｒ（ｋＮＦ−ｈＮＦ）を出力する。
加算手段４４の出力が、補間対象画素の第ｋの色の色成分値（補間値）として用いられる。

上記のうち、非線形ローパスフィルタ８ｒ、８ｇ、８ｂと、選択手段４２ｋ、４２ｈとで、補間対象画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の低周波数成分と、補間対象画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の低周波数成分とを生成する低周波数成分生成手段が構成されている。

また、選択手段４１と、差計算手段４３と、加算手段４４とにより、補間対象画素位置における第ｈの色の画素信号と、非線形ＬＰＦ出力の差（ｋＮＦ−ｈＮＦ）とに基づいて、補間対象画素位置における第ｋの色の画素信号（補間値）を求める補間値算出手段が構成されている。より詳しく言うと、この補間値算出手段は、補間対象画素の位置における一つの色（第ｈの色）の画素信号ｈと、差計算手段４３で求めた差（ｋＮＦ−ｈＮＦ）とを加算することにより、補間対象画素位置における他の色（第ｋの色）の画素信号ｋを求める。

補間値算出手段で算出された補間値は例えば第ｋの色の画素信号のための２次元メモリ（６ｒ、６ｇ、６ｂのいずれか）に記憶され、或いは出力端子１１から出力される。

以下、上記した補間方法についてさらに詳しく説明する。

イメージセンサ２は、Ｒ、Ｇ、Ｂの色フィルタが、それぞれの画素の位置に対応して、例えば図２に示すようにベイヤ型に配置されたものである。各画素位置からは一つの色の画素信号のみが得られるため、各画素におけるＲ，Ｇ，Ｂ信号はそれぞれの画素における欠落した色信号を生成して得る必要があり、通常「画素補間」と称される。演算手段１０により各画素位置におけるＲ，Ｇ，Ｂ信号が補間され、出力端子１１より出力される。以下に本発明における欠落した色信号の生成方法について説明する。

上記のように、図４は、ＨＶ座標面上におけるＧ信号の配列を示したものである。
図に示されているＧ信号は元々イメージセンサ２上にＧの色フィルタが配置されているため、その色フィルタを介して得られる信号であり、空白の箇所は他のＲ，Ｂの色フィルタが配置されているため、Ｇの色信号が欠落した場所である。この欠落した場所におけるＧ信号を補間する必要がある。
補間のための従来の方法として、周辺の画素の平均値を用いる平均補間方法（バイリニア補間）があるが、信号の変化の大きい箇所では精度の高い補間が期待できない。

そこで、画像の局所的な領域では、Ｒ，Ｇ，Ｂの色信号の変化に相関があることを利用して画素補間を行うことで補間精度を上げることができる。さらに、相関の度合いが変化する箇所では、正確に相関の度合いを算出することで精度の高い画素補間を実現することができる。

そこで、本実施の形態では、補間処理対象画素の近傍の領域内での色成分値の変化の様子に相似の関係がない領域においても正確に補間を行うことができ、また補間処理対象画素の近傍の領域内での色成分値の変化の仕方に拘らず常に最適の補間方法で補間を行うものであり、上記した演算手段１０における補間演算は、以下の式（２）により表される。

ｋ（ｉ，ｊ）＝ｈ（ｉ，ｊ）＋（ｋＮＦ（ｉ，ｊ）−ｈＮＦ（ｉ，ｊ）） …（２）

式（２）において、ｋ（ｉ，ｊ）はイメージセンサ２上の座標（ｉ，ｊ）において、欠落した色信号であり、補間される色信号である。ｈ（ｉ，ｊ）は（ｉ，ｊ）の位置に予め存在する、即ち値が既知の色信号である。ｋＮＦ，ｈＮＦはそれぞれ画素位置（ｉ，ｊ）と、その周辺の画素位置におけるｋ信号及びｈ信号から所定の演算により算出された非線形ローパスフィルタ出力値である。非線形ローパスフィルタ値は図１に示した、非線形ローパスフィルタ８ｒ、８ｇ、８ｂから得られる。

式（２）に示した算出式の意味について、図２３、図２４、図２５、図２６を参照して説明する。これらの図には、各画素における色信号レベルとイメージセンサ２上の各画素の位置が示されている。また、これらの図では、説明を簡単にするため、イメージセンサ２の１行だけを記載し、一次元方向だけに演算を限定して図を示す。上部に記載したのは各色フィルタの配列であり、ｈはｈ画素、ｋはｋ画素、各画素の括弧（ ）内は画素の位置を示す座標である。また、曲線ａはｋ信号の真値であり、曲線ｂはｈ信号の真値である。曲線ａ、ｂ上において黒丸印（●）で示した箇所はイメージセンサ２から得られたｋ信号及びｈ信号の画素信号値である。曲線ｃ、ｄはそれぞれｋ信号、ｈ信号のＬＰＦ値である。これらの図を参照して、画素位置（ｉ，ｊ）におけるｋ信号の画素補間を行う方法を具体的に述べる。

図２３及び図２４は、ｋ信号とｈ信号とがともに上側に凸になるように変化しているものの、変化の度合いがｋ信号とｈ信号とでは異なる場合を示し、図２５及び図２６は、画素信号にノイズが混合した場合を示す。また、図２３及び図２５は、従来技術による補間結果を示し、図２４及び図２６は、本実施の形態による補間結果を示す。

図２３は従来技術による相関を利用した補間方式を示す。ｈ（ｉ，ｊ）位置におけるｋ信号の補間において、従来の技術では相関を利用するため、信号の変化を算出するために線形ローパスフィルタ（単純平均値または加重平均値）を用いて画素補間を行っていた。すなわち、ｋ（ｉ，ｊ）を算出するために、その位置のｈ（ｉ，ｊ）信号に、（ｋＬＰＦ（ｉ，ｊ）−ｈＬＰＦ（ｉ，ｊ））を加算していた。ここで、ｋＬＰＦ（ｉ，ｊ）とは（ｉ，ｊ）の位置におけるｋ信号の線形ローパスフィルタ出力値であり、同じくｈＬＰＦ（ｉ，ｊ）とは（ｉ，ｊ）の位置におけるｈ信号の線形ローパスフィルタ出力値である。上記の画素補間方式では色信号間の正の相関度が大きいときは精度良く画素補間を行うことができるが、相関度が小さくなると補間誤差を発生する。

図２３ではｋ信号とｈ信号が上側に凸になるように変化しているが、変化の度合いがｋ信号とｈ信号とでは異なる信号を示している。画像のエッジや画像内で色が変わる箇所の色信号は往々にしてこのような信号波形となる場合がある。この場合２つの信号間の相関の度合いは小さい。図２３中の曲線ｃはｋ信号の線形ローパスフィルタの出力ｋＬＰＦを示し、曲線ｄはｈ信号の線形ローパスフィルタ出力ｈＬＰＦを示す。信号間の相関度が低いためｋＬＰＦの信号波形とｈＬＰＦの信号波形とは同形ではなく、相似性が成り立たない。そのため、補間されたｋ信号を図に白丸印（○）にて示すとおり、ｈ（ｉ−２，ｊ）やｈ（ｉ＋２，ｊ）位置など信号変化のエッジ位置では真値に対して補間誤差が生じる。

本実施の形態による画素補間方式では、画素補間に非線形ローパスフィルタ８ｒ、８ｇ、８ｂの値を用いる。図２４に具体的な例を示す。図１０、図１１に示した非線形ローパスフィルタでは信号の変化が大きいときその値の代わりに演算対象位置の信号をそのまま用いる。よって、その出力波形は図２４に曲線ｅ，曲線ｆで示すように急激な信号変化に応答するような波形となる。図において曲線ｅはｋ信号の非線形ローパスフィルタ出力ｋＮＦであり、曲線ｆはｈ信号の非線形ローパスフィルタ出力ｈＮＦである。よって、式（２）に示した演算にて求められる画素の値は図２４中白丸印（○）で示すように真値にほぼ一致した値となるように画素補間されている。このように上述してきた非線形ローパスフィルタの出力値から色信号の相関を求めることにより、精度の高い画素補間を行うことができる。

別の例について示す。図２５、図２６には信号にノイズが混合した場合における画素補間の例を示す。図２５は従来技術による画素補間の例を示した図である。いま、（ｉ−１，ｊ）の画素位置にノイズが発生したとする。このノイズはｋ信号に加算されるためｋ信号は（ｉ−１，ｊ）の位置でノイズが加算される。このとき、ｋ信号の線形ローパスフィルタの値ｋＬＰＦは同図に曲線ｃで示すとおりノイズによる信号変動が含まれた形の信号波形となる。曲線ｄはｈ信号の線形ローパスフィルタ出力ｈＬＰＦである。ｋ信号の画素補間された値を白丸印（○）にて示す。ｋＬＰＦがノイズの影響を受けているため、（ｉ−２，ｊ）、（ｉ，ｊ）位置における画素補間された値は真値から離れた値となり、ノイズによる誤差が広がった形となる。よって、線形ローパスフィルタの出力値を用いた場合、ノイズなどが信号に加算された場合にノイズの影響が画素補間へも影響を与えるという問題があった。

図２６には本実施の形態による画素補間の例を示す。図において曲線ｅはｋ信号の非線形ローパスフィルタの値ｋＮＦを、曲線ｆはｈ信号の非線形ローパスフィルタの値ｈＮＦを示す。図２５と同じくｋ信号には（ｉ−１，ｊ）の画素位置にてノイズが信号に加算されている。図１０、図１１に示した非線形ローパスフィルタでは信号の変化が大きいときその値の代わりに演算対象位置の信号をそのまま用いるため、図２６のｋ信号のように短い領域での大きな信号変化（ノイズ）は除去される形で低周波数信号成分が得られる。よって、図において白丸印（○）に示すようにノイズが信号に加算された場合においても精度の高い画素補間を行うことができる。

画素補間の演算手段について以下に具体的に説明する。図２７に演算手段１０の演算の手順をフローチャートとして示す。図２７に示すように、補間値の算出は、以下の６つの処理を含む。
ステップＳ１；Ｒ画素位置におけるＧ信号（ＧｏｎＲ）を求めるための処理。
ステップＳ２；Ｂ画素位置におけるＧ信号（ＧｏｎＢ）を求めるための処理。
ステップＳ３；Ｇ画素位置におけるＲ信号（ＲｏｎＧ）を求めるための処理。
ステップＳ４；Ｇ画素位置におけるＢ信号（ＢｏｎＧ）を求めるための処理。
ステップＳ５；Ｒ画素位置におけるＢ信号（ＢｏｎＲ）を求めるための処理。
ステップＳ６；Ｂ画素位置におけるＲ信号（ＲｏｎＢ）を求めるための処理。
これら６つの処理は、
「ｈ色（ｈ＝Ｒ、Ｇ、又はＢ）の画素信号が存在する画素位置におけるｋ色（ｋ＝Ｒ、Ｇ、又はＢ、但しｈはｋとは異なる）の画素信号を求めるための処理」
と一般化して言うことができる。これらの６つの処理の各々は画面上（１フレーム内）のすべての画素位置について行われる。

上記の６つの処理がすべて終わったときに、１画面上のすべての画素位置のすべての画素における不足した色の画素信号が揃う。

まず、ステップＳ１の演算処理について説明する。Ｇ信号の非線形ローパスフィルタ出力（以後、「ＮＦ出力」と言うことがある。なお、「ＮＦ」は「ｎｏｎｌｉｎｅａｒ ｌｏｗ−ｐａｓｓ ｆｉｌｔｅｒ」を意味する）は図１の非線形ローパスフィルタ８ｇによって算出され、算出結果が演算手段１０に入力される。

同様にＲ信号のＮＦ出力も図１の非線形ローパスフィルタ８ｒによって算出され、算出結果が演算手段１０に入力される。
Ｒ画素の位置におけるＧ信号は式（２）に従い次式（３）によって算出される。なお、Ｒ画素は（ｉ＋ｎ，ｊ＋ｍ）（ｎ，ｍは奇数）の位置に存在するため、これに伴い式（３）は式（２）とは座標値が異なるものとなる。

Ｇ（ｉ＋ｎ，ｊ＋ｍ）＝Ｒ（ｉ＋ｎ，ｊ＋ｍ）＋（ＧＮＦ（ｉ＋ｎ，ｊ＋ｍ）−ＲＮＦ（ｉ＋ｎ，ｊ＋ｍ）） …（３）

図２８は、式（３）による補間の結果得られたＧ信号ｇｒをそれぞれ対応するＲ画素位置に２次元的に示す。

次に、ステップＳ２の演算処理に移る。ステップＳ２はＢ画素の位置において欠落したＧ信号を補間する。Ｂ信号のＮＦ出力は図１の非線形ローパスフィルタ８ｂよって算出され、算出結果が演算手段１０に入力される。Ｂ画素の位置におけるＧ信号は式（２）に従い次式（４）によって算出される。なお、Ｂ画素は（ｉ＋ｕ，ｊ＋ｖ）（ｕ，ｖは偶数）の位置に存在するため、これに伴い式（４）は、式（２）とは座標値が異なるものとなる。

Ｇ（ｉ＋ｕ，ｊ＋ｖ）＝Ｂ（ｉ＋ｕ，ｊ＋ｖ）＋（ＧＮＦ（ｉ＋ｕ，ｊ＋ｖ）−ＢＮＦ（ｉ＋ｕ，ｊ＋ｖ）） …（４）

図２９は、式（４）による補間の結果得られたＧ信号ｇｂをそれぞれ対応するＢ画素位置に２次元的に示す。図２９には、式（３）による補間の結果ｇｒも示されている。式（３）による、Ｒ画素位置のＧ信号の補間、及び式（４）による、Ｂ画素位置におけるＧ信号の補間により、全画素位置におけるＧ信号が得られる。

次に、ステップＳ３の演算処理に移る。ステップＳ３はＧ画素の位置において欠落したＲ信号を補間する。Ｇ画素の位置におけるＲ信号は式（２）に従い次式（５）、式（６）にて算出される。Ｇ画素は（ｉ＋ｕ，ｊ＋ｍ）（ｕは偶数、ｍは奇数）位置と（ｉ＋ｎ，ｊ＋ｖ）（ｎは奇数、ｖは偶数）とに存在するため、式（５）、式（６）は、式（２）とは座標値が異なるものとなる。

Ｒ（ｉ＋ｕ，ｊ＋ｍ）＝Ｇ（ｉ＋ｕ，ｊ＋ｍ）＋（ＲＮＦ（ｉ＋ｕ，ｊ＋ｍ）−ＧＮＦ（ｉ＋ｕ，ｊ＋ｍ）） …（５）
Ｒ（ｉ＋ｎ，ｊ＋ｖ）＝Ｇ（ｉ＋ｎ，ｊ＋ｖ）＋（ＲＮＦ（ｉ＋ｎ，ｊ＋ｖ）−ＧＮＦ（ｉ＋ｎ，ｊ＋ｖ）） …（６）

図３０は、式（５）及び式（６）による補間の結果得られたＲ信号ｒｇをそれぞれ対応するＧ画素位置に２次元的に示す。

なお、式（５）および式（６）においてもＲＮＦ，ＧＮＦは図１の非線形ローパスフィルタ８ｒ、８ｇにより算出された値（図６、図７）であるが、ＧＮＦについては、ステップＳ１およびステップＳ２で算出したｇｒ、ｇｂを用いて新たに算出してもよい。その場合、図１に示すように、演算手段１０にて算出したｇｒ、ｇｂを一度２次元メモリ６ｇへ出力し、一時的に記憶保持した後、再度非線形ローパスフィルタ８ｇにて算出することとなる。

次に、ステップＳ４の演算処理に移る。ステップＳ４はＧ画素の位置において欠落したＢ信号を補間する。Ｇ画素の位置におけるＢ信号は式（２）に従い次式（７）、式（８）にて算出される。Ｇ画素は（ｉ＋ｕ，ｊ＋ｍ）（ｕは偶数、ｍは奇数）の位置と（ｉ＋ｎ，ｊ＋ｖ）（ｎは奇数、ｖは偶数）の位置とに存在するため、式（７）及び式（８）は、式（２）とは座標値が異なるものとなる。

Ｂ（ｉ＋ｕ，ｊ＋ｍ）＝Ｇ（ｉ＋ｕ，ｊ＋ｍ）＋（ＢＮＦ（ｉ＋ｕ，ｊ＋ｍ）−ＧＮＦ（ｉ＋ｕ，ｊ＋ｍ）） …（７）
Ｂ（ｉ＋ｎ，ｊ＋ｖ）＝Ｇ（ｉ＋ｎ，ｊ＋ｖ）＋（ＢＮＦ（ｉ＋ｎ，ｊ＋ｖ）−ＧＮＦ（ｉ＋ｎ，ｊ＋ｖ）） …（８）

図３１は、式（７）及び式（８）による補間の結果得られたＢ信号ｂｇをそれぞれ対応するＧ画素位置に２次元的に示す。

なお、本式（７）および式（８）においてもＢＮＦ，ＧＮＦは図１の非線形ローパスフィルタ８ｇ、８ｂにより算出された値（図７、図８）であるが、ＧＮＦについては、ステップＳ１およびステップＳ２で算出したｇｒ、ｇｂを用いて新たに算出してもよい。
その場合、図１に示すように、演算手段１０にて算出したｇｒ、ｇｂを一度２次元メモリ６ｇへ出力し、一時的に記憶保持した後、再度非線形ローパスフィルタ８ｇにて算出することとなる。

次に、ステップＳ５の演算処理に移る。ステップＳ５はＢ画素の位置において欠落したＲ信号を補間する。Ｂ画素の位置におけるＲ信号は式（２）に従い次式（９）にて算出される。Ｂ画素は（ｉ＋ｕ，ｊ＋ｖ）（ｕ，ｖは偶数）位置に存在するため、式（９）は、式（２）とは座標値が異なるものとなる。

Ｒ（ｉ＋ｕ，ｊ＋ｖ）＝Ｇ（ｉ＋ｕ，ｊ＋ｖ）＋（ＲＮＦ（ｉ＋ｕ，ｊ＋ｖ）−ＧＮＦ（ｉ＋ｕ，ｊ＋ｖ）） …（９）

図３２は、式（９）による補間の結果得られたＲ信号ｒｂをそれぞれ対応するＢ画素位置に２次元的に示す。図３２にはまた、式（５）及び式（６）による補間の結果得られたＲ信号ｒｇをそれぞれ対応するＧ画素位置に示されている。式（５）及び式（６）による補間と、式（９）による補間の結果、すべての画素のＲ信号が揃う。

なお、式（９）においてもＲＮＦ，ＧＮＦは上述した図１の非線形ローパスフィルタ８ｒ、８ｇにより算出された値（図６、図７）であるが、ＧＮＦについては、ステップＳ１およびステップＳ２で算出したｇｒ、ｇｂを用いて新たに算出してもよい。また、ＲＮＦも、ステップＳ３にて算出したｒｇを用いて新たに算出してよい。

次に、ステップＳ６の演算処理に移る。ステップＳ６はＲ画素の位置において欠落したＢ信号を補間する。Ｒ画素の位置におけるＢ信号は式（２）に従い次式（１０）にて算出される。Ｒ画素は（ｉ＋ｎ，ｊ＋ｍ）（ｎ，ｍは奇数）位置に存在するため、これに伴い式（１０）は、式（２）とは座標値が異なるものとなる。

Ｂ（ｉ＋ｎ，ｊ＋ｍ）＝Ｇ（ｉ＋ｎ，ｊ＋ｍ）＋（ＢＮＦ（ｉ＋ｎ，ｊ＋ｍ）−ＧＮＦ（ｉ＋ｎ，ｊ＋ｍ）） …（１０）

図３３は、式（１０）による補間の結果得られたＢ信号ｂｒをそれぞれ対応するＲ画素位置に２次元的に示す。図３３にはまた、式（７）及び式（８）による補間の結果得られたＢ信号ｂｇがそれぞれ対応するＧ画素位置が示されている。式（７）及び式（８）による補間と、式（１０）による補間の結果、すべての画素のＢ信号が揃う。

なお、式（１０）においてもＢＮＦ，ＧＮＦは上述した図１の非線形ローパスフィルタ８ｇ、８ｂにより算出された値（図７、図８）であるが、ＧＮＦについては、ステップＳ１およびステップＳ２で算出した補間値ｇｒ、ｇｂを用いて新たに算出してもよい。また、ＢＮＦも、ステップＳ４にて算出した補間値ｂｇを用いて新たに算出してよい。

以上ステップＳ１からステップＳ６の演算により、各画素において欠落した色信号を補間し、全画素のＲ，Ｇ，Ｂ信号が得られる。

上記した方式で補間を行うと、各色信号（Ｒ，Ｇ，Ｂ）間に相関があるときは、相関を利用した画素補間を行うことができ、さらに画像のエッジ部分など相関が低くまたは無い箇所においても、精度の高い画素補間を行うことができる。

尚、上記の例において、各色の信号を生成する順序は図２４に示した順序に限るものではなく、信号を生成する順序を入れ替えても差し支えない。例えば、ステップＳ１とステップＳ２、ステップＳ３とステップＳ４、ステップＳ５とステップＳ６は演算の順序を差し替えることができる。

また、本実施の形態では非線形ローパスフィルタにおいて２次元のフィルタリングを行う演算式を記載したが、注目画素の周囲における出力信号の相関性の判定を行い、相関性の強いと判断された方向に並んだ画素の出力信号のみを用いてフィルタリングを行っても良い。

さらにまた、演算手段１０にて行う式（３）から式（１０）に示した画素補間にかかる演算は画像の処理速度を考慮して通常ハードウェアにて構成されるが、処理時間が許せばそれに限定するものではなくソフトウェアにて演算を実現しても良い。

実施の形態２．
次に実施の形態２の画像信号処理装置を説明する。実施の形態２の画像信号処理装置を備えた撮像装置の全体的構成は、図１に示すごとくであるが、演算手段１０の構成が実施の形態１とは異なる。図３４は、実施の形態２の演算手段の構成を示す。図３４に示された演算手段は、概して図２２の演算手段と同様であるが、差計算手段４３の代わりに比計算手段４６を備え、加算手段４４の代わりに、乗算手段４７を有する点で異なる。

比計算手段４６は、選択手段４２ｋで選択された第ｋの非線形ＬＰＦ信号ｋＮＦの、選択手段４２ｈで選択された第ｈの非線形ＬＰＦ信号ｈＮＦに対する比ｋＮＦ／ｈＮＦを求める。

乗算手段４７は、選択手段４１から出力される画素値ｈと、比計算手段４６の出力（ｋＮＦ／ｈＮＦ）とを乗算し、その積ｈ×（ｋＮＦ−ｈＮＦ）を出力する。乗算手段４７の出力が、補間対象画素の第ｋの色の色成分値（補間値）として用いられる。

上記のうち、選択手段４１と、比計算手段４６と、乗算手段４７とにより、補間対象画素位置における第ｈの色の画素信号と、非線形ＬＰＦ出力の比（ｋＮＦ／ｈＮＦ）とに基づいて、補間対象画素位置における第ｋの色の画素信号（補間値）を求める補間値算出手段が構成されている。より詳しく言うと、この補間値算出手段は、補間対象画素の位置における一つの色（第ｈの色）の画素信号ｈと、比計算手段４６で求めた比（ｋＮＦ／ｈＮＦ）とを乗算することにより、補間対象画素位置における他の色（第ｋの色）の画素信号ｋを求める。

補間値算出手段で算出された補間値は例えば第ｋの色の画素信号のための２次元メモリ（６ｒ、６ｇ、６ｂのいずれか）に記憶され、或いは出力端子１１から出力される。

本実施の形態も実施の形態１と同様に、補間処理対象画素の近傍の領域内での色成分値の変化の様子に相似の関係がない領域においても正確に補間を行うことができ、また補間処理対象画素の近傍の領域内での色成分値の変化の仕方に拘らず常に最適の補間方法で補間を行うものであり、上記した演算手段１０による補間演算は次式（１１）で表される。

ｋ（ｉ，ｊ）＝ｈ（ｉ，ｊ）×（ｋＮＦ（ｉ，ｊ）／ｈＮＦ（ｉ，ｊ）） …（１１）

式（１１）において、式（２）と同様にｋ（ｉ，ｊ）はイメージセンサ２上の座標（ｉ，ｊ）において、欠落した色信号であり、補間される色信号である。ｈ（ｉ，ｊ）は（ｉ，ｊ）の位置に予め存在する、即ち値が既知の色信号である。ｋＮＦ，ｈＮＦはそれぞれ画素位置（ｉ，ｊ）と、その周辺の画素位置におけるｋ信号及びｈ信号から所定の演算により算出された非線形ローパスフィルタ出力値である。非線形ローパスフィルタ値は図１に示した、非線形ローパスフィルタ８ｒ、８ｇ、８ｂから得られる。

式（１１）に示した算出式の意味について、図３５、図３６、図３７、図３８を参照して説明する。これらの図には、各画素における色信号レベルとイメージセンサ２上の各画素の位置が示されている。また、これらの図では、説明を簡単にするため、イメージセンサ２の１行だけを記載し、一次元方向だけに演算を限定して図を示す。上部に記載したのは各色フィルタの配列であり、ｈはｈ画素、ｋはｋ画素、各画素の括弧（ ）内は画素の位置を示す座標である。また、曲線ａはｋ信号の真値であり、曲線ｂはｈ信号の真値である。曲線ａ、ｂ上において黒丸印（●）で示した箇所はイメージセンサ２から得られたｋ信号及びｈ信号
の画素信号値である。曲線ｃ、ｄはそれぞれｋ信号、ｈ信号のＬＰＦ値である。これらの図を参照して、画素位置（ｉ，ｊ）におけるｋ信号の画素補間を行う方法を具体的に述べる。

図３５及び図３６は、ｋ信号とｈ信号とがともに上側に凸になるように変化しているものの、変化の度合いがｋ信号とｈ信号とでは異なる場合を示し、図３７及び図３８は、画素信号にノイズが混合した場合を示す。また、図３５及び図３７は、従来技術による補間結果を示し、図３６及び図３８は、本実施の形態による補間結果を示す。

実施の形態１にて述べたように画像の局所的な領域では信号の変化には強い相関がある。よって、信号の緩やかな変化を算出するローパスフィルタの出力値とそれぞれの信号との間には次式（１２）が成り立つ。

ｋ（ｉ，ｊ）：ｈ（ｉ，ｊ）＝ｋＬＰＦ（ｉ，ｊ）：ｈＬＰＦ（ｉ，ｊ） …（１２）

式（１２）を変形すると、ｈ画素のある（ｉ，ｊ）におけるｋ（ｉ，ｊ）の信号は次式（１３）で表すことができる。

ｋ（ｉ，ｊ）＝ｈ（ｉ，ｊ）×ｋＬＰＦ（ｉ，ｊ）／ｈＬＰＦ（ｉ，ｊ） …（１３）

式（１３）は画像の局所的な領域では信号の変化に強い相関を持つと仮定しており、画像のほとんどの領域では上記仮定が成り立つため、信号の変化に正の相関の高い領域では精度の高い画素補間を可能とする。しかし、実施の形態１と同様に画像のエッジなど相関がない領域や、相関の度合いが低くなると画素補間誤差が発生する。

即ち、図３５ではｋ信号とｈ信号が上側に凸になるように変化しているが、変化の度合いがｋ信号とｈ信号とでは異なる信号を示している。画像のエッジや画像内で色が変わる箇所の色信号は往々にしてこのような信号波形となる場合がある。この場合２つの信号間の相関の度合いは小さい。図３５中の曲線ｃはｋ信号の線形ローパスフィルタの出力ｋＬＰＦを示し、曲線ｄはｈ信号の線形ローパスフィルタ出力ｈＬＰＦを示す。信号間の相関度が低いためｋＬＰＦの信号波形とｈＬＰＦの信号波形とは同形ではなく、相似性が成り立たない。そのため、補間されたｋ信号を図中白丸印（○）にて示すとおり、ｈ（ｉ−２，ｊ）やｈ（ｉ＋２，ｊ）位置など信号変化のエッジ位置では真値に対して補間誤差が生じる。

本実施の形態による画素補間方式では、画素補間に非線形ローパスフィルタ８ｒ、８ｇ、８ｂの値を用いる。図３６に具体的な例を示す。図１０、図１１に示した非線形ローパスフィルタでは信号の変化が大きいときその値の代わりに演算対象位置の信号をそのまま用いる。よって、その出力波形は図３６に曲線ｅ，曲線ｆで示すように急激な信号変化に応答するような波形となる。図において曲線ｅはｋ信号の非線形ローパスフィルタ出力ｋＮＦであり、曲線ｆはｈ信号の非線形ローパスフィルタ出力ｈＮＦである。よって、式（１２）に示した演算にて求められる画素の値は図３６中白丸印（○）で示すように真値にほぼ一致した値となるように画素補間されている。このように上述してきた非線形ローパスフィルタの出力値から色信号の相関を求めることにより、精度の高い画素補間を行うことができる。

別の例について示す。図３７、図３８には信号にノイズが混合した場合における画素補間の例を示す。図３７は従来技術による画素補間の例を示した図である。いま、（ｉ−１，ｊ）の画素位置にノイズが発生したとする。このノイズはｋ信号に加算されるためｋ信号は（ｉ−１，ｊ）の位置でノイズが加算される。このとき、ｋ信号の線形ローパスフィルタの値ｋＬＰＦは同図に曲線ｃで示すとおりノイズによる信号変動が含まれた形の信号波形となる。曲線ｄはｈ信号の線形ローパスフィルタ出力ｈＬＰＦである。式（１３）に示した演算にて求められるｋ信号の画素補間された値を白丸印（○）にて示す。ｋＬＰＦがノイズの影響を受けているため、（ｉ−２，ｊ）、（ｉ，ｊ）位置における画素補間された値は真値から離れた値となり、ノイズによる誤差が広がった形となる。よって、線形ローパスフィルタの出力値を用いた場合、ノイズなどが信号に加算された場合にノイズの影響が画素補間へも影響を与えるという問題があった。

図３８には本実施の形態による画素補間の例を示す。図において曲線ｅはｋ信号の非線形ローパスフィルタの値ｋＮＦを、曲線ｆはｈ信号の非線形ローパスフィルタの値ｈＮＦを示す。図３７と同じくｋ信号には（ｉ−１，ｊ）の画素位置にてノイズが信号に加算されている。図１０、図１１に示した非線形ローパスフィルタでは信号の変化が大きいときその値の代わりに演算対象位置の信号をそのまま用いるため、図３８のｋ信号のように短い領域での大きな信号変化（ノイズ）は除去される形で低周波数信号成分が得られる。よって、式（１１）に示した演算にて求められる画素補間信号は、図において白丸印（○）に示すように真値に近い値で補間されており、ノイズが信号に加算された場合においても精度の高い画素補間を行うことができる。

画素補間の演算は、実施の形態１と同様に、図２７のフローチャートに示す手順で行われる。図２７に示すように、補間値の算出は、６つの処理を含む。この６つの処理がすべて終わったときに、１画面上のすべての画素位置のすべての画素における不足した色の画素信号が揃う。

各手順における演算手段を具体的に説明する。まず、各色信号Ｒ，Ｇ，Ｂの非線形ローパスフィルタの出力は実施の形態１と同様である。

まず、ステップＳ１の演算処理について説明する。Ｇ信号のＮＦ出力は図１の非線形ローパスフィルタ８ｇによって算出され、算出結果が演算手段１０に入力される。

同様にＲ信号のＮＦ出力も図１の非線形ローパスフィルタ８ｒによって算出され、算出結果が演算手段１０に入力される。
Ｒ画素の位置におけるＧ信号は式（１１）に従い次式（１４）によって算出される。なお、Ｒ画素は（ｉ＋ｎ，ｊ＋ｍ）（ｎ，ｍは奇数）の位置に存在するため、これに伴い式（１４）は式（１１）とは座標値が異なるものとなる。

Ｇ（ｉ＋ｎ，ｊ＋ｍ）＝Ｒ（ｉ＋ｎ，ｊ＋ｍ）×（ＧＮＦ（ｉ＋ｎ，ｊ＋ｍ）／ＲＮＦ（ｉ＋ｎ，ｊ＋ｍ）） …（１４）

図２８は、式（１４）による補間の結果得られたＧ信号ｇｒをそれぞれ対応するＲ画素位置に２次元的に示す。

次に、ステップＳ２の演算処理に移る。ステップＳ２はＢ画素の位置において欠落したＧ信号を補間する。Ｂ信号のＮＦ出力は図１の非線形ローパスフィルタ８ｂによって算出され、算出結果が演算手段１０に入力される。Ｂ画素の位置におけるＧ信号は式（１１）に従い次式（１５）によって算出される。なお、Ｂ画素は（ｉ＋ｕ，ｊ＋ｖ）（ｕ，ｖは偶数）の位置に存在するため、これに伴い式（１５）は、式（１１）とは座標値が異なるものとなる。

Ｇ（ｉ＋ｕ，ｊ＋ｖ）＝Ｂ（ｉ＋ｕ，ｊ＋ｖ）×（ＧＮＦ（ｉ＋ｕ，ｊ＋ｖ）／ＢＮＦ（ｉ＋ｕ，ｊ＋ｖ）） …（１５）

図２９は、式（１５）による補間の結果得られたＧ信号ｇｂをそれぞれ対応するＢ画素位置に２次元的に示す。図２９には、式（１４）による補間の結果ｇｒも示されている。式（１４）による、Ｒ画素位置のＧ信号の補間、及び式（１５）による、Ｂ画素位置におけるＧ信号の補間により、全画素位置におけるＧ信号が得られる。式（１５）によりＢ画素位置におけるＧ信号を補間し、その信号配列の図を２次元的に示したものを図２９にｇｂにて示す。これにより全画素位置におけるＧ信号を算出できたこととなる。

次に、ステップＳ３の演算処理に移る。ステップＳ３はＧ画素の位置において欠落したＲ信号を補間する。Ｇ画素の位置におけるＲ信号は式（１１）に従い次式（１６）、式（１７）にて算出される。Ｇ画素は（ｉ＋ｕ，ｊ＋ｍ）（ｕは偶数、ｍは奇数）位置と（ｉ＋ｎ，ｊ＋ｖ）（ｎは奇数、ｖは偶数）とに存在するため、式（１６）、式（１７）は、式（１１）とは座標値が異なるものとなる。

Ｒ（ｉ＋ｕ，ｊ＋ｍ）＝Ｇ（ｉ＋ｕ，ｊ＋ｍ）×（ＲＮＦ（ｉ＋ｕ，ｊ＋ｍ）／ＧＮＦ（ｉ＋ｕ，ｊ＋ｍ）） …（１６）
Ｒ（ｉ＋ｎ，ｊ＋ｖ）＝Ｇ（ｉ＋ｎ，ｊ＋ｖ）×（ＲＮＦ（ｉ＋ｎ，ｊ＋ｖ）／ＧＮＦ（ｉ＋ｎ，ｊ＋ｖ）） …（１７）

図３０は、式（１６）及び式（１７）による補間の結果得られたＲ信号ｒｇをそれぞれ対応するＧ画素位置に２次元的に示す。

なお、式（１６）および式（１７）においてもＲＮＦ，ＧＮＦは図１の非線形ローパスフィルタ８ｒ、８ｇにより算出された値（図６、図７）であるが、ＧＮＦについては、ステップＳ１およびステップＳ２で算出したｇｒ、ｇｂを用いて新たに算出してもよい。その場合、図１に示すように、演算手段１０にて算出したｇｒ、ｇｂを一度２次元メモリ６ｇへ出力し、一時的に記憶保持した後、再度非線形ローパスフィルタ８ｇにて算出することとなる。

次に、ステップＳ４の演算処理に移る。ステップＳ４はＧ画素の位置において欠落したＢ信号を補間する。Ｇ画素の位置におけるＢ信号は式（１１）に従い次式（１８）、式（１９）にて算出される。Ｇ画素は（ｉ＋ｕ，ｊ＋ｍ）（ｕは偶数、ｍは奇数）位置と（ｉ＋ｎ，ｊ＋ｖ）（ｎは奇数、ｖは偶数）とに存在するため、式（１８）及び式（１９）は、式（１１）とは座標値が異なるものとなる。

Ｂ（ｉ＋ｕ，ｊ＋ｍ）＝Ｇ（ｉ＋ｕ，ｊ＋ｍ）×（ＢＮＦ（ｉ＋ｕ，ｊ＋ｍ）／ＧＮＦ（ｉ＋ｕ，ｊ＋ｍ）） …（１８）
Ｂ（ｉ＋ｎ，ｊ＋ｖ）＝Ｇ（ｉ＋ｎ，ｊ＋ｖ）×（ＢＮＦ（ｉ＋ｎ，ｊ＋ｖ）／ＧＮＦ（ｉ＋ｎ，ｊ＋ｖ）） …（１９）

図３１は、式（１８）及び式（１９）による補間の結果得られたＢ信号ｂｇをそれぞれ対応するＧ画素位置に２次元的に示す。

なお、本式（１８）および式（１９）においてもＢＮＦ，ＧＮＦは図１の非線形ローパスフィルタ８ｇ、８ｂにより算出された値（図７、図８）であるが、ＧＮＦについては、ステップＳ１およびステップＳ２で算出したｇｒ、ｇｂを用いて新たに算出してもよい。
その場合、図１に示すように、演算手段１０にて算出したｇｒ、ｇｂを一度２次元メモリ６ｇへ出力し、一時的に記憶保持した後、再度非線形ローパスフィルタ８ｇにて算出することとなる。

次に、ステップＳ５の演算処理に移る。ステップＳ５はＢ画素の位置において欠落したＲ信号を補間する。Ｂ画素の位置におけるＲ信号は式（１１）に従い次式（２０）にて算出される。Ｂ画素は（ｉ＋ｕ，ｊ＋ｖ）（ｕ，ｖは偶数）位置に存在するため、式（２０）は、式（１１）とは座標値が異なるものとなる。

Ｒ（ｉ＋ｕ，ｊ＋ｖ）＝Ｇ（ｉ＋ｕ，ｊ＋ｖ）×（ＲＮＦ（ｉ＋ｕ，ｊ＋ｖ）／ＧＮＦ（ｉ＋ｕ，ｊ＋ｖ）） …（２０）

図３２は、式（２０）による補間の結果得られたＲ信号ｒｂをそれぞれ対応するＢ画素位置に２次元的に示す。図３２にはまた、式（１６）及び式（１７）による補間の結果得られたＲ信号ｒｇをそれぞれ対応するＧ画素位置に示されている。式（１６）及び式（１７）による補間と、式（２０）による補間の結果、すべての画素のＲ信号が揃う。

なお、式（２０）においてＲＮＦ，ＧＮＦは上述した図１の非線形ローパスフィルタ８ｒ、８ｇにより算出された値（図６、図７）であるが、ＧＮＦについては、ステップＳ１およびステップＳ２で算出したｇｒ、ｇｂを用いて新たに算出してもよい。また、ＲＮＦも、ステップＳ３にて算出したｒｇを用いて新たに算出してよい。

次に、ステップＳ６の演算処理に移る。ステップＳ６はＲ画素の位置において欠落したＢ信号を補間する。Ｒ画素の位置におけるＢ信号は式（１１）に従い次式（２１）にて算出される。Ｒ画素は（ｉ＋ｎ，ｊ＋ｍ）（ｎ，ｍは奇数）位置に存在するため、これに伴い式（２１）は、式（１１）とは座標値が異なるものとなる。

Ｂ（ｉ＋ｎ，ｊ＋ｍ）＝Ｇ（ｉ＋ｎ，ｊ＋ｍ）×（ＢＮＦ（ｉ＋ｎ，ｊ＋ｍ）／ＧＮＦ（ｉ＋ｎ，ｊ＋ｍ）） …（２１）

図３３は、式（２１）による補間の結果得られたＢ信号ｂｒをそれぞれ対応するＲ画素位置に２次元的に示す。図３３にはまた、式（１８）及び式（１９）による補間の結果得られたＢ信号ｂｇがそれぞれ対応するＧ画素位置が示されている。式（１８）及び式（１９）による補間と、式（２１）による補間の結果、すべての画素のＢ信号が揃う。

なお、式（２１）においてもＢＮＦ，ＧＮＦは上述した図１中非線形ローパスフィルタ８ｇ、８ｂにより算出された値（図７、図８）であるが、ＧＮＦについては、ステップＳ１およびステップＳ２で算出したｇｒ、ｇｂを用いて新たに算出してもよい。また、ＢＮＦも、ステップＳ４にて算出したｂｇを用いて新たに算出してよい。

以上ステップＳ１からステップＳ６の演算により、各画素において欠落した色信号を補間し、全画素のＲ，Ｇ，Ｂ信号が得られる。

上記した方式で補間を行うと、各信号（Ｒ，Ｇ，Ｂ）間に相関があるときは、相関を利用した画素補間を行うことができ、さらに画像のエッジ部分など相関が低くまたは無い箇所においても、精度の高い画素補間を行うことができる。

尚、上記の例において、各色の信号を生成する順序は図２４に示した順序に限るものではなく、信号を生成する順序を入れ替えても差し支えない。例えば、ステップＳ１とステップＳ２、ステップＳ３とステップＳ４、ステップＳ５とステップＳ６は演算の順序を差し替えることができる。

また、本実施の形態では非線形ローパスフィルタにおいて２次元のフィルタリングを行う演算式を記載したが、注目画素の周囲における出力信号の相関性の判定を行い、相関性の強いと判断された方向に並んだ画素の出力信号のみを用いてフィルタリングを行っても良い。

さらにまた、演算手段１０にて行う式（１４）から式（２１）に示した画素補間にかかる演算は画像の処理速度を考慮して通常ハードウェアにて構成されるが、処理時間が許せばそれに限定するものではなくソフトウェアにて演算を実現しても良い。

この発明の実施の形態１の画素信号処理装置を備えた撮像装置の構成を示すブロック図である。 ベイヤ型に配置されたＲ、Ｇ、Ｂの３原色の色フィルタを示す説明図である。 イメージセンサの撮像面上における、Ｒ画素の配置を示す図である。 イメージセンサの撮像面上における、Ｇ画素の配置を示す図である。 イメージセンサの撮像面上における、Ｂ画素の配置を示す図である。 Ｒ信号のＮＦ値を示す図である。 Ｇ信号のＮＦ値を示す図である。 Ｂ信号のＮＦ値を示す図である。 非線形ローパスフィルタの構成例を示すブロック図である。 図９の既知色フィルタの構成例を示すブロック図である。 図９の未知色フィルタの構成例を示すブロック図である。 Ｇ信号のための非線形ローパスフィルタの未知色フィルタの演算に用いるＧ信号の画素の位置を示した図である。 Ｇ信号のための非線形ローパスフィルタの既知色フィルタにおける演算に用いるＧ信号の画素の位置を示した図である。 Ｒ信号のための非線形ローパスフィルタの未知色フィルタにおける演算に用いるＲ信号の画素の位置を示した図である。 Ｒ信号のための非線形ローパスフィルタの既知色フィルタにおける演算に用いるＲ信号の画素の位置を示した図である。 Ｒ信号のための非線形ローパスフィルタの未知色フィルタにおける演算に用いるＲ信号の画素の位置を示した図である。 Ｒ信号のための非線形ローパスフィルタの既知色フィルタにおける演算に用いるＲ信号の画素の位置を示した図である。 Ｂ信号のための非線形ローパスフィルタの未知色フィルタにおける演算に用いるＢ信号の画素の位置を示した図である。 Ｂ信号のための非線形ローパスフィルタの既知色フィルタにおける演算に用いるＢ信号の画素の位置を示した図である。 Ｂ信号のための非線形ローパスフィルタの未知色フィルタにおける演算に用いるＢ信号の画素の位置を示した図である。 Ｂ信号のための非線形ローパスフィルタの既知色フィルタにおける演算に用いるＢ信号の画素の位置を示した図である。 実施の形態１の演算手段の構成を示すブロック図である。 ｋ信号、ｈ信号の相関が低い場合の従来技術による画素補間の原理を模式的に示す説明図である。 ｋ信号、ｈ信号の相関が低い場合の実施の形態１による画素補間の原理を模式的に示す説明図である。 ｋ信号、ｈ信号の相関が低い場合の従来技術による画素補間の原理を模式的に示す説明図である。 ｋ信号、ｈ信号の相関が低い場合の実施の形態１による画素補間の原理を模式的に示す説明図である。 この発明の実施の形態１における補間手順を示すフローチャートである。 Ｒ画素位置における画素補間したＧ信号の配列を示す図である。 Ｂ画素位置における画素補間したＧ信号の配列を示す図である。 Ｇ画素位置における画素補間したＲ信号の配列を示す図である。 Ｇ画素位置における画素補間したＢ信号の配列を示す図である。 Ｂ画素位置における画素補間したＲ信号の配列を示す図である。 Ｒ画素位置における画素補間したＢ信号の配列を示す図である。 実施の形態２の演算手段の構成を示すブロック図である。 ｋ信号、ｈ信号の相関が低い場合の従来技術による画素補間の原理を模式的に示す説明図である。 ｋ信号、ｈ信号の相関が低い場合の実施の形態２による画素補間の原理を模式的に示す説明図である。 ｋ信号、ｈ信号の相関が低い場合の従来技術による画素補間の原理を模式的に示す説明図である。 ｋ信号、ｈ信号の相関が低い場合の実施の形態２による画素補間の原理を模式的に示す説明図である。

符号の説明

１ レンズ、 ２ イメージセンサ、 ３ Ａ／Ｄ変換器、 ４ フレームメモリ、 ５ デマルチプレクサ、 ６ｒ Ｒ信号用２次元メモリ、 ６ｇ Ｇ信号用２次元メモリ、 ６ｂ Ｂ信号用２次元メモリ、 ８ｒ Ｒ信号用非線形ローパスフィルタ、 ８ｇ Ｇ信号用非線形ローパスフィルタ、 ８ｂ Ｂ信号用非線形ローパスフィルタ、 １０ 演算手段、 １１ 出力端子、 １３ 入力端子、 １４ 出力端子、 １５ 選択手段、 １６ 選択手段、 ２１ 既知色フィルタ、 ２２ 入力端子、 ２３ａ〜２３ｄ ラッチ、 ２４ 比較手段、 ２５ 選択手段、 ２６ａ、２６ｅ ３ビットシフト器、 ２６ｂ、２６ｃ、２６ｄ ２ビットシフト器、 ２７ 加算手段、 ２８ 出力端子、 ３１ 未知色フィルタ、 ３２ 入力端子、 ３３ａ〜３３ｃ ラッチ、 ３４ａ〜３４ｄ 比較手段、 ３５ａ〜３５ｄ 選択手段、 ３６ａ 加算手段、 ３６ｂ １ビットシフト器、 ３７ａ 加算手段、 ３７ｂ ２ビットシフト器、 ３８ 出力端子、 ４１、４２ｈ、４２ｋ 選択手段、 ４３ 差計算手段、 ４４ 加算手段、 ４５ 制御手段、 ４６ 比計算手段、 ４７ 乗算手段。

Claims (8)

1. ２次元平面上に配列され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素の画素信号の組のうちの第ｈ（ｈは１からＮのうちのいずれか一つ）の分光感度特性の画素信号が存在する注目画素位置における第ｋ（ｋはｈを除く１からＮのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理装置において、
   前記注目画素位置の近傍の、前記第ｈの分光感度特性を有する第１の複数の画素（以下「第１の近傍画素」と言う）の各々について、その信号値と、前記注目画素位置の前記第ｈの分光感度特性の画素信号の各々の信号値の差（以下「第１の差」と言う）の絶対値が予め定めた第１の閾値よりも大きいかどうかの判定を行い、前記第１の差の絶対値が前記第１の閾値よりも大きいときは、前記注目画素位置の前記第ｈの分光感度特性の画素信号の信号値を選択し、前記第１の差の絶対値が前記第１の閾値よりも小さいときは前記第１の近傍画素の信号値を選択する第１の比較選択手段と、
   前記第１の比較選択手段によって選択された複数の画素の信号値の平均値を算出する第１の平均値演算手段とを有し、
   前記平均値演算手段によって演算された結果を、注目画素位置における、前記第ｈの分光感度特性の画素信号の低周波数成分とするｈ信号非線形ローパスフィルターと、
   前記注目画素位置の近傍の、前記第ｋの分光感度特性を有する第２の複数の画素（以下「第２の近傍画素」と言う）の各々について、その信号値と、前記注目画素位置に隣接する複数の前記第ｋの分光感度特性の画素の信号の平均値との差（以下「第２の差」と言う）の絶対値が予め定めた第２の閾値よりも大きいかどうかの判定を行い、前記第２の差の絶対値が前記第２の閾値よりも大きいときは、前記複数の第ｋの分光感度特性の画素の信号の前記平均値を選択し、前記第２の差の絶対値が前記第２の閾値よりも小さいときは前記第２の近傍画素の信号値を選択する第２の比較選択手段と、
   前記第２の比較選択手段によって選択された複数の画素の信号値の平均値を算出する第２の平均値演算手段とを有し、
   前記平均値演算手段によって演算された結果を、注目画素位置における、前記第ｋの分光感度特性の画素信号の低周波数成分とするｋ信号非線形ローパスフィルターと、
   前記ｋ信号非線形ローパスフィルターと前記ｈ信号非線形ローパスフィルターによって得られた値の差を、前記注目画素位置における前記第ｈの画素信号の値に加算して、前記注目画素位置における前記第ｋの画素信号を求める演算手段とを
   有する画素信号処理装置。
2. ２次元平面上に配列され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素の画素信号の組のうちの第ｈ（ｈは１からＮのうちのいずれか一つ）の分光感度特性の画素信号が存在する注目画素位置における第ｋ（ｋはｈを除く１からＮのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理装置において、
   前記注目画素位置の近傍の、前記第ｈの分光感度特性を有する第１の複数の画素（以下「第１の近傍画素」と言う）の各々について、その信号値と、前記注目画素位置の前記第ｈの分光感度特性の画素信号の各々の信号値の差（以下「第１の差」と言う）の絶対値が予め定めた第１の閾値よりも大きいかどうかの判定を行い、前記第１の差の絶対値が前記第１の閾値よりも大きいときは、前記注目画素位置の前記第ｈの分光感度特性の画素信号の信号値を選択し、前記第１の差の絶対値が前記第１の閾値よりも小さいときは前記第１の近傍画素の信号値を選択する第１の比較選択手段と、
   前記第１の比較選択手段によって選択された複数の画素の信号値の平均値を算出する第１の平均値演算手段とを有し、
   前記平均値演算手段によって演算された結果を、注目画素位置における、前記第ｈの分光感度特性の画素信号の低周波数成分とするｈ信号非線形ローパスフィルターと、
   前記注目画素位置の近傍の、前記第ｋの分光感度特性を有する第２の複数の画素（以下「第２の近傍画素」と言う）の各々について、その信号値と、前記注目画素位置に隣接する複数の前記第ｋの分光感度特性の画素の信号の平均値との差（以下「第２の差」と言う）の絶対値が予め定めた第２の閾値よりも大きいかどうかの判定を行い、前記第２の差の絶対値が前記第２の閾値よりも大きいときは、前記複数の第ｋの分光感度特性の画素の信号の前記平均値を選択し、前記第２の差の絶対値が前記第２の閾値よりも小さいときは前記第２の近傍画素の信号値を選択する第２の比較選択手段と、
   前記第２の比較選択手段によって選択された複数の画素の信号値の平均値を算出する第２の平均値演算手段とを有し、
   前記平均値演算手段によって演算された結果を、注目画素位置における、前記第ｋの分光感度特性の画素信号の低周波数成分とするｋ信号非線形ローパスフィルターと、
   前記ｋ信号非線形ローパスフィルターと前記ｈ信号非線形ローパスフィルターによって得られた値の比を、前記注目画素位置における前記第ｈの画素信号の値に乗じて、前記注目画素位置における前記第ｋの画素信号を求める演算手段とを
   有する画素信号処理装置。
3. 前記第１から第Ｎの分光感度特性を有する画素が、Ｒ、Ｇ、Ｂ画素の３種の画素であることを特徴とする請求項１又は２に記載の画像信号処理装置。
4. 前記第１及び第２の平均値演算手段の各々が、前記第１の比較選択手段によって選択された複数の画素の信号値の平均値を算出するに当たり、前記複数の画素の各々の、前記注目画素からの距離が大きいほど小さな重み付け係数を用いた加重平均を求めることを特徴とする請求項１又は２に記載の画像信号処理装置。
5. ２次元平面上に配列され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素の画素信号の組のうちの第ｈ（ｈは１からＮのうちのいずれか一つ）の分光感度特性の画素信号が存在する注目画素位置における第ｋ（ｋはｈを除く１からＮのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理方法において、
   前記注目画素位置の近傍の、前記第ｈの分光感度特性を有する第１の複数の画素（以下「第１の近傍画素」と言う）の各々について、その信号値と、前記注目画素位置の前記第ｈの分光感度特性の画素信号の各々の信号値の差（以下「第１の差」と言う）の絶対値が予め定めた第１の閾値よりも大きいかどうかの判定を行い、前記第１の差の絶対値が前記第１の閾値よりも大きいときは、前記注目画素位置の前記第ｈの分光感度特性の画素信号の信号値を選択し、前記第１の差の絶対値が前記第１の閾値よりも小さいときは前記第１の近傍画素の信号値を選択する第１の比較選択ステップと、
   前記第１の比較選択ステップによって選択された複数の画素の信号値の平均値を算出する第１の平均値演算ステップとを有し、
   前記平均値演算ステップによって演算された結果を、注目画素位置における、前記第ｈの分光感度特性の画素信号の低周波数成分とするｈ信号非線形ローパスフィルターリングステップと、
   前記注目画素位置の近傍の、前記第ｋの分光感度特性を有する第２の複数の画素（以下「第２の近傍画素」と言う）の各々について、その信号値と、前記注目画素位置に隣接する複数の前記第ｋの分光感度特性の画素の信号の平均値との差（以下「第２の差」と言う）の絶対値が予め定めた第２の閾値よりも大きいかどうかの判定を行い、前記第２の差の絶対値が前記第２の閾値よりも大きいときは、前記複数の第ｋの分光感度特性の画素の信号の前記平均値を選択し、前記第２の差の絶対値が前記第２の閾値よりも小さいときは前記第２の近傍画素の信号値を選択する第２の比較選択ステップと、
   前記第２の比較選択ステップによって選択された複数の画素の信号値の平均値を算出する第２の平均値演算ステップとを有し、
   前記平均値演算ステップによって演算された結果を、注目画素位置における、前記第ｋの分光感度特性の画素信号の低周波数成分とするｋ信号非線形ローパスフィルターリングステップと、
   前記ｋ信号非線形ローパスフィルターリングステップと前記ｈ信号非線形ローパスフィルターリングステップによって得られた値の差を、前記注目画素位置における前記第ｈの画素信号の値に加算して、前記注目画素位置における前記第ｋの画素信号を求める演算ステップとを
   有する画素信号処理方法。
6. ２次元平面上に配列され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素の画素信号の組のうちの第ｈ（ｈは１からＮのうちのいずれか一つ）の分光感度特性の画素信号が存在する注目画素位置における第ｋ（ｋはｈを除く１からＮのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理方法において、
   前記注目画素位置の近傍の、前記第ｈの分光感度特性を有する第１の複数の画素（以下「第１の近傍画素」と言う）の各々について、その信号値と、前記注目画素位置の前記第ｈの分光感度特性の画素信号の各々の信号値の差（以下「第１の差」と言う）の絶対値が予め定めた第１の閾値よりも大きいかどうかの判定を行い、前記第１の差の絶対値が前記第１の閾値よりも大きいときは、前記注目画素位置の前記第ｈの分光感度特性の画素信号の信号値を選択し、前記第１の差の絶対値が前記第１の閾値よりも小さいときは前記第１の近傍画素の信号値を選択する第１の比較選択ステップと、
   前記第１の比較選択ステップによって選択された複数の画素の信号値の平均値を算出する第１の平均値演算ステップとを有し、
   前記平均値演算ステップによって演算された結果を、注目画素位置における、前記第ｈの分光感度特性の画素信号の低周波数成分とするｈ信号非線形ローパスフィルターリングステップと、
   前記注目画素位置の近傍の、前記第ｋの分光感度特性を有する第２の複数の画素（以下「第２の近傍画素」と言う）の各々について、その信号値と、前記注目画素位置に隣接する複数の前記第ｋの分光感度特性の画素の信号の平均値との差（以下「第２の差」と言う）の絶対値が予め定めた第２の閾値よりも大きいかどうかの判定を行い、前記第２の差の絶対値が前記第２の閾値よりも大きいときは、前記複数の第ｋの分光感度特性の画素の信号の前記平均値を選択し、前記第２の差の絶対値が前記第２の閾値よりも小さいときは前記第２の近傍画素の信号値を選択する第２の比較選択ステップと、
   前記第２の比較選択ステップによって選択された複数の画素の信号値の平均値を算出する第２の平均値演算ステップとを有し、
   前記平均値演算ステップによって演算された結果を、注目画素位置における、前記第ｋの分光感度特性の画素信号の低周波数成分とするｋ信号非線形ローパスフィルターリングステップと、
   前記ｋ信号非線形ローパスフィルターリングステップと前記ｈ信号非線形ローパスフィルターリングステップによって得られた値の比を、前記注目画素位置における前記第ｈの画素信号の値に乗じて、前記注目画素位置における前記第ｋの画素信号を求める演算ステップとを
   有する画素信号処理方法。
7. 前記第１から第Ｎの分光感度特性を有する画素が、Ｒ、Ｇ、Ｂ画素の３種の画素であることを特徴とする請求項５又は６に記載の画像信号処理方法。
8. 前記第１及び第２の平均値演算ステップの各々が、前記第１の比較選択ステップによって選択された複数の画素の信号値の平均値を算出するに当たり、前記複数の画素の各々の、前記注目画素からの距離が大きいほど小さな重み付け係数を用いた加重平均を求めることを特徴とする請求項５又は６に記載の画像信号処理方法。

Images