JP3926363B2 - 画素信号処理装置及び画素信号処理方法 - Google Patents

Description

本発明は、画素信号処理装置及び方法に関し、特に２次元平面上に配列された画素の各々が複数の色成分値のうちの少なくとも一つの色成分値を有していないとき、その画素が有していない色成分値を補間により生成することでカラー画像を得る画素信号処理装置及び方法に関するものである。

このような画素信号処理は、例えば、各々が複数の色成分値、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のうちのいずれか一つの色成分値を発生する複数種類の光電変換素子が２次元平面上に、例えばベイヤ型に配列された撮像素子をさらに備えるカラー撮像装置の一部として用いられ、撮像素子から出力された画素信号に基き、各画素位置において欠落している色成分値（不足色成分値）を補間するために用いられる。

従来の、赤、緑、青のカラーフィルタがベイヤ型に配置された撮像素子を有する撮像装置では、各々の画素につき、Ｇ、ＢまたはＢ、ＲまたはＲ、Ｇの色成分値が不足しており、例えば下記の特許文献１に示されるように、解像感を高めるために、色毎の局所的な画素信号の分布に基づいて各画素の画素信号を平均値で置き換え、これによって想定される既知色幾何学図形と不足色幾何学図形の線形相似比に基づく補間方法を用いている。

特開２００１−１９７５１２公報（段落００４８〜００４９、図７）

この従来の方法は、補間処理対象画素の近傍の領域内において、それぞれの色成分値（例えば、ベイヤ型配列におけるＲ、Ｇ、Ｂ成分値）間に正の相関があると仮定している。そのため、色成分値相互間に正の相関がない領域（例えばある色と別の色との境界など）、例えば相関がない場合や、負の相関がある領域では、補間を適切に行うことができず、補間誤差が大きくなるという問題があった。

本発明は、補間処理対象画素の近傍の領域内での色成分値の変化の仕方に拘らず常に最適の補間方法で補間を行うことができる画素信号処理装置を提供することを目的とする。

この発明は、
２次元平面上に配列され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素の画素信号の組に基づき、第ｈ（ｈは１からＮのうちのいずれか一つ）の分光感度特性の画素信号が存在する補間対象画素位置における第ｋ（ｋはｈを除く１からＮのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理装置において、
上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｋの分光感度特性の画素信号の低周波数成分と、上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｈの分光感度特性の画素信号の低周波数成分との差を算出する差算出手段と、
上記補間対象画素位置の近傍の領域内における上記第ｋの分光感度特性の画素信号と上記第ｈの分光感度特性の画素信号との非相関の程度に対応した非相関値を算出する非相関値算出手段と、
上記補間対象画素位置における上記第ｈの分光感度特性の画素信号と、上記差と、上記非相関値とに基づいて、上記補間対象画素位置における上記第ｋの分光感度特性の画素信号を求める補間値算出手段と
を有する画素信号処理装置を提供する。

この発明によれば、補間対象の画素が色の境界付近にある場合など、色成分値相互間の相関関係が種々異なっていても、正確に補間を行うことができる。

以下、図面を参照して本発明の実施の形態を説明する。以下に説明する実施の形態は、デジタルスチルカメラの一部として用いるのに適したものであるが、本発明はこれに限定されない。

実施の形態１．
図１はこの発明の実施の形態１の画素信号処理装置を備えた撮像装置の構成を表すブロック図である。
レンズ１から入射した光は、例えば固体撮像素子で構成される２次元イメージセンサ２の撮像面に結像する。イメージセンサ２は、２次元的に配列された複数の光電変換素子を有し、この複数の光電変換素子は、例えば図２に示すように、ベイヤ（Ｂａｙｅｒ）型に配置された、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色に対応する分光感度特性を有するカラーフィルタで覆われており、各光電変換素子からは、カラーフィルタの色に対応した色成分のアナログ信号が出力される。

図２において、横、縦はそれぞれ撮像面の水平方向（Ｈ）、垂直方向（Ｖ）を表す。光電変換素子は画素を構成し、撮像面上で各光電変換素子が占める位置が画素位置に対応する。各画素は、撮像素子の撮像面上に２次元的に配列されているので、それらの位置は、ＨＶ座標面（またはＨＶ面）上の座標値で表すことができる。図２はイメージセンサの一部のみ、即ち７行７列の範囲を示す。中心の画素の水平方向位置をｉ、垂直方向位置をｊ、従って座標値を（ｉ，ｊ）で表し、その周囲の画素の水平方向（行方向）の位置を、ｉ−３，ｉ−２、…ｉ＋３を、垂直方向（列方向）の位置を、ｊ−３、ｊ−２、…ｊ＋３で表している。
また以下の説明で、Ｒのカラーフィルタで覆われた光電変換素子に対応した画素をＲ画素、Ｇのカラーフィルタで覆われた光電変換素子に対応した画素をＧ画素、Ｂのカラーフィルタで覆われた光電変換素子に対応した画素をＢ画素と呼ぶ。

イメージセンサ２は入射光を光電変換し入射光量に応じたレベルのアナログ信号を画素ごとに出力する。このアナログ信号はＡ／Ｄ変換器３でデジタル信号に変換され、出力され、各画素の持つ色成分値（画素信号）として、フレームメモリ４に書き込まれる。この際、各信号は、各画素の、撮像面上での位置、従ってＨＶ座標面上での位置に対応づけて書き込まれる。

上記のように、各画素を構成する光電変換素子の各々は、フィルタにより覆われているので、赤、緑、青のいずれか１つの色の光を受光する。各光電変換素子で受光する光の色を「受光色」と、各画素について受光色以外の色を「不足色」ということがある。
各画素を構成する光電変換素子の各々からは、受光色に対応する一つの色成分値を表す信号しか得られない。即ち、Ｒ画素については、Ｒ成分値が既知である一方、Ｇ及びＢ成分値が未知であり、Ｇ画素については、Ｇ成分値が既知である一方、Ｂ及びＲ成分値が未知であり、Ｂ画素については、Ｂ成分値が既知である一方、Ｒ及びＧ成分値が未知である。各画素について、Ｒ、Ｇ、Ｂ全ての色成分値を持つことで、カラー画像を得ることができるので、フレームメモリ４に書き込まれている、各画素位置における未知の色成分値は不足色成分値とも言われる。本発明の画素信号処理は、各画素において未知である色成分値（不足色成分値）を補間により求めるものである。

フレームメモリ４に記憶された画素信号は、デマルチプレクサ５でＲ、Ｇ、Ｂ信号ごとに２次元メモリ６ｒ、６ｇ、６ｂに分配され、記憶される。即ちＲ信号が２次元メモリ６ｒに、Ｇ信号が２次元メモリ６ｇに、Ｂ信号が２次元メモリ６ｂにそれぞれ記憶される。

図３、図４、図５はそれぞれ、イメージセンサ２の撮像面上における、Ｒ画素、Ｇ画素、Ｂ画素の配置を色毎に別々に示す。２次元メモリ６ｒ、６ｇ、６ｂの各々においても、各画素の信号（色成分値）は、撮像面上での位置、従ってＨＶ座標面上での位置に対応付けて書き込まれる。したがって、図３、図４、図５は、デマルチプレクサ５から分配され、記憶された画素信号の、ＨＶ座標面上での位置を表すものでもある。

なお、フレームメモリ４はイメージセンサ２が２行に１行ずつ読み出しを行ういわゆるインターレース読み出し方式のものであり、１枚（フレーム）の画素信号がすべて揃うために２度の（２フィールドの）読み出しを行わなければならない場合に必要である。図２に示した画素配列における画素を上から順次１行ずつ読み出すいわゆるプログレッシブ読み出し方式のイメージセンサ２の場合には、イメージセンサ２から送られてきた画素の信号をそのままデマルチプレクサ５で振り分けていけばよいため、フレームメモリ２がなくても同様の動作を実現することができる。

ローパスフィルタ８ｒ、８ｇ、８ｂはそれぞれメモリ６ｒ、６ｇ、６ｂに対応して設けられたものであり、メモリ６ｒ、６ｇ、６ｂから読み出された画素信号に対して各色成分の低周波数成分を出力する。即ち、ローパスフィルタ８ｒ、８ｇ、８ｂの各々は、各画素について、その画素位置の近傍の領域（当該画素位置を含む領域）内の複数の画素位置における、各色の画素信号の低周波数成分を算出する。その算出方法についての後に詳しく述べる。図６、図７、図８にローパスフィルタ８ｒ、８ｇ、８ｂの出力例を示す。

同様にハイパスフィルタ７ｒ、７ｇ，７ｂもそれぞれメモリ６ｒ、６ｇ、６ｂに対応して設けられたものであり、メモリ６ｒ、６ｇ、６ｂから読み出された画素信号に対して各色成分の高周波数成分を出力する。即ち、ハイパスフィルタ７ｒ、７ｇ、７ｂの各々は、各画素について、その画素位置の近傍の領域内の複数の画素位置における、各色の画素信号の変化成分を算出する。その算出方法についての後に詳しく述べる。図９、図１０、図１１にハイパスフィルタ７ｒ、７ｇ、８ｒの出力例を示す。

図６、図７、図８、図９、図１０、図１１に示されるように、ローパスフィルタ８ｒ、８ｇ、８ｂの出力（ＲＬＰＦ，ＧＬＰＦ、ＢＬＰＦ）、及びハイパスフィルタ７ｒ、７ｇ、７ｂの出力（ＲＨＰＦ、ＧＨＰＦ、ＢＨＰＦ）はすべての画素について求められる。

演算手段１０は、２次元メモリ６ｒ、６ｇ、６ｂから読み出された画素信号と、ローパスフィルタ８ｒ、８ｇ、８ｂの出力、及びハイパスフィルタ７ｒ、７ｇ、７ｂの出力とに基づいて、各画素について低周波数成分の差と非相関値とを求め、さらに、補間値を求める。
演算手段１０は、例えば図１２に示すように、選択手段２３ｋ、２３ｈ、２４ｋ、２４ｈ、２１と、差計算手段２５、２６と、係数乗算手段２７、２８と、加算手段２９と、制御手段３０とを有する。

選択手段２１は、２次元メモリ６ｒ、６ｇ、６ｂのうちの一つを選択し、選択された２次元メモリ６ｒ、６ｇ、６ｂから読み出された画素信号を加算手段２９に供給する。
選択手段２３ｋは、ハイパスフィルタ７ｒ、７ｇ、７ｃの出力ＲＨＰＦ、ＧＨＰＦ、ＢＨＰＦを受け、これらのうちの１つを選択して出力する。選択手段２３ｈは、ハイパスフィルタ７ｒ、７ｇ、７ｃの出力ＲＨＰＦ、ＧＨＰＦ、ＢＨＰＦを受け、これらのうちの他の１つを選択して出力する。
選択手段２４ｋは、ローパスフィルタ８ｒ、８ｇ、８ｃの出力ＲＬＰＦ、ＧＬＰＦ、ＢＬＰＦを受け、これらのうちの１つを選択して出力する。選択手段２４ｈは、ローパスフィルタ８ｒ、８ｇ、８ｃの出力ＲＬＰＦ、ＧＬＰＦ、ＢＬＰＦを受け、これらのうちの他の１つを選択して出力する。

選択手段２１、２３ｋ、２３ｈ、２４ｋ、２４ｈによる選択は制御手段３０により制御される。
補間対象画素がＲ、Ｇ、Ｂのうちの第ｈの色の色成分値を有し、補間対象画素の第ｋの色の色成分値を補間により求めるときは、選択手段２１が第ｈの色の色成分値を記憶している２次元メモリを選択し、補間対象画素の第ｈの色の色成分値（例えばｈ（ｉ，ｊ）で表される）を読み出し、選択手段２３ｋが第ｋの色のハイパスフィルタの出力ｋＨＰＦを選択し、選択手段２３ｈが、第ｈの色のハイパスフィルタの出力ｈＨＰＦを選択し、選択手段２４ｋが第ｋの色のローパスフィルタの出力ｋＬＰＦを選択し、選択手段２４ｈが、第ｈの色のローパスフィルタの出力ｈＬＰＦを選択する。

差計算手段２５は、第ｋのＨＰＦ信号ｋＨＰＦと、第ｈのＨＰＦ信号ｈＨＰＦとの差、（前者から後者を引いたもの）（ｋＨＰＦ−ｈＨＰＦ）を非相関値として求める。
成分の差を非相関値として求める。
差計算手段２６は、第ｋのＬＰＦ信号ｋＬＰＦと、第ｈのＬＰＦ信号ｈＬＰＦとの差（前者から後者を引いたもの）（ｋＬＰＦ−ｈＬＰＦ）を求める。
ＬＰＦ８ｒ、８ｇ、８ｂと、選択手段２４ｋ、２４ｈと、差計算手段２６とで、補間対象画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の低周波数成分と、補間対象画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の低周波数成分との差を算出する差算出手段が構成されている。

係数乗算手段２７は、差計算手段２５の出力（ｋＨＰＦ−ｈＨＰＦ）に所定の定数ｑを掛けて、積ｑ（ｋＨＰＦ−ｈＨＰＦ）を出力する。
係数乗算手段２８は、差計算手段２６の出力（ｋＬＰＦ−ｈＬＰＦ）に所定の定数ｒを掛けて、積ｒ（ｋＬＰＦ−ｈＬＰＦ）を出力する。
加算手段２９は、選択手段２１から出力される画素値ｈと、係数乗算手段２７から出力される値ｑ（ｋＨＰＦ−ｈＨＰＦ）と、係数乗算手段２８から出力される値ｒ（ｋＬＰＦ−ｈＬＰＦ）とを加算して、その和
ｈ＋ｑ（ｋＨＰＦ−ｈＨＰＦ）＋ｒ（ｋＬＰＦ−ｈＬＰＦ）
を出力する。
加算手段２９の出力が、補間対象画素の第ｋの色の色成分値（補間値）として用いられる。

上記のうち、ハイパスフィルタ７ｒ、７ｇ、７ｂと、選択手段２３ｋ、２３ｈとで、補間対象画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の変化成分と、補間対象画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の変化成分とを生成する変化成分生成手段が構成されている。

また、ローパスフィルタ８ｒ、８ｇ、８ｂと、選択手段２４ｋ、２４ｈとで、補間対象画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の低周波数成分と、補間対象画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の低周波数成分とを生成する低周波数成分生成手段が構成されている。

また、選択手段２１と、係数乗算手段２７、２８と、加算手段２９とにより、補間対象画素位置における第ｈの色の画素信号と、低周波数成分の差（ｋＬＰＦ−ｈＬＰＦ）と、非相関値（ｋＨＰＦ−ｈＨＰＦ）とに基づいて、補間対象画素位置における第ｋの色の画素信号（補間値）を求める補間値算出手段が構成されている。より詳しく言うと、この補間値算出手段は、補間対象画素の位置における一つの色（第ｈの色）の画素信号と、差計算手段２５で求めた非相関値（ｋＨＰＦ−ｈＨＰＦ）に第１の所定の係数（ｑ）を掛けたものと、差計算手段２６で求めた差（ｋＬＰＦ−ｈＬＰＦ）に第２の所定の係数（ｒ）を掛けたものとを加算することにより、補間対象画素位置における他の色（第ｋの色）の画素信号を求める。

補間値算出手段で算出された補間値は例えば第ｋの色の画素信号のための２次元メモリ（６ｒ、６ｇ、６ｂのいずれか）に記憶され、或いは出力端子１１から出力される。

以下、上記した補間方法についてさらに詳しく説明する。

上記のように、図４は、ＨＶ座標面上におけるＧ信号の配列を示したものである。
図に記載されているＧ信号は元々イメージセンサ２上にＧの色フィルタが配置されているため、その色フィルタを介して得られる信号であり、空白の箇所は他のＲ，Ｂの色フィルタが配置されているため、Ｇの色信号が欠落した場所である。この欠落した場所におけるＧ信号を補間する必要がある。
補間のための従来の方法として、周辺の画素の平均値を用いる平均補間方法（バイリニア補間）があるが、信号の変化の大きい箇所では精度の高い補間が期待できない。

そこで、本実施の形態では、補間処理対象画素の近傍の領域内での色成分値の変化の様子に相似の関係がない領域においても
正確に補間を行うことができ、また補間処理対象画素の近傍の領域内での色成分値の変化の仕方に拘らず常に最適の補間方法で補間を行うものであり、上記した演算手段１０における補間演算は、以下の式（１）により表される。

ｋ（ｉ，ｊ）
＝ｈ（ｉ，ｊ）＋ｑ｛ｋＨＰＦ（ｉ，ｊ）−ｈＨＰＦ（ｉ，ｊ）｝
＋ｒ｛ｋＬＰＦ（ｉ，ｊ）−ｈＬＰＦ（ｉ，ｊ）｝
…（１）

式（１）において、ｋ（ｉ，ｊ）はイメージセンサ２上の座標（ｉ，ｊ）において、欠落した色信号であり、補間される色信号である。ｈ（ｉ，ｊ）は（ｉ，ｊ）の位置に予め存在する（値が既知の）色信号である。ｋＨＰＦ，ｈＨＰＦは、それぞれ（ｉ，ｊ）の位置とその周辺の画素位置におけるｋ信号およびｈ信号から所定の演算により算出されたＨＰＦ値である。ｋＬＰＦ，ｈＬＰＦは、それぞれ（ｉ，ｊ）の位置とその周辺の画素位置におけるｋ信号およびｈ信号から別の所定の演算により算出されたＬＰＦ値である。
ここでＨＰＦ値とは、既知の画素信号（イメージセンサ出力）から推測される真値の空間高周波成分であり、ＬＰＦ値とは、既知の画素信号（イメージセンサ出力）から推測される真値の空間低周波成分である。ここで言う真値は、イメージセンサの画素間隔が無限小であり、光電変換誤差がないときに得られるであろう空間的に連続した画素信号の値を意味する。
ｑおよびｒは予め定めた定数である。

式（１）に示した算出式の意味について図１３〜図１６を参照して説明する。これらの図には、各画素における色信号レベルとイメージセンサ２上の各画素の位置が示されている。また、これらの図では、説明を簡単にするため、イメージセンサ２の１行だけを記載し、一次元方向だけに演算を限定して示す。上部に記載したのは各色フィルタの配列であり、ｈはｈ画素、ｋはｋ画素、各画素の括弧（ ）内は画素位置を示す座標である。また、曲線ａはｋ信号の真値であり、曲線ｂはｈ信号の真値である。曲線ａ、ｂ上において、黒丸印（●）で示した箇所は、イメージセンサ２から得られたｋ信号およびｈ信号の画素信号値である。曲線ｃ、ｄはそれぞれｋ信号、ｈ信号のＬＰＦ値であり、曲線ｅ，ｆはそれぞれｋ信号、ｈ信号のＨＰＦ値である。これら図を参照して、画素位置（ｉ，ｊ）におけるｋ信号の画素補間を行う方法を具体的に述べる。
図１３は、ｋ信号とｈ信号との間に正の相関がある場合を示し、図１４及び図１５は、ｋ信号とｈ信号との間に相関がない場合を示し、図１６は、ｋ信号とｈ信号との間に負の相関がある場合を示す。

最初に図１３を参照してｋ信号とｈ信号との間に正の相関がある場合について説明する。画素位置（ｉ，ｊ）における曲線ｃとｄの差が低周波数成分の差（ｋＬＰＦ−ｈＬＰＦ）に比例する値ｒ（ｋＬＰＦ−ｈＬＰＦ）となる。また、画素位置（ｉ，ｊ）における曲線ｅとｆの差が非相関値（ｋＨＰＦ−ｈＨＰＦ）となる。曲線ｅとｆで示されるＨＰＦ値はｋ信号とｈ信号の変化が同様の場合、同じ値となるため重なって描写されており、非相関値（ｋＨＰＦ−ｈＨＰＦ）は“０”である。
従来技術によるバイリニア方法では、画素位置（ｉ−１，ｊ）と（ｉ＋１，ｊ）におけるｋ信号を用いてその平均値を画素位置（ｉ，ｊ）におけるｋ信号とする。バイリニア方法によって補間された信号レベルを、図１３において、白三角印（△）で示したが、求められるべき真値との間に補間誤差が生じている。
本実施の形態による補間方法では、画素位置（ｉ，ｊ）において既知の値ｈ（ｉ，ｊ）に非相関値（ｋＨＰＦ−ｈＨＰＦ）と低周波数成分の差（ｋＬＰＦ−ｈＬＰＦ）とをそれぞれ係数ｑ、ｒを乗じた後加算するが、図１３に示すようにｋ信号とｈ信号との間に相関がある場合、非相関値は略“０”であり、結局、画素位置（ｉ，ｊ）において既知の値ｈ（ｉ，ｊ）に低周波数成分の差（ｋＬＰＦ−ｈＬＰＦ）を係数ｒを乗じた後加算したものが、補間信号ｋ（ｉ，ｊ）となる。この補間信号ｋ（ｉ，ｊ）を図１３に白丸印（○）にて示す。真値に対して精度良く画素補間が実現できていることが分かる。このように、本実施の形態により、色信号間の相関が大きい場合にも精度良く画素補間を行うことができる。

次に色信号間に相関が無い場合について説明する。図１４と図１５に各画素における色信号レベルとイメージセンサ２上の各画素の位置を示す。図１４及び図１５に示した信号ではｋ信号は一定であり、ｋ信号とｈ信号の変化に相関が無い。

まず、図１４を参照して説明する。図１４の例では、ｋ信号に変化が無いため曲線ｅで示されるｋ信号のＨＰＦ値ｋＨＰＦは“０”である。上記特許文献１（特開２００１−１９７５１２号公報）に開示された方法による色の相関変化だけを用いた補間は、ｈ（ｉ，ｊ）の信号に（ｋＬＰＦ−ｈＬＰＦ）に比例した値を加算することに相当する。
この場合、画素補間された信号レベルは、図１４において、白四角印（□）で示す信号レベルとなる。白四角印に示す信号レベルはｋ信号の真値から離れた位置の値となるため補間誤差が生じていることが分かる。これは、画素位置（ｉ，ｊ）における補間対象のｋ信号は、参照とするｈ信号との間に相関が無いためである。
一方、本実施の形態による画素補間方法では、画素位置（ｉ，ｊ）におけるｈ信号ｈ（ｉ，ｊ）に（ｋＬＰＦ−ｈＬＰＦ）に係数ｒを掛けたものを加算し、さらに（ｋＨＰＦ−ｈＨＰＦ）に係数ｑを掛けたものを加算する。ｋＨＰＦは“０”であるため、画素位置（ｉ，ｊ）における（ｋＨＰＦ−ｈＨＰＦ）は負の値となる。よって、本実施の形態による補間方法では補間された信号レベルは白丸印（○）の位置となり、ｋ信号の真値に対して精度高く補間される。本実施の形態ではｋ信号とｈ信号との信号変化にどれだけ相関が無いかは、（ｋＨＰＦ−ｈＨＰＦ）の値として求められることとなる。（ｋＨＰＦ−ｈＨＰＦ）を「非相関値」と呼ぶのはこのためである。一方、低周波数成分の差（ｋＬＰＦ−ｈＬＰＦ）は、相関の度合いを表し、相関の度合いが高いほど一定の値により近くなる。よって、（ｋＬＰＦ−ｈＬＰＦ）と（ｋＨＰＦ−ｈＨＰＦ）の両方の値がそれぞれの係数ｒ、ｑを掛けた上でｈ（ｉ，ｊ）に加算されることにより信号間に相関が無い場合でも精度高く画素補間を行うことができる。

図１５には図１４とは逆にｋ信号が変化して、ｈ信号に変化が無い、２つの色信号間に相関が無い別の例を示す。上記特許文献１（特開２００１−１９７５１２号公報）に開示された方法による色の相関変化だけを用いた補間は、ｈ（ｉ，ｊ）の信号に（ｋＬＰＦ−ｈＬＰＦ）の信号レベルを加算することに相当する。
この場合、画素補間された信号レベルを図１５において白四角印（□）で示す信号レベルとなる。白四角印に示す信号レベルはｋ信号の真値から離れた位置の値となるため補間誤差が生じていることが分かる。
一方、本実施の形態による画素補間方法では、画素位置（ｉ，ｊ）におけるｈ信号ｈ（ｉ，ｊ）に（ｋＬＰＦ−ｈＬＰＦ）に係数ｒを掛けたものを加算し、さらに（ｋＨＰＦ−ｈＨＰＦ）に係数ｑを掛けたものを加算する。ｈＨＰＦは“０”であるため、画素位置（ｉ，ｊ）における（ｋＨＰＦ−ｈＨＰＦ）は正の値となる。よって、本実施の形態による補間方法では補間された信号レベルは白丸印（○）の位置となり、ｋ信号の真値に対して精度高く補間される。本実施の形態では、（ｋＬＰＦ−ｈＬＰＦ）と（ｋＨＰＦ−ｈＨＰＦ）の両方の値がｈ（ｉ，ｊ）にそれぞれの係数ｒ、ｑを掛けた上で加算されることにより図１５に示す信号間に相関が無い場合においても精度高く画素補間を行うことができる。

図１４及び図１５では色信号間に相関が無い場合について説明したが、次に色信号間に負の相関がある場合について説明する。図１６にｋ信号とｈ信号との間に負の相関がある場合を示す。画素位置（ｉ，ｊ）における、曲線ａと鎖線ｃの差Δ（ａ−ｃ）と、曲線ｄと曲線ｂの差Δ（ｄ−ｂ）の和が、非相関値（ｋＨＰＦ−ｈＨＰＦ）に比例する値ｑ（ｋＨＰＦ−ｈＨＰＦ）に等しい。バイリニア補間方法による画素補間は白三角印（△）で示す信号レベルであり図１３と同様に真値に対して補間誤差が生じている。また、負の相関関係である場合、上記特許文献１（特開２００１−１９７５１２号公報）に開示された方法による色の相関変化だけを用いた画素補間では白四角印（□）で示すようにさらに補間誤差が拡大する。本実施の形態による補間方法では白丸印（○）で示すように精度高く画素補間が実現できている。
以上のように、色信号間に正の相関がある場合、相関が無い場合、負の相関となっている場合のいずれにおいても精度の高い画素補間を行うことができる。

画素補間の演算処理について以下に具体的に説明する。図１７に演算手段１０の演算の手順をフローチャートとして示す。フローチャートに記載するように、補間値の算出は、以下の６つの処理を含む。
ステップＳ１；Ｒ画素位置におけるＧ信号（ＧｏｎＲ）を求めるための処理。
ステップＳ２；Ｂ画素位置におけるＧ信号（ＧｏｎＢ）を求めるための処理。
ステップＳ３；Ｇ画素位置におけるＲ信号（ＲｏｎＧ）を求めるための処理。
ステップＳ４；Ｇ画素位置におけるＢ信号（ＢｏｎＧ）を求めるための処理。
ステップＳ５；Ｒ画素位置におけるＢ信号（ＢｏｎＲ）を求めるための処理。
ステップＳ６；Ｂ画素位置におけるＲ信号（ＲｏｎＢ）を求めるための処理。
これら６つの処理は、
「ｈ色（ｈ＝Ｒ、Ｇ、又はＢ）の画素信号が存在する画素位置におけるｋ色（ｋ＝Ｒ、Ｇ、又はＢ、但しｈはｋとは異なる）の画素信号を求めるための処理」
と一般化して言うことができる。これらの６つの処理の各々は画面上（１フレーム内）のすべての画素位置について行われる。

上記の６つの処理がすべて終わったときに、１画面上のすべての画素位置のすべての画素における不足した色の画素信号が揃う。

まず、ステップＳ１の演算処理について説明する。図４において、Ｇ信号が予め存在しない（値が未知の）画素の座標（ｉ，ｊ）に着目する。座標（ｉ，ｊ）のＧ信号のＬＰＦ値ＧＬＰＦは、例えば次式（２）にて算出される。

ＧＬＰＦ（ｉ，ｊ）＝［｛Ｇ（ｉ−３，ｊ）＋Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）＋Ｇ（ｉ＋３，ｊ）｝／４
＋｛Ｇ（ｉ，ｊ−３）＋Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ，ｊ＋１）＋Ｇ（ｉ，ｊ＋３）｝／４］／２
…（２）

各信号の括弧（ ）内は画素の座標を意味している。

Ｇ信号が予め存在している画素位置（ｉ＋１，ｊ）のＧ信号のＬＰＦ値ＧＬＰＦは、次式（３）にて算出される。

ＧＬＰＦ（ｉ＋１，ｊ）＝［｛Ｇ（ｉ−３，ｊ）／８＋Ｇ（ｉ−１，ｊ）／４＋Ｇ（ｉ＋１，ｊ）／４＋Ｇ（ｉ＋３，ｊ）／４＋Ｇ（ｉ＋５，ｊ）／８｝
＋｛Ｇ（ｉ＋１，ｊ−４）／８＋Ｇ（ｉ＋１，ｊ−２）／４＋Ｇ（ｉ＋１，ｊ）／４＋Ｇ（ｉ＋１，ｊ＋２）／４＋Ｇ（ｉ＋１，ｊ＋４）／８｝］／２
…（３）

Ｇ画素の配列はいずれも同じ画素間隔の繰り返しであるため、上記式（２）および式（３）にてＧ信号のＬＰＦ値を算出することができる。Ｇ信号のＬＰＦ値の演算は図１のＬＰＦ８ｇによって算出され、演算手段１０に入力される。

また、Ｇ信号が予め存在しない画素位置（ｉ，ｊ）のＧ信号のＨＰＦ値ＧＨＰＦは、次式（４）にて算出される。

ＧＨＰＦ（ｉ，ｊ）＝［｛−Ｇ（ｉ−３，ｊ）＋Ｇ（ｉ−１，ｊ）＋Ｇ（ｉ＋１，ｊ）−Ｇ（ｉ＋３，ｊ）｝＋｛−Ｇ（ｉ，ｊ−３）＋Ｇ（ｉ，ｊ−１）＋Ｇ（ｉ，ｊ＋１）−Ｇ（ｉ，ｊ＋３）｝］／２
…（４）

Ｇ信号が予め存在している画素位置（ｉ＋１，ｊ）のＧ信号のＨＰＦ値ＧＨＰＦは、次式（５）にて算出される。

ＧＨＰＦ（ｉ＋１，ｊ）＝［｛−Ｇ（ｉ−３，ｊ）／４−Ｇ（ｉ−１，ｊ）＋２．５Ｇ（ｉ＋１，ｊ）−Ｇ（ｉ＋３，ｊ）−Ｇ（ｉ＋５，ｊ）／４｝＋｛−Ｇ（ｉ＋１，ｊ−４）／４−Ｇ（ｉ＋１，ｊ−２）＋２．５Ｇ（ｉ＋１，ｊ）−Ｇ（ｉ＋１，ｊ＋２）−Ｇ（ｉ＋１，ｊ＋４）／４｝］／２
…（５）

Ｇ画素の配列はいずれも同じ画素間隔の繰り返しであるため、上記式（４）および式（５）にてＧ信号のＨＰＦ値を算出することができる。Ｇ信号のＨＰＦ値の演算は図１のＨＰＦ７ｇによって算出され、演算手段１０に入力される。

Ｒ信号のＬＰＦ値、ＨＰＦ値は次式によって算出される。まずどの画素にもＲ信号が存在しないｊ行目においては、上下の行から値を算出する。画素の座標（ｉ，ｊ）のＲ信号のＬＰＦ値ＲＬＰＦは、次式（６）にて算出される。

ＲＬＰＦ（ｉ，ｊ）＝［［｛Ｒ（ｉ−３，ｊ−１）＋Ｒ（ｉ−３，ｊ＋１）｝／２＋｛Ｒ（ｉ−１，ｊ−１）＋Ｒ（ｉ−１，ｊ＋１）｝／２＋｛Ｒ（ｉ＋１，ｊ−１）＋Ｒ（ｉ＋１，ｊ＋１）｝／２＋｛Ｒ（ｉ＋３，ｊ−１）＋Ｒ（ｉ＋３，ｊ＋１）｝／２］／４
＋［｛Ｒ（ｉ−１，ｊ−３）＋Ｒ（ｉ＋１，ｊ−３）｝／２＋｛Ｒ（ｉ−１，ｊ−１）＋Ｒ（ｉ＋１，ｊ−１）｝／２＋｛Ｒ（ｉ−１，ｊ＋１）＋Ｒ（ｉ＋１，ｊ＋１）｝／２＋｛Ｒ（ｉ−１，ｊ＋３）＋Ｒ（ｉ＋１，ｊ＋３）｝／２］／４］／２
…（６）

座標（ｉ＋１，ｊ）のＲ信号のＬＰＦ値ＲＬＰＦは、次式（７）にて算出される。

ＲＬＰＦ（ｉ＋１，ｊ）＝［［｛Ｒ（ｉ−１，ｊ−１）＋Ｒ（ｉ−１，ｊ＋１）｝／２＋｛Ｒ（ｉ＋１，ｊ−１）＋Ｒ（ｉ＋１，ｊ＋１）｝／２＋｛Ｒ（ｉ＋３，ｊ−１）＋Ｒ（ｉ＋３，ｊ＋１）｝／２］／３
＋｛Ｒ（ｉ＋１，ｊ−３）＋Ｒ（ｉ＋１，ｊ−１）＋Ｒ（ｉ＋１，ｊ＋１）＋Ｒ（ｉ＋１，ｊ＋３）｝／４］／２
…（７）

一方、Ｒ信号が予め存在する行、例えばｊ＋１行の画素位置（ｉ，ｊ＋１）のＲ信号のＬＰＦ値ＲＬＰＦは、次式（８）にて算出される。

ＲＬＰＦ（ｉ，ｊ＋１）＝［｛Ｒ（ｉ−３，ｊ＋１）＋Ｒ（ｉ−１，ｊ＋１）＋Ｒ（ｉ＋１，ｊ＋１）＋Ｒ（ｉ＋３，ｊ＋１）｝／４
＋［｛Ｒ（ｉ−１，ｊ−１）＋Ｒ（ｉ＋１，ｊ−１）｝／２＋｛Ｒ（ｉ−１，ｊ＋１）＋Ｒ（ｉ＋１，ｊ＋１）｝／２＋｛Ｒ（ｉ−１，ｊ＋３）＋Ｒ（ｉ＋１，ｊ＋３）｝／２］／３］／２
…（８）

さらに、Ｒ信号が予め存在する行、例えばｊ−１行の画素位置（ｉ＋１，ｊ＋１）のＲ信号のＬＰＦ値ＲＬＰＦは、次式（９）にて算出される。

ＲＬＰＦ（ｉ＋１，ｊ＋１）＝［［Ｒ（ｉ−３，ｊ＋１）／８＋Ｒ（ｉ−１，ｊ＋１）／４＋Ｒ（ｉ＋１，ｊ＋１）／４＋Ｒ（ｉ＋３，ｊ＋１）／４＋Ｒ（ｉ＋５，ｊ＋１）／８
＋Ｒ（ｉ＋１，ｊ−３）／８＋Ｒ（ｉ＋１，ｊ−１）／４＋Ｒ（ｉ＋１，ｊ＋１）／４＋Ｒ（ｉ＋１，ｊ＋３）／４＋Ｒ（ｉ＋１，ｊ＋５）／８］／２
…（９）

Ｒ画素の配列は（ｉ，ｊ）、（ｉ＋１，ｊ）、（ｉ，ｊ＋１）、（ｉ＋１，ｊ＋１）の繰り返しであるため、上記式（６）から式（９）にてＲ信号のＬＰＦ値を算出することができる。Ｒ信号のＬＰＦ値の演算は図１のＬＰＦ８ｒによって算出され、演算手段１０に入力される。

また、座標（ｉ，ｊ）におけるＲ信号のＨＰＦ値ＲＨＰＦは、次式（１０）にて算出される。

ＲＨＰＦ（ｉ，ｊ）＝［−｛Ｒ（ｉ−３，ｊ−１）＋Ｒ（ｉ−３，ｊ＋１）｝／２＋｛Ｒ（ｉ−１，ｊ−１）＋Ｒ（ｉ−１，ｊ＋１）｝／２＋｛Ｒ（ｉ＋１，ｊ−１）＋Ｒ（ｉ＋１，ｊ＋１）｝／２−｛Ｒ（ｉ＋３，ｊ−１）＋Ｒ（ｉ＋３，ｊ＋１）｝／２
−｛Ｒ（ｉ−１，ｊ−３）＋Ｒ（ｉ＋１，ｊ−３）｝／２＋｛Ｒ（ｉ−１，ｊ−１）＋Ｒ（ｉ＋１，ｊ−１）｝／２＋｛Ｒ（ｉ−１，ｊ＋１）＋Ｒ（ｉ＋１，ｊ＋１）｝／２−｛Ｒ（ｉ−１，ｊ＋３）＋Ｒ（ｉ＋１，ｊ＋３）｝／２］／２
…（１０）

座標（ｉ＋１，ｊ）におけるＲ信号のＨＰＦ値ＲＨＰＦは、次式（１１）にて算出される。

ＲＨＰＦ（ｉ＋１，ｊ）＝［−｛Ｒ（ｉ−３，ｊ−１）＋Ｒ（ｉ−３，ｊ＋１）｝／２／４−｛Ｒ（ｉ−１，ｊ−１）＋Ｒ（ｉ−１，ｊ＋１）｝／２＋２．５｛Ｒ（ｉ＋１，ｊ−１）＋Ｒ（ｉ＋１，ｊ＋１）｝／２−｛Ｒ（ｉ＋３，ｊ−１）＋Ｒ（ｉ＋３，ｊ＋１）｝／２−｛Ｒ（ｉ＋５，ｊ−１）＋Ｒ（ｉ＋５，ｊ＋１）｝／２／４］
＋［−Ｒ（ｉ＋１，ｊ−３）＋Ｒ（ｉ＋１，ｊ−１）＋Ｒ（ｉ＋１，ｊ＋１）−Ｒ（ｉ＋１，ｊ＋３）］／２
…（１１）

一方、Ｒ信号が予め存在する行、例えばｊ＋１行の画素位置（ｉ，ｊ＋１）のＲ信号のＨＰＦ値ＲＨＰＦは、次式（１２）にて算出される。

ＲＨＰＦ（ｉ，ｊ＋１）＝［−｛Ｒ（ｉ−３，ｊ＋１）＋Ｒ（ｉ−１，ｊ＋１）＋Ｒ（ｉ＋１，ｊ＋１）−Ｒ（ｉ＋３，ｊ＋１）｝
＋［−｛Ｒ（ｉ−１，ｊ−３）＋Ｒ（ｉ＋１，ｊ−３）｝／２／４−｛Ｒ（ｉ−１，ｊ−１）＋Ｒ（ｉ＋１，ｊ−１）｝／２＋２．５｛Ｒ（ｉ−１，ｊ＋１）＋Ｒ（ｉ＋１，ｊ＋１）｝／２−｛Ｒ（ｉ−１，ｊ＋３）＋Ｒ（ｉ＋１，ｊ＋３）｝／２−｛Ｒ（ｉ−１，ｊ＋５）＋Ｒ（ｉ＋１，ｊ＋５）｝／２／４］／２
…（１２）

さらに、Ｒ信号が予め存在する行、例えばｊ−１行の画素位置（ｉ＋１，ｊ＋１）のＲ信号のＨＰＦ値ＲＨＰＦは、次式（１３）にて算出される。

ＲＨＰＦ（ｉ＋１，ｊ＋１）＝［｛−Ｒ（ｉ−３，ｊ＋１）／４−Ｒ（ｉ−１，ｊ＋１）＋２．５Ｒ（ｉ＋１，ｊ＋１）−Ｒ（ｉ＋３，ｊ＋１）−Ｒ（ｉ＋５，ｊ＋１）／４｝
＋｛−Ｒ（ｉ＋１，ｊ−３）／４−Ｒ（ｉ＋１，ｊ−１）＋２．５Ｒ（ｉ＋１，ｊ＋１）−Ｒ（ｉ＋１，ｊ＋３）−Ｒ（ｉ＋１，ｊ＋５）／４｝］／２
…（１３）

Ｒ画素の配列は（ｉ，ｊ）、（ｉ＋１，ｊ）、（ｉ，ｊ＋１）、（ｉ＋１，ｊ＋１）の繰り返しであるため、上記式（１０）から式（１３）にてＲ信号のＨＰＦ値も算出することができる。Ｒ信号のＨＰＦ値の演算は図１のＨＰＦ７ｒによって算出され、演算手段１０に入力される。

最後に、Ｂ信号のＬＰＦ値、ＨＰＦ値であるが、Ｂ画素の配列はＲ画素の配列と座標値が異なるだけであり、同様の配列をしている。よって、式（６）から式（１３）に示したＲ信号のＬＰＦ、ＨＰＦの算出式と同様に、その座標を変えるだけで算出することができるためその詳細式は省略する。Ｂ信号のＬＰＦ値の演算は図１のＬＰＦ８ｂによって算出され、演算手段１０に入力される。また、Ｂ信号のＨＰＦ値の演算は図１のＨＰＦ７ｂによって算出され、演算手段１０に入力される。

以上示したＬＰＦおよびＨＰＦの算出式は式（１）に用いるための値を算出する式であるが、一例に過ぎず、例えば、ＬＰＦ値の演算式およびＨＰＦ値の演算式において用いる画素数や係数は画像の大きさや解像度に応じて他の値を適切に設けても良い。

上述した式（２）から式（１３）により、Ｒ，Ｇ，Ｂ信号の画像全ての画素位置に対するＬＰＦ値と、ＨＰＦ値とが求められる。ステップＳ１ではＲ画素の位置における欠落したＧ信号を算出する。Ｒ画素の位置におけるＧ信号は式（１）に従い次式（１４）にて算出される。Ｒ画素は（ｉ＋ｎ，ｊ＋ｍ）（ｎ，ｍは奇数）の位置に存在するため、これに伴い式（１）とは座標値が異なるものとなる。

Ｇ（ｉ＋ｎ，ｊ＋ｍ）＝｛Ｒ（ｉ＋ｎ，ｊ＋ｍ）＋ｑ（ＧＨＰＦ（ｉ＋ｎ，ｊ＋ｍ）−ＲＨＰＦ（ｉ＋ｎ，ｊ＋ｍ））｝＋ｒ（ＧＬＰＦ（ｉ＋ｎ，ｊ＋ｍ）−ＲＬＰＦ（ｉ＋ｎ，ｊ＋ｍ））
…（１４）

式（１４）にて示したＧＨＰＦ，ＧＬＰＦ，ＲＨＰＦ，ＲＬＰＦは上述した式（２）から式（１３）にて算出したＨＰＬ出力およびＬＰＦ値である。定数ｑ、ｒは画像が最適に補間されるように予め定めておけばよい。例えば、ｑ＝０．２５、ｒ＝１で良好に画素補間を行うことができるが、この値に限定されるものではない。図１８は、式（１４）による補間の結果得られたＧ信号ｇｒをそれぞれ対応するＲ画素位置に２次元的に示す。

次に、ステップＳ２の演算処理に移る。ステップＳ２はＢ画素の位置において欠落したＧ信号を補間する。Ｂ画素の位置におけるＧ信号は式（１）に従い次式（１５）にて算出される。Ｂ画素は（ｉ＋ｓ，ｊ＋ｔ）（ｓ，ｔは偶数）の位置に存在するため、これに伴い式（１）とは座標値が異なるものとなる。

Ｇ（ｉ＋ｓ，ｊ＋ｔ）＝｛Ｂ（ｉ＋ｓ，ｊ＋ｔ）＋ｑ（ＧＨＰＦ（ｉ＋ｓ，ｊ＋ｔ）−ＢＨＰＦ（ｉ＋ｓ，ｊ＋ｔ））｝＋ｒ（ＧＬＰＦ（ｉ＋ｓ，ｊ＋ｔ）−ＢＬＰＦ（ｉ＋ｓ，ｊ＋ｔ））
…（１５）

図１９は、式（１５）による補間の結果得られたＧ信号ｇｂをそれぞれ対応するＢ画素位置に２次元的に示す。図１９には、式（１４）による補間の結果ｇｒも示されている。式（１４）による、Ｒ画素位置のＧ信号の補間、及び式（１５）による、Ｂ画素位置におけるＧ信号の補間により、全画素位置におけるＧ信号が得られる。

次に、ステップＳ３の演算処理に移る。ステップＳ３はＧ画素の位置において欠落したＲ信号を補間する。Ｇ画素の位置におけるＲ信号は式（１）に従い次式（１６）、式（１７）にて算出される。Ｇ画素は（ｉ＋ｓ，ｊ＋ｍ）（ｓは偶数、ｍは奇数）の位置と（ｉ＋ｎ，ｊ＋ｔ）（ｎは奇数、ｔは偶数）とに存在するため、これに伴い式（１）とは座標値が異なるものとなる。

Ｒ（ｉ＋ｓ，ｊ＋ｍ）＝｛Ｇ（ｉ＋ｓ，ｊ＋ｍ）＋ｑ（ＲＨＰＦ（ｉ＋ｓ，ｊ＋ｍ）−ＧＨＰＦ（ｉ＋ｓ，ｊ＋ｍ））｝＋ｒ（ＲＬＰＦ（ｉ＋ｓ，ｊ＋ｍ）−ＧＬＰＦ（ｉ＋ｓ，ｊ＋ｍ））
…（１６）

Ｒ（ｉ＋ｎ，ｊ＋ｔ）＝｛Ｇ（ｉ＋ｎ，ｊ＋ｔ）＋ｑ（ＲＨＰＦ（ｉ＋ｎ，ｊ＋ｔ）−ＧＨＰＦ（ｉ＋ｎ，ｊ＋ｔ））｝＋ｒ（ＲＬＰＦ（ｉ＋ｎ，ｊ＋ｔ）−ＧＬＰＦ（ｉ＋ｎ，ｊ＋ｔ））
…（１７）

図２０は、式（１６）及び式（１７）による補間の結果得られたＲ信号ｒｇをそれぞれ対応するＧ画素位置に２次元的に示す。
なお、式（１６）および式（１７）においてもＲＬＰＦ，ＲＨＰＦ，ＧＬＰＦ，ＧＨＰＦは上述した式（２）から式（１３）に示したＬＰＦおよびＨＰＦの出力値であるが、ＧＬＰＦおよびＧＨＰＦについては、ステップＳ１およびステップＳ２で算出した補間値ｇｒ、ｇｂを用いて新たに算出してもよい。その場合、図１に示すように、演算手段１０にて算出した補間値ｇｒ、ｇｂを一度２次元メモリ６ｇへ出力し、一時的に記憶保持した後、再度ＨＰＦ７ｇ、ＬＰＦ８ｇにて算出することとなる。

次に、ステップＳ４の演算処理に移る。ステップＳ４はＧ画素の位置において欠落したＢ信号を補間する。Ｇ画素の位置におけるＢ信号は式（１）に従い次式（１８）、式（１９）にて算出される。Ｇ画素は（ｉ＋ｓ，ｊ＋ｍ）（ｓは偶数、ｍは奇数）の位置と（ｉ＋ｎ，ｊ＋ｔ）（ｎは奇数、ｔは偶数）とに存在するため、これに伴い式（１）とは座標値が異なるものとなる。

Ｂ（ｉ＋ｓ，ｊ＋ｍ）＝｛Ｇ（ｉ＋ｓ，ｊ＋ｍ）＋ｑ（ＢＨＰＦ（ｉ＋ｓ，ｊ＋ｍ）−ＧＨＰＦ（ｉ＋ｓ，ｊ＋ｍ））｝＋ｒ（ＢＬＰＦ（ｉ＋ｓ，ｊ＋ｍ）−ＧＬＰＦ（ｉ＋ｓ，ｊ＋ｍ））
…（１８）

Ｂ（ｉ＋ｎ，ｊ＋ｔ）＝｛Ｇ（ｉ＋ｎ，ｊ＋ｔ）＋ｑ（ＢＨＰＦ（ｉ＋ｎ，ｊ＋ｔ）−ＧＨＰＦ（ｉ＋ｎ，ｊ＋ｔ））｝＋ｒ（ＢＬＰＦ（ｉ＋ｎ，ｊ＋ｔ）−ＧＬＰＦ（ｉ＋ｎ，ｊ＋ｔ））
…（１９）

図２１は、式（１８）及び式（１９）による補間の結果得られたＢ信号ｂｇをそれぞれ対応するＧ画素位置に２次元的に示す。
なお、本式（１８）および式（１９）においてもＢＬＰＦ，ＢＨＰＦ，ＧＬＰＦ，ＧＨＰＦは上述したＬＰＦおよびＨＰＦの出力値であるが、ＧＬＰＦおよびＧＨＰＦについては、ステップＳ１およびステップＳ２で算出した補間値ｇｒ、ｇｂを用いて新たに算出してもよい。

次に、ステップＳ５の演算処理に移る。ステップＳ５はＢ画素の位置において欠落したＲ信号を補間する。Ｂ画素の位置におけるＲ信号は式（１）に従い次式（２０）にて算出される。Ｂ画素は（ｉ＋ｓ，ｊ＋ｔ）（ｓ，ｔは偶数）の位置に存在するため、これに伴い式（１）とは座標値が異なるものとなる。

Ｒ（ｉ＋ｓ，ｊ＋ｔ）＝｛Ｇ（ｉ＋ｓ，ｊ＋ｔ）＋ｑ（ＲＨＰＦ（ｉ＋ｓ，ｊ＋ｔ）−ＧＨＰＦ（ｉ＋ｓ，ｊ＋ｔ））｝＋ｒ（ＲＬＰＦ（ｉ＋ｓ，ｊ＋ｔ）−ＧＬＰＦ（ｉ＋ｓ，ｊ＋ｔ））
…（２０）

図２２は、式（２０）による補間の結果得られたＲ信号ｒｂをそれぞれ対応するＢ画素位置に２次元的に示す。図２２にはまた、式（１６）及び式（１７）による補間の結果得られたＲ信号ｒｇをそれぞれ対応するＧ画素位置に示されている。式（１６）及び式（１７）による補間と、式（３１）による補間の結果、すべての画素のＲ信号が揃う。
なお、式（２０）においてもＲＬＰＦ，ＲＨＰＦ，ＧＬＰＦ，ＧＨＰＦは上述したＬＰＦおよびＨＰＦの出力値であるが、ＧＬＰＦおよびＧＨＰＦについては、ステップＳ１およびステップＳ２で算出した補間値ｇｒ、ｇｂを用いて新たに算出してもよい。また、ＲＬＰＦ、ＲＨＰＦも、ステップＳ３にて算出した補間値ｒｇを用いて新たに算出してよい。

次に、ステップＳ６の演算処理に移る。ステップＳ６はＲ画素の位置において欠落したＢ信号を補間する。Ｒ画素の位置におけるＢ信号は式（１）に従い次式（２１）にて算出される。Ｒ画素は（ｉ＋ｎ，ｊ＋ｍ）（ｎ，ｍは奇数）の位置に存在するため、これに伴い式（１）とは座標値が異なるものとなる。

Ｂ（ｉ＋ｎ，ｊ＋ｍ）＝｛Ｇ（ｉ＋ｎ，ｊ＋ｍ）＋ｑ（ＢＨＰＦ（ｉ＋ｎ，ｊ＋ｍ）−ＧＨＰＦ（ｉ＋ｎ，ｊ＋ｍ））｝＋ｒ（ＢＬＰＦ（ｉ＋ｎ，ｊ＋ｍ）−ＧＬＰＦ（ｉ＋ｎ，ｊ＋ｍ））
…（２１）

図２３は、式（２１）による補間の結果得られたＢ信号ｂｒをそれぞれ対応するＲ画素位置に２次元的に示す。図２３にはまた、式（１８）及び式（１９）による補間の結果得られたＢ信号ｂｇがそれぞれ対応するＧ画素位置が示されている。式（１８）及び式（１９）による補間と、式（２１）による補間の結果、すべての画素のＢ信号が揃う。
なお、式（２１）においてもＢＬＰＦ，ＢＨＰＦ，ＧＬＰＦ，ＧＨＰＦは上述したＬＰＦおよびＨＰＦの出力値であるが、ＧＬＰＦおよびＧＨＰＦについては、ステップＳ１およびステップＳ２で算出した補間値ｇｒ、ｇｂを用いて新たに算出してもよい。また、ＢＬＰＦ、ＢＨＰＦも、ステップＳ４にて算出した補間値ｂｇを用いて新たに算出してよい。

以上ステップＳ１からステップＳ６の演算により、各画素において欠落した色信号を補間し、全画素のＲ，Ｇ，Ｂ信号が得られる。

実施の形態２．
次に実施の形態２の画像信号処理装置を説明する。実施の形態２の画像信号処理装置を備えた撮像装置の全体的構成は、図１に示すごとくであるが、演算手段１０の構成が実施の形態１とは異なる。図２４は、実施の形態２の演算手段の構成を示す。図２４に示された演算手段は、概して図１２の演算手段と同様であるが、差計算手段２６の代わりに比計算手段３２を備え、加算手段２９の代わりに、加算手段３３と乗算手段３４の組合せを有する点で異なる。

比計算手段３２は、選択手段２４ｋの出力と選択手段２４ｈの出力の比ｋＬＰＦ／ｈＬＰＦを求める。
この実施の形態２では、ＬＰＦ８ｒ、８ｇ、８ｂと、選択手段２４ｋ、２４ｈと、比計算手段３２とで、補間対象画素位置の近傍の領域内の複数の画素位置における、第ｋの分光感度特性の画素信号の低周波数成分と、補間対象画素位置の近傍の領域内の複数の画素位置における、第ｈの分光感度特性の画素信号の低周波数成分との比を算出する比算出手段が構成されている。
係数乗算手段２８は、比計算手段３２の出力ｋＬＰＦ／ｈＬＰＦに所定の係数ｒを描け、その積ｒ（ｋＬＰＦ／ｈＬＰＦ）を出力する。
加算手段３３は、選択手段２１から出力される画素値ｈと、係数乗算手段２７から出力される値ｑ（ｋＨＰＦ−ｈＨＰＦ）とを加算して、その和
ｈ＋ｑ（ｋＨＰＦ−ｈＨＰＦ）
を出力する。

乗算手段３４は、加算手段３３の出力
ｈ＋ｑ（ｋＨＰＦ−ｈＨＰＦ）
と、係数乗算手段２８の出力
ｒ（ｋＬＰＦ／ｈＬＰＦ）
とを乗算し、その積
｛ｈ＋ｑ（ｋＨＰＦ−ｈＨＰＦ）｝×ｒ（ｋＬＰＦ−ｈＬＰＦ）
を出力する。
乗算手段３４の出力が、補間対象画素の第ｋの色の色成分値（補間値）として用いられる。

上記のうち、選択手段２１と、係数乗算手段２７、２８と、加算手段３３と、乗算手段３４とにより、補間対象画素位置における第ｈの色の画素信号と、低周波数成分の比（ｋＬＰＦ／ｈＬＰＦ）と、非相関値（ｋＨＰＦ−ｈＨＰＦ）とに基づいて、補間対象画素位置における第ｋの色の画素信号（補間値）を求める補間値算出手段が構成されている。より詳しく言うと、この補間値算出手段は、補間対象画素の位置における一つの色（第ｈの色）の画素信号と、差計算手段２５で求めた非相関値（ｋＨＰＦ−ｈＨＰＦ）に第１の所定の係数（ｑ）を掛けたものとの和と、比計算手段３２で求めた低周波数成分の比（ｋＬＰＦ／ｈＬＰＦ）に第２の所定の係数（ｒ）を掛けたものとを乗算することにより、補間対象画素位置における他の色（第ｋの色）の画素信号を求める。

補間値算出手段で算出された補間値は例えば第ｋの色の画素信号のための２次元メモリ（６ｒ、６ｇ、６ｂのいずれか）に記憶され、或いは出力端子１１から出力される。

上記した演算手段１０による補間演算は次式（２２）で表される。

ｋ（ｉ，ｊ）
＝［ｈ（ｉ，ｊ）＋ｑ｛ｋＨＰＦ（ｉ，ｊ）−ｈＨＰＦ（ｉ，ｊ）｝］
×ｒ｛ｋＬＰＦ（ｉ，ｊ）／ｈＬＰＦ（ｉ，ｊ）｝
…（２２）

式（２２）において、式（１）と同様にｋ（ｉ，ｊ）はイメージセンサ２上の座標（ｉ，ｊ）において、欠落した色信号であり、補間される色信号である。ｈ（ｉ，ｊ）は（ｉ，ｊ）の位置に予め存在する色信号である。ｋＨＰＦ，ｈＨＰＦはｋ信号およびｈ信号の（ｉ，ｊ）の位置の周辺の画素から所定の演算により算出されたＨＰＦ値である。ｋＬＰＦ，ｈＬＰＦはｋ信号およびｈ信号の（ｉ，ｊ）の位置の周辺の画素から別の所定の演算により算出されたＬＰＦ値である。ｑおよびｒは予め定めた定数である。

式（２２）に示した算出式の意味について図２５〜図２８を参照して説明する。これらの図には、図１３〜図１６と同様に、各信号レベルとイメージセンサ２上の各画素の位置が示されている。また、説明を簡単にするため、イメージセンサ２の１行だけを記載し、一次元方向だけに演算を限定して示す。上部に記載したのは各色フィルタの配列であり、ｈはｈ画素、ｋはｋ画素、各画素の括弧（ ）内は画素位置を示す座標である。また、曲線ａはｋ信号の真値であり、曲線ｂはｈ信号の真値である。曲線ａ、ｂ上において、黒丸印（●）で示した箇所は、イメージセンサ２から出力されたｋ信号及びｈ信号の画素信号値である。曲線ｃ、ｄはそれぞれｋ信号、ｈ信号のＬＰＦ値であり、曲線ｅ，ｆはそれぞれｋ信号、ｈ信号のＨＰＦ値である。これら図を参照して、画素位置（ｉ，ｊ）におけるｋ信号の画素補間を行う方法を具体的に述べる。
図２５は、ｋ信号とｈ信号との間に正の相関がある場合を示し、図２６及び図２７は、ｋ信号とｈ信号との間に相関がない場合を示し、図２８は、ｋ信号とｈ信号との間に負の相関がある場合を示す。

最初に図２５を参照してｋ信号とｈ信号との間に正の相関がある場合について説明する。曲線ｅとｆで示されるＨＰＦ値、はｋ信号とｈ信号の変化が同様の場合、同じ値となるため重なって描写されている。
従来技術によるバイリニア方法では、画素位置（ｉ−１，ｊ）と（ｉ＋１，ｊ）におけるｋ信号を用いてその平均値を画素位置（ｉ，ｊ）におけるｋ信号とする。バイリニア方法によって補間された信号レベルを、図２５において白三角印（△）で示したが、求められるべき真値と補間誤差が生じている。

一方、本実施の形態による補間方法では、画素位置（ｉ，ｊ）において既知の値ｈ（ｉ，ｊ）に非相関値（ｋＨＰＦ−ｈＨＰＦ）を係数ｑを乗じた後加算し、加算結果に、比ｋＬＰＦ／ｈＬＰＦに係数ｒを乗じたものを乗算することにより得られた値が、補間信号ｋ（ｉ，ｊ）となる。ｋＬＰＦ／ｈＬＰＦは、ＬＰＦ値の比を表すものであり、この比は、相関の程度を表し、相関の度合いが高いほど「１」により近くなる。

実施の形態１にて述べたように画像の局所的な領域では信号の変化には強い相関がある。よって、信号の緩やかな変化を示すＬＰＦ値とそれぞれの信号との間には次式（２３）が成り立つ。

ｋ（ｉ，ｊ）：ｈ（ｉ，ｊ）＝ｋＬＰＦ（ｉ，ｊ）：ｈＬＰＦ（ｉ，ｊ）
…（２３）

式（２３）を変形すると、ｈ画素のある（ｉ，ｊ）におけるｋ（ｉ，ｊ）の信号は次式（２４）で表すことができる。

ｋ（ｉ，ｊ）＝ｈ（ｉ，ｊ）×ｋＬＰＦ（ｉ，ｊ）／ｈＬＰＦ（ｉ，ｊ）
…（２４）

式（２４）は画像の局所的な領域では信号の変化に強い相関を持つと仮定しており、画像のほとんどの領域では上記仮定が成り立つため、信号の変化に正の相関の高い領域では精度の高い画素補間を可能とする。しかし、実施の形態１と同様に画像のエッジなど相関がない領域や、負の相関を有する領域では画素補間誤差が発生する。

図２５では画素位置（ｉ，ｊ）における、曲線ｃとｄとの比がｋＬＰＦ／ｈＬＰＦとなる。画素位置（ｉ，ｊ）における曲線ｅとｆの差が（ｋＨＰＦ−ｈＨＰＦ）となる。本実施の形態による補間方法では、画素位置（ｉ，ｊ）において既知の値ｈ（ｉ，ｊ）から（ｋＨＰＦ−ｈＨＰＦ）に係数ｑを掛けたものを加算し、ｋＬＰＦ／ｈＬＰＦに係数ｒを掛けたものを乗ずる。式（２２）で示す本方法によって算出された補間信号ｋ（ｉ，ｊ）を図２５に白丸印（○）にて示す。真値に対して精度良く画素補間が実現できている。図２５に示したように、ｋ信号とｈ信号との信号の変化が同様である場合、（ｋＨＰＦ−ｈＨＰＦ）は“０”に近くなるため、ＬＰＦから求められる変化の信号間の比に比例した値を掛けることにより補間信号が算出されることになる。本方法により、色信号間の相関が大きい場合精度良く画素補間を行うことができる。

次に色信号間に相関が無い場合について説明する。画像のエッジなどでは各色の間の相関が低くなるため式（２４）では補間誤差が生じてしまう。そこで、エッジ部では相関が低くなることを考慮し、式（２４）にＨＰＦの信号差（ｋＨＰＦ−ｈＨＰＦ）を挿入し、上記式（２２）の補間方法とすることで上記の問題を解決することができる。式（２２）において、（ｋＨＰＦ（ｉ，ｊ）−ｈＨＰＦ（ｉ，ｊ））は画像エッジ部の信号成分の差であり、ｋ信号とｈ信号の変化にエッジ部でも強い相関がある場合には、“０”となるため、式（２２）でｒ＝１であれば、式（２４）と同じ式となる。各色の相関が無い場合には、（ｋＨＰＦ（ｉ，ｊ）−ｈＨＰＦ（ｉ，ｊ））が各色の信号の固有の値に関係するので、各色について高精度の画素補間を実現することができる。

図２６及び図２７に各信号レベルとイメージセンサ２上の各画素の位置を示す。図２６及び図２７に示した信号ではｋ信号とｈ信号の変化に相関が無い。

まず、図２６を参照して説明する。図２６の例では、ｋ信号に変化が無いため曲線ｅで示されるｋ信号のＨＰＦ値ｋＨＰＦは“０”である。
式（２４）で示した色の相関変化だけを用いた補間を行う場合、画素位置（ｉ，ｊ）における補間対象のｋ信号は変化していないにもかかわらず、参照とするｈ信号が変化しているため、白四角印（□）で示す信号レベルに画素補間され、補間誤差が生じる。しかし、ｋ信号とｈ信号との信号変化にどれだけ相関が無いかは、（ｋＨＰＦ−ｈＨＰＦ）の値として求められることとなる。よって、（ｋＨＰＦ−ｈＨＰＦ）の値に係数ｑを掛けたものが、ｈ（ｉ，ｊ）の値に加算され、加算結果に、ｒ（ｋＬＰＦ／ｈＬＰＦ）が乗算される。図２６の場合、ｋＨＰＦは“０”であり、画素位置（ｉ，ｊ）における（ｋＨＰＦ−ｈＨＰＦ）は負の値になるため、ｈ（ｉ，ｊ）の値はある値が差し引かれることとなる。本実施の形態による演算（式（２４））の画素補間の信号レベルを白丸印（○）にて示す。真値と比べ精度高く補間できている。このように信号間に相関が無い場合でも精度高く画素補間を行うことができる。

図２７には図２６とは逆にｋ信号が変化して、ｈ信号に変化が無い、２つの色信号間に相関が無い別の例を示す。式（２２）による色の相関変化だけを用いた補間を行う場合、ｈ（ｉ，ｊ）の信号にｋＬＰＦ／ｈＬＰＦの信号レベル比に係数ｒを掛けたものが乗算されることになる。この場合、画素補間された信号レベルを図２７において白四角印（□）で示す信号レベルとなる。白四角印に示す信号レベルはｋ信号の真値から離れた位置の値となるため補間誤差が生じていることが分かる。
一方、本実施の形態による画素補間方法では、画素位置（ｉ，ｊ）におけるｈ信号ｈ（ｉ，ｊ）に（ｋＬＰＦ−ｈＬＰＦ）に係数ｒを掛けたものが加算され、加算結果に、ｒ（ｋＬＰＦ／ｈＬＰＦ）が乗算される。図２７の場合、ｈＨＰＦは“０”であり、画素位置（ｉ，ｊ）における（ｋＨＰＦ−ｈＨＰＦ）は正の値となる。本実施の形態による補間方法では補間された信号レベルは白丸印（○）の位置となり、ｋ信号の真値に対して精度高く補間される。

図２６及び図２７では色信号間に相関が無い場合について説明したが、次に色信号間に負の相関がある場合について説明する。図２８にｋ信号とｈ信号との間に負の相関がある場合を示す。バイリニア補間方法による画素補間は白三角印（△）で示す信号レベルであり図２５と同様に真値に対して補間誤差が生じている。また、負の相関関係である場合、式（２４）による色の相関変化だけを用いた画素補間では白四角印（□）で示すようにさらに補間誤差が拡大する。本実施の形態による補間方法では白丸印（○）で示すように精度高く画素補間が実現できている。
以上のように、色信号間に正の相関がある場合、相関が無い場合、負の相関となっている場合のいずれにおいても精度の高い画素補間を行うことができる。

画素補間の演算処理については実施の形態１と同様に、図１７に示したフローチャートの手順にて行う。フローチャートに示した６つの処理がすべて終わったときに、１画面上のすべての画素位置のすべての画素における不足した色の画素信号が揃う。

各手順における演算処理を具体的に説明する。まず、各色信号Ｒ，Ｇ，ＢのＨＰＦ、ＬＰＦ値は実施の形態１と同様に式（２）から式（１３）に示す演算にて求められる。

まず、ステップＳ１の演算処理について説明する。ステップＳ１ではＲ画素の位置における欠落したＧ信号を算出する。Ｒ画素の位置におけるＧ信号は式（２２）に従い次式（２５）にて算出される。Ｒ画素は（ｉ＋ｎ，ｊ＋ｍ）（ｎ，ｍは奇数）の位置に存在するため、これに伴い式（２２）とは座標値が異なるものとなる。

Ｇ（ｉ＋ｎ，ｊ＋ｍ）＝｛Ｒ（ｉ＋ｎ，ｊ＋ｍ）＋ｑ（ＧＨＰＦ（ｉ＋ｎ，ｊ＋ｍ）−ＲＨＰＦ（ｉ＋ｎ，ｊ＋ｍ））｝×ｒ（ＧＬＰＦ（ｉ＋ｎ，ｊ＋ｍ）／ＲＬＰＦ（ｉ＋ｎ，ｊ＋ｍ））
…（２５）

定数ｑ、ｒは画像が最適に補間されるように予め定めておけばよい。例えば、ｑ＝０．２５、ｒ＝１でも良好に画素補間を行うことができる。図１８は、式（２５）による補間の結果ｇｒをそれぞれ対応するＲ画素位置に示す。

次に、ステップＳ２の演算処理に移る。ステップＳ２はＢ画素の位置において欠落したＧ信号を補間する。Ｂ画素の位置におけるＧ信号は式（２２）に従い次式（２６）にて算出される。Ｂ画素は（ｉ＋ｓ，ｊ＋ｔ）（ｓ，ｔは偶数）の位置に存在するため、これに伴い式（２２）とは座標値が異なるものとなる。

Ｇ（ｉ＋ｓ，ｊ＋ｔ）＝｛Ｂ（ｉ＋ｓ，ｊ＋ｔ）＋ｑ（ＧＨＰＦ（ｉ＋ｓ，ｊ＋ｔ）−ＢＨＰＦ（ｉ＋ｓ，ｊ＋ｔ））｝×ｒ（ＧＬＰＦ（ｉ＋ｓ，ｊ＋ｔ）／ＢＬＰＦ（ｉ＋ｓ，ｊ＋ｔ））
…（２６）

図１９は、式（２６）による補間の結果ｇｂをそれぞれ対応するＢ画素位置に示す。図１９には、式（２５）による補間の結果ｇｒも示されている。式（２５）による、Ｒ画素位置のＧ信号の補間、及び式（２６）による、Ｂ画素位置におけるＧ信号の補間により、全画素位置におけるＧ信号が得られる。

次に、ステップＳ３の演算処理に移る。ステップＳ３はＧ画素の位置において欠落したＲ信号を補間する。Ｇ画素の位置におけるＲ信号は式（２２）に従い次式（２７）、式（２８）にて算出される。Ｇ画素は（ｉ＋ｓ，ｊ＋ｍ）（ｓは偶数、ｍは奇数）の位置と（ｉ＋ｎ，ｊ＋ｔ）（ｎは奇数、ｔは偶数）とに存在するため、これに伴い式（２２）とは座標値が異なるものとなる。

Ｒ（ｉ＋ｓ，ｊ＋ｍ）＝｛Ｇ（ｉ＋ｓ，ｊ＋ｍ）＋ｑ（ＲＨＰＦ（ｉ＋ｓ，ｊ＋ｍ）−ＧＨＰＦ（ｉ＋ｓ，ｊ＋ｍ））｝×ｒ（ＲＬＰＦ（ｉ＋ｓ，ｊ＋ｍ）／ＧＬＰＦ（ｉ＋ｓ，ｊ＋ｍ））
…（２７）

Ｒ（ｉ＋ｎ，ｊ＋ｔ）＝｛Ｇ（ｉ＋ｎ，ｊ＋ｔ）＋ｑ（ＲＨＰＦ（ｉ＋ｎ，ｊ＋ｔ）−ＧＨＰＦ（ｉ＋ｎ，ｊ＋ｔ））｝×ｒ（ＲＬＰＦ（ｉ＋ｎ，ｊ＋ｔ）／ＧＬＰＦ（ｉ＋ｎ，ｊ＋ｔ））
…（２８）

図２０は、式（２７）及び式（２８）による補間の結果得られたＲ信号ｒｇをそれぞれ対応するＧ画素位置に２次元的に示す。
なお、式（２７）および式（２８）においてもＲＬＰＦ，ＲＨＰＦ，ＧＬＰＦ，ＧＨＰＦは上述したＬＰＦおよびＨＰＦの出力値であるが、ＧＬＰＦおよびＧＨＰＦについては、ステップＳ１およびステップＳ２で算出した補間値ｇｒ、ｇｂを用いて新たに算出してもよい。

次に、ステップＳ４の演算処理に移る。ステップＳ４はＧ画素の位置において欠落したＢ信号を補間する。Ｇ画素の位置におけるＢ信号は式（２２）に従い次式（２９）、式（３０）にて算出される。Ｇ画素は（ｉ＋ｓ，ｊ＋ｍ）（ｓは偶数、ｍは奇数）の位置と（ｉ＋ｎ，ｊ＋ｔ）（ｎは奇数、ｔは偶数）とに存在するため、これに伴い式（２２）とは座標値が異なるものとなる。

Ｂ（ｉ＋ｓ，ｊ＋ｍ）＝｛Ｇ（ｉ＋ｓ，ｊ＋ｍ）＋ｑ（ＢＨＰＦ（ｉ＋ｓ，ｊ＋ｍ）−ＧＨＰＦ（ｉ＋ｓ，ｊ＋ｍ））｝×ｒ（ＢＬＰＦ（ｉ＋ｓ，ｊ＋ｍ）／ＧＬＰＦ（ｉ＋ｓ，ｊ＋ｍ））
…（２９）

Ｂ（ｉ＋ｎ，ｊ＋ｔ）＝｛Ｇ（ｉ＋ｎ，ｊ＋ｔ）＋ｑ（ＢＨＰＦ（ｉ＋ｎ，ｊ＋ｔ）−ＧＨＰＦ（ｉ＋ｎ，ｊ＋ｔ））｝×ｒ（ＢＬＰＦ（ｉ＋ｎ，ｊ＋ｔ）／ＧＬＰＦ（ｉ＋ｎ，ｊ＋ｔ））
…（３０）

図２１は、式（２９）及び式（３０）による補間の結果得られたＢ信号ｂｇをそれぞれ対応するＧ画素位置に２次元的に示す。
なお、本式（２９）および式（３０）においてもＢＬＰＦ，ＢＨＰＦ，ＧＬＰＦ，ＧＨＰＦは上述したＬＰＦおよびＨＰＦの出力値であるが、ＧＬＰＦおよびＧＨＰＦについては、ステップＳ１およびステップＳ２で算出した補間値ｇｒ、ｇｂを用いて新たに算出してもよい。

次に、ステップＳ５の演算処理に移る。ステップＳ５はＢ画素の位置において欠落したＲ信号を補間する。Ｂ画素の位置におけるＲ信号は式（２２）に従い次式（３１）にて算出される。Ｂ画素は（ｉ＋ｓ，ｊ＋ｔ）（ｓ，ｔは偶数）の位置に存在するため、これに伴い式（２２）とは座標値が異なるものとなる。

Ｒ（ｉ＋ｓ，ｊ＋ｔ）＝｛Ｇ（ｉ＋ｓ，ｊ＋ｔ）＋ｑ（ＲＨＰＦ（ｉ＋ｓ，ｊ＋ｔ）−ＧＨＰＦ（ｉ＋ｓ，ｊ＋ｔ））｝×ｒ（ＲＬＰＦ（ｉ＋ｓ，ｊ＋ｔ）／ＧＬＰＦ（ｉ＋ｓ，ｊ＋ｔ））
…（３１）

図２２は、式（３１）による補間の結果得られたＲ信号ｒｂをそれぞれ対応するＢ画素位置に２次元的に示す。図２２にはまた、式（２７）及び式（２８）による補間の結果得られたＲ信号ｒｇがそれぞれ対応するＧ画素位置に示されている。式（２７）及び式（２８）による補間と、式（３１）による補間の結果、すべての画素のＲ信号が揃う。
なお、式（３１）においてもＲＬＰＦ，ＲＨＰＦ，ＧＬＰＦ，ＧＨＰＦは上述したＬＰＦおよびＨＰＦの出力値であるが、ＧＬＰＦおよびＧＨＰＦについては、ステップＳ１およびステップＳ２で算出した補間値ｇｒ、ｇｂを用いて新たに算出してもよい。また、ＲＬＰＦ、ＲＨＰＦも、ステップＳ３にて算出した補間値ｒｇを用いて新たに算出してよい。

次に、ステップＳ６の演算処理に移る。ステップＳ６はＲ画素の位置において欠落したＢ信号を補間する。Ｒ画素の位置におけるＢ信号は式（２２）に従い次式（３２）にて算出される。Ｒ画素は（ｉ＋ｎ，ｊ＋ｍ）（ｎ，ｍは奇数）の位置に存在するため、これに伴い式（２２）とは、座標値が異なるものとなる。

Ｂ（ｉ＋ｎ，ｊ＋ｍ）＝｛Ｇ（ｉ＋ｎ，ｊ＋ｍ）＋ｑ（ＢＨＰＦ（ｉ＋ｎ，ｊ＋ｍ）−ＧＨＰＦ（ｉ＋ｎ，ｊ＋ｍ））｝×ｒ（ＢＬＰＦ（ｉ＋ｎ，ｊ＋ｍ）／ＧＬＰＦ（ｉ＋ｎ，ｊ＋ｍ））
…（３２）

図２３は、式（３２）による補間の結果得られたＢ信号ｂｒをそれぞれ対応するＲ画素位置に２次元的に示す。図２３にはまた、式（１８）及び式（１９）による補間の結果得られたＢ信号ｂｇがそれぞれ対応するＧ画素位置に示されている。式（１８）及び式（１９）による補間と、式（３２）による補間の結果、すべての画素のＢ信号が揃う。
なお、式（３２）においてもＢＬＰＦ，ＢＨＰＦ，ＧＬＰＦ，ＧＨＰＦは上述したＬＰＦおよびＨＰＦの出力値であるが、ＧＬＰＦおよびＧＨＰＦについては、ステップＳ１およびステップＳ２で算出した補間値ｇｒ、ｇｂを用いて新たに算出してもよい。また、ＢＬＰＦ、ＢＨＰＦも、ステップＳ４にて算出した補間値ｂｇを用いて新たに算出してよい。

以上ステップＳ１からステップＳ６の演算により、各画素において欠落した色信号を補間し、全画素のＲ，Ｇ，Ｂ信号が得られる。

実施の形態１及び２において、各色の信号を生成する順序は図１７に示した順序に限るものではなく、信号を生成する順序を入れ替えても差し支えない。例えば、ステップＳ１とステップＳ２、ステップＳ３とステップＳ４、ステップＳ５とステップＳ６は演算の順序を差し替えることができる。

また、実施の形態１及び２において、ＬＰＦおよびＨＰＦを２次元のフィルタリングを行う演算式を記載したが、補間対象画素の周囲における出力信号の相関性の判定を行い、相関性の強いと判断された方向に並んだ画素の出力信号のみを用いてＨＰＦおよびＬＰＦの出力値として用いても良い。

さらに、実施の形態１及び２で説明した演算手段１０は、ソフトウェアにより、即ちプログラムされたコンピュータにより実現することもできる。

実施の形態１及び２で説明した方法で補間を行うと、各信号（Ｒ，Ｇ，Ｂ）間に相関があるときは、相関を利用した画素補間を行うことができ、画像のエッジ部分など相関が無い箇所においても、精度の高い画素補間を行うことができ、上記特許文献１（特開２００１−１９７５１２号公報）に開示された方法が抱える、色の境界付近での黒ずみや白抜けなどの画像劣化が発生すると言う問題が著しく改善される。

この発明の実施の形態１の画素信号処理装置を備えた撮像装置の構成を示すブロック図である。 ベイヤ型に配置されたＲ、Ｇ、Ｂの３原色の色フィルタを示す説明図である。 イメージセンサの撮像面上における、Ｒ画素の配置を示す図である。 イメージセンサの撮像面上における、Ｇ画素の配置を示す図である。 イメージセンサの撮像面上における、Ｂ画素の配置を示す図である。 Ｒ信号のＬＰＦ値を示す図である。 Ｇ信号のＬＰＦ値を示す図である。 Ｂ信号のＬＰＦ値を示す図である。 Ｒ信号のＨＰＦ値を示す図である。 Ｇ信号のＨＰＦ値を示す図である。 Ｂ信号のＨＰＦ値を示す図である。 実施の形態１の演算手段の構成を示すブロック図である。 ｋ信号とｈ信号の間に正の相関がある場合の、実施の形態１の画素補間の原理を模式的に示す説明図である。 ｋ信号とｈ信号の間に相関がない場合の、実施の形態１の画素補間の原理を模式的に示す説明図である。 ｋ信号とｈ信号の間に相関がない場合の、実施の形態１の画素補間の原理を模式的に示す説明図である。 ｋ信号とｈ信号の間に負の相関がある場合の、実施の形態１の画素補間の原理を模式的に示す説明図である。 この発明の実施の形態１、２における補間手順を示すフローチャートである。 Ｒ画素位置における画素補間したＧ信号の配列を示す図である。 Ｂ画素位置における画素補間したＧ信号の配列を示す図である。 Ｇ画素位置における画素補間したＲ信号の配列を示す図である。 Ｇ画素位置における画素補間したＢ信号の配列を示す図である。 Ｂ画素位置における画素補間したＲ信号の配列を示す図である。 Ｒ画素位置における画素補間したＢ信号の配列を示す図である。 実施の形態２の演算手段の構成を示すブロック図である。 ｋ信号とｈ信号の間に正の相関がある場合の、実施の形態２の画素補間の原理を模式的に示す説明図である。 ｋ信号とｈ信号の間に相関がない場合の、実施の形態２の画素補間の原理を模式的に示す説明図である。 ｋ信号とｈ信号の間に相関がない場合の、実施の形態２の画素補間の原理を模式的に示す説明図である。 ｋ信号とｈ信号の間に負の相関がある場合の、実施の形態２の画素補間の原理を模式的に示す説明図である。

符号の説明

１ レンズ、 ２ イメージセンサ、 ３ Ａ／Ｄ変換器、 ４ フレームメモリ、 ５ デマルチプレクサ、 ６ｒ Ｒ信号用２次元メモリ、 ６ｇ Ｇ信号用２次元メモリ、 ６ｂ Ｂ信号用２次元メモリ、 ７ｒ Ｒ信号用ＨＰＦ、 ８ｒ Ｒ信号用ＬＰＦ、 ７ｇ Ｇ信号用ＨＰＦ、 ８ｇ Ｇ信号用ＬＰＦ、 ７ｂ Ｂ信号用ＨＰＦ、 ８ｂ Ｂ信号用ＬＰＦ、 １０ 演算手段、 １１ 出力端子、 ２１、２３ｈ、２３ｋ、２４ｈ、２４ｋ 選択手段、 ２５、２６ 差計算手段、 ２７、２８ 係数乗算手段、 ２９ 加算手段、 ３０ 制御手段、 ３２ 比計算手段、 ３３ 加算手段、 ３４ 乗算手段。

Claims (11)

1. ２次元平面上に配列され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素の画素信号の組に基づき、第ｈ（ｈは１からＮのうちのいずれか一つ）の分光感度特性の画素信号が存在する補間対象画素位置における第ｋ（ｋはｈを除く１からＮのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理装置において、
   上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｋの分光感度特性の画素信号の低周波数成分と、上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｈの分光感度特性の画素信号の低周波数成分との差を算出する差算出手段と、
   上記補間対象画素位置の近傍の領域内における上記第ｋの分光感度特性の画素信号と上記第ｈの分光感度特性の画素信号との非相関の程度に対応した非相関値を算出する非相関値算出手段と、
   上記補間対象画素位置における上記第ｈの分光感度特性の画素信号と、上記差と、上記非相関値とに基づいて、上記補間対象画素位置における上記第ｋの分光感度特性の画素信号を求める補間値算出手段とを有し、
   上記補間値算出手段は、上記補間対象画素位置における上記第ｈの分光感度特性の画素信号と、上記非相関値に第１の所定の係数を掛けたものと、上記差に第２の所定の係数を掛けたものとを加算することにより、上記補間対象画素位置における上記第ｋの分光感度特性の画素信号を求める画素信号処理装置。
2. 上記差算出手段が、
   それぞれ上記第１乃至第Ｎの分光感度特性の画素信号の低周波数成分を生成する複数のローパスフィルタと、
   上記ローパスフィルタから出力される低周波数成分のうちの、上記第ｋの分光感度特性の画素信号の周波数成分と、上記第ｈの分光感度特性の画素信号の周波数成分とを選択する選択手段と、
   上記選択手段で選択された上記第ｋの分光感度特性の画素信号の低周波数成分と、上記第ｈの分光感度特性の画素信号の低周波数成分の差を求める差計算手段と
   を有することを特徴とする請求項１に記載の画素信号処理装置。
3. ２次元平面上に配列され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素の画素信号の組に基づき、第ｈ（ｈは１からＮのうちのいずれか一つ）の分光感度特性の画素信号が存在する補間対象画素位置における第ｋ（ｋはｈを除く１からＮのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理装置において、
   上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｋの分光感度特性の画素信号の低周波数成分と、上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｈの分光感度特性の画素信号の低周波数成分との比を算出する比算出手段と、
   上記補間対象画素位置の近傍の領域内における上記第ｋの分光感度特性の画素信号と上記第ｈの分光感度特性の画素信号との非相関の程度に対応した非相関値を算出する非相関値算出手段と、
   上記補間対象画素位置における上記第ｈの分光感度特性の画素信号と、上記比と、上記非相関値とに基づいて、上記補間対象画素位置における上記第ｋの分光感度特性の画素信号を求める補間値算出手段とを有し、
   上記補間値算出手段は、上記補間対象画素位置における上記第ｈの分光感度特性の画素信号と、上記非相関値に第１の所定の係数を掛けたものとの和に、上記比に第２の所定の係数を掛けたものとを乗算することにより、上記補間対象画素位置における上記第ｋの分光感度特性の画素信号を求める画素信号処理装置。
4. 上記比算出手段が、
   それぞれ上記第１乃至第Ｎの分光感度特性の画素信号の低周波数成分を生成する複数のローパスフィルタと、
   上記ローパスフィルタから出力される低周波数成分のうちの、上記第ｋの分光感度特性の画素信号の周波数成分と、上記第ｈの分光感度特性の画素信号の周波数成分とを選択する選択手段と、
   上記選択手段で選択された上記第ｋの分光感度特性の画素信号の低周波数成分と、上記第ｈの分光感度特性の画素信号の低周波数成分の比を求める比計算手段と
   を有することを特徴とする請求項３に記載の画素信号処理装置。
5. 上記非相関値算出手段が、
   上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｋの分光感度特性の画素信号の変化成分と、上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｈの分光感度特性の画素信号の変化成分とを生成する変化成分生成手段と、
   上記変化成分生成手段で生成された上記第ｋの分光感度特性の画素信号の変化成分と、上記ｈの分光感度特性の画素信号の変化成分の差を上記非相関値として求める差計算手段と
   を有することを特徴とする請求項１乃至４のいずれかに記載の画素信号処理装置。
6. 上記変化成分生成手段が、
   それぞれ上記第１乃至第Ｎの分光感度特性の画素信号の変化成分を生成する複数のハイパスフィルタと、
   上記ハイパスフィルタから出力される変化成分のうちの、上記第ｋの分光感度特性の画素信号の変化成分と、上記第ｈの分光感度特性の画素信号の変化成分とを選択する選択手段と
   を有することを特徴とする請求項５に記載の画素信号処理装置。
7. 上記第１乃至第Ｎの分光感度特性を有する画素信号が、赤、緑、青の画素信号であることを特徴とする請求項１乃至６のいずれかに記載の画素信号処理装置。
8. ２次元平面上に配列され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素の画素信号の組に基づき、第ｈ（ｈは１からＮのうちのいずれか一つ）の分光感度特性の画素信号が存在する補間対象画素位置における第ｋ（ｋはｈを除く１からＮのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理方法において、
   上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｋの分光感度特性の画素信号の低周波数成分と、上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｈの分光感度特性の画素信号の低周波数成分との差を算出する差算出ステップと、
   上記補間対象画素位置の近傍の領域内における上記第ｋの分光感度特性の画素信号と上記第ｈの分光感度特性の画素信号との非相関の程度に対応した非相関値を算出する非相関値算出ステップと、
   上記補間対象画素位置における上記第ｈの分光感度特性の画素信号と、上記差と、上記非相関値とに基づいて、上記補間対象画素位置における上記第ｋの分光感度特性の画素信号を求める補間値算出ステップとを有し、
   上記補間値算出手段は、上記補間対象画素位置における上記第ｈの分光感度特性の画素信号と、上記非相関値に第１の所定の係数を掛けたものとの和に、上記比に第２の所定の係数を掛けたものとを乗算することにより、上記補間対象画素位置における上記第ｋの分光感度特性の画素信号を求める画素信号処理方法。
9. 上記差算出ステップが、
   それぞれ上記第１乃至第Ｎの分光感度特性の画素信号の低周波数成分を生成する複数のローパスフィルタンリングステップと、
   上記ローパスフィルタンリングステップにおけるフィルタリングにより得られる低周波数成分のうちの、上記第ｋの分光感度特性の画素信号の周波数成分と、上記第ｈの分光感度特性の画素信号の周波数成分とを選択する選択ステップと、
   上記選択ステップで選択された上記第ｋの分光感度特性の画素信号の低周波数成分と、上記第ｈの分光感度特性の画素信号の低周波数成分の差を求める差計算ステップと
   を有することを特徴とする請求項８に記載の画素信号処理方法。
10. ２次元平面上に配列され、各々が第１乃至第Ｎの分光感度特性のうちのいずれか１つを有する画素の画素信号の組に基づき、第ｈ（ｈは１からＮのうちのいずれか一つ）の分光感度特性の画素信号が存在する補間対象画素位置における第ｋ（ｋはｈを除く１からＮのうちのいずれか一つ）の分光感度特性の画素信号を生成する画素信号処理方法において、
    上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｋの分光感度特性の画素信号の低周波数成分と、上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｈの分光感度特性の画素信号の低周波数成分との比を算出する比算出ステップと、
    上記補間対象画素位置の近傍の領域内における上記第ｋの分光感度特性の画素信号と上記第ｈの分光感度特性の画素信号との非相関の程度に対応した非相関値を算出する非相関値算出ステップと、
    上記補間対象画素位置における上記第ｈの分光感度特性の画素信号と、上記比と、上記非相関値とに基づいて、上記補間対象画素位置における上記第ｋの分光感度特性の画素信号を求める補間値算出ステップとを有し、
    上記補間値算出ステップは、上記補間対象画素位置における上記第ｈの分光感度特性の画素信号と、上記非相関値に第１の所定の係数を掛けたものとの和に、上記比に第２の所定の係数を掛けたものとを乗算することにより、上記補間対象画素位置における上記第ｋの分光感度特性の画素信号を求めることを特徴とする画素信号処理方法。
11. 上記非相関値算出ステップが、
    上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｋの分光感度特性の画素信号の変化成分と、上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第ｈの分光感度特性の画素信号の変化成分とを生成する変化成分生成ステップと、
    上記変化成分生成ステップで生成された上記第ｋの分光感度特性の画素信号の変化成分と、上記ｈの分光感度特性の画素信号の変化成分の差を上記非相関値として求める差計算ステップと
    を有することを特徴とする請求項８乃至１０のいずれかに記載の画素信号処理方法。

Images