JP4583871B2

JP4583871B2 - 画素信号生成装置、撮像装置および画素信号生成方法

Info

Publication number: JP4583871B2
Application number: JP2004303196A
Authority: JP
Inventors: 淳子牧田; 正太郎守谷; 博明杉浦; 孝一山下; 俊伊藤; 徹也久野; 成浩的場
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2004-10-18
Filing date: 2004-10-18
Publication date: 2010-11-17
Anticipated expiration: 2024-10-18
Also published as: JP2006115408A

Description

本発明は、画素信号生成装置等に関し、特に、複数の色のうちの１の色に対応して設けられる１の画素に対して、当該１の色と異なる色に対応する画素信号を生成する画素信号生成装置に関する。

従来の画素信号生成装置は、各色に対応する画素信号の局所的な分布に基づいて各画素信号に対応する値を平均値で置き換え、当該平均値に基づいて想定される、１の色に対応する幾何学図形と前記異なる色に対応する幾何学図形との相似比に基づいて、当該異なる色に対応する画素信号を生成する。

特開２００１−１９７５１２号公報（第８頁右欄第２行目〜第３０行目、第７図）

上述した従来の画素信号生成装置は、以下のような前提のもとで、前記１の画素（以下、注目画素ともいう。）に対応する１の色（以下、既知色ともいう。）と異なる色（以下、不足色ともいう。）に対応する画素信号の生成を行なっている。すなわち、ある画像の局所的な領域においては、前記注目画素近傍に配置された画素であって、当該既知色と同一の色を既知色とする画素の画素信号に対応する値の変動と、前記注目画素近傍に配置された画素であって、前記不足色と同一の色を既知色とする画素の画素信号に対応する値の変動との相関が常に強いことを前提として、不足色に対応する画素信号の生成を行なっている。なお、前記注目画素近傍とは、当該注目画素から所定の距離以内に配置された画素を含む領域内をいう。また、前記所定の距離は、任意に設定される。

しかしながら、例えば、ある画像において、緑色（Ｇ色）の部分では当該Ｇ色の画素信号（以下、Ｇ信号ともいう。）に対応する値が大きく、赤色（Ｒ色）の画素信号（以下、Ｒ信号ともいう。）に対応する値および青色（Ｂ色）の画素信号（以下、Ｂ信号ともいう。）に対応する値が小さい一方、黄色の部分ではＧ信号に対応する値およびＲ信号に対応する値が大きく、Ｂ信号に対応する値が小さい。

したがって、前記画像において緑色から黄色へと変化する部分（特に色の境界（エッジ）部分）においては、Ｒ信号に対応する値の変動は大きいものの、Ｇ信号に対応する値の変動およびＢ信号に対応する値の変動は非常に小さい。すなわち、上述の例の場合には、Ｒ信号に対応する値の変動とＧ信号に対応する値の変動との相関が低い。よって、従来の画素信号生成装置における前提が成立しない。

したがって、上述の例のような場合に、従来の画素信号生成装置によって、不足色に対応する画素信号の生成を行なうと、前記不足色の画素信号に対応する値の変動が小さいにも関わらず、既知色の画素信号に対応する値の変動に従って前記不足色に対応する画素信号の生成を行なってしまうため、本来の画像（例えば、撮像装置等による撮影の対象となる風景等の画像）に含まれない色（以下、偽色ともいう。）が発生してしまう。そして、当該偽色に起因して白抜けや黒ずみが発生することにより当該画像の画質が劣化してしまう場合もある。

また、無彩色の画像の場合には各色の画素信号に対応する値が等しくなるため偽色が発生することは少ない。しかしながら、有彩色の場合には各色の画素信号に対応する値が異なるため、当該有彩色の境界部分においては偽色が発生しやすい。ここで、有彩色と無彩色とが隣接する境界部分の例として、彩度の高い色（以下、高彩色ともいう。）である赤色と無彩色である白色との境界部分について説明する。高彩色である赤色の部分においては、Ｒ信号に対応する値が大きく、Ｇ信号に対応する値およびＢ信号に対応する値が小さい。一方、白色の部分においては、Ｒ信号に対応する値、Ｇ信号に対応する値およびＢ信号に対応する値の全てが大きい。すなわち、当該境界部分においては、Ｇ信号に対応する値およびＢ信号に対応する値は大きく変化するが、Ｒ信号に対応する値は変化しない。したがって、Ｒ信号に対応する値の変動とＧ信号に対応する値およびＢ信号に対応する値の変動が等しくなるような前提のもとに画素信号の生成を行なうと、当該境界付近においても偽色が発生してしまう。また、高彩色が複数隣接する境界部分においては偽色が特に目立つ。

そこで本発明は、注目画素近傍における、既知色の画素信号に対応する値の変動と不足色の画素信号に対応する値の変動との相関に応じて、当該不足色に対応する画素信号の生成を行なうことで、偽色の発生や、当該偽色に起因する白抜けや黒ずみといった画質の劣化を抑制することができる画素信号生成装置等を得ることを目的とする。

本発明に係る画素信号生成装置は、複数の色の各色に対応して設けられる１の画素に対して、当該１の画素に対応する１の色と異なる色に対応する画素信号を生成する画素信号生成装置であって、複数の画素で構成される第１の範囲において、前記１の色と前記異なる色との相関関係を分析する第１の相関分析手段と、複数の画素で構成され、前記第１の範囲とは異なる範囲である第２の範囲において、前記１の色と前記異なる色との相関関係を分析する第２の相関分析手段と、前記第１の範囲に対応する相関関係、前記第２の範囲に対応する相関関係および前記１の色に対応する画素信号に基づいて、第１の画素信号を生成する第１の画素信号生成手段と、前記１の画素近傍に配置された画素が有する画素信号のうち、前記１の色と同一の色に対応する画素信号に基づいて、第２の画素信号を生成する第２の画素信号生成手段と、前記第１の範囲における相関関係と前記第２の範囲における相関関係が同じような傾向にあるか否かにより、当該第１の範囲における相関関係および第２の範囲における相関関係の信頼性を評価する比較手段と、該比較手段における評価の結果に応じて、前記第１の画素信号または前記第２の画素信号のいずれかの画素信号を前記異なる色に対応する画素信号として選択する選択手段とを備える。

本発明に係る画素信号生成装置によれば、偽色の発生や、当該偽色に起因する白抜けや黒ずみといった画質の劣化を抑制することができる。

実施の形態１．
図１は、実施の形態１における画素信号生成装置１０１を備える撮像装置の構成を示すブロック図である。図１において、レンズ１は、被写体によって反射された光（以下、入射光という。）を二次元撮像素子２の受光面（図示せず）に集光させる。

二次元撮像素子２はフォトダイオード（図示せず）によって構成され、当該フォトダイオードは、当該二次元撮像素子２の画素に対応付けて配置される。そして、二次元撮像素子２の画素上には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三原色に対応する分光感度特性を有する色フィルタ（図示せず）が配設される。なお、当該色フィルタは、例えば、図２に示すようなベイヤ（Ｂａｙｅｒ）型に配置される。

二次元撮像素子２は、入射光に応じて光電変換を行い、入射光の光量に応じた信号レベルを有するアナログ画素信号を画素毎に出力する。そして、当該アナログ画素信号は、Ａ／Ｄ変換器３に入力される。Ａ／Ｄ変換器３は、入力されたアナログ画素信号をデジタル画素信号に変換し、当該デジタル画素信号をフレームメモリ４に出力する。フレームメモリ４は、Ａ／Ｄ変換器３から出力されたデジタル画素信号を前記二次元撮像素子２における各画素に対応付けて記憶する。

図３は、前記ベイヤ型配列におけるＲ、Ｇ、Ｂ各色の色フィルタの位置を説明するための説明図である。具体的に説明すると、図３（ａ）はＲの色フィルタの位置、図３（ｂ）はＧの色フィルタの位置、図３（ｃ）はＢの色フィルタの位置を示す。

図３のように、各色に対応する色フィルタは、例えば、Ｒの色フィルタは４つの画素毎に１つ設けられる。したがって、前記４つの画素のうち、Ｒの色フィルタ以外の色フィルタが設けられる３つの画素においてはＲ色が不足色となる。また、Ｇの色フィルタは２つの画素毎に１つ設けられる。したがって、前記２つの画素のうち、Ｇの色フィルタ以外の色フィルタが設けられる他の画素においてはＧ色が不足色となる。さらに、Ｂの色フィルタは４つの画素毎に１つ設けられる。したがって、前記４つの画素のうち、Ｂの色フィルタ以外の色フィルタが設けられる他の画素においてはＢ色が不足色となる。

上述のように、二次元撮像素子２の画素上には、各画素に対応してＲ、Ｇ、Ｂの色フィルタが配置されている。したがって、各画素からはＲ、Ｇ、Ｂのうち、１つの色に対応する画素信号のみが得られ、他の２つの色に対応する画素信号は得られない。例えば、Ｇの色フィルタが配置された画素においては、Ｇ色に対応する画素信号のみが得られ、Ｒ色に対応する画素信号およびＢ色に対応する画素信号を得ることができない。すなわち、この場合には、Ｇ色が既知色となり、Ｒ色およびＢ色が不足色となる。そこで、実施の形態１においては画素信号生成装置１０１によって不足色に対応する画素信号の補間を行なう。なお、以下、画素信号の補間を画素信号の生成ともいう。

また、当該画素信号生成装置１０１における画素信号の補間は、以下の６つの処理を含み、当該６つの処理は画面上（１フレーム内）の全ての画素に対して行なう。
（ＳＴ１）Ｒ色が既知色である画素に対し、Ｇ色の画素信号を補間する処理。
（ＳＴ２）Ｂ色が既知色である画素に対し、Ｇ色の画素信号を補間する処理。
（ＳＴ３）Ｇ色が既知色である画素に対し、Ｒ色の画素信号を補間する処理。
（ＳＴ４）Ｇ色が既知色である画素に対し、Ｂ色の画素信号を補間する処理。
（ＳＴ５）Ｒ色が既知色である画素に対し、Ｂ色の画素信号を補間する処理。
（ＳＴ６）Ｂ色が既知色である画素に対し、Ｒ色の画素信号を補間する処理。

なお、前記６つの処理を行なう順序は任意に設定可能である。また、前記６つの処理を一般化していうと、「Ｋ色（ＫはＲ、Ｇ、またはＢであって注目画素における既知色と同一の色）の画素信号が存在する画素位置におけるＬ色（ＬはＲ、Ｇ、またはＢであって注目画素における未知色と同一の色）の画素信号を求めるための処理」となる。

以下、当該画素信号生成装置１０１について具体的に説明する。画素信号生成装置１０１において、ローパスフィルタ手段５は、フレームメモリ４から必要に応じて読み出した画素信号に対し、ローパスフィルタリング処理を行なって、第１の相関分析手段６または第２の相関分析手段７に出力する。

第１の相関分析手段６は、複数の画素から構成され、任意に設定する第１の範囲において、注目画素における既知色である色（Ｋ色）と同一の色を既知色とする画素が有する画素信号と、注目画素における不足色である色（Ｌ色）と同一の色を既知色とする画素が有する画素信号との相関関係を分析し、当該第１の範囲におけるＫ色とＬ色との相関関係（以下、第１の相関関係ともいう。）を算出する。

具体的には、例えば、第１の範囲に含まれる画素において、Ｋ色を既知色とする画素の画素信号に対応する値を説明変数、Ｌ色を既知色とする画素の画素信号に対応する値を目的変数として回帰分析を行ない、当該第１の範囲におけるＫ色とＬ色との相関関係を表わす回帰式を算出する。

なお、当該第１の相関分析手段６における相関関係の分析に使用する画素信号は、フレームメモリ４に格納された画素信号、またはローパスフィルタ手段５から出力された画素信号である。また、前記第１の範囲は、注目画素を含み、当該注目画素から所定の距離内に配置された画素を含む範囲である。また、前記所定の距離は、実施の形態１の画素信号を適用する装置等に応じて任意に設定する。

第２の相関分析手段７は、複数の画素から構成され、任意に設定する第２の範囲において、前記第１の相関分析手段６と同様に、注目画素における既知色である色（Ｋ色）と同一の色を既知色とする画素が有する画素信号と、注目画素における未知色である色（Ｌ色）と同一の色を既知色とする画素が有する画素信号との相関関係を分析し、当該第２の範囲におけるＫ色とＬ色との相関関係（以下、第２の相関関係ともいう。）を算出する。

具体的には、例えば、第２の範囲に含まれる画素において、Ｋ色を既知色とする画素の画素信号に対応する値を説明変数、Ｌ色を既知色とする画素の画素信号に対応する値を目的変数として回帰分析を行い、当該第２の範囲におけるＫ色とＬ色との相関関係を表わす回帰式を算出する。

なお、当該第２の相関分析手段７における相関関係の分析に使用する画素信号は、フレームメモリ４に格納された画素信号、またはローパスフィルタ手段５から出力された画素信号である。また、前記第２の範囲は、当該注目画素から所定の距離内に配置された画素を含む範囲であり、注目画素を含んでもよいし、含まなくてもよい。また、前記所定の距離は、実施の形態１の画素信号を適用する装置等に応じて任意に設定する。例えば、第２の範囲としては、前記第１の範囲よりも広い範囲に配置された画素を含むように設定する。なお、第２の範囲と第１の範囲とは、一部重複してもよい。

ここで、第１の相関分析手段６および第２の相関分析手段７において算出される回帰式は、注目画素周辺の局所的な領域に配置された画素の画素信号に対応する値を色空間上にプロットしたとき、各画素信号に対応する値が分布している方向を近似的に示すものである。すなわち、当該局所的な領域内において、各画素に対応する色（Ｒ、Ｇ、Ｂによって構成される色）が色Ａから色Ｂ（色Ａとは異なる色。）に変化している場合、当該局所的な領域に対応する回帰式は、色空間上の色Ａと色Ｂとを結ぶ直線となる。そして、局所的な領域における各画素の画素信号に対応する値の色空間上での位置は、当該直線上の値に近い値となる。

第１の補間手段８は、まず、第１の相関分析手段６において算出した第１の相関関係と、フレームメモリ４に格納され、注目画素における既知色（Ｋ色）に対応する画素信号とに基づいて、注目画素における不足色（Ｌ色）に対応する画素信号の生成に使用する第１範囲補間値を算出する。次に、第２の相関分析手段７において算出した第２の相関関係と、フレームメモリ４に格納され、注目画素における既知色に対応する画素信号とに基づいて、注目画素における不足色（Ｌ色）に対応する画素信号の生成に使用する第２範囲補間値を算出する。そして、第１範囲補間値および第２範囲補間値に基づいて、注目画素における不足色（Ｌ色）に対応する画素信号を補間する第１の補間値を算出して、選択手段１１に出力する。なお、当該第１の補間値の算出は、例えば、第１範囲補間値と第２範囲補間値との平均値を算出することにより行なう。

第２の補間手段９は、第１の補間手段８とは異なる方法で第２の補間値を算出して選択手段１１に算出する。例えば、当該第２の補間値の算出は、注目画素近傍に配置され、当該注目画素において不足色である色を既知色とする画素の画素信号に対応する値の平均値を算出することにより行なう。

比較手段１０は、第１の相関関係と第２の相関関係とを比較して、これらの相関関係の信頼性を評価し、評価結果に対応する信号を選択手段１１に出力する。具体的には、第１の相関関係と第２の相関関係とが略同じような傾向にある場合には、両相関関係の信頼性が高いと評価する。通常、注目画素近傍における複数の色の間に一定の相関関係が成立している場合（具体的には、例えば、注目画素近傍に似たような色が分布している場合）には、第１の相関関係と第２の相関関係とが略同じような傾向となる。

一方、当該比較手段１０は、第１の相関関係と第２の相関関係とが異なる傾向にある場合には、両相関関係の信頼性が低いと評価する。通常、注目画素近傍において、多数の色が入り混じっている場合、または色が細かく変化している場合には、第１の相関関係と第２の相関関係とが異なる傾向となる。

上述のように当該比較手段１０において信頼性の評価を行なうことで、第１の相関関係または第２の相関関係が誤っていることにより、これらの相関関係を用いて求めた第１範囲補間値または第２範囲補間値に基づいて得られる第１の補間値が誤った値となることを防止することができる。

選択手段１１は、比較手段１０における評価結果に応じて、第１の補間値と第２の補間値のいずれか一方を選択し、選択した補間値に対応する信号を、注目画素における不足色（Ｌ色）に対応する画素信号（以下、生成信号ともいう。）として、フレームメモリ４に出力する。

通常、比較手段１０において、相関関係の信頼性が高いと評価された場合、当該相関関係に基づいて得られた第１の補間値の信頼性も高い。そこで、当該選択手段１１は、比較手段１０において相関関係の信頼性が高いと評価された場合には、第１の補間値の信頼性も高いと評価し、不足色を補間する補間値として当該第１の補間値を選択する。一方、比較手段１０において信頼性が低いと評価された場合には、第１の補間値の信頼性も低いと評価し、相関関係を使用せずに算出された第２の補間値を、不足色を補間する補間値として選択する。そして、選択された第１の補間値または第２の補間値に対応する画素信号がフレームメモリ４に出力され、当該フレームメモリ４は、入力された補間値を注目画素に対応付けて格納する。

上述の処理を繰り返し、全ての画素に対する前記６つの処理が終了すると、一画面上の全ての画素における不足色に対応する画素信号が得られる。すなわち、全ての画素についてＲ信号、Ｇ信号およびＢ信号が得られる。そして、全ての不足色に対応する画素信号が得られると、図示しない制御手段が、フレームメモリ４に格納されているＲ信号、Ｇ信号およびＢ信号を当該撮像素子に接続された機器等に出力する。なお、フレームメモリ４に格納されているＲ信号、Ｇ信号およびＢ信号をまとめてＲＧＢ信号として出力してもよいし、Ｒ信号、Ｇ信号またはＢ信号を別個に出力するようにしてもよい。

以下、画素信号生成装置１０１における、不足色に対応する画素信号の生成について詳細に説明する。なお、以下の説明においては、図４に示すように、前記６つの処理を前記（ＳＴ１）から順に（ＳＴ６）まで行なう場合について説明する。すなわち、まず、
Ｒ色の画素信号を有する画素に対してＧ色の画素信号を生成し（ＳＴ１）、次に、Ｂ色の画素信号を有する画素に対してＧ色の画素信号を生成し（ＳＴ２）、次に、Ｇ色の画素信号を有する画素に対してＲ色の画素信号を生成し（ＳＴ３）、次に、Ｇ色の画素信号を有する画素に対してＢ色の画素信号を生成し（ＳＴ４）、次に、Ｒ色の画素信号を有する画素に対してＢ色の画素信号を生成し（ＳＴ５）、最後に、Ｂ色の画素信号を有する画素に対してＲ色の画素信号生成する（ＳＴ６）場合について説明する。

図５は、二次元撮像装置２の出力をＡ／Ｄ変換することにより得られる画素信号を当該二次元撮像装置２の画素位置に対応付けて模式的に示した模式図である。図５において、各マスは各画素を表す。また、当該マス内に記載したＲ、Ｇ、Ｂは各画素において既知色である色を示し、カッコ内の数字はベイヤ型配列における各画素の座標値（ｌ＝行、ｍ＝列）を示す。なお、以下の説明においては、行方向（ｌ方向）を右、当該行方向と反対の方向を左ともいい、列方向（ｍ方向）を下、当該列方向と反対の方向を上ともいう。

以下、まず、前記図５におけるＲ（４，４）を注目画素とし、当該Ｒ（４，４）に対して不足色の１つであるＧ色に対応する画素信号を生成する場合（すなわち、ＳＴ１）について説明する。なお、図６は、当該ＳＴ１における、Ｒ色を既知色とする画素に対してＧ色の画素信号を生成する手順を説明するためのフローチャートであり、以下、当該図６に従って説明する。

注目画素としてＲ（４，４）が選択される（ＳＴ８）と、第１の相関分析手段６は、図７に示すような注目画素近傍の範囲を第１の範囲２１とする（ＳＴ９）。具体的に説明すると、実施の形態１においては、注目画素から上下方向に２画素離れた位置にありＲ色を既知色とする画素および注目画素を含む範囲を第１の範囲２１とする。

第１の相関分析手段６は、第１の範囲２１におけるＲ色とＧ色との相関関係（第１の相関関係）を算出する。しかしながら、Ｒ色に対応する画素信号についてはＲ（２，４）、Ｒ（４，４）またはＲ（６，４）から得ることができるものの、これらの画素（Ｒ（２，４）、Ｒ（４，４）またはＲ（６，４））においてはＧ色が不足色であるため、これらの画素に対応するＧ色の画素信号を得ることはできない。したがって、当該第１の範囲２１における相関関係の算出に際しては、Ｇ色に対応する画素信号を何らかの方法で得る必要がある。

そこで、実施の形態１においては、これらの画素（Ｒ（２，４）、Ｒ（４，４）またはＲ（６，４））の各々に隣接し、Ｇ色を既知色とする画素に対応する画素信号に基づいて、Ｇ色に対応する新たな画素信号を生成する。具体的には、ローパスフィルタ手段５によってＧ色に対応する新たな画素信号を生成する（詳細は後述する。）。

なお、実施の形態１においては、図４に示した手順により不足色に対応する画素信号を生成するため、ＳＴ１の段階においてＲ色の画素に対してＧ色の画素信号が存在しないが、手順を入れ替えることによりＲ色を既知色とする画素に対してＧ色に対応する画素信号が既に生成されている場合には、既に生成されたＧ色に対応する画素信号を使用して相関関係を算出してもよい。

第１の相関分析手段６は、第１の相関関係を算出するに際し、まず、Ｒ（２，４）、Ｒ（４，４）またはＲ（６，４）の各々に対応する画素信号をフレームメモリ４から読み出し、下記式（１）〜（３）に示すように、当該画素信号に対応する値を第１の説明変数Ｘ_１（ｉ）（ｉ＝１〜３）とする（ＳＴ１０）。

Ｘ_１（１）＝Ｒ（２，４）（１）
Ｘ_１（２）＝Ｒ（４，４）（２）
Ｘ_１（３）＝Ｒ（６，４）（３）

なお、実施の形態１においては、注目画素と、注目画素から上下に２画素離れた位置にあり、Ｒ色を既知色とする画素を含む範囲を第１の範囲２１としたため、Ｒ（２，４）、Ｒ（４，４）またはＲ（６，４）に対応する画素信号を使用するが、当該第１の範囲２１の設定によっては、注目画素の左右方向に２画素離れた位置にあり、Ｒ色を既知色とする画素（Ｒ（４，２）、Ｒ（４，６））の画素信号を使用してもよいし、上下左右方向に２画素離れた位置にあり、Ｒ色を既知色とする画素（Ｒ（２，４）、Ｒ（６，４）、Ｒ（４，２）、Ｒ（４，６））の画素信号を使用してもよい。

また、実施の形態１においては、第１の範囲２１に含まれるＲ色を既知色とする画素に対応する画素信号を全て使用したが、必ずしも当該第１の範囲２１における全ての画素信号を使用しなくてもよい。したがって、例えば、Ｒ（２，４）、Ｒ（４，４）またはＲ（６，４）のうち、１つまたは２つ画素信号を説明変数とするようにしてもよい。これにより、演算量を軽減することができる。ただし、第１の範囲に含まれる画素に対応する画素信号を全て使用する方が、相関関係の算出をより正確に行なうことができる場合が多い。

次に、第１の相関分析手段６は、Ｒ（２，４）、Ｒ（４，４）、Ｒ（６，４）に対応するＧ色の画素信号をフレームメモリ４から読み出して目的変数を作成する。しかしながら、ＳＴ１の段階においては、第１の範囲２１におけるＲ（２，４）、Ｒ（４，４）またはＲ（６，４）の画素に、Ｇ色に対応する画素信号が存在しない。そこで、ローパスフィルタ手段５の出力（以下、ローパスフィルタ値ともいう。）を使用して目的変数とする。

ローパスフィルタ手段５では、例えば、ローパスフィルタ値を算出する画素（ＳＴ１においては、Ｒ（２，４）、Ｒ（４，４）およびＲ（６，４））の近傍にある画素であって、Ｇ色を既知色とする画素に対応する画素信号をフレームメモリ４から読み出す。そして、当該画素信号に対応する値の平均値を算出し、当該画素に対応するＧ色のローパスフィルタ値として出力する。

具体的に説明すると、実施の形態１においては、下記式（４）〜（６）に示すように、第１の範囲２１におけるＲ（２，４）、Ｒ（４，４）またはＲ（６，４）の各画素の左右に位置し、Ｇ色を既知色とする画素の画素信号に対応する値の平均値をローパスフィルタ手段５において算出する。そして、算出した値を、Ｒ（２，４）、Ｒ（４，４）またはＲ（６，４）に対応するＧ色の画素信号とする。さらに、当該Ｇ色の画素信号に対応する値を目的変数Ｙ_１（ｉ）（i＝１〜３）とする（ＳＴ１１）。

Ｙ_１（１）＝Ｇ（２，４）＝（Ｇ（２，３）＋Ｇ（２，５））／２（４）
Ｙ_１（２）＝Ｇ（４，４）＝（Ｇ（４，３）＋Ｇ（４，５））／２（５）
Ｙ_１（３）＝Ｇ（６，４）＝（Ｇ（６，３）＋Ｇ（６，５））／２（６）

なお、実施の形態１においては、Ｒ（２，４）、Ｒ（４，４）またはＲ（６，４）の左右方向において隣接する画素のＧ色に対応する画素信号を使用するが、Ｒ（２，４）、Ｒ（４，４）またはＲ（６，４）の上下左右において隣接する画素のＧ色に対応する画素信号を使用してもよい。

また、Ｒ（２，４）、Ｒ（４，４）またはＲ（６，４）の上下方向または左右方向のいずれの方向において、これらの画素に隣接し、Ｇ色を既知色とする画素に対応する画素信号の相関が強いかを判定し、相関が強い方向におけるＧ色の画素信号に対応する値の平均値を算出してもよい。なお、相関を判定して平均値を算出した場合、当該ローパスフィルタ手段５において演算する平均値に含まれる誤差を小さくすることができる。

第１の相関分析手段６は、式（１）〜式（６）に示した第１の説明変数Ｘ_１（ｉ）および第１の目的変数Ｙ_１（ｉ）が得られると、当該第１の説明変数Ｘ_１（ｉ）および第１の目的変数Ｙ_１（ｉ）に基づいて回帰分析を行ない、下記式（７）に示す第１の回帰直線を算出する（ＳＴ１２）。なお、式（７）において、ａ_０は当該第１の回帰直線における傾きである定数、ｂ_０は、当該第１の回帰直線における切片である定数である。

Ｙ_１＝ａ_０×Ｘ_１＋ｂ_０（７）

図８は、第１の回帰直線を模式的に説明するための説明図である。当該第１の回帰直線は、第１の説明変数Ｘ_１（ｉ）および第１の目的変数Ｙ_１（ｉ）に基づいて最小二乗法により得ることができる。

図９は、第１の回帰直線における定数ａ_０（傾き）およびｂ_０（切片）の算出を説明するためのフローチャートである。第１の相関分析手段６は、当該フローチャートの手順に従って定数ａ_０（傾き）およびｂ_０（切片）を算出する。なお、図９において、Ｘ（ｉ）は説明変数、Ｙ（ｉ）は目的変数、Ｎはデータ総数（実施の形態１においてはＮ＝３）、ｉ＝１〜Ｎはデータ番号である。

図９に示すように、当該第１の相関分析手段６は、データ数設定ステップ（ＳＴ２６）において、演算に使用するデータの総数を設定する。次に、積和演算ステップ（ＳＴ２７）において、説明変数と目的変数を用いた積和演算を行いｋ１、ｋ２、ｋ３を算出する。そして、傾き算出ステップ（ＳＴ２８）において、ＳＴ２７で得られたｋ１、ｋ２を用いて回帰直線の傾きａ_０を算出する。さらに、切片算出ステップ（ＳＴ２９）において、ＳＴ２７で得られたｋ２、ｋ３を用いて回帰直線の切片ｂ_０の値を算出する。また、第１の相関分析手段６は、傾きａ_０および切片ｂ_０が得られると、当該傾きａ_０に対応する信号および切片ｂ_０に対応する信号を第１の補間手段８および比較手段１０に出力する。

なお、上述のようにして得られた第１の回帰直線は注目画素近傍におけるＲ色とＧ色との相関関係を表わす。そのため、注目画素における、Ｒ色の画素信号に対応する値およびＧ色の画素信号に対応する値は、当該第１の回帰直線上の値と近い値である可能性が高い。

第１の補間手段８は、第１の相関分析手段６において算出された第１の回帰直線における傾きａ_０、切片ｂ_０、およびフレームメモリ４に格納されている注目画素Ｒ（４，４）に対応する画素信号を使用して、前記式（７）に基づく下記式（８）の演算を行なうことにより、注目画素に対するＧ色の画素信号の生成に使用する第１範囲補間値ｇ_Ｚ１（４，４）を生成する（ＳＴ１３）。

ｇ_Ｚ１（４，４）＝ａ_０×Ｒ（４，４）＋ｂ_０（８）

一方、第２の相関分析手段７は、注目画素としてＲ（４，４）が選択される（ＳＴ８）と、複数の画素から構成され、前記第１の範囲２１とは異なる範囲を第２の範囲２２とする。具体的に説明すると、実施の形態１においては、図１０に示すような、注目画素から上下方向に４画素、左右方向に２画素離れた位置にあり、Ｒ色を既知色とする画素を含む範囲を第２の範囲２２とする（ＳＴ１４）。

第２の相関分析手段７は、第２の範囲２２におけるＲ色とＧ色との相関関係（第２の相関関係）を算出する。しかしながら、当該第２の範囲２２においても、第１の範囲２１と同様に、Ｇ色に対応する画素信号を何らかの方法で得る必要がある。そこで、第２の相関関係の算出に際してもローパスフィルタ手段５の出力を使用する。

第２の相関分析手段７は、第２の相関関係を算出するに際し、まず、Ｒ（０，４）、Ｒ（２，２）、Ｒ（２，６）、Ｒ（４，２）、Ｒ（４，６）、Ｒ（６，２）、Ｒ（６，６）、またはＲ（８，４）の各々に対応する画素信号をフレームメモリ４から読み出して、下記式（９）〜（１６）に示すように、当該画素信号に対応する値を第２の説明変数Ｘ_２（ｉ）（i＝１〜８）とする（ＳＴ１５）。

Ｘ_２（１）＝Ｒ（０，４）（９）
Ｘ_２（２）＝Ｒ（２，２）（１０）
Ｘ_２（３）＝Ｒ（２，６）（１１）
Ｘ_２（４）＝Ｒ（４，２）（１２）
Ｘ_２（５）＝Ｒ（４，６）（１３）
Ｘ_２（６）＝Ｒ（６，２）（１４）
Ｘ_２（７）＝Ｒ（６，６）（１５）
Ｘ_２（８）＝Ｒ（８，４）（１６）

なお、実施の形態１においては、第１の範囲２１に含まれる画素が、第２の範囲２２に含まれないように当該第２の範囲２２を設定する場合について示したが、第１の範囲２１に含まれる画素が第２の範囲２２に含まれるように第２の範囲２２を設定してもよい。

また、実施の形態１においては、第２の範囲２２に含まれるＲ色を既知色とする画素に対応する画素信号を全て使用したが、必ずしも当該第２の範囲２２における全ての画素信号を使用しなくてもよい。したがって、例えば、Ｒ（０，４）、Ｒ（２，２）、Ｒ（２，６）、Ｒ（４，２）、Ｒ（４，６）、Ｒ（６，２）、Ｒ（６，６）またはＲ（８，４）のうち、１個〜８個いずれかの画素信号を任意に選択して説明変数とするようにしてもよい。これにより、演算量を軽減することができる。ただし、第２の範囲２２に含まれる画素に対応する画素信号を全て使用する方が、相関関係の算出をより正確に行なうことができる場合が多い。

次に、第２の相関分析手段７は、第１の相関分析手段６と同様に、ローパスフィルタ手段５の出力を使用して目的変数を作成する。具体的に説明すると、ローパスフィルタ手段５においては、下記式（１７）〜（２４）に示した演算を行ない、当該第２の相関分析手段７は、当該演算の結果得られたＧ色の画素信号に対応する値を第２の目的変数Ｙ_２（ｉ）（ｉ＝１〜８）とする（ＳＴ１６）。

Ｙ_２（１）＝Ｇ（０，４）＝（Ｇ（０，３）＋Ｇ（０，５））／２（１７）
Ｙ_２（２）＝Ｇ（２，２）＝（Ｇ（２，１）＋Ｇ（２，３））／２（１８）
Ｙ_２（３）＝Ｇ（２，６）＝（Ｇ（２，５）＋Ｇ（２，７））／２（１９）
Ｙ_２（４）＝Ｇ（４，２）＝（Ｇ（４，１）＋Ｇ（４，３））／２（２０）
Ｙ_２（５）＝Ｇ（４，６）＝（Ｇ（４，５）＋Ｇ（４，７））／２（２１）
Ｙ_２（６）＝Ｇ（６，２）＝（Ｇ（６，１）＋Ｇ（６，３））／２（２２）
Ｙ_２（７）＝Ｇ（６，６）＝（Ｇ（６，５）＋Ｇ（６，７））／２（２３）
Ｙ_２（８）＝Ｇ（８，４）＝（Ｇ（８，３）＋Ｇ（８，５））／２（２４）

なお、実施の形態１においては、Ｒ（０，４）、Ｒ（２，２）、Ｒ（２，６）、Ｒ（４，２）、Ｒ（４，６）、Ｒ（６，２）、Ｒ（６，６）またはＲ（８，４）の左右方向において隣接する画素のＧ色に対応する画素信号を使用するが、Ｒ（０，４）、Ｒ（２，２）、Ｒ（２，６）、Ｒ（４，２）、Ｒ（４，６）、Ｒ（６，２）、Ｒ（６，６）またはＲ（８，４）の上下左右方向において隣接する画素のＧ色に対応する画素信号を使用してもよい。

また、Ｒ（０，４）、Ｒ（２，２）、Ｒ（２，６）、Ｒ（４，２）、Ｒ（４，６）、Ｒ（６，２）、Ｒ（６，６）またはＲ（８，４）の上下方向または左右方向のいずれの方向において、これらの画素に隣接し、Ｇ色を既知色とする画素に対応する画素信号の相関が強いかを判定し、相関が強い方向におけるＧ色の画素信号に対応する値の平均値を算出してもよい。なお、相関を判定して平均値を算出した場合、当該ローパスフィルタ手段５において演算する平均値に含まれる誤差を小さくすることができる。

第１の相関分析手段６は、式（９）〜式（２４）に示した第２の説明変数Ｘ_２および第２の目的変数Ｙ_２が得られると、当該第２の説明変数Ｘ_２および第２の目的変数Ｙ_２に基づいて回帰分析を行ない、下記式（２５）に示す第２の回帰直線を算出する（ＳＴ１７）。

Ｙ_２＝ａ_１×Ｘ_２＋ｂ_１（２５）

なお、式（２５）において、ａ_１は当該第２の回帰直線における傾きである定数、ｂ_１は、当該第２の回帰直線における切片である定数である。また、当該傾きａ_１および切片ｂ_１は、前記図９において説明した算出方法により算出する。また、当該第２の相関分析手段７は、傾きａ_１および切片ｂ_１が得られると、当該傾きａ_１に対応する信号および切片ｂ_１に対応する信号を第１の補間手段８および比較手段１０に出力する。

第１の補間手段８は、第２の相関分析手段７において算出された第２の回帰直線における傾きａ_１、切片ｂ_１、およびフレームメモリ４に格納されている注目画素Ｒ（４，４）に対応する画素信号を使用して、前記式（２５）に基づく下記式（２６）の演算を行なうことにより、注目画素に対するＧ色の画素信号の生成に使用する第２範囲補間値ｇ_Ｚ２（４，４）を生成する（ＳＴ１８）。

ｇ_Ｚ２（４，４）＝ａ_１×Ｒ（４，４）＋ｂ_１（２６）

さらに、第１の補間手段８は、第１範囲補間値ｇ_Ｚ１（４，４）、および第２範囲補間値ｇ_Ｚ２（４，４）に基づいて、第１の補間値ｇ_１（４，４）を算出する。具体的には、例えば、下記式（２７）に示すように、第１範囲補間値ｇ_Ｚ１（４，４）と第２範囲補間値ｇ_Ｚ２（４，４）との平均値を第１の補間値ｇ_１（４，４）として算出する（ＳＴ１９）。

ｇ_１（４，４）＝（ｇ_Ｚ１（４，４）＋ｇ_Ｚ２（４，４））／２（２７）

一方、第２の補間手段９は、第１の補間手段８と異なる補間方法で第２の補間値ｇ_２（４，４）を算出する。具体的には、例えば、下記式（２８）に示すように、注目画素に隣接し、Ｇ色を既知色とする画素の画素信号に対応する値を平均した値を第２の補間値ｇ_２（４，４）として算出する（ＳＴ２０）。

ｇ_２（４，４）
＝（Ｇ（３，４）＋Ｇ（４，３）＋Ｇ（４，５）＋Ｇ（５，４））／４（２８）

ここで、上述のように、第１の補間手段８においては、第１の相関分析手段６によって算出された第１の相関関係（第１の回帰直線）、または第２の相関分析手段７によって算出された第２の相関関係（第２の回帰直線）に基づいて第１範囲補間値ｇ_Ｚ１または第２範囲補間値ｇ_Ｚ２を算出するが、前記第１の相関関係または前記第２の相関関係が誤っていたために、第１範囲補間値ｇ_Ｚ１または第２範囲補間値ｇ_Ｚ２が誤っている可能性がある。

そこで、比較手段１０は、第１の相関関係および第２の相関関係を比較し、これらの相関関係の信頼性を評価する（ＳＴ２１）。そして、評価結果に対応する信号を選択手段１１に出力する。具体的には、以下のようにして相関関係の信頼性を評価する。

すなわち、前記式（７）に示した第１の回帰直線、または前記式（２５）に示した第２の回帰直線のそれぞれに任意の値を代入して得られる値を比較して、当該値の差が所定のしきい値よりも小さい場合には相関関係の信頼性が高いと評価する。例えば、前記任意の値として、注目画素Ｒ（４，４）の画素信号に対応する値（以下、第１の値ともいう。）、および当該第１の値に任意の値（実施の形態１においては５０。）を加えた第２の値を前記第１の回帰直線または第２の回帰直線に代入する。

具体的には、下記式（２９）〜式（３２）の演算を行なう。なお、下記式（２９）〜式（３２）において、Ｙ_０（１）は第１の値を第１の回帰直線に代入して得られた値、Ｙ_０（２）は第２の値を第１の回帰直線に代入して得られた値、Ｙ_１（１）は第１の値を第２の回帰直線に代入して得られた値、Ｙ_１（２）は第２の値を第２の回帰直線に代入して得られた値である。

Ｙ_０（１）＝ａ_０×Ｒ（４，４）＋ｂ_０（２９）
Ｙ_０（２）＝ａ_０×（Ｒ（４，４）＋５０）＋ｂ_０（３０）
Ｙ_１（１）＝ａ_１×Ｒ（４，４）＋ｂ_１（３１）
Ｙ_１（２）＝ａ_１×（Ｒ（４，４）＋５０）＋ｂ_１（３２）

次に、下記式（３３）および式（３４）で示すように、Ｙ_０（１）とＹ_１（１）との差の絶対値ｄｇ（１）、およびＹ_０（２）とＹ_１（２）との差の絶対値ｄｇ（２）を算出する。

ｄｇ（１）＝｜Ｙ_０（１）−Ｙ_１（１）｜（３３）
ｄｇ（２）＝｜Ｙ_０（２）−Ｙ_１（２）｜（３４）

そして、上述のようにして得られた２つの絶対値ｄｇ（１）およびｄｇ（２）が所定のしきい値よりも小さい場合には、第１の相関関係および第２の相関関係の信頼性が高いと判断する。一方、２つの絶対値ｄｇ（１）およびｄｇ（２）が所定のしきい値よりも大きい場合には、第１の相関関係および第２の相関関係の信頼性が低いと判断する。なお、前記しきい値は、当該画素信号生成装置１０１を適用する装置等に応じて任意に設定する。

なお、上述した、相関関係の信頼性の評価においては、第１の回帰直線、または第２の回帰直線に対して代入する任意の値（上述の説明においては第１の値および第２の値）を２つ以上にすることが望ましい。以下、図１１に基づいて理由を説明する。

図１１は、相関関係の評価に際して代入する値を説明するための説明図である。図１１に示すように、当該図１１における回帰直線１と回帰直線２とは全く異なる傾向にある。このような場合に各回帰直線に代入する任意の値が、回帰直線１と回帰直線２とが交差する点付近に対応する値であると、前記絶対値ｄｇの値は小さくなる。そうすると、比較手段１０は、２つの回帰直線の傾向が全く異なるにも関わらず、絶対値ｄｇの値が小さいために、２つの回帰直線の信頼性が高いと判断してしまう。

したがって、当該比較手段１０において信頼性の評価を正確に行なうため、第１の回帰直線、または第２の回帰直線に代入する任意の値を２つ以上とすることが望ましい。また、２つ以上の任意の値は、ある程度、差を持たせることが望ましい。少なくとも１つの任意の値を第１の回帰直線と第２の回帰直線２が交差する点付近から離れた値とするためである。例えば、当該任意の値を２つとし、当該撮像装置において２５６階調で色を表現する場合であれば、約１／４である５０を一方の任意の値に加えた値を他方の任意の値とすればよい。

なお、第１の回帰直線または第２の回帰直線における傾きが大きい場合であって、２つの回帰直線の傾向が異なる場合には、代入する２つ以上の任意の値の差が小さい場合でも、絶対値ｄｇの値が大きくなる。すなわち、代入する２つ以上の任意の値の差が小さくても信頼性の評価を正確に行なうことができる。よって、比較手段１０において傾きを検出し、当該傾きに応じて前記任意の値を適応的に調整するようにしてもよい。また、回帰分析により得られた回帰直線は、説明変数の範囲を大きく超えた部分において誤差が大きくなる。よって、説明変数の範囲に応じて任意の値を適応的に調整するようにしてもよい。

選択手段１１は、比較手段１０の評価結果に基づいて、第１の補間値ｇ_１または第２の補間値ｇ_２のうち、いずれか一方の補間値を選択し、当該補間値に対応する信号を、注目画素におけるＧ色に対応する画素信号ｇ（４，４）として出力する。具体的には、比較手段１０において相関関係の信頼性が高いと判断された場合には、第１の補間値ｇ_１を選択し、当該第１の補間値ｇ_１に対応する信号を注目画素におけるＧ色に対応する画素信号ｇ（４，４）としてフレームメモリ４に出力する。一方、比較手段１０において相関関係の信頼性が低いと判断された場合には、第２の補間値ｇ_２を選択し、当該第１の補間値ｇ_２に対応する信号を注目画素におけるＧ色に対応する画素信号ｇ（４，４）としてフレームメモリ４に出力する（ＳＴ２２〜ＳＴ２６）。

そして、当該画素信号生成装置１０１は、以上に説明した処理が、Ｒ色を既知色とする全ての画素に対して終了するまで当該処理を繰り返して行ない（ＳＴ２５：Ｎ）、Ｒ色を既知色とする全ての画素に対する当該処理が終了するとＳＴ１を終了する（ＳＴ２５：Ｙ）。

なお、Ｂ色の画素信号を有する画素に対してＧ色の画素信号を生成する処理（ＳＴ２）は、上述したＳＴ１においてＲ色とＢ色とを入れ替え、当該ＳＴ１と同様の処理を行なえばよい。よって、説明を省略する。

次に、Ｇ色を既知色とする画素を注目画素とし、当該注目画素に対して、不足色の１つであるＲ色の画素信号を生成する処理（ＳＴ３）について説明する。なお、当該ＳＴ３は、前記図６の手順と同様に行なうが、注目画素近傍におけるＲ、Ｇ、Ｂに対応する画素の配列が異なるため、第１の相関分析手段６における第１の範囲、および第２の相関分析手段７における第２の範囲が異なる。

以下、図１２におけるＧ（４，３）を注目画素として、不足色であるＲ色に対応する画素信号を生成する場合について説明する。

第１の相関分析手段６は、注目画素としてＧ（４，３）が選択されると、図１２に示すような注目画素近傍の範囲を第１の範囲３１とする。具体的に説明すると、注目画素から上下方向に２画素、左右方向に１画素の位置にある画素および注目画素を含む範囲を第１の範囲３１とする。

第１の相関分析手段６は、第１の範囲３１におけるＲ色とＧ色との相関関係（第１の相関関係）を算出する。この場合、当該第１の範囲３１において、Ｒ色に対応する画素信号は、Ｒ（２，２）、Ｒ（２，４）、Ｒ（４，２）、Ｒ（４，４）、Ｒ（６，２）、またはＲ（６，４）から得ることができる。また、前記ＳＴ１において、これらの画素についてＧ色に対応する画素信号が生成されていることから、Ｒ（２，２）、Ｒ（２，４）、Ｒ（４，２）、Ｒ（４，４）、Ｒ（６，２）、またはＲ（６，４）からＧ色に対応する画素信号も得ることができる。

よって、まず、第１の相関分析手段６は、フレームメモリ４からＲ（２，２）、Ｒ（２，４）、Ｒ（４，２）、Ｒ（４，４）、Ｒ（６，２）、またはＲ（６，４）に対応するＧ色の画素信号を読み出して、下記式（３５）〜式（４０）のように、当該Ｇ色の画素信号に対応する値を第１の説明変数Ｘ_１（ｉ）（ｉ＝１〜６）とする。なお、下記式（３５）〜式（４０）においては、当該Ｒ（２，２）、Ｒ（２，４）、Ｒ（４，２）、Ｒ（４，４）、Ｒ（６，２）、またはＲ（６，４）に対応するＧ色の画素信号が生成信号であることから、既知色に対応する信号と区別するため、当該生成信号を「ｇ」とした。

Ｘ_１（１）＝ｇ（２，２）（３５）
Ｘ_１（２）＝ｇ（２，４）（３６）
Ｘ_１（３）＝ｇ（４，２）（３７）
Ｘ_１（４）＝ｇ（４，４）（３８）
Ｘ_１（５）＝ｇ（６，２）（３９）
Ｘ_１（６）＝ｇ（６，４）（４０）

なお、上述の説明においては、第１の範囲３１に含まれるＲ色を既知色とする画素に対応する画素信号を全て使用したが、必ずしも当該第１の範囲３１における全ての画素信号を使用しなくてもよい。したがって、例えば、Ｒ（２，２）、Ｒ（２，４）、Ｒ（４，２）、Ｒ（４，４）、Ｒ（６，２）、またはＲ（６，４）に対応するＧ色の画素信号のうち、１個〜６個いずれかの画素信号を任意に選択して目的変数とするようにしてもよい。これにより、演算量を低減することができる。ただし、第１の範囲３１に含まれる画素に対応する画素信号を全て使用する方が、相関関係の算出をより正確に行なうことができる場合が多い。

次に、第１の相関分析手段６は、Ｒ（２，２）、Ｒ（２，４）、Ｒ（４，２）、Ｒ（４，４）、Ｒ（６，２）、またはＲ（６，４）に対応するＲ色の画素信号をフレームメモリ４から読み出して、下記式（４１）〜式（４６）のように、当該Ｒ色の画素信号に対応する値を第１の目的変数Ｙ_１（ｉ）（ｉ＝１〜６）とする。

Ｙ_１（１）＝Ｒ（２，２）（４１）
Ｙ_１（２）＝Ｒ（２，４）（４２）
Ｙ_１（３）＝Ｒ（４，２）（４３）
Ｙ_１（４）＝Ｒ（４，４）（４４）
Ｙ_１（５）＝Ｒ（６，２）（４５）
Ｙ_１（６）＝Ｒ（６，４）（４６）

そして、第１の相関分析手段６は、ＳＴ１と同様にして、第１の説明変数Ｘ_１（ｉ）および第１の目的変数Ｙ_１（ｉ）に基づいて回帰分析を行ない、第１の回帰直線を算出する。また、当該第１の回帰直線と注目画素Ｇ（４，３）の画素信号に対応する値とに基づいて第１範囲補間値ｒ_Ｚ１を算出する。

一方、第２の相関分析手段７は、注目画素としてＧ（４，３）が選択されると、図１３に示すように、第２の範囲３２を設定する。具体的に説明すると、注目画素から上下方向に４画素、左右方向に３画素の位置にある画素および注目画素を含む範囲を第２の範囲３２とする。

第２の相関分析手段７は、まず、フレームメモリ４からＲ（０，２）、Ｒ（０，４）、Ｒ（２，０）、Ｒ（２，６）、Ｒ（４，０）、Ｒ（４，６）、Ｒ（６，０）、Ｒ（６，６）、Ｒ（８，２）またはＲ（８，４）に対応するＧ色の画素信号を読み出して、下記式（４７）〜式（５６）のように、当該Ｇ色の画素信号に対応する値を第２の説明変数Ｘ_２（ｉ）（ｉ＝１〜１０）とする。

Ｘ_２（１）＝ｇ（０，２）（４７）
Ｘ_２（２）＝ｇ（０，４）（４８）
Ｘ_２（３）＝ｇ（２，０）（４９）
Ｘ_２（４）＝ｇ（２，６）（５０）
Ｘ_２（５）＝ｇ（４，０）（５１）
Ｘ_２（６）＝ｇ（４，６）（５２）
Ｘ_２（７）＝ｇ（６，０）（５３）
Ｘ_２（８）＝ｇ（６，６）（５４）
Ｘ_２（９）＝ｇ（８，２）（５５）
Ｘ_２（１０）＝ｇ（８，４）（５６）

なお、上述の説明においては、第２の範囲３２に含まれる、Ｒ（０，２）、Ｒ（０，４）、Ｒ（２，０）、Ｒ（２，６）、Ｒ（４，０）、Ｒ（４，６）、Ｒ（６，０）、Ｒ（６，６）、Ｒ（８，２）またはＲ（８，４）に対応するＧ色の画素に対応する画素信号を全て使用したが、必ずしも当該画素信号の全てを使用しなくてもよい。したがって、例えば、Ｒ（０，２）、Ｒ（０，４）、Ｒ（２，０）、Ｒ（２，６）、Ｒ（４，０）、Ｒ（４，６）、Ｒ（６，０）、Ｒ（６，６）、Ｒ（８，２）またはＲ（８，４）に対応するＧ色の画素信号のうち、１個〜１０個いずれかの画素信号を任意に選択して目的変数とするようにしてもよい。ただし、第２の範囲３２に含まれる画素に対応する画素信号を全て使用する方が、相関関係の算出をより正確に行なうことができる場合が多い。

次に、第２の相関分析手段７は、Ｒ（０，２）、Ｒ（０，４）、Ｒ（２，０）、Ｒ（２，６）、Ｒ（４，０）、Ｒ（４，６）、Ｒ（６，０）、Ｒ（６，６）、Ｒ（８，２）またはＲ（８，４）に対応するＲ色の画素信号をフレームメモリ４から読み出して、下記式（５７）〜式（６６）のように、当該Ｒ色の画素信号に対応する値を第２の目的変数Ｙ_２（ｉ）（ｉ＝１〜１０）とする。

Ｙ_２（１）＝Ｒ（０，２）（５７）
Ｙ_２（２）＝Ｒ（０，４）（５８）
Ｙ_２（３）＝Ｒ（２，０）（５９）
Ｙ_２（４）＝Ｒ（２，６）（６０）
Ｙ_２（５）＝Ｒ（４，０）（６１）
Ｙ_２（６）＝Ｒ（４，６）（６２）
Ｙ_２（７）＝Ｒ（６，０）（６３）
Ｙ_２（８）＝Ｒ（６，６）（６４）
Ｙ_２（９）＝Ｒ（８，２）（６５）
Ｙ_２（１０）＝Ｒ（８，４）（６６）

そして、第２の相関分析手段７は、ＳＴ１と同様にして、第２の説明変数Ｘ_２（ｉ）および第２の目的変数Ｙ_２（ｉ）に基づいて回帰分析を行ない、第２の回帰直線を算出する。また、当該第２の回帰直線と注目画素Ｇ（４，３）の画素信号に対応する値とに基づいて第２範囲補間値ｒ_Ｚ２を算出する。

上述のようにして、第１の回帰直線および第２の回帰直線が得られると、当該画素信号生成装置１０１は、ＳＴ１と同様にして、Ｇ画素を既知色とする各画素に対して不足色であるＲ色に対応する画素信号を生成し、生成した画素信号をフレームメモリ４に出力する。

そして、当該画素信号生成装置１０１は、以上に説明した処理が、Ｇ色を既知色とする全ての画素に対して終了するまで当該処理を繰り返し行ない、当該Ｇ色を既知色とする全ての画素に対する当該処理が終了するとＳＴ３の処理を終了する。

なお、ＳＴ４においては、上述したＳＴ３の処理においてＲ色とＢ色とを入れ替え、当該ＳＴ３と同様の処理を行なえばよい。また、ＳＴ５およびＳＴ６においても、ＳＴ１，２，３または４と同様にして不足色に対応する画素信号を生成すればよい。

前記６つの処理（ＳＴ１〜ＳＴ６）が全て終了すると、一画面上の全ての画素における不足色に対応する画素信号が得られる。すなわち、全ての画素についてＲ信号、Ｇ信号およびＢ信号が得られる。そして、全ての不足色に対応する画素信号が得られると、図示しない制御手段が、フレームメモリ４に格納されているＲ信号、Ｇ信号およびＢ信号を当該撮像素子に接続された機器等に対して出力させる。

ここで、各相関分析手段において得られる相関関係と、当該撮像装置によって得られる画像との関係について具体的に説明する。図１４は、補間対象画像（撮像装置によって得られる画像）を模式的に示した模式図である。また、図１５は、図１４に示した補間対象画像において得られる回帰直線を模式的に示した模式図である。なお、以下、図１４（ａ）に示した背景色Ａと色Ｂの２つの色で変化している部分、および図１４（ｂ）に示した３色以上の色が複雑に入り混じっている部分を用いて説明する。

図１４（ａ）において、第１の範囲を小さい四角で囲まれた範囲とし、第２の範囲を小さい四角と大きい四角との間の範囲とすると、第１の範囲において算出される第１の回帰直線と、第２の範囲において算出される第２の回帰直線とは、図１５（ａ）に示すように、似たような傾向となる。

これは、注目画素の周辺において画像が２色で変化している場合、注目画素近傍の領域における色の相関関係を示す回帰直線は、常に、ＲＧＢ色空間上の背景色Ａと色Ｂとを結ぶ直線となるためである。上述のように、画像が２つの色で変化している部分においては、相関の算出に使用する画素信号を変えても、似たような傾向の回帰直線を安定して得ることができる。

一方、図１４（ｂ）で示すように、３色以上の色が混在する部分、または色が細かく変化している部分においては、図１５（ｂ）に示すように、相関関係の算出に使用する画素信号によって回帰直線の傾向が大きく変わる。したがって、このような場合には、注目画素近傍における色の相関関係を示す回帰直線を正確に算出することができない。

以上の説明のように、相関関係を算出するために選択する画素信号を変えても、似たような傾向の回帰直線が得られるということは、注目画素近傍における複数の色の間に一定の相関関係がある範囲が広がっていることを示す。したがって、このような範囲においては、算出される回帰直線の信頼性が高い。

以下、当該画素信号生成装置１０１において行なう補間処理を具体的な数値を用いて説明する。図１６は、画素信号に対応する値を模式的に示した模式図である。なお、図１６においてＲ、Ｇ、Ｂは、各画素における既知色を示し、数値は各画素の画素信号に対応する値（信号レベル）を示す。

また、以下、図１６における破線部分に色の境界が存在するような場合を例にして、従来の画素信号生成装置による補間の結果と、実施の形態１の画素信号生成装置１０１による補間の結果とを比較して説明する。また、以下、図１６に示した場合において、中央に位置する注目画素（Ｒ＝３２の画素）に対し、Ｇ色の画素信号を生成する場合について説明する。また、以下の説明においては、第１の範囲および第２の範囲を、上述したＳＴ１と同様に設定した。すなわち、図１６における４１を第１の範囲とし、当該第１の範囲４１を囲むように形成され、当該第１の範囲における画素を含まない４２に示した範囲を第２の範囲とした。

上述したＳＴ１の手順に従って、第１の回帰直線および第２の回帰直線を算出すると図１７のような傾向となる。図１７は、図１６に示した場合における第１の回帰直線および第２の回帰直線を説明するための説明図である。なお、図１７において、破線は第１の回帰直線、実線は第２の回帰直線である。また、図１７において、黒丸は第１の範囲における画素の画素信号に対応する値を示し、黒三角は第２の範囲における画素の画素信号に対応する値を示す。図１７に示すように、図１６に示した例の場合には、第１の回帰直線と第２の回帰直線とは似たような傾向となる。

なお、図１６の場合において、前記ＳＴ１において説明した手順によって第１の回帰直線を算出すると、当該第１の回帰直線の傾きは０．４５５１、切片は９８．３０２となる。一方、第２の回帰直線の傾きは０．５５２８、切片は８８．８３５となる。

次に、算出された傾き、切片および注目画素の画素信号に対応する値（Ｒ＝３２）に基づいて、第１範囲補間値ｇ_Ｚ１を下記式（６７）、第２範囲補間値ｇ_Ｚ２を下記式（６８）によって算出し、両補間値に基づいて第１の補間値ｇ_１を下記式（６９）によって算出する。

ｇ_Ｚ１＝０．４５５１×３２＋９８．３０２≒１１３（６７）

ｇ_Ｚ２＝０．５５２８×３２＋８８．８３５≒１０６（６８）

ｇ_１＝（１１３＋１０６）／２≒１１０（６９）

図１６に示した例の場合、上述のように、第１の回帰直線と第２の回帰直線とは似たような傾向にあるため、比較手段１０においては当該回帰直線の信頼性が高いと評価される。よって、注目画素における不足色であるＧ色の画素信号は第１の補間値ｇ_１に対応する信号となる。

図１８は、従来の画素信号生成装置による補間の結果と、実施の形態１の画素信号生成装置１０１による補間の結果とを説明するための説明図である。なお、図１８において、横軸は図１６の５行目の各画素の位置を示しており、画素位置１は図１６におけるＲ＝４２の画素、画素位置２は図１６におけるＧ＝１１５の画素、画素位置３は図１６におけるＲ＝３２の画素（注目画素）、画素位置４は図１６におけるＧ＝１１７の画素、画素位置５は図１６におけるＲ＝１１９の画素を示す。

また、図１８において黒い四角はＧ色の画素信号の信号レベル、黒いひし形はＲ色の画素信号の信号レベル、白い四角は従来の画素信号生成装置による補間の結果得られるＧ色の画素信号の信号レベル、黒い星は実施の形態１の画素信号生成装置１０１による補間の結果得られるＧ色の画素信号の信号レベルをそれぞれ示す。また、Ｇ色の画素信号の信号レベルを結ぶ曲線およびＲ色の画素信号の信号レベルを結ぶ曲線は、各色の画素信号の信号レベルの変化を示す信号変化曲線である。

図１８に示すように、従来の画素信号生成装置によって得られるＧ色の画素信号に対応する信号レベルは、Ｇ色に対応する信号変化曲線から外れ、信号レベルが小さい。したがって、従来の画素信号生成装置によって画素信号の生成を行なった場合、当該注目画素において黒ずみが発生する。

一方、実施の形態１における画素信号生成装置１０１による補間の結果得られるＧ色の画素信号の信号レベルは、Ｇ色に対応する信号変化曲線に非所に近い信号レベルとなる。したがって、実施の形態１の画素信号生成装置１０１によって画素信号の生成を行なった場合には、当該注目画素において黒ずみは発生せず、良好な画質を得ることができる。

以上の説明のように、実施の形態１における画素信号生成装置１０１によれば、注目画素近傍における色の相関関係を表わす回帰直線に基づいて不足色に対応する画素信号の生成を行なうことができる。したがって、色の境界付近での黒ずみや白抜けなどの画像劣化を防止することができる。

また、２つの回帰直線を比較して相関関係の信頼性を評価することで、誤って算出された相関関係に基づく不足色に対応する画素信号の生成を防止することができる。

また、注目画素近傍の領域内の色の相関関係を示す回帰直線に基づいて不足色に対応する画素信号を生成するため、注目画素が色の境界付近にある場合においても当該境界部分にある、値が大きくなる画素に対応する画素信号の影響を少なくすることができる。また、相関関係を数式で表わすため、種々の画像における相関関係を定量的かつ容易に算出することができる。

なお、実施の形態１における画素信号生成装置１０１は、特に、色の境界部分において、従来の画素信号生成装置よりも良好に不足色に対応する画素信号の生成を行なうことができる。

実施の形態２．
実施の形態２における画素信号生成装置は、比較手段１０で行なう比較方法以外については実施の形態１における画素信号生成装置１０１と同様であるので当該比較方法以外については説明を省略する。

実施の形態２における画素信号生成装置における比較手段１０は、以下のようにして第１の回帰直線と第２の回帰直線との比較を行なう。すなわち、各回帰直線における傾き、および切片を比較して、傾きの差、および切片の差を算出し、当該差に基づいて回帰直線の信頼性を評価する。

具体的には、下記式（７０）および式（７１）の演算を行なって第１の回帰直線の傾きａ_０と第２の回帰直線の傾きａ_１との差の絶対値ｄａ、および第１の回帰直線における切片ｂ_０と第２の回帰直線における切片ｂ_１との差の絶対値ｄｂを算出する。

ｄａ＝｜ａ_０−ａ_１｜（７０）
ｄｂ＝｜ｂ_０−ｂ_１｜（７１）

そして、絶対値ｄａおよび絶対値ｄｂが所定のしきい値より小さい場合には第１の回帰直線および第２の回帰直線の信頼性が高いと判断する。一方、絶対値ｄａおよび絶対値ｄｂが所定のしきい値より大きい場合には第１の回帰直線および第２の回帰直線の信頼性が低いと判断する。

以上の説明のように、実施の形態２における画素信号生成装置によれば、第１の回帰直線および第２の回帰直線の傾きまたは切片を比較することによって、簡易に相関関係の信頼性を評価することができる。

なお、実施の形態１および２においては、色フィルタがＲ、Ｇ、Ｂの３色の場合について説明したが、当該色フィルタは３色でなくてもよく、３色以下でもよいし３色以上でもよい。また、当該色フィルタは、Ｒ、Ｇ、Ｂ以外の色でもよい。

例えばＣ（Ｃｙａｎ）、Ｍ（Ｍａｇｅｎｔａ）、Ｙ（Ｙｅｌｌｏｗ）からなる補色フィルタを使用してもよい。なお、補色フィルタを使用した場合には、フレームメモリ４において各画素における不足色に対応する画素信号が全て得られた後に、当該フレームメモリ４に記憶された画素信号に基づいて所定の演算を行なうことによりＲ信号、Ｇ信号およびＢ信号を得る必要がある。

また、実施の形態１または２において説明した画素信号生成装置は、映像もしくは静止画を撮像するビデオカメラ、カメラ一体型ＶＴＲ、デジタルスチルカメラ、ＰＣカメラ、携帯電話もしくは携帯端末機（例えば、ＰＤＡ：ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔｓ）に内臓されるデジタルスチルカメラ等に適用することができる。

この発明の実施の形態１における画素信号処理装置を備える撮像装置の構成を示すブロック図である。ベイヤ型に配置されたＲ、Ｇ、Ｂの３原色の色フィルタを示す説明図である。ベイヤ型配列における色フィルタの位置を説明するための説明図である。実施の形態１の画素信号処理装置における補間手順を示すフローチャートである。二次元撮像装置２の出力をＡ／Ｄ変換することにより得られる画素信号を当該二次元撮像装置２の画素位置に対応付けて模式的に示した模式図である。実施の形態１の画素信号処理装置において、Ｒ色を既知色とする画素に対してＧ色の画素信号を生成する手順を示すフローチャートである。第１の相関分析手段において、既知色と不足色との相関関係を算出するための第１の範囲を説明するための説明図である。第１の回帰直線を説明するための模式図である。回帰直線の傾きと切片の算出方法を説明するためのフローチャートである。第２の相関分析手段において、既知色と不足色との相関関係を算出するための第２の範囲を説明するための説明図である。相関関係の評価に際して代入する値を説明するための説明図である。第１の相関分析手段において、既知色と不足色との相関関係を算出するための第１の範囲を説明するための説明図である。第２の相関分析手段において、既知色と不足色との相関関係を算出するための第２の範囲を説明するための説明図である。補間対象画像を模式的に示した模式図である。図１４に示した補間対象画像において得られる回帰直線を模式的に示した模式図である。画素信号に対応する値の具体例を模式的に示した模式図である。図１６に示した例の場合における、第１の回帰直線および第２の回帰直線を説明するための説明図である。従来の画素信号処理装置による補間の結果と、実施の形態１の画素信号処理装置による補間の結果とを説明するための説明図である。

符号の説明

１レンズ、２ニ次元撮像素子、３Ａ／Ｄ変換器、４フレームメモリ、５ローパスフィルタ手段、６第１の相関分析手段、７第２の相関分析手段、８第１の補間手段、９第２の補間手段、１０比較手段、１１選択手段。

Claims

複数の色の各色に対応して設けられる１の画素に対して、当該１の画素に対応する１の色と異なる色に対応する画素信号を生成する画素信号生成装置であって、
複数の画素で構成される第１の範囲において、前記１の色と前記異なる色との相関関係を分析する第１の相関分析手段と、
複数の画素で構成され、前記第１の範囲とは異なる範囲である第２の範囲において、前記１の色と前記異なる色との相関関係を分析する第２の相関分析手段と、
前記第１の範囲に対応する相関関係、前記第２の範囲に対応する相関関係および前記１の色に対応する画素信号に基づいて、第１の画素信号を生成する第１の画素信号生成手段と、
前記１の画素近傍に配置された画素が有する画素信号のうち、前記１の色と同一の色に対応する画素信号に基づいて、第２の画素信号を生成する第２の画素信号生成手段と、
前記第１の範囲における相関関係と前記第２の範囲における相関関係が同じような傾向にあるか否かにより、当該第１の範囲における相関関係および第２の範囲における相関関係の信頼性を評価する比較手段と、
該比較手段における評価の結果に応じて、前記第１の画素信号または前記第２の画素信号のいずれかの画素信号を前記異なる色に対応する画素信号として選択する選択手段とを備える画素信号生成装置。
前記第１の相関分析手段は、前記第１の範囲に含まれる画素の画素信号のうち、前記１の色と同一の色に対応する画素信号、および前記異なる色と同一の色に対応する画素信号に基づいて得られる第１の回帰直線を前記相関関係として算出し、
前記第２の相関分析手段は、前記第２の範囲に含まれる画素の画素信号のうち、前記１の色と同一の色に対応する画素信号、および前記異なる色と同一の色に対応する画素信号に基づいて得られる第２の回帰直線を前記相関関係として算出し、
前記第１の画素信号生成手段は、前記第１の回帰直線に前記１の色の画素信号に対応する値を代入して得られる第１の補間値、および前記第２の回帰直線に前記１の色の画素信号に対応する値を代入して得られる第２の補間値に基づいて、前記異なる色に対応する画素信号を生成するように構成されてなる請求項１に記載の画素信号生成装置。
前記第１の相関分析手段は、前記第１の範囲に含まれる画素の画素信号のうち、前記１の色と同一の色に対応する画素信号の値を説明変数とし、前記異なる色と同一の色に対応する画素信号の値を目的変数として前記第１の回帰直線を算出し、
前記第２の相関分析手段は、前記第２の範囲に含まれる画素の画素信号のうち、前記１の色と同一の色に対応する画素信号の値を説明変数とし、前記異なる色と同一の色に対応する画素信号の値を目的変数として前記第２の回帰直線を算出するように構成されてなる請求項２に記載の画素信号生成装置。
前記比較手段は、前記第１の回帰直線と前記第２の回帰直線とを比較して、前記信頼性を評価するように構成されてなる請求項２または３に記載の画素信号生成装置。
前記比較手段は、前記第１の回帰直線に所定の値を代入して得られる第１の値と、前記第２の回帰直線に所定の値を代入して得られる第２の値との差分の絶対値と所定のしきい値とを比較して、
前記絶対値が前記所定のしきい値よりも小さい場合には、前記信頼性が高いと評価し、
前記絶対値が前記所定のしきい値よりも大きい場合には、前記信頼性が低いと評価するように構成されてなる請求項４に記載の画素信号生成装置。
前記比較手段は、前記第１の回帰直線における第１の傾きおよび第１の切片と、前記第２の回帰直線における第２の傾きおよび第２の切片とを比較して、前記信頼性を評価するように構成されてなる請求項４に記載の画素信号生成装置。
前記比較手段は、前記第１の傾きと前記第２の傾きとの差分の絶対値である第１の絶対値、および前記第１の切片と前記第２の切片との差分の絶対値である第２の絶対値と所定のしきい値とを比較して、
前記第１の絶対値および前記第２の絶対値が前記所定のしきい値よりも小さい場合には、前記信頼性が高いと評価し、
前記第１の絶対値および前記第２の絶対値が前記所定のしきい値よりも大きい場合には、前記信頼性が低いと評価するように構成されてなる請求項６に記載の画素信号生成装置。
請求項１ないし７のいずれかに記載の画素信号生成装置を備える撮像装置。
複数の色の各色に対応して設けられる１の画素に対して、当該１の画素に対応する１の色と異なる色に対応する画素信号を生成する画素信号生成方法であって、
複数の画素で構成される第１の範囲において、前記１の色と前記異なる色との相関関係を分析し、
複数の画素で構成され、前記第１の範囲とは異なる範囲である第２の範囲において、前記１の色と前記異なる色との相関関係を分析し、
前記第１の範囲に対応する相関関係、前記第２の範囲に対応する相関関係および前記１の色に対応する画素信号に基づいて、第１の画素信号を生成し、
前記１の画素近傍に配置された画素が有する画素信号のうち、前記１の色と同一の色に対応する画素信号に基づいて、第２の画素信号を生成し、
前記第１の範囲における相関関係と前記第２の範囲における相関関係が同じような傾向にあるか否かにより、当該第１の範囲における相関関係および第２の範囲における相関関係の信頼性を評価し、
該評価の結果に応じて、前記第１の画素信号または前記第２の画素信号のいずれかの画素信号を前記異なる色に対応する画素信号として選択することを含む画素信号生成方法。