JP5109911B2 - 撮像装置および補間処理方法 - Google Patents

Description

本発明は、ＣＣＤ（Charge Coupled Device），ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を用いた撮像装置、およびこれに用いる補間処理方法に関する。

デジタルカメラやデジタルビデオカメラ等の撮像装置で用いられているＣＣＤやＣＭＯＳ等の撮像素子からは、一般に、光の明るさに関する信号のみが出力される。そこで、撮像素子が１つである単板式カメラでは、色情報を得るために、撮像素子の１画素ごとに１つの色成分のみを通過させる色フィルタが撮像素子の前に被せられ、動作時に各画素に対応する色成分を出力するように構成されている。

色フィルタの各色成分の配列にはいくつかの種類が提案されているが、一般的には、撮像素子には、いわゆるベイヤ配列のフィルタが設けられている。ベイヤ配列のフィルタにおいては、一般に、Ｒ（赤色）、Ｇ（緑色）、およびＢ（青色）の３色のフィルタが、図７に示すように格子状に配置されている。図７においては、Ｇのフィルタが市松状に配列され、ＲおよびＢのフィルタがライン内では同一で、ライン間では交互となるように配列されている。

このようなフィルタを有する撮像素子の出力信号からは、１画素につきＲＧＢのいずれか１色の信号しか得ることができない。そこで、ＲＧＢすべての色の信号を得るために、各画素において周辺画素の信号を用いて他の２色の信号を得る補間処理が行われている。

最も簡単な補間処理の方法としては、補間対象の色ごとに２次元のローパスフィルタ（ＬＰＦ）処理を行う方法がある。しかし、一義的にＬＰＦ処理を行っただけでは、補間後の画像の空間周波数特性には高周波成分が少なく、ぼやけた画像になってしまうことがある。

そこで、補間対象画素周辺の画像の相関性を判断し、その結果によってＬＰＦ処理を変化させる補間処理方法が提案されている（例えば、特許文献１参照）。

特許文献１に記載の補間処理方法について説明する。ここで、各画素の位置および各画素における信号レベルは、Ｒ，Ｇ，Ｂ等の色を示す記号と、「１１」、「２２」、「３３」等の画素位置を示す記号との連結により表記される。図７に示すようなフィルタを有する撮像素子から出力される信号は、各画素の位置と対応付けて、図８のように表記される。また、図８に示される各信号に基づいて算出される補間値は、ｒ，ｇ，ｂ等の色を示す記号と、「１１」、「２２」、「３３」等の画素位置を示す記号との連結により表記される。例えば、Ｒ３３画素におけるＧを補間するための補間値は、ｇ３３と表記される。以下、ｇ３３を算出する手順について説明する。

図９は、特許文献１に記載の補間処理方法を実行する補間処理装置の構成を示すブロック図である。図９において、水平補間部１は、補間対象画素Ｒ３３において水平方向の相関性が強いときに好適な水平補間値ＶＡＬ_Ｈを以下の（数式１）によって算出し、算出した水平補間値ＶＡＬ_Ｈを加重平均部４に出力する。

ＶＡＬ_Ｈ＝（Ｇ３２＋Ｇ３４）／２ ・・・（数式１）
垂直補間部２は、補間対象画素Ｒ３３において垂直方向の相関性が強いときに好適な垂直補間値ＶＡＬ_Ｖを以下の（数式２）によって算出し、算出した垂直補間値ＶＡＬ_Ｖを加重平均部４に出力する。

ＶＡＬ_Ｖ＝（Ｇ２３＋Ｇ４３）／２ ・・・（数式２）
ＨＶ相関検出部３は、以下の（数式３）、（数式４）により、水平軸における信号レベルの変化量Ｄｉｆ_Ｈと、垂直軸における信号レベルの変化量Ｄｉｆ_Ｖとを算出する。これにより、補間対象画素Ｒ３３の近傍において、水平軸、垂直軸のそれぞれの相関性が判断される。

Ｄｉｆ_Ｈ＝｜Ｇ３２−Ｇ３４｜ ・・・（数式３）
Ｄｉｆ_Ｖ＝｜Ｇ２３−Ｇ４３｜ ・・・（数式４）
ここで、Ｄｉｆ_Ｈ＜Ｄｉｆ_Ｖであれば垂直方向よりも水平方向の相関性が強いと判断され、Ｄｉｆ_Ｈ＞Ｄｉｆ_Ｖであれば水平方向よりも垂直方向の相関性が強いと判断される。

さらに、ＨＶ相関検出部３は、水平方向の相関性と垂直方向の相関性とを示す係数であるＨＶ相関係数Ｋ_ＨＶを以下の（数式５）により算出し、算出したＨＶ相関係数Ｋ_ＨＶを加重平均部４に出力する。

Ｋ_ＨＶ＝（Ｄｉｆ_Ｈ−Ｄｉｆ_Ｖ）／（２×Ｔｈ_ＨＶ）＋０.５ ・・・（数式５）
ここで、ＨＶ相関閾値Ｔｈ_ＨＶは、予め設定される所定の閾値であり、
（Ｄｉｆ_Ｈ−Ｄｉｆ_Ｖ）＜−Ｔｈ_ＨＶの場合は、Ｋ_ＨＶ＝０
（Ｄｉｆ_Ｈ−Ｄｉｆ_Ｖ）＞Ｔｈ_ＨＶの場合は、Ｋ_ＨＶ＝１
とする。

このように算出することにより、Ｄｉｆ_ＨとＤｉｆ_Ｖとの差分に対するＨＶ相関係数Ｋ_ＨＶの値は、図１０のグラフで示される。

図１０に示すように、ＨＶ相関係数Ｋ_ＨＶは、水平方向の相関性が強いほどその値が小さく、−Ｔｈ_ＨＶより（Ｄｉｆ_Ｈ−Ｄｉｆ_Ｖ）が小さいときには、ＨＶ相関係数Ｋ_ＨＶは０となる。また、ＨＶ相関係数Ｋ_ＨＶは、垂直方向の相関性が強いほどその値が大きく、Ｔｈ_ＨＶより（Ｄｉｆ_Ｈ−Ｄｉｆ_Ｖ）が大きいときには、ＨＶ相関係数Ｋ_ＨＶは１となる。

加重平均部４は、水平補間部１で算出した水平補間値ＶＡＬ_Ｈ、垂直補間部２で算出した垂直補間値ＶＡＬ_Ｖ、およびＨＶ相関検出部３で算出したＨＶ相関係数Ｋ_ＨＶから、補間対象画素Ｒ３３におけるＧ色補間値ｇ３３を、以下の（数式６）により算出する。

ｇ３３＝（１−Ｋ_ＨＶ）×ＶＡＬ_Ｈ＋Ｋ_ＨＶ×ＶＡＬ_Ｖ ・・・（数式６）
これにより、補間対象画素Ｒ３３近傍での水平方向の相関性が強ければ、水平方向にのみＬＰＦ処理された補間値である水平補間値ＶＡＬ_ＨがＧ色補間値ｇ３３として算出される。逆に、垂直方向の相関性が強ければ、垂直方向にのみＬＰＦ処理された補間値である垂直補間値ＶＡＬ_ＶがＧ色補間値ｇ３３として算出される。水平方向の相関性と垂直方向の相関性が中間的であれば、その度合いに応じた加重平均結果がＧ色補間値ｇ３３として算出される。

このように、特許文献１に記載の従来の補間処理方法では、水平方向に隣接する左右２画素の平均値と、垂直方向に隣接する上下２画素の平均値とに基づいて、補間対象画素のＧ色補間値を算出する。これにより、単純な２次元のＬＰＦ処理に比べて、高周波成分を増加させることができる。

ここで、図１１を参照して、上述した従来の補間処理方法による補間例を説明する。従来の補間処理方法においては、（数式１）に示したように、水平方向の相関性が強い場合に適した水平補間値ＶＡＬ_Ｈは、水平方向に隣接した左右２画素（Ｇ３２，Ｇ３４）の平均値である。水平補間値ＶＡＬ_Ｈは、図１１の点Ｐに相当する。一方、（数式２）に示したように、垂直方向の相関性が強い場合に適した垂直補間値ＶＡＬ_Ｖは、垂直方向に隣接した上下２画素（Ｇ２３，Ｇ４３）の平均値である。垂直補間値ＶＡＬ_Ｖは、図１１の点Ｑに相当する。そして、水平方向および垂直方向の相関性の度合いに応じ、水平補間値ＶＡＬ_Ｈと垂直補間値ＶＡＬ_Ｖとの加重平均をＧ色補間値として算出している。

点Ｐ，Ｑを結ぶ線分の中点ＳにＧ色補間値が固定されるような単純な２次元ＬＰＦ処理に比べると、上述の補間処理方法においては、点Ｐ，Ｑの２点間のいずれかの値をとることができるため、Ｇ色補間値の取り得る範囲が広くなる。これにより、補間対象画素と隣接画素との信号レベル差が大きくなるので、補間処理後の画像に高周波成分が増加し、実際の入力画像に近い信号を出力することが期待できる。
特開２００１−３２０７２０号公報

しかしながら、上述した従来の補間処理方法では、入力画像に高周波成分が多く含まれる場合には、補間処理後の画像の高周波成分は未だ不足していた。

具体的な数値例で説明する。図１２に、各画素の入力画素信号の信号レベルを示す。図１２における信号の色配列は、図８と同様であり、各画素の位置を示す「Ｒ１１」、「Ｇ１２」、「Ｒ１３」等の記号の下の数値が、各画素の信号レベルを示している。

図１２は、Ｒ３３画素を通って右斜め下方向に信号レベルの高い線状の画像がある状態を示している。（数式１）、（数式２）により、水平補間値ＶＡＬ_Ｈ、垂直補間値ＶＡＬ_Ｖをそれぞれ求めると、以下のようになる。

ＶＡＬ_Ｈ＝（Ｇ３２＋Ｇ３４）／２＝１００
ＶＡＬ_Ｖ＝（Ｇ２３＋Ｇ４３）／２＝９９
次に、水平軸における信号レベルの変化量Ｄｉｆ_Ｈ、および垂直軸における信号レベルの変化量Ｄｉｆ_Ｖは、（数式３）、（数式４）により、以下のように算出される。

Ｄｉｆ_Ｈ＝｜Ｇ３２−Ｇ３４｜＝１００
Ｄｉｆ_Ｖ＝｜Ｇ２３−Ｇ４３｜＝１０２
ここで、ＨＶ相関閾値Ｔｈ_ＨＶ＝１００とすれば、ＨＶ相関係数Ｋ_ＨＶは、（数式５）より、以下のように算出される。

Ｋ_ＨＶ＝（Ｄｉｆ_Ｈ−Ｄｉｆ_Ｖ）／（２×Ｔｈ_ＨＶ）＋０.５＝０.４９
この結果、Ｒ３３画素におけるＧ色補間値ｇ３３は、（数式６）により、以下のように算出される。

ｇ３３＝（１−Ｋ_ＨＶ）×ＶＡＬ_Ｈ＋Ｋ_ＨＶ×ＶＡＬ_Ｖ＝９９.５１
ここで、図１２で示した画像においては、Ｒ３３画素を通る斜め右下方向に並んだＲおよびＢの画素は、フィルタの色に関わらず、すべて信号レベルが１５０である。また、Ｒ３３画素の１画素上のＧ２３画素を通る斜め右下方向に並んだＧの画素も、すべて信号レベルが１５０ある。このことから、この部分は、信号レベル１５０の無彩色の明るい２画素幅の斜め線の画像である確率が高い。

したがって、Ｒ３３画素におけるＧ色補間値ｇ３３も、信号レベルが１５０に近いことが望ましいと考えられる。しかし、従来の補間処理方法では、上記演算結果で示したように、Ｇ色補間値ｇ３３が９９.５１と算出される。

図１２で示した信号が斜め右下方向に連続的に続いた場合、同様にＲ１１，Ｂ２２，Ｂ４４，Ｒ５５画素についても、Ｇ色補間値ｇ１１，ｇ２２，ｇ４４，ｇ５５はいずれも９９.５１となる。このため、補間処理後の画像は、斜め線の下側だけＧが暗いエッジの鈍い画像となってしまう。したがって、この補間処理後の画像は、高周波成分の少ないぼやけた画像となってしまう。また、Ｒ３３画素の信号レベルが１５０であるのに対し、Ｇ色補間値ｇ３３の信号レベルが９９.５１となることから、このＲ３３画素は無彩色とならずに赤い色がつき、被写体の色を正確に再現した画像にならない。

本発明は上記に鑑みてなされたもので、高周波成分が多く含まれて解像感が高く、かつ色再現性の良好な画像を得ることができる撮像装置、およびこれに用いる補間処理方法を提供することを目的とする。

上記目的を達成するため、本発明の撮像装置は、緑色（Ｇ）のフィルタが市松状に配列されるとともに、赤色（Ｒ）のフィルタおよび青色（Ｂ）のフィルタがライン内では同一でライン間では交互となるように配列されている画素群を有する撮像素子と、前記撮像素子から出力される信号に基づいて、前記画素群のうちの前記Ｂのフィルタまたは前記Ｒのフィルタに対応する補間対象画素のＧを補間するためのＧ色補間値を算出する補間処理部とを備え、前記補間処理部は、前記補間対象画素の信号値と、前記補間対象画素と同色の画素であって、前記補間対象画素を中心として水平方向に対称な位置にある少なくとも一対の画素の信号値と、予め設定された水平相関閾値とに基づいて、前記補間対象画素における水平方向の両側に対する相関性の強さを示す水平相関係数を算出する水平相関検出部と、前記水平相関係数と、前記補間対象画素の信号値と、前記補間対象画素と同色の画素であって、前記補間対象画素を中心として水平方向に対称な位置にある少なくとも一対の画素の信号値と、前記補間対象画素の水平方向の両側に隣接する一対の画素の信号値とに基づいて、前記補間対象画素に対する水平方向における補間値である水平補間値を算出する水平補間部と、前記補間対象画素の信号値と、前記補間対象画素と同色の画素であって、前記補間対象画素を中心として垂直方向に対称な位置にある少なくとも一対の画素の信号値と、予め設定された垂直相関閾値とに基づいて、前記補間対象画素における垂直方向の両側に対する相関性の強さを示す垂直相関係数を算出する垂直相関検出部と、前記垂直相関係数と、前記補間対象画素の信号値と、前記補間対象画素と同色の画素であって、前記補間対象画素を中心として垂直方向に対称な位置にある少なくとも一対の画素の信号値と、前記補間対象画素の垂直方向の両側に隣接する一対の画素の信号値とに基づいて、前記補間対象画素に対する垂直方向における補間値である垂直補間値を算出する垂直補間部と、前記補間対象画素の水平方向の両側に隣接する一対の画素の信号値と、前記補間対象画素の垂直方向の両側に隣接する一対の画素の信号値と、予め設定されたＨＶ相関閾値とに基づいて、前記補間対象画素における水平方向および垂直方向に対する相関性の強さを連続的に示すＨＶ相関係数を算出するＨＶ相関検出部と、前記水平補間値と前記垂直補間値とを前記ＨＶ相関係数を用いて加重平均することにより、前記Ｇ色補間値を算出する加重平均部とを備えることを特徴とする。

本発明の撮像装置における前記水平補間部は、前記補間対象画素の水平方向の一方側に隣接する画素の信号値に、前記補間対象画素と同色で前記補間対象画素の水平方向の一方側に位置する画素の信号値に対する前記補間対象画素の信号値の変化分を加算した値である第１の補間期待値を算出するとともに、前記補間対象画素の水平方向の他方側に隣接する画素の信号値に、前記補間対象画素と同色で前記補間対象画素の水平方向の他方側に位置する画素の信号値に対する前記補間対象画素の信号値の変化分を加算した値である第２の補間期待値を算出し、前記第１の補間期待値と前記第２の補間期待値とを前記水平相関係数を用いて加重平均することにより、前記水平補間値を算出し、前記垂直補間部は、前記補間対象画素の垂直方向の一方側に隣接する画素の信号値に、前記補間対象画素と同色で前記補間対象画素の垂直方向の一方側に位置する画素の信号値に対する前記補間対象画素の信号値の変化分を加算した値である第３の補間期待値を算出するとともに、前記補間対象画素の垂直方向の他方側に隣接する画素の信号値に、前記補間対象画素と同色で前記補間対象画素の垂直方向の他方側に位置する画素の信号値に対する前記補間対象画素の信号値の変化分を加算した値である第４の補間期待値を算出し、前記第３の補間期待値と前記第４の補間期待値とを前記垂直相関係数を用いて加重平均することにより、前記垂直補間値を算出することを特徴とする。

本発明の補間処理方法は、緑色（Ｇ）のフィルタが市松状に配列されるとともに、赤色（Ｒ）のフィルタおよび青色（Ｂ）のフィルタがライン内では同一でライン間では交互となるように配列されている画素群を有する撮像素子から出力される信号に基づいて、前記画素群のうちの前記Ｂのフィルタまたは前記Ｒのフィルタに対応する補間対象画素のＧを補間するためのＧ色補間値を算出する補間処理方法であって、前記補間対象画素の信号値と、前記補間対象画素と同色の画素であって、前記補間対象画素を中心として水平方向に対称な位置にある少なくとも一対の画素の信号値と、予め設定された水平相関閾値とに基づいて、前記補間対象画素における水平方向の両側に対する相関性の強さを示す水平相関係数を算出する工程と、前記水平相関係数と、前記補間対象画素の信号値と、前記補間対象画素と同色の画素であって、前記補間対象画素を中心として水平方向に対称な位置にある少なくとも一対の画素の信号値と、前記補間対象画素の水平方向の両側に隣接する一対の画素の信号値とに基づいて、前記補間対象画素に対する水平方向における補間値である水平補間値を算出する工程と、前記補間対象画素の信号値と、前記補間対象画素と同色の画素であって、前記補間対象画素を中心として垂直方向に対称な位置にある少なくとも一対の画素の信号値と、予め設定された垂直相関閾値とに基づいて、前記補間対象画素における垂直方向の両側に対する相関性の強さを示す垂直相関係数を算出する工程と、前記垂直相関係数と、前記補間対象画素の信号値と、前記補間対象画素と同色の画素であって、前記補間対象画素を中心として垂直方向に対称な位置にある少なくとも一対の画素の信号値と、前記補間対象画素の垂直方向の両側に隣接する一対の画素の信号値とに基づいて、前記補間対象画素に対する垂直方向における補間値である垂直補間値を算出する工程と、前記補間対象画素の水平方向の両側に隣接する一対の画素の信号値と、前記補間対象画素の垂直方向の両側に隣接する一対の画素の信号値と、予め設定されたＨＶ相関閾値とに基づいて、前記補間対象画素における水平方向および垂直方向に対する相関性の強さを連続的に示すＨＶ相関係数を算出する工程と、前記水平補間値と前記垂直補間値とを前記ＨＶ相関係数を用いて加重平均することにより、前記Ｇ色補間値を算出する工程とを含むことを特徴とする。

本発明の補間処理方法における前記水平補間値を算出する工程は、前記補間対象画素の水平方向の一方側に隣接する画素の信号値に、前記補間対象画素と同色で前記補間対象画素の水平方向の一方側に位置する画素の信号値に対する前記補間対象画素の信号値の変化分を加算した値である第１の補間期待値を算出し、前記補間対象画素の水平方向の他方側に隣接する画素の信号値に、前記補間対象画素と同色で前記補間対象画素の水平方向の他方側に位置する画素の信号値に対する前記補間対象画素の信号値の変化分を加算した値である第２の補間期待値を算出し、前記第１の補間期待値と前記第２の補間期待値とを前記水平相関係数を用いて加重平均することにより、前記水平補間値を算出する工程であり、前記垂直補間値を算出する工程は、前記補間対象画素の垂直方向の一方側に隣接する画素の信号値に、前記補間対象画素と同色で前記補間対象画素の垂直方向の一方側に位置する画素の信号値に対する前記補間対象画素の信号値の変化分を加算した値である第３の補間期待値を算出し、前記補間対象画素の垂直方向の他方側に隣接する画素の信号値に、前記補間対象画素と同色で前記補間対象画素の垂直方向の他方側に位置する画素の信号値に対する前記補間対象画素の信号値の変化分を加算した値である第４の補間期待値を算出し、前記第３の補間期待値と前記第４の補間期待値とを前記垂直相関係数を用いて加重平均することにより、前記垂直補間値を算出する工程であることを特徴とする。

本発明の撮像装置および補間処理方法によれば、高周波成分が多く含まれて解像感が高く、かつ色再現性の良好な画像を得ることができる。

以下、本発明を実施するための最良の形態について、図面を参照して説明する。

図１は、本発明の実施の形態に係る撮像装置の構成を示すブロック図である。図１に示すように、本実施の形態に係る撮像装置１０は、レンズ１１と、撮像素子１２と、信号処理部１３と、切り換え部１４と、記憶部１５とを備える。なお、撮像装置１０は、静止画を出力してもよいし、動画を出力してもよい。

レンズ１１は、被写体から発した光を撮像素子１２の受光素子に結像させる。

撮像素子１２は、ＣＣＤ，ＣＭＯＳ等からなり、撮像素子１２の受光素子の受光平面には、図７に示すようなベイヤ配列のフィルタが設けられている。撮像素子１２は、フィルタを通って受光素子に結像された像の光による明暗を、電荷の量に光電変換し、それを順次読み出して電気信号に変換して出力する。撮像素子１２からは、１画素につき、フィルタの色の配列に対応したＲＧＢのいずれか１色の信号が出力される。

信号処理部１３は、撮像素子１２から出力された信号に対して、ガンマ補正、輪郭強調、ノイズ除去等の処理を行う。また、信号処理部１３は、各画素についてＲＧＢすべての色の信号を得るために、各画素において周辺画素の信号を用いて他の２色の信号値を補間により算出する補間処理を行う補間処理部２０を有し、この補間処理により得られる各画素についてのＲＧＢの信号を出力する。

切り換え部１４は、信号処理部１３から出力された信号に基づいて、リアルタイムで液晶ディスプレイ等からなる表示部（図示せず）に画像を表示させる。また、切り換え部１４は、ユーザ操作に応じて、記憶部１５から信号を読み出し、この信号に基づいて表示部に画像を表示させる。

記憶部１５は、信号処理部１３から出力された信号を蓄積するメモリである。

図２は、補間処理部２０の構成を示すブロック図である。図２には、本発明の特徴である、ＢのフィルタまたはＲのフィルタに対応する補間対象画素のＧを補間するためのＧ色補間値を算出するための構成のみを示している。

図２に示すように、補間処理部２０は、水平相関検出部２１と、水平補間部２２と、垂直相関検出部２３と、垂直補間部２４と、ＨＶ相関検出部２５と、加重平均部２６とを備える。

水平相関検出部２１は、補間対象画素の信号値と、補間対象画素と同色の画素であって、補間対象画素を中心として水平方向に対称な位置にある少なくとも一対の画素の信号値とに基づいて、補間対象画素における水平方向の両側に対する相関性の強さを示す水平相関係数Ｋ_ＬＲを算出する。

水平補間部２２は、水平相関検出部２１で算出した水平相関係数Ｋ_ＬＲと、補間対象画素の信号値と、補間対象画素と同色の画素であって、補間対象画素を中心として水平方向に対称な位置にある少なくとも一対の画素の信号値と、補間対象画素の水平方向の両側に隣接する一対の画素の信号値とに基づいて、補間対象画素に対する水平方向における補間値である水平補間値ＶＡＬ_Ｈを算出する。水平補間値ＶＡＬ_Ｈは、補間対象画素において水平方向の相関性が強いときに好適な補間値である。

垂直相関検出部２３は、水平相関検出部２１と機能は同様で補間方向を垂直軸としたものであり、補間対象画素の信号値と、補間対象画素と同色の画素であって、補間対象画素を中心として垂直方向に対称な位置にある少なくとも一対の画素の信号値とに基づいて、補間対象画素における垂直方向の両側に対する相関性の強さを示す垂直相関係数Ｋ_ＵＤを算出する。

垂直補間部２４は、垂直相関検出部２３で算出した垂直相関係数Ｋ_ＵＤと、補間対象画素の信号値と、補間対象画素と同色の画素であって、補間対象画素を中心として垂直方向に対称な位置にある少なくとも一対の画素の信号値と、補間対象画素の垂直方向の両側に隣接する一対の画素の信号値とに基づいて、補間対象画素に対する垂直方向における補間値である垂直補間値ＶＡＬ_Ｖを算出する。垂直補間値ＶＡＬ_Ｖは、補間対象画素において垂直方向の相関性が強いときに好適な補間値である。

ＨＶ相関検出部２５は、補間対象画素の水平方向の両側に隣接する一対の画素の信号値と、補間対象画素の垂直方向の両側に隣接する一対の画素の信号値とに基づいて、補間対象画素における水平方向および垂直方向に対する相関性の強さを示すＨＶ相関係数Ｋ_ＨＶを算出する。

加重平均部２６は、水平補間部２２で算出した水平補間値ＶＡＬ_Ｈと垂直補間部２４で算出した垂直補間値ＶＡＬ_Ｖとを、ＨＶ相関検出部２５で算出したＨＶ相関係数Ｋ_ＨＶを用いて加重平均することにより、補間対象画素のＧを補間するためのＧ色補間値を算出する。

次に、撮像装置１０の動作について説明する。

被写体からの光がレンズ１１を介して入射されると、撮像素子１２は、フィルタを通って受光素子に結像された像の光による明暗を、電荷の量に光電変換して電気信号を出力する。撮像素子１２からは、１画素につき、フィルタの色の配列に対応したＲＧＢのいずれか１色の信号が出力される。

信号処理部１３は、撮像素子１２から出力された信号に対して、ガンマ補正、輪郭強調、ノイズ除去等の処理を行う。また、信号処理部１３の補間処理部２０は、各画素において周辺画素の信号を用いて他の２色の信号値を補間により算出する補間処理を行い、この補間処理により得られた各画素についてのＲＧＢの信号を出力する。

信号処理部１３から出力された信号は、切り換え部１４に出力されるとともに、記憶部１５に記憶される。そして、切り換え部１４は、信号処理部１３から出力された信号に基づいて、図示しない表示部に画像を表示させる。

次に、補間処理部２０において、本発明の特徴である、ＢのフィルタまたはＲのフィルタに対応する補間対象画素のＧを補間するためのＧ色補間値を算出する手順について説明する。なお、Ｇのフィルタに対応する画素のＲ，Ｂを補間するための補間値、Ｂのフィルタに対応する画素のＲを補間するための補間値、およびＲのフィルタに対応する画素のＢを補間するための補間値については、公知の方法により算出するため説明を省略する。

以下、図８に示す補間対象画素Ｒ３３におけるＧを補間するためのＧ色補間値ｇ３３を算出する場合を例に説明する。

水平相関検出部２１は、補間対象画素Ｒ３３を中心に、補間対象画素Ｒ３３と同色であるＲの画素で、補間軸である水平方向の左右対称な位置にあるＲ３１画素とＲ３５画素との２画素を用いて、補間対象画素Ｒ３３が水平軸上において左右どちらの方向との相関性が強いかを示す水平相関係数Ｋ_ＬＲを以下の（数式７）によって算出し、算出した水平相関係数Ｋ_ＬＲを水平補間部２２に出力する。

Ｋ_ＬＲ＝（|Ｒ３１−Ｒ３３|−|Ｒ３３−Ｒ３５|）／（２×Ｔｈ_ＬＲ）＋０.５
・・・（数式７）
ここで、水平相関閾値Ｔｈ_ＬＲは、予め設定される所定の閾値であり、
（|Ｒ３１−Ｒ３３|−|Ｒ３３−Ｒ３５|）＜−Ｔｈ_ＬＲの場合は、Ｋ_ＬＲ＝０
（|Ｒ３１−Ｒ３３|−|Ｒ３３−Ｒ３５|）＞Ｔｈ_ＬＲの場合は、Ｋ_ＬＲ＝１
とする。

なお、水平相関閾値Ｔｈ_ＬＲは、固定的な値に限らず、被写体や撮影条件等に応じて任意に定められてもよい。

上記（数式７）により算出することにより、|Ｒ３１−Ｒ３３|−|Ｒ３３−Ｒ３５｜に対する水平相関係数Ｋ_ＬＲの値は、図３のグラフで示される。

図３に示すように、|Ｒ３１−Ｒ３３|＜|Ｒ３３−Ｒ３５|であれば、補間対象画素Ｒ３３は右方向より左方向の相関性が強いと判断され、この場合、|Ｒ３１−Ｒ３３|−|Ｒ３３−Ｒ３５｜が小さくなるにしたがって水平相関係数Ｋ_ＬＲの値は小さくなる。ここで、|Ｒ３１−Ｒ３３|−|Ｒ３３−Ｒ３５|が−Ｔｈ_ＬＲより小さい場合、水平相関係数Ｋ_ＬＲの値は０となる。

一方、|Ｒ３１−Ｒ３３|＞|Ｒ３３−Ｒ３５｜であれば、補間対象画素Ｒ３３は左方向より右方向の相関性が強いと判断され、この場合、|Ｒ３１−Ｒ３３|−|Ｒ３３−Ｒ３５｜が大きくなるにしたがって水平相関係数Ｋ_ＬＲの値は大きくなる。ここで、|Ｒ３１−Ｒ３３|−|Ｒ３３−Ｒ３５|がＴｈ_ＬＲより大きい場合、水平相関係数Ｋ_ＬＲの値は１となる。

ここでは、補間対象画素Ｒ３３と同じ色の左右の一対の画素Ｒ３１，Ｒ３５を使って水平相関係数Ｋ_ＬＲを算出したが、補間対象画素Ｒ３３と同じ色の二対以上の画素を使用して水平相関係数Ｋ_ＬＲを算出してもよい。この場合、例えば、被写体や撮影条件等に応じて二対以上の画素から任意の画素対を選択的に使用してもよい。また、（数式７）においてＲ３１の代わりに、補間対象画素Ｒ３３の左側にあるＲ３１画素を含む２個以上の画素の信号値の平均を代入し、補間対象画素Ｒ３３の右側にあるＲ３５画素を含む２個以上の画素の信号値の平均をＲ３５画素の信号値の代わりに代入して水平相関係数Ｋ_ＬＲを算出してもよい。

次に、水平補間部２２は、補間対象画素Ｒ３３において水平方向の相関性が強い場合に好適な水平補間値ＶＡＬ_Ｈを算出し、算出した水平補間値ＶＡＬ_Ｈを加重平均部２６に出力する。水平補間値ＶＡＬ_Ｈは、以下の（数式８）により、水平左方向からの補間期待値（第１の補間期待値）ＩＤ_Ｌと、水平右方向からの補間期待値（第２の補間期待値）ＩＤ_Ｒとを、水平相関係数Ｋ_ＬＲを用いて加重平均することにより算出される。

ＶＡＬ_Ｈ＝（１−Ｋ_ＬＲ）×ＩＤ_Ｌ＋Ｋ_ＬＲ×ＩＤ_Ｒ ・・・（数式８）
ＩＤ_Ｌ＝Ｇ３２＋（Ｒ３３−Ｒ３１）／２ ・・・（数式９）
ＩＤ_Ｒ＝Ｇ３４＋（Ｒ３３−Ｒ３５）／２ ・・・（数式１０）
ここで、一般的な画像においては、微小空間（隣接画素間）においては色相の変化が小さく、各色間での信号の増減には相関が高いことから、水平左方向からの補間期待値ＩＤ_Ｌは、上記（数式９）のように、補間対象画素Ｒ３３の左側に隣接したＧの画素Ｇ３２の信号値に、左方向（Ｒ３１）から補間対象画素Ｒ３３に向かってのＲ信号値の変化分（Ｒ３３−Ｒ３１）／２を加算した値とする。

同様に、水平右方向からの補間期待値ＩＤ_Ｒは、上記（数式１０）のように、補間対象画素Ｒ３３の右側に隣接したＧの画素Ｇ３４の信号値に、右方向（Ｒ３５）から補間対象画素Ｒ３３に向かってのＲ信号値の変化分（Ｒ３３−Ｒ３５）／２を加算した値とする。

ここでは、補間対象画素Ｒ３３と同じ色の左右の一対の画素Ｒ３１，Ｒ３５を使ってＩＤ_ＬおよびＩＤ_Ｒを算出したが、補間対象画素Ｒ３３と同じ色の二対以上の画素を使用してＩＤ_ＬおよびＩＤ_Ｒを算出してもよい。この場合、例えば、被写体や撮影条件等に応じて二対以上の画素から任意の画素対を選択的に使用してもよい。また、（数式９）、（数式１０）においてＲ３１の代わりに、補間対象画素Ｒ３３の左側にあるＲ３１画素を含む２個以上の画素の信号値の平均を代入し、補間対象画素Ｒ３３の右側にあるＲ３５画素を含む２個以上の画素の信号値の平均をＲ３５画素の信号値の代わりに代入してＩＤ_ＬおよびＩＤ_Ｒを算出し、この値を用いて（数式８）により水平補間値ＶＡＬ_Ｈを算出してもよい。

垂直相関検出部２３は、補間対象画素Ｒ３３を中心に、補間対象画素Ｒ３３と同色であるＲの画素で、補間軸である垂直方向の上下対称な位置にあるＲ１３画素とＲ５３画素との２画素を用いて、補間対象画素Ｒ３３が垂直軸上において上下どちらの方向との相関性が強いかを示す垂直相関係数Ｋ_ＵＤを以下の（数式１１）によって算出し、算出した垂直相関係数Ｋ_ＵＤを水平補間部２２に出力する。

Ｋ_ＵＤ＝（|Ｒ１３−Ｒ３３|−|Ｒ３３−Ｒ５３|）／（２×Ｔｈ_ＵＤ）＋０.５
・・・（数式１１）
ここで、垂直相関閾値Ｔｈ_ＵＤは、予め設定される所定の閾値であり、
（|Ｒ１３−Ｒ３３|−|Ｒ３３−Ｒ５３|）＜−Ｔｈ_ＵＤの場合は、Ｋ_ＵＤ＝０
（|Ｒ１３−Ｒ３３|−|Ｒ３３−Ｒ５３|）＞Ｔｈ_ＵＤの場合は、Ｋ_ＵＤ＝１
とする。

なお、垂直相関閾値Ｔｈ_ＵＤは、固定的な値に限らず、被写体や撮影条件等に応じて任意に定められてもよい。

上記（数式１１）により算出することにより、|Ｒ１３−Ｒ３３|−|Ｒ３３−Ｒ５３|に対する垂直相関係数Ｋ_ＵＤの値は、図４のグラフで示される。

図４に示すように、|Ｒ１３−Ｒ３３|＜|Ｒ３３−Ｒ５３|であれば、補間対象画素Ｒ３３は下方向より上方向の相関性が強いと判断され、この場合、|Ｒ１３−Ｒ３３|−|Ｒ３３−Ｒ５３|が小さくなるにしたがって垂直相関係数Ｋ_ＵＤの値は小さくなる。ここで、|Ｒ１３−Ｒ３３|−|Ｒ３３−Ｒ５３|が−Ｔｈ_ＵＤより小さい場合、垂直相関係数Ｋ_ＵＤの値は０となる。

一方、|Ｒ１３−Ｒ３３|＞|Ｒ３３−Ｒ５３|であれば、補間対象画素Ｒ３３は上方向より下方向の相関性が強いと判断され、この場合、|Ｒ１３−Ｒ３３|−|Ｒ３３−Ｒ５３|が大きくなるにしたがって垂直相関係数Ｋ_ＵＤの値は大きくなる。ここで、 |Ｒ１３−Ｒ３３|−|Ｒ３３−Ｒ５３|がＴｈ_ＵＤより大きい場合、垂直相関係数Ｋ_ＵＤの値は１となる。

ここでは、補間対象画素Ｒ３３と同じ色の上下の一対の画素Ｒ１３，Ｒ５３を使って垂直相関係数Ｋ_ＵＤを算出したが、二対以上の画素を使用して垂直相関係数Ｋ_ＵＤを算出してもよい。この場合、例えば、被写体や撮影条件等に応じて二対以上の画素から任意の画素対を選択的に使用してもよい。また、（数式１１）においてＲ１３の代わりに、補間対象画素Ｒ３３の上側にあるＲ１３画素を含む２個以上の画素の信号値の平均を代入し、補間対象画素Ｒ３３の下側にあるＲ５３画素を含む２個以上の画素の信号値の平均をＲ５３画素の信号値の代わりに代入して垂直相関係数Ｋ_ＵＤを算出してもよい。

次に、垂直補間部２４は、補間対象画素Ｒ３３において垂直方向の相関性が強い場合に好適な垂直補間値ＶＡＬ_Ｖを算出し、算出した垂直補間値ＶＡＬ_Ｖを加重平均部２６に出力する。垂直補間値ＶＡＬ_Ｖは、以下の（数式１２）により、垂直上方向からの補間期待値（第３の補間期待値）ＩＤ_Ｕと、垂直下方向からの補間期待値（第４の補間期待値）ＩＤ_Ｄとを、垂直相関係数Ｋ_ＵＤを用いて加重平均することにより算出される。

ＶＡＬ_Ｖ＝（１−Ｋ_ＵＤ）×ＩＤ_Ｕ＋Ｋ_ＵＤ×ＩＤ_Ｄ ・・・（数式１２）
ＩＤ_Ｕ＝Ｇ２３＋（Ｒ３３−Ｒ１３）／２ ・・・（数式１３）
ＩＤ_Ｄ＝Ｇ４３＋（Ｒ３３−Ｒ５３）／２ ・・・（数式１４）
ここで、水平方向と同様に、一般的な画像においては、微小空間（隣接画素間）においては色相の変化が小さく、各色間での信号の増減には相関が高いことから、垂直上方向からの補間期待値ＩＤ_Ｕは、上記（数式１３）のように、補間対象画素Ｒ３３の上側に隣接したＧの画素Ｇ２３の信号値に、上方向（Ｒ１３）から補間対象画素Ｒ３３に向かってのＲ信号値の変化分（Ｒ３３−Ｒ１３）／２を加算した値とする。

同様に、垂直下方向からの補間期待値ＩＤ_Ｄは、上記（数式１４）のように、補間対象画素Ｒ３３の下側に隣接したＧの画素Ｇ４３の信号値に、下方向（Ｒ５３）から補間対象画素Ｒ３３に向かってのＲ信号値の変化分（Ｒ３３−Ｒ５３）／２を加算した値とする。

ここでは、補間対象画素Ｒ３３と同じ色の左右の一対の画素Ｒ１３，Ｒ５３を使ってＩＤ_ＵおよびＩＤ_Ｄを算出したが、補間対象画素Ｒ３３と同じ色の二対以上の画素を使用してＩＤ_ＵおよびＩＤ_Ｄを算出してもよい。この場合、例えば、被写体や撮影条件等に応じて二対以上の画素から任意の画素対を選択的に使用してもよい。また、（数式１３）、（数式１４）においてＲ１３の代わりに、補間対象画素Ｒ３３の上側にあるＲ１３画素を含む２個以上の画素の信号値の平均を代入し、補間対象画素Ｒ３３の下側にあるＲ５３画素を含む２個以上の画素の信号値の平均をＲ５３画素の信号値の代わりに代入してＩＤ_ＵおよびＩＤ_Ｄを算出し、この値を用いて（数式１２）により垂直補間値ＶＡＬ_Ｖを算出してもよい。

ＨＶ相関検出部２５は、図９を用いて説明した従来の補間処理装置のＨＶ相関検出部３と同様の処理を行う。すなわち、ＨＶ相関検出部２５は、前述の（数式３）〜（数式５）により、補間対象画素における水平方向の相関性と垂直方向の相関性とを示す係数であるＨＶ相関係数Ｋ_ＨＶを算出し、算出したＨＶ相関係数Ｋ_ＨＶを加重平均部２６に出力する。

次に、加重平均部２６は、前述の（数式６）により、水平補間部２２で算出した水平補間値ＶＡＬ_Ｈと垂直補間部２４で算出した垂直補間値ＶＡＬ_Ｖとを、ＨＶ相関検出部２５で算出したＨＶ相関係数Ｋ_ＨＶを用いて加重平均することにより、補間対象画素Ｒ３３におけるＧを補間するためのＧ色補間値ｇ３３を算出する。

ここで、図５、図６を参照して、本実施の形態による補間例を説明する。図５は、水平補間値ＶＡＬ_Ｈの取り得る範囲を示す模式図、図６は、垂直補間値ＶＡＬ_Ｖの取り得る範囲を示す模式図である。

前述のように、水平左方向からの補間期待値ＩＤ_Ｌは、補間対象画素Ｒ３３の左側に隣接するＧ３２画素の信号値に、左方向（Ｒ３１）から補間対象画素Ｒ３３に向かってのＲ信号値の変化分（Ｒ３３−Ｒ３１）／２を加算する。このため、左方向からのＲ信号値が減少していれば 、水平左方向からの補間期待値ＩＤ_Ｌは、図５の点ａで示すように、Ｇ３２画素の信号値より小さな値となり、Ｒ信号値が増加していれば、点ｂで示すようにＧ３２画素の信号値より大きな値となる。

同様に、水平右方向からの補間期待値ＩＤ_Ｒも、右方向（Ｒ３５）から補間対象画素Ｒ３３に向かってＲ信号が減少していれば、点ｃで示すように、Ｇ３４画素の信号値より小さな値となり、Ｒ信号値が増加していれば、点ｄで示すように、Ｇ３４画素の信号値より大きな値となる。

水平補間値ＶＡＬ_Ｈは、補間対象画素Ｒ３３の左右の相関性の度合いに応じて、点ａから点ｄまでのいずれかの値となる。図５において、水平補間値ＶＡＬ_Ｈの取り得る範囲を矢印Ａで示す。

図６に示すように、垂直方向についても同様に、垂直下方向からの補間期待値ＩＤ_Ｄは、下方向からのＲ信号値が減少していれば、点ｅで示すようにＧ４３画素の信号値より小さな値となり、Ｒ信号値が増加していれば、点ｆで示すようにＧ４３画素の信号値より大きな値となる。

また、垂直上方向からの補間期待値ＩＤ_Ｕは、上方向からのＲ信号値が減少していれば、点ｇで示すように、Ｇ２３画素の信号値より小さな値となり、Ｒ信号値が増加していれば点ｈで示すように、Ｇ２３画素の信号値より大きな値となる。

垂直補間値ＶＡＬ_Ｖは、補間対象画素Ｒ３３の上下の相関性の度合いに応じて、点ｅから点ｆまでのいずれかの値となる。図６において、垂直補間値ＶＡＬ_Ｖの取り得る範囲を矢印Ｂで示す。

前述のように、補間対象画素Ｒ３３におけるＧ色補間値ｇ３３は、補間対象画素Ｒ３３の水平垂直の相関性の度合いに応じて、水平補間値ＶＡＬ_Ｈと垂直補間値ＶＡＬ_Ｖの加重平均として算出される。したがって、Ｇ色補間値ｇ３３は、水平補間値ＶＡＬ_Ｈの取り得る値の範囲と、垂直補間値ＶＡＬ_Ｖの取り得る値の範囲との論理和の範囲である。これにより、Ｇ色補間値ｇ３３は、図１１に示した従来の補間例よりも広い範囲の値をとることができる。この結果、高周波成分を含み、急峻な信号レベル差にも対応可能な補間画像信号を得ることができる。

なお、本実施の形態においては、加重平均部２６によって加重平均演算をすることで連続的に水平補間と垂直補間とを切り換えたが、ＨＶ相関閾値Ｔｈ_ＨＶを０に近い小さな値にすることで、二値的な切り換えを行うことも可能であり、被写体や撮影条件等に応じて任意に定められてもよい。

ここで、具体的な数値例で説明する。入力画像信号は図１２に示したものを用いる。まず、水平相関検出部２１により、（数式７）にしたがって、水平相関係数Ｋ_ＬＲが算出される。このとき、水平相関閾値Ｔｈ_ＬＲ＝１００とすると、水平相関係数Ｋ_ＬＲは以下のように算出される。

Ｋ_ＬＲ＝（|Ｒ３１−Ｒ３３|−|Ｒ３３−Ｒ３５|）／（２×Ｔｈ_ＬＲ）＋０.５
＝（１００−１００）／（２×１００）＋０.５
＝０．５
この結果、水平補間部２２により、（数式８）〜（数式１０）にしたがって、水平補間値ＶＡＬ_Ｈが以下のように算出される。

ＩＤ_Ｌ＝Ｇ３２＋（Ｒ３３−Ｒ３１）／２＝５０＋（１５０−５０）／２＝１００
ＩＤ_Ｒ＝Ｇ３４＋（Ｒ３３−Ｒ３５）／２＝１５０＋（１５０−５０）／２＝２００
ＶＡＬ_Ｈ＝（１−Ｋ_ＬＲ）×ＩＤ_Ｌ＋Ｋ_ＬＲ×ＩＤ_Ｒ
＝０．５×１００＋０．５×２００
＝１５０
同様に、垂直相関検出部２３により、（数式１１）にしたがって、垂直相関係数Ｋ_ＵＤが算出される。このとき、垂直相関閾値Ｔｈ_ＵＤ＝１００とすると、垂直相関係数Ｋ_ＵＤは以下のように算出される。

Ｋ_ＵＤ＝（|Ｒ１３−Ｒ３３|−|Ｒ３３−Ｒ５３|）／（２×Ｔｈ_ＵＤ）＋０.５
＝（９６−１０４）／（２×１００）＋０.５
＝０．４６
この結果、垂直補間部２４により、（数式１２）〜（数式１４）にしたがって、垂直補間値ＶＡＬ_Ｖが以下のように算出される。

ＩＤ_Ｕ＝Ｇ２３＋（Ｒ３３−Ｒ１３）／２＝１５０＋（１５０−５４）／２＝１９８
ＩＤ_Ｄ＝Ｇ４３＋（Ｒ３３−Ｒ５３）／２＝４８＋（１５０−４６）／２＝１００
ＶＡＬ_Ｖ＝（１−Ｋ_ＵＤ）×ＩＤ_Ｕ＋Ｋ_ＵＤ×ＩＤ_Ｄ
＝０．５４×１９８＋０．４６×１００
＝１５２．９２
ここで、垂直補間値ＶＡＬ_Ｖは、補間対象画素Ｒ３３の上側に隣接する画素Ｇ２３の信号値より大きな値となる。

上記のように水平補間値ＶＡＬ_Ｈおよび垂直補間値ＶＡＬ_Ｖが算出されると、ＨＶ相関検出部２５により、（数式３）〜（数式５）にしたがって、ＨＶ相関係数Ｋ_ＨＶが算出される。このとき、ＨＶ相関閾値Ｔｈ_ＨＶ＝１００とすると、ＨＶ相関係数Ｋ_ＨＶは以下のように算出される。

Ｄｉｆ_Ｈ＝｜Ｇ３２−Ｇ３４｜＝｜５０−１５０｜＝１００
Ｄｉｆ_Ｖ＝｜Ｇ２３−Ｇ４３｜＝｜１５０−４８｜＝１０２
Ｋ_ＨＶ＝（Ｄｉｆ_Ｈ−Ｄｉｆ_Ｖ）／（２×Ｔｈ_ＨＶ）＋０.５
＝（１００−１０２）／（２×１００）＋０.５
＝０.４９
この結果、加重平均部２６により、（数式６）にしたがって、補間対象画素Ｒ３３におけるＧ色補間値ｇ３３が以下のように算出される。

ｇ３３＝（１−Ｋ_ＨＶ）×ＶＡＬ_Ｈ＋Ｋ_ＨＶ×ＶＡＬ_Ｖ
＝（１−０．４９）×１５０＋０．４９×１５２．９２
＝１５１．４
先にも述べたように、補間対象画素Ｒ３３の部分は、信号レベル１５０の無彩色の明るい画像である確率が高く、Ｇ色補間値ｇ３３も信号レベルが１５０に近いことが望ましいと考えられる。本実施の形態によれば、上記のように、望ましい信号レベルのＧ色補間値ｇ３３を得ることができる。

上記説明のように本実施の形態では、水平軸の補間に関して、ＢまたはＲのフィルタに対応する補間対象画素に隣接するＧの画素の信号値と補間対象画素と同色の信号値の左右それぞれの方向からの変化分とを用いて算出される左右方向からの補間期待値ＩＤ_Ｌ，ＩＤ_Ｒを、左右それぞれの相関性の程度に応じて加重平均することで水平補間値ＶＡＬ_Ｈを算出し、垂直軸の補間に関しても同様に算出される上下方向からの補間期待値ＩＤ_Ｕ，ＩＤ_Ｄを、上下それぞれの相関性の程度に応じて加重平均することで垂直補間値ＶＡＬ_Ｖを算出し、補間対象画素の水平垂直の相関性の度合いに応じて、水平補間値ＶＡＬ_Ｖと垂直補間値ＶＡＬ_Ｖとを加重平均することで、Ｇ色補間値を算出するので、望ましい信号レベルのＧ色補間値を得ることができる。これにより、高周波成分が多く含まれて解像感が高く、かつ色再現性の良好な画像を得ることができる。

本発明の実施の形態に係る撮像装置の構成を示すブロック図である。 図１に示す撮像装置の補間処理部の構成を示すブロック図である。 本発明の実施の形態における水平相関係数の値を示す図である。 本発明の実施の形態における垂直相関係数の値を示す図である。 本発明の実施の形態における水平補間値の取り得る範囲を示す模式図である。 本発明の実施の形態における垂直補間値の取り得る範囲を示す模式図である。 ベイヤ配列のフィルタを説明する図である。 撮像素子から出力される画像信号を２次元的に見た配列の模式図である。 従来の補間処理方法を実行する補間処理装置の構成を示すブロック図である。 従来の補間処理方法におけるＨＶ相関係数の値を示す図である。 従来の補間処理方法における補間値の取り得る値の範囲を示す模式図である。 各画素の信号レベルの一例を示す図である。

符号の説明

１，２２ 水平補間部
２，２４ 垂直補間部
３，２５ ＨＶ相関検出部
４，２６ 加重平均部
１０ 撮像装置
１１ レンズ
１２ 撮像素子
１３ 信号処理部
１４ 切り換え部
１５ 記憶部
２０ 補間処理部
２１ 水平相関検出部
２３ 垂直相関検出部

Claims (4)

1. 緑色（Ｇ）のフィルタが市松状に配列されるとともに、赤色（Ｒ）のフィルタおよび青色（Ｂ）のフィルタがライン内では同一でライン間では交互となるように配列されている画素群を有する撮像素子と、
   前記撮像素子から出力される信号に基づいて、前記画素群のうちの前記Ｂのフィルタまたは前記Ｒのフィルタに対応する補間対象画素のＧを補間するためのＧ色補間値を算出する補間処理部とを備え、
   前記補間処理部は、
   前記補間対象画素の信号値と、前記補間対象画素と同色の画素であって、前記補間対象画素を中心として水平方向に対称な位置にある少なくとも一対の画素の信号値と、予め設定された水平相関閾値とに基づいて、前記補間対象画素における水平方向の両側に対する相関性の強さを示す水平相関係数を算出する水平相関検出部と、
   前記水平相関係数と、前記補間対象画素の信号値と、前記補間対象画素と同色の画素であって、前記補間対象画素を中心として水平方向に対称な位置にある少なくとも一対の画素の信号値と、前記補間対象画素の水平方向の両側に隣接する一対の画素の信号値とに基づいて、前記補間対象画素に対する水平方向における補間値である水平補間値を算出する水平補間部と、
   前記補間対象画素の信号値と、前記補間対象画素と同色の画素であって、前記補間対象画素を中心として垂直方向に対称な位置にある少なくとも一対の画素の信号値と、予め設定された垂直相関閾値とに基づいて、前記補間対象画素における垂直方向の両側に対する相関性の強さを示す垂直相関係数を算出する垂直相関検出部と、
   前記垂直相関係数と、前記補間対象画素の信号値と、前記補間対象画素と同色の画素であって、前記補間対象画素を中心として垂直方向に対称な位置にある少なくとも一対の画素の信号値と、前記補間対象画素の垂直方向の両側に隣接する一対の画素の信号値とに基づいて、前記補間対象画素に対する垂直方向における補間値である垂直補間値を算出する垂直補間部と、
   前記補間対象画素の水平方向の両側に隣接する一対の画素の信号値と、前記補間対象画素の垂直方向の両側に隣接する一対の画素の信号値と、予め設定されたＨＶ相関閾値とに基づいて、前記補間対象画素における水平方向および垂直方向に対する相関性の強さを連続的に示すＨＶ相関係数を算出するＨＶ相関検出部と、
   前記水平補間値と前記垂直補間値とを前記ＨＶ相関係数を用いて加重平均することにより、前記Ｇ色補間値を算出する加重平均部と
   を備えることを特徴とする撮像装置。
2. 前記水平補間部は、前記補間対象画素の水平方向の一方側に隣接する画素の信号値に、前記補間対象画素と同色で前記補間対象画素の水平方向の一方側に位置する画素の信号値に対する前記補間対象画素の信号値の変化分を加算した値である第１の補間期待値を算出するとともに、前記補間対象画素の水平方向の他方側に隣接する画素の信号値に、前記補間対象画素と同色で前記補間対象画素の水平方向の他方側に位置する画素の信号値に対する前記補間対象画素の信号値の変化分を加算した値である第２の補間期待値を算出し、前記第１の補間期待値と前記第２の補間期待値とを前記水平相関係数を用いて加重平均することにより、前記水平補間値を算出し、
   前記垂直補間部は、前記補間対象画素の垂直方向の一方側に隣接する画素の信号値に、前記補間対象画素と同色で前記補間対象画素の垂直方向の一方側に位置する画素の信号値に対する前記補間対象画素の信号値の変化分を加算した値である第３の補間期待値を算出するとともに、前記補間対象画素の垂直方向の他方側に隣接する画素の信号値に、前記補間対象画素と同色で前記補間対象画素の垂直方向の他方側に位置する画素の信号値に対する前記補間対象画素の信号値の変化分を加算した値である第４の補間期待値を算出し、前記第３の補間期待値と前記第４の補間期待値とを前記垂直相関係数を用いて加重平均することにより、前記垂直補間値を算出することを特徴とする請求項１に記載の撮像装置。
3. 緑色（Ｇ）のフィルタが市松状に配列されるとともに、赤色（Ｒ）のフィルタおよび青色（Ｂ）のフィルタがライン内では同一でライン間では交互となるように配列されている画素群を有する撮像素子から出力される信号に基づいて、前記画素群のうちの前記Ｂのフィルタまたは前記Ｒのフィルタに対応する補間対象画素のＧを補間するためのＧ色補間値を算出する補間処理方法であって、
   前記補間対象画素の信号値と、前記補間対象画素と同色の画素であって、前記補間対象画素を中心として水平方向に対称な位置にある少なくとも一対の画素の信号値と、予め設定された水平相関閾値とに基づいて、前記補間対象画素における水平方向の両側に対する相関性の強さを示す水平相関係数を算出する工程と、
   前記水平相関係数と、前記補間対象画素の信号値と、前記補間対象画素と同色の画素であって、前記補間対象画素を中心として水平方向に対称な位置にある少なくとも一対の画素の信号値と、前記補間対象画素の水平方向の両側に隣接する一対の画素の信号値とに基づいて、前記補間対象画素に対する水平方向における補間値である水平補間値を算出する工程と、
   前記補間対象画素の信号値と、前記補間対象画素と同色の画素であって、前記補間対象画素を中心として垂直方向に対称な位置にある少なくとも一対の画素の信号値と、予め設定された垂直相関閾値とに基づいて、前記補間対象画素における垂直方向の両側に対する相関性の強さを示す垂直相関係数を算出する工程と、
   前記垂直相関係数と、前記補間対象画素の信号値と、前記補間対象画素と同色の画素であって、前記補間対象画素を中心として垂直方向に対称な位置にある少なくとも一対の画素の信号値と、前記補間対象画素の垂直方向の両側に隣接する一対の画素の信号値とに基づいて、前記補間対象画素に対する垂直方向における補間値である垂直補間値を算出する工程と、
   前記補間対象画素の水平方向の両側に隣接する一対の画素の信号値と、前記補間対象画素の垂直方向の両側に隣接する一対の画素の信号値と、予め設定されたＨＶ相関閾値とに基づいて、前記補間対象画素における水平方向および垂直方向に対する相関性の強さを連続的に示すＨＶ相関係数を算出する工程と、
   前記水平補間値と前記垂直補間値とを前記ＨＶ相関係数を用いて加重平均することにより、前記Ｇ色補間値を算出する工程と
   を含むことを特徴とする補間処理方法。
4. 前記水平補間値を算出する工程は、前記補間対象画素の水平方向の一方側に隣接する画素の信号値に、前記補間対象画素と同色で前記補間対象画素の水平方向の一方側に位置する画素の信号値に対する前記補間対象画素の信号値の変化分を加算した値である第１の補間期待値を算出し、前記補間対象画素の水平方向の他方側に隣接する画素の信号値に、前記補間対象画素と同色で前記補間対象画素の水平方向の他方側に位置する画素の信号値に対する前記補間対象画素の信号値の変化分を加算した値である第２の補間期待値を算出し、前記第１の補間期待値と前記第２の補間期待値とを前記水平相関係数を用いて加重平均することにより、前記水平補間値を算出する工程であり、
   前記垂直補間値を算出する工程は、前記補間対象画素の垂直方向の一方側に隣接する画素の信号値に、前記補間対象画素と同色で前記補間対象画素の垂直方向の一方側に位置する画素の信号値に対する前記補間対象画素の信号値の変化分を加算した値である第３の補間期待値を算出し、前記補間対象画素の垂直方向の他方側に隣接する画素の信号値に、前記補間対象画素と同色で前記補間対象画素の垂直方向の他方側に位置する画素の信号値に対する前記補間対象画素の信号値の変化分を加算した値である第４の補間期待値を算出し、前記第３の補間期待値と前記第４の補間期待値とを前記垂直相関係数を用いて加重平均することにより、前記垂直補間値を算出する工程であることを特徴とする請求項３に記載の補間処理方法。

Images