JP4985584B2 - 撮像装置及び映像信号処理方法 - Google Patents

Description

本発明は撮像装置及び映像信号処理方法に係り、特に固体撮像素子から出力される映像信号に対して高解像度化のための信号処理を行う撮像装置及び映像信号処理方法に関する。

従来より、撮像装置において少ない画素数の固体撮像素子により、高解像度の映像信号を得るために、固体撮像素子の画素配列に工夫を施したものが種々提案されている（例えば、特許文献１、２参照）。特許文献１記載の撮像装置では、入射光をＧ（緑）、Ｒ（赤）、Ｂ（青）の三原色の各色光に分解し、緑色光は図１２（ａ）に示す画素配列のＧ用固体撮像素子に入射し、赤色光は同図（ｂ）に示す画素配列のＲ用固体撮像素子に入射し、青色光は同図（ｃ）に示す画素配列のＢ用固体撮像素子に入射する。ここで、図１２（ａ）、（ｂ）、（ｃ）において、Ｇ、Ｒ、Ｂでそれぞれ示す位置にそれぞれの画素が存在する。各画素は水平方向に画素ピッチＰｘで配置され、垂直方向に画素ピッチＰｙで配置される。

また、図１２（ａ）、（ｂ）、（ｃ）に示すように、Ｇ用固体撮像素子の各画素に対して、Ｒ用固体撮像素子の各画素とＢ用固体撮像素子の各画素とは、水平方向にＰｘ／２、垂直方向にＰｙ／２ずらして配置されるため、上記のＧ用固体撮像素子、Ｒ用固体撮像素子及びＢ用固体撮像素子の各画素を合成すると、図１２（ｄ）に示すようになり、Ｒ用固体撮像素子の画素ＲとＢ用固体撮像素子の画素Ｂの位置は、空間的には同一位置に存在する。そして、特許文献１記載の撮像装置では、これらの３枚の固体撮像素子からの映像信号に対して画素数を拡大する補間処理を行うことで高解像度を実現する。

また、特許文献２記載の撮像装置では、緑色光は図１３（ａ）に示す画素配列の第１のＧ用固体撮像素子と、同図（ｂ）に示す画素配列の第２のＧ用固体撮像素子に入射し、赤色光は同図（ｃ）に示す画素配列のＲ用固体撮像素子に入射し、青色光は同図（ｄ）に示す画素配列のＢ用固体撮像素子に入射する。各画素は水平方向に画素ピッチＰｘで配置され、垂直方向に画素ピッチＰｙで配置される。

ここで、図１３（ａ）〜（ｄ）に示すように、第１のＧ用固体撮像素子の各画素に対して、第２のＧ用固体撮像素子の各画素は、水平方向にＰｘ／２、垂直方向にＰｙ／２ずらして配置され、Ｒ用固体撮像素子の各画素は水平方向にＰｘ／２ずらして配置され、Ｂ用固体撮像素子の各画素は垂直方向にＰｙ／２ずらして配置される。これにより、上記の４枚の固体撮像素子の各画素を合成すると、図１３（ｅ）に示すようになる。

また、撮像装置の欠落画素の補間に関しては、単純な補間方法では解像度低下や偽色が発生してしまうなどの問題があり、従来より様々な補間方法が提案されている。代表的な補間方法として、方向の相関度を算出し、相関の最も高い方向に最適な補間を行うというものがある。相関による補間方法に関して、画素データの差分により方向の相関度を求め、相関度の高い方向に最適な補間方法をとる撮像装置が知られている（例えば、特許文献３参照）。

この特許文献３記載の撮像装置では、例えば、図１４に示される画素配列の色フィルタが固体撮像素子に設けられており、左右および上下の画素の差分、つまりエッジ成分を検出して、欠落画素の補間を行う。すなわち、この従来の撮像装置では、補間画素位置での左右の画素の差の絶対値ΔＨ、上下の画素の差の絶対値ΔＶを算出する。例えば、図１４において画素位置（２ｉ、２ｊ＋１）においては、水平方向差分ΔＨは、
ΔＨ＝｜Ｇ（２ｉ、２ｊ）−Ｇ（２ｉ、２ｊ＋２）｜ （１）
である。垂直方向差分ΔＶは、
ΔＶ＝｜Ｇ（２ｉ−１、２ｊ＋１）−Ｇ（２ｉ＋１、２ｊ＋１）｜ （２）
である。

そして、上記水平方向でのエッジ成分ΔＨおよび垂直方向エッジ成分ΔＶにより、水平垂直方向での周辺画素での信号レベルの変化を判定し、ΔＨまたはΔＶが予め定めた値ｔｈより大きい場合は、その画素においてエッジ成分があると判定し、さらに、ΔＨ＞ΔＶの場合は垂直方向に相関が高いと判定し、ΔＨ≦ΔＶの場合は水平方向に相関が高いと判定し、それぞれに最適な補間方法をとる。また、ΔＨまたはΔＶが予め定めた値ｔｈより小さい場合は、その画素においてエッジ成分がないと判定し、上下左右の４画素の平均値を算出し補間画素データとする。

また、相関による補間方法に関して、方向の相関度を求める方法がある（例えば、特許文献４参照）。この特許文献４では、相関度Ｓは、ある方向の画素列Ｙｎに対して以下のように定義される。

Ｓ＝ｍｉｎ（Ｙｎ）／ｍａｘ（Ｙｎ）（Ｓ≦１であるので、Ｓ＝１のとき相関が最大）
この特許文献４では、求めた相関度Ｓ値が最も大きい方向に相関があるとして最適な補間方法を行うというものである。

特開２０００−３４１７０８号公報 特開２０００−３４１７１０号公報 特開平１１−２３４６９０号公報 特開平１０−１５５１５８号公報

しかしながら、上述した従来技術にはそれぞれ以下のような課題がある。

画素配列に関する特許文献１記載の従来の撮像装置では、斜め方向に関する欠落画素が多いため、画素ずらしによる水平垂直の高解像度化効果に対して、斜めの高解像度化の効果が低くなるという課題がある。例えば、図１５に示すように斜め方向の点線上の位置には画素が存在しないため画素データ情報が得られず、斜め線の十分な高解像度化が不可能となる。

また、画素配列に関する特許文献２記載の従来の撮像装置では、斜めの高解像度化の効果はあるが、固体撮像素子を４枚使用していることによる設計工数増、材料費増、生産工数増、光学ブロックの小型化が困難という課題がある。

また、画素配列に関する特許文献１及び特許文献２記載の従来の撮像装置では、周波数の高い高域成分にノイズの多い青（Ｂ）信号が用いられるため、Ｓ／Ｎが悪化するという課題がある。

例えば、特許文献１においては、図１２に示す座標（３，３）の画素部分のＨ方向の輝度の高域成分ＹＨＨは次式で求められる。

ＹＨＨ（３，３）＝（２Ｒ（３，３）−Ｒ（１，３）−Ｒ（５，３）＋２Ｂ（３，３）
−Ｂ（１，３）−Ｂ（５，３））／８
また、Ｖ方向の輝度の高域成分ＹＶＨは次式で求められる。

ＹＶＨ（３，３）＝（２Ｒ（３，３）−Ｒ（３，１）−Ｒ（３，５）＋２Ｂ（３，３）
−Ｂ（３，１）−Ｂ（３，５））／８
一般的に撮像装置においては、Ｂ信号は光学的に感度が低いため電気的にゲインアップを施す。そのため他のチャンネルに比べノイズも大きくなる。通常、輝度信号Ｙは、Ｒ信号、Ｇ信号及びＢ信号に基づき、次式
Ｙ＝０．２１２６Ｒ＋０．７１５２Ｇ＋０．０７２２Ｂ
で求められる。この輝度信号ＹにおけるＢ信号の割合は、ＨＤフォーマットでは１割弱である。しかしながら、特許文献１では上式のように座標（３，３）の画素部分にはＢ信号の高域輝度信号が１／２の割合で含まれるため、Ｂ信号のランダムノイズの混入する割合も増え、総合的にＳ／Ｎも悪化するという課題がある。

同様に、特許文献２においては、図１３に示す座標（２，３）の画素部分のＨ方向、Ｖ方向の輝度の高域成分ＹＨＨ、ＹＶＨはそれぞれ
ＹＨＨ（２，３）＝（２Ｂ（２，３）−Ｂ（０，３）−Ｂ（４，３））／４
ＹＶＨ（２，３）＝（２Ｂ（２，３）−Ｂ（２，１）−Ｂ（２，５））／４
で求められる。座標（２，３）の画素部分の高域輝度信号はＢ信号でしめており、ノイズの混入する割合が増え総合的にＳ／Ｎも悪化するという課題がある。

また、相関算出による欠落画素補間に関する特許文献３記載の撮像装置では、画素データの差分を相関度として補間方向を決め、さらに水平垂直のみの相関をとっている（斜め方向の相関をとっていない）ため、高周波成分に対しては十分な相関度が算出されているとはいえず誤方向検出をしてしまう課題がある。

例えば、図１６に示すようなデータを補間する際、補間画素（ｉ，ｊ）には縦方向の相関が高いと判断し、レベルの低い値（例えば上下２画素の平均、（１６＋１８）／２＝１７程度の値）が補間されるべきだが、上記方法によって相関を算出すると、ΔＨ＝｜２４５−２４４｜＝１、ΔＶ＝｜１８−１６｜＝２（つまり、ΔＨ＜ΔＶ）となり、水平方向に相関が高いと方向相関誤検出をしてしまう。もしくはΔＨ，ΔＶ＜ｔｈとなったとしても周辺画素の平均で補間することになるので補間画素のレベルが求める値よりも高くなってしまう。このように方向相関算出に使用するサンプル数が少ないと、方向相関誤検出をしてしまう。

更に、欠落画素補間に関する特許文献４記載の撮像装置では、サンプル画素データのＭＩＮ／ＭＡＸを相関度として補間方法を決めており、サンプルは２点以上あるが最終的な相関度算出に使用しているのはＭＩＮ値とＭＡＸ値の２値であるため（ＭＩＮ値とＭＡＸ値以外が考慮されないため）、欠落画素補間に関する特許文献３と同様に、高周波成分に対しては十分な相関度が算出されているとはいえず、誤方向検出してしまう課題がある。

本発明は以上の点に鑑みなされたもので、３枚の固体撮像素子で斜め方向の欠落画素を減らす画素配列を用いることで、４枚の固体撮像素子を用いた場合と同等の高解像度化が水平垂直及び斜めにも適用されると共に、複数の方向の多数のサンプル数（画素値）を用いて算出した標準偏差によって方向相関を検出することにより、その方向相関検出結果に基づく高域周波数成分でノイズ劣化を抑えつつ高精度な補間をすることが可能な撮像装置及び映像信号処理方法を提供することを目的とする。

また、本発明の他の目的は、各方向の標準偏差値が近い場合に、高域補間信号中のノイズの多い高域周波成分の混入の割合を減らすことで出力信号のＳ／Ｎを向上し得る撮像装置及び映像信号処理方法を提供することにある。

上記の目的を達成するため、本発明の撮像装置は、入射光を緑色光、赤色光、及び青色光の三原色光に分解する色分解光学手段と、色分解光学手段からの緑色光を、所定画素ピッチで配置された複数の画素により光電変換してＧ信号を出力する第１の固体撮像素子と、水平方向及び垂直方向の両方向又はどちらか一方向に１／２画素ピッチずつ第１の固体撮像素子の画素に対して画素位置を相対的にずらして配置された複数の画素により、色分解光学手段からの赤色光を光電変換してＲ信号を出力する第２の固体撮像素子と、水平方向及び垂直方向の両方向又はどちらか一方向に１／２画素ピッチずつ第１の固体撮像素子の画素に対して画素位置を相対的にずらして、かつ、第２の固体撮像素子の画素位置と空間的に重ならない位置に配置された複数の画素により、色分解光学手段からの青色光を光電変換してＢ信号を出力する第３の固体撮像素子と、第１〜第３の固体撮像素子からそれぞれ出力されたＧ信号、Ｒ信号、及びＢ信号をディジタル信号に変換した後、互いに独立して各画素間の２次元補間処理を行って補間された信号ＧＩ、ＲＩ、及びＢＩを生成する水平垂直補間手段と、水平垂直補間手段から出力されたＧＩ、ＲＩ、及びＢＩに対して、それぞれ２次元ローパスフィルタを用いて２次元空間における低域周波数成分ＧＬ、ＲＬ、及びＢＬを抽出する低域成分抽出手段と、水平垂直補間手段から出力された信号ＧＩ、ＲＩ、及びＢＩと、低域成分抽出手段から出力された低域周波数成分ＧＬ、ＲＬ、及びＢＬとの同じ色信号成分同士の差分をとって高域周波数成分ＧＨ、ＲＨ、及びＢＨを抽出する高域成分抽出手段と、第１〜第３の固体撮像素子のすべての画素が実在しない位置の欠落画素を補間画素とし、その補間画素を含む予め設定した複数の方向のうち各方向に、その方向に配置された所定数の各画素の高域成分抽出手段から出力された高域周波数成分ＧＨ、ＲＨ、及びＢＨから標準偏差を算出し、算出した値が最も小さい標準偏差の方向を相関が最も高い方向として検出する方向相関検出手段と、高域成分抽出手段から出力された高域周波数成分ＧＨ、ＲＨ、及びＢＨのうち、方向相関検出手段により検出された相関が最も高い方向に応じた高域周波数成分を、補間画素の周波数成分として補間して高域補間信号ＲＧＢＨＩを生成する高域補間手段と、低域成分抽出手段から出力された低域周波数成分ＧＬ、ＲＬ、及びＢＬに、高域補間手段から出力された高域補間信号ＲＧＢＨＩをそれぞれ加算合成して、Ｇ’信号、Ｒ’信号、及びＢ’信号を生成して出力する高域付加手段とを備えたことを特徴とする。

また、上記の目的を達成するため、本発明の撮像装置は、上記の高域補間手段を、
方向相関検出手段により検出された相関が最も高い方向に応じて補間されるべき高域周波数成分が高域周波数成分ＢＨ又はＲＨであるときに、方向相関検出手段により算出された複数の方向の各方向の標準偏差値の最大値Ｈｍａｘと最小値Ｈｍｉｎとの比Ｘ＝（Ｈｍｉｎ／Ｈｍａｘ）を算出する比算出手段と、高域周波数成分ＧＨ、ＲＨ、及びＢＨのうち、補間画素の画素位置における高域周波数成分ＧＨの比率が、補間画素の画素位置における高域周波数成分ＢＨ又はＲＨに比し、比Ｘの値に比例して相対的に大きくなるように混合して第１の混合信号ＧＢＨ又はＧＲＨを生成する第１の混合手段と、第１の混合信号を補間画素の周波数成分として補間して高域補間信号ＲＧＢＨＩを生成する高域補間信号生成手段とを有する構成としたことを特徴とする。

また、上記の目的を達成するため、本発明の映像信号処理方法は、上記の第１、第２、第３の固体撮像素子を備えた撮像装置の映像信号処理方法であって、
第１〜第３の固体撮像素子からそれぞれ出力されたＧ信号、Ｒ信号、及びＢ信号をディジタル信号に変換する第１のステップと、ディジタル信号に変換されたＧ信号、Ｒ信号、及びＢ信号を、互いに独立して各画素間の２次元補間処理を行って補間された信号ＧＩ、ＲＩ、及びＢＩを生成する第２のステップと、信号ＧＩ、ＲＩ、及びＢＩに対して、それぞれ２次元ローパスフィルタを用いて２次元空間における低域周波数成分ＧＬ、ＲＬ、及びＢＬを抽出する第３のステップと、信号ＧＩ、ＲＩ、及びＢＩと、低域周波数成分ＧＬ、ＲＬ、及びＢＬとの同じ色信号成分同士の差分をとって高域周波数成分ＧＨ、ＲＨ、及びＢＨを抽出する第４のステップと、第１〜第３の固体撮像素子のすべての画素が実在しない位置の欠落画素を補間画素とし、その補間画素を含む予め設定した複数の方向のうち各方向毎に、その方向に配置された所定数の各画素の高域周波数成分ＧＨ、ＲＨ、及びＢＨのうちの同じ色信号成分同士の値から標準偏差を算出し、算出した値が最も小さい標準偏差の方向を相関が最も高い方向として検出する第５のステップと、高域周波数成分ＧＨ、ＲＨ、及びＢＨのうち、第５のステップで検出された相関が最も高い方向に応じた高域周波数成分を、補間画素の周波数成分として補間して高域補間信号ＲＧＢＨＩを生成する第６のステップと、低域周波数成分ＧＬ、ＲＬ、及びＢＬに、高域補間信号ＲＧＢＨＩをそれぞれ加算合成して、Ｇ’信号、Ｒ’信号、及びＢ’信号を生成し、最終的な映像信号として出力する第７のステップとを含むことを特徴とする。

また、上記の目的を達成するため、本発明の映像信号処理方法は、上記第６のステップを、
第５のステップにより検出された相関が最も高い方向に応じて補間されるべき高域周波数成分が高域周波数成分ＢＨ又はＲＨであるときに、第５のステップにより算出された複数の方向の各方向の標準偏差値の最大値Ｈｍａｘと最小値Ｈｍｉｎとの比Ｘ＝（Ｈｍｉｎ／Ｈｍａｘ）を算出する比算出ステップと、高域周波数成分ＧＨ、ＲＨ、及びＢＨのうち、補間画素の画素位置における高域周波数成分ＧＨの比率が、補間画素の画素位置における高域周波数成分ＢＨ又はＲＨに比し、比Ｘの値に比例して相対的に大きくなるように混合して第１の混合信号ＧＢＨ又はＧＲＨを生成する第１の混合信号生成ステップと、第１の混合信号を補間画素の周波数成分として補間して高域補間信号ＲＧＢＨＩを生成する高域補間信号生成ステップとを含むようにしたことを特徴とする。

本発明の撮像装置及び映像信号処理方法では、第１乃至第３の固体撮像素子の各画素配列と互いの配置関係の設定により斜め方向に関する欠落画素が少ない構成にでき、また、高域周波数成分の補間を、標準偏差を用いた画像パターンの方向相関検出により実現することができる。

また、本発明の撮像装置及び映像信号処理方法では、各方向の標準偏差が近い場合に、高域補間信号中のノイズの多い高域周波成分の混入の割合を減らすことができる。

本発明によれば、３枚の固体撮像素子で斜め方向の欠落画素を減らす画素配列を用いることで、水平垂直の高解像度化と同様の効果が斜めの解像度にも適用され、更に、標準偏差を用いた画像パターンの方向相関検出により方向相関検出結果に基づく高域周波数成分でのノイズ劣化を抑えつつ高精度な補間をすることができるため、４枚の固体撮像素子を用いた場合と同等の高解像度を良好なＳ／Ｎで実現することができる。

また、本発明によれば、高域補間信号ＲＧＢＨＩ中のノイズの多い高域周波成分ＢＨ、ＲＨの混入の割合を減らすことで、高域補間信号ＲＧＢＨＩのＳ／Ｎを改善し、これにより出力信号のＳ／Ｎを向上することができる。

次に、本発明の実施の形態について図面を参照して詳細に説明する。

図１は本発明になる撮像装置の一実施の形態のブロック図、図２は本実施の形態の撮像装置で使用される固体撮像素子の画素配置の一例を示す図である。図１において、本実施の形態の撮像装置１０は、入射光をＲ（赤）、Ｇ（緑）、Ｂ（青）の三原色の各色光に分解する色分解光学系１１と、色分解光学系１１からの赤色光、緑色光、青色光をそれぞれ別々に受光して光電変換するＲ用固体撮像素子１２Ｒ、Ｇ用固体撮像素子１２Ｇ、Ｂ用固体撮像素子１２Ｂと、固体撮像素子１２Ｒ、１２Ｇ、１２Ｂからそれぞれ出力されたＲ信号、Ｇ信号、Ｂ信号に対して、それぞれ別々に公知のアナログ信号処理を施すアナログ信号処理回路１３と、アナログ信号処理回路１３から出力されたＲ信号、Ｇ信号、Ｂ信号を別々にディジタル信号に変換するＡ／Ｄ変換器１４Ｒ、１４Ｇ、１４Ｂと、映像信号処理回路１とからなる。

映像信号処理回路１は、Ａ／Ｄ変換器１４Ｒ、１４Ｇ、１４Ｂから出力されたディジタル信号のＲ信号、Ｇ信号、Ｂ信号の各画素間の２次元補間処理を行う水平垂直補間部１５と、２次元補間後の信号から２次元空間の低域周波数成分を抽出する低域成分抽出部１６と、２次元補間後の信号から２次元空間の高域周波数成分を抽出する高域成分抽出部１７と、抽出された２次元空間の高域周波数成分の欠落画素を補間するために必要な方向相関を標準偏差により算出して検出する方向相関検出部１８と、各色信号の高域周波数成分を実在する２次元空間位置に配置する高域補間部１９と、低域周波数成分と補間された高域周波数成分とを合成することで高解像度映像信号Ｒ’、Ｇ’、Ｂ’を生成する高域付加部２０とよりなる。

Ｇ用固体撮像素子１２Ｇ、Ｒ用固体撮像素子１２Ｒ、及びＢ用固体撮像素子１２Ｂは、図２（ａ）、（ｂ）、（ｃ）にそれぞれＧ、Ｒ、Ｂに示す位置に画素が配置された構成とされている。各画素は水平方向に画素ピッチＰｘで配置され、垂直方向に画素ピッチＰｙで配置される。

また、図２（ａ）、（ｂ）、（ｃ）に示すように、Ｇ用固体撮像素子１２Ｇの各画素に対して、Ｒ用固体撮像素子１２Ｒの各画素は垂直方向にＰｙ／２ずらして配置され、Ｂ用固体撮像素子１２Ｂの各画素は水平方向にＰｘ／２ずらして配置されている。このため、上記のＧ用固体撮像素子１２Ｇ、Ｒ用固体撮像素子１２Ｒ及びＢ用固体撮像素子１２Ｂの各画素を空間的に合成すると、図２（ｄ）に示すようになり、特許文献１記載の従来の撮像装置と同じ３枚の固体撮像素子を使用しているにもかかわらず、特許文献１記載の従来装置のような斜め方向に関する欠落画素が殆どなく、画素ずらしによる水平垂直の高解像度化効果だけでなく、斜めの高解像度化の効果も十分に得られる画素配置とされており、また特許文献２記載の固体撮像素子を４枚使用している従来の撮像装置に比べて小型な構成により、同程度の高解像度を実現できる。

次に、本実施の形態の動作について説明する。図１において、被写体からの入射光は図示しない光学ローパスフィルタ等を通して色分解光学系１１に入射されてＲ、Ｇ、Ｂの三原色の各色光に分解された後、赤色光がＲ用固体撮像素子１２Ｒに、緑色光がＧ用固体撮像素子１２Ｇに、青色光がＢ用固体撮像素子１２Ｂにそれぞれ入射して互いに独立して光電変換される。上記の各固体撮像素子１２Ｒ、１２Ｇ、１２Ｂは、例えばＣＣＤ（Charge Coupled Device:電荷結合素子）により構成されており、図示しないタイミングジェネレータからの駆動クロックによって駆動されて、被写体像をサンプリング周波数ｆｓで空間サンプリングしたＲ信号、Ｇ信号、Ｂ信号をそれぞれ生成してアナログ信号処理回路１３へ出力する。

アナログ信号処理回路１３は、入力されたＲ信号、Ｇ信号、Ｂ信号に対して、相関二重サンプリング（ＣＤＳ）によるノイズ低減、自動利得制御（ＡＧＣ）によるレベル調整、ホワイトバランス調整などの所定のアナログ信号処理を施してＡ／Ｄ変換器１４Ｒ、１４Ｇ、１４Ｂにそれぞれ供給する。Ａ／Ｄ変換器１４Ｒ、１４Ｇ、１４Ｂは、アナログ信号処理後のアナログ信号であるＲ信号、Ｇ信号、Ｂ信号を、前記サンプリング周波数ｆｓと同じ周波数のクロックに基づいて別々にディジタル化して、ディジタル色信号Ｒ、Ｇ、Ｂを生成して映像信号処理回路１へ出力する。

映像信号処理回路１の水平垂直補間部１５は、入力されたディジタル色信号Ｒ、Ｇ、Ｂの水平垂直補間、すなわち画素間の２次元補間を行う。その補間方法は、図２（ａ）、（ｂ）、（ｃ）に示した画素配置のＧ用固体撮像素子１２Ｇ、Ｒ用固体撮像素子１２Ｒ及びＢ用固体撮像素子１２Ｂの画素間に「０」を挿入して、図３（ａ）、（ｂ）、（ｃ）に示すような画素配置の信号を得る補間を行う。すなわち、水平垂直補間部１５は、入力されたディジタル色信号Ｒ、Ｇ、Ｂの連続する２つのサンプル点の中間位置（２つの隣り合う画素間の位置）に「０」を挿入する。

これにより、水平垂直補間部１５の入力ディジタル色信号Ｒ、Ｇ、Ｂの周波数スぺクトラムが図４で示すものである（サンプリング周波数はｆｓ）とすると、画素と画素の間に「０」を挿入することにより、サンプリング周波数が２ｆｓになり、サンプリング定理から折り返しが発生し、水平垂直補間部１５の出力ディジタル色信号Ｒ、Ｇ、Ｂの周波数スぺクトラムは図５に示すようになり、折り返しによるイメージングが発生する。そこで、水平垂直補間部１５では、更に上記の画素と画素の間に「０」を挿入した信号を、周波数０.５ｆｓを上限遮断周波数とするローパスフィルタを通す。

水平垂直補間部１５からは図６（ａ）に示す周波数スペクトラムの補間されたＲ信号ＲＩ、補間されたＧ信号ＧＩ、補間されたＢ信号ＢＩが取り出される。上記の信号ＲＩ、ＧＩ、ＢＩは、周波数０.５ｆｓ以下の成分が残り、周波数が０.５ｆｓ以下は図４に示す周波数特性の元の周波数成分がそのまま保持されることになる。このようにして「０」を挿入した画素の部分が補間されることになる。

次に、補間された信号ＲＩ、ＧＩ、ＢＩは図１の低域成分抽出部１６に供給され、水平ローパスフィルタと垂直ローパスフィルタで構成される２次元ローパスフィルタに通すことで２次元空間における周波数の低い成分ＲＬ、ＧＬ、ＢＬが抽出される。この２次元ローパスフィルタを通った低域周波数成分（低域成分）ＲＬ、ＧＬ、ＢＬの周波数スペクトラムは、図６（ｂ）に示される。

図１の高域成分抽出部１７は、水平垂直補間部１５から出力された図６（ｃ）（これは図６（ａ）と同じ）に示す周波数スペクトラムの出力信号ＲＩ、ＧＩ、ＢＩから、低域成分抽出部１６から出力された図６（ｂ）に示す周波数スペクトラムの低域周波数成分ＲＬ、ＧＬ、ＢＬを差し引くことで、図６（ｄ）に示す周波数スペクトラムの２次元空間における周波数の高い成分ＲＨ、ＧＨ、ＢＨを抽出する。すなわち、高域成分抽出部１７は下記の演算式に基づいて、高域周波数成分（高域成分）ＲＨ、ＧＨ、ＢＨを抽出する。

ＲＨ＝ＲＩ−ＲＬ、ＧＨ＝ＧＩ−ＧＬ、ＢＨ＝ＢＩ−ＢＬ （３）
上記の２次元空間における高域周波数成分（高域成分）ＲＨ、ＧＨ、ＢＨは、実在する画素位置のみに図７に示すように配列合成する。すなわち、本実施の形態では前述したように、図１のＧ用固体撮像素子１２Ｇ、Ｒ用固体撮像素子１２Ｒ及びＢ用固体撮像素子１２Ｂの各画素を空間的に合成すると、図２（ｄ）に示すようになり、図２（ｄ）にＲ、Ｇ、Ｂで示す実在する画素位置には上記のように各信号ＲＨ、ＧＨ、ＢＨを配置できるが、図２（ｄ）に空欄で示し、かつ、図７に“補”で示す位置には実在する画素がないので補間が必要となる。

そこで、上記の配列合成後の高域成分に対する補間のために、方向相関検出器１８が高域周波数成分ＲＨ、ＧＨ、ＢＨに基づいて方向相関をとり、相関の高い方向に最適な補間をする。ここでは、以下に示す方向相関度算出方法により２次元空間における相関の高い方向を検出する。なお、方向検出に用いる高域周波数成分ＲＨ、ＧＨ、ＢＨは、低域周波数成分ＲＬ、ＧＬ、ＢＬにより折り返し信号、色成分信号などが取り除かれた後の信号のため、低域を含んだ信号に対して方向相関を算出するよりも検出精度を高くすることができる。

まず、補間する一画素（図７に“補”で示した実在しない画素）を中心として、縦、横、４５°斜め、１３５°斜めの４方向に対してそれぞれ標準偏差を算出する。これにより得られた４つの標準偏差値のうち、値が最も小さい標準偏差値の方向に対してデータ変動が少ないと考え、相関が最も高いと判断する。（４）式は標準偏差の一般式を示す。

なお、（４）式中、σは標準偏差値、Ｎはサンプル数、ｘはサンプルデータ値、ｘバーはサンプルデータの平均値を示す（後述の（５）式も同様）。

しかし、（４）式により標準偏差を求めると回路規模が大きくなってしまう。そこで、本実施の形態では、標準偏差値の大小を比べることが目的なので、回路規模を減らすために例えば（５）式のような簡易的な式により標準偏差を算出することとする。

標準偏差を算出する際のサンプリング点として、ＲＨ、ＧＨ、ＢＨ各信号が実在する画素位置を適宜サンプル点とする。実在しない画素位置に関しては、ＲＨ、ＧＨ、ＢＨ各信号の補間画素から相関を算出する各方向によりサンプルする信号を適宜選択する。例えば、図７において、補間する画素位置の座標を（ｉ，ｊ）として、標準偏差のサンプル点を５点とする時、縦方向の場合、ＢＨ（ｉ，ｊ−２），ＢＨ（ｉ，ｊ−１），ＢＨ（ｉ，ｊ），ＢＨ（ｉ，ｊ＋１），ＢＨ（ｉ，ｊ＋２）に対して標準偏差をとる。横方向の場合、ＲＨ（ｉ−２，ｊ），ＲＨ（ｉ−１，ｊ），ＲＨ（ｉ，ｊ），ＲＨ（ｉ＋１，ｊ），ＲＨ（ｉ＋２，ｊ）に対して標準偏差をとる。４５°斜め方向の場合、ＧＨ（ｉ−２，ｊ＋２），ＧＨ（ｉ−１，ｊ＋１），ＧＨ（ｉ，ｊ），ＧＨ（ｉ＋１，ｊ−１），ＧＨ（ｉ＋２，ｊ−２）に対して標準偏差をとる。１３５°斜め方向の場合、ＧＨ（ｉ−２，ｊ−２），ＧＨ（ｉ−１，ｊ−１），ＧＨ（ｉ，ｊ），ＧＨ（ｉ＋１，ｊ＋１），ＧＨ（ｉ＋２，ｊ＋２）に対して標準偏差をとる。

ここで、上記の５つのサンプル点の中には、図７において実在しない画素のサンプル点を含んでいるが、高域成分抽出部１７において、実際にはこれら実在しない画素のサンプル点の値も生成されている。これは水平垂直補間部１５において、水平垂直方向に画素間の２次元補間された信号成分のうちの高域成分である。

このように、方向相関を算出する方法として本実施の形態のように標準偏差を使用することにより、従来とは違いサンプル数に制限がなく、方向相関算出精度を高めることができる。

上記方向相関検出部１８は、上記のようにして相関の最も高い方向を検出してた得た方向相関情報σを高域補間部１９に供給する。高域補間部１９は、方向相関情報σに基づいてＲＨ、ＧＨ、ＢＨの各信号のそれぞれの方向に対して最適な２次元空間補間方法をとる。この高域補間部１９による補間方法では、図７に示した画素位置（ｉ，ｊ）を補間画素として方向相関をとった時に、垂直方向（縦方向）の標準偏差値をａ、水平方向（横方向）の標準偏差値をｂ、４５°斜め方向の標準偏差値をｃ、１３５°斜め方向の標準偏差値をｄとすると、例えば図８に示すフローチャートに従って補間を行う。

すなわち、高域補間部１９は、まず、上記の４方向の標準偏差値ａ〜ｄを比較して最も小さな値の標準偏差値がａであるとすると、標準偏差値ａの垂直方向の相関が最も高いと判断し（図８のステップＳ３１、Ｓ３２）、標準偏差ａを求めたときの図９（ａ）に示す垂直方向のＢＨのうち画素位置（ｉ，ｊ）のＢＨ（ｉ，ｊ）を図９（ｂ）に示すように補間画素（ｉ，ｊ）の画素値として代入する。

しかし、標準偏差値ａが最小ではない場合は、残りの３方向の標準偏差値ｂ〜ｄを比較して最も小さな値の標準偏差値がｂであるとすると、標準偏差値ｂの水平方向の相関が最も高いと判断し（図８のステップＳ３３、Ｓ３４）、標準偏差ｂを求めたときの図９（ｃ）に示す水平方向のＲＨのうち画素位置（ｉ，ｊ）のＲＨ（ｉ，ｊ）を図９（ｄ）に示すように補間画素（ｉ，ｊ）の画素値として代入する。しかし、標準偏差値ａ、ｂも最小値ではないときは、残りの２方向の標準偏差値ｃ、ｄを比較して最も小さな値の標準偏差値がｃであるとすると、標準偏差値ｃの４５°斜め方向の相関が最も高いと判断し（図８のステップＳ３５、Ｓ３６）、標準偏差ｃを求めたときの図９（ｅ）に示す４５°斜め方向のＧＨのうち画素位置（ｉ，ｊ）に右上と左下に隣接する２つの画素の画素値ＧＨ（ｉ＋１，ｊ−１）とＧＨ（ｉ−１，ｊ＋１）の平均値を図９（ｆ）に示すように補間画素（ｉ，ｊ）の画素値として代入する。

標準偏差値ａ〜ｄのうち標準偏差値ｄが最も小さいときは、１３５°斜め方向の相関が最も高いと判断し（図８のステップＳ３７）、標準偏差ｄを求めたときの図９（ｇ）に示す１３５°斜め方向のＧＨのうち画素位置（ｉ，ｊ）の左上と右下に隣接する２つの画素の画素値ＧＨ（ｉ−１，ｊ−１）とＧＨ（ｉ＋１，ｊ＋１）の平均値を図９（ｈ）に示すように補間画素（ｉ，ｊ）の画素値として代入する。これにより、配列合成後の高域成分の欠落画素（図７の“補”の部分）が満たされる。

このようにして、高域補間部１９において高域成分抽出部１７から出力された高域周波数成分ＲＨ、ＧＨ、ＢＨと、その欠落画素に高域成分が補間された信号（図７のＲＨ、ＧＨ、ＢＨ、“補”の配列信号）とからなる信号ＲＧＢＨＩは、高域付加部２０に供給される。

高域付加部２０は高域補間部１９から出力された図６（ｅ）に示す周波数スペクトラムの信号ＲＧＢＨＩと、低域成分抽出部１６から出力された図６（ｂ）、（ｆ）に示す周波数スペクトラムの低域周波数成分ＲＬ、ＧＬ、ＢＬとを加算合成することにより、図６（ｇ）に示す周波数スペクトラムに示すように、最高周波数が０.５ｆｓの１.５倍の０.７５ｆｓに高解像度化された出力信号Ｒ’、Ｇ’、Ｂ’を生成して出力する。ここで、上記の出力信号Ｒ’、Ｇ’、Ｂ’は次式で表される。

Ｒ’＝ＲＬ＋ＲＧＢＨＩ、Ｇ’＝ＧＬ＋ＲＧＢＨＩ、Ｂ’＝ＢＬ＋ＲＧＢＨＩ (6)
このように、本実施の形態によれば、３枚の固体撮像素子１２Ｒ、１２Ｇ、１２Ｂを用いても斜め方向の欠落画素を減らす画素配列を用いることで、４枚の固体撮像素子を用いた場合と同等の高解像度化が水平垂直及び斜めにも実現することができる。また、本実施の形態によれば、複数の方向の多数のサンプル数（画素値）を用いて算出した標準偏差値によって画像パターンの方向相関を検出することにより、周辺画素の平均値などの単純な従来の補間方法では得られなかった高域周波数成分の補間を、方向相関検出結果に基づく高域周波数成分でノイズ劣化を抑えつつ高精度に実現することができる。

なお、上記の実施の形態では、方向相関検出部１８は、補間対象の一画素（図７で“補”で示した実在しない画素）を中心として、縦、横、４５°斜め、１３５°斜めの４方向に対してそれぞれ複数（上記の例では５点）のサンプル点の画素値に基づいて標準偏差値を算出し、算出したそれらの標準偏差値のうち最小値の標準偏差値の方向を最も相関が高い方向として検出したが、方向相関検出部１８による方向相関の検出精度を高めるために、水平、垂直、斜めの各方向に対して１ライン以上の標準偏差をとるようにしてもよい。

この場合は、例えば、３ラインの標準偏差をとるとして、図１０（ａ）に示すように、実在しない補間画素位置の左隣のラインの３画素の標準偏差σ１と、補間画素位置を通る中央ラインの５画素の標準偏差σ２と、実在しない補間画素位置の右隣のラインの３画素の標準偏差σ３とをそれぞれ標準偏差演算部４１、４２、４３で算出し、算出された標準偏差σ１、σ２、σ３とを加算部４４で加算する。

この加算部４４は、図１０（ｂ）に示す縦方向（垂直方向）、同図（ｃ）に示す横方向（水平方向）、同図（ｄ）に示す右上斜め方向、同図（ｅ）に示す左上斜め方向の４方向についてそれぞれ相関加算結果を得、この中のうち最も小さな加算結果が得られる方向を最も相関の高い方向として検出する。

ここで、図１０（ｂ）〜（ｅ）において、ｂ３が補間する実在しない補間画素位置であり、標準偏差演算部４１はａ１〜ａ３の３画素の値から図１０（ａ）に示した数式に従って標準偏差σ１を算出し、標準偏差演算部４２はｂ１〜ｂ５の５画素の値から図１０（ａ）に示した数式に従って標準偏差σ２を算出し、標準偏差演算部４３はｃ１〜ｃ３の３画素の値から図１０（ａ）に示した数式に従って標準偏差σ３を算出する。

ただし、図１０（ｂ）に示す縦方向の標準偏差を求める場合、b1〜b5は画素値ＢＨを、a1,a3,c1,c3は画素値ＧＨを、a2,c2は画素値ＲＨを使用し、図１０（ｃ）に示す横方向の標準偏差を求める場合、b1〜b5は画素値ＲＨを、a1,a3,c1,c3は画素値ＧＨを、a2,c2は画素値ＢＨを使用し、図１０（ｄ）、（ｅ）示す斜め方向の標準偏差を求める場合、b1〜b5は画素値ＧＨを、a1,a3,c1,c3は画素値ＲＨを、a2,c2は画素値ＢＨを使用する。このように、３ラインの標準偏差の和を標準偏差とすることにより検出精度を高めることができる。

次に、本発明の他の実施の形態について説明する。この実施の形態では、全体構成は図１のブロック図と同様の構成であるが、上記の実施の形態とは高域補間部１９の動作が異なる。この実施の形態では、高域補間部１９は、方向相関検出部１８により垂直方向（縦方向）が最も相関が高い方向であると検出した場合において、ノイズの多いＢ信号の高域周波成分ＢＨを、ノイズの少ない高域周波数成分ＧＨと混合すると共に、その混合比を方向相関の標準偏差値の最大値と最小値との比に応じて可変することで、Ｂ信号によるＳ／Ｎの劣化の比率を抑えるものである。なお、高域補間部１９は、方向相関検出部１８により検出した相関が高い方向が垂直方向（縦方向）以外の場合は、前述した実施の形態と同様の動作を行う。

ここで、撮像装置の光学部である図１の色分解光学系１１や固体撮像素子１２Ｒ，１２Ｇ，１２Ｂには分光感度特性があり、入射した光の波長により感度が異なる。一般的にＧ信号の感度が最も高く、Ｒ信号の感度がそれに続き、Ｂ信号の感度が最も低い。そのため、白い被写体を映した場合に固体撮像素子１２Ｒ，１２Ｇ，１２Ｂから出力される信号レベルはＲ信号、Ｇ信号、Ｂ信号で異なり、Ｇ信号＞Ｒ信号＞Ｂ信号の関係になり、Ｂ信号の信号レベルが最も低い。

そこで、一般的な撮像装置においては、図１のアナログ信号処理回路１３で、Ｇ信号を基準に、Ｒ信号，Ｂ信号それぞれに適切な電気的なゲインを加えＲ信号、Ｂ信号の各信号レベルとＧ信号の信号レベルとが揃うように、ホワイトバランス調整を行う。ここで、Ｒ信号，Ｂ信号の各信号レベルを電気的なゲイン処理によりＧ信号レベルに合わせるため、Ｒ信号，Ｂ信号は、Ｇ信号と比較して、信号に対するノイズの比率であるＳ／Ｎが悪くなる。

上記実施の形態においては、上記のようにＧ信号と比較してノイズの多いＢ信号の高域周波成分ＢＨが含まれている高域補間信号ＲＧＢＨＩが、（６）式で表したように、ＲＬ，ＧＬ，ＢＬ信号に加算されて出力信号Ｒ’，Ｇ’，Ｂ’に生成されるため、出力信号Ｒ’，Ｇ’，Ｂ’にＢ信号の高域ノイズ成分が混入することになる。そこで、本実施の形態では、方向相関の標準偏差の値を用いて、このノイズの多いＢ信号の高域周波成分ＢＨの混入の割合を減らすことで、高域補間信号ＲＧＢＨＩのＳ／Ｎを改善し、これにより出力信号Ｒ’，Ｇ’，Ｂ’のＳ／Ｎを向上するものである。

ここで、高周波成分のない平面に近い（すなわち、一画面の映像信号レベルの変化が小さい）被写体の場合は、方向相関検出部１８にて得られる垂直方向の標準偏差値をａ、水平方向の標準偏差値をｂ、４５°斜め方向の標準偏差直をｃ、１３５°斜め方向の標準偏差値をｄとすると、ａ，ｂ，ｃ，ｄの値は被写体画像が平面に近いほど、似た値になる。従って、標準偏差値ａ，ｂ，ｃ，ｄのうちで最大値Ｈｍａｘと最小値Ｈｍｉｎとの比（Ｈｍｉｎ／Ｈｍａｘ）が「１」に近づくほど、被写体画像が平面に近いことになる。

また、一般に、被写体に高周波成分が含まれている場合、ある方向の相関が発生し、ＨｍａｘとＨｍｉｎの比（Ｈｍｉｎ／Ｈｍａｘ）は小さくなる。一方、ランダムノイズは方向の相関がないために、平面の被写体の映像信号にランダムノイズが混入した場合でも、ＨｍａｘとＨｍｉｎの比（Ｈｍｉｎ／Ｈｍａｘ）は「１」に近づく傾向になる。

そこで、本実施の形態では、以上の点に着目して、ＨｍａｘとＨｍｉｎとの比（Ｈｍｉｎ／Ｈｍａｘ）が「１」に近いほど、平面に近い被写体と判断し、欠落画素に高域成分が補間された高域補間信号ＲＧＢＨＩを構成する各高域周波数成分のうち、ノイズ成分の多いＢ信号の高域周波数成分ＢＨは、比較的ノイズ成分の少ないＧ信号の高域周波数成分ＧＨで補間するようにする。ここで、平面に近い被写体の低い周波数の映像信号は、高域周波数成分ＢＨを高域周波数成分ＧＨで補間することで補っても、周波数特性に影響は及ぼさない。これらの結果、平面に近い被写体の映像信号中のＢ信号のランダムノイズの混入を減らすことができ、出力信号のＳ／Ｎ比を向上させることができる。

本実施の形態では、図７の補間部分において水平垂直補間部１５から出力された前記信号ＧＩ、ＲＩ、及びＢＩと、低域成分抽出部１６から出力された低域周波数成分ＧＬ、ＲＬ、及びＢＬとの同じ色信号成分同士の差分をとって高域周波数成分ＧＨ、ＲＨ、及びＢＨを抽出する高域成分抽出部１７により、補間部分の高域周波数成分ＲＨ（ｉ，ｊ），ＢＨ（ｉ，ｊ），ＧＨ（ｉ，ｊ）を得る。

続いて、前記実施の形態と同様の方法により方向相関検出部１８により標準偏差値に基づいて最も相関が高い方向を決定する。最も相関が高い方向が縦方向と定まった場合は、補間部分は、前述したように図９（ｂ）に“補”で示した座標（ｉ，ｊ）の画素位置である。このとき、本実施の形態の高域補間部１９は前記実施の形態とは異なり、座標（ｉ，ｊ）の画素位置の画素だけでなく、座標（ｉ，ｊ−１）の画素位置の画素に対しても補間を行う高域補間信号ＲＧＢＨＩを図１１のフローチャートに従って生成する。

すなわち、高域補間部１９は、方向相関検出部１８より最も相関が高い方向が縦方向であるという方向相関情報と標準偏差値ａ〜ｄの情報とが入力されたときには、まず、前記した各方向の標準偏差値ａ〜ｄの中の最大値Ｈｍａｘと最小値Ｈｍｉｎを検出し（ステップＳ５１）、続いてそれらの比Ｘを次式により求める（ステップＳ５２）。

Ｘ＝Ｈｍｉｎ／Ｈｍａｘ （７）
ここで、比Ｘの値は「１」以下であり、「１」に近づくほど、前述したように被写体画像が平面に近いことを表す。高域補間部１９は、比Ｘの値に比例して、ノイズの少ない高域周波数成分ＧＨ（ｉ，ｊ）の比率が高域周波数成分ＢＨ（ｉ，ｊ）に比し相対的に大きくなるように、次式によりＧＨ（ｉ，ｊ）とＢＨ（ｉ，ｊ）を混合し混合信号ＧＢＨ（ｉ，ｊ）を得る。

ＧＢＨ（ｉ，ｊ）＝ＧＨ（ｉ，ｊ）・Ｘ＋ＢＨ（ｉ，ｊ）・（１−Ｘ） （８）
同時に、高域補間部１９は、比Ｘの値に比例して、ノイズの少ない高域周波数成分ＧＨ（ｉ，ｊ−１）の比率が高域周波数成分ＢＨ（ｉ，ｊ−１）に比し相対的に大きくなるように、次式によりＧＨ（ｉ，ｊ−１）とＢＨ（ｉ，ｊ−１）を混合し混合信号ＧＢＨ（ｉ，ｊ−１）を得る（以上、ステップＳ５３）。

ＧＢＨ（i，j-1）＝ＧＨ（i，j-1）・Ｘ＋ＢＨ（i，j-1）・（１−Ｘ） （９）
このようにして、高域補間部１９は、高域成分抽出部１７から出力された高域周波数成分ＲＨ及びＧＨと、上記ＧＨとＢＨとを（９）式により比Ｘの値に比例して混合して得られた混合信号ＧＢＨ（ｉ，ｊ−１）と、その欠落画素に高域成分が補間された信号（図７の“補”の配列信号ＢＨ（ｉ，ｊ））と上記ＧＨとを（８）式により比Ｘの値に比例して混合して得られた混合信号ＧＢＨ（ｉ，ｊ）との計４信号から、高域補間信号ＲＧＢＨＩを構成して出力する（ステップＳ５４）。

この高域補間信号ＲＧＢＨＩにより、図９（ｂ）に“補”で示した座標（ｉ，ｊ）の画素の画素値として（８）式に示した混合信号ＧＢＨ（ｉ，ｊ）が代入されると同時に、図９（ｂ）の座標（ｉ，ｊ−１）の画素ＢＨ（ｉ，ｊー１）の画素値として（９）式に示した混合信号ＧＢＨ（ｉ，ｊ−１）が代入される。

ここで、本来ならば、図９（ｂ）に“補”で示した座標（ｉ，ｊ）の画素の画素値として（８）式に示した混合信号ＧＢＨ（ｉ，ｊ）を代入するだけでよい。しかし、本発明者の実験により、この実施の形態のように、図９（ｂ）の座標（ｉ，ｊ−１）の画素ＢＨ（ｉ，ｊー１）の画素値として（９）式に示した混合信号ＧＢＨ（ｉ，ｊ−１）を上記と同時に代入した方が、Ｂ信号によるＳ／Ｎの劣化をより改善することができることが確かめられた。

このようにして、高域補間部１９は、平面の被写体においては、信号ＲＧＢＨＩ中のノイズ成分の多いＢ信号の高域周波成分ＢＨの比率が相対的に小さくなり、Ｂ信号によるＳ／Ｎの劣化の比率を抑えた高域補間信号ＲＧＢＨＩを生成する。図１の高域付加部２０は、この高域補間信号ＲＧＢＨＩと低域成分抽出部１６から出力された図６（ｂ）、（ｆ）に示す周波数スペクトラムの低域周波数成分ＲＬ、ＧＬ、ＢＬとを（６）式に示したように加算合成する。これにより、高域付加部２０から出力される信号Ｒ’、Ｇ’、Ｂ’中のノイズ成分の多いＢ信号の高域周波成分ＢＨの割合が前記実施の形態よりも小さくなるため、前記実施の形態よりもＳ／Ｎ劣化を抑えつつ高解像度化を実現することができる。

なお、上記の実施の形態では、高域補間部１９は、混合信号ＧＢＨ（ｉ，ｊ）以外に、混合信号ＧＢＨ（ｉ，ｊ−１）も同時に生成するように説明したが、混合信号ＧＢＨ（ｉ，ｊ−１）の替りに、混合信号ＧＢＨ（ｉ，ｊ＋１）を生成してもよい。この場合は、混合信号ＧＢＨ（ｉ，ｊ＋１）は、比Ｘの値に比例して、ノイズの少ない高域周波数成分ＧＨ（ｉ，ｊ＋１）の比率が高域周波数成分ＢＨ（ｉ，ｊ＋１）に比し相対的に大きくなるように、ＧＨ（ｉ，ｊ＋１）とＢＨ（ｉ，ｊ＋１）を混合することで生成され、ＢＨ（ｉ，ｊ＋１）を補間する。

また、上記の実施の形態では、方向相関検出部１８において、Ｂ信号の高域周波成分ＢＨを補間に使う、垂直方向（縦方向）が最も相関が高い方向であると検出した場合において説明したが、図９（ｃ）、（ｄ）に示したように、Ｒ信号の高域周波数成分ＲＨを補間に使う、水平方向（横方向）が最も相関が高い方向であると検出した場合においても、有効である。その場合は上記と同様に比Ｘを算出して、ＧＨとＲＨをその比Ｘの値に比例して混合する。

また、上記の実施の形態では、高域補間部１９は、標準偏差値の最大値と最小値との比ＸによりＧ信号の高域周波数成分ＧＨとＢ信号の高域周波数成分ＢＨとの混合比を変更して混合信号ＧＢＨを生成するように説明したが、標準偏差値により、上記高域補間信号ＲＧＢＨＩのレベルを変更することで、ノイズを抑えることもできる。この場合は、高域補間部１９は、「１」以下の値の前記比Ｘを「１」から差し引いた値に応じて、次式により高域補間信号ＲＧＢＨＩのレベルを制御する。

ＲＧＢＨＩ＿ＣＴＬ＝ＲＧＢＨＩ・（１−Ｘ） （１０）
高域付加部２０は、（１０）式によりレベル制御された高域補間部１９からの高域補間信号ＲＧＢＨＩ＿ＣＴＬを、低域成分抽出部１６から出力された図６（ｂ）、（ｆ）に示す周波数スペクトラムの低域周波数成分ＲＬ、ＧＬ、ＢＬにそれぞれ加算合成することにより、Ｓ／Ｎ劣化を抑えつつ高解像度化を実現した３原色信号を出力することができる。

なお、以上の実施の形態において、Ｇ用固体撮像素子１２Ｇ、Ｒ用固体撮像素子１２Ｒ、Ｂ用固体撮像素子１２Ｂの各画素の配置位置関係は図２の構成に限らず、Ｇ用固体撮像素子１２Ｇの各画素に対して、Ｒ用固体撮像素子１２Ｒの各画素は水平方向及び垂直方向の少なくとも一方向に１／２画素ピッチずらして配置し、Ｂ用固体撮像素子１２Ｂの各画素は垂直方向及び水平方向の少なくとも一方向に、かつ、Ｒ用固体撮像素子１２Ｒの画素位置と重ならない位置に１／２画素ピッチずらして配置する構成であればよい。

本発明の撮像装置の一実施の形態のブロック図である。 本発明の撮像装置で使用される固体撮像素子の画素配置等の一例を示す図である。 図１中の水平垂直補間部において画素間に０を内挿する様子を示す図である。 図１中の水平垂直補間部の入力ディジタル色信号の周波数スペクトラムの一例を示す図である。 図１中の水平垂直補間部において、０を内挿した際の周波数スペクトラムの一例を示す図である。 図１の各部の信号の周波数スペクトラムの一例を示す図である。 本発明の一実施の形態において、補間する画素の位置を示す図である。 図１中の方向相関検出部における動作の一例を説明するフローチャートである。 図１中の高域補間部における補間動作の一例を説明する図である。 本発明における方向検出部の構成の他の例を説明する図である。 本発明の他の実施の形態における図１中の高域補間部の補間動作を説明するフローチャートである。 特許文献１記載の撮像装置に使用される固体撮像素子の画素配置等の一例を示す図である。 特許文献２記載の撮像装置に使用される固体撮像素子の画素配置等の一例を示す図である。 特許文献３記載の撮像装置における固体撮像素子に設けられている画素配列の色フィルタを示す図である。 図１２に示す画素配置の従来の撮像装置の課題を示す図である。 特許文献３記載の撮像装置の課題を示す図である。

符号の説明

１０ 撮像装置
１１ 色分解光学系
１２Ｒ Ｒ用固体撮像素子
１２Ｇ Ｇ用固体撮像素子
１２Ｂ Ｂ用固体撮像素子
１３ アナログ信号処理回路
１４Ｒ、１４Ｇ、１４Ｂ Ａ／Ｄ変換器
１５ 水平垂直補間部
１６ 低域成分抽出部
１７ 高域成分抽出部
１８ 方向相関検出部
１９ 高域成分補間部
２０ 高域付加部

Claims (10)

1. 入射光を緑色光、赤色光、及び青色光の三原色光に分解する色分解光学手段と、
   前記色分解光学手段からの前記緑色光を、所定画素ピッチで配置された複数の画素により光電変換してＧ信号を出力する第１の固体撮像素子と、
   水平方向及び垂直方向の両方向又はどちらか一方向に１／２画素ピッチずつ前記第１の固体撮像素子の画素に対して画素位置を相対的にずらして配置された複数の画素により、前記色分解光学手段からの前記赤色光を光電変換してＲ信号を出力する第２の固体撮像素子と、
   水平方向及び垂直方向の両方向又はどちらか一方向に１／２画素ピッチずつ前記第１の固体撮像素子の画素に対して画素位置を相対的にずらして、かつ、前記第２の固体撮像素子の画素位置と空間的に重ならない位置に配置された複数の画素により、前記色分解光学手段からの前記青色光を光電変換してＢ信号を出力する第３の固体撮像素子と、
   前記第１〜第３の固体撮像素子からそれぞれ出力された前記Ｇ信号、Ｒ信号、及びＢ信号をディジタル信号に変換した後、互いに独立して各画素間の２次元補間処理を行って補間された信号ＧＩ、ＲＩ、及びＢＩを生成する水平垂直補間手段と、
   前記水平垂直補間手段から出力された前記信号ＧＩ、ＲＩ、及びＢＩに対して、それぞれ２次元ローパスフィルタを用いて２次元空間における低域周波数成分ＧＬ、ＲＬ、及びＢＬを抽出する低域成分抽出手段と、
   前記水平垂直補間手段から出力された前記信号ＧＩ、ＲＩ、及びＢＩと、前記低域成分抽出手段から出力された前記低域周波数成分ＧＬ、ＲＬ、及びＢＬとの同じ色信号成分同士の差分をとって高域周波数成分ＧＨ、ＲＨ、及びＢＨを抽出する高域成分抽出手段と、
   前記第１〜第３の固体撮像素子のすべての画素が実在しない位置の欠落画素を補間画素とし、その補間画素を含む予め設定した複数の方向のうち各方向に、その方向に配置された所定数の各画素の前記高域成分抽出手段から出力された前記高域周波数成分ＧＨ、ＲＨ、及びＢＨから標準偏差を算出し、算出した値が最も小さい標準偏差の方向を相関が最も高い方向として検出する方向相関検出手段と、
   前記高域成分抽出手段から出力された前記高域周波数成分ＧＨ、ＲＨ、及びＢＨのうち、前記方向相関検出手段により検出された相関が最も高い方向に応じた高域周波数成分を、前記補間画素の周波数成分として補間して高域補間信号ＲＧＢＨＩを生成する高域補間手段と、
   前記低域成分抽出手段から出力された前記低域周波数成分ＧＬ、ＲＬ、及びＢＬに、前記高域補間手段から出力された前記高域補間信号ＲＧＢＨＩをそれぞれ加算合成して、Ｇ’信号、Ｒ’信号、及びＢ’信号を生成して出力する高域付加手段と、
   を備えたことを特徴とする撮像装置。
2. 前記方向相関検出手段は、垂直方向、水平方向、任意の角度の斜め方向のうち設定した２以上の方向のそれぞれについて、前記補間画素を通る第１のライン上に配置された該補間画素を含む所定数の各画素の前記高域周波数成分ＧＨ、ＲＨ、又はＢＨの値から算出した第１の標準偏差値と、前記第１のラインに平行な複数の第２のライン上にそれぞれ配置された所定数の各画素の高周波数成分から算出した複数の第２の標準偏差値とを加算合成して、前記設定した２以上の方向の標準偏差値をそれぞれ求め、そのうちの最も値が小さな標準偏差値の方向を相関が最も高い方向として検出することを特徴とする請求項１記載の撮像装置。
3. 前記高域補間手段は、
   前記方向相関検出手段により検出された相関が最も高い方向に応じて補間されるべき高域周波数成分が前記高域周波数成分ＢＨ又はＲＨであるときに、前記方向相関検出手段により算出された前記複数の方向の各方向の標準偏差値の最大値Ｈｍａｘと最小値Ｈｍｉｎとの比Ｘ＝（Ｈｍｉｎ／Ｈｍａｘ）を算出する比算出手段と、
   前記高域周波数成分ＧＨ、ＲＨ、及びＢＨのうち、前記補間画素の画素位置における前記高域周波数成分ＧＨの比率が、前記補間画素の画素位置における前記高域周波数成分ＢＨ又はＲＨに比し、前記比Ｘの値に比例して相対的に大きくなるように混合して第１の混合信号ＧＢＨ又はＧＲＨを生成する第１の混合手段と、
   前記第１の混合信号を前記補間画素の周波数成分として補間して前記高域補間信号ＲＧＢＨＩを生成する高域補間信号生成手段と
   を有することを特徴とする請求項１又は２記載の撮像装置。
4. 前記高域補間手段は、前記高域周波数成分ＧＨ、ＲＨ、及びＢＨのうち、前記補間画素の画素位置に対して前記方向相関検出手段により検出された相関が最も高い方向に隣接する画素位置における前記高域周波数成分ＧＨの比率が、前記補間画素の隣接画素位置における前記高域周波数成分ＢＨ又はＲＨに比し、前記比Ｘの値に比例して相対的に大きくなるように混合して第２の混合信号ＧＢＨ又はＧＲＨを生成する第２の混合手段を更に有し、
   前記高域補間信号生成手段は、前記第１の混合信号を前記補間画素の周波数成分として補間し、かつ、前記第２の混合信号を前記補間画素の隣接画素位置における画素の高域周波数成分とする前記高域補間信号ＲＧＢＨＩを生成することを特徴とする請求項３記載の撮像装置。
5. 前記高域補間手段は、
   前記方向相関検出手段により検出された相関が最も高い方向に応じて補間されるべき高域周波数成分が前記高域周波数成分ＢＨ又はＲＨであるときに、前記方向相関検出手段により算出された前記複数の方向の各方向の標準偏差値の最大値Ｈｍａｘと最小値Ｈｍｉｎとの比Ｘ（＝Ｈｍｉｎ／Ｈｍａｘ）を算出する比算出手段と、
   前記高域成分抽出手段から出力された前記高域周波数成分ＧＨ、ＲＨ、及びＢＨのうち、前記方向相関検出手段により検出された相関が最も高い方向に応じた高域周波数成分を、前記補間画素の周波数成分として補間して第１の高域補間信号を生成する第１の高域補間信号生成手段と、
   前記第１の高域補間信号の振幅を、１から前記比Ｘを減じた値に応じて制御した第２の高域補間信号を前記高域補間信号ＲＧＢＨＩとして生成する第２の高域補間信号生成手段と
   を有することを特徴とする請求項１又は２記載の撮像装置。
6. 入射光を色分解して得た緑色光を、所定画素ピッチで配置された複数の画素により光電変換してＧ信号を出力する第１の固体撮像素子と、
   水平方向及び垂直方向の両方向又はどちらか一方向に１／２画素ピッチずつ前記第１の固体撮像素子の画素に対して画素位置を相対的にずらして配置された複数の画素により、前記入射光を色分解して得た赤色光を光電変換してＲ信号を出力する第２の固体撮像素子と、
   水平方向及び垂直方向の両方向又はどちらか一方向に１／２画素ピッチずつ前記第１の固体撮像素子の画素に対して画素位置を相対的にずらして、かつ、前記第２の固体撮像素子の画素位置と空間的に重ならない位置に配置された複数の画素により、前記入射光を色分解して得た青色光を光電変換してＢ信号を出力する第３の固体撮像素子とを備えた撮像装置の映像信号処理方法であって、
   前記第１〜第３の固体撮像素子からそれぞれ出力された前記Ｇ信号、Ｒ信号、及びＢ信号をディジタル信号に変換する第１のステップと、
   前記ディジタル信号に変換された前記Ｇ信号、Ｒ信号、及びＢ信号を、互いに独立して各画素間の２次元補間処理を行って補間された信号ＧＩ、ＲＩ、及びＢＩを生成する第２のステップと、
   前記信号ＧＩ、ＲＩ、及びＢＩに対して、それぞれ２次元ローパスフィルタを用いて２次元空間における低域周波数成分ＧＬ、ＲＬ、及びＢＬを抽出する第３のステップと、
   前記信号ＧＩ、ＲＩ、及びＢＩと、前記低域周波数成分ＧＬ、ＲＬ、及びＢＬとの同じ色信号成分同士の差分をとって高域周波数成分ＧＨ、ＲＨ、及びＢＨを抽出する第４のステップと、
   前記第１〜第３の固体撮像素子のすべての画素が実在しない位置の欠落画素を補間画素とし、その補間画素を含む予め設定した複数の方向のうち各方向に、その方向に配置された所定数の各画素の前記高域周波数成分ＧＨ、ＲＨ、及びＢＨから標準偏差を算出し、算出した値が最も小さい標準偏差の方向を相関が最も高い方向として検出する第５のステップと、
   前記高域周波数成分ＧＨ、ＲＨ、及びＢＨのうち、前記第５のステップで検出された相関が最も高い方向に応じた高域周波数成分を、前記補間画素の周波数成分として補間して高域補間信号ＲＧＢＨＩを生成する第６のステップと、
   前記低域周波数成分ＧＬ、ＲＬ、及びＢＬに、前記高域補間信号ＲＧＢＨＩをそれぞれ加算合成して、Ｇ’信号、Ｒ’信号、及びＢ’信号を生成して出力する第７のステップと、
   を含むことを特徴とする映像信号処理方法。
7. 前記第５のステップは、垂直方向、水平方向、任意の角度の斜め方向のうち設定した２以上の方向のそれぞれについて、前記補間画素を通る第１のライン上に配置された該補間画素を含む所定数の各画素の前記高域周波数成分ＧＨ、ＲＨ、又はＢＨの値から算出した第１の標準偏差値と、前記第１のラインに平行な複数の第２のライン上にそれぞれ配置された所定数の各画素の高周波数成分から算出した複数の第２の標準偏差値とを加算合成して、前記設定した２以上の方向の標準偏差値をそれぞれ求め、そのうちの最も値が小さな標準偏差値の方向を相関が最も高い方向として検出することを特徴とする請求項６記載の映像信号処理方法。
   
8. 前記第６のステップは、
   前記第５のステップにより検出された相関が最も高い方向に応じて補間されるべき高域周波数成分が前記高域周波数成分ＢＨ又はＲＨであるときに、前記第５のステップにより算出された前記複数の方向の各方向の標準偏差値の最大値Ｈｍａｘと最小値Ｈｍｉｎとの比Ｘ（＝Ｈｍｉｎ／Ｈｍａｘ）を算出する比算出ステップと、
   前記高域周波数成分ＧＨ、ＲＨ、及びＢＨのうち、前記補間画素の画素位置における前記高域周波数成分ＧＨの比率が、前記補間画素の画素位置における前記高域周波数成分ＢＨ又はＲＨに比し、前記比Ｘの値に比例して相対的に大きくなるように混合して第１の混合信号ＧＢＨ又はＧＲＨを生成する第１の混合信号生成ステップと、
   前記第１の混合信号を前記補間画素の周波数成分として補間して前記高域補間信号ＲＧＢＨＩを生成する高域補間信号生成ステップと
   を含むことを特徴とする請求項６又は７記載の映像信号処理方法。
9. 前記第６のステップは、前記高域周波数成分ＧＨ、ＲＨ、及びＢＨのうち、前記補間画素の画素位置に対して前記第５のステップにより検出された相関が最も高い方向に隣接する画素位置における前記高域周波数成分ＧＨの比率が、前記補間画素の隣接画素位置における前記高域周波数成分ＢＨ又はＲＨに比し、前記比Ｘの値に比例して相対的に大きくなるように混合して第２の混合信号ＧＢＨ又はＧＲＨを生成する第２の混合信号生成ステップを更に含み、
   前記高域補間信号生成ステップは、前記第１の混合信号を前記補間画素の周波数成分として補間し、かつ、前記第２の混合信号を前記補間画素の隣接画素位置における画素の高域周波数成分とする前記高域補間信号ＲＧＢＨＩを生成することを特徴とする請求項８記載の映像信号処理方法。
10. 前記第６のステップは、
    前記第５のステップにより検出された相関が最も高い方向に応じて補間されるべき高域周波数成分が高域周波数成分ＢＨ又はＲＨであるときに、前記第５のステップにより算出された前記複数の方向の各方向の標準偏差値の最大値Ｈｍａｘと最小値Ｈｍｉｎとの比Ｘ（＝Ｈｍｉｎ／Ｈｍａｘ）を算出する比算出ステップと、
    前記高域周波数成分ＧＨ、ＲＨ、及びＢＨのうち、前記第５のステップにより検出された相関が最も高い方向に応じた高域周波数成分を、前記補間画素の周波数成分として補間して第１の高域補間信号を生成する第１の高域補間信号生成ステップと、
    前記第１の高域補間信号の振幅を、１から前記比Ｘを減じた値に応じて制御した第２の高域補間信号を前記高域補間信号ＲＧＢＨＩとして生成する第２の高域補間信号生成ステップと
    を含むことを特徴とする請求項６又は７記載の映像信号処理方法。

Images