JP5056927B2 - 画像処理装置、画像処理方法および撮像装置 - Google Patents

Description

本発明は、画像処理装置、画像処理方法および撮像装置に関し、所定の色コーディング（色配列パターン）の色フィルタを有する固体撮像装置の出力信号を処理する画像処理装置および画像処理方法、並びにこれら画像処理装置または画像処理方法を用いた撮像装置に関する。

近年、一つの固体撮像素子を用いてカラーディジタル画像を記録する装置、例えば単板式ディジタルスチルカメラ、単板式ディジタルビデオカメラ等の撮像装置において、そのシステムが有する固体撮像素子の多画素化が進んでいる。こうしたシステムにおいて、固体撮像素子の各画素上に配置するＯＣＣＦ(On Chip Color Filter)の色配列パターンには様々なものが考えられるが、その色配列パターンに依存して各色における空間サンプリング周波数が異なる。

そして、各色における空間サンプリング周波数が異なると、出力画像の輝度解像度、色解像度、偽色等に影響が及ぶことが知られている。例えば、ベイヤー配列と呼ばれる色配列パターンでは、図２５に示すように、奇数行目に赤色（Ｒ）画素と緑色（Ｇ）画素とを交互に配置し、偶数行目に緑色（Ｇ）画素と青色（Ｂ）画素とを交互に配置した色コーディングとなっている。

このベイヤー配列は、一般的に人間の目が敏感とされる輝度（Ｙ）信号の主成分であるＧ画素を、一般的に人間の目が鈍感とされるクロマ（Ｃ）信号の主成分であるＲ画素、Ｂ画素に対して多く配列することにより、出力画像の視感度特性をある程度向上した例と言える。

しかし、ベイヤー配列の色コーティングは、人間の視感度特性にとって最適であるとは言えない。何故ならば、人間の目の特性として、輝度に関しては高い周波数まで認識することができるが、色に関しては高い周波数を認識することが困難であるいう性質があるからである。

また、撮像装置の信号処理において、空間的に位相が異なるＲＧＢ信号から輝度信号や色差信号を生成することは色偽信号を作る原因となるために、同じ空間位相のＲＧＢ信号を作った上で輝度信号処理および色差信号処理を行わなければならない。したがって、補間処理によって、空間的に位相が異なるＲＧＢ信号から同空間位相のＲＧＢ信号をいかに最適に作ることができるかが重要になってくる。

この補間処理を行うために、従来は、補間画素に関して左右および上下の４方向の４つの画素情報に基づいてその４方向に対する相関値を算出し、この算出した４方向に対する相関値を基に補間係数を決定し、この決定した補間係数を用いて上記４つの画素情報を基に補間処理を行うようにしていた（例えば、特許文献１参照）。

特開平１１−１７７９９４号公報

しかしながら、上記従来技術では、高い輝度解像度が得られる一方で、Ｃ信号の主成分となる色の空間サンプリング周波数が低下するために、十分な色解像度が得られないばかりか、偽色の発生原因となる問題があった。

本発明は、これらの問題を解決するために為されたものであり、その第一の目的とするところは、ＯＣＣＦの色配列パターンと適切な補間処理とにより高い輝度解像度を得ることができることに加えて、偽色をより低減可能な画像処理装置、画像処理方法および撮像装置を提供することにある。

本発明はさらに、ＯＣＣＦの色配列パターンと適切な補間処理とにより高い輝度解像度を得ることができることに加えて、色解像度を損なうことない画像処理装置、画像処理方法および撮像装置を提供することを第二の目的としている。

上述の目的を達成するために、本発明では、所定の色配列パターンのフィルタを有する固体撮像素子から出力される画像信号中の第一の色信号と第二の色信号との色差信号を生成し、色差信号生成手段で生成された色差信号に対して、固体撮像素子の注目画素の第一の色信号のレベルと注目画素の周囲に存在する第一の色信号のレベルとの差分絶対値の関数を補間係数として補間処理を行い、色差信号生成手段からの色差信号に対して、固体撮像素子の補間位置と補間に用いる画素位置との距離を参照して第２の補間処理を行い第一の色信号の周波数帯域を基に第一の補間手段を経た色差信号と第二の補間手段を経た色差信号とを混合して出力する、という構成をとっている。

この補間処理での補間原理は、上記色配列パターンにおいて、第一の色の色フィルタは第一の色の光成分のみならず、第二の色の光成分をも少なからず透過しているということを前提としている。この前提の下に、注目画素の第一の色信号のレベルと注目画素の周囲に存在する第一の色信号のレベルとの差分絶対値の関数を補間係数として色差信号の補間を行う、即ち第一の色信号レベルを色差信号の補間に用いることで、色差信号の苦手とする周波数帯域の信号遷移を、高周波を捕らえられる第一の色信号レベルに追従させることが可能となるために、色解像度を上げることができる。

本発明によれば、クロマ信号の主成分となる色の空間サンプリング周波数が低くなるような色フィルタの色配列パターンを採用しても、最終的な色差信号の絶対値を小さくするような第一の色信号を新たに補間して生成し、この生成した第一の色信号を用いて色差信号を生成することで、色差信号を求める際にサンプリング周波数の低さが原因で発生する偽色を低減でき、また第一の色信号レベルを色差信号の補間に用いることで、色解像度を上げることができる。

本発明に係るディジタルビデオカメラの記録系システム構成の一例を示すブロック図である。 ＯＣＣＦの色配列パターン（色コーティング）の一例を示す図である。 本色配列パターンのＧ限界解像度とＲＢ限界解像度を示す図である。 補間処理回路の具体的な構成の一例を示すブロック図である。 Ｙ信号用Ｇ補間回路での補間処理の説明図である。 本色配列パターンでＧのみを抜き出した画素配列を示す図である。 Ｙ信号用Ｇ補間回路での具体的な補間処理の一例の手順を示すフローチャートである。 ＨＶ方向のバンドパスフィルタの周波数特性を示す図である。 ＮＨ、ＮＶ方向のバンドパルスフィルタの周波数特性を示す図である。 解像度チャートを示す図である。 周波数チャートにおける各ポイントとその相関値の関係を示す相関線図である。 相関値と補間値の関係を示す図である。 色差信号生成回路での処理を説明する概念図である。 Ｃ信号補間用Ｇ補間回路での処理の説明図である。 周波数帯域検出回路（１）での処理の説明図である。 色差信号混合回路（１）での処理の説明図である。 色差信号混合回路（１）での処理の具体例を示す図である。 中心画素補間回路での処理の説明図である。 メディアン補間の処理の説明図である。 Ｇレベル補間回路でのＧレベル補間の説明図である。 距離補間回路での処理の説明図である。 周波数帯域検出回路（２）での処理の説明図である。 色差信号混合回路（２）での処理の説明図である。 色差信号混合回路（２）での処理の具体例を示す図である。 ベイヤー配列の色配列パターンを示す図である。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明に係る画像処理装置または画像処理方法を用いた撮像装置、例えばディジタルビデオカメラの記録系システム構成の一例を示すブロック図である。

ここに、撮像装置とは、撮像デバイスとしての固体撮像素子、当該固体撮像素子の撮像面（受光面）上に被写体の像光を結像させる光学系および当該固体撮像素子の信号処理回路を含むカメラモジュール、当該カメラモジュールを搭載したディジタルスチルカメラやディジタルビデオカメラ等のカメラ装置、携帯電話等の電子機器に搭載されるカメラ装置を言うものとする。

図１において、被写体（図示せず）からの像光Ｌ１は、光学系、例えば撮像レンズ１１によって撮像デバイスである固体撮像素子１２の撮像面上に集光される。固体撮像素子１２は、光電変換素子を含む画素が行列状に多数２次元配置され、輝度（Ｙ）信号を作る上で主成分となる色成分（特許請求の範囲における第一の色信号に相当）と、クロマ（Ｃ）信号を作る上で主成分となる色成分（特許請求の範囲における第二の色信号に相当）とを含むＯＣＣＦ（色フィルタ）が画素の表面上に配置された構成となっている。

固体撮像素子１２としては、ＣＣＤ(Charge Coupled Device)型固体撮像素子に代表される電荷転送型固体撮像素子、ＭＯＳ(Metal Oxide Semiconductor)型固体撮像素子に代表されるＸ−Ｙアドレス型固体撮像素子のいずれであっても良い。撮像レンズ１１によって集光された光成分Ｌ２のうち、各ＯＣＣＦの透過色成分のみがフィルタを通過して固体撮像素子１２の各画素に入射する。画素の各々に入射した光は、フォトダイオード等の光電変換素子によって光電変換される。

以下の説明では、ＯＣＣＦにおいて、輝度信号を作る上で主成分となる色成分として例えば緑色（Ｇ）を、クロマ信号を作る上で主成分となる色成分として例えば赤色（Ｒ）、青色（Ｂ）をそれぞれ例に挙げて説明するものとする。ただし、本発明はこれらの色成分の組み合わせに限られるものではなく、Ｙ成分を作る上で主成分となる色成分として、例えばホワイト、シアン、イエローなどを用い、Ｃ成分を作る上で主成分となる色成分として、例えばマゼンタ、シアン、イエローなどを用いることも可能である。

（ＯＣＣＦの色配列パターン）
図２は、ＯＣＣＦの色配列パターン（色コーティング）の一例を示す図である。図２に示すように、本色配列パターンは、画素が水平方向（画素行に沿った方向；行方向）および垂直方向（画素列に沿った方向；列方向）で等間隔（画素ピッチ）ｄとなるように正方格子状に配列されている画素配列に対して、１行目は水平方向の４画素を単位としてＲＧＢＧの繰り返しで配列され、２行目はＧのみが配列され、３行目は水平方向の４画素を単位としてＢＧＲＧの繰り返しで配列され、４行目はＧのみが配列され、以降、この４行を単位として繰り返して配列された構成となっている。

すなわち、本ＯＣＣＦの色配列パターンにおいては、図２から明らかなように、Ｙ信号を作る上で主成分となる色成分（本例では、Ｇ）と、Ｃ信号を作る上で主成分となる色成分（本例では、Ｒ，Ｂ）が、ＧでＲ，Ｂの各々の周囲を囲むように配置され、またＲ，Ｂが水平・垂直に対して４ｄの間隔で配置された構成となっている。

かかる構成の色配列パターン（色コーディング）において、サンプリングレートを水平・垂直方向で考えた場合に、画素間のサンプリングレートを画素ピッチに対応したｄとすると、Ｇのサンプリングレートはｄであり、Ｒ，Ｂのサンプリングレートは２ｄである。すなわち、Ｒ，Ｂは、水平・垂直方向のサンプリングレートがＧに対して１／２のレートとなるように１列おき（本例では奇数列）および１行おき（本例では奇数行）に配置されている。したがって、ＧとＲ，Ｂの間に水平・垂直方向に２倍の解像度の差がある。また、サンプリングレートを斜め４５°方向で考えると、Ｇのサンプリングレートはｄ／２√２であり、Ｒ，Ｂのサンプリングレートは２ｄ／√２である。

ここで、空間周波数特性について考える。水平・垂直方向については、Ｇのサンプリングレートがｄであるために、サンプリング定理から（１／２）ｆｓの周波数の信号まで捉えることができる。斜め４５°方向については、Ｇのサンプリングレートがｄ／２√２であるために、サンプリング定理から（１／√２）ｆｓの信号まで捉えることができる。

同様にＲ，Ｂについて考える。ＲとＢは画素配列の間隔が同じであるため、同様に考えることができる。したがって、ここではＲだけについて述べる。

Ｒの空間周波数特性に関して、水平・垂直方向については、Ｒのサンプリングレートが２ｄであるために、サンプリング定理から１／４ｆｓの周波数の信号まで捉えることが可能であり、斜め４５°方向については、Ｒのサンプリングレートがｄ／２√２であるために、サンプリング定理から（１／４√２）ｆｓの信号まで捉えることができる。

以上のことを踏まえ、本ＯＣＣＦの色配列パターンの空間周波数特性を図３に示す。Ｇは水平・垂直方向に関して（１／２）ｆｓまでの信号を、斜め４５°方向に関して（１／√２）ｆｓまでの信号を捉えることができる。また、Ｒ，Ｂは水平・垂直方向に関して（１／４）ｆｓまでの信号を、斜め４５°方向に関して（１／４√２）ｆｓまでの信号を捉えることができる。

図３において、点線はベイヤー配列のＧ限界解像度とＲＢ限界解像度を示している。このベイヤー配列のＧ限界解像度との対比から明らかなように、本ＯＣＣＦの色配列パターンの場合には、ベイヤー配列に対して約２倍の輝度解像度を得ることが可能になる。

なお、固体撮像素子１２のＯＣＣＦ色配列パターンとしては、図２に示す色配列パターンに限られるものではなく、ベイヤー配列など周知の色配列パターンであっても良い。ただし、高い輝度解像度を得る上では、図２に示す色配列パターンなど、Ｙ信号を作る上で主成分となる色成分（本例では、Ｇ）と、Ｃ信号を作る上で主成分となる色成分（本例では、Ｒ，Ｂ）が、ＧでＲ，Ｂの各々の周囲を囲むように配置された色配列パターンが好ましい。

Ｙ信号を作る上で主成分となるＧとＣ信号を作る上で主成分となるＲ，Ｂが、ＧでＲ，Ｂの各々の周囲を囲むように配置された色配列パターンとしては図２に示す色配列パターンの他に、例えば、正方格子状の画素配列に対して、１行目は水平方向の４画素を単位としてＲＧＧＧの繰り返しで配列し、２行目はＧのみを配列し、３行目は水平方向の４画素を単位としてＧＧＢＧの繰り返しで配列し、４行目はＧのみを配列し、以降、この４行を単位として繰り返して配列した色配列パターンが挙げられる。

さらに、図２に示す正方格子状の画素配列の画素ピッチｄに対して、水平・垂直方向の各画素ピッチを√２ｄとし、各画素が１行毎および１列毎に画素ピッチ√２ｄの１／２ずつずれた（奇数行と偶数行で水平方向に画素ピッチの１／２だけ、奇数列と偶数列で垂直方向に画素ピッチの１／２だけ画素がずれた）、いわゆる斜め画素配列に対して、１行目はＧとＲが交互に配列されたＧＲライン、２行目はＧのみが配列されたＧライン、３行目はＢとＧが交互に配列されたＧＢライン、４行目はＧのみが配列されたＧライン、以降、この４行を単位として繰り返して配列された色配列パターンなどが挙げられる。

図１に説明を戻す。固体撮像素子１２の各画素で光電変換されて得られるアナログ信号Ｅ１は、Ａ／Ｄ変換器１３によってデジタル信号Ｓ１に変換された後、本発明に係る画像処理装置であるカメラ信号処理部１４に入力される。

カメラ信号処理部１４は、光学系補正回路２１、ホワイトバランス処理回路２２、補間処理回路２３、ガンマ補正処理回路２４、Ｙ（輝度）信号処理回路２５およびＣ（クロマ）信号処理回路２６等を有する構成となっている。

光学系補正回路２１は、カメラ信号処理回路１４に入力されるデジタル信号Ｓ１に対して黒レベルを合わせるデジタルクランプ、撮像デバイス１２の欠陥を補正する欠陥補正、撮像レンズ１１の周辺光量落ちを補正するシェーディング補正など、固体撮像素子１２や光学系に関する補正を行う。

ホワイトバランス処理回路２２は、白い被写体に対してＲＧＢが同じになるようにホワイトバランスを調整する処理を光学系補正回路２１を経た信号Ｓ２に対して行う。補間処理回路２３は、ホワイトバランス処理回路２２を経た信号Ｓ３が各色で空間サンプリング周波数が異なるため、固体撮像素子１２のＯＣＣＦ配置パターンに依存した補間処理を行うことによって各画素に対する同時化を行うことで、空間位相の揃ったＲＧＢ信号Ｒ１，Ｇ１，Ｂ１を作り出す。この補間処理回路２３における具体的な補間処理が本発明の特徴とするところであり、その詳細については後述する。

ガンマ補正処理回路２４は、空間位相の揃ったＲＧＢ信号Ｒ１，Ｇ１，Ｂ１に対してガンマ補正（１／γ）の処理を行ってＲＧＢ信号Ｒ２，Ｇ２，Ｂ２に変換した後Ｙ信号処理回路２５およびＣ信号処理回路２６に供給する。Ｙ信号処理回路２５およびＣ信号処理回路２６は、ＲＧＢ信号Ｒ２，Ｇ２，Ｂ２から所望のビデオ信号、即ち輝度信号Ｙ１および色差信号Ｃｒ１、Ｃｂ１を生成する。

次に、本発明の特徴部分である補間処理回路２３の具体的な構成について説明する。図４は、補間処理回路２３の具体的な構成の一例を示すブロック図である。

図４に示すように、本例に係る補間処理回路２３は、Ｙ信号用Ｇ補間回路３１、色差信号生成回路３２、Ｃ信号補間用Ｇ補間回路３３、色差生成回路３４、周波数帯域検出回路（１）３５、色差信号混合回路（１）３６、中心画素補間回路３７、Ｇレベル補間回路３８、中心画素補間回路３９、距離補間回路４０、周波数帯域検出回路（２）４１、色差混合回路（２）４２および色差信号戻し回路４３を有する構成となっている。

Ｙ信号用Ｇ補間回路３１は、図５に示すように、入力信号（ホワイトバランス処理回路２２の出力信号）Ｓ３のＧ信号から、高いＹ解像度を得るための信号Ｇ１を補間処理によって生成する。ここで、Ｙ信号用Ｇ補間回路３１での具体的な補間処理の一例について説明する。

図２のＯＣＣＦの色配列パターンにおいてＧだけを抜き出した画素配列（色配列）を図６に示す。先ず、図６の画素配列において、補間画素Ｘに対してＧが水平・垂直・斜め方向の周辺８画素、即ち画素Ｇ４，Ｇ５，Ｇ６，Ｇ８，Ｇ９，Ｇ１１，Ｇ１２，Ｇ１３に存在している。ベイヤー配列の色コーディングでは、水平・垂直４方向にしかＧの画素が存在しなかった補間画素Ｘを観察すると、Ｇの画素が碁盤の目のように配置されていることがわかる。このことが高解像度を実現する上でも非常に重要である。

本例に係る補間処理では、水平・垂直方向の相関だけでなく斜め方向の相関も算出し、水平・垂直方向の相関と斜め方向の相関の関係から、実際にどの画素を用いて補間を行ったらよいかを判断しつつ補間処理を行うことを特徴としている。

本例に係る補間処理の手順について、図７のフローチャートに沿って説明する。ここでは、水平方向をＨ方向、垂直方向をＶ方向、Ｈ方向に対して４５°右回転した軸方向をＮＨ方向、Ｈ方向に対して４５°左回転した軸方向をＮＶ方向と記述することとする。

〈ステップＳ１１，Ｓ１２〉
図６の画素Ｘを補間画素（補間対象の注目画素）とし（ステップＳ１１）、先ず、ＨＶ方向の相関値を算出する（ステップＳ１２）。具体的には、補間画素Ｘの左斜め上の画素Ｇ４を中心としてバンドパスフィルタによるフィルタリングをＨＶ方向にかけることで、ＨＶ方向の相関値を算出する。このＨＶ方向のバンドパスフィルタの周波数特性（フィルタ特性）を図８に示す。

ここで、バンドパスフィルタの水平方向の出力をＢｐｆ_Ｈ_Ｇ４、垂直方向の出力をＢｐｆ_Ｖ_Ｇ４とすると、
Ｂｐｆ_Ｈ_Ｇ４＝−Ｇ３＋２Ｇ４−Ｇ５
Ｂｐｆ_Ｖ_Ｇ４＝−Ｇ１＋２Ｇ４−Ｇ８
なるフィルタリング結果が得られる。

次に、画素Ｇ４に対するＨ方向の相関値Ｓ_Ｈ_Ｇ４を、フィルタ特性が同じバンドパスフィルタの水平・垂直方向のフィルタ出力Ｂｐｆ_Ｈ，Ｂｐｆ_Ｖの割合、具体的には次式から算出する。
Ｓ_Ｈ_Ｇ４＝Ｂｐｆ_Ｖ／（Ｂｐｆ_Ｈ＋Ｂｐｆ_Ｖ）
ここで、Ｖ方向の相関値Ｓ_Ｖ_Ｇ４については、Ｓ_Ｖ_Ｇ４＝１−Ｓ_Ｈ_Ｇ４であり、Ｈ方向の相関値Ｓ_Ｈ_Ｇ４さえ算出してしまえば容易に算出できるために、ここでは特に算出しない。

この一連の処理で、画素Ｇ４を中心としたＨＶ方向の相関値Ｓ_Ｈ_Ｇ４，Ｓ_Ｖ_Ｇ４を算出したことになる。ここで、例えば、Ｈ方向の相関値Ｓ_Ｈ_Ｇ４が１．０でＶ方向相関値Ｓ_Ｖ_Ｇ４が０．０であるときには、Ｖ方向の相関値Ｓ_Ｖ_Ｇ４で画素Ｘを補間すると良い結果が得られる。

補間画素Ｘの左斜め上の画素Ｇ４を中心としたＨ方向の相関値Ｓ_Ｈ_Ｇ４の算出と同様にして、右斜め上の画素Ｇ６、左斜め下の画素Ｇ１１、右斜め下の画素Ｇ１３の各々を中心としたＨ方向の相関値Ｓ_Ｈ_Ｇ６，Ｓ_Ｈ_Ｇ１１，Ｓ_Ｈ_Ｇ１３についても算出する。

ここまでの処理、即ちステップＳ１２での処理により、補間画素Ｘの周囲４画素Ｇ４，Ｇ６，Ｇ１１，Ｇ１３を中心としたＨＶ方向の相関値Ｓ_Ｈ_Ｇ４，Ｓ_Ｈ_Ｇ６，Ｓ_Ｈ_Ｇ１１，Ｓ_Ｈ_Ｇ１３が算出されたことになる。

〈ステップＳ１３〉
次に、４つの相関値Ｓ_Ｈ_Ｇ４，Ｓ_Ｈ_Ｇ６，Ｓ_Ｈ_Ｇ１１，Ｓ_Ｈ_Ｇ１３の中から補間画素Ｘの補正に適用する相関値を選択する、具体的には４つの相関値の中で最も相関の高い、即ち信頼度の高い２つを補間画素Ｘの相関値として採用する（ステップＳ１３）。これは、隣接画素において相関値はほぼ等しいものであるという考え方に基づくものである。

補間画素Ｘの相関値を選択するには、４つの相関値を算出する過程で算出したバンドパスフィルタの出力値を用いて行う。具体的には、例えば、画素Ｇ４の相関信頼値Ｂｐｆ_Ｍａｘを次式から算出する。
Ｂｐｆ_Ｍａｘ＝|Ｂｐｆ_Ｈ_Ｇ４|＋|Ｂｐｆ_Ｖ_Ｇ４|
この相関信頼値Ｂｐｆ_Ｍａｘの算出を画素Ｇ４，Ｇ６，Ｇ１１，Ｇ１３の４点に対して行う。そして、相関信頼値Ｂｐｆ_Ｍａｘの大きいものの相関値を、補間画素Ｘの相関値として採用する。

バンドパスフィルタの出力が大きいということはその画素周囲では大きな振幅の信号が存在し、信号がノイズではなく画像によるものであることが言える。逆に、バンドパスフィルタの出力が小さい場合には信号がノイズに埋もれていて相関の信頼性が低く、相関値を信用することが難しい。つまり、相関信頼値Ｂｐｆ_Ｍａｘが大きい相関値が、信頼性が高いものということが言える。

また、信頼度算出では、相関信頼値Ｂｐｆ_Ｍａｘ、即ちフィルタ出力の合計値ではなく、|Ｂｐｆ_Ｈ−Ｂｐｆ_Ｖ|の結果、即ちフィルタ出力の差分値の大きいものを選択するようにしてもよい。これには、バンドパスフィルタのＨ方向の出力Ｂｐｆ_ＨとＶ方向の出力Ｂｐｆ_Ｖの差が大きい、つまり水平・垂直方向に強い相関をもっていることが言えるので、相関の強い部分の相関値を採用するという目的がある。

〈ステップＳ１４〉
次に、採用した上位２箇所の相関値を平均して１つの相関値にする。このとき、相関信頼値Ｂｐｆ_Ｍａｘの最大のものを選択することで、４つの相関値から１つの水平・垂直の相関値を選択することも可能であるであるが、上位２箇所の相関値の平均値を採用することで、よい結果が得られている。また、４つの相関値から上位３箇所の相関値を採用してそれらの平均値をとるやり方も考えられる。

上述したステップＳ１２〜Ｓ１４の各処理と並行して、以下に説明するステップＳ１５〜Ｓ１７の各処理が実行される。

〈ステップＳ１５〉
先ず、ＮＨ，ＮＶ方向の相関値を算出する（ステップＳ１５）。具体的には、補間画素Ｘの上の画素Ｇ５を中心としてバンドパスフィルタによるフィルタリングを斜め方向にかける。このＮＨ，ＮＶ方向のバンドパルスフィルタの周波数特性を図９に示す。

ここで、バンドパスフィルタのＮＨ方向の出力をＢｐｆ_ＮＨ_Ｇ５、ＮＶ方向の出力をＢｐｆ_ＮＶ_Ｇ５とすると、
Ｂｐｆ_ＮＨ_Ｇ５＝−Ｇ１＋２Ｇ５−Ｇ９
Ｂｐｆ_ＮＶ_Ｇ５＝−Ｇ２＋２Ｇ５−Ｇ８
なるフィルタリング結果が得られる。

次に、画素Ｇ５に対するＮＨ方向の相関値Ｓ_ＮＨ_Ｇ５を次式から算出する。
Ｓ_ＮＨ_Ｇ５＝Ｂｐｆ_ＮＶ_Ｇ５／（Ｂｐｆ_ＮＨ_Ｇ５＋Ｂｐｆ_ＮＶ_Ｇ５）
ここで、ＮＶ方向の相関値Ｓ_ＮＶ_Ｇ５については、Ｓ_ＮＶ_Ｇ５＝１−Ｓ_ＮＨ_Ｇ５であり、ＮＨ方向の相関値Ｓ_ＮＨ_Ｇ５さえ算出してしまえば容易に算出できるために、ここでは特に算出しない。

補間画素Ｘの上の画素Ｇ５を中心としたＮＨ方向の相関値Ｓ_ＮＨ_Ｇ５の算出の場合と同様にして、左の画素Ｇ８、右の画素Ｇ９、下の画素Ｇ１２の各々を中心としたＮＨ方向の相関値Ｓ_ＮＨ_Ｇ８，Ｓ_ＮＨ_Ｇ９，Ｓ_ＮＨ_Ｇ１２についても同様にして算出する。

ここまでの処理により、補間画素Ｘの周囲、即ち上、左、右、下の４画素Ｇ５，Ｇ８，Ｇ９，Ｇ１２の各々を中心としたＮＨ方向の相関値Ｓ_ＮＨ_Ｇ４，Ｓ_ＮＨ_Ｇ６，Ｓ_ＮＨ_Ｇ１１，Ｓ_ＮＨ_Ｇ１３が算出されたことになる。

〈ステップＳ１６〉
次いで、４つの相関値Ｓ_ＮＨ_Ｇ４，Ｓ_ＮＨ_Ｇ６，Ｓ_ＮＨ_Ｇ１１，Ｓ_ＮＨ_Ｇ１３から補間画素Ｘに適用する相関値を選択する、具体的には４つの相関値の中で最も信頼度の高い２つを補間画素Ｘの相関値として採用する（ステップＳ１６）。このように、信頼度の高い相関値２つに絞る処理は、先述したステップＳ１３の処理の場合と同様である。

〈ステップＳ１７〉
次に、採用した上位２箇所の相関値を平均して１つの相関値にする。この１つの相関値を求める処理は、先述したステップＳ１４の処理と同様である。この場合にも、４つの相関値から１つの水平・垂直の相関値を選択したり、あるいは、４つの相関値から上位３箇所の相関値を採用してそれらの平均値をとったりするやり方を採ることも可能である。

ここまでの処理、即ちステップＳ１２〜Ｓ１４の処理により、Ｈ方向の相関値Ｓ_Ｈが求まり、ステップＳ１５〜Ｓ１７の処理により、ＮＨ方向の相関値Ｓ_ＮＨが求まったことになる。

〈ステップＳ１８〉
次に、２つの相関値Ｓ_Ｈ，Ｓ_ＮＨを使ってどの方向に相関が強いかを算出する（ステップＳ１８）。ここで、２つの相関値Ｓ_Ｈ，Ｓ_ＮＨを観察すると、ある特徴があることが分かる。図１０に示す解像度チャートで考えると、２つの相関値Ｓ_Ｈ，Ｓ_ＮＨから様々な直線について直線の向き（傾き）が分かる。

ここに、「解像度チャート」とは、中心部分が低周波の信号であり、中心からの距離が大きくなるにつれて高周波の信号となるチャートである。また、同じ周波数の信号でも様々な方向を持っている。したがって、この解像度チャートの信号を信号処理回路に入力することで、様々な信号に対してどのような処理が適するかを分析することができる。

例えば、図１０の（ａ）点〜（ｅ）点の信号が入力された場合、上述したステップＳ１２〜Ｓ１７の処理を行うと、２つの相関値Ｓ_Ｈ，Ｓ_ＮＨは、（ａ）点では、
Ｓ_Ｈ＝１．０（Ｓ_Ｖ＝０．０），Ｓ_ＮＨ＝０．５（Ｓ_ＮＶ＝０．５）
となる。これから、ＨＶ方向ではＨ方向に強い相関があり、ＮＨ，ＮＶ方向ではＮＨ方向とＮＶ方向で同じ相関、つまり相関がないことが分かる。

（ｂ）点では、
Ｓ_Ｈ＝０．５（Ｓ_Ｖ＝０．５），Ｓ_ＮＨ＝１．０（Ｓ_ＮＶ＝０．０）
となる。すなわち、ＨＶ方向では相関がない。ＮＨ，ＮＶ方向ではＮＨ方向に強い相関がある。

（ｃ）点では、
Ｓ_Ｈ＝０．０（Ｓ_Ｖ＝１．０），Ｓ_ＮＨ＝０．５（Ｓ_ＮＶ＝０．５）
となる。すなわち、ＨＶ方向ではＶ方向に強い相関がある。ＮＨ，ＮＶ方向では相関がない。

（ｄ）点では、
Ｓ_Ｈ＝０．５（Ｓ_Ｖ＝０．５），Ｓ_ＮＨ＝０．０（Ｓ_ＮＶ＝１．０）
となる。すなわち、ＨＶ方向では相関がない。ＮＨ，ＮＶ方向ではＮＶ方向に強い相関がある。

（ｅ）点では、
Ｓ_Ｈ＝１．０（Ｓ_Ｖ＝０．０），Ｓ_ＮＨ＝０．５（Ｓ_ＮＶ＝０．５）
となる。すなわち、（ａ）点と同じく、ＨＶ方向ではＨ方向に強い相関がある。ＮＨ，ＮＶ方向では相関がない。

また、周波数チャートにおける各ポイントとその相関値の関係を表すと図１１のようになる（以下、これを相関線と呼ぶ）。すなわち、相関線は、相関値を異なった方向に対して最低２パターン算出し、当該最低２パターンの相関値を様々な角度の直線に対してプロットして得たものである。図１１の相関線図において、一点鎖線（Ａ）がＨＶ方向の相関値Ｓ_Ｈを、二点鎖線（Ｂ）がＮＨ，ＮＶ方向の相関値Ｓ_ＮＨをそれぞれ表している。

そして、周波数チャートの各ポイント（角度）を横軸にとると、ある方向に相関がある場合に、一点鎖線（Ａ）と二点鎖線（Ｂ）で示された値が相関の強い方向性を示すことになる。無論、上記（ａ）点〜（ｅ）点の信号は図１１の相関線図上に分布している。このようにして、２つの相関値Ｓ_Ｈ，Ｓ_ＮＨと図１１の相関線図を比較することで、相関の強い方向性、即ち一点鎖線（Ａ）と二点鎖線（Ｂ）で示された相関値を求める（ステップＳ１８）。

〈ステップＳ１９，Ｓ２０〉
そして、相関の強い方向性について相関の信頼度があるか否かを判断し（ステップＳ１９）、２つの相関値Ｓ_Ｈ，Ｓ_ＮＨが２つの相関直線（Ａ），（Ｂ）にのる場合は、相関の信頼度があるものとして、相関がある方向の画素で補間を行う（ステップＳ２０）。例えば、（ａ）点の場合はＨ方向の相関が強いのでＸ＝（Ｇ８＋Ｇ９）／２で補間し、（ｂ）点の場合はＮＨ方向の相関が強いのでＸ＝（Ｇ４＋Ｇ１３）／２で補間する。また、（ｃ）点と（ｂ）点の間の相関値が算出される（ｆ）点の場合には、Ｓ_Ｈ≒０．２５，Ｓ_ＮＨ≒０．７５を示すことから、その方向の画素を用いてＸ＝（Ｇ１＋Ｇ１６）／２で補間する。

また、（ｂ）点と（ｆ）点の中間などの中間ポイントについては、（ｂ）点の補間値と（ｆ）点の補間値に重みを付けて補間する。この相関値と補間値の関係を図１２に示す。すなわち、補間値の中間ポイントでは、相関値と補間値の関係を基に線形補間を行う。一例として、図１２のポイントＰの場合は、重み付け係数をａとすると、Ｘ＝｛（Ｇ６＋Ｇ１１）／２｝＊ａ＋｛（Ｇ７＋Ｇ１０）／２｝＊（１−ａ）で補間する。

このように、相関値を従来のＨＶ２方向から算出するのではなく、ＨＶ方向の相関値がちょうど０．５になり、相関が分からなくなる方向、具体的には４５°方向に軸をもつＮＨ，ＮＶ方向の相関値をとり、ＨＶ方向とＮＨ，ＮＶ方向の相関を比較することで、全方向（３６０°）について画像の相関性（相関程度）を判断することができるために、相関値をＨＶ方向だけで算出する技術に比べてより精度の高い補間を行うことができる。その結果、ベイヤー配列に比べて高い解像度の画像信号を得ることができる。

〈ステップＳ１９，Ｓ２１〉
一方、ステップＳ１９で相関の信頼度が無いと判断した場合、具体的には２つの相関値Ｓ_Ｈ，Ｓ_ＮＨが２つの相関直線（Ａ），（Ｂ）にのらない場合は相関が無いとみなして、周辺画素の平均値を用いてＳ／Ｎ重視の補間を行う（ステップＳ２０）。例えば、Ｓ_Ｈ＝１．０，Ｓ_ＮＨ≒０．５のときは相関があると言えるが、Ｓ_Ｈ＝１．０，Ｓ_ＮＨ≒１．０のときには相関直線（Ａ），（Ｂ）にのらないために、相関の信頼度が低いと言える。この場合はいかなる方向の画素を用いて補間しても正しく補間できる確立は低く、逆に間違った補間をする可能性が高い。

このように、２つの相関直線（Ａ），（Ｂ）にのらない相関値Ｓ_Ｈ，Ｓ_ＮＨが算出された場合は、解像度を求めた補間（解像度重視の補間）を行うではなく、Ｓ／Ｎ重視の補間、例えば周囲近接４画素を用いてＸ＝（Ｇ５＋Ｇ８＋Ｇ９＋Ｇ１２）／４で補間することで、撮像装置の性能を上げることができる。

本例に係る補間処理では、相関の方向を全方向（３６０°）に対して算出し、斜め方向の補間に対応するようにしているため、先述したように、ベイヤー配列に比べてＧの解像度については斜め４５°方向に２倍の限界解像度を得ることができる。また、相関の信頼度を評価することで、相関が信頼できるときは相関の方向から解像度重視の補間を行い、相関が信頼できないときはＳ／Ｎ重視の補間を行う、というように画像にあった適応処理を行うことができるために、高精度な補間処理を実現できる。

なお、以上説明したＹ信号用Ｇ補間回路３１の補間処理は一例に過ぎず、これに限られるものではなく、周知の補間処理を用いることも可能である。ただし、固体撮像素子１２のＯＣＣＦとして、図２に示した色配列パターンなど、Ｙ信号を作る上で主成分となる色成分（本例では、Ｇ）と、Ｃ信号を作る上で主成分となる色成分（本例では、Ｒ，Ｂ）が、ＧでＲ，Ｂの各々の周囲を囲むように配置された色配列パターンのＯＣＣＦを用いる場合には上述した補間処理が最適であると言える。

（第一の処理系）
図４に説明を戻す。色差信号生成回路３２は、図１３に示すように、入力信号Ｓ３のＲ信号（もしくは、Ｂ信号）と、Ｙ信号用Ｇ補間回路３１で補間によって得られた信号Ｇ１とを用いて、次式の演算によって色差信号Ｒｇ０（もしくは、Ｂｇ０）を生成する。すなわち、色差信号生成回路３２では、Ｙ信号用Ｇ補間回路３１での通常の補間によるＧ信号Ｇ１を用いて色差信号Ｒｇ０（もしくは、Ｂｇ０）の生成が行われる。

一方、Ｃ信号補間用Ｇ補間回路３３は、生成される色差信号の絶対値を最小にするための処理手段であり、図１４に示すように、色差信号を求めたい位置のＲ信号レベル（もしくは、Ｂ信号レベル）と周囲８点のＧ信号レベルとの差分絶対値、即ち｜Ｒ−Ｇｋ｜（もしくは、｜Ｂ−Ｇｋ｜）を最小にするようなＧ信号をその画素のＧ信号とする。例えば、｜Ｒ−Ｇ３｜が最小だったとすると、Ｇ３の信号レベルを、色差信号を求めたい位置の信号レベルとする。このＣ信号補間用Ｇ補間回路３３の出力信号は、Ｃ信号補間用Ｇ信号Ｇ１′として色差信号生成回路３４に与えられる。

色差信号生成回路３４は、色差信号生成回路３２と同様な処理により、入力信号Ｓ３のＲ信号（もしくは、Ｂ信号）と、Ｃ信号補間用Ｇ補間回路３３から与えられるＣ信号補間用Ｇ信号Ｇ１′とを用いて色差信号Ｒｇ１（もしくは、Ｂｇ１）を生成する。Ｃ信号補間用Ｇ補間回路３３および色差信号生成回路３４での処理を一般式で表すと次式のようになる。

周波数帯域検出回路（１）３５は、固体撮像素子１２のＯＣＣＦ色配列パターンによって偽色が発生する周波数帯域を検出する手段であり、例えば、図２に示すようなＲ信号、Ｂ信号のサンプリングに対しては、図１５に示すように、固体撮像素子１２で獲得されるＧ信号から注目画素のＲ信号（もしくは、Ｂ信号）の周囲１２方向についてバンドパスフィルタによるフィルタリング処理結果の絶対値を算出したものの中から最大値を求め、当該最大値を周波数帯域検出信号ｄｅｔ１として出力する。

色差信号混合回路（１）３６は、図１６に示すように、色差信号生成回路３２において通常補間によるＧ信号を用いて算出した色差信号Ｒｇ０（もしくは、Ｂｇ０）と、色差信号生成回路３４において色差信号の絶対値を最小にするＧ信号を用いて算出した色差信号Ｒｇ１（もしくは、Ｂｇ０）とを、周波数帯域検出回路（１）３５から与えられる周波数帯域検出信号ｄｅｔ１を用いて混合することによって最適色差信号Ｒｇ２（もしくは、Ｂｇ２）を算出する。

具体的には、図１７に示すように、周波数帯域検出信号ｄｅｔ１に対して２つの閾値ｃｔｈ１ａ，ｃｔｈ１ｂを設定し、周波数帯域検出信号ｄｅｔ１が閾値ｃｔｈ１ａよりも小さい場合は色差信号Ｒｇ０（もしくは、Ｂｇ０）を最適色差信号Ｒｇ２（もしくは、Ｂｇ２）とし、閾値ｃｔｈ１ｂよりも大きい場合は色差信号Ｒｇ１（もしくは、Ｂｇ１）を最適色差信号Ｒｇ２（もしくは、Ｂｇ２）とし、周波数帯域検出信号ｄｅｔ１が２つの閾値ｃｔｈ１ａ，ｃｔｈ１ｂの間にある場合は、周波数帯域検出信号ｄｅｔ１の値に応じた、例えば比例した最適色差信号Ｒｇ２（もしくは、Ｂｇ２）を求める。これらの関係を次式に示す。

以上説明した色差信号生成回路３２、Ｃ信号補間用Ｇ補間回路３３および色差信号生成回路３４、周波数帯域検出回路（１）３５および色差信号混合回路（１）３６は、偽色を出さないようにするための処理を実行する第一の処理系を構成している。

この第一の処理系は、Ｙ信号用Ｇ補間回路３１で通常の補間によって得られたＧ信号Ｇ１を用いて色差信号生成回路３２で色差信号Ｒｇ０（もしくは、Ｂｇ０）を生成するための系と、Ｃ信号補間用Ｇ補間回路３３で色差信号を求めたい位置のＲ信号レベル（もしくは、Ｂ信号レベル）と周囲８点のＧ信号レベルとの差分絶対値を最小にするようなＣ信号補間用Ｇ信号Ｇ１′を得て当該Ｇ信号Ｇ１′を用いて色差信号生成回路３４で色差信号Ｒｇ１（もしくは、Ｂｇ１）を生成するための系とを含んでいる。

ここで、色差信号を求めたい位置のＲ信号レベル（もしくは、Ｂ信号レベル）と周囲８点のＧ信号レベルとの差分絶対値が大きければ大きいほど色が付いていることを意味し、逆に差分絶対値が小さければ小さいほど色が付いていないことを意味する。したがって、差分絶対値を最小にするようなＧ信号を、色差信号を求めたい位置のＧ信号とするということは、色差信号Ｒｇ１（もしくは、Ｂｇ１）として色的に白に近い色差信号が得られるということになる。

そして、周波数帯域検出回路（１）３５でＧ１信号の周波数帯域を基に偽色が発生する周波数帯域を検出し、その周波数帯域検出信号ｄｅｔ１を基に、色差信号混合回路（１）３６において、当該検出信号ｄｅｔ１が閾値ｃｔｈ１ｂよりも大きい場合は色差信号Ｒｇ１（もしくは、Ｂｇ１）を最適色差信号Ｒｇ２（もしくは、Ｂｇ２）とし、２つの閾値ｃｔｈ１ａ，ｃｔｈ１ｂの間にある場合は、周波数帯域検出信号ｄｅｔ１の値に応じた、例えば比例した最適色差信号Ｒｇ２（もしくは、Ｂｇ２）を求めることで、偽色を出さないようにすることができる。

（第二の処理系）
中心画素補間回路３７は、図１８に示すように、補間単位のちょうど中心の画素のみを補間する手段であり、後段の補間単位を小さくすることを目的として挿入される。したがって、最適色差信号Ｒｇ２（もしくは、Ｂｇ２）の補間単位が小さい色配列パターン、例えばベイヤー配列などに対しては必ずしも必要としない。中心画素補間回路３７での具体的な補間技術としては、距離を参照して行う補間、例えば以下に説明するメディアン補間や、後述するＧレベル補間回路３８でのＧレベル補間等を用いる。

ここで、メディアン補間について簡単に説明する。メディアン補間は、図１９に示すように、まず補間ポイントの周囲４点（Ｃ１，Ｃ２，Ｃ３，Ｃ４）から平均値（Ｍ）を算出して補間候補とする。次に、周囲４点（Ｃ１，Ｃ２，Ｃ３，Ｃ４）をレベルの大きい順にソートして、中央値（Ｍｅｄ１，Ｍｅｄ２）を求める。そして、平均値（Ｍ）および中央値（Ｍｅｄ１，Ｍｅｄ２）の大小を比較して、次式により補間値を決定する。

Ｇレベル補間回路３８は、図２０に示すように、注目画素位置のＧレベルＧ０と周囲４画素位置のＧレベルＧ１，Ｇ２，Ｇ３，Ｇ４とを比較し、２つの値が近ければ近いほど大きくなるような係数ｅ１，ｅ２，ｅ３，ｅ４を周囲４画素の色差信号に適用し、対象画素０ｇｌｖｌを算出する。例えば、次式のようにレベル差の絶対値の関数、例えば逆数を補間係数（補間フィルタの係数）として補間値を算出する。

このＧレベル補間回路３８での補間原理は、ＯＣＣＦの色配列パターンにおいて、Ｇの各色フィルタはＧ成分の光のみならず、ＲやＢの他の色成分の光をも少なからず透過しているということを前提としている。この前提の下に、Ｇレベルを色差信号の補間に用いることで、色差信号の苦手とする周波数帯域の信号遷移を、高周波を捕らえられるＧのレベルに追従させることが可能となるために、色解像度を上げることができ、自然画の特にエッジの部分を滑らかに再現できる。

中心画素補間回路３９は、入力サンプリング単位のちょうど中心の画素のみを補間する手段であり、基本的に、中心画素補間回路３７と同じ構成をとる。この中心画素補間回路３９についても、中心画素補間回路３７と同様に、最適色差信号Ｒｇ２（もしくは、Ｂｇ２）の補間単位が小さい色配列パターンに対しては必ずしも必要としない。

続いて、距離補間回路４０について簡単に説明する。距離補間回路４０への入力信号としては、先にも述べたように、色差信号混合回路（１）３６で得られた最適色差信号Ｒｇ２（もしくは、Ｂｇ２）でもよいし、中心画素補間回路３９で得られた色差信号Ｒｇ４（もしくは、Ｂｇ４）でもよい。すなわち、中心画素補間回路３９が挿入されていない場合は、最適色差信号Ｒｇ２（もしくは、Ｂｇ２）が入力され、中心画素補間回路３９が挿入されている場合は、色差信号Ｒｇ４（もしくは、Ｂｇ４）が入力される。

距離補間回路４０は、図２１に示すように、補間対象とする注目画素Ｏｄｉｓｔと周囲４画素Ｃ１，Ｃ２，Ｃ３，Ｃ４との間の距離ｄ１，ｄ２，ｄ３，ｄ４を計算し、これら距離ｄ１，ｄ２，ｄ３，ｄ４の逆数を係数とした各画素の寄与分を次式から算出して、補間画素のレベルＯｄｉｓｔを獲得する。

このように、距離補間回路４０による補間処理では、注目画素Ｏｄｉｓｔと周囲４画素Ｃ１，Ｃ２，Ｃ３，Ｃ４との間の距離ｄ１，ｄ２，ｄ３，ｄ４の逆数を係数として用いた補正であるために、自然画の特にエッジの部分を滑らかに再現できるＧレベル補間回路３８に対して、エッジのない滑らかな画像の補間処理に有利なものとなる。

周波数帯域検出回路（２）４１は、図２２に示すように、Ｙ信号用Ｇ補間回路３１で補間によって得られた信号Ｇ１に対して、注目画素の周囲４方向についてバンドパスフィルタによるフィルタリング処理を施し、その出力の絶対値を算出したものの中から最大値を求めて周波数帯域検出信号ｄｅｔ２として出力する。

色差信号混合回路（２）４２は、図２３に示すように、Ｇレベル補間回路３８でのＧレベル補間により算出された色差信号Ｒｇ５，Ｂｇ５と、距離補間回路４０での距離補間により算出された色差信号Ｒｇ６，Ｂｇ６とを、周波数帯域検出回路（２）４１から与えられる周波数帯域検出信号ｄｅｔ２を用いて混合することによって最適色差信号Ｒｇ７，Ｂｇ７を算出する。

具体的には、図２４に示すように、周波数帯域検出信号ｄｅｔ２に対して２つの閾値ｃｔｈ２ａ，ｃｔｈ２ｂを設定し、周波数帯域検出信号ｄｅｔ２が閾値ｃｔｈ２ａよりも小さい場合は色差信号Ｒｇ６（もしくは、Ｂｇ６）を最適色差信号Ｒｇ７（もしくは、Ｂｇ７）とし、閾値ｃｔｈ２ｂよりも大きい場合は色差信号Ｒｇ５（もしくは、Ｂｇ５）を最適色差信号Ｒｇ７（もしくは、Ｂｇ７）とし周波数帯域検出信号ｄｅｔ２が２つの閾値ｃｔｈ２ａ，ｃｔｈ２ｂの間にある場合には、周波数帯域検出信号ｄｅｔ２の値に応じた、例えば比例した最適色差信号Ｒｇ７（もしくは、Ｂｇ７）を求める。これらの関係を次式に示す。

以上説明した中心画素補正回路３７、Ｇレベル補間回路３８、中心画素補正回路３９、距離補間回路４０、周波数帯域検出回路（２）４１および色差信号混合回路（２）４２は、第一の処理系から出力される最適色差信号Ｒｇ２（もしくは、Ｂｇ２）に対して補間処理を実行する第二の処理系を構成している。そして、この第二の処理系において、Ｇレベル補間回路３８での補間処理でＧレベルを補間処理に用いることにより、色解像度を上げることができる。

色差信号戻し回路４３は、最適色差信号Ｒｇ７，Ｂｇ７の各対応画素に、Ｙ信号用Ｇ補間回路３１で補間によって得られた信号Ｇ１を加えることによってＲＢ信号Ｒ１，Ｂ１を求める。そして、Ｙ信号用Ｇ補間回路３１で補間によって得られた信号Ｇ１と、色差信号戻し回路４３で求められたＲＢ信号Ｒ１，Ｂ１とが本補間処理回路２３の最終出力となって次段のガンマ補正処理回路２４に供給される

なお、上記実施形態では、第一，第二の処理系の各処理をハードウェア処理にて実行する場合を例に挙げて説明したが、本発明はハードウェア処理に限られるものではなく、例えばマイクロコンピュータによるソフトウェア処理にて実行することも可能である。

上述したように、一つの固体撮像素子１２を用いてカラーディジタル画像を記録する装置、例えば単板式ディジタルスチルカメラや単板式ディジタルビデオカメラ等の撮像装置の画像処理装置において、Ｃ信号の主成分となる色の空間サンプリング周波数が低くなるようなＯＣＣＦの色配列パターンを採用しても、第一の処理系での処理、即ち色差信号の絶対値を最小にするＧ信号Ｇ１′を新たに補間して生成し、当該Ｇ信号Ｇ１′を用いて色差信号を生成する処理を実行することで、色差信号を求める際にサンプリング周波数の低さが原因で発生する偽色を低減できる。

また、第二の処理系での処理、即ちＧ信号レベルを用いた色差信号の補間処理を実行することで、色差信号の苦手とする周波数帯域の信号遷移を、高周波を捕らえられるＧのレベルに追従させることが可能となるために、色解像度を上げることができる。また、この色差信号の補間処理に先立って、補間単位のちょうど中心の画素のみを補間する処理を行うことで、サンプリング周波数の低さが原因で最終出力画に出現するＣ信号の補間単位の粗さを低減することが可能となる。

また、第二の処理系での補間処理に先立って、第一の信号処理系での処理を実行することで、サンプリング周波数の低さが原因で発生する偽色が低減された色差信号に対して補間処理を行うことになるために、第一の信号処理系での処理による偽色の低減効果をより引き出せることになる。

１１…撮像レンズ、１２…固体撮像素子、１３…Ａ／Ｄ変換器、１４…カメラ信号処理部、２１…光学系補正回路、２２…ホワイトバランス処理回路、２３…補間処理回路、２４…ガンマ補正処理回路、２５…Ｙ（輝度）信号処理回路、２６…Ｃ（クロマ）信号処理回路、３１…Ｙ信号用Ｇ補間回路、３２，３４…色差信号生成回路、３３…Ｃ信号補間用Ｇ補間回路、３５…周波数帯域検出回路（１）、３６…色差信号混合回路（１）、３７ ，３９…中心画素補間回路、３８…Ｇレベル補間回路、４０…距離補間回路、４１… 周波数帯域検出回路（２）、４２…色差混合回路（２）、４３…色差信号戻し回路

Claims (6)

1. 所定の色配列パターンのフィルタを有する固体撮像素子から出力される画像信号中の第一の色信号と第二の色信号との色差信号を生成する色差信号生成手段と、
   前記色差信号生成手段で生成された色差信号に対して、前記固体撮像素子の注目画素の前記第一の色信号のレベルと前記注目画素の周囲に存在する前記第一の色信号のレベルとの差分絶対値の関数を補間係数として補間処理を行う第一の補間手段と
   前記色差信号生成手段からの前記色差信号に対して、前記固体撮像素子の補間位置と補間に用いる画素位置との距離を参照して補間処理を行う第二の補間手段と、
   前記第一の色信号の周波数帯域を基に前記第一の補間手段を経た前記色差信号と前記第二の補間手段を経た前記色差信号とを混合して出力する混合手段と
   を具備する画像処理装置。
2. 前記第一の補間手段は、前記関数として前記差分絶対値の逆数を用いる
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記第一の補間手段での補間処理に先立って、補間単位の中心の画素のみを補間する中心画素補間手段をさらに備える
   ことを特徴とする請求項１記載の画像処理装置。
4. 前記中心画素補間手段は、前記固体撮像素子の補間位置と補間に用いる画素位置との距離を参照して補間するか、または前記固体撮像素子の注目画素の前記第一の色信号のレベルと前記注目画素の周囲に存在する前記第一の色信号のレベルとの差分絶対値の関数を補間係数として補間する
   ことを特徴とする請求項３記載の画像処理装置。
5. 所定の色配列パターンのフィルタを有する固体撮像素子から出力される画像信号中の第一の色信号と第二の色信号との色差信号を生成する色差信号生成ステップと、
   前記色差信号生成ステップで生成した色差信号に対して、前記固体撮像素子の注目画素の前記第一の色信号のレベルと前記注目画素の周囲に存在する前記第一の色信号のレベルとの差分絶対値の関数を補間係数として補間処理を行う第１の補間ステップと
   前記色差信号生成ステップからの前記色差信号に対して、前記固体撮像素子の補間位置と補間に用いる画素位置との距離を参照して補間処理を行う第二の補間ステップと、
   前記第一の色信号の周波数帯域を基に前記第一の補間ステップを経た前記色差信号と前記第二の補間ステップを経た前記色差信号とを混合して出力する混合ステップと
   を有する画像処理方法。
6. 所定の色配列パターンのフィルタを有する固体撮像素子と、
   前記固体撮像素子から出力される画像信号を処理する画像処理手段とを具備する撮像装置であって、
   前記画像処理手段は、
   前記画像信号中の第一の色信号と第二の色信号との色差信号を生成する色差信号生成手段と、
   前記色差信号生成手段からの前記色差信号に対して、前記固体撮像素子の注目画素の前記第一の色信号のレベルと、前記注目画素の周囲に存在する前記第一の色信号のレベルとの差分絶対値の関数を補間係数として補間処理を行う第１の補間手段とを備える
   前記色差信号生成手段からの前記色差信号に対して、前記固体撮像素子の補間位置と補間に用いる画素位置との距離を参照して補間処理を行う第二の補間手段と、
   前記第一の色信号の周波数帯域を基に前記第一の補間手段を経た前記色差信号と前記第二の補間手段を経た前記色差信号とを混合して出力する混合手段と
   を具備する撮像装置。

Images