JP5781998B2

JP5781998B2 - カラー撮像素子

Info

Publication number: JP5781998B2
Application number: JP2012202834A
Authority: JP
Inventors: 林　健吉; 健吉林; 田中　誠二; 誠二田中
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2011-03-09
Filing date: 2012-09-14
Publication date: 2015-09-24
Anticipated expiration: 2031-07-29
Also published as: EP2685711A1; US9313466B2; EP2685711A4; CN102870405A; RU2013141183A; WO2012120705A1; JPWO2012120705A1; JP5095040B1; RU2548567C1; CN102870405B; EP2685711B1; JP2013048428A; BR112012029513A2; US20130048833A1

Description

本発明はカラー撮像素子に係り、特に色モワレの発生を抑圧することができるカラー撮像素子に関する。

単板式のカラー撮像素子を有するカラー撮像装置では、カラー撮像素子からの出力画像がＲＡＷ画像（モザイク画像）であるため、欠落している色の画素を、周囲の画素から補間する処理（同時化処理）により多チャネル画像を得ている。この場合に問題となるのが、高周波の画像信号の再現特性である。

単板式のカラー撮像素子で最も広く用いられている色配列である原色系ベイヤー配列は、緑（Ｇ）画素を市松状に、赤（Ｒ）、青（Ｂ）を線順次に配置しているため、各色の再現帯域を越えた高周波信号の折り返りと各色の位相のずれにより低周波の色付き（色モアレ）が発生するという問題がある。

図１４の（Ａ）に示すような白黒の縦縞模様（高周波画像）が、図１４の（Ｂ）に示すベイヤー配列の撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図１４の（Ｃ）から（Ｅ）に示すようにＲは薄い平坦、Ｂは濃い平坦、Ｇは濃淡のモザイク状の色画像となり、本来、白黒画像であるのに対し、ＲＧＢ間に濃度差（レベル差）は起きないものが、色配列と入力周波数によっては色が付いた状態となってしまう。

同様に、図１５の（Ａ）に示すような斜めの白黒の高周波画像が、図１５の（Ｂ）に示すベイヤー配列の撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図１５の（Ｃ）から（Ｅ）に示すようにＲとＢは薄い平坦、Ｇは濃い平坦の色画像となり、仮に黒の値を０、白の値を２５５とすると、斜めの白黒の高周波画像は、Ｇのみ２５５となるため、緑色になってしまう。このようにベイヤー配列では、斜めの高周波画像を正しく再現することができない。

一般に単板式のカラー撮像素子を使用するカラー撮像装置では、水晶などの複屈折物質からなる光学ローパスフィルタをカラー撮像素子の前面に配置し、高周波を光学的に落とすことで回避していた。しかし、この方法では、高周波信号の折り返りによる色付は軽減できるが、その弊害で解像度が落ちてしまうという問題がある。

このような問題を解決するために、カラー撮像素子のカラーフィルタ配列を、任意の着目画素が該着目画素の色を含む３色と該着目画素の４辺のいずれかにおいて隣接する配列制限条件を満たす３色ランダム配列としたカラー撮像素子が提案されている（特許文献１）。

また、分光感度が異なる複数のフィルタを有し、そのうち第１のフィルタと第２のフィルタが、画像センサの画素格子の一方の対角方向に第１の所定の周期で交互に配置されているとともに、他方の対角方向に第２の所定の周期で交互に配置されているカラーフィルタ配列の画像センサが提案されている（特許文献２）。

一方、特許文献３には、ベイヤー配列のモザイク画像の注目画素の周辺画素を用いて、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向（４方向）における相関度を求め、求めた相関度の比率に応じた重み付けを行って画素補間を行う技術が記載されている。

更に、ＲＧＢの３原色のうちのＲ，Ｂを水平方向及び垂直方向にそれぞれ３画素おきに配置し、これらのＲ，Ｂの間にＧを配置したカラー撮像素子が提案されている（特許文献４）。

このカラー撮像素子のカラーフィルタ配列は、４×４画素に対応する基本配列パターンを含み、この基本配列パターンが水平及び垂直方向に繰り返して配置されて構成されており、基本配列パターン内のＲＧＢの画素数は、それぞれ２画素、１２画素、２画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、１：６：１になっており、Ｇ画素が、ＲＢ画素に比べて非常に多く配置されている。

特開２０００−３０８０８０号公報特開２００５−１３６７６６号公報特開２０１０−１０４０１９号公報特開平８−２３５４３号公報

特許文献１に記載の３色ランダム配列は、低周波の色モアレには有効であるが、高周波部の偽色に対しては有効でない。

特許文献２に記載の画像センサのカラーフィルタ配列は、Ｒ、Ｇ、Ｂフィルタがカラーフィルタ配列の水平方向及び垂直方向の各ライン内に周期的に配置されているが、特許文献２に記載の発明は、上記カラーフィルタ配列を有する画像センサから出力されるモザイク画像を同時化処理する際に、注目画素を中心に所定の画像サイズの局所領域を抽出し、局所領域内の注目画素の色の色分布形状、及び推定しようとする他の色の色分布形状に関する統計量を算出し、注目画素位置の色の強度と色分布形状の統計量とに基づいて色分布形状を線形回帰することにより注目画素位置の他の色の推定値を算出するようにしている。この特許文献２に記載の発明は、色分布形状に関する統計量（共分散値）の演算や回帰演算処理を行う必要があり、画像処理が複雑になるという問題がある。

一方、特許文献３に記載の画素補間方法は、ベイヤー配列のモザイク画像に適用されるものであるが、ベイヤー配列の場合、Ｇ画素は、水平及び垂直方向に連続していないため、最小画素間隔で水平及び垂直方向における相関度を求めることができず、例えば、１画素周期の縦縞や横縞の高周波を入力した場合に相関度を誤判定し、画素補間を精度よく行うことができないという問題がある。

また、特許文献３に記載のカラー撮像素子は、Ｒ、Ｂそれぞれの画素数に対するＧの画素数の比率が高く、Ｇ画素が水平、垂直及び斜め方向に２画素以上連続する部分が存在しており、輝度の変化の小さい方向（相関の高い方向）の判別が可能であり、また高解像度化も可能であるが、水平又は垂直方向にＧ画素のみのラインが存在するため、水平又は垂直方向に高周波部の偽色に対しては有効でない。

本発明はこのような事情に鑑みてなされたもので、高周波部の偽色の発生を簡単な画像処理で抑圧することができるカラー撮像素子を提供することを目的とする。

前記目的を達成するために本発明の一の態様に係る発明は、水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとが配列された所定の基本配列パターンを含み、基本配列パターンが水平及び垂直方向に繰り返して配置され、第１のフィルタ及び第２のフィルタは、それぞれ基本配列パターン内にカラーフィルタ配列の水平及び垂直方向の各ライン内に１つ以上配置され、第１のフィルタは、更に基本配列パターン内において、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向に２以上隣接する部分が含まれるように配置されている。

本発明の一の態様に係るカラー撮像素子によれば、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタが、基本配列パターン内において、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向に２以上隣接する部分が含まれるように配置されるため、各方向に隣接する第１の色の画素の画素値に基づいて輝度の相関方向が４方向のうちのいずれの方向にあるかを、最小画素間隔で判別することができる。これにより、カラー撮像素子から出力されるモザイク画像から抽出される同時化処理の対象画素の画素位置における他の色の画素値を算出する際に、上記のようにして最小画素間隔の画素値により判別した輝度の相関方向に応じて、相関方向に存在する他の色の画素の画素値を使用することにより、他の色の画素の画素値を精度よく推定することができ、高周波部の偽色の発生を抑圧することができる。尚、相関方向の判別結果に基づいて他の色の画素値を推定する処理方法は、特許文献３等に記載の方法やその他の種々の方法が適用できる。

また、第１のフィルタ及び第２のフィルタは、それぞれ基本配列パターン内に水平及び垂直方向の各ライン内に１つ以上配置されているため、色モワレ（偽色）の発生を抑圧して高解像度化を図ることができる。更に、このカラーフィルタ配列は、所定の基本配列パターンが水平方向及び垂直方向に繰り返されているため、後段での同時化（補間）処理を行う際に、繰り返しパターンにしたがって処理を行うことができる。

本発明の他の態様に係るカラー撮像素子において、カラーフィルタ配列は、第２のフィルタのいずれか１色のフィルタを挟んで水平及び垂直方向にそれぞれ第１のフィルタが２以上連続配置されていることが好ましい。これらの２以上連続する第１のフィルタに対応する画素の画素値に基づいて輝度の相関方向が記４方向のうちのいずれの方向にあるかを、最小画素間隔で判別することができる。

本発明の更に他の態様に係るカラー撮像素子において、カラーフィルタ配列は、第１のフィルタからなる２×２画素に対応する正方配列を含むことを特徴としている。２×２画素に対応する正方配列の４画素の各画素間の画素値に基づいて輝度の相関方向が４方向のうちのいずれの方向にあるかを、最小画素間隔で判別することができる。

本発明の更に他の態様に係るカラー撮像素子において、所定の基本配列パターン内のカラーフィルタ配列は、基本配列パターンの中心に対して点対称であることが好ましい。これにより、後段の処理回路の回路規模を小さくすることが可能になる。

本発明の更に他の態様に係るカラー撮像素子において、所定の基本配列パターンは、Ｎ×Ｎ（Ｎ：４以上８以下の整数）画素に対応する正方配列パターンであることが好ましい。Ｎが４よりも小さい場合には、本発明に係るカラーフィルタ配列の条件を満足せず、Ｎが８を超える場合には、同時化等の信号処理が複雑化するのに対し、基本配列パターンのサイズを大きくすることによる格別な効果が得られないからである。

本発明の更に他の態様に係るカラー撮像素子において、所定の基本配列パターンは、６×６画素に対応する正方配列パターンであることが好ましい。

上記のように所定の基本配列パターンは、Ｎ×Ｎ画素に対応する正方配列パターンであり、Ｎは４以上８以下の整数が好ましいが、Ｎは偶数の方が奇数よりも同時化処理時に有利であり、また、Ｎが４の場合は、基本配列パターン内に第１のフィルタが水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内で２画素以上連続する部分を含まないため、輝度の変化の小さい方向の判別に不利であり、Ｎが８の場合には、Ｎが６の場合に比べて信号処理が煩雑になる。従って、基本配列パターンとしては、Ｎが６、即ち、６×６画素に対応する正方配列パターンが最も好ましい。

本発明の更に他の態様に係るカラー撮像素子において、カラーフィルタ配列は、第１のフィルタが３×３画素群において中心のフィルタを挟んで上下左右に配置され、３×３画素群が水平方向及び垂直方向に繰り返し配置されていることが好ましい。３×３画素群の中心のフィルタを挟んで上下左右に第１のフィルタが配置されているため、３×３画素群が水平方向及び垂直方向に繰り返し配置されると、カラーフィルタ配列は、３×３画素群の中心のフィルタを挟んで第１のフィルタが、水平及び垂直方向にそれぞれ２画素ずつ隣接することになる。これらの第１のフィルタに対応する画素（合計８画素）の画素値は、４方向の相関方向の判別に使用することができる。

本発明の更に他の態様に係るカラー撮像素子において、カラーフィルタ配列は、第１のフィルタが３×３画素群において中心と４隅に配置され、３×３画素群が水平方向及び垂直方向に繰り返し配置されていることが好ましい。３×３画素群の４隅に第１のフィルタが配置されているため、３×３画素群が水平方向及び垂直方向に繰り返し配置されると、カラーフィルタ配列は、第１のフィルタからなる２×２画素に対応する正方配列を含むようになり、この２×２画素の画素値を使用して、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のうちの相関の高い方向を判別することができる。

本発明の更に他の態様に係るカラー撮像素子において、第１の色は、緑（Ｇ）色であり、第２の色は、赤（Ｒ）色及び青（Ｂ）色である。

本発明の更に他の態様に係るカラー撮像素子において、カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、フィルタ配列は、３×３画素に対応する第１の配列であって、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置された第１の配列と、３×３画素に対応する第２の配列であって、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置された第２の配列とが、交互に水平及び垂直方向に配列されて構成されている。

上記構成のカラーフィルタ配列によれば、第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、５×５画素の中心の画素（Ｒ画素又はＢ画素）を挟んで、水平及び垂直方向にそれぞれ隣接するＧ画素が存在することになる。これらのＧ画素（合計８画素）の画素値は、４方向の相関方向の判別に使用することができる。

本発明の更に他の態様に係るカラー撮像素子において、カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタを有し、フィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されている。

上記構成のカラーフィルタ配列によれば、第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、５×５画素の４隅に２×２画素のＧ画素が存在することになる。これらの２×２画素のＧ画素の画素値は、４方向の相関方向の判別に使用することができる。

本発明によれば、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の第２の色に対応する第２のフィルタとが配列された所定の基本配列パターンを含み、基本配列パターンが水平及び垂直方向に繰り返して配置されてカラーフィルタ配列が構成され、この基本配列パターン内において、第１のフィルタが、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向に２以上隣接する部分が含まれるように配置されるため、各方向に隣接する第１の色の画素の画素値に基づいて輝度の相関方向が４方向のうちのいずれの方向にあるかを、最小画素間隔で判別することができる。また、第１のフィルタ及び第２のフィルタは、それぞれ基本配列パターン内に水平及び垂直方向の各ライン内に１つ以上配置されているため、色モワレ（偽色）の発生を抑圧して高解像度化を図ることができる。更に、このカラーフィルタ配列は、所定の基本配列パターンが水平方向及び垂直方向に繰り返されているため、後段での同時化（補間）処理を行う際に、繰り返しパターンにしたがって処理を行うことができる。

図１は本発明に係る単板式のカラー撮像素子の第１の実施形態を示す図であり; 図２は第１の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる基本配列パターンを示す図であり; 図３Ａは第１の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタ配列を示す図であり; 図３Ｂは図３Ａに示したカラーフィルタ配列によるＧ画素の特徴的な配置を示す図であり; 図４は縦方向に相関方向があると判別された場合の同時化処理時の画素補間方法を説明するために用いた図であり; 図５は左斜め上方向に相関方向があると判別された場合の同時化処理時の画素補間方法を説明するために用いた図であり; 図６は本発明に係る単板式のカラー撮像素子の第２の実施形態を示す図であり; 図７は第２の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる基本配列パターンを示す図であり; 図８は第２の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタ配列を示す図であり; 図９は第２の実施形態のカラー撮像素子のカラーフィルタ配列によるＧ画素の特徴的な配置を示す図であり; 図１０は本発明に係る単板式のカラー撮像素子の第３の実施形態を示す図であり; 図１１は本発明に係る単板式のカラー撮像素子の第４の実施形態を示す図であり; 図１２は本発明に係る単板式のカラー撮像素子の第５の実施形態を示す図であり; 図１３は本発明に係る単板式のカラー撮像素子の第６の実施形態を示す図であり; 図１４は従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した図であり; 図１５は従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した他の図である。

以下、添付図面に従って本発明に係るカラー撮像素子の好ましい実施の形態について詳説する。

［カラー撮像素子の第１の実施形態］
図１は本発明に係る単板式のカラー撮像素子の第１の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。

このカラー撮像素子は、水平方向及び垂直方向に配列（二次元配列）された光電変換素子からなる複数の画素（図示せず）と、各画素の受光面上に配置された、図１に示すカラーフィルタ配列のカラーフィルタとから構成されており、各画素上には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のカラーフィルタのうちのいずれかが配置される。

尚、カラー撮像素子は、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）カラー撮像素子に限らず、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子などの他の種類の撮像素子であってもよい。

＜カラーフィルタ配列の特徴＞
第１の実施形態のカラー撮像素子のカラーフィルタ配列は、下記の特徴（１）、（２）、（３）、及び（４）を有している。

〔特徴（１）〕
図１に示すカラーフィルタ配列は、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが水平及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、カラー撮像素子から読み出されるＲ、Ｇ、Ｂ信号の同時化（補間）処理等を行う際に、繰り返しパターンにしたがって処理を行うことができる。

また、基本配列パターンＰの単位で間引き処理して画像を縮小する場合、間引き処理した縮小画像のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。

〔特徴（２）〕
図１に示すカラーフィルタ配列を構成する基本配列パターンＰは、輝度信号を得るために最も寄与する色(この実施形態では、Ｇの色)に対応するＧフィルタと、Ｇの色以外の他の色（この実施形態では、Ｒ，Ｂ）に対応するＲフィルタ、Ｂフィルタとが、基本配列パターン内の水平及び垂直方向の各ライン内に１つ以上配置されている。

Ｒ、Ｇ、Ｂフィルタが、それぞれ基本配列パターンＰ内の水平及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を抑圧することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

〔特徴（３）〕
輝度系画素に対応するＧフィルタは、カラーフィルタ配列Ｐ内において、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向に２以上隣接する部分が含まれるように配置されている。

図２は、図１に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。

図２に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

Ａ配列は、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置されている。一方、Ｂ配列は、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置されている。これらのＡ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

図３Ａに示すように、第１の実施形態のカラー撮像素子のカラーフィルタ配列は、上記Ａ配列とＢ配列とが、水平及び垂直方向に交互に配置されていると捉えることもできる。

また、輝度系画素であるＧフィルタが、Ａ配列又はＢ配列における３×３画素において中心のフィルタを挟んで上下左右に配置され、この３×３画素が水平方向、垂直方向に交互に配置されることで、Ｇフィルタが水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向に２以上隣接する部分が形成され、図３Ｂに示すように十字形状に配置される。尚、このような配列とすることで、前述の特徴（１），（３），及びＧフィルタについては特徴（２）が満たされる。

いま、図３Ａに示すように、第１の実施形態のカラー撮像素子から出力されるモザイク画像を、Ａ配列を中心にして５×５画素の局所領域（太枠で示した領域）を抽出した場合、この局所領域内の８個のＧ画素は、図３Ｂに示すように十字形状に配置される。これらのＧ画素を左から右の順にＧ１、Ｇ２、Ｇ３、Ｇ４とし、上から下の順にＧ５、Ｇ６、Ｇ７、Ｇ８とすると、画素Ｇ１Ｇ２、画素Ｇ２Ｇ３が水平方向に隣接し、画素Ｇ５Ｇ６、画素Ｇ７Ｇ８が垂直方向に隣接し、画素Ｇ６Ｇ３、画素Ｇ２Ｇ７が左上斜め方向に隣接し、画素Ｇ６Ｇ２、画素Ｇ３Ｇ７が右上斜め方向に隣接している。

従って、これらの隣接する画素の画素値の差分絶対値を求めることにより、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向のうち、輝度の変化が最も小さい方向（相関の高い相関方向）を、最小画素間隔で判別することができる。

即ち、水平方向の差分絶対値の和は｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜、水平方向の差分絶対値の和は｜Ｇ５−Ｇ６｜＋｜Ｇ７−Ｇ８｜、右上斜め方向の差分絶対値の和は｜Ｇ６−Ｇ２｜＋｜Ｇ３−Ｇ７｜、左上斜め方向の差分絶対値の和は｜Ｇ６−Ｇ３｜＋｜Ｇ２−Ｇ７｜となる。

これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別することができる。尚、判別された相関方向は、同時化（補間）処理等を行う際に利用することができる。

尚、上記の実施の形態では、隣接するＧ画素の画素値の差分値に基づいて輝度の変化が最も小さい方向（相関の高い相関方向）を判別するようにしたが、これに限らず、隣接するＧ画素の画素値の比に基づいて輝度の変化が最も小さい方向を判別するようにしてもよい。隣接するＧ画素の画素値の比に基づいて輝度の変化を判別する場合、その比がほぼ１となる方向が輝度の変化が小さい方向となる。

＜相関方向を使用した補間方法＞
次に、上記のようにして方向判別された相関方向を利用した補間方法について説明する。

図４に示すように縦方向に相関方向があると判別され、図４に示す太枠内の３×３画素（Ａ配列）の各画素の画素位置における他の色の画素値を補間して求める場合、相関方向の近傍に存在する同じ色の画素の画素値を使用する。

Ｇの画素値を補間する場合、Ｂ22，Ｂ24の画素位置におけるＧの画素値Ｇ22’，Ｇ24’は、Ｇ23の画素値を使用し、Ｂ42，Ｂ44の画素位置におけるＧの画素値Ｇ42’，Ｇ44’は、Ｇ43の画素値を使用する。一方、Ｒ33の画素位置におけるＧの画素値Ｇ33’は、Ｇ32とＧ34の画素値の平均値を使用する。

Ｒ、Ｂの画素値を補間する場合、Ｂ22の画素位置におけるＲの画素値Ｒ22’は、Ｒ21の画素値を使用し、Ｇ23の画素位置におけるＲ，Ｂの画素値Ｒ23’，Ｂ23’は、それぞれＲ21とＲ25の画素値の平均値、Ｂ22とＢ24の画素値の平均値を使用し、Ｂ22，Ｂ24の画素位置におけるＲの画素値Ｒ22’，Ｒ24’は、それぞれＲ21，Ｒ25の画素値を使用する。

Ｇ32の画素位置におけるＲ，Ｂの画素値Ｒ32’，Ｂ32’は、それぞれＲ33，Ｂ30の画素値を使用し、Ｒ33の画素位置におけるＢの画素値Ｂ33’は、Ｂ30とＢ36の画素値の平均値を使用し、Ｇ34の画素位置におけるＲ，Ｂの画素値Ｒ34’，Ｂ34’は、それぞれＲ33，Ｂ36の画素値を使用する。

Ｂ42の画素位置におけるＲの画素値Ｒ42’は、Ｒ41の画素値を使用し、Ｇ43の画素位置におけるＲ，Ｂの画素値Ｒ43’，Ｂ43’は、それぞれＲ41とＲ45の画素値の平均値、Ｂ42とＢ44の画素値の平均値を使用し、Ｂ44の画素位置におけるＲの画素値Ｒ44’は、Ｒ45の画素値を使用する。

Ｂ配列の場合はＲ、Ｂを入れ替えて同様の処理を行うことでＲＧＢの画素値の補間を行う。

以上の処理を３×３画素毎に繰り返すことでＲＧＢの画素値が補間される。

一方、図５に示すように左斜め上方向に相関方向があると判別され、図５に示す太枠内の３×３画素（Ａ配列）の各画素の画素位置における他の色の画素値を補間して求める場合、相関方向の近傍に補間する色の画素が存在する場合には、その画素値を使用し、相関方向に補間する色の画素が存在しない場合には、近傍に存在する補間済みの画素のＲＧＢの画素値の差又は比（色差又は色比)の関係を利用して補間する。

まず、補間方向に補間する色の画素が存在する画素から補間を行う。図５では、Ｂ22の画素位置におけるＲの画素値Ｒ22’は、Ｒ23の画素値を使用し、Ｇ32の画素位置におけるＲの画素値Ｒ32’は、Ｒ21の画素値を使用し、Ｂ42の画素位置におけるＧの画素値Ｇ42’は、Ｇ31とＧ53の画素値の平均値を使用する。以降、Ｒ23’，Ｂ33’，Ｒ43’，Ｇ24’，Ｒ34’，Ｒ44’も同じように相関方向に存在する補間する色の画素の画素値を使用する。

次に、相関方向に補間する色の画素が存在しない画素の補間の処理方法を説明する。

図５のＢ22の画素位置におけるＧの画素値Ｇ22’を補間して求める場合、Ｇ13と補間した画素値Ｂ13’，及びＧ31と補間した画素値Ｂ31’の色差を用いて補間を行う。具体的には下式の計算により値を算出する。

［数１］
Ｇ22’＝Ｂ22＋(Ｇ13＋Ｇ31)/2−(Ｂ13’＋Ｂ31’)/2
同様に、Ｇ32の画素位置におけるＢの画素値Ｂ32’、Ｂ42の画素位置におけるＲの画素値Ｒ42’の補間方法は、下式のようになる。

［数２］
Ｂ32’＝Ｇ32＋Ｂ31’−Ｇ31
Ｒ42’＝Ｂ42＋Ｒ33−Ｂ33’
同様の処理を行ってＢ32’，Ｇ33’，Ｂ43’，Ｒ24’，Ｂ34’，Ｇ44’の補間を行う。

尚、Ａ配列、Ｂ配列におけるＲＧＢのカラーフィルタの対称性により、相関方向が横方向と判別された場合、又は右斜め上方向に相関方向があると判別された場合であっても、上述したように縦方向と判別された場合、又は左斜め上方向と判別された場合と同様にしてＲＧＢの画素値を補間して求めることができる。

また、上記［数１］式、［数２］式では、色差を用いて補間を行っているが、色比を用いて補間を行うようにしてもよい。

〔特徴（４）〕
図１に示すカラーフィルタ配列を構成する基本配列パターンＰは、その基本配列パターンＰの中心に対して点対称になっている。

図２に示したように、基本配列パターン内のＡ配列及びＢ配列は、それぞれ中心のＲフィルタ、又はＧフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。

このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化することが可能になる。

〔特徴（５）〕
図１に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ１０画素、１６画素、１０画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、５：８：５になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素の画素数の比率よりも大きくなっている。

上記のようにＧ画素の画素数とＲ，Ｂ画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するＧ画素の画素数の比率を、Ｒ，Ｂ画素の画素数の比率よりも大きくするようにしたため、同時化処理時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。

尚、基本配列パターンを水平方向及び垂直方向に繰り返し配置することで、図１に示すカラーフィルタ配列を構成することができる基本配列パターンは複数存在するが、第１の実施形態では、基本配列パターンが点対称になっている基本配列パターンＰを、便宜上、基本配列パターンという。

また、後述する他の実施形態のカラーフィルタ配列においても、各カラーフィルタ配列に対して複数の基本配列パターンが存在するが、その代表的なものをそのカラーフィルタ配列の基本配列パターンという。

［カラー撮像素子の第２の実施形態］
図６は本発明に係る単板式のカラー撮像素子の第２の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。

第２の実施形態のカラー撮像素子のカラーフィルタ配列は、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

また、このカラーフィルタ配列を構成する基本配列パターンＰは、第１の実施形態と同様に、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターン内の水平及び垂直方向の各ライン内に１つ以上配置されている。

また、輝度系画素に対応するＧフィルタは、カラーフィルタ配列Ｐ内において、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向に２以上隣接する部分が含まれるように配置されている。

図７は、図６に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。

図７に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

Ａ配列及びＢ配列は、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列は、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列され、一方、Ｂ配列は、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

また、Ａ配列とＢ配列の４隅のＧフィルタは、図８に示すようにＡ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。

これは、輝度系画素であるＧフィルタが、Ａ配列又はＢ配列における３×３画素において４隅と中央に配置され、この３×３画素が水平方向、垂直方向に交互に配置されることで２×２画素に対応する正方配列のＧフィルタが形成されるためである。尚、このような配列とすることで、前述の特徴（１），（３），（５），及びＧフィルタについては特徴（２）が満たされる。

即ち、図６に示すカラーフィルタ配列（基本配列パターンＰ）は、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいる。

いま、図８に示すように、第２の実施形態のカラー撮像素子から出力されるモザイク画像を、Ａ配列を中心にして５×５画素の局所領域（太枠で示した領域）を抽出した場合、この局所領域内の４隅の２×２画素のＧ画素は、図９に示す配置になっている。

図９に示すように、２×２画素のＧ画素の画素値を、左上から右下の順にＧ１、Ｇ２、Ｇ３、Ｇ４とした場合、これらのＧ画素の画素値の垂直方向の差分絶対値は（｜Ｇ１−Ｇ３｜＋｜Ｇ２−Ｇ４｜）／２、水平方向の差分絶対値は（｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜）／２、右上斜め方向の差分絶対値は｜Ｇ２−Ｇ３｜、左上斜め方向の差分絶対値は｜Ｇ１−Ｇ４｜となる。

これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別することができる。

いま、図８又は図９に示すように中央に３×３画素のＡ配列が位置するように、モザイク画像から５×５画素の局所領域を抽出した場合、４隅に２×２画素のＧ画素が配置されることになる。従って、上記局所領域内のＡ配列の３×３画素を同時化処理の対象画素とした場合、４隅の各方向別の相関絶対値の総和（又は平均値）を求め、各方向別の相関絶対値の総和（又は平均値）のうち最小となる値をとる方向を、同時化処理の対象画素における輝度の相関方向として判別する。

また、図６に示すカラーフィルタ配列を構成する基本配列パターンＰは、その基本配列パターンの中心（４つのＧフィルタの中心）に対して点対称になっている。また、図７に示すように、基本配列パターン内のＡ配列及びＢ配列も、それぞれ中心のＧフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。

また、図６に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ８画素、２０画素、８画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、２：５：２になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素の画素数の比率よりも大きくなっている。

このように第２の実施形態のカラー撮像素子のカラーフィルタ配列は、第１の実施形態のカラー撮像素子のカラーフィルタ配列の特徴（１）、（２）、（３）、（４）及び（５）と同じ特徴を有している。

更に、第２の実施形態のカラー撮像素子のカラーフィルタ配列は、Ｇフィルタが、カラーフィルタ配列の斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されており、高周波領域での同時化処理の再現精度をより向上させることができるという、第１の実施形態のカラー撮像素子のカラーフィルタ配列にない特徴を有している。

［カラー撮像素子の第３の実施形態］
図１０は本発明に適用されるカラー撮像素子の第３の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。

図１０に示すように、このカラー撮像素子のカラーフィルタ配列は、４×４画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

また、図１０に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターン内の水平及び垂直方向の各ライン内に１つ以上配置されている。

更に、輝度系画素に対応するＧフィルタは、基本配列パターン内において、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各方向に２以上隣接する部分が含まれるように配置されている。これらの隣接するＧフィルタに対応するＧ画素の画素値により、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のそれぞれの方向の輝度の相関を、最小画素間隔で判断することができる。

また、カラーフィルタ配列を構成する基本配列パターンは、その基本配列パターンの中心に対して点対称になっている。

また、図１０に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ４画素、８画素、４画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、１：２：１になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素の画素数の比率よりも大きくなっている。

この第３の実施形態のカラー撮像素子のカラーフィルタ配列は、第１の実施形態のカラー撮像素子１２のカラーフィルタ配列の特徴（１）、（２）、（３）、（４）及び（５）と同じ特徴を有している。

［カラー撮像素子の第４の実施形態］
図１１は本発明に適用されるカラー撮像素子の第４の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。

図１１に示すように、このカラー撮像素子のカラーフィルタ配列は、５×５画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

また、図１１に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターン内の水平及び垂直方向の各ライン内に１つ以上配置されている。

また、図１１に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ６画素、１３画素、６画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、６：１３：６になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素の画素数の比率よりも大きくなっている。

この第３の実施形態のカラー撮像素子のカラーフィルタ配列は、第１の実施形態のカラー撮像素子１２のカラーフィルタ配列の特徴（１）、（２）、（３）及び（５）と同じ特徴を有している。

［カラー撮像素子の第５の実施形態］
図１２は本発明に適用されるカラー撮像素子の第５の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。

図１２に示すように、このカラー撮像素子のカラーフィルタ配列は、７×７画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

また、図１２に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターン内の水平方向及び垂直方向の各ライン内に配置されている。

更に、輝度系画素に対応するＧフィルタは、基本配列パターン内において、水平、垂直、及び斜め方向（ＮＥ，ＮＷ）方向の各方向に２以上隣接する部分が含まれるように配置されている。即ち、基本配列パターン内で上下左右に隣接する２×２画素を含むＧ画素のかたまりが４組存在する。これらの隣接するＧフィルタに対応するＧ画素の画素値により、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のそれぞれの方向の輝度の相関を、最小画素間隔で判断することができる。

また、図１２に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ１２画素、２５画素、１２画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、１２：２５：１２になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素の画素数の比率よりも大きくなっている。

この第４の実施形態のカラー撮像素子のカラーフィルタ配列は、第１の実施形態のカラー撮像素子１２のカラーフィルタ配列の特徴（１）、（２）、（３）、（４）及び（５）と同じ特徴を有している。

［カラー撮像素子の第６の実施形態］
図１３は本発明に適用されるカラー撮像素子の第６の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。

図１３に示すように、このカラー撮像素子のカラーフィルタ配列は、８×８画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

また、図１３に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが、基本配列パターン内の水平方向及び垂直方向の各ライン内に配置されている。

また、図１３に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ１６画素、３２画素、１６画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、１：２：１になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素の画素数の比率よりも大きくなっている。

この第６の実施形態のカラー撮像素子のカラーフィルタ配列は、第１の実施形態のカラー撮像素子１２のカラーフィルタ配列の特徴（１）、（２）、（３）、（４）及び（５）と同じ特徴を有している。

［その他］
上記実施形態では、ＲＧＢの３原色のカラーフィルタを有するカラー撮像素子について説明したが、本発明は、これに限らず、ＲＧＢの３原色＋他の色（例えば、エメラルド（Ｅ））の４色のカラーフィルタを有するカラー撮像素子にも適用できる。

また、本発明は、原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）に、Ｇを加えた４色の補色系のカラーフィルタを有するカラー撮像素子にも適用できる。

また、第１から第６の実施形態のカラー撮像素子のカラーフィルタ配列は、いずれも輝度信号を得るために最も寄与するＧの画素数の比率が、Ｒ，Ｂの各画素数の比率よりも大きくなっているが、Ｇの画素数の比率が大きすぎると、Ｒ，Ｂの画素数の比率が小さくなり、高周波部に偽色が発生しやすくなる。従って、Ｇの画素数は、Ｒ，Ｂそれぞれ画素数の１．５以上３以下が好ましい。

更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

Claims

水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
前記カラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが配列された所定の基本配列パターンを含み、該基本配列パターンが水平及び垂直方向に繰り返して配置され、
前記第１のフィルタ及び前記第２の色の各色に対応する第２のフィルタは、それぞれ前記基本配列パターン内に前記カラーフィルタ配列の水平及び垂直方向の各ライン内に１つ以上配置され、
前記基本配列パターンは、前記第２のフィルタのうちいずれか１色のフィルタであって１画素分の第２のフィルタの４辺にそれぞれ隣接し、かつ水平及び垂直方向の各方向に２以上連続して配置される前記第１のフィルタを含むカラー撮像素子。
前記第１のフィルタに対応する第１の色の画素数の比率は、前記第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きい請求項１に記載のカラー撮像素子。
前記カラーフィルタ配列は、前記第１のフィルタからなる２×２画素に対応する正方配列を含む請求項１又は２に記載のカラー撮像素子。
前記所定の基本配列パターン内のカラーフィルタ配列は、該基本配列パターンの中心に対して点対称である請求項１から３のいずれか１項に記載のカラー撮像素子。
前記所定の基本配列パターンは、Ｎを４以上８以下の整数とすると、Ｎ×Ｎ画素に対応する正方配列パターンである請求項１から４のいずれか１項に記載のカラー撮像素子。
前記所定の基本配列パターンは、６×６画素に対応する正方配列パターンである請求項５に記載のカラー撮像素子。
前記第１の色は、緑色であり、前記第２の色は、赤色及び青色である請求項１から６のいずれか１項に記載のカラー撮像素子。