JP6598507B2 - 撮像装置、撮像システム、信号処理方法 - Google Patents

Description

本発明は、撮像装置、撮像システム、信号処理方法に関する。

撮像素子では、カラー画像を得るために、素子表面に各画素単位で特定の波長成分、たとえばレッド、グリーン、ブルーのそれぞれの色の光を透過させるカラーフィルタ（以下、ＣＦと表記する）を設けている。以下、レッド、グリーン、ブルーをＲ、Ｇ、Ｂと表記する。また、ＲのＣＦが配された画素を赤画素、ＧのＣＦが配された画素を緑画素、ＢのＣＦが配された画素を青画素と表記する。また、赤画素、緑画素、青画素を纏めて表記する場合にはＲＧＢ画素と表記する。

撮像素子の感度を向上するために、輝度の情報を得やすい画素の割合を増やす構成が提案されている。その中でも、可視光域の光を広く透過するホワイト画素（以下、Ｗ画素と表記する）を用いることで、感度が向上しＳ／Ｎ比の高い画像を得ることができる。

特許文献１には、ＲＧＢ画素とＷ画素とを有するＲＧＢＷ配列を有する撮像素子の出力信号に、補間処理を行うことが開示されている。

特許文献１には、注目画素の近傍の画素を用いて、複数の方向のそれぞれの相関性を得る。この方向別の相関性を、注目画素の補間方法を決定する判定基準とすると記載されている。さらに、特許文献１には、この相関性を求めるために、異なる色の画素が間に設けられた同色の画素同士の画素データを用いること、あるいは、異なる色で隣り合う画素同士の画素データを用いることが記載されている。

特開２０１４−０７２６５８号公報

特許文献１に記載の技術では、補間処理において、同色の画素同士の画素データを用いる場合には、異なる色の画素を挟んで設けられた同色の画素同士の画素データを用いていた。よって、離れた同色の画素同士の画素データを用いることによる、補間精度の低下が生じていた。一方、隣接した画素同士の画素データを用いて補間処理を行う場合には、色の異なる画素同士の画素データを用いることとなるため、補間精度の低下が生じていた。

本発明は、上記の課題を鑑みて為されたものであり、一の態様は、各々が光電変換部を有する第１画素、第２画素、第３画素、第４画素、第５画素、第６画素、第７画素、第８画素、第９画素、第１０画素、第１１画素、第１２画素、第１３画素、第１４画素、第１５画素、第１６画素、第１７画素と、信号処理部とを有し、前記第１画素の前記光電変換部が光電変換する光の波長帯域は第１波長帯域であり、前記第２〜第１３画素の各々の前記光電変換部が光電変換する光の波長帯域は前記第１波長帯域を含むとともに前記第１波長帯域よりも広い波長帯域である第２波長帯域であり、前記第１画素に、前記第２〜第９画素の各々が隣接し、第１方向において、前記第２画素と前記第３画素との間に前記第１画素があり、前記第１方向とは異なる第２方向において、前記第４画素と前記第５画素との間に前記第１画素があり、前記第１方向および前記第２方向とは異なる第３方向において、前記第６画素と前記第７画素との間に前記第１画素があり、前記第１０画素、前記第８画素、前記第４画素、前記第７画素、前記第１１画素は、この順に前記第１方向に平行な方向に沿って隣り合うように設けられており、前記第１２画素、前記第６画素、前記第５画素、前記第９画素、前記第１３画素は、この順に前記第１方向に平行な方向に沿って隣り合うように設けられており、前記第１４画素、前記第８画素、前記第２画素、前記第６画素、前記第１５画素は、この順に前記第２方向に平行な方向に沿って隣り合うように設けられており、前記第１６画素、前記第７画素、前記第３画素、前記第９画素、前記第１７画素は、この順に前記第２方向に平行な方向に沿って隣り合うように設けられており、前記信号処理部は、前記第１０画素、前記第８画素、前記第４画素、前記第７画素、前記第１１画素、前記第１２画素、前記第６画素、前記第５画素、前記第９画素、前記第１３画素の各々の信号から第１相関値を得て、前記第１４画素、前記第８画素、前記第２画素、前記第６画素、前記第１５画素、前記第１６画素、前記第７画素、前記第３画素、前記第９画素、前記第１７画素の各々の信号から第２相関値を得て、前記第１４画素、前記第４画素、前記第３画素、前記第１３画素、前記第１０画素、前記第２画素、前記第５画素、前記第１７画素の各々の信号から第３相関値を得て、前記第１２画素、前記第２画素、前記第４画素、前記第１６画素、前記第１５画素、前記第５画素、前記第３画素、前記第１１画素の各々の信号から第４相関値を得て、前記信号処理部は、前記第１相関値、前記第２相関値、前記第３相関値、前記第４相関値を比較することによって、相関性の高い方向を得て、前記信号処理部はさらに、前記第２〜第１７の画素のうち前記相関性の高い方向に沿って設けられた画素の信号を用いて、前記第１画素における前記第２波長帯域に相当する信号を補間することを特徴とする撮像装置である。

他の態様は、各々が光電変換部を有する第１画素、第２画素、第３画素、第４画素、第５画素、第６画素、第７画素、第８画素、第９画素、第１０画素、第１１画素、第１２画素、第１３画素、第１４画素、第１５画素、第１６画素、第１７画素が出力する信号を処理する信号処理方法であって、前記第１画素の前記光電変換部が光電変換する光の波長帯域は第１波長帯域であり、前記第２〜第１３画素の各々の前記光電変換部が光電変換する光の波長帯域は前記第１波長帯域を含むとともに前記第１波長帯域よりも広い波長帯域である第２波長帯域であり、前記第１画素に、前記第２〜第９画素の各々が隣接し、第１方向において、前記第２画素と前記第３画素との間に前記第１画素があり、前記第１方向とは異なる第２方向において、前記第４画素と前記第５画素との間に前記第１画素があり、前記第１方向および前記第２方向とは異なる第３方向において、前記第６画素と前記第７画素との間に前記第１画素があり、前記第１０画素、前記第８画素、前記第４画素、前記第７画素、前記第１１画素は、この順に前記第１方向に平行な方向に沿って隣り合うように設けられており、前記第１２画素、前記第６画素、前記第５画素、前記第９画素、前記第１３画素は、この順に前記第１方向に平行な方向に沿って隣り合うように設けられており、前記第１４画素、前記第８画素、前記第２画素、前記第６画素、前記第１５画素は、この順に前記第２方向に平行な方向に沿って隣り合うように設けられており、前記第１６画素、前記第７画素、前記第３画素、前記第９画素、前記第１７画素は、この順に前記第２方向に平行な方向に沿って隣り合うように設けられており、前記信号処理方法は、前記第１０画素、前記第８画素、前記第４画素、前記第７画素、前記第１１画素、前記第１２画素、前記第６画素、前記第５画素、前記第９画素、前記第１３画素の各々の信号から第１相関値を得るステップと、前記第１４画素、前記第８画素、前記第２画素、前記第６画素、前記第１５画素、前記第１６画素、前記第７画素、前記第３画素、前記第９画素、前記第１７画素の各々の信号から第２相関値を得るステップと、前記第１４画素、前記第４画素、前記第３画素、前記第１３画素、前記第１０画素、前記第２画素、前記第５画素、前記第１７画素の各々の信号から第３相関値を得るステップと、前記第１２画素、前記第２画素、前記第４画素、前記第１６画素、前記第１５画素、前記第５画素、前記第３画素、前記第１１画素の各々の信号から第４相関値を得るステップと、前記第１相関値、前記第２相関値、前記第３相関値、前記第４相関値を比較することによって、相関性の高い方向を得るステップと、前記第２〜第１７の画素のうち前記相関性の高い方向に沿って設けられた画素の信号を用いて、前記第１画素における前記第２波長帯域に相当する信号を補間するステップとを有することを特徴とする信号処理方法である。

本発明により、補間処理の精度を向上させることができる。

撮像装置の信号処理を示した図 撮像素子のＣＦ配列の一例を示した図と、信号処理を示した図 撮像素子の露光パターンの一例を示した図と、信号処理を示した図と、比較例における撮像素子のＣＦ配列と、比較例の信号処理を示した図 撮像素子の露光パターンの一例を示した図と、画素データを示した図 撮像素子の構成の一例を示した図 撮像素子の構成の一例を示した図 撮像素子のＣＦ配列の一例を示した図 撮像素子のＣＦ配列の一例を示した図 撮像装置の信号処理を示した図 撮像装置の信号処理を示した図 撮像装置の信号処理を示した図 撮像装置の構成を示した図 撮像装置の信号処理の一例を示した図

以下、図面を参照しながら説明する。

図１は、撮像装置の構成と、撮像装置の外部に設けられた画像処理部２０３と、撮像装置が行う信号処理とを示した図である。撮像装置は、撮像素子２０１、信号処理部２０２を有する。信号処理部２０２は、前段処理部２０４、補間部２０５、変換部２０６を有する。信号処理部２０２は、撮像素子２０１が出力する出力信号に対し、補間処理およびアップコンバート処理を行ったデータを生成する。信号処理部２０２はさらにそのデータに対してモザイク画像を生成するモザイク処理を行い、画像処理部２０３にデータを出力する。画像処理部２０３に入力される所定のデータは、本実施形態ではベイヤ配列としている。また、図１では、補間部２０５、変換部２０６、画像処理部２０３のそれぞれが生成するデータを併せて示している。図１に示しているデータは、各部が処理を行った結果、生成するデータを示している。例えば、画像処理部２０３において示しているデータは、変換部２０６が出力するデータを、画像処理部２０３がデモザイク処理した結果、生成したデータである。

撮像素子２０１は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサを用いることができる。本実施形態では、このうちＣＭＯＳイメージセンサを用いる。

本実施形態の撮像素子２０１は、複数の画素を有する。複数の画素の各々は、光透過部を有する。複数の画素のうちの一部の画素は、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）のいずれか一つの色に対応する波長の光を透過するカラーフィルタ（ＣＦ）を有する。カラーフィルタは、光透過部の一例である。複数の画素の各々は、入射光に基づく電荷を生成する光電変換部を有する。尚、入射光に基づく電荷が生成するように設けられた画素を有効画素と表記する。撮像素子２０１が有する有効画素数を、本実施形態では、水平方向に１９２０画素、垂直方向に１０８０画素とする。

図１の撮像素子２０１では、各画素について、Ｒ、Ｇ、Ｂ、Ｗを付して示している。これは、各々の画素の光透過部が透過する光の波長に対応した色を示している。Ｒはレッド、Ｇはグリーン、Ｂはブルー、Ｗはホワイトである。尚、Ｗ画素の光透過部は、透過する光の波長帯域を狭める部材を有しない樹脂とすることができる。Ｗ画素にはＣＦが配されていないと言うこともできる。従って、Ｗ画素の光電変換部が受ける光の波長帯域は、ＲＧＢ画素のそれぞれの光電変換部が受ける光の波長帯域よりも広い。

本実施形態の撮像素子２０１は、ＲＧＢＷ１２配列と呼ぶＣＦ配列を有している。尚、Ｗ画素にはＣＦは配されていないが、複数の画素の光透過部の配列パターンを表記する際には、ＣＦ配列として表記することとする。この配列では、４×４の１６画素のうちＲ：Ｇ：Ｂ：Ｗ＝１：２：１：１２の比で表される個数比で各画素が配置されている。このＲＧＢＷ１２配列では、カラー画素である赤画素、緑画素、青画素のいずれの画素も、平面視において垂直方向、水平方向、斜め方向のそれぞれにおいてＷ画素が隣接して配置されている。つまり、第１の画素であるカラー画素は平面視における上方向、下方向、右方向、左方向、右斜め上方向、左斜め下方向、左斜め上方向、右斜め下方向において、第２の画素であるＷ画素が隣接している。第１方向は、第１の画素に対し、平面視における上方向に隣接する第２の画素から当該第１の画素を見た方向である。第２方向は、第１の画素に対し、平面視における左方向に隣接する第２の画素から当該第１の画素を見た方向である。第３方向は、第１の画素に対し平面視における右斜め上方向に隣接する第２の画素から当該第１の画素を見た方向である。第４方向は、第１の画素に対し平面視における左斜め上方向に隣接する第２の画素から当該第１の画素を見た方向である。すなわち、第１の画素であるカラー画素は、複数の第２の画素のＷ画素に囲まれている。より具体的には、複数の第２の画素のうちのＡ画素は、平面視における上方向に第１の画素に隣接する画素である。複数の第２の画素のうちのＢ画素は、平面視における下方向に第１の画素に隣接する画素である。Ａ画素からＢ画素に至る向きが第１方向である。この第１方向において、Ａ画素とＢ画素との間に第１の画素がある。複数の第２の画素のうちのＣ画素は、平面視における左方向に第１の画素に隣接する画素である。複数の第２の画素のうちのＤ画素は、平面視における右方向に第１の画素に隣接する画素である。Ｃ画素からＤ画素に至る向きが第２方向である。この第２方向において、Ｃ画素とＤ画素との間に第１の画素がある。複数の第２の画素のうちのＥ画素は、平面視における右斜め上方向に第１の画素に隣接する画素である。複数の第２の画素のＦ画素は、平面視における左斜め下方向に第１の画素に隣接する画素である。Ｅ画素からＦ画素に至る向きが第３方向である。この第３方向において、Ｅ画素とＦ画素との間に第１の画素がある。複数の第２の画素のうちのＧ画素は、平面視における左斜め上方向に第１の画素に隣接する画素である。複数の第２の画素のうちのＨ画素は、平面視における右斜め下方向に第１の画素に隣接する画素である。Ｇ画素からＨ画素に至る向きが第４方向である。この第４方向において、Ｇ画素とＨ画素との間に第１の画素がある。Ｃ画素とＦ画素は、第１方向と平行な方向で隣り合っている。また、Ａ画素とＥ画素は、第２方向と平行な方向で隣り合っている。

また、ＲＧＢＷ１２配列では、Ｗ画素の比率が全画素数の３／４の数となっている。なお、撮像素子２０１には、有効画素以外に、オプティカルブラック画素、ダミー画素などの画像に直接出力されない画素を有する場合もある。なお、Ｗ画素はＣＦを有さない画素としている。これにより、Ｗ画素が感度を有する波長帯域は赤画素、緑画素、青画素の各々が感度を有する波長帯域の全てを包含するものとなる。よって、Ｗ画素はＲＧＢ画素と比べ、分光感度特性が広いため、ＲＧＢ画素よりも感度が高い。

このようなＲＧＢＷ１２配列を用いた場合、カラー画素がＷ画素で周囲を囲まれている為に、後述するように、補間精度の向上の効果が得られる。

信号処理部２０２では、撮像素子２０１が出力する出力信号に対して信号処理を行う。信号処理部２０２は、前段処理部２０４、補間部２０５、変換部２０６を有する。

撮像素子２０１からの出力信号は、信号処理部２０２の前段処理部２０４に入力される。前段処理部２０４は各信号のオフセット補正、ゲイン補正等の補正を行う。

補間部２０５では、前段処理部２０４が出力するデータに対し、補間処理を行う。また、補間部２０５はデモザイク処理を行う。本実施形態のデモザイク処理は、ＲＧＢ画素の各々の信号から、バイリニア法によって、Ｒデータ、Ｇデータ、Ｂデータを得る処理である。本実施形態のデモザイク処理は、Ｒデータにおいては、Ｗ画素の位置に赤画素が位置していると想定した場合に得られると推定される値であるＲ成分を補間している。同様に、本実施形態のデモザイク処理は、Ｂ成分、Ｇ成分のそれぞれについてもＲ成分と同じように補間してＢデータ、Ｇデータをそれぞれ生成する。

ＲＧＢＷ１２配列では、解像情報を得ることができるＷ画素の単位面積当たりの画素数が、Ｗ画素を市松模様で配置した場合よりも多い。これにより、Ｗ画素を市松模様で配置した場合に対し、空間周波数の高い（つまりピッチが細かい）解像情報を取得することができる。つまり、信号処理部２０２は、ＲＧＢＷ１２配列の撮像素子２０１が出力する出力信号を用いることによって、Ｗ画素が市松模様で配された撮像素子が出力する出力信号に比して、解像感の高いデータを生成することができる。

変換部２０６では、補間部２０５が出力するデータを用いてアップコンバート処理及びモザイク処理を行う。アップコンバート処理とは、処理前の第１の解像度のデータから、第１の解像度よりも高い第２の解像度のデータを生成する、解像度の増加処理である。本実施形態においては、撮像素子２０１から出力される出力信号は１９２０×１０８０、いわゆる２Ｋ１Ｋの解像度である。この２Ｋ１Ｋの入力データに対し、信号処理部２０２が出力するデータはアップコンバートされた３８４０×２１６０、いわゆる４Ｋ２Ｋの解像度とする。つまり、本実施形態の変換部２０６は、補間部２０５が出力する１つの画素信号を用いて、４つの画素信号を生成する処理を行う。

アップコンバート処理の手法としては、最近傍内挿（ニアレストレイバー）法、バイリニア法、バイキュービック法等を用いることができる。尚、本実施形態の変換部２０６は、アップコンバート処理後に後述するモザイク処理を行う。この場合には、最近傍内挿法を用いることで、データ処理誤差の蓄積を防ぐことができる。

本実施形態の変換部２０６はモザイク処理を行う。本実施形態の変換部２０６が行うモザイク処理は、Ｒデータ、Ｇデータ、Ｂデータのそれぞれのカラーデータを用いて、ベイヤデータを生成する処理である。このベイヤデータとは、単板イメージセンサにおいてＲＧＢ画素をベイヤ配置とした場合に得られるデータである。

画像処理部２０３では、信号処理部２０２が出力するデータを用いて、撮影画像を生成する。画像処理部２０３では、デモザイク処理、カラーマトリクス演算、ホワイトバランス処理、デジタルゲイン、ガンマ処理、ノイズリダクション処理、等が適時実施される。これらの処理のうち、撮影画像の解像情報に対して、デモザイク処理が他の処理よりも大きく関わる。本実施形態では、変換部２０６が、アップコンバート処理を行った上で、モザイク処理を行っている。このため、変換部２０６が出力する２×２のデータ（１つのＲ信号、２つのＧ信号、１つのＢ信号）のうち、１つのＲ信号を用いて、画像処理部２０３は、Ｒデータの１つのＲ信号を生成することができる。この画像処理部２０３の他の色のＧデータ、Ｂデータについても、Ｒデータの生成と同じ処理によって生成できる。

補間部２０５では、前段処理部２０４からの信号を補間する。ＲＧＢＷ１２配列では、解像度情報を得るためのＷ画素が多いため、Ｗ画素を市松模様に配列した場合に対し、空間周波数の高い（つまりピッチが細かい）解像度データを取得できる特徴を有する。

この隣接したＷ画素を用いることで、１画素単位で平面視における上下方向、左右方向、斜め方向に対する相関性（方向性）を推測することができる。ここで言う相関性（方向性）は、複数の画素同士の信号の差分である。また、この差分を画素の重心間の距離で除算した勾配としても良い。相関性（方向性）の他の例は、被写体のエッジの有無、孤立点有無の判定結果が挙げられる。以下では、この相関性を、複数の画素同士の信号の差分によって得る例を説明する。

たとえば赤画素において、他の色（たとえばＷ）に相当する値を補間する場合には、相関性が高い（すなわち差分が小さい）方向のデータを参照して、補間値を算出する。これにより、相関性が低い（すなわち差分が大きい）方向のデータを参照して補間値を算出する場合に比べて、赤画素におけるＷの値を高精度に補間することができる。また、方向性の算出処理は、さらに分散を求める処理を行ってもよい。相関性を導くための、各方向の相関値の算出ならびに補間についての詳細な説明を次で述べる。

図２（ａ）〜（ｅ）のそれぞれは、ＲＧＢＷ１２配列と、青画素の相関性（方向性）を検出する方法を示した図である。図２（ａ）では、画素にアドレスを明記している。ここでは、画素を表す場合には、ＣＦの色（Ｘ座標値、Ｙ座標値）で表すとする。たとえばＸ＝３、Ｙ＝３に位置する画素はＢ（３，３）として表される。このＢ（３，３）を中心とした５画素×５画素の領域を切り出して、相関性（方向性）を求める方法を説明する。

図２（ｂ）は、横方向の相関値を求める際に計算に用いる画素を矢印で示している。
相関値（横）＝｜Ｗ（２，２）−Ｗ（３，２）｜×２
＋｜Ｗ（３，２）−Ｗ（４，２）｜×２
＋｜Ｗ（２，４）−Ｗ（３，４）｜×２
＋｜Ｗ（３，４）−Ｗ（４，４）｜×２

図２（ｃ）は、縦方向の相関値を求める際に計算に用いる画素を矢印で示している。
相関値（縦）＝｜Ｗ（２，２）−Ｗ（２，３）｜×２
＋｜Ｗ（２，３）−Ｗ（２，４）｜×２
＋｜Ｗ（４，２）−Ｗ（４，３）｜×２
＋｜Ｗ（４，３）−Ｗ（４，４）｜×２

図２（ｄ）は、左斜方向の相関値を求める際に計算に用いる画素を矢印で示している。それぞれの差分に距離の重みづけを行い、相関値（左斜）として差分の絶対値の総和を求める。
相関値（左斜）＝｜Ｗ（１，２）−Ｗ（２，３）｜
＋｜Ｗ（２，３）−Ｗ（３，４）｜×２
＋｜Ｗ（３，４）−Ｗ（４，５）｜
＋｜Ｗ（２，１）−Ｗ（３，２）｜
＋｜Ｗ（３，２）−Ｗ（４，３）｜×２
＋｜Ｗ（４，３）−Ｗ（５，４）｜

図２（ｅ）は、右斜方向の相関値を求める際に計算に用いる画素を矢印で示している。それぞれの差分に距離の重みづけを行い、相関値（右斜）として差分の絶対値の総和を求める。
相関値（右斜）＝｜Ｗ（１，４）−Ｗ（２，３）｜
＋｜Ｗ（２，３）−Ｗ（３，２）｜×２
＋｜Ｗ（３，２）−Ｗ（４，１）｜
＋｜Ｗ（２，５）−Ｗ（３，４）｜
＋｜Ｗ（３，４）−Ｗ（４，３）｜×２
＋｜Ｗ（４，３）−Ｗ（５，２）｜

なお、この４つの相関値を求める際には、差分の項の係数の合計が８になっている。係数にて、計算上の差分をとる場所に関する重みづけを近くすることと、４つの相関値同士の重みづけを同等にすることが目的である。また、差分をとる位置（矢印）は、Ｂ（３，３）に対して、線対称に配置されている。これは、相関値を求める際に対称性をよくすることで、相関値のエラーを少なくするためである。また、斜め方向の相関値を求める場合には、注目画素に近接する画素同士の差については２を乗じ、当該近接する画素同士よりも注目画素から離れた画素同士の差については１倍の差分としている。このように、注目画素からの距離に応じた差分の重み付けを行うことにより、相関値の精度を高めることができる。

以上で求めた４つの、相関値（横）、相関値（縦）、相関値（左斜）、相関値（右斜）のうち最も小さい値を持つ方向が、差分の小さい、すなわち相関性が高いことを示す。

図３（ａ）に、相関値（横）が小さい画像が生成される場合のイメージセンサの露光パターンを示す。図３（ａ）は、具体的には、横方向に延在する線がイメージセンサに露光された場合の、各画素に対応するデータの信号強度を模式的に示した図である。

図３（ｂ）は、図３（ａ）の画像をＲＧＢＷ１２配列で撮像した場合の信号強度を示している。図中の？はＷ以外の色の画素（Ｒ，Ｇ，Ｂ）であり、Ｗと記載された画素はＷ画素である。図中のＷ画素の濃淡は、データの信号強度を表している。？の画素は、Ｗ画素以外の画素が配置されている。

図３（ｂ）中、座標（３，３）で示される「？」の画素に対し、相関性を求めると、差分が小さい方向では、相関性が高くなる。この図では横方向の細線であるため、相関値（横）が最も小さくなる。図３（ｃ）では、横方向の相関があることから、座標（３，３）の補間値を、Ｗ（２，３）およびＷ（４，３）のデータを平均した値とする。このように、信号処理部２０２が有する補間部２０５は、注目画素（３，３）の近傍のＷ画素の方向毎の相関値を比較し、当該比較の結果として差分が小さい方向を得る。そして補間部２０５は、比較の結果として得られた補間方向を用いて、注目画素（３，３）の隣のＷ画素から、注目画素（３，３）のＷデータを推測し補間を行う。この様に補間することで、１画素単位での差分の情報をもとに補間処理を実行することができるため、解像度が向上する。

一方、図３（ｄ）に示すようなＲＧＢＷ画素配列において、図３（ａ）に示す横方向の細線をイメージセンサが露光された場合について述べる。この場合、相関値を求めようとすると、図３（ｅ）に示すように、他の色の画素を挟むように配されたＷ画素同士の信号を用いて相関値を得ることになる。図３（ｅ）で分かる通り、他の色の画素を挟むように配されたＷ画素同士の信号を用いて得た相関値を見ると、以下の横方向、縦方向の相関値は同じになる。
相関値（横）＝｜Ｗ（２，２）−Ｗ（４，２）｜＋｜Ｗ（２，４）−Ｗ（４，４）｜
相関値（縦）＝｜Ｗ（２，２）−Ｗ（２，４）｜＋｜Ｗ（４，２）−Ｗ（４，４）｜

相関値が同じになると、細線が縦線であるか、横線であるかの見分けができないため、補間エラーが生じる。つまり、Ｗ画素のサンプリング周期よりも小さい周期の被写体のパターンは検出が困難であることを示す。

上述のようにして、算出した相関値を用いて補間値を求めることにより、補間処理の精度を高めることができる。また、相関値を求める際に、被写体の情報である、例えば被写体のエッジ情報、形状情報を用いることによって、方向性をさらに高精度に求めることもできる。この場合、被写体の情報を用いずに相関値を求めて補間処理を行うよりもシャープな画像（つまり解像感が高い画像）が得られる場合がある。

上述した補間処理を行うことにより、ある色の画素（たとえば赤画素）における、他の色（たとえばＧ、Ｂ、Ｗ）の補間値を高精度に求めることができる。すなわち、偽色の発生を減ずることができる。さらに偽色の発生を減ずるには、局所的な色の変化は輝度の変化と強い相関を持つという特徴を利用して、複数の画素データのＲＧＢデータ比およびＷデータ比を求め、その比にＷのデータを乗じる。Ｗ画素の解像度分の色データを補間する。この補間処理について、図４を用いて説明する。

図４（ａ）は、縦方向に延在する緑青の線が、イメージセンサに露光された場合の信号強度を示している。Ｘ＝１、３、５の列の画素には、高輝度の緑青の線が露光され、Ｘ＝２、４、６の列の画素には低輝度の緑青の線が露光されている。

図４（ｂ）は、図４（ａ）の強度分布を、Ｘ方向の座標に対する強度分布を表記したグラフである。緑青の線の明暗が交互に繰り返している為、Ｗ画素で露光した場合、明暗の繰り返しパターンが露光され、データ化される。この線のパターンを図４（ｃ）に示すＲＧＢＷ１２配列で露光した場合について考える。図４（ｄ）は、図４（ｃ）のＹ座標＝３の部分におけるＸ方向座標に対する強度分布を示す。図４（ｄ）中のプロットは、凡例にある通り、丸印がＷ（２，３）、Ｗ（４，３）におけるＷ画素の強度である。破線丸印が座標（１，３）、（３，３）、（５，３）における補間したＷの強度予測値で、ｉＷｇ（１，３）、ｉＷｂ（３，３）、ｉＷｇ（５，３）と示す。これらの値は、縦の細線であることから、Ｗ（３，２）、Ｗ（３，４）と同等のデータであることが推測される。三角印がＢ（３，３）における青画素の強度である。Ｗ画素の感度は青画素より高いため、Ｘ座標３におけるＷの補間値ｉＷ（３，３）は、青画素の値Ｂ（３，３）よりも大きくなる。

補間されたｉＷｂ（３，３）と、Ｂ（３，３）のデータから色の比を求めると、この近傍の青色の変化は、色の比Ｂ（３，３）／ｉＷｂ（３，３）にＷのデータをかけ合わせることで表現することができる。この色の比が精度の高いｉＷｂ（３，３）を用いることで、偽色を補正することができる。

この偽色の補正は次のような計算にて求めることができる。局所的な色の比は、すなわちこのｉＷとＲＧＢの比であり、この比を以下のように表わすことができる。

ここで、ｉＷｒは赤画素のＷ補間値、ｉＷｇｒはＧｒ画素のＷ補間値、ｉＷｇｂはＧｂ画素のＷ補間値、ｉＷｂは青画素のＷ補間値、である。ここでｉＷｒとｉＷｇｒとｉＷｇｂとｉＷｂの値が大きく異なると、ＲＧＢのどれかの色が強調される場合がある。そのため、以下のように、ＲＧＢそれぞれの色比の合計で規格化した式を用いることもできる。

このように求めた色比ＲＧＢ＿ｒａｔｉｏと、Ｗないしは補間値ｉＷｒ・ｉＷｇｒ・ｉＷｇｂ・ｉＷｂのデータを用いて、各画素のＲＧＢの値を以下のように求めることができる。

ただしここで

とする。以上のようにして、ＲＧＢＷ１２のデータから補間、偽色補正を行ったＲＧＢの画像を形成することができる。

変換部２０６では、補間部２０５からの信号を用いてアップコンバート及びリモザイクを行う。アップコンバートとは、解像度変換の一種で、元の解像度からより高い解像度の画像を作成することの総称である。

画像処理部２０３では、信号処理部２０２からの出力を用いて、出力画像を作成する部分であり、ＲＧＢの画像を作ることからＲＧＢ信号処理部と呼ぶこともできる。画像処理部２０３では、センサからの出力をカラー画像にするために、デモザイク処理、カラーマトリクス演算、ホワイトバランス処理、デジタルゲイン、ガンマ処理、ノイズリダクション処理、等が適時実施される。これらの処理の内、解像度情報にとっては、特にデモザイク部分が重要であり、ベイヤ配列のＣＦを想定して高度な補間処理がなされる。

特殊なＣＦ配置の撮像素子の場合に、専用の画像処理部を新たに製造すると、コストと時間の増大につながる。したがって、この画像処理部は、通常のベイヤ配列を処理するものを流用することが大きなメリットとなる。したがって、前述したリモザイクを実施することで特殊ＣＦ配列を低コストで利用することができる。

以上より、本発明の特徴であるＲＧＢＷ１２配列などの解像度情報を多く得られる撮像素子を用いた場合に、空間周波数が２画素より小さいパターンにおける相関値を得る。これにより、空間周波数が２画素より小さいパターン（細線など）での補間エラーを減らし、解像度を向上し、かつ偽色の発生を減ずることができる。

（実施例１）
以下、図面を参照しながら本実施例の撮像装置を説明する。尚、必要に応じて、図１の撮像装置を参照しながら説明する。

図５は、本実施例の撮像素子２０１の一例を示した図である。本実施例の撮像素子２０１は、画素１００が行列状に配された画素アレイを有する撮像領域１と、垂直走査回路２と、列増幅部３と、水平走査回路４と、出力部５とを有する。垂直走査回路２は、画素１００のトランジスタをオン（導通状態）又はオフ（非導通状態）に制御するための制御信号を、画素１００のトランジスタに供給する。撮像領域１には、画素１００からの信号を列ごとに読み出すための垂直信号線６が配されている。水平走査回路４は、各列の列増幅部３のスイッチと、該スイッチをオン又はオフに制御するための制御信号を供給する水平走査回路４を有する。水平走査回路４による走査によって、列増幅部３の各列から出力部５に信号が順次出力される。列増幅部３から出力部５を介して出力される信号は、図１で述べた通り、撮像素子２０１の外部の信号処理部２０２に入力される。

なお、撮像素子２０１が出力する出力信号がアナログ信号である例を説明したが、撮像素子２０１がデジタル信号を出力するようにしても良い。その場合には、信号処理部２０２が行うアナログデジタル変換は省略できる。

ここから、図６を参照しながら図５の撮像装置を説明する。垂直走査回路２は、画素１００に供給する信号ＰＴＸ、信号ＰＲＥＳ、信号ＰＳＥＬの信号レベルを制御することによって、撮像領域１の画素１００を行単位での走査である垂直走査を行う。この垂直走査回路２による垂直走査によって、各画素１００は光電変換信号をＰＤＯＵＴ端子から垂直信号線６に出力する。電流源７は垂直信号線６を介して画素１００に電流を供給する。スイッチ８は列増幅部３への入力を制御する。

列増幅部３は、列増幅部３の増幅率を決める為の容量Ｃ０、容量Ｃ１、容量Ｃ２、スイッチ９、スイッチ１０、スイッチ１１、ならびに増幅回路１２を有する。また、列増幅部３はサンプルホールドする為のスイッチ１３、スイッチ１４、保持容量ＣＴＮ、保持容量ＣＴＳ、水平転送線に接続するためのスイッチ１５、スイッチ１６を有する。

水平走査回路４は、増幅回路１２が設けられた列毎に、スイッチ１５、スイッチ１６の導通状態と非導通状態を順次制御する。これにより、水平走査回路４は、列増幅部３の列単位の走査である水平走査を行う。

水平走査回路４がスイッチ１５、スイッチ１６を導通状態とすると、容量素子ＣＴＮ、容量素子ＣＴＳに保持された信号が出力アンプに入力される。出力アンプ１７は入力された信号を増幅した信号を、撮像素子の外部に出力する。

さらに図６を用いて撮像素子２０１の詳細を説明する。画素１００は、フォトダイオード１８、トランジスタ１９、浮遊拡散容量２０、トランジスタ２１、トランジスタ２２、トランジスタ２３を有する。

フォトダイオード（ＦＤと表記する場合もある）１８は、入射光に基づく電荷を蓄積する光電変換部である。

トランジスタ１９は、一方の端子をフォトダイオード１８が接続され、他方の端子に浮遊拡散容量２０が接続されている。浮遊拡散容量（ＦＤと表記する場合もある）２０は、トランジスタ１９のドレイン端子を兼ねた構造であり、トランジスタ１９を介してフォトダイオード１８から転送（ＴＸと表記される場合もある）される電荷を保持可能である。フォトダイオード１８に蓄積された電荷は、垂直走査回路２からトランジスタ１９のゲート端子に入力される信号ＰＴＸがＨｉｇｈレベル（Ｈレベルと表記する場合もある）となることで行われる。

トランジスタ２１は、垂直走査回路２から入力される信号ＰＲＥＳがＨレベルとなると、浮遊拡散容量２０の電位を電源電圧ＶＤＤに基づく電位にリセット（ＲＥＳと表記される場合もある）する。

トランジスタ２２は、入力ノードが浮遊拡散容量２０に電気的に接続されている。トランジスタ２２は一方の主ノードに、垂直信号線６を介して接続される電流源７からバイアス電流が供給され、他方の主ノードに電源電圧ＶＤＤが供給されることでソースフォロワ（ＳＦと表記する場合もある）を構成する。

トランジスタ２３は、垂直走査回路２から入力される信号ＰＳＥＬがＨレベルとなると、トランジスタ２２が出力する信号を垂直信号線６に出力する。トランジスタ２３が垂直信号線６に信号を出力するノードがノードＰＤＯＵＴである。トランジスタ２２が出力する信号は、浮遊拡散容量２０の保持する電荷に基づく信号である。

次に列増幅部３の動作に関して説明を行う。

スイッチ８は、画素１００が出力する信号を増幅回路１２へ入力する制御を行っている。

容量Ｃ０、容量Ｃ１、容量Ｃ２は増幅回路１２の増幅をおこなうための容量であり、スイッチ９、スイッチ１０を制御することによりＣ０／Ｃ１もしくはＣ０／Ｃ２もしくはＣ０／（Ｃ１＋Ｃ２）の容量比にて入力電圧の増幅をおこなう。

スイッチ１１は容量Ｃ１、容量Ｃ２のリセットの制御を行なう。

増幅回路１２から出力された信号は、スイッチ１３、スイッチ１４を制御することにより容量ＣＴＮとＣＴＳにサンプルホールドされる。画素１００が出力する信号のうち、浮遊拡散容量２０がリセットレベルにあるときの出力信号（Ｎ信号と表記する場合もある）を、スイッチ１３をＯＮすることで容量ＣＴＮにサンプルホールドする。また、画素１００からの出力信号のうち、浮遊拡散容量２０に電荷が転送されたときの出力信号（Ｓ信号と表記する場合もある）を、スイッチ１４をＯＮすることで容量ＣＴＳにサンプルホールドする。

スイッチ１５、スイッチ１６は、水平走査回路４から信号φＨｎをＨレベルにすることにより、サンプルホールドされた容量ＣＴＮ、容量ＣＴＳの出力を出力アンプ１７に順次接続する。

上述の撮像素子を用いることで、撮像素子に入力された光信号を、電気信号として読み出すことが可能となる。

図７（ａ）〜（ｄ）のそれぞれの図は、カラー画素としてＲＧＢ画素を用いているＣＦ配置の例を示した図である。図７（ａ）はベイヤ配置であり、ＣＦの比率がＲ：Ｇ：Ｂが１：２：１になる。ここで緑画素が他の色の画素に比べて多く配置されているのは、人間の視覚特性がＧの波長に感度が高く、かつ解像度も有するためであり、緑画素が多いことにより解像感を得られるためである。ベイヤ配列では、赤画素あるいは青画素に対し、緑画素は平面視における上方向、下方向、右方向、左方向のそれぞれで隣接している。一方、平面視における右斜め上、右斜め下、左斜め上、左斜め下のそれぞれの方向には緑画素は隣接していない。この場合の赤画素あるいは青画素におけるＧ成分の補間は、上、下、右、左の各方向の相関値の算出に他の色の画素が間に介在した緑画素同士の画素データを用いることとなる。あるいは隣接した画素同士の画素データを使用するのであれば、異なる色の画素同士の画素データを用いることとなる。これにより相関値の算出精度の低下が生じ、偽色が生じやすくなる。

図７（ｃ）は、ＲＧＢＷ８配列を示した図である。この配列において、ＲＧＢ画素のそれぞれは、平面視における上、下、右、左の各方向においてＷ画素が隣接して配置されている。一方、ＲＧＢ画素のそれぞれは、平面視における右斜め上、右斜め下、左斜め上、左斜め下の各方向においてはＷ画素とは異なる色の画素が隣接して配置されている。この配列においてもまた、先の図７（ａ）のベイヤ配列の場合と同じく、相関値の算出精度の低下が生じ、偽色が生じやすくなる。

図７（ｂ）はＲＧＢＷ１２配列を示した図である。この配列では、４×４の画素配列中、各ＣＦがＲ：Ｇ：Ｂ：Ｗ＝１：２：１：１２の比で配置されている。配列の特徴としては、カラー画素であるＲＧＢ画素のいずれの画素もＷ画素で囲まれている。この「囲まれている」とは、平面視における上、下、右、左、右斜め上、右斜め下、左斜め上、左斜め下の全ての方向においてＷ画素が配置されていることを表す。この配列では、Ｗ画素の比率が全有効画素の３／４を占める。カラー画素がＷ画素で周囲を囲まれていることによって、上述した実施形態の補間処理において説明したように、横方向、縦方向、右斜め方向、左斜め方向のそれぞれの相関値を好適に求めることができる。これにより、ＲＧＢＷ１２配列の撮像素子を用いた高精度の補間処理が実現される。また、ＲＧＢＷ１２配列は、ベイヤ配列、ＲＧＢＷ８配列に比べてＷ画素の画素数が多いため、撮像素子２０１の感度が向上する効果が得られる。

図７（ｄ）にＲＧＢＧ１２と表記したＣＦ配列を示す。この配列ではＲＧＢＷ１２のＷの部分をＧに置き換えており、４×４の画素配列中、各ＣＦがＲ：Ｇ：Ｂ＝２：１２：２の比で配置されている。配列の特徴としては、赤画素と青画素が緑画素で囲まれており、緑画素の比率が全画素の３／４配置されている。赤画素と青画素の各々は、上、下、右、左、右斜め上、右斜め下、左斜め上、左斜め下の各方向において、緑画素が隣接している。すなわち、赤画素と青画素の各々は緑画素に囲まれている。このため、先の図７（ｂ）のＲＧＢＷ１２配列の例と同じく、隣り合う２つ以上の緑画素の画素データを用いて、縦、横、右斜め、左斜めの各方向の相関値を求めることができる。これにより、ＲＧＢＧ１２配列の撮像素子を用いた高精度の補間処理が実現される。また、緑画素の値を輝度の値とすれば全画素の位置で高解像度の輝度値が得られる。また、赤画素と青画素に対して感度の高い緑画素の割合がベイヤ配列に比べて高いため、ベイヤ配列の場合に比べてＲＧＢＧ配列は感度が向上する。

図８（ａ）〜（ｄ）のそれぞれの図は、補色であるＣ（シアン）・Ｍ（マゼンダ）・Ｙ（イエロー）のＣＦを用いた場合の画素配置の例を示した図である。図８（ａ）はベイヤ配置であり、ＣＦの比率がＣ：Ｍ：Ｙが１：１：２である。図８（ｂ）は、ＣＭＹＷ１２配列を示した図である。この配列では、４×４の画素のうち各ＣＦは、Ｃ：Ｍ：Ｙ：Ｗ＝１：１：２：１２の比で配列されている。図８（ｃ）は、ＣＭＹＷ８配列を示した図である。この配列では、４×４の画素配列中、各ＣＦがＣ：Ｍ：Ｙ：Ｗ＝２：２：４：８の比で配列されている。図８（ｄ）は、ＣＭＹＹ１２配列を示した図である。これらの補色のＣＦの配列の場合も、図７（ａ）〜（ｄ）の場合と同じく、解像度データを出力する画素が、カラーデータを出力する画素を囲んでいる配列において、上述した実施形態の補間処理を好適に行うことができる。つまり、図８（ｂ）、図８（ｄ）の配列において、上述した実施形態の補間処理を好適に行うことができる。

上述のように、ＣＦは各種の配置が取りうる。単板イメージセンサで解像度をより高くした画像を作成するためには、解像度データを生成する画素（ベイヤ配列では緑画素であり、Ｗ画素を有する撮像素子であればＷ画素である）をより多く配置することが好ましい。ベイヤ配列では解像度データを生成する緑画素が市松模様状に配置されており、補間エラーが生じる場合があった。本発明では、解像度データを生成する画素を、市松模様状よりも多く配置することで、当該補間エラーを小さくできることを見出した。したがって、説明したＣＦ配置の内、図７（ｂ）ＲＧＢＷ１２、図７（ｄ）ＲＧＢＧ１２、図８（ｂ）ＣＭＹＷ１２、図８（ｄ）ＣＭＹＹ１２、の各配列に示されるようなＣＦ配置の撮像素子を用いた場合に、本発明の効果が顕著に表れる。なぜなら、図７（ｂ）ＲＧＢＷ１２、図７（ｄ）ＲＧＢＧ１２、図８（ｂ）ＣＭＹＷ１２、図８（ｄ）ＣＭＹＹ１２の場合、高精度の補間が必要な画素位置には、４方向でなく８方向に輝度が取得できる輝度画素があるためである。この場合、前述したように４つの、相関値（横）、相関値（縦）、相関値（左斜）、相関値（右斜）が得られる。この相関値の比較によって、４方向の差分の情報が得られる。この差分の情報を得ることによって、補間部２０５は、さらに高精度の補間を行うことができる。これにより、補間部２０５は、カラー画素位置における輝度値を高精度に得ることができる。このように、幾何学的に見て、色を取得するカラー画素の４辺の各々に接した、輝度を取得する複数の輝度画素と、カラー画素の４つの頂点をそれぞれ共有する複数の輝度画素とが配列されている。これにより、カラー画素位置における輝度情報を、高精度の補間で得ることができる。

本実施例においては画素を四角形とし、平面視における上、下、右、左、右斜め上、右斜め下、左斜め上、左斜め下の８方向に輝度が取得できる輝度画素が隣接している例を説明した。本発明はこの例に限定されるものではなく、画素が六角形で、この六角形の６辺のそれぞれに輝度画素が隣接して配置されている場合にも適用できる。この場合にも、隣り合う２つ以上の同色の画素データを用いて縦方向、横方向、右斜め方向、左斜め方向の４方向の相関値を求め、その相関値の比較によって差分の情報を得る。これにより、実施形態で述べた補間処理を好適に行うことができる。

図９は、図１に示した補間部２０５が行う処理を示した図である。尚、図９は、撮像素子２０１のＣＦ配列がＲＧＢＷ１２配列である場合を示している。

図９（ａ）は、前述の前段処理部２０４から入力されるデータである。前段処理部２０４では、入力信号Ｄｉｎのオフセット（ＯＦＦＳＥＴ）補正、ゲイン（ＧＡＩＮ）補正、等の補正を適宜実施して、補正後の出力Ｄｏｕｔを作成する。この処理は、典型的には以下の式で表わされる。

この補正は、さまざまな単位で行うことを採用しうる。例として、画素毎に補正を行う場合、列増幅器毎に補正を行う場合、アナログデジタル変換部（ＡＤＣ）部毎に行う場合、出力増幅器毎に補正を行う場合、等である。補正を行うことで、いわゆる固定パターンノイズを低減することができ、より高品質な画像を得ることができる。

補間部２０５は、前段処理部２０４から出力されたデータを、Ｗデータとカラーデータ（Ｇ信号、Ｒ信号、Ｂ信号）とをそれぞれ分離する「データ分離」処理を行う。

Ｗデータは、図９（ｂ）に示す通り、４×４の画素のうち、ＲＧＢ画素が配置されていた画素の信号は不明（図中では？で示している）となる。また、カラーデータは、図９（ｄ）で示す通り、４×４のうち２×２画素であり、解像度の低い（空間的に粗い）データとなる。

次に、補間部２０５は、「？」で示した信号を周囲の信号を用いて補間する処理を行う。補間の処理は、さまざまな方法を採用しうる。例として、周囲８画素平均を行う場合、上下左右の４画素の平均を行う（バイリニア法）手法と、周囲の画素のエッジを検出しエッジ方向に垂直な方向で補間する手法と、細線などのパターンを検出しその方向で補間する手法等がある。ここでは、以下のように補間処理を行う。

補間の方法を説明するために、図９（ｃ）にはＸ座標Ｙ座標を付記してある。たとえばｉＷｂと表記した信号は、Ｗデータにおける（３，３）の座標の信号であるためｉＷｂ（３，３）と表記する。入力信号の状態ではｉＷｂは不明であるため、補間が必要である。たとえば、ｉＷｂ（３，３）を周囲８画素平均で補間する場合、ｉＷｂ（３，３）は以下のように求められる。

本実施例ではこのように、信号値が不明な画素の信号を、周囲の画素の信号値から補間する処理を行う。なお、４×４の画素群を表記しているが、このパターンが繰り返されるため、ｉＷｒ、ｉＷｇなども周囲８画素の情報から補間を行うことができる。

次に、補間部２０５は、補間したＷデータ、ならびに抽出したカラーデータを用いて、Ｒデータ、Ｇデータ、Ｂデータのカラーデータを生成する。Ｒデータ、Ｇデータ、Ｂデータの生成における色の算出には、さまざまな方法が採用されうる。例として、カラーデータを規格化して色の比を求める方法がある。この方法では、以下の式で色の比を算出する。

ただしここで

である。

また、カラーデータと、補間したｉＷｒ、ｉＷｇ、ｉＷｂとの比をとる方法を利用することも出来る。この場合には、以下の式で色の比を算出する。

本実施例では、カラーデータと、補間したｉＷｒ・ｉＷｇｒ・ｉＷｇｂ・ｉＷｂとの比をとる方法を用いる。

このように求めた色の比であるＲＧＢ＿ｒａｔｉｏと、Ｗ信号あるいは補間値ｉＷｒ・ｉＷｇｒ・ｉＷｇｂ・ｉＷｂの信号を用いて、各画素におけるＲ、Ｇ、Ｂのそれぞれの色に対応する信号値を以下のように求めることができる。

ただしここで

であり、先ほど求めた色の算出データを用いる。

この補間部２０５の処理によって、各々が４×４の１６画素を有する、Ｒデータ、Ｇデータ、Ｂデータを得る。この補間部２０５が生成するＲデータ、Ｇデータ、Ｂデータは、解像データとカラーデータとを合成することによって生成される第１のデータである。

次に、図１０を参照しながら、変換部２０６が行う処理について説明する。

図１０は、カラーデータに対して、アップコンバート処理とモザイク処理を行い、ベイヤデータを出力する信号処理を示した図である。

図１０（ａ）は前述の補間部２０５から入力されるデータである。まずこのデータを、図１０（ｂ）に示すように、Ｒデータ、Ｇデータ、Ｂデータのそれぞれに分離する。

色分離されたそれぞれのカラーデータは、それぞれアップコンバート処理によって垂直方向および水平方向のそれぞれで２倍の解像度に変換される。アップコンバートの方法を説明するために、図１０（ｂ）および図１０（ｃ）および図１０（ｄ）にはＸ座標Ｙ座標を付記してある。たとえば、左上のＲと表記した画素は（１，１）の座標のＲのデータであるため、Ｒ（１，１）と表記する。図１０（ｃ）のＲ（１，１）は、図１０（ｂ）のＲ（１，１）の画素をそのまま用いている。図１０（ｃ）中、画素（１，２）、（２，１）、（２，２）はいずれも信号値が不明である。本実施例では、不明の信号値を補間する方法として、最近傍内挿法を用いる。よって、図１０（ｃ）の（２，１）、（１，２）、（２，２）の信号値をＲ（１，１）と同じ値とする。

このようにして、図１０（ｄ）に示すように、垂直方向および水平方向でそれぞれ２倍ずつ解像度が向上したＲデータ、Ｇデータ、Ｂデータのそれぞれが生成される。このアップコンバート処理によって得られたデータは、補間部２０５が生成した第１のデータをアップコンバート処理した第２のデータである。

次にモザイク処理をするために、図１０（ｄ）のうちハッチがかかっている画素を抽出する。図１０（ｄ）のＲデータでは、２×２の信号のうち、Ｘ座標値およびＹ座標値が最小の信号を用いる。つまり、Ｒ（１，１），Ｒ（３，１），Ｒ（５，１），Ｒ（７，１），Ｒ（３，１）・・・・の信号を用いる。Ｇデータでは、ベイヤ配列と同じ様に、市松模様状にデータを抽出する。Ｂデータでは、２×２の信号のうち、Ｘ座標値およびＹ座標値が最大の信号を用いる。つまり、Ｂ（２、２），Ｂ（４，２），Ｂ（６，２），Ｂ（８，１），Ｂ（４，２）・・・・の信号を用いる。

このようにして、変換部２０６は、図１０（ｅ）に示すモザイクデータを得る。変換部２０６は、モザイクデータを画像処理部２０３に出力する。このモザイクデータは、画像処理部２０３による画像の生成に用いられるデータである。本実施例では、画像処理部２０３に入力されるデータの配列は、ベイヤ配列である。

画像処理部２０３は、図１を参照しながら説明した動作を行う。これにより、画像処理部２０３は、被写体の撮影画像を生成する。

以上の処理を行う撮像装置を用いて評価撮影を行った。解像感を評価するために解像度チャートを用いてＴＶ解像度の評価を行った。また、他の例として、図１３に示すように、変換部２０６に図１０の処理の内、アップコンバート処理を行わずにモザイクデータを生成させた。そして、比較例では、このモザイクデータを用いて画像処理部２０３が撮影画像を生成した。

以上のような方法で比較した結果、本実施例の図１０に示した処理によって得られた撮影画像では、ＴＶ水平解像度が１０００本以上であった。一方で、他の例の撮影画像ではＴＶ水平解像度が９００本であった。よって、アップコンバート処理を行ってモザイクデータを生成して得た画像の方が、良好な解像度を得ることができた。

上記の画素信号数は、撮像素子の画素数の場合もあるが、撮像素子の信号出力する領域を限定（部分読み出し、クロップなどと呼ばれる場合もある）することや、撮像素子２０１の内部で加算（ビニングと呼ばれる場合もある）する。これにより、撮像素子２０１の画素数よりも少ない画素信号を出力することがある。本実施例で述べた処理では、出力された画素信号をアップコンバートすることで発揮されるものであり、撮像素子２０１の総画素数にはよらない。

本実施例の信号処理部２０２、画像処理部２０３のそれぞれは半導体基板に実装された集積回路とすることができる。

また、本実施例の撮像装置は、信号処理部２０２が形成された半導体基板と撮像素子２０１が形成された半導体基板とを積層した積層型センサとして利用することができる。

尚、本実施例では画像処理部２０３が撮像装置の外部に設けられた例を説明した。他の例として、撮像装置が画像処理部２０３を含むようにしても良い。

本実施例では、リモザイクしたデータを画像処理部２０３に出力し、画像を形成する形態について説明を行った。本実施例はこれに限定されるわけではなく、信号処理部２０２からＲＧＢデータを画像処理部に出力する形態や、信号処理部２０２から直接映像データを出力する形態であってもよい。

以上の処理を行った撮像装置を用いて評価撮影を行った。画像の評価項目としては、解像度感を得るためにＴＶ解像度の評価を行った。

図３（ｄ）、図３（ｅ）に示した比較例では、方向性を検出するために、第２の色の画素が介在した第１の色の画素同士の画素データを用いて取得する。このため、本実施例に比べて、方向性の算出精度が低下する。また、第１の色が隣接して並んだ列、あるいは行が比較例では存在しないために、線状の被写体の検出精度が本実施例の場合と比べて低下する。これにより、線状の被写体における、方向性の検出精度が比較例では本実施例の場合と比べて低下する。

以上のような方法で比較した結果、本実施形態の出力データでは、ＴＶ水平解像度が１０００本以上であった。一方、比較例の出力データではＴＶ水平解像度が９００本であった。

また、本実施形態の信号処理では、画像処理部２０３の設計を、本実施形態のようなＷ画素を有する撮像素子２０１ではなく、ＲＧＢ画素のベイヤ配列の撮像素子２０１が出力する出力信号を処理する設計と同じとすることができる。よって、本実施形態の信号処理は、Ｗ画素を有する撮像素子２０１のために画像処理部２０３を別途設計するコストを低減することができる。つまり、本実施形態の信号処理は、撮像装置と画像処理部２０３との親和性の低下を抑制している。よって、本実施形態の信号処理では、撮像装置と画像処理部２０３との親和性の低下を抑制しながら、色ノイズを低減した撮影画像を生成できる。

本実施形態で述べた信号処理部２０２、画像処理部２０３は、信号処理方法がプログラミングされたソフトウェアを実行するコンピュータなどのハードウェアであっても良い。ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の記録媒体あるいは通信によって配信されるプログラムに、本実施形態で信号処理部２０２、画像処理部２０３が行った信号処理方法がプログラミングされていても良い。

尚、図９では、（ｂ）、（ｄ）に示したＷデータ、カラーデータの取得は、撮像素子２０１が出力する複数フレームのＷデータ、カラーデータを平均化したものであっても良い。また、Ｎフレーム（Ｎは１以上の数）のＷデータを平均化し、Ｎフレームよりも多いフレーム数のＭフレームのカラーデータを平均化するようにしても良い。この場合には、解像感の低下を抑えながら、色ノイズを低減した画像を生成することができる。また、被写体に動体が含まれることを検出した場合には、Ｗデータの平均化を行わず、１フレームのＷデータと、複数フレームのカラーデータとを用いて画像を生成するようにしても良い。この場合には、被写体のブレを抑えながら、色ノイズを低減した画像を得ることができる。また、被写体に動体が含まれていないことが検出された場合には、画像処理部２０３は、Ｗデータ、カラーデータをそれぞれ複数フレームずつ平均化して画像を生成する。一方、被写体に動体が含まれていることが検出された場合には、画像処理部２０３が、１フレームずつのＷデータ、カラーデータから画像を生成するようにしても良い。

（実施例２）
本実施例の撮像装置について、実施例１とは異なる点を中心に説明する。

本実施例の撮像装置は、相関値を算出する画素同士の距離に応じた重みづけを行って相関値を求める。

本実施例の撮像素子２０１が有する画素は、２次元の格子状の配置であり、略正方形の画素配置になっている。したがって、ある補間される画素を中心とした場合、差分をとる相手の画素までの距離が縦方向において隣接する画素との距離に対し、斜め方向において隣接する画素との距離の方が大きい。

図１１に注目画素と差分をとる相手の画素との距離についての説明を示す。図１１（ａ）は、Ｂ（３，３）画素に関する相関値を取得する際の注目画素Ｂ（３，３）から、差分を取得する隣接画素までの距離を示す図である。距離を算出する際は、差分をとる２つの画素の重心を基準に、注目画素の重心から、差分を得る相手の画素の重心までの距離を、単演算距離と定義する。この重心とは、例えば、１つの画素に対応して設けられた１つのマイクロレンズの重心を、画素が設けられた半導体基板に投影した位置とすることができる。他の重心の例として、光電変換部を１つのみ有する画素では、重心を光電変換部の重心とすることができる。

図１１（ａ）中の縦方向の差分｜Ｗ（２，２）−Ｗ（２，３）｜とＢ（３，３）との単演算距離１０１は、一画素のピッチを２として単演算距離１０１＝√３となる。また、図１１（ａ）中の縦方向の差分｜Ｗ（２，１）−Ｗ（２，２）｜とＢ（３，３）との単演算距離２０２は、一画素のピッチを２として単演算距離１０２＝√１３である。また、図１１（ａ）中の斜め方向の差分｜Ｗ（３，２）−Ｗ（４，３）｜とＢ（３，３）との単演算距離１０３は、単演算距離１０３＝√２である。また、図１１（ａ）中の斜め方向の差分｜Ｗ（４，３）−Ｗ（５，４）｜とＢ（３，３）との単演算距離１０４は、単演算距離１０４＝√１０である。

上記の単演算距離に対し、相関値を計算する際の各差分に対する係数と、それぞれの単演算距離を乗算し、それらの総和を求めたものを演算距離と定義する。たとえば、実施例１で示した相関値を求める際の縦方向の演算距離（縦）は、以下のように計算される。
演算距離（縦）＝２×√３＋２×√３＋２×√３＋２×√３＝８√３

同様に、他の方向に関して計算すると
演算距離（横）＝８√３
演算距離（右斜め）＝４√２＋４√１０
演算距離（左斜め）＝４√２＋４√１０

縦横方向の演算距離は約１３．８、斜め方向の演算距離は約１８．３であり、その比は１．３倍程度である。

演算距離が異なる、すなわち注目画素から差分をとる画素までの距離が異なるということは、空間的な方向性を見る距離が異なるということである。これが相関値をとるそれぞれの方向で異なると、方向性を検出する際のエラーとなってしまうため、できるだけ演算距離が同等であることが好ましく、演算距離の最大値と最小値の比が２以下であると好ましい。

本実施例では、図１１（ｂ）、図１１（ｃ）、図１１（ｄ）、図１１（ｅ）の矢印で示す隣接画素で差分を取得し、相関値を得る。相関値はそれぞれ以下のように求める。
相関値（横）＝｜Ｗ（１，２）−Ｗ（２，２）｜
＋｜Ｗ（２，２）−Ｗ（３，２）｜×３
＋｜Ｗ（３，２）−Ｗ（４，２）｜×３
＋｜Ｗ（４，２）−Ｗ（５，２）｜
＋｜Ｗ（１，４）−Ｗ（２，４）｜
＋｜Ｗ（２，４）−Ｗ（３，４）｜×３
＋｜Ｗ（３，４）−Ｗ（４，４）｜×３
＋｜Ｗ（４，４）−Ｗ（５，４）｜
相関値（縦）＝｜Ｗ（２，１）−Ｗ（２，２）｜
＋｜Ｗ（２，２）−Ｗ（２，３）｜×３
＋｜Ｗ（２，３）−Ｗ（２，４）｜×３
＋｜Ｗ（２，４）−Ｗ（２，５）｜
＋｜Ｗ（４，１）−Ｗ（４，２）｜
＋｜Ｗ（４，２）−Ｗ（４，３）｜×３
＋｜Ｗ（４，３）−Ｗ（４，４）｜×３
＋｜Ｗ（４，４）−Ｗ（４，５）｜
相関値（左斜）＝｜Ｗ（１，２）−Ｗ（２，３）｜×２
＋｜Ｗ（２，３）−Ｗ（３，４）｜×２
＋｜Ｗ（３，４）−Ｗ（４，５）｜×２
＋｜Ｗ（２，１）−Ｗ（３，２）｜×２
＋｜Ｗ（３，２）−Ｗ（４，３）｜×２
＋｜Ｗ（４，３）−Ｗ（５，４）｜×２
相関値（右斜）＝｜Ｗ（１，４）−Ｗ（２，３）｜×２
＋｜Ｗ（２，３）−Ｗ（３，２）｜×２
＋｜Ｗ（３，２）−Ｗ（４，１）｜×２
＋｜Ｗ（２，５）−Ｗ（３，４）｜×２
＋｜Ｗ（３，４）−Ｗ（４，３）｜×２
＋｜Ｗ（４，３）−Ｗ（５，２）｜×２

また、それぞれの演算距離は
演算距離（横）＝４√１３＋１２√３
演算距離（縦）＝４√１３＋１２√３
演算距離（左斜）＝８√１０＋８√２
演算距離（右斜）＝８√１０＋８√２

縦横方向の演算距離は約３５．２、斜め方向の演算距離は約３６．６であり、その比は１．０４倍程度である。

以上のような方法で比較した結果、本実施形態の出力データでは、ＴＶ水平解像度が１０５０本以上であり、実施例１に比べさらに解像度が向上した。

（実施例３）
本実施例は、実施形態、実施例１〜２で述べた撮像装置を適用した撮像システムについて述べる。撮像システムは撮像装置を用いて画像、動画等を取得する装置であり、その一例としては、デジタルスチルカメラ、デジタルカムコーダー、監視カメラなどがある。図１２に、撮像システムの例としてデジタルスチルカメラに実施形態、実施例１〜２の撮像装置を適用した場合のブロック図を示す。

図１２において、撮像システムは被写体の光学像を撮像装置３０１に結像させるレンズ３０２、レンズ３０２の保護のためのバリア３０３及びレンズ３０２を通った光量を調整するための絞り３０４を有する。また、撮像システムは撮像装置３０１より出力される出力信号の処理を行う出力信号処理部３０５を有する。出力信号処理部３０５は、実施形態、実施例１〜２で説明した画像処理部２０３を有する。出力信号処理部３０５は、撮像装置３０１が形成された半導体基板とは別の半導体基板に形成されている。

出力信号処理部３０５はデジタル信号処理部を有し、撮像装置３０１から出力される信号を、必要に応じて各種の補正、圧縮を行って信号を出力する動作を行う。

また、撮像システムは、画像データを一時的に記憶する為のバッファメモリ部３０６、記録媒体への記録又は読み出しを行うための記憶媒体制御インターフェース（Ｉ／Ｆ）部３０７を有する。さらに撮像システムは、撮像データの記録又は読み出しを行うための半導体メモリ等の、着脱可能な、又は撮像システムに内蔵された、記録媒体３０９を有する。さらに、撮像システムは、外部のコンピュータ等と通信するための外部インターフェース（Ｉ／Ｆ）部３０８、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部３１０を有する。さらに撮像システムは、出力信号処理部３０５に、各種タイミング信号を出力するタイミングジェネレータ３１１を有する。なお、タイミング信号などの制御信号はタイミングジェネレータ３１１ではなく外部から入力されてもよい。すなわち、撮像システムは少なくとも撮像装置３０１と、撮像装置３０１から出力された出力信号を処理する出力信号処理部３０５とを有すればよい。

以上のように、本実施例の撮像システムは、実施形態、実施例１〜２で述べた撮像装置３０１を適用して撮像動作を行うことが可能である。

２０１ 撮像素子
２０２ 信号処理部
２０３ 画像処理部
２０４ 前段処理部
２０５ 補間部
２０６ 変換部

Claims (7)

1. 各々が光電変換部を有する第１画素、第２画素、第３画素、第４画素、第５画素、第６画素、第７画素、第８画素、第９画素、第１０画素、第１１画素、第１２画素、第１３画素、第１４画素、第１５画素、第１６画素、第１７画素と、信号処理部とを有し、
   前記第１画素の前記光電変換部が光電変換する光の波長帯域は第１波長帯域であり、
   前記第２〜第１３画素の各々の前記光電変換部が光電変換する光の波長帯域は前記第１波長帯域を含むとともに前記第１波長帯域よりも広い波長帯域である第２波長帯域であり、
   前記第１画素に、前記第２〜第９画素の各々が隣接し、
   第１方向において、前記第２画素と前記第３画素との間に前記第１画素があり、
   前記第１方向とは異なる第２方向において、前記第４画素と前記第５画素との間に前記第１画素があり、
   前記第１方向および前記第２方向とは異なる第３方向において、前記第６画素と前記第７画素との間に前記第１画素があり、
   前記第１０画素、前記第８画素、前記第４画素、前記第７画素、前記第１１画素は、この順に前記第１方向に平行な方向に沿って隣り合うように設けられており、
   前記第１２画素、前記第６画素、前記第５画素、前記第９画素、前記第１３画素は、この順に前記第１方向に平行な方向に沿って隣り合うように設けられており、
   前記第１４画素、前記第８画素、前記第２画素、前記第６画素、前記第１５画素は、この順に前記第２方向に平行な方向に沿って隣り合うように設けられており、
   前記第１６画素、前記第７画素、前記第３画素、前記第９画素、前記第１７画素は、この順に前記第２方向に平行な方向に沿って隣り合うように設けられており、
   前記信号処理部は、
   前記第１０画素、前記第８画素、前記第４画素、前記第７画素、前記第１１画素、前記第１２画素、前記第６画素、前記第５画素、前記第９画素、前記第１３画素の各々の信号から第１相関値を得て、
   前記第１４画素、前記第８画素、前記第２画素、前記第６画素、前記第１５画素、前記第１６画素、前記第７画素、前記第３画素、前記第９画素、前記第１７画素の各々の信号から第２相関値を得て、
   前記第１４画素、前記第４画素、前記第３画素、前記第１３画素、前記第１０画素、前記第２画素、前記第５画素、前記第１７画素の各々の信号から第３相関値を得て、
   前記第１２画素、前記第２画素、前記第４画素、前記第１６画素、前記第１５画素、前記第５画素、前記第３画素、前記第１１画素の各々の信号から第４相関値を得て、
   前記信号処理部は、前記第１相関値、前記第２相関値、前記第３相関値、前記第４相関値を比較することによって、相関性の高い方向を得て、
   前記信号処理部はさらに、前記第２〜第１７の画素のうち前記相関性の高い方向に沿って設けられた画素の信号を用いて、前記第１画素における前記第２波長帯域に相当する信号を補間することを特徴とする撮像装置。
2. 各々が光電変換部を有する第１画素、第２画素、第３画素、第４画素、第５画素、第６画素、第７画素、第８画素、第９画素、第１０画素、第１１画素、第１２画素、第１３画素、第１４画素、第１５画素、第１６画素、第１７画素と、信号処理部とを有し、
   前記第１画素の前記光電変換部が光電変換する光の波長帯域は赤と青のいずれかの色に対応する第１波長帯域であり、
   前記第２〜第１３画素の各々の前記光電変換部が光電変換する光の波長帯域は緑の色に対応する第２波長帯域であり、
   前記第１画素に、前記第２〜第９画素の各々が隣接し、
   第１方向において、前記第２画素と前記第３画素との間に前記第１画素があり、
   前記第１方向とは異なる第２方向において、前記第４画素と前記第５画素との間に前記第１画素があり、
   前記第１方向および前記第２方向とは異なる第３方向において、前記第６画素と前記第７画素との間に前記第１画素があり、
   前記第１０画素、前記第８画素、前記第４画素、前記第７画素、前記第１１画素は、この順に前記第１方向に平行な方向に沿って隣り合うように設けられており、
   前記第１２画素、前記第６画素、前記第５画素、前記第９画素、前記第１３画素は、この順に前記第１方向に平行な方向に沿って隣り合うように設けられており、 前記第１４画素、前記第８画素、前記第２画素、前記第６画素、前記第１５画素は、この順に前記第２方向に平行な方向に沿って隣り合うように設けられており、
   前記第１６画素、前記第７画素、前記第３画素、前記第９画素、前記第１７画素は、この順に前記第２方向に平行な方向に沿って隣り合うように設けられており、
   前記信号処理部は、
   前記第１０画素、前記第８画素、前記第４画素、前記第７画素、前記第１１画素、前記第１２画素、前記第６画素、前記第５画素、前記第９画素、前記第１３画素の各々の信号から第１相関値を得て、
   前記第１４画素、前記第８画素、前記第２画素、前記第６画素、前記第１５画素、前記第１６画素、前記第７画素、前記第３画素、前記第９画素、前記第１７画素の各々の信号から第２相関値を得て、
   前記第１４画素、前記第４画素、前記第３画素、前記第１３画素、前記第１０画素、前記第２画素、前記第５画素、前記第１７画素の各々の信号から第３相関値を得て、
   前記第１２画素、前記第２画素、前記第４画素、前記第１６画素、前記第１５画素、前記第５画素、前記第３画素、前記第１１画素の各々の信号から第４相関値を得て、
   前記信号処理部は、前記第１相関値、前記第２相関値、前記第３相関値、前記第４相関値を比較することによって、相関性の高い方向を得て、
   前記信号処理部はさらに、前記第２〜第１７の画素のうち前記相関性の高い方向に沿って設けられた画素の信号を用いて、前記第１画素における前記第２波長帯域に相当する信号を補間することを特徴とする撮像装置。
3. 前記信号処理部は、前記第１、第２、第３、第４相関値のそれぞれを、前記第１画素の重心からの、前記第２〜第１７画素の各々の重心までの距離に応じた重み付けを行って取得することを特徴とする請求項１または２に記載の撮像装置。
4. 光が入射する領域であって、前記第１〜第１７画素と、前記第２波長帯域の光を光電変換する前記光電変換部を有する複数の画素をさらに有する撮像領域を有し、
   前記第１０画素、前記第８画素、前記第４画素、前記第７画素、前記第１１画素が第１行に配され、
   前記第１２画素、前記第６画素、前記第５画素、前記第９画素、前記第１３画素が第２行に配され、
   前記第１４画素、前記第８画素、前記第２画素、前記第６画素、前記第１５画素が第１列に配され、
   前記第１６画素、前記第７画素、前記第３画素、前記第９画素、前記第１７画素が第２列に配され、
   前記撮像領域において、前記第１行、前記第２行、前記第１列、前記第２列に前記第２波長帯域の光を光電変換する前記光電変換部を有する前記画素が連続して設けられていることを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
5. 請求項１〜４のいずれか１項に記載の撮像装置と、前記撮像装置が出力する信号を用いて画像を生成する画像処理部とを有することを特徴とする撮像システム。
6. 各々が光電変換部を有する第１画素、第２画素、第３画素、第４画素、第５画素、第６画素、第７画素、第８画素、第９画素、第１０画素、第１１画素、第１２画素、第１３画素、第１４画素、第１５画素、第１６画素、第１７画素が出力する信号を処理する信号処理方法であって、
   前記第１画素の前記光電変換部が光電変換する光の波長帯域は第１波長帯域であり、
   前記第２〜第１３画素の各々の前記光電変換部が光電変換する光の波長帯域は前記第１波長帯域を含むとともに前記第１波長帯域よりも広い波長帯域である第２波長帯域であり、
   前記第１画素に、前記第２〜第９画素の各々が隣接し、
   第１方向において、前記第２画素と前記第３画素との間に前記第１画素があり、
   前記第１方向とは異なる第２方向において、前記第４画素と前記第５画素との間に前記第１画素があり、
   前記第１方向および前記第２方向とは異なる第３方向において、前記第６画素と前記第７画素との間に前記第１画素があり、
   前記第１０画素、前記第８画素、前記第４画素、前記第７画素、前記第１１画素は、この順に前記第１方向に平行な方向に沿って隣り合うように設けられており、
   前記第１２画素、前記第６画素、前記第５画素、前記第９画素、前記第１３画素は、この順に前記第１方向に平行な方向に沿って隣り合うように設けられており、 前記第１４画素、前記第８画素、前記第２画素、前記第６画素、前記第１５画素は、この順に前記第２方向に平行な方向に沿って隣り合うように設けられており、
   前記第１６画素、前記第７画素、前記第３画素、前記第９画素、前記第１７画素は、この順に前記第２方向に平行な方向に沿って隣り合うように設けられており、
   前記信号処理方法は、
   前記第１０画素、前記第８画素、前記第４画素、前記第７画素、前記第１１画素、前記第１２画素、前記第６画素、前記第５画素、前記第９画素、前記第１３画素の各々の信号から第１相関値を得るステップと、
   前記第１４画素、前記第８画素、前記第２画素、前記第６画素、前記第１５画素、前記第１６画素、前記第７画素、前記第３画素、前記第９画素、前記第１７画素の各々の信号から第２相関値を得るステップと、
   前記第１４画素、前記第４画素、前記第３画素、前記第１３画素、前記第１０画素、前記第２画素、前記第５画素、前記第１７画素の各々の信号から第３相関値を得るステップと、
   前記第１２画素、前記第２画素、前記第４画素、前記第１６画素、前記第１５画素、前記第５画素、前記第３画素、前記第１１画素の各々の信号から第４相関値を得るステップと、
   前記第１相関値、前記第２相関値、前記第３相関値、前記第４相関値を比較することによって、相関性の高い方向を得るステップと、
   前記第２〜第１７の画素のうち前記相関性の高い方向に沿って設けられた画素の信号を用いて、前記第１画素における前記第２波長帯域に相当する信号を補間するステップとを有することを特徴とする信号処理方法。
7. 光が入射する領域であって、前記第１〜第１７画素と、前記第２波長帯域の光を光電変換する前記光電変換部を有する画素をさらに有する撮像領域を有し、
   前記第１０画素、前記第８画素、前記第４画素、前記第７画素、前記第１１画素が第１行に配され、
   前記第１２画素、前記第６画素、前記第５画素、前記第９画素、前記第１３画素が第２行に配され、
   前記第１４画素、前記第８画素、前記第２画素、前記第６画素、前記第１５画素が第１列に配され、
   前記第１６画素、前記第７画素、前記第３画素、前記第９画素、前記第１７画素が第２列に配され、
   前記撮像領域において、前記第１行、前記第２行、前記第１列、前記第２列に前記第２波長帯域の光を光電変換する前記光電変換部を有する前記画素が連続して設けられていることを特徴とする請求項６に記載の信号処理方法。

Images