JP6953297B2 - 撮像装置及び撮像システム - Google Patents

Description

本発明は、撮像装置及び撮像システムに関する。

単板式の撮像素子では、カラー画像を得るために、特定の波長成分、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれの色の光が透過するカラーフィルタ（ＣＦ）が所定のパターンで画素上に配列されている。ＣＦのパターンとして、いわゆるベイヤ配列を持つものが多く利用されている。また、ＲＧＢのＣＦに加えて、可視光の全波長域の光を透過するフィルタを備えたＷ画素を有するＲＧＢＷ配列のＣＦの利用も進んでいる。

特許文献１には、ＲＧＢＷ配列のＣＦを備えた撮像素子において、ＲＧＢ画素の輝度値をその周辺のＷ画素の輝度値から補間して算出する方法が記載されている。また、特許文献１には、ＲＧＢ画素とＷ画素の各々の画素におけるＲＧＢの値を、当該画素における色値と輝度値との比に基づいて算出する方法が記載されている。また、特許文献２には、ＲＧＢＷ配列のＣＦを備えた撮像素子において、Ｗ画素が飽和した場合に、周囲の色画素から当該Ｗ画素の値を算出する方法が記載されている。

特開２０１１−０５５０３８号公報 特開２００８−０２２５２１号公報

しかしながら、星空や遠方の街明かりなどのスポット光を撮像した場合、ある色の色画素には光が入射するが他の色の色画素には光が入射しないことがある。このような場合、特許文献１に記載の方法では各画素に適切な色比を取得することができず、偽色の原因となることがあった。また、特許文献２に記載の方法によって飽和したＷ画素の適切な輝度値を取得することは困難であった。この場合にも、各画素に適切な色比を取得することができず、偽色の原因となることがあった。

本発明の目的は、局所的に光が入射した際の偽色の影響を抑制し得る撮像装置及び撮像システムを提供することにある。

本発明の一観点によれば、複数色のうちのいずれかの色情報を含む信号を各々が出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有する撮像素子と、前記撮像素子から出力される信号を処理する信号処理部と、を有し、前記信号処理部は、前記第２の画素から出力される信号に基づいて前記第１の画素における輝度値を取得する輝度値取得部と、所定の単位領域における前記複数色の色比を、前記第１の画素における色値及び前記輝度値を用いて取得し、取得した前記色比から前記単位領域に含まれる前記第１の画素及び前記第２の画素の各々における色成分を取得する色取得部と、を有し、前記色取得部は、一の色に対応する前記第１の画素における色値が輝度値よりも大きい場合に、前記一の色に対応する前記第１の画素における前記色値と前記輝度値との比率が、他の色に対応する前記第１の画素における色値と輝度値との比率に近づくように、前記一の色に対応する前記第１の画素における前記輝度値を補正する撮像装置が提供される。

また、本発明の他の一観点によれば、複数色のうちのいずれかの色情報を含む信号を各々が出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有する撮像素子と、前記撮像素子から出力される信号を処理する信号処理部と、を有し、前記信号処理部は、前記第２の画素から出力される信号に基づいて前記第１の画素における輝度値を取得する輝度値取得部と、所定の単位領域における前記複数色の色比を、前記第１の画素における色値及び前記輝度値を用いて取得し、取得した前記色比から前記単位領域に含まれる前記第１の画素及び前記第２の画素の各々における色成分を取得する色取得部と、を有し、前記色取得部は、一の色に対応する前記第１の画素における輝度値が閾値よりも大きい場合に、前記一の色に対応する前記第１の画素における前記色値と前記輝度値との比率が、他の色に対応する前記第１の画素における色値と輝度値との比率に近づくように、前記一の色に対応する前記第１の画素における前記輝度値を補正する撮像装置が提供される。

また、本発明の更に他の一観点によれば、複数色のうちのいずれかの色情報を含む信号を各々が出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有する撮像素子を含む撮像装置と、前記撮像装置から出力される信号を処理する信号処理部と、を有し、前記信号処理部は、前記第２の画素から出力される信号に基づいて前記第１の画素における輝度値を取得する輝度値取得部と、所定の単位領域における前記複数色の色比を、前記第１の画素における色値及び前記輝度値を用いて取得し、取得した前記色比から前記単位領域に含まれる前記第１の画素及び前記第２の画素の各々における色成分を取得する色取得部と、を有し、前記色取得部は、一の色に対応する前記第１の画素における色値が輝度値よりも大きい場合に、前記一の色に対応する前記第１の画素における前記色値と前記輝度値との比率が、他の色に対応する前記第１の画素における色値と輝度値との比率に近づくように、前記一の色に対応する前記第１の画素における前記輝度値を補正する撮像システムが提供される。

また、本発明の更に他の一観点によれば、複数色のうちのいずれかの色情報を含む信号を各々が出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有する撮像素子を含む撮像装置と、前記撮像装置から出力される信号を処理する信号処理部と、を有し、前記信号処理部は、前記第２の画素から出力される信号に基づいて前記第１の画素における輝度値を取得する輝度値取得部と、所定の単位領域における前記複数色の色比を、前記第１の画素における色値及び前記輝度値から取得し、取得した前記色比から前記単位領域に含まれる前記第１の画素及び前記第２の画素の各々における色成分を取得する色取得部と、を有し、前記色取得部は、一の色に対応する前記第１の画素における輝度値が閾値よりも大きい場合に、前記一の色に対応する前記第１の画素における前記色値と前記輝度値との比率が、他の色に対応する前記第１の画素における色値と輝度値との比率に近づくように、前記一の色に対応する前記第１の画素における前記輝度値を補正する撮像システムが提供される。

本発明によれば、局所的に光が入射した際における偽色の発生を効果的に抑制することができ、色再現性の高い撮像装置及び撮像システムを実現することができる。

本発明の第１実施形態による撮像装置の概略構成を示すブロック図である。 本発明の第１実施形態による撮像装置の撮像素子の構成例を示すブロック図である。 本発明の第１実施形態による撮像装置の撮像素子の構成例を示す回路図である。 本発明の第１実施形態による撮像装置における撮像素子のカラーフィルタ配列示す模式図である。 撮像素子のカラーフィルタ配列の他の例を示す模式図である。 本発明の第１実施形態による撮像装置のＲＧＢＷ１２信号処理部の動作を示す概略図である。 本発明の第１実施形態による撮像装置の高精度補間部における動作を示す概略図である。 ＲＧＢＷ１２配列における輝度変化の方向性を検出する方法を説明する図である。 本発明の第１実施形態による偽色補正の方法及び効果を説明する図である。 本発明の第２実施形態による偽色補正の方法及び効果を説明する図である。 本発明の第３実施形態による撮像システムの概略構成を示すブロック図である。 本発明の第４実施形態による撮像システム及び移動体の構成例を示す図である。

［第１実施形態］
本発明の第１実施形態による撮像装置及びその駆動方法について、図１乃至図９を用いて説明する。

はじめに、本実施形態による撮像装置の概略構成について、図１乃至図５を用いて説明する。図１は、本実施形態による撮像装置の概略構成を示すブロック図である。図２は、本実施形態による撮像装置の撮像素子の構成例を示すブロック図である。図３は、本実施形態による撮像装置の撮像素子の構成例を示す回路図である。図４及び図５は、撮像素子に用いられるカラーフィルタ配列を示す模式図である。

本実施形態による撮像装置は、図１に示すように、撮像素子１００と、信号処理部２００とを有している。

撮像素子１００は、図示しない光学系を介して入射した光信号（被写体像）を電気信号に変換して出力する。撮像素子１００は、例えば、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサ上にカラーフィルタ（以下、「ＣＦ」とも表記する）が配置された、いわゆる単板式のカラーセンサにより構成される。図１に記載の「ＲＧＢＷ１２配列」は、本実施形態の撮像素子１００において使用するカラーフィルタ配列を表している。ＲＧＢＷ１２配列の詳細については、後述する。

信号処理部２００は、撮像素子１００から出力された信号に対して、後述する信号処理を実施する。信号処理部２００は、ＲＧＢＷ１２信号処理部２１０と、画像処理システム部２２０とを有している。ＲＧＢＷ１２信号処理部２１０は、前段処理部２１２と、高精度補間部２１４とを有している。

ＲＧＢＷ１２信号処理部２１０は、ＲＧＢＷ１２配列のカラーフィルタ配列を有する撮像素子１００からの出力信号を処理する。前段処理部２１２は、撮像素子１００からの出力信号に対して、信号処理の前処理、すなわち各信号のオフセット補正やゲイン補正等の補正処理を適宜実施する。高精度補間部２１４は、前段処理部２１２からの出力信号に対して、高精度の補間処理を実施する。高精度補間部２１４は、Ｗ画素から出力される信号に基づいて色画素の輝度値を取得する輝度情報取得部としての機能を備える。また、高精度補間部２１４は、色画素の色値及びＷ画素の輝度値から色比を取得し、取得した色比から各画素の色成分を取得する色取得部としての機能を備える。

画像処理システム部２２０は、ＲＧＢＷ１２信号処理部２１０からの出力を用いて、出力画像を生成する。画像処理システム部２２０は、ＲＧＢのカラー画像を生成する機能ブロックであることから、ＲＧＢ信号処理部と呼ぶこともできる。画像処理システム部２２０は、撮像素子１００からの出力をカラー画像にするために、デモザイク処理、カラーマトリクス演算、ホワイトバランス処理、デジタルゲイン、ガンマ処理、ノイズリダクション処理等の種々の処理を適宜実施する。これらの処理のうち、解像度情報にとってはデモザイク処理が特に重要であり、ベイヤ配列のＣＦを想定して高度な補間処理がなされる。

撮像素子１００と信号処理部２００とは、同一チップに設けてもよいし、別のチップや装置に設けてもよい。１つのチップで構成する場合、撮像素子１００と信号処理部２００とは、１つの半導体基板に設けてもよいし、別々の半導体基板に設けてこれらを積層してもよい。また、撮像素子１００と信号処理部２００とは、必ずしも一体として構成されている必要はなく、信号処理部２００を、撮像素子１００や撮像装置から出力される信号を処理する信号処理装置や画像処理装置として構成してもよい。

撮像素子１００は、図２に示すように、撮像領域１０と、垂直走査回路２０と、列読み出し回路３０と、水平走査回路４０と、出力回路５０と、制御回路６０と、を有する。

撮像領域１０には、複数の行及び複数の列に渡ってマトリクス状に配された複数の画素１２が設けられている。撮像領域１０には、例えば、列方向に１９２０画素、行方向に１０８０画素の合計２０７３６００画素が配される。撮像領域１０に配される画素数は限定されず、より多い画素数、若しくはより少ない画素数でもよい。

撮像領域１０の各行には、第１の方向（図２において横方向）に延在して、制御線１４が配されている。制御線１４は、第１の方向に並ぶ画素１２にそれぞれ接続され、これら画素１２に共通の信号線をなしている。本明細書では、制御線１４の延在する第１の方向を、行方向と表記することがある。また、撮像領域１０の各列には、第１の方向と交差する第２の方向（図２において縦方向）に延在して、出力線１６が配されている。出力線１６は、第２の方向に並ぶ画素１２にそれぞれ接続され、これら画素１２に共通の信号線をなしている。本明細書では、出力線１６の延在する第２の方向を、列方向と表記することがある。

各行の制御線１４は、垂直走査回路２０に接続されている。垂直走査回路２０は、画素１２のトランジスタをオン（導通状態）又はオフ（非導通状態）に制御するための制御信号を供給する。各列の出力線１６は、列読み出し回路３０に接続されている。列読み出し回路３０は、出力線１６を介して読み出された画素信号に対して所定の処理、例えば増幅処理を行い、処理後の信号を保持する。水平走査回路４０は、列読み出し回路３０の各列の信号保持部に接続されたスイッチを制御するための制御信号を供給する。出力回路５０は、バッファアンプや差動増幅回路から構成され、水平走査回路４０からの制御信号に応じて列読み出し回路３０の信号保持部から読み出された画素信号を信号処理部２００に出力する。制御回路６０は、垂直走査回路２０、列読み出し回路３０及び水平走査回路４０に、それらの動作やタイミングを制御する制御信号を供給するための回路部である。垂直走査回路２０、列読み出し回路３０及び水平走査回路４０に供給する制御信号の一部又は総ては、撮像素子１００の外部から供給してもよい。

それぞれの画素１２は、図３に示すように、光電変換部ＰＤと、転送トランジスタＭ１と、リセットトランジスタＭ２と、増幅トランジスタＭ３と、選択トランジスタＭ４と、を有する。光電変換部ＰＤは、例えばフォトダイオードである。光電変換部ＰＤを構成するフォトダイオードは、アノードが基準電圧ノード（電圧ＶＳＳ）に接続され、カソードが転送トランジスタＭ１のソースに接続されている。転送トランジスタＭ１のドレインは、リセットトランジスタＭ２のソース及び増幅トランジスタＭ３のゲートに接続されている。転送トランジスタＭ１のドレイン、リセットトランジスタＭ２のソース及び増幅トランジスタＭ３のゲートの接続ノードは、いわゆるフローティングディフュージョンＦＤである。フローティングディフュージョンＦＤは、容量成分を含み、電荷保持部として機能するとともに、この容量成分からなる電荷電圧変換部を構成する。リセットトランジスタＭ２のドレイン及び増幅トランジスタＭ３のドレインは、電源ノード（電圧ＶＤＤ）に接続されている。増幅トランジスタＭ３のソースは、選択トランジスタＭ４のドレインに接続されている。画素１２の出力ノードＰＤＯＵＴでもある選択トランジスタＭ４のソースは、出力線１６に接続されている。出力線１６には、電流源１８が接続されている。

図３に示す回路構成の画素１２の場合、各行の制御線１４は、転送トランジスタＭ１のゲートに接続された信号線と、リセットトランジスタＭ２のゲートに接続された信号線と、選択トランジスタＭ４のゲートに接続された信号線と、を含む。転送トランジスタＭ１には、制御線１４を介して垂直走査回路２０から制御信号ＰＴＸが供給される。リセットトランジスタＭ２には、制御線１４を介して垂直走査回路２０から制御信号ＰＲＥＳが供給される。選択トランジスタＭ４には、制御線１４を介して垂直走査回路２０から制御信号ＰＳＥＬが供給される。撮像領域１０内の複数の画素１２は、垂直走査回路２０から供給される制御信号ＰＴＸ，ＰＲＥＳ，ＰＳＥＬにより、行単位で制御される。画素１２の各トランジスタがＮ型トランジスタで構成される場合、これら制御信号がＨｉｇｈレベル（Ｈレベル）のときに対応するトランジスタはオン状態となり、これら制御信号がＬｏｗレベル（Ｌレベル）のときに対応するトランジスタはオフ状態となる。

列読み出し回路３０は、図３に示すように、撮像領域１０の各列に、列増幅器３２、容量Ｃ０，Ｃ１，ＣＴＮ，ＣＴＳ、スイッチＳＷ０，ＳＷ１，ＳＷ３，ＳＷ４，ＳＷ５，ＳＷ６，ＳＷ７を、それぞれ有している。

列増幅器３２は、反転入力ノード、非反転入力ノード、出力ノードを備える差動増幅回路から構成されている。列増幅器３２の反転入力ノードは、容量Ｃ０及び信号ＰＬによって駆動されるスイッチＳＷ０を介して、出力線１６に接続されている。列増幅器３２の非反転入力ノードには、基準電圧ＶＲＥＦが供給される。列増幅器３２の反転入力ノードと出力ノードとの間には、信号φＣ１によって駆動されるスイッチＳＷ１と容量Ｃ１との直列接続体で構成される第１の帰還路と、信号φＣによって駆動されるスイッチＳＷ３で構成される第２の帰還路とが設けられている。

列増幅器３２の出力ノードには、スイッチＳＷ４を介して容量ＣＴＮ及びスイッチＳＷ６の一方の主ノードが、スイッチＳＷ５を介して容量ＣＴＳ及びスイッチＳＷ７の一方の主ノードが、それぞれ接続されている。スイッチＳＷ４，ＳＷ５は、それぞれ信号φＣＴＮ，φＣＴＳによって駆動される。

スイッチＳＷ６の他方の主ノードは、水平出力線３４に接続されている。また、スイッチＳＷ７の他方の主ノードは、水平出力線３６に接続されている。水平走査回路４０は、各列の列読み出し回路３０のスイッチＳＷ６，ＳＷ７の制御ノードに、信号φＨｎを順次出力する。出力回路５０は、出力増幅器５２を有する。水平出力線３４，３６は、出力増幅器５２に接続されている。

撮像領域１０に配列された各画素１２の上には、図４に示すカラーフィルタ配列（以下、「ＣＦ配列」と表記する）で、所定の分光感度特性を有するカラーフィルタがそれぞれ配置されている。図４において、矩形状の領域のそれぞれが、１つの画素１２に対応する。すなわち、図４は、８行×８列の画素アレイに対応したＣＦ配列を示したものである。本実施形態で用いるカラーフィルタは、赤色フィルタＲと、緑色フィルタＧと、青色フィルタＢと、白色フィルタＷとを含む。以後の説明では、赤色フィルタＲが設けられた画素１２を「Ｒ画素」、緑色フィルタＧが設けられた画素１２を「Ｇ画素」、青色フィルタＢが設けられた画素１２を「Ｂ画素」と、それぞれ表記する。Ｒ画素、Ｇ画素及びＢ画素は、主に色情報を出力するための画素であり、「カラー画素」或いは「ＲＧＢ画素」と呼ぶこともある。また、白色フィルタＷが設けられた画素１２を「Ｗ画素」と表記する。Ｗ画素は、主に輝度情報を出力するための画素であり、「ホワイト画素」と呼ぶこともある。

Ｗ画素は、入射光を色分離せず直接検出する画素である。Ｗ画素は、Ｒ画素、Ｇ画素及びＢ画素と比較して、分光感度特性における透過波長域が広く感度が高いことが特徴であり、例えば分光感度特性における透過波長域の波長半値幅は、Ｗ画素が最も広い。典型的には、Ｗ画素の分光感度特性における透過波長域は、Ｒ画素、Ｇ画素及びＢ画素の分高感度特性における透過波長域を包括している。

図４に示すＣＦ配列では、連続する４行×４列のブロックが、最小の繰り返し単位である。この単位ブロックに含まれる１６個の画素１２中、Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素の比率は、Ｒ：Ｇ：Ｂ：Ｗ＝１：２：１：１２となっている。４行×４列の単位ブロックの中に１２個のＷ画素を有するこのＣＦ配列を、本明細書では「ＲＧＢＷ１２配列」と表記する。ＲＧＢＷ１２配列において、ＲＧＢ画素とＷ画素との比率、ＲＧＢ：Ｗは１：３である。ＲＧＢＷ１２配列の特徴としては、Ｒ画素、Ｇ画素及びＢ画素のいずれのカラー画素もＷ画素で囲まれていること、Ｗ画素が全画素に占める割合が３／４であること、が挙げられる。

換言すると、ＲＧＢＷ１２配列は、第１の画素としてカラー画素を有し、第２の画素としてホワイト画素を有しており、第２の画素群の総数が第１の画素群の総数の３倍（２倍以上）である。第１の画素は、複数色（Ｒ，Ｇ，Ｂ）のうちのいずれかの色情報を含む信号を各々が出力する複数種類の画素（Ｒ画素、Ｇ画素、Ｂ画素）を含む。第２の画素は、第１の画素よりも感度の高い画素である。なお、撮像素子１００には、有効な画素以外に、オプティカルブラック画素、ダミー画素など、画像を形成するための信号を出力しない画素を有する場合もあるが、これらは前述の第１の画素及び第２の画素には含まれない。

ＲＧＢＷ１２配列を用いた場合、ＲＧＢ画素がＷ画素のみによって周囲を囲まれているために、ＲＧＢ画素部のＷの値（輝度値）を補間により取得する際の精度が向上する。ＲＧＢ画素部の輝度値を高精度で補間できるため、解像度の高い画像を得ることができる。ここで、ＲＧＢ画素がＷ画素で周囲を囲まれている、とは、Ｒ画素、Ｇ画素、Ｂ画素の各々に対して、平面視における上下方向、左右方向、斜め方向のそれぞれにＷ画素が隣接して配されていることを示している。

カラー画像を取得する際に用いられるＣＦ配列としては、いわゆるベイヤ配列が知られている。ベイヤ配列は、図５に示すように、最小の繰り返し単位である２行×２列の画素ブロックにおいて、一方の対角位置に２つのＧ画素を配置し、他方の対角位置にＲ画素とＢ画素とを配置したものである。このベイヤ配列を用いた単板のエリアセンサにおいてカラー画像を形成する際にも、所定の補間処理が行われる。例えば、Ｒ画素の部分にはＧとＢの情報がない。したがって、Ｒ画素の周囲のＧ画素及びＢ画素の情報をもとに、Ｒ画素部分のＧとＢの値を補間する。ベイヤ配列では、最も数の多い、市松模様状に配置されたＧ画素により、解像度が決まる。

ＲＧＢＷ１２配列では、解像度を決めるＷ画素の比率が多いため、ベイヤ配列のように解像度を決める画素が市松模様状に配置されたＣＦ配列の場合よりも解像度の高い画像を取得することができる。すなわち、解像度を決める画素が市松模様状に配置されたＣＦ配列の場合よりも、空間周波数の高い（つまりピッチが細かい）情報まで取得することができる。したがって、Ｗ画素がない部分（つまり、カラー画素がある部分）の値を、近傍の８つの画素の平均から求めるだけでも、十分に解像度の高い画像が得られる。また、エッジ情報や、周期的な形状などの情報をもとに、エッジ・方向性を検出して、補間を行うこともできる。この場合、近傍の８つの画素からの平均を用いるよりもシャープな画像（つまり解像感が高い画像）を得ることができる。

ＣＦの配置は様々取りうるが、単板イメージセンサにおいて解像度をより高くした画像を取得するためには、解像度を主に作り出す画素（ベイヤ配列ではＧ画素）をより多くすることが好ましい。特に、ベイヤ配列では解像度を作り出すＧ画素が市松模様状に配置されており、補間のエラーが生じる場合があった。この点、ＲＧＢＷ１２配列では、より多くの解像度を作り出す画素（Ｗ画素）を有しているため、前記補間エラーを極力小さくすることができる。

次に、本実施形態による撮像装置の動作について、図１乃至図８を用いて説明する。図６は、本実施形態による撮像装置のＲＧＢＷ１２信号処理部の動作を示す概略図である。図７は、本実施形態による撮像装置の高精度補間部における動作を示す概略図である。図８は、ＲＧＢＷ１２配列における輝度変化の方向性を検出する方法を説明する図である。

光電変換部ＰＤは、入射光をその光量に応じた量の電荷に変換（光電変換）するとともに、生じた電荷（電子）を蓄積する。転送トランジスタＭ１は、ゲートに供給される制御信号ＰＴＸがＨレベルになるとオン状態となり、光電変換部ＰＤに発生した電荷をフローティングディフュージョンＦＤに転送する。リセットトランジスタＭ２は、ゲートに供給される制御信号ＰＲＥＳがＨレベルになるとオン状態となり、フローティングディフュージョンＦＤを電圧ＶＤＤに応じた電位にリセットする。転送トランジスタＭ１とリセットトランジスタＭ２とを同時にオンにすることで、光電変換部ＰＤの電位がリセットされる。選択トランジスタＭ４は、ゲートに供給される制御信号ＰＳＥＬがＨレベルになるとオン状態となり、増幅トランジスタＭ３がソースフォロワ回路を構成する。これにより、画素１２の出力ノードＰＤＯＵＴには、フローティングディフュージョンＦＤの電位に基づく信号が出力される。

垂直走査回路２０は、画素１２に供給する制御信号ＰＴＸ、制御信号ＰＲＥＳ、制御信号ＰＳＥＬの信号レベルを制御することによって、撮像領域１０の画素１２に対して、行単位での読み出し動作である垂直走査を行う。この垂直走査回路２０による垂直走査によって、リセット電圧に基づく信号と、光電変換部ＰＤからフローティングディフュージョンＦＤに転送された電荷に基づく信号とが、各画素１２から行単位で順次、出力線１６に出力される。

信号ＰＬがＨレベルとなりスイッチＳＷ０がオンになると、画素１２からの出力信号が容量Ｃ０を介して列増幅器３２の反転入力端子に入力される。信号φＣ１及び信号φＣによりスイッチＳＷ１，ＳＷ３を適宜制御することにより、列増幅器３２の反転入力端子に入力された信号が、Ｃ０／Ｃ１の容量比で表される利得で増幅され、列増幅器３２の出力端子から出力される。

画素１２からリセット電圧に基づく信号が出力されるタイミングに応じてスイッチＳＷ４をオンにすることで、この信号（Ｎ信号）が容量ＣＴＮにサンプルホールドされる。また、光電変換部ＰＤからフローティングディフュージョンＦＤに電荷が転送されたときの電圧に基づく信号が出力されるタイミングに応じてスイッチＳＷ５をオンにすることで、この信号（Ｓ信号）が容量ＣＴＳにサンプルホールドされる。

水平走査回路４０から列毎に順次、Ｈレベルの信号φＨｎを出力することにより、容量ＣＴＮに保持されたＮ信号と容量ＣＴＳに保持されたＳ信号とが、出力増幅器５２に順次転送される。出力増幅器５２は、入力されたＳ信号とＮ信号との差分を増幅し出力することにより、リセット時のノイズ成分が除去された画素信号を出力する。

このようにして、撮像素子１００に入力された光信号を、電気信号として読み出すことができる。

撮像素子１００から出力された画素信号は、信号処理部２００において、図６に示すフローに従って処理される。

信号処理部２００に入力された画素信号は、まず、ＲＧＢＷ１２信号処理部２１０の前段処理部２１２に入力される。前段処理部２１２では、画素信号（入力信号Ｄｉｎ）に対して、オフセット（ＯＦＦＳＥＴ）補正、ゲイン（ＧＡＩＮ）補正等の補正（前段処理）を適宜実施して、補正後の出力信号（データＤｏｕｔ）を生成する（ステップＳ１０１）。この処理は、典型的には以下の式（１）のように表される。

この補正は、さまざまな単位で行うことが可能である。例えば、画素１２毎に補正を行う場合、列増幅器３２毎に補正を行う場合、アナログデジタル変換（ＡＤＣ）部毎に行う場合、出力増幅器５２毎に補正を行う場合、等が挙げられる。画素信号の補正を行うことで、いわゆる固定パターンノイズを低減することができ、より高品質な画像を得ることができる。

次いで、前段処理部２１２で処理されたデータＤｏｕｔは、高精度補間部２１４に入力される。高精度補間部２１４では、図６に示すように、データ分離処理（ステップＳ１０２）、補間処理（ステップＳ１０３）及び合成処理（ステップＳ１０４）が順次行われる。ステップＳ１０２のデータ分離処理では、前段処理部２１２により処理されたデータを、解像度用のデータＤｒｅｓと、カラー用のデータＤｃｏｌとに分離する。ステップＳ１０３の補間処理では、解像度用のデータＤｒｅｓに対して補間処理を行う。ステップＳ１０４の合成処理では、補間処理を行った解像度用のデータＤｉｎｔと、ステップＳ１０２で分離したカラー用のデータＤｃｏｌとを合成し、ＲＧＢのデータＤｒｇｂを生成する。

高精度補間部２１４における処理について、図７を用いてより具体的に説明する。図７（ａ）は、ＲＧＢＷ１２配列の最小の繰り返し単位である４行×４列の画素ブロックからの出力データを模式的に示したものである。ここでは、この画素ブロックからの出力データが高精度補間部２１４に入力され、ステップＳ１０２〜ステップＳ１０４の処理が行われる場合を例に挙げる。なお、実際には、撮像領域１０を構成する総ての画素１２からの出力データが、同様の手順により処理される。

ステップＳ１０２では、図７（ａ）のデータＤｏｕｔを、ホワイト画素（Ｗ画素）のデータからなる解像度用のデータＤｒｅｓと、カラー画素（Ｒ画素、Ｇ画素、Ｂ画素）のデータからなるカラー用のデータＤｃｏｌとに分離する。分離後の解像度用のデータＤｒｅｓは、図７（ｂ）に示すように、４行×４列の１６個の画素のうち、もともとカラー画素が配置されていた４つの画素１２の画素値（輝度情報に関するデータ）が不明（図中、「？」で表す）の状態になる。また、分離後のカラー用のデータＤｃｏｌは、図７（ｄ）に示すように、４行×４列の１６個の画素から抜き出した２行×２列の４個の画素のデータであり、解像度の低い（空間的に粗い）データとなる。なお、図７（ｄ）中、「Ｇｒ」，「Ｇｂ」は、ともにＧ画素のデータを表している。異なるＧ画素からのデータであることを区別するため、「Ｇｒ」，「Ｇｂ」と表記を変えている。

ステップＳ１０３では、分離した解像度用のデータＤｒｅｓに対して補間処理を行い、画素値が不明な４個の画素（図中、「？」）の画素値を補填する。ステップＳ１０３における補間処理は、高精度補間部２１４の図示しない輝度値取得部において実施される。画素値を補間する方法には、さまざまな方法を採用しうる。例えば、周囲８画素の平均を取得する方法、上下左右の４画素の平均を取得する方法（バイリニア法）、周囲の画素のエッジを検出しエッジ方向に垂直な方向で補間を行う方法、細線などのパターンを検出しその方向で補間する方法、等が挙げられる。

補間の方法の説明の便宜上、図７（ｃ）には、Ｘ座標とＹ座標とを付記している。例えば、座標（３，３）の画素には、「ｉＷｂ」と表記されている。図７（ｃ）中、「ｉＷ」は、補間により取得したＷのデータであることを意味し、「ｉＷ」に付記した「ｒ」，「ｇｒ」，「ｇｂ」，「ｂ」は、元々のカラー画素との対応関係を表している。本明細書において特定の画素の補間データを示す場合、これらの記号と座標とを組み合わせた符号を用いるものとする。例えば、座標（３，３）のＷのデータは、「ｉＷｂ（３，３）」と表記する。

周囲８画素の平均から画素値を補間する場合、例えば、座標（３，３）の画素における輝度の補間値ｉＷｂ（３，３）は、以下の式（２）から取得することができる。

図７には４×４の画素群のみを示しているが、撮像領域１０にはこのパターンが繰り返し配置されている。したがって、補間値ｉＷｒ（１，１），ｉＷｇ（３，１），ｉＷｇ（１，３）についても補間値ｉＷｂ（３，３）と同様、周囲の８画素のＷ値から取得することができる。

解像度用のデータＤｒｅｓにおける画素値の補間は、周囲の画素の画素値から輝度変化の方向性を検出し、検出した輝度変化の方向性に基づいて行うようにしてもよい。輝度変化の方向性に基づいて補間処理を行うことにより、より高精度の画素値の補間が可能となる。

図８は、ＲＧＢＷ１２配列における輝度変化の方向性を検出する方法を説明する図である。図８には説明の便宜上、Ｘ座標とＹ座標とを付記してある。例えば、Ｘ＝３，Ｙ＝３のＢ画素は、画素Ｂ（３，３）と表記するものとする。ここでは、この画素Ｂ（３，３）を中心とした５×５の領域を切り出し、画素Ｂ（３，３）の相関性を求める方法を説明する。

図８（ａ）は、画素Ｂ（３，３）の横方向（Ｘ方向、行方向）の相関性を求める際の計算に用いる画素を示す模式図である。図中に示す矢印は、差分値を計算する画素の組を示している。すなわち、画素Ｂ（３，３）の横方向の相関性を求める際には、画素Ｗ（２，２）と画素Ｗ（３，２）、画素Ｗ（３，２）と画素Ｗ（４，２）、画素Ｗ（２，４）と画素Ｗ（３，４）、画素Ｗ（３，４）と画素Ｗ（４，４）との間で、それぞれ差分値が計算される。そして、取得した差分値の各々に距離の重み付けを行い、差分の絶対値の総和を求める。横方向の相関値（相関値（横））は、以下の式（３）のように表される。
相関値（横）＝｜Ｗ（２，２）−Ｗ（３，２）｜×２
＋｜Ｗ（３，２）−Ｗ（４，２）｜×２
＋｜Ｗ（２，４）−Ｗ（３，４）｜×２
＋｜Ｗ（３，４）−Ｗ（４，４）｜×２ …（３）

図８（ｂ）は、画素Ｂ（３，３）の縦方向（Ｙ方向、列方向）の相関性を求める際の計算に用いる画素を示す模式図である。図中に示す矢印は、差分値を計算する画素の組を示している。すなわち、画素Ｂ（３，３）の縦方向の相関性を求める際には、画素Ｗ（２，２）と画素Ｗ（２，３）、画素Ｗ（２，３）と画素Ｗ（２，４）、画素Ｗ（４，２）と画素Ｗ（４，３）、画素Ｗ（４，３）と画素Ｗ（４，４）との間で、それぞれ差分値が計算される。そして、取得した差分値の各々に距離の重み付けを行い、差分の絶対値の総和を求める。縦方向の相関値（相関値（縦））は、以下の式（４）のように表される。
相関値（縦）＝｜Ｗ（２，２）−Ｗ（２，３）｜×２
＋｜Ｗ（２，３）−Ｗ（２，４）｜×２
＋｜Ｗ（４，２）−Ｗ（４，３）｜×２
＋｜Ｗ（４，３）−Ｗ（４，４）｜×２ …（４）

図８（ｃ）は、画素Ｂ（３，３）の左斜め方向の相関性を求める際の計算に用いる画素を示す模式図である。図中に示す矢印は、差分値を計算する画素の組を示している。すなわち、画素Ｂ（３，３）の左斜め方向の相関性を求める際には、画素Ｗ（１，２）と画素Ｗ（２，３）、画素Ｗ（２，３）と画素Ｗ（３，４）、画素Ｗ（３，４）と画素Ｗ（４，５）との間で、それぞれ差分値が計算される。また、画素Ｗ（２，１）と画素Ｗ（３，２）、画素Ｗ（３，２）と画素Ｗ（４，３）、画素Ｗ（４，３）と画素Ｗ（５，４）との間で、それぞれ差分値が計算される。そして、取得した差分値の各々に距離の重み付けを行い、差分の絶対値の総和を求める。左斜め方向の相関値（相関値（左斜））は、以下の式（５）のように表される。
相関値（左斜）＝｜Ｗ（１，２）−Ｗ（２，３）｜
＋｜Ｗ（２，３）−Ｗ（３，４）｜×２
＋｜Ｗ（３，４）−Ｗ（４，５）｜
＋｜Ｗ（２，１）−Ｗ（３，２）｜
＋｜Ｗ（３，２）−Ｗ（４，３）｜×２
＋｜Ｗ（４，３）−Ｗ（５，４）｜ …（５）

図８（ｄ）は、画素Ｂ（３，３）の右斜め方向の相関性を求める際の計算に用いる画素を示す模式図である。図中に示す矢印は、差分値を計算する画素の組を示している。すなわち、画素Ｂ（３，３）の右斜め方向の相関性を求める際には、画素Ｗ（１，４）と画素Ｗ（２，３）、画素Ｗ（２，３）と画素Ｗ（３，２）、画素Ｗ（３，２）と画素Ｗ（４，１）との間で、それぞれ差分値が計算される。また、画素Ｗ（２，５）と画素Ｗ（３，４）、画素Ｗ（３，４）と画素Ｗ（４，３）、画素Ｗ（４，３）と画素Ｗ（５，２）との間で、それぞれ差分値が計算される。そして、取得した差分値の各々に距離の重み付けを行い、差分の絶対値の総和を求める。右斜め方向の相関値（相関値（右斜））は、以下の式（６）のように表される。
相関値（右斜）＝｜Ｗ（１，４）−Ｗ（２，３）｜
＋｜Ｗ（２，３）−Ｗ（３，２）｜×２
＋｜Ｗ（３，２）−Ｗ（４，１）｜
＋｜Ｗ（２，５）−Ｗ（３，４）｜
＋｜Ｗ（３，４）−Ｗ（４，３）｜×２
＋｜Ｗ（４，３）−Ｗ（５，２）｜ …（６）

なお、これら４つの相関値を求める際に、各差分の項の係数の合計が８になるようにしている。これは、計算上の差分をとる場所に関する重みづけを近くすることと、４つの相関値同士の重みづけを同等にすることとが目的である。また、差分をとる画素の位置（矢印）は、画素Ｂ（３，３）に対して線対称に配置している。これは、相関性を求める際に対称性をよくすることで、相関値のエラーを少なくするためである。

このようにして取得した４つの相関値、相関値（横）、相関値（縦）、相関値（左斜）及び相関値（右斜）のうち、最も値の小さい相関値に対応する方向が、勾配の小さい方向、すなわち相関が強い方向となる。そこで、相関が強い方向に配された画素のデータを用いて、画素の補間値を取得する。例えば、横方向の相関が強い（相関値（横）が最小）場合、画素Ｂ（３，３）の補間値を、画素Ｗ（２，３）のデータと画素Ｗ（４，３）のデータとを平均した値とする。

このようにして、注目画素（ここでは画素Ｂ（３，３））の近傍のＷ画素のデータから勾配の少ない方向を求め、その方向に配されたＷ画素から注目画素のＷデータを推測して補間を行う。このようにすることで、１画素単位での勾配の情報をもとに補間処理を行うことができるため、解像度を向上することができる。

ステップＳ１０４では、図７（ｃ）に示した補間後のデータＤｉｎｔと、図７（ｄ）に示したカラー用のデータＤｃｏｌとを合成して、ＲＧＢのデータＤｒｇｂを生成する。ステップＳ１０４における合成処理は、高精度補間部２１４の図示しない色取得部において実施される。色取得部は、所定の単位領域における複数色の色比を、第１の画素の色値及び輝度値から取得し、取得した色比から単位領域に含まれる第１の画素及び第２の画素の各々の色成分を取得する。

データＤｒｇｂの合成は、局所的な色の比が輝度に強い相関を持つという特徴を利用して、４行×４列の画素からなる画素ブロックを代表する色のデータ（色比）と解像度データとの比を取得することにより行う。色比の取得には、種々の方法を採用し得る。

第１の方法は、ＲＧＢデータを規格化して求める方法である。この方法は、以下の式（７）のように表される。なお、式（７）中、Ｇは、Ｇ＝（Ｇｒ＋Ｇｂ）／２である。

第２の方法は、ＲＧＢデータと輝度の補間値ｉＷｒ、ｉＷｇ、ｉＷｂとの比をとる方法である。この方法は、以下の式（８）のように表される。

第３の方法は、式（８）から正規化処理を行う方法である。この方法は、以下の式（９）のように表される。第３の方法は、第２の方法と比較して、輝度値をＲＧＢの色成分ごとに分離する際の色ノイズを低減する効果が高い。これについては後述する。

本実施形態では、これらの方法のうち、第３の方法を用いるものとする。
このようにして取得した色比ＲＧＢ＿ｒａｔｉｏのデータと、Ｗ値又は補間値ｉＷｒ，ｉＷｇｒ，ｉＷｇｂ，ｉＷｂのデータとを用いることで、各画素のＲＧＢの値を以下の式（１０）から取得することができる。

式（１０）中、Ｒ＿ｒａｔｉｏ，Ｇ＿ｒａｔｉｏ，Ｂ＿ｒａｔｉｏは、以下の式（１１）のように表され、式（７）〜式（９）で表される色比のＲＧＢ各成分に対応する。

上述の一連の処理を経て、４行×４列の画素からなる画素ブロックのデータは、それぞれの画素にＲ，Ｇ，Ｂの３色のデータを含む４×４×３のデータＤｒｇｂに拡張され、出力される。

ところで、例えばスポット光のように局所的に強い光が入射した場合、ステップＳ１０４において上述の合成処理を行うと偽色が生じることがある。

図９は、特定の色画素にスポット光が入射した場合を示している。ここでは、図９（ａ）に示すように、画素Ｂ（３，３）に強い光が入射し、周辺の他の画素には画素Ｂ（３，３）に入射する光よりも弱い光が入射した場合を想定する。

画素Ｂ（３，３）に図９（ａ）に示すようなスポット光が入射した場合に、画素Ｂ（３，３）の周辺のＷ画素から輝度の補間値ｉＷを取得すると、画素Ｂ（３，３）の色値Ｃｏｌと補間値ｉＷとは、以下の式（１２）のような関係となる。

式（１２）中、ｏｆｆｓｅｔは、Ｗ画素とＢ画素とに同じ強度の光が入射したときのＷ画素とＢ画素との間のレベル差であり、正の整数で表される。換言すると、式（１２）の関係となる場合には、色画素のみにスポット光が入射していると判定することができる。

画素Ｂ（３，３）における色値Ｃｏｌ（ここでは色値Ｂ）と輝度の補間値ｉＷ（ここでは補間値ｉＷｂ）とが式（１２）の関係となる場合、Ｂ／ｉＷｂの値が、他の色画素におけるＲ／ｉＷｒ，Ｇ／ｉＷｇの値と比較して大きくなる。その結果、式（１１）におけるＲ＿ｒａｔｉｏ，Ｇ＿ｒａｔｉｏ，Ｂ＿ｒａｔｉｏが以下の式（１３）に示す関係となる。

この場合にステップＳ１０４における合成演算処理において４行×４列の画素からなる画素ブロックの色演算に式（９）で表される色変換を用いると、図９（ｂ）に示すように、座標（１，１）から座標（４，４）の１６個の画素においてＢ色が強調される。そしてこれによって、偽色となるエリアが拡大してしまう。

そこで、本実施形態では、色画素における輝度の補間値ｉＷと色値Ｃｏｌとが式（１２）の関係となる場合に、補間値ｉＷを補正する。補間値ｉＷの補正処理としては、補間値ｉＷに係数αを加算する処理（ｉＷ＋α）や、補間値ｉＷに係数αを乗算する処理（ｉＷ×α）が挙げられる。ここで、係数αは整数である。係数αは、スポット光の入射している色画素（Ｂ画素）におけるＣｏｌ／ｉＷ（Ｂ／ｉＷｂ）の値が、他の色画素（Ｒ画素、Ｇ画素）におけるＣｏｌ／ｉＷ（Ｒ／ｉＷｒ，Ｇ／ｉＷｇ）の値に近づく、より好ましくは略等しくなるような値に設定する。

換言すると、色比の取得に用いられる単位領域に含まれる一の色画素の色値が輝度値よりも大きい場合に、一の色画素の色値と輝度値との比率が、当該単位領域に含まれる他の色画素の色値と輝度値との比率に近づくように、一の色画素の輝度値を補正する。より好ましくは、一の色画素の色値が、一の色画素の輝度値から一の色画素とＷ画素との間のレベル差に応じた値（ｏｆｆｓｅｔ）を差し引いた値よりも大きい場合に、一の画素の輝度値を補正する。なお、ここでの「単位領域」は、本実施形態の例では４行×４列の画素ブロックである。

このような補正処理を行うことで、スポット光が入射している色画素における補間値ｉＷの値を大きくすることができる。これにより、図９（ｃ）に示すように、座標（１，１）から座標（４，４）までの１６画素を周辺の画素の色に近づけることができ、偽色を低減することができる。

このように、本実施形態によれば、局所的に光が入射した際における偽色の発生を効果的に抑制することができ、色再現性の高い撮像装置及び撮像システムを実現することができる。

［第２実施形態］
本発明の第２実施形態による撮像装置の駆動方法について、図１０を用いて説明する。第１実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。

本実施形態では、スポット光が、一の色画素とその周囲のＷ画素とに入射した場合における輝度値の補正方法を説明する。

図１０は、特定の色画素とその周囲のＷ画素にスポット光が入射した場合を示している。ここでは、図１０（ａ）に示すように、画素Ｂ（３，３）と、画素Ｂ（３，３）を囲む周囲の８つのＷ画素とに強い光が入射し、周辺の他の画素には画素Ｂ（３，３）に入射する光よりも弱い一定の光が入射している場合を想定する。

画素Ｂ（３，３）及びその周囲の画素Ｗにスポット光が入射している場合、Ｂ画素の色値が大きくなり、周囲のＷ画素の輝度値も大きくなる。また、Ｗ画素の飽和はＢ画素の飽和と比較して早いため、周囲のＷ画素の値から取得したＢ画素の輝度値（補間値ｉＷ）も大きくなり、Ｂ／ｉＷｂの値が１に近づく。その結果、式（１１）におけるＲ＿ｒａｔｉｏ，Ｇ＿ｒａｔｉｏ，Ｂ＿ｒａｔｉｏが式（１３）に示す関係となる。

この場合にステップＳ１０４における合成演算処理において４行×４列の画素からなる画素ブロックの色演算に式（９）で表される色変換を用いると、図１０（ｂ）に示すように、座標（２，２）から座標（４，４）の９個の画素においてＢ色が強調されてしまう。この状態を、状態Ａと呼ぶものとする。また、座標（１，１）から座標（４，１）及び座標（１，２）から座標（１，４）の画素において、状態Ａよりは輝度は低いがＢ色が強調されてしまう。この状態を、状態Ｂと呼ぶものとする。状態Ａ及び状態Ｂのいずれも、Ｂ色が強調された偽色が発生した状態である。そしてこれらによって、偽色となるエリアが拡大してしまう。

そこで、本実施形態では、まず、Ｗ画素が飽和しているかどうかを、以下の式（１４）をもとに判定する。ここで、Ｄａｔａ＿ｔｈは、Ｗ画素が飽和するレベルに対応する閾値であり、正の整数である。

色画素における輝度の補間値ｉＷと閾値Ｄａｔａ＿ｔｈとが式（１４）の関係となる場合に、補間値ｉＷを補正する。補間値ｉＷの補正処理としては、補間値ｉＷに係数αを加算する処理（ｉＷ＋α）や、補間値ｉＷに係数αを乗算する処理（ｉＷ×α）が挙げられる。ここで、係数αは整数である。係数αは、スポット光の入射している色画素及びＷ画素を白色方向にするために、各色の色比が近づく、より好ましくは略等しくなるような値に設定する。

換言すると、色比の取得に用いられる単位領域に含まれる一の色画素の輝度値が閾値よりも大きい場合に、一の色画素の色値と輝度値との比率が他の色画素の色値と輝度値との比率に近づくように、一の画素の輝度値を補正する。より好ましくは、一の画素の輝度値が他の色画素の輝度値よりも大きく、且つ、所定の閾値（Ｄａｔａ＿ｔｈ）よりも大きい場合に、一の画素の輝度値を補正する。「単位領域」は、本実施形態の例では４行×４列の画素ブロックである。

このような補正処理を行うことで、スポット光が入射している色画素における補間値ｉＷの値を大きくすることができる。これにより、図１０（ｃ）に示すように、座標（１，１）から座標（４，４）までの１６画素を白色方向に近づけることができ、偽色を低減することができる。

このように、本実施形態によれば、局所的に光が入射した際における偽色の発生を効果的に抑制することができ、色再現性の高い撮像装置及び撮像システムを実現することができる。

［第３実施形態］
本発明の第３実施形態による撮像システムについて、図１１を用いて説明する。図１１は、本実施形態による撮像システムの概略構成を示すブロック図である。

本実施形態の撮像システム３００は、上記第１又は第２実施形態の構成を適用した撮像装置を含む。撮像システム３００の具体例としては、デジタルスチルカメラ、デジタルカムコーダー、監視カメラ等が挙げられる。図１１に、上述の各実施形態のいずれかの撮像装置を適用したデジタルスチルカメラの構成例を示す。

図１１に例示した撮像システム３００は、撮像装置３０１、被写体の光学像を撮像装置３０１に結像させるレンズ３０２、レンズ３０２を通過する光量を可変にするための絞り３０４、レンズ３０２の保護のためのバリア３０６を有する。レンズ３０２及び絞り３０４は、撮像装置３０１に光を集光する光学系である。

撮像システム３００は、また、撮像装置３０１から出力される出力信号の処理を行う信号処理部３０８を有する。信号処理部３０８は、必要に応じて入力信号に対して各種の補正、圧縮を行って出力する信号処理の動作を行う。例えば、信号処理部３０８は、入力信号に対して、ＲＧＢの画素出力信号をＹ，Ｃｂ，Ｃｒ色空間へ変換する変換処理や、ガンマ補正などの所定の画像処理を施す。また、信号処理部３０８は、第１又は第２実施形態において説明した撮像装置における信号処理部２００の一部又は総ての機能を備えていてもよい。

撮像システム３００は、更に、画像データを一時的に記憶するためのメモリ部３１０、外部コンピュータ等と通信するための外部インターフェース部（外部Ｉ／Ｆ部）３１２を有する。更に撮像システム３００は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体３１４、記録媒体３１４に記録又は読み出しを行うための記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部）３１６を有する。なお、記録媒体３１４は、撮像システム３００に内蔵されていてもよく、着脱可能であってもよい。

更に撮像システム３００は、各種演算を行うとともにデジタルスチルカメラ全体を制御する全体制御・演算部３１８、撮像装置３０１と信号処理部３０８に各種タイミング信号を出力するタイミング発生部３２０を有する。ここで、タイミング信号などは外部から入力されてもよく、撮像システム３００は、少なくとも撮像装置３０１と、撮像装置３０１から出力された出力信号を処理する信号処理部３０８とを有すればよい。全体制御・演算部３１８及びタイミング発生部３２０は、撮像装置３０１の制御機能の一部又は総てを実施するように構成してもよい。

撮像装置３０１は、画像用信号を信号処理部３０８に出力する。信号処理部３０８は、撮像装置３０１から出力される画像用信号に対して所定の信号処理を実施し、画像データを出力する。また、信号処理部３０８は、画像用信号を用いて、画像を生成する。信号処理部３０８で生成された画像は、例えば記録媒体３１４に記録される。また、信号処理部３０８で生成された画像は、液晶ディスプレイなどからなるモニターに動画或いは静止画として映し出される。記録媒体３１４に記憶された画像は、プリンタなどによってハードコピーすることができる。

上述した各実施形態の撮像装置を用いて撮像システムを構成することにより、より良質の画像を取得しうる撮像システムを実現することができる。

［第４実施形態］
本発明の第４実施形態による撮像システム及び移動体について、図１２を用いて説明する。図１２は、本実施形態による撮像システム及び移動体の構成例を示す図である。

図１２（ａ）は、車載カメラに関する撮像システム４００の一例を示したものである。撮像システム４００は、撮像装置４１０を有する。撮像装置４１０は、上述の各実施形態に記載の撮像装置のいずれかである。撮像システム４００は、撮像装置４１０により取得された複数の画像データに対し、画像処理を行う画像処理部４１２と、撮像装置４１０により取得された複数の画像データから視差（視差画像の位相差）の取得を行う視差取得部４１４を有する。画像処理部４１２は、第１又は第２実施形態において説明した撮像装置における信号処理部２００の一部又は総ての機能を備えていてもよい。また、撮像システム４００は、取得された視差に基づいて対象物までの距離を取得する距離取得部４１６と、取得された距離に基づいて衝突可能性があるか否かを判定する衝突判定部４１８と、を有する。ここで、視差取得部４１４や距離取得部４１６は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部４１８はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等によって実現されてもよいし、これらの組合せによって実現されてもよい。

撮像システム４００は、車両情報取得装置４２０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム４００は、衝突判定部４１８での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ４３０が接続されている。すなわち、制御ＥＣＵ４３０は、距離情報に基づいて移動体を制御する移動体制御手段の一例である。また、撮像システム４００は、衝突判定部４１８での判定結果に基づいて、ドライバーへ警報を発する警報装置４４０とも接続されている。例えば、衝突判定部４１８の判定結果として衝突可能性が高い場合、制御ＥＣＵ４３０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置４４０は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。

本実施形態では、車両の周囲、例えば前方又は後方を撮像システム４００で撮像する。図１２（ｂ）に、車両前方（撮像範囲４５０）を撮像する場合の撮像システム４００を示した。車両情報取得装置４２０は、撮像システム４００を動作させ撮像を実行させるように指示を送る。上述の各実施形態の撮像装置を撮像装置４１０として用いることにより、本実施形態の撮像システム４００は、測距の精度をより向上させることができる。

以上の説明では、他の車両と衝突しないように制御する例を述べたが、他の車両に追従して自動運転する制御、車線からはみ出さないように自動運転する制御等にも適用可能である。更に、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。

［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。

例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。

また、画素１２や列読み出し回路３０の回路構成は、図３に示すものに限定されるものではなく、適宜変更が可能である。例えば、それぞれの画素１２が複数の光電変換部ＰＤを有していてもよい。

また、上記実施形態では、カラーフィルタ配列としてＲＧＢＷ１２配列の場合を説明したが、必ずしもＲＧＢＷ１２配列のカラーフィルタである必要はない。例えば、Ｗ画素の比率の異なるＲＧＢＷ配列のカラーフィルタ、例えばＲＧＢＷ８配列のカラーフィルタであってもよい。或いは、シアン色のＣＦを備えたＣ画素と、マゼンダ色のＣＦを備えたＭ画素と、黄色のＣＦを備えたＹ画素と、Ｗ画素とを含むＣＭＹＷ配列のカラーフィルタであってもよい。

また、第３及び第４実施形態に示した撮像システムは、本発明の撮像装置を適用しうる撮像システムを例示したものであり、本発明の撮像装置を適用可能な撮像システムは図１１及び図１２に示した構成に限定されるものではない。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００…撮像素子
２００…信号処理部
２１０…ＲＧＢＷ１２信号処理部
２１２…前段処理部
２１４…高精度補間部
２２０…画像処理システム部

Claims (17)

1. 複数色のうちのいずれかの色情報を含む信号を各々が出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有する撮像素子と、
   前記撮像素子から出力される信号を処理する信号処理部と、を有し、
   前記信号処理部は、
   前記第２の画素から出力される信号に基づいて前記第１の画素における輝度値を取得する輝度値取得部と、
   所定の単位領域における前記複数色の色比を、前記第１の画素における色値及び前記輝度値を用いて取得し、取得した前記色比から前記単位領域に含まれる前記第１の画素及び前記第２の画素の各々における色成分を取得する色取得部と、を有し、
   前記色取得部は、一の色に対応する前記第１の画素における色値が輝度値よりも大きい場合に、前記一の色に対応する前記第１の画素における前記色値と前記輝度値との比率が、他の色に対応する前記第１の画素における色値と輝度値との比率に近づくように、前記一の色に対応する前記第１の画素における前記輝度値を補正する
   ことを特徴とする撮像装置。
2. 前記色取得部は、前記一の色に対応する前記第１の画素の前記色値が、前記一の色に対応する前記第１の画素の前記輝度値から前記一の色に対応する前記第１の画素と前記第２の画素との間のレベル差に応じた値を差し引いた値よりも大きい場合に、前記一の色に対応する前記第１の画素の前記輝度値を補正する
   ことを特徴とする請求項１記載の撮像装置。
3. 複数色のうちのいずれかの色情報を含む信号を各々が出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有する撮像素子と、
   前記撮像素子から出力される信号を処理する信号処理部と、を有し、
   前記信号処理部は、
   前記第２の画素から出力される信号に基づいて前記第１の画素における輝度値を取得する輝度値取得部と、
   所定の単位領域における前記複数色の色比を、前記第１の画素における色値及び前記輝度値を用いて取得し、取得した前記色比から前記単位領域に含まれる前記第１の画素及び前記第２の画素の各々における色成分を取得する色取得部と、を有し、
   前記色取得部は、一の色に対応する前記第１の画素における輝度値が閾値よりも大きい場合に、前記一の色に対応する前記第１の画素における前記色値と前記輝度値との比率が、他の色に対応する前記第１の画素における色値と輝度値との比率に近づくように、前記一の色に対応する前記第１の画素における前記輝度値を補正する
   ことを特徴とする撮像装置。
4. 前記色取得部は、前記一の色に対応する前記第１の画素における前記輝度値が、前記他の色に対応する前記第１の画素における前記輝度値よりも大きく、且つ、所定の閾値よりも大きい場合に、前記一の色に対応する前記第１の画素の前記輝度値を補正する
   ことを特徴とする請求項３記載の撮像装置。
5. 前記閾値は、前記第２の画素が飽和するレベルに対応する値である
   ことを特徴とする請求項４記載の撮像装置。
6. 前記輝度値取得部は、前記第２の画素の輝度値から取得した輝度の変化する方向に基づいて、前記第１の画素の前記輝度値を取得する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記色取得部は、正規化処理を行った前記色比に基づいて前記色成分を取得する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記複数の第１の画素の各々は、前記第２の画素により囲まれている
   ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記複数の画素は、前記第１の画素の数よりも２倍以上の数の前記第２の画素を含む
   ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記複数の第１の画素は、Ｒ画素、Ｇ画素、Ｂ画素から構成されている
    ことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記複数の第１の画素は、Ｃ画素、Ｍ画素、Ｙ画素から構成されている
    ことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
12. 前記複数の第２の画素は、Ｗ画素から構成されている
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 複数色のうちのいずれかの色情報を含む信号を各々が出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有する撮像素子から出力される信号を処理する信号処理装置であって、
    前記第２の画素から出力される信号に基づいて前記第１の画素における輝度値を取得する輝度値取得部と、
    所定の単位領域における前記複数色の色比を、前記第１の画素における色値及び前記輝度値を用いて取得し、取得した前記色比から前記単位領域に含まれる前記第１の画素及び前記第２の画素の各々における色成分を取得する色取得部と、を有し、
    前記色取得部は、一の色に対応する前記第１の画素における色値が輝度値よりも大きい場合に、前記一の色に対応する前記第１の画素における前記色値と前記輝度値との比率が、他の色に対応する前記第１の画素における色値と輝度値との比率に近づくように、前記一の色に対応する前記第１の画素における前記輝度値を補正する
    ことを特徴とする信号処理装置。
14. 複数色のうちのいずれかの色情報を含む信号を各々が出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有する撮像素子から出力される信号を処理する信号処理装置であって、
    前記第２の画素から出力される信号に基づいて前記第１の画素における輝度値を取得する輝度値取得部と、
    所定の単位領域における前記複数色の色比を、前記第１の画素における色値及び前記輝度値を用いて取得し、取得した前記色比から前記単位領域に含まれる前記第１の画素及び前記第２の画素の各々における色成分を取得する色取得部と、を有し、
    前記色取得部は、一の色に対応する前記第１の画素における輝度値が閾値よりも大きい場合に、前記一の色に対応する前記第１の画素における前記色値と前記輝度値との比率が、他の色に対応する前記第１の画素における色値と輝度値との比率に近づくように、前記一の色に対応する前記第１の画素における前記輝度値を補正する
    ことを特徴とする信号処理装置。
15. 複数色のうちのいずれかの色情報を含む信号を各々が出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有する撮像素子を含む撮像装置と、
    前記撮像装置から出力される信号を処理する信号処理部と、を有し、
    前記信号処理部は、
    前記第２の画素から出力される信号に基づいて前記第１の画素における輝度値を取得する輝度値取得部と、
    所定の単位領域における前記複数色の色比を、前記第１の画素における色値及び前記輝度値を用いて取得し、取得した前記色比から前記単位領域に含まれる前記第１の画素及び前記第２の画素の各々における色成分を取得する色取得部と、を有し、
    前記色取得部は、一の色に対応する前記第１の画素における色値が輝度値よりも大きい場合に、前記一の色に対応する前記第１の画素における前記色値と前記輝度値との比率が、他の色に対応する前記第１の画素における色値と輝度値との比率に近づくように、前記一の色に対応する前記第１の画素における前記輝度値を補正する
    ことを特徴とする撮像システム。
16. 複数色のうちのいずれかの色情報を含む信号を各々が出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有する撮像素子を含む撮像装置と、
    前記撮像装置から出力される信号を処理する信号処理部と、を有し、
    前記信号処理部は、
    前記第２の画素から出力される信号に基づいて前記第１の画素における輝度値を取得する輝度値取得部と、
    所定の単位領域における前記複数色の色比を、前記第１の画素における色値及び前記輝度値を用いて取得し、取得した前記色比から前記単位領域に含まれる前記第１の画素及び前記第２の画素の各々における色成分を取得する色取得部と、を有し、
    前記色取得部は、一の色に対応する前記第１の画素における輝度値が閾値よりも大きい場合に、前記一の色に対応する前記第１の画素における前記色値と前記輝度値との比率が、他の色に対応する前記第１の画素における色値と輝度値との比率に近づくように、前記一の色に対応する前記第１の画素における前記輝度値を補正する
    ことを特徴とする撮像システム。
17. 移動体であって、
    請求項１乃至１２のいずれか１項に記載の撮像装置と、
    前記撮像装置の前記画素から出力される信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
    前記距離情報に基づいて前記移動体を制御する制御手段と
    を有することを特徴とする移動体。

Images