JP6980492B2

JP6980492B2 - 撮像装置及び撮像システム

Info

Publication number: JP6980492B2
Application number: JP2017218283A
Authority: JP
Inventors: 慎吾彦坂
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-11-13
Filing date: 2017-11-13
Publication date: 2021-12-15
Anticipated expiration: 2037-11-13
Also published as: JP2019091994A; US10567712B2; US20190149780A1

Description

本発明は、撮像装置及び撮像システムに関する。

単板式の撮像装置では、カラー画像を得るために、特定の波長成分、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれの色の光が透過するカラーフィルタ（ＣＦ）が所定のパターンで画素上に配列されている。ＣＦのパターンとして、いわゆるベイヤ配列を持つものが多く利用されている。また、ＲＧＢのＣＦに加えて、可視光の全波長域の光を透過するフィルタを備えたＷ画素を有するＲＧＢＷ配列のＣＦの利用も進んでいる。ＲＧＢＷ配列のＣＦは、Ｗ画素により検出感度を向上できる一方、ベイヤ配列等の他のＣＦ配列と比較してＲＧＢ画素の密度が低く、偽色が発生しやすいという課題がある。

特許文献１には、ＲＧＢＷ配列のＣＦを備えた撮像装置に局所的に高輝度な光が入射した際に生じる偽色の影響を低減する画像処理装置及び画像処理方法が記載されている。

国際公開第２０１３／１６１３４９号公報

一般に、ＲＧＢＷ配列の画像のデモザイク処理は、ＲＧＢ画素とＷ画素との画素値の比に基づいて行われる。ここで、ＲＧＢ画素とＷ画素との画素値の比は、理想的には輝度によらず一定である。しかしながら、実際には、入射光の輝度が低くなるほどに画素のもつオフセット成分やランダムノイズ等によって理想値からの誤差が大きくなり、偽色が生じる原因となる。

本発明の目的は、画素のもつオフセット成分やランダムノイズ等に起因して生じる偽色を精度よく判定しうる撮像装置及び撮像システムを提供することにある。

本発明の一観点によれば、色情報を含む信号を出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有する撮像素子と、
前記撮像素子から出力される信号を処理する信号処理部と、を有し、前記複数の第１の画素は、異なる色の色情報を出力する複数種類の前記第１の画素を含み、前記信号処理部は、前記第２の画素から出力される信号に基づいて前記第１の画素の輝度値を生成する輝度信号処理部と、前記輝度信号処理部により生成された前記第１の画素の前記輝度値と所定のしきい値との比較の結果に基づいて偽色の有無を判定する偽色判定部と、前記複数種類の前記第１の画素から出力される前記複数種類の色情報と、前記輝度信号処理部により生成された前記複数の第１の画素の輝度情報とを用いて補間処理を行うことにより、前記複数の画素の各々について、前記複数種類の色に対応する複数の色情報及び複数の輝度情報を生成する色・ｉＷ補間部と、を有し、前記複数種類の色に対応する前記複数の輝度情報は、最大値と、中央値と、最小値とを含み、前記偽色判定部は、前記中央値と前記最小値との差が前記しきい値よりも大きい場合に、偽色が生じていることを示す情報を出力する撮像装置が提供される。
また、本発明の他の一観点によれば、色情報を含む信号を出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有する撮像素子と、前記撮像素子から出力される信号を処理する信号処理部と、を有し、前記複数の第１の画素は、異なる色の色情報を出力する複数種類の前記第１の画素を含み、前記信号処理部は、前記第２の画素から出力される信号に基づいて前記第１の画素の輝度値を生成する輝度信号処理部と、前記輝度信号処理部により生成された前記第１の画素の前記輝度値と所定のしきい値との比較の結果に基づいて偽色の有無を判定する偽色判定部と、前記複数種類の前記第１の画素から出力される前記複数種類の色情報と、前記輝度信号処理部により生成された前記複数の第１の画素の輝度情報とを用いて補間処理を行うことにより、前記複数の画素の各々について、前記複数種類の色に対応する複数の色情報及び複数の輝度情報を生成する色・ｉＷ補間部と、を有し、前記複数種類の色に対応する前記複数の輝度情報は、最大値と、中央値と、最小値とを含み、前記偽色判定部は、前記中央値と前記最小値との差が第１のしきい値よりも小さく、且つ、前記最大値と前記中央値との差が第２のしきい値よりも大きい場合に、偽色が生じていることを示す情報を出力する撮像装置が提供される。

本発明の更に他の一観点によれば、色情報を含む信号を出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有し、前記複数の第１の画素が、異なる色の色情報を出力する複数種類の前記第１の画素を含む、撮像素子から出力される信号を処理する信号処理装置であって、前記第２の画素から出力される輝度情報に基づいて前記第１の画素の輝度値を生成する輝度信号処理部と、前記輝度信号処理部により生成された前記第１の画素の前記輝度値と所定のしきい値とを比較することにより偽色を判定する偽色判定部と、前記複数種類の前記第１の画素から出力される前記複数種類の色情報と、前記輝度信号処理部により生成された前記複数の第１の画素の輝度情報とを用いて補間処理を行うことにより、前記複数の画素の各々について、前記複数種類の色に対応する複数の色情報及び複数の輝度情報を生成する色・ｉＷ補間部と、を有し、前記複数種類の色に対応する前記複数の輝度情報は、最大値と、中央値と、最小値とを含み、前記偽色判定部は、前記中央値と前記最小値との差が前記しきい値よりも大きい場合に、偽色が生じていることを示す情報を出力する信号処理装置が提供される。
また、本発明の更に他の一観点によれば、色情報を含む信号を出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有し、前記複数の第１の画素が、異なる色の色情報を出力する複数種類の前記第１の画素を含む、撮像素子から出力される信号を処理する信号処理装置であって、前記第２の画素から出力される輝度情報に基づいて前記第１の画素の輝度値を生成する輝度信号処理部と、前記輝度信号処理部により生成された前記第１の画素の前記輝度値と所定のしきい値とを比較することにより偽色を判定する偽色判定部と、前記複数種類の前記第１の画素から出力される前記複数種類の色情報と、前記輝度信号処理部により生成された前記複数の第１の画素の輝度情報とを用いて補間処理を行うことにより、前記複数の画素の各々について、前記複数種類の色に対応する複数の色情報及び複数の輝度情報を生成する色・ｉＷ補間部と、を有し、前記複数種類の色に対応する前記複数の輝度情報は、最大値と、中央値と、最小値とを含み、前記偽色判定部は、前記中央値と前記最小値との差が第１のしきい値よりも小さく、且つ、前記最大値と前記中央値との差が第２のしきい値よりも大きい場合に、偽色が生じていることを示す情報を出力する信号処理装置が提供される。

本発明の更に他の一観点によれば、色情報を含む信号を出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有する撮像素子を含む撮像装置と、前記撮像装置から出力される信号を処理する信号処理部と、を有し、前記複数の第１の画素は、異なる色の色情報を出力する複数種類の前記第１の画素を含み、前記信号処理部は、前記第２の画素から出力される輝度情報に基づいて前記第１の画素の輝度値を生成する輝度信号処理部と、前記輝度信号処理部により生成された前記第１の画素の前記輝度値と所定のしきい値とを比較することにより偽色を判定する偽色判定部と、前記複数種類の前記第１の画素から出力される前記複数種類の色情報と、前記輝度信号処理部により生成された前記複数の第１の画素の輝度情報とを用いて補間処理を行うことにより、前記複数の画素の各々について、前記複数種類の色に対応する複数の色情報及び複数の輝度情報を生成する色・ｉＷ補間部と、を有し、前記複数種類の色に対応する前記複数の輝度情報は、最大値と、中央値と、最小値とを含み、前記偽色判定部は、前記中央値と前記最小値との差が前記しきい値よりも大きい場合に、偽色が生じていることを示す情報を出力する撮像システムが提供される。
また、本発明の更に他の一観点によれば、色情報を含む信号を出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有する撮像素子を含む撮像装置と、前記撮像装置から出力される信号を処理する信号処理部と、を有し、前記複数の第１の画素は、異なる色の色情報を出力する複数種類の前記第１の画素を含み、前記信号処理部は、前記第２の画素から出力される輝度情報に基づいて前記第１の画素の輝度値を生成する輝度信号処理部と、前記輝度信号処理部により生成された前記第１の画素の前記輝度値と所定のしきい値とを比較することにより偽色を判定する偽色判定部と、前記複数種類の前記第１の画素から出力される前記複数種類の色情報と、前記輝度信号処理部により生成された前記複数の第１の画素の輝度情報とを用いて補間処理を行うことにより、前記複数の画素の各々について、前記複数種類の色に対応する複数の色情報及び複数の輝度情報を生成する色・ｉＷ補間部と、を有し、前記複数種類の色に対応する前記複数の輝度情報は、最大値と、中央値と、最小値とを含み、前記偽色判定部は、前記中央値と前記最小値との差が第１のしきい値よりも小さく、且つ、前記最大値と前記中央値との差が第２のしきい値よりも大きい場合に、偽色が生じていることを示す情報を出力する撮像システムが提供される。

本発明によれば、画素のもつオフセット成分やランダムノイズ等に起因して生じる偽色を精度良く判定することができる。

本発明の第１実施形態による撮像装置の構成例を示すブロック図である。本発明の第１実施形態による撮像装置の撮像素子の構成例を示すブロック図である。本発明の第１実施形態による撮像装置の撮像素子の画素及び列読み出し回路の構成例を示す回路図である。本発明の第１実施形態による撮像装置の撮像素子におけるカラーフィルタ配列の例を示す図である。本発明の第１実施形態による撮像装置における信号処理方法を示すフローチャートである。本発明の第１実施形態による撮像装置における色・ｉＷ補間方法を説明する図である。色／ｉＷ値と入射光輝度との関係を示すグラフである。本発明の第１実施形態による撮像装置における偽色判定方法を示すフローチャートである。縦縞のパターンを撮影したときの１つの色計算領域内における画像のイメージを示す図である。偽色と判定された場合のｉＷｒ，ｉＷｇ，ｉＷｂの関係を示す図である。本発明の第２実施形態による撮像装置における偽色判定方法を示すフローチャートである。格子状のパターンを撮影したときの１つの色計算領域内における画像のイメージを示す図である。偽色と判定された場合のｉＷｒ，ｉＷｇ，ｉＷｂの関係を示す図である。本発明の第３実施形態による撮像装置の構成例を示すブロック図である。本発明の第３実施形態による撮像装置における偽色判定方法を示すフローチャートである。本発明の第４実施形態による撮像装置における偽色判定方法を示すフローチャートである。本発明の第５実施形態による撮像システムの概略構成を示すブロック図である。本発明の第６実施形態による撮像システム及び移動体の構成例を示す図である。

［第１実施形態］
本発明の第１実施形態による撮像装置及び信号処理方法について、図１乃至図１０を用いて説明する。

はじめに、本実施形態による撮像装置の概略構成について、図１乃至図４を用いて説明する。図１は、本実施形態による撮像装置の構成例を示すブロック図である。図２は、本実施形態による撮像装置の撮像素子の構成例を示すブロック図である。図３は、本実施形態による撮像装置の撮像素子の画素及び列読み出し回路の構成例を示す回路図である。図４は、本実施形態による撮像装置の撮像素子におけるカラーフィルタ配列の例を示す図である。

本実施形態による撮像装置は、図１に示すように、撮像素子１００と、信号処理部２００とを有する。

撮像素子１００は、図示しない光学系を介して入射した光信号（被写体像）を電気信号に変換して出力する。撮像素子１００は、例えば、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサ上にカラーフィルタ（以下、「ＣＦ」とも表記する）が配置された、いわゆる単板式のカラーセンサにより構成される。

信号処理部２００は、撮像素子１００から出力された信号に対して所定の信号処理を行う。信号処理部２００は、前段処理部２１０と、輝度信号処理部２２０と、色・ｉＷ補間部２３０と、偽色判定部２４０とを有する。撮像素子１００からの画素信号は、前段処理部２１０に入力される。前段処理部２１０は、画素信号に対して所定の補正を実行し、補正後の画素信号を、解像度情報のための画素信号（輝度信号）と色情報のための画素信号（色信号）とに分離する。前段処理部２１０で画素信号から分離された輝度信号は輝度信号処理部２２０に入力され、色信号は色・ｉＷ補間部２３０に入力される。輝度信号処理部２２０は、輝度信号に対して補間処理を行う。輝度信号処理部２２０で処理された輝度信号は、色・ｉＷ補間部２３０に入力される。色・ｉＷ補間部２３０は、補間処理後の輝度信号と色信号とに基づいて補間処理を行い、各画素の色情報を算出する。偽色判定部２４０は、色・ｉＷ補間部２３０から出力される色情報に基づいて偽色の判定を行い、偽色の有無と偽色の原因色情報とを出力する。

撮像素子１００と信号処理部２００とは、同一チップに設けてもよいし、別のチップや装置に設けてもよい。１つのチップで構成する場合、撮像素子１００と信号処理部２００とは、１つの半導体基板に設けてもよいし、別々の半導体基板に設けてこれらを積層してもよい。また、撮像素子１００と信号処理部２００とは、必ずしも一体として構成されている必要はなく、信号処理部２００を、撮像素子１００や撮像装置から出力される信号を処理する信号処理装置や画像処理装置として構成してもよい。

撮像素子１００は、図２に示すように、撮像領域１０と、垂直走査回路２０と、列読み出し回路３０と、水平走査回路４０と、出力回路５０と、制御回路６０と、を有する。

撮像領域１０には、複数の行及び複数の列に渡ってマトリクス状に配された複数の画素１２が設けられている。撮像領域１０には、例えば、列方向に１９２０画素、行方向に１０８０画素の合計２０７３６００画素が配される。撮像領域１０に配される画素数は限定されず、より多い画素数、若しくはより少ない画素数でもよい。

撮像領域１０の各行には、第１の方向（図２において横方向）に延在して、制御線１４が配されている。制御線１４は、第１の方向に並ぶ画素１２にそれぞれ接続され、これら画素１２に共通の信号線をなしている。本明細書では、制御線１４の延在する第１の方向を、行方向と表記することがある。また、撮像領域１０の各列には、第１の方向と交差する第２の方向（図２において縦方向）に延在して、出力線１６が配されている。出力線１６は、第２の方向に並ぶ画素１２にそれぞれ接続され、これら画素１２に共通の信号線をなしている。本明細書では、出力線１６の延在する第２の方向を、列方向と表記することがある。

各行の制御線１４は、垂直走査回路２０に接続されている。垂直走査回路２０は、画素１２のトランジスタをオン（導通状態）又はオフ（非導通状態）に制御するための制御信号を供給する。各列の出力線１６は、列読み出し回路３０に接続されている。列読み出し回路３０は、出力線１６を介して読み出された画素信号に対して所定の処理、例えば増幅処理を行い、処理後の信号を保持する。水平走査回路４０は、列読み出し回路３０の各列の信号保持部に接続されたスイッチを制御するための制御信号を供給する。出力回路５０は、バッファアンプや差動増幅回路から構成され、水平走査回路４０からの制御信号に応じて列読み出し回路３０の信号保持部から読み出された画素信号を信号処理部２００に出力する。制御回路６０は、垂直走査回路２０、列読み出し回路３０及び水平走査回路４０に、それらの動作やタイミングを制御する制御信号を供給するための回路部である。垂直走査回路２０、列読み出し回路３０及び水平走査回路４０に供給する制御信号の一部又は総ては、撮像素子１００の外部から供給してもよい。

それぞれの画素１２は、図３に示すように、光電変換部ＰＤと、転送トランジスタＭ１と、リセットトランジスタＭ２と、増幅トランジスタＭ３と、選択トランジスタＭ４と、を有する。光電変換部ＰＤは、例えばフォトダイオードである。光電変換部ＰＤを構成するフォトダイオードは、アノードが基準電圧ノード（電圧ＶＳＳ）に接続され、カソードが転送トランジスタＭ１のソースに接続されている。転送トランジスタＭ１のドレインは、リセットトランジスタＭ２のソース及び増幅トランジスタＭ３のゲートに接続されている。転送トランジスタＭ１のドレイン、リセットトランジスタＭ２のソース及び増幅トランジスタＭ３のゲートの接続ノードは、いわゆるフローティングディフュージョンＦＤである。フローティングディフュージョンＦＤは、容量成分を含み、電荷保持部として機能するとともに、この容量成分からなる電荷電圧変換部を構成する。リセットトランジスタＭ２のドレイン及び増幅トランジスタＭ３のドレインは、電源ノード（電圧ＶＤＤ）に接続されている。増幅トランジスタＭ３のソースは、選択トランジスタＭ４のドレインに接続されている。画素１２の出力ノードＰＤＯＵＴでもある選択トランジスタＭ４のソースは、出力線１６に接続されている。出力線１６には、電流源１８が接続されている。

図３に示す回路構成の画素１２の場合、各行の制御線１４は、転送トランジスタＭ１のゲートに接続された信号線と、リセットトランジスタＭ２のゲートに接続された信号線と、増幅トランジスタＭ３のゲートに接続された信号線と、を含む。転送トランジスタＭ１には、制御線１４を介して垂直走査回路２０から制御信号ＰＴＸが供給される。リセットトランジスタＭ２には、制御線１４を介して垂直走査回路２０から制御信号ＰＲＥＳが供給される。選択トランジスタＭ４には、制御線１４を介して垂直走査回路２０から制御信号ＰＳＥＬが供給される。撮像領域１０内の複数の画素１２は、垂直走査回路２０から供給される制御信号ＰＴＸ，ＰＲＥＳ，ＰＳＥＬにより、行単位で制御される。

列読み出し回路３０は、図３に示すように、撮像領域１０の各列に、列増幅器３２、容量Ｃ０，Ｃ１，ＣＴＮ，ＣＴＳ、スイッチＳＷ０，ＳＷ１，ＳＷ２，ＳＷ３，ＳＷ４，ＳＷ５，ＳＷ６を、それぞれ有している。

列増幅器３２は、反転入力ノード、非反転入力ノード、出力ノードを備える差動増幅回路から構成されている。列増幅器３２の反転入力ノードは、容量Ｃ０及び信号ＰＬによって駆動されるスイッチＳＷ０を介して、出力線１６に接続されている。列増幅器３２の非反転入力ノードには、基準電圧ＶＲＥＦが供給される。列増幅器３２の反転入力ノードと出力ノードとの間には、信号φＣ１によって駆動されるスイッチＳＷ１と容量Ｃ１との直列接続体で構成される第１の帰還路と、信号φＣによって駆動されるスイッチＳＷ２で構成される第２の帰還路とが設けられている。

列増幅器３２の出力ノードには、スイッチＳＷ３を介して容量ＣＴＮ及びスイッチＳＷ５の一方の主ノードが、スイッチＳＷ４を介して容量ＣＴＳ及びスイッチＳＷ６の一方の主ノードが、それぞれ接続されている。スイッチＳＷ３，ＳＷ４は、それぞれ信号φＣＴＮ，φＣＴＳによって駆動される。

スイッチＳＷ５の他方の主ノードは、水平出力線３４に接続されている。また、スイッチＳＷ６の他方の主ノードは、水平出力線３６に接続されている。水平走査回路４０は、各列の列読み出し回路３０のスイッチＳＷ５，ＳＷ６の制御ノードに、信号φＨｎを順次出力する。出力回路５０は、出力増幅器５２を有する。水平出力線３４，３６は、出力増幅器５２に接続されている。

撮像領域１０に配列された各画素１２の上には、図４（ａ）に示すカラーフィルタ配列（以下、「ＣＦ配列」と表記する）で、所定の分光感度特性を有するカラーフィルタがそれぞれ配置されている。図４（ａ）において、矩形状の領域のそれぞれが、１つの画素１２に対応する。すなわち、図４（ａ）は、８行×８列の画素アレイに対応したＣＦ配列を示したものである。本実施形態で用いるカラーフィルタは、赤色フィルタＲと、緑色フィルタＧと、青色フィルタＢと、白色フィルタＷとを含む。以後の説明では、赤色フィルタＲが設けられた画素１２を「Ｒ画素」、緑色フィルタＧが設けられた画素１２を「Ｇ画素」、青色フィルタＢが設けられた画素１２を「Ｂ画素」と、それぞれ表記する。Ｒ画素、Ｇ画素及びＢ画素は、主に色情報を出力するための画素であり、「カラー画素」或いは「ＲＧＢ画素」と呼ぶこともある。また、白色フィルタＷが設けられた画素１２を「Ｗ画素」と表記する。Ｗ画素は、主に輝度情報を出力するための画素であり、「ホワイト画素」と呼ぶこともある。

Ｗ画素は、入射光を色分離せず直接検出する画素である。Ｗ画素は、Ｒ画素、Ｇ画素及びＢ画素と比較して、分光感度特性における透過波長域が広く感度が高いことが特徴であり、例えば分光感度特性における透過波長域の波長半値幅は、Ｗ画素が最も広い。典型的には、Ｗ画素の分光感度特性における透過波長域は、Ｒ画素、Ｇ画素及びＢ画素の分高感度特性における透過波長域を包括している。

図４（ａ）に示すＣＦ配列では、連続する４行×４列のブロックが、最小の繰り返し単位である。この単位ブロックに含まれる１６個の画素１２中、Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素の比率は、Ｒ：Ｇ：Ｂ：Ｗ＝１：２：１：１２となっている。４行×４列の単位ブロックの中に１２個のＷ画素を有するこのＣＦ配列を、本明細書では「ＲＧＢＷ１２配列」と表記する。ＲＧＢＷ１２配列において、ＲＧＢ画素とＷ画素との比率、ＲＧＢ：Ｗは１：３である。ＲＧＢＷ１２配列の特徴としては、Ｒ画素、Ｇ画素及びＢ画素のいずれのカラー画素もＷ画素で囲まれていること、Ｗ画素が全画素に占める割合が３／４であること、が挙げられる。

換言すると、ＲＧＢＷ１２配列は、第１の画素としてカラー画素を有し、第２の画素としてホワイト画素を有しており、第２の画素群の総数が第１の画素群の総数の３倍（２倍以上）である。第１の画素は、異なる色の色情報を出力する複数種類の画素（Ｒ画素、Ｇ画素、Ｂ画素）を含む。なお、撮像素子１００には、有効な画素以外に、オプティカルブラック画素、ダミー画素、ヌル画素など、画像を形成するための信号を出力しない画素を有する場合もあるが、これらは前述の第１の画素及び第２の画素には含まれない。

ＲＧＢＷ１２配列を用いた場合、ＲＧＢ画素がＷ画素のみによって周囲を囲まれているために、ＲＧＢ画素部のＷの値（輝度値）を補間により算出する際の精度が向上する。ＲＧＢ画素部の輝度値を高精度で補間できるため、解像度の高い画像を得ることができる。ここで、ＲＧＢ画素がＷ画素で周囲を囲まれている、とは、Ｒ画素、Ｇ画素、Ｂ画素の各々に対して、平面視における上下方向、左右方向、斜め方向のそれぞれにＷ画素が隣接して配されていることを示している。

なお、本実施形態の撮像素子１００に適用可能なＣＦ配列は、ＲＧＢＷ１２配列に限定されるものではなく、種々のＣＦ配列を適用可能である。例えば、ＣＦ配列として図４（ｂ）に示すＲＧＢＷ８配列を適用してもよい。

ＲＧＢＷ８配列も、ＲＧＢＷ１２配列と同様、連続する４行×４列のブロックが、最小の繰り返し単位である。この単位ブロックに含まれる１６個の画素１２中、Ｒ画素、Ｇ画素、Ｂ画素、Ｗ画素の比率は、Ｒ：Ｇ：Ｂ：Ｗ＝２：４：２：８となっている。Ｗ画素は市松模様に配置されており、Ｗ画素の間にＲＧＢ画素が配置されている。Ｗ画素の比率は全画素の１／２である。Ｗ画素はベイヤ配列のＧ画素と同様に市松模様に配置されているため、ベイヤ配列のＧ画素の補間の方法をそのまま用いることができる。また、Ｗ画素が配列されているため、感度を向上することができる。

次に、本実施形態による撮像装置の動作について、図１乃至図１０を用いて説明する。
光電変換部ＰＤは、入射光をその光量に応じた量の電荷に変換（光電変換）するとともに、生じた電荷（電子）を蓄積する。転送トランジスタＭ１は、ゲートに供給される制御信号ＰＴＸがＨレベルになるとオン状態となり、光電変換部ＰＤに発生した電荷をフローティングディフュージョンＦＤに転送する。リセットトランジスタＭ２は、ゲートに供給される制御信号ＰＲＥＳがＨレベルになるとオン状態となり、フローティングディフュージョンＦＤを電圧ＶＤＤに応じた電位にリセットする。転送トランジスタＭ１とリセットトランジスタＭ２とを同時にオンにすることで、光電変換部ＰＤの電位がリセットされる。選択トランジスタＭ４は、ゲートに供給される制御信号ＰＳＥＬがＨレベルになるとオン状態となり、増幅トランジスタＭ３がソースフォロワ回路を構成する。これにより、画素１２の出力ノードＰＤＯＵＴには、フローティングディフュージョンＦＤの電位に基づく信号が出力される。

垂直走査回路２０は、画素１２に供給する制御信号ＰＴＸ、制御信号ＰＲＥＳ、制御信号ＰＳＥＬの信号レベルを制御することによって、撮像領域１０の画素１２に対して、行単位での読み出し動作である垂直走査を行う。この垂直走査回路２０による垂直走査によって、リセット電圧に基づく信号と、光電変換部ＰＤからフローティングディフュージョンＦＤに転送された電荷に基づく信号とが、各画素１２から行単位で順次、出力線１６に出力される。

信号ＰＬがＨレベルとなりスイッチＳＷ０がオンになると、画素１２からの出力信号が容量Ｃ０を介して列増幅器３２の反転入力端子に入力される。信号φＣ１及び信号φＣによりスイッチＳＷ１，ＳＷ２を適宜制御することにより、列増幅器３２の反転入力端子に入力された信号が、Ｃ０／Ｃ１の容量比で表される利得で増幅され、列増幅器３２の出力端子から出力される。

画素１２からリセット電圧に基づく信号が出力されるタイミングに応じてスイッチＳＷ３をオンにすることで、この信号（Ｎ信号）が容量ＣＴＮにサンプルホールドされる。また、光電変換部ＰＤからフローティングディフュージョンＦＤに電荷が転送されたときの電圧に基づく信号が出力されるタイミングに応じてスイッチＳＷ４をオンにすることで、この信号（Ｓ信号）が容量ＣＴＳにサンプルホールドされる。

水平走査回路４０から列毎に順次、Ｈレベルの信号φＨｎを出力することにより、容量ＣＴＮに保持されたＮ信号と容量ＣＴＳに保持されたＳ信号とが、出力増幅器５２に順次転送される。出力増幅器５２は、入力されたＳ信号とＮ信号との差分を増幅し出力することにより、リセット時のノイズ成分が除去された画素信号を出力する。

このようにして、撮像素子１００に入力された光信号を、電気信号として読み出すことができる。

撮像素子１００から出力された画素信号は、信号処理部２００において、図５に示すフローに従って処理される。図５は、本実施形態による撮像装置における信号処理方法を示すフローチャートである。

図５に示す信号処理手順は、前段処理を行うステップＳ１０１と、データ分離処理を行うステップＳ１０２と、輝度データ補間処理を行うステップＳ１０３と、色・ｉＷ補間処理を行うステップＳ１０４と、偽色判定処理を行うステップＳ１０５と、を含む。図５のフローチャートの右側には、ＲＧＢＷ１２配列の最小の繰り返し単位である４行×４列の画素ブロックのデータに対して行われる処理を模式的に示している。

撮像素子１００から信号処理部２００に入力された画素信号は、前段処理部２１０に入力される。前段処理部２１０では、画素信号に対して、入力信号Ｄｉｎのオフセット（ＯＦＦＳＥＴ）補正、ゲイン（ＧＡＩＮ）補正等の補正処理（前段処理）を適宜実施して、補正後の出力信号Ｄｏｕｔを作成する（ステップＳ１０１）。この処理は、典型的には以下の式（１）のように表される。

この補正は、さまざまな単位で行うことが可能である。例えば、画素１２毎に補正を行う場合、列増幅器３２毎に補正を行う場合、アナログデジタル変換（ＡＤＣ）部毎に行う場合、出力増幅器５２毎に補正を行う場合、等が挙げられる。画素信号の補正を行うことで、いわゆる固定パターンノイズを低減することができ、より高品質な画像を得ることができる。

次いで、前段処理部２１０は、出力信号Ｄｏｕｔから、輝度情報のためのＷの画素信号と、色情報のためのＲＧＢの画素信号とを分離する。そして、分離した輝度信号を輝度信号処理部２２０に出力し、色信号を色・ｉＷ補間部２３０に出力する（ステップＳ１０２）。

分離後の輝度信号は、図５にデータＤｒｅｓとして示すように、４行×４列の１６個の画素のうち、もともとカラー画素が配置されていた４つの画素１２の画素値（輝度情報に関するデータ）が不明（図中、「？」で表す）の状態になる。また、分離後の色信号は、図５にデータＤｃｏｌとして示すように、４行×４列の１６個の画素のうち、もともとホワイト画素が配置されていた１２の画素１２の画素値（色情報に関するデータ）が不明（図中、「？」で表す）の状態になる。

次いで、輝度信号処理部２２０において、前段処理部２１０から入力された輝度信号に対して、ＲＧＢの各画素部へのＷ値の補間処理を行う（ステップＳ１０３）。前述のように、前段処理部２１０から受け取った輝度信号は、Ｗ画素の部分のデータを含むが、色画素の部分のデータは含まない。そこで、輝度信号処理部２２０では、データが不明な画素の部分にＷ値の補間処理を行い、補間された輝度信号（データＤｉｎｔ）を生成する。

画素値を補間する方法には、さまざまな方法を採用しうる。例えば、バイリニア法やバイキュービック法などの方法や、縦・横・斜めの方向性を検出して変化率の少ない方向の平均を求める方法などを適宜選択することができる。ここでは一例として、周囲８画素の平均を算出する方法を述べる。

補間方法の説明の便宜上、図５のデータＤｉｎｔには、Ｘ座標（縦方向、行番号に対応）とＹ座標（横方向、列番号に対応）とを付記している。例えば、座標（３，３）の画素には、「ｉＷｂ」と表記されている。図５中、「ｉＷ」は、補間により算出したＷのデータであることを意味し、「ｉＷ」に付記した「ｒ」，「ｇ」，「ｂ」は、元々のカラー画素との対応関係を表している。本明細書において特定の画素の補間データを示す場合、これらの記号と座標とを組み合わせた符号を用いるものとする。例えば、座標（３，３）のＷのデータは、「ｉＷｂ（３，３）」と表記する。

周囲８画素の平均から画素値を補間する場合、例えば、座標（３，３）の画素のＷ値ｉＷｂ（３，３）は、以下の式（２）から算出することができる。

Ｗ値ｉＷｒ（１，１），ｉＷｇ（３，１），ｉＷｇ（１，３）についても、Ｗ値ｉＷｂ（３，３）と同様、周囲の画素のＷ値から補間することができる。

ＲＧＢＷ１２配列では、輝度情報を得るためのＷ画素が多いため、ベイヤ配列等の他のＣＦ配列と比較して、より空間周波数の高い情報を取得することができる。したがって、ＲＧＢ画素へのＷ値の補間を高精度に行うことが可能である。このＷ補間の精度は、画像の解像度を向上するだけでなく、後段の色計算の精度にも大きく影響する。

このようにして生成されたカラー画素部のＷ値を補間した輝度信号は、色信号とともに、色・ｉＷ補間部２３０に入力される。

次いで、色・ｉＷ補間部２３０において、それぞれの画素１２に対して、Ｒ値、Ｇ値、Ｂ値、ｉＷｒ値、ｉＷｇ値、ｉＷｂ値を補間する処理を行う（ステップＳ１０４）。本明細書ではこの処理を「色・ｉＷ補間処理」と呼ぶものとする。

色・ｉＷの補間方法として最も単純な方法は、ある色計算領域を定め、その領域内に存在するＲ，Ｇ，Ｂ，ｉＷｒ，ｉＷｇ，ｉＷｂを平均し、補間する方法である。例えば、図６に示すように８行×８列の色計算領域を定め、座標（４，４）のＷ画素に対して色・ｉＷ補間を行う場合、各パラメータを以下の式（３）〜式（８）により算出することができる。なお、図６（ａ）はデータＤｏｕｔであり、図６（ｂ）はデータＤｉｎｔである。

なお、上記の例では８行×８列の色計算領域内の要素を単純に平均する方法を説明したが、補間対象の画素からの距離に応じて重みづけをして平均してもよいし、色計算領域の範囲をさらに狭くしたり広くしたりしてもよい。
このようにして生成された色・ｉＷ補間データは、偽色判定部２４０に入力される。

次いで、偽色判定部２４０において、色・ｉＷ補間部２３０から入力されたｉＷ補間データをもとに偽色の判定を行う（ステップＳ１０５）。

ここで、偽色判定部２４０における具体的な処理を説明する前に、偽色について説明する。本実施形態において着目している偽色は、画素値の色計算領域内の特定の色画素に入射する光の輝度が低い場合に発生する。ＲＧＢＷの各画素値が入射光の輝度に対して線形な特性をもつとすれば、例えばＢ／ｉＷｂは、理想的には図７のグラフに実線で示すように輝度によらず一定の値を示す。しかしながら、実際には、入射光の輝度が低くなるほどにＳ／Ｎ比が悪化し、図７のグラフに破線で示すように理想値に対して誤差が生じる。これは、画素１２のもつオフセット成分やランダムノイズ等によるものである。この結果、各画素の最終的なＲＧＢ値を決定する色合成演算において誤差が生じ、偽色が発生してしまう。特に、ＲＧＢＷ配列はＲＧＢ画素の周期が粗いため、色モアレ等の偽色が発生しやすい。偽色の低減のためには、偽色が発生している画素の特定と、偽色の原因となる色情報の検出とが必要である。

偽色が発生しているかどうかを判定するには、各色画素に入射する光の輝度を得る必要がある。これには、色・ｉＷ補間部２３０において各画素１２に対して補間を行うことにより算出したＷ値（ｉＷｒ，ｉＷｇ，ｉＷｂ）を用いることができる。各画素１２のデータは、Ｒ値、Ｇ値、Ｂ値と、各色に補間されたＷ値（ｉＷｒ，ｉＷｇ，ｉＷｂ）とを含む。これらのうちのＷ値、すなわちｉＷｒ，ｉＷｇ，ｉＷｂの値を比較し、他の２つに対して極端に小さい値を示すものが存在する場合に、偽色が発生していると判定することができる。

具体的には、例えば図８に示す手順に従い、偽色が発生しているかどうかを判定することができる。図８は、偽色の発生の有無と偽色の原因となる色情報を検出する方法を示すフローチャートの一例である。

まず、それぞれの画素の３つのｉＷ値のうちの中間値（ｍｅｄ）と最小値（ｍｉｎ）との差を算出する。そして、この差と所定のしきい値ｔｈ１とを、次の式（９）を用いて比較する（ステップＳ２０１）。

この式が真であれば「偽色あり」と判定し（ステップＳ２０１の「ｙｅｓ」）、偽であれば「偽色なし」と判定する（ステップＳ２０１の「ｎｏ」）。ここで、しきい値ｔｈ１は、センサのゲインやオフセットレベルによって最適値が変動する。これらの情報から適切な値を適宜算出して用いることが好ましいが、固定値として設定されるかユーザが適宜設定してもよい。

「偽色あり」と判定された場合は、その原因となるエラー色の判定を行う（ステップＳ２０２）。偽色の原因となる色情報は、最もＳ／Ｎ比が悪い、すなわち入射光の輝度が低い色である。そこで、ｉＷｒ，ｉＷｇ，ｉＷｂのうちの最小値がどれであるかを調べ、最小値に対応する色情報をエラー情報として出力する。

エラー情報の出力態様は、どのようなものでもよい。図８には、エラー情報を示す出力変数として「Ｅｒｒｏｒ」を定義し、これを出力する場合の例を示している。例えば、赤色情報がエラーであれば（Ｍｉｎ＝ｉＷｒ）、変数Ｅｒｒｏｒとして１を出力する（ステップＳ２０３）。緑色情報がエラーであれば（Ｍｉｎ＝ｉＷｇ）、変数Ｅｒｒｏｒとして２を出力する（ステップＳ２０４）。青色情報がエラーであれば（Ｍｉｎ＝ｉＷｂ）、変数Ｅｒｒｏｒとして３を出力する（ステップＳ２０５）。

「偽色なし」と判定された場合は、変数Ｅｒｒｏｒとして０を出力する（ステップＳ２０６）。

図９は、縦縞のパターンを撮影したときの１つの色計算領域内における画像をイメージしたものである。図９において網掛けを付した第３列、第４列、第７列及び第８列の領域は、入射光の輝度が低い領域を示している。偽色は、図９において網掛けを付した領域のように、計算領域内の特定の色画素に入射する光の輝度が低い場合に発生する。図９に示すパターンの場合、総てのＲ画素とＧ画素のうちの半分は輝度の高い領域に存在している一方、総てのＢ画素は輝度の低い領域に存在している。このような場合、Ｂ／ｉＷｂのＳ／Ｎ比が悪く、偽色の原因となる。

図１０は、図９において太線で囲った座標（４，５）のＷ画素がもつ３つのｉＷ値、ｉＷｒ，ｉＷｇ，ｉＷｂの関係を示したグラフである。中央値ｍｅｄ（ここではｉＷｇ）と最小値ｍｉｎ（ここではｉＷｂ）との差がしきい値ｔｈ１以上であった場合、ステップＳ２０１において「偽色あり」と判定される。エラー色は、最も輝度が低くＳ／Ｎ比の悪い色情報であるから、３つのｉＷ値のうちの最小値を示すものがエラー色である。図１０の例では、ｉＷｂが最小値であり、ステップＳ２０２において青色情報がエラーであると判定される。そして、青色情報がエラーであることを示す変数Ｅｒｒｏｒとして、ステップＳ２０５において３が出力される。

このようにして偽色の有無を判定してエラー判定を行うことにより、画像の中で色ずれが発生した箇所が明確になり、視認者の勘違いを減らすことができる。

このように、本実施形態によれば、ＲＧＢＷ配列の画像に生じる偽色を精度良く判定することができる。

［第２実施形態］
本発明の第２実施形態による撮像装置について、図１１乃至図１３を用いて説明する。第１実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。

第１実施形態では、３色の色情報のうち１色の輝度が低い場合に偽色として判定する処理を行った。しかしながら、実際に偽色が発生するパターンとしては、１色のみの輝度が低いパターン（単色エラー）と、ある１色の輝度が高く他の２色の輝度が低いパターン（２色エラー）とがある。本実施形態では、偽色の有無の判定に加え、単色エラーか２色エラーかを判別し、その原因となる色情報を出力しうる撮像装置を説明する。

本実施形態による撮像装置は、偽色判定部２４０の動作が異なるほかは、第１実施形態による撮像装置と同様である。

本実施形態による撮像装置の偽色判定部２４０は、例えば図１１に示す手順に従い、偽色の発生の有無とエラー色情報とを検出する。図１１は、偽色の発生の有無と偽色の原因となる色情報を検出する方法を示すフローチャートの一例である。

まず、それぞれの画素の３つのｉＷ値のうちの中間値（ｍｅｄ）と最小値（ｍｉｎ）との差を算出する。そして、この差と所定のしきい値ｔｈ１とを、次の式（１０）を用いて比較する（ステップＳ３０１）。

この式が真であれば「偽色あり」と判定し（ステップＳ３０１の「ｙｅｓ」）、偽であれば「単色エラーなし」と判定する（ステップＳ３０１の「ｎｏ」）。しきい値ｔｈ１は、第１実施形態の場合と同様である。

「偽色あり」と判定された場合は、第１実施形態の場合と同様の手順により、その原因となるエラー色の判定を行い（ステップＳ３０２）、エラー情報を出力する。例えば、赤色情報がエラーであれば（Ｍｉｎ＝ｉＷｒ）、変数Ｅｒｒｏｒとして１を出力する（ステップＳ３０４）。緑色情報がエラーであれば（Ｍｉｎ＝ｉＷｇ）、変数Ｅｒｒｏｒとして２を出力する（ステップＳ３０５）。青色情報がエラーであれば（Ｍｉｎ＝ｉＷｂ）、変数Ｅｒｒｏｒとして３を出力する（ステップＳ３０６）。

「単色エラーなし」と判定された場合は、２色エラーの判定のフロー（ステップＳ３０３）へと移行する。２色エラーの有無は、３つのｉＷ値のうちの最大値（ｍａｘ）と中央値（ｍｅｄ）とを比較することにより判定する。

まず、３つのｉＷ値のうちの最大値（ｍａｘ）と中間値（ｍｅｄ）との差を算出する。そして、この差と所定のしきい値ｔｈ２とを、次の式（１１）を用いて比較する（ステップＳ３０３）。

この式が真であれば「２色エラー」であると判定し（ステップＳ３０３の「ｙｅｓ」）、偽であれば「偽色なし」と判定する（ステップＳ３０３の「ｎｏ」）。しきい値ｔｈ２は、センサのゲインやオフセットレベルによって最適値が変動する。これらの情報から適切な値を適宜算出して用いることが好ましいが、固定値として設定されるかユーザが適宜設定してもよい。

「２色エラー」と判定された場合は、例えば変数Ｅｒｒｏｒとして４を出力する（ステップＳ３０７）。「偽色なし」と判定された場合は、変数Ｅｒｒｏｒとして０を出力する（ステップＳ３０８）。

図１２は、格子状のパターンを撮影したときの１つの計算領域内における画像をイメージしたものである。図１２において網掛けを付した第３行、第４行、第７行、第８行、第３列、第４列、第７列及び第８列の領域は、入射光の輝度が低い領域を示している。偽色は、図１２において網掛けを付した領域のように、計算領域内の特定の色画素に入射する光の輝度が低い場合に発生する。図１２に示すパターンの場合、総てのＲ画素は輝度の高い領域に存在している一方、総てのＧ画素及びＢ画素は輝度の低い領域に存在している。このような場合、Ｇ／ｉＷｇ及びＢ／ｉＷｂのＳ／Ｎ比が悪く、偽色の原因となる。

図１３は、図１２において太線で囲った座標（６，５）のＷ画素がもつ３つのｉＷ値、ｉＷｒ，ｉＷｇ，ｉＷｂの関係を示したグラフである。

まず、単色エラーの判定を行う。この例の場合、図１３（ａ）に示すように、中央値ｍｅｄ（ｉＷｇ）と最小値ｍｉｎ（ｉＷｂ）との差がしきい値ｔｈ１未満のため、ステップＳ３０１において「単色エラーなし」と判定される。

次に、２色エラーの判定を行う。２色エラーの判定は、３つのｉＷ値のうちの最大値ｍａｘと中央値ｍｅｄとの差としきい値ｔｈ２を比較する。この例の場合、図１３（ｂ）に示すように、最大値ｍａｘ（ｉＷｒ）と中央値ｍｅｄ（ｉＷｇ）との差はしきい値ｔｈ２よりも大きいので、「２色エラーあり」と判定される。そして、２色エラーであることを示す変数Ｅｒｒｏｒとして、ステップＳ３０７において４が出力される。

このようにして２色エラー判定を行うことにより、画像の中で色ずれが顕著になる箇所が明確になる。例えば、画像内の色情報からオブジェクト認識を行うような画像処理システムにおいて、この偽色発生箇所情報を利用することで信頼できない画素を明確にすることができ、オブジェクト認識エラーを減らすことが可能である。

［第３実施形態］
本発明の第３実施形態による撮像装置について、図１４及び図１５を用いて説明する。第１及び第２実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。

本実施形態では、偽色判定部２４０からの出力結果を用いて偽色の補正を行う機能を備えた撮像装置を説明する。

図１４は、本実施形態による撮像装置の概略構成を示すブロック図である。本実施形態による撮像装置は、図１４に示すように、第１及び第２実施形態による撮像装置の構成に加え、信号処理部２００が、偽色補正部２５０と信号合成部２６０とを更に有している。偽色補正部２５０は、偽色判定部２４０からエラー色情報を受け取り、その色情報を正しく補正し、３つの色情報（Ｒ／ｉＷｒ，Ｇ／ｉＷｇ，Ｂ／ｉＷｂ）を出力する。信号合成部２６０は、輝度信号処理部２２０の出力と偽色補正部２５０の出力とを合成し、各画素のＲＧＢ値を算出する。

以下、それぞれのブロックにおける処理を説明する。なお、本実施形態では、偽色判定部２４０において第１実施形態で説明した処理を行った場合を例にして説明するが、偽色判定部２４０において第２実施形態で説明した処理を行った場合においても適用することができる。

図１５は、本実施形態による撮像装置における偽色補正方法を示すフローチャートである。偽色補正部２５０は、例えば図１５に示す手順に従い、偽色であると判定された色情報を正しい色情報に補正する。

まず、偽色補正部２５０は、偽色判定部２４０から出力されたエラー情報（変数Ｅｒｒｏｒ）の出力値を判定する（ステップＳ４０１）。

偽色判定部２４０から受信した変数Ｅｒｒｏｒが０の場合、「偽色なし」であるため、色情報に対して補正を行わずに偽色補正部２５０における処理を終了し、信号合成部２６０における処理に移行する。

偽色判定部２４０から受信した変数Ｅｒｒｏｒが１，２又は３の場合、「偽色あり」であるため、偽色と判定された色情報に対して補正処理を実行する。ここでは一例として変数Ｅｒｒｏｒが３、すなわちＢの色情報がエラーであった場合を説明する。

変数Ｅｒｒｏｒが３、すなわちＢの単色エラーであった場合、Ｒの色情報及びＧの色情報は正しい値を有している。そこで、補正対象の画素のデータがもつＲ／ｉＷｒ及びＧ／ｉＷｇの値と近い値をもつ画素を処理対象の画像内から探索し、ピックアップする（ステップＳ４０８）。具体的には、以下の式（１２）及び式（１３）を用い、補正対象の画素のもつ情報との差がプラスマイナスしきい値以下である画素をピックアップする。

ここで、Ｒ′／ｉＷｒ′，Ｇ′／ｉＷｇ′，Ｂ′／ｉＷｂ′は、探索対象の画素のもつ色／ｉＷ情報である。ｔｈｒ，ｔｈｇ，ｔｈｂは、ユーザによって適宜設定されるしきい値である。

次に、ステップＳ４０８における探索によって画素をピックアップできたかどうかを確認する（ステップＳ４０９）。ステップＳ４０９において条件を満たす画素を１つでもピックアップできた場合には、ステップＳ４１０へと移行する。

次に、ステップＳ４１０において、ピックアップした画素のもつＢ／ｉＷｂを平均する。そして、平均したＢ／ｉＷｂ情報を、補正対象の画素のＢ／ｉＷｂを、平均したＢ／ｉＷｂ情報に差し替える補正を行う。エラー色の情報を補正したのち、３色の色情報（Ｒ／ｉＷｒ，Ｇ／ｉＷｇ，Ｂ／ｉＷｂ）を信号合成部２６０に出力する。

Ｒの色情報がエラーであった場合は、式（１３）及び式（１４）を用い、ステップＳ４０２、ステップＳ４０３及びステップＳ４０４を実行し、Ｂの色情報がエラーであった場合と同様にして、Ｒの色情報を補正する。また、Ｇの色情報がエラーであった場合は、式（１２）及び式（１４）を用い、ステップＳ４０５、ステップＳ４０６及びステップＳ４０７を実行し、Ｂの色情報がエラーであった場合と同様にして、Ｇの色情報を補正する。

信号合成部２６０は、輝度信号処理部２２０から出力された信号と偽色補正部２５０から出力された信号とを合成し、それぞれの画素のＲＧＢ値を算出する処理を行う。このブロックでは、輝度信号処理部２２０から出力されるモノクロの輝度信号に対して、偽色補正部２５０から出力される色情報を掛け合わせることで、カラー画像のデータを出力する。

信号合成部２６０のデモザイク処理は、ＲＧＢ画素とＷ画素との画素値の比に基づいて計算される。例えば、座標（４，４）の画素のＲＧＢ値は、以下の式（１５）、式（１６）及び式（１７）から算出することができる。他の場所の画素についても同様である。

ここで、Ｒは色計算領域内のＲ画素の画素値の平均値であり、Ｇは色計算領域内のＧ画素の画素値の平均値であり、Ｂは色計算領域内のＢ画素の画素値の平均値である。

ＲＧＢ値の計算には、式（１５）、式（１６）及び式（１７）のみならず、他の計算式を用いてもよい。例えば、単に色／ｉＷ比と輝度信号とを掛け合わせることにより、ＲＧＢ値を算出することもできる。このような計算式は、例えば以下の式（１８）、式（１９）、式（２０）のように表される。

以上に説明したような補偽色正処理を行うことで、色再現性の良い好適な画像を得ることができる。

このように、本実施形態によれば、ＲＧＢＷ配列の画像に生じる偽色を精度良く判定し補正することができる。

［第４実施形態］
本発明の第４実施形態による撮像装置について、図１６を用いて説明する。第１乃至第３実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。

第３実施形態では、エラー色を他の画素の色情報をもとに補正することにより偽色補正を行う方法を説明した。しかしながら、この方法は探索の処理に時間を要するため、処理システムにおける計算の負荷が大きい。そこで、本実施形態では、簡易的に偽色の補正を行う方法として、エラー色以外の２色とＷの値とを用いてエラー色の補正値を計算する方法を説明する。

図１６は、本実施形態による撮像装置における偽色補正方法を示すフローチャートである。本実施形態において、偽色補正部２５０は、例えば図１６に示す手順に従い、偽色であると判定された色情報を正しい色情報に補正する。

まず、偽色補正部２５０は、偽色判定部２４０から出力されたエラー情報（変数Ｅｒｒｏｒ）の出力値を判定する（ステップＳ５０１）。

偽色判定部２４０から受信した変数Ｅｒｒｏｒが１，２又は３の場合、「偽色あり」であるため、偽色と判定された色情報に対して補正処理を実行する。

本実施形態では、Ｒ，Ｇ，Ｂ，Ｗの値が、以下に示す式（２１）の関係を有することを仮定する。

この式は、Ｒ，Ｇ，Ｂ，Ｗの各色の値が輝度に対して線形性を有することを前提としている。ａは、Ｒ＋Ｇ＋ＢとＷとを一致させるための係数であり、イメージセンサの特性から算出される。

式（２１）を変形すると、以下の式（２２）のようになる。

ここで、Ｒ／Ｗ，Ｇ／Ｗ，Ｂ／Ｗが輝度によらず一定であると仮定すると、以下の式（２３）が成り立つ。

例えば、Ｂの色情報がエラーであった場合は、式（２３）を変形し、以下の式（２４）に従ってＢの色情報の補正を行う。Ｒの色情報がエラーであった場合やＧの色情報がエラーであった場合においても、同様に行うことができる。

本実施形態の偽色補正処理を行うことで、色再現性の良い好適な画像を得ることができるとともに、偽色補正処理の回路規模を削減することができる。

［第５実施形態］
本発明の第５実施形態による撮像システムについて、図１７を用いて説明する。図１７は、本実施形態による撮像システムの概略構成を示すブロック図である。

本実施形態の撮像システム３００は、上記第１乃至第４実施形態のいずれかの構成を適用した撮像装置を含む。撮像システム３００の具体例としては、デジタルスチルカメラ、デジタルカムコーダー、監視カメラ等が挙げられる。図１７に、上述の各実施形態のいずれかの撮像装置を適用したデジタルスチルカメラの構成例を示す。

図１７に例示した撮像システム３００は、撮像装置３０１、被写体の光学像を撮像装置３０１に結像させるレンズ３０２、レンズ３０２を通過する光量を可変にするための絞り３０４、レンズ３０２の保護のためのバリア３０６を有する。レンズ３０２及び絞り３０４は、撮像装置３０１に光を集光する光学系である。

撮像システム３００は、また、撮像装置３０１から出力される出力信号の処理を行う信号処理部３０８を有する。信号処理部３０８は、必要に応じて入力信号に対して各種の補正、圧縮を行って出力する信号処理の動作を行う。例えば、信号処理部３０８は、入力信号に対して、ＲＧＢの画素出力信号をＹ，Ｃｂ，Ｃｒ色空間へ変換する変換処理や、ガンマ補正などの所定の画像処理を施す。また、信号処理部３０８は、第１乃至第４実施形態において説明した撮像装置における信号処理部２００の一部又は総ての機能を備えていてもよい。

撮像システム３００は、更に、画像データを一時的に記憶するためのメモリ部３１０、外部コンピュータ等と通信するための外部インターフェース部（外部Ｉ／Ｆ部）３１２を有する。更に撮像システム３００は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体３１４、記録媒体３１４に記録又は読み出しを行うための記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部）３１６を有する。なお、記録媒体３１４は、撮像システム３００に内蔵されていてもよく、着脱可能であってもよい。

更に撮像システム３００は、各種演算を行うとともにデジタルスチルカメラ全体を制御する全体制御・演算部３１８、撮像装置３０１と信号処理部３０８に各種タイミング信号を出力するタイミング発生部３２０を有する。ここで、タイミング信号などは外部から入力されてもよく、撮像システム３００は、少なくとも撮像装置３０１と、撮像装置３０１から出力された出力信号を処理する信号処理部３０８とを有すればよい。全体制御・演算部３１８及びタイミング発生部３２０は、撮像装置３０１の制御機能の一部又は総てを実施するように構成してもよい。

撮像装置３０１は、画像用信号を信号処理部３０８に出力する。信号処理部３０８は、撮像装置３０１から出力される画像用信号に対して所定の信号処理を実施し、画像データを出力する。また、信号処理部３０８は、画像用信号を用いて、画像を生成する。信号処理部３０８で生成された画像は、例えば記録媒体３１４に記録される。また、信号処理部３０８で生成された画像は、液晶ディスプレイなどからなるモニターに動画或いは静止画として映し出される。記録媒体３１４に記憶された画像は、プリンタなどによってハードコピーすることができる。

上述した各実施形態の撮像装置を用いて撮像システムを構成することにより、より良質の画像を取得しうる撮像システムを実現することができる。

［第６実施形態］
本発明の第６実施形態による撮像システム及び移動体について、図１８を用いて説明する。図１８は、本実施形態による撮像システム及び移動体の構成を示す図である。

図１８（ａ）は、車載カメラに関する撮像システム４００の一例を示したものである。撮像システム４００は、撮像装置４１０を有する。撮像装置４１０は、上述の各実施形態に記載の撮像装置のいずれかである。撮像システム４００は、撮像装置４１０により取得された複数の画像データに対し、画像処理を行う画像処理部４１２と、撮像装置４１０により取得された複数の画像データから視差（視差画像の位相差）の算出を行う視差取得部４１４を有する。画像処理部４１２は、第１乃至第４実施形態において説明した撮像装置における信号処理部２００の一部又は総ての機能を備えていてもよい。また、撮像システム４００は、算出された視差に基づいて対象物までの距離を算出する距離取得部４１６と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部４１８と、を有する。ここで、視差取得部４１４や距離取得部４１６は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部４１８はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等によって実現されてもよいし、これらの組合せによって実現されてもよい。

撮像システム４００は、車両情報取得装置４２０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム４００は、衝突判定部４１８での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ４３０が接続されている。すなわち、制御ＥＣＵ４３０は、距離情報に基づいて移動体を制御する移動体制御手段の一例である。また、撮像システム４００は、衝突判定部４１８での判定結果に基づいて、ドライバーへ警報を発する警報装置４４０とも接続されている。例えば、衝突判定部４１８の判定結果として衝突可能性が高い場合、制御ＥＣＵ４３０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置４４０は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。

本実施形態では、車両の周囲、例えば前方又は後方を撮像システム４００で撮像する。図１８（ｂ）に、車両前方（撮像範囲４５０）を撮像する場合の撮像システム４００を示した。車両情報取得装置４２０は、撮像システム４００を動作させ撮像を実行させるように指示を送る。上述の各実施形態の撮像装置を撮像装置４１０として用いることにより、本実施形態の撮像システム４００は、測距の精度をより向上させることができる。

以上の説明では、他の車両と衝突しないように制御する例を述べたが、他の車両に追従して自動運転する制御、車線からはみ出さないように自動運転する制御等にも適用可能である。更に、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。

［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。

例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。

また、画素１２や列読み出し回路３０の回路構成は、図３に示すものに限定されるものではなく、適宜変更が可能である。例えば、それぞれの画素１２が複数の光電変換部ＰＤを有していてもよい。

また、上記実施形態では、カラーフィルタ配列としてＲＧＢＷ配列の場合を説明したが、必ずしもＲＧＢＷ配列のカラーフィルタである必要はない。例えば、シアン色のＣＦを備えたＣ画素と、マゼンダ色のＣＦを備えたＭ画素と、黄色のＣＦを備えたＹ画素と、Ｗ画素とを含むＣＭＹＷ配列のカラーフィルタであってもよい。

また、第５及び第６実施形態に示した撮像システムは、本発明の撮像装置を適用しうる撮像システムを例示したものであり、本発明の撮像装置を適用可能な撮像システムは図１７及び図１８に示した構成に限定されるものではない。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００…撮像素子
２００…信号処理部
２１０…前段処理部
２２０…輝度信号処理部
２３０…色・ｉＷ補間部
２４０…偽色判定部
２５０…偽色補正部
２６０…信号合成部

Claims

色情報を含む信号を出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有する撮像素子と、
前記撮像素子から出力される信号を処理する信号処理部と、を有し、
前記複数の第１の画素は、異なる色の色情報を出力する複数種類の前記第１の画素を含み、
前記信号処理部は、
前記第２の画素から出力される信号に基づいて前記第１の画素の輝度値を生成する輝度信号処理部と、
前記輝度信号処理部により生成された前記第１の画素の前記輝度値と所定のしきい値との比較の結果に基づいて偽色の有無を判定する偽色判定部と、
前記複数種類の前記第１の画素から出力される前記複数種類の色情報と、前記輝度信号処理部により生成された前記複数の第１の画素の輝度情報とを用いて補間処理を行うことにより、前記複数の画素の各々について、前記複数種類の色に対応する複数の色情報及び複数の輝度情報を生成する色・ｉＷ補間部と、を有し、
前記複数種類の色に対応する前記複数の輝度情報は、最大値と、中央値と、最小値とを含み、
前記偽色判定部は、前記中央値と前記最小値との差が前記しきい値よりも大きい場合に、偽色が生じていることを示す情報を出力する
ことを特徴とする撮像装置。
前記偽色判定部は、前記中央値と前記最小値との差が前記しきい値よりも大きい場合に、前記最小値に対応する色が偽色の原因であることを示す情報を出力する
ことを特徴とする請求項１記載の撮像装置。
色情報を含む信号を出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有する撮像素子と、
前記撮像素子から出力される信号を処理する信号処理部と、を有し、
前記複数の第１の画素は、異なる色の色情報を出力する複数種類の前記第１の画素を含み、
前記信号処理部は、
前記第２の画素から出力される信号に基づいて前記第１の画素の輝度値を生成する輝度信号処理部と、
前記輝度信号処理部により生成された前記第１の画素の前記輝度値と所定のしきい値との比較の結果に基づいて偽色の有無を判定する偽色判定部と、
前記複数種類の前記第１の画素から出力される前記複数種類の色情報と、前記輝度信号処理部により生成された前記複数の第１の画素の輝度情報とを用いて補間処理を行うことにより、前記複数の画素の各々について、前記複数種類の色に対応する複数の色情報及び複数の輝度情報を生成する色・ｉＷ補間部と、を有し、
前記複数種類の色に対応する前記複数の輝度情報は、最大値と、中央値と、最小値とを含み、
前記偽色判定部は、前記中央値と前記最小値との差が第１のしきい値よりも小さく、且つ、前記最大値と前記中央値との差が第２のしきい値よりも大きい場合に、偽色が生じていることを示す情報を出力する
ことを特徴とする撮像装置。
前記偽色判定部は、前記中央値と前記最小値との差が前記第１のしきい値よりも小さく、且つ、前記最大値と前記中央値との差が前記第２のしきい値よりも大きい場合に、前記最小値及び前記中央値に対応する色が偽色の原因であることを示す情報を出力する
ことを特徴とする請求項３記載の撮像装置。
前記輝度信号処理部は、前記複数の第２の画素から出力される信号を用いて補間処理を行うことにより、前記第１の画素の前記輝度値を生成する
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
前記信号処理部は、偽色が生じている場合に前記色・ｉＷ補間部が出力する情報を補正する偽色補正部を更に有する
ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
前記偽色補正部は、偽色が生じている画素の前記複数の色情報のうち、偽色の原因となっている色以外の色の色情報が近い値である画素を探索し、探索された画素の色情報により、前記偽色が生じている画素の前記偽色の原因となっている色の色情報を補正する
ことを特徴とする請求項６記載の撮像装置。
前記偽色補正部は、偽色が生じている画素の前記複数の色情報のうち、偽色の原因となっている色以外の色の色情報に基づき、前記偽色が生じている画素の前記偽色の原因となっている色の色情報を補正する
ことを特徴とする請求項６記載の撮像装置。
前記信号処理部は、前記輝度信号処理部の出力と前記偽色補正部の出力とを合成して前記複数の画素のＲＧＢ値を算出する信号合成部を更に有する
ことを特徴とする請求項６乃至８のいずれか１項に記載の撮像装置。
前記複数の第１の画素の各々は、前記第２の画素により囲まれている
ことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
前記複数の画素は、前記第１の画素の数よりも２倍以上の数の前記第２の画素を含む
ことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
前記複数の第１の画素は、Ｒ画素、Ｇ画素、Ｂ画素から構成されている
ことを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
前記複数の第１の画素は、Ｃ画素、Ｍ画素、Ｙ画素から構成されている
ことを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
前記複数の第２の画素は、Ｗ画素から構成されている
ことを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
色情報を含む信号を出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有し、前記複数の第１の画素が、異なる色の色情報を出力する複数種類の前記第１の画素を含む、撮像素子から出力される信号を処理する信号処理装置であって、
前記第２の画素から出力される輝度情報に基づいて前記第１の画素の輝度値を生成する輝度信号処理部と、
前記輝度信号処理部により生成された前記第１の画素の前記輝度値と所定のしきい値とを比較することにより偽色を判定する偽色判定部と、
前記複数種類の前記第１の画素から出力される前記複数種類の色情報と、前記輝度信号処理部により生成された前記複数の第１の画素の輝度情報とを用いて補間処理を行うことにより、前記複数の画素の各々について、前記複数種類の色に対応する複数の色情報及び複数の輝度情報を生成する色・ｉＷ補間部と、を有し、
前記複数種類の色に対応する前記複数の輝度情報は、最大値と、中央値と、最小値とを含み、
前記偽色判定部は、前記中央値と前記最小値との差が前記しきい値よりも大きい場合に、偽色が生じていることを示す情報を出力する
ことを特徴とする信号処理装置。
色情報を含む信号を出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有し、前記複数の第１の画素が、異なる色の色情報を出力する複数種類の前記第１の画素を含む、撮像素子から出力される信号を処理する信号処理装置であって、
前記第２の画素から出力される輝度情報に基づいて前記第１の画素の輝度値を生成する輝度信号処理部と、
前記輝度信号処理部により生成された前記第１の画素の前記輝度値と所定のしきい値とを比較することにより偽色を判定する偽色判定部と、
前記複数種類の前記第１の画素から出力される前記複数種類の色情報と、前記輝度信号処理部により生成された前記複数の第１の画素の輝度情報とを用いて補間処理を行うことにより、前記複数の画素の各々について、前記複数種類の色に対応する複数の色情報及び複数の輝度情報を生成する色・ｉＷ補間部と、を有し、
前記複数種類の色に対応する前記複数の輝度情報は、最大値と、中央値と、最小値とを含み、
前記偽色判定部は、前記中央値と前記最小値との差が第１のしきい値よりも小さく、且つ、前記最大値と前記中央値との差が第２のしきい値よりも大きい場合に、偽色が生じていることを示す情報を出力する
ことを特徴とする信号処理装置。
色情報を含む信号を出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有する撮像素子を含む撮像装置と、
前記撮像装置から出力される信号を処理する信号処理部と、を有し、
前記複数の第１の画素は、異なる色の色情報を出力する複数種類の前記第１の画素を含み、
前記信号処理部は、
前記第２の画素から出力される輝度情報に基づいて前記第１の画素の輝度値を生成する輝度信号処理部と、
前記輝度信号処理部により生成された前記第１の画素の前記輝度値と所定のしきい値とを比較することにより偽色を判定する偽色判定部と、
前記複数種類の前記第１の画素から出力される前記複数種類の色情報と、前記輝度信号処理部により生成された前記複数の第１の画素の輝度情報とを用いて補間処理を行うことにより、前記複数の画素の各々について、前記複数種類の色に対応する複数の色情報及び複数の輝度情報を生成する色・ｉＷ補間部と、を有し、
前記複数種類の色に対応する前記複数の輝度情報は、最大値と、中央値と、最小値とを含み、
前記偽色判定部は、前記中央値と前記最小値との差が前記しきい値よりも大きい場合に、偽色が生じていることを示す情報を出力する
ことを特徴とする撮像システム。
色情報を含む信号を出力する複数の第１の画素と、前記第１の画素よりも感度の高い複数の第２の画素と、を含む複数の画素を有する撮像素子を含む撮像装置と、
前記撮像装置から出力される信号を処理する信号処理部と、を有し、
前記複数の第１の画素は、異なる色の色情報を出力する複数種類の前記第１の画素を含み、
前記信号処理部は、
前記第２の画素から出力される輝度情報に基づいて前記第１の画素の輝度値を生成する輝度信号処理部と、
前記輝度信号処理部により生成された前記第１の画素の前記輝度値と所定のしきい値とを比較することにより偽色を判定する偽色判定部と、
前記複数種類の前記第１の画素から出力される前記複数種類の色情報と、前記輝度信号処理部により生成された前記複数の第１の画素の輝度情報とを用いて補間処理を行うことにより、前記複数の画素の各々について、前記複数種類の色に対応する複数の色情報及び複数の輝度情報を生成する色・ｉＷ補間部と、を有し、
前記複数種類の色に対応する前記複数の輝度情報は、最大値と、中央値と、最小値とを含み、
前記偽色判定部は、前記中央値と前記最小値との差が第１のしきい値よりも小さく、且つ、前記最大値と前記中央値との差が第２のしきい値よりも大きい場合に、偽色が生じていることを示す情報を出力する
ことを特徴とする撮像システム。
移動体であって、
請求項１乃至１４のいずれか１項に記載の撮像装置と、
前記撮像装置の前記画素から出力される信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
前記距離情報に基づいて前記移動体を制御する制御手段と
を有することを特徴とする移動体。