JP6160139B2 - 撮像装置及び方法 - Google Patents

Description

本発明は、ＣＭＯＳイメージセンサーを用いて被写体を撮像するドライブレコーダー、ハンディカム、及び、ディジタルカメラ等の撮像装置に関する。さらに、本発明は、そのような撮像装置において用いられる撮像方法等に関する。

ＣＭＯＳイメージセンサーのセル（画素回路）から出力される画素信号には、検出ノードの特性に起因した固定パターンノイズが含まれている。通常のＣＭＯＳイメージセンサーを用いる撮像装置は、露光時間に応じて蓄積された電荷量に比例する信号レベルの画素信号を画素回路から読み出した後、画素回路をリセットして電荷を放出させ、リセット後のノイズレベルの画素信号を読み出し、それらの画素信号を用いてＣＤＳ（correlated double sampling：相関２重サンプリング）処理を行う。ＣＤＳ処理とは、電荷が放出される前後のレベルの差を検出することによって、固定パターンノイズを低減した画素信号を得る処理のことである。

ところで、特に暗部を撮像した場合に、画素回路のリセット後の露光開始から画素信号の信号レベルがある程度になるまでは、画素回路に蓄積された電荷量と画素信号の信号レベルとの関係が線形とならずに、非線形の特性となることがある。この特性は、画素毎に異なるので、暗部を撮像した画素回路から出力される画素信号の信号レベルにばらつきが発生し、得られた画像がざらついたものとなってしまう。

関連する技術として、特許文献１には、暗部における優れたノイズ除去と適切な輝度値の再現とを両立させることを目的とする画像処理装置が開示されている。この画像処理装置は、複数画素の輝度値を有する画像データの処理対象画素の輝度値が予め設定された閾値未満の場合に、閾値を当該処理対象画素の出力輝度値とするクリップ部と、処理対象画素の輝度値に対する出力輝度値の増分値を求める増分算出部と、増分値を保持する増分保持部と、処理対象画素の輝度値が閾値以上の場合に、当該輝度値から増分保持部に保持された増分値を減算して当該処理対象画素の出力輝度値を求める増分減算部とを備える。

しかしながら、処理対象画素の輝度値が予め設定された閾値未満の場合に、閾値を当該処理対象画素の出力輝度値として、処理対象画素の輝度値に対する出力輝度値の増分値を求め、処理対象画素の輝度値が閾値以上の場合に、当該輝度値から上記増分値を減算すれば、輝度値が閾値未満の画素と輝度値が閾値以上の画素との間で輝度値の差が減少してしまうので、暗部におけるノイズを除去できたとしても、非線形の特性を改善することはできない。

特開２０１２−７０１１９号公報（段落０００５−０００６）

そこで、上記の点に鑑み、本発明の目的の１つは、イメージセンサーの画素回路のリセット後に、画素回路に蓄積された電荷量と画素信号の信号レベルとの関係が不安定で非線形の特性となる期間があっても、非線形の特性を改善した画像を生成することができる撮像装置及び撮像方法を提供することである。

上記課題を解決するため、本発明の第１の観点に係る撮像装置は、露光量に応じた信号レベルを有する画素信号を非破壊読み出しによって出力する画素回路と、複数の画素回路が２次元マトリックス状に配列された光電変換部と、複数の画素回路を行単位でリセットすると共に、画素信号を出力する複数の画素回路を行単位で選択する行デコーダーと、画素信号をＡ／Ｄ変換して画素データを生成する複数のＡ／Ｄ変換器と、複数の画素回路の各々において、リセット後の第１の時点において生成された画素データと、第１の時点から第１の露光時間が経過した時点において生成された画素データとの差分を求めて第１の画像データを生成し、第１の時点よりも後の第２の時点において生成された画素データと、第２の時点から第１の露光時間よりも長い第２の露光時間が経過した時点において生成された画素データとの差分を求めて第２の画像データを生成する画像データ生成部とを具備する。

また、本発明の第１の観点に係る撮像方法は、露光量に応じた信号レベルを有する画素信号を非破壊読み出しによって出力する画素回路と、複数の画素回路が２次元マトリックス状に配列された光電変換部と、を用い、複数行の画素回路を順次リセットするステップ（ａ）と、複数行の画素回路を順次選択し、選択された行の複数の画素回路から出力される画素信号をＡ／Ｄ変換して画素データを生成することにより、複数の画素回路の各々について複数回の読み出しを行うステップ（ｂ）と、複数の画素回路の各々について、リセット後の第１の時点において生成された画素データと、第１の時点から第１の露光時間が経過した時点において生成された画素データとの差分を求めて第１の画像データを生成するステップ（ｃ）と、複数の画素回路の各々について、第１の時点よりも後の第２の時点において生成された画素データと、第２の時点から第１の露光時間よりも長い第２の露光時間が経過した時点において生成された画素データとの差分を求めて第２の画像データを生成するステップ（ｄ）とを具備する。

本発明の第１の観点によれば、画素信号を非破壊読み出しによって出力する光電変換部を使用する場合に、画素回路のリセット後に、画素回路に蓄積された電荷量と画素信号の信号レベルとの関係が不安定で非線形の特性となる期間があっても、少なくとも短時間露光以外においては、リセット後の不安定で非直線な画素信号の部分が使用されないので、非線形の特性を改善した画像を生成することができる。

本発明の第２の観点に係る撮像装置は、露光量に応じた信号レベルを有する画素信号を破壊読み出しによって出力する画素回路と、複数の画素回路が２次元マトリックス状に配列された光電変換部と、複数の画素回路を行単位でリセットすると共に、画素信号を出力する複数の画素回路を行単位で選択する行デコーダーと、画素信号をＡ／Ｄ変換して画素データを生成する複数のＡ／Ｄ変換器と、複数の画素回路の各々において、リセットから第１の所定の時間及び第１の露光時間が経過した第１の時点において生成された画素データと、リセットから第１の所定の時間が経過した時点において生成された画素データとの差分を求めて第１の画像データを生成し、リセットから第２の所定の時間及び第１の露光時間よりも長い第２の露光時間が経過した第２の時点において生成された画素データと、リセットから第２の所定の時間が経過した時点において生成された画素データとの差分を求めて第２の画像データを生成する画像データ生成部とを具備する。

また、本発明の第２の観点に係る撮像方法は、露光量に応じた信号レベルを有する画素信号を破壊読み出しによって出力する画素回路と、複数の画素回路が２次元マトリックス状に配列された光電変換部と、を用い、複数行の画素回路を順次リセットするステップ（ａ）と、複数行の画素回路を順次選択し、選択された行の複数の画素回路から出力される画素信号をＡ／Ｄ変換して画素データを生成することにより、複数の画素回路の各々について読み出しを行うステップ（ｂ）と、ステップ（ａ）及びステップ（ｂ）を所定の回数繰り返すステップ（ｃ）と、複数の画素回路の各々について、リセットから第１の所定の時間及び第１の露光時間が経過した第１の時点において生成された画素データと、リセットから第１の所定の時間が経過した時点において生成された画素データとの差分を求めて第１の画像データを生成するステップ（ｄ）と、複数の画素回路の各々について、リセットから第２の所定の時間及び第１の露光時間よりも長い第２の露光時間が経過した第２の時点において生成された画素データと、リセットから第２の所定の時間が経過した時点において生成された画素データとの差分を求めて第２の画像データを生成するステップ（ｅ）とを具備する。

本発明の第２の観点によれば、画素信号を破壊読み出しによって出力する光電変換部を使用する場合に、画素回路のリセット後に、画素回路に蓄積された電荷量と画素信号の信号レベルとの関係が不安定で非線形の特性となる期間があっても、非線形期間を含むように所定の時間を設定することにより、リセット後の不安定で非直線な画素信号の部分が使用されないので、非線形の特性を改善した画像を生成することができる。

上記の第１の観点に係る撮像装置において、更に、画像データ生成部が、第１の時点よりも後の第３の時点において生成された画素データと、第３の時点から第２の露光時間よりも長い第３の露光時間が経過した時点において生成された画素データとの差分を求めて第３の画像データを生成することが好ましい。また、上記の第２の観点に係る撮像素子において、更に、画像データ生成部が、リセットから第３の所定の時間及び第２の露光時間よりも長い第３の露光時間が経過した第３の時点において生成された画素データと、リセットから第３の所定の時間が経過した時点において生成された画素データとの差分を求めて第３の画像データを生成することが好ましい。これらの場合には、例えば、明るい部分を撮像するための短時間露光と、中間明度の部分を撮像するための中時間露光と、暗い部分を撮像するための長時間露光とを行うことができる。

以上において、撮像装置が、画像生成部によって生成された露光時間の異なる画像データを合成するダイナミックレンジ拡張部をさらに具備することが好ましい。画像データ生成部によって互いに異なる複数種類の露光時間に対応して生成された複数種類の画像データを合成することにより、白とびや黒つぶれの少ない画像を生成することができる。

本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図。 本発明の第１の実施形態における光電変換部の構成例を示す回路図。 第１の実施形態における露光時間に対応する読み出しタイミングを示す図。 異なる露光時間の画像においてオレンジ色を構成する色成分を示す図。 画像合成処理の第１の例を説明するための図。 画像合成処理の第２の例を説明するための図。 ドライブレコーダーによって撮影された画像の例を示す図。 図１に示す撮像装置において行われる撮像方法の例を示すフローチャート。 本発明の第２の実施形態に係る撮像装置の構成例を示すブロック図。 第２の実施形態における露光時間に対応する読み出しタイミングを示す図。 図９に示す撮像装置において行われる撮像方法の例を示すフローチャート。

以下、本発明の実施形態について、図面を参照しながら詳しく説明する。なお、同一の構成要素には同一の参照符号を付して、説明を省略する。
図１は、本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図である。本発明は、イメージセンサーを用いて被写体を撮像するドライブレコーダー、ハンディカム、及び、ディジタルカメラ等の撮像装置に適用される。

例えば、ドライブレコーダーは、自動車事故が発生した場合に、どの自動車の運転手に過失があったか等を立証するために用いられるので、明瞭な画像を記録する必要がある。しかしながら、ドライブレコーダーによってトンネルの出口付近を昼間に撮影した場合に、露光量が小さければ、トンネルの外の明るい部分は明瞭に撮影されるが、トンネルの中の暗い部分は黒くつぶれて撮影されてしまう（黒つぶれ）。一方、露光量が大きければ、トンネルの中の暗い部分は明瞭に撮影されるが、トンネルの外の明るい部分は白く飽和して撮影されてしまう（白とび）。

そこで、本実施形態においては、ハイダイナミックレンジ合成（ＨＤＲ：high dynamic range imaging）が用いられる。ハイダイナミックレンジ合成とは、露光量を変化させながら複数枚の画像を撮影し、それらを合成することによって、白とびや黒つぶれの少ない広大なダイナミックレンジを有する画像を生成する技法である。ハイダイナミックレンジ合成によれば、自動車がトンネルの出口付近を走行する場合や逆光の場合に、白とびや黒つぶれの少ない画像を得ることができる。

図１に示すように、この撮像装置は、撮像部１と、画像処理部２とを含んでいる。撮像部１及び画像処理部２は、それぞれ別個の半導体集積回路装置に内蔵されても良いし、全体として１つの半導体集積回路装置に内蔵されても良い。あるいは、撮像部１と画像処理部２の一部とが１つの半導体集積回路装置に内蔵されても良いし、画像処理部２と撮像部１の一部とが１つの半導体集積回路装置に内蔵されても良い。

撮像部１は、光電変換部１０と、行デコーダー１１と、バッファーアンプ１２と、サンプリング用のキャパシター１３と、ＯＢ（オプティカルブラック）クランプ回路１４と、ＡＤＣ（アナログ／ディジタル変換器）１５と、列デコーダー１６と、タイミング設定部１７とを含んでいる。

また、画像処理部２は、画像データ生成部２０と、複数のフレームメモリー２１〜２３と、正規化部２４と、画像信頼性評価部２５と、画像合成部２６と、トーンマップ処理部２７とを含んでいる。ここで、正規化部２４〜トーンマップ処理部２７は、ダイナミックレンジ拡張部を構成する。

図２は、本発明の第１の実施形態に係る撮像装置における光電変換部の構成例を示す回路図である。第１の実施形態においては、ＡＣＤＴ（advanced carrier detection and transfer technology）が適用されたＣＭＯＳイメージセンサーの一種が用いられる。ＡＣＤＴイメージセンサーは、非破壊読み出し可能なイメージセンサーであり、高画質と低電圧及び低消費電力という２つの長所を併せ持つ。

光電変換部１０において、露光量に応じた信号レベルを有する複数の画素信号を非破壊読み出しによってそれぞれ出力する複数の画素回路１０ａが、２次元マトリックス状に配列されている。図２においては、複数の画素回路１０ａと、それらの画素回路１０ａに接続されたドレイン電位線ＶＤと、図中横方向に配列された画素回路１０ａに各々が接続されたゲート電位線ＶＧ１、ＶＧ２、・・・と、図中縦方向に配列された画素回路１０ａに各々が接続された読み出し線ＶＳ１、ＶＳ２、・・・とが示されている。

例として、図中左上の画素回路１０ａについて説明する。画素回路１０ａは、ＮチャネルＭＯＳトランジスターＱ１と、フォトダイオードＤ１とを含んでいる。トランジスターＱ１のドレインは、ドレイン電位線ＶＤに接続されており、ゲートは、ゲート電位線ＶＧ１に接続されており、ソースは、読み出し線ＶＳ１に接続されている。また、フォトダイオードＤ１のカソードは、ドレイン電位線ＶＤに接続されており、アノードは、トランジスターＱ１のバックゲートに接続されている。

例えば、ドレイン電位線ＶＤには、３．３Ｖの電位が供給される。また、ゲート電位線ＶＧ１には、リセット時に６Ｖ、露光時に１Ｖ、読み出し時に３Ｖの電位が供給される。ゲート電位線ＶＧ１に６Ｖの電位が供給されて画素回路１０ａがリセットされると、トランジスターＱ１のバックゲートに蓄積された電荷が放出される。

ゲート電位線ＶＧ１の電位が６Ｖから１Ｖに変更されると、露光が開始され、露光量に応じた光電流がフォトダイオードＤ１に流れて、トランジスターＱ１のバックゲートに電荷が蓄積される。その後、画素回路１０ａから画素信号を読み出す際に、ゲート電位線ＶＧ１の電位が１Ｖから３Ｖに変更される。トランジスターＱ１のバックゲートに蓄積される電荷が多くなれば、トランジスターＱ１の閾値が上昇し、トランジスターＱ１のソース電位が低下する。このソース電位が、画素信号として出力される。

再び図１を参照すると、行デコーダー１１は、光電変換部１０の複数行の画素回路を順次リセットすると共に、複数行の画素回路を順次選択する。選択された行の複数の画素回路から出力される画素信号は、バッファーアンプ１２及びキャパシター１３を介して、ＯＢクランプ回路１４に入力される。

ＯＢクランプ回路１４は、光電変換部１０においてフォトダイオードが遮光されたＯＢ領域が走査される際に、画素信号を黒レベルにクランプする。これにより、温度上昇等によって発生する暗電流の増加分をキャンセルすることができる。ＡＤＣ１５は、選択された行の複数の画素回路から出力されてＯＢクランプ回路１４によってクランプされた画素信号をＡ／Ｄ変換して、１行分の画素の画素データを生成する。

列デコーダー１６は、ＡＤＣ１５によって生成された１行分の画素の画素データを順次選択して、選択された画素データを順次出力する。また、画像データ生成部２０は、フレームメモリー２１〜２３を利用して、それらの画素データに基づいて画像データを生成する。その際に、画像データ生成部２０は、互いに異なる複数種類の露光時間に対応して複数種類の画像データを生成する。

タイミング設定部１７は、複数の画素回路１０ａの各々がリセットされてから次に再びリセットされるまでの間に、その画素回路１０ａから複数の異なる時点において画素データが生成されるように、行デコーダー１１、ＯＢクランプ回路１４、及び、ＡＤＣ１５の動作タイミングを設定する。また、タイミング設定部１７は、列デコーダー１６及び画像データ生成部２０の動作タイミングを設定する。

以下においては、互いに異なる３種類の露光時間に対応して３種類の画像データを生成する場合について説明する。その場合には、明るい部分を撮像するための短時間露光と、中間明度の部分を撮像するための中時間露光と、暗い部分を撮像するための長時間露光とを行うことができる。

図３は、第１の実施形態における３種類の露光時間に対応する読み出しタイミングの例を示す図である。図３において、横軸は時間を表しており、縦軸は画素信号の信号レベルを表している。

図３に示すように、３種類の画像データを生成するために、画素回路がリセットされた後に画素データが生成される４つの時点ｔ１〜ｔ４が設定される。なお、明るい部分を撮像する場合には、画素回路に蓄積された電荷量と画素信号の信号レベルとの関係が非線形の特性となる期間を露光時間に含めても非線形の影響は小さいので、第１の時点ｔ１は、画素回路がリセットされて、蓄積された電荷が放出された直後の時点であっても良い。

短時間露光においては、リセット後の第１の時点ｔ１における信号レベルＡ１の画素信号と、第１の時点ｔ１から第１の露光時間Ｔ１が経過した第２の時点ｔ２における信号レベルＡ２の画素信号とが、画素データに変換される。図１に示す画像データ生成部２０は、複数の画素回路１０ａの各々について、第１の時点ｔ１において生成された画素データと、第２の時点ｔ２において生成された画素データとの差分を求めて、第１の画像データＡを生成する。

一方、中時間露光及び長時間露光においては、リセット後において画素信号が不安定で非直線な非直線期間における画素信号は使用されない。中時間露光においては、第１の時点ｔ１よりも後の第２の時点ｔ２における信号レベルＢ２の画素信号と、第２の時点ｔ２から第２の露光時間Ｔ２が経過した第３の時点ｔ３における信号レベルＢ３の画素信号とが、画素データに変換される。ここで、第２の露光時間Ｔ２＝（ｔ３−ｔ２）は、第１の露光時間Ｔ１＝（ｔ２−ｔ１）よりも長い。図１に示す画像データ生成部２０は、複数の画素回路１０ａの各々について、第２の時点ｔ２において生成された画素データと、第３の時点ｔ３において生成された画素データとの差分を求めて、第２の画像データＢを生成する。

また、長時間露光においては、第１の時点ｔ１よりも後の第２の時点ｔ２における信号レベルＣ２の画素信号と、第２の時点ｔ２から第３の露光時間Ｔ３が経過した第４の時点ｔ４における信号レベルＣ４の画素信号とが、画素データに変換される。ここで、第３の露光時間Ｔ３＝（ｔ４−ｔ２）は、第２の露光時間Ｔ２＝（ｔ３−ｔ２）よりも長い。図１に示す画像データ生成部２０は、複数の画素回路１０ａの各々について、第２の時点ｔ２において生成された画素データと、第４の時点ｔ４において生成された画素データとの差分を求めて、第３の画像データＣを生成する。

このようにして、互いに異なる３種類の露光時間Ｔ１、Ｔ２、Ｔ３に対応して、３種類の画像データＡ、Ｂ、Ｃが生成される。以下においては、３種類の露光時間Ｔ１、Ｔ２、Ｔ３が、Ｔ１：Ｔ２：Ｔ３＝２：３：６の関係にあるものとする。また、画像データは、複数の色成分を含んでも良い。本実施形態においては、画像データが、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色の色成分（例えば、各成分について８ビット）を含むものとする。

再び図１を参照すると、画像データ生成部２０は、生成された画像データＡ、Ｂ、Ｃを、メモリー２１、２２、２３にそれぞれ振り分ける。これにより、メモリー２１は画像データＡを蓄積し、メモリー２２は画像データＢを蓄積し、メモリー２３は画像データＣを蓄積する。

正規化部２４〜トーンマップ処理部２７によって構成されるダイナミックレンジ拡張部は、画像データ生成部２０によって互いに異なる複数種類の露光時間Ｔ１、Ｔ２、Ｔ３に対応して生成された複数種類の画像データＡ、Ｂ、Ｃを合成することにより、ダイナミックレンジが拡張された１つの画像を表す合成画像データＤを生成する。

正規化部２４は、メモリー２１、２２、２３にそれぞれ蓄積された画像データＡ、Ｂ、Ｃを読み出して正規化する。これと並行して、画像信頼性評価部２５は、メモリー２１、２２、２３にそれぞれ蓄積された画像データＡ、Ｂ、Ｃの信頼性を評価して、信頼性の評価結果を画像合成部２６に供給する。

画像合成部２６は、画像信頼性評価部２５から供給される信頼性の評価結果に基づいて、正規化部２４によって正規化された画像データＡ、Ｂ、Ｃをハイダイナミックレンジ合成することにより、ダイナミックレンジが拡張された画像を表す合成画像データＤを生成する。

トーンマップ処理部２７は、画像合成部２６から出力されるダイナミックレンジが拡張された画像を表す合成画像データＤのビット数を、画像データ生成部２０によって生成された画像データのビット数（例えば、Ｒ、Ｇ、Ｂ成分の各々について８ビット）に一致させるトーンマップ処理を行う。

まず、図１に示す正規化部２４において行われる正規化処理の例について説明する。以下の式において、「ｘ、ｙ」は画素の座標を表し、「Ｒ」はＲ成分を表す。正規化部２４に入力される正規化前の画像データＡ、Ｂ、ＣのＲ成分のデータ値を、それぞれ、Ａ_T1（ｘ、ｙ、Ｒ）、Ｂ_T2（ｘ、ｙ、Ｒ）、Ｃ_T3（ｘ、ｙ、Ｒ）とする。また、正規化部２４によって正規化された画像データＡ、Ｂ、Ｃのデータ値を、それぞれ、Ａ_NT3（ｘ、ｙ、Ｒ）、Ｂ_NT3（ｘ、ｙ、Ｒ）、Ｃ_NT3（ｘ、ｙ、Ｒ）とする。

正規化における両者の関係は、次式で表される。
Ａ_NT3（ｘ、ｙ、Ｒ）＝Ａ_T1（ｘ、ｙ、Ｒ）×（Ｔ３／Ｔ１）
Ｂ_NT3（ｘ、ｙ、Ｒ）＝Ｂ_T2（ｘ、ｙ、Ｒ）×（Ｔ３／Ｔ２）
Ｃ_NT3（ｘ、ｙ、Ｒ）＝Ｃ_T3（ｘ、ｙ、Ｒ）
これらの式は、画像データのＲ成分に関するものであるが、Ｇ成分及びＢ成分についても同様である。

次に、画像信頼性評価部２５によって行われる画像データの信頼性評価の第１の例について説明する。図４は、異なる露光時間で同一の撮影対象を撮影することにより得られた画像においてオレンジ色を構成するＲ、Ｇ、Ｂ成分のデータ値を示している。図４において、横軸は、Ｒ、Ｇ、Ｂ成分を区別しており、縦軸は、各成分のデータ値を表している。ここで、図４（Ａ）は、最も短い露光時間Ｔ１で撮影された画像を表す画像データＡのデータ値を示し、図４（Ｂ）は、中間の露光時間Ｔ２で撮影された画像を表す画像データＢのデータ値を示し、図４（Ｃ）は、最も長い露光時間Ｔ３で撮影された画像を表す画像データＣのデータ値を示している。

画像信頼性評価部２５は、データ値に基づいて画像データの信頼性を評価することにより、信頼性の評価結果を表す値である信頼度を求める。本実施形態においては、データ値が大きければＳ／Ｎ比が高くなることから、より大きいデータ値に、より高い信頼度を付与している。ただし、データ値が高過ぎて最大値２５５に達している（飽和している）場合には、元の画像の正確な輝度レベルが得られない。従って、最大値２５５よりもやや低いデータ値（例えば、２２４）に、信頼度の最高値を付与するようにしている。

このような信頼度の付与は、予め設定されている式にデータ値を代入するか、あるいは、データ値に基づいてＬＵＴ（ルックアップテーブル）を参照することによって実現される。以下に、画像データＡ_T1（ｘ、ｙ、Ｒ）のデータ値が２２４を超えた場合に信頼度Ｅ_T1（ｘ、ｙ、Ｒ）を算出するための式を例示する。
ｉｆ Ａ_T1（ｘ、ｙ、Ｒ）＞２２４
ｔｈｅｎ Ｅ_T1（ｘ、ｙ、Ｒ）＝（２５５−Ａ_T1（ｘ、ｙ、Ｒ））／３１
ｅｌｓｅ Ｅ_T1（ｘ、ｙ、Ｒ）＝Ａ_T1（ｘ、ｙ、Ｒ））／２２４
これらの式は、画像データのＲ成分に関するものであるが、Ｇ成分及びＢ成分についても同様である。

上式中の数字「３１」は、データ値の最大値２５５と信頼度が最高値となるデータ値２２４との差である。データ値の最大値２５５とデータ値２２４との差によって、データ値の最大値２５５と画像データＡ_T1（ｘ、ｙ、Ｒ）のデータ値との差を除算することにより、画像データＡ_T1（ｘ、ｙ、Ｒ）のデータ値が飽和に近くなると信頼度を低下させることができる。

画像信頼性評価部２５は、以上述べた信頼性の評価を実行し、算出された信頼度を画像合成部２６に出力する。なお、信頼度を算出する式は、上記のような形式に限定されるものではなく、出力特性やノイズ特性を考慮してデータ値の信頼性の指標となるものであれば、どのような形式のものであっても良い。また、信頼性の評価は、信頼度を用いることに限定されるものではなく、最も高い信頼性を有する画像データを特定する信号を出力するようにしても良い。

上式に従って、図４（Ａ）〜（Ｃ）に示すデータ値を評価すると、Ｒ成分については、図４（Ａ）に示す画像データＡのＲ成分Ｒ１が、図４（Ｂ）に示す画像データＢのＲ成分Ｒ２や図４（Ｃ）に示す画像データＣのＲ成分Ｒ３よりも高い信頼度を得る。また、Ｇ成分については、図４（Ｂ）に示す画像データＢのＧ成分Ｇ２が、図４（Ａ）に示す画像データＡのＧ成分Ｇ１や図４（Ｃ）に示す画像データＣのＧ成分Ｇ３よりも高い信頼度を得る。さらに、Ｂ成分については、図４（Ｃ）に示す画像データＣのＢ成分Ｂ３が、図４（Ａ）に示す画像データＡのＧ成分Ｂ１や図４（Ｂ）に示す画像データＢのＧ成分Ｂ２よりも高い信頼度を得る。

次に、図１に示す画像合成部２６によって行われる画像合成処理の第１の例について説明する。画像合成部２６は、Ｒ、Ｇ、Ｂ成分の各々について、画像データＡ、Ｂ、Ｃの内で信頼度が最も高い画像データを選択する。そして、選択された画像データのＲ、Ｇ、Ｂ成分を合成することにより、オレンジ色を表示する合成画像データＤを生成する。

図５は、画像合成処理の第１の例を説明するための図である。図５（Ａ）、図５（Ｂ）、図５（Ｃ）は、図１に示す正規化部２４によって正規化された画像データＡ、Ｂ、Ｃの各色成分のデータ値をそれぞれ示しており、図５（Ｄ）は、図１に示す画像合成部２６によって合成された合成画像データＤの各色成分のデータ値を示している。

画像合成部２６は、図５（Ａ）に示す画像データＡのＲ成分Ｒ１と、図５（Ｂ）に示す画像データＢのＧ成分Ｇ２と、図５（Ｃ）に示す画像データＣのＢ成分Ｂ３とを選択して合成することにより、図５（Ｄ）に示す合成画像データＤを生成する。この合成画像データＤは、図４（Ａ）に示す短時間露光のＲ成分Ｒ１と、図４（Ｂ）に示す中時間露光のＧ成分Ｇ２と、図４（Ｃ）に示す長時間露光のＢ成分Ｂ３とに基づいて生成されるので、図４（Ｂ）に示す中時間露光の画像データＢと比較してダイナミックレンジが拡張されている。

ただし、図５（Ｄ）に示す合成画像データＤにおいては、正規化によって、データ値の最大値が２５５を超えている。そこで、図１に示すトーンマップ処理部２７は、画像合成部２６から出力される合成画像データＤのビット数を、画像データ生成部２０によって生成された画像データのビット数（ここでは、Ｒ、Ｇ、Ｂ成分の各々について８ビット）に一致させるトーンマップ処理を行う。このトーンマップ処理は、例えば、合成画像データＤの各色成分のデータ値に（Ｔ１／Ｔ３）を掛けることによって行われる。

次に、画像データの信頼性評価及び画像合成処理の第２の例について説明する。第２の例においては、画像合成部２６が、露光量が異なる複数の画像データＡ、Ｂ、Ｃの同一の色成分を混合することにより、合成画像データＤを生成する。そのために、画像信頼性評価部２５は、信頼性評価結果として、複数の画像データＡ、Ｂ、Ｃの各色成分の混合割合（重み付け係数）を算出して画像合成部２６に供給する。画像合成部２６は、供給された混合割合に従って、複数の画像データＡ、Ｂ、Ｃの同一の色成分を混合する。

このような混合の結果、画像データＡのＲ成分Ｒ１と画像データＢのＲ成分Ｒ２と画像データＣのＲ成分Ｒ３とが混合されて、合成画像データＤのＲ成分が生成される。同様に、画像データＡのＧ成分Ｇ１と画像データＢのＧ成分Ｇ２と画像データＣのＧ成分Ｇ３とが混合されて、合成画像データＤのＧ成分が生成される。また、画像データＡのＢ成分Ｂ１と画像データＢのＢ成分Ｂ２と画像データＣのＢ成分Ｂ３とが混合されて、合成画像データＤのＢ成分が生成される。混合されたＲ、Ｇ、Ｂ成分によって、合成画像データＤが構成される。

画像信頼性評価部２５は、次のようにして、複数の画像データＡ、Ｂ、Ｃの各色成分の重み付け係数を決定しても良い。ここで、重み付け係数とは、画像データＡ、Ｂ、Ｃの混合割合を示すものであって、重み付け係数が大きいほど混合割合が大きいものとする。画像データＡのＲ成分の重み付け係数Ｗ＿T1（ｘ、ｙ、Ｒ）は、例えば、信頼度に基づいて、次式によって算出される。

Ｗ＿T1（ｘ、ｙ、Ｒ）＝Ｅ＿T1（ｘ、ｙ、Ｒ）／Ｅsum
Ｗ＿T2（ｘ、ｙ、Ｒ）＝Ｅ＿T2（ｘ、ｙ、Ｒ）／Ｅsum
Ｗ＿T3（ｘ、ｙ、Ｒ）＝Ｅ＿T3（ｘ、ｙ、Ｒ）／Ｅsum
ただし、Ｅsum＝Ｅ＿T1（ｘ、ｙ、Ｒ）＋Ｅ＿T2（ｘ、ｙ、Ｒ）＋Ｅ＿T3（ｘ、ｙ、Ｒ）である。これらの式は、画像データＡ、Ｂ、ＣのＲ成分に関するものであるが、Ｇ成分及びＢ成分についても同様である。

画像信頼性評価部２５によって算出された重み付け係数は、画像合成部２６に供給される。画像合成部２６は、それらの重み付け係数を画像データＡ、Ｂ、Ｃのそれぞれの色成分に乗算し、乗算後のデータ値を色成分毎に加算して、合成画像データＤを生成する。
Ｄ（ｘ、ｙ、Ｒ）＝Ｗ＿T1（ｘ、ｙ、Ｒ）×Ａ_NT3（ｘ、ｙ、Ｒ）
＋Ｗ＿T2（ｘ、ｙ、Ｒ）×Ｂ_NT3（ｘ、ｙ、Ｒ）
＋Ｗ＿T3（ｘ、ｙ、Ｒ）×Ｃ_NT3（ｘ、ｙ、Ｒ）
これらの式は、画像データＡ、Ｂ、Ｃ、ＤのＲ成分に関するものであるが、Ｇ成分及びＢ成分についても同様である。

図６は、画像合成処理の第２の例を説明するための図である。図６においては、合成画像データにおける元の画像データの混合割合の例が示されている。この例においては、合成画像データＤのＲ、Ｇ、Ｂ成分が、全ての画像データＡ、Ｂ、ＣのＲ、Ｇ、Ｂ成分をそれぞれ含んでいるが、信頼性の最も低い画像データの色成分の重み付け係数をゼロに設定することにより、信頼性の最も低い画像データの色成分を排除しても良い。

以上述べたダイナミックレンジ拡張処理によれば、異なる露光量で撮影対象を撮影することにより得られる複数の画像データの信頼性を、画像データの色成分毎に評価することができる。また、評価された信頼性に基づいて、それらの画像データの色成分の内から信頼性の高い色成分を採用し、採用された色成分を合成して合成画像データを生成することができる。

図７は、本発明が適用されるドライブレコーダーによって撮影された画像の例を示す図である。図７には、露光時間を３段階に変えてトンネルの出口付近を撮影して得られた画像、及び、それらの画像を合成して得られた合成画像が示されている。

図７（Ａ）は、短時間露光の画像を示している。短時間露光の場合には、トンネルの外の部分は明瞭に撮影されるが、トンネルの中の部分は黒つぶれによって不明瞭となる。一方、図７（Ｃ）は、長時間露光の画像を示している。長時間露光の場合には、トンネルの中の部分は明瞭に撮影されるが、トンネルの外の部分は白とびによって不明瞭となる。図７（Ｂ）は、中時間露光の画像を示している。中時間露光の場合には、トンネルの中の一部において黒つぶれが発生し、トンネルの外の一部において白とびが発生する。

図７（Ｄ）は、図７（Ａ）〜（Ｃ）に示す画像を合成して得られた合成画像を示している。図７（Ａ）〜（Ｃ）に示す画像から、輝度が適切な領域（画素）の画像を切り出して合成することにより、黒つぶれや白とびの少ない１枚（１フレーム）の画像を得ることができる。

次に、本発明の第１の実施形態に係る撮像方法について、図１及び図８を参照しながら説明する。図８は、図１に示す撮像装置において行われる撮像方法の例を示すフローチャートである。この例においては、２種類の露光時間に対応する２種類の画像データが生成される。

図８に示すステップＳ１１において、行デコーダー１１が、露光量に応じた信号レベルを有する複数の画素信号を非破壊読み出しによってそれぞれ出力する複数の画素回路１０ａが２次元マトリックス状に配列された光電変換部１０において、複数行の画素回路を順次リセットする。

ステップＳ１２において、行デコーダー１１が、複数行の画素回路を順次選択し、ＡＤＣ１５が、選択された行の複数の画素回路から出力される画素信号をＡ／Ｄ変換して画素データを生成することにより、複数の画素回路１０ａの各々について複数回の読み出しを行う。

ステップＳ１３において、画像データ生成部２０が、複数の画素回路１０ａの各々について、リセット後の第１の時点において生成された画素データと、第１の時点から第１の露光時間が経過した時点において生成された画素データとの差分を求めて、第１の画像データを生成する。

ステップＳ１４において、画像データ生成部２０が、複数の画素回路１０ａの各々について、第１の時点よりも後の第２の時点において生成された画素データと、第２の時点から第１の露光時間よりも長い第２の露光時間が経過した時点において生成された画素データとの差分を求めて、第２の画像データを生成する。

本発明の第１の実施形態によれば、画素信号を非破壊読み出しによって出力する光電変換部を使用する場合に、画素回路のリセット後に、画素回路に蓄積された電荷量と画素信号の信号レベルとの関係が不安定で非線形の特性となる期間があっても、少なくとも短時間露光以外においては、リセット後の不安定で非直線な画素信号の部分が使用されないので、非線形の特性を改善した画像を生成することができる。また、互いに異なる複数種類の露光時間に対応して生成された複数種類の画像データを合成することにより、白とびや黒つぶれが発生し難い画像を生成することができる。

次に、本発明の第２の実施形態について説明する。図９は、本発明の第２の実施形態に係る撮像装置の構成例を示すブロック図である。第２の実施形態においては、図１に示す光電変換部１０及びタイミング設定部１７の替りに、図９に示す光電変換部１８及びタイミング設定部１９を含む撮像部１ａが用いられる。その他の点に関しては、第１の実施形態と同様である。

第２の実施形態においては、画素信号を破壊読み出しによって出力する通常のＣＭＯＳイメージセンサーが用いられる。光電変換部１８において、露光量に応じた信号レベルを有する複数の画素信号を破壊読み出しによってそれぞれ出力する複数の画素回路１８ａが、２次元マトリックス状に配列されている。

そこで、タイミング設定部１９は、複数の画素回路１８ａの各々について、リセットと、画素信号の読み出しと、画素データの生成とが繰り返されるように、行デコーダー１１、ＯＢクランプ回路１４、及び、ＡＤＣ１５の動作タイミングを設定する。また、タイミング設定部１９は、列デコーダー１６及び画像データ生成部２０の動作タイミングを設定する。以下においては、互いに異なる３種類の露光時間に対応して３種類の画像データを生成する場合について説明する。

図１０は、第２の実施形態における３種類の露光時間に対応する読み出しタイミングの例を示す図である。図１０において、横軸は時間を表しており、縦軸は画素信号の信号レベルを表している。この例においては、明るい部分を撮像するための短時間露光と、中間明度の部分を撮像するための中時間露光と、暗い部分を撮像するための長時間露光とが行われる。

そこで、画素回路がリセットされる４つの時点ｔｒ１〜ｔｒ４と、画素データが生成される４つの時点ｔ１〜ｔ４とが、３種類の画像データを生成するために設定される。ただし、リセット後において画素信号が不安定で非直線な非直線期間における画素信号は使用されない。そのために、非直線期間を含む所定の時間ΔＴが設定される。所定の時間ΔＴは、第２の露光時間Ｔ２の１０％以上であることが望ましい。

短時間露光においては、第１のリセット時点ｔｒ１から所定の時間ΔＴ及び第１の露光時間Ｔ１が経過した第１の時点ｔ１における信号レベルＡ１の画素信号が、画素データに変換される。

中時間露光においては、第２のリセット時点ｔｒ２から所定の時間ΔＴ及び第２の露光時間Ｔ２が経過した第２の時点ｔ２における信号レベルＢ２の画素信号が、画素データに変換される。ここで、第２の露光時間Ｔ２は、第１の露光時間Ｔ１よりも長い。

長時間露光においては、第３のリセット時点ｔｒ３から所定の時間ΔＴ及び第３の露光時間Ｔ３が経過した第３の時点ｔ３における信号レベルＣ３の画素信号が、画素データに変換される。ここで、第３の露光時間Ｔ３は、第２の露光時間Ｔ２よりも長い。

さらに、第４のリセット時点ｔｒ４から所定の時間ΔＴが経過した第４の時点ｔ４における信号レベルＤ４の画素信号が、画素データに変換される。図９に示す画像データ生成部２０は、複数の画素回路１８ａの各々について、第１の時点ｔ１において生成された画素データと、第４の時点ｔ４において生成された画素データとの差分を求めて、第１の画像データＡを生成する。

また、画像データ生成部２０は、複数の画素回路１８ａの各々について、第２の時点ｔ２において生成された画素データと、第４の時点ｔ４において生成された画素データとの差分を求めて、第２の画像データＢを生成し、第３の時点ｔ３において生成された画素データと、第４の時点ｔ４において生成された画素データとの差分を求めて、第３の画像データＣを生成する。

以上においては、３種類の露光時間に対応する撮像を行った後にノイズレベルの画素信号を読み出す例について説明したが、ノイズレベルの画素信号を読み出した後に３種類の露光時間に対応する撮像を行っても良い。あるいは、ノイズレベルの画素信号を読み出した後に、３種類の露光時間に対応する撮像を行い、さらに、ノイズレベルの画素信号を読み出しても良い。その場合には、３種類の露光時間に対応する撮像を行うために、複数の画素回路の各々が５回リセットされる。

例えば、画像データ生成部２０は、第１のリセットから第１の所定の時間が経過した時点において生成された画素データと、第２のリセットから第１の所定の時間及び第１の露光時間Ｔ１が経過した第１の時点において生成された画素データとの差分を求めて第１の画像データを生成する。なお、明るい部分を撮像する場合には、画素回路に蓄積された電荷量と画素信号の信号レベルとの関係が非線形の特性となる期間を露光時間に含めても非線形の影響は小さいので、第１の所定の時間は、画素回路がリセットされてから、蓄積された電荷が放出された直後までの時間であっても良い。

また、画像データ生成部２０は、第３のリセットから第２の所定の時間及び第２の露光時間Ｔ２が経過した第２の時点において生成された画素データと、第５のリセットから第２の所定の時間が経過した時点において生成された画素データとの差分を求めて第２の画像データを生成する。ここで、第２の所定の時間は、非直線期間を含む。

さらに、画像データ生成部２０は、第４のリセットから第２の所定の時間及び第３の露光時間Ｔ３が経過した第３の時点において生成された画素データと、第５のリセットから第２の所定の時間が経過した時点において生成された画素データとの差分を求めて第３の画像データを生成する。

次に、本発明の第２の実施形態に係る撮像方法について、図９及び図１１を参照しながら説明する。図１１は、図９に示す撮像装置において行われる撮像方法の例を示すフローチャートである。この例においては、２種類の露光時間に対応する２種類の画像データが生成される。

図１１に示すステップＳ２１において、行デコーダー１１が、露光量に応じた信号レベルを有する複数の画素信号を破壊読み出しによってそれぞれ出力する複数の画素回路１８ａが２次元マトリックス状に配列された光電変換部１８において、複数行の画素回路を順次リセットする。

ステップＳ２２において、行デコーダー１１が、複数行の画素回路を順次選択し、ＡＤＣ１５が、選択された行の複数の画素回路から出力される画素信号をＡ／Ｄ変換して画素データを生成することにより、複数の画素回路１８ａの各々について読み出しを行う。

ステップＳ２３において、ステップＳ２１及びステップＳ２２が、所定の回数繰り返される。次に、ステップＳ２４において、画像データ生成部２０が、複数の画素回路１８ａの各々について、リセットから第１の所定の時間及び第１の露光時間が経過した第１の時点において生成された画素データと、リセットから第１の所定の時間が経過した時点において生成された画素データとの差分を求めて、第１の画像データを生成する。ここで、第１の所定の時間は、非直線期間を含んでも良いし、画素回路がリセットされてから、蓄積された電荷が放出された直後までの時間であっても良い。

ステップＳ２５において、画像データ生成部２０が、複数の画素回路１８ａの各々について、リセットから第２の所定の時間及び第１の露光時間よりも長い第２の露光時間が経過した第２の時点において生成された画素データと、リセットから第２の所定の時間が経過した時点において生成された画素データとの差分を求めて、第２の画像データを生成する。ここで、第２の所定の時間は、非直線期間を含む。

本発明の第２の実施形態によれば、画素信号を破壊読み出しによって出力する光電変換部を使用する場合に、画素回路のリセット後に、画素回路に蓄積された電荷量と画素信号の信号レベルとの関係が不安定で非線形の特性となる期間があっても、非線形期間を含むように所定の時間を設定することにより、リセット後の不安定で非直線な画素信号の部分が使用されないので、非線形の特性を改善した画像を生成することができる。また、互いに異なる複数種類の露光時間に対応して生成された複数種類の画像データを合成することにより、白とびや黒つぶれが発生し難い画像を生成することができる。

以上の実施形態においては、１行分の画素回路から出力される画素信号をＡ／Ｄ変換してから列デコーダーによって順次選択する例について説明したが、１行分の画素回路から出力される画素信号を列デコーダーによって順次選択してからＡ／Ｄ変換するようにしても良い。本発明は、以上説明した実施形態に限定されるものではなく、当該技術分野において通常の知識を有する者によって、本発明の技術的思想内で多くの変形が可能である。

１、１ａ…撮像部、２…画像処理部、１０、１８…光電変換部、１０ａ、１８ａ…画素回路、１１…行デコーダー、１２…バッファーアンプ、１３…キャパシター、１４…ＯＢクランプ回路、１５…ＡＤＣ、１６…列デコーダー、１７、１９…タイミング設定部、２０…画像データ生成部、２１〜２３…フレームメモリー、２４…正規化部、２５…画像信頼性評価部、２６…画像合成部、２７…トーンマップ処理部、Ｑ１…ＮチャネルＭＯＳトランジスター、Ｄ１…フォトダイオード、ＶＤ…ドレイン電位線、ＶＧ１、ＶＧ２…ゲート電位線、ＶＳ１、ＶＳ２…読み出し線

Claims (4)

1. 露光量に応じた信号レベルを有する画素信号を非破壊読み出しによって出力する画素回路と、
   複数の前記画素回路が２次元マトリックス状に配列された光電変換部と、
   複数の前記画素回路を行単位でリセットすると共に、前記画素信号を出力する複数の前記画素回路を行単位で選択する行デコーダーと、
   前記画素信号をＡ／Ｄ変換して画素データを生成する複数のＡ／Ｄ変換器と、
   複数の前記画素回路の各々において、リセット後の第１の時点において生成された画素データと、前記第１の時点から第１の露光時間が経過した時点において生成された画素データとの差分を求めて第１の画像データを生成し、前記第１の時点よりも後の第２の時点において生成された画素データと、前記第２の時点から前記第１の露光時間よりも長い第２の露光時間が経過した時点において生成された画素データとの差分を求めて第２の画像データを生成する画像データ生成部と、
   を具備する撮像装置。
2. 更に、前記画像データ生成部が、前記第１の時点よりも後の第３の時点において生成された画素データと、前記第３の時点から前記第２の露光時間よりも長い第３の露光時間が経過した時点において生成された画素データとの差分を求めて第３の画像データを生成する、請求項１に記載の撮像装置。
3. 前記画像データ生成部によって生成された露光時間の異なる画像データを合成するダイナミックレンジ拡張部をさらに具備する、請求項１又は２に記載の撮像装置。
4. 露光量に応じた信号レベルを有する画素信号を非破壊読み出しによって出力する画素回路と、
   複数の前記画素回路が２次元マトリックス状に配列された光電変換部と、を用い、
   複数行の画素回路を順次リセットするステップ（ａ）と、
   前記複数行の画素回路を順次選択し、選択された行の複数の画素回路から出力される画素信号をＡ／Ｄ変換して画素データを生成することにより、前記複数の画素回路の各々について複数回の読み出しを行うステップ（ｂ）と、
   前記複数の画素回路の各々について、リセット後の第１の時点において生成された画素データと、前記第１の時点から第１の露光時間が経過した時点において生成された画素データとの差分を求めて第１の画像データを生成するステップ（ｃ）と、
   前記複数の画素回路の各々について、前記第１の時点よりも後の第２の時点において生成された画素データと、前記第２の時点から前記第１の露光時間よりも長い第２の露光時間が経過した時点において生成された画素データとの差分を求めて第２の画像データを生成するステップ（ｄ）と、
   を具備する撮像方法。