JP6160139B2 - 撮像装置及び方法 - Google Patents

撮像装置及び方法 Download PDF

Info

Publication number
JP6160139B2
JP6160139B2 JP2013050102A JP2013050102A JP6160139B2 JP 6160139 B2 JP6160139 B2 JP 6160139B2 JP 2013050102 A JP2013050102 A JP 2013050102A JP 2013050102 A JP2013050102 A JP 2013050102A JP 6160139 B2 JP6160139 B2 JP 6160139B2
Authority
JP
Japan
Prior art keywords
pixel
time
image data
exposure
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013050102A
Other languages
English (en)
Other versions
JP2014176065A (ja
Inventor
哲男 多津田
哲男 多津田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2013050102A priority Critical patent/JP6160139B2/ja
Publication of JP2014176065A publication Critical patent/JP2014176065A/ja
Application granted granted Critical
Publication of JP6160139B2 publication Critical patent/JP6160139B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、CMOSイメージセンサーを用いて被写体を撮像するドライブレコーダー、ハンディカム、及び、ディジタルカメラ等の撮像装置に関する。さらに、本発明は、そのような撮像装置において用いられる撮像方法等に関する。
CMOSイメージセンサーのセル(画素回路)から出力される画素信号には、検出ノードの特性に起因した固定パターンノイズが含まれている。通常のCMOSイメージセンサーを用いる撮像装置は、露光時間に応じて蓄積された電荷量に比例する信号レベルの画素信号を画素回路から読み出した後、画素回路をリセットして電荷を放出させ、リセット後のノイズレベルの画素信号を読み出し、それらの画素信号を用いてCDS(correlated double sampling:相関2重サンプリング)処理を行う。CDS処理とは、電荷が放出される前後のレベルの差を検出することによって、固定パターンノイズを低減した画素信号を得る処理のことである。
ところで、特に暗部を撮像した場合に、画素回路のリセット後の露光開始から画素信号の信号レベルがある程度になるまでは、画素回路に蓄積された電荷量と画素信号の信号レベルとの関係が線形とならずに、非線形の特性となることがある。この特性は、画素毎に異なるので、暗部を撮像した画素回路から出力される画素信号の信号レベルにばらつきが発生し、得られた画像がざらついたものとなってしまう。
関連する技術として、特許文献1には、暗部における優れたノイズ除去と適切な輝度値の再現とを両立させることを目的とする画像処理装置が開示されている。この画像処理装置は、複数画素の輝度値を有する画像データの処理対象画素の輝度値が予め設定された閾値未満の場合に、閾値を当該処理対象画素の出力輝度値とするクリップ部と、処理対象画素の輝度値に対する出力輝度値の増分値を求める増分算出部と、増分値を保持する増分保持部と、処理対象画素の輝度値が閾値以上の場合に、当該輝度値から増分保持部に保持された増分値を減算して当該処理対象画素の出力輝度値を求める増分減算部とを備える。
しかしながら、処理対象画素の輝度値が予め設定された閾値未満の場合に、閾値を当該処理対象画素の出力輝度値として、処理対象画素の輝度値に対する出力輝度値の増分値を求め、処理対象画素の輝度値が閾値以上の場合に、当該輝度値から上記増分値を減算すれば、輝度値が閾値未満の画素と輝度値が閾値以上の画素との間で輝度値の差が減少してしまうので、暗部におけるノイズを除去できたとしても、非線形の特性を改善することはできない。
特開2012−70119号公報(段落0005−0006)
そこで、上記の点に鑑み、本発明の目的の1つは、イメージセンサーの画素回路のリセット後に、画素回路に蓄積された電荷量と画素信号の信号レベルとの関係が不安定で非線形の特性となる期間があっても、非線形の特性を改善した画像を生成することができる撮像装置及び撮像方法を提供することである。
上記課題を解決するため、本発明の第1の観点に係る撮像装置は、露光量に応じた信号レベルを有する画素信号を非破壊読み出しによって出力する画素回路と、複数の画素回路が2次元マトリックス状に配列された光電変換部と、複数の画素回路を行単位でリセットすると共に、画素信号を出力する複数の画素回路を行単位で選択する行デコーダーと、画素信号をA/D変換して画素データを生成する複数のA/D変換器と、複数の画素回路の各々において、リセット後の第1の時点において生成された画素データと、第1の時点から第1の露光時間が経過した時点において生成された画素データとの差分を求めて第1の画像データを生成し、第1の時点よりも後の第2の時点において生成された画素データと、第2の時点から第1の露光時間よりも長い第2の露光時間が経過した時点において生成された画素データとの差分を求めて第2の画像データを生成する画像データ生成部とを具備する。
また、本発明の第1の観点に係る撮像方法は、露光量に応じた信号レベルを有する画素信号を非破壊読み出しによって出力する画素回路と、複数の画素回路が2次元マトリックス状に配列された光電変換部と、を用い、複数行の画素回路を順次リセットするステップ(a)と、複数行の画素回路を順次選択し、選択された行の複数の画素回路から出力される画素信号をA/D変換して画素データを生成することにより、複数の画素回路の各々について複数回の読み出しを行うステップ(b)と、複数の画素回路の各々について、リセット後の第1の時点において生成された画素データと、第1の時点から第1の露光時間が経過した時点において生成された画素データとの差分を求めて第1の画像データを生成するステップ(c)と、複数の画素回路の各々について、第1の時点よりも後の第2の時点において生成された画素データと、第2の時点から第1の露光時間よりも長い第2の露光時間が経過した時点において生成された画素データとの差分を求めて第2の画像データを生成するステップ(d)とを具備する。
本発明の第1の観点によれば、画素信号を非破壊読み出しによって出力する光電変換部を使用する場合に、画素回路のリセット後に、画素回路に蓄積された電荷量と画素信号の信号レベルとの関係が不安定で非線形の特性となる期間があっても、少なくとも短時間露光以外においては、リセット後の不安定で非直線な画素信号の部分が使用されないので、非線形の特性を改善した画像を生成することができる。
本発明の第2の観点に係る撮像装置は、露光量に応じた信号レベルを有する画素信号を破壊読み出しによって出力する画素回路と、複数の画素回路が2次元マトリックス状に配列された光電変換部と、複数の画素回路を行単位でリセットすると共に、画素信号を出力する複数の画素回路を行単位で選択する行デコーダーと、画素信号をA/D変換して画素データを生成する複数のA/D変換器と、複数の画素回路の各々において、リセットから第1の所定の時間及び第1の露光時間が経過した第1の時点において生成された画素データと、リセットから第1の所定の時間が経過した時点において生成された画素データとの差分を求めて第1の画像データを生成し、リセットから第2の所定の時間及び第1の露光時間よりも長い第2の露光時間が経過した第2の時点において生成された画素データと、リセットから第2の所定の時間が経過した時点において生成された画素データとの差分を求めて第2の画像データを生成する画像データ生成部とを具備する。
また、本発明の第2の観点に係る撮像方法は、露光量に応じた信号レベルを有する画素信号を破壊読み出しによって出力する画素回路と、複数の画素回路が2次元マトリックス状に配列された光電変換部と、を用い、複数行の画素回路を順次リセットするステップ(a)と、複数行の画素回路を順次選択し、選択された行の複数の画素回路から出力される画素信号をA/D変換して画素データを生成することにより、複数の画素回路の各々について読み出しを行うステップ(b)と、ステップ(a)及びステップ(b)を所定の回数繰り返すステップ(c)と、複数の画素回路の各々について、リセットから第1の所定の時間及び第1の露光時間が経過した第1の時点において生成された画素データと、リセットから第1の所定の時間が経過した時点において生成された画素データとの差分を求めて第1の画像データを生成するステップ(d)と、複数の画素回路の各々について、リセットから第2の所定の時間及び第1の露光時間よりも長い第2の露光時間が経過した第2の時点において生成された画素データと、リセットから第2の所定の時間が経過した時点において生成された画素データとの差分を求めて第2の画像データを生成するステップ(e)とを具備する。
本発明の第2の観点によれば、画素信号を破壊読み出しによって出力する光電変換部を使用する場合に、画素回路のリセット後に、画素回路に蓄積された電荷量と画素信号の信号レベルとの関係が不安定で非線形の特性となる期間があっても、非線形期間を含むように所定の時間を設定することにより、リセット後の不安定で非直線な画素信号の部分が使用されないので、非線形の特性を改善した画像を生成することができる。
上記の第1の観点に係る撮像装置において、更に、画像データ生成部が、第1の時点よりも後の第3の時点において生成された画素データと、第3の時点から第2の露光時間よりも長い第3の露光時間が経過した時点において生成された画素データとの差分を求めて第3の画像データを生成することが好ましい。また、上記の第2の観点に係る撮像素子において、更に、画像データ生成部が、リセットから第3の所定の時間及び第2の露光時間よりも長い第3の露光時間が経過した第3の時点において生成された画素データと、リセットから第3の所定の時間が経過した時点において生成された画素データとの差分を求めて第3の画像データを生成することが好ましい。これらの場合には、例えば、明るい部分を撮像するための短時間露光と、中間明度の部分を撮像するための中時間露光と、暗い部分を撮像するための長時間露光とを行うことができる。
以上において、撮像装置が、画像生成部によって生成された露光時間の異なる画像データを合成するダイナミックレンジ拡張部をさらに具備することが好ましい。画像データ生成部によって互いに異なる複数種類の露光時間に対応して生成された複数種類の画像データを合成することにより、白とびや黒つぶれの少ない画像を生成することができる。
本発明の第1の実施形態に係る撮像装置の構成例を示すブロック図。 本発明の第1の実施形態における光電変換部の構成例を示す回路図。 第1の実施形態における露光時間に対応する読み出しタイミングを示す図。 異なる露光時間の画像においてオレンジ色を構成する色成分を示す図。 画像合成処理の第1の例を説明するための図。 画像合成処理の第2の例を説明するための図。 ドライブレコーダーによって撮影された画像の例を示す図。 図1に示す撮像装置において行われる撮像方法の例を示すフローチャート。 本発明の第2の実施形態に係る撮像装置の構成例を示すブロック図。 第2の実施形態における露光時間に対応する読み出しタイミングを示す図。 図9に示す撮像装置において行われる撮像方法の例を示すフローチャート。
以下、本発明の実施形態について、図面を参照しながら詳しく説明する。なお、同一の構成要素には同一の参照符号を付して、説明を省略する。
図1は、本発明の第1の実施形態に係る撮像装置の構成例を示すブロック図である。本発明は、イメージセンサーを用いて被写体を撮像するドライブレコーダー、ハンディカム、及び、ディジタルカメラ等の撮像装置に適用される。
例えば、ドライブレコーダーは、自動車事故が発生した場合に、どの自動車の運転手に過失があったか等を立証するために用いられるので、明瞭な画像を記録する必要がある。しかしながら、ドライブレコーダーによってトンネルの出口付近を昼間に撮影した場合に、露光量が小さければ、トンネルの外の明るい部分は明瞭に撮影されるが、トンネルの中の暗い部分は黒くつぶれて撮影されてしまう(黒つぶれ)。一方、露光量が大きければ、トンネルの中の暗い部分は明瞭に撮影されるが、トンネルの外の明るい部分は白く飽和して撮影されてしまう(白とび)。
そこで、本実施形態においては、ハイダイナミックレンジ合成(HDR:high dynamic range imaging)が用いられる。ハイダイナミックレンジ合成とは、露光量を変化させながら複数枚の画像を撮影し、それらを合成することによって、白とびや黒つぶれの少ない広大なダイナミックレンジを有する画像を生成する技法である。ハイダイナミックレンジ合成によれば、自動車がトンネルの出口付近を走行する場合や逆光の場合に、白とびや黒つぶれの少ない画像を得ることができる。
図1に示すように、この撮像装置は、撮像部1と、画像処理部2とを含んでいる。撮像部1及び画像処理部2は、それぞれ別個の半導体集積回路装置に内蔵されても良いし、全体として1つの半導体集積回路装置に内蔵されても良い。あるいは、撮像部1と画像処理部2の一部とが1つの半導体集積回路装置に内蔵されても良いし、画像処理部2と撮像部1の一部とが1つの半導体集積回路装置に内蔵されても良い。
撮像部1は、光電変換部10と、行デコーダー11と、バッファーアンプ12と、サンプリング用のキャパシター13と、OB(オプティカルブラック)クランプ回路14と、ADC(アナログ/ディジタル変換器)15と、列デコーダー16と、タイミング設定部17とを含んでいる。
また、画像処理部2は、画像データ生成部20と、複数のフレームメモリー21〜23と、正規化部24と、画像信頼性評価部25と、画像合成部26と、トーンマップ処理部27とを含んでいる。ここで、正規化部24〜トーンマップ処理部27は、ダイナミックレンジ拡張部を構成する。
図2は、本発明の第1の実施形態に係る撮像装置における光電変換部の構成例を示す回路図である。第1の実施形態においては、ACDT(advanced carrier detection and transfer technology)が適用されたCMOSイメージセンサーの一種が用いられる。ACDTイメージセンサーは、非破壊読み出し可能なイメージセンサーであり、高画質と低電圧及び低消費電力という2つの長所を併せ持つ。
光電変換部10において、露光量に応じた信号レベルを有する複数の画素信号を非破壊読み出しによってそれぞれ出力する複数の画素回路10aが、2次元マトリックス状に配列されている。図2においては、複数の画素回路10aと、それらの画素回路10aに接続されたドレイン電位線VDと、図中横方向に配列された画素回路10aに各々が接続されたゲート電位線VG1、VG2、・・・と、図中縦方向に配列された画素回路10aに各々が接続された読み出し線VS1、VS2、・・・とが示されている。
例として、図中左上の画素回路10aについて説明する。画素回路10aは、NチャネルMOSトランジスターQ1と、フォトダイオードD1とを含んでいる。トランジスターQ1のドレインは、ドレイン電位線VDに接続されており、ゲートは、ゲート電位線VG1に接続されており、ソースは、読み出し線VS1に接続されている。また、フォトダイオードD1のカソードは、ドレイン電位線VDに接続されており、アノードは、トランジスターQ1のバックゲートに接続されている。
例えば、ドレイン電位線VDには、3.3Vの電位が供給される。また、ゲート電位線VG1には、リセット時に6V、露光時に1V、読み出し時に3Vの電位が供給される。ゲート電位線VG1に6Vの電位が供給されて画素回路10aがリセットされると、トランジスターQ1のバックゲートに蓄積された電荷が放出される。
ゲート電位線VG1の電位が6Vから1Vに変更されると、露光が開始され、露光量に応じた光電流がフォトダイオードD1に流れて、トランジスターQ1のバックゲートに電荷が蓄積される。その後、画素回路10aから画素信号を読み出す際に、ゲート電位線VG1の電位が1Vから3Vに変更される。トランジスターQ1のバックゲートに蓄積される電荷が多くなれば、トランジスターQ1の閾値が上昇し、トランジスターQ1のソース電位が低下する。このソース電位が、画素信号として出力される。
再び図1を参照すると、行デコーダー11は、光電変換部10の複数行の画素回路を順次リセットすると共に、複数行の画素回路を順次選択する。選択された行の複数の画素回路から出力される画素信号は、バッファーアンプ12及びキャパシター13を介して、OBクランプ回路14に入力される。
OBクランプ回路14は、光電変換部10においてフォトダイオードが遮光されたOB領域が走査される際に、画素信号を黒レベルにクランプする。これにより、温度上昇等によって発生する暗電流の増加分をキャンセルすることができる。ADC15は、選択された行の複数の画素回路から出力されてOBクランプ回路14によってクランプされた画素信号をA/D変換して、1行分の画素の画素データを生成する。
列デコーダー16は、ADC15によって生成された1行分の画素の画素データを順次選択して、選択された画素データを順次出力する。また、画像データ生成部20は、フレームメモリー21〜23を利用して、それらの画素データに基づいて画像データを生成する。その際に、画像データ生成部20は、互いに異なる複数種類の露光時間に対応して複数種類の画像データを生成する。
タイミング設定部17は、複数の画素回路10aの各々がリセットされてから次に再びリセットされるまでの間に、その画素回路10aから複数の異なる時点において画素データが生成されるように、行デコーダー11、OBクランプ回路14、及び、ADC15の動作タイミングを設定する。また、タイミング設定部17は、列デコーダー16及び画像データ生成部20の動作タイミングを設定する。
以下においては、互いに異なる3種類の露光時間に対応して3種類の画像データを生成する場合について説明する。その場合には、明るい部分を撮像するための短時間露光と、中間明度の部分を撮像するための中時間露光と、暗い部分を撮像するための長時間露光とを行うことができる。
図3は、第1の実施形態における3種類の露光時間に対応する読み出しタイミングの例を示す図である。図3において、横軸は時間を表しており、縦軸は画素信号の信号レベルを表している。
図3に示すように、3種類の画像データを生成するために、画素回路がリセットされた後に画素データが生成される4つの時点t1〜t4が設定される。なお、明るい部分を撮像する場合には、画素回路に蓄積された電荷量と画素信号の信号レベルとの関係が非線形の特性となる期間を露光時間に含めても非線形の影響は小さいので、第1の時点t1は、画素回路がリセットされて、蓄積された電荷が放出された直後の時点であっても良い。
短時間露光においては、リセット後の第1の時点t1における信号レベルA1の画素信号と、第1の時点t1から第1の露光時間T1が経過した第2の時点t2における信号レベルA2の画素信号とが、画素データに変換される。図1に示す画像データ生成部20は、複数の画素回路10aの各々について、第1の時点t1において生成された画素データと、第2の時点t2において生成された画素データとの差分を求めて、第1の画像データAを生成する。
一方、中時間露光及び長時間露光においては、リセット後において画素信号が不安定で非直線な非直線期間における画素信号は使用されない。中時間露光においては、第1の時点t1よりも後の第2の時点t2における信号レベルB2の画素信号と、第2の時点t2から第2の露光時間T2が経過した第3の時点t3における信号レベルB3の画素信号とが、画素データに変換される。ここで、第2の露光時間T2=(t3−t2)は、第1の露光時間T1=(t2−t1)よりも長い。図1に示す画像データ生成部20は、複数の画素回路10aの各々について、第2の時点t2において生成された画素データと、第3の時点t3において生成された画素データとの差分を求めて、第2の画像データBを生成する。
また、長時間露光においては、第1の時点t1よりも後の第2の時点t2における信号レベルC2の画素信号と、第2の時点t2から第3の露光時間T3が経過した第4の時点t4における信号レベルC4の画素信号とが、画素データに変換される。ここで、第3の露光時間T3=(t4−t2)は、第2の露光時間T2=(t3−t2)よりも長い。図1に示す画像データ生成部20は、複数の画素回路10aの各々について、第2の時点t2において生成された画素データと、第4の時点t4において生成された画素データとの差分を求めて、第3の画像データCを生成する。
このようにして、互いに異なる3種類の露光時間T1、T2、T3に対応して、3種類の画像データA、B、Cが生成される。以下においては、3種類の露光時間T1、T2、T3が、T1:T2:T3=2:3:6の関係にあるものとする。また、画像データは、複数の色成分を含んでも良い。本実施形態においては、画像データが、R(赤)、G(緑)、B(青)の3色の色成分(例えば、各成分について8ビット)を含むものとする。
再び図1を参照すると、画像データ生成部20は、生成された画像データA、B、Cを、メモリー21、22、23にそれぞれ振り分ける。これにより、メモリー21は画像データAを蓄積し、メモリー22は画像データBを蓄積し、メモリー23は画像データCを蓄積する。
正規化部24〜トーンマップ処理部27によって構成されるダイナミックレンジ拡張部は、画像データ生成部20によって互いに異なる複数種類の露光時間T1、T2、T3に対応して生成された複数種類の画像データA、B、Cを合成することにより、ダイナミックレンジが拡張された1つの画像を表す合成画像データDを生成する。
正規化部24は、メモリー21、22、23にそれぞれ蓄積された画像データA、B、Cを読み出して正規化する。これと並行して、画像信頼性評価部25は、メモリー21、22、23にそれぞれ蓄積された画像データA、B、Cの信頼性を評価して、信頼性の評価結果を画像合成部26に供給する。
画像合成部26は、画像信頼性評価部25から供給される信頼性の評価結果に基づいて、正規化部24によって正規化された画像データA、B、Cをハイダイナミックレンジ合成することにより、ダイナミックレンジが拡張された画像を表す合成画像データDを生成する。
トーンマップ処理部27は、画像合成部26から出力されるダイナミックレンジが拡張された画像を表す合成画像データDのビット数を、画像データ生成部20によって生成された画像データのビット数(例えば、R、G、B成分の各々について8ビット)に一致させるトーンマップ処理を行う。
まず、図1に示す正規化部24において行われる正規化処理の例について説明する。以下の式において、「x、y」は画素の座標を表し、「R」はR成分を表す。正規化部24に入力される正規化前の画像データA、B、CのR成分のデータ値を、それぞれ、A_T1(x、y、R)、B_T2(x、y、R)、C_T3(x、y、R)とする。また、正規化部24によって正規化された画像データA、B、Cのデータ値を、それぞれ、A_NT3(x、y、R)、B_NT3(x、y、R)、C_NT3(x、y、R)とする。
正規化における両者の関係は、次式で表される。
A_NT3(x、y、R)=A_T1(x、y、R)×(T3/T1)
B_NT3(x、y、R)=B_T2(x、y、R)×(T3/T2)
C_NT3(x、y、R)=C_T3(x、y、R)
これらの式は、画像データのR成分に関するものであるが、G成分及びB成分についても同様である。
次に、画像信頼性評価部25によって行われる画像データの信頼性評価の第1の例について説明する。図4は、異なる露光時間で同一の撮影対象を撮影することにより得られた画像においてオレンジ色を構成するR、G、B成分のデータ値を示している。図4において、横軸は、R、G、B成分を区別しており、縦軸は、各成分のデータ値を表している。ここで、図4(A)は、最も短い露光時間T1で撮影された画像を表す画像データAのデータ値を示し、図4(B)は、中間の露光時間T2で撮影された画像を表す画像データBのデータ値を示し、図4(C)は、最も長い露光時間T3で撮影された画像を表す画像データCのデータ値を示している。
画像信頼性評価部25は、データ値に基づいて画像データの信頼性を評価することにより、信頼性の評価結果を表す値である信頼度を求める。本実施形態においては、データ値が大きければS/N比が高くなることから、より大きいデータ値に、より高い信頼度を付与している。ただし、データ値が高過ぎて最大値255に達している(飽和している)場合には、元の画像の正確な輝度レベルが得られない。従って、最大値255よりもやや低いデータ値(例えば、224)に、信頼度の最高値を付与するようにしている。
このような信頼度の付与は、予め設定されている式にデータ値を代入するか、あるいは、データ値に基づいてLUT(ルックアップテーブル)を参照することによって実現される。以下に、画像データA_T1(x、y、R)のデータ値が224を超えた場合に信頼度E_T1(x、y、R)を算出するための式を例示する。
if A_T1(x、y、R)>224
then E_T1(x、y、R)=(255−A_T1(x、y、R))/31
else E_T1(x、y、R)=A_T1(x、y、R))/224
これらの式は、画像データのR成分に関するものであるが、G成分及びB成分についても同様である。
上式中の数字「31」は、データ値の最大値255と信頼度が最高値となるデータ値224との差である。データ値の最大値255とデータ値224との差によって、データ値の最大値255と画像データA_T1(x、y、R)のデータ値との差を除算することにより、画像データA_T1(x、y、R)のデータ値が飽和に近くなると信頼度を低下させることができる。
画像信頼性評価部25は、以上述べた信頼性の評価を実行し、算出された信頼度を画像合成部26に出力する。なお、信頼度を算出する式は、上記のような形式に限定されるものではなく、出力特性やノイズ特性を考慮してデータ値の信頼性の指標となるものであれば、どのような形式のものであっても良い。また、信頼性の評価は、信頼度を用いることに限定されるものではなく、最も高い信頼性を有する画像データを特定する信号を出力するようにしても良い。
上式に従って、図4(A)〜(C)に示すデータ値を評価すると、R成分については、図4(A)に示す画像データAのR成分R1が、図4(B)に示す画像データBのR成分R2や図4(C)に示す画像データCのR成分R3よりも高い信頼度を得る。また、G成分については、図4(B)に示す画像データBのG成分G2が、図4(A)に示す画像データAのG成分G1や図4(C)に示す画像データCのG成分G3よりも高い信頼度を得る。さらに、B成分については、図4(C)に示す画像データCのB成分B3が、図4(A)に示す画像データAのG成分B1や図4(B)に示す画像データBのG成分B2よりも高い信頼度を得る。
次に、図1に示す画像合成部26によって行われる画像合成処理の第1の例について説明する。画像合成部26は、R、G、B成分の各々について、画像データA、B、Cの内で信頼度が最も高い画像データを選択する。そして、選択された画像データのR、G、B成分を合成することにより、オレンジ色を表示する合成画像データDを生成する。
図5は、画像合成処理の第1の例を説明するための図である。図5(A)、図5(B)、図5(C)は、図1に示す正規化部24によって正規化された画像データA、B、Cの各色成分のデータ値をそれぞれ示しており、図5(D)は、図1に示す画像合成部26によって合成された合成画像データDの各色成分のデータ値を示している。
画像合成部26は、図5(A)に示す画像データAのR成分R1と、図5(B)に示す画像データBのG成分G2と、図5(C)に示す画像データCのB成分B3とを選択して合成することにより、図5(D)に示す合成画像データDを生成する。この合成画像データDは、図4(A)に示す短時間露光のR成分R1と、図4(B)に示す中時間露光のG成分G2と、図4(C)に示す長時間露光のB成分B3とに基づいて生成されるので、図4(B)に示す中時間露光の画像データBと比較してダイナミックレンジが拡張されている。
ただし、図5(D)に示す合成画像データDにおいては、正規化によって、データ値の最大値が255を超えている。そこで、図1に示すトーンマップ処理部27は、画像合成部26から出力される合成画像データDのビット数を、画像データ生成部20によって生成された画像データのビット数(ここでは、R、G、B成分の各々について8ビット)に一致させるトーンマップ処理を行う。このトーンマップ処理は、例えば、合成画像データDの各色成分のデータ値に(T1/T3)を掛けることによって行われる。
次に、画像データの信頼性評価及び画像合成処理の第2の例について説明する。第2の例においては、画像合成部26が、露光量が異なる複数の画像データA、B、Cの同一の色成分を混合することにより、合成画像データDを生成する。そのために、画像信頼性評価部25は、信頼性評価結果として、複数の画像データA、B、Cの各色成分の混合割合(重み付け係数)を算出して画像合成部26に供給する。画像合成部26は、供給された混合割合に従って、複数の画像データA、B、Cの同一の色成分を混合する。
このような混合の結果、画像データAのR成分R1と画像データBのR成分R2と画像データCのR成分R3とが混合されて、合成画像データDのR成分が生成される。同様に、画像データAのG成分G1と画像データBのG成分G2と画像データCのG成分G3とが混合されて、合成画像データDのG成分が生成される。また、画像データAのB成分B1と画像データBのB成分B2と画像データCのB成分B3とが混合されて、合成画像データDのB成分が生成される。混合されたR、G、B成分によって、合成画像データDが構成される。
画像信頼性評価部25は、次のようにして、複数の画像データA、B、Cの各色成分の重み付け係数を決定しても良い。ここで、重み付け係数とは、画像データA、B、Cの混合割合を示すものであって、重み付け係数が大きいほど混合割合が大きいものとする。画像データAのR成分の重み付け係数W_T1(x、y、R)は、例えば、信頼度に基づいて、次式によって算出される。
W_T1(x、y、R)=E_T1(x、y、R)/Esum
W_T2(x、y、R)=E_T2(x、y、R)/Esum
W_T3(x、y、R)=E_T3(x、y、R)/Esum
ただし、Esum=E_T1(x、y、R)+E_T2(x、y、R)+E_T3(x、y、R)である。これらの式は、画像データA、B、CのR成分に関するものであるが、G成分及びB成分についても同様である。
画像信頼性評価部25によって算出された重み付け係数は、画像合成部26に供給される。画像合成部26は、それらの重み付け係数を画像データA、B、Cのそれぞれの色成分に乗算し、乗算後のデータ値を色成分毎に加算して、合成画像データDを生成する。
D(x、y、R)=W_T1(x、y、R)×A_NT3(x、y、R)
+W_T2(x、y、R)×B_NT3(x、y、R)
+W_T3(x、y、R)×C_NT3(x、y、R)
これらの式は、画像データA、B、C、DのR成分に関するものであるが、G成分及びB成分についても同様である。
図6は、画像合成処理の第2の例を説明するための図である。図6においては、合成画像データにおける元の画像データの混合割合の例が示されている。この例においては、合成画像データDのR、G、B成分が、全ての画像データA、B、CのR、G、B成分をそれぞれ含んでいるが、信頼性の最も低い画像データの色成分の重み付け係数をゼロに設定することにより、信頼性の最も低い画像データの色成分を排除しても良い。
以上述べたダイナミックレンジ拡張処理によれば、異なる露光量で撮影対象を撮影することにより得られる複数の画像データの信頼性を、画像データの色成分毎に評価することができる。また、評価された信頼性に基づいて、それらの画像データの色成分の内から信頼性の高い色成分を採用し、採用された色成分を合成して合成画像データを生成することができる。
図7は、本発明が適用されるドライブレコーダーによって撮影された画像の例を示す図である。図7には、露光時間を3段階に変えてトンネルの出口付近を撮影して得られた画像、及び、それらの画像を合成して得られた合成画像が示されている。
図7(A)は、短時間露光の画像を示している。短時間露光の場合には、トンネルの外の部分は明瞭に撮影されるが、トンネルの中の部分は黒つぶれによって不明瞭となる。一方、図7(C)は、長時間露光の画像を示している。長時間露光の場合には、トンネルの中の部分は明瞭に撮影されるが、トンネルの外の部分は白とびによって不明瞭となる。図7(B)は、中時間露光の画像を示している。中時間露光の場合には、トンネルの中の一部において黒つぶれが発生し、トンネルの外の一部において白とびが発生する。
図7(D)は、図7(A)〜(C)に示す画像を合成して得られた合成画像を示している。図7(A)〜(C)に示す画像から、輝度が適切な領域(画素)の画像を切り出して合成することにより、黒つぶれや白とびの少ない1枚(1フレーム)の画像を得ることができる。
次に、本発明の第1の実施形態に係る撮像方法について、図1及び図8を参照しながら説明する。図8は、図1に示す撮像装置において行われる撮像方法の例を示すフローチャートである。この例においては、2種類の露光時間に対応する2種類の画像データが生成される。
図8に示すステップS11において、行デコーダー11が、露光量に応じた信号レベルを有する複数の画素信号を非破壊読み出しによってそれぞれ出力する複数の画素回路10aが2次元マトリックス状に配列された光電変換部10において、複数行の画素回路を順次リセットする。
ステップS12において、行デコーダー11が、複数行の画素回路を順次選択し、ADC15が、選択された行の複数の画素回路から出力される画素信号をA/D変換して画素データを生成することにより、複数の画素回路10aの各々について複数回の読み出しを行う。
ステップS13において、画像データ生成部20が、複数の画素回路10aの各々について、リセット後の第1の時点において生成された画素データと、第1の時点から第1の露光時間が経過した時点において生成された画素データとの差分を求めて、第1の画像データを生成する。
ステップS14において、画像データ生成部20が、複数の画素回路10aの各々について、第1の時点よりも後の第2の時点において生成された画素データと、第2の時点から第1の露光時間よりも長い第2の露光時間が経過した時点において生成された画素データとの差分を求めて、第2の画像データを生成する。
本発明の第1の実施形態によれば、画素信号を非破壊読み出しによって出力する光電変換部を使用する場合に、画素回路のリセット後に、画素回路に蓄積された電荷量と画素信号の信号レベルとの関係が不安定で非線形の特性となる期間があっても、少なくとも短時間露光以外においては、リセット後の不安定で非直線な画素信号の部分が使用されないので、非線形の特性を改善した画像を生成することができる。また、互いに異なる複数種類の露光時間に対応して生成された複数種類の画像データを合成することにより、白とびや黒つぶれが発生し難い画像を生成することができる。
次に、本発明の第2の実施形態について説明する。図9は、本発明の第2の実施形態に係る撮像装置の構成例を示すブロック図である。第2の実施形態においては、図1に示す光電変換部10及びタイミング設定部17の替りに、図9に示す光電変換部18及びタイミング設定部19を含む撮像部1aが用いられる。その他の点に関しては、第1の実施形態と同様である。
第2の実施形態においては、画素信号を破壊読み出しによって出力する通常のCMOSイメージセンサーが用いられる。光電変換部18において、露光量に応じた信号レベルを有する複数の画素信号を破壊読み出しによってそれぞれ出力する複数の画素回路18aが、2次元マトリックス状に配列されている。
そこで、タイミング設定部19は、複数の画素回路18aの各々について、リセットと、画素信号の読み出しと、画素データの生成とが繰り返されるように、行デコーダー11、OBクランプ回路14、及び、ADC15の動作タイミングを設定する。また、タイミング設定部19は、列デコーダー16及び画像データ生成部20の動作タイミングを設定する。以下においては、互いに異なる3種類の露光時間に対応して3種類の画像データを生成する場合について説明する。
図10は、第2の実施形態における3種類の露光時間に対応する読み出しタイミングの例を示す図である。図10において、横軸は時間を表しており、縦軸は画素信号の信号レベルを表している。この例においては、明るい部分を撮像するための短時間露光と、中間明度の部分を撮像するための中時間露光と、暗い部分を撮像するための長時間露光とが行われる。
そこで、画素回路がリセットされる4つの時点tr1〜tr4と、画素データが生成される4つの時点t1〜t4とが、3種類の画像データを生成するために設定される。ただし、リセット後において画素信号が不安定で非直線な非直線期間における画素信号は使用されない。そのために、非直線期間を含む所定の時間ΔTが設定される。所定の時間ΔTは、第2の露光時間T2の10%以上であることが望ましい。
短時間露光においては、第1のリセット時点tr1から所定の時間ΔT及び第1の露光時間T1が経過した第1の時点t1における信号レベルA1の画素信号が、画素データに変換される。
中時間露光においては、第2のリセット時点tr2から所定の時間ΔT及び第2の露光時間T2が経過した第2の時点t2における信号レベルB2の画素信号が、画素データに変換される。ここで、第2の露光時間T2は、第1の露光時間T1よりも長い。
長時間露光においては、第3のリセット時点tr3から所定の時間ΔT及び第3の露光時間T3が経過した第3の時点t3における信号レベルC3の画素信号が、画素データに変換される。ここで、第3の露光時間T3は、第2の露光時間T2よりも長い。
さらに、第4のリセット時点tr4から所定の時間ΔTが経過した第4の時点t4における信号レベルD4の画素信号が、画素データに変換される。図9に示す画像データ生成部20は、複数の画素回路18aの各々について、第1の時点t1において生成された画素データと、第4の時点t4において生成された画素データとの差分を求めて、第1の画像データAを生成する。
また、画像データ生成部20は、複数の画素回路18aの各々について、第2の時点t2において生成された画素データと、第4の時点t4において生成された画素データとの差分を求めて、第2の画像データBを生成し、第3の時点t3において生成された画素データと、第4の時点t4において生成された画素データとの差分を求めて、第3の画像データCを生成する。
以上においては、3種類の露光時間に対応する撮像を行った後にノイズレベルの画素信号を読み出す例について説明したが、ノイズレベルの画素信号を読み出した後に3種類の露光時間に対応する撮像を行っても良い。あるいは、ノイズレベルの画素信号を読み出した後に、3種類の露光時間に対応する撮像を行い、さらに、ノイズレベルの画素信号を読み出しても良い。その場合には、3種類の露光時間に対応する撮像を行うために、複数の画素回路の各々が5回リセットされる。
例えば、画像データ生成部20は、第1のリセットから第1の所定の時間が経過した時点において生成された画素データと、第2のリセットから第1の所定の時間及び第1の露光時間T1が経過した第1の時点において生成された画素データとの差分を求めて第1の画像データを生成する。なお、明るい部分を撮像する場合には、画素回路に蓄積された電荷量と画素信号の信号レベルとの関係が非線形の特性となる期間を露光時間に含めても非線形の影響は小さいので、第1の所定の時間は、画素回路がリセットされてから、蓄積された電荷が放出された直後までの時間であっても良い。
また、画像データ生成部20は、第3のリセットから第2の所定の時間及び第2の露光時間T2が経過した第2の時点において生成された画素データと、第5のリセットから第2の所定の時間が経過した時点において生成された画素データとの差分を求めて第2の画像データを生成する。ここで、第2の所定の時間は、非直線期間を含む。
さらに、画像データ生成部20は、第4のリセットから第2の所定の時間及び第3の露光時間T3が経過した第3の時点において生成された画素データと、第5のリセットから第2の所定の時間が経過した時点において生成された画素データとの差分を求めて第3の画像データを生成する。
次に、本発明の第2の実施形態に係る撮像方法について、図9及び図11を参照しながら説明する。図11は、図9に示す撮像装置において行われる撮像方法の例を示すフローチャートである。この例においては、2種類の露光時間に対応する2種類の画像データが生成される。
図11に示すステップS21において、行デコーダー11が、露光量に応じた信号レベルを有する複数の画素信号を破壊読み出しによってそれぞれ出力する複数の画素回路18aが2次元マトリックス状に配列された光電変換部18において、複数行の画素回路を順次リセットする。
ステップS22において、行デコーダー11が、複数行の画素回路を順次選択し、ADC15が、選択された行の複数の画素回路から出力される画素信号をA/D変換して画素データを生成することにより、複数の画素回路18aの各々について読み出しを行う。
ステップS23において、ステップS21及びステップS22が、所定の回数繰り返される。次に、ステップS24において、画像データ生成部20が、複数の画素回路18aの各々について、リセットから第1の所定の時間及び第1の露光時間が経過した第1の時点において生成された画素データと、リセットから第1の所定の時間が経過した時点において生成された画素データとの差分を求めて、第1の画像データを生成する。ここで、第1の所定の時間は、非直線期間を含んでも良いし、画素回路がリセットされてから、蓄積された電荷が放出された直後までの時間であっても良い。
ステップS25において、画像データ生成部20が、複数の画素回路18aの各々について、リセットから第2の所定の時間及び第1の露光時間よりも長い第2の露光時間が経過した第2の時点において生成された画素データと、リセットから第2の所定の時間が経過した時点において生成された画素データとの差分を求めて、第2の画像データを生成する。ここで、第2の所定の時間は、非直線期間を含む。
本発明の第2の実施形態によれば、画素信号を破壊読み出しによって出力する光電変換部を使用する場合に、画素回路のリセット後に、画素回路に蓄積された電荷量と画素信号の信号レベルとの関係が不安定で非線形の特性となる期間があっても、非線形期間を含むように所定の時間を設定することにより、リセット後の不安定で非直線な画素信号の部分が使用されないので、非線形の特性を改善した画像を生成することができる。また、互いに異なる複数種類の露光時間に対応して生成された複数種類の画像データを合成することにより、白とびや黒つぶれが発生し難い画像を生成することができる。
以上の実施形態においては、1行分の画素回路から出力される画素信号をA/D変換してから列デコーダーによって順次選択する例について説明したが、1行分の画素回路から出力される画素信号を列デコーダーによって順次選択してからA/D変換するようにしても良い。本発明は、以上説明した実施形態に限定されるものではなく、当該技術分野において通常の知識を有する者によって、本発明の技術的思想内で多くの変形が可能である。
1、1a…撮像部、2…画像処理部、10、18…光電変換部、10a、18a…画素回路、11…行デコーダー、12…バッファーアンプ、13…キャパシター、14…OBクランプ回路、15…ADC、16…列デコーダー、17、19…タイミング設定部、20…画像データ生成部、21〜23…フレームメモリー、24…正規化部、25…画像信頼性評価部、26…画像合成部、27…トーンマップ処理部、Q1…NチャネルMOSトランジスター、D1…フォトダイオード、VD…ドレイン電位線、VG1、VG2…ゲート電位線、VS1、VS2…読み出し線

Claims (4)

  1. 露光量に応じた信号レベルを有する画素信号を非破壊読み出しによって出力する画素回路と、
    複数の前記画素回路が2次元マトリックス状に配列された光電変換部と、
    複数の前記画素回路を行単位でリセットすると共に、前記画素信号を出力する複数の前記画素回路を行単位で選択する行デコーダーと、
    前記画素信号をA/D変換して画素データを生成する複数のA/D変換器と、
    複数の前記画素回路の各々において、リセット後の第1の時点において生成された画素データと、前記第1の時点から第1の露光時間が経過した時点において生成された画素データとの差分を求めて第1の画像データを生成し、前記第1の時点よりも後の第2の時点において生成された画素データと、前記第2の時点から前記第1の露光時間よりも長い第2の露光時間が経過した時点において生成された画素データとの差分を求めて第2の画像データを生成する画像データ生成部と、
    を具備する撮像装置。
  2. 更に、前記画像データ生成部が、前記第1の時点よりも後の第3の時点において生成された画素データと、前記第3の時点から前記第2の露光時間よりも長い第3の露光時間が経過した時点において生成された画素データとの差分を求めて第3の画像データを生成する、請求項1に記載の撮像装置。
  3. 前記画像データ生成部によって生成された露光時間の異なる画像データを合成するダイナミックレンジ拡張部をさらに具備する、請求項1又は2に記載の撮像装置。
  4. 露光量に応じた信号レベルを有する画素信号を非破壊読み出しによって出力する画素回路と、
    複数の前記画素回路が2次元マトリックス状に配列された光電変換部と、を用い、
    複数行の画素回路を順次リセットするステップ(a)と、
    前記複数行の画素回路を順次選択し、選択された行の複数の画素回路から出力される画素信号をA/D変換して画素データを生成することにより、前記複数の画素回路の各々について複数回の読み出しを行うステップ(b)と、
    前記複数の画素回路の各々について、リセット後の第1の時点において生成された画素データと、前記第1の時点から第1の露光時間が経過した時点において生成された画素データとの差分を求めて第1の画像データを生成するステップ(c)と、
    前記複数の画素回路の各々について、前記第1の時点よりも後の第2の時点において生成された画素データと、前記第2の時点から前記第1の露光時間よりも長い第2の露光時間が経過した時点において生成された画素データとの差分を求めて第2の画像データを生成するステップ(d)と、
    を具備する撮像方法。
JP2013050102A 2013-03-13 2013-03-13 撮像装置及び方法 Expired - Fee Related JP6160139B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013050102A JP6160139B2 (ja) 2013-03-13 2013-03-13 撮像装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013050102A JP6160139B2 (ja) 2013-03-13 2013-03-13 撮像装置及び方法

Publications (2)

Publication Number Publication Date
JP2014176065A JP2014176065A (ja) 2014-09-22
JP6160139B2 true JP6160139B2 (ja) 2017-07-12

Family

ID=51696864

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013050102A Expired - Fee Related JP6160139B2 (ja) 2013-03-13 2013-03-13 撮像装置及び方法

Country Status (1)

Country Link
JP (1) JP6160139B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6815338B2 (ja) * 2018-01-10 2021-01-20 株式会社日立製作所 画像合成システムおよび画像合成方法
WO2021157261A1 (ja) * 2020-02-05 2021-08-12 パナソニックIpマネジメント株式会社 撮像装置および画像処理方法
US11706542B2 (en) * 2020-09-01 2023-07-18 Pixart Imaging Inc. Pixel circuit outputting time difference data and image data, and operating method of pixel array

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007194687A (ja) * 2006-01-17 2007-08-02 Seiko Epson Corp 撮像装置
WO2007135175A2 (en) * 2006-05-24 2007-11-29 Thomson Licensing Circuit and method for reading out and resetting pixels of an image sensor
JP5167799B2 (ja) * 2007-12-18 2013-03-21 ソニー株式会社 固体撮像装置およびカメラ
JP2009194604A (ja) * 2008-02-14 2009-08-27 Seiko Epson Corp 撮像装置及び撮像装置の駆動方法

Also Published As

Publication number Publication date
JP2014176065A (ja) 2014-09-22

Similar Documents

Publication Publication Date Title
JP4649313B2 (ja) 固体撮像装置
JP5085140B2 (ja) 固体撮像装置
US9899447B2 (en) Solid-state imaging device, method for driving the same, and imaging device
KR101464750B1 (ko) 고체 촬상 장치, 고체 촬상 장치의 신호 처리 장치 및 신호처리 방법과 촬상 장치
US7786921B2 (en) Data processing method, data processing apparatus, semiconductor device, and electronic apparatus
JP5784426B2 (ja) 撮像装置
TWI428010B (zh) 圖像信號處理裝置及圖像信號處理方法
JP2007329896A (ja) 撮像素子及び撮像装置
KR101939402B1 (ko) 고체 촬상 소자 및 구동 방법, 및 전자 기기
JP6272085B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2008263547A (ja) 撮像装置
JP6557455B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2017200140A (ja) 撮像素子、撮像装置およびその制御方法
JP5222068B2 (ja) 撮像装置
JP6160139B2 (ja) 撮像装置及び方法
JP6808564B2 (ja) 信号処理装置及び方法、撮像素子、及び撮像装置
JP2013093786A (ja) 画像処理装置及び方法、並びに電子機器
JP2018093301A (ja) 撮像素子及び撮像素子の制御方法
JP5219775B2 (ja) 撮像素子及び撮像装置
US11284017B2 (en) Image pickup device and storage medium
JP6824687B2 (ja) 固体撮像素子、撮像装置、固体撮像素子の制御方法、プログラム、および、記憶媒体
JP2017028513A (ja) 撮像装置、撮像システム及び信号処理方法
JP2013090087A (ja) 撮像素子、その駆動方法および制御プログラム
JP2021153291A (ja) 撮像装置、コンピュータプログラム及び記憶媒体
JP2012235534A (ja) 撮像装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150109

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160205

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160610

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20160624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170529

R150 Certificate of patent or registration of utility model

Ref document number: 6160139

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees