JP4154157B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP4154157B2 JP4154157B2 JP2002048433A JP2002048433A JP4154157B2 JP 4154157 B2 JP4154157 B2 JP 4154157B2 JP 2002048433 A JP2002048433 A JP 2002048433A JP 2002048433 A JP2002048433 A JP 2002048433A JP 4154157 B2 JP4154157 B2 JP 4154157B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- luminance
- speed
- shutter
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
Description
【０００１】
【発明の属する技術分野】
本発明は撮像装置に係り、特に広範囲な輝度を持つ被写体の撮像を可能にし、撮像された画像信号の処理を行い得るようにした撮像装置に関する。
【０００２】
【従来の技術】
従来ＣＣＤセンサの撮像素子を用いたカメラでは、電荷の蓄積容量の限界と、その特性の関係からカメラの入射光量をある範囲内に抑えるようにして撮影していた。従って、屋外等での撮影時には被写体の輝度範囲を撮像可能とするダイナミックレンジが得られず、撮像画像に問題があった。このため、撮像素子などの電子シャッタ機能を用いて、高速シャッタと低速シャッタのように異なったシャッタ時間、すなわち２つの異なる露光時間で撮像し、この画像信号を信号処理することで、広ダイナミックレンジ拡大幅を図っていた。
【０００３】
従来の広ダイナミックレンジカメラ１の動作原理を図２２を用いて説明する。図２２は、従来の広ダイナミックレンジカメラ１における画像信号処理の説明図であり、図２２（Ａ）は、ＣＣＤセンサ（撮像素子）の信号出力、図２２（Ｂ）は、高ダイナミックレンジカメラ画像の信号出力である。
【０００４】
図２２において、Ａフィールドを低速シャッタ画像、Ｂフィールドを高速シャッタ画像とする。ここで、低速シャッタ画像とは、例えばシャッタ速度が１／６０秒で撮像した画像、高速シャッタ画像とは、例えばシャッタ速度が１／２０００秒で撮像した画像である。これらの画像信号は、例えば、ＣＣＤセンサの撮像素子にシャッタパルスを直接与える電子シャッタを制御し、シャッタ速度、すなわち、露光時間を制御した画像信号のことである。
【０００５】
広ダイナミックレンジカメラ１は、低速シャッタで被写体の輝度の低い部分（輝度の高い部分は飽和してしまう）を撮像し、高速シャッタで被写体の輝度の高い部分（輝度の低い部分は撮像不可能）を撮像する。そして、両方の画像を合成することによって、１画面で被写体の輝度の低い部分から輝度の高い部分の撮像を可能にするものである。
【０００６】
例えば、Ａ１フィールド画像（低速シャッタ画像）とＢ０フィールド画像（高速シャッタ画像）を合成し、次に、Ａ１フィールド画像（低速シャッタ画像）とＢ１フィールド画像（高速シャッタ画像）を合成する。以降、同じ動作を繰り返し行う。この場合、低速シャッタと高速シャッタの速度と合成比率は固定である。
【０００７】
また、このシャッタ速度の比はダイナミックレンジの拡大比である。ここでは、低速シャッタ速度１／６０秒、高速シャッタ速度１／２０００秒で固定されているので、この広ダイナミックレンジカメラ１は、約３３倍の拡大率を持っているということになる。尚、広ダイナミックレンジカメラ１に入射光量を自動調節するオートアイリスレンズ等を搭載してもダイナミックレンジは拡大しない。
【０００８】
図２３に従来の広ダイナミックレンジカメラ１のブロック図を示す。この広ダイナミックレンジカメラ１は、被写体像から、ＣＣＤセンサ等の光電素子を用いた撮像素子２で画像信号を得る。得られた画像信号はＡ／Ｄ変換器３で、アナログ信号からデジタル信号に変換（以下、Ａ／Ｄ変換とする）され、デジタル信号処理手段４に送られる。
【０００９】
デジタル信号処理手段４は、フレームメモリ６，７と、合成処理回路８と、プロセス回路９とを備える。デジタル信号処理手段４に送られた画像信号は、まず、フレームメモリ６，７に入力され、書き込まれる。フレームメモリ６，７から読み出された画像信号は、合成処理回路８に送られ、プロセス回路９で処理された後、画像信号出力端子１０から出力される。
【００１０】
一方、広ダイナミックレンジカメラ１は広ダイナミックレンジカメラ１に具備される制御部１１でデジタル信号処理手段４と撮像素子２の制御を行っている。この制御部１１は、ＣＰＵ（中央演算処理装置）１３と露光制御部１４とを備え、ＣＰＵ１３でデジタル信号処理手段４からの測光データの演算処理を行う。演算処理された結果は、ＣＰＵ１３からデジタル信号処理手段４と露光制御部１４へ送られ、それぞれ制御信号が生成され、デジタル信号処理手段４と撮像素子２の制御がなされる。
【００１１】
このような広ダイナミックレンジカメラ１は、例えば、特願昭６１−２５５９８４号公報、特開平５−２２６６９号公報、特開平６−４６３２５号公報、および、特開平７−５８９９７号公報に示されている。
【００１２】
【発明が解決しようとする課題】
しかしながら、従来の広ダイナミックレンジカメラ１では、異なる電子シャッタ時間の画像を数回撮像し合成していたため、静止画では有効であったが、監視カメラや車載カメラのように動きのある被写体を撮像する装置には不向きであった。また、画像信号処理時間が長くかかるため、動きのある被写体を撮像する場合、被写体の動きの速さによっては画像信号処理および当該画像信号処理に関わる信号（例えば、制御部１１から制御信号）が追従できない場合があった。
【００１３】
特に、移動体の制御目的等で、従来の広ダイナミックレンジカメラ１を移動体に設置して適用した場合、当該移動体に設置された広ダイナミックレンジカメラ１で撮像した画像に基づいて制御を行っても、要求される制御動作が間に合わないという問題があった。
【００１４】
本発明は、上述した事情を考慮してなされたもので、被写体が刻一刻と変化する移動体からの撮像を行うのに有効な撮像装置を提供することにある。
【００１５】
【課題を解決するための手段】
本発明に係る撮像装置は、上述した課題を解決するために、請求項１に記載したように、第１の露光時間で撮像した第１の画像および前記第１の露光時間よりも短い第２の露光時間で撮像した第２の画像を交互に得るＣＭＯＳセンサと、前記ＣＭＯＳセンサから出力する前記第１の画像および前記第２の画像の垂直方向範囲を選択する垂直位置選択回路と、前記ＣＭＯＳセンサから出力する前記第１の画像および前記第２の画像の水平方向範囲を選択する水平位置選択回路と、前記ＣＭＯＳセンサから出力された前記第１の画像および前記第２の画像の選択された範囲をそれぞれ複数のエリアに分割し、それぞれのエリアの輝度情報を検出する輝度情報検出処理手段と、前記ＣＭＯＳセンサの前記第１の露光時間および第２の露光時間をそれぞれ調整する制御手段と、前記ＣＭＯＳセンサから出力された前記第１の画像および第２の画像の選択された範囲について、それぞれ特性変換処理を行う特性変換処理手段と、前記特性変換処理手段から得られる特性変換処理後の前記第１の画像および第２の画像の選択された範囲を加算する合成手段とを具備し、前記制御手段は、前記第１の画像の複数のエリアの輝度情報から前記第１の露光時間を決定するとともに、前記第２の画像の複数のエリアの輝度情報から前記第２の露光時間を前記第１の露光時間の決定とは独立に決定することを特徴とする。
【００１６】
上述した課題を解決するために、本発明に係る撮像装置は、請求項２に記載したように、前記輝度情報検出処理手段は、前記第１の画像および前記第２の画像について分割したエリア単位に輝度を積算し、前記分割したエリア毎の輝度の平均値を検出するように構成されることを特徴とする。
【００１７】
また、上述した課題を解決するために、本発明に係る撮像装置は、請求項３に記載したように、前記輝度情報検出処理手段は、前記第１の画像および前記第２の画像について分割したエリアの輝度ピーク値を前記分割したエリア毎に検出するように構成されることを特徴とする。
【００１８】
さらに、上述した課題を解決するために、本発明に係る撮像装置は、請求項４に記載したように、前記制御手段は、前記第１の画像の複数のエリアの輝度情報から前記第１の露光時間を決定する際、前記第１の画像の複数のエリアのうち輝度不飽和状態にあるエリアの輝度情報に基づいて第１の露光時間を決定するように構成されることを特徴とする。
【００１９】
さらにまた、上述した課題を解決するために、本発明に係る撮像装置は、請求項５に記載したように、前記制御手段は、前記第２の画像の複数のエリアの輝度情報から前記第２の露光時間を決定する際、前記第２の画像の複数のエリアのうち輝度飽和状態にあるエリアの輝度情報に基づいて第２の露光時間を決定するように構成されることを特徴とする。
【００２０】
一方、上述した課題を解決するために、本発明に係る撮像装置は、請求項６に記載したように、前記制御手段は、前記第１の画像の複数のエリアの輝度情報から前記第１の露光時間を決定する際、前記第１の画像の複数のエリアのうち輝度不飽和状態にあるエリアの輝度情報に基づいて第１の露光時間を決定する一方、前記第２の画像の複数のエリアの輝度情報から前記第２の露光時間を決定する際、前記第２の画像の複数のエリアのうち輝度飽和状態にあるエリアの輝度情報に基づいて第２の露光時間を決定するように構成されることを特徴とする。
【００２１】
また、上述した課題を解決するために、本発明に係る撮像装置は、請求項７に記載したように、前記制御手段は、前記第１の画像を分割して得られる複数のエリアのうち所定の閾値以下の輝度を持つエリアの輝度情報に基づいて第１の露光時間を決定するように構成されることを特徴とする。
【００２２】
さらに、上述した課題を解決するために、本発明に係る撮像装置は、請求項８に記載したように、前記制御手段は、前記第２の画像を分割して得られる複数の分割したエリアのうち所定の閾値以上の輝度を持つエリアの輝度情報に基づいて第２の露光時間を決定するように構成されることを特徴とする。
【００２３】
他方、上述した課題を解決するために、本発明に係る撮像装置は、請求項９に記載したように、前記制御手段は、前記第１の画像を分割して得られる複数のエリアのうち所定の閾値以下の輝度を持つエリアの輝度情報に基づいて第１の露光時間を決定する一方、前記第２の画像を分割して得られる複数の分割したエリアのうち所定の閾値以上の輝度を持つエリアの輝度情報に基づいて第２の露光時間を決定するように構成されることを特徴とする。
【００２４】
また、上述した課題を解決するために、本発明に係る撮像装置は、請求項１０に記載したように、前記制御手段は、前記第１の露光時間および前記第２の露光時間を決める電子シャッタの最終発生タイミングをタイミングジェネレータの１ＣＬＯＣＫ単位での時間的移動を行うように構成されることを特徴とする。
【００２５】
さらに、上述した課題を解決するために、本発明に係る撮像装置は、請求項１１に記載したように、前記輝度情報検出処理手段は、前記第１の画像を分割して得られる複数のエリアおよび前記第２の画像を分割して得られる複数のエリアのうち所定のエリアを選択抽出するエリア選択抽出手段を備えることを特徴とする。
【００２６】
また、上述した課題を解決するために、本発明に係る撮像装置は、請求項１２に記載したように、前記撮像手段は、移動体に設置されることを特徴とする。
【００２７】
さらに、上述した課題を解決するために、本発明に係る撮像装置は、請求項１３に記載したように、前記移動体の周囲に存在する障害物を検知する際に、前記合成画像を用いることを特徴とする。
【００２８】
さらにまた、上述した課題を解決するために、本発明に係る撮像装置は、請求項１４に記載したように、前記移動体は、自動二輪車、自動車および列車等の移動車両、航空機、および、船舶のいずれかであることを特徴とする。
【００２９】
このような撮像装置は、被写体が刻一刻と変化する移動体からの撮像を行う場合にも有効である。
【００３０】
【発明の実施の形態】
以下、本発明に係る撮像装置の実施形態を添付図面を参照して説明する。
【００３１】
［第１実施形態］
図１に本発明に係る撮像装置２０の第１実施形態を示す回路ブロック図の一例を示す。
【００３２】
図１に示される撮像装置２０は撮像手段２１と、画像信号処理手段としてのアナログ信号処理手段２２およびデジタル信号処理手段２３と、制御手段２４と、画像信号出力手段としての画像信号出力端子２５とを具備する。
【００３３】
撮像装置２０は被写体像を撮像手段２１で撮像し、画像信号（アナログ信号）を生成する。生成されたアナログ画像信号はアナログ信号処理手段２２でアナログ信号からデジタル信号に変換（以下、Ａ／Ｄ変換とする）後、デジタル画像信号として出力される。このデジタル画像信号は、２つに分岐し、一方がデジタル信号処理手段２３に入力され、信号処理される。信号処理後のデジタル画像信号はデジタル信号からアナログ信号に変換（以下、Ｄ／Ａ変換とする）後、画像信号出力端子２５から出力される。
【００３４】
また、アナログ信号処理手段２２から出力された画像信号の他方は、制御手段２４に入力される。制御手段２４は制御信号を生成し、撮像手段２１、アナログ信号処理手段２２およびデジタル信号処理手段２３の制御を行う。制御手段２４がこれら各部を制御することにより、撮像装置２０は広範囲な輝度差を有する被写体に対しても常に最適なシャッタ速度で撮像することが可能となる。
【００３５】
図１に示される撮像装置２０の各部について説明する。
【００３６】
撮像手段２１は被写体像を示す画像光を撮像する撮像レンズ２７と、例えば、撮像素子としてのＣＭＯＳセンサ２８とを備える。
【００３７】
撮像手段２１は被写体像を示す画像光を撮像レンズ２７で撮像し、ＣＭＯＳセンサ２８の受光面に結像する。結像された画像光は、ＣＭＯＳセンサ２８の露光時間、つまり、電子シャッタ速度を調節することで、ＣＭＯＳセンサ２８に露光される光量の調節がなされる。ＣＭＯＳセンサ２８は光電変換を行い、画像光量に応じた量の電荷をＣＭＯＳセンサ２８に蓄積する。この蓄積された蓄積電荷の電荷量に応じた画像信号がＣＭＯＳセンサ２８から出力される。
【００３８】
また、被写体を撮像する際、撮像手段２１に備えられるＣＭＯＳセンサ２８の電子シャッタは、異なる２つのシャッタ速度での撮像を交互に繰り返す。２つのシャッタ速度のうち、遅い側のシャッタ速度（以下、低速シャッタ速度とする）と、速い側のシャッタ速度（以下、高速シャッタ速度とする）とで撮像される。ＣＭＯＳセンサ２８から交互に出力される画像信号は、撮像手段２１から出力され、アナログ信号処理手段２２に入力される。
【００３９】
アナログ信号処理手段２２は交互に入力されたアナログ画像信号の利得調整を行う自動利得制御回路（以下、ＡＧＣ回路とする）３１と、Ａ／Ｄ変換を行うＡ／Ｄ変換回路３２とを備える。アナログ信号処理手段２２に入力されたアナログ画像信号は、ＡＧＣ回路３１と、Ａ／Ｄ変換回路３２とに順次伝送され、信号処理される。ＡＧＣ回路３１は行利得調整を制御手段２４からの制御信号により、アナログ画像信号毎に利得を可変させて調整することができる。
【００４０】
Ａ／Ｄ変換回路３２はアナログ画像信号のＡ／Ｄ変換を行う。変換後の画像信号、すなわち、デジタル画像信号は、アナログ信号処理手段２２から交互に出力され、デジタル信号処理手段２３に交互に入力される。
【００４１】
デジタル信号処理手段２３は、画像信号処理実行手段３３と、画像信号合成手段としての加算回路３４と、合成された画像信号のＤ／Ａ変換を行うＤ／Ａ変換回路３５とを備える。
【００４２】
画像信号処理実行手段３３は、低速シャッタで撮像されたデジタル画像信号を信号処理する低速シャッタ用信号処理手段３７と、高速シャッタ速度で撮像されたデジタル画像信号を処理する高速シャッタ用信号処理手段３８とを備える。そして、低速シャッタ用信号処理手段３７および高速シャッタ用信号処理手段３８は、各々、メモリ回路と、切換回路と、特性変換回路とを有する。すなわち、低速シャッタ用信号処理手段３７は、低速シャッタ用メモリ回路３９と、低速シャッタ用切換回路４０と、低速シャッタ用特性変換回路４１とを有し、一方、高速シャッタ用信号処理手段３８は、高速シャッタ用メモリ回路４３と、高速シャッタ用切換回路４４と、高速シャッタ用特性変換回路４５とを有する。
【００４３】
画像信号処理実行手段３３で行われる画像信号処理について、図２および図３を参照して説明する。
【００４４】
図２は、撮像装置２０の動作について時系列を合わせて、詳細に説明した動作説明図である。
【００４５】
図２（Ａ）は、垂直同期信号であり、撮像装置２０は、この周期に同期して動作する。ＣＭＯＳセンサ２８で撮像し、画像信号を出力する期間（１垂直同期期間）は、２Ａ０１が低速シャッタ側の画像信号出力期間（以下、低速シャッタ期間とする）、２Ａ０２が高速シャッタ側の画像信号出力期間（以下、高速シャッタ期間とする）、２Ａ０３が低速シャッタ期間、２Ａ０４が高速シャッタ期間、２Ａ０５が低速シャッタ期間である。
【００４６】
図２（Ｂ）にＣＭＯＳセンサ２８の電子シャッタ動作を示す。ＣＭＯＳセンサ２８の電子シャッタ動作は、ＣＭＯＳセンサ２８の電荷蓄積と読出し時間の関係で１垂直期間の遅れを生じる。従って、図２（Ａ）のような垂直同期信号に対して、電子シャッタ動作は、２Ｂ０１は高速シャッタ動作期間、２Ｂ０２は低速シャッタ動作期間となり、以下同様に高速シャッタ動作期間、低速シャッタ動作期間の繰り返しで、２Ｂ０３、２Ｂ０４、２Ｂ０５の動作期間となる。
【００４７】
図２（Ｃ）にＡＧＣ回路３１の動作を示す。ＡＧＣ回路３１は、低速シャッタ動作期間と、高速シャッタ動作期間とで、独立で動作する。２Ｃ０１が低速シャッタ用動作期間、２Ｃ０２が高速シャッタ用動作期間となり、以下同様な繰り返しで、２Ｃ０３、２Ｃ０４、２Ｃ０５の動作期間となる。
【００４８】
図２（Ｄ）はＣＭＯＳセンサ２８から出力される画像信号で、２Ｄ０１が低速シャッタ画像信号、２Ｄ０２が高速シャッタ画像信号となり、以下同様な繰り返しで、２Ｄ０３、２Ｄ０４、２Ｄ０５となる。
【００４９】
図２（Ｄ）のＣＭＯＳセンサ２８から出力される低速シャッタ画像信号および高速シャッタ画像信号の出力特性について、図３を用いて補足する。
【００５０】
図３は、ＣＭＯＳセンサ２８の撮像特性を示した説明図であり、低速シャッタと高速シャッタの入射光量に対する画像信号の出力レベルを示している。図３において、低速シャッタによる画像信号の出力特性は３ａであり、低速シャッタ出力の飽和点は３ｂである。一方、高速シャッタの画像出力特性は３ｃであり、高速シャッタ出力の飽和点は３ｄである。図３によれば、低速シャッタ画像信号は飽和に達する入射光量が少なく、飽和に達するのが早い。逆に、高速シャッタ画像信号は飽和に達する入射光量が多く、飽和に達するのが遅い。このことから、図２（Ｄ）の画像出力信号の特性において、２Ｄ０１（低速シャッタ画像信号）では、１垂直同期期間内に飽和して、出力が頭打ちとなっている。一方、２Ｄ０２（高速シャッタ画像信号）では、１垂直同期期間内に飽和がなく、緩やかに出力が増加している。
【００５１】
図２（Ｅ）〜図２（Ｊ）は、動作説明をわかりやすくするために示した説明図である。
【００５２】
図２（Ｅ）は、図２（Ｄ）と同意であり、いずれも図１に示されるアナログ信号処理手段２２のＡ／Ｄ変換回路３２からの出力である。
【００５３】
図２（Ｅ）において、２Ｅ０１が低速シャッタ画像信号、２Ｅ０２が高速シャッタ画像信号で、以下、同様の繰り返しで、２Ｅ０３、２Ｅ０４、２Ｅ０５と画像信号が出力される。図２（Ｅ）によれば、低速シャッタ画像信号および高速シャッタ画像信号は両者とも間欠信号である。例えば、低速シャッタ画像信号に着目すれば、低速シャッタ画像信号は２Ｅ０１、２Ｅ０３および２Ｅ０５とで形成される間欠信号である。
【００５４】
尚、図２（Ｅ）中では低速シャッタ画像信号および高速シャッタ画像信号を低速シャッタ信号および高速シャッタ信号と簡略化してある。以降、図２（Ｅ）以外の他図においても同様に簡略化する。
【００５５】
図１に示されるアナログ信号処理手段２２のＡ／Ｄ変換回路３２から出力された低速シャッタ画像信号は、一方が、低速シャッタ用メモリ回路３９を経由して、低速シャッタ用切換回路４０に入力され、他方は、低速シャッタ用切換回路４０に直接入力される。低速シャッタ用切換回路４０は、画像信号を１垂直期間毎に低速シャッタ用メモリ回路３９側からの入力と、アナログ信号処理手段２２のＡ／Ｄ変換回路３２側からの入力とを切り換えることで、間欠信号を連続信号にする。
【００５６】
図２（Ｆ）は、連続信号となった低速シャッタ画像信号を示す。尚、図２（Ｆ）で符号Ｍがついている信号は、低速シャッタ用メモリ回路３９から入力された画像信号を示す。この図２（Ｆ）は、図２（Ｅ）において、間欠となっている２Ｅ０２および２Ｅ０４の期間に低速シャッタ用メモリ回路３９側からの入力に切り換え、低速シャッタ用メモリ回路３９のメモリに蓄積された低速シャッタ画像信号を入力することで生成される。
【００５７】
一方、高速シャッタ画像信号については図２（Ｇ）に示す。高速シャッタ画像信号においても連続信号とするプロセスは低速シャッタ画像信号の場合と同様のため、高速シャッタ画像信号については、その説明を省略する。
【００５８】
図１に示される低速シャッタ用切換回路４０および高速シャッタ用切換回路４４で連続信号となった低速シャッタ画像信号および高速シャッタ画像信号は、低速用特性変換回路４１および高速用特性変換回路４５において、例えば、ガンマ特性を得る特性変換がなされる。特性変換後の低速シャッタ画像信号および高速シャッタ画像信号は、それぞれ、図２（Ｈ）および図２（Ｉ）に対応する。
【００５９】
図１に示される画像信号合成手段としての加算回路３４は、画像信号処理実行手段３３に備えられる低速用特性変換回路４１および高速用特性変換回路４５において特性変換された低速シャッタ画像信号および高速シャッタ画像信号を加算し、１つの合成デジタル画像信号を得る。
【００６０】
図２（Ｊ）および図２（Ｋ）は、特性変換後の低速シャッタ画像信号および高速シャッタ画像信号を加算することを示す説明図である。図２（Ｋ）は、図２（Ｊ）をアナログ的に示したものであり、図２（Ｋ）および図２（Ｊ）両図は同意である。また、図４は、得られた合成画像信号の出力特性を示す。図４の合成画像信号の出力特性は、図３における低速シャッタ画像信号特性３ａと、高速シャッタ画像信号特性３ｃとを合成した特性となる。従って、図２（Ｋ）は、２Ｋ０１〜２Ｋ０５の期間の各期間において、図４に示される画像信号出力特性と同様の合成画像信号出力（デジタル信号）が得られる。
【００６１】
図１に示されるＤ／Ａ変換回路３５は、加算回路３４において合成された画像信号のＤ／Ａ変換を行い、アナログ画像信号を出力する。Ｄ／Ａ変換回路３５で出力されたアナログ画像信号は、画像信号出力手段に伝送され、画像信号出力手段としての画像信号出力端子２５より撮像装置２０の出力として出力される。
【００６２】
制御手段２４は、画像信号情報取得手段４７と、制御信号生成手段としてのマイクロコンピュータ回路（以下、マイコン回路とする）４８と、電子シャッタ回路４９とを備える。
【００６３】
制御手段２４は、画像信号情報取得手段４７で低速シャッタ画像信号および高速シャッタ画像信号から画像信号情報を取得し、取得した画像信号情報に基づき、撮像装置２０を制御する制御信号をマイコン回路４８で生成する。マイコン回路４８で生成された制御信号のうち、撮像手段２１を制御する制御信号は電子シャッタ回路４９に入力され、撮像手段２１に備えられるＣＭＯＳセンサ２８の電子シャッタを制御する制御信号を出力する。
【００６４】
画像信号情報取得手段４７は、まず、画像信号情報を取得するために、撮像した１画面分の画像信号を分割する。画像信号情報取得手段４７は、分割した画像信号個々に対して、画像信号情報である輝度を積算する分割画像輝度積算手段としての輝度積算値回路５０と、輝度のピーク値を検出する分割画像輝度ピーク値検出手段としての輝度ピーク値検出回路５１と、撮像した１画面分の画像信号を分割するゲート波形発生回路５２とを備える。
【００６５】
画像信号情報取得手段４７は、まず、画像信号情報として、分割画像輝度積算値および分割画像輝度ピーク値を算出するために、撮像により得た１画面分の画像信号を分割する。
【００６６】
図５は１画面分の画像信号を分割し、画面分割した様子を示す説明図である。図５によれば、撮像した全体画面５３において、この１画面分の画像信号を、例えば、２５分割等、複数のエリアに分割し、２５個の分割画面５４の画像信号の集合とする。この画面分割は、画像信号情報取得手段４７に備えられるゲート信号発生回路５２で生成したゲート信号を用いて実行される。
【００６７】
ゲート波形発生回路５２は、水平同期パルス（以下、ＨＤパルスとする）、垂直同期パルス（以下、ＶＤパルスとする）、クロックパルス（以下、ＣＬＫパルスとする）を用いてゲート信号を生成する。このゲート信号は輝度を積算する積算値回路５０と、輝度のピーク値を検出する輝度ピーク値検出回路５１とに伝送され、撮像した全体画面５３の１画面分の画像信号を２５個の分割画面５４に分割する。
【００６８】
図６は画像信号情報取得手段４７に備えられる分割画像輝度積算手段としての輝度積算値回路５０のブロック図である。
【００６９】
図６に示される輝度積算値回路５０は、分割画面５４の１画面分の画像信号毎に輝度積算値を算出する。輝度積算値回路５０は、アナログ信号処理手段２２から出力された画像信号およびゲート波形発生回路５２で発生したゲート信号をゲート回路５８に入力し、設定された分割画面５４の画面範囲の画像信号をゲートする。ゲートされた画像信号は、積算処理部５９で輝度の積算が実行され、積算出力制御回路６０で図１に示されるマイコン回路４８からの制御信号により、輝度積算値が出力される。出力された輝度積算値はマイコン回路４８に入力される。
【００７０】
積算処理部５９で実行される輝度積算は、ゲートされた画像信号内の各画素に対して行われ、積算処理部５９が備える積算回路６２および１画素保持回路６３でなされる。積算回路６２は入力された１画素分の画像信号の輝度値と既に積算処理が完了した画素分の画像信号の輝度値とを加算し、加算した輝度値を１画素保持回路６３に入力する。１画素保持回路６３は入力された輝度値を記憶し、記憶した輝度値を積算回路６２にフィードバックし、積算回路６２に入力された画像信号の輝度値との加算を繰り返し、ゲートされた画像信号の輝度の積算値を算出する。算出された輝度の積算値は、図１に示されるマイコン回路４８からの出力制御信号により、積算出力制御回路６０で１画素保持回路６３からの出力を受け付ける。受け付けられた輝度の積算値は、積算出力制御回路６０から出力され、マイコン回路４８に伝送される。
【００７１】
一方、図７は画像信号情報取得手段４７に備えられる分割画像輝度ピーク値検出手段としての輝度ピーク値検出回路５１のブロック図である。
【００７２】
図７に示される輝度ピーク値検出回路５１は、分割画面５４の１画面分の画像信号毎の輝度値のピーク値を検出する輝度ピーク値検出回路５１は、分割画面５４の１画面分の画像信号毎の輝度のピーク値を検出する。輝度ピーク値検出回路５１は、輝度積算値回路５０と同様にして、アナログ信号処理手段２２から出力された画像信号およびゲート波形発生回路５２で発生したゲート信号をピーク値検出用ゲート回路６４に入力し、設定された分割画面５４の画面範囲の画像信号をゲートする。ピーク値検出用ゲート回路６４はゲートした画像信号を１画素ずつ出力する。
【００７３】
ゲートした画像信号の輝度ピーク値を検出する。輝度ピーク値の検出は、連続する２画素分の輝度を加算してから行う。これは、ＣＭＯＳセンサ２８の光学色フィルタが補色モザイクの場合、信号の大きさが画素単位で変化するためである。２画素分の輝度を加算することにより、色フィルタの違いによる影響が無くなる。
【００７４】
２画素分の輝度を加算するには、入力された現信号と、ピーク値検出用１画素保持回路６５で１画素分遅らせた信号、すなわち、現信号に対して１画素前の信号とを輝度加算回路６６で加算する。加算された２画素分の輝度値は１単位としてピーク値検出処理され、２画素保持回路６７に入力される。２画素保持回路６７は、２画素保持信号発生回路６８から信号を受けて、２画素分の輝度値を１単位とした輝度値信号を生成する。
【００７５】
２画素保持回路６７から出力された現信号を含む輝度値信号は、比較回路６９に入力され、現信号に対して２画素前の信号を含む輝度値信号と比較される。比較回路６９は、２つの輝度値信号を比較し、輝度値の大きい方を選択する選択信号を生成して、切換回路７０に供給する。切換回路７０は、比較回路６９からの選択信号に基づき、現信号と、現信号に対して２画素前の信号を含む輝度値信号とのうち、輝度値の大きい一方が選択される。この選択された信号は、輝度値信号保持回路７１に入力され保持される。
【００７６】
輝度値信号保持回路７１で保持された輝度値信号は、比較回路６９にフィードバックされ、２画素保持回路６７からの輝度値信号との比較処理を繰り返す。この比較処理は、ピーク値検出用ゲート回路６４から出力される画像信号の出力が終了するまで行われる。比較処理完了後、ピーク値出力制御回路７２は、図１に示されるマイコン回路４８からの出力制御信号により、輝度値信号保持回路７１の出力すなわち、輝度ピーク値信号の出力を受け付ける。出力を受け付けられた輝度ピーク値信号は、ピーク値出力制御回路７２から出力され、マイコン回路４８に伝送される。
【００７７】
ゲート波形発生回路５２は、輝度の積算値およびピーク値検出のために画面を分割するゲート信号を生成する。ゲート波形発生回路５２のブロック図を図８に示す。図８に示されるゲート波形発生回路５２は、ゲートする範囲を設定する垂直方向設定部７４および水平方向設定部７５と、ゲート信号を生成する合成回路７６とを備える。ゲート波形発生回路５２は、入力されたＶＤパルス，ＨＤパルス，ＣＬＫパルスの３つの信号からゲートするエリアを設定したゲート信号を生成し、出力する。
【００７８】
垂直方向のゲート範囲の設定は、垂直方向設定部７４で行われる。垂直方向設定部７４に入力されたＶＤパルスは、垂直同期リセット信号発生回路７８に入力される。垂直同期リセット信号発生回路７８はリセット信号を生成し、生成されたリセット信号は、垂直方向スタート位置設定回路７９に入力される。垂直方向スタート位置設定回路７９は、ＨＤパルスをカウントし、垂直方向のスタート点を決める。垂直方向のスタート点が決まれば、このスタート点より、垂直方向幅設定回路８０で、ＨＤパルスをカウントし、垂直方向の幅を設定することができる。垂直方向幅設定回路８０で設定された垂直方向の幅は、垂直幅信号として合成回路７６に入力される。
【００７９】
一方、水平方向のゲート範囲の設定は、水平方向設定部７５で行われる。水平方向設定部７５に入力されたＨＤパルスは、水平同期リセット信号発生回路８２に入力される。水平同期リセット信号発生回路８２はリセット信号を生成し、生成されたリセット信号は、水平方向スタート位置設定回路８３に入力される。水平方向スタート位置設定回路８３は、ＣＬＫパルスをカウントし、水平方向のスタート点を決定する。水平方向のスタート点が決まれば、このスタート点より、水平方向幅設定回路８４で、ＣＬＫパルスをカウントし、水平方向の幅を決めることができる。水平方向幅設定回路８４で設定された水平方向の幅は、水平幅信号として出力され、合成回路７６に入力される。
【００８０】
垂直方向幅設定回路８０と、水平方向幅設定回路８４とから得られた垂直幅信号と、水平幅信号は、合成回路７６で合成される。この合成された信号がゲート信号となって、ゲート波形発生回路５２から出力される。
【００８１】
制御手段２４が備えるマイコン回路４８の回路ブロック図を図９に示す。
【００８２】
マイコン回路４８には、画像信号情報として、画像信号情報取得手段４７が備える輝度積算値回路５０および輝度ピーク値検出回路５１から輝度の積算値およびピーク値が入力される。入力された輝度の積算値およびピーク値は輝度平均値算出手段８６に入力され、輝度平均値が算出される。算出された輝度平均値は、制御信号生成手段８７に入力され、まず、電子シャッタ速度が計算される。次に、電子シャッタ速度の計算結果から適切な撮像画像が得られるように撮像装置２０の各部を制御する制御信号を生成する。
【００８３】
マイコン回路４８が参照するデータを視覚的に表した例を図１０に示す。この図１０を用いて、マイコン回路４８が備える輝度平均値算出手段８６の輝度平均値算出処理について説明する。
【００８４】
輝度平均値算出手段８６は、輝度積算値回路５０で、図５に示される分割画面５４毎に輝度積算された低速シャッタ画像信号の輝度積算値（以下、低速輝度積算値とする）と、輝度ピーク値検出回路５１から得られた低速シャッタ画像信号の輝度ピーク値（以下、低速輝度ピーク値）とから輝度飽和しているエリア（以下、輝度飽和エリアとする）８９と、輝度飽和していないエリア（以下、不飽和エリアとする）９０とに分けられる。
【００８５】
輝度飽和エリア８９と輝度不飽和エリア９０の分別は、まず、分割画面５４毎の低速輝度積算値から低速シャッタ画像信号の輝度平均値（以下、低速輝度平均値とする）を求める。
【００８６】
図１０（Ａ）は低速輝度積算値を示す分割画面５４の説明図である。例えば、輝度レベルが８ＢＩＴ（２８＝２５６）幅において、低速輝度平均値が２００とする。そして、低速輝度平均値２００以上のエリアを抽出する。抽出された低速輝度平均値以上のエリアは図１０（Ａ）の破線で囲まれたエリアである。
【００８７】
次に、同じ低速シャッタ画像信号から得られる輝度ピーク値が８ＢＩＴ幅の最大値となるエリアを抽出する。図１０（Ｂ）は低速輝度ピーク値を示す分割画面５４の説明図である。この図１０（Ｂ）において、抽出された低速輝度ピーク値が最大値となるエリアは図１０（Ｂ）の破線で囲まれたエリアである。
【００８８】
次に、低速輝度平均値が２００以上、かつ、低速輝度ピーク値が８ＢＩＴ幅の最大値のエリアを抽出する。図１０（Ｃ）は、低速輝度積算値を示す分割画面５４において、低速輝度積算値および低速輝度ピーク値から輝度飽和エリア８９を算出する説明図である。低速輝度平均値が２００以上、かつ、低速輝度ピーク値が８ＢＩＴ幅の最大値として抽出されたエリアは、図１０（Ａ）および図１０（Ｂ）の破線で囲まれたエリアの共通エリアであり、図１０（Ｃ）においては、破線で囲まれたエリアである。図１０（Ｃ）の破線で囲まれたエリアを輝度飽和エリア８９とし、その他のエリアを輝度不飽和エリア９０としている。輝度飽和エリア８９は、高速シャッタによる撮像対象とされる。
【００８９】
画像信号が輝度飽和エリア８９と、輝度不飽和エリア９０とに低速シャッタ画像信号が分けられた後、低速シャッタ画像信号の輝度積算値の不飽和エリアから低速輝度平均値を算出する。
【００９０】
また、高速シャッタ画像信号については、低速シャッタ画像信号と同様にして、高速シャッタ画像信号の輝度積算値の輝度飽和エリア８９から高速シャッタ画像信号の輝度平均値（以下、高速輝度平均値とする）を算出する。図１０（Ｄ）は高速シャッタ画像信号の輝度積算値の輝度飽和エリア８９から高速輝度平均値算出する説明図を示している。
【００９１】
制御信号生成手段８７はシャッタ速度およびシャッタ速度比の演算を行う演算手段としての計算処理手段９１を備える。また、この計算処理手段９１は、低速シャッタ画像信号から算出された輝度平均値（以下、低速輝度平均値とする）を処理する低速シャッタ用計算処理部９２と、高速シャッタ画像信号から算出された輝度平均値（以下、高速輝度平均値とする）を処理する低速シャッタ用計算処理部９３とを備える。低速シャッタ用計算処理部９２および高速シャッタ用計算処理部９３により、低速シャッタ画像および高速シャッタ画像に対して、各々適切な撮像画像を得るために電子シャッタ回路４９と、ＡＧＣ回路３１とを制御し、電子シャッタ速度と画像信号の利得を可変させることで、適切な撮像画像が得られる。
【００９２】
また、制御信号生成手段８７は、計算処理手段９１の他に特性変換制御信号生成手段として、画像信号の特性変換を制御する特性変換制御信号生成部９５と、画像合成比率制御信号生成手段として、２つの画像信号の画像合成比率を制御する合成比率制御信号生成部９６とを備える。
【００９３】
計算処理手段９１が備える低速シャッタ用計算処理部９２は、低速シャッタ速度制御信号生成部９８と、自動利得制御信号生成手段としての低速用ＡＧＣ回路制御信号生成部９９とを備え、低速シャッタ速度制御信号およびＡＧＣ制御信号とを生成する。
【００９４】
低速シャッタ速度制御信号生成部９８は入力された低速輝度平均値から図１に示されるＣＭＯＳセンサ２８の電子シャッタ速度を変化させる低速シャッタ制御信号を生成する。入力された低速輝度平均値が適正範囲を超えている場合は大きな幅で粗く電子シャッタ速度を変化させる（以下、粗調整とする）。また、入力された低速輝度平均値が適正範囲内の場合は小さな幅で細かく電子シャッタ速度を変化させる（以下、微調整とする）。すなわち、電子シャッタ速度は２段階に調整される。この制御結果により次第に低速輝度平均値が適正範囲の中心になるように低速シャッタ速度制御信号を生成する。生成された低速シャッタ速度制御信号は電子シャッタ回路４９に入力され、電子シャッタ回路４９の制御がなされる。
【００９５】
低速シャッタ速度制御信号生成部９８で実行される電子シャッタ速度の制御について、図１１および図１２を用いて説明する。
【００９６】
図１１は、輝度平均値算出手段８６から出力される低速輝度平均値の推移をグラフ化した一例である。このグラフにおいて、縦軸は輝度平均値算出手段８６から出力される低速輝度平均値、横軸は時間軸を表している。階段状に変化している波形は低速輝度平均値を示す波形である。
【００９７】
図１１に示す例では、低速輝度平均値の初期値Ｐｓは、適正輝度平均値レベル幅ＷＢよりも下にあるため、（現在の電子シャッタ速度）×（適正輝度平均値レベル幅ＷＢの下限値）／（低速輝度平均値）だけ電子シャッタ速度を遅くする。電子シャッタ速度を遅くしていき、低速輝度平均値が適正輝度平均値レベル幅ＷＢに入った後、適正輝度平均値レベル幅ＷＢの中心を超えるまでシャッタ速度を垂直同期期間Ｖ毎に１０％遅くしていく。そして、適正輝度平均値レベル幅ＷＢの中心を超えたところで、電子シャッタ速度の変更を止める。初期状態から電子シャッタ速度の変更が止まるまでのシャッタ速度変更期間をＴａとする。また、シャッタ速度の変更が止まり、輝度レベルの推移が安定した状態期間を適正輝度レベル状態期間Ｔｂとする。
【００９８】
低速シャッタ速度制御信号生成部９８は、一度、適正輝度レベル状態期間Ｔｂに入ると、ある一定時間Ｔｃは適正輝度レベル幅ＷＢの範囲外の値が観測されても、適正輝度レベル幅ＷＢの範囲外の値が観測され続けない限り、シャッタ速度の補正を行わない。上記一定時間Ｔｃを保護時間とする。
【００９９】
図１１を例にすれば、低速輝度平均値が変動し、ＴｄおよびＴｆの期間で適正輝度レベル幅ＷＢを超えているが、適正輝度レベル幅ＷＢを超えているＴｄおよびＴｆの期間は保護時間Ｔｃよりも短い期間であるため、シャッタ速度は変更されない。
【０１００】
低速シャッタ速度制御信号生成部９８は、図１に示されるＣＭＯＳセンサ２８の電子シャッタ速度を２段階で制御することによって、急激な被写体輝度値の変化には粗調整で、素早くシャッタ速度を変化させ、緩やかな被写体輝度値の変化には微調整で、緩やかにシャッタ速度を変化させることができる。従って、撮像装置２０は被写体輝度値の変化に対して常に自然な露出を保つことができる。また、保護時間Ｔｃを設けることによって、被写体の急激な輝度変化による低速シャッタ速度制御信号生成部９８の発振を抑止できる。
【０１０１】
一方、図１２は撮像手段２１におけるＣＭＯＳセンサ２８の電子シャッタの状態遷移図である。この状態遷移図において、定義されているＣＭＯＳセンサ２８の電子シャッタ状態は６個あり、低速シャッタ速度制御信号生成時は、常に上記６個のいずれかの状態にある。これらの状態間にある矢印は状態の遷移を示す。
【０１０２】
低速シャッタ速度制御信号生成部９８は、垂直同期期間Ｖ毎に輝度平均値算出手段８６から入力される低速輝度平均値の輝度レベルに応じて、低速シャッタ制御信号を生成する。生成された制御信号により、電子シャッタ回路４９を制御することで、電子シャッタの露出状態を現在の状態から外にむいている矢印の方向へ遷移させる。電子シャッタの露出状態は矢印の低速輝度レベル範囲と入力された低速輝度平均値の低速輝度レベル範囲とが一致する矢印の先の方向へと遷移する。垂直同期期間Ｖ毎に上記処理動作を繰り返し実行することにより、低速シャッタ速度制御信号生成が適切に行われる。
【０１０３】
図１２の状態遷移図を図１１に示される低速輝度平均値の推移を例に挙げて説明する。
【０１０４】
図１２には低速輝度平均値の状態に応じた６個の状態が定義され、図示されている。定義される６個の状態は、輝度平均値算出手段８６から入力された直後の初期状態を示す状態（以下、初期状態Ｓとする）が１個と、露出の具合を示す状態が３個と、保護時間中の露出補正待機状態が２個とに大別される。
【０１０５】
露出の具合を示す３個の状態は、露出過剰状態ＳＯと、露出不足状態ＳＬと、露出適正状態ＳＢとがある。ここでいう露出不足状態ＳＬとは、輝度レベルが適正範囲以下であり、ＣＭＯＳセンサ２８に露光する時間が適正時間よりも短い状態、すなわち、シャッタ速度が適正な撮像画像を得るには速すぎる状態を言う。また、露出適正状態ＳＢとは、輝度レベルが適正範囲であり、ＣＭＯＳセンサ２８に露光する時間が適切、すなわち、シャッタ速度が適正な状態を言う。そして、露出過剰ＳＯとは、輝度レベルが適正範囲以上であり、ＣＭＯＳセンサ２８に露光する時間が適正時間よりも長い状態、すなわち、シャッタ速度が適正な撮像画像を得るには遅すぎる状態を言う。
【０１０６】
露出補正待機状態を示す２個の状態は、第１の露出補正待機状態ＳＷＵと、第２の露出補正待機状態ＳＷＬとがある。ここでいう第１の露出補正待機状態ＳＷＵは、入力される低速輝度平均値が露出適正状態ＳＢから適正輝度平均値レベル幅ＷＢの適正範囲の上限値を超過、すなわち露出過剰となり、保護時間カウント中の露出補正待機状態である。また、第２の露出補正待機状態ＳＷＬ入力される低速輝度平均値が露出適正状態ＳＢから適正輝度平均値レベル幅ＷＢの適正範囲の下限値未満、すなわち露出不足となり、保護時間カウント中の露出補正待機状態である。
【０１０７】
状態遷移は低速シャッタ速度制御信号生成部９８に低速輝度平均値が入力されることで行われる。状態遷移のトリガとなるイベントは、入力される低速輝度平均値の輝度レベルの範囲によるものが５通りと、露出補正待機状態に関するもの１通りと、合計６通りある。これらのイベントが低速シャッタ速度制御信号生成部９８で発生した場合、電子シャッタの露出状態は遷移する。
【０１０８】
入力される低速輝度平均値の輝度レベルの範囲により発生するイベントは、適正範囲ＷＢに関するものが３つ、適正範囲ＷＢ以外の範囲（以下、適正範囲外とする）Ｗに関するものが２つに分類される。適正範囲ＷＢに関するイベントは、適正範囲ＷＢの中心値、すなわち、最適値ＰＢ入力と、適正上部範囲ＷＢＵ入力と、適正下部範囲ＷＢＬ入力との３つである。一方、適正範囲外Ｗは、輝度レベルが適正範囲上限値より大きく最大値までの範囲（以下、適正範囲超とする）ＷＵ入力と、輝度レベルが適正範囲下限値より小さく最小値までの範囲（以下、適正範囲未満）ＷＬ入力との２つである。
【０１０９】
露出補正待機状態に関するイベントは、露出補正待機状態から保護時間が経過した場合発生する保護時間経過のイベントがある。
【０１１０】
図１２において、低速シャッタ用計算処理部９２の初期状態は、初期状態Ｓである。初期状態Ｓで起こり得るイベントは、適正範囲未満ＷＬ入力と、適正下部範囲ＷＢＬ入力と、最適値ＰＢ入力と、適正上部範囲ＷＢＵ入力と、適正範囲超ＷＵ入力とがある。
【０１１１】
図１１において、輝度平均値算出手段８６から入力される低速輝度平均値（初期値）は、適正範囲未満ＷＬにあるから実行されるイベントは適正範囲未満ＷＬ入力となり、電子シャッタの露出状態が露出不足状態ＳＬに遷移する。
【０１１２】
露出不足状態ＳＬで起こり得るイベントは次の３つがある。
１：適正範囲未満ＷＬ入力の場合は、露出不足状態ＳＬのままで、状態は遷移しない。この時、電子シャッタ速度は粗調整される。
２：適正下部範囲ＷＢＬ入力の場合は、露出不足状態ＳＬのままで露出不足状態ＳＬの状態は遷移しない。この時、電子シャッタ速度は微調整される。
３：最適値ＰＢ入力の場合は、露出不足状態ＳＬから露出適正状態ＳＢに遷移させる。
【０１１３】
電子シャッタ速度変更期間Ｔａでは、イベントが適正下部範囲ＷＢＬ入力であるため、上記２項に該当するイベントが起こる。すなわち、電子シャッタ速度を微調整する。
【０１１４】
微調整を繰り返し、イベントが適正下部範囲ＷＢＬ入力から適正上部範囲ＷＢＵ入力になると、このイベントを示す矢印に従って、電子シャッタの露光状態を露出不足状態ＳＬから露出適正状態ＳＢに遷移させる。
【０１１５】
露出適正状態ＳＢで処理されるイベントは次の２つがある。
１：イベントが適正範囲超ＷＵ入力の場合、保護時間カウンタをリセットし、電子シャッタの露光状態を第１の保護時間待機状態ＳＷＵに遷移する。
２：イベントが適正範囲未満ＷＬ入力の場合、保護時間カウンタをリセットし、電子シャッタの露光状態を第２の保護時間待機状態ＳＷＬに遷移する。
【０１１６】
入力される低速輝度平均値が適正範囲超ＷＵに入ると、保護時間カウンタをリセットし、保護時間カウンタのカウントを開始する。そして、電子シャッタの露出状態を露出適正状態ＳＢから第１の保護時間待機状態ＳＷＵに遷移させる。
【０１１７】
第１の保護時間待機状態ＳＷＵで処理されるイベントは次の３つがある。
１：イベントが適正上部範囲ＷＢＵ入力の場合、保護時間カウンタをリセットし、露出適正状態ＳＢに遷移する。
２：イベントが適正下部範囲ＷＢＬ入力の場合、保護時間カウンタをリセットし、露出適正状態ＳＢに遷移する。
３：イベントが保護時間Ｔｃ経過の場合、露出過剰状態ＳＯに遷移する。
【０１１８】
図１１の適正輝度レベル状態期間Ｔｂ以降の期間において、低速輝度平均値が適正範囲超ＷＵとなる時間ｔａで、露出適正状態ＳＢから第１の保護時間待機状態ＳＷＵに遷移する。そして、低速輝度平均値が適正範囲超ＷＵとなるｔａから適正範囲ＷＢに戻る時間ｔｂまでの期間Ｔｄでは、第１の保護時間待機状態ＳＷＵを保つ。
【０１１９】
第１の保護時間待機状態ＳＷＵの状態が期間Ｔｄ（Ｔｄは保護時間Ｔｃ未満）継続後、低速シャッタ速度制御信号生成部９８に入力される低速輝度平均値が低下し、適正範囲Ｗに戻る時間ｔｂで、イベントが適正上部範囲ＷＢＵ入力となり、保護時間カウンタをリセットし、露出適正状態ＳＢに遷移する。そして、適正範囲Ｗに戻る時間ｔｂから適正範囲未満ＷＬとなる時間ｔｃまでの期間Ｔｅでは、露出適正状態ＳＢを保つ。
【０１２０】
入力される低速輝度平均値が更に低下し、低速輝度平均値が適正範囲未満ＷＬとなる時間ｔｃで、イベントが適正範囲未満ＷＬ入力となり、保護時間カウンタのリセットおよびカウントを開始し、第２の保護時間待機状態ＳＷＬに遷移する。そして、適正範囲未満ＷＬとなる時間ｔｃから適正範囲ＷＢに戻る時間ｔｄまでの期間Ｔｆでは、第２の保護時間待機状態ＳＷＬを保つ。
【０１２１】
第２の保護時間待機状態ＳＷＬの状態が期間Ｔｆ（Ｔｆは保護時間Ｔｃ未満）継続後、低速シャッタ速度制御信号生成部９８に入力される低速輝度平均値が上昇し、適正範囲Ｗに戻る時間ｔｄで、イベントが適正下部範囲ＷＢＬ入力となり、保護時間カウンタをリセットし、露出適正状態ＳＢに遷移する。そして、適正範囲ＷＢに戻る時間ｔｄから適正範囲超ＷＵとなる時間ｔｅまでの期間Ｔｇでは、露出適正状態ＳＢを保つ。
【０１２２】
入力される低速輝度平均値が更に上昇し、イベントが適正範囲超ＷＵとなる時間ｔｅで、イベントが適正範囲超ＷＵとなり、保護時間カウンタをリセットおよびカウントを開始し、状態を第１の保護時間待機状態ＳＷＵに遷移する。そして、低速輝度平均値が適正範囲超ＷＵとなる時間ｔｅから適正範囲超ＷＵのまま保護時間カウンタの設定時間、すなわち、保護時間Ｔｃが経過した時間ｔｆで、イベントが保護時間Ｔｃ経過となり、露出過剰状態ＳＯに遷移する。
【０１２３】
以降、露出過剰状態ＳＯでは、露出不足状態ＳＬと逆方向にシャッタ速度を変化させる動作となり、最終的には露出適正状態ＳＢとなる。
【０１２４】
一方、低速用ＡＧＣ回路制御信号生成部９９は図１に示されるＡＧＣ回路３１を制御するＡＧＣ制御信号を生成する。生成されたＡＧＣ制御信号はＡＧＣ回路３１へ伝送され、ＡＧＣ回路３１の制御がなされる。
【０１２５】
また、低速シャッタ用計算処理部９２は、明るさの微小な変化に応じて電子シャッタ速度を微調整する低速シャッタ微調整処理部１００を備え、低速電子シャッタ速度制御信号の制御を行う。
【０１２６】
低速シャッタ微調整処理部１００は、長周期の画面輝度変動を補償するための処理である。照明光源の輝度変動、例えば、蛍光灯フリッカの周波数と、ＣＭＯＳセンサ２８のフレーム周波数とが自然数倍で極めて近接している場合、折り返し歪による極めて長周期の画面輝度変動を生じる。この画面輝度変動を低速シャッタ微調整処理部１００で検出し、当該変動を抑圧するように処理している。
【０１２７】
図１３は、照明光源とＣＭＯＳセンサ２８のフレーム周期との関係で生じる輝度変動を測定し、グラフ化した一例である。このグラフの縦軸は低速シャッタ速度制御信号生成部９８から入力される低速輝度平均値であり、グラフの横軸はフレーム周期（時間軸）を表している。図１３によれば、ＣＭＯＳセンサ２８のフレーム周期との関係で生じる輝度変動波形は緩やかな傾きであるが、輝度変動波形の振幅は３０％程度と大きい。従って、照明光源とＣＭＯＳセンサ２８のフレーム周期との関係で生じる輝度変動によって、低速輝度平均値の輝度レベルが適正範囲外Ｗとなる場合が生じる。
【０１２８】
低速シャッタ速度制御信号生成部９８で生成された低速シャッタ速度制御信号による電子シャッタ回路４９の制御のみの場合は、低速輝度平均値が適正範囲外Ｗとなると、保護時間Ｔｃ経過後にＣＭＯＳセンサ２８の電子シャッタを制御し、図１２に示される露出適正状態ＳＢに合わせてしまう。更に露出は低速輝度平均値が上下し、各々上部と下部で電子シャッタ速度を変化させて露出適正状態ＳＢに合わせてしまう為に、画面は極めて低い周期の発振を生じてしまう。
【０１２９】
長周期の画面輝度変動に対する改善を次の方法で実行する。
【０１３０】
画面輝度変動が、例えば、１フレーム周期に±１％以内である緩やかな画面輝度変動を検出し、微少な電子シャッタ制御によって、１フレーム毎に露出適正状態ＳＢに追い込む。緩やかな画面輝度変動に対しては、保護時間Ｔｃを設けずに露出適正状態ＳＢに調節する。
【０１３１】
低速シャッタ微調整処理部１００が実行する緩やかな画面輝度変動に対する微調整処理について詳細を説明する。
【０１３２】
低速シャッタ微調整処理部１００が実行する微調整処理は、低速シャッタ用計算処理部９２が露出適正状態ＳＢと判断している場合にのみ動作を行う。微調整処理動作は、露出適正状態ＳＢ中に低速シャッタ用計算処理部９２が露出適正状態ＳＢの低速輝度平均値を記憶し、この記憶した低速輝度平均値を初期値とする。
【０１３３】
初期値に対して１フレーム周期に±１％以内の範囲で低速輝度平均値が変動した場合、（初期値）／（平均値）を求める。（初期値）／（平均値）から演算した演算結果は、低速シャッタ用計算処理部９２で露光時間のａ％となる露出補正時間Δｔが図１４に示される電子シャッタ回路４９が備える１ＣＬＯＣＫ単位シフトレジスタ１０１を何段シフトさせれば露出適正状態ＳＢとなるかを算出する。
【０１３４】
露出適正状態ＳＢとする１ＣＬＯＣＫ単位シフトレジスタ１０１のシフトレジスタ段数の算出は、マイコン回路４８自身が現在のシャッタ速度を認知している為、露光時間のａ％に対応する露出補正時間Δｔは、
【数１】
露出補正時間Δｔ（ｓｅｃ）＝現在シャッタ速度（ｓｅｃ）×ａ／１００
であり、例えば、露光時間の１％に対応する露出補正時間Δｔ１は、
【数２】
露出補正時間Δｔ１（ｓｅｃ）＝現在シャッタ速度（ｓｅｃ）×１／１００
となる。また、露出補正するための１ＣＬＯＣＫ単位シフトレジスタ１０１のシフトレジスタ段数は、
【数３】
シフトレジスタ段数
＝露出補正時間Δｔ（ｓｅｃ）＝マスターロックの１周期（ｓｅｃ）
である。
【０１３５】
算出されたシフトレジスタ段数を電子シャッタ回路４９が備える１ＣＬＯＣＫ単位シフトレジスタ１０１への制御信号とすれば、極めて微少な露光時間調整が可能となり、１フレーム周期単位で±１％の露光時間調整が実現できる。
【０１３６】
尚、低速シャッタ微調整処理部１００が実行する微調整処理はＣＣＤセンサ出力信号のＡＧＣ（自動利得制御）でも適用できる。しかし、Ｓ／Ｎ（信号対雑音比）を考慮した場合、前記方式を適用した方が増幅度アップに伴うノイズが少ない。
【０１３７】
一方、高速シャッタ用計算処理部９３も低速シャッタ用計算処理部９２と同様の機能を有する高速シャッタ速度制御信号生成部１０３と、高速用ＡＧＣ回路制御信号生成部１０４と、高速シャッタ微調整処理部１０５とを備える。高速シャッタ用計算処理部９３の処理動作は、入力される信号が高速輝度平均値である点以外は低速シャッタ用計算処理部９２と同様である。
【０１３８】
特性変換制御信号生成部９５には、低速シャッタ用計算処理部９２および高速シャッタ用計算処理部９３で生成された低速シャッタ速度制御信号および高速シャッタ速度制御信号が入力される。特性変換制御信号生成部９５は入力されたシャッタ速度制御信号から特性変換制御信号を生成する。特性変換制御信号生成部９５に低速シャッタ速度制御信号が入力された場合は、図１に示される低速シャッタ用特性変換回路４１を制御する低速特性変換制御信号が得られる。
【０１３９】
一方、高速シャッタ速度制御信号が入力された場合は、図１に示される高速シャッタ用特性変換回路４５を制御する高速特性変換制御信号が得られる。生成された低速特性変換制御信号および高速特性変換制御信号は、低速シャッタ用特性変換回路４１および高速シャッタ用特性変換回路４５に伝送される。
【０１４０】
低速特性変換制御信号および高速特性変換制御信号は、低速シャッタの画像と高速シャッタ画像を合成しダイナミックレンジ拡大画像を構築する際、合成画像の最適化を図るための制御信号である。低速特性変換制御信号および高速特性変換制御信号は、低速シャッタ用特性変換回路４１および高速シャッタ用特性変換回路４５の制御に用いる。
【０１４１】
画像合成の際に生ずる問題点として、２枚の画像を単純に加算しただけでは、拡大率が増大すると共に合成画面の階調特性に非直線歪みを生じ、コントラストのとれない画像となる問題点がある。従って、２枚の画像を加算する前にダイナミックレンジ拡大率に応じて画像信号の特性を変換し、非直線歪みを抑えてコントラスト低下の改善を図るものである。
【０１４２】
低速シャッタ用特性変換回路４１および高速シャッタ用特性変換回路４５の特性変換制御について説明する。
【０１４３】
まず、ダイナミックレンジ拡大率を以下の式より演算する。
ダイナミックレンジ拡大率＝低速シャッタ制御信号／高速シャッタ制御信号
ここで演算されるダイナミックレンジ拡大率は露出制御完了時点でのダイナミックレンジ拡大率である。
【０１４４】
このダイナミックレンジ拡大率の値は、特性変換制御信号生成部９５の演算手段としての計算処理手段９１で演算され、演算結果は、低速特性変換制御信号および高速特性変換制御信号として出力される。
【０１４５】
低速シャッタ用特性変換回路４１および高速シャッタ用特性変換回路４５は、入力Ｘ−出力Ｙの特性としてＸ１〜Ｘ０．７とｌｏｇ１０１〜１０のテーブルを持っており、ダイナミックレンジ拡大率に応じてテーブルを切り換え、画像信号に対する非直線歪みの改善を行う。以下にダイナミックレンジ拡大率に対するテーブル選択の関係を示す。
ダイナミックレンジ拡大率＜１６の場合 …… Ｘ１のテーブルを選択
１６≦ダイナミックレンジ拡大率≦６４の場合 …… Ｘ０．７のテーブルを選択
６４＜ダイナミックレンジ拡大率の場合 …… Ｘ１のテーブルを選択
【０１４６】
特性変換制御信号生成部９５は、この条件分岐の結果を低速特性変換制御信号および高速特性変換制御信号として生成し、低速シャッタ用特性変換回路４１および高速シャッタ用特性変換回路４５のテーブル切り換えを自動制御で行う。
【０１４７】
合成比率制御信号生成部９６は２つの画像信号、すなわち、低速シャッタ用画像信号および高速シャッタ用画像信号の合成比率を制御する合成比率制御信号を生成する。生成された合成比率制御信号は図１に示される画像合成手段としての加算回路３４に伝送される。
【０１４８】
合成比率制御の目的は特性変換制御と同様に低速シャッタの画像と高速シャッタ画像の合成を最適化し、合成画像のコントラストを高めるものである。画像合成の際の問題点としては、ダイナミックレンジ拡大率を大きく取っていった場合、白浮きした画像となりコントラストの劣化が大きくなる問題点がある。
【０１４９】
このコントラストの劣化の原因は、低速シャッタ画像のほとんどが飽和エリアとなり、飽和信号に高速シャッタ画像の信号が乗るためである。コントラストの劣化を改善するために、拡大率の増加と共に高速シャッタ画像の合成割合を大きくしていき、画像の白浮きを抑圧することでコントラスト低下の補正を図る。特に、合成画像のコントラストの向上には、特性変換制御と同時にこの合成比率制御を行うと効果が高い。
【０１５０】
合成比率制御信号生成部９６の動作は、特性変換制御信号生成部９５と同様にダイナミックレンジ拡大率を演算し、演算結果から低速シャッタと高速シャッタの画像合成比率を切り換えるための合成比率制御信号を生成する。この合成比率制御信号は図１に示される画像信号合成手段としての加算回路３４へ送られ、２枚の画像の合成配分、すなわち合成比率を自動制御する。
【０１５１】
ダイナミックレンジ拡大率による合成比率制御の関係は以下の通りである。
ダイナミックレンジ拡大率＝１のとき Ｌ１００％，Ｈ０％
１＜ダイナミックレンジ拡大率＜６のとき Ｌ９４％，Ｈ６％
６≦ダイナミックレンジ拡大率≦８のとき Ｌ８８％，Ｈ１２％
８＜ダイナミックレンジ拡大率のとき Ｌ７５％，Ｈ２５％
（注）Ｌ：低速シャッタ画像、Ｈ：高速シャッタ画像
但し、上記の合成比率は一例であって、必要に応じて変えても良い。
【０１５２】
電子シャッタ回路４９の回路ブロック図を図１４に示す。図１４に示される電子シャッタ回路４９は、低速シャッタパルス生成手段１０７と、高速シャッタパルス生成手段１０８と、シャッタパルス切換回路１０９とを備える。
【０１５３】
電子シャッタ回路４９には低速シャッタ速度制御信号と、ＣＬＫパルス、ＨＤパルス、ＶＤパルスおよびフィールド情報（以下、ＦＩとする）とが入力される。
【０１５４】
電子シャッタ回路４９に入力された低速シャッタ速度制御信号と、ＣＬＫパルス、ＨＤパルス、ＶＤパルスおよびＦＩは、低速シャッタパルス生成手段１０７に入力され、低速シャッタパルス生成手段１０７で低速側の電子シャッタを切るための低速シャッタパルスを生成する。また、電子シャッタ回路４９に入力された高速シャッタ速度制御信号と、ＣＬＫパルス、ＨＤパルス、ＶＤパルスおよびＦＩは、高速シャッタパルス生成手段１０８に入力され、高速シャッタパルス生成手段１０８で高速側の電子シャッタを切るための高速シャッタパルスを生成する。
【０１５５】
生成された低速シャッタパルスおよび高速シャッタパルスはシャッタパルス切換回路１０９に入力される。また、シャッタパルス切換回路１０９にはＦＩも入力され、ＦＩの情報内容に応じて低速シャッタパルスおよび高速シャッタパルスを切り換える。シャッタパルスの切り換えは、ＦＩの情報に基づき、低速シャッタ速度で撮像する場合は低速シャッタパルスを、高速シャッタ速度で撮像する場合は高速シャッタパルスを出力する。シャッタパルス切換回路１０９から出力されたシャッタパルスは撮像手段２１に入力され、撮像手段２１が備えるＣＭＯＳセンサ２８の電子シャッタを制御する。
【０１５６】
低速シャッタパルス生成手段１０７は、水平同期期間Ｈ単位のシャッタパルス生成部（以下、Ｈ周期単位のシャッタパルス生成部とする）１１０と、数十ＣＬＯＣＫ周期単位のシャッタパルス生成部１１１と、ＯＲ回路１１２と、１ＣＬＯＣＫ単位シフトレジスタ１０１とを備える。Ｈ周期単位のシャッタパルス生成部１１０で生成された水平同期期間Ｈ単位のシャッタパルスおよび数十ＣＬＯＣＫ単位のシャッタパルス生成部１１１で生成された数十ＣＬＯＣＫ単位のシャッタパルスはＯＲ回路１１２で多重され、１ＣＬＯＣＫ単位シフトレジスタ１０１に入力される。１ＣＬＯＣＫ単位シフトレジスタ１０１は、ＣＬＯＣＫ単位の露光時間の微調整を行い、シャッタパルスを１ＣＬＯＣＫ単位シフトレジスタ１０１で遅延させることにより得る。この遅延量はマイコン回路４８から入力される制御信号、すなわち、シフトレジスタ段数によって制御される。
【０１５７】
電子シャッタパルス発生タイミングおよび電子シャッタパルス時間について、図１５〜図１８を用いて説明する。
【０１５８】
図１５（Ａ）はＶＤパルス、図１５（Ｂ）は、図１５（Ａ）に示されるＶＤパルスの周期（以下、Ｖ周期とする）の時間スケールで見た電子シャッタパルスの一例を示している。
【０１５９】
電子シャッタパルス発生タイミングは、電荷読出しパルス（図外）入力の直後であり、通常のＴＶカメラと同様の発生タイミングである。すなわち、図１５で説明すれば、図１５に示される時間ｔ１および時間ｔ３で電子シャッタパルスは発生する。図１５（Ｂ）に示される電子シャッタパルスの一例では、時間ｔ１でＨＤパルスの周期（以下、Ｈ周期とする）単位の電子シャッタパルスが、時間ｔ３でＣＬＯＣＫパルスの周期の例えば、８倍等の自然数倍周期（以下、数ＣＬＫ周期とする）単位の電子シャッタパルスが発生している。
【０１６０】
また、電子シャッタパルス時間とは、電子シャッタパルスのパルス幅に対応する時間であり、被写体の画像光をＣＭＯＳセンサ２８に露光する露光時間である。電子シャッタパルス時間の調整は、ＶＤパルス、ＨＤパルスおよびＣＬＯＣＫパルスを用いてなされ、Ｖ周期単位、Ｈ周期単位および数ＣＬＫ周期単位で調整が可能である。
【０１６１】
ＨＤパルスを用いてなされる電子シャッタパルス時間の調整を説明する説明図を図１６（Ａ）および図１６（Ｂ）に、数ＣＬＫ周期の電子シャッタパルス時間の調整を説明する説明図を図１７（Ａ）および図１７（Ｂ）に示す。
【０１６２】
図１６（Ａ）および図１６（Ｂ）は、図１５（Ｂ）に示される時間ｔ１〜時間ｔ３の電子シャッタパルス発生タイミングにおいて、Ｖ周期の一部を拡大した拡大図である。図１６（Ａ）はＶ周期内のＨＤパルスを示し、図１６（Ｂ）は図１６（Ａ）に示されるＨ周期の時間スケールで見た電子シャッタパルスを示している。図１６（Ｂ）に示される電子シャッタパルスの一例では、時間ｔ１でＨ周期の電子シャッタパルスが発生する。
【０１６３】
また、図１７（Ａ）および図１７（Ｂ）は、図１５（Ｂ）に示される電子シャッタパルス発生タイミングにおける細かいパルスであり、時間ｔ３〜時間ｔ５のＶ周期において、一部を拡大した拡大図である。図１７（Ａ）はＶ周期内のＣＬＯＣＫパルス、図１７（Ｂ）は数ＣＬＫ周期の電子シャッタパルスを示している。図１７（Ｂ）に示される電子シャッタパルスの一例では、時間ｔ３で数ＣＬＫ周期の電子シャッタパルスが発生する。
【０１６４】
尚、ＨＤパルスを用いてなされる電子シャッタパルス時間の調整は、図１６（Ｂ）に示されるＨ周期の電子シャッタパルス時間に限らない。最初の電子シャッタパルスが発生した時間ｔ１から時間ｔ３までのＶ周期において、Ｈ周期単位に時間調整が可能である。一方、数ＣＬＫパルスを用いてなされる電子シャッタパルス時間の調整は、図１７（Ｂ）に示される数ＣＬＫ周期の電子シャッタパルス時間に限らない。最初の電子シャッタパルスが発生した時間ｔ３から時間ｔ５までのＶ周期において、数ＣＬＫ周期単位に時間調整が可能である。
【０１６５】
この様なＨ周期単位および数ＣＬＫ周期単位での電子シャッタパルス時間の調整手法は、通常のＣＣＤセンサカメラに適用されている調整手法である。撮像装置２０は、画像の露光時間を１ＣＬＯＣＫ周期で調整を行うことができ、電子シャッタ速度調整のみで微調整処理を行える。この微調整処理は、撮像装置２０の特徴となる点である。
【０１６６】
図１８に電子シャッタパルスをシフトさせ、１ＣＬＯＣＫ周期で露光時間の調整を行う説明図を示す。
【０１６７】
従来の撮像装置における電子シャッタパルス時間は、ＣＬＯＣＫ周期の自然数倍周期単位の調整であり、通常、ＣＬＯＣＫ周期の７，８倍程度であった。このため、電荷読出しパルスの直前で“数ＣＬＫ周期のシャッタパルス”を１パルス切ると、露光時間が５０％程度変化してしまい、露光時間のキザミが粗かった。
【０１６８】
これに対し、撮像装置２０は、低速シャッタ微調整処理部１００および高速シャッタ微調整処理部１０５で微調整処理を行い、１ＣＬＯＣＫ周期単位で電子シャッタパルスをシフトさせ、１ＣＬＯＣＫ周期単位で露光時間の調整を行うことができる。従って、電荷読出しパルスの直前に発生させたシャッタパルスの露光時間調整を数％ずつ行うことができ、露光時間を細かく調整することが可能となる。
【０１６９】
撮像装置２０は、露光時間の細かな調整が可能なため、画像信号の輝度レベルを細かく調整することができ、高輝度部分で極めて早い電子シャッタ速度で撮像を行った画像信号に対して、電子シャッタの露光時間調整のみでフリッカ補正が可能となる。すなわち、本発明のような広ダイナミックレンジを実現する撮像装置２０において、高速シャッタ画像信号のフリッカ補正が電子シャッタのみで可能となる。
【０１７０】
高速シャッタパルス生成手段１０８も低速シャッタパルス生成手段１０７と同様である。高速シャッタパルス生成手段１０８は低速シャッタパルス生成手段１０７と内部構成および動作が全く異ならないので、説明を割愛する。
【０１７１】
第１実施形態を示す撮像装置２０によれば、被写体内の輝度差に応じてカメラダイナミックレンジ拡大率を高速に可変させ、被写体輝度差に最適化した撮像画像を得ることで、被写体として極めて輝度差の大きい画像認識用車載カメラ、屋内、夜間の屋外を同時撮像する監視カメラ等として有効な撮像装置を提供できる。
【０１７２】
第１実施形態を示す撮像装置２０においては、画像信号処理手段としてのアナログ信号処理手段２２およびデジタル信号処理手段２３と、制御手段２４とは、集積化される。集積化される範囲は、種々の形態が可能である。例えば、電子シャッタ回路４９、低速シャッタ用メモリ回路３９、高速シャッタ用メモリ回路４３、低速シャッタ用切換回路４０、高速シャッタ用切換回路４４、低速用特性変換回路４１、高速用特性変換回路４５、画像信号合成手段としての加算回路３４、輝度積算値回路５０、輝度ピーク値検出回路５１、ゲート波形発生回路５２が１つの集積化半導体チップとして構築されても良い。もちろん、上記例に限らず、集積化する場合、図１に示される各構成部位の組み合せは任意である。また、加算回路３４は切換回路でも良い。
【０１７３】
尚、上記の説明では撮像素子としてＣＭＯＳセンサ２８を適用した例を説明したが、本発明は撮像素子にＣＣＤセンサ等の光電素子を用いた場合にも、同様に被写体内の輝度差に応じてカメラダイナミックレンジ拡大率を可変させ、被写体輝度差に最適化した撮像画像を得ることができる。
【０１７４】
［第２実施形態］
本発明の第２実施形態を示す撮像装置２０Ａを図１９に示す。第２実施形態を示す撮像装置２０Ａは、撮像して得られた画像信号のうち、重要度の高い画像情報エリアを選択抽出するエリア選択抽出手段１１３を備えている点以外は、図１に示される第１実施形態の撮像装置２０とほぼ同様である。従って、撮像装置２０と異なる構成部位にのみ符号を付し、全く異ならない構成部位については、同じ符号を付して、説明を省略する。
【０１７５】
図１９によれば、撮像装置２０Ａは、撮像素子にＣＭＯＳセンサ２８を有し、画像を撮像する撮像手段２１と、この撮像手段２１で撮像された１画面分の画像信号のうち、画面範囲から任意のエリアを選択抽出するエリア選択抽出手段１１３と、このエリア選択抽出手段１１３で、選択抽出されたエリアの画像信号を信号処理し、出力する画像信号出力手段１１４とを具備する。
【０１７６】
撮像装置２０Ａの撮像手段２１が備える撮像素子としてのＣＭＯＳセンサ２８で１画面分の画像信号が生成される。この１画面分の画像信号は、エリア選択抽出手段１１３からＣＭＯＳセンサ２８に入力されるエリア選択抽出信号により、１画面分の画像信号の画面範囲から任意のエリアが選択抽出される。そして、ＣＭＯＳセンサ２８は、生成された１画面分の画像信号のうち任意のエリアを選択抽出した画像信号（以下、エリア選択抽出画像信号とする）を出力する。出力されたエリア選択抽出画像信号は、画像信号出力手段１１４に入力される。
【０１７７】
画像信号出力手段１１４に入力されたエリア選択抽出画像信号は、相関二重サンプリング回路（以下、ＣＤＳ回路とする）１１６でエリア選択抽出画像信号に重畳されたノイズが除去され、Ａ／Ｄ変換回路３２でＡ／Ｄ変換され、画像信号処理回路１１７で信号処理される。画像信号処理回路１１７で信号処理されたエリア選択抽出画像信号は、画像信号出力端子２５を介して画像信号出力手段１１４から撮像装置２０Ａの画像信号出力として出力される。また、画像信号処理回路１１７で信号処理されたエリア選択抽出画像信号は、フィードバック信号として、撮像装置２０Ａが備えるエリア選択抽出手段１１３にもフィードバックされる。
【０１７８】
エリア選択抽出手段１１３にフィードバックされるフィードバック信号は、制御回路１１８に入力され、走査パルス生成回路１１９を制御する制御信号が生成される。生成された制御信号は、走査パルス生成回路１１９に入力され、走査パルスの生成が制御される。走査パルス生成回路１１９で生成された走査パルスは、撮像素子としてのＣＭＯＳセンサ２８が出力するエリア選択抽出画像信号のエリアを選択するエリア選択手段１２０に入力される。エリア選択手段１２０は、入力された走査パルスをトリガにして、エリア選択抽出情報を出力し、出力されたエリア選択抽出情報は撮像素子駆動回路１２１に入力される。
【０１７９】
また、走査パルス生成回路１１９で生成された走査パルスは、撮像素子駆動回路１２１にも直接入力される。撮像素子駆動回路１２１は、入力された走査パルスから撮像素子としてのＣＭＯＳセンサ２８を駆動させる転送パルスおよびエリア選択抽出信号を生成し、生成された転送パルスおよびエリア選択抽出信号は、ＣＭＯＳセンサ２８に入力される。
【０１８０】
撮像装置２０Ａは、撮像素子であるＣＭＯＳセンサ２８を有することで、撮像から撮像素子に蓄積された蓄積電荷、すなわち、画像信号の読出し時間の大幅な短縮を図っている。また、エリア選択抽出手段１１３を備えることで、図１９に示される撮像装置２０Ａ内の画像信号出力手段１１４における画像信号処理時間の短縮を図っている。撮像装置２０Ａは、撮像素子からの画像信号の読出し時間短縮および画像信号出力手段１１４での画像信号処理時間短縮によって、撮像から画像信号出力までの所要時間短縮を図っている。
【０１８１】
撮像装置２０Ａは、撮像から画像信号出力までの所要時間短縮により、高速制御が要求される場合、例えば、移動体が走行ルート上にある障害物を検知し、衝突しないように回避する等の制御を行う場合において、第１実施形態を示す撮像装置２０と比較するとより適した撮像装置となる。すなわち、撮像装置２０Ａは、制御情報取得の用途で移動体に設置する撮像装置として有効な撮像装置である。
【０１８２】
まず、撮像装置２０Ａの撮像素子としてのＣＭＯＳセンサ２８による画像信号の読出し時間の短縮効果について説明する。
【０１８３】
図２０（Ａ）および図２０（Ｂ）に例えば、６４０×４８０画素のＣＣＤセンサとＣＭＯＳセンサ２８で比較した場合におけるＣＣＤセンサとＣＭＯＳセンサ２８からの画像信号の読出し時間、すなわち、ＣＣＤセンサとＣＭＯＳセンサ２８に蓄積された蓄積電荷の読出し時間について示す。
【０１８４】
図２０（Ａ）に示されるＣＣＤセンサの場合は、蓄積電荷の読出しに要する時間、すなわち、転送パルス（撮像素子駆動信号）が入力され、全ての画素１２３から蓄積電荷を垂直転送部１２４に転送し、垂直転送部１２４に転送された蓄積電荷を順次読み出すまで、約１／３０ｓｅｃ要する。
【０１８５】
一方、図２０（Ｂ）に示されるＣＭＯＳセンサ２８の場合は、転送パルス（撮像素子駆動信号）が入力された直後、どの画素でも（ＣＭＯＳセンサでは転送パルスは１つでなく各画素（素子）でタイミングが異なるため）蓄積電荷をほとんど瞬時（約３０ｎｓｅｃ）に画像信号読出しライン１２５から読み出すことができる。このことから、撮像素子にＣＭＯＳセンサ２８を有することで、撮像装置２０Ａは、撮像素子からの蓄積電荷の読出し時間を大幅に短縮できる。
【０１８６】
ここで、撮像素子にＣＣＤセンサを備えた撮像装置２０と、撮像素子にＣＭＯＳセンサ２８を備えた撮像装置２０Ａとを車両等の移動体に設置し、時速１５０ｋｍ（≒秒速４１．７ｍ）で走行した場合を比較する。撮像装置２０では、撮像素子のＣＣＤセンサからの蓄積電荷の読出し時間、すなわち、約１／３０ｓｅｃ経過後では車は約１．４ｍ進んでしまうのに対し、撮像装置２０Ａでは、撮像素子であるＣＭＯＳセンサ２８からの蓄積電荷読出し時間経過後において、ほぼ０ｍである。
【０１８７】
従って、各々の撮像装置が前方にある障害を検知し、衝突回避のため、移動体を停止する制御を行う場合、撮像装置２０を設置した移動体は、制動動作に入るまでに約１．４ｍ空走してしまうのに対し、撮像装置２０Ａを設置した移動体は、ほぼ空走０ｍで制動動作に入れることを意味する。また、移動体の移動速度がさらに高速になれば、蓄積電荷読出し時間中の空走距離の違いは、より顕著なものとなる。
【０１８８】
次に、図１９に示される撮像装置２０Ａが備えるエリア選択手段１２０および撮像素子駆動回路１２１について説明する。
【０１８９】
エリア選択手段１２０は、垂直方向の走査範囲を選択する垂直位置選択回路１２７と、水平方向の水平位置選択回路１２８とを備える。エリア選択手段１２０による画像信号の選択抽出エリアの設定は、垂直方向プリセット端子１２９および水平方向プリセット端子１３０から垂直位置選択回路１２７および水平方向の水平位置選択回路１２８にＣＭＯＳセンサ２８を走査する走査範囲情報を予めインプットしておくことにより実施される。
【０１９０】
垂直方向のエリア選択抽出は、垂直方向プリセット端子１２９から垂直位置選択回路１２７にＣＭＯＳセンサ２８を走査する走査範囲情報を予めインプットする。走査範囲情報は、ＣＭＯＳセンサの垂直方向の有効走査線に対して、各有効走査線毎に０，１を垂直位置選択回路１２７にインプットすることで行われる。
【０１９１】
また、垂直位置選択回路１２７には、走査範囲情報の他に走査パルス生成回路１１９からの走査パルスが入力される。入力された走査パルスをトリガにして、インプットされた０，１情報がＣＭＯＳセンサ２８を駆動する撮像素子駆動回路１２１に入力される。
【０１９２】
水平方向のエリア選択抽出も垂直方向エリア選択抽出と同様にして、水平方向プリセット端子１３０から水平位置選択回路１２８にＣＭＯＳセンサ２８を走査する走査範囲を０，１でインプットする。そして、走査パルス生成回路１１９から入力される走査パルスをトリガにして、インプットされた０，１情報がＣＭＯＳセンサ２８を駆動する撮像素子駆動回路１２１に入力される。
【０１９３】
撮像素子駆動回路１２１は、垂直方向の有効走査線の走査を行う垂直シフトレジスタ１３２と、水平方向の有効走査線の走査を行う水平シフトレジスタ１３３とを備える。垂直シフトレジスタ１３２は、走査パルス生成回路１１９からの走査パルスをトリガにして、垂直位置選択回路１２７からの走査範囲情報、すなわち、０，１情報に応じてＣＭＯＳセンサ２８を駆動する駆動信号を生成する。また、水平シフトレジスタ１３３に対しても、走査パルス生成回路１１９からの走査パルスをトリガにして、水平位置選択回路１２８からの走査範囲情報、すなわち、０，１情報に応じてＣＭＯＳセンサ２８を駆動する駆動信号（以下、ＣＭＯＳセンサ駆動信号とする）を生成する。
【０１９４】
垂直シフトレジスタ１３２および水平シフトレジスタ１３３で生成されたＣＭＯＳセンサ駆動信号は、ＣＭＯＳセンサ２８に伝送される。そして、入力されたＣＭＯＳセンサ駆動信号により、ＣＭＯＳセンサ２８は、画像信号の選択抽出を行う。
【０１９５】
画像信号の選択抽出は、走査範囲情報として、１がインプットされた有効走査線に対しては、走査実施領域として画像信号の抽出を行う。一方、０がインプットされた有効走査線は走査実施不要領域として画像信号の抽出がなされない。選択抽出された画像信号は、第１実施形態を示す撮像装置２０と同様にして、信号処理手段で画像信号処理される。
【０１９６】
撮像装置２０Ａが備える画像信号処理手段は、第１実施形態を示す撮像装置２０と同じであるが、画像信号処理する情報量は、画像信号を選択抽出し、情報量を絞り込む分だけ素早く画像信号処理される。そして、画像信号処理手段で画像信号処理された画像信号は、画像信号出力手段１１４から出力される。
【０１９７】
図２１は、撮像装置２０Ａに設置する一例として車載カメラとして用いた例を示す説明図である。車載カメラにおいては、画面中央部付近から画面上方にかけては、空１３５であり、車１３６、道路１３７、道路上の白線１３８等の被写体は画面中央付近より画面下方に多い。従って、車載カメラでは、画面中央付近より画面下方部を走査実施領域として設定し、その他の部分を走査実施不要領域として設定すれば、車１３６、道路１３７、道路上の白線１３８等の被写体がある重要度の高い領域の画像を素早く得ることができる。
【０１９８】
第２実施形態を示す撮像装置２０Ａによれば、撮像素子にＣＭＯＳセンサ２８を有することで、光電変換後にＣＭＯＳセンサ２８からの画像信号の読出しをほぼ瞬時に行うことが可能となる。また、エリア選択抽出手段１１３を備えることで、画像信号のうち重要度の高いエリアを選択抽出し、信号処理に必要な処理時間を短縮することが可能となる。
【０１９９】
このことから、撮像装置２０Ａは、撮像から画像信号出力までの所要時間短縮を実現し、高速制御が要求される場合、例えば、移動体が走行ルート上にある障害物を検知し、衝突しないように回避する等の制御を行う場合において、制御情報取得のために移動体に設置する撮像装置として有効である。
【０２００】
尚、第２実施形態を示す撮像装置２０Ａを設置する移動体は、車両を例に説明したが、車両に限定されない。撮像装置２０Ａを設置する移動体は、車両、船舶、航空機等、撮像装置２０Ａを設置可能なあらゆる移動体を包含している。
【０２０１】
以上、撮像装置２０，２０Ａによれば、被写体内の輝度差に応じてカメラダイナミックレンジ拡大率を高速に可変させることができるので、被写体輝度差に最適化した撮像画像を得ることができる。この結果、例えば、認識用車載カメラ、屋内、夜間の屋外を同時撮像する監視カメラ等のように被写体として極めて輝度差の大きい画像を撮像する必要がある場合に有効な撮像装置を提供できる。
【０２０２】
また、撮像装置２０，２０Ａは、撮像素子にＣＭＯＳセンサ２８を用いることで、読み出し時間を短縮することができるので、撮像から画像処理完了までの所要時間を短縮することができる。さらに、撮像装置２０Ａは、エリア選択抽出手段１１３を備えるので、撮像画面範囲内のうち、特に重要度の高いエリアを選択抽出することができ、画像信号処理する画像信号情報量を絞り込むことができる。従って、撮像から画像処理完了までの所要時間をより短縮することができる。
【０２０３】
すなわち、撮像装置２０，２０Ａは、撮像から画像処理完了までの所要時間を短縮することができ、被写体が刻一刻と変化する移動体からの撮像を行うのに適した撮像装置であり、特に、移動体に設置される撮像装置からの画像信号を制御情報として用いて、この移動体を制御する等、撮像装置からの撮像情報を用いて次の動作を素早く制御する必要がある場合に有効である。
【０２０４】
【発明の効果】
本発明に係る撮像装置によれば、被写体が刻一刻と変化する移動体からの撮像を行うのに有効な撮像装置を提供できる。特に、移動体に設置される撮像装置からの画像信号を制御情報として用いて、この移動体を制御する等、撮像装置からの撮像情報を用いて次の動作を素早く制御する必要がある場合において、有効である。
【図面の簡単な説明】
【図１】 本発明に係る第１実施形態を示す撮像装置の一実施例を示す回路ブロック図。
【図２】 本発明に係る撮像装置における低速シャッタ画像信号および高速シャッタ画像信号の画像信号合成を説明する説明図。
【図３】 撮像装置に備えられる撮像素子の撮像特性の説明図。
【図４】 本発明に係る撮像装置の信号処理出力特性を示す説明図。
【図５】 本発明に係る撮像装置で撮影される撮像画面の分割例を示す説明図。
【図６】 図１に示される輝度積算値回路のブロック図。
【図７】 図１に示される輝度ピーク値検出回路のブロック図。
【図８】 図１に示されるゲート波形発生回路のブロック図。
【図９】 図１に示されるマイコン回路のブロック図。
【図１０】 撮像した画面が分割された画像の処理内容の説明図であり、（Ａ）は低速輝度積算値を示す画面、（Ｂ）は低速輝度ピーク値を示す画面、（Ｃ）は低速輝度積算値を示す画面において、低速輝度積算値および低速輝度ピーク値から飽和エリアを算出する画面、（Ｄ）高速輝度積算値を示す画面。
【図１１】 本発明に係る撮像装置に備えられる輝度平均値算出手段からの輝度平均値の推移を示す説明図（グラフ）。
【図１２】 本発明に係る撮像装置に備えられる撮像素子の電子シャッタ露出の制御状態の遷移を示す状態遷移図。
【図１３】 交流照明光源による画面輝度変動を示す説明図。
【図１４】 本発明に係る撮像装置に備えられる電子シャッタ回路の電子シャッタパルス発生を示す内部ブロック図。
【図１５】 （Ａ）はＶＤパルスを示し、（Ｂ）は電子シャッタパルスの発生タイミングをＶ周期の時間スケールで見た場合を示す説明図。
【図１６】 （Ａ）は図１５に示されるＶ周期（ｔ１〜ｔ３）内のＨＤパルスを示し、（Ｂ）は電子シャッタパルスの発生タイミングをＨ周期の時間スケールで見た場合を示す説明図。
【図１７】 （Ａ）は図１５に示されるＶ周期（ｔ３〜ｔ５）内の数ＣＬＫパルスを示し、（Ｂ）は電子シャッタパルスの発生タイミングを数ＣＬＫ周期の時間スケールで見た場合を示す説明図。
【図１８】 （Ａ）はＶ周期内の数ＣＬＫパルスを示し、（Ｂ）は数ＣＬＫ周期の電子シャッタパルスがシフトレジスタにより、１ＣＬＯＣＫ単位で位相が可変する様子を示す説明図。
【図１９】 本発明に係る第２実施形態を示す撮像装置の一実施例を示す回路ブロック図。
【図２０】 本発明に係る撮像装置に備えられる撮像素子の違いによる蓄積電荷の読出し時間の違いを説明する図であり、（Ａ）はＣＣＤセンサの場合、（Ｂ）はＣＭＯＳセンサの場合を示す説明図。
【図２１】 本発明に係る第２実施形態を示す撮像装置を移動体に設置する一例として車載カメラとして用いた例を示す説明図。
【図２２】 従来の撮像装置において、（Ａ）はＣＣＤセンサ出力、（Ｂ）は撮像装置の画像出力を示す説明図。
【図２３】 従来の撮像装置の回路ブロック図。
【符号の説明】
２０ 撮像装置
２１ 撮像手段
２２ アナログ信号処理手段（画像信号処理手段）
２３ デジタル信号処理手段（画像信号処理手段）
２４ 制御手段
２５ 画像信号出力端子（画像信号出力手段）
２７ 撮像レンズ
２８ ＣＭＯＳセンサ（撮像素子）
３１ ＡＧＣ（自動利得制御）回路
３２ Ａ／Ｄ変換回路
３３ 画像信号処理実行手段
３４ 加算回路（画像信号合成手段）
３５ Ｄ／Ａ変換回路
３７ 低速シャッタ用信号処理手段
３８ 高速シャッタ用信号処理手段
３９ 低速シャッタ用メモリ回路
４０ 低速シャッタ用切換回路
４１ 低速シャッタ用特性変換回路
４３ 高速シャッタ用メモリ回路
４４ 高速シャッタ用切換回路
４５ 高速シャッタ用特性変換回路
４７ 画像信号情報取得手段
４８ マイコン回路（制御信号生成手段）
４９ 電子シャッタ回路
５０ 輝度積算値回路（分割画像輝度積算手段）
５１ 輝度ピーク値検出回路（分割画像輝度ピーク値検出手段）
５２ ゲート波形発生回路
５３ 全体画面
５４ 分割画面
５８ ゲート回路
５９ 積算処理部
６０ 積算出力制御回路
６２ 積算回路
６３ １画素保持回路
６４ ピーク値検出用ゲート回路
６５ ピーク値検出用１画素保持回路
６６ 輝度加算回路
６７ ２画素保持回路
６８ ２画素保持信号発生回路
６９ 比較回路
７０ 切換回路
７１ 輝度信号保持回路
７２ ピーク値出力制御回路
７４ 垂直方向設定部
７５ 水平方向設定部
７６ 合成回路
７８ 垂直同期リセット信号発生回路
７９ 垂直方向スタート位置設定回路
８０ 垂直方向幅設定回路
８２ 水平同期リセット信号発生回路
８３ 水平方向スタート位置設定回路
８４ 水平方向幅設定回路
８６ 輝度平均値算出手段
８７ 制御信号生成手段
８９ 輝度飽和エリア
９０ 輝度不飽和エリア
９１ 計算処理手段
９２ 低速シャッタ用計算処理部
９３ 高速シャッタ用計算処理部
９５ 特性変換制御信号生成部（特性変換制御信号生成手段）
９６ 合成比率制御信号生成部（画像合成比率制御信号生成手段）
９８ 低速シャッタ速度制御信号生成部
９９ 低速用ＡＧＣ回路制御信号生成部
１００ 低速シャッタ微調整処理部
１０１ １ＣＬＯＣＫ単位シフトレジスタ
１０３ 高速シャッタ速度制御信号生成部
１０４ 高速用ＡＧＣ回路制御信号生成部
１０５ 高速シャッタ微調整処理部
１０７ 低速シャッタパルス生成手段
１０８ 高速シャッタパルス生成手段
１０９ シャッタパルス切換回路
１１０ Ｈ周期（水平同期期間Ｈ）単位のシャッタパルス生成部
１１１ 数十ＣＬＯＣＫ周期単位のシャッタパルス生成部
１１２ ＯＲ回路
１１３ エリア選択抽出手段
１１４ 画像信号出力手段（第２実施形態）
１１６ ＣＤＳ回路
１１７ 画像信号処理回路
１１８ 制御回路
１１９ 走査パルス生成回路
１２０ エリア選択手段
１２１ 撮像素子駆動回路
１２３ 画素
１２４ ＣＣＤセンサの垂直転送部
１２５ ＣＭＯＳセンサの画像信号読出しライン
１２７ 垂直位置選択回路
１２８ 水平位置選択回路
１２９ 垂直方向プリセット端子
１３０ 水平方向プリセット端子
１３２ 垂直シフトレジスタ
１３３ 水平シフトレジスタ
１３５ 空
１３６ 車
１３７ 道路
１３８ 道路上の白線
【発明の属する技術分野】
本発明は撮像装置に係り、特に広範囲な輝度を持つ被写体の撮像を可能にし、撮像された画像信号の処理を行い得るようにした撮像装置に関する。
【０００２】
【従来の技術】
従来ＣＣＤセンサの撮像素子を用いたカメラでは、電荷の蓄積容量の限界と、その特性の関係からカメラの入射光量をある範囲内に抑えるようにして撮影していた。従って、屋外等での撮影時には被写体の輝度範囲を撮像可能とするダイナミックレンジが得られず、撮像画像に問題があった。このため、撮像素子などの電子シャッタ機能を用いて、高速シャッタと低速シャッタのように異なったシャッタ時間、すなわち２つの異なる露光時間で撮像し、この画像信号を信号処理することで、広ダイナミックレンジ拡大幅を図っていた。
【０００３】
従来の広ダイナミックレンジカメラ１の動作原理を図２２を用いて説明する。図２２は、従来の広ダイナミックレンジカメラ１における画像信号処理の説明図であり、図２２（Ａ）は、ＣＣＤセンサ（撮像素子）の信号出力、図２２（Ｂ）は、高ダイナミックレンジカメラ画像の信号出力である。
【０００４】
図２２において、Ａフィールドを低速シャッタ画像、Ｂフィールドを高速シャッタ画像とする。ここで、低速シャッタ画像とは、例えばシャッタ速度が１／６０秒で撮像した画像、高速シャッタ画像とは、例えばシャッタ速度が１／２０００秒で撮像した画像である。これらの画像信号は、例えば、ＣＣＤセンサの撮像素子にシャッタパルスを直接与える電子シャッタを制御し、シャッタ速度、すなわち、露光時間を制御した画像信号のことである。
【０００５】
広ダイナミックレンジカメラ１は、低速シャッタで被写体の輝度の低い部分（輝度の高い部分は飽和してしまう）を撮像し、高速シャッタで被写体の輝度の高い部分（輝度の低い部分は撮像不可能）を撮像する。そして、両方の画像を合成することによって、１画面で被写体の輝度の低い部分から輝度の高い部分の撮像を可能にするものである。
【０００６】
例えば、Ａ１フィールド画像（低速シャッタ画像）とＢ０フィールド画像（高速シャッタ画像）を合成し、次に、Ａ１フィールド画像（低速シャッタ画像）とＢ１フィールド画像（高速シャッタ画像）を合成する。以降、同じ動作を繰り返し行う。この場合、低速シャッタと高速シャッタの速度と合成比率は固定である。
【０００７】
また、このシャッタ速度の比はダイナミックレンジの拡大比である。ここでは、低速シャッタ速度１／６０秒、高速シャッタ速度１／２０００秒で固定されているので、この広ダイナミックレンジカメラ１は、約３３倍の拡大率を持っているということになる。尚、広ダイナミックレンジカメラ１に入射光量を自動調節するオートアイリスレンズ等を搭載してもダイナミックレンジは拡大しない。
【０００８】
図２３に従来の広ダイナミックレンジカメラ１のブロック図を示す。この広ダイナミックレンジカメラ１は、被写体像から、ＣＣＤセンサ等の光電素子を用いた撮像素子２で画像信号を得る。得られた画像信号はＡ／Ｄ変換器３で、アナログ信号からデジタル信号に変換（以下、Ａ／Ｄ変換とする）され、デジタル信号処理手段４に送られる。
【０００９】
デジタル信号処理手段４は、フレームメモリ６，７と、合成処理回路８と、プロセス回路９とを備える。デジタル信号処理手段４に送られた画像信号は、まず、フレームメモリ６，７に入力され、書き込まれる。フレームメモリ６，７から読み出された画像信号は、合成処理回路８に送られ、プロセス回路９で処理された後、画像信号出力端子１０から出力される。
【００１０】
一方、広ダイナミックレンジカメラ１は広ダイナミックレンジカメラ１に具備される制御部１１でデジタル信号処理手段４と撮像素子２の制御を行っている。この制御部１１は、ＣＰＵ（中央演算処理装置）１３と露光制御部１４とを備え、ＣＰＵ１３でデジタル信号処理手段４からの測光データの演算処理を行う。演算処理された結果は、ＣＰＵ１３からデジタル信号処理手段４と露光制御部１４へ送られ、それぞれ制御信号が生成され、デジタル信号処理手段４と撮像素子２の制御がなされる。
【００１１】
このような広ダイナミックレンジカメラ１は、例えば、特願昭６１−２５５９８４号公報、特開平５−２２６６９号公報、特開平６−４６３２５号公報、および、特開平７−５８９９７号公報に示されている。
【００１２】
【発明が解決しようとする課題】
しかしながら、従来の広ダイナミックレンジカメラ１では、異なる電子シャッタ時間の画像を数回撮像し合成していたため、静止画では有効であったが、監視カメラや車載カメラのように動きのある被写体を撮像する装置には不向きであった。また、画像信号処理時間が長くかかるため、動きのある被写体を撮像する場合、被写体の動きの速さによっては画像信号処理および当該画像信号処理に関わる信号（例えば、制御部１１から制御信号）が追従できない場合があった。
【００１３】
特に、移動体の制御目的等で、従来の広ダイナミックレンジカメラ１を移動体に設置して適用した場合、当該移動体に設置された広ダイナミックレンジカメラ１で撮像した画像に基づいて制御を行っても、要求される制御動作が間に合わないという問題があった。
【００１４】
本発明は、上述した事情を考慮してなされたもので、被写体が刻一刻と変化する移動体からの撮像を行うのに有効な撮像装置を提供することにある。
【００１５】
【課題を解決するための手段】
本発明に係る撮像装置は、上述した課題を解決するために、請求項１に記載したように、第１の露光時間で撮像した第１の画像および前記第１の露光時間よりも短い第２の露光時間で撮像した第２の画像を交互に得るＣＭＯＳセンサと、前記ＣＭＯＳセンサから出力する前記第１の画像および前記第２の画像の垂直方向範囲を選択する垂直位置選択回路と、前記ＣＭＯＳセンサから出力する前記第１の画像および前記第２の画像の水平方向範囲を選択する水平位置選択回路と、前記ＣＭＯＳセンサから出力された前記第１の画像および前記第２の画像の選択された範囲をそれぞれ複数のエリアに分割し、それぞれのエリアの輝度情報を検出する輝度情報検出処理手段と、前記ＣＭＯＳセンサの前記第１の露光時間および第２の露光時間をそれぞれ調整する制御手段と、前記ＣＭＯＳセンサから出力された前記第１の画像および第２の画像の選択された範囲について、それぞれ特性変換処理を行う特性変換処理手段と、前記特性変換処理手段から得られる特性変換処理後の前記第１の画像および第２の画像の選択された範囲を加算する合成手段とを具備し、前記制御手段は、前記第１の画像の複数のエリアの輝度情報から前記第１の露光時間を決定するとともに、前記第２の画像の複数のエリアの輝度情報から前記第２の露光時間を前記第１の露光時間の決定とは独立に決定することを特徴とする。
【００１６】
上述した課題を解決するために、本発明に係る撮像装置は、請求項２に記載したように、前記輝度情報検出処理手段は、前記第１の画像および前記第２の画像について分割したエリア単位に輝度を積算し、前記分割したエリア毎の輝度の平均値を検出するように構成されることを特徴とする。
【００１７】
また、上述した課題を解決するために、本発明に係る撮像装置は、請求項３に記載したように、前記輝度情報検出処理手段は、前記第１の画像および前記第２の画像について分割したエリアの輝度ピーク値を前記分割したエリア毎に検出するように構成されることを特徴とする。
【００１８】
さらに、上述した課題を解決するために、本発明に係る撮像装置は、請求項４に記載したように、前記制御手段は、前記第１の画像の複数のエリアの輝度情報から前記第１の露光時間を決定する際、前記第１の画像の複数のエリアのうち輝度不飽和状態にあるエリアの輝度情報に基づいて第１の露光時間を決定するように構成されることを特徴とする。
【００１９】
さらにまた、上述した課題を解決するために、本発明に係る撮像装置は、請求項５に記載したように、前記制御手段は、前記第２の画像の複数のエリアの輝度情報から前記第２の露光時間を決定する際、前記第２の画像の複数のエリアのうち輝度飽和状態にあるエリアの輝度情報に基づいて第２の露光時間を決定するように構成されることを特徴とする。
【００２０】
一方、上述した課題を解決するために、本発明に係る撮像装置は、請求項６に記載したように、前記制御手段は、前記第１の画像の複数のエリアの輝度情報から前記第１の露光時間を決定する際、前記第１の画像の複数のエリアのうち輝度不飽和状態にあるエリアの輝度情報に基づいて第１の露光時間を決定する一方、前記第２の画像の複数のエリアの輝度情報から前記第２の露光時間を決定する際、前記第２の画像の複数のエリアのうち輝度飽和状態にあるエリアの輝度情報に基づいて第２の露光時間を決定するように構成されることを特徴とする。
【００２１】
また、上述した課題を解決するために、本発明に係る撮像装置は、請求項７に記載したように、前記制御手段は、前記第１の画像を分割して得られる複数のエリアのうち所定の閾値以下の輝度を持つエリアの輝度情報に基づいて第１の露光時間を決定するように構成されることを特徴とする。
【００２２】
さらに、上述した課題を解決するために、本発明に係る撮像装置は、請求項８に記載したように、前記制御手段は、前記第２の画像を分割して得られる複数の分割したエリアのうち所定の閾値以上の輝度を持つエリアの輝度情報に基づいて第２の露光時間を決定するように構成されることを特徴とする。
【００２３】
他方、上述した課題を解決するために、本発明に係る撮像装置は、請求項９に記載したように、前記制御手段は、前記第１の画像を分割して得られる複数のエリアのうち所定の閾値以下の輝度を持つエリアの輝度情報に基づいて第１の露光時間を決定する一方、前記第２の画像を分割して得られる複数の分割したエリアのうち所定の閾値以上の輝度を持つエリアの輝度情報に基づいて第２の露光時間を決定するように構成されることを特徴とする。
【００２４】
また、上述した課題を解決するために、本発明に係る撮像装置は、請求項１０に記載したように、前記制御手段は、前記第１の露光時間および前記第２の露光時間を決める電子シャッタの最終発生タイミングをタイミングジェネレータの１ＣＬＯＣＫ単位での時間的移動を行うように構成されることを特徴とする。
【００２５】
さらに、上述した課題を解決するために、本発明に係る撮像装置は、請求項１１に記載したように、前記輝度情報検出処理手段は、前記第１の画像を分割して得られる複数のエリアおよび前記第２の画像を分割して得られる複数のエリアのうち所定のエリアを選択抽出するエリア選択抽出手段を備えることを特徴とする。
【００２６】
また、上述した課題を解決するために、本発明に係る撮像装置は、請求項１２に記載したように、前記撮像手段は、移動体に設置されることを特徴とする。
【００２７】
さらに、上述した課題を解決するために、本発明に係る撮像装置は、請求項１３に記載したように、前記移動体の周囲に存在する障害物を検知する際に、前記合成画像を用いることを特徴とする。
【００２８】
さらにまた、上述した課題を解決するために、本発明に係る撮像装置は、請求項１４に記載したように、前記移動体は、自動二輪車、自動車および列車等の移動車両、航空機、および、船舶のいずれかであることを特徴とする。
【００２９】
このような撮像装置は、被写体が刻一刻と変化する移動体からの撮像を行う場合にも有効である。
【００３０】
【発明の実施の形態】
以下、本発明に係る撮像装置の実施形態を添付図面を参照して説明する。
【００３１】
［第１実施形態］
図１に本発明に係る撮像装置２０の第１実施形態を示す回路ブロック図の一例を示す。
【００３２】
図１に示される撮像装置２０は撮像手段２１と、画像信号処理手段としてのアナログ信号処理手段２２およびデジタル信号処理手段２３と、制御手段２４と、画像信号出力手段としての画像信号出力端子２５とを具備する。
【００３３】
撮像装置２０は被写体像を撮像手段２１で撮像し、画像信号（アナログ信号）を生成する。生成されたアナログ画像信号はアナログ信号処理手段２２でアナログ信号からデジタル信号に変換（以下、Ａ／Ｄ変換とする）後、デジタル画像信号として出力される。このデジタル画像信号は、２つに分岐し、一方がデジタル信号処理手段２３に入力され、信号処理される。信号処理後のデジタル画像信号はデジタル信号からアナログ信号に変換（以下、Ｄ／Ａ変換とする）後、画像信号出力端子２５から出力される。
【００３４】
また、アナログ信号処理手段２２から出力された画像信号の他方は、制御手段２４に入力される。制御手段２４は制御信号を生成し、撮像手段２１、アナログ信号処理手段２２およびデジタル信号処理手段２３の制御を行う。制御手段２４がこれら各部を制御することにより、撮像装置２０は広範囲な輝度差を有する被写体に対しても常に最適なシャッタ速度で撮像することが可能となる。
【００３５】
図１に示される撮像装置２０の各部について説明する。
【００３６】
撮像手段２１は被写体像を示す画像光を撮像する撮像レンズ２７と、例えば、撮像素子としてのＣＭＯＳセンサ２８とを備える。
【００３７】
撮像手段２１は被写体像を示す画像光を撮像レンズ２７で撮像し、ＣＭＯＳセンサ２８の受光面に結像する。結像された画像光は、ＣＭＯＳセンサ２８の露光時間、つまり、電子シャッタ速度を調節することで、ＣＭＯＳセンサ２８に露光される光量の調節がなされる。ＣＭＯＳセンサ２８は光電変換を行い、画像光量に応じた量の電荷をＣＭＯＳセンサ２８に蓄積する。この蓄積された蓄積電荷の電荷量に応じた画像信号がＣＭＯＳセンサ２８から出力される。
【００３８】
また、被写体を撮像する際、撮像手段２１に備えられるＣＭＯＳセンサ２８の電子シャッタは、異なる２つのシャッタ速度での撮像を交互に繰り返す。２つのシャッタ速度のうち、遅い側のシャッタ速度（以下、低速シャッタ速度とする）と、速い側のシャッタ速度（以下、高速シャッタ速度とする）とで撮像される。ＣＭＯＳセンサ２８から交互に出力される画像信号は、撮像手段２１から出力され、アナログ信号処理手段２２に入力される。
【００３９】
アナログ信号処理手段２２は交互に入力されたアナログ画像信号の利得調整を行う自動利得制御回路（以下、ＡＧＣ回路とする）３１と、Ａ／Ｄ変換を行うＡ／Ｄ変換回路３２とを備える。アナログ信号処理手段２２に入力されたアナログ画像信号は、ＡＧＣ回路３１と、Ａ／Ｄ変換回路３２とに順次伝送され、信号処理される。ＡＧＣ回路３１は行利得調整を制御手段２４からの制御信号により、アナログ画像信号毎に利得を可変させて調整することができる。
【００４０】
Ａ／Ｄ変換回路３２はアナログ画像信号のＡ／Ｄ変換を行う。変換後の画像信号、すなわち、デジタル画像信号は、アナログ信号処理手段２２から交互に出力され、デジタル信号処理手段２３に交互に入力される。
【００４１】
デジタル信号処理手段２３は、画像信号処理実行手段３３と、画像信号合成手段としての加算回路３４と、合成された画像信号のＤ／Ａ変換を行うＤ／Ａ変換回路３５とを備える。
【００４２】
画像信号処理実行手段３３は、低速シャッタで撮像されたデジタル画像信号を信号処理する低速シャッタ用信号処理手段３７と、高速シャッタ速度で撮像されたデジタル画像信号を処理する高速シャッタ用信号処理手段３８とを備える。そして、低速シャッタ用信号処理手段３７および高速シャッタ用信号処理手段３８は、各々、メモリ回路と、切換回路と、特性変換回路とを有する。すなわち、低速シャッタ用信号処理手段３７は、低速シャッタ用メモリ回路３９と、低速シャッタ用切換回路４０と、低速シャッタ用特性変換回路４１とを有し、一方、高速シャッタ用信号処理手段３８は、高速シャッタ用メモリ回路４３と、高速シャッタ用切換回路４４と、高速シャッタ用特性変換回路４５とを有する。
【００４３】
画像信号処理実行手段３３で行われる画像信号処理について、図２および図３を参照して説明する。
【００４４】
図２は、撮像装置２０の動作について時系列を合わせて、詳細に説明した動作説明図である。
【００４５】
図２（Ａ）は、垂直同期信号であり、撮像装置２０は、この周期に同期して動作する。ＣＭＯＳセンサ２８で撮像し、画像信号を出力する期間（１垂直同期期間）は、２Ａ０１が低速シャッタ側の画像信号出力期間（以下、低速シャッタ期間とする）、２Ａ０２が高速シャッタ側の画像信号出力期間（以下、高速シャッタ期間とする）、２Ａ０３が低速シャッタ期間、２Ａ０４が高速シャッタ期間、２Ａ０５が低速シャッタ期間である。
【００４６】
図２（Ｂ）にＣＭＯＳセンサ２８の電子シャッタ動作を示す。ＣＭＯＳセンサ２８の電子シャッタ動作は、ＣＭＯＳセンサ２８の電荷蓄積と読出し時間の関係で１垂直期間の遅れを生じる。従って、図２（Ａ）のような垂直同期信号に対して、電子シャッタ動作は、２Ｂ０１は高速シャッタ動作期間、２Ｂ０２は低速シャッタ動作期間となり、以下同様に高速シャッタ動作期間、低速シャッタ動作期間の繰り返しで、２Ｂ０３、２Ｂ０４、２Ｂ０５の動作期間となる。
【００４７】
図２（Ｃ）にＡＧＣ回路３１の動作を示す。ＡＧＣ回路３１は、低速シャッタ動作期間と、高速シャッタ動作期間とで、独立で動作する。２Ｃ０１が低速シャッタ用動作期間、２Ｃ０２が高速シャッタ用動作期間となり、以下同様な繰り返しで、２Ｃ０３、２Ｃ０４、２Ｃ０５の動作期間となる。
【００４８】
図２（Ｄ）はＣＭＯＳセンサ２８から出力される画像信号で、２Ｄ０１が低速シャッタ画像信号、２Ｄ０２が高速シャッタ画像信号となり、以下同様な繰り返しで、２Ｄ０３、２Ｄ０４、２Ｄ０５となる。
【００４９】
図２（Ｄ）のＣＭＯＳセンサ２８から出力される低速シャッタ画像信号および高速シャッタ画像信号の出力特性について、図３を用いて補足する。
【００５０】
図３は、ＣＭＯＳセンサ２８の撮像特性を示した説明図であり、低速シャッタと高速シャッタの入射光量に対する画像信号の出力レベルを示している。図３において、低速シャッタによる画像信号の出力特性は３ａであり、低速シャッタ出力の飽和点は３ｂである。一方、高速シャッタの画像出力特性は３ｃであり、高速シャッタ出力の飽和点は３ｄである。図３によれば、低速シャッタ画像信号は飽和に達する入射光量が少なく、飽和に達するのが早い。逆に、高速シャッタ画像信号は飽和に達する入射光量が多く、飽和に達するのが遅い。このことから、図２（Ｄ）の画像出力信号の特性において、２Ｄ０１（低速シャッタ画像信号）では、１垂直同期期間内に飽和して、出力が頭打ちとなっている。一方、２Ｄ０２（高速シャッタ画像信号）では、１垂直同期期間内に飽和がなく、緩やかに出力が増加している。
【００５１】
図２（Ｅ）〜図２（Ｊ）は、動作説明をわかりやすくするために示した説明図である。
【００５２】
図２（Ｅ）は、図２（Ｄ）と同意であり、いずれも図１に示されるアナログ信号処理手段２２のＡ／Ｄ変換回路３２からの出力である。
【００５３】
図２（Ｅ）において、２Ｅ０１が低速シャッタ画像信号、２Ｅ０２が高速シャッタ画像信号で、以下、同様の繰り返しで、２Ｅ０３、２Ｅ０４、２Ｅ０５と画像信号が出力される。図２（Ｅ）によれば、低速シャッタ画像信号および高速シャッタ画像信号は両者とも間欠信号である。例えば、低速シャッタ画像信号に着目すれば、低速シャッタ画像信号は２Ｅ０１、２Ｅ０３および２Ｅ０５とで形成される間欠信号である。
【００５４】
尚、図２（Ｅ）中では低速シャッタ画像信号および高速シャッタ画像信号を低速シャッタ信号および高速シャッタ信号と簡略化してある。以降、図２（Ｅ）以外の他図においても同様に簡略化する。
【００５５】
図１に示されるアナログ信号処理手段２２のＡ／Ｄ変換回路３２から出力された低速シャッタ画像信号は、一方が、低速シャッタ用メモリ回路３９を経由して、低速シャッタ用切換回路４０に入力され、他方は、低速シャッタ用切換回路４０に直接入力される。低速シャッタ用切換回路４０は、画像信号を１垂直期間毎に低速シャッタ用メモリ回路３９側からの入力と、アナログ信号処理手段２２のＡ／Ｄ変換回路３２側からの入力とを切り換えることで、間欠信号を連続信号にする。
【００５６】
図２（Ｆ）は、連続信号となった低速シャッタ画像信号を示す。尚、図２（Ｆ）で符号Ｍがついている信号は、低速シャッタ用メモリ回路３９から入力された画像信号を示す。この図２（Ｆ）は、図２（Ｅ）において、間欠となっている２Ｅ０２および２Ｅ０４の期間に低速シャッタ用メモリ回路３９側からの入力に切り換え、低速シャッタ用メモリ回路３９のメモリに蓄積された低速シャッタ画像信号を入力することで生成される。
【００５７】
一方、高速シャッタ画像信号については図２（Ｇ）に示す。高速シャッタ画像信号においても連続信号とするプロセスは低速シャッタ画像信号の場合と同様のため、高速シャッタ画像信号については、その説明を省略する。
【００５８】
図１に示される低速シャッタ用切換回路４０および高速シャッタ用切換回路４４で連続信号となった低速シャッタ画像信号および高速シャッタ画像信号は、低速用特性変換回路４１および高速用特性変換回路４５において、例えば、ガンマ特性を得る特性変換がなされる。特性変換後の低速シャッタ画像信号および高速シャッタ画像信号は、それぞれ、図２（Ｈ）および図２（Ｉ）に対応する。
【００５９】
図１に示される画像信号合成手段としての加算回路３４は、画像信号処理実行手段３３に備えられる低速用特性変換回路４１および高速用特性変換回路４５において特性変換された低速シャッタ画像信号および高速シャッタ画像信号を加算し、１つの合成デジタル画像信号を得る。
【００６０】
図２（Ｊ）および図２（Ｋ）は、特性変換後の低速シャッタ画像信号および高速シャッタ画像信号を加算することを示す説明図である。図２（Ｋ）は、図２（Ｊ）をアナログ的に示したものであり、図２（Ｋ）および図２（Ｊ）両図は同意である。また、図４は、得られた合成画像信号の出力特性を示す。図４の合成画像信号の出力特性は、図３における低速シャッタ画像信号特性３ａと、高速シャッタ画像信号特性３ｃとを合成した特性となる。従って、図２（Ｋ）は、２Ｋ０１〜２Ｋ０５の期間の各期間において、図４に示される画像信号出力特性と同様の合成画像信号出力（デジタル信号）が得られる。
【００６１】
図１に示されるＤ／Ａ変換回路３５は、加算回路３４において合成された画像信号のＤ／Ａ変換を行い、アナログ画像信号を出力する。Ｄ／Ａ変換回路３５で出力されたアナログ画像信号は、画像信号出力手段に伝送され、画像信号出力手段としての画像信号出力端子２５より撮像装置２０の出力として出力される。
【００６２】
制御手段２４は、画像信号情報取得手段４７と、制御信号生成手段としてのマイクロコンピュータ回路（以下、マイコン回路とする）４８と、電子シャッタ回路４９とを備える。
【００６３】
制御手段２４は、画像信号情報取得手段４７で低速シャッタ画像信号および高速シャッタ画像信号から画像信号情報を取得し、取得した画像信号情報に基づき、撮像装置２０を制御する制御信号をマイコン回路４８で生成する。マイコン回路４８で生成された制御信号のうち、撮像手段２１を制御する制御信号は電子シャッタ回路４９に入力され、撮像手段２１に備えられるＣＭＯＳセンサ２８の電子シャッタを制御する制御信号を出力する。
【００６４】
画像信号情報取得手段４７は、まず、画像信号情報を取得するために、撮像した１画面分の画像信号を分割する。画像信号情報取得手段４７は、分割した画像信号個々に対して、画像信号情報である輝度を積算する分割画像輝度積算手段としての輝度積算値回路５０と、輝度のピーク値を検出する分割画像輝度ピーク値検出手段としての輝度ピーク値検出回路５１と、撮像した１画面分の画像信号を分割するゲート波形発生回路５２とを備える。
【００６５】
画像信号情報取得手段４７は、まず、画像信号情報として、分割画像輝度積算値および分割画像輝度ピーク値を算出するために、撮像により得た１画面分の画像信号を分割する。
【００６６】
図５は１画面分の画像信号を分割し、画面分割した様子を示す説明図である。図５によれば、撮像した全体画面５３において、この１画面分の画像信号を、例えば、２５分割等、複数のエリアに分割し、２５個の分割画面５４の画像信号の集合とする。この画面分割は、画像信号情報取得手段４７に備えられるゲート信号発生回路５２で生成したゲート信号を用いて実行される。
【００６７】
ゲート波形発生回路５２は、水平同期パルス（以下、ＨＤパルスとする）、垂直同期パルス（以下、ＶＤパルスとする）、クロックパルス（以下、ＣＬＫパルスとする）を用いてゲート信号を生成する。このゲート信号は輝度を積算する積算値回路５０と、輝度のピーク値を検出する輝度ピーク値検出回路５１とに伝送され、撮像した全体画面５３の１画面分の画像信号を２５個の分割画面５４に分割する。
【００６８】
図６は画像信号情報取得手段４７に備えられる分割画像輝度積算手段としての輝度積算値回路５０のブロック図である。
【００６９】
図６に示される輝度積算値回路５０は、分割画面５４の１画面分の画像信号毎に輝度積算値を算出する。輝度積算値回路５０は、アナログ信号処理手段２２から出力された画像信号およびゲート波形発生回路５２で発生したゲート信号をゲート回路５８に入力し、設定された分割画面５４の画面範囲の画像信号をゲートする。ゲートされた画像信号は、積算処理部５９で輝度の積算が実行され、積算出力制御回路６０で図１に示されるマイコン回路４８からの制御信号により、輝度積算値が出力される。出力された輝度積算値はマイコン回路４８に入力される。
【００７０】
積算処理部５９で実行される輝度積算は、ゲートされた画像信号内の各画素に対して行われ、積算処理部５９が備える積算回路６２および１画素保持回路６３でなされる。積算回路６２は入力された１画素分の画像信号の輝度値と既に積算処理が完了した画素分の画像信号の輝度値とを加算し、加算した輝度値を１画素保持回路６３に入力する。１画素保持回路６３は入力された輝度値を記憶し、記憶した輝度値を積算回路６２にフィードバックし、積算回路６２に入力された画像信号の輝度値との加算を繰り返し、ゲートされた画像信号の輝度の積算値を算出する。算出された輝度の積算値は、図１に示されるマイコン回路４８からの出力制御信号により、積算出力制御回路６０で１画素保持回路６３からの出力を受け付ける。受け付けられた輝度の積算値は、積算出力制御回路６０から出力され、マイコン回路４８に伝送される。
【００７１】
一方、図７は画像信号情報取得手段４７に備えられる分割画像輝度ピーク値検出手段としての輝度ピーク値検出回路５１のブロック図である。
【００７２】
図７に示される輝度ピーク値検出回路５１は、分割画面５４の１画面分の画像信号毎の輝度値のピーク値を検出する輝度ピーク値検出回路５１は、分割画面５４の１画面分の画像信号毎の輝度のピーク値を検出する。輝度ピーク値検出回路５１は、輝度積算値回路５０と同様にして、アナログ信号処理手段２２から出力された画像信号およびゲート波形発生回路５２で発生したゲート信号をピーク値検出用ゲート回路６４に入力し、設定された分割画面５４の画面範囲の画像信号をゲートする。ピーク値検出用ゲート回路６４はゲートした画像信号を１画素ずつ出力する。
【００７３】
ゲートした画像信号の輝度ピーク値を検出する。輝度ピーク値の検出は、連続する２画素分の輝度を加算してから行う。これは、ＣＭＯＳセンサ２８の光学色フィルタが補色モザイクの場合、信号の大きさが画素単位で変化するためである。２画素分の輝度を加算することにより、色フィルタの違いによる影響が無くなる。
【００７４】
２画素分の輝度を加算するには、入力された現信号と、ピーク値検出用１画素保持回路６５で１画素分遅らせた信号、すなわち、現信号に対して１画素前の信号とを輝度加算回路６６で加算する。加算された２画素分の輝度値は１単位としてピーク値検出処理され、２画素保持回路６７に入力される。２画素保持回路６７は、２画素保持信号発生回路６８から信号を受けて、２画素分の輝度値を１単位とした輝度値信号を生成する。
【００７５】
２画素保持回路６７から出力された現信号を含む輝度値信号は、比較回路６９に入力され、現信号に対して２画素前の信号を含む輝度値信号と比較される。比較回路６９は、２つの輝度値信号を比較し、輝度値の大きい方を選択する選択信号を生成して、切換回路７０に供給する。切換回路７０は、比較回路６９からの選択信号に基づき、現信号と、現信号に対して２画素前の信号を含む輝度値信号とのうち、輝度値の大きい一方が選択される。この選択された信号は、輝度値信号保持回路７１に入力され保持される。
【００７６】
輝度値信号保持回路７１で保持された輝度値信号は、比較回路６９にフィードバックされ、２画素保持回路６７からの輝度値信号との比較処理を繰り返す。この比較処理は、ピーク値検出用ゲート回路６４から出力される画像信号の出力が終了するまで行われる。比較処理完了後、ピーク値出力制御回路７２は、図１に示されるマイコン回路４８からの出力制御信号により、輝度値信号保持回路７１の出力すなわち、輝度ピーク値信号の出力を受け付ける。出力を受け付けられた輝度ピーク値信号は、ピーク値出力制御回路７２から出力され、マイコン回路４８に伝送される。
【００７７】
ゲート波形発生回路５２は、輝度の積算値およびピーク値検出のために画面を分割するゲート信号を生成する。ゲート波形発生回路５２のブロック図を図８に示す。図８に示されるゲート波形発生回路５２は、ゲートする範囲を設定する垂直方向設定部７４および水平方向設定部７５と、ゲート信号を生成する合成回路７６とを備える。ゲート波形発生回路５２は、入力されたＶＤパルス，ＨＤパルス，ＣＬＫパルスの３つの信号からゲートするエリアを設定したゲート信号を生成し、出力する。
【００７８】
垂直方向のゲート範囲の設定は、垂直方向設定部７４で行われる。垂直方向設定部７４に入力されたＶＤパルスは、垂直同期リセット信号発生回路７８に入力される。垂直同期リセット信号発生回路７８はリセット信号を生成し、生成されたリセット信号は、垂直方向スタート位置設定回路７９に入力される。垂直方向スタート位置設定回路７９は、ＨＤパルスをカウントし、垂直方向のスタート点を決める。垂直方向のスタート点が決まれば、このスタート点より、垂直方向幅設定回路８０で、ＨＤパルスをカウントし、垂直方向の幅を設定することができる。垂直方向幅設定回路８０で設定された垂直方向の幅は、垂直幅信号として合成回路７６に入力される。
【００７９】
一方、水平方向のゲート範囲の設定は、水平方向設定部７５で行われる。水平方向設定部７５に入力されたＨＤパルスは、水平同期リセット信号発生回路８２に入力される。水平同期リセット信号発生回路８２はリセット信号を生成し、生成されたリセット信号は、水平方向スタート位置設定回路８３に入力される。水平方向スタート位置設定回路８３は、ＣＬＫパルスをカウントし、水平方向のスタート点を決定する。水平方向のスタート点が決まれば、このスタート点より、水平方向幅設定回路８４で、ＣＬＫパルスをカウントし、水平方向の幅を決めることができる。水平方向幅設定回路８４で設定された水平方向の幅は、水平幅信号として出力され、合成回路７６に入力される。
【００８０】
垂直方向幅設定回路８０と、水平方向幅設定回路８４とから得られた垂直幅信号と、水平幅信号は、合成回路７６で合成される。この合成された信号がゲート信号となって、ゲート波形発生回路５２から出力される。
【００８１】
制御手段２４が備えるマイコン回路４８の回路ブロック図を図９に示す。
【００８２】
マイコン回路４８には、画像信号情報として、画像信号情報取得手段４７が備える輝度積算値回路５０および輝度ピーク値検出回路５１から輝度の積算値およびピーク値が入力される。入力された輝度の積算値およびピーク値は輝度平均値算出手段８６に入力され、輝度平均値が算出される。算出された輝度平均値は、制御信号生成手段８７に入力され、まず、電子シャッタ速度が計算される。次に、電子シャッタ速度の計算結果から適切な撮像画像が得られるように撮像装置２０の各部を制御する制御信号を生成する。
【００８３】
マイコン回路４８が参照するデータを視覚的に表した例を図１０に示す。この図１０を用いて、マイコン回路４８が備える輝度平均値算出手段８６の輝度平均値算出処理について説明する。
【００８４】
輝度平均値算出手段８６は、輝度積算値回路５０で、図５に示される分割画面５４毎に輝度積算された低速シャッタ画像信号の輝度積算値（以下、低速輝度積算値とする）と、輝度ピーク値検出回路５１から得られた低速シャッタ画像信号の輝度ピーク値（以下、低速輝度ピーク値）とから輝度飽和しているエリア（以下、輝度飽和エリアとする）８９と、輝度飽和していないエリア（以下、不飽和エリアとする）９０とに分けられる。
【００８５】
輝度飽和エリア８９と輝度不飽和エリア９０の分別は、まず、分割画面５４毎の低速輝度積算値から低速シャッタ画像信号の輝度平均値（以下、低速輝度平均値とする）を求める。
【００８６】
図１０（Ａ）は低速輝度積算値を示す分割画面５４の説明図である。例えば、輝度レベルが８ＢＩＴ（２８＝２５６）幅において、低速輝度平均値が２００とする。そして、低速輝度平均値２００以上のエリアを抽出する。抽出された低速輝度平均値以上のエリアは図１０（Ａ）の破線で囲まれたエリアである。
【００８７】
次に、同じ低速シャッタ画像信号から得られる輝度ピーク値が８ＢＩＴ幅の最大値となるエリアを抽出する。図１０（Ｂ）は低速輝度ピーク値を示す分割画面５４の説明図である。この図１０（Ｂ）において、抽出された低速輝度ピーク値が最大値となるエリアは図１０（Ｂ）の破線で囲まれたエリアである。
【００８８】
次に、低速輝度平均値が２００以上、かつ、低速輝度ピーク値が８ＢＩＴ幅の最大値のエリアを抽出する。図１０（Ｃ）は、低速輝度積算値を示す分割画面５４において、低速輝度積算値および低速輝度ピーク値から輝度飽和エリア８９を算出する説明図である。低速輝度平均値が２００以上、かつ、低速輝度ピーク値が８ＢＩＴ幅の最大値として抽出されたエリアは、図１０（Ａ）および図１０（Ｂ）の破線で囲まれたエリアの共通エリアであり、図１０（Ｃ）においては、破線で囲まれたエリアである。図１０（Ｃ）の破線で囲まれたエリアを輝度飽和エリア８９とし、その他のエリアを輝度不飽和エリア９０としている。輝度飽和エリア８９は、高速シャッタによる撮像対象とされる。
【００８９】
画像信号が輝度飽和エリア８９と、輝度不飽和エリア９０とに低速シャッタ画像信号が分けられた後、低速シャッタ画像信号の輝度積算値の不飽和エリアから低速輝度平均値を算出する。
【００９０】
また、高速シャッタ画像信号については、低速シャッタ画像信号と同様にして、高速シャッタ画像信号の輝度積算値の輝度飽和エリア８９から高速シャッタ画像信号の輝度平均値（以下、高速輝度平均値とする）を算出する。図１０（Ｄ）は高速シャッタ画像信号の輝度積算値の輝度飽和エリア８９から高速輝度平均値算出する説明図を示している。
【００９１】
制御信号生成手段８７はシャッタ速度およびシャッタ速度比の演算を行う演算手段としての計算処理手段９１を備える。また、この計算処理手段９１は、低速シャッタ画像信号から算出された輝度平均値（以下、低速輝度平均値とする）を処理する低速シャッタ用計算処理部９２と、高速シャッタ画像信号から算出された輝度平均値（以下、高速輝度平均値とする）を処理する低速シャッタ用計算処理部９３とを備える。低速シャッタ用計算処理部９２および高速シャッタ用計算処理部９３により、低速シャッタ画像および高速シャッタ画像に対して、各々適切な撮像画像を得るために電子シャッタ回路４９と、ＡＧＣ回路３１とを制御し、電子シャッタ速度と画像信号の利得を可変させることで、適切な撮像画像が得られる。
【００９２】
また、制御信号生成手段８７は、計算処理手段９１の他に特性変換制御信号生成手段として、画像信号の特性変換を制御する特性変換制御信号生成部９５と、画像合成比率制御信号生成手段として、２つの画像信号の画像合成比率を制御する合成比率制御信号生成部９６とを備える。
【００９３】
計算処理手段９１が備える低速シャッタ用計算処理部９２は、低速シャッタ速度制御信号生成部９８と、自動利得制御信号生成手段としての低速用ＡＧＣ回路制御信号生成部９９とを備え、低速シャッタ速度制御信号およびＡＧＣ制御信号とを生成する。
【００９４】
低速シャッタ速度制御信号生成部９８は入力された低速輝度平均値から図１に示されるＣＭＯＳセンサ２８の電子シャッタ速度を変化させる低速シャッタ制御信号を生成する。入力された低速輝度平均値が適正範囲を超えている場合は大きな幅で粗く電子シャッタ速度を変化させる（以下、粗調整とする）。また、入力された低速輝度平均値が適正範囲内の場合は小さな幅で細かく電子シャッタ速度を変化させる（以下、微調整とする）。すなわち、電子シャッタ速度は２段階に調整される。この制御結果により次第に低速輝度平均値が適正範囲の中心になるように低速シャッタ速度制御信号を生成する。生成された低速シャッタ速度制御信号は電子シャッタ回路４９に入力され、電子シャッタ回路４９の制御がなされる。
【００９５】
低速シャッタ速度制御信号生成部９８で実行される電子シャッタ速度の制御について、図１１および図１２を用いて説明する。
【００９６】
図１１は、輝度平均値算出手段８６から出力される低速輝度平均値の推移をグラフ化した一例である。このグラフにおいて、縦軸は輝度平均値算出手段８６から出力される低速輝度平均値、横軸は時間軸を表している。階段状に変化している波形は低速輝度平均値を示す波形である。
【００９７】
図１１に示す例では、低速輝度平均値の初期値Ｐｓは、適正輝度平均値レベル幅ＷＢよりも下にあるため、（現在の電子シャッタ速度）×（適正輝度平均値レベル幅ＷＢの下限値）／（低速輝度平均値）だけ電子シャッタ速度を遅くする。電子シャッタ速度を遅くしていき、低速輝度平均値が適正輝度平均値レベル幅ＷＢに入った後、適正輝度平均値レベル幅ＷＢの中心を超えるまでシャッタ速度を垂直同期期間Ｖ毎に１０％遅くしていく。そして、適正輝度平均値レベル幅ＷＢの中心を超えたところで、電子シャッタ速度の変更を止める。初期状態から電子シャッタ速度の変更が止まるまでのシャッタ速度変更期間をＴａとする。また、シャッタ速度の変更が止まり、輝度レベルの推移が安定した状態期間を適正輝度レベル状態期間Ｔｂとする。
【００９８】
低速シャッタ速度制御信号生成部９８は、一度、適正輝度レベル状態期間Ｔｂに入ると、ある一定時間Ｔｃは適正輝度レベル幅ＷＢの範囲外の値が観測されても、適正輝度レベル幅ＷＢの範囲外の値が観測され続けない限り、シャッタ速度の補正を行わない。上記一定時間Ｔｃを保護時間とする。
【００９９】
図１１を例にすれば、低速輝度平均値が変動し、ＴｄおよびＴｆの期間で適正輝度レベル幅ＷＢを超えているが、適正輝度レベル幅ＷＢを超えているＴｄおよびＴｆの期間は保護時間Ｔｃよりも短い期間であるため、シャッタ速度は変更されない。
【０１００】
低速シャッタ速度制御信号生成部９８は、図１に示されるＣＭＯＳセンサ２８の電子シャッタ速度を２段階で制御することによって、急激な被写体輝度値の変化には粗調整で、素早くシャッタ速度を変化させ、緩やかな被写体輝度値の変化には微調整で、緩やかにシャッタ速度を変化させることができる。従って、撮像装置２０は被写体輝度値の変化に対して常に自然な露出を保つことができる。また、保護時間Ｔｃを設けることによって、被写体の急激な輝度変化による低速シャッタ速度制御信号生成部９８の発振を抑止できる。
【０１０１】
一方、図１２は撮像手段２１におけるＣＭＯＳセンサ２８の電子シャッタの状態遷移図である。この状態遷移図において、定義されているＣＭＯＳセンサ２８の電子シャッタ状態は６個あり、低速シャッタ速度制御信号生成時は、常に上記６個のいずれかの状態にある。これらの状態間にある矢印は状態の遷移を示す。
【０１０２】
低速シャッタ速度制御信号生成部９８は、垂直同期期間Ｖ毎に輝度平均値算出手段８６から入力される低速輝度平均値の輝度レベルに応じて、低速シャッタ制御信号を生成する。生成された制御信号により、電子シャッタ回路４９を制御することで、電子シャッタの露出状態を現在の状態から外にむいている矢印の方向へ遷移させる。電子シャッタの露出状態は矢印の低速輝度レベル範囲と入力された低速輝度平均値の低速輝度レベル範囲とが一致する矢印の先の方向へと遷移する。垂直同期期間Ｖ毎に上記処理動作を繰り返し実行することにより、低速シャッタ速度制御信号生成が適切に行われる。
【０１０３】
図１２の状態遷移図を図１１に示される低速輝度平均値の推移を例に挙げて説明する。
【０１０４】
図１２には低速輝度平均値の状態に応じた６個の状態が定義され、図示されている。定義される６個の状態は、輝度平均値算出手段８６から入力された直後の初期状態を示す状態（以下、初期状態Ｓとする）が１個と、露出の具合を示す状態が３個と、保護時間中の露出補正待機状態が２個とに大別される。
【０１０５】
露出の具合を示す３個の状態は、露出過剰状態ＳＯと、露出不足状態ＳＬと、露出適正状態ＳＢとがある。ここでいう露出不足状態ＳＬとは、輝度レベルが適正範囲以下であり、ＣＭＯＳセンサ２８に露光する時間が適正時間よりも短い状態、すなわち、シャッタ速度が適正な撮像画像を得るには速すぎる状態を言う。また、露出適正状態ＳＢとは、輝度レベルが適正範囲であり、ＣＭＯＳセンサ２８に露光する時間が適切、すなわち、シャッタ速度が適正な状態を言う。そして、露出過剰ＳＯとは、輝度レベルが適正範囲以上であり、ＣＭＯＳセンサ２８に露光する時間が適正時間よりも長い状態、すなわち、シャッタ速度が適正な撮像画像を得るには遅すぎる状態を言う。
【０１０６】
露出補正待機状態を示す２個の状態は、第１の露出補正待機状態ＳＷＵと、第２の露出補正待機状態ＳＷＬとがある。ここでいう第１の露出補正待機状態ＳＷＵは、入力される低速輝度平均値が露出適正状態ＳＢから適正輝度平均値レベル幅ＷＢの適正範囲の上限値を超過、すなわち露出過剰となり、保護時間カウント中の露出補正待機状態である。また、第２の露出補正待機状態ＳＷＬ入力される低速輝度平均値が露出適正状態ＳＢから適正輝度平均値レベル幅ＷＢの適正範囲の下限値未満、すなわち露出不足となり、保護時間カウント中の露出補正待機状態である。
【０１０７】
状態遷移は低速シャッタ速度制御信号生成部９８に低速輝度平均値が入力されることで行われる。状態遷移のトリガとなるイベントは、入力される低速輝度平均値の輝度レベルの範囲によるものが５通りと、露出補正待機状態に関するもの１通りと、合計６通りある。これらのイベントが低速シャッタ速度制御信号生成部９８で発生した場合、電子シャッタの露出状態は遷移する。
【０１０８】
入力される低速輝度平均値の輝度レベルの範囲により発生するイベントは、適正範囲ＷＢに関するものが３つ、適正範囲ＷＢ以外の範囲（以下、適正範囲外とする）Ｗに関するものが２つに分類される。適正範囲ＷＢに関するイベントは、適正範囲ＷＢの中心値、すなわち、最適値ＰＢ入力と、適正上部範囲ＷＢＵ入力と、適正下部範囲ＷＢＬ入力との３つである。一方、適正範囲外Ｗは、輝度レベルが適正範囲上限値より大きく最大値までの範囲（以下、適正範囲超とする）ＷＵ入力と、輝度レベルが適正範囲下限値より小さく最小値までの範囲（以下、適正範囲未満）ＷＬ入力との２つである。
【０１０９】
露出補正待機状態に関するイベントは、露出補正待機状態から保護時間が経過した場合発生する保護時間経過のイベントがある。
【０１１０】
図１２において、低速シャッタ用計算処理部９２の初期状態は、初期状態Ｓである。初期状態Ｓで起こり得るイベントは、適正範囲未満ＷＬ入力と、適正下部範囲ＷＢＬ入力と、最適値ＰＢ入力と、適正上部範囲ＷＢＵ入力と、適正範囲超ＷＵ入力とがある。
【０１１１】
図１１において、輝度平均値算出手段８６から入力される低速輝度平均値（初期値）は、適正範囲未満ＷＬにあるから実行されるイベントは適正範囲未満ＷＬ入力となり、電子シャッタの露出状態が露出不足状態ＳＬに遷移する。
【０１１２】
露出不足状態ＳＬで起こり得るイベントは次の３つがある。
１：適正範囲未満ＷＬ入力の場合は、露出不足状態ＳＬのままで、状態は遷移しない。この時、電子シャッタ速度は粗調整される。
２：適正下部範囲ＷＢＬ入力の場合は、露出不足状態ＳＬのままで露出不足状態ＳＬの状態は遷移しない。この時、電子シャッタ速度は微調整される。
３：最適値ＰＢ入力の場合は、露出不足状態ＳＬから露出適正状態ＳＢに遷移させる。
【０１１３】
電子シャッタ速度変更期間Ｔａでは、イベントが適正下部範囲ＷＢＬ入力であるため、上記２項に該当するイベントが起こる。すなわち、電子シャッタ速度を微調整する。
【０１１４】
微調整を繰り返し、イベントが適正下部範囲ＷＢＬ入力から適正上部範囲ＷＢＵ入力になると、このイベントを示す矢印に従って、電子シャッタの露光状態を露出不足状態ＳＬから露出適正状態ＳＢに遷移させる。
【０１１５】
露出適正状態ＳＢで処理されるイベントは次の２つがある。
１：イベントが適正範囲超ＷＵ入力の場合、保護時間カウンタをリセットし、電子シャッタの露光状態を第１の保護時間待機状態ＳＷＵに遷移する。
２：イベントが適正範囲未満ＷＬ入力の場合、保護時間カウンタをリセットし、電子シャッタの露光状態を第２の保護時間待機状態ＳＷＬに遷移する。
【０１１６】
入力される低速輝度平均値が適正範囲超ＷＵに入ると、保護時間カウンタをリセットし、保護時間カウンタのカウントを開始する。そして、電子シャッタの露出状態を露出適正状態ＳＢから第１の保護時間待機状態ＳＷＵに遷移させる。
【０１１７】
第１の保護時間待機状態ＳＷＵで処理されるイベントは次の３つがある。
１：イベントが適正上部範囲ＷＢＵ入力の場合、保護時間カウンタをリセットし、露出適正状態ＳＢに遷移する。
２：イベントが適正下部範囲ＷＢＬ入力の場合、保護時間カウンタをリセットし、露出適正状態ＳＢに遷移する。
３：イベントが保護時間Ｔｃ経過の場合、露出過剰状態ＳＯに遷移する。
【０１１８】
図１１の適正輝度レベル状態期間Ｔｂ以降の期間において、低速輝度平均値が適正範囲超ＷＵとなる時間ｔａで、露出適正状態ＳＢから第１の保護時間待機状態ＳＷＵに遷移する。そして、低速輝度平均値が適正範囲超ＷＵとなるｔａから適正範囲ＷＢに戻る時間ｔｂまでの期間Ｔｄでは、第１の保護時間待機状態ＳＷＵを保つ。
【０１１９】
第１の保護時間待機状態ＳＷＵの状態が期間Ｔｄ（Ｔｄは保護時間Ｔｃ未満）継続後、低速シャッタ速度制御信号生成部９８に入力される低速輝度平均値が低下し、適正範囲Ｗに戻る時間ｔｂで、イベントが適正上部範囲ＷＢＵ入力となり、保護時間カウンタをリセットし、露出適正状態ＳＢに遷移する。そして、適正範囲Ｗに戻る時間ｔｂから適正範囲未満ＷＬとなる時間ｔｃまでの期間Ｔｅでは、露出適正状態ＳＢを保つ。
【０１２０】
入力される低速輝度平均値が更に低下し、低速輝度平均値が適正範囲未満ＷＬとなる時間ｔｃで、イベントが適正範囲未満ＷＬ入力となり、保護時間カウンタのリセットおよびカウントを開始し、第２の保護時間待機状態ＳＷＬに遷移する。そして、適正範囲未満ＷＬとなる時間ｔｃから適正範囲ＷＢに戻る時間ｔｄまでの期間Ｔｆでは、第２の保護時間待機状態ＳＷＬを保つ。
【０１２１】
第２の保護時間待機状態ＳＷＬの状態が期間Ｔｆ（Ｔｆは保護時間Ｔｃ未満）継続後、低速シャッタ速度制御信号生成部９８に入力される低速輝度平均値が上昇し、適正範囲Ｗに戻る時間ｔｄで、イベントが適正下部範囲ＷＢＬ入力となり、保護時間カウンタをリセットし、露出適正状態ＳＢに遷移する。そして、適正範囲ＷＢに戻る時間ｔｄから適正範囲超ＷＵとなる時間ｔｅまでの期間Ｔｇでは、露出適正状態ＳＢを保つ。
【０１２２】
入力される低速輝度平均値が更に上昇し、イベントが適正範囲超ＷＵとなる時間ｔｅで、イベントが適正範囲超ＷＵとなり、保護時間カウンタをリセットおよびカウントを開始し、状態を第１の保護時間待機状態ＳＷＵに遷移する。そして、低速輝度平均値が適正範囲超ＷＵとなる時間ｔｅから適正範囲超ＷＵのまま保護時間カウンタの設定時間、すなわち、保護時間Ｔｃが経過した時間ｔｆで、イベントが保護時間Ｔｃ経過となり、露出過剰状態ＳＯに遷移する。
【０１２３】
以降、露出過剰状態ＳＯでは、露出不足状態ＳＬと逆方向にシャッタ速度を変化させる動作となり、最終的には露出適正状態ＳＢとなる。
【０１２４】
一方、低速用ＡＧＣ回路制御信号生成部９９は図１に示されるＡＧＣ回路３１を制御するＡＧＣ制御信号を生成する。生成されたＡＧＣ制御信号はＡＧＣ回路３１へ伝送され、ＡＧＣ回路３１の制御がなされる。
【０１２５】
また、低速シャッタ用計算処理部９２は、明るさの微小な変化に応じて電子シャッタ速度を微調整する低速シャッタ微調整処理部１００を備え、低速電子シャッタ速度制御信号の制御を行う。
【０１２６】
低速シャッタ微調整処理部１００は、長周期の画面輝度変動を補償するための処理である。照明光源の輝度変動、例えば、蛍光灯フリッカの周波数と、ＣＭＯＳセンサ２８のフレーム周波数とが自然数倍で極めて近接している場合、折り返し歪による極めて長周期の画面輝度変動を生じる。この画面輝度変動を低速シャッタ微調整処理部１００で検出し、当該変動を抑圧するように処理している。
【０１２７】
図１３は、照明光源とＣＭＯＳセンサ２８のフレーム周期との関係で生じる輝度変動を測定し、グラフ化した一例である。このグラフの縦軸は低速シャッタ速度制御信号生成部９８から入力される低速輝度平均値であり、グラフの横軸はフレーム周期（時間軸）を表している。図１３によれば、ＣＭＯＳセンサ２８のフレーム周期との関係で生じる輝度変動波形は緩やかな傾きであるが、輝度変動波形の振幅は３０％程度と大きい。従って、照明光源とＣＭＯＳセンサ２８のフレーム周期との関係で生じる輝度変動によって、低速輝度平均値の輝度レベルが適正範囲外Ｗとなる場合が生じる。
【０１２８】
低速シャッタ速度制御信号生成部９８で生成された低速シャッタ速度制御信号による電子シャッタ回路４９の制御のみの場合は、低速輝度平均値が適正範囲外Ｗとなると、保護時間Ｔｃ経過後にＣＭＯＳセンサ２８の電子シャッタを制御し、図１２に示される露出適正状態ＳＢに合わせてしまう。更に露出は低速輝度平均値が上下し、各々上部と下部で電子シャッタ速度を変化させて露出適正状態ＳＢに合わせてしまう為に、画面は極めて低い周期の発振を生じてしまう。
【０１２９】
長周期の画面輝度変動に対する改善を次の方法で実行する。
【０１３０】
画面輝度変動が、例えば、１フレーム周期に±１％以内である緩やかな画面輝度変動を検出し、微少な電子シャッタ制御によって、１フレーム毎に露出適正状態ＳＢに追い込む。緩やかな画面輝度変動に対しては、保護時間Ｔｃを設けずに露出適正状態ＳＢに調節する。
【０１３１】
低速シャッタ微調整処理部１００が実行する緩やかな画面輝度変動に対する微調整処理について詳細を説明する。
【０１３２】
低速シャッタ微調整処理部１００が実行する微調整処理は、低速シャッタ用計算処理部９２が露出適正状態ＳＢと判断している場合にのみ動作を行う。微調整処理動作は、露出適正状態ＳＢ中に低速シャッタ用計算処理部９２が露出適正状態ＳＢの低速輝度平均値を記憶し、この記憶した低速輝度平均値を初期値とする。
【０１３３】
初期値に対して１フレーム周期に±１％以内の範囲で低速輝度平均値が変動した場合、（初期値）／（平均値）を求める。（初期値）／（平均値）から演算した演算結果は、低速シャッタ用計算処理部９２で露光時間のａ％となる露出補正時間Δｔが図１４に示される電子シャッタ回路４９が備える１ＣＬＯＣＫ単位シフトレジスタ１０１を何段シフトさせれば露出適正状態ＳＢとなるかを算出する。
【０１３４】
露出適正状態ＳＢとする１ＣＬＯＣＫ単位シフトレジスタ１０１のシフトレジスタ段数の算出は、マイコン回路４８自身が現在のシャッタ速度を認知している為、露光時間のａ％に対応する露出補正時間Δｔは、
【数１】
露出補正時間Δｔ（ｓｅｃ）＝現在シャッタ速度（ｓｅｃ）×ａ／１００
であり、例えば、露光時間の１％に対応する露出補正時間Δｔ１は、
【数２】
露出補正時間Δｔ１（ｓｅｃ）＝現在シャッタ速度（ｓｅｃ）×１／１００
となる。また、露出補正するための１ＣＬＯＣＫ単位シフトレジスタ１０１のシフトレジスタ段数は、
【数３】
シフトレジスタ段数
＝露出補正時間Δｔ（ｓｅｃ）＝マスターロックの１周期（ｓｅｃ）
である。
【０１３５】
算出されたシフトレジスタ段数を電子シャッタ回路４９が備える１ＣＬＯＣＫ単位シフトレジスタ１０１への制御信号とすれば、極めて微少な露光時間調整が可能となり、１フレーム周期単位で±１％の露光時間調整が実現できる。
【０１３６】
尚、低速シャッタ微調整処理部１００が実行する微調整処理はＣＣＤセンサ出力信号のＡＧＣ（自動利得制御）でも適用できる。しかし、Ｓ／Ｎ（信号対雑音比）を考慮した場合、前記方式を適用した方が増幅度アップに伴うノイズが少ない。
【０１３７】
一方、高速シャッタ用計算処理部９３も低速シャッタ用計算処理部９２と同様の機能を有する高速シャッタ速度制御信号生成部１０３と、高速用ＡＧＣ回路制御信号生成部１０４と、高速シャッタ微調整処理部１０５とを備える。高速シャッタ用計算処理部９３の処理動作は、入力される信号が高速輝度平均値である点以外は低速シャッタ用計算処理部９２と同様である。
【０１３８】
特性変換制御信号生成部９５には、低速シャッタ用計算処理部９２および高速シャッタ用計算処理部９３で生成された低速シャッタ速度制御信号および高速シャッタ速度制御信号が入力される。特性変換制御信号生成部９５は入力されたシャッタ速度制御信号から特性変換制御信号を生成する。特性変換制御信号生成部９５に低速シャッタ速度制御信号が入力された場合は、図１に示される低速シャッタ用特性変換回路４１を制御する低速特性変換制御信号が得られる。
【０１３９】
一方、高速シャッタ速度制御信号が入力された場合は、図１に示される高速シャッタ用特性変換回路４５を制御する高速特性変換制御信号が得られる。生成された低速特性変換制御信号および高速特性変換制御信号は、低速シャッタ用特性変換回路４１および高速シャッタ用特性変換回路４５に伝送される。
【０１４０】
低速特性変換制御信号および高速特性変換制御信号は、低速シャッタの画像と高速シャッタ画像を合成しダイナミックレンジ拡大画像を構築する際、合成画像の最適化を図るための制御信号である。低速特性変換制御信号および高速特性変換制御信号は、低速シャッタ用特性変換回路４１および高速シャッタ用特性変換回路４５の制御に用いる。
【０１４１】
画像合成の際に生ずる問題点として、２枚の画像を単純に加算しただけでは、拡大率が増大すると共に合成画面の階調特性に非直線歪みを生じ、コントラストのとれない画像となる問題点がある。従って、２枚の画像を加算する前にダイナミックレンジ拡大率に応じて画像信号の特性を変換し、非直線歪みを抑えてコントラスト低下の改善を図るものである。
【０１４２】
低速シャッタ用特性変換回路４１および高速シャッタ用特性変換回路４５の特性変換制御について説明する。
【０１４３】
まず、ダイナミックレンジ拡大率を以下の式より演算する。
ダイナミックレンジ拡大率＝低速シャッタ制御信号／高速シャッタ制御信号
ここで演算されるダイナミックレンジ拡大率は露出制御完了時点でのダイナミックレンジ拡大率である。
【０１４４】
このダイナミックレンジ拡大率の値は、特性変換制御信号生成部９５の演算手段としての計算処理手段９１で演算され、演算結果は、低速特性変換制御信号および高速特性変換制御信号として出力される。
【０１４５】
低速シャッタ用特性変換回路４１および高速シャッタ用特性変換回路４５は、入力Ｘ−出力Ｙの特性としてＸ１〜Ｘ０．７とｌｏｇ１０１〜１０のテーブルを持っており、ダイナミックレンジ拡大率に応じてテーブルを切り換え、画像信号に対する非直線歪みの改善を行う。以下にダイナミックレンジ拡大率に対するテーブル選択の関係を示す。
ダイナミックレンジ拡大率＜１６の場合 …… Ｘ１のテーブルを選択
１６≦ダイナミックレンジ拡大率≦６４の場合 …… Ｘ０．７のテーブルを選択
６４＜ダイナミックレンジ拡大率の場合 …… Ｘ１のテーブルを選択
【０１４６】
特性変換制御信号生成部９５は、この条件分岐の結果を低速特性変換制御信号および高速特性変換制御信号として生成し、低速シャッタ用特性変換回路４１および高速シャッタ用特性変換回路４５のテーブル切り換えを自動制御で行う。
【０１４７】
合成比率制御信号生成部９６は２つの画像信号、すなわち、低速シャッタ用画像信号および高速シャッタ用画像信号の合成比率を制御する合成比率制御信号を生成する。生成された合成比率制御信号は図１に示される画像合成手段としての加算回路３４に伝送される。
【０１４８】
合成比率制御の目的は特性変換制御と同様に低速シャッタの画像と高速シャッタ画像の合成を最適化し、合成画像のコントラストを高めるものである。画像合成の際の問題点としては、ダイナミックレンジ拡大率を大きく取っていった場合、白浮きした画像となりコントラストの劣化が大きくなる問題点がある。
【０１４９】
このコントラストの劣化の原因は、低速シャッタ画像のほとんどが飽和エリアとなり、飽和信号に高速シャッタ画像の信号が乗るためである。コントラストの劣化を改善するために、拡大率の増加と共に高速シャッタ画像の合成割合を大きくしていき、画像の白浮きを抑圧することでコントラスト低下の補正を図る。特に、合成画像のコントラストの向上には、特性変換制御と同時にこの合成比率制御を行うと効果が高い。
【０１５０】
合成比率制御信号生成部９６の動作は、特性変換制御信号生成部９５と同様にダイナミックレンジ拡大率を演算し、演算結果から低速シャッタと高速シャッタの画像合成比率を切り換えるための合成比率制御信号を生成する。この合成比率制御信号は図１に示される画像信号合成手段としての加算回路３４へ送られ、２枚の画像の合成配分、すなわち合成比率を自動制御する。
【０１５１】
ダイナミックレンジ拡大率による合成比率制御の関係は以下の通りである。
ダイナミックレンジ拡大率＝１のとき Ｌ１００％，Ｈ０％
１＜ダイナミックレンジ拡大率＜６のとき Ｌ９４％，Ｈ６％
６≦ダイナミックレンジ拡大率≦８のとき Ｌ８８％，Ｈ１２％
８＜ダイナミックレンジ拡大率のとき Ｌ７５％，Ｈ２５％
（注）Ｌ：低速シャッタ画像、Ｈ：高速シャッタ画像
但し、上記の合成比率は一例であって、必要に応じて変えても良い。
【０１５２】
電子シャッタ回路４９の回路ブロック図を図１４に示す。図１４に示される電子シャッタ回路４９は、低速シャッタパルス生成手段１０７と、高速シャッタパルス生成手段１０８と、シャッタパルス切換回路１０９とを備える。
【０１５３】
電子シャッタ回路４９には低速シャッタ速度制御信号と、ＣＬＫパルス、ＨＤパルス、ＶＤパルスおよびフィールド情報（以下、ＦＩとする）とが入力される。
【０１５４】
電子シャッタ回路４９に入力された低速シャッタ速度制御信号と、ＣＬＫパルス、ＨＤパルス、ＶＤパルスおよびＦＩは、低速シャッタパルス生成手段１０７に入力され、低速シャッタパルス生成手段１０７で低速側の電子シャッタを切るための低速シャッタパルスを生成する。また、電子シャッタ回路４９に入力された高速シャッタ速度制御信号と、ＣＬＫパルス、ＨＤパルス、ＶＤパルスおよびＦＩは、高速シャッタパルス生成手段１０８に入力され、高速シャッタパルス生成手段１０８で高速側の電子シャッタを切るための高速シャッタパルスを生成する。
【０１５５】
生成された低速シャッタパルスおよび高速シャッタパルスはシャッタパルス切換回路１０９に入力される。また、シャッタパルス切換回路１０９にはＦＩも入力され、ＦＩの情報内容に応じて低速シャッタパルスおよび高速シャッタパルスを切り換える。シャッタパルスの切り換えは、ＦＩの情報に基づき、低速シャッタ速度で撮像する場合は低速シャッタパルスを、高速シャッタ速度で撮像する場合は高速シャッタパルスを出力する。シャッタパルス切換回路１０９から出力されたシャッタパルスは撮像手段２１に入力され、撮像手段２１が備えるＣＭＯＳセンサ２８の電子シャッタを制御する。
【０１５６】
低速シャッタパルス生成手段１０７は、水平同期期間Ｈ単位のシャッタパルス生成部（以下、Ｈ周期単位のシャッタパルス生成部とする）１１０と、数十ＣＬＯＣＫ周期単位のシャッタパルス生成部１１１と、ＯＲ回路１１２と、１ＣＬＯＣＫ単位シフトレジスタ１０１とを備える。Ｈ周期単位のシャッタパルス生成部１１０で生成された水平同期期間Ｈ単位のシャッタパルスおよび数十ＣＬＯＣＫ単位のシャッタパルス生成部１１１で生成された数十ＣＬＯＣＫ単位のシャッタパルスはＯＲ回路１１２で多重され、１ＣＬＯＣＫ単位シフトレジスタ１０１に入力される。１ＣＬＯＣＫ単位シフトレジスタ１０１は、ＣＬＯＣＫ単位の露光時間の微調整を行い、シャッタパルスを１ＣＬＯＣＫ単位シフトレジスタ１０１で遅延させることにより得る。この遅延量はマイコン回路４８から入力される制御信号、すなわち、シフトレジスタ段数によって制御される。
【０１５７】
電子シャッタパルス発生タイミングおよび電子シャッタパルス時間について、図１５〜図１８を用いて説明する。
【０１５８】
図１５（Ａ）はＶＤパルス、図１５（Ｂ）は、図１５（Ａ）に示されるＶＤパルスの周期（以下、Ｖ周期とする）の時間スケールで見た電子シャッタパルスの一例を示している。
【０１５９】
電子シャッタパルス発生タイミングは、電荷読出しパルス（図外）入力の直後であり、通常のＴＶカメラと同様の発生タイミングである。すなわち、図１５で説明すれば、図１５に示される時間ｔ１および時間ｔ３で電子シャッタパルスは発生する。図１５（Ｂ）に示される電子シャッタパルスの一例では、時間ｔ１でＨＤパルスの周期（以下、Ｈ周期とする）単位の電子シャッタパルスが、時間ｔ３でＣＬＯＣＫパルスの周期の例えば、８倍等の自然数倍周期（以下、数ＣＬＫ周期とする）単位の電子シャッタパルスが発生している。
【０１６０】
また、電子シャッタパルス時間とは、電子シャッタパルスのパルス幅に対応する時間であり、被写体の画像光をＣＭＯＳセンサ２８に露光する露光時間である。電子シャッタパルス時間の調整は、ＶＤパルス、ＨＤパルスおよびＣＬＯＣＫパルスを用いてなされ、Ｖ周期単位、Ｈ周期単位および数ＣＬＫ周期単位で調整が可能である。
【０１６１】
ＨＤパルスを用いてなされる電子シャッタパルス時間の調整を説明する説明図を図１６（Ａ）および図１６（Ｂ）に、数ＣＬＫ周期の電子シャッタパルス時間の調整を説明する説明図を図１７（Ａ）および図１７（Ｂ）に示す。
【０１６２】
図１６（Ａ）および図１６（Ｂ）は、図１５（Ｂ）に示される時間ｔ１〜時間ｔ３の電子シャッタパルス発生タイミングにおいて、Ｖ周期の一部を拡大した拡大図である。図１６（Ａ）はＶ周期内のＨＤパルスを示し、図１６（Ｂ）は図１６（Ａ）に示されるＨ周期の時間スケールで見た電子シャッタパルスを示している。図１６（Ｂ）に示される電子シャッタパルスの一例では、時間ｔ１でＨ周期の電子シャッタパルスが発生する。
【０１６３】
また、図１７（Ａ）および図１７（Ｂ）は、図１５（Ｂ）に示される電子シャッタパルス発生タイミングにおける細かいパルスであり、時間ｔ３〜時間ｔ５のＶ周期において、一部を拡大した拡大図である。図１７（Ａ）はＶ周期内のＣＬＯＣＫパルス、図１７（Ｂ）は数ＣＬＫ周期の電子シャッタパルスを示している。図１７（Ｂ）に示される電子シャッタパルスの一例では、時間ｔ３で数ＣＬＫ周期の電子シャッタパルスが発生する。
【０１６４】
尚、ＨＤパルスを用いてなされる電子シャッタパルス時間の調整は、図１６（Ｂ）に示されるＨ周期の電子シャッタパルス時間に限らない。最初の電子シャッタパルスが発生した時間ｔ１から時間ｔ３までのＶ周期において、Ｈ周期単位に時間調整が可能である。一方、数ＣＬＫパルスを用いてなされる電子シャッタパルス時間の調整は、図１７（Ｂ）に示される数ＣＬＫ周期の電子シャッタパルス時間に限らない。最初の電子シャッタパルスが発生した時間ｔ３から時間ｔ５までのＶ周期において、数ＣＬＫ周期単位に時間調整が可能である。
【０１６５】
この様なＨ周期単位および数ＣＬＫ周期単位での電子シャッタパルス時間の調整手法は、通常のＣＣＤセンサカメラに適用されている調整手法である。撮像装置２０は、画像の露光時間を１ＣＬＯＣＫ周期で調整を行うことができ、電子シャッタ速度調整のみで微調整処理を行える。この微調整処理は、撮像装置２０の特徴となる点である。
【０１６６】
図１８に電子シャッタパルスをシフトさせ、１ＣＬＯＣＫ周期で露光時間の調整を行う説明図を示す。
【０１６７】
従来の撮像装置における電子シャッタパルス時間は、ＣＬＯＣＫ周期の自然数倍周期単位の調整であり、通常、ＣＬＯＣＫ周期の７，８倍程度であった。このため、電荷読出しパルスの直前で“数ＣＬＫ周期のシャッタパルス”を１パルス切ると、露光時間が５０％程度変化してしまい、露光時間のキザミが粗かった。
【０１６８】
これに対し、撮像装置２０は、低速シャッタ微調整処理部１００および高速シャッタ微調整処理部１０５で微調整処理を行い、１ＣＬＯＣＫ周期単位で電子シャッタパルスをシフトさせ、１ＣＬＯＣＫ周期単位で露光時間の調整を行うことができる。従って、電荷読出しパルスの直前に発生させたシャッタパルスの露光時間調整を数％ずつ行うことができ、露光時間を細かく調整することが可能となる。
【０１６９】
撮像装置２０は、露光時間の細かな調整が可能なため、画像信号の輝度レベルを細かく調整することができ、高輝度部分で極めて早い電子シャッタ速度で撮像を行った画像信号に対して、電子シャッタの露光時間調整のみでフリッカ補正が可能となる。すなわち、本発明のような広ダイナミックレンジを実現する撮像装置２０において、高速シャッタ画像信号のフリッカ補正が電子シャッタのみで可能となる。
【０１７０】
高速シャッタパルス生成手段１０８も低速シャッタパルス生成手段１０７と同様である。高速シャッタパルス生成手段１０８は低速シャッタパルス生成手段１０７と内部構成および動作が全く異ならないので、説明を割愛する。
【０１７１】
第１実施形態を示す撮像装置２０によれば、被写体内の輝度差に応じてカメラダイナミックレンジ拡大率を高速に可変させ、被写体輝度差に最適化した撮像画像を得ることで、被写体として極めて輝度差の大きい画像認識用車載カメラ、屋内、夜間の屋外を同時撮像する監視カメラ等として有効な撮像装置を提供できる。
【０１７２】
第１実施形態を示す撮像装置２０においては、画像信号処理手段としてのアナログ信号処理手段２２およびデジタル信号処理手段２３と、制御手段２４とは、集積化される。集積化される範囲は、種々の形態が可能である。例えば、電子シャッタ回路４９、低速シャッタ用メモリ回路３９、高速シャッタ用メモリ回路４３、低速シャッタ用切換回路４０、高速シャッタ用切換回路４４、低速用特性変換回路４１、高速用特性変換回路４５、画像信号合成手段としての加算回路３４、輝度積算値回路５０、輝度ピーク値検出回路５１、ゲート波形発生回路５２が１つの集積化半導体チップとして構築されても良い。もちろん、上記例に限らず、集積化する場合、図１に示される各構成部位の組み合せは任意である。また、加算回路３４は切換回路でも良い。
【０１７３】
尚、上記の説明では撮像素子としてＣＭＯＳセンサ２８を適用した例を説明したが、本発明は撮像素子にＣＣＤセンサ等の光電素子を用いた場合にも、同様に被写体内の輝度差に応じてカメラダイナミックレンジ拡大率を可変させ、被写体輝度差に最適化した撮像画像を得ることができる。
【０１７４】
［第２実施形態］
本発明の第２実施形態を示す撮像装置２０Ａを図１９に示す。第２実施形態を示す撮像装置２０Ａは、撮像して得られた画像信号のうち、重要度の高い画像情報エリアを選択抽出するエリア選択抽出手段１１３を備えている点以外は、図１に示される第１実施形態の撮像装置２０とほぼ同様である。従って、撮像装置２０と異なる構成部位にのみ符号を付し、全く異ならない構成部位については、同じ符号を付して、説明を省略する。
【０１７５】
図１９によれば、撮像装置２０Ａは、撮像素子にＣＭＯＳセンサ２８を有し、画像を撮像する撮像手段２１と、この撮像手段２１で撮像された１画面分の画像信号のうち、画面範囲から任意のエリアを選択抽出するエリア選択抽出手段１１３と、このエリア選択抽出手段１１３で、選択抽出されたエリアの画像信号を信号処理し、出力する画像信号出力手段１１４とを具備する。
【０１７６】
撮像装置２０Ａの撮像手段２１が備える撮像素子としてのＣＭＯＳセンサ２８で１画面分の画像信号が生成される。この１画面分の画像信号は、エリア選択抽出手段１１３からＣＭＯＳセンサ２８に入力されるエリア選択抽出信号により、１画面分の画像信号の画面範囲から任意のエリアが選択抽出される。そして、ＣＭＯＳセンサ２８は、生成された１画面分の画像信号のうち任意のエリアを選択抽出した画像信号（以下、エリア選択抽出画像信号とする）を出力する。出力されたエリア選択抽出画像信号は、画像信号出力手段１１４に入力される。
【０１７７】
画像信号出力手段１１４に入力されたエリア選択抽出画像信号は、相関二重サンプリング回路（以下、ＣＤＳ回路とする）１１６でエリア選択抽出画像信号に重畳されたノイズが除去され、Ａ／Ｄ変換回路３２でＡ／Ｄ変換され、画像信号処理回路１１７で信号処理される。画像信号処理回路１１７で信号処理されたエリア選択抽出画像信号は、画像信号出力端子２５を介して画像信号出力手段１１４から撮像装置２０Ａの画像信号出力として出力される。また、画像信号処理回路１１７で信号処理されたエリア選択抽出画像信号は、フィードバック信号として、撮像装置２０Ａが備えるエリア選択抽出手段１１３にもフィードバックされる。
【０１７８】
エリア選択抽出手段１１３にフィードバックされるフィードバック信号は、制御回路１１８に入力され、走査パルス生成回路１１９を制御する制御信号が生成される。生成された制御信号は、走査パルス生成回路１１９に入力され、走査パルスの生成が制御される。走査パルス生成回路１１９で生成された走査パルスは、撮像素子としてのＣＭＯＳセンサ２８が出力するエリア選択抽出画像信号のエリアを選択するエリア選択手段１２０に入力される。エリア選択手段１２０は、入力された走査パルスをトリガにして、エリア選択抽出情報を出力し、出力されたエリア選択抽出情報は撮像素子駆動回路１２１に入力される。
【０１７９】
また、走査パルス生成回路１１９で生成された走査パルスは、撮像素子駆動回路１２１にも直接入力される。撮像素子駆動回路１２１は、入力された走査パルスから撮像素子としてのＣＭＯＳセンサ２８を駆動させる転送パルスおよびエリア選択抽出信号を生成し、生成された転送パルスおよびエリア選択抽出信号は、ＣＭＯＳセンサ２８に入力される。
【０１８０】
撮像装置２０Ａは、撮像素子であるＣＭＯＳセンサ２８を有することで、撮像から撮像素子に蓄積された蓄積電荷、すなわち、画像信号の読出し時間の大幅な短縮を図っている。また、エリア選択抽出手段１１３を備えることで、図１９に示される撮像装置２０Ａ内の画像信号出力手段１１４における画像信号処理時間の短縮を図っている。撮像装置２０Ａは、撮像素子からの画像信号の読出し時間短縮および画像信号出力手段１１４での画像信号処理時間短縮によって、撮像から画像信号出力までの所要時間短縮を図っている。
【０１８１】
撮像装置２０Ａは、撮像から画像信号出力までの所要時間短縮により、高速制御が要求される場合、例えば、移動体が走行ルート上にある障害物を検知し、衝突しないように回避する等の制御を行う場合において、第１実施形態を示す撮像装置２０と比較するとより適した撮像装置となる。すなわち、撮像装置２０Ａは、制御情報取得の用途で移動体に設置する撮像装置として有効な撮像装置である。
【０１８２】
まず、撮像装置２０Ａの撮像素子としてのＣＭＯＳセンサ２８による画像信号の読出し時間の短縮効果について説明する。
【０１８３】
図２０（Ａ）および図２０（Ｂ）に例えば、６４０×４８０画素のＣＣＤセンサとＣＭＯＳセンサ２８で比較した場合におけるＣＣＤセンサとＣＭＯＳセンサ２８からの画像信号の読出し時間、すなわち、ＣＣＤセンサとＣＭＯＳセンサ２８に蓄積された蓄積電荷の読出し時間について示す。
【０１８４】
図２０（Ａ）に示されるＣＣＤセンサの場合は、蓄積電荷の読出しに要する時間、すなわち、転送パルス（撮像素子駆動信号）が入力され、全ての画素１２３から蓄積電荷を垂直転送部１２４に転送し、垂直転送部１２４に転送された蓄積電荷を順次読み出すまで、約１／３０ｓｅｃ要する。
【０１８５】
一方、図２０（Ｂ）に示されるＣＭＯＳセンサ２８の場合は、転送パルス（撮像素子駆動信号）が入力された直後、どの画素でも（ＣＭＯＳセンサでは転送パルスは１つでなく各画素（素子）でタイミングが異なるため）蓄積電荷をほとんど瞬時（約３０ｎｓｅｃ）に画像信号読出しライン１２５から読み出すことができる。このことから、撮像素子にＣＭＯＳセンサ２８を有することで、撮像装置２０Ａは、撮像素子からの蓄積電荷の読出し時間を大幅に短縮できる。
【０１８６】
ここで、撮像素子にＣＣＤセンサを備えた撮像装置２０と、撮像素子にＣＭＯＳセンサ２８を備えた撮像装置２０Ａとを車両等の移動体に設置し、時速１５０ｋｍ（≒秒速４１．７ｍ）で走行した場合を比較する。撮像装置２０では、撮像素子のＣＣＤセンサからの蓄積電荷の読出し時間、すなわち、約１／３０ｓｅｃ経過後では車は約１．４ｍ進んでしまうのに対し、撮像装置２０Ａでは、撮像素子であるＣＭＯＳセンサ２８からの蓄積電荷読出し時間経過後において、ほぼ０ｍである。
【０１８７】
従って、各々の撮像装置が前方にある障害を検知し、衝突回避のため、移動体を停止する制御を行う場合、撮像装置２０を設置した移動体は、制動動作に入るまでに約１．４ｍ空走してしまうのに対し、撮像装置２０Ａを設置した移動体は、ほぼ空走０ｍで制動動作に入れることを意味する。また、移動体の移動速度がさらに高速になれば、蓄積電荷読出し時間中の空走距離の違いは、より顕著なものとなる。
【０１８８】
次に、図１９に示される撮像装置２０Ａが備えるエリア選択手段１２０および撮像素子駆動回路１２１について説明する。
【０１８９】
エリア選択手段１２０は、垂直方向の走査範囲を選択する垂直位置選択回路１２７と、水平方向の水平位置選択回路１２８とを備える。エリア選択手段１２０による画像信号の選択抽出エリアの設定は、垂直方向プリセット端子１２９および水平方向プリセット端子１３０から垂直位置選択回路１２７および水平方向の水平位置選択回路１２８にＣＭＯＳセンサ２８を走査する走査範囲情報を予めインプットしておくことにより実施される。
【０１９０】
垂直方向のエリア選択抽出は、垂直方向プリセット端子１２９から垂直位置選択回路１２７にＣＭＯＳセンサ２８を走査する走査範囲情報を予めインプットする。走査範囲情報は、ＣＭＯＳセンサの垂直方向の有効走査線に対して、各有効走査線毎に０，１を垂直位置選択回路１２７にインプットすることで行われる。
【０１９１】
また、垂直位置選択回路１２７には、走査範囲情報の他に走査パルス生成回路１１９からの走査パルスが入力される。入力された走査パルスをトリガにして、インプットされた０，１情報がＣＭＯＳセンサ２８を駆動する撮像素子駆動回路１２１に入力される。
【０１９２】
水平方向のエリア選択抽出も垂直方向エリア選択抽出と同様にして、水平方向プリセット端子１３０から水平位置選択回路１２８にＣＭＯＳセンサ２８を走査する走査範囲を０，１でインプットする。そして、走査パルス生成回路１１９から入力される走査パルスをトリガにして、インプットされた０，１情報がＣＭＯＳセンサ２８を駆動する撮像素子駆動回路１２１に入力される。
【０１９３】
撮像素子駆動回路１２１は、垂直方向の有効走査線の走査を行う垂直シフトレジスタ１３２と、水平方向の有効走査線の走査を行う水平シフトレジスタ１３３とを備える。垂直シフトレジスタ１３２は、走査パルス生成回路１１９からの走査パルスをトリガにして、垂直位置選択回路１２７からの走査範囲情報、すなわち、０，１情報に応じてＣＭＯＳセンサ２８を駆動する駆動信号を生成する。また、水平シフトレジスタ１３３に対しても、走査パルス生成回路１１９からの走査パルスをトリガにして、水平位置選択回路１２８からの走査範囲情報、すなわち、０，１情報に応じてＣＭＯＳセンサ２８を駆動する駆動信号（以下、ＣＭＯＳセンサ駆動信号とする）を生成する。
【０１９４】
垂直シフトレジスタ１３２および水平シフトレジスタ１３３で生成されたＣＭＯＳセンサ駆動信号は、ＣＭＯＳセンサ２８に伝送される。そして、入力されたＣＭＯＳセンサ駆動信号により、ＣＭＯＳセンサ２８は、画像信号の選択抽出を行う。
【０１９５】
画像信号の選択抽出は、走査範囲情報として、１がインプットされた有効走査線に対しては、走査実施領域として画像信号の抽出を行う。一方、０がインプットされた有効走査線は走査実施不要領域として画像信号の抽出がなされない。選択抽出された画像信号は、第１実施形態を示す撮像装置２０と同様にして、信号処理手段で画像信号処理される。
【０１９６】
撮像装置２０Ａが備える画像信号処理手段は、第１実施形態を示す撮像装置２０と同じであるが、画像信号処理する情報量は、画像信号を選択抽出し、情報量を絞り込む分だけ素早く画像信号処理される。そして、画像信号処理手段で画像信号処理された画像信号は、画像信号出力手段１１４から出力される。
【０１９７】
図２１は、撮像装置２０Ａに設置する一例として車載カメラとして用いた例を示す説明図である。車載カメラにおいては、画面中央部付近から画面上方にかけては、空１３５であり、車１３６、道路１３７、道路上の白線１３８等の被写体は画面中央付近より画面下方に多い。従って、車載カメラでは、画面中央付近より画面下方部を走査実施領域として設定し、その他の部分を走査実施不要領域として設定すれば、車１３６、道路１３７、道路上の白線１３８等の被写体がある重要度の高い領域の画像を素早く得ることができる。
【０１９８】
第２実施形態を示す撮像装置２０Ａによれば、撮像素子にＣＭＯＳセンサ２８を有することで、光電変換後にＣＭＯＳセンサ２８からの画像信号の読出しをほぼ瞬時に行うことが可能となる。また、エリア選択抽出手段１１３を備えることで、画像信号のうち重要度の高いエリアを選択抽出し、信号処理に必要な処理時間を短縮することが可能となる。
【０１９９】
このことから、撮像装置２０Ａは、撮像から画像信号出力までの所要時間短縮を実現し、高速制御が要求される場合、例えば、移動体が走行ルート上にある障害物を検知し、衝突しないように回避する等の制御を行う場合において、制御情報取得のために移動体に設置する撮像装置として有効である。
【０２００】
尚、第２実施形態を示す撮像装置２０Ａを設置する移動体は、車両を例に説明したが、車両に限定されない。撮像装置２０Ａを設置する移動体は、車両、船舶、航空機等、撮像装置２０Ａを設置可能なあらゆる移動体を包含している。
【０２０１】
以上、撮像装置２０，２０Ａによれば、被写体内の輝度差に応じてカメラダイナミックレンジ拡大率を高速に可変させることができるので、被写体輝度差に最適化した撮像画像を得ることができる。この結果、例えば、認識用車載カメラ、屋内、夜間の屋外を同時撮像する監視カメラ等のように被写体として極めて輝度差の大きい画像を撮像する必要がある場合に有効な撮像装置を提供できる。
【０２０２】
また、撮像装置２０，２０Ａは、撮像素子にＣＭＯＳセンサ２８を用いることで、読み出し時間を短縮することができるので、撮像から画像処理完了までの所要時間を短縮することができる。さらに、撮像装置２０Ａは、エリア選択抽出手段１１３を備えるので、撮像画面範囲内のうち、特に重要度の高いエリアを選択抽出することができ、画像信号処理する画像信号情報量を絞り込むことができる。従って、撮像から画像処理完了までの所要時間をより短縮することができる。
【０２０３】
すなわち、撮像装置２０，２０Ａは、撮像から画像処理完了までの所要時間を短縮することができ、被写体が刻一刻と変化する移動体からの撮像を行うのに適した撮像装置であり、特に、移動体に設置される撮像装置からの画像信号を制御情報として用いて、この移動体を制御する等、撮像装置からの撮像情報を用いて次の動作を素早く制御する必要がある場合に有効である。
【０２０４】
【発明の効果】
本発明に係る撮像装置によれば、被写体が刻一刻と変化する移動体からの撮像を行うのに有効な撮像装置を提供できる。特に、移動体に設置される撮像装置からの画像信号を制御情報として用いて、この移動体を制御する等、撮像装置からの撮像情報を用いて次の動作を素早く制御する必要がある場合において、有効である。
【図面の簡単な説明】
【図１】 本発明に係る第１実施形態を示す撮像装置の一実施例を示す回路ブロック図。
【図２】 本発明に係る撮像装置における低速シャッタ画像信号および高速シャッタ画像信号の画像信号合成を説明する説明図。
【図３】 撮像装置に備えられる撮像素子の撮像特性の説明図。
【図４】 本発明に係る撮像装置の信号処理出力特性を示す説明図。
【図５】 本発明に係る撮像装置で撮影される撮像画面の分割例を示す説明図。
【図６】 図１に示される輝度積算値回路のブロック図。
【図７】 図１に示される輝度ピーク値検出回路のブロック図。
【図８】 図１に示されるゲート波形発生回路のブロック図。
【図９】 図１に示されるマイコン回路のブロック図。
【図１０】 撮像した画面が分割された画像の処理内容の説明図であり、（Ａ）は低速輝度積算値を示す画面、（Ｂ）は低速輝度ピーク値を示す画面、（Ｃ）は低速輝度積算値を示す画面において、低速輝度積算値および低速輝度ピーク値から飽和エリアを算出する画面、（Ｄ）高速輝度積算値を示す画面。
【図１１】 本発明に係る撮像装置に備えられる輝度平均値算出手段からの輝度平均値の推移を示す説明図（グラフ）。
【図１２】 本発明に係る撮像装置に備えられる撮像素子の電子シャッタ露出の制御状態の遷移を示す状態遷移図。
【図１３】 交流照明光源による画面輝度変動を示す説明図。
【図１４】 本発明に係る撮像装置に備えられる電子シャッタ回路の電子シャッタパルス発生を示す内部ブロック図。
【図１５】 （Ａ）はＶＤパルスを示し、（Ｂ）は電子シャッタパルスの発生タイミングをＶ周期の時間スケールで見た場合を示す説明図。
【図１６】 （Ａ）は図１５に示されるＶ周期（ｔ１〜ｔ３）内のＨＤパルスを示し、（Ｂ）は電子シャッタパルスの発生タイミングをＨ周期の時間スケールで見た場合を示す説明図。
【図１７】 （Ａ）は図１５に示されるＶ周期（ｔ３〜ｔ５）内の数ＣＬＫパルスを示し、（Ｂ）は電子シャッタパルスの発生タイミングを数ＣＬＫ周期の時間スケールで見た場合を示す説明図。
【図１８】 （Ａ）はＶ周期内の数ＣＬＫパルスを示し、（Ｂ）は数ＣＬＫ周期の電子シャッタパルスがシフトレジスタにより、１ＣＬＯＣＫ単位で位相が可変する様子を示す説明図。
【図１９】 本発明に係る第２実施形態を示す撮像装置の一実施例を示す回路ブロック図。
【図２０】 本発明に係る撮像装置に備えられる撮像素子の違いによる蓄積電荷の読出し時間の違いを説明する図であり、（Ａ）はＣＣＤセンサの場合、（Ｂ）はＣＭＯＳセンサの場合を示す説明図。
【図２１】 本発明に係る第２実施形態を示す撮像装置を移動体に設置する一例として車載カメラとして用いた例を示す説明図。
【図２２】 従来の撮像装置において、（Ａ）はＣＣＤセンサ出力、（Ｂ）は撮像装置の画像出力を示す説明図。
【図２３】 従来の撮像装置の回路ブロック図。
【符号の説明】
２０ 撮像装置
２１ 撮像手段
２２ アナログ信号処理手段（画像信号処理手段）
２３ デジタル信号処理手段（画像信号処理手段）
２４ 制御手段
２５ 画像信号出力端子（画像信号出力手段）
２７ 撮像レンズ
２８ ＣＭＯＳセンサ（撮像素子）
３１ ＡＧＣ（自動利得制御）回路
３２ Ａ／Ｄ変換回路
３３ 画像信号処理実行手段
３４ 加算回路（画像信号合成手段）
３５ Ｄ／Ａ変換回路
３７ 低速シャッタ用信号処理手段
３８ 高速シャッタ用信号処理手段
３９ 低速シャッタ用メモリ回路
４０ 低速シャッタ用切換回路
４１ 低速シャッタ用特性変換回路
４３ 高速シャッタ用メモリ回路
４４ 高速シャッタ用切換回路
４５ 高速シャッタ用特性変換回路
４７ 画像信号情報取得手段
４８ マイコン回路（制御信号生成手段）
４９ 電子シャッタ回路
５０ 輝度積算値回路（分割画像輝度積算手段）
５１ 輝度ピーク値検出回路（分割画像輝度ピーク値検出手段）
５２ ゲート波形発生回路
５３ 全体画面
５４ 分割画面
５８ ゲート回路
５９ 積算処理部
６０ 積算出力制御回路
６２ 積算回路
６３ １画素保持回路
６４ ピーク値検出用ゲート回路
６５ ピーク値検出用１画素保持回路
６６ 輝度加算回路
６７ ２画素保持回路
６８ ２画素保持信号発生回路
６９ 比較回路
７０ 切換回路
７１ 輝度信号保持回路
７２ ピーク値出力制御回路
７４ 垂直方向設定部
７５ 水平方向設定部
７６ 合成回路
７８ 垂直同期リセット信号発生回路
７９ 垂直方向スタート位置設定回路
８０ 垂直方向幅設定回路
８２ 水平同期リセット信号発生回路
８３ 水平方向スタート位置設定回路
８４ 水平方向幅設定回路
８６ 輝度平均値算出手段
８７ 制御信号生成手段
８９ 輝度飽和エリア
９０ 輝度不飽和エリア
９１ 計算処理手段
９２ 低速シャッタ用計算処理部
９３ 高速シャッタ用計算処理部
９５ 特性変換制御信号生成部（特性変換制御信号生成手段）
９６ 合成比率制御信号生成部（画像合成比率制御信号生成手段）
９８ 低速シャッタ速度制御信号生成部
９９ 低速用ＡＧＣ回路制御信号生成部
１００ 低速シャッタ微調整処理部
１０１ １ＣＬＯＣＫ単位シフトレジスタ
１０３ 高速シャッタ速度制御信号生成部
１０４ 高速用ＡＧＣ回路制御信号生成部
１０５ 高速シャッタ微調整処理部
１０７ 低速シャッタパルス生成手段
１０８ 高速シャッタパルス生成手段
１０９ シャッタパルス切換回路
１１０ Ｈ周期（水平同期期間Ｈ）単位のシャッタパルス生成部
１１１ 数十ＣＬＯＣＫ周期単位のシャッタパルス生成部
１１２ ＯＲ回路
１１３ エリア選択抽出手段
１１４ 画像信号出力手段（第２実施形態）
１１６ ＣＤＳ回路
１１７ 画像信号処理回路
１１８ 制御回路
１１９ 走査パルス生成回路
１２０ エリア選択手段
１２１ 撮像素子駆動回路
１２３ 画素
１２４ ＣＣＤセンサの垂直転送部
１２５ ＣＭＯＳセンサの画像信号読出しライン
１２７ 垂直位置選択回路
１２８ 水平位置選択回路
１２９ 垂直方向プリセット端子
１３０ 水平方向プリセット端子
１３２ 垂直シフトレジスタ
１３３ 水平シフトレジスタ
１３５ 空
１３６ 車
１３７ 道路
１３８ 道路上の白線
Claims (14)
- 第１の露光時間で撮像した第１の画像および前記第１の露光時間よりも短い第２の露光時間で撮像した第２の画像を交互に得るＣＭＯＳセンサと、
前記ＣＭＯＳセンサから出力する前記第１の画像および前記第２の画像の垂直方向範囲を選択する垂直位置選択回路と、
前記ＣＭＯＳセンサから出力する前記第１の画像および前記第２の画像の水平方向範囲を選択する水平位置選択回路と、
前記ＣＭＯＳセンサから出力された前記第１の画像および前記第２の画像の選択された範囲をそれぞれ複数のエリアに分割し、それぞれのエリアの輝度情報を検出する輝度情報検出処理手段と、
前記ＣＭＯＳセンサの前記第１の露光時間および第２の露光時間をそれぞれ調整する制御手段と、
前記ＣＭＯＳセンサから出力された前記第１の画像および第２の画像の選択された範囲について、それぞれ特性変換処理を行う特性変換処理手段と、
前記特性変換処理手段から得られる特性変換処理後の前記第１の画像および第２の画像の選択された範囲を加算する合成手段とを具備し、
前記制御手段は、前記第１の画像の複数のエリアの輝度情報から前記第１の露光時間を決定するとともに、前記第２の画像の複数のエリアの輝度情報から前記第２の露光時間を前記第１の露光時間の決定とは独立に決定することを特徴とする撮像装置。 - 前記輝度情報検出処理手段は、前記第１の画像および前記第２の画像について分割したエリア単位に輝度を積算し、前記分割したエリア毎の輝度の平均値を検出するように構成されることを特徴とする請求項１記載の撮像装置。
- 前記輝度情報検出処理手段は、前記第１の画像および前記第２の画像について分割したエリアの輝度ピーク値を前記分割したエリア毎に検出するように構成されることを特徴とする請求項１記載の撮像装置。
- 前記制御手段は、前記第１の画像の複数のエリアの輝度情報から前記第１の露光時間を決定する際、前記第１の画像の複数のエリアのうち輝度不飽和状態にあるエリアの輝度情報に基づいて第１の露光時間を決定するように構成されることを特徴とする請求項１記載の撮像装置。
- 前記制御手段は、前記第２の画像の複数のエリアの輝度情報から前記第２の露光時間を決定する際、前記第２の画像の複数のエリアのうち輝度飽和状態にあるエリアの輝度情報に基づいて第２の露光時間を決定するように構成されることを特徴とする請求項１記載の撮像装置。
- 前記制御手段は、前記第１の画像の複数のエリアの輝度情報から前記第１の露光時間を決定する際、前記第１の画像の複数のエリアのうち輝度不飽和状態にあるエリアの輝度情報に基づいて第１の露光時間を決定する一方、前記第２の画像の複数のエリアの輝度情報から前記第２の露光時間を決定する際、前記第２の画像の複数のエリアのうち輝度飽和状態にあるエリアの輝度情報に基づいて第２の露光時間を決定するように構成されることを特徴とする請求項１記載の撮像装置。
- 前記制御手段は、前記第１の画像を分割して得られる複数のエリアのうち所定の閾値以下の輝度を持つエリアの輝度情報に基づいて第１の露光時間を決定するように構成されることを特徴とする請求項１記載の撮像装置。
- 前記制御手段は、前記第２の画像を分割して得られる複数の分割したエリアのうち所定の閾値以上の輝度を持つエリアの輝度情報に基づいて第２の露光時間を決定するように構成されることを特徴とする請求項１記載の撮像装置。
- 前記制御手段は、前記第１の画像を分割して得られる複数のエリアのうち所定の閾値以下の輝度を持つエリアの輝度情報に基づいて第１の露光時間を決定する一方、前記第２の画像を分割して得られる複数の分割したエリアのうち所定の閾値以上の輝度を持つエリアの輝度情報に基づいて第２の露光時間を決定するように構成されることを特徴とする請求項１記載の撮像装置。
- 前記制御手段は、前記第１の露光時間および前記第２の露光時間を決める電子シャッタの最終発生タイミングをタイミングジェネレータの１ＣＬＯＣＫ単位での時間的移動を行うように構成されることを特徴とする請求項１記載の撮像装置。
- 前記輝度情報検出処理手段は、前記第１の画像を分割して得られる複数のエリアおよび前記第２の画像を分割して得られる複数のエリアのうち所定のエリアを選択抽出するエリア選択抽出手段を備えることを特徴とする請求項１記載の撮像装置。
- 前記撮像手段は、移動体に設置されることを特徴とする請求項１記載の撮像装置。
- 前記移動体の周囲に存在する障害物を検知する際に、前記合成画像を用いることを特徴とする請求項１２記載の撮像装置。
- 前記移動体は、自動二輪車、自動車および列車等の移動車両、航空機又は船舶のいずれかであることを特徴とする請求項１２記載の撮像装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002048433A JP4154157B2 (ja) | 2002-02-25 | 2002-02-25 | 撮像装置 |
| DE60308242T DE60308242T2 (de) | 2002-02-25 | 2003-02-24 | Bildaufnahmevorrichtung |
| EP03251097A EP1339227B1 (en) | 2002-02-25 | 2003-02-24 | Image pickup apparatus |
| US10/372,656 US20040165091A1 (en) | 2002-02-25 | 2003-02-25 | Image pickup apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002048433A JP4154157B2 (ja) | 2002-02-25 | 2002-02-25 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003250094A JP2003250094A (ja) | 2003-09-05 |
| JP4154157B2 true JP4154157B2 (ja) | 2008-09-24 |
Family
ID=27655442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002048433A Expired - Fee Related JP4154157B2 (ja) | 2002-02-25 | 2002-02-25 | 撮像装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20040165091A1 (ja) |
| EP (1) | EP1339227B1 (ja) |
| JP (1) | JP4154157B2 (ja) |
| DE (1) | DE60308242T2 (ja) |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3949903B2 (ja) * | 2001-04-09 | 2007-07-25 | 東芝エルエスアイシステムサポート株式会社 | 撮像装置及び撮像信号処理方法 |
| TWI224463B (en) * | 2003-05-22 | 2004-11-21 | Benq Corp | Calibration method and scan device for transmitted scan |
| JP4720130B2 (ja) * | 2003-09-09 | 2011-07-13 | コニカミノルタホールディングス株式会社 | 撮像装置 |
| EP1699231A1 (en) * | 2003-12-25 | 2006-09-06 | Niles Co., Ltd. | Imaging system |
| KR100555755B1 (ko) * | 2004-05-04 | 2006-03-03 | 삼성전자주식회사 | 휘도 히스토그램을 이용한 영상 자동 보정 장치 |
| US7583305B2 (en) * | 2004-07-07 | 2009-09-01 | Eastman Kodak Company | Extended dynamic range imaging system |
| JP2006222935A (ja) * | 2005-01-13 | 2006-08-24 | Canon Inc | 電子スチルカメラ及び撮像方法及びプログラム及び記憶媒体 |
| US7920175B2 (en) | 2005-01-13 | 2011-04-05 | Canon Kabushiki Kaisha | Electronic still camera performing composition of images and image capturing method therefor |
| US7616256B2 (en) * | 2005-03-21 | 2009-11-10 | Dolby Laboratories Licensing Corporation | Multiple exposure methods and apparatus for electronic cameras |
| CA2511220C (en) * | 2005-03-21 | 2012-08-14 | Sunnybrook Technologies Inc. | Multiple exposure methods and apparatus for electronic cameras |
| JP4855704B2 (ja) * | 2005-03-31 | 2012-01-18 | 株式会社東芝 | 固体撮像装置 |
| US20070127909A1 (en) * | 2005-08-25 | 2007-06-07 | Craig Mowry | System and apparatus for increasing quality and efficiency of film capture and methods of use thereof |
| JP4424292B2 (ja) * | 2005-09-28 | 2010-03-03 | ソニー株式会社 | 撮像装置、露出制御方法およびプログラム |
| JP4693602B2 (ja) * | 2005-11-07 | 2011-06-01 | 株式会社東芝 | 撮像装置、及び画像用信号処理方法 |
| JP2008009906A (ja) * | 2006-06-30 | 2008-01-17 | Matsushita Electric Ind Co Ltd | 固体撮像装置及び撮像システム |
| US8242426B2 (en) | 2006-12-12 | 2012-08-14 | Dolby Laboratories Licensing Corporation | Electronic camera having multiple sensors for capturing high dynamic range images and related methods |
| JP2008219523A (ja) * | 2007-03-05 | 2008-09-18 | Canon Inc | 撮像装置及びその制御方法 |
| KR20080095084A (ko) * | 2007-04-23 | 2008-10-28 | 삼성전자주식회사 | 영상 잡음 제거 장치 및 방법 |
| DE102007045448A1 (de) | 2007-09-24 | 2009-04-02 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Bildsensor |
| JP5041985B2 (ja) * | 2007-11-26 | 2012-10-03 | 本田技研工業株式会社 | 車載撮像装置 |
| JP5094607B2 (ja) * | 2008-07-16 | 2012-12-12 | キヤノン株式会社 | 撮像装置、その制御方法及びプログラム |
| US8346008B2 (en) * | 2009-06-09 | 2013-01-01 | Aptina Imaging Corporation | Systems and methods for noise reduction in high dynamic range imaging |
| DE102010024415B4 (de) | 2010-06-19 | 2021-09-16 | Volkswagen Ag | Verfahren und Vorrichtung zur Aufnahme einer Bilderfolge einer Umgebung eines Fahrzeugs |
| EP3588939B1 (en) * | 2010-10-31 | 2023-10-18 | Mobileye Vision Technologies Ltd. | Bundling night vision and other driver assistance systems (das) using near infra red (nir) illumination and a rolling shutter |
| JP5936323B2 (ja) * | 2011-09-26 | 2016-06-22 | キヤノン株式会社 | 画像記録装置およびその制御方法 |
| JP5860298B2 (ja) * | 2012-02-07 | 2016-02-16 | 日本放送協会 | 画像処理装置及びプログラム |
| WO2014200495A1 (en) * | 2013-06-13 | 2014-12-18 | Hewlett-Packard Development Company, L. P. | Establish image pipeline |
| US9407832B2 (en) * | 2014-04-25 | 2016-08-02 | Himax Imaging Limited | Multi-exposure imaging system and method for eliminating rolling shutter flicker |
| JP2016220056A (ja) | 2015-05-21 | 2016-12-22 | 株式会社デンソー | 画像生成装置 |
| JP6674317B2 (ja) * | 2016-05-13 | 2020-04-01 | 株式会社日立国際電気 | テレビジョンカメラ |
| US11190462B2 (en) | 2017-02-12 | 2021-11-30 | Mellanox Technologies, Ltd. | Direct packet placement |
| US11252464B2 (en) * | 2017-06-14 | 2022-02-15 | Mellanox Technologies, Ltd. | Regrouping of video data in host memory |
| JP6717333B2 (ja) * | 2018-03-23 | 2020-07-01 | 株式会社デンソー | 露出制御装置 |
| US20190320102A1 (en) * | 2018-04-13 | 2019-10-17 | Qualcomm Incorporated | Power reduction for dual camera synchronization |
| KR102441628B1 (ko) | 2018-10-01 | 2022-09-08 | 테크 아이디어 컴퍼니 리미티드 | 이미지 센서 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5638118A (en) * | 1987-06-09 | 1997-06-10 | Canon Kabushiki Kaisha | Image sensing device with diverse storage times used in picture composition |
| AUPO798697A0 (en) * | 1997-07-15 | 1997-08-07 | Silverbrook Research Pty Ltd | Data processing method and apparatus (ART51) |
| US6285398B1 (en) * | 1997-11-17 | 2001-09-04 | Sony Corporation | Charge-coupled device video camera with raw data format output and software implemented camera signal processing |
| NZ332626A (en) * | 1997-11-21 | 2000-04-28 | Matsushita Electric Ind Co Ltd | Expansion of dynamic range for video camera |
| JP4058789B2 (ja) * | 1998-02-24 | 2008-03-12 | ソニー株式会社 | 固体撮像装置及びその駆動方法、並びにカメラ |
| US6584235B1 (en) * | 1998-04-23 | 2003-06-24 | Micron Technology, Inc. | Wide dynamic range fusion using memory look-up |
| JP4282113B2 (ja) * | 1998-07-24 | 2009-06-17 | オリンパス株式会社 | 撮像装置および撮像方法、並びに、撮像プログラムを記録した記録媒体 |
| JP3443341B2 (ja) * | 1998-10-19 | 2003-09-02 | 三洋電機株式会社 | ディジタルカメラ |
| US7084905B1 (en) * | 2000-02-23 | 2006-08-01 | The Trustees Of Columbia University In The City Of New York | Method and apparatus for obtaining high dynamic range images |
| JP3615454B2 (ja) * | 2000-03-27 | 2005-02-02 | 三洋電機株式会社 | ディジタルカメラ |
| US6765619B1 (en) * | 2000-04-04 | 2004-07-20 | Pixim, Inc. | Method and apparatus for optimizing exposure time in image acquisitions |
| US20010040632A1 (en) * | 2000-05-09 | 2001-11-15 | Yang David Xiao Dong | Multiple sampling via a time-indexed method to achieve wide dynamic ranges |
| JP4403635B2 (ja) * | 2000-05-31 | 2010-01-27 | パナソニック株式会社 | ダイナミックレンジ拡大カメラ |
| US6958778B2 (en) * | 2000-11-21 | 2005-10-25 | Hitachi Kokusai Electric Inc. | Iris control method and apparatus for television camera for controlling iris of lens according to video signal, and television camera using the same |
| JP3724374B2 (ja) * | 2001-01-15 | 2005-12-07 | ソニー株式会社 | 固体撮像装置及びその駆動方法 |
| JP4511066B2 (ja) * | 2001-03-12 | 2010-07-28 | オリンパス株式会社 | 撮像装置 |
| EP1371223A1 (en) * | 2001-03-16 | 2003-12-17 | Personal Robotics Inc. | System and method to increase effective dynamic range of image sensors |
| JP3949903B2 (ja) * | 2001-04-09 | 2007-07-25 | 東芝エルエスアイシステムサポート株式会社 | 撮像装置及び撮像信号処理方法 |
| US20030103158A1 (en) * | 2001-12-05 | 2003-06-05 | Creo Il. Ltd. | System and method for the formation of multiple exposure images |
-
2002
- 2002-02-25 JP JP2002048433A patent/JP4154157B2/ja not_active Expired - Fee Related
-
2003
- 2003-02-24 DE DE60308242T patent/DE60308242T2/de not_active Expired - Lifetime
- 2003-02-24 EP EP03251097A patent/EP1339227B1/en not_active Expired - Lifetime
- 2003-02-25 US US10/372,656 patent/US20040165091A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| EP1339227A2 (en) | 2003-08-27 |
| EP1339227A3 (en) | 2004-03-10 |
| JP2003250094A (ja) | 2003-09-05 |
| DE60308242T2 (de) | 2007-08-30 |
| US20040165091A1 (en) | 2004-08-26 |
| EP1339227B1 (en) | 2006-09-13 |
| DE60308242D1 (de) | 2006-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4154157B2 (ja) | 撮像装置 | |
| US10847556B2 (en) | Solid-state imaging apparatus and imaging apparatus | |
| JP3949903B2 (ja) | 撮像装置及び撮像信号処理方法 | |
| US8154619B2 (en) | Imaging apparatus, imaging processing method, and imaging control program | |
| JP4424402B2 (ja) | 撮像装置、撮像制御方法、撮像制御プログラム | |
| KR100886311B1 (ko) | 스미어 제거 기능을 포함한 디지털 카메라 | |
| JP2007180811A (ja) | 映像信号処理方法および映像信号処理装置 | |
| JP2006333229A (ja) | 撮像装置、カメラ及び撮像方法 | |
| JP2003319250A (ja) | 撮像装置および撮像方法 | |
| WO2019187901A1 (ja) | 撮像装置、撮像方法、およびプログラム | |
| JP5037078B2 (ja) | 固体撮像素子およびその駆動方法 | |
| JP7204480B2 (ja) | 撮像装置、撮像システム、移動体及び撮像装置の制御方法 | |
| JP3384818B2 (ja) | カメラおよびその予備測光方法ならびに予備測光装置および方法 | |
| JP2002314885A (ja) | 撮像装置 | |
| JPH10173988A (ja) | 電子スチルカメラ | |
| JP2007251905A (ja) | 撮像装置 | |
| JP2005286819A (ja) | 撮像装置及びプログラム | |
| JP2007251904A (ja) | 撮像装置 | |
| JP5485680B2 (ja) | 撮像装置および撮像方法 | |
| JP3852821B2 (ja) | 固体撮像装置 | |
| JP2006237789A (ja) | 撮像装置 | |
| JP4089676B2 (ja) | 撮像装置 | |
| JP2521986B2 (ja) | 撮像装置 | |
| JP2000078480A (ja) | 撮像装置及び撮像方法 | |
| JP2003163831A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040907 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070515 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070522 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070719 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070828 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071024 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080701 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080707 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130711 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |