JP3949903B2

JP3949903B2 - 撮像装置及び撮像信号処理方法

Info

Publication number: JP3949903B2
Application number: JP2001110452A
Authority: JP
Inventors: 覚中村
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2001-04-09
Filing date: 2001-04-09
Publication date: 2007-07-25
Anticipated expiration: 2021-04-09
Also published as: DE10215525A1; US6914630B2; JP2002314873A; DE10215525B4; US20020145674A1

Description

【０００１】
【発明の属する技術分野】
この発明はテレビジョンカメラのダイナミックレンジ拡大に関するもので、特に、広範囲な輝度を持つ被写体を撮像可能にする撮像装置用回路及び撮像用信号処理方法に関する。
【０００２】
【従来の技術】
従来ＣＣＤ等の撮像素子を用いたカメラでは、電荷の蓄積容量の限界と、その特性の関係でカメラの入射光量をある範囲内に抑えるようにして撮像していた。従って、屋外等での撮像時には被写体の輝度範囲を撮像可能とするダイナミックレンジが得られず、撮像画像に問題があった。このため、撮像素子などの電子シャッタ機能を用いて、高速シャッタと低速シャッタのように異なったシャッタ時間で撮像し、この映像信号を信号処理することで広ダイナミックレンジ拡大を図るなどしていた。
【０００３】
従来の広ダイナミックレンジカメラの動作原理を示す。
【０００４】
図１（Ａ），（Ｂ）には、電荷結合撮像素子（CCD）からの出力映像信号（A1、B1、A2、B2フィールド…）と、広ダイナミックレンジのカメラ映像信号（合成画像）の波形を示している。Ａフィールドを低速シャッタ画像、Ｂフィールドを高速シャッタ画像とする。低速シャッタ画像とは、例えばシャッタ速度が１／６０のことであり、高速シャッタ画像とは、例えばシャッタ速度が１／２０００のことである。低速シャッタ画像、高速シャッタ画像とは、ＣＣＤ等にシャッタパルスを直接与える電子シャッタで蓄積時間を制御した映像信号のことである。
【０００５】
広ダイナミックレンジカメラは、低速シャッタで被写体の輝度の低い部分（輝度の高い部分は飽和してしまう）を撮像し、高速シャッタで被写体の輝度の高い部分（輝度の低い部分は暗くて撮像不可能）を撮像し、両方の画像を合成することにより、1画面で被写体の輝度の低い部分から輝度の高い部分の撮像を可能にするものである。例えば図１（B）に示すように、Ａ１フィールド画像（低速シャッタ画像）とＢ０フィールド画像（高速シャッタ画像）を合成し、次に、Ａ１フィールド画像（低速シャッタ画像）とＢ１フィールド画像（高速シャッタ画像）を合成する。以降同じ動作を繰り替えし行なう。
【０００６】
この場合、低速シャッタと高速シャッタの速度と合成比率は固定である。また、広ダイナミックレンジカメラに、入射光量を自動調節するオートアイリスレンズ等を塔載してもダイナミックレンジは拡大しない。また、このシャッタ速度の比は、ダイナミックレンジの拡大比のことである。例えば、低速シャッタ速度が１／６０、高速シャッタ速度が１／２０００で固定されているとすると、この広ダイナミックレンジカメラは約３２倍の拡大率を持っているということになる。
【０００７】
図２は、従来の広ダイナミックレンジカメラのブロック図である。固体撮像素子１で得られた信号をＡ／Ｄ変換器２でＡ／Ｄ（アナログデジタル）変換し、フレームメモリ３Ａと３Ｂに交互に書き込む。フレームメモリ３Ａ、３Ｂから読み出された信号は、合成処理回路４に送られ、プロセス回路５を通って出力される。制御部は、ＣＰＵ（中央演算処理装置）６と露光制御部７で構成されていて、ディジタル処理部１０からの測光データを用いてＣＰＵ６にて演算を行う。演算結果は、ディジタル処理部１０と露光制御部７へ送られ、それぞれ制御信号を生成し、ディジタル処理部１０と固体撮像素子１を制御する。上記装置は例えば特願昭61-255984号公報に示されている。
【０００８】
【発明が解決しようとする課題】
従来の広ダイナミックレンジカメラでは、異なる電子シャッタ時間の画像を数回撮像し合成していた。このため、静止画では有効であったが、監視カメラ等のように動きのある被写体を撮像する装置には不向きであった。
【０００９】
そこで、本発明の目的は被写体内の輝度差に応じてカメラダイナミックレンジを高速に可変させ、被写体輝度差に最適化した撮像画像を得ることで、被写体として極めて輝度差の大きい画像認識用車載カメラや、屋内・夜間の屋外を同時撮像する監視カメラ等に用いて有効な撮像装置用回路及び撮像用信号処理方法を提供することにある。
【００１０】
【課題を解決するための手段】
この発明は、第１の電子シャッタ速度で撮像した画面単位の第１の画像信号及び、前記第１の露光時間とは異なる第２の露光時間で撮像した画面単位の第２の画像信号を得る撮像装置用回路において、前記第１の画像信号と第２の画像信号の加算または切り換えによって合成画像信号を構築する画像合成手段と、画面を複数に分割した各領域の積算値を得る積算回路と、前記積算値を用いて、１画面内で前記第１及び第２の画像信号の飽和領域と不飽和領域を検出する手段と、前記第１の画像信号の不飽和領域から低速画像平均値を得る手段と、前記第２の画像信号の不飽和領域から高速画像平均値を得る手段と、前記低速画像平均値を受けて、この値が所定の範囲を越えている場合には第１の値で、前記所定の範囲内の場合は前記第１の値よりも小さい第２の値で前記第１の露光時間を制御する制御信号を出力する手段と、前記高速画像平均値を受けて、この値が所定の範囲を越えている場合には第３の値で、前記所定の範囲内の場合は前記第３の値よりも小さい第４の値で前記第２の露光時間を制御する制御信号を出力する手段を有する。
【００１２】
【発明の実施の形態】
以下、この発明の実施例につき図面を参照して説明する。
【００１３】
図３はこの発明の一実施例を示す回路ブロック図である。撮像レンズ３０１で撮像された被写体像は、ＣＣＤカメラ部３０２の撮像素子上に結像され電気信号に変換され，撮像信号として出力される。ＣＣＤカメラ部３０２の撮像素子は、電子シャッタ回路３０５により、低速シャッタ速度と高速シャッタ速度の異なる２つの電子シャッタ速度で制御される。
【００１４】
このＣＣＤカメラ部３０２の映像信号は、ＡＧＣ回路３０３に入力され、ここでマイクロコンピュータ（マイコン）回路３１８からの制御信号により利得を制御される。この制御はフィールドごとに独立して制御される。即ち、低速シャッタ信号と高速シャッタ信号とを独立して制御できるようにしてある。
【００１５】
ＡＧＣ（自動利得制御）回路３０３からの映像信号は、アナログデジタル（Ａ／Ｄ）変換回路３０４に入力され、アナログ映像信号からデジタル映像信号に変換される。
【００１６】
電子シャッタ回路３０５からはフィールドごとにシャッタ速度の異なる、低速電子シャッタと高速電子シャッタの電子シャッタ信号がＣＣＤカメラ部３０２に交互に供給されるので、フィールドごとに、低速シャッタ映像信号と高速シャッタ映像信号とが交互に得られる。これらの映像信号は２つの１垂直期間のメモリである低速シャッタ用メモリ回路３０６と、高速用シャッタメモリ回路３０７にそれぞれ入力され、低速シャッタ映像信号と高速シャッタ映像信号とに分離される。
【００１７】
低速シャッタ用メモリ回路３０６の入力側と出力側の信号は、低速シャッタ用切換回路３０８へ入力され、同じく、高速シャッタ用メモリ回路３０７の入力側と出力側の信号は、高速シャッタ用切換回路３０９へ入力される。低速シャッタ用切換回路３０８、高速シャッタ用切換回路３０９は、間欠信号であった低速シャッタ映像信号と高速シャッタ映像信号とを、それぞれ連続信号として出力する。つまり、低速シャッタ用切換回路３０８からは低速シャッタ映像信号、高速シャッタ用切換回路３０９からは高速シャッタ映像信の連続信号がそれぞれ得られる。これらの信号は、低速用特性変換回路３１０と高速用特性変換回路３１１に入力され、映像信号に対して特性変換、たとえば、非線形特性となるガンマ特性を与えられる。
【００１８】
低速用特性変換回路３１０、高速用特性変換回路３１１の出力は、加算又は切換回路３１２に送られる。この加算又は切換回路３１２は、低速シャッタ信号と、高速シャッタ信号とを加算あるいは切換えて、広い範囲の映像信号を見易いように信号処理するものである。この信号処理はマイコン回路３１８からの制御信号により制御され、シャッタ速度に応じた特性変換が与えられる。
【００１９】
加算又は切換回路３１２の出力信号は、アナログデジタル（Ａ／Ｄ）変換回路３１３に入力され、デジタル映像信号からアナログ映像信号に変換され、出力端子３１４を介して外部に出力される。
【００２０】
上記のＡＧＣ回路３０３、Ａ/Ｄ変換回路３０４、低速シャッタ用メモリ回路３０６、高速シャッタ用メモリ回路３０７、低速シャッタ用切換回路３０８、高速シャッタ用切換回路３０９、低速用特性変換回路３１０、高速用特性変換回路３１１、加算又は切換回路３１２の系統は、画像信号の処理部である。そして、積算値回路３１５、ピーク値検出回路３１６、マイコン回路３１８、電子シャッタ回路３０５などは、ダイナミックレンジを拡大するための実行部に相当する。
【００２１】
図４は、上記カメラの動作を詳しく説明する動作説明図である。
【００２２】
図４の４Ａは垂直同期信号であり、カメラは、この周期に同期して動作する。ＣＣＤカメラ部３０２の撮像画像出力期間は、符号４Ａ０１が低速シャッタ期間、４Ａ０２が高速シャッタ期間、４Ａ０３が低速シャッタ期間、４Ａ０４が高速シャッタ期間、４Ａ０５が低速シャッタ期間である。この時のＣＣＤ撮像素子の電子シャッタ動作は、蓄積と読出し時間の関係で、１垂直期間の遅れがあるため、図４の４Ｂに示すような形態となり、期間４Ｂ０１は高速シャッタ動作、期間４Ｂ０２は低速シャッタ動作となり、以下同様に高速シャッタ動作、低速シャッタ動作の繰り返しで、期間４Ｂ０３、期間４Ｂ０４、期間４Ｂ０５の動作となる。
【００２３】
ＡＧＣ回路３０３の動作は、低速シャッタ動作時と、高速シャッタ動作時とで、独立で動作する。図４の４Ｃに示すように、期間４Ｃ０１が低速シャッタ用動作、期間４Ｃ０２が高速シャッタ用動作となり、以下同様な繰り返しとなる。
【００２４】
図４の４ＤはＣＣＤカメラ部３０２の映像出力信号で、４Ｄ０１が低速シャッタ映像出力信号、4Ｄ０２が高速シャッタ映像出力信号となり、以下同様な繰り返しとなる。図４の４Ｅは、図４の４Ｄと同じ信号であり、図３のＡ／Ｄ変換回路３０５の出力信号である。
【００２５】
以下、動作説明をわかりやすくするために示した。４Ｅ０１が低速シャッタ映像出力信号、４Ｅ０２が高速シャッタ映像出力信号で、以下同様の繰り返しで出力されるものとする。この映像出力信号は、図３の低速シャッタ用メモリ回路３０６，高速シャッタ用メモリ回路３０７に入力され、この低速、高速シャッタ用メモリ回路３０６、３０７の出力は、それぞれ低速シャッタ用切換回路３０８，高速シャッタ用切換回路３０９に入力される。これにより図４の４Ｆ，４Ｇに示すように低速、高速シャッタ映像信号が連続信号となる。
【００２６】
この図４で符号Ｍがついている信号が、低速、高速シャッタ用メモリ回路３０６，３０７のメモリからの信号であり、符号Ｍがついていない信号がＡ／Ｄ変換回路３０４からの直接信号である。このように連続になった各信号は、それぞれ低速用特性変換回路３１０、高速用特性変換回路３１１において、図４の４Ｈ，４Ｉに示すように特性変換される。そして図４の４Ｊに示すような形態で加算される。
【００２７】
加算された映像信号は、図４の４Kに示すように、低速シャッタ映像出力信号と高速シャッタ映像出力信号とが加算されたものである。
【００２８】
図５は、撮像特性であり、４図の４Ｄ、４Ｋの映像出力信号の特性となる。図５は、低速シャッタと高速シャッタの入射光量に対する映像出力信号を示している。低速シャッタによる出力特性は５０１、高速シャッタの出力特性は５０２であり、低速シャッタ出力の飽和点が５０３、高速シャッタ出力の飽和点が５０４である。
【００２９】
この２つの映像信号は、図３に示すそれぞれの特性変換回路である低速用特性変換回路３１０と高速用特性変換回路３１１で、例えばガンマ特性を得るための特性が与えられる。これら２つの信号の特性値は、マイコン回路３１８からの制御信号３３０と３３１で決められる。
【００３０】
低速用特性変換回路３１０と高速用特性変換回路３１１から出力される両信号は、加算又は切換回路３１２で信号処理され、図６に示すように、５０１の低速シャッタの出力（特性５０１）に、高速シャッタの出力（特性５０２）が加算あるいは切換され、特性６０１となる。この信号は、Ｄ／Ａ変換回路３１３でデジタル信号からアナログ信号に変換され出力端子３１４から外部に出力される。
【００３１】
図３に戻って説明する。積算値回路３１５とピーク検出回路３１６は、電子シャッタ回路３０５のシャッタ時間を決めるための回路である。
【００３２】
積算値回路３０５は、Ａ／Ｄ変換回路３０４からの撮像画面の輝度信号を積算し、その積算値をマイコン回路３１８に送る。同じく、ピーク検出回路３１６は、Ａ／Ｄ変換回路３０４からの撮像画面の輝度信号から輝度値の最大値を検出し、その最大値をマイコン回路３１８に送る。
【００３３】
積算値回路３１５とピーク検出値回路３１６は、撮像画面に対して図７に示すように分割領域を設定している。即ち、画像７０１を画像７０２のように２５個の領域に分割し、積算値あるいはピーク値を求める。この分割のために、ゲート波形発生回路３１７で発生したゲート波形が用いられる。ゲート波形発生回路３１７は、水平同期信号ＨＤ，垂直同期信号ＶＤ、クロック信号ＣＬＫを用いてゲート信号を生成する。このゲート信号が積算値回路３１５とピーク値検出回路３１６に送られる。これにより、積算値回路３１５とピーク値検出回路３１６は、領域分割した映像信号の値を得ている。
【００３４】
マイコン回路３１８は、積算値回路３１５とピーク値検出回路３１６からの情報を受け、シャッタのシャッタ時間を決定する。高速シャッタのシャッタ時間は、ピーク検出回路３１６からの情報を中心に決定し、低速シャッタのシャッタ時間は、積算値回路３１５からの情報を中心に受け決定し、その制御信号が電子シャッタ回路３０５に送られる。
【００３５】
電子シャッタ回路３０５は、マイコン回路３１８で決定された高速シャッタと低速シャッタのシャッタ時間に応じて、これら低、高速シャッタパルスをＣＣＤカメラ部３０２に使用されているＣＣＤ撮像素子に供給する。
【００３６】
図８は、図３の積算値回路３１５の詳細なブロック図を示す。Ａ／Ｄ変換回路３０４の出力である入力映像信号は、ゲート回路８０１に入力される。ゲート回路８０１では、ゲート波形発生回路３１７で作られたゲート信号によって制御される。これにより、ゲート回路８０１では、図７に示すように設定された分割画面の中から必要な画面範囲をゲートする。
【００３７】
次に、ゲートした映像信号の積算を行う。つまりゲート回路８０１から出力された映像信号は、積算値回路８０２に入力され、１画素保持回路８０３の出力映像信号と積算される。この映像信号はゲート期間積算される。積算値は、積算出力制御回路８０４に送られ、マイコン回路３１８からの制御信号により出力され、マイコン回路３１８に送られる。
【００３８】
図９は、図３のピーク値検出回路３１６のブロック図を示す。積算値回路３１５と同様に、Ａ／Ｄ変換回路３０４の出力である入力映像信号は、ゲート回路９０１に入力される。ゲート回路９０１では、ゲート波形発生回路３１７で作られたゲ−ト信号によって制御される。これによりゲート回路９０１では、図７に示すように設定された分割画面の中から必要な画面範囲の映像信号をゲートする。
【００３９】
次に、ゲートした映像信号の最大値を検出する。検出にあたり２画素を加算してから行う。これはＣＣＤ撮像素子の光学色フイルタが補色モザイクの場合、信号の大きさが画素単位で変化するためである。２画素を加算することにより、色フイルタの影響が無くなる。２画素を加算するには、１画素保持回路９０２で１ビット遅らした信号と、現信号とを加算回路９０３で加算する。次に、この加算信号を２画素単位とするため、２画素保持信号発生回路９０４で加算信号を受ける。これにより、２画素保持回路９０４で２画素単位の信号が作られる。
【００４０】
この２画素保持回路９０４の出力現信号は、比較回路９０７で２画素前の信号と比較される。比較回路９０７では、大きい方を選択するための選択信号を発生し、切換回路９０６に供給する。この結果、切換回路９０７では、２画素前の信号と現信号のうち、大きいほうが選択され、その選択された信号は、保持回路９０８に入力され保持される。
【００４１】
このようにして、ゲート回路９０１からの信号が終了するまで比較動作が行なわれる。ピーク出力制御回路９０９は、マイコン回路３１８からの制御信号により、保持回路９０８の出力（ピーク信号）を受け付け、出力端子９１０を介してマイコン回路３１８に送る。
【００４２】
上記した画面分割には、分割のためゲート信号が必要である。この信号は、垂直同期信号ＶＤと水平同期信号ＨＤとクロック信号ＣＬＫに基づいて発生される。
【００４３】
図１０は、ゲート波形発生回路３１７のブロック図を示す。垂直同期信号ＶＤは、垂直同期リセット信号発生回路１００１に入力される。垂直同期リセット信号発生回路１００１ではリセット信号を作る。このリセット信号を基準として、垂直方向スタート位置設定回路１００２では、水平同期信号をカウントし、垂直方向のスタート点を決める。垂直方向スタート点が決まれば、このスタート点より、垂直方向幅設定回路１００３で、水平同期信号をカウントし、垂直方向の幅を決めることができる。
【００４４】
水平方向も同様な方法で、水平同期信号ＨＤは、水平同期リセット信号発生回路１００４に入力される。水平同期リセット信号発生回路１００４ではリセット信号を作る。このリセット信号を基準として、水平方向スタート位置設定回路１００５でクロック信号ＣＬＫをカウントし、水平方向のスタート点を決定する。水平方向スタート点が決まれば、このスタート点より、水平方向幅設定回路１００６で、クロック信号ＣＬＫをカウントし、水平方向の幅を決めることができる。
【００４５】
これにより、垂直方向幅設定回路１００３と、水平方向幅設定回路１００６から垂直幅信号と水平幅信号が得られ、合成回路１００７によって合成される。この合成された結果の信号が先に述べたゲート信号である。
【００４６】
マイコン回路３１８は、積算値回路３１５から撮影画像の積算値と、ピーク値検出回路３１６から撮影画像のピーク値を読み出し、電子シャッタ回路３０５、低速用特性変換回路３１０、高速用特性変換回路３１１、及び加算又は切換回路３１２を自動制御する。以下、それぞれのソフトウェアブロックについて説明する。
【００４７】
図１１は、マイコン回路３１８の内部ブロック図の例である。
【００４８】
マイコン回路３１８には、積算値回路３１５から入力部１１０２を介して積算値情報が入力される。同様にピーク値検出回路３１６から入力部を介して１１０３へピーク値情報が入力され、これらの情報は、画面分割平均処理部１１０４に入力される。画面分割平均処理部１１０４は、低速画像平均値１１０５と高速画像平均値１１０６が出力される。これら２つの平均値信号は低速シャッタ用の計算処理部１１０７と高速シャッタ用の計算処理部１１１０とに入力される。それぞれの計算処理部１１０７、１１１０には、シャッタ速度計算処理１１０８、１１１１、微調整処理１１０９、１１１２がある。
【００４９】
シャッタ速度計算処理１１０８の結果は、低速電子シャッタ信号１１１４として出力され、シャッタ速度計算処理１１１１の結果は、高速電子シャッタ信号１１１５として出力される。これらの信号は、電子シャッタ回路３０５を制御する。
【００５０】
さらに上記低速シャッタ用と高速シャッタ用の計算処理部１１０７と１１１０の計算処理結果から、ＡＧＣ信号１１１３が生成され、図３のＡＧＣ回路３０３に送られる。
【００５１】
さらに、計算処理部１１０７、１１１０でには、微調整処理１１０９、１１１２があり、この処理は、画像の明るさの微小な変化に応答し、低速電子シャッタ信号１１１４、高速電子シャッタ信号１１１５を制御するためのものである。
【００５２】
低速電子シャッタ信号１１１４と高速電子シャッタ信号１１１５は、特性変換制御部１１１６と加算比率制御部１１２０に入力される。特性変換制御部１１１６では、低速特性変換制御信号１１１７と高速特性変換制御信号１１１８を生成し、加算比率制御部１１２０では加算比率制御信号１１１９を生成する。低速特性変換制御信号１１１７は、低速シャッタ時間に応じた信号であり、高速特性変換制御信号１１１８は、高速シャッタ時間に応じた制御信号である。
【００５３】
図３の低速用特性変換回路３１０は、この低速特性変換制御信号１１１７で制御され、高速用特性変換回路３１１は高速特性変換制御信号１１１８で制御される。
【００５４】
加算比率制御部１１２０も同様、低シャッタ制御信号と高速シャッタ制御信号から加算比率制御信号１１１９を生成し、加算又は切換回路３１２に送り、低速シャッタの映像信号と高速シャッタの映像信号との加算比率を制御する。
【００５５】
図１２は画面分割平均処理部１１０４のマイコン処理について、マイコン回路３１８が参照するデータを視覚的に表した例である。
【００５６】
積算値回路３１５から得られた低速シャッタ画像積算値とピーク検出回路３１６から得られた低速シャッタ画像ピーク値から飽和している領域と不飽和領域を分ける。
【００５７】
次に、低速シャッタ画像積算値の不飽和領域から低速画像平均値を算出し出力する。さらに、高速シャッタ画像積算値の不飽和領域から高速画像平均値を算出し出力する。
【００５８】
この画面分割平均処理により、領域を分割し平均値を求めることにより、この後のシャッタ速度計算処理により低速シャッタ画像、高速シャッタ画像に対する各最適なシャッタ速度を計算する事ができる。
【００５９】
具体的に、図１２（Ａ）−図１２（Ｄ）を参照して説明する。低速積算値から分割領域毎の画素平均値(この場合8bit幅)を求め、平均値が例えば２００以上、かつ、低速ピーク値が８bit幅の最大値のエリアを飽和領域とし、その他を不飽和領域としている。低速積算値から求めた平均値が例えば２００を超えるエリアが点線で囲まれた領域１２０５となる（図１２（Ａ））。同じ画像に対して、低速ピーク値から得られた最大値のエリアが点線で囲まれたエリア１２０６となっている（図１２（Ｂ））。その両方の重なったエリアを飽和領域１２０７（図１２（Ｃ））とし、その他を不飽和領域１２０８として分割する。飽和領域１２０７は、高速シャッタによる撮像対象とされる。この領域の各ブロックの積算値の平均値（高速画像平均値）も画面分割平均処理部１１０４から得られる（図１２（Ｄ））。
【００６０】
シャッタ速度計算処理１１０８、１１１１では、画像分割平均処理部１１０４より低速画像平均値、高速画像平均値を受け取る。低速画像平均値、高速画像平均値がある範囲を超えている場合は大きな幅で、範囲内の場合は小さな幅で２段階にシャッタ速度を変化させる。この制御結果により次第に、低速画像平均値、高速画像平均値が範囲の中心になるように、低速電子シャッタ制御信号１１１４、高速電子シャッタ制御信号１１１５を出力し電子シャッタ回路３０５を制御する。シャッタ速度計算処理１１０８と１１１０は入力と出力が違うだけで同等の動作をする。
【００６１】
図１３は、画面分割平均処理部１１０４から出力される低速画像平均値の推移をグラフ化した例である。縦軸１３０１が画面分割平均処理部１１０４から出力される平均値、横軸１３０２が時間軸を表している。階段状に変化している波形が低速画像平均値である。
【００６２】
この例では、始め平均値は、最適露出幅１３０３以下であるため、
(現在のシャッタ速度)×(最適露出幅の下限値１３０４)/(平均値)
だげシャッタ速度を遅くする。一方、例えば最適露出幅１３０３に入った後、最適露出幅の中心１３０５を超えるまでシャッタ速度を垂直Ｖ毎に１０％遅くしていき、最適露出幅の中心を超えたところで、シャッタ速度の変更を止める。この状態を適正露出状態１３０６とする。一度適正露出状態に入った場合、一定時間(例えば保護時間１３０７で示すような時間)最適露出幅の範囲外の値が観測され続けないかぎり、シャッタ速度の補正は行わない。この例では区間１３０８、１３０９で再び平均値が変動しはじめ最適露出幅を超えているが、保護時間内であるためシャッタ速度は変更しない。
【００６３】
シャッタ速度の変化量を２段階に制御する事によって、急激な被写体輝度値の変化には素早く反応し、被写体輝度値の変化量が小さい場合は緩やかに反応する自然な露出を保つことができる。また、保護時間を設けることによって、被写体の急激な変化による発振を抑止する。
【００６４】
図１４は、プログラム制御の状態遷移図を現している。６個の状態１４ｓ１〜１４ｓ６が定義されており、シャッタ速度計算処理は、常にこの状態１４ｓ１〜１４ｓ６の何れかになる。その状態毎に何らかの処理を行なうのに必要なイベント１４０１〜１４１５を表したものが矢印である。シャッタ速度計算処理１１０８は、垂直同期期間Ｖごとに画面分割平均処理部１１０４から入力される平均値に基づいてイベントを発生させる。そして、現在の状態から外にむいている矢印のイベントと発生させたイベントが一致した場合、イベントに対応した処理を実行し、矢印の先へと状態を遷移させる。この繰り返しをＶ毎に実行することにより上記動作を実現している。
【００６５】
図１３を例として、図１４の状態遷移図を追ってさらに説明する。今、図１３に示すように平均値を、そのレベル範囲で１３１０、１３１１、１３１２、１３１３の如く分類している。
【００６６】
イベントは、平均値よって分類される範囲１３１０の場合は、最適露出幅以下、範囲１３１１の場合は最適露出中心以下、範囲１３０５の場合は最適露出中心、範囲１３１２の場合は最適露出中心以上、範囲１３１３の場合は最適露出幅以上の５つと、Ｖ毎にカウントされる保護時間カウンタが一定値を超える保護時間経過の場合の計６つがある。
【００６７】
シャッタ速度計算処理１１０８は、初期状態１４ｓ１である。この状態で処理されるイベントは、最適露出中心以下１４０１、最適露出中心以上１４０２、最適露出中心１４０３、最適露出幅以上１４１３、最適露出幅以下１４１４である。図１３において、画面分割平均処理部１１０４からの初期値１３１７は、範囲１３１０の中であるからイベントは最適露出幅以下１４１４となり、
(現在のシャッタ速度)×(最適露出幅の下限値１３０４)/(平均値)
だけシャッタ速度を遅くし、状態が露出不足１４ｓ２に遷移する。
【００６８】
状態露出不足１４ｓ２で処理されるイベントは次の３つがある。
【００６９】
１：イベントが最適露出幅以下１４１５の場合状態は遷移せず、
(現在のシャッタ速度)×(最適露出幅の下限値１３０４)/(平均値)だけシャター速度を遅くしていく。
【００７０】
２：イベントが最適露出中心以下１４０４の場合も状態は遷移せず、１０％シャッタ速度を遅くする。
【００７１】
３：イベント最適露出中心以上１４１２の場合は、状態を適正露出に遷移させる。
【００７２】
区間１３１８は、イベントが最適露出中心以下１４０４であるため、Ｖ毎に１０％シャッタ速度を遅くしていく。平均値１３１９（平均値１３１４と１３１５の間）でイベントが最適露出中心以上になるため、イベントの最適露出中心１３０５以上１４１２に従って、状態を適正露出１４ｓ４に遷移させる
【００７３】
適正露出１４ｓ４の状態で処理されるイベントは次の２つがある。
【００７４】
１：イベントが最適露出幅以下１４０９の場合、保護時間カウンタをリセットし、状態を保護時間待ちの状態１４ｓ５に遷移する。
【００７５】
２：イベントが最適露出幅以上１４０７の場合、保護時間カウンタをリセットし、状態を保護時間待ちの状態１４ｓ６に遷移する。
【００７６】
平均値１３２０が範囲１３１２に入る為、イベントの最適露出幅以上１４０７の処理である保護時間カウンタをリセットし、保護時間カウンタのカウントを開始し、状態を保護時間待ちの状態１４ｓ６に遷移させる。
【００７７】
保護時間待ちの状態１４ｓ６で処理されるイベントは次の３つがある。
【００７８】
１：イベントが最適露出中心以上１４１１の場合、保護時間カウンタをリセットし、状態を適正露出の状態１４ｓ４に遷移する。
【００７９】
２：イベントが最適露出中心以下１４１７の場合、保護時間カウンタをリセットし、状態を適正露出の状態１４ｓ４に遷移する。
【００８０】
３：イベントが保護時間経過１４０８の場合、状態を露出過剰の状態１４ｓ３に遷移する。
【００８１】
区間１３０８では、平均値は範囲１３１３にある為、状態は保護時間待ちの状態１４ｓ６である。１３２１で次に平均値1３２１が範囲１３１２になるため、イベントは最適露出中心以上１４１１となり、保護時間カウンタをリセットし、状態が適正露出の状態１４ｓ４に遷移する。
【００８２】
再び平均値１３２２が範囲１３１３に入る為、イベントが最適露出幅以上１４０７の処理である保護時間カウンタをリセットと、保護時間カウンタのカウントを開始し、状態を保護時間待ちの状態１４ｓ６に遷移させる。平均値が範囲１３１３のまま保護時間カウンタが一定値を超える時点１３２３で、保護時間経過１４０８となり、状態を露出過剰の状態１４ｓ３に遷移する。
【００８３】
以降、露出過剰の状態１４ｓ３では、露出不足の状態１４ｓ２と逆方向にシャッタ速度を変化させる動作となるり、最終的には最適露出１４ｓ４状態となる。
【００８４】
微調整処理１１０９、１１１２は、長周期の画面輝度変動を補償するための処理である。照明光源の輝度変動、例えば蛍光燈フリッカと撮像素子のフレーム周波数が整数倍で極めて近接している場合、折り返し歪による極めて長周期の画面輝度変動を生じる。そこでこのような変動を、微調整処理１１０９、１１１２により検出して、当該変動を抑圧するように処理している。これにより、適正露出制御系の問題を解消するものである。
【００８５】
図１５は、照明光源と撮像素子のフレーム周期との関係で生じる画面輝度変動を測定しグラフ化した例である。縦軸が画面分割平均処理部１１０４から入力される平均値で、横軸が時間軸を表している。この例のように撮像素子のフレーム周期との関係で生じる画面輝度変動は、非常に緩やかな傾きとなるが、その振幅は３０％程度と大きく、最適露出幅の範囲外となる場合が生じる。
【００８６】
ここでシャッタ速度計算処理１１０８のみのシャッタ制御の場合は、平均値が最適露出幅を超えると共に保護時間も規定時間を超えてしまうため、シャッタ制御が稼動し最適露出に合わせてしまう。更にこの動作は平均値が上下し、それぞれ上部と下部で電子シャッタが最適露出に追い込む為に、画面は極めて低い周期の発振を生じてしまう。
【００８７】
そこで長周期の画面輝度変動に対する改善を次の方法で解消する。緩やかな傾きを検出、即ち１フレーム周期に±１％以内の範囲の輝度値変動を検出し、微少なシャッタ制御によって、１フレーム毎に最適露出に追い込む。この小さな変動に関しては、保護時間を設けずに最適露出に調節し、画面の絵柄が変化した等の画面輝度の変化は先に説明した「シャッタ速度計算処理」の通常露出処理を行う。以下、この制御の具体的な制御方法を述べる。
【００８８】
微調整処理１１０９は、条件としてシャッタ速度計算処理１１０８が、適正露出と判断している場合にのみ動作を行う。本処理の動作であるが、適正露出中にシャッタ速度計算処理１１０８が適正露出の平均値を記憶し、これを初期値とし、その初期値に対し１フレーム周期に±１％以内の範囲で平均値が変動した場合、
(初期値)／(平均値)
を求める。この式から演算した結果は、マイコン回路３１８により露光時間の１％の補正量が１ＣＬＯＣＫ単位シフトレジスタ１６０５（図１６参照）を何段ずらせば最適露出となるかを算出する。この算出は、マイコン回路３１８自身が現在のシャッタ速度を認知している為、必要とされる露出の補正時間は
露出の補正時間(s)
＝１／（現在シャッタ速度(s)）÷１００（％）
露出補正するためのシフトレジスタ段数は
シフトレジスタ段数
＝露出の補正時間(s)／マスタークロックの１周期(s)
である。このシフトレジスタ段数を１ＣＬＯＣＫ単位シフトレジスタ１６０５への制御信号とすれば、極めて微少な露光時間調整が可能となり、１フレームレート単位で±１％の露光時間を調整が実現できる。
【００８９】
また、本微調整はＣＣＤ出力信号のＡＧＣでも適用できる。しかし、Ｓ／Ｎを考慮した場合、前記方式を適用した方が増幅度アップによるノイズが少ない。
【００９０】
特性変換制御信号１１１８は、低速シャッタの画像と高速シャッタ画像を合成しダイナミックレンジ拡大画像を構築した場合、合成画像の最適化を図るための制御信号である。この制御信号は、先に説明した信号系における非線型処理回路の制御に用いる。
【００９１】
ここで画像合成の問題点として、２枚の画像を単純に加算しただけでは、拡大率が増大すると共に合成画面の階調特性に非直線歪みを生じ、コントラストのとれない画像となる欠点がある。従って、２枚の画像を加算する前にダイナミックレンジ拡大率に応じて映像信号の特性を変換し、非直線歪みを抑えてコントラスト低下の改善を図るものである。
【００９２】
本制御の動作は次の通りである。まず、ダイナミックレンジ拡大率を以下の式より演算する。
【００９３】
ダイナミックレンジ拡大率
＝低速シャッタ制御信号1114／高速シャッタ制御信号1115
この値は露出制御完了時点のダイナミックレンジ拡大率を求めたものである。特性変換制御部１１１６では、このダイナミックレンジ拡大率の値が演算され、この結果を制御信号として出力する。
【００９４】
一方、信号処理系の特性変換回路は、その入力−出力特性としてＸ¹〜Ｘ^0.9とlog₁₀１〜10（指数特性）のテーブルを持っており、先の制御信号でテーブルを切り換え、画像信号に対する非直線歪みの改善を行う。
【００９５】
以下にダイナミックレンジ拡大率に対するテーブル選択の関係を示す。
【００９６】
ダイナミックレンジ拡大率＜１６の場合……Ｘ⁰のテーブルを選択
１６＝＜ダイナミックレンジ拡大率＜＝６４の場合……Ｘ^0.7のテーブルを選択
６４＜ダイナミックレンジ拡大率の場合……Ｘ⁰のテーブルを選択
特性変換制御部１１１６は、この条件分岐の結果を低速特性変換制御信号１１１７及び高速特性変換制御信号１１１８として生成し、先に説明した信号系の非線型処理回路のテーブル切り換えを自動制御で行う。
【００９７】
加算比率制御１１２０の目的も特性変換制御１１１６と同様で、低速シャッタの画像と高速シャッタ画像の合成を最適化し、合成画像のコントラストを高めるものである。画像合成の欠点としては、ダイナミックレンジ拡大率を大きく取っていった場合、白浮きした画像となりコントラストの劣化が大きい。
【００９８】
この原因は低速シャッタ画像のほとんどが飽和エリアとなり、飽和信号に高速シャッタ画像の信号が乗るためである。この改善を図るため拡大率の増加と共に高速シャッタ画像の合成割合を大きくしていき、画像の白浮きを抑圧することでコントラスト低下の補正を図っている。特に、合成画像のコントラストの向上には、上記した特性変換制御と同時にこの加算比率制御を行うと効果が高い。
【００９９】
次に、加算比率制御部１１２０の動作であるが、特性変換制御部１１１６と同じくダイナミックレンジ拡大率を演算し、この結果から低速シャッタと高速シャッタの画像合成比率を切り換えるための加算比率制御信号１１１９を生成する。この加算比率制御信号１１１９は先に説明した加算比率処理回路へ送られ、２枚の画像の合成配分、即ち加算比率を自動制御する。
【０１００】
ダイナミックレンジ拡大率による加算比率制御の関係は以下の通りである。
【０１０１】
ダイナミックレンジ拡大率＝１のとき L50%:H50%
１＜ダイナミックレンジ拡大率＜６のとき L6%:H94%
６＜＝ダイナミックレンジ拡大率＜８のとき L12%:H87%
８＜ダイナミックレンジ拡大率のとき L25%:H75%
注：Ｈ：高速シャッタ画像、Ｌ：低速シャッタ画像
ただし、上記の加算比率は一例であって、必要に応じて変えてもよいことは言うまでもない。
【０１０２】
上記した図１３、図１４、図１５の説明のようにこの発明では、第１の画像信号、第２の画像信号、第３の画像信号と続く画面情報の少なくとも輝度平均値より得た値から、電子シャッタ速度が収束すべき露光最適値を設定している。更にこの露光最適値を中心に許容範囲となる収束範囲を設定し、かつ、前記収束範囲としては、範囲幅が広いものと狭いものを２種類設定している。
【０１０３】
また収束範囲から前記輝度平均値からずれた場合、ずれの経過時間の計測を開始し一定時間内に前記収束範囲に輝度平均値が戻るかを判断する基準として、前記一定時間を保護時間として設定ししている。この場合、それぞれの収束範囲に対し異なる前記保護時間を持たせている。そして、収束範囲の広い方に対しては、前記輝度平均値の変化が大きい時に前記電子シャッタ速度を変化させて前記露光最適値に戻し、収束範囲の狭い方に対しては前記輝度平均値の変化が小さい時に前記電子シャッタ速度を変化させて前記露光最適値に戻すようにしている。
【０１０４】
図１６は、電子シャッタ回路を示す。図中のブロック１６０２〜１６０４は通常の電子シャッタ回路となっている。水平期間（Ｈ）レート単位のシャッタパルス生成部１６０２、数十クロック（ＣＬＫ）単位のシャッタパルス生成部１６０３を有する。このシャッタパルス生成部１６０２、１６０３の出力パルスはオア回路１６０４で多重され、１クロック単位シフトレジスタ１６０５に入力される。
【０１０５】
入力部１６０１には、クロック、水平同期（ＨＤ）パルス、垂直同期（ＶＤ）パルス、フィールド情報（ＦＩ）が入力されている。
【０１０６】
破線で囲むブロック１６１１は、Ａフィールドの電子シャッタ発生ブロックで、これと同様の回路がＢフィールド用として搭載されている（破線で囲むＢフィールドの電子シャッタ発生ブロック１６１２）。
【０１０７】
マイコン回路３１８からは、前述した「画像情報検出結果」から各フィールドに最適化された「電子シャッタ制御信号」が出力される。一方、ＣＬＫ単位の露光時間微調整は、通常の電子シャッタパルスをシフトレジスタ１６０５の遅延により得ることができる。遅延量についてはマイコン回路３１８からの制御信号によって制御される。
【０１０８】
切換回路１６０６には、フィールド情報ＦＩが供給されており、この情報に応じて各フィールドのためのシャッタパルスを出力する。
【０１０９】
ここで、Ａ・Ｂ各フィールドの画像に対し個別の電子シャッタパルスを与えるわけだが、まず、マイコン回路３１８から各フィールド用の電子シャッタ制御信号がそれぞれの「電子シャッタ発生ブロック」に送られ、Ａ・Ｂフィールド用に個別の電子シャッタパルスを発生させる。次に、この２つの電子シャッタパルスを切り換え回路１６０６に入力し、フィールド毎に切り換えることでＡ・Ｂフィールド個別の電子シャッタパルスが生成できる。
【０１１０】
図１７（Ａ）、図１７（Ｂ）は、撮像素子として例えばＣＣＤを適用した場合の電子シャッタパルス発生タイミングを示す。図１７（Ａ）は垂直同期パルス，図１７（Ｂ）は、垂直周期レートでみたシャッタパルスを示している。各フィールドの電子シャッタは通常のＴＶカメラと同様の発生タイミングになっている。垂直同期パルスの終端エッジ付近で水平周期レートの電子シャッタパルスが発生開始する。そして次の垂直同期パルスの前半の一部の期間で、数或は数十クロックレートでの電子シャッタパルスの期間がある。
【０１１１】
このパルスタイミングにおいて一部を拡大したのが図１８（Ａ）、（Ｂ）、図１９（Ａ）、（Ｂ）である。図１８（Ａ）は映像信号期間内の水平同期パルス、図１８（Ｂ）は、水平周期レートでのシャッタパルスを示している。図１９（Ａ），（Ｂ）は垂直ブランキング内の細かいパルスである。図１９（Ａ）はクロック、図１９（Ｂ）は数クロックレートによるシャッタパルスである。
【０１１２】
ここで画像の露光時間は、垂直ブランキング期間内の電荷読み出しパルス（フィールドシフトパルス）に対し、時間軸方向にさかのぼり最初の電子シャッタパルスが発生した期間のまでである。
【０１１３】
水平周期レートのシャッタパルス開始時点ｔ１は、Ｖブランキング期間内の電荷読み出しパルス（フィールドシフトパルス）の直後であり、水平周期レートのシャッタパルスの終了時点ｔ２はＶブランキングの直前までである。一方、数クロックレートのシャッタパルス開始タイミングは、Ｖブランキング期間開始直後より電荷読み出しパルスの直前までである。
【０１１４】
これら電子シャッタパルスの発生タイミングは、通常のＣＣＤカメラに適用されているタイミングである。
【０１１５】
図２０は、本ＣＣＤカメラの特徴となる点で、電子シャッタ速度だけで画像の露光時間をクロック周期のレートで微調整可能とするものである。従来の方法では、電荷読み出しパルスの直前で“数クロックレートのシャッタパルス”を１パルス切ると露光時間が５０％程度変化してしまうため、露光時間のキザミが粗かった。
【０１１６】
これに対し、微調整を行うと電荷読み出しパルスの直前に発生させたシャッタパルスの露光時間調整を数％ずつ行うことが可能となり、画像の輝度レベルを細かく調整することが可能となる。これによる効果は高輝度部分で極めて早い電子シャッタで切っている画像において、電子シャッタのみでフリッカ補正が可能となる。即ち、広ダイナミックレンジカメラにおいて高速シャッタ画像のフリッカを補正できる。
【０１１７】
次に、実施方法としては１ピクセルクロック単位で電子シャッタパルスをシフトし、クロック周期の時間で露光時間を調整している。以上の回路により、広ダイナミックレンジカメラの動的電子シャッタ制御システムが構築できる。
【０１１８】
この発明の撮像装置においては、画像信号及び制御信号処理部は、集積化される。集積化される範囲は、種々の形態が可能である。例えば、電子シャッタ回路３０５、低速シャッタ用メモリ回路３０６、高速シャッタ用メモリ回路３０７、低速シャッタ用切換回路３０８、高速シャッタ用切換回路３０９、低速用特性変換回路３１０、高速用特性変換回路３１１、加算又は切換回路３１２、積算値回路３１５、ピーク値検出回路３１６、ゲート波形発生回路３１７が１つの集積化半導体チップとして構築される。しかし、これに限らず、集積化する場合、図１の各ブロックの組み合せは任意である。尚、上記の説明ではCCD撮像素子を例に説明したが、本発明はCMOSセンサを用いた場合にも同様な動作及び効果を得ることができる。
【０１１９】
【発明の効果】
上記のようにこの発明によれば、異なる電子シャッタ処理を用いて撮像し、得られた映像信号を信号処理し、極めて広範囲な光量に対する画像撮像が可能となる。また、シャッタ時間は低速シャッタと高速シャッタとが独立して行えるため、被写体の輝度差の非常に大きな場合でも撮像可能であり特殊な監視カメラ装置ができるなど、撮像装置として大きな効果がある。
【図面の簡単な説明】
【図１】従来の電子カメラにおける画像信号の説明図。
【図２】従来例の電子カメラの回路ブロックの説明図。
【図３】本発明の一実施例に係る撮像装置の回路ブロック図。
【図４】図３の回路ブロック図の動作を説明するために示した説明図。
【図５】撮像素子の撮像特性の説明図。
【図６】本発明に係る撮像装置の信号処理出力特性を示す説明図。
【図７】撮像画面の分割例を示す説明図。
【図８】図１の積算値回路のブロック構成図。
【図９】図１のピーク値検出回路のブロック構成図。
【図１０】図１のゲート波形発生回路のブロック構成図。
【図１１】図１のマイコン回路の内部ブロック図。
【図１２】画面分割された画像の処理内容の説明図。
【図１３】図１３制御推移を示すグラフ
【図１４】プログラム制御の状態遷移図
【図１５】交流照明光源による画面輝度変動のグラフを示す図。
【図１６】電子シャッタパルスの発生回路のブロックを示す図。
【図１７】電子シャッタパルス発生タイミングを垂直周期で見た説明図。
【図１８】電子シャッタパルス発生タイミングを水平周期で見た説明図。
【図１９】垂直ブランキング期間内のクロックと電子シャッタパルスの関係を示す説明図。
【図２０】垂直ブランキング期間内のクロックと電子シャッタパルスの位相が可変された様子を示す説明図。
【符号の説明】
３０１…撮像レンズ、３０２…ＣＣＤカメラ、３０３…ＡＧＣ回路、３０４…Ａ／Ｄ変換回路、３０５…電子シャッタ回路、３０６…低速シャッタ用メモリ回路、３０７…高速シャッタ用メモリ回路、３０８…低速シャッタ用切換回路、３０９…高速シャッタ用切換回路、３１０…低速用特性変換回路、３１１…高速用特性変換回路、３１２…加算ｏｒ切換回路、３１３…Ｄ／Ａ回路、３１５…積算値回路、３１６…ピーク値検出回路、３１７…ゲート波形発生回路、３１８…マイコン回路。

Claims

第１の露光時間で撮像した画面単位の第１の画像信号及び、前記第１の露光時間とは異なる第２の露光時間で撮像した画面単位の第２の画像信号を得る撮像装置において、
前記第１の画像信号と第２の画像信号の加算または切り換えによって合成画像信号を構築する画像合成手段と、
画面を複数に分割した各領域の積算値を得る積算回路と、
前記積算値を用いて、１画面内で前記第１及び第２の画像信号の飽和領域と不飽和領域を検出する手段と、
前記第１の画像信号の不飽和領域から低速画像平均値を得る手段と、
前記第２の画像信号の不飽和領域から高速画像平均値を得る手段と、
前記低速画像平均値を受けて、この値が所定の範囲を越えている場合には第１の値で、前記所定の範囲内の場合は前記第１の値よりも小さい第２の値で前記第１の露光時間を制御する制御信号を出力する手段と、
前記高速画像平均値を受けて、この値が所定の範囲を越えている場合には第３の値で、前記所定の範囲内の場合は前記第３の値よりも小さい第４の値で前記第２の露光時間を制御する制御信号を出力する手段と、
を有したことを特徴とする撮像装置。
前記第１と第２の露光時間を制御する信号は、
前記第１の画像信号の飽和領域に対して第２の画像信号の加算比率を制御す加算比率制御信号を生成する手段で用いられることを特徴とする請求項１記載の撮像装置。
前記露光時間を決定する電子シャッタの最終発生タイミングを、タイミングジェネレータの 1 クロック単位で時間的移動制御するシャッタ制御手段をさらに具備したことを特徴とする請求項 1 記載の撮像装置。
さらに、
前記積算値を用いて、１画面内で前記第１の画像信号の輝度ピーク値領域を検出する手段と、
前記輝度ピーク値領域と前記飽和領域の重なり領域を飽和領域として検出する手段とを有することを特徴とする請求項１記載の撮像装置。
第１の露光時間で撮像した画面単位の第１の画像信号及び、前記第１の露光時間とは異なる第２の露光時間で撮像した画面単位の第２の画像信号を得る撮像信号処理方法において、
前記第１と第２の露光時間を設定する電子シャッタ回路と、前記第１の画像信号と第２の画像信号の加算または切り換えによって合成画像信号を構築する画像合成手段と、画面を複数に分割した各領域の積算値を得る積算回路と、制御部とを用い、前記制御部では、
前記積算値を用いて、１画面内で前記第１及び第２の画像信号の飽和領域と不飽和領域を検出し、
前記第１の画像信号の不飽和領域から低速画像平均値を得て、
前記第２の画像信号の不飽和領域から高速画像平均値を得て、
前記低速画像平均値を受けて、この値が所定の範囲を越えている場合には第１の値で、前記所定の範囲内の場合は前記第１の値よりも小さい第２の値で、前記電子シャッタ回路を介して前記第１の露光時間を制御し、
前記高速画像平均値を受けて、この値が所定の範囲を越えている場合には第３の値で、前記所定の範囲内の場合は前記第３の値よりも小さい第４の値で、前記電子シャッタ回路を介して前記第２の露光時間を制御する
ことを特徴とする撮像信号処理方法。