JP4438847B2 - 撮像装置、撮像制御方法及び撮像制御プログラム - Google Patents

Description

本発明は、長時間露光画像信号と短時間露光画像とを合成してダイナミックレンジの広い合成画像信号を生成する撮像装置、撮像制御方法及び撮像制御プログラムに関する。

従来のＣＣＤ（Charge Coupled Device）等の固体撮像素子を用いた撮像装置では、撮像素子に入力される光量（露光量）を、絞りや電子シャッタースピードによって調節している。つまり、明るいシーンを撮像するときには撮像素子の出力信号が飽和していわゆる白つぶれ（露光過多：overexposure）が発生しないように露光量を少なくし、逆に暗いシーンではいわゆる黒つぶれ（露光不足：underexposure）が発生しないように露光量を多くするように、露光量を調節している。

しかしながら、明暗の差が大きいシーンの撮像（逆光撮像、屋内外同時撮像）する場合、使用する固体撮像素子のダイナミックレンジ不足により、露光量の調節だけでは、明るい部分が飽和して白とびが発生してしまったり、暗い部分で黒つぶれが発生してしまい、両方の部分を適正に再現できないという問題がある。

この問題を解決するために、フィールド内で二つの異なる電子シャッタースピードを使用したり、フィールドごとに電子シャッタースピードを変えて、明るいエリアの情報と暗いエリアの情報とを別々に撮像し、得られたそれぞれの情報を１枚の画像に合成する方法が既に開発されている（例えば、特許文献１参照）。

また、これを応用したものとして、ダイナミックレンジの広い画像を撮像可能な装置（ワイドダイナミックレンジカメラ）があり、その合成画像の品質を向上させる装置・方法が提案されている（例えば、特許文献２、３参照）。

一般的にワイドダイナミックレンジカメラの動作状態として、ワイドダイナミックレンジ撮像を行う合成撮像モードと、ワイドダイナミックレンジ撮像を行わない通常撮像モードの２種類があるが、監視カメラの運用形態としては、常時合成撮像モードで運用されているケースが多い。主な理由は、自動および手動でカメラ自体を旋回させ、広域を監視するという役割を持つため、ワイドダイナミックレンジを必要とする場所と必要としない場所が混在し、また時刻によっても変わる可能性があるため、どちらの撮像モードが適しているか予想できないためである。また撮像モードを被写体の状況に応じて自動または手動で切り替えることも可能であるが、撮像モードに応じて信号処理アルゴリズムが切り替わる際に、出力される映像信号が急激に変化するため、動画像としての品質が低下してしまうという問題がある。

広域を監視するような監視カメラの場合、被写体輝度が監視エリアによって大きく異なることが想定されるので、監視エリア毎に撮像モードが頻繁に変わり、それに伴い映像変化を生ずるよりも、合成撮像モードを継続する方が望ましい。

また、監視カメラにおいては、合成撮像が必要な明暗の差が非常に大きいシーン（逆光撮像、屋内外同時撮像）と、合成撮像が必要ない明暗差の少ないシーン（通常撮像モードが適しているようなシーン）のどちらも、合成撮像モードで撮像することが望まれ、どちらの状況にあっても品質の高い画像を要求される。

特開平６−１４１２２９号公報 特開２００２−８４４４９号公報 特開２００４−１２０２０５号公報

ところで、図１９に示すように、屋内に設置された監視カメラ１００では、出入口１０１の外に位置している被写体１０２は逆光状態で撮像しなければならず、また、窓ガラス１０３を介して太陽光が照射される明るい領域１０４と、太陽光が届かない隅の暗い領域１０５など、ワイドダイナミックレンジを必要とする場所と必要としない場所が混在し、また時刻によっても変わる可能性がある。

上記監視カメラ１００は、次の条件で監視している場合、
（１）常時合成撮像モードで運用している。
（２）監視エリアのＡ方向の屋内外同時撮像（逆光）エリアからＢ方向の屋内撮像（順光）にユーザーが自動または手動で撮像装置を旋回（パン・チルト）させて切り替える。
（３）既にＡでは露光が完了していて、最適な合成画像を得られている。
（４）合成撮像モードでは、通常撮像モードに対して、相対的に長い露光時間を要する撮像システムである。

合成撮像モードの効果により、Ａ方向の逆光状態で撮像する黒つぶれ・白とび補正がかかっている撮像状態から、Ｂ方向の補正を必要としない撮像状態へ変わるので、Ｂ方向の撮像を始めると補正量を段階的に落としていくので、補正がなくなり適正な露光状態になるまでに、通常撮像モードに比べて長い時間を要する。例えば、通常撮像モードの露光処理が２秒程度で収束するのに対して、合成撮像モードでは１５秒程度の時間を要する。これは、合成撮像モードの露光制御の性質によるもので、黒つぶれや白とび補正を段階的に行い、それに伴う合成画像のヒストグラムおよび輝度の変化を参照しながら、フィードバック制御するからである。また合成画像の輝度変化を緩やかにするためでもある。

しかしながら、Ａ方向の撮像状態で機能した補正がＢ方向の撮像状態に移る際に働いてしまうため、Ｂ方向での監視を開始したときに必要のないＡ方向での補正が働き、適正輝度から外れた映像が出力されてしまい、さらにその映像が適正露出になるまでにかかる時間が長いことから、画質が悪い、露光が遅いなどといった問題を生じる。

そこで、本発明の目的は、上述の如き従来の実情に鑑み、ワイドダイナミックレンジカメラの合成撮像モードを継続して運用することを必要とされる広域監視カメラシステムにおいて、一旦、逆光状態で露光完了している状況から、順光の監視エリアに移る場合に、逆光状態で働いた補正がかかることなく、通常撮像モードと同等の時間で露光を完了することができる撮像装置、撮像制御方法及び撮像制御プログラムを提供することにある。

本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。

本発明では、次の点に着目して、合成撮像モードにおける露光時間を短縮する。
（１）カメラの旋回（パン・チルト）は、シーンチェンジのトリガとして利用できる。
（２）ユーザーは各監視エリアでカメラが停止している状態で、適切な露光状態になることを望んでいるので、カメラが旋回（パン・チルト）している間の露光状態については特に問題視されない。
（３）補正がなされていない状態から、段階的に補正が働いていく過程は、大きく露光を外しているわけではないので、画質が悪いとは判断されない。

これら（１）（２）を考慮すると、パン・チルトを行なう制御部など、シーンチェンジのトリガとなる外部装置から、補正を初期化させるための信号を受信し、カメラが旋回している間に補正の初期化を行い、新たな監視エリアで補正処理を初期状態（黒つぶれ・白とび補正が働いていない状態）から開始することで、露光処理時間を短縮させることが可能である。

すなわち、本発明に係る撮像装置は、被写体からの入射光から撮像画像信号を生成するとともに、上記撮像画像信号として、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する撮像部と、上記長時間露光画像信号と上記短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理部と、上記合成画像信号についての輝度積算値を生成する検波部と、上記輝度積算値を用いて、上記撮像部の露光補正制御を行う制御部とを備え、上記制御部は、上記撮像部による撮像範囲を変更する操作がなされているか否かを判定し、上記撮像範囲を変更する操作がなされている期間中に、上記撮像部の露光補正に用いる補正値を初期化して、上記撮像部の露光補正制御を行うことを特徴とする。

本発明に係る撮像装置において、上記検波部は、例えば、上記合成画像信号についての輝度積算値と輝度ヒストグラムを生成し、上記制御部は、上記輝度積算値と上記輝度ヒストグラムを用いて、上記撮像部の露光補正制御を行う。

また、本発明に係る撮像装置において、上記制御部は、上記撮像範囲を変更する操作がなされている期間中に、例えば、上記撮像部の露光補正に用いる黒つぶれ補正を行うための補正値である目標輝度積算値を最小値とする初期化処理を行う。

また、本発明に係る撮像装置において、上記制御部は、上記撮像範囲を変更する操作がなされている期間中に、例えば、上記撮像部の露光補正に用いる白つぶれ補正を行うための補正値である目標短時間露光時間を最大値とする初期化処理を行う。

また、本発明に係る撮像装置において、上記制御部は、例えば、上記撮像部の旋回操作を示す信号に応じて上記撮像部の露光補正に用いる補正値を初期化して、上記撮像部の露光補正制御を行う。

また、本発明に係る撮像装置において、上記制御部は、例えば、上記撮像部のズーム操作を示す信号に応じて上記撮像部の露光補正に用いる補正値を初期化して、上記撮像部の露光補正制御を行う。

本発明に係る撮像制御方法は、撮像手段により、被写体からの入射光から撮像画像信号を生成するとともに、上記撮像画像信号として、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する撮像ステップと、上記長時間露光画像信号と上記短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理ステップと、上記合成画像信号についての輝度積算値を生成する検波ステップと、上記輝度積算値を用いて露光補正制御を行う露光補正制御ステップとを有し、上記露光補正制御ステップにおいて、上記撮像手段による撮像範囲を変更する操作がなされているか否かを判定し、上記撮像範囲を変更する操作がなされている期間中に、上記撮像手段の露光補正に用いる補正値を初期化して、上記撮像手段の露光補正制御を行うことを特徴とする。

本発明は、被写体からの入射光から撮像画像信号を生成するとともに、上記撮像画像信号として、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する撮像手段と、上記長時間露光画像信号と上記短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理手段と、上記合成画像信号についての輝度積算値を生成する検波手段と、上記輝度積算値を用いて露光補正制御を行う露光補正制御手段とを備える撮像装置を制御する制御方法をコンピュータに実行させる撮像制御プログラムであって、上記撮像手段による撮像範囲を変更する操作がなされているか否かを判定し、上記撮像範囲を変更する操作がなされている期間中に、上記撮像手段の露光補正に用いる補正値を初期化して、上記撮像手段の露光補正制御を行う露光補正制御ステップを有する制御方法をコンピュータに実行させることを特徴とする。

本発明によれば、ワイドダイナミックレンジカメラの合成撮像モードを継続して運用することを必要とされる広域監視カメラシステムにおいて、一旦、逆光状態で露光完了している状況から、順光の監視エリアに移る場合に、逆光状態で働いた補正がかかることなく、通常撮像モードと同等の時間で露光が完了することができる。

また、例えば一定時間間隔で各監視エリアを自動巡回し、その映像を録画機などで記録しているような運用を考えると、補正により露光を大きく外すような映像がなくなるので、適切な露光状態の映像がより多く記録できるようになり、改善の効果は大きい。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。

本発明は、例えば図１に示すような構成の撮像装置１０に適用される。

ここで、この撮像装置１０は、監視エリアを監視するために旋回制御部１５により旋回操作される監視カメラであって、ワイドダイナミックレンジカメラとしての合成撮像モードの撮像動作が可能な撮像装置である。もちろん一般ユーザーが通常用いるデジタルスチルカメラ、デジタルビデオカメラなどとしても適用可能である。

この撮像装置１０は、撮像光学系１、撮像素子部２，前処理部３、信号処理部４、出力部５、検波部６、タイミングジェネレータ７、光学部品駆動部８、制御部９などを備える。

撮像光学系１は、レンズや不要な波長を除去する光学フィルタ、絞り１ａ等の光学部品を備える。被写体から入射された光は撮像光学系１における各光学部品を介して撮像素子部２に導かれる。

撮像素子部２は、例えばＣＣＤセンサアレイ、ＣＭＯＳセンサアレイなどの固体撮像素子部として構成される。この撮像素子部２は、撮像光学系１を介して導かれた光を光電変換し、撮像画像としての電気信号を出力するもので、この撮像装置１０では、図２に示すように、１フィールド期間に長時間露光と短時間露光を行い、長時間露光画像信号と短時間露光画像信号としての電気信号を時分割出力する。

なお、撮像素子部２は、固体撮像素子を用いる構成に限られない。例えば撮像管のような非固体撮像素子を用いる構成でも良い。非固体撮像素子についても、メカニカルシャッタ、液晶シャッタ等を利用して、長時間露光、短時間露光を行ったり、長時間露光、短時間露光の露光時間を変化させることは可能である。

ここで、合成撮像モードについて述べておく。

一般的に使用される撮像装置における通常の撮像動作では、被写体における非常に暗い部分から非常に明るい部分までの広範囲にわたるダイナミックレンジを扱うことが困難である。例えば晴天の昼間の時間帯に，屋外が見える状態で、屋内において撮像する場合、屋内の被写体に露光基準を合わせると、屋外の部分が階調を失い白とびしてしまう。また、逆に屋外の部分に露光基準を合わせれば、屋内の被写体が黒つぶれしてしまう。即ち被写体内での輝度差が著しい場合、その輝度のダイナミックレンジに対応した撮像画像を得ることが困難となる。

これに対して合成撮像モードの撮像動作では、例えば電子シャッタでシャッタ速度を変えて、露光時間の異なる複数の画像を合成する処理を行うことにより、ダイナミックレンジの広い、白とびや黒つぶれの生じない撮像画像を得るようにしている。

図２は、撮像素子部２での、１フィールド内の露光時間と蓄積される露光量（電荷量）を示している。

この図２では、１／６０秒の１フィールド期間において、１／６４秒の長時間露光と、１／２０００秒の短時間露光を行う場合を示している。なお、長時間露光時間と短時間露光時間は可変制御可能である。

この長時間露光と短時間露光を行うことで、１フィールド期間に、長時間露光画像信号と短時間露光画像信号を得る。そしてこの両画像信号を合成することで１フィールドの撮像画像データが生成される。

なお、長時間露光と短時間露光は、必ずしも１フィールド期間に行わなければならないものではなく、或るフィールド期間に長時間露光を行い、次のフィールド期間に短時間露光を行って、各露光画像信号を合成するような処理も考えられる。

図３は、長時間露光画像信号と短時間露光画像信号の合成処理の説明のために、長時間露光画像信号の入出力輝度特性Ｌと、短時間露光画像信号の入出力輝度特性Ｓを示している。

合成処理においては、例えば輝度閾値で示される切り替えポイントで切り替えて合成画像を生成する。そして、切替ポイントよりも低輝度の画素は、長時間露光画像信号の画素信号を採用する。一方、切替ポイントよりも高輝度の画素については、短時間露光画像信号の画素信号を採用する。このとき、長時間露光画像と短時間露光画像との露光比を短時間露光画像に乗算することで双方の画像のレベル合わせを行う。

仮に長時間露光画像と短時間露光画像との露光比が１０：１であるとすると、短時間露光画像の露光は長時間露光画像の１０分の１である。しかし存在する光の量としては短時間露光画像の輝度信号レベルの１０倍は光量がある。したがって短時間露光画像信号にゲインＫとして１０を乗算することによりレベルを合わせる。

このように短時間露光画像信号についてゲイン乗算を行い、図３に示すように長時間露光画像信号特性とレベルの合った特性ＫＳを得る。

結果として、特性Ｌ−ＫＳの合成画像を生成する。すなわち、合成画像では、被写体内で比較的暗い領域は長時間露光画像信号による黒つぶれのない画像が得られ、比較的明るい領域は短時間露光画像信号による白とびのない画像が得られる。

なお、出力画像に明るい部分から暗い部分までが含まれるダイナミックレンジが広い被写体を撮像する合成撮像モードの手法としては、上記のように露光時間の異なる明るい画像と暗い画像とを合成する以外にも各種の手法がある。

例えば画素単位に感度を変えて撮像素子から同じ露光条件の信号のみを抜き出して画像を再生し、露光条件の異なる１又は２以上の画像を合成する方法もある。

またはプリズムにより入射光を分けて、撮像素子と、透過する光を全波長に渡って減少させる、つまり入射光量を等しく減少させるＮＤフィルタ（Neutral Density Filter：光量調節フィルタ）のような減光機能を持つものとを張り合わせた撮像素子から出力される信号を合成する方法などもある。

これらの手法を採用した合成撮像モードによれば、通常撮像モードによる撮像の場合のダイナミックレンジよりも非常に広いダイナミックレンジを得ることができる。従って出力画像に明るい部分から暗い部分までが含まれるダイナミックレンジが広い被写体を撮像することが可能であり、例えば強い外光が差し込む室内，照度差の激しい場所などを撮像する場合に適している。具体的には銀行などの店舗の出入口、または交通状況の把握のために交通道路など、日中、夜間など撮像される時間帯によりダイナミックレンジが大きく異なる場合の撮像には、合成撮像モードが好適となる。

この撮像装置１０における前処理部３は、いわゆるアナログフロントエンドであり、撮像素子部２から出力される撮像画像としての電気信号に対してＣＤＳ（correlated double sampling ：相関２重サンプリング）処理、プログラマブルゲインアンプによるゲイン処理、Ａ／Ｄ変換処理を行う。そしてこれらの処理を行った長時間露光画像信号と短時間露光画像信号を信号処理部４に供給する。

信号処理部４は、入力される長時間露光画像信号と短時間露光画像信号について図３で述べた合成処理を行う。すなわち、時分割的に供給される長時間露光画像信号と短時間露光画像信号のタイミング調整や色バランス補正処理、長時間露光画像信号に対して短時間露光画像信号の輝度レベルを一致させるゲイン処理、および合成処理を行う。また合成画像信号に対するガンマ補正処理やホワイトバランス処理も行って撮像画像データとする。

信号処理部４は、生成した撮像画像データを出力部５及び検波部６に出力する。

出力部５は、信号処理部４からの撮像画像データについて、モニタディスプレイにおける表示のための処理や、或いは外部機器への送信のための処理を行う。

検波部６は、信号処理部４からの合成画像信号についての輝度分析処理を行い、輝度積算値と輝度ヒストグラムの情報を生成し、制御部９に供給する。

制御部９は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを有するマイクロコンピュータによって構成され、撮像装置１０の全体の動作を制御する。また、制御部９は撮像時の露光補正処理を行う。

制御部９におけるＲＯＭには、これらの制御処理を実行させる撮像制御プログラムが格納されており、該撮像制御プログラムに基づいて、上記各制御のための必要な演算・制御処理を実行する。

タイミングジェネレータ７は、例えばＣＣＤなどの撮像素子部２に必要な動作パルスを生成する。例えば垂直転送のための４相パルス、フィールドシフトパルス、水平転送のための２相パルス、シャッタパルスなどの各種パルスを生成し、撮像素子部２に供給する。このタイミングジェネレータ７により撮像素子部２を駆動（電子シャッタ機能）させることが可能となる。このタイミングジェネレータ７は、撮像素子部２に図２のように露光時間が相対的に長い長時間露光と、露光時間が相対的に短い短時間露光を実行させる。

光学部品駆動部８は、撮像光学系１における光学部品の駆動を行うもので、例えば、絞り１ａやズームレンズ等の駆動を行う駆動回路部からなる。

そして、この撮像装置１０では、当該撮像装置１０の旋回操作を行う旋回制御部１５から、当該撮像装置１０の旋回操作を示す信号が上記制御部９に供給されるようになっている。

このような構成の撮像装置１０において、制御部９による制御に基づいて、図４のフローチャートに示す手順にしたがった撮像動作が行われる。

すなわち、この撮像装置１０では、撮像動作を開始すると、制御部９は、先ず、ステップＳＴ１において初期化要求の検出処理を行い、次のステップＳＴ２において合成撮像処理を行う。

ステップＳＴ１の初期化要求の検出処理では、制御部９は、図５のフローチャートに示すように、旋回制御部１５から供給される当該撮像装置１０の旋回操作を示す信号に基づいて、旋回が開始されたか否かを判定し（ステップＳＴ１１）、その判定結果が「ＹＥＳ」、すなわち、撮像装置１０の旋回が開始されると、補正値の初期化要求をセットして（ステップＳＴ１２）、初期化要求の検出処理を終了し、また、その判定結果が「ＮＯ」、すなわち、撮像装置１０の旋回が開始されていない場合には、そのまま初期化要求の検出処理を終了する。

次のステップＳＴ２の合成撮像処理では、タイミングジェネレータ７により撮像素子部２の駆動を制御して、撮像素子部２に一つの電子シャッタースピードを設定して、図２のような長時間露光と短時間露光を実行する。すなわち、タイミングジェネレータ７は、１フィールド期間内に異なる二つの電子シャッタースピードを設定することが可能であり、１フィールド期間に図２のような長時間露光と短時間露光を撮像素子部２に実行させる。これにより露光量の違う二つの撮像画像信号（例えば露光時間１／６４秒の長時間露光画像信号と、露光時間１／２０００秒の短時間露光画像信号）が得られる。長時間露光画像信号と短時間露光画像信号は、それぞれ前処理部３で処理されて信号処理部４に供給される。

そして、次のステップＳＴ３において、制御部９は、信号処理部４により図３で述べた手法で合成処理を行う。信号処理部４は、前処理部３でデジタル化された長時間露光画像信号と短時間露光画像信号を合成し、ダイナミックレンジを拡大させ、出力部５と検波部６へ出力する。

次のステップＳＴ４では、検波部６により検波処理を行う。

合成画像信号は検波部６にも供給される。検波部６は、合成画像信号の輝度積算値と輝度ヒストグラムを生成し、それをフィールド毎に制御部９に送信する。

このステップＳＴ４の検波処理では、図６のフローチャートに示すように、ステップＳＴ４１で１フィールドの合成画像信号の輝度積算を行い、次のステップＳＴ４２で輝度ヒストグラムを生成する。

図７に輝度ヒストグラムの例を示す。この例では、輝度について黒レベルＢから白レベルＷまでを、「Ｂ」「ｍｂ１」「ｍｂ２」「ｍｂ３」「ｍｗ３」「ｍｗ２」「ｍｗ１」「Ｗ」という８段階の輝度に分け、この８段階の各輝度についての１フィールド画像内での割合（％）を示すものとしている。

例えば図７（ａ）は合成画像信号の比較的暗めの画像となったフィールドの輝度ヒストグラムの例であり、図７（ｂ）は比較的明るめの画像となったフィールドの輝度ヒストグラムの例である。

次のステップＳＴ５では、制御部９は、ステップＳＴ１の初期化要求の検出結果に基づいて、補正値の初期化要求の有無を判定する。

そして、このステップＳＴ５における判定結果が「ＹＥＳ」、すなわち、補正値の初期化要求がある場合には、ステップＳＴ６−１の補正値の初期化処理を行い、露光補正に用いる補正値を設定してから、ステップＳＴ６−２において上記ステップＳＴ１２でセットされた初期化要求をクリアして、次のステップＳＴ７に移って露光補正処理を行う。

ここで、ステップＳＴ６−１の補正値の初期化処理では、図８のフローチャートに示すように、先ずステップＳＴ６１において、黒つぶれ補正に用いる補正値の初期化を行い、黒つぶれ補正に用いる補正値である目標輝度積算値（Ｙｔ）を最小値（Ｙｍｉｎ）とし、次のステップＳＴ６２において、白つぶれ補正に用いる補正値の初期化を行い、白つぶれ補正に用いる補正値である目標短時間露光時間（Ｔｔ）を最大値（Ｔｍａｘ）とする。

また、上記ステップＳＴ５における判定結果が「ＮＯ」、すなわち、補正値の初期化要求がない場合には、そのままステップＳＴ７に移って露光補正処理を行う。

ステップＳＴ７の露光補正処理では、制御部９は、輝度ヒストグラムを検査し、黒つぶれ、白とびがなくなるような画像になるように、目標輝度積算値および短時間露光時間を決定する。

黒つぶれの補正では、輝度ヒストグラムの黒部分（Ｂ）の比率を検査することで黒つぶれを検出し、黒部分（Ｂ）が一定の割合になる様に、目標輝度積算値を設定する。

白とびの補正では、輝度ヒストグラムの白部分（Ｗ）の比率を検査することで白とびを検出し、白部分（Ｗ）が一定の割合になる様に目標短時間露光時間を設定する。

上記ステップＳＴ７の露光補正処理では、図９のフローチャートに示すように、制御部９は、例えば１フィールド期間中に、ステップＳＴ７１において、輝度ヒストグラムを検査することで黒つぶれを検出して、ステップＳＴ７２で目標輝度積算値（Ｙｔ）を決定する黒つぶれ補正の処理を行い、さらに、ステップＳＴ７３で輝度ヒストグラムを検査することで白とびを検出して、ステップＳＴ７４で目標短時間露光時間（Ｔｔ）を決定する白とび補正の処理を行う。

上記ステップＳＴ７１，ＳＴ７２の黒つぶれ補正の処理では、図１０のフローチャートに示すように、ステップＳＴ７１の輝度ヒストグラムから黒つぶれを検出する処理として、ステップＳＴ７１１，ＳＴ７１２が行われ、ステップＳＴ７２の目標輝度積算値（Ｙｔ）を決定する処理としてステップＳＴ７２１，ＳＴ７２２，ＳＴ７２３が行われる。

すなわち、制御部９は、まずステップＳＴ７１１で輝度ヒストグラムの黒部分（Ｂ）の比率が１０％以上であるか否かを判断する。１０％以上であれば、合成画像信号において黒つぶれが発生していると判断し、ステップＳＴ７２１に進んで、目標輝度積算値（Ｙｔ）を、現在の目標輝度積算値（Ｙｔ）に固定値（Ｃｙ）を加算した値に更新する。つまり、露光量を多くする方向に更新する。

また、輝度ヒストグラムの黒部分（Ｂ）の比率が１０％未満であった場合は、ステップＳＴ７１２で、黒部分（Ｂ）の比率が５％以下であるかを判断する。５％以下であれば、ステップＳＴ７２２に進んで、目標輝度積算値（Ｙｔ）を、現在の目標輝度積算値（Ｙｔ）から固定値（Ｃｙ）を減算した値に更新する。つまり露光量を少なくする方向に更新する。

ステップＳＴ７２１で５％以下ではない、つまり黒部分（Ｂ）が５〜１０％の範囲であった場合は、適正な露光量であるとしてステップＳＴ７２３に進み、目標輝度積算値（Ｙｔ）を現状のまま維持する。

すなわち、黒つぶれ補正の処理では、輝度ヒストグラムの黒部分（Ｂ）の比率を検査することで黒つぶれを検出し、それが一定の割合になる様に、目標輝度積算値（Ｙｔ）を設定する。新たな目標輝度積算値は現在のものに対して一定量（Ｃｙ）を加減することで求める。一定量（Ｃｙ）で加減をするのは、徐々に収束すべき目標輝度積算値（Ｙｔ）を求め、出力映像の輝度変化を緩やかにするためである。

また、上記ステップＳＴ７３，ＳＴ７４の白とび補正の処理では、図１１のフローチャートに示すように、ステップＳＴ７３の輝度ヒストグラムから白とびを検出する処理としてステップＳＴ７３１，ＳＴ７３２が行われ、ステップＳＴ７４の目標短時間露光時間（Ｔｔ）を決定する処理としてステップＳＴ７４１，ＳＴ７４２，ＳＴ７４３が行われる。

すなわち、制御部９は、まずステップＳＴ７３１で輝度ヒストグラムの白部分（Ｗ）の比率が１０％以上であるか否かを判断する。１０％以上であれば、合成画像信号において白とびが発生していると判断し、ステップＳＴ７４１に進んで、目標短時間露光時間（Ｔｔ）を、現在の目標短時間露光時間（Ｔｔ）から固定値（Ｃｙ）を減算した値に更新する。つまり、露光量を少なくする方向に更新する。

また、輝度ヒストグラムの白部分（Ｗ）の比率が１０％未満であった場合は、ステップＳＴ７３２で、白部分（Ｗ）の比率が５％以下であるかを判断する。５％以下であれば、ステップＳＴ７４２に進んで、目標短時間露光時間（Ｔｔ）を、現在の目標短時間露光時間（Ｔｔ）に固定値（Ｃｙ）を加算した値に更新する。つまり露光量を多くする方向に更新する。

ステップＳＴ７３２で５％以下ではない、つまり白部分（Ｗ）が５〜１０％の範囲であった場合は、適正な露光量であるとしてステップＳＴ７４３に進み、目標短時間露光時間（Ｔｔ）を現状のまま維持する。

白とび補正の処理では、輝度ヒストグラムの白部分（Ｗ）の比率を検査することで白とびを検出し、一定の割合になる様に目標短時間露光時間（Ｔｔ）を設定する。新たな目標短時間露光時間（Ｔｔ）は現在のものに対して一定量（Ｃｔ）を加減することで求める。一定量（Ｃｔ）で加減するのは、徐々に収束すべき目標短時間露光時間（Ｔｔ）を求め、出力映像の輝度変化を緩やかにするためである。

以上の処理で、目標輝度積算値（Ｙｔ）と目標短時間露光時間（Ｔｔ）が決定される。そして、上記ステップＳＴ７の露光補正処理で、上述のように目標輝度積算値（Ｙｔ）と目標短時間露光時間（Ｔｔ）が用いられて露光制御が行われることになる。

このような露光補正処理、露光制御処理を含む図４のフローチャートに示す処理が例えばフィールド期間毎に繰り返されることで、合成画像信号において黒つぶれや白とびが発生しない露光状態に収束されていく。

なお、図１０，図１１に示したように、現在の目標輝度積算値と固定値との演算により新たな目標輝度積算値を設定し、また現在の目標短時間露光時間と固定値との演算により新たな目標短時間露光時間を設定することで、露光量が緩やかに変化されながら合成画像信号の輝度が調節されることになる。

そして、ステップＳＴ８の露光制御処理では、制御部９は、上記露光補正処理として決定した目標輝度積算値および目標短時間露光時間を用いて露光制御を行う。

黒つぶれに対応する長時間露光量については、検波部６から受信した現在の輝度積算値と、上記露光補正処理で設定した新たな目標輝度積算値の差分に基づいて、絞り１ａの開口量、撮像素子部２の長時間露光時間、前処理部３のＰＧＡ（プログラマブルゲインアンプ）のゲインについて、それぞれ必要な制御量を計算する。そして光学部品駆動部８に絞り１ａの駆動を実行させ、またタイミングジェネレータ７に長時間露光時間を指示し、また前処理部３にＰＧＡのゲインを指示する。なお、これらの３つの制御を全て行う他、これらの内の１つ又は２つの制御を行うようにしても良い。

白とびに対応する短時間露光量については、上記露光補正処理で設定された短時間露光時間をタイミングジェネレータ７に指示し、撮像素子部２の短時間露光時間を変化させることで、必要な露光量を得る。

なお、絞り１ａの開口量やＰＧＡゲインは、短時間露光量にも影響を与えるが、合成画像としては長時間露光画像信号側が支配的となるため、絞り１ａやＰＧＡゲインについては長時間露光量の補正に用いるようにしている。但し、短時間露光量の調節に絞り１ａやＰＧＡゲインを利用してもよい。

すなわち、この撮像装置１０において、上記制御部９は、図１２のフローチャートに示すように、上記露光補正に用いる補正値をシーンチェンジのトリガとなる信号に応じて上記補正値の初期化処理をシーンチェンジの間に行もので、制御部９は、当該撮像装置１０の旋回操作を示す信号として、例えば、図１３（Ａ）示すように、旋回開始を示す信号が旋回制御部１５から送られてきたことを検出して、当該撮像装置１０の旋回操作が終了するまでの間に、上記補正値の初期化処理を１回行う。

なお、旋回制御部１５は、旋回開始を示す信号に代えて、図１３（Ｂ）示すように、撮像装置１０の旋回操作中に１回だけ補正値の初期化要求を行い、制御部９は、上記初期化要求に応じて補正値の初期化処理を行うようにしてもよい。

ここで、以上の説明では、この撮像装置１０において、上記制御部９は、旋回制御部１５から送られて旋回開始を示す信号、或いは、撮像装置１０の旋回操作中に１回だけ補正値の初期化要求に応じて、当該撮像装置１０の旋回操作が終了するまでの間に、上記補正値の初期化処理を１回行うものとしたが、旋回制御部１５から上記制御部９に対して、例えば、図１４（Ａ）示すように、旋回操作中であることを示す信号を送り、あるいは、図１４（Ｂ）示すように、旋回操作の開始時に初期化要求を行い、また、旋回操作の終了時に初期化解除要求を行うようにして、当該撮像装置１０の旋回操作中に、上記補正値の初期化処理を行うようにすることもできる。

この場合、この撮像装置１０では、制御部９による制御に基づいて、図１５のフローチャートに示す手順にしたがった撮像動作が行われる。

すなわち、この撮像装置１０では、撮像動作を開始すると、制御部９は、先ず、ステップＳＴ１０１において初期化要求の検出処理を行い、次のステップＳＴ１０２において合成撮像処理を行う。

ステップＳＴ１０１の初期化要求の検出処理では、制御部９は、図１６のフローチャートに示すように、旋回制御部１５から供給される当該撮像装置１０の旋回操作中であることを信号、あるいは、初期化要求に基づいて、旋回が開始されたか否かを判定し（ステップＳＴ１１１）、その判定結果が「ＹＥＳ」、すなわち、撮像装置１０の旋回が開始されると、補正値の初期化要求をセットして（ステップＳＴ１１２）、初期化要求の検出処理を終了する。また、制御部９は、上記ステップＳＴ１１１における判定結果が「ＮＯ」、すなわち、撮像装置１０の旋回が開始されていない場合には、旋回制御部１５から供給される当該撮像装置１０の旋回操作中であることを信号、あるいは、初期化解除要求に基づいて、旋回が終了されたか否かを判定する（ステップＳＴ１１３）。そして、上記ステップＳＴ１１３における判定結果が「ＮＯ」、すなわち、撮像装置１０が旋回中であれば、そのまま、初期化要求の検出処理を終了し、また、上記ステップＳＴ１１３における判定結果が「ＹＥＳ」、すなわち、撮像装置１０の旋回が終了されると、補正値の初期化要求をクリアして（ステップＳＴ１１４）、初期化要求の検出処理を終了する。

次のステップＳＴ１０２では、上記のステップＳＴ２の同様な合成撮像処理を行う。

そして、次のステップＳＴ１０３では、上記のステップＳＴ３の同様な合成処理を行う。

次のステップＳＴ１０４では、上記ステップＳＴ４と同様に検波部６により検波処理を行う。

次のステップＳＴ１０５では、制御部９は、ステップＳＴ１０１の初期化要求の検出結果に基づいて、補正値の初期化要求の有無を判定する。

そして、このステップＳＴ１０５における判定結果が「ＹＥＳ」、すなわち、補正値の初期化要求がある場合には、ステップＳＴ１０６において、上記ステップＳＴ６−１と同様な補正値の初期化処理を行い、露光補正に用いる補正値を設定してから、次のステップＳＴ１０７に移って露光補正処理を行う。

また、上記ステップＳＴ１０５における判定結果が「ＮＯ」、すなわち、補正値の初期化要求がない場合には、そのままステップＳＴ１０７に移って露光補正処理を行う。

ステップＳＴ１０７では、上記ステップＳＴ７と同様な露光補正処理を行う。

そして、ステップＳＴ１０８では、上記ステップＳＴ８と同様な露光制御処理を行う。

すなわち、制御部９は、図１７のフローチャートに示すように、補正値の初期化処理を行い（ステップＳＴ２０１）、シーンチェンジの開始であるか否かの判定処理を繰り返し行い（ステップＳＴ２０２）、シーンチェンジの開始になると補正値の初期化処理を行い（ステップＳＴ２０３）、シーンチェンジの終了であるか否かを判定して（ステップＳＴ２０４）、シーンチェンジの終了まで補正値の初期化処理を繰り返し行い、シーンチェンジの終了になると上記シーンチェンジの開始であるか否かを判定処理に戻るようにして、撮像装置１０の撮像動作を制御している。

ここで、上記撮像装置１０における制御部９は、旋回制御部１５から供給される旋回操作を示す信号に応じて露光補正に用いる補正値をシーンチェンジ中に初期化して、露光補正制御を行うようにしたが、例えば、旋回速度情報やズーム操作信号などを検出し、上述のステップＳＴ５の補正値の初期化要求の有無を判定する際に、所定の速度以上で旋回操作やズーム操作が行われたか否かを判定して、所定の速度以上で旋回操作やズーム操作が行われた場合に上述のステップＳＴ６で露光補正に用いる補正値をシーンチェンジ中に初期化して、露光補正制御を行うようにしてもよい。

また、上記撮像装置１０の設置場所の窓の設けられているブラインドの開閉状態を示すブラインド開閉信号を検出して、露光補正に用いる補正値をシーンチェンジ中に初期化して、露光補正制御を行うようにすることもできる。

さらに、例えば、図１８に示すように、ネットワーク５０を介して制御センター６０から送られてくる制御情報により動作が制御される監視用のネットワークカメラとして上記撮像装置１０を用いる場合には、制御センター６０から制御情報に応じて、露光補正に用いる補正値をシーンチェンジ中に初期化して、露光補正制御を行うようにすることもできる。

また、この撮像装置１０において、本発明に係る撮像制御プログラムは、上述した制御部９の処理のプログラム、すなわち、図４〜図６、図８〜図１２、図１５〜図１７のような各種処理をマイクロコンピュータ（演算処理装置）である制御部９に実行させるプログラムである。

このようなプログラムは、パーソナルコンピュータや、撮像装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。

あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、本発明のプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

なお、この撮像装置１０は、合成撮像モードと通常撮像モードの両方の動作モードを備えるものであるが、本発明は、通常撮像モードを持たず、合成撮像モードのみで機能する撮像装置に対しても有効である。

以上、実施の形態を説明してきたが、本発明としては多様な変形例が考えられる。

例えば本発明は動画撮像を行うカメラシステムに適用できるが、静止画撮像を行うカメラシステムにも適用できる。設定露光モードで静止画撮像を行う場合であっても、例えば撮像タイミングに至るまでのモニタリング中に、各フィールド期間で上述のような露光制御（短時間露光時間の制御）を行えばよい。

また、例えばノンインターレーススキャン方式の撮像を行う場合、上述してきたフィールド期間の処理はフレーム期間の処理として考えればよい。

もちろん、スキャン方式に限らず、画像信号の単位期間とは、フィールド期間、フレーム期間、複数フィールド期間、複数フレーム期間などとして、多様に考えられる。例えば複数フレーム期間ごとに１回の割合で、検波処理、露光補正処理、露光制御処理が行われるような動作例も考えられる。

本発明を適用した構成の撮像装置の構成を示すブロック図である。 上記撮像装置における長時間露光と短時間露光の説明図である。 上記撮像装置における合成処理の説明図である。 上記撮像装置の動作を示すフローチャートである。 上記撮像装置における補正値の初期化要求の検出処理の手順を示すフローチャートである。 上記撮像装置における検波処理の手順を示すフローチャートである。 上記検波処理で作成する輝度ヒストグラムの説明図である。 上記撮像装置における露光補正値の初期化処理の手順を示すフローチャートである。 上記撮像装置における露光補正処理の手順を示すフローチャートである。 上記露光補正処理における黒つぶれ補正処理の手順を示すフローチャートである。 上記露光補正処理における白とび補正処理の手順を示すフローチャートである。 上記撮像装置における本発明の本質的な処理手順を示すフローチャートである。 上記撮像装置の制御部に旋回制御部から送られてくる信号の一例を示すタイムチャートである。 上記撮像装置の制御部に旋回制御部から送られてくる信号の他の例を示すタイムチャートである。 上記撮像装置の他の動作例を示すフローチャートである。 上記撮像装置の他の動作例における補正値の初期化要求の検出処理の手順を示すフローチャートである。 上記撮像装置の他の動作例における本発明の本質的な処理手順を示すフローチャートである。 本発明に係る撮像装置をネットワークカメラとして用いた実施形態を模式的に示す図である。 監視システムにおける撮像状況の説明に供する図である。

符号の説明

１ 撮像光学系、１ａ 絞り、２ 撮像素子部、３ 前処理部、４ 信号処理部、５ 出力部、６ 検波部、７ タイミングジェネレータ、８ 光学部品駆動部、９ 制御部、１０ 撮像装置、１５ 旋回制御部、５０ ネットワーク、６０ 制御センター

Claims (8)

1. 被写体からの入射光から撮像画像信号を生成するとともに、上記撮像画像信号として、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する撮像部と、
   上記長時間露光画像信号と上記短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理部と、
   上記合成画像信号についての輝度積算値を生成する検波部と、
   上記輝度積算値を用いて、上記撮像部の露光補正制御を行う制御部と
   を備え、
   上記制御部は、上記撮像部による撮像範囲を変更する操作がなされているか否かを判定し、上記撮像範囲を変更する操作がなされている期間中に、上記撮像部の露光補正に用いる補正値を初期化して、上記撮像部の露光補正制御を行う撮像装置。
2. 上記検波部は、上記合成画像信号についての輝度積算値と輝度ヒストグラムを生成し、
   上記制御部は、上記輝度積算値と上記輝度ヒストグラムを用いて、上記撮像部の露光補正制御を行う請求項１記載の撮像装置。
3. 上記制御部は、上記撮像範囲を変更する操作がなされている期間中に、上記撮像部の露光補正に用いる黒つぶれ補正を行うための補正値である目標輝度積算値を最小値とする初期化処理を行う請求項２記載の撮像装置。
4. 上記制御部は、上記撮像範囲を変更する操作がなされている期間中に、上記撮像部の露光補正に用いる白つぶれ補正を行うための補正値である目標短時間露光時間を最大値とする初期化処理を行う請求項２記載の撮像装置。
5. 上記制御部は、上記撮像部の旋回操作を示す信号に応じて上記撮像部の露光補正に用いる補正値を初期化して、上記撮像部の露光補正制御を行う請求項１記載の撮像装置。
6. 上記制御部は、上記撮像部のズーム操作を示す信号に応じて上記撮像部の露光補正に用いる補正値を初期化して、上記撮像部の露光補正制御を行う請求項１記載の撮像装置。
7. 撮像手段により、被写体からの入射光から撮像画像信号を生成するとともに、上記撮像画像信号として、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する撮像ステップと、
   上記長時間露光画像信号と上記短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理ステップと、
   上記合成画像信号についての輝度積算値を生成する検波ステップと、
   上記輝度積算値を用いて露光補正制御を行う露光補正制御ステップと、
   を有し、
   上記露光補正制御ステップにおいて、上記撮像手段による撮像範囲を変更する操作がなされているか否かを判定し、上記撮像範囲を変更する操作がなされている期間中に、上記撮像手段の露光補正に用いる補正値を初期化して、上記撮像手段の露光補正制御を行う撮像制御方法。
8. 被写体からの入射光から撮像画像信号を生成するとともに、上記撮像画像信号として、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する撮像手段と、上記長時間露光画像信号と上記短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理手段と、上記合成画像信号についての輝度積算値を生成する検波手段と、上記輝度積算値を用いて露光補正制御を行う露光補正制御手段とを備える撮像装置を制御する制御方法をコンピュータに実行させる撮像制御プログラムであって、
   上記撮像手段による撮像範囲を変更する操作がなされているか否かを判定し、上記撮像範囲を変更する操作がなされている期間中に、上記撮像手段の露光補正に用いる補正値を初期化して、上記撮像手段の露光補正制御を行う露光補正制御ステップを有する制御方法をコンピュータに実行させる撮像制御プログラム。

Images