JP4893569B2 - 撮像装置、撮像制御方法及び撮像制御プログラム - Google Patents

Description

本発明は、長時間露光画像信号と短時間露光画像とを合成してダイナミックレンジの広い合成画像信号を生成する撮像装置、撮像制御方法及び撮像制御プログラムに関する。

従来のＣＣＤ（Charge Coupled Device）等の固体撮像素子を用いた撮像装置では、撮像素子に入力される光量（露光量）を、絞りや電子シャッタースピードによって調節している。つまり、明るいシーンを撮像するときには撮像素子の出力信号が飽和していわゆる白つぶれ（露光過多：overexposure）が発生しないように露光量を少なくし、逆に暗いシーンではいわゆる黒つぶれ（露光不足：underexposure）が発生しないように露光量を多くするように、露光量を調節している。

しかしながら、明暗の差が大きいシーンの撮像（逆光撮像、屋内外同時撮像）する場合、使用する固体撮像素子のダイナミックレンジ不足により、露光量の調節だけでは、明るい部分が飽和して白とびが発生してしまったり、暗い部分で黒つぶれが発生してしまい、両方の部分を適正に再現できないという問題がある。

この問題を解決するために、フィールド内で二つの異なる電子シャッタースピードを使用したり、フィールドごとに電子シャッタースピードを変えて、明るいエリアの情報と暗いエリアの情報とを別々に撮像し、得られたそれぞれの情報を１枚の画像に合成する方法が既に開発されている（例えば、特許文献１参照）。

また、これを応用したものとして、ダイナミックレンジの広い画像を撮像可能な装置（ワイドダイナミックレンジカメラ）があり、その合成画像の品質を向上させる装置・方法が提案されている（例えば、特許文献２、３参照）。

一般的にワイドダイナミックレンジカメラの動作状態として、ワイドダイナミックレンジ撮影を行う合成撮影モードと、ワイドダイナミックレンジ撮影を行わない通常撮影モードの２種類があるが、監視カメラの運用形態としては、常時合成撮影モードで運用されているケースが多い。主な理由は、監視システムでは、自動および手動でカメラ自体を旋回させ、広域を監視するという役割を持つため、例えば、図９に示すように、屋内に設置された監視カメラ１００は、出入口１０１の外に位置している被写体１０２は逆光状態で撮影しなければならず、また、窓ガラス１０３を介して太陽光が照射される明るい領域１０４と、太陽光が届かない隅の暗い領域１０５など、ワイドダイナミックレンジを必要とする場所と必要としない場所が混在し、また時刻によっても変わる可能性があるためである。

また、撮影モードを被写体の状況に応じて自動または手動で切り替えることも可能であるが、撮影モードに応じて信号処理アルゴリズムが切り替わる際に、出力される映像信号が急激に変化するため、動画像としての品質が低下してしまうという問題がある。

広域を監視するような監視カメラの場合、被写体輝度が監視エリアによって大きく異なることが想定されるので、本件出願人は、信号処理機能の切り替えによる映像変化を防止する手法を先に提案している（例えば、特許文献４参照）。

また、広域を監視するような監視カメラの場合、被写体輝度が監視エリアによって大きく異なることが想定されるので、監視エリア毎に撮影モードが頻繁に変わり、それに伴い映像変化を生ずるよりも、合成撮影モードを継続するようにする場合もある。

さらに、合成撮影に適した明暗の差が非常に大きいシーン（逆光撮影、屋内外同時撮影）と、適していない暗いシーン（ゲインが上がるような状況）のどちらも、合成撮影モードで撮影することが望まれる監視カメラにおいては、どちらの状況にあっても品質の高い画像を要求される。

特開平６−１４１２２９号公報 特開２００２−８４４４９号公報 特開２００４−１２０２０５号公報 特開２００４−３５０２０４号公報

しかしながら、前記の理由によりワイドダイナミックレンジカメラは、常時合成撮影モードで運用されるため、暗いシーンでゲインが上がっているとき、一部に輝度の高い被写体が入った場合、高輝度部分がノイズを含み、画質が悪化するという問題があった。

一方、そのような暗いシーンにおける合成撮影モードの性能として、ユーザーが期待するのは、黒つぶれ補正により暗部が認識できることであり、高輝度部分の白とび補正の能力に関しては重要度が下がる場合が多い。つまり、短時間露光信号を使った高輝度部分の白とび補正により発生するノイズを極力目立たないようにすることで、画質を向上させることが可能である。

そこで、本発明の目的は、上述の如き従来の実情に鑑み、暗いシーンでの合成撮影モードの画質を向上させ、合成撮影モードでの運用を常時可能とした撮像装置、撮像制御方法及び撮像制御プログラムを提供することにある。

本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。

本発明では、長時間露光画像信号と短時間露光画像とを輝度閾値により示される切り替えポイントで切り替えて合成してダイナミックレンジの広い合成画像信号を生成するにあたり、ゲインが上がるような暗いシーンにおいては、上記切り替えポイントを示す輝度閾値をゲインに応じて変更することで、合成画像における高輝度部分のノイズを可能な限り少なくし、暗いシーンでの合成撮影モードの画質を向上させ、合成撮影モードでの運用を常時可能とする。また、高輝度部分のノイズよりも、白とび補正の能力を重視するケースも考えられるので、上記輝度閾値の変更は、ユーザーからの指示で有効／無効を選択できるように配慮する。

すなわち、本発明に係る撮像装置は、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する撮像部と、上記撮像部により得られた長時間露光画像信号と短時間露光画像信号にゲイン処理を施す前処理部と、上記前処理部によりゲイン処理が施された長時間露光画像信号と短時間露光画像信号とを輝度閾値により示される切り替えポイントで切り替えて合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する合成処理を行う信号処理部と、上記前処理部のゲイン処理におけるゲイン設定に応じて、上記信号処理部における合成処理の上記切り替えポイントを示す輝度閾値を変更し、ゲインが上がった場合に上記輝度閾値を輝度の高い方へ変更する制御を行う制御部を備えることを特徴とする。

本発明に係る撮像装置において、上記撮像部は、例えば、単位期間に１つの露光画像信号を出力する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する合成撮像モードの撮像動作とが選択的に実行可能な撮像手段からなり、上記制御部は、上記撮像部が合成撮像モードの撮像動作状態にあるか否かを判定し、上記撮像部が合成撮像モードの撮像動作状態にあるときに、上記信号処理部により合成画像信号を生成させるとともに、上記前処理部のゲイン処理におけるゲイン設定に応じて上記輝度閾値を変更する制御を行う。

また、本発明に係る撮像装置において、上記制御部は、例えば、上記輝度閾値を変更する制御を有効にするか無効にするか設定を受け付け、上記輝度閾値を変更する制御を有効にする設定がなされているときには、上記輝度閾値を上記前処理部のゲイン処理におけるゲイン設定に応じて変更する制御を行い、上記輝度閾値を変更する制御を無効にする設定がなされているときには、上記輝度閾値を所定値に固定する制御を行う。

本発明に係る撮像制御方法は、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得る撮像処理ステップと、上記撮像処理ステップで得られた長時間露光画像信号と短時間露光画像信号にゲイン処理を施す前処理ステップと、上記前処理ステップでゲイン処理が施された長時間露光画像信号と短時間露光画像信号とを輝度閾値により示される切り替えポイントで切り替えて合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する合成処理を行う信号処理ステップと、上記前処理ステップにおけるゲイン設定に応じて、上記信号処理ステップにおける合成処理の上記切り替えポイントを示す輝度閾値を変更し、ゲインが上がった場合に上記輝度閾値を輝度の高い方へ変更する制御を行う制御ステップとを有することを特徴とする。

本発明に係る撮像制御方法において、上記撮像処理ステップでは、例えば、単位期間に１つの露光画像信号を出力する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する合成撮像モードの撮像動作とが選択的に実行可能な撮像手段により撮像処理を行い、 上記制御ステップでは、上記撮像手段が合成撮像モードの撮像動作状態にあるか否かを判定し、上記撮像手段が合成撮像モードの撮像動作状態にあるときに、上記信号処理ステップで合成画像信号を生成させるとともに、上記信号処理ステップの合成処理におけるゲイン設定に応じて上記輝度閾値を変更する制御を行う。

また、本発明に係る撮像制御方法において、上記制御ステップでは、例えば、上記輝度閾値を変更する制御を有効にするか無効にするか設定を受け付け、上記輝度閾値を変更する制御を有効にする設定がなされているときには、上記信号処理ステップの合成処理におけるゲイン設定に応じて上記輝度閾値を変更する制御を行い、上記輝度閾値を変更する制御を無効にする設定がなされているときには、上記輝度閾値を所定値に固定する制御を行う。

本発明は、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得る撮像手段と、上記撮像手段で得られた長時間露光画像信号と短時間露光画像信号にゲイン処理を施す前処理手段と、上記前処理手段でゲイン処理が施された長時間露光画像信号と短時間露光画像信号とを輝度閾値により示される切り替えポイントで切り替えて合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する合成処理を行う信号処理手段とを備えた撮像装置を制御する制御方法をコンピュータに実行させる撮像制御プログラムであって、上記信号処理手段の合成処理におけるゲイン設定に応じて、上記信号処理部における合成処理の上記切り替えポイントを示す輝度閾値を変更する制御ステップを有し、ゲインが上がった場合に上記輝度閾値を輝度の高い方へ変更する制御を行う制御方法をコンピュータに実行させることを特徴とする。

本発明に係る撮像制御プログラムにおいて、例えば、単位期間に１つの露光画像信号を出力する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する合成撮像モードの撮像動作とが選択的に実行可能な撮像手段により撮像処理を行い、上記制御ステップでは、上記撮像手段が合成撮像モードの撮像動作状態にあるか否かを判定し、上記撮像手段が合成撮像モードの撮像動作状態にあるときに、上記信号処理ステップで合成画像信号を生成させるとともに、上記信号処理ステップの合成処理におけるゲイン設定に応じて上記輝度閾値を変更する制御を行う制御方法をコンピュータに実行させる。

また、本発明に係る撮像制御プログラムにおいて、上記制御ステップでは、上記輝度閾値を変更する制御を有効にするか無効にするか設定を受け付け、上記輝度閾値を変更する制御を有効にする設定がなされているときには、上記信号処理ステップの合成処理におけるゲイン設定に応じて上記輝度閾値を変更する制御を行い、上記輝度閾値を変更する制御を無効にする設定がなされているときには、上記輝度閾値を所定値に固定する制御を行う制御方法をコンピュータに実行させる。

本発明では、長時間露光画像信号と短時間露光画像とを輝度閾値により示される切り替えポイントで切り替えて合成してダイナミックレンジの広い合成画像信号を生成する合成撮影モードにおいて、上記切り替えポイントを示す輝度閾値をゲイン処理における設定ゲインに応じて変更し、暗いシーンでゲインが上がった場合は、上記輝度閾値をより輝度の高い方へ変更するので、合成画像における長時間露光信号を使用する比率が上がり、短時間露光信号によるノイズ発生部分を少なくすることができる。その結果、ダイナミックレンジカメラとしての白とび補正能力はゲインが上がる前に比べて落ちるが、高輝度部分に発生するノイズは少なくすることが可能となり、暗いシーンでの合成画像の品質が向上し、常時合成撮影モードで運用することが可能となる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。

本発明は、例えば図１に示すような構成の撮像装置１０に適用される。

ここで、この撮像装置１０は、ワイドダイナミックレンジカメラとしての合成撮像モードの撮像動作が可能な撮像装置であり、例えば監視カメラなどとして好適に用いられる。もちろん一般ユーザーが通常用いるデジタルスチルカメラ、デジタルビデオカメラなどとしても適用可能である。

この撮像装置１０は、撮像光学系１、撮像素子部２，前処理部３、信号処理部４、出力部５、検波部６、タイミングジェネレータ７、光学部品駆動部８、制御部９などを備える。

撮像光学系１は、レンズや不要な波長を除去する光学フィルタ、絞り１ａ等の光学部品を備える。被写体から入射された光は撮像光学系１における各光学部品を介して撮像素子部２に導かれる。

撮像素子部２は、例えばＣＣＤセンサアレイ、ＣＭＯＳセンサアレイなどの固体撮像素子部として構成される。この撮像素子部２は、撮像光学系１を介して導かれた光を光電変換し、撮像画像としての電気信号を出力するもので、この撮像装置１０では、通常撮像モードと合成撮像モードとで異なる露光処理を行う。

すなわち、通常撮像モードでは図２（ａ）のように１フィールド期間に所定時間の露光としての通常露光を行って露光画像信号としての電気信号を出力する。一方、合成撮像モードでは、撮像素子部２では１フィールド期間に図２（ｂ）のような長時間露光と短時間露光を行い、長時間露光画像信号と短時間露光画像信号としての電気信号を時分割出力する。

以下の説明では、図２（ａ）のような通常撮像モードでの露光動作を、説明上「通常露光」と言うこととし、図２（ｂ）のような合成撮像モードでの「長時間露光」「短時間露光」と区別する。また、通常露光により得られた露光画像信号を「通常露光画像信号」といい、「長時間露光画像信号」「短時間露光画像信号」と区別する。

なお、撮像素子部２は、固体撮像素子を用いる構成に限られない。例えば撮像管のような非固体撮像素子を用いる構成でも良い。非固体撮像素子についても、メカニカルシャッタ、液晶シャッタ等を利用して、長時間露光、短時間露光を行ったり、通常露光、長時間露光、短時間露光の露光時間を変化させることは可能である。

ここで、通常撮像モードと合成撮像モードについて述べておく。

一般的に使用される撮像装置における通常の撮像動作（通常撮像モード）では、被写体における非常に暗い部分から非常に明るい部分までの広範囲にわたるダイナミックレンジを扱うことが困難である。例えば晴天の昼間の時間帯に，屋外が見える状態で、屋内において撮像する場合、屋内の被写体に露光基準を合わせると、屋外の部分が階調を失い白とびしてしまう。また、逆に屋外の部分に露光基準を合わせれば、屋内の被写体が黒つぶれしてしまう。即ち被写体内での輝度差が著しい場合、その輝度のダイナミックレンジに対応した撮像画像を得ることが困難となる。

これに対して合成撮像モードの撮像動作では、例えば電子シャッタでシャッタ速度を変えて、露光時間の異なる複数の画像を合成する処理を行うことにより、ダイナミックレンジの広い、白とびや黒つぶれの生じない撮像画像を得るようにしている。

但し、合成撮像モードで撮られた画像は、視覚的に多少の違和感が生ずることがあり、このためユーザーの好みや、撮像目的などに応じて、通常撮像モードと合成撮像モードを切り換えて撮像できるようにすることが好適となる。

図２（ａ），（ｂ）は、撮像素子部２での、１フィールド内の露光時間と蓄積される露光量（電荷量）を示している。

図２（ａ）は通常撮像モードの場合であり、撮像の単位期間である、１／６０秒の１フィールド期間において露光を行う。この図２（ａ）では露光時間を１／６０秒としているが、もちろん露光時間は１／６０秒に限られない。電子シャッタースピードとして或る露光時間が設定される。このように撮像素子部では１フィールド期間に或る露光時間の露光が行われ、１フィールドの露光画像信号が得られる。この露光画像信号に対して所定の信号処理が行われ、１フィールドの撮像画像データが生成される。

図２（ｂ）は合成撮像モードの場合であり、この図２（ｂ）では１／６０秒の１フィールド期間において、１／６４秒の長時間露光と、１／２０００秒の短時間露光を行う場合を示している。なお、長時間露光時間と短時間露光時間は可変制御可能である。

この長時間露光と短時間露光を行うことで、１フィールド期間に、長時間露光画像信号と短時間露光画像信号を得る。そしてこの両画像信号を合成することで１フィールドの撮像画像データが生成される。

なお、長時間露光と短時間露光は、必ずしも１フィールド期間に行わなければならないものではなく、或るフィールド期間に長時間露光を行い、次のフィールド期間に短時間露光を行って、各露光画像信号を合成するような処理も考えられる。

図３は、長時間露光画像信号と短時間露光画像信号の合成処理の説明のために、長時間露光画像信号の入出力輝度特性Ｌと、短時間露光画像信号の入出力輝度特性Ｓを示している。

合成処理においては、例えば所定の輝度閾値で示される切り替えポイントで長時間露光画像信号と短時間露光画像信号を切り替えて合成画像を生成する。そして、輝度閾値で示される切り替えポイントよりも低輝度の画素は、長時間露光画像信号の画素信号を採用する。一方、輝度閾値で示される切り替えポイントよりも高輝度の画素については、短時間露光画像信号の画素信号を採用する。このとき、長時間露光画像と短時間露光画像との露光比を短時間露光画像に乗算することで双方の画像のレベル合わせを行う。

仮に長時間露光画像と短時間露光画像との露光比が１０：１であるとすると、短時間露光画像の露光は長時間露光画像の１０分の１である。しかし存在する光の量としては短時間露光画像の輝度信号レベルの１０倍は光量がある。したがって短時間露光画像信号にゲインＫとして１０を乗算することによりレベルを合わせる。

このように短時間露光画像信号についてゲイン乗算を行い、図３に示すように長時間露光画像信号特性とレベルの合った特性ＫＳを得る。

結果として、特性Ｌ−ＫＳの合成画像を生成する。すなわち、合成画像では、被写体内で比較的暗い領域は長時間露光画像信号による黒つぶれのない画像が得られ、比較的明るい領域は短時間露光画像信号による白とびのない画像が得られる。

なお、出力画像に明るい部分から暗い部分までが含まれるダイナミックレンジが広い被写体を撮像する合成撮像モードの手法としては、上記のように露光時間の異なる明るい画像と暗い画像とを合成する以外にも各種の手法がある。

例えば画素単位に感度を変えて撮像素子から同じ露光条件の信号のみを抜き出して画像を再生し、露光条件の異なる１又は２以上の画像を合成する方法もある。

またはプリズムにより入射光を分けて、撮像素子と、透過する光を全波長に渡って減少させる、つまり入射光量を等しく減少させるＮＤフィルタ（Neutral Density Filter：光量調節フィルタ）のような減光機能を持つものとを張り合わせた撮像素子から出力される信号を合成する方法などもある。

これらの手法を採用した合成撮像モードによれば、通常撮像モードによる撮像の場合のダイナミックレンジよりも非常に広いダイナミックレンジを得ることができる。従って出力画像に明るい部分から暗い部分までが含まれるダイナミックレンジが広い被写体を撮像することが可能であり、例えば強い外光が差し込む室内，照度差の激しい場所などを撮像する場合に適している。具体的には銀行などの店舗の出入口、または交通状況の把握のために交通道路など、日中、夜間など撮像される時間帯によりダイナミックレンジが大きく異なる場合の撮像には、合成撮像モードが好適となる。

この撮像装置１０における前処理部３は、いわゆるアナログフロントエンドであり、撮像素子部２から出力される撮像画像としての電気信号に対してＣＤＳ（correlated double sampling ：相関２重サンプリング）処理、プログラマブルゲインアンプによるゲイン処理、Ａ／Ｄ変換処理を行う。そしてこれらの処理を行った露光画像信号を信号処理部４に供給する。すなわち、通常撮像モードの場合は通常露光画像信号を信号処理部４に供給し、合成撮像モードの場合は長時間露光画像信号と短時間露光画像信号を信号処理部４に供給する。

信号処理部４は、通常撮像モード、合成撮像モードのそれぞれに応じて所要の信号処理を行って、撮像画像データを生成する。

通常撮像モードの場合は、入力される通常露光画像信号に対して例えばガンマ補正処理やホワイトバランス処理等を行って撮像画像データとする。

また、合成撮像モードの場合は、入力される長時間露光画像信号と短時間露光画像信号について図３で述べた合成処理を行う。すなわち、時分割的に供給される長時間露光画像信号と短時間露光画像信号のタイミング調整や色バランス補正処理、長時間露光画像信号に対して短時間露光画像信号の輝度レベルを一致させるゲイン処理、および合成処理を行う。また合成画像信号に対するガンマ補正処理やホワイトバランス処理も行って撮像画像データとする。

信号処理部４は、生成した撮像画像データを出力部５及び検波部６に出力する。

出力部５は、信号処理部４からの撮像画像データについて、モニタディスプレイにおける表示のための処理や、或いは外部機器への送信のための処理を行う。

検波部６は、信号処理部４からの撮像画像データについての測光処理を行って輝度積算値を算出し、制御部９に供給する。この場合検波部６では、制御部９からの指示に従って実行する測光方式が選択される。測光方式としては、中央部重点測光方式、評価測光方式、平均測光方式、部分測光方式などが実行可能とされる。それぞれの測光方式により画像領域内の検波枠が異なるものとなるが、検波部６は、実行する測光方式で設定される検波枠毎の輝度積算値を制御部９に供給することになる。

制御部９は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを有するマイクロコンピュータによって構成され、撮像装置の全体の動作を制御する。

また、制御部９は、撮像処理系としての撮像素子部２，前処理部３，信号処理部４，タイミングジェネレータ７に対して、通常撮像モードと合成撮像モードのそれぞれの撮像動作を実行させる制御を行う。

また、制御部９は検波部６に対して輝度積算枠を指定する制御を行う。

さらに、制御部９は露光制御を行う。

制御部９におけるＲＯＭには、これらの制御処理を実行させる撮像制御プログラムが格納されており、該撮像制御プログラムに基づいて、上記各制御のための必要な演算・制御処理を実行する。

タイミングジェネレータ７は、例えばＣＣＤなどの撮像素子部２に必要な動作パルスを生成する。例えば垂直転送のための４相パルス、フィールドシフトパルス、水平転送のための２相パルス、シャッタパルスなどの各種パルスを生成し、撮像素子部２に供給する。このタイミングジェネレータ７により撮像素子部２を駆動（電子シャッタ機能）させることが可能となる。このタイミングジェネレータ７は、制御部９から通常撮像モードが指示された場合は、撮像素子部２に図２（ａ）のように１フィールド期間に所定時間の通常露光を実行させ、また合成撮像モードが指示された場合は、撮像素子部２に図２（ｂ）のように露光時間が相対的に長い長時間露光と、露光時間が相対的に短い短時間露光を実行させる。

もちろん通常撮像モードでの通常露光時間や、合成撮像モードでの長時間露光時間及び短時間露光時間を可変することも可能である。

光学部品駆動部８は、撮像光学系１における光学部品の駆動を行うもので、例えば、絞り１ａを駆動し、入射光量を調節するための駆動回路部などからなる。

操作部１１、表示部１２はユーザインターフェースのために設けられる。操作部１１はユーザー操作に応じて操作情報を制御部９に出力する。

表示部１２は、制御部９からの指示に応じて動作状態、時間情報、モード情報、メッセージなど、ユーザーに提示すべき情報の表示を行う。

なお、操作部１１、表示部１２は、撮像装置とは別体の機器とされてもよい。また、表示部１２に表示すべき情報を、キャラクタ画像、文字画像として出力部５において撮像画像データに重畳させ、撮像画像を表示出力するモニタディスプレイ上で表示させるようにしてもよい。

このような構成の撮像装置１０において、制御部９による制御に基づいて、図４のフローチャートに示す手順にしたがった撮像動作が行われる。

すなわち、この撮像装置１０では、撮像動作を開始すると、制御部９は、先ず、ステップＳＴ１において、合成撮影モードであるか否かを判定する動作モード判定を行い、その判定結果が「ＹＥＳ」、すなわち、合成撮影モードである場合には、ステップＳＴ２−１に移って合成撮像処理を行い、また、判定結果が「ＮＯ」、すなわち、通常撮影モードである場合には、ステップＳＴ２−２に移って通常撮像処理を行う。

ステップＳＴ２−１の合成撮像処理では、タイミングジェネレータ７により撮像素子部２の駆動を制御して、撮像素子部２に一つの電子シャッタースピードを設定して、図２（ｂ）のような長時間露光と短時間露光を実行する。すなわち、タイミングジェネレータ７は、１フィールド期間内に異なる二つの電子シャッタースピードを設定することが可能であり、１フィールド期間に図２（ｂ）の長時間露光と短時間露光を撮像素子部２に実行させる。これにより露光量の違う二つの撮像画像信号（例えば露光時間１／６４秒の長時間露光画像信号と、露光時間１／２０００秒の短時間露光画像信号）が得られる。長時間露光画像信号と短時間露光画像信号は、それぞれ前処理部３で処理されて信号処理部４に供給される。

また、ステップＳＴ２−２の通常撮像処理では、タイミングジェネレータ７により撮像素子部２の駆動を制御して、撮像素子部２に一つの電子シャッタースピードを設定して、図２（ａ）のように１フィールド期間に所定時間の通常露光を実行させ、通常露光画像信号を生成させる。通常露光画像信号は、前処理部３で処理されて信号処理部４に供給される。

次のステップＳＴ３では、制御部９は、例えば操作部１１からの指示に応じて、前処理部３のＰＧＡ（プログラマブルゲインアンプ）に設定されるゲインに応じて、長時間露光信号と短時間露光信号の切り替えポイントを示す輝度閾値を変更するか否かを判定する。

そして、制御部９は、このステップＳＴ３における判定結果が「ＹＥＳ」、すなわち、切り替えポイントを示す輝度閾値の変更が指示された場合にはステップＳＴ４−１に移って切り替えポイントを示す輝度閾値の計算処理を行い、また、判定結果が「ＮＯ」、すなわち、切り替えポイントを示す輝度閾値の変更が指示されていない場合にはステップＳＴ４−２に移って切り替えポイントを示す輝度閾値を標準合成輝度閾値（ＳＴＤＰ）に固定する処理を行う。

ステップＳＴ４−１の切り替えポイントを示す輝度閾値の計算処理では、制御部９は、前処理部３のＰＧＡに設定されるゲインに応じて、長時間露光信号と短時間露光信号の切り替えポイントを示す輝度閾値を計算して、輝度閾値を変更する。図５に示すように、ＰＧＡのゲインが高くなるに従い、切り替えポイントを示す輝度閾値を高輝度側に変更し、短時間露光信号の合成画像に対する利用比率を下げることにより、結果として映像に発生するノイズを少なくすることができる。

図３に示した輝度閾値固定状態と図５に示す輝度閾値変更状態を比較すると、輝度閾値変更状態の方が短時間露光信号によるノイズの発生が少なくなっている。

また、図５に示すように、輝度閾値固定状態における標準輝度閾値（ＳＴＤＰ）から輝度閾値変更状態おける輝度閾値（ＮＥＷＰ）までの区間は、飽和領域となるので、諧調が取れず白とび補正の能力が落ちている。

ここで、ステップＳＴ４−１の切り替えポイントを示す輝度閾値の計算処理は、図６のフローチャートに示す手順にしたがって行われる。

この例では被写体輝度に応じてＰＧＡのゲインが０ｄＢ〜３０ｄＢまで利用でき、ゲインが１２ｄＢを超えると短時間露光信号のノイズが発生するという前提とする。したがって、切り替えポイントを示す輝度閾値の変更は１２ｄＢより大きい場合に働き、１２ｄＢ以下では図３に示した輝度閾値固定状態における標準輝度閾値（ＳＴＤＰ）を使用する。

すなわち、この輝度閾値の計算処理では、先ずステップＳＴ１１において、ＰＧＡのゲインが１２ｄＢを超えているか否かを判定し、その判定結果が「ＮＯ」、すなわち、ＰＧＡのゲインが１２ｄＢ以下である場合には、ステップＳＴ１２に移って、ＭＩＸＰＯＩＮＴ＝ＳＴＤＰ、すなわち、輝度閾値（ＭＩＸＰＯＩＮＴ）として標準輝度閾値（ＳＴＤＰ）を使用する。

また、上記ステップＳＴ１１における判定結果が「ＹＥＳ」、すなわち、ＰＧＡのゲインが１２ｄＢを超えた場合には、ステップＳＴ１３に移って、ＮＥＷＰ＝function(GAIN),すなわち、ゲインから輝度閾値を計算する。

そして、ステップＳＴ１４において、ＭＩＸＰＯＩＮＴ＝ＮＥＷＰ、すなわち、輝度閾値（ＭＩＸＰＯＩＮＴ）としてステップＳＴ１３で算出した新たな輝度閾値（ＮＥＷＰ）に変更する。

ここで、ステップＳＴ１３におけるゲインから輝度閾値を計算する処理について、その詳細を説明する。

図７は、ゲイン−輝度閾値の関係を示したものであり、Ｘ軸は前処理部３のＰＧＡに設定されるゲインである。またＹ軸は輝度閾値で、この例では数値が高いほど入力輝度の高い位置で切り替えが行なわれるものとし、１０ビットで表現することとする。

輝度閾値の計算処理では、標準輝度閾値（０ｘ３１０）と２４ｄＢでの輝度閾値（０ｘ３８０）および最大ゲイン（３０ｄＢ）での輝度閾値（０ｘ３Ｂ０）を不揮発性メモリ等に保管することで、計算により各ゲインでの輝度閾値を求める。その結果、ゲインが上がるごとに、輝度閾値を輝度の高い方向へシフトすることが可能となる。

この例では簡単な直線式で輝度閾値をシフトさせる方法を示したが、他にもゲイン毎に輝度閾値を定め、それを不揮発性メモリ上にテーブル化する方法なども考えられる。

また、上記ステップＳＴ４−２では、制御部９は、操作部１１からの指示により、輝度閾値の変更が無効とされたものとして、輝度閾値を固定とする。輝度閾値は、図５（Ａ）に示した輝度閾値変更前の標準輝度閾値（ＳＴＤＰ）とする。

次のステップＳＴ５では、制御部９は、ステップＳＴ４−１又はステップＳＴ４−２で求められた輝度閾値（ＭＩＸＰＯＩＮＴ）を信号処理部４に設定する。

次のステップＳＴ５では、制御部９は、信号処理部４により図３で述べた手法で合成処理を行う。

すなわち、合成撮影モードでは、信号処理部４は、前処理部３でデジタル化された長時間露光画像信号と短時間露光画像信号を合成し、ダイナミックレンジを拡大させ、出力部５と検波部６へ出力する。切り替えポイントを示す輝度閾値は、制御部９から信号処理部４に設定されている。

通常撮影モードでは、合成を行わず、標準露光画像信号を出力部５と検波部６へ出力する。

次のステップＳＴ７では、検波部６により検波処理を行う。

このステップＳＴ７おける検波処理では、検波部６は、制御部９で指定された検波枠における輝度積算値を生成し、それをフィールド毎に上記制御部９へ送信する。

次のステップＳＴ８では、制御部９は、露光制御処理を行う。

このステップＳＴ８おける露光制御処理では、制御部９は、検波部６から受信した輝度積算値を用いて、現在の輝度と目標輝度との差分から、絞り１ａの開口量、撮像素子部２の長時間露光時間、短時間露光時間、前処理部３のＰＧＡについて、それぞれ必要な制御量を計算し、適切な露光制御を行う。すなわち、被写体輝度と絞り１ａの開口量、前処理部３のＰＧＡのゲインの関係を図８に示すように、被写体輝度が暗いほど、前処理部３のＰＧＡに設定するゲインは上がり、被写体輝度が明るいと前処理部３のＰＧＡに設定するゲインは下がる。さらに、被写体輝度が明るくなると、絞り１ａを閉じる方向へ制御することで輝度の調節を行なう。

すなわち、この撮像装置１０では、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する撮像素子部２により得られる上記長時間露光画像信号と上記短時間露光画像信号とを信号処理部４において輝度閾値により示される切り替えポイントで切り替えて合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成するにあたり、上記信号処理部４において輝度閾値により示される上記長時間露光画像信号と上記短時間露光画像信号との切り替えポイントを示す輝度閾値を制御部９によりゲイン設定に応じて変更し、ゲインが上がった場合に上記輝度閾値を輝度の高い方へ変更する。

ここで、ビデオカメラの一般的な自動露光処理では、被写体輝度が暗いほど、前処理部３のＰＧＡのゲインが上がっていく。そのような暗いシーンで一部に輝度の高い被写体がある状況で合成撮影モードを実施すると、ＰＧＡゲインが上がっていることで短時間露光信号にノイズが多く含まれ、そのノイズを含む短時間信号をさらにゲインアップし合成画像とすることから、合成画像における高輝度部分に非常に目立つノイズが発生してしまう。そのため、ゲインの上がらない逆光撮影や屋内外同時撮影などに比べ、画質が悪いものとなってしまう。

すなわち、暗いシーン（ゲインが上がるような状況）が合成撮影モードに適していないのであるが、この撮像装置１０では、合成撮影モードにおいて、暗いシーンでゲインが上がった場合は、ゲインに応じて長時間露光信号と短時間露光信号の切り替えポイントを示す輝度閾値をより輝度の高い方へ変更するので、合成画像における長時間露光信号を使用する比率が上がり、短時間露光信号によるノイズ発生部分を少なくすることができる。その結果、ダイナミックレンジカメラとしての白とび補正能力はゲインが上がる前に比べて落ちるが、高輝度部分に発生するノイズは少なくすることが可能となり、暗いシーンでの合成画像の品質が向上し、常時合成撮影モードで運用することが可能となる。

逆にユーザーによっては、高輝度部分のノイズを軽減することよりも、白とび補正の能力を優先させることを希望する場合もあるが、この撮像装置１０では、長時間露光信号と短時間露光信号の切り替えポイントを示す輝度閾値の変更制御は、ユーザーからの指示により有効／無効を切り替えることができる、そのような要求にも応えることができる。

また、この撮像装置１０において、本発明に係る撮像制御プログラムは、上述した制御部９の処理のプログラム、すなわち、図４、図１６のような各種処理をマイクロコンピュータ（演算処理装置）である制御部９に実行させるプログラムである。

このようなプログラムは、パーソナルコンピュータや、撮像装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。

あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、本発明のプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

なお、この撮像装置１０は、合成撮影モードと通常撮影モードの両方の動作モードを備えるものであるが、本発明は、通常撮影モードを持たず、合成撮影モードのみで機能する撮像装置に対しても有効である。

以上、実施の形態を説明してきたが、本発明としては多様な変形例が考えられる。

例えば本発明は動画撮像を行うカメラシステムに適用できるが、静止画撮像を行うカメラシステムにも適用できる。設定露光モードで静止画撮像を行う場合であっても、例えば撮像タイミングに至までのモニタリング中に、各フィールド期間で上述のような露光制御（短時間露光時間の制御）を行えばよい。

また、例えばノンインターレーススキャン方式の撮像を行う場合、上述してきたフィールド期間の処理はフレーム期間の処理として考えればよい。

もちろん、スキャン方式に限らず、画像信号の単位期間とは、フィールド期間、フレーム期間、複数フィールド期間、複数フレーム期間などとして、多様に考えられる。例えば複数フレーム期間ごとに１回の割合で、検波処理、露光補正処理、露光制御処理が行われるような動作例も考えられる。

本発明を適用した構成の撮像装置の構成を示すブロック図である。 上記撮像装置における長時間露光と短時間露光の説明図である。 上記撮像装置における合成処理の説明図である。 上記撮像装置の動作を示すフローチャートである。 上記撮像装置の輝度閾値固定状態と輝度閾値変更状態におけるノイズの発生状況を示す図である。 上記撮像装置における輝度閾値の計算処理の手順を示すフローチャートである。 上記撮像装置におけるゲイン−輝度閾値の関係を示した図である。 上記撮像装置における被写体輝度と絞りの開口量、前処理部のＰＧＡのゲインの関係を示す図である。 監視システムにおける撮像状況の説明に供する図である。

符号の説明

１ 撮像光学系、１ａ 絞り、２ 撮像素子部，３ 前処理部、４ 信号処理部、５ 出力部、６ 検波部、７ タイミングジェネレータ、８ 光学部品駆動部、９ 制御部、１０ 撮像装置、

Claims (9)

1. 露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する撮像部と、
   上記撮像部により得られた長時間露光画像信号と短時間露光画像信号にゲイン処理を施す前処理部と、
   上記前処理部によりゲイン処理が施された長時間露光画像信号と短時間露光画像信号とを輝度閾値により示される切り替えポイントで切り替えて合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する合成処理を行う信号処理部と、
   上記前処理部のゲイン処理におけるゲイン設定に応じて、上記信号処理部における合成処理の上記切り替えポイントを示す輝度閾値を変更し、ゲインが上がった場合に上記輝度閾値を輝度の高い方へ変更する制御を行う制御部を備える撮像装置。
2. 上記撮像部は、単位期間に１つの露光画像信号を出力する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する合成撮像モードの撮像動作とが選択的に実行可能な撮像手段からなり、
   上記制御部は、上記撮像部が合成撮像モードの撮像動作状態にあるか否かを判定し、上記撮像部が合成撮像モードの撮像動作状態にあるときに、上記信号処理部により合成画像信号を生成させるとともに、上記前処理部のゲイン処理におけるゲイン設定に応じて上記輝度閾値を変更する制御を行うことを特徴とする請求項１記載の撮像装置。
3. 上記制御部は、上記輝度閾値を変更する制御を有効にするか無効にするか設定を受け付け、上記輝度閾値を変更する制御を有効にする設定がなされているときには、上記輝度閾値を上記前処理部のゲイン処理におけるゲイン設定に応じて変更する制御を行い、上記輝度閾値を変更する制御を無効にする設定がなされているときには、上記輝度閾値を所定値に固定する制御を行うことを特徴とする請求項１記載の撮像装置。
4. 露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得る撮像処理ステップと、
   上記撮像処理ステップで得られた長時間露光画像信号と短時間露光画像信号にゲイン処理を施す前処理ステップと、
   上記前処理ステップでゲイン処理が施された長時間露光画像信号と短時間露光画像信号とを輝度閾値により示される切り替えポイントで切り替えて合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する合成処理を行う信号処理ステップと、
   上記前処理ステップにおけるゲイン設定に応じて、上記信号処理ステップにおける合成処理の上記切り替えポイントを示す輝度閾値を変更し、ゲインが上がった場合に上記輝度閾値を輝度の高い方へ変更する制御を行う制御ステップとを有する
   ことを特徴とする撮像制御方法。
5. 上記撮像処理ステップでは、単位期間に１つの露光画像信号を出力する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する合成撮像モードの撮像動作とが選択的に実行可能な撮像手段により撮像処理を行い、
   上記制御ステップでは、上記撮像手段が合成撮像モードの撮像動作状態にあるか否かを判定し、上記撮像手段が合成撮像モードの撮像動作状態にあるときに、上記信号処理ステップで合成画像信号を生成させるとともに、上記信号処理ステップの合成処理におけるゲイン設定に応じて上記輝度閾値を変更する制御を行うことを特徴とする請求項４記載の撮像制御方法。
6. 上記制御ステップでは、上記輝度閾値を変更する制御を有効にするか無効にするか設定を受け付け、上記輝度閾値を変更する制御を有効にする設定がなされているときには、上記信号処理ステップの合成処理におけるゲイン設定に応じて上記輝度閾値を変更する制御を行い、上記輝度閾値を変更する制御を無効にする設定がなされているときには、上記輝度閾値を所定値に固定する制御を行うことを特徴とすることを特徴とする請求項４記載の撮像制御方法。
7. 露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得る撮像手段と、上記撮像手段で得られた長時間露光画像信号と短時間露光画像信号にゲイン処理を施す前処理手段と、上記前処理手段でゲイン処理が施された長時間露光画像信号と短時間露光画像信号とを輝度閾値により示される切り替えポイントで切り替えて合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する合成処理を行う信号処理手段とを備えた撮像装置を制御する制御方法をコンピュータに実行させる撮像制御プログラムであって、
   上記信号処理手段の合成処理におけるゲイン設定に応じて、上記信号処理部における合成処理の上記切り替えポイントを示す輝度閾値を変更する制御ステップを有し、ゲインが上がった場合に上記輝度閾値を輝度の高い方へ変更する制御を行う制御方法をコンピュータに実行させることを特徴とする撮像制御プログラム。
8. 単位期間に１つの露光画像信号を出力する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する合成撮像モードの撮像動作とが選択的に実行可能な撮像手段により撮像処理を行い、
   上記制御ステップでは、上記撮像手段が合成撮像モードの撮像動作状態にあるか否かを判定し、上記撮像手段が合成撮像モードの撮像動作状態にあるときに、上記信号処理ステップで合成画像信号を生成させるとともに、上記信号処理ステップの合成処理におけるゲイン設定に応じて上記輝度閾値を変更する制御を行う制御方法をコンピュータに実行させることを特徴とする請求項７記載の撮像制御プログラム。
9. 上記制御ステップでは、上記輝度閾値を変更する制御を有効にするか無効にするか設定を受け付け、上記輝度閾値を変更する制御を有効にする設定がなされているときには、上記信号処理ステップの合成処理におけるゲイン設定に応じて上記輝度閾値を変更する制御を行い、上記輝度閾値を変更する制御を無効にする設定がなされているときには、上記輝度閾値を所定値に固定する制御を行う制御方法をコンピュータに実行させることを特徴とすることを特徴とする請求項８記載の撮像制御プログラム。

Images