JP4561912B2 - 撮像装置、撮像方法及びプログラム - Google Patents

Description

本発明は、撮像装置、撮像方法及びプログラムに関する。

従来のＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の固体撮像素子を用いた撮像装置では、撮像素子に入力される光量（露光量）を、絞りや電子シャッタースピードによって調節している。つまり、明るいシーンを撮影するときには、撮像素子の出力信号が飽和して所謂「白とび」（露出過多：ｏｖｅｒｅｘｐｏｓｕｒｅ）が発生しないように、露光量を少なくするよう調節する。逆に、暗いシーンでは、所謂「黒つぶれ」（露出不足：ｕｎｄｅｒｅｘｐｏｓｕｒｅ）が発生しないように、露光量を多くするよう調節する。

しかしながら、明暗の差が大きいシーンの撮影（例えば、逆光撮影、屋内外同時撮影）するときには、次のような問題がある。即ち、使用する固体撮像素子のダイナミックレンジ不足により、露光量の調節だけでは、明るい部分が飽和して「白とび」が発生し、暗い部分では露光量が不足する「黒つぶれ」が発生してしまい、両方の部分を適正に再現できない。

この問題を解決するために、フィールド内で二つの異なる電子シャッタースピードを使用する方法が既に開発されている（例えば、特許文献１参照。）。この方法では、フィールドごとに電子シャッタースピードを変えて、明るいエリアの情報と暗いエリアの情報とを別々に撮像し、得られたそれぞれの情報を１枚の画像に合成する。かかる方法を応用したものとして、ダイナミックレンジの広い画像を撮影可能な撮像装置（ワイドダイナミックレンジカメラ）がある。

一般的にワイドダイナミックレンジカメラの動作状態として、ワイドダイナミックレンジ撮影を行う合成撮像モードと、ワイドダイナミックレンジ撮影を行わない通常撮像モードの２種類がある。しかし、合成撮像モードで得られる画像は、コントラストがつぶれることが多く、輝度差の少ない状況においては、合成撮像モードに移行すると、画像のコントラストが落ちて不自然な画質になることが分かっている。それらを改善するために、輝度差の少ない状況では通常撮像モードに、輝度差の大きい状況では合成撮像モードに自動的に切り替える方法が既に開発されている（例えば、特許文献２参照。）。

特開平６−１４１２２９号公報 特開２００２−８４４４９号公報

ところで、通常撮像モードでの露光時間が例えば「１／６０秒」のように常に一定であれば、上記特許文献２で示されているように、明るいエリアと暗いエリアの輝度差が所定値以上であるという条件で、合成撮像モードへの切り替えが可能である。しかしながら、シャッタースピード優先露光を利用可能な撮像装置においては、ユーザが、通常撮像モードでの露光時間（電子シャッタースピードに相当する。）を、例えば、「１／６０秒」、「１／１２０秒」など、所望の時間に設定できる。ここで、シャッタースピード優先露光とは、設定された所定の電子シャッタースピード（露光時間）に固定して露光制御することを意味する。かかる撮像装置では、通常撮像モードから合成撮像モードへの切替条件として、特許文献２のように一定の輝度差だけを用いると、最適な合成画像を得るという観点から、必ずしも適切であるとは言えない。例えば、ワイドダイナミックレンジを適用すべきシーンでも、合成撮像モードに切り替わらない場合や、逆に、ワイドダイナミックレンジを適用すべきでないシーンでも、合成撮像モードに切り替わってしまう場合が生じる。

この問題は、異なる二つの電子シャッタースピードを利用して合成撮影を行なう場合に、長時間露光時間及び短時間露光時間に時間的な制約を有する撮像システムで生ずる。これは、該システムでは、１フィールド（１／６０秒）を分割して長時間露光時間と短時間露光時間を割り当てるため、それぞれに割り当てられる最大露光時間が制限され、それにより露光倍率が予め決まってしまうからである。

例えば、図１、図２に示すように、通常撮像モードでの露光時間を１／６０秒とし、合成撮像モードでの最大露光時間を、長時間露光時間：１／６４秒、短時間露光時間：１／１２００秒とする撮像システムを例に挙げる。かかる撮像システムにおいて、通常撮像モードで電子シャッタースピード（露光時間）を１／６０秒として撮影している状態（図１参照。）から、合成撮像モード（図２参照。）に切り替える場合を考える。この場合、合成撮像モードでは、通常撮像モードでの露光時間（１／６０秒）を維持しようとするために、長時間露光時間を１／６４秒、短時間露光時間を最大露光時間の１／１２００秒に設定して、合成撮像モードを開始する。このとき、長時間露光時間と短時間露光時間との露光倍率は約１９倍［≒（１／６４）÷（１／１２００）］となるので、合成撮像モードで適切な露光ができるのは、明部と暗部の輝度差（輝度倍率）が約１９倍以上ある被写体であることがわかる。

一方、通常撮像モードで電子シャッタースピードを１／１２０秒として撮影している状態（図３参照。）から、合成撮像モード（図４参照。）に切り替える場合を考える。この場合、通常撮像モードでの露光時間（１／１２０秒）を維持するために、長時間露光時間を１／１２０秒、短時間露光時間を最大露光時間の１／１２００秒として、合成撮像モードを開始する。このとき、露光倍率は１０倍［＝（１／１２０）÷（１／１２００）］となるので、合成撮像モードで適切な露光ができるのは、明部と暗部の輝度差（輝度倍率）が１０倍以上ある被写体であることがわかる。

このように、シャッタースピード優先露光などにより通常撮像モードのシャッタースピードを任意の値に設定変更可能な撮像装置では、合成撮像モードで適切な画像を得られる最低の輝度差（輝度倍率）は、設定されたシャッタースピードに応じて変化する。よって、通常撮像モードから合成撮像モードへの切替条件として、上記特許文献２のように輝度差（輝度倍率）のみを用いる方法では、通常撮像モードから合成撮像モードに適切に切り替えることができず、適切な合成画像を得ることができない。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、通常撮像モードにおいて可変的に設定されるシャッタースピード（露光時間）に応じた適切な切替条件で、通常撮像モードから合成撮像モードに切り替えることが可能な、新規かつ改良された撮像装置、撮像方法及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、単位期間に１つの露光画像信号を生成する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号とを生成し、前記長時間露光画像信号と前記短時間露光画像信号を合成することにより、少なくとも前記長時間露光画像信号又は前記短時間露光画像信号のいずれかよりもダイナミックレンジが広い合成画像信号を生成する合成撮像モードの撮像動作と、を選択的に実行可能な撮像処理部と、前記通常撮像モードにおいて前記撮像処理部により撮像される被写体の明部と暗部の輝度倍率と、前記合成撮像モードにおける長時間露光時間と短時間露光時間との比率である露光倍率とを比較し、当該比較結果に基づいて、前記撮像処理部の撮像モードを前記通常撮像モードから前記合成撮像モードに切り替える制御部と、を備える、撮像装置が提供される。

また、前記制御部は、前記短時間露光画像信号の感度又はＳ／Ｎ特性に応じて設定される所定のゲインを前記露光倍率に乗じた値と、前記輝度倍率とを比較し、前記輝度倍率が、前記露光倍率に前記所定のゲインを乗じた値以上である場合に、前記通常撮像モードから前記合成撮像モードに切り替えるようにしてもよい。

また、前記制御部は、前記輝度倍率と、前記通常撮像モードから前記合成撮像モードに切り替える必要のある輝度倍率の下限を表す所定の閾値とを比較し、前記輝度倍率が前記所定の閾値以上である場合に、前記輝度倍率と前記露光倍率とを比較し、前記輝度倍率が前記露光倍率以上である場合に、前記通常撮像モードから前記合成撮像モードに切り替えるようにしてもよい。

前記制御部は、前記通常撮像モードから前記合成撮像モードに切り替えるときに、前記通常撮像モードで設定されていた露光時間に応じて、前記合成撮像モードにおける前記長時間露光時間を設定するようにしてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、単位期間に１つの露光画像信号を生成する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号とを生成し、前記長時間露光画像信号と前記短時間露光画像信号を合成することにより、少なくとも前記長時間露光画像信号又は前記短時間露光画像信号のいずれかよりもダイナミックレンジが広い合成画像信号を生成する合成撮像モードの撮像動作と、を選択的に実行可能な撮像装置の撮像方法であって、前記通常撮像モードの撮像動作を行って被写体を撮像し、前記露光画像信号を生成する撮像ステップと、前記露光画像信号を検波することによって、前記被写体の明部と暗部の輝度倍率を算出する輝度倍率算出ステップと、前記合成撮像モードにおける長時間露光時間と短時間露光時間との比率である露光倍率を算出する露光倍率算出ステップと、前記輝度倍率と前記露光倍率とを比較し、当該比較結果に基づいて前記撮像装置の撮像モードを前記通常撮像モードから前記合成撮像モードに切り替える撮像モード切替ステップと、を含む、撮像方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、単位期間に１つの露光画像信号を生成する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号とを生成し、前記長時間露光画像信号と前記短時間露光画像信号を合成することにより、少なくとも前記長時間露光画像信号又は前記短時間露光画像信号のいずれかよりもダイナミックレンジが広い合成画像信号を生成する合成撮像モードの撮像動作と、を選択的に実行可能な撮像装置のコンピュータに、前記通常撮像モードの撮像動作を行って被写体を撮像し、前記露光画像信号を生成する撮像ステップと、前記露光画像信号を検波することによって、前記被写体の明部と暗部の輝度倍率を算出する輝度倍率算出ステップと、前記合成撮像モードにおける長時間露光時間と短時間露光時間との比率である露光倍率を算出する露光倍率算出ステップと、前記輝度倍率と前記露光倍率とを比較し、当該比較結果に基づいて前記撮像装置の撮像モードを前記通常撮像モードから前記合成撮像モードに切り替える撮像モード切替ステップと、を実行させるためのプログラムが提供される。

上記構成によれば、通常撮像モードの撮像動作と合成撮像モードの撮像動作とを選択的に実行可能な撮像装置において、前記通常撮像モードの撮像動作により被写体が撮像されて前記露光画像信号が生成され、前記露光画像信号が検波されることで前記被写体の明部と暗部の輝度倍率が算出され、前記合成撮像モードにおける長時間露光時間と短時間露光時間との比率である露光倍率が算出され、前記輝度倍率と前記露光倍率とが比較されて、当該比較結果に基づいて前記撮像装置の撮像モードが前記通常撮像モードから前記合成撮像モードに切り替えられる。これにより、モード切替の判定基準として、輝度倍率のみならず、通常撮像モードにおいて可変的に設定されるシャッタースピード（露光時間）に応じて変動する露光倍率をも用いて、通常撮像モードから合成撮像モードへの切替を制御できる。

以上説明したように本発明によれば、通常撮像モードにおいて可変的に設定されるシャッタースピード（露光時間）に応じた適切な切替条件で、通常撮像モードから合成撮像モードに切り替えることができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態（露光倍率を用いたモード切替）
２．第２の実施形態（露光倍率に所定のゲインを乗じた値を用いたモード切替）

＜第１の実施形態＞
まず、本発明の第１の実施形態に係る撮像装置及び撮像方法について説明する。以下の説明では、撮像装置として、動画像を撮像可能な監視カメラの例を挙げて説明する。しかし、本発明の撮像装置は、かかる例に限定されず、例えば、静止画像を撮像するためのデジタルスチルカメラ、動画像を撮像するためのデジタルビデオカメラ、カメラ機能付きの携帯電話など、任意の撮像機器に適用可能である。

［１．撮像モードの概要］
まず、図１〜図５を参照して、本発明の第１の実施形態に係る撮像装置における撮像モードの概要について説明する。

本実施形態に係る撮像装置は、ワイドダイナミックレンジカメラとしての合成撮像モードの撮像動作を実行可能なカメラであり、例えば、屋内又は屋外施設に設置される監視カメラに適用される。該撮像装置は、少なくとも２種類の撮像モード、即ち、通常撮像モードと合成撮像モードの撮影動作を実行可能である。

通常撮像モードは、一般的な撮像装置における通常の撮像動作である。この通常撮像モードでは、撮像素子により被写体を撮像して単位時間に１つの露光画像信号を生成し、信号処理回路により該露光画像信号に対して所定の信号処理を行って撮像画像データを生成する。この通常撮像モードは、画像内の明部と暗部の輝度差が比較的少ない被写体を撮影するのに適している。

しかしこの通常撮像モードでは、被写体における非常に暗い部分と非常に明るい部分までの広範囲にわたるダイナミックレンジを扱うことが困難である。例えば晴天の昼間の時間帯に、屋外が見える状態で、屋内において撮像する場合、屋内の被写体に露光基準を合わせると、屋外の部分が階調を失い白とびしてしまう。また、逆に屋外の部分に露光基準を合わせれば、屋内の被写体が黒つぶれしてしまう。即ち被写体内での輝度差が著しい場合、その輝度のダイナミックレンジに対応した撮像画像を得ることが困難となる。

これに対して、合成撮像モードでは、例えば電子シャッターによりシャッタースピードを変えて、露光時間の異なる複数の画像信号を合成する処理を行うことによって、ダイナミックレンジの広い、白とびや黒つぶれの生じない撮像画像を得ることができる。この合成撮像モードでは、撮像素子により被写体を撮像して単位期間に２つの露光画像信号（長時間露光画像信号と短時間露光画像信号）を生成し、信号処理回路により該長時間露光画像信号と短時間露光画像信号を合成して合成画像信号を生成する。ここで、合成画像信号のダイナミックレンジは、長時間露光画像信号や短時間露光画像信号のダイナミックレンジよりも広い。

かかるワイドダイナミックレンジが得られる合成撮像モードは、明暗の差が大きい被写体の撮影（例えば、逆光撮影、屋内外同時撮影）に適しており、上述した画像内の明部の白とびや、暗部の黒つぶれなどを防止できるという利点がある。ただし、合成撮像モードで得られる画像は、コントラストが落ちるので、視覚的に多少の違和感が生ずることがあり、輝度差が少ない被写体を撮像するためには通常撮像モードが適している。このため、ユーザの好みや、撮像目的などに応じて、通常撮像モードと合成撮像モードを切り替えて撮像できるようにすることが好ましい。

図１〜図４は、本実施形態に係る撮像装置が備える固体撮像素子での、１フィールド内の露光時間と蓄積される露光量（電荷量）を示している。固体撮像素子は、例えば、ＣＣＤ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイなどである。

図１は通常撮像モードの場合を示し、撮像の単位期間である１フィールド期間（例えば１／６０秒）において露光を行う。この図１では、露光時間（電子シャッタースピード）を１／６０秒に設定されているが、もちろん露光時間は１／６０秒に限られない。露光時間は、電子シャッタースピードに相当する。このように撮像素子では１フィールド期間に、所定の露光時間の露光が行われ、１フィールドの露光画像信号が得られる。この露光画像信号に対して所定の信号処理が行われ、１フィールドの撮像画像データが生成される。

図２は、図１の通常撮像モードに対応する合成撮像モードの場合を示し、この図２では１／６０秒の１フィールド期間において、１／６４秒の長時間露光と、１／１２００秒の短時間露光を行う場合を示している。図１の合成撮像モードの長時間露光時間（１／６４秒）は、図２の通常撮像モードの露光時間（１／６０秒）に対応する値である。なお、長時間露光時間と短時間露光時間は可変制御可能である。撮像素子において、この長時間露光と短時間露光を行うことで、１フィールド期間に、長時間露光画像信号と短時間露光画像信号を得る。そして両画像信号を合成して合成画像信号を得ることで、１フィールドの撮像画像データが生成される。なお、長時間露光と短時間露光は、必ずしも１フィールド期間に行わなければならないものではなく、あるフィールド期間に長時間露光を行い、次のフィールド期間に短時間露光を行って、各露光画像信号を合成するような処理も考えられる。

図３は、通常撮像モードの場合を示すが、露光時間（電子シャッタースピード）が、図１の通常撮像モードの露光時間（１／６０秒）より短い１／１２０秒に設定されている。このように、露光時間（電子シャッタースピード）は、ユーザが所望の値に任意に設定可能であり、画像の露光量を調節できる（シャッタースピード優先露光）。

図４は、図３の通常撮像モードに対応する合成撮像モードの場合を示す。図２では１／６０秒の１フィールド期間において、１／１２０秒の長時間露光と、１／１２００秒の短時間露光を行っている。図４の合成撮像モードの長時間露光時間（１／１２０秒）は、図３の通常撮像モードの露光時間（１／１２０秒）と同一である。

図１及び図２と、図３及び図４との関係から分かるように、通常撮像モードの露光時間と、合成撮像モードの長時間露光時間は連動している。つまり、通常撮像モードから合成撮像モードに切り替えられたときには、通常撮像モードで設定されていた露光時間を極力維持するように、合成撮像モードの長時間露光時間が設定される。例えば、図１及び図２の例では、通常モードでの露光時間が「１／６０秒」に設定されていた場合には、該通常撮像モードから移行した合成撮像モードの長時間露光時間も、ほぼ同一の「１／６４秒」に設定される。一方、図３及び図４の例では、通常モードでの露光時間が「１／１２０秒」に設定されていた場合には、該通常モードから移行した合成撮像モードの長時間露光時間も、同一の「１／１２０秒」に設定される。このようにすることで、通常撮像モードと合成撮像モードの切替前後で、ユーザの所望するシャッタースピードを維持できるともに、モード切替前後における露光量の変化を抑えて、撮像画像の見た目に違和感がないようにできる。

ここで、図５を参照して、合成撮像モードにおける長時間露光画像信号と短時間露光画像信号の合成処理を説明する。図５は、長時間露光画像信号の入出力輝度特性Ｌと、短時間露光画像信号の入出力輝度特性Ｓを示している。

図５に示すように、合成処理においては、例えば所定の輝度値を切替ポイントＳＰとする。そして切替ポイントＳＰよりも低輝度の画素は、長時間露光画像信号の画素信号を採用する。一方、切替ポイントＳＰよりも高輝度の画素については、短時間露光画像信号の画素信号を採用する。このとき、長時間露光画像と短時間露光画像との露光倍率（露光比）である利得Ｋを短時間露光画像に乗算することで双方の画像のレベル合わせを行う。

仮に長時間露光画像と短時間露光画像との露光比が１０：１であるとすると、短時間露光画像の露光は長時間露光画像の１０分の１である。しかし存在する光の量としては、長時間露光画像信号は、短時間露光画像の輝度信号レベルの１０倍の光量がある。したがって短時間露光画像信号に１０を乗算することにより、短時間露光画像信号と長時間露光画像信号のレベルを合わせる。このように短時間露光画像信号についてゲイン乗算を行い、図に示すように長時間露光画像信号特性とレベルの合った特性ＫＳを得る。

結果として、特性Ｌ−ＫＳの合成画像が生成される。即ち、合成画像では、被写体内で比較的暗い領域は長時間露光画像信号による黒つぶれのない画像が得られ、比較的明るい領域は短時間露光画像信号による白とびのない画像が得られる。

これらの手法を採用した合成撮像モードによれば、通常撮像モードによる撮像の場合のダイナミックレンジよりも非常に広いダイナミックレンジを得ることができる。従って出力画像に明るい部分から暗い部分までが含まれるダイナミックレンジが広い被写体を撮像することが可能であり、例えば強い外光が差し込む室内、照度差の激しい場所などを撮像する場合に適している。具体的には銀行などの店舗の出入口、または交通状況の把握のために交通道路など、日中、夜間など撮像される時間帯によりダイナミックレンジが大きく異なる場合の撮像には、合成撮像モードが好適となる。

なお以下では、説明の便宜上、図１及び図３のような通常撮像モードでの露光動作を、「通常露光」と称し、図２及び図４のような合成撮像モードでの「長時間露光」及び「短時間露光」と区別する。また、通常露光モードで得られる露光画像信号を「通常露光画像信号」と称し、合成撮像モードでの「長時間露光画像信号」及び「短時間露光画像信号」と区別する。さらに、通常撮像モードにおける露光時間を「通常露光時間」と称し、合成撮像モードにおける「長時間露光時間」及び「短時間露光時間」と区別する。

［２．撮像モード切替の概要］
次に、本実施形態に係る通常撮像モードと合成撮像モードの切替方法の概要について説明する。

上述したように、従来の通常撮像モードと合成撮像モードの切替方法としては、輝度差の少ない状況では通常撮像モードに、輝度差の大きい状況では合成撮像モードに自動的に切り替える方法（特許文献２参照。）が一般的である。かかる方法では、輝度差が所定の閾値以上であるか否かを、通常撮像モードから合成撮像モードへの切替条件としている。しかし、シャッタースピード優先露光などにより、電子シャッタースピードを任意の値に設定変更可能な撮像装置では、合成撮像モードへの切替条件として、特許文献２のように輝度差のみを用いることは適切ではない。この理由は、次の通りである。

即ち、当該撮像装置では、通常撮像モードから合成撮像モードに切り替えるときには、通常撮像モードにおいて設定されているシャッタースピード（通常露光時間）を極力維持するように、合成撮像モードでのシャッタースピード（長時間露光時間）を設定する。

このため、当該撮像装置では、合成撮像モードで適切な画像が得られる最低の輝度倍率は、例えば、上記図１及び図２の例では約１９倍、図３及び図４の例では１０倍であり、通常撮像モードで設定された電子シャッタースピードに応じて変化する。つまり、当該合成撮像モードで適切な画像が得られる最低の輝度倍率は、合成撮像モードでの長時間露光時間と短時間露光時間との比率（露光倍率）に応じて変化する。従って、通常撮像モードから合成撮像モードへの切替条件として、上記特許文献２のように輝度差（輝度倍率）のみを用いた場合には、通常撮像モードから合成撮像モードに適切なタイミングで切り替えることができない。この理由は、当該切替条件が、通常撮像モードで設定される電子シャッタースピード（通常露光時間）の変動、即ち、合成撮像モードでの露光倍率の変動に対応していないからである。

そこで本実施形態では、通常撮像モードから合成撮像モードへの切替条件として、次の２つのパラメータを用いる。
（１）通常撮像モードで撮像される被写体の明部と暗部の輝度比（輝度倍率）
（２）合成撮像モードおける長時間露光時間と短時間露光時間の比率（露光倍率）
これにより、当該輝度倍率及び露光倍率を用いて、最適な画像が得られるような切替条件で、通常撮像モードから合成撮像モードへの切り替えを制御できる。従って、通常撮像モードにおいてシャッタースピード優先露光等により設定されるシャッタースピード（露光時間）の変動に依存することなく、最適な条件で合成撮像モードに自動的に切り替えることができ、最適な合成画像を得ることができる。以下に、かかるモード切替を実行するための撮像装置及び撮像方法について詳述する。

［３．撮像装置の構成］
次に、図６を参照して、本実施形態に係る撮像装置の構成について説明する。図６は、本実施形態に係る撮像装置の概略構成を示すブロック図である。

図６に示すように、撮像装置は、撮像光学系１０と、撮像素子２０と、前処理部３０と、信号処理部４０と、出力部５０と、検波部６０と、タイミングジェネレータ７０と、光学部品駆動部８０と、制御部１００と、操作部１１０と、表示部１２０とを備える。このうち、撮像光学系１０、撮像素子２０、前処理部３０、信号処理部４０、タイミングジェネレータ７０及び光学部品駆動部８０は、本発明の撮像処理部の具現例である。また、制御部１００は、本発明の制御部の具現例である。

撮像光学系１０は、レンズ１１、不要な波長を除去する光学フィルタ、絞り１２等の光学部品を備える。被写体から入射された光は撮像光学系１０における各光学部品を介して撮像素子２０に導かれる。

撮像素子２０は、例えば、ＣＣＤ又はＣＭＯＳなどの固体撮像素子で構成される。この撮像素子２０は撮像光学系１０を介して導かれた光を光電変換し、撮像画像としての電気信号を出力する。本実施形態では、撮像素子２０は、通常撮像モードと合成撮像モードとで異なる露光処理を行う。即ち、通常撮像モードでは、図１、図３に示したように、撮像素子２０は、１フィールド期間に、設定された所定の露光時間で被写体像を露光する通常露光を行い、通常露光画像信号としての電気信号を出力する。一方、合成撮像モードでは、図２、図４に示したように、撮像素子２０は、１フィールド期間に長時間露光と短時間露光を行い、長時間露光画像信号と短時間露光画像信号としての電気信号を時分割出力する。

なお撮像素子２０は、固体撮像素子を用いる構成に限られない。例えば撮像管のような非固体撮像素子を用いる構成でもよい。非固体撮像素子についても、メカニカルシャッター、液晶シャッター等を利用して、長時間露光、短時間露光を行ったり、通常露光、長時間露光、短時間露光の露光時間を変化させることは可能である。

前処理部３０は、露光画像信号を前処理する所謂アナログフロントエンドである。例えば、前処理部３０は、撮像素子２０から出力される撮像画像としての電気信号に対して、ＣＤＳ（ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ：相関２重サンプリング）処理、プログラマブルゲインアンプ（ＰＧＡ）によるゲイン処理、Ａ／Ｄ変換処理などを行う。そして、前処理部３０は、これらの前処理を行った露光画像信号を信号処理部４０に供給する。即ち、前処理部３０は、通常撮像モードでは、通常露光画像信号を信号処理部４０に供給し、合成撮像モードでは、長時間露光画像信号と短時間露光画像信号を信号処理部４０に供給する。

信号処理部４０は、通常撮像モード、合成撮像モードのそれぞれに応じて所要の信号処理を行って、撮像画像データの映像信号を生成する。詳細には、通常撮像モードでは、信号処理部４０は、入力される通常露光画像信号に対して例えばガンマ補正処理やホワイトバランス処理等を行って、撮像画像データの映像信号を生成する。一方、合成撮像モードでは、信号処理部４０は、入力される長時間露光画像信号と短時間露光画像信号に対し、図５で述べた合成処理を行い、合成画像信号を生成する。即ち、信号処理部４０は、時分割的に供給される長時間露光画像信号と短時間露光画像信号のタイミング調整や色バランス補正処理、長時間露光画像信号に対して短時間露光画像信号の輝度レベルを一致させるゲイン処理、および合成処理を行う。また、信号処理部４０は、合成画像信号に対するガンマ補正処理やホワイトバランス処理も行って、撮像画像データの製造信号を生成する。信号処理部４０は、上記のように各モードで生成した撮像画像データの映像信号を出力部５０及び検波部６０に出力する。

出力部５０は、信号処理部４０から入力される撮像画像データの映像信号に対し、モニタディスプレイにおける表示のための処理や、或いは外部機器への送信のための処理を行う。

検波部６０は、信号処理部４０から入力される撮像画像データの映像信号に対し、測光処理を行って、輝度積算値を算出し、制御部１００に供給する。この場合、検波部６０では、制御部１００からの指示に従って実行する測光方式が選択される。測光方式としては、例えば、中央部重点測光方式、評価測光方式、平均測光方式、部分測光方式などを使用できる。それぞれの測光方式により画像領域内の検波枠が異なるものとなるが、検波部６０は、実行する測光方式で設定される検波枠毎の輝度積算値を制御部１００に供給する。

制御部１００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリなどを有するマイクロコントローラによって構成され、撮像装置の全体の動作を制御する。

特に、本実施形態に係る制御部１００は、撮像処理部としての撮像素子２０、前処理部３０、信号処理部４０、タイミングジェネレータ７０及び光学部品駆動部８０に対して、通常撮像モードと合成撮像モードそれぞれの撮像動作を実行させるよう制御する。このとき、制御部１００は、所定の切替条件を満たすか否かを判定して、通常撮像モードと合成撮像モードの切替を制御する。

また、制御部１００は、検波部６０に対して輝度積算枠（検波枠）を設定する。さらに、制御部１００は、絞り１２の調整、撮像素子２０の電子シャッタースピードの設定、前処理部３０のＡＧＣの基準ゲインの設定などにより、自動露光制御を行う。制御部１００におけるＲＯＭには、上記の各種の制御処理を実行させるプログラムが格納されており、該プログラムに基づいて、上記各制御のための必要な演算・制御処理を実行する。

本実施形態に係るプログラムは、上述した制御部１００の処理（例えば、後述の図７、図８の処理）を、マイクロコンピュータである制御部１００に実行させるためのプログラムである。このプログラムは、撮像装置に内蔵された記憶装置（ＨＤＤ、ＲＯＭ、フラッシュメモリ等）に予め格納しておくことができる。また、当該プログラムは、ＣＤ、ＤＶＤ、ブルーレイディスク、メモリカードなどのリムーバブル記録媒体に格納されて、撮像装置に提供されてもよいし、ＬＡＮ、インターネット等のネットワークを介して撮像装置にダウンロードされてもよい。

タイミングジェネレータ７０（以下、「ＴＧ７０」と称する。）は、ＣＣＤなどの撮像素子２０に必要な動作パルスを生成する。例えば、ＴＧ７０垂直転送のための４相パルス、フィールドシフトパルス、水平転送のための２相パルス、シャッタパルスなどの各種パルスを生成し、撮像素子２０に供給する。このＴＧ７０により撮像素子２０を駆動（電子シャッタ機能）させることが可能となる。

特に、ＴＧ７０は、制御部１００から通常撮像モードが指示された場合は、図１、図３のように、撮像素子２０に１フィールド期間に所定時間の通常露光を実行させる。また、合成撮像モードが指示された場合は、ＴＧ７０は、図２、図４のように、撮像素子２０に露光時間が相対的に長い長時間露光と、露光時間が相対的に短い短時間露光を実行させる。なお、通常撮像モードでの通常露光時間や、合成撮像モードでの長時間露光時間及び短時間露光時間は、図示の例以外の値に変えることも可能である。

光学部品駆動部８０は、制御部１００から指示に基づいて、撮像光学系１０における光学部品の駆動を行う。本実施形態では、少なくとも絞り１２を駆動し、入射光量を調節するための駆動回路部として機能する。

操作部１１０、表示部１２０は、ユーザインターフェースとして機能する。操作部１１０はユーザ操作に応じて操作情報を制御部１００に出力する。表示部１２０は、制御部１００からの指示に応じて動作状態、時間情報、モード情報、メッセージなど、ユーザに提示すべき情報を表示する。なお、操作部１１０、表示部１２０は、撮像装置とは別体の機器とされてもよい。また表示部１２０に表示すべき情報を、キャラクタ画像、文字画像として出力部５０において撮像画像データの映像信号に重畳させ、撮像画像を表示出力するモニタディスプレイ上で表示させるようにしてもよい。

以上のように、本実施形態に係る撮像装置では、制御部１００による制御の下、撮像処理部を構成する各部１０、２０、３０、４０、７０、８０は、通常撮像モード又は合成撮像モードの撮像動作を実行する。合成撮像モードでは、前処理部３０から長時間露光画像信号及び短時間露光画像信号が信号処理部４０に送られて、信号処理部１０４にて両画像信号が合成される。一方、通常撮像モードでは、前処理部３０から信号処理部４０に通常露光画像信号（合成撮像モードでの長時間露光画像信号に相当する）のみが送られ、信号処理部４０では合成処理を行わない。

［４．撮像動作の全体処理フロー］
次に、図７を参照して、本実施形態に係る撮像装置による撮像動作の全体処理フローについて説明する。図７は、本実施形態に係る撮像装置による撮像動作の全体処理を示すフローチャートである。

図７に示すように、まず、撮像装置の制御部１００は、通常撮像モードで被写体を撮像するときの撮像素子２０での露光時間を設定する（Ｓ１０）。制御部１００は、ユーザからの指示に応じて、露光時間（電子シャッタースピード）の設定を変更可能である。ユーザは所望の露光時間（電子シャッタースピード）を指定することで、撮像画像の露光量を調節できる。露光時間が長ければ（電子シャッタースピードが遅ければ）、画像信号の露光量が増すため、暗い被写体を好適に撮影できる。一方、露光時間が短ければ（電子シャッタースピードが速ければ）、画像信号の露光量が減るため、明るい被写体や動きの速い被写体を好適に撮影できる。

ユーザからの指示で露光時間の設定を行う例として、上述したシャッタースピード優先露光がある。露光時間（電子シャッタースピード）は、初期状態では所定のデフォルト値（例えば１／６０秒）に設定されている。シャッタースピード優先露光を行う場合は、制御部１００は、被写体の明るさや動きなどに応じて、露光時間（電子シャッタースピード）を１／１２０秒、１／２５０秒、１／５００秒などのようにユーザ所望の値に設定変更できる。

なお、ここでは、被写体の動きや露光調整をするために、ユーザが手動で露光時間（シャッタースピード）を設定変更する例について説明したが、制御部１００が自動的に露光時間（シャッタースピード）を調整してもよい。例えば、絞り１２を最大限に絞っても撮像画像が明るい場合には、露光調整のために制御部１００が自動的にシャッタースピードを速くするように切り替えることもできる。監視カメラでも、絞り１２のみならず、撮像素子２０のシャッタースピードを用いて露光量を制御することは可能である。

次いで、撮像装置は、通常撮像モードの撮像動作を実行して、被写体を撮像する（Ｓ２０）。通常撮像モードでは、制御部１００は、上記Ｓ１０で設定された露光時間（電子シャッタースピード）をＴＧ７０に指示し、ＴＧ７０は、該露光時間に応じたタイミングで撮像素子２０を駆動させる。撮像素子２０は、上記設定された露光時間（即ち、通常露光時間）で被写体を撮像して、通常露光画像信号を生成する。上述した図１は、１フィールドで１つの露光時間（１／６０秒）が設定された場合で、１／６０の露光時間で通常露光画像を撮像している。また、図３は、１つの露光時間（１／１２０秒）が設定された場合で、１／６０の露光時間で通常露光画像を撮像している。

また、通常撮像モードでは、信号処理部４０は、前処理部１３０でデジタル化された通常露光画像信号を信号処理した上で、該信号処理後の映像信号を出力部５０及び検波部６０に出力する。検波部６０は、信号処理部４０からの映像信号を検波して、所定の検波枠（輝度積算枠）内の画素の輝度値を積算し、制御部１００に出力する。制御部１００は、検波部６０から受信した輝度積算値を用いて、現在の輝度と目標輝度との差分を求める。そして、制御部１００は、この輝度差に基づいて、絞り１２、ＴＧ７０、前処理部３０のＰＧＡ（プログラマブルゲインアンプ）に対する必要な制御量を計算して、適切な露光に制御する（一般的な自動露光処理）。このとき、撮像装置がシャッタースピード優先露光に設定されている場合は、ＴＧ７０は上記Ｓ１０で設定された露光時間の値を保持する。

さらに、かかる通常撮像モードでの撮像中には、制御部１００は、常時又は定期的に、撮影モードを通常撮像モードから合成撮像モードに切り替えるか否かを判定している（Ｓ３０〜Ｓ６０）。

具体的には、まず、制御部１００は、検波部６０で得られる各検波枠の輝度積算値に基づいて、被写体の明部と暗部の輝度倍率を検出する（Ｓ３０）。ここで、図９を参照して、明部と暗部の検出処理について例示する。図９は、逆光状態にある被写体を撮像した画像１を分割測光している模様を示す説明図である。図９の画像１は、上部の輝度が高く、中央部が暗くなっている被写体を撮像したものである（逆光状態）。

図９に示すように制御部１００は、検波部６０に対して、例えば、撮像画面を横４×縦３の１２個のエリアに分割して各エリアの検波枠を設定する。検波部６０は、設定された各検波枠の輝度値を積算して、各検波枠の輝度積算値を制御部１００に出力する。制御部１００は、この各検波枠の輝度積算値に基づいて、撮像画像１内で最も暗いエリア（暗部）２と最も明るいエリア（明部）３を判定する。そして、制御部１００は、次の式のように、最も明るいエリアの輝度積算値（ＹＨ）を最も暗いエリアの輝度積算値（ＹＬ）で除算して、輝度倍率（ＹＭ）を求める。
輝度倍率（ＹＭ）＝［最も明るいエリアの輝度積算値（ＹＨ）］／［最も暗いエリアの輝度積算値（ＹＬ）］

この輝度倍率（ＹＭ）は、通常撮像モードで撮像された被写体の明部の輝度と暗部の輝度の比率である。なお、輝度倍率の算出方法は、上記例に限られず、適宜設計変更可能である。例えば、検波枠の設定は図９の例に限られず、より多い或いは少ない検波枠を任意の配置で設定してもよい。また、検波枠ごとの輝度積算値を求める代わりに、検波枠ごとの輝度平均値を求めるなどしてもよい。

次いで、制御部１００は、現在の被写体を撮像している状態で、通常撮像モードから合成撮像モードに切り替えられたときの露光倍率を予め求める（Ｓ４０）。上述したように、露光倍率は、合成撮像モードにおける長時間露光時間（ＴＬ）と短時間露光時間（ＴＳ）との比率（露光比）である。制御部１００は、現在の通常撮像モードにおける露光時間（シャッタースピード）を保持したまま、合成撮像モードに切り替わったときの露光倍率（ＥＭ）を、次の式を用いて予め算出する。
露光倍率（ＥＭ）＝長時間露光時間（ＴＬ）／短時間露光時間（ＴＳ）

例えば、通常撮像モードで通常露光時間（シャッタースピード）が１／６０秒に設定されている場合を考える（図１参照）。この場合、その設定状態のまま通常撮像モードから合成撮像モードに切り替えられると、合成撮像モードでの長時間露光時間は、通常露光時間（１／６０）に近い１／６４秒に維持され、短時間露光時間は１／１２００秒に設定される（図２参照）。このため、この場合の露光倍率は、約１９倍となる。

また、通常撮像モードで通常露光時間（シャッタースピード）が１／１２０秒に設定されている場合を考える（図３参照）。この場合、その設定状態のまま通常撮像モードから合成撮像モードに切り替えられると、合成撮像モードでの長時間露光時間は、通常露光時間（１／１２０）と同一の１／１２０秒に維持され、短時間露光時間は１／１２００秒に設定される（図４参照）。このため、この場合の露光倍率は、１０倍となる。

また、通常露光時間（シャッタースピード）が、例えば、１／２５０秒、１／５００秒など、その他の値に設定されている場合も、同様にして、合成撮像モードに切り替わったときの露光倍率を予め算出できる。なお、露光倍率の算出は、必ずしも本ステップＳ４０のタイミングで実行されなくてもよい。例えば、事前（例えば、製造出荷時、電源オン時、通常露光時間の変更時など）に、各通常露光時間の設定値に対応する露光倍率を算出して不図示のメモリに保存しておき、かかる露光倍率を該メモリから読み出して、次の撮影モードの切替判定に利用してもよい。

次いで、制御部１００は、上記算出した輝度倍率（ＹＭ）と露光倍率（ＥＭ）を用いて、撮像モードを通常撮像モードから合成撮像モードに切り替えるか否かを判定する（Ｓ５０）。ここで、輝度倍率（ＹＭ）が露光倍率（ＥＭ）以上であれば、制御部１００は、合成撮像モードに切り替えると判定して合成撮像モード切替フラグをオンにする。一方、輝度倍率（ＹＭ）が露光倍率（ＥＭ）未満であれば、制御部１００は、合成撮像モードに切り替えないと判定して、合成撮像モード切替フラグをオフのままにする。なお、本ステップＳ５０での撮像モードの自動切替判定処理の詳細は後述する（図８参照。）。

次いで、制御部１００は、Ｓ５０での判定の結果に従って、撮像モードを決定する（Ｓ６０）。つまり、合成撮像モード切替フラグがオフであれば、合成撮像モードに切り替えることなく、上記Ｓ１０に戻り、通常撮像モードでの撮像処理を継続する（Ｓ１０〜Ｓ５０）。一方、合成撮像モード切替フラグがオンであれば（Ｓ６０）、通常撮像モードから合成撮像モードに切り替えて、Ｓ７０に進み、合成撮像モードでの撮像処理を開始する。

Ｓ７０では、撮像装置は、合成撮像モードの撮像動作を実行して、被写体を撮像する（Ｓ７０）。上述したように、ＴＧ７０は、異なる二つの電子シャッタースピードを設定できるので、これにより撮像装置は、露光量の異なる二つの露光画像信号（即ち、長時間露光画像信号及び短時間露光画像信号）を生成することができる。

合成撮像モードでは、制御部１００は、上記Ｓ１０で設定された通常露光時間（電子シャッタースピード）に対応する長時間露光時間と、所定の短時間露光時間をＴＧ７０に指示し、ＴＧ７０は、これらの露光時間に応じたタイミングで撮像素子２０を駆動させる。撮像素子２０は、上記長時間露光時間と短時間露光時間で被写体を撮像して、長時間露光画像信号及び短時間露光画像信号を生成する。信号処理部４０は、前処理部３０でデジタル化された長時間露光画像信号と短時間露光画像信号を、図５に示したように特定の切替ポイントＳＰで合成し、ダイナミックレンジを拡大させた合成画像信号を生成する。そして、信号処理部４０は、合成画像信号に所定の信号処理を施して、撮影画像データの映像信号を生成し、出力部５０と検波部６０に出力する。

検波部６０は、信号処理部４０からの映像信号を検波して、所定の検波枠（輝度積算枠）内の画素の輝度値を積算し、制御部１００に出力する。制御部１００は、検波部６０から受信した輝度積算値を用いて、現在の輝度と目標輝度との差分を求める。そして、制御部１００は、この輝度差に基づいて、絞り１２、ＴＧ７０、前処理部３０のＰＧＡ（プログラマブルゲインアンプ）に対する必要な制御量を計算して、適切な露光に制御する（一般的な自動露光処理）。このとき、撮像装置がシャッタースピード優先露光に設定されている場合は、ＴＧ７０は、上記Ｓ１０で設定された通常撮像モードでの通常露光時間の値を保持するように、合成撮像モードでの長時間露光時間を設定する。

上述した図２は、合成撮像モードにおいて、１フィールドで二つの異なる露光時間（１／６４秒、１／１２００秒）が設定された場合であり、撮像素子２０は、露光量の異なる２つの露光画像信号を生成する。つまり、露光時間が１／６４秒である長時間露光画像と、露光時間が１／１２００秒である短時間露光画像が撮像される。また、上述した図４は、合成撮像モードにおいて、露光時間が１／１２０秒である長時間露光画像と、露光時間が１／１２００秒である短時間露光画像が撮像される。図２、図４における長時間露光時間は、上記Ｓ１０で設定された通常撮像モードでの通常露光時間に対応する値が用いられる。このように、シャッタースピード優先露光などを行う場合には、通常撮像モードでの通常露光時間が合成撮像モードの長時間露光時間に反映されるので、撮像モード切替時における画質変化を低減できる。

その後、Ｓ８０では、制御部１００は、検波部６０により検波された輝度値に基づいて、合成撮像モードを継続すべきか否か、即ち、合成撮像モードから通常撮像モードに切り替えるかを判定する（Ｓ８０）。具体的には、制御部１００は、例えば、Ｓ７０での合成撮像モードにおける自動露光処理の完了から、一定の輝度変動を検出した場合などに、合成撮像モードを終了し、通常撮像モードへ移行させる。合成撮像モードを継続させる場合には、上述したＳ７０及びＳ８０を繰り返し、通常撮像モードに切り替える場合には、上述したＳ１０〜Ｓ６０を繰り返す。

［５．モード切替判定処理フロー］
次に、図８を参照して、本実施形態に係る通常撮像モードから合成撮像モードへの自動切替判定処理について詳述する。図８は、図７の撮影モードの自動切替判定処理（Ｓ５０）の具体例を示すフローチャートである。

図８に示すように、まず、Ｓ５２では、制御部１００は、上記Ｓ３０で得た輝度倍率（ＹＭ）と所定の閾値（Ｘ１）とを比較し、輝度倍率が閾値（Ｘ１）以上であるか否かを判定する（Ｓ５２：モード切替の一次判定）。ここで、閾値（Ｘ１）は、通常撮像モードから合成撮像モードに切り替える必要のある輝度倍率の下限を表す値である。この閾値（Ｘ１）は、撮像装置の性能に応じて、合成撮像モードを必要とする最低限の輝度倍率値に設定される。例えば、輝度倍率が５倍程度であれば、通常撮像モードでも撮像画像に白とびや黒つぶれなどが発生しない性能の撮像装置である場合には、閾値（Ｘ１）は、例えば６に設定される。

このように、本ステップＳ５２により、通常撮像モードによる撮像中の被写体の輝度倍率が、合成撮像モードを適用する必要とする輝度倍率である否かを判別できる。よって、輝度倍率が低く、合成撮像モードを適用する必要がない被写体を通常撮像モードで撮像しているときに、誤って合成撮像モードに切り替わることを防止できる。

Ｓ５２での一次判定の結果、輝度倍率（ＹＭ）が閾値（Ｘ１）未満であれば、合成撮像モードへの切り替えは不要であるので、Ｓ５８に進み、制御部１００は、合成撮像モード切替フラグをオフ設定のままにする（Ｓ５８）。該切替フラグは、通常撮像モードから合成撮像モードへの切替を表すフラグであり、例えば、制御部１００のＲＡＭ内に記憶される。一方、輝度倍率（ＹＭ）が閾値（Ｘ１）以上であれば、撮像中の被写体が合成撮像モードを必要とする最低限の輝度倍率を有することになるので、Ｓ５４に進む。

次いで、Ｓ５４では、制御部１００は、輝度倍率（ＹＭ）と上記Ｓ４０で得た露光倍率（ＥＭ）とを比較し、輝度倍率（ＹＭ）が露光倍率（ＥＭ）以上であるか否かを判定する（Ｓ５４：モード切替の二次判定）。

このＳ５４での二次判定の結果、輝度倍率（ＹＭ）が露光倍率（ＥＭ）以上であれば、合成撮像モードに切り替えるべきであるので、Ｓ５６に進み、合成撮像モード切替フラグをオフからオンに設定変更する（Ｓ５６）。この結果、合成撮像モードに切り替わらずに、通常撮像モードが維持される。一方、輝度倍率（ＹＭ）が露光倍率（ＥＭ）未満であれば、合成撮像モードへ切り替えるべきではないので、Ｓ５８に進み、制御部１００は、合成撮像モード切替フラグをオフ設定のままにする（Ｓ５８）。この結果、通常撮像モードから合成撮像モードに切り替えられる。

このように、本実施形態では、輝度倍率（ＹＭ）が露光倍率（ＥＭ）以上である場合に、通常撮像モードから合成撮像モードに切り替えるようにしている。これは、合成撮像モードで最適な画像が得られる輝度倍率（ＹＭ）は、露光倍率（ＥＭ）に応じて変動するからである。つまり、合成撮像モードでの長時間露光時間は、通常撮像モードで設定されている通常露光時間（電子シャッタースピード）に依存しているため、合成撮像モードでの露光倍率（ＥＭ）は、該通常露光時間に応じて変動する。そして、露光倍率（ＥＭ）が高いときは、合成撮像モードで最適な画像が得られる輝度倍率（ＹＭ）も高くなり、逆に、露光倍率（ＥＭ）が低いときは、合成撮像モードで最適な画像が得られる輝度倍率（ＹＭ）も低くなる。よって、輝度倍率（ＹＭ）が露光倍率（ＥＭ）以上であることを、合成撮像モードへの切替条件とすることが好ましい。

例えば、図１及び図２に示したように、通常撮像モードで通常露光時間（電子シャッタースピード）が１／６０秒に設定されている場合には、合成撮像モードに移行したときの長時間露光時間は１／６４秒、短時間露光時間は１／１２００秒となる。この場合、露光倍率（ＥＭ）は、「長時間露光時間／短時間露光時間＝約１９倍」となる。従って、通常撮像モードで撮像中の被写体の輝度倍率（ＹＭ）が約１９倍以上となったとき、合成撮像モードで最適な画像が得られるので、通常撮像モードから合成撮像モードに切り替えることが好ましい。

一方、図３及び図４に示したように、通常撮像モードで通常露光時間（シャッタースピード）が１／１２０秒に設定されている場合には、合成撮像モードに移行したときの長時間露光時間は１／１２０秒、短時間露光時間は１／１２００秒となる。この場合、露光倍率（ＥＭ）は、「長時間露光時間／短時間露光時間＝１０倍」となる。従って、通常撮像モードで撮像中の被写体の輝度倍率（ＹＭ）が１０倍以上となったとき、合成撮像モードで最適な画像が得られるので、通常撮像モードから合成撮像モードに切り替えることが好ましい。

以上のように、本実施形態では、通常撮像モードから合成撮像モードへの切替条件として、撮影中の被写体の明部と暗部の輝度倍率の閾値（Ｘ１）のみならず、合成撮像モードでの露光倍率（ＥＭ）をも利用する。そして、通常撮像モードで実際に測定される輝度倍率（ＹＭ）が露光倍率（ＥＭ）以上となるときに、通常撮像モードから合成撮像モードに切り替える。これにより、上述したシャッタースピード優先露光などで、ユーザ設定によりシャッタースピード（露光時間）が変動する場合であっても、設定された任意のシャッタースピード（露光時間）に応じた適切なタイミングで、合成撮像モードに切り替えることができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態に係る撮像装置及び撮像方法について説明する。第２の実施形態は、上述した第１の実施形態と比べて、モード切替判定処理の切替条件が相違し、その他の機能構成については第１の実施形態と略同一であるので、その詳細説明は省略する。

［６．モード切替判定処理フロー］
次に、図１０を参照して、第２の実施形態に係る通常撮像モードから合成撮像モードへの自動切替判定処理について詳述する。図１０は、第２の実施形態に係る撮影モードの自動切替判定処理を示すフローチャートである。なお、図１０の処理フローは、上記第１の実施形態に係る図７の撮影モードの自動切替判定処理（Ｓ５０）に相当する。

図１０に示すように、第２の実施形態では、第１の実施形態のように露光倍率（ＥＭ）をそのまま輝度倍率（ＹＭ）と比較するのではなく、露光倍率（ＥＭ）に所定のゲイン（Ｇ）を乗算して得た閾値（Ｘ２）を輝度倍率（ＹＭ）と比較する点が特徴である。上述した第１の実施形態のように、輝度倍率（ＹＭ）が露光倍率（ＥＭ）以上のときに、合成撮像モードに自動的に切り替えるようにする方法が簡単ではある。しかし、実際の撮像装置では、撮像素子２０から出力される短時間露光画像信号の感度やＳ／Ｎ特性に応じて、モード切替の判定基準を調整する必要がある。そこで、第２の実施形態では、Ｓ１５３にて露光倍率（ＥＭ）に所定のゲイン（Ｇ）を乗算して、切替判定のための閾値（Ｘ２）を求め、Ｓ１５４にて当該閾値（Ｘ２）と輝度倍率（ＹＭ）を比較する。以下に、図１０のフローを詳述する。

まず、制御部１００は、上記図７のＳ３０で得た輝度倍率（ＹＭ）と所定の閾値（Ｘ１）とを比較し、輝度倍率が閾値（Ｘ１）以上であるか否かを判定する（Ｓ１５２：モード切替の一次判定）。このＳ１５２は、上記Ｓ５２と略同一であるので、詳細説明は省略する。輝度倍率が閾値（Ｘ１）以上である場合には、Ｓ１５３へ進む。

次いで、Ｓ１５３では、上記図７のＳ４０で得た露光倍率（ＥＭ）に、所定のゲイン（Ｇ）を乗算して、閾値（Ｘ２）を算出する（Ｓ１５３）。このゲイン（Ｇ）は、合成撮像モードで撮像素子２０から出力される短時間露光画像信号の感度又はＳ／Ｎ特性に応じて、適切な値に設定される。このゲイン（Ｇ）を調整することで、通常撮像モードから合成撮像モードに切り替える条件を制御できる。

例えば、撮像素子２０の特性により、短時間露光画像信号の感度及びＳ／Ｎが良好な場合（例えば、ノイズリダクション機能が効果的である場合）には、輝度倍率（ＹＭ）が露光倍率（ＥＭ）より小さくても、合成撮像モードで適切な合成画像が得られる。従って、ゲイン（Ｇ）を低く設定（即ち、１未満の値（例えば０．８）に設定）して、閾値（Ｘ２）を露光倍率（ＥＭ）よりも低くすることが可能である。これによって、輝度倍率（ＹＭ）が徐々に増加する被写体を撮像するときに、通常撮像モードから合成撮像モードへの切替タイミングを早めて、ダイナミックレンジの広い好適な合成画像を得ることができる。

一方、短時間露光画像信号の感度及びＳ／Ｎが悪い場合は、輝度倍率（ＹＭ）が露光倍率（ＥＭ）より大きくないと、合成撮像モードで適切な合成画像が得られない。従って、ゲイン（Ｇ）を高く設定（即ち、１より大きい値（例えば１．２）に設定）して、閾値（Ｘ２）を露光倍率（ＥＭ）よりも高くする必要がある。これによって、輝度倍率（ＹＭ）が徐々に増加する被写体を撮像するときに、通常撮像モードから合成撮像モードへの切替タイミングを遅くして、適切な合成画像が得られる適切な輝度倍率になってから、合成撮像モードに適切に切り替えることができる。

また、上記ゲイン（Ｇ）を、自動切替判定のレベルとして応用することも可能である。例えば、低感度（Ｇ＝１．２）、通常（Ｇ＝１）、高感度（Ｇ＝０．８）のように複数の切替判定レベルを用意し、これらの判定レベルをユーザが撮影環境に応じて選択・設定できるようにしてもよい。これにより、通常撮像モードから合成撮像モードに自動的に切り替える条件をユーザが選別して、通常撮像モードから合成撮像モードへの自動切替のタイミングを最適なものに変更できるようになる。

次いで、Ｓ１５４では、制御部１００は、輝度倍率（ＹＭ）と上記Ｓ１５３で得た閾値（Ｘ２）とを比較し、輝度倍率（ＹＭ）が閾値（Ｘ２）以上であるか否かを判定する（Ｓ１５４：モード切替の二次判定）。

このＳ１５４での二次判定の結果、輝度倍率（ＹＭ）が閾値（Ｘ２）未満であれば、合成撮像モードへ切り替えるべきではないので、Ｓ１５８に進み、制御部１００は、合成撮像モード切替フラグをオフ設定のままにする（Ｓ１５８）。一方、輝度倍率（ＹＭ）が閾値（Ｘ２）以上であれば、合成撮像モードに切り替えるべきであるので、Ｓ１５６に進み、合成撮像モード切替フラグをオフからオンに設定変更する（Ｓ１５６）。

このように、本実施形態では、輝度倍率（ＹＭ）が、露光倍率（ＥＭ）に所定ゲイン（Ｇ）を乗算した閾値（Ｘ２）以上である場合に、通常撮像モードから合成撮像モードに切り替えるようにしている。

例えば、図１及び図２に示したように、通常撮像モードで通常露光時間（電子シャッタースピード）が１／６０秒に設定されている場合、露光倍率（ＥＭ）は、「長時間露光時間／短時間露光時間＝１８．７５倍」となる。ここで、ゲイン（Ｇ）が０．８であるとすると、所定の閾値（Ｘ２）は、１８．７５×０．８＝１５となる。従って、通常撮像モードで撮像中の被写体の輝度倍率（ＹＭ）が１５倍以上となったとき、合成撮像モードで最適な画像が得られるので、通常撮像モードから合成撮像モードに切り替えることが好ましい。

一方、図３及び図４に示したように、通常撮像モードで通常露光時間（シャッタースピード）が１／１２０秒に設定されている場合、露光倍率（ＥＭ）は、「長時間露光時間／短時間露光時間＝１０倍」となる。このため、所定の閾値（Ｘ２）は、１０×０．８＝８となる。従って、通常撮像モードで撮像中の被写体の輝度倍率（ＹＭ）が８倍以上となったとき、合成撮像モードで最適な画像が得られるので、通常撮像モードから合成撮像モードに切り替えることが好ましい。

以上のように、第２の実施形態では、通常撮像モードから合成撮像モードへの切替条件として、露光倍率（ＥＭ）に所定のゲイン（Ｇ）を乗算した閾値（Ｘ２）を利用する。そして、通常撮像モードで実際に測定される輝度倍率（ＹＭ）が閾値（Ｘ２）以上になるときに、通常撮像モードから合成撮像モードに切り替える。これにより、上述したシャッタースピード優先露光などで、ユーザ設定によりシャッタースピード（露光時間）が変動する場合であっても、設定された任意のシャッタースピード（露光時間）に応じて適切なタイミングで撮像モードを切り替えることができる。

また、撮像装置の撮像処理部（例えば撮像素子２０）の特性に応じて、短時間露光画像信号の感度又はＳ／Ｎ特性は変わるが、該感度又はＳ／Ｎ特性に応じて、合成撮像モードで最適な合成画像を得ることができる輝度倍率（ＹＭ）も変化する。そこで、第２の実施形態では、短時間露光画像信号の感度又はＳ／Ｎ特性に応じてゲイン（Ｇ）を設定し、当該ゲイン（Ｇ）を露光倍率（ＥＭ）に乗算した閾値（Ｘ２）と輝度倍率（ＹＭ）とを比較する。そして、輝度倍率（ＹＭ）が閾値（Ｘ２）以上となることを、合成撮像モードへの切替条件として用いる。これにより、撮像処理部（例えば撮像素子２０）の特性や、生成される短時間露光画像信号の感度又はＳ／Ｎ特性に応じて、合成撮像モードへの自動切替タイミングを適切に調整できる。例えば、該感度又はＳ／Ｎ特性が良い場合、ゲイン（Ｇ）を１未満に設定することで、比較的低い輝度倍率（ＹＭ）で通常撮像モードから合成撮像モードに切り替えることができる。一方、該感度又はＳ／Ｎ特性が悪い場合、ゲイン（Ｇ）を１より大きくすることで、比較的高い輝度倍率（ＹＭ）で通常撮像モードから合成撮像モードに切り替えることができる。よって、該感度又はＳ／Ｎ特性に関わらず、合成撮像モードで最適な合成画像を得ることができる

以上、本発明の第１及び第２の実施形態に係る撮像装置及び撮像方法について説明した。従来のワイドダイナミックレンジ機能を有する撮像装置では、ワイドダイナミックレンジを適用する必要のない輝度差の被写体を合成撮像モードで撮影してしまうと、撮像画像のコントラストが低下して、不自然な画像になってしまう。従って、通常撮像モードから合成撮像モードへの切替タイミングを適切に制御することが希求されていた。

本実施形態によれば、通常撮像モードから合成撮像モードに自動的に切り替える判定条件として、（１）被写体の輝度倍率（ＹＭ）と、（２）撮像システムにより定義される合成撮像モード時の露光倍率（ＥＭ）とを用いる。これにより、撮像装置の露光設定がシャッタースピード優先露光であっても、設定された任意のシャッタースピードに応じて、適切なタイミングで通常撮像モードから合成撮像モードに切り替えることができる。よって、合成撮像モードにおいて、最適な合成画像を得ることが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は係る例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、本発明は、動画撮像を行うカメラシステムに適用できるが、静止画撮像を行うカメラシステムにも適用できる。例えば、動画撮像するためのデジタルビデオカメラ、静止撮像するためのデジタルスチルカメラ、カメラ機能付きの携帯電話など、任意の撮像機器に適用可能である。設定露光モードで静止画撮像を行う場合であっても、例えば撮像タイミングに至るまでのモニタリング中に、撮像モードの切替制御を行ってもよい。

また、例えばノンインターレーススキャン方式の撮像を行う場合、上述してきたフィールド期間の処理はフレーム期間の処理として考えればよい。つまり、露光画像信号を得るための単位期間は、フィールド期間、フレーム期間、複数フィールド期間、複数フレーム期間など、撮像装置で用いられる任意の単位期間であってもよい。例えば、複数フレーム期間ごとに１回の割合で、検波処理、露光補正処理、露光制御処理が行われるような動作例も考えられる。

本発明の第１の実施形態に係る通常撮像モードの露光の一例を示す説明図である。 同実施形態に係る合成撮像モードの露光の一例を示す説明図である。 同実施形態に係る通常撮像モードの露光の別の例を示す説明図である。 同実施形態に係る合成撮像モードの露光の別の例を示す説明図である。 同実施形態に係る合成処理の説明図である。 同実施形態に係る撮像装置の構成を示すブロック図である。 同実施形態に係る撮像装置による撮像動作の全体処理を示すフローチャートである。 同実施形態に係る撮像モードの自動切替判定処理の具体例を示すフローチャートである。 同実施形態に係る明部と暗部の検出処理の説明図である。 本発明の第２の実施形態に係る撮像モードの自動切替判定処理の具体例を示すフローチャートである。

符号の説明

１０ 撮像光学系
１１ レンズ
１２ 絞り
２０ 撮像素子
３０ 前処理部
４０ 信号処理部
５０ 出力部
６０ 検波部
７０ タイミングジェネレータ
８０ 光学部品駆動部
１００ 制御部
１１０ 操作部
１２０ 表示部

Claims (6)

1. 単位期間に１つの露光画像信号を生成する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号とを生成し、前記長時間露光画像信号と前記短時間露光画像信号を合成することにより、少なくとも前記長時間露光画像信号又は前記短時間露光画像信号のいずれかよりもダイナミックレンジが広い合成画像信号を生成する合成撮像モードの撮像動作と、を選択的に実行可能な撮像処理部と、
   前記通常撮像モードにおいて前記撮像処理部により撮像される被写体の明部と暗部の輝度倍率と、前記合成撮像モードにおける長時間露光時間と短時間露光時間との比率である露光倍率とを比較し、当該比較結果に基づいて、前記撮像処理部の撮像モードを前記通常撮像モードから前記合成撮像モードに切り替える制御部と、
   を備える、撮像装置。
2. 前記制御部は、
   前記短時間露光画像信号の感度又はＳ／Ｎ特性に応じて設定される所定のゲインを前記露光倍率に乗じた値と、前記輝度倍率とを比較し、
   前記輝度倍率が、前記露光倍率に前記所定のゲインを乗じた値以上である場合に、前記通常撮像モードから前記合成撮像モードに切り替える、請求項１に記載の撮像装置。
3. 前記制御部は、
   前記輝度倍率と、前記通常撮像モードから前記合成撮像モードに切り替える必要のある輝度倍率の下限を表す所定の閾値とを比較し、
   前記輝度倍率が前記所定の閾値以上である場合に、前記輝度倍率と前記露光倍率とを比較し、
   前記輝度倍率が前記露光倍率以上である場合に、前記通常撮像モードから前記合成撮像モードに切り替える、請求項１に記載の撮像装置。
4. 前記制御部は、前記通常撮像モードから前記合成撮像モードに切り替えるときに、前記通常撮像モードで設定されていた露光時間に応じて、前記合成撮像モードにおける前記長時間露光時間を設定する、請求項１に記載の撮像装置。
5. 単位期間に１つの露光画像信号を生成する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号とを生成し、前記長時間露光画像信号と前記短時間露光画像信号を合成することにより、少なくとも前記長時間露光画像信号又は前記短時間露光画像信号のいずれかよりもダイナミックレンジが広い合成画像信号を生成する合成撮像モードの撮像動作と、を選択的に実行可能な撮像装置の撮像方法であって、
   前記通常撮像モードの撮像動作を行って被写体を撮像し、前記露光画像信号を生成する撮像ステップと、
   前記露光画像信号を検波することによって、前記被写体の明部と暗部の輝度倍率を算出する輝度倍率算出ステップと、
   前記合成撮像モードにおける長時間露光時間と短時間露光時間との比率である露光倍率を算出する露光倍率算出ステップと、
   前記輝度倍率と前記露光倍率とを比較し、当該比較結果に基づいて前記撮像装置の撮像モードを前記通常撮像モードから前記合成撮像モードに切り替える撮像モード切替ステップと、
   を含む、撮像方法。
6. 単位期間に１つの露光画像信号を生成する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号とを生成し、前記長時間露光画像信号と前記短時間露光画像信号を合成することにより、少なくとも前記長時間露光画像信号又は前記短時間露光画像信号のいずれかよりもダイナミックレンジが広い合成画像信号を生成する合成撮像モードの撮像動作と、を選択的に実行可能な撮像装置のコンピュータに、
   前記通常撮像モードの撮像動作を行って被写体を撮像し、前記露光画像信号を生成する撮像ステップと、
   前記露光画像信号を検波することによって、前記被写体の明部と暗部の輝度倍率を算出する輝度倍率算出ステップと、
   前記合成撮像モードにおける長時間露光時間と短時間露光時間との比率である露光倍率を算出する露光倍率算出ステップと、
   前記輝度倍率と前記露光倍率とを比較し、当該比較結果に基づいて前記撮像装置の撮像モードを前記通常撮像モードから前記合成撮像モードに切り替える撮像モード切替ステップと、
   を実行させるためのプログラム。
   

Images