以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.撮像モードの概要
2.撮像モード切替と自動露光制御の概要
3.撮像装置の構成
4.撮像動作の処理フロー
以下に、本発明の一実施形態に係る撮像装置及び撮像方法について説明する。以下の説明では、撮像装置として、動画像を撮像可能な監視カメラの例を挙げて説明する。しかし、本発明の撮像装置は、かかる例に限定されず、例えば、静止画像を撮像するためのデジタルスチルカメラ、動画像を撮像するためのデジタルビデオカメラ、カメラ機能付きの携帯電話など、任意の撮像機器に適用可能である。
[1.撮像モードの概要]
まず、図1〜図3を参照して、本発明の一実施形態に係る撮像装置における撮像モードの概要について説明する。
本実施形態に係る撮像装置は、ワイドダイナミックレンジカメラとしての合成撮像モードの撮像動作を実行可能なカメラであり、例えば、屋内又は屋外施設に設置される監視カメラに適用される。該撮像装置は、少なくとも2種類の撮像モード、即ち、通常撮像モードと合成撮像モードの撮像動作を実行可能である。
通常撮像モードは、一般的な撮像装置における通常の撮像動作である。この通常撮像モードでは、撮像素子により被写体を撮像して単位時間に1つの露光画像信号(通常露光画像信号)を生成し、信号処理回路により該露光画像信号に対して所定の信号処理を行って撮像画像データを生成する。この通常撮像モードは、画像内の明部と暗部の輝度差が比較的少ない被写体を撮像するのに適している。
しかしこの通常撮像モードでは、被写体における非常に暗い部分と非常に明るい部分までの広範囲にわたるダイナミックレンジを扱うことが困難である。例えば、晴天の昼間の時間帯に、屋外が見える窓のある状態で、屋内において撮像する場合、屋内の被写体に露光基準を合わせると、屋外の部分が階調を失い白とびしてしまう。また、逆に屋外の部分に露光基準を合わせれば、屋内の被写体が黒つぶれしてしまう。即ち被写体内での輝度差が著しい場合、その輝度のダイナミックレンジに対応した撮像画像を得ることが困難となる。
これに対して、合成撮像モードでは、例えば電子シャッターによりシャッタースピードを変えて、露光時間の異なる複数の露光画像信号を合成する処理を行うことによって、ダイナミックレンジの広い、白とびや黒つぶれの生じない撮像画像を得ることができる。この合成撮像モードでは、撮像素子により被写体を撮像して単位期間に2つの露光画像信号(長時間露光画像信号と短時間露光画像信号)を生成し、信号処理回路により該長時間露光画像信号と短時間露光画像信号を合成して合成画像信号を生成する。ここで、合成画像信号のダイナミックレンジは、長時間露光画像信号や短時間露光画像信号のダイナミックレンジよりも広い。
かかるワイドダイナミックレンジが得られる合成撮像モードは、明暗の差が大きい被写体の撮影(例えば、逆光撮影、屋内外同時撮影)に適しており、上述した画像内の明部の白とびや、暗部の黒つぶれなどを防止できるという利点がある。ただし、合成撮像モードで得られる画像は、コントラストが落ちるので、視覚的に多少の違和感が生ずることがあり、輝度差が少ない被写体を撮像するためには通常撮像モードが適している。このため、ユーザの好みや、撮像目的などに応じて、通常撮像モードと合成撮像モードを切り替えて撮像できるようにすることが好ましい。
図1〜図2は、本実施形態に係る撮像装置が備える固体撮像素子での、1フィールド内の露光時間と蓄積される露光量(電荷量)を示している。固体撮像素子は、例えば、CCD又はCMOS(Complementary Metal Oxide Semiconductor)センサアレイなどである。
図1は通常撮像モードの場合を示し、撮像の単位期間である1フィールド期間(例えば1/60秒)において露光を行う。この図1では、露光時間(電子シャッタースピード)を1/60秒に設定されているが、もちろん露光時間は1/60秒に限られず、1フィールド期間未満の任意の時間であってよい。露光時間は、電子シャッタースピードに相当する。かかる露光時間(電子シャッタースピード)は、ユーザが所望の値に任意に設定可能であり、撮像画像の露光量を調節できる(シャッタースピード優先露光)。このように撮像素子では1フィールド期間に、所定の露光時間の露光が行われ、1フィールドの露光画像信号が得られる。この露光画像信号に対して所定の信号処理が行われ、1フィールドの撮像画像データが生成される。
図2は、図1の通常撮像モードに対応する合成撮像モードの場合を示し、この図2では1/60秒の1フィールド期間において、1/64秒の長時間露光と、1/1200秒の短時間露光を行う場合を示している。図1の合成撮像モードの長時間露光時間(1/64秒)は、図2の通常撮像モードの露光時間(1/60秒)に対応する値に設定される。なお、長時間露光時間と短時間露光時間は可変制御可能である。撮像素子において、この長時間露光と短時間露光を行うことで、1フィールド期間に、露光時間が相異なる長時間露光画像信号と短時間露光画像信号を得る。そして両画像信号を合成して合成画像信号を得ることで、1フィールドの撮像画像データが生成される。なお、長時間露光と短時間露光は、必ずしも1フィールド期間に行わなければならないものではなく、あるフィールド期間に長時間露光を行い、次のフィールド期間に短時間露光を行って、各露光画像信号を合成するような処理も考えられる。
図1及び図2の関係から分かるように、通常撮像モードの露光時間と、合成撮像モードの長時間露光時間は連動している。つまり、通常撮像モードから合成撮像モードに切り替えられたときには、通常撮像モードで設定されていた露光時間を極力維持するように、合成撮像モードの長時間露光時間が設定される。例えば、図1及び図2の例では、通常撮像モードでの露光時間が「1/60秒」に設定されていた場合には、該通常撮像モードから移行した合成撮像モードの長時間露光時間も、ほぼ同一の「1/64秒」に設定される。一方、図示はしないが、通常撮像モードでの露光時間が「1/120秒」に設定されていた場合には、該通常撮像モードから移行した合成撮像モードの長時間露光時間も、同一の「1/120秒」に設定される。このようにすることで、通常撮像モードと合成撮像モードの切替前後で、ユーザの所望するシャッタースピードを維持できるともに、モード切替前後における露光量の変化を抑えて、撮像画像の見た目に違和感がないようにできる。
ここで、図3を参照して、合成撮像モードにおける長時間露光画像信号と短時間露光画像信号の合成処理を説明する。図3は、長時間露光画像信号の入出力輝度特性Lと、短時間露光画像信号の入出力輝度特性Sを示している。
図3に示すように、合成処理においては、例えば所定の輝度値を切替ポイントSPとする。そして切替ポイントSPよりも低輝度の画素は、長時間露光画像信号の画素信号を採用する。一方、切替ポイントSPよりも高輝度の画素については、短時間露光画像信号の画素信号を採用する。このとき、長時間露光画像と短時間露光画像との露光倍率(露光比)である利得Kを短時間露光画像に乗算することで双方の画像のレベル合わせを行う。
仮に長時間露光画像と短時間露光画像との露光比が10:1であるとすると、短時間露光画像の露光は長時間露光画像の10分の1である。しかし存在する光の量としては、長時間露光画像信号は、短時間露光画像の輝度信号レベルの10倍の光量がある。したがって短時間露光画像信号に10を乗算することにより、短時間露光画像信号と長時間露光画像信号のレベルを合わせる。このように短時間露光画像信号についてゲイン乗算を行い、図に示すように長時間露光画像信号特性とレベルの合った特性KSを得る。
結果として、特性L−KSの合成画像が生成される。即ち、合成画像では、被写体内で比較的暗い領域は長時間露光画像信号による黒つぶれのない画像が得られ、比較的明るい領域は短時間露光画像信号による白とびのない画像が得られる。
これらの手法を採用した合成撮像モードによれば、通常撮像モードによる撮像の場合のダイナミックレンジよりも非常に広いダイナミックレンジを得ることができる。従って出力画像に明るい部分から暗い部分までが含まれるダイナミックレンジが広い被写体を撮像することが可能であり、例えば強い外光が差し込む室内、照度差の激しい場所などを撮像する場合に適している。具体的には銀行などの店舗の出入口、または交通状況の把握のために交通道路など、日中、夜間など撮像される時間帯によりダイナミックレンジが大きく異なる場合の撮像には、合成撮像モードが好適となる。
なお、以下では、説明の便宜上、図1のような通常撮像モードでの露光動作を、「通常露光」と称し、図2のような合成撮像モードでの「長時間露光」及び「短時間露光」と区別する。また、通常露光モードで得られる露光画像信号を「通常露光画像信号」と称し、合成撮像モードでの「長時間露光画像信号」及び「短時間露光画像信号」と区別する。さらに、通常撮像モードにおける露光時間を「通常露光時間」と称し、合成撮像モードにおける「長時間露光時間」及び「短時間露光時間」と区別する。
[2.撮像モード切替と自動露光制御の概要]
次に、本実施形態に係る通常撮像モードと合成撮像モードの切替方法の概要について説明する。
上述したように、従来の通常撮像モードと合成撮像モードの切替方法としては、輝度差の少ないシーンを撮像するときには通常撮像モードに、輝度差の多いシーンを撮像するときには合成撮像モードに自動的に切り替える方法が知られている(例えば、上述した特許文献2参照。)。特許文献2では、通常撮像モードから合成撮像モードへの切替条件として、通常撮像モードで得られた撮像画像の輝度差が所定の閾値以上であるか否かを条件としている。また、合成撮像モードから通常撮像モードへの切替条件として、合成撮像モードにおける長時間露光と短時間露光のシャッタースピード(又は絞り)の差が一定値以下であるか否かを条件としている。
また、自動露光機能を備えた撮像装置では、撮像時には常に自動露光制御を行うことが一般的である。自動露光(AE:Auto Exposure)は、撮像装置に搭載されている露出(絞り値、シャッタースピード、ゲインの組み合わせ)を自動的に決定する機能であり、自動露出とも呼ぶ。AE機能を搭載した撮像装置では、背景や被写体の明るさに合わせて、自動で適正な写真が撮影される。AEの代表的なモードとしては、プログラムAE、絞り優先AE、シャッタースピード優先AEなどがある。
特許文献2に係る撮像装置は、通常撮像モードでも合成撮像モードでも常時、自動露光制御を行っている。これは、特許文献2では、合成撮像モードから通常撮像モードへの切替条件として長時間露光と短時間露光のシャッタースピード(又は絞り)の差を用いていることからも明らかである。
しかしながら、上述したように、合成撮像モードにおいて、ダイナミックレンジ拡大(黒つぶれ・白とび補正)に係わる自動露光制御を行っているときは、通常撮像モードに比べて、輝度変動が大きくなり、露光時間も長くかかる。このため、自動露光制御が完了するまでの間、通常撮像モードに比べて不自然な映像が出力されてしまうという問題がある。そして、特許文献2で示されているように、合成撮像モードでの撮像中に被写体の変化に応じて自動露光制御を繰り返し行うと、被写体の一時的な変化にも過敏に反応してしむため、上述した不自然な映像が頻繁に出力されてしまうという問題があった。
そこで、本実施形態に係る撮像装置は、通常撮像モードから合成撮像モードに切り替えた後に、(1)自動露光制御が一旦完了したら自動録制御を停止する。そして、該撮像装置は、(2)当該自動露光制御の停止後に、合成撮像モードで得られた撮像画像における所定の輝度変化を所定時間以上継続して検出した場合に、合成撮像モードから通常撮像モードに切り替える。
かかる構成により、合成撮像モードに切り替わったときに、自動露光制御を最初の1回だけ行い、その後は、撮像画像に輝度変化があったとしても自動露光制御を繰り返し行わないようにすることができる。よって、合成撮像モードでの撮像により得られた合成画像において、ダイナミックレンジ拡大に伴う不自然な輝度変化が頻出することを防止でき、安定した合成画像を出力画像として提供できる。
また、合成撮像モードにおける自動露光制御の停止後に、撮像画像における所定の輝度変化を所定時間以上継続して検出することで、一時的ではない被写体の変化(シーン変化)を検出できる。例えば、撮像対象が、合成撮像モード移行時に撮像していた被写体から、当該被写体と比べて非常に暗い又は明るい新たな被写体に変わったときなどである。このように合成撮像モードでの撮像中に撮像対象の被写体が変化したときには、合成撮像モードへの移行当初の被写体とは異なる輝度分布となっているので、自動露光制御を再度実行する必要があるか、或いは、合成撮像モードを実行する必要がない可能性が高い。そこで、撮像装置は、合成撮像モード中に上記所定の輝度変化を所定時間以上検出したときには、合成撮像モードから通常撮像モードへ切り替えて、自動露光制御を再開する。
以下に、上述したモード切替及び自動露光制御を実行するための撮像装置及び撮像方法について詳述する。
[3.撮像装置の構成]
次に、図4を参照して、本実施形態に係る撮像装置の構成について説明する。図4は、本実施形態に係る撮像装置の概略構成を示すブロック図である。
図4に示すように、撮像装置は、撮像光学系10と、撮像素子20と、前処理部30と、信号処理部40と、出力部50と、検波部60と、タイミングジェネレータ70と、光学部品駆動部80と、制御部100と、操作部110と、表示部120とを備える。このうち、撮像光学系10、撮像素子20、前処理部30、信号処理部40、タイミングジェネレータ70及び光学部品駆動部80は、本発明の撮像処理部の具現例である。また、検波部60は、本発明の輝度検出部の具現例である。また、制御部100は、本発明の制御部の具現例である。
撮像光学系10は、レンズ11、不要な波長を除去する光学フィルタ、絞り12等の光学部品を備える。被写体から入射された光は撮像光学系10における各光学部品を介して撮像素子20に導かれる。
撮像素子20は、例えば、CCD又はCMOSなどの固体撮像素子で構成され、入射された被写体像を撮像して、撮像画像信号を生成する。この撮像素子20は撮像光学系10を介して導かれた光(被写体像)を光電変換し、露光画像信号としての電気信号を出力する。本実施形態では、撮像素子20は、通常撮像モードと合成撮像モードとで異なる露光処理を行う。即ち、通常撮像モードでは、図1に示したように、撮像素子20は、1フィールド期間に、設定された所定の露光時間で被写体像を露光する通常露光を行い、通常露光画像信号としての電気信号を出力する。一方、合成撮像モードでは、図2に示したように、撮像素子20は、1フィールド期間に長時間露光と短時間露光を行い、長時間露光画像信号と短時間露光画像信号としての電気信号を時分割出力する。
なお撮像素子20は、固体撮像素子を用いる構成に限られない。例えば撮像管のような非固体撮像素子を用いる構成でもよい。非固体撮像素子についても、メカニカルシャッター、液晶シャッター等を利用して、長時間露光、短時間露光を行ったり、通常露光、長時間露光、短時間露光の露光時間を変化させることも可能である。
前処理部30は、露光画像信号を前処理する所謂アナログフロントエンドである。例えば、前処理部30は、撮像素子20から出力される露光画像信号としての電気信号に対して、CDS(correlated double sampling:相関2重サンプリング)処理、プログラマブルゲインアンプ(PGA)によるゲイン処理、A/D変換処理などを行う。そして、前処理部30は、これらの前処理を行った露光画像信号を信号処理部40に供給する。即ち、前処理部30は、通常撮像モードでは、通常露光画像信号を信号処理部40に供給し、合成撮像モードでは、長時間露光画像信号と短時間露光画像信号を信号処理部40に供給する。
信号処理部40は、通常撮像モード、合成撮像モードのそれぞれに応じて所要の信号処理を行って、撮像画像データの映像信号を生成する。詳細には、通常撮像モードでは、信号処理部40は、入力される通常露光画像信号に対して例えばガンマ補正処理やホワイトバランス処理等を行って、撮像画像データの映像信号を生成する。一方、合成撮像モードでは、信号処理部40は、入力される長時間露光画像信号と短時間露光画像信号に対し、図3で述べた合成処理を行い、合成画像信号を生成する。即ち、信号処理部40は、時分割的に供給される長時間露光画像信号と短時間露光画像信号のタイミング調整や色バランス補正処理、長時間露光画像信号に対して短時間露光画像信号の輝度レベルを一致させるゲイン処理、および合成処理を行う。また、信号処理部40は、合成画像信号に対するガンマ補正処理やホワイトバランス処理も行って、撮像画像データの映像信号を生成する。信号処理部40は、上記のように各モードで生成した撮像画像データの映像信号を出力部50及び検波部60に出力する。
出力部50は、信号処理部40から入力される撮像画像データの映像信号に対し、モニタディスプレイにおける表示のための処理や、或いは外部機器への送信のための処理を行う。
検波部60は、通常撮像モードでは通常露光画像信号が表す撮像画像の輝度値を検出し、合成撮像モードでは合成画像信号が表す撮像画像の輝度値を検出する。輝度値としては、制御部100により設定された所定の検波枠内の輝度積算値を用いるが、任意の領域の輝度平均値などを用いてもよい。詳細には、検波部60は、信号処理部40から入力される撮像画像データの映像信号に対し、所定の測光方式に従って輝度積算値を算出し、制御部100に供給する。この場合、検波部60では、制御部100からの指示に従って実行する測光方式が選択される。測光方式としては、例えば、中央部重点測光方式、評価測光方式、平均測光方式、部分測光方式など、任意の測光方式を使用できる。それぞれの測光方式により画像領域内の検波枠が異なるものとなるが、検波部60は、実行する測光方式で設定される検波枠毎の輝度積算値を制御部100に供給する。
制御部100は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリなどを有するマイクロコントローラで構成される。この制御部100は、上述した撮像装置の各部の動作を制御する。
特に、本実施形態に係る制御部100は、撮像処理部としての撮像素子20、前処理部30、信号処理部40、タイミングジェネレータ70及び光学部品駆動部80に対して、通常撮像モードと合成撮像モードそれぞれの撮像動作を実行させるよう制御する。このとき、制御部100は、所定の切替条件を満たすか否かを判定して、通常撮像モードと合成撮像モードの切替を制御する。
また、制御部100は、検波部60に対して輝度積算枠(検波枠)を設定する。さらに、制御部100は、絞り12の調整、撮像素子20の電子シャッタースピードの設定、前処理部30のAGCの基準ゲインの設定などにより、撮像画像の露光量を自動的に調整する自動露光制御を行う。制御部100におけるROMには、上記の各種の制御処理を実行させるプログラムが格納されており、該プログラムに基づいて、上記各制御のための必要な演算・制御処理を実行する。
本実施形態に係るプログラムは、上述した制御部100の各種制御を、マイクロコンピュータである制御部100に実行させるためのプログラムである。このプログラムは、撮像装置に内蔵された記憶装置(HDD、ROM、フラッシュメモリ等)に予め格納しておくことができる。また、当該プログラムは、CD、DVD、ブルーレイディスク、メモリカードなどのリムーバブル記録媒体に格納されて、撮像装置に提供されてもよいし、LAN、インターネット等のネットワークを介して撮像装置にダウンロードされてもよい。
タイミングジェネレータ70(以下、「TG70」と称する。)は、制御部100からの指示に基づき、撮像素子20の電子シャッタースピードを制御する。TG70は、CCDなどの撮像素子20に必要な動作パルスを生成する。例えば、TG70は、垂直転送のための4相パルス、フィールドシフトパルス、水平転送のための2相パルス、シャッタパルスなどの各種パルスを生成し、撮像素子20に供給する。このTG70により撮像素子20を駆動(電子シャッタ機能)させることが可能となる。TG70は、制御部100からの指示に基づき、撮像素子20の電子シャッタースピード(露光時間)を制御する。
例えば、TG70は、制御部100から通常撮像モードが指示された場合は、図1のように、露光時間が比較的長い通常露光を撮像素子20に実行させる。また、合成撮像モードが指示された場合は、TG70は、図2のように、1フィールド期間に、露光時間が相対的に長い長時間露光と、露光時間が相対的に短い短時間露光とを、撮像素子20に実行させる。なお、通常撮像モードでの通常露光時間や、合成撮像モードでの長時間露光時間及び短時間露光時間は、図示の例以外の値に変えることも可能である。
光学部品駆動部80は、制御部100から指示に基づいて、撮像光学系10における光学部品の駆動を行う。本実施形態では、光学部品駆動部80は、入射光量を調節するために少なくとも絞り12を駆動する駆動回路部として機能する。
操作部110、表示部120は、ユーザインターフェースとして機能する。操作部110はユーザ操作に応じて操作情報を制御部100に出力する。表示部120は、制御部100からの指示に応じて動作状態、時間情報、モード情報、メッセージなど、ユーザに提示すべき情報を表示する。なお、操作部110、表示部120は、撮像装置とは別体の機器とされてもよい。また表示部120に表示すべき情報を、キャラクタ画像、文字画像として出力部50において撮像画像データの映像信号に重畳させ、撮像画像を表示出力するモニタディスプレイ上で表示させるようにしてもよい。
以上のように、本実施形態に係る撮像装置では、制御部100による制御の下、撮像処理部を構成する各部10、20、30、40、70、80は、通常撮像モード又は合成撮像モードの撮像動作を実行する。合成撮像モードでは、前処理部30から長時間露光画像信号及び短時間露光画像信号が信号処理部40に送られて、信号処理部40にて両画像信号が合成される。一方、通常撮像モードでは、前処理部30から信号処理部40に通常露光画像信号(合成撮像モードでの長時間露光画像信号に対応する。)のみが送られ、信号処理部40では合成処理を行わない。
[4.撮像動作の処理フロー]
次に、図5を参照して、本実施形態に係る撮像装置による撮像方法について説明する。図5は、本実施形態に係る撮像装置による撮像動作の全体処理を示すフローチャートである。
図5に示すように、まず、撮像開始するときは、撮像装置は、通常撮像モードの撮像動作を実行して、被写体を撮像する(S10)。通常撮像モードでは、制御部100は、予め設定された所定の露光時間(電子シャッタースピード)をTG70に指示し、TG70は、該露光時間に応じたタイミングで撮像素子20を駆動させる。撮像素子20は、上記設定された露光時間(即ち、通常露光時間)で被写体を撮像し、被写体像を光電変換することで通常露光画像信号を生成する。上述した図1は、1フィールドで1つの通常露光時間(1/60秒)が設定された場合で、1/60秒の露光時間で通常露光画像を撮像している。
なお、通常撮像モードでの露光時間(電子シャッタースピード)は、1/60秒に限られず任意の値に可変である。撮像装置の制御部100は、例えば、ユーザからの指示に応じて、露光時間(電子シャッタースピード)を1/120秒、1/250秒、1/500秒などのようにユーザ所望の値に設定変更可能である。これにより、ユーザは所望の露光時間を指定することで、撮像画像の露光量を調節できる(シャッタースピード優先露光)。露光時間が長ければ(電子シャッタースピードが遅ければ)、画像信号の露光量が増すため、暗い被写体を好適に撮像できる。一方、露光時間が短ければ(電子シャッタースピードが速ければ)、画像信号の露光量が減るため、明るい被写体や動きの速い被写体を好適に撮像できる。
通常撮像モードでは、上記のように撮像素子20で生成された通常露光画像信号は、前処理部30により、所定の前処理(CDS処理、PGAによるゲイン処理、A/D変換処理など)が施される。さらに、信号処理部40は、前処理部130でデジタル化された通常露光画像信号を信号処理した上で、該信号処理後の映像信号(撮像画像データを表す信号)を出力部50及び検波部60に出力する。
また、通常撮像モードでは、撮像装置は、常時、自動露光(AE)制御を行う(S20)。撮像装置の制御部100は、自動露光制御を実行して、絞り12、撮像素子20、前処理部30を制御し、通常露光画像信号から得られる撮像画像の露出(露光量)を適切な値に制御する。
具体的には、通常撮像モード中には、検波部60は、信号処理部40から入力された撮像画像の映像信号を検波して、所定の検波枠(輝度積算枠)内の画素の輝度値を積算し、該輝度積算値を制御部100に出力する。制御部100は、検波部60から受信した輝度積算値を用いて、撮像画像の測光処理を行い、現在の撮像画像の輝度値と目標輝度値との差分(輝度差)を求める。このときの測光方式としては、例えば、中央部重点測光方式、評価測光方式、平均測光方式、部分測光方式など、任意の測光方式を使用できる。そして、制御部100は、求めた輝度差に基づいて、絞り12、TG70、前処理部30のPGAに対する必要な制御量(絞り値、電子シャッタースピード、基準ゲイン値など)を計算し、各部に指示する。以上のようにして、通常撮像モードにおける一般的な自動露光処理が実行され、撮像された通常露光画像信号が表す画像が適切な露光量に制御される。
なお、通常撮像モードでの自動露光制御は、主に、絞り12の絞り値と、PGAの基準ゲイン値を制御することによって行われる。しかし、TG70による電子シャッタースピードを制御して、露光制御してもよい。例えば、絞り12を最大限に絞っても尚、撮像画像が明るい場合には、露光調整のために制御部100がシャッタースピードを速く(即ち、通常露光時間を短く)するように撮像素子20を制御してもよい。一般的なデジタルカメラや監視カメラでも、絞り12やゲインのみならず、撮像素子20の電子シャッタースピードを用いて露光量を制御することは可能である。
さらに係る通常撮像モードでの撮像中には、制御部100は、常時又は定期的に、撮像される被写体の明部と暗部の輝度差に基づき、撮像モードを通常撮像モードから合成撮像モードに切り替えるか否かを判定している(S30〜S40)。
具体的には、まず、制御部100は、検波部60で得られる各検波枠の輝度積算値に基づいて、撮像画像における被写体の明部と暗部の輝度倍率を検出する(S30)。輝度倍率は、被写体の明部の暗部の輝度差の一例である。ここで、図6Aを参照して、明部と暗部の検出処理について例示する。図6Aは、逆光状態にある被写体を撮像したときの撮像画像1を分割測光している模様を示す説明図である。図6Aの撮像画像1は、上部が明るく高輝度であり、中央部が暗い低輝度であり、その他の部分が中間輝度である逆光状態の被写体を撮像したときのものである。
図6Aに示すように制御部100は、検波部60に対して、例えば、撮像画像1を横4×縦3の12個のエリアに分割して各エリアの検波枠を設定する。検波部60は、信号処理部40から入力される映像信号を検波し、各検波枠の輝度値を積算して、各検波枠の輝度積算値を制御部100に出力する。制御部100は、この各検波枠の輝度積算値に基づいて、撮像画像1内で最も暗いエリア2(暗部)と最も明るいエリア3(明部)を判定する。そして、制御部100は、次の式のように、最も明るいエリアの輝度積算値(YH)を最も暗いエリアの輝度積算値(YL)で除算して、輝度倍率(YM)を求める。
輝度倍率(YM)=[最も明るいエリアの輝度積算値(YH)]/[最も暗いエリアの輝度積算値(YL)]
この輝度倍率(YM)は、通常撮像モードで撮像された被写体の明部の輝度と暗部の輝度の比率であり、撮像画像1の輝度差に相当する。なお、輝度倍率の算出方法は、上記例に限られず、適宜設計変更可能である。例えば、検波枠の設定は図6Aの例に限られず、より多い或いは少ない検波枠を任意の配置に設定してもよい。また、検波枠ごとの輝度積算値を求める代わりに、検波枠ごとの輝度平均値を求めるなどしてもよい。
次いで、制御部100は、上記算出した輝度倍率(YM)を用いて、撮像モードを通常撮像モードから合成撮像モードに切り替えるか否かを判定する(S40)。ここで、制御部100は、上記S30で得た輝度倍率(YM)と所定の閾値(C1)とを比較し、輝度倍率が閾値(C1)以上であるか否かを判定する。ここで、閾値(C1)は、通常撮像モードから合成撮像モードに切り替える必要のある輝度倍率の下限を表す値である。この閾値(C1)は、撮像装置の性能に応じて、合成撮像モードを必要とする最低限の輝度倍率値に設定される。例えば、輝度倍率が5倍程度であれば、通常撮像モードでも撮像画像に白とびや黒つぶれなどが発生しない性能の撮像装置である場合には、閾値(C1)は、例えば6に設定される。
このS40での判定の結果、輝度倍率(YM)が所定の閾値(C1)以上である場合、制御部100は、通常撮像モードから合成撮像モードに切り替える必要があると判定して、ステップS50に進む。この場合、撮像中の被写体が合成撮像モードを必要とする輝度倍率を有することになるので、S50にて、撮像処理部の撮像モードが通常撮像モードから合成撮像モードに切り替えられる。一方、輝度倍率(YM)が所定の閾値(C1)未満であれば、制御部100は、合成撮像モードへの切り替えは不要であると判定して、ステップS10に戻り、通常撮像モードでの撮像を継続する。
このように、本ステップS40により、通常撮像モードによる撮像中の被写体の輝度倍率(YM)が、合成撮像モードを適用する必要のある輝度倍率の閾値(C1)以上である否かを判別できる。よって、輝度倍率が低く、合成撮像モードを適用する必要がない被写体を通常撮像モードで撮像しているときに、誤って合成撮像モードに切り替わることを防止できる。
上記のようにして、通常撮像モードで検出された輝度倍率(YM)に応じて、通常撮像モードから合成撮像モードに切り替えた後、撮像装置は、合成撮像モードの撮像動作を実行して、被写体を撮像する(S50)。上述したように、TG70は、異なる二つの電子シャッタースピードを設定できるので、撮像装置は、合成撮像モードにおいて、露光量の異なる二つの露光画像信号(即ち、長時間露光画像信号及び短時間露光画像信号)を生成することができる。
合成撮像モードでは、制御部100は、上記通常露光時間(電子シャッタースピード)に対応する長時間露光時間と、所定の短時間露光時間をTG70に指示し、TG70は、これらの露光時間に応じたタイミングで撮像素子20を駆動させる。撮像素子20は、1フィールド内で上記長時間露光時間と短時間露光時間で被写体を撮像して、長時間露光画像信号及び短時間露光画像信号を生成する。信号処理部40は、前処理部30でデジタル化された長時間露光画像信号と短時間露光画像信号を、図3に示したように特定の切替ポイントSPで合成し、ダイナミックレンジを拡大させた合成画像信号を生成する。そして、信号処理部40は、合成画像信号に所定の信号処理を施して、撮像画像データの映像信号を生成し、出力部50と検波部60に出力する。
例えば、上述した図2は、合成撮像モードにおいて、1フィールドで二つの異なる露光時間(1/64秒、1/1200秒)が設定された場合であり、撮像素子20は、露光量の異なる2つの露光画像信号を生成する。つまり、露光時間が1/64秒である長時間露光画像と、露光時間が1/1200秒である短時間露光画像が撮像される。図2における長時間露光時間は、図1の通常撮像モードでの通常露光時間(1/60秒)に対応する値が用いられる。このように、例えばシャッタースピード優先露光などを行う場合には、通常撮像モードでの通常露光時間が合成撮像モードの長時間露光時間に反映されるので、撮像モード切替時における画質変化を低減できる。
また、合成撮像モードでは、撮像装置は、通常撮像モードから合成撮像モードに切り替えた当初に、1回だけ、自動露光(AE)制御を行い(S60)、その自動露光制御が一旦完了(即ち、自動露光が収束)した後は(S70)、自動露光制御を停止する(S80)。
つまり、撮像装置は、合成撮像モードに移行したときに、合成画像信号で表される撮像画像の露出を調整するために、長時間露光画像信号及び短時間露光画像信号の露光量を自動的に制御する自動露光制御を行う(S60)。撮像装置の制御部100は、自動露光制御を実行して、絞り12、撮像素子20、前処理部30を制御して、長時間露光画像信号及び短時間露光画像信号を合成して得られる撮像画像の露出(露光量)を適切な値に制御する。この合成撮像モードにおける自動露光制御は、撮像画像内の黒つぶれを補正するために長時間露光画像信号の露光量を制御する長時間露光制御と、撮像画像内の白とびを補正するために短時間露光画像信号の露光量を制御する短時間露光制御とを含む。さらに、本実施形態に係る合成撮像モードにおける自動露光制御は、上記長時間露光制御及び短時間露光制御に加え、当該露光制御によって得られた合成画像の輝度分布に応じて、長時間露光制御及び短時間露光制御の目標輝度値を補正する処理を含む。
ここで、図7〜図11を参照して、本実施形態に係る合成撮像モードにおける自動露光制御(S60)について説明する。図7は、本実施形態に係る合成撮像モードでの自動露光制御を示すフローチャートである。
図7に示すように、合成撮像モードにおける自動露光制御では、長時間露光制御(S62)と短時間露光制御(S64)が実行される。まず、撮像装置の制御部100は、合成画像内の低輝度部分(暗部)の黒つぶれを補正するために、合成画像の暗部を検波して得られた現在の輝度値を第1の目標輝度値(Yb)に合わせるように、長時間露光制御を行う(S62)。ここで、合成画像は、合成撮像モードにおいて、長時間露光画像信号と短時間露光画像信号とを合成した合成画像信号から得られる撮像画像を意味する。次いで、制御部100は、当該合成画像内の高輝度部分(明部)の白とびを補正するために、合成画像の明部を検波して得られた現在の輝度値を第2の目標輝度値(Yw)に合わせるように、短時間露光制御を行う(S64)。
その後、制御部100は、上記長時間露光制御及び短時間露光制御により得られた合成画像の輝度分布(例えば輝度ヒストグラム)をチェックして、輝度分布が適切であるか否かを判断する(S66)。輝度分布が、低輝度領域又は高輝度領域に偏っている場合には、輝度分布は適切ではないと判断される。輝度分布が不適切であると判断した場合には、制御部100は、S62の長時間露光制御で用いられる目標輝度値(Yb)及び/又はS64の短時間露光制御で用いられる目標輝度値(Yw)を補正する(S68)。その後、制御部100は、補正後の目標輝度値(Yb、Yw)を用いて上述したS62の長時間露光制御及び短時間露光制御を繰り返す(S62〜S64)。
以上のようにして、長時間露光制御(S62)、短時間露光制御(S64)及び輝度分布のチェック(S66)が完了した場合には、その合成画像に対する自動露光制御が完了したこととなる。
以下、図8〜図11を参照して、図7のS62〜S68の処理について詳述する。図8〜図10はそれぞれ、図7の長時間露光制御(S62)、短時間露光制御(S64)、目標輝度値の補正処理(S68)の詳細を示すフローチャートである。図11は、本実施形態にかかる輝度ヒストグラムを例示する説明図である。
まず、図8を参照して、図7の長時間露光制御(S62)について説明する。図8に示すように、制御部100は、検波部60から得た輝度積算値を用いて長時間露光画像信号の露光量を制御して(S622)、合成画像の暗部の輝度値(YL)を適正輝度値(第1の目標輝度値Yb)に合わせる(S624)。この長時間露光制御では、制御部100は、撮像処理部の絞り12の絞り値、前処理部30のAGCのゲイン値又は撮像素子20の長時間露光の電子シャッタースピードの少なくともいずれかを制御する。
具体的には、合成撮像モード中には、検波部60は、信号処理部40から入力された合成画像の映像信号を検波して、所定の検波枠内の画素の輝度値を積算し、該輝度積算値を制御部100に出力する。制御部100は、検波部60から受信した輝度積算値を用いて、合成画像の測光処理を行い、図6Aに示したような合成画像内の最も暗い部分(暗部)の現在の輝度値(YL)と、長時間露光用の第1の目標輝度値(Yb)との輝度差を求める(S622)。第1の目標輝度値(Yb)は、合成画像内で暗部が適正な明るさで見えるような輝度値に予め設定されている。そして、制御部100は、求めた輝度差に基づいて、絞り12、TG70、前処理部30のPGAに対する必要な制御量(絞り値、長時間露光の電子シャッタースピード、基準ゲイン値など)を計算し、各部に指示する(S622)。これにより、絞り12が開く、PGAのゲインが増加する、或いは、長時間露光の電子シャッタースピードが長くなるなどするため、長時間露光画像信号の露光量が増加し、合成画像の暗部が明るくなる。
そして、制御部100は、補正後の合成画像を検波して得られた現在の輝度値(YL)と、第1の目標輝度値(Yb)とを比較する(S624)。そして、現在の暗部の輝度値(YL)が第1の目標輝度値(Yb)に達しているときには、黒つぶれが解消されているので、制御部100は、長時間露光制御を終了する。一方、現在の暗部の輝度値(YL)が第1の目標輝度値(Yb)に達していないときには、S622に戻り、制御部100は、長時間露光画像信号の露光量を更に増加させるように各部を制御する。
以上のように長時間露光制御では、撮像装置は、合成画像の暗部の輝度が適切な目標輝度に達するまで、通常の自動露光(AE)処理を行う。このとき、制御部100は、黒つぶれしている暗部の輝度を検波して、該暗部の輝度が適正な目標輝度になるまで、長時間露光画像信号の露光量(感度)を増加させていく。かかる長時間露光制御では、通常は、絞り12を開く、PGAのゲインを上げることによって、黒つぶれ補正が実現される。しかし、絞り12を最大限に開いても尚、暗部の輝度が目標輝度に達しない場合には、長時間露光の電子シャッタースピードを長くすることで、露光制御してもよい。
次に、図9を参照して、図7の短時間露光制御(S64)について説明する。図9に示すように、制御部100は、検波部60から得た輝度積算値を用いて短時間露光画像信号の露光量を制御して(S642)、合成画像の明部の輝度値(YH)を適正輝度値(第2の目標輝度値Yw)に合わせる(S644)。この短時間露光制御では、制御部100は、撮像処理部の撮像素子20の短時間露光の電子シャッタースピードを制御する。
具体的には、合成撮像モード中には、検波部60は、信号処理部40から入力された合成画像の映像信号を検波して、所定の検波枠内の画素の輝度値を積算し、該輝度積算値を制御部100に出力する。制御部100は、検波部60から受信した輝度積算値を用いて、合成画像の測光処理を行い、図6Aに示したような合成画像内の最も明るい部分(明部)の現在の輝度値(YH)と、短時間露光用の第2の目標輝度値(Yw)との輝度差を求める(S622)。第2の目標輝度値(Yw)は、合成画像内で明部が適正な明るさで見えるような輝度値に予め設定されている。そして、制御部100は、求めた輝度差に基づいて、TG70に対する必要な制御量(短時間露光の電子シャッタースピード)を計算し、TG70に指示する(S622)。これにより、撮像素子20における短時間露光の電子シャッタースピードが短くなるため、短時間露光画像信号の露光量が減少し、合成画像の明部が暗くなる。
そして、制御部100は、補正後の合成画像を検波して得られた現在の明部の輝度値(YH)と、第2の目標輝度値(Yw)とを比較する(S644)。そして、現在の明部の輝度値(YH)が第2の目標輝度値(Yw)に達しているときには、白とびが解消されているので、制御部100は、短時間露光制御を終了する。一方、現在の明部の輝度値(YH)が第2の目標輝度値(Yw)に達していないときには、S642に戻り、制御部100は、短時間露光画像信号の露光量をさらに減少させるように各部を制御する。
以上のように短時間露光制御では、撮像装置は、合成画像の明部の輝度が適切な目標輝度に達するまで、短時間露光制御を行う。このとき、制御部100は、白とびしている明部の輝度を検波し、該明部の輝度が適正な目標輝度になるまで、短時間露光の電子シャッタースピードを初期値(例えば1/1200秒)よりも短くしていくことで、短時間露光画像信号の露光量を減少させていく。かかる短時間露光制御では、通常は、短時間露光の電子シャッタースピードのみを制御し、絞り12や、PGAのゲインは制御されない。この理由は、絞り12やゲインは、制御幅が広い長時間露光制御で使用するものであり、短時間露光制御において、絞り値やPGAのゲインを変化させると、先に行った長時間露光制御に影響がでてしまうからである。このため、短時間露光制御では、絞り12の絞り値や、PGAのゲインは、長時間露光制御で設定した値に固定したままで、短時間露光の電子シャッタースピードのみを制御する。
次に、図10及び図11を参照して、図7の輝度ヒストグラムのチェック処理(S66)及び目標輝度値の補正処理(S68)について説明する。
上述した検波部60は、信号処理部40から入力された合成画像の輝度を検波することで、合成画像の各検波枠の輝度積算値と、輝度ヒストグラムを生成し、それをフィールド毎に制御部100に送信することができる。制御部100は、その輝度ヒストグラムをチェックして(S66)、輝度ヒストグラムが表す輝度分布に応じて、上記長時間露光制御用の第1の目標輝度値(Yb)や、短時間露光制御用の第2の目標輝度値(Yw)を補正する(S68)。
図11は、本実施形態に係る輝度ヒストグラムの例を示す。この例では、黒レベルBから白レベルWまでの輝度を、「B」「mb1」「mb2」「mb3」「mw3」「mw2」「mw1」「W」という8段階の輝度領域に分け、この8段階の輝度領域ごとに1フィールド画像内での全画素の輝度の割合(%)を示している。
図7に示した自動露光制御を行う場合、制御部100は、長時間露光制御(黒つぶれ補正)に用いる第1の目標輝度値(Yb)の初期値を、黒つぶれがない合成画像になるような所定の輝度値に設定する。また、制御部100は、短時間露光制御(白とび補正)に用いる第2の目標輝度値(Yw)の初期値を、白とびがない合成画像になるような所定の輝度値に設定する。
その後、制御部100は、検波部60から現在の合成画像の輝度ヒストグラムを受信すると、輝度ヒストグラムをチェックして、輝度ヒストグラムの黒部分(B)及び白部分(W)が所定の割合(例えば、5%、10%など)未満であるか否かをする(S66)。この結果、黒部分(B)及び白部分(W)が所定の割合以上である場合には、制御部100は、黒つぶれ、白とびがなくなるように、第1の目標輝度値(Yb)及び第2の目標輝度値(Yw)を補正する(S68)。
具体的には、制御部100は、輝度ヒストグラムの黒部分(B)の割合を検査することで黒つぶれを検出する。そして、制御部100は、黒部分(B)が所定の割合(例えば、5%、10%など)以上であれば、図10に示すように、該割合に応じて、長時間露光制御の目標輝度値(Yb)を増減する(S682)。例えば、制御部100は、目標輝度値(Yb)を、現在の目標輝度値(Yb)に固定値(Cb)を加算した値(Yb+Cb)に更新する。つまり長時間露光量を多くする方向に目標輝度値(Yb)を更新する。
また、制御部100は、輝度ヒストグラムの白部分(W)の割合を検査することで白とびを検出する。そして、制御部100は、白部分(W)が所定の割合(例えば、5%、10%など)以上であれば、図10に示すように、該割合に応じて、短時間露光制御の目標輝度値(Yw)を増減する(S684)。例えば、制御部100は、目標輝度値(Yw)を、現在の目標輝度値(Yw)から固定値(Cw)を減算した値(Yw−Cw)に更新する。つまり短時間露光量を少なくする方向に目標輝度値(Yw)を更新する。
その後は、制御部100は、上記のように補正した第1の目標輝度値(Yb)及び第2の目標輝度値(Yw)を用いて、図7に示す長時間露光制御(S62)と短時間露光制御(S64)を繰り返す。このような目標輝度値の補正処理(S66〜S68)、露光制御処理(S62、S64)の処理が例えばフィールド期間毎に繰り返されることで、合成画像の露光が、黒つぶれや白とびが発生しない露光状態に収束されていく。
この結果、S66にて、黒部分(B)及び白部分(W)が所定の割合未満である場合には、制御部100は、長時間露光制御及び短時間露光制御が適切に行われ、黒つぶれ及び白とびが解消されたと判断して、図7の自動露光制御を完了する。以上のように、合成画像の輝度分布を表す輝度ヒストグラムを用いることで、制御部100は、合成画像中の黒つぶれ及び白とびの有無を適切に判断し、必要に応じて、合成画像の自動露光制御を適切に実行できる。
以上、図7〜図11を参照して、合成撮像モードでの自動露光制御(図5のS60)について説明した。かかる合成撮像モードでの自動露光制御を実行することによって、図6Bに示すように、黒つぶれや白とびが解消された合成画像5が出力される。これにより、例えば、通常撮像モードの図6Aの撮像画像1では、暗部3において黒つぶれしていた人物の顔が、合成撮像モードの図6Bの合成画像5では、中間輝度のエリア6において認識可能に表示される。また、図6Aの撮像画像1では、明部2において白とびしていた背景が、合成撮像モードの図6Bの合成画像5では、中間輝度より明るいエリア7において認識可能に表示される。
ところが、上述した合成撮像モードでの自動露光制御は、上記のように長時間露光制御及び短時間露光制御の双方を行うため、通常撮像モードに比べて、露光が収束するまでに時間がかかる。また、撮像装置によっては、図7に示したように、上記の露光制御に加えて、合成画像の輝度分布(輝度ヒストグラム)を検査し、適切な輝度分布になるように目標輝度値を補正しながら露光制御をする場合もある。この場合には、露光が収束するまでに、より一層の時間がかかる。このように合成撮像モードでは、自動露光制御に長時間を要する(例えば5〜10秒程度)。従って、従来のように被写体の一時的な輝度変化や微細な輝度変化に応じて、その都度、自動露光制御を行っていたのでは、自動露光制御中の不自然な合成画像が頻繁に出力されるという問題があった。従って、合成撮像モードにおいてAE処理に伴う不自然な画像が頻出すると、撮像装置が監視カメラとして役に立たなかった。
そこで、本実施形態では、図5に示したように、上記合成撮像モードでの自動露光制御が一旦完了(S70)した後には、自動露光制御を停止(S80)するようにしている。以下に、図5に戻り、合成撮像モードでの自動露光制御後の処理について説明する。
図5に示すように、通常撮像モードから合成撮像モードに移行したときは、制御部100は、上述したS60の自動露光制御を実行して(S60)、その自動露光制御が一旦完了するのを待つ(S70)。ここで、自動露光制御が一旦完了する時点は、合成撮像モード移行後に最初に実行された自動露光制御(長時間露光制御及び短時間露光制御の双方)が収束する時点であり、輝度ヒストグラムを用いた検査を行う場合には、その検査が完了した時点である。
そして、合成撮像モードにおける最初の自動露光制御が完了(S70)した後に、制御部100は、自動露光制御機能を停止し(S80)、その後の合成撮像モード中は自動露光を行わないようにする。自動露光制御機能を停止することで、絞り12の絞り値や、PGAのゲイン、並びに、長時間露光及び短時間露光のシャッタースピードが固定される。これにより、被写体の輝度変化に露光制御が追従しないようにして、合成撮像モードでの撮像中に生ずる、ダイナミックレンジ拡大に伴う合成画像の不自然な輝度変化が発生しないようにできる。
ところが、自動露光制御機能を停止してしまうと、合成撮像モード中に、撮像する被写体が変化(シーン変化)したときに、その変化後のシーンを自動露出して撮像できなくなる。そこで、本実施形態では、合成撮像モードにおける自動露光制御の停止後、制御部100は、検波部60からの輝度積算値に基づいて、合成画像内の所定の輝度変化を所定時間以上継続して検出した場合に、シーン変化があったと判断する。そして、制御部100は、このシーン変化の検出に応じて、撮像装置の撮像モードを合成撮像モードから通常撮像モードに切り替える。
詳細には、まず、制御部100は、検波部60から受信した輝度積算値に基づいて、自動露光制御の完了後の合成画像の輝度値(Y1)を取得し、該輝度値(Y1)を基準輝度値としてメモリに保存する。ここで保存される基準輝度値(Y1)は、例えば、中央部重点測光方式、評価測光方式、平均測光方式、部分測光方式など、任意の測光方式により取得できるものとする。かかる基準輝度値(Y1)は、後述のS120での輝度変化の有無を判断するときの基準となる。
なお、合成画像内の輝度変化を検出するための測光方式は、上記のような任意の方式であってよいが、次の理由から、合成画像全体を測光することが好ましい。つまり、合成撮像モードでワイドダイナミックレンジを適用すると、図6Bに示したように、合成画像5は、中間輝度前後のエリア6、7が多く、コントラストが低い画像となり、合成画像5内で輝度差が低くなる。従って、例えば、合成画像5全体に検波枠を設定してその検波枠内の輝度を測光する方式を用いることで、合成画像5の輝度変化を好適に検出できる。また、敢えて部分測光するのであれば、ユーザがよく見る合成画像5の中央部分を測光し、その中央部分の輝度変化を検出してもよい。
次いで、制御部100は、タイマー(T)の初期化(カウント中のタイマー値のリセット)を行う(S100)。タイマーは、自動露光制御の停止後の被写体の輝度変化を検出するためのものである。
さらに、上記基準輝度値(Y1)の保存後における合成撮像モードでの撮像中に、制御部100は、検波部60から受信した輝度積算値に基づいて、現在撮像中の合成画像の輝度値(Y2)を取得する(S110)。なお、現在の輝度値(Y2)は、上記基準輝度値(Y1)と同様の測光方式で得られたものとする。
そして、制御部100は、現在の輝度値(Y2)と上記基準輝度値(Y1)との差分が、所定の閾値(C2)以上であるか否かを判定する(S120)。この結果、当該差分が所定の閾値(C2)未満であれば、S100に戻り、制御部100は、タイマー(T)を初期化する(S100)、一方、当該差分が所定の閾値(C2)以上であれば、制御部100は、タイマー(T)のカウントを開始し(S130)、S140に進む。
そして、制御部100は、上記S130でのタイマー(T)のカウント開始後に、所定時間を経過したか否か、即ち、タイマー(T)が満了したか否かを判定する(S140)。当該所定時間は、輝度変動の有無の判定基準となる時間であり、例えば5〜10秒に設定される。このS140での判定の結果、所定時間が経過しておらず、タイマー(T)が満了していない場合には、S110に戻り、現在の輝度値(Y2)を再取得した後に(S110)、該輝度値(Y2)と基準輝度値(Y1)の差分を閾値(C2)と比較する。
一方、S140で所定時間が経過しており、タイマー(T)が満了した場合には、所定期間以上継続して、合成画像に所定の輝度変化が生じたことを意味するので、合成撮像モードで撮像中の被写体の状況が変化(即ち、シーン変化)したと判断できる。
例えば、撮像するシーンが、合成撮像モード移行時に撮像していた被写体から、当該被写体と比べて非常に暗い又は明るい新たな被写体に変化した場合には、図6Cに示すように、合成画像5には、輝度変化したエリア8が生じる。図6Cの例は、撮像範囲上部に非常に暗い被写体が含まれた場合を示し、合成画像5の上部の輝度変化したエリア8では、輝度が低くなっている。従って、制御部100は、検波部60により検波された輝度積算値に基づき、当該エリア8での輝度変化を検出でき、シーン変化があったと判断できる。
かかる輝度変化の検出では、所定以上の輝度変化が所定時間以上継続したときにシーン変化があったと判断される。従って、撮像範囲内を人が通過するなどといった一時的な輝度変化は、シーン変化とは判断されず、輝度変化が所定時間以上継続したときに、シーンが完全に変化したと判断される。
上記のような合成撮像モードでの処理S90〜S140により、合成撮像モードにおいて、自動露光制御の停止後に、撮像中の被写体のシーン変化を検知できる。そして、上記シーン変化の検出に応じて、制御部100は、撮像装置の撮像モードを合成撮像モードから通常撮像モードに切り替えて、通常撮像モードでの撮像動作及び通常の自動露光制御を再開する(S10、S20)。この理由は次の通りである。
以上のように合成撮像モードでの撮像中にシーン変化があった場合、現在撮像中の合成画像は、合成撮像モードへの移行当初の被写体を撮像したときとは異なる輝度分布となっている。このため、自動露光制御を再度実行する必要がある。また、シーン変化が生じているのであるから、過去の被写体に合わせて露光制御した状態のままで、合成撮像モードを継続するのは適切ではなく、合成撮像モードから通常撮像モードに戻した方が好適である可能性が高い。
そこで、制御部100は、合成撮像モード中に、上記基準輝度値(Y1)に対して閾値(C2)以上の輝度差が生じるような大きな輝度変化を、所定時間以上継続して検出したときには、シーン変化があったと判断する。そして、制御部100は、当該輝度変化の検出に応じて、合成撮像モードから通常撮像モードへ切り替えて(S10)、自動露光制御を再開する(S20)。これにより、通常撮像モードにおいて、シーン変化した被写体に合うように自動露光制御された撮像画像を得ることができる。
ところが、当該通常撮像モードでの自動露光制御を行ってもなお、撮像画像内の明部と暗部の間に所定の閾値(C1)以上の輝度差がある場合には(S40)、制御部100は、再度、通常撮像モードから合成撮像モードに切り替える(S50)。そして、制御部100は、該再切替後の合成撮像モードにおいて、当該輝度差のある合成画像について自動露光制御を実行して(S60)、その自動露光制御が一旦完了(S70)した後に自動露光制御を停止する(S80)。
以上のように、合成撮像モードと通常撮像モードの切替と、自動露光制御のオン/オフを行うことで、上記合成撮像モードにおいてシーン変化があったときでも、自動露光制御を再開して、適切な露光で自然な画像を安定して出力できるようになる。
以上、本実施形態にかかる撮像装置及び撮像方法について詳細に説明した。本実施形態によれば、合成撮像モードと通常撮像モードの2種類の撮像モードを自動で切り替える機能を有する撮像装置において、通常撮像モードから合成撮像モードに移行した場合、合成画像に対する露光制御が一旦完了したら、自動露光制御機能を停止させる。さらに、その後の合成撮像モード中は、合成画像の所定の輝度変化を所定時間継続して検出した場合に、合成撮像モードから通常撮像モードに切り替えて、自動露光制御を再開する。
即ち、本実施形態によれば、ワイドダイナミックレンジカメラにおいて、通常撮像モードから合成撮像モードに自動的に切り替えた後、ダイナミックレンジ拡大に伴う自動露光処理を完了したときに、(1)自動露光を停止させ、(2)合成画像において所定の輝度変化が一定時間継続した場合、合成撮像モードから通常撮像モードに自動的に切り替え、自動露光を再開させる。これにより、合成撮像モード中の一時的な被写体の変動により、ダイナミックレンジ拡大に伴う不自然な輝度変化の発生を防ぎ、安定した合成画像を動画像として提供することができる。
また、上述した特許文献2に記載のモード切替手法では、合成撮像モードにおける長時間露光と短時間露光のシャッタースピードの差が一定値以下になった場合に、合成撮像モードから通常撮像モードに切り替えるようにしている。しかし、本実施形態では、合成撮像モード中は自動露光制御を停止しているので、長時間露光と短時間露光のシャッタースピードは固定されており、特許文献2の手法は使用できない。また、特許文献2のモード切替手法では、長時間露光と短時間露光のシャッタースピードを比較するだけであるので、一時的な輝度変化に対しても敏感に反応して、通常撮像モードに切り替わってしまう。これに対し、本実施形態にかかる切替手法では、輝度変化が所定時間以上にわたり継続したときに、合成撮像モードから通常撮像モードに切り替える。これにより、一時的な輝度変化に反応してモード切替しないようにでき、完全なシーン変化があった場合に、合成撮像モードから通常撮像モードに切り替えることができる。このように、本実施形態では、合成撮像モードにおいて、輝度変動に関わる自動露光制御を停止したからこそ、合成画像の輝度変化を適切に捉えて、適切なタイミングで合成撮像モードから通常撮像モードに切り替えることができる
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は係る例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、本発明は、動画撮像を行うカメラシステムに適用できるが、静止画撮像を行うカメラシステムにも適用できる。例えば、動画撮像するためのデジタルビデオカメラ、静止撮像するためのデジタルスチルカメラ、カメラ機能付きの携帯電話など、任意の撮像機器に適用可能である。設定露光モードで静止画撮像を行う場合であっても、例えば撮像タイミング(レリーズ)に至るまでのモニタリング中に、撮像モードの切替制御を行ってもよい。
また、例えばノンインターレーススキャン方式の撮像を行う場合、上述してきたフィールド期間の処理はフレーム期間の処理として考えればよい。つまり、露光画像信号を得るための単位期間は、フィールド期間、フレーム期間、複数フィールド期間、複数フレーム期間など、撮像装置で用いられる任意の単位期間であってもよい。例えば、複数フレーム期間ごとに1回の割合で、検波処理、露光補正処理、露光制御処理が行われるような動作例も考えられる。
また、上記実施形態では、図7に示した合成撮像モードの自動露光制御で、長時間露光制御(S62)及び短時間露光制御(S64)に加え、輝度ヒストグラムの検査(S66)及び目標輝度値の補正処理(S68)を行った。しかし、本発明はかかる例に限定されず、例えば、長時間露光制御(S62)及び短時間露光制御(S64)を行い、輝度ヒストグラムの検査(S66)及び目標輝度値の補正処理(S68)を行わないようにしてもよい。また、上記実施形態では、長時間露光制御(S62)を行った後に、短時間露光制御(S64)を行ったが、これに限定されず、例えば、短時間露光制御を行った後に長時間露光制御を行ってもよいし、長時間露光制御と短時間露光制御を同時並行で行ってもよい。
また、上記実施形態では、露光制御手段として、絞り12、撮像素子20の電子シャッター、PGAを備えた撮像装置について説明したが、本発明は、かかる例に限定されない。本発明は、例えば、絞り12を具備しない撮像装置、PGAを具備しない撮像装置などにも適用できる。
また、上記実施形態では、合成撮像モードから通常撮像モードへの切替基準となる輝度変化を検出する際に、タイマーで計時する所定時間を固定値としたが、本発明はかかる例に限定されない。例えば、複数のタイマー値を段階的に用意しておき、ユーザが手動で対マー値を設定するなど、上記所定時間(タイマー値)を可変にしてもよい。