JP4301012B2 - 撮像装置および方法、記録媒体、並びにプログラム - Google Patents

Description

本発明は、撮像装置および方法、記録媒体、並びにプログラムに関し、特に、ダイナミックレンジの広い動被写体であっても、鮮明に撮像できるようにした撮像装置および方法、記録媒体、並びにプログラムに関する。

CCD(Charge Coupled Device)に代表される撮像素子を用いた、デジタルビデオカメラが一般に普及しつつある。デジタルビデオカメラは、各撮像素子により受光した光を光電変換し、光を電圧値として処理することで、画像をデジタル化して画像信号に変換し、この変換された画像信号を記録することにより、画像を撮像している。

ところ、撮像素子として、CCDを用いたカメラでは、各撮像素子のダイナミックレンジがそれほど広くないため、例えば銀塩フィルムにより撮像された画像に比べて、被写体によっては黒つぶれや白とびなどを発生することがあった。この問題を解決するために、画像を撮像する際、その同一シーンを撮像するに当たり、露出時間を変えて複数回撮像し、その撮像結果から1枚のダイナミックレンジを拡大した画像データを取得するという方法が提案されている（例えば、特許文献１参照）。
特開平８−２１４２１１号公報

しかしながら、このように露出時間を変えて複数の画像を撮像することによりダイナミックレンジを拡大する方法では、撮像シーンに変動がないことが前提とされているため、動きのある被写体として撮像する場合には不具合が生じる。すなわち、広ダイナミックレンジデータを取得する方法として、被写体を２度以上、露出を変えて撮像する場合、複数の画像を撮像する期間に物体が動いてしまうと、動いた部分は正確な輝度データを取得できなくなってしまうために不具合が生じてしまう。

より具体的には、図1で示されるように、所定のシーンを２回、短時間露光により撮像した後に長時間露光により撮像することによりダイナミックレンジを拡大する例が示されている。図１においては、時刻ｔ０乃至ｔ１の期間で短時間露光期間が設けられており、時刻ｔ１乃至ｔ２において長時間露光期間が設けられており、それぞれの期間において同一のシーンが２回に分けて撮像されることが示されている。この場合、露光期間のずれとなる時間差は、時間（ｔ２−ｔ１）となる。

図1で示される短時間露光期間、および、長時間露光期間に撮像される画像は、例えば、図２，図３で示されるような画像１，２１となる。すなわち、図２，図３においては、それぞれヘリコプタ状の物体１１が図中左方向に向かって飛行している状態が撮像されている。図２で示される画像１において、物体１１は、図３で示される画像２１よりも図中右方向に撮像されており、短時間露光期間は長時間露光期間よりもの早いタイミングであることが示されており、さらに、露光期間が短いため、物体１１のぶれ幅が図３に比べて小さいことが示されている。一方、図３で示される画像２１において、物体１１は、図２で示される画像１よりも図中左方向に撮像されており、長時間露光期間が短時間露光期間よりも遅いタイミングであることが示されており、さらに、露光期間が長いため、物体１１のぶれ幅が図２に比べて大きいことが示されている。

結果として、図４の画像３１で示されるように、図２の画像１中の物体１１が撮像された領域と、図３の画像１中の物体１１が撮像された領域とを合わせた領域４１において、物体１１が移動することによりぶれが生じることにより、広ダイナミックレンジ化を図るために、画像データを合成すると、ぶれが生じた領域については、輝度値が正確に再現できず、不具合が生じる可能性がある。

これらの問題の対策として、複数の画像を撮像する際、露光を開始するタイミングを同一にすることで、正確な輝度データが得られない領域（例えば、図４の領域４１）を減らすことができる。すなわち、図５で示されるように、時刻ｔ０乃至ｔ１において、短時間露光期間を設定し、時刻ｔ０乃至ｔ２において、長時間露光期間を設定することにより、時間的なずれを示す時間差が、図５で示される時間（ｔ２−ｔ１）となり、図１の状態に比べて短くなることが示されている。

図６で示される画像５１は、図５の短時間露光期間に撮像された画像であり、図７の画像７１は、図５の長時間露光期間に撮像された画像である。図６の画像５１において、物体６１は、図７で示される画像７１と図中右側の位置は同一となるが、撮像期間が長時間露光期間よりも短いため、画像７１における場合よりもぶれ幅が小さいことが示されている。この場合、図６で示されるように、短時間露光期間に撮像された物体６１の領域は、図７で示されるように、長時間露光期間に撮像された物体６１の領域に含まれることになるため、図８で示される画像９１で示されるように、画像５１と画像７１を単純に合成して、広ダイナミックレンジ化するときに、不具合が生じる領域１０１は、図４で示される領域４１よりも小さくすることが可能となる。

このように長時間露光期間と短時間露光期間の露光開始時刻を合わせることにより、不具合の発生する領域を減らすことが可能となるが、短時間露光期間と、長時間露光期間に著しく差がある場合、すなわち、長時間露光期間が極端に長いような場合、不具合の発生する領域が大きく広がることになり、不具合の発生を抑制することができなくなるという課題があった。

本発明はこのような状況に鑑みてなされたものであり、特に、短時間露光期間と長時間露光期間を同時に露光開始もしくは露光終了できるような撮像素子において、一定時間以上の露出時間差が発生する場合、その時間差を減らしつつも、撮像可能なダイナミックレンジ幅を維持するように露光期間を制御することにより、動被写体に対しても高画質の画像で撮像できるようにするものである。

本発明の撮像装置は、第１の露出時間で第１の画像を撮像する第１の撮像手段と、第２の露出時間で第２の画像を撮像する第２の撮像手段と、第１の画像に基づいて、第１の露出時間の補正値である第１の補正値を算出する第１の算出手段と、第２の画像に基づいて、第２の露出時間の補正値である第２の補正値を算出する第２の算出手段と、第１の補正値と、第２の補正値とに基づいて、第１の露出時間、および、第２の露出時間を制御する露出制御手段と、第１の撮像手段により撮像される第１の画像の利得を制御する第１の利得制御手段と、第２の撮像手段により撮像される第２の画像の利得を制御する第２の利得制御手段とを備え、露出制御手段は、現フレームの第１の補正値に基づいて補正して得られる、次フレームの第１の露出時間と、現フレームの第２の補正値に基づいて補正して得られる、次フレームの第２の露出時間とに基づいて、第１の撮像手段と第２の撮像手段のそれぞれの次フレームの第１の露出時間、および、第２の露出時間を計算し、その差が所定の時間よりも短くなるように、第１の撮像手段、および第２の撮像手段における絞りを段階的に開放することで、第１の露出時間、および、第２の露出時間を制御し、絞りが開放しきった場合、差が所定時間よりも短くなっていないとき、さらに、第１の利得制御手段、および第２の利得制御手段により段階的に利得を上げることで、第１の露出時間、および、第２の露出時間を制御することを特徴とする。

前記第２の撮像手段の第２の露出時間は、第１の撮像手段の第１の露出時間に含まれるようにすることができる。

前記第２の撮像手段の第２の露出時間と、第１の撮像手段の第１の露出時間の露出開始時刻は同一であるようにすることができる。

前記第２の撮像手段の第２の露出時間と、第１の撮像手段の第１の露出時間は同一であるようにすることができる。

前記第２の画像の画素値に関するヒストグラムを生成するヒストグラム生成手段をさらに設けるようにさせることができ、第２の算出手段には、ヒストグラム生成手段により生成されたヒストグラム、および、第１の撮像手段と第２の撮像手段との露光量の比率に基づいて、第２の露出時間の補正値である第２の補正値を算出させるようにすることができる。

前記第１の画像の平均輝度値を計算する平均輝度値計算手段をさらに設けるようにさせることができ、第１の算出手段には、平均輝度値計算手段により計算された平均輝度値に基づいて、第１の補正値を算出させるようにすることができる。

前記露出制御手段には、現フレームの第１の補正値に基づいて補正して得られる、次フレームの第１の露出時間と、現フレームの第２の補正値に基づいて補正して得られる、次フレームの第２の露出時間とに基づいて、第１の撮像手段と第２の撮像手段のそれぞれの次フレームの第１の露出時間、および、第２の露出時間を計算し、その差が所定の時間よりも短くなるように第１の露出時間、および、第２の露出時間を制御させるようにすることができる。

本発明の撮像方法は、第１の露出時間で第１の画像を撮像する第１の撮像ステップと、第２の露出時間で第２の画像を撮像する第２の撮像ステップと、第１の画像に基づいて、第１の露出時間の補正値である第１の補正値を算出する第１の算出ステップと、第２の画像に基づいて、第２の露出時間の補正値である第２の補正値を算出する第２の算出ステップと、第１の補正値と、第２の補正値とに基づいて、第１の露出時間、および、第２の露出時間を制御する露出制御ステップと、第１の撮像ステップの処理により撮像される第１の画像の利得を制御する第１の利得制御ステップと、第２の撮像ステップの処理により撮像される第２の画像の利得を制御する第２の利得制御ステップとを備え、露出制御ステップの処理は、現フレームの第１の補正値に基づいて補正して得られる、次フレームの第１の露出時間と、現フレームの第２の補正値に基づいて補正して得られる、次フレームの第２の露出時間とに基づいて、第１の撮像ステップの処理と第２の撮像ステップの処理でのそれぞれの次フレームの第１の露出時間、および、第２の露出時間を計算し、その差が所定の時間よりも短くなるように、第１の撮像ステップの処理、および第２の撮像ステップの処理における絞りを段階的に開放することで、第１の露出時間、および、第２の露出時間を制御し、絞りが開放しきった場合、差が所定時間よりも短くなっていないとき、さらに、第１の利得制御ステップの処理、および第２の利得制御ステップの処理により段階的に利得を上げることで、第１の露出時間、および、第２の露出時間を制御することを特徴とする。

本発明のプログラムは、第１の露出時間での第１の画像の撮像を制御する第１の撮像制御ステップと、第２の露出時間での第２の画像の撮像を制御する第２の撮像制御ステップと、第１の画像に基づいて、第１の露出時間の補正値である第１の補正値を算出する第１の算出ステップと、第２の画像に基づいて、第２の露出時間の補正値である第２の補正値を算出する第２の算出ステップと、第１の補正値と、第２の補正値とに基づいて、第１の露出時間、および、第２の露出時間を制御する露出制御ステップとをコンピュータに実行させ、第１の撮像制御ステップの処理により撮像される第１の画像の利得を制御する第１の利得制御ステップと、第２の撮像制御ステップの処理により撮像される第２の画像の利得を制御する第２の利得制御ステップとを備え、露出制御ステップの処理は、現フレームの第１の補正値に基づいて補正して得られる、次フレームの第１の露出時間と、現フレームの第２の補正値に基づいて補正して得られる、次フレームの第２の露出時間とに基づいて、第１の撮像制御ステップの処理と第２の撮像制御ステップの処理でのそれぞれの次フレームの第１の露出時間、および、第２の露出時間を計算し、その差が所定の時間よりも短くなるように、第１の撮像制御ステップの処理、および第２の撮像制御ステップの処理における絞りを段階的に開放することで、第１の露出時間、および、第２の露出時間を制御し、絞りが開放しきった場合、差が所定時間よりも短くなっていないとき、さらに、第１の利得制御ステップの処理、および第２の利得制御ステップの処理により段階的に利得を上げることで、第１の露出時間、および、第２の露出時間を制御することを特徴とする。

本発明の撮像装置および方法、並びにプログラムにおいては、第１の露出時間で第１の画像が撮像され、第２の露出時間で第２の画像が撮像され、第１の画像に基づいて、第１の露出時間の補正値である第１の補正値が算出され、第２の画像に基づいて、第２の露出時間の補正値である第２の補正値が算出され、第１の補正値と、第２の補正値とに基づいて、第１の露出時間、および、第２の露出時間が制御され、撮像される第１の画像の利得が制御され、撮像される第２の画像の利得が制御され、現フレームの第１の補正値に基づいて補正して得られる、次フレームの第１の露出時間と、現フレームの第２の補正値に基づいて補正して得られる、次フレームの第２の露出時間とに基づいて、それぞれの次フレームの第１の露出時間、および、第２の露出時間が計算され、その差が所定の時間よりも短くなるように、絞りを段階的に開放することで、第１の露出時間、および、第２の露出時間を制御し、絞りが開放しきった場合、差が所定時間よりも短くなっていないとき、さらに、段階的に利得を上げることで、第１の露出時間、および、第２の露出時間が制御される。

本発明の撮像装置は、独立した装置であっても良いし、撮像処理を行うブロックであっても良い。

本発明によれば、ダイナミックレンジの広い動被写体でも、高画質の画像を撮像することが可能となる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

即ち、本発明の撮像装置は、第１の露出時間で第１の画像を撮像する第１の撮像手段（例えば、図１４の長時間露光制御部１１３ａ）と、第２の露出時間で第２の画像を撮像する第２の撮像手段（例えば、図１４の短時間露光制御部１１３ｂ）と、第１の画像に基づいて、第１の露出時間の補正値である第１の補正値を算出する第１の算出手段（例えば、図１４の短時間露出補正計算部１３１）と、第２の画像に基づいて、第２の露出時間の補正値である第２の補正値を算出する第２の算出手段（例えば、図１４の長時間露出補正計算部１３２）と、第１の補正値と、第２の補正値とに基づいて、第１の露出時間、および、第２の露出時間を制御する露出制御手段（例えば、図１４の長短連動露出補正値計算部１３３）と、第１の撮像手段により撮像される第１の画像の利得を制御する第１の利得制御手段（例えば、図１９のゲイン調整部１７８）と、第２の撮像手段により撮像される第２の画像の利得を制御する第２の利得制御手段（例えば、図１９のゲイン調整部１７９）とを備え、露出制御手段は、現フレームの第１の補正値に基づいて補正して得られる、次フレームの第１の露出時間と、現フレームの第２の補正値に基づいて補正して得られる、次フレームの第２の露出時間とに基づいて、第１の撮像手段と第２の撮像手段のそれぞれの次フレームの第１の露出時間、および、第２の露出時間を計算し、その差が所定の時間よりも短くなるように、第１の撮像手段、および第２の撮像手段における絞りを段階的に開放することで、第１の露出時間、および、第２の露出時間を制御し、絞りが開放しきった場合、差が所定時間よりも短くなっていないとき、さらに、第１の利得制御手段、および第２の利得制御手段により段階的に利得を上げることで、第１の露出時間、および、第２の露出時間を制御することを特徴とする。

前記第２の画像の画素値に関するヒストグラムを生成するヒストグラム生成手段（例えば、図１５のヒストグラム計算部１４１）をさらに設けるようにさせることができ、第２の算出手段には、ヒストグラム生成手段により生成された前記ヒストグラム、および、第１の撮像手段と第２の撮像手段との露光量の比率に基づいて、第２の露出時間の補正値である第２の補正値を算出させるようにすることができる。

前記第１の画像の平均輝度値を計算する平均輝度値計算手段（例えば、図１８の平均輝度算出部１５１）をさらに設けるようにさせることができ、第１の算出手段には、平均輝度値計算手段により計算された平均輝度値に基づいて、第１の補正値を算出させるようにすることができる。

前記露出制御手段は、前記現フレームの第１の補正値に基づいて補正して得られる、次フレームの第１の露出時間と、現フレームの第２の補正値に基づいて補正して得られる、次フレームの第２の露出時間とに基づいて、第１の撮像手段と第２の撮像手段のそれぞれの次フレームの第１の露出時間、および、第２の露出時間を計算し、その差が所定の時間よりも短くなるように第１の露出時間、および、第２の露出時間を制御させるようにすることができる。

本発明の撮像方法は、第１の露出時間で第１の画像を撮像する第１の撮像ステップ（例えば、図２０のフローチャートのステップＳ３の処理）と、第２の露出時間で第２の画像を撮像する第２の撮像ステップ（例えば、図２０のフローチャートのステップＳ２の処理）と、第１の画像に基づいて、第１の露出時間の補正値である第１の補正値を算出する第１の算出ステップ（例えば、図２０のフローチャートのステップＳ６の処理）と、第２の画像に基づいて、第２の露出時間の補正値である第２の補正値を算出する第２の算出ステップ（例えば、図２０のフローチャートのステップＳ５の処理）と、第１の補正値と、第２の補正値とに基づいて、第１の露出時間、および、第２の露出時間を制御する露出制御ステップ（例えば、図２０のフローチャートのステップＳ７の処理）と、第１の撮像ステップの処理により撮像される第１の画像の利得を制御する第１の利得制御ステップ（例えば、図２３のフローチャートのステップＳ６０の処理）と、第２の撮像ステップの処理により撮像される第２の画像の利得を制御する第２の利得制御ステップ（例えば、図２３のフローチャートのステップＳ６２の処理）とを備え、露出制御ステップの処理は、現フレームの第１の補正値に基づいて補正して得られる、次フレームの第１の露出時間と、現フレームの第２の補正値に基づいて補正して得られる、次フレームの第２の露出時間とに基づいて、第１の撮像ステップの処理と第２の撮像ステップの処理でのそれぞれの次フレームの第１の露出時間、および、第２の露出時間を計算し、その差が所定の時間よりも短くなるように、第１の撮像ステップの処理、および第２の撮像ステップの処理における絞りを段階的に開放することで、第１の露出時間、および、第２の露出時間を制御し、絞りが開放しきった場合、差が所定時間よりも短くなっていないとき、さらに、第１の利得制御ステップの処理、および第２の利得制御ステップの処理により段階的に利得を上げることで、第１の露出時間、および、第２の露出時間を制御するを含むことを特徴とする。

尚、記録媒体、並びに、プログラムについての対応関係は、画像処理方法にそれぞれ対応するものであるので、その説明は省略する。

以下、本発明の一実施の形態であるデジタルビデオカメラについて、図面を参照して説明する。

図９は、本発明の一実施の形態であるデジタルビデオカメラの構成例を示している。このデジタルビデオカメラは、被写体を撮影して、画素値のダイナミックレンジが通常よりも広い広DR画像を生成し、所定の記憶媒体に記録するとともに、構図決定のファインダや映像モニタを兼ねる内蔵されたディスプレイ、あるいは外部機器に対しては、広DR画像を、画素値のダイナミックレンジがより狭い狭DR画像に変換して出力すると共に、動被写体を鮮明に撮像できるように露出制御を行う。

デジタルビデオカメラは、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。

光学系は、被写体の光画像を集光するレンズ１１１、光画像の光量を調整する絞り１１２、絞り１１２を制御するAIC（Automatic Iris Controller）１２３、および集光された光画像を所定のフレームレートで光電変換して広DR画像を生成するCCDイメージセンサ（固体撮像素子）１１３から構成される。尚、CCDイメージセンサ１１３については、画素毎に露光時間が制御できるものであるものとする（詳細な構成については、特開２００２−１１２１２０を参照されたい）。

信号処理系は、CCDイメージセンサ１１３から出力された広DR画像をサンプリングすることによってノイズを低減させる相関２重サンプリング回路（CDS）１１４、相関２重サンプリング回路１１４によってノイズが除去された広DR画像の利得を調整するAGC（Automatic Gain Controler：利得調整装置）１１５、AGC１１５により利得が著製された広DR画像を、例えば１４乃至１６ビット程度のビット幅を有する値にAD変換するA/Dコンバータ１１６、A/Dコンバータ１１６が出力する広DR画像に対して階調圧縮処理や露出制御を行うDSP(Digital Signal Processor)１１７から構成される。

デジタルビデオカメラの記録系は、DSP１１７から入力される広DR画像または狭DR画像をエンコードしてメモリ（Memory）１２２に記録したり、メモリ１２２に記憶されている符号データを読み出してデコードし、DSP１１７に供給したりするCODEC(Compression/Decompression)１２１、および、エンコードされた広DR画像または狭DR画像を記憶する、磁気ディスク、光ディスク、光磁気ディスク、半導体などよりなるメモリ１２２から構成される。

表示系は、DSP１１７から供給される狭DR画像をDA変換するD/Aコンバータ１１８、D/Aコンバータ１１８が出力するアナログの狭DR画像を、輝度Ｙ、色差Ｃｒ，Ｃｂ等の通常のビデオ信号に変換してビデオモニタ１２０に出力するビデオエンコーダ（Video Encoder）１１９、およびビデオ信号に対応する画像を表示することによってファインダやビデオモニタとして機能するLCD(Liquid Crystal Display)等よりなるビデオモニタ１２０から構成される。

制御系は、CCDイメージセンサ１１３乃至DSP１１７、および、AIC１２３の動作タイミングを制御するタイミングジェネレータ（TG）１２４、ユーザからの各種の操作を受け付けるインプットデバイス（Input Device）１２６、およびデジタルビデオカメラの全体を制御するCPU(Central Processing Unit)１２５から構成される。

次に、デジタルビデオカメラの動作の概要について説明する。被写体の光学画像（入射光）は、レンズ１１１および絞り１１２を介してCCDイメージセンサ１１３に入射され、CCDイメージセンサ１１３によって光電変換され、得られた広DR画像の画素となる電気信号は、相関２重サンプリング回路１１４によってノイズが除去され、AGC１１５により利得が制御され、A/Dコンバータ１１６によってディジタル化された後、DSP１１７に供給される。

DSP１１７は、A/Dコンバータ１１６から入力された広DR画像に対して露出時間制御（露光時間制御）処理を施し、狭DR画像を生成して、D/Aコンバータ１１８またはCODEC１２１、あるいは両方に出力する。D/Aコンバータ１１８に供給された狭DR画像は、DA変換され、ビデエンコーダ１０により通常のビデオ信号に変換されて、その画像がビデオモニタ１２０に表示される。一方、CODEC１２１に供給された狭DR画像は、符号化されてメモリ１２２に記録される。

次に、本発明の主眼となるDSP１１７について説明する。

尚、以降の説明において、露出補正値の計算には、特開2001-337360、特開2000-227619、および、特許第2958959号等に示されている、APEX(Additive system of Photographic Exposure)に基づく最適露出決定方法を用いるものとし、以降においては、露出値、露出補正値は基本的に、このAPEX値に換算した値を使用するものとする。

このAPEXに基づいた最適露出決定方法は、露出光量、絞り量、シャッタスピードの時間、ISO感度の大きさ、被写体の明るさを、それぞれEv、Av、Tv、Sv、BvというAPEX値で換算した際に、Ev =Av +Tv =Sv +Bvとなるように、露出を制御する方法である。

ここで、露出光量（Ev）、絞り量（Av）、シャッタスピードの時間（Tv）、ISO感度の大きさ（Sv）、被写体の明るさ（Bv）に対して、それぞれ絞りF値、シャッタスピード(秒)、ISO感度、被写体の照度(Lux)には、それぞれ図１０乃至図１３の関係がある。

すなわち、図１０で示されるように、APEX値である絞り量（Av）とF値は、絞り量（Av）が、０乃至８に対して、F値は、それぞれ１，１．４，２，２．８，４，５．６，８，１１，１６となる。また、図１１で示されるように、APEX値であるシャッタスピードの時間（Tv）とシャッタスピード（秒）は、シャッタスピードの時間（Tv）が、０乃至８に対して、シャッタスピード（秒）は、それぞれ１／２，１／４，１／８，１／１５，１／３０，１／６０，１／１２５，１／２５０，１／５００となる。さらに、図１２で示されるように、APEX値であるISO感度の大きさ（Sv）とISO感度は、ISO感度の大きさ（Sv）が、０乃至８に対して、ISO感度は、それぞれ６，１２，２５，５０，１００，２００，４００，８００，１６００となる。また、さらに、図１３で示されるように、APEX値である被写体の明るさ（Bv）と被写体照度（Lux）は、被写体の明るさ（Bv）が、０乃至８に対して、被写体照度は、それぞれ６５，１２９，２５８，５１６，１０３３，２０６６，４１３２，８２６４，１６５３０となる。

次に、図１４を参照して、露出制御に必要なデジタルビデオカメラの構成と、DSP１１７の詳細な構成について説明する。尚、図１４においては、DSP１１７を中心として、露出制御に必要なデジタルビデオカメラの構成を示しており、露出制御の説明に不要なデジタルビデオカメラのブロックについては記載を省略している。

絞り１１２は、AIC１２３より供給される絞り制御信号（図中のAperture Control）に基づいて、絞りを制御して、入射される光量を制御する。

CCD１１３は、TG１２４から供給される長時間露出制御信号と短時間露出制御信号に基づいて、それぞれ長時間露光により撮像された画像信号（長時間露光画像信号）と、短時間露光により撮像された画像信号（短時間露光画像信号）とをAGC１１５に供給する。

AGC１１５は、DSP１１７より供給される長時間露光画像信号、および、短時間露光画像信号に対する利得制御信号（GL：長時間露光画像信号用の利得制御信号，SL：短時間露光画像信号用の利得制御信号）に基づいて、長時間露光画像信号、および、短時間露光画像信号の利得を制御して、DSP１１７に供給する。

DSP１１７は、AGC１１５より供給される長時間露光画像信号、および、短時間露光画像信号に基づいて、AIC１２３に対して、制御すべき絞り値（AP）（APEX値ではない）を、TG１２４に対して、長時間露出制御信号（SL）、および、短時間露出制御信号（SL）を、AGC１１５に利得調整信号をそれぞれ供給する。

DSP１１７の短時間露出補正値計算部１３１は、AGC１１５より供給される短時間露光画像信号と、長短連動露出補正値計算部１３２より供給される露光比信号（ratio）に基づいて、短時間露光画像信号における露光量の補正値である短時間露出補正値ΔEvSを生成し、長短連動露出補正値計算部１３３に出力する。尚、短時間露出補正値計算部１３１の詳細については、図１５乃至図１７を参照して後述する。

DSP１１７の長時間露出補正値計算部１３２は、AGC１１５より供給される長時間露光画像信号に基づいて、長時間露光画像信号における露光量の補正値である長時間露出補正値ΔEvLを生成し、長短連動露出補正値計算部１３３に出力する。尚、長時間露出補正値計算部１３２の詳細については、図１８を参照して後述する。

長短連動露出補正値計算部１３３は、短時間露出補正値計算部１３１より供給された短時間露出補正値ΔEvSと、長時間露出補正値計算部１３２より供給された長時間露出補正値ΔEvLとに基づいて、絞り制御信号AP、シャッタスピード制御信号SS(短時間露光用)、SL(長時間露光用)、および利得制御信号GS(短時間露光用)、GL(長時間露光用)を計算し、絞り制御信号AP をAIC１２３に、シャッタスピード制御信号SS(短時間露光用)、SL(長時間露光用)をTG１２４に、利得制御信号GS(短時間露光用)、GL(長時間露光用)をAGC１１５にそれぞれ供給する。

次に、図１５を参照して、短時間露出補正値計算部１３１の詳細について説明する。

ヒストグラム計算部１４１は、供給された短時間露光画像信号に基づいて、短時間露光画像における輝度を横軸にして、それぞれの輝度の画素の度数を縦軸とした輝度ヒストグラムを求めて、露出補正値状態遷移計算部１４２に供給する。露出補正値状態遷移計算部１４２は、ヒストグラム計算部１４１より供給される輝度ヒストグラムと、長短連動露出補正値計算部１３３より供給される、長時間露光画像の露光量と短時間露光画像の露光量の比率である露光量比率を示す露光比信号に基づいて、短時間露出補正値を計算し、出力する。

より詳細には、露出補正値状態遷移計算部１４２は、短時間露光画像の輝度ヒストグラムと、露光量比率に基づいて、短時間露光画像における露出量に関する状態遷移を行い、状態遷移結果に応じて短時間露出補正値を算出する。

すなわち、短時間露光画像における露出量に関する状態は、図１６で示されるように、３種類ある。第1の状態は、露出量が適正な状態であることを示すstable状態であり、露出量を変更する必要がない状態である。第2の状態は、短時間露光画像における露出量が不足している状態を示すunstable-under状態であり、露出量が不足している分、その不足分の露出量を上げる必要がある状態である。さらに、第３の状態は、短時間露光画像における露出量が過剰な状態を示すunstable-over状態であり、露出量が過剰な分、その過剰分の露出量を下げる必要がある状態である。

より具体的には、上述の３種類の露出量に関する状態は、輝度ヒストグラムにより決定される状態と露光量比率に基づいて決定される。

輝度ヒストグラムにより決定される状態は、図１７で示されるように、ある輝度の閾値thを超える画素がどの程度の割合存在するかによって、under(露出不足)、over(露出過剰)、適正露出、の３種類のいずれかの状態が決定される。すなわち、図１７の左部で示されるように、閾値thを越える画素の度数が、少ないような場合、underと判定され、図１７の中央部で示されるように、閾値thを越える画素の度数が、適正量である場合、適正露出と判定され、さらに、図１７の右部で示されるように、閾値thを越える画素の度数が、多いような場合、overと判定される。

露光量比率（ratio）は、露光量比率の最小値であるMin、最大値であるMaxと、その間の値になる状態の３種類が存在する。Min、Maxは特に限定されるものではないが、例えば、Min=１、Max=８と設定される。

例えば、図１６で示される露出量に関する状態がstable状態である場合、ヒストグラムにより決定される状態がoverであって、かつ、露光量比率がratio<Maxであるとき、露出過剰であるが、露光量比率はMax未満であるので、短時間露出の露出を減らすことができる。そこで、露出補正値状態遷移計算部１４２は、図１６の番号１で示されるように、露出過剰を解消すべく露光量を減少させる方向に状態を遷移させ（すなわち、露出量に関する状態をunstable-over状態に遷移させ）、露出補正値を露出を下げる値、例えば、露出の上げ下げを1/3露出値(Ev)単位で行うとすれば、unstable-over状態では、短時間露出補正値としてΔEvS =1/3を出力する。この場合、短時間露出の露出値は増加するように補正されることになるので、露光量は減少することになるため、露光量比率は上昇することになる。

また、図１６で示される露出量に関する状態がunstable-over状態である場合、ヒストグラムにより決定される状態がoverであって、かつ、露光量比率がratio<Maxではなく、ratio =Maxであるとき、これ以上露光量比率を上げることができないため、露出補正値状態遷移計算部１４２は、短時間露出を下げることができないので、図１６の番号２で示されるように、露出量に関する状態はunstable-overの状態のまま、露出補正値を変化させないため短時間露出補正値としてΔEvS =０を出力する。

さらに、例えば、図１６で示される露出量に関する状態がunstable-under状態である場合、ヒストグラムにより決定される状態がoverであって、かつ、露光量比率がratio<Maxであるとき、露出補正値状態遷移計算部１４２は、図１６の番号３で示されるように、露出過剰を解消すべく露光量を減少させる方向に状態を遷移させ（すなわち、露出量に関する状態をstable状態に遷移させ）、露出補正値を露出を下げる短時間露出補正値としてΔEvS =1/3を出力する。

同様に、図１６で示される露出量に関する状態がstable状態である場合、ヒストグラムにより決定される状態がunderであって、かつ、露光量比率がratio>Minのとき、露出補正値状態遷移計算部１４２は、番号４で示されるように、露出不足を解消すべく状態を遷移させ（すなわち、露出量に関する状態をunstable-under状態に遷移させ）、露出補正値を露出を上げるための短時間露出補正値としてΔEvS =−1/3を出力する。この場合、短時間露出の露出値は減少するように補正されることになるので、露光量は増加することになるため、露光量比率は減少することになる。

図１６で示される露出量に関する状態がunstable-under状態である場合、ヒストグラムにより決定される状態がunderであって、かつ、ratio =Minであるときは、それ以上露出を上げることができないので、露出補正値状態遷移計算部１４２は、番号５で示されるようにunstable-under状態のまま、露出補正値を変化させないため短時間露出補正値としてΔEvS =０を出力する。

さらに、図１６で示される露出量に関する状態がunstable-over状態である場合、ヒストグラムにより決定される状態がunderであって、かつ、露光量比率がratio>Minのとき、露出補正値状態遷移計算部１４２は、番号６で示されるように、露出不足を解消すべく状態を遷移させ（すなわち、露出量に関する状態をstable状態に遷移させ）、露出補正値を露出を上げるための短時間露出補正値としてΔEvS =−1/3を出力する。

さらに、図１６で示される露出量に関する状態がstable状態である場合、ヒストグラムにより決定される状態が適正露出であるとき、露出補正値状態遷移計算部１４２は、stable状態のまま、露出補正値を変化させないため短時間露出補正値としてΔEvS =０を出力する。

次に、図１８を参照して、長時間露出補正値計算部１３２の詳細な構成について説明する。

平均輝度算出部１５１は、長時間露光画像信号に基づいて、各画素の輝度値に基づいて、平均輝度値を求め補正値算出部１５２に供給する。補正値算出部１５２は、供給された平均輝度値に基づいて、長時間露出補正値ΔEvLを求める。

より詳細には、補正値算出部１５２は、供給された平均輝度値をaveLLとし、補正値をΔEvLとするとき、以下の式（１）で示されるような演算を実行することにより、長時間露出補正値ΔEvLを求める。

ΔEvL = log₂(Lref/aveLL)
・・・（１）

ここで、Lrefは適正露出目標輝度値であり、一般的には、最高輝度値に対して18%の輝度値である。従って、現在の長時間露出値EvLと長時間露出補正値ΔEvLを足したものが、次フレーム時の露出値となる。

次に、図１９を参照して、長短連動露出補正値計算部１３３の詳細な構成について説明する。

加算器１７１は、長時間露出補正値ΔEvLと、現在の長時間露出のシャッタスピードTvLを足し合わせて、補正後の長時間露出用のシャッタスピードL1pを生成し、差分計算機１７３および長時間露出用のシャッタスピード調整部（L）１７６に供給する。加算器１７２は、短時間露出補正値ΔEvSと、現在の短時間露出のシャッタスピードTvSを足し合わせて、補正後の短時間露出用のシャッタスピードS1pを生成し、差分計算機１７３および長時間露出用のシャッタスピード調整部（S）１７７に供給する。従って、加算器１７１，１７２により補正された長時間露出用のシャッタスピードL1p(=ΔEvL +TvL)、および、短時間露出用のシャッタスピードS1p(=ΔEvS +TvS)が差分計算部１７３に供給される。

尚、加算器１７１，１７２で得られた値は、Ev=Av+TvのAPEX値において、次フレーム時にAvを変化させなかった場合のTvに相当するものである。

差分計算部１７３は、補正されたAPEX値の長時間露出用のシャッタスピードL1p(=ΔEvL +TvL)、および、短時間露出用のシャッタスピードS1p(=ΔEvS +TvS)、または、シャッタスピード調整部１７６，１７７より供給された、計算上、順次生成される長時間露出用のシャッタスピードL1(Loop)、および、短時間露出用のシャッタスピードS1（Loop）を、それぞれAPEX値ではないシャッタスピードSS、SLにそれぞれ変換した後、それらの差分の絶対値差分を求めて判定部１７４に供給する。

判定部１７４は、差分計算部１７３より供給される差分の絶対値と所定の閾値βとを比較し、判定結果を判定部１７５、および、シャッタスピード調整部１７６乃至絞り調整部１８０に供給する。

判定部１７５は、判定部１７４より供給される判定結果が、供給された差分値が所定の閾値βよりも小さくないと判定された場合にのみ、絞り調整部１８０より供給される絞り値Avと所定の閾値γとを比較し、比較結果を判定部１７５、および、シャッタスピード調整部１７６乃至絞り調整部１８０に供給する。

シャッタスピード調整部１７６は、判定部１７４，１７５の判定結果に基づいて、シャッタスピードのAPEX値であるL1の初期値L1pに１、または、１／３を順次加算して、L1（Loop）として差分計算部１７３に出力するか、または、そのときのL1を最終的に決定されたシャッタスピードL1（＝長時間露出制御信号SL）として露光量比率計算部１８２、および、TG１２４に出力する。

シャッタスピード調整部１７７は、判定部１７４，１７５の判定結果に基づいて、シャッタスピードのAPEX値であるS1に１、または、１／３を加算して、S1（Loop）として差分計算部１７３に出力するか、または、そのときのS1を最終的に決定されたシャッタスピードS1（＝短時間露出制御信号SS）として露光量比率計算部１８２、および、TG１２４に出力する。

ゲイン調整部１７８は、判定部１７４，１７５の判定結果に基づいて、長時間露光用の利得制御信号のAPEX値であるGLの初期値GLpに順次２^1/3を乗じるか、または、そのときのGLを最終的に決定された長時間露光用の利得制御信号GLとしてAGC１１５に出力する。

ゲイン調整部１７９は、判定部１７４，１７５の判定結果に基づいて、短時間露光用の利得制御信号のAPEX値であるGSの初期値GSpに２^-1/3を順次乗じるか、または、そのときのGSを最終的に決定された短時間露光用の利得制御信号SLとしてAGC１１５に出力する。

絞り調整部１８０は、判定部１７４，１７５の判定結果に基づいて、絞りのAPEX値であるAvの初期値Avpに１を順次減じて、Av（Loop）として判定部１７５に供給するか、または、そのときのAvを最終的に決定された絞りのAPEX値Avとして変換部１８１、および、露光量比率計算部１８２に出力する。

変換部１８１は、絞り調整部１８０より供給されたAPEX値の絞り値AvをAPEX値ではない絞り値APに変換して、AIC１２３に供給する。露光量比率計算部１８２は、絞り調整部１８０より供給されたAPEX値の絞り値Av、並びに、シャッタスピード調整部１７６，１７７より供給されるシャッタスピードL1（長時間露出制御信号SLに大生するもの）およびシャッタスピードS1（短時間露出制御信号SSに対応するもの）に基づいて、露光量比率（ratio＝（Av＋L1）／（Av＋S1））を計算して、AIC１２３に供給する。

次に、図２０のフローチャートを参照して、図１４で示されるデジタルビデオカメラによる撮像処理について説明する。

ステップＳ１において、AIC１２３は、DSP１１７の長短連動露出補正値計算部１３３より供給される絞り値APに基づいて、絞り１１２を制御する。ただし、最初の処理においては、DSP１１７は絞り値APを出力することができないので、デフォルトとして所定のAPが用いられる。

ステップＳ２において、CCDイメージセンサ１１３の短時間露光制御部１１３ｂは、各受光素子を制御して、DSP１１７の長短連動露出補正値計算部１３３より供給される短時間露出用シャッタスピード制御信号であるSSに基づいて、TGより供給されるタイミング制御信号により短時間露光画像を撮像し、短時間露光画像信号として利得制御装置１１５に供給する。ただし、最初の処理においては、DSP１１７は短時間露出用シャッタスピード制御信号であるSSを出力することができないので、デフォルトとして所定のSSが用いられる。

ステップＳ３において、CCDイメージセンサ１１３の短時間露光制御部１１３ａは、各受光素子を制御して、DSP１１７の長短連動露出補正値計算部１３３より供給される長時間露出用シャッタスピードSLに基づいて、TGより供給されるタイミング制御信号により長時間露光画像を撮像し、長時間露光画像信号として利得制御装置１１５に供給する。ただし、最初の処理においては、DSP１１７は長時間露出用シャッタスピード制御信号であるSLを出力することができないので、デフォルトとして所定のSLが用いられる。

ステップＳ４において、AGC１１５は、DSP１１７の長短連動露出補正値計算部１３３より供給される長時間露光画像信号用の利得制御信号GLおよび短時間露光画像信号用の利得制御信号GSに基づいて、CCDイメージセンサ１１３より供給された長時間露光画像および短時間露光画像についてそれぞれ利得制御処理を実行し、利得制御した長時間露光画像および短時間露光画像をそれぞれ長時間露出補正値計算部１３２および短時間露出補正値計算部１３１に供給する。ただし、最初の処理においては、DSP１１７は長時間露光画像信号用の利得制御信号GLおよび短時間露光画像信号用の利得制御信号GSを出力することができないので、デフォルトとして所定のGS，GLが用いられる。

ステップＳ５において、短時間露出補正値計算部１３１は、短時間露出補正処理を実行する。

ここで、図２１のフローチャートを参照して、短時間露出補正値計算部１３１による短時間露出補正処理について説明する。

ステップＳ２１において、短時間露出補正値計算部１３１のヒストグラム計算部１４１は、AGC１１５より供給された短時間露光画像信号に基づいて、輝度ヒストグラムを求め、露出補正値状態遷移計算部１４２に供給する。

ステップＳ２２において、露出補正値状態遷移計算部１４２は、ヒストグラム計算部１４１より供給された輝度ヒストグラムと長短連動露出補正値計算部１３３より供給される露光比信号に基づいた露光量比率に基づいて、図１６を参照して説明したように、ヒストグラムにより決定される状態と、露光量比率に基づいて、短時間露光画像における露出量に関する状態がstable状態、unstable-over状態、または、unstable-under状態いずれかの状態を判別する。

ステップＳ２３において、露出補正値状態遷移計算部１４２は、判定された露出量に関する状態がstable状態の場合、短時間露出補正値としてΔEvS =０を出力し、判定された露出量に関する状態がunstable-over状態の場合、短時間露出補正値としてΔEvS =1/3を出力し、判定された露出量に関する状態がunstable-under状態の場合、短時間露出補正値としてΔEvS =−1/3を出力する。

このように短時間露出補正処理により、短時間露出補正値計算部１３１は、露出量に関する状態に基づいて、−1/3，０，1/3のいずれかを短時間露出補正値としてΔEvSとして出力する。尚、以上においては、1/3間隔でAPEX値のシャッタスピードを変化させる場合について説明してきたが、それ以外の間隔で変化させるようにしても良いことは言うまでもない。

ここで、図２０のフローチャートの説明に戻る。

ステップＳ６において、長時間露出補正値計算部１３２は、長時間露出補正処理を実行する。

ここで、図２２のフローチャートを参照して、長時間露出補正値計算部１３２による長時間露出補正処理について説明する。

ステップＳ３１において、平均輝度計算部１５１は、AGC１１５より供給される長時間露光画像信号に基づいて、各画素の平均輝度値を求め補正値算出部１５２に供給する。

ステップＳ３２において、補正値算出部１５２は、供給された平均輝度値に基づいて、上述した式（１）を演算することにより、長時間露出補正値ΔEvLを求め、出力する。

尚、Lrefは適正露出目標輝度値として、一般的に、最高輝度値に対して18%の輝度値となるように設定されるものとするが、必要に応じてそれ以外の値を適正露出目標輝度値としてもよいことは言うまでもない。

ここで、図２０のフローチャートの説明に戻る。

ステップＳ８において、長短連動露出補正値計算部１３３は、長短連動露出補正処理を実行する。

ここで、図２３のフローチャートを参照して、長短連動露出補正値計算部１３３による長短連動露出補正処理について説明する。

ステップＳ５１において、加算器１７１は、長時間露出補正値ΔEvLと、現在の長時間露出のシャッタスピードのAPEX値であるTvL（直前に求められたSLに対応するものである）を足し合わせて、補正後の長時間露出用のシャッタスピードL1pを生成し、差分計算機１７３および長時間露出用のシャッタスピード調整部（L）１７６に供給する。同時に、加算器１７２は、短時間露出補正値ΔEvSと、現在の短時間露出のシャッタスピードのAPEX値であるTvS TvL（直前に求められたSSに対応するものである）を足し合わせて、補正後の短時間露出用のシャッタスピードS1pを生成し、差分計算機１７３および長時間露出用のシャッタスピード調整部（S）１７７に供給する。

ステップＳ５２において、差分計算部１７３は、APEX値であるシャッタスピードS1pより、（APEX値ではない）シャッタスピードSSを算出する。ステップＳ５３において、差分計算部１７３は、APEX値であるシャッタスピードL1pより、（APEX値ではない）シャッタスピードSLを算出する。

すなわち、例えば、差分計算部１７３は、与えられた値S1pまたはL1pが3である場合、図１１で示される関係から、SSまたはSL=1/15として処理する。基本的に、APEX値Tvが1増えると、シャッタスピードは半分になる関係がある。

ステップＳ５３において、差分計算部１７３は、シャッタスピードの差分の絶対値｜SL−SS｜を計算し、判定部１７４に供給する。

ステップＳ５４において、判定部１７４は、シャッタスピードの差分の絶対値｜SL−SS｜が所定の閾値β以下であるか否か、すなわち、シャッタスピードの差によるぶれが十分に小さいか否かを判定し、判定結果を判定部１７５、並びに、シャタスピード調整部１７６乃至絞り調整部１８０に供給する。

例えば、シャッタスピードの差分の絶対値｜SL−SS｜が所定の閾値β以下ではないと判定された場合、すなわち、シャッタスピードの差によるぶれが大きいと判定された場合、ステップＳ５５において、判定部１７５は、絞り調整部１８０より供給される絞り値Av（Loop）（ただし、初期値の場合Avp）が所定の閾値γよりも大きいか否かを判定し、判定結果をシャタスピード調整部１７６乃至絞り調整部１８０に供給する。

ステップＳ５５において、例えば、絞り値Av（Loop）（ただし、初期値の場合Avp）が所定の閾値γよりも大きいと判定された場合、その処理は、ステップＳ５６に進む。尚、ここで閾値γは、例えば、絞りの最大開放値をAPEX値で表したものである。

ステップＳ５６において、ステップＳ５５の判定結果によれば、まだ絞りを開けることが可能であるので、絞り調整部１８０は、絞り値Avを1減らす。すなわち、絞り調整部１８０は、絞りを1段分開放する。

ステップＳ５７において、シャッタスピード調整部１７６は、シャッタスピードL1を1増加させ、L1（Loop）として、差分計算部１７３に供給する。ステップＳ５８において、シャッタスピード調整部１７７は、シャッタスピードS1を1増加させ、S1（Loop）として、差分計算部１７３に供給し、その処理は、ステップＳ５２に戻る。

すなわち、判定部１７５の判定結果がNoで、かつ、判定部１７４の判定結果がYesである場合、ステップＳ５６において、絞り調整部１８０は、絞り値Avを1減らし、ステップＳ５７において、シャッタスピード調整部１７６は、シャッタスピードL1を1増加させ、ステップＳ５８において、シャッタスピード調整部１７７は、シャッタスピードS1を1増加させる。

一方、ステップＳ５５において、絞り値Av（Loop）（ただし、初期値の場合Avp）が所定の閾値γよりも大きくないと判定された場合、ステップＳ５９において、シャッタスピード調整部１７６は、シャッタスピードL1を1/3増加させ、L1（Loop）として、差分計算部１７３に供給する。

ステップＳ６０において、ゲイン調整部１７８は、利得制御信号GLに２^1/3を乗じる（ただし、最初の処理では、GLの初期値であるGLpに２^1/3を乗じる）。

ステップＳ６１において、シャッタスピード調整部１７７は、シャッタスピードS1を1/3増加させ、S1（Loop）として、差分計算部１７３に供給する。

ステップＳ６２において、ゲイン調整部１７９は、利得制御信号GSに２^1/3を乗じ（ただし、最初の処理では、GSの初期値であるGSpに２^1/3を乗じる）、その処理は、ステップＳ５２に戻る。

すなわち、シャッタスピード差を小さくする方法は２通りあり、第１の方法は、絞りを段階的に開けていくことによって、長時間露光・短時間露光のシャッタスピードをいずれも短くすることで、シャッタスピード差の時間を減少させる方法である。但し、この方法では絞りが完全に開放されてしまうと、それ以上はシャッタスピードの差を減らすことができない。

そして、第２の方法は、長時間露光画像信号および短時間露光画像信号のそれぞれの利得(ゲイン)を調整することにより、シャッタスピードの差を減らすというものである。例えばゲインを２倍にすることで、ゲインを上げない場合と同等の光量を得るには、シャッタスピードを1/2倍に短くすることができる。

以上の処理においては、これらの特性を利用することで、例えば、シャッタスピードSSとSLの差が大きい場合、長時間露光のゲインを上げる代わりにシャッタスピードを下げることで、シャッタスピードSSとSLの差を減少させることができる。但し、ゲインを上げる場合、ノイズが顕著になり、画質上好ましくない状況となることがあるため、ゲインを上げる場合は、絞りが完全に開放されてしまった場合に行うのがよい。

そこで、ステップＳ５５において、絞り値Avが最大値であるγより大きい場合、ステップＳ５６乃至Ｓ５８の処理により、上述した第１の方法で、シャッタスピード差を小さくする。一方、ステップＳ５５において、絞り値Avが最大値であるγより大きくない場合、すなわち、完全に開放されてしまった場合、ステップＳ５９乃至Ｓ６０の処理により、上述した第２の方法で、ゲインを上げてシャッタスピード差を小さくする。

結果として、シャッタスピード差が所定の閾値β以下に収まるまで、ステップＳ５２乃至Ｓ６２の処理を繰り返し実行される。

そして、ステップＳ５４において、シャッタスピードの差分の絶対値｜SL−SS｜が所定の閾値β以下であると判定された場合、すなわち、シャッタスピードの差によるぶれが十分に小さくなったと判定された場合、ステップＳ６３において、シャッタスピード調整部１７６，１７７は、今現在のシャッタスピードSL，SSをTG１２４、および、露光量比率計算部１８２に出力し、ゲイン調整部１７８，１７９は、今現在の利得制御信号GL，GSをAGC１１５に出力し、絞り調整部１８０は、APEX値の絞り値Avを変換部１８１、および、露光量比率計算部１８２に出力する。また、このときシャッタスピード調整部１７６，１７７は、求められたシャッタスピードSL，SSに基づいて、今現在のシャッタスピードTvS，TvLを更新し、図示せぬメモリに記憶させておき、以降で繰り返されるステップＳ５１の処理において用いるようにする。

ステップＳ６４において、変換部１８１は、絞り調整部１８０より供給されたAPEX値の絞り値AvをAPEX値ではない絞り値APに変換して、AIC１２３に供給する。より具体的には、変換部１８１は、図１０で示される関係に基づいて、与えられたAPEX値Avに対応する絞りＦ値（AP）に変換し、例えば、絞り値Avが５である場合、AP =５．６に変換して出力する。

ステップＳ６５において、露光量比率計算部１８２は、絞り調整部１８０より供給されたAPEX値の絞り値Av、並びに、シャッタスピード調整部１７６，１７７より供給されるシャッタスピードL1（＝長時間露出制御信号SL）およびシャッタスピードS1（＝短時間露出制御信号SS）に基づいて、露光量比率（ratio＝（Av＋L1）／（Av＋S1））を計算して、短時間露出補正値計算部１３１に供給する。

ここで、図２０のフローチャートの説明に戻る。

ステップＳ８において、CPU１２５は、インプットデバイス１２６がユーザにより操作されて、撮像の停止が指示されたか否かを判定し、停止が指示されていない場合、その処理は、ステップＳ１に戻り、それ以降の処理が繰り返され、停止が指示されていると判定された場合、その処理を終了する。

尚、以上においては、短時間露出画像と長時間露出画像の２回の撮像により広ダイナミックレンジ化する場合について説明してきたが、それ以上の回数の撮像によりさらに広ダイナミックレンジ化するような場合に適用しても良く、そのような場合、最もシャッタスピードが異なる（シャッタスピードの差分が最も大きくなる）画像間で上述したような処理を実行することで、適用させることが可能である。

また、以上においては、画像データの生成に、CCDイメージセンサを用いる場合について説明してきたが、これ以外のイメージセンサであってもよく、例えば、CCDイメージセンサ１１３の代わりに、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサを用いるようにしても良い。

以上によれば、短時間露出画像と長時間露出画像のシャッタスピードの差分を、絞り、または、ゲインを調整することにより、十分に小さくすることが可能となるので、結果として、露出期間を変えて複数回撮影するダイナミックレンジ拡張方式において問題となっていた、露光期間の違いによって発生する画像のぶれに起因する画質の劣化を抑制することが可能となり、ダイナミックレンジの広い動被写体でも高画質に撮像を行うことが可能となる。

ところで、上述した一連の撮像処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図２４は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)２０１を内蔵している。CPU２０１にはバス２０４を介して、入出力インタフェース２０５が接続されている。バス２０４には、ROM(Read Only Memory)２０２およびRAM(Random Access Memory)２０３が接続されている。

入出力インタフェース２０５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部２０６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部２０７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部２０８、LAN（Local Area Network）アダプタなどよりなり、インタネットに代表されるネットワークを介した通信処理を実行する通信部２０９が接続されている。また、磁気ディスク２１１（フレキシブルディスクを含む）、光ディスク２１２（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク２１３（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ２１４などの記録媒体に対してデータを読み書きするドライブ２１０が接続されている。

CPU２０１は、ROM２０２に記憶されているプログラム、または磁気ディスク２１１乃至半導体メモリ２１４から読み出されて記憶部２０８にインストールされ、記憶部２０８からRAM２０３にロードされたプログラムに従って各種の処理を実行する。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

長時間露光と短時間露光を異なる期間で行った場合の撮像タイミングを説明する図である。 図１の場合の短時間露光期間に撮像された画像を示す図である。 図１の場合の長時間露光期間に撮像された画像を示す図である。 長時間露光と短時間露光を異なる期間で行った場合に撮像された画像上の不具合の発生する部分を説明する図である。 長時間露光と短時間露光を同じ期間で行った場合の撮像タイミングを説明する図である。 図５の場合の短時間露光期間に撮像された画像を示す図である。 図５の場合の長時間露光期間に撮像された画像を示す図である。 長時間露光と短時間露光を同じ期間で行った場合に撮像された画像上の不具合の発生する部分を説明する図である。 本発明を適用したデジタルビデオカメラの構成例を示すブロック図である。 絞り値のAPEX値を説明する図である。 シャッタスピードのAPEX値を説明する図である。 ISO感度のAPEX値を説明する図である。 被写体照度のAPEX値を説明する図である。 図９のDSPの詳細な構成を説明する図である。 図１４の短時間露出補正値計算部の構成例を示すブロック図である。 図１５の露出補正値状態遷移計算部の処理を説明する図である。 図１５の露出補正値状態遷移計算部の処理を説明する図である。 図１４の長時間露出補正値計算部の構成例を示すブロック図である。 図１４の長短連動露出補正値計算部の構成例を示すブロック図である。 撮像処理を説明するフローチャートである。 図２０の短時間露出補正処理を説明するフローチャートである。 図２０の長時間露出補正処理を説明するフローチャートである。 図２０の長短連動露出補正処理を説明するフローチャートである。 汎用のパーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１１３ CCD， １１５ AGC， １１７ DSP， １２３ AIC， １２４ TG， １３１ 短時間露出補正値計算部， １３２ 長時間露出補正値計算部， １３３ 長短連動露出補正値計算部， １４１ ヒストグラム計算部， １４２ 露出補正値状態遷移計算部， １５１ 平均輝度算出部， １５２ 補正値算出部， １７１，１７２ 加算器， １７３ 差分計算部， １７４，１７５ 判定部， １７６，１７７ シャッタスピード調整部， １７８，１７９ ゲイン調整部， １８０ 絞り調整部， １８１ 変換部， １８２ 露光量比率計算部

Claims (8)

1. 第１の露出時間で第１の画像を撮像する第１の撮像手段と、
   第２の露出時間で第２の画像を撮像する第２の撮像手段と、
   前記第１の画像に基づいて、前記第１の露出時間の補正値である第１の補正値を算出する第１の算出手段と、
   前記第２の画像に基づいて、前記第２の露出時間の補正値である第２の補正値を算出する第２の算出手段と、
   前記第１の補正値と、前記第２の補正値とに基づいて、前記第１の露出時間、および、第２の露出時間を制御する露出制御手段と、
   前記第１の撮像手段により撮像される第１の画像の利得を制御する第１の利得制御手段と、
   前記第２の撮像手段により撮像される第２の画像の利得を制御する第２の利得制御手段とを備え、
   前記露出制御手段は、現フレームの第１の補正値に基づいて補正して得られる、次フレームの前記第１の露出時間と、現フレームの第２の補正値に基づいて補正して得られる、次フレームの前記第２の露出時間とに基づいて、前記第１の撮像手段と前記第２の撮像手段のそれぞれの次フレームの前記第１の露出時間、および、第２の露出時間を計算し、その差が所定の時間よりも短くなるように、前記第１の撮像手段、および前記第２の撮像手段における絞りを段階的に開放することで、前記第１の露出時間、および、第２の露出時間を制御し、前記絞りが開放しきった場合、前記差が所定時間よりも短くなっていないとき、さらに、前記第１の利得制御手段、および前記第２の利得制御手段により段階的に利得を上げることで、前記第１の露出時間、および、第２の露出時間を制御する
   ことを特徴とする撮像装置。
2. 前記第２の撮像手段の前記第２の露出時間は、前記第１の撮像手段の前記第１の露出時間に含まれる
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記第２の撮像手段の前記第２の露出時間と、前記第１の撮像手段の前記第１の露出時間の露出開始時刻は同一である
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記第２の撮像手段の前記第２の露出時間と、前記第１の撮像手段の前記第１の露出時間は同一である
   ことを特徴とする請求項２に記載の撮像装置。
5. 前記第２の画像の画素値に関するヒストグラムを生成するヒストグラム生成手段をさらに備え、
   前記第２の算出手段は、前記ヒストグラム生成手段により生成された前記ヒストグラム、および、前記第１の撮像手段と前記第２の撮像手段との露光量の比率に基づいて、前記第２の露出時間の補正値である第２の補正値を算出する
   ことを特徴とする請求項１に記載の撮像装置。
6. 前記第１の画像の平均輝度値を計算する平均輝度値計算手段をさらに備え、
   前記第１の算出手段は、前記平均輝度値計算手段により計算された前記平均輝度値に基づいて、前記第１の補正値を算出する
   ことを特徴とする請求項１に記載の撮像装置。
7. 第１の露出時間で第１の画像を撮像する第１の撮像ステップと、
   第２の露出時間で第２の画像を撮像する第２の撮像ステップと、
   前記第１の画像に基づいて、前記第１の露出時間の補正値である第１の補正値を算出する第１の算出ステップと、
   前記第２の画像に基づいて、前記第２の露出時間の補正値である第２の補正値を算出する第２の算出ステップと、
   前記第１の補正値と、前記第２の補正値とに基づいて、前記第１の露出時間、および、第２の露出時間を制御する露出制御ステップと、
   前記第１の撮像ステップの処理により撮像される第１の画像の利得を制御する第１の利得制御ステップと、
   前記第２の撮像ステップの処理により撮像される第２の画像の利得を制御する第２の利得制御ステップとを備え、
   前記露出制御ステップの処理は、現フレームの第１の補正値に基づいて補正して得られる、次フレームの前記第１の露出時間と、現フレームの第２の補正値に基づいて補正して得られる、次フレームの前記第２の露出時間とに基づいて、前記第１の撮像ステップの処理と前記第２の撮像ステップの処理でのそれぞれの次フレームの前記第１の露出時間、および、第２の露出時間を計算し、その差が所定の時間よりも短くなるように、前記第１の撮像ステップの処理、および前記第２の撮像ステップの処理における絞りを段階的に開放することで、前記第１の露出時間、および、第２の露出時間を制御し、前記絞りが開放しきった場合、前記差が所定時間よりも短くなっていないとき、さらに、前記第１の利得制御ステップの処理、および前記第２の利得制御ステップの処理により段階的に利得を上げることで、前記第１の露出時間、および、第２の露出時間を制御する
   ことを特徴とする撮像方法。
8. 第１の露出時間での第１の画像の撮像を制御する第１の撮像制御ステップと、
   第２の露出時間での第２の画像の撮像を制御する第２の撮像制御ステップと、
   前記第１の画像に基づいて、前記第１の露出時間の補正値である第１の補正値を算出する第１の算出ステップと、
   前記第２の画像に基づいて、前記第２の露出時間の補正値である第２の補正値を算出する第２の算出ステップと、
   前記第１の補正値と、前記第２の補正値とに基づいて、前記第１の露出時間、および、第２の露出時間を制御する露出制御ステップとをコンピュータに実行させ、
   前記第１の撮像制御ステップの処理により撮像される第１の画像の利得を制御する第１の利得制御ステップと、
   前記第２の撮像制御ステップの処理により撮像される第２の画像の利得を制御する第２の利得制御ステップとを備え、
   前記露出制御ステップの処理は、現フレームの第１の補正値に基づいて補正して得られる、次フレームの前記第１の露出時間と、現フレームの第２の補正値に基づいて補正して得られる、次フレームの前記第２の露出時間とに基づいて、前記第１の撮像制御ステップの処理と前記第２の撮像制御ステップの処理でのそれぞれの次フレームの前記第１の露出時間、および、第２の露出時間を計算し、その差が所定の時間よりも短くなるように、前記第１の撮像制御ステップの処理、および前記第２の撮像制御ステップの処理における絞りを段階的に開放することで、前記第１の露出時間、および、第２の露出時間を制御し、前記絞りが開放しきった場合、前記差が所定時間よりも短くなっていないとき、さらに、前記第１の利得制御ステップの処理、および前記第２の利得制御ステップの処理により段階的に利得を上げることで、前記第１の露出時間、および、第２の露出時間を制御する
   ことを特徴とするプログラム。

Images