JP7171342B2 - 撮像装置及びその制御方法、並びにプログラム - Google Patents

Description

本発明は、撮像装置及びその制御方法、並びにプログラムに関し、特に、ハイダイナミックレンジ（ＨＤＲ）合成に用いられる露出の異なる複数画像を撮影する撮像装置およびその制御方法、並びにプログラムに関する。

従来、同一シーンにおいて、露出が異なる複数の撮像画像を合成することで、撮像できるダイナミックレンジを拡大する、ハイダイナミックレンジ（ＨＤＲ）合成の技術が知られている。

ＨＤＲ合成は、時間的に異なるタイミングで撮影された複数画像を１枚の画像に合成するため、動きのある被写体（動体）が存在する場合や、合成用の複数画像を撮影する間にカメラが動いた場合、適切な合成処理ができない場合がある。すなわち、位置が異なる被写体の画像を合成することで、多重像が生じるなどの画質劣化を招くことがある。

例えば、特許文献１では合成用の複数画像間で被写体追尾を行う場合、露出が異なるために複数画像間の相関が低下し、追尾できなくなるおそれがあることが述べられている。そのため、所定領域（追尾対象の領域）を検出するモードである場合に、ＨＤＲ合成用の複数画像間で露光量の差が小さくなるように制御する技術が開示されている。

特許文献２では合成用の複数画像の重ね合わせ位置を正確に算出する必要があることが述べられている。そのため、ＨＤＲ合成用の複数画像間の共通領域を特定し、当該複数画像を重ねた場合に共通領域が一致するように、位置ずれを補正する技術が開示されている。

特開２０１２－２５７１２６号公報 特開２０１１－００４３５３号公報

しかしながら、上述の特許文献１，２に開示された従来技術では、動体の有無に関わらず、ＨＤＲ合成用の複数画像の間で共通する被写体輝度領域を撮影する必要がある。換言すると、動体が無く、不適切な合成による多重像などが生じるおそれが少ない場合であっても、ＨＤＲ合成用の複数画像間の露出差を大きくできないため、ＨＤＲ合成によるダイナミックレンジの拡大幅が小さくなってしまう。

そこで、本発明の目的は、ＨＤＲ合成時に、不適切な合成による多重像などの発生を防止しつつ、動体の有無に応じて、ＨＤＲ合成によるダイナミックレンジの拡大幅を大きくできる撮像装置及びその制御方法、並びにプログラムを提供することである。

本発明の請求項１に係る撮像装置は、撮像画像を生成する撮像部と、前記撮像部の露光量を設定する設定部とを具備し、ＨＤＲ合成を行うため、各フレームで前記設定部により設定された異なる複数の露光量で前記撮像部により撮像を行って複数の撮像画像を生成する撮像装置であって、前記複数の撮像画像の少なくとも１つの画像に存在する動体を検出する動体検出手段をさらに具備し、前記設定部は、前記動体検出手段により動体が検出されたか否かに応じて、前記異なる複数の露光量を調整し、前記複数の撮像画像の数が３枚以上である場合に、前記設定部は、前記複数の露光量のうち、最大の露光量と最小の露光量を除いた露光量を調整することを特徴とする。

本発明によれば、ＨＤＲ合成時に、不適切な合成による多重像などの発生を防止しつつ、動体の有無に応じて、ＨＤＲ合成によるダイナミックレンジの拡大幅を大きくできる。

本発明の実施例１に係る撮像装置の構成図である。 本発明の実施例１に係る露出段差算出反映処理の手順を示すフローチャートである。 図２の処理における前フレームとしての露出段差算出フレームの処理シーケンス及び図２の処理における現フレームとしての露出段差反映フレームの処理シーケンスの一例を表す図である。 本発明の実施例１に係る撮像装置の露出段差制御を説明するための図である。 本発明の実施例１に係る撮像装置の露出段差制御の変形例を説明するための図である。 図５の変形例の場合の本発明の撮像装置における露出段差の算出方法を説明するための図である。 本発明の実施例２に係る撮像装置の構成図である。 本発明の実施例３に係る撮像装置の構成図である。 本発明の実施例３に係る、露出段差算出フレームの処理シーケンス及びこれにつづく露出段差反映フレームの処理シーケンスの一例を示す図である。 本発明の実施例４に係る撮像装置の構成図である。 本発明の実施例４に係る、フレーム毎に行われる短秒画像の露出段差算出反映処理シーケンスの一例を示す図である。 図１１の露出段差算出フレームの処理シーケンスを説明するための図である。 本発明の実施例５に係る撮像装置における露出段差制御を説明するための図である。 従来の撮像装置における露出段差制御を説明するための図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

（実施例１）
以下、図１を参照して、本発明の実施例１に係る撮像装置１００について説明する。

図１において、撮像装置１００は、撮像ユニット（撮像部）１０１、動体検出部１０２、動体分析部１０３、記憶部１０４、露出段差算出部１０５、露出制御部（設定部）１０６、及び背景画像算出部１０７を備える。

撮像ユニット１０１は、フレーム毎に、露出制御部１０６から取得した複数の露出制御パラメータにより決定される複数の異なる露光量にて撮像を行い、複数の撮像画像データを生成する。そして、複数の撮像画像データを撮像装置１００の出力画像として外部装置に出力するとともに、複数の撮像画像データの少なくとも１つを記憶部１０４に出力する。外部装置は、この複数の撮像画像データを合成することによりＨＤＲ合成画像を生成する。

なお、以下説明する本実施例では、フレーム毎に異なる露光量で行われる撮像で生成される複数の撮像画像データの数が２つの場合について説明する。具体的には、以下、撮影時のシャッタ速度が遅く、露光量が大きい方の撮像画像データが示す画像を長秒画像、シャッタ速度が速く、露光量が小さい方の撮像画像データが示す画像を短秒画像と呼ぶ。

動体検出部１０２は、長秒画像又は短秒画像の一方の撮像画像データが生成される毎に、その生成された撮像画像データが示す画像と記憶部１０４から取得した後述の背景画像との差分を算出する。その後、その差分を生成された撮像画像データが示す画像に存在する動きのある被写体（動体）として検出する。そして、検出された動体の画素値を動体分析部１０３に出力する。尚、背景画像ではなく、現在のフレームより前のフレームにおける同一シーンの同一の露光量で撮像された撮像画像データが示す画像を用いて動体を検出するようにしてもよい。

動体分析部１０３（分析手段）は、動体検出部１０２で検出された動体の画素値をもとに、動体の特徴量を算出し、露出段差算出部１０５に出力する。動体の特徴量は、例えば、動体の輝度ヒストグラムである。

背景画像算出部１０７（算出手段）は、過去の所定期間における撮像ユニット１０１で生成された同一シーンの撮像画像データを記憶部１０４から取得し、その時間平均を背景画像のデータとして算出する。この背景画像のデータは、背景画像算出部１０７から記憶部１０４に出力される。

記憶部１０４は、同一シーンにおける複数の撮像画像データを記憶し、記憶した複数の撮像画像データを動体検出部１０２に出力する。この記憶部１０４から動体検出部１０２に出力される複数の撮像画像データは、例えば、背景画像算出部１０７から出力された背景画像のデータと、前フレームの複数の撮像画像データなどである。

露出段差算出部１０５は、動体分析部１０３で算出された動体の特徴量に基づき、撮像ユニット１０１がフレーム毎に複数の撮像を行う際の、各撮像毎の複数の露光量（露出段差）を算出し、露出制御部１０６に出力する。

露出制御部１０６は、露出段差算出部１０５から出力された複数の露光量に基づき、当該露光量に対応する、複数の露出制御パラメータを算出し、複数の露出制御パラメータを撮像ユニット１０１に出力する。

本実施例に係る撮像装置１００の露出段差算出反映処理について、図２を用いて説明する。

図２において、まず、ステップＳ２０１では、動体検出部１０２が、記憶部１０４から背景画像と前フレームの長秒画像のデータを取得する。その後、前フレームの長秒画像から背景画像との差分のある画素（動体画素）を抽出できたか判別し、抽出できた場合はステップＳ２０２へ進む。一方、動体画素を抽出できなかった場合は、現フレームにおける長秒画像と短秒画像の輝度重複範囲が無くなるように長秒画像撮影時と短秒画像撮影時の露出段差を設定し、そのまま本処理を終了する。尚、本処理を開始して最初のフレームについては、前フレームが存在しないため、ステップＳ２０１は２フレーム以降において実行される。

ステップＳ２０２では、ステップＳ２０１で動体分析部１０３が前フレームの長秒画像から抽出した動体画素の輝度ヒストグラムＡを生成する。

ステップＳ２０３では、動体検出部１０２が、記憶部１０４から背景画像と前フレームの短秒画像のデータを取得し、前フレームの短秒画像から背景画像との差分のある画素（動体画素）を抽出できたか判別し、抽出できた場合はステップＳ２０４へ進む。一方、動体画素を抽出できなかった場合は、現フレームにおける長秒画像と短秒画像の輝度重複範囲が無くなるように長秒画像撮影時と短秒画像撮像時の露出段差を設定し、そのまま本処理を終了する。

ステップＳ２０４では、ステップＳ２０３で動体分析部１０３が前フレームの短秒画像から抽出した動体画素の輝度ヒストグラムＢを生成する。

ステップＳ２０５では、動体分析部１０３が、輝度ヒストグラムＡについて度数が所定以上存在する輝度域と、輝度ヒストグラムＢについて度数が所定以上存在する輝度域との和を動体の輝度域Ｃとして算出する。

ステップＳ２０６では、露出段差算出部１０５が、長秒画像と短秒画像の両方が動体の輝度域Ｃを撮像できるように、現フレームに反映させる長秒画像撮影時と短秒画像撮影時の露出段差を算出し、本処理を終了する。

次に図３を用いて、図２における前フレームとしての露出段差算出フレームの処理シーケンス及び図２における現フレームとしての露出段差反映フレームの処理シーケンスの一例について説明する。

図３に示すように、まず、図２の前フレームとしての露出段差算出フレームにて撮像した長秒画像から動体検出を行い、また、露出段差算出フレームにて撮像した短秒画像から動体検出を行う。次にこれらの動体検出結果を統合して動体輝度域を算出し、その算出された動体輝度域に応じて、次フレームである、図２の現フレームとしての露出段差反映フレームにおける長秒画像及び短秒画像の撮像時の露光量（露光段差）を算出する。その後、露出段差反映フレームにおいてその算出された露光量を反映させる。

以下、本発明の効果について説明する。

まず、図１４を用いて従来の撮像装置における露出段差制御を説明する。

図１４（ａ）に示すように、長秒画像撮影時の露光量と短秒画像撮影時の露光量の差を小さくする、すなわち長秒画像及び短秒画像の輝度重複範囲を大きくする。これにより、動体の輝度範囲のうちその輝度重複範囲については長秒画像と短秒画像とで共通して撮像することができる。この場合、動体の輝度範囲を、長秒画像でも短秒画像でも撮像しているので、長秒画像と短秒画像との輝度重複範囲における差分を利用することで、長秒画像と短秒画像を適切に合成し、得られた合成画像の動体部分に多重像などが生じることを防止できる。ただし、輝度重複範囲の分だけダイナミックレンジ拡大幅が小さくなってしまう。

さらには、図１４（ｂ）に示すように、撮影対象となる被写体に動体が存在しない場合であっても従来の撮像装置における露出段差制御においては輝度重複範囲は一定に設定される。このため、動体が存在せず、長秒画像と短秒画像を合成して得られた合成画像に多重像などが生じるおそれが無い場合であっても、ダイナミックレンジ拡大幅が小さいままになってしまう。

また、輝度重複範囲の大きさとして適切な大きさは動体の輝度範囲に応じて変わるため、輝度重複範囲に過不足が生じるおそれがある。すなわち、図１４（ａ）のように、動体輝度範囲の方が輝度重複範囲より大きく輝度重複範囲が不足となっている場合がある。この場合、動体輝度範囲のうち輝度重複範囲に含まれていない部分については、長秒画像と短秒画像の合成が不適切となり、得られた合成画像に多重像が生じるおそれがある。また、輝度重複範囲の方が動体輝度範囲より大きく輝度重複範囲が過剰となっている場合がある。この場合、必要以上に、ダイナミックレンジ拡大幅が小さくなってしまう。

一方、本発明の撮像装置１００の露出段差制御では、図４の合成後の撮影輝度範囲に示すようなダイナミックレンジを有する合成画像（以下「ＨＤＲ合成画像」という。）が、図２の現フレームの長秒画像と短秒画像から外部装置において合成される。具体的には、図４（ａ）に示すように、動体が存在する場合は、その動体の輝度範囲（図２のステップＳ２０５で算出される動体の輝度域Ｃ）が前フレームの長秒画像と短秒画像から検出される。その後、動体の輝度範囲の分だけ長秒画像の輝度範囲と短秒画像の輝度範囲が重なるように現フレームの長秒画像撮影時と短秒画像撮影時の露出段差が算出される。このため、長秒画像と短秒画像の輝度重複範囲の差分を利用して、動体部分で多重像などを含む不適切なＨＤＲ合成画像が生じることを防止できる。但し、合成後の撮影輝度範囲、すなわちＨＤＲ合成画像のダイナミックレンジはこの輝度重複範囲分だけ狭くなる。また、図４（ｂ）に示すように、動体が存在しない場合は、多重像などを含む不適切なＨＤＲ合成画像が生じることはない。この場合、撮像装置１００においては、長秒画像の輝度範囲と短秒画像の輝度重複範囲が無くなるように長秒画像撮影時と短秒画像撮影時の露出段差が算出される。これにより、ＨＤＲ合成画像のダイナミックレンジを最大限拡大することができる。

すなわち、露出制御部１０６は、動体検出部１０２により動体が検出されたか否かに応じて、ＨＤＲ合成を行うために用いられる複数の画像（本実施例では長秒画像と短秒画像）を生成する際の撮影時に用いられる異なる複数の露光量を調整する。より具体的には、動体検出部１０２が動体を検出した場合は上記複数の露光量の最大値（本実施例では長秒画像撮影時の露光量）と最小値（本実施例では長秒画像撮影時の露光量）の差を、動体を検出しない場合よりも小さくする。

なお、本実施例では、動体検出部１０２が、記憶部１０４から前フレームの撮像画像と背景画像とを取得し、差分を算出し、前フレームの撮像画像のこの差分が算出された画素を動体が検出された画素としたが、動体検出方法はこれに限らない。例えば、２フレーム前の撮像画像と１フレーム前の撮像画像との差分を算出し、１フレーム前の撮像画像のこの差分が算出された画素を動体が検出された画素としても良い。

なお、本実施例では、露出段差算出部１０５は、図４に示すように、長秒画像と短秒画像の両方が動体の輝度域Ｃを撮影できるように、長秒画像撮影時と短秒画像撮影時の露出段差を算出したが、露出段差の算出方法はこれに限らない。

例えば、動体が検出された場合に、図５（ａ）に示すように、露出段差算出部１０５は、長秒画像と短秒画像の一方が動体の輝度域Ｃの全域を撮像できるように、図２の処理において長秒画像撮影時と短秒画像撮影時の露出段差を算出してもよい。換言すると、動体の輝度域Ｃを撮像するために必要な画像の数が最小になるように露出段差を算出するようにしてもよい。

「動体の輝度域Ｃを撮像するために必要な画像の数が最小になる」ということについて、図６を用いて補足する。図６（ａ）～（ｃ）については各撮影画像１枚あたりの撮影輝度範囲が、動体の輝度範囲より大きい。従って、動体の輝度域Ｃを撮像するために必要な画像の最小数は１である。一方、図６（ｄ）については、各撮影画像１枚あたりの撮影輝度範囲が、動体の輝度範囲より小さく、動体の輝度範囲の全域を撮像するために最低でも２枚の撮影画像を必要とする。従って、動体の輝度域Ｃを撮像するために必要な画像の最小数は２である。次に、図６（ａ）の露出段差の場合に、動体の輝度域Ｃを撮像するために必要な画像の数は、短秒画像と長秒画像の撮影輝度域を合わせないと、動体の輝度域Ｃをカバーできない。従って、図６（ａ）の露出段差の場合、動体の輝度域Ｃを撮像するために必要な画像の数は２である。図６（ａ）の場合、動体の輝度域Ｃを撮像するために必要な画像の最小数は１であったので、動体の輝度域Ｃを撮像するために必要な画像の数が最小になっていない。一方、図６（ｂ）の場合、長秒画像、短秒画像の何れか一方だけで、動体の輝度域Ｃをカバーしている。また、図６（ｃ）の場合、短秒画像だけで、動体の輝度域Ｃをカバーしている。従って、図６（ｂ），（ｃ）の露出段差の場合、動体の輝度域Ｃを撮像するために必要な画像の数は１である。図６（ｂ），（ｃ）の場合、動体の輝度域Ｃを撮像するために必要な画像の最小数は１であったので、動体の輝度域Ｃを撮像するために必要な画像の数が最小になっている。

前述したように、ＨＤＲ合成時に撮影タイミングの異なる画像を合成すると、動体部分で多重像などの不適切な合成画像を生じてしまうおそれがある。換言すると、ある動体について、長秒画像でのみ撮像している部分と、短秒画像でのみ撮像している部分とを合成してしまうと、長秒画像と短秒画像では撮影時刻が異なるために、位置ずれを生じてしまう。従って、動体部分については、長秒画像のみ、あるいは、短秒画像のみ用いてＨＤＲ合成後の出力画像を生成すれば、位置ずれが発生しない、即ち、重像などの不適切な合成画像を生じない。そのため、長秒画像と短秒画像の一方が動体の輝度域Ｃの全域を撮像できるように、長秒画像撮影時と短秒画像撮影時の露出段差を算出することで、多重像などの不適切な合成画像が生じることを防止できる。

以上のように、露出段差算出部１０５は、長秒画像と短秒画像の両方が動体の輝度域Ｃを撮像できるように、長秒画像撮影時と短秒画像撮影時の露出段差を算出しても良い。また、長秒画像と短秒画像の一方が動体の輝度域Ｃの全域を撮像できるように、長秒画像撮影時と短秒画像撮影時の露出段差を算出しても良い。前者と後者とでどちらの方法で露出段差を算出するべきかについては、本発明の構成外であり、図１に不図示の外部装置のＨＤＲ合成手段が有する、動体部分で不適切な合成画像を生じることを防止する仕組みの違いによって決めるとよい。

即ち、特許文献１，２のように長秒画像と短秒画像の差分を利用する仕組みを有する場合は、長秒画像と短秒画像とで同じ輝度領域を撮像する必要があるため、前者を用いる方が良い。

一方、ＨＤＲ合成手段が長秒画像と短秒画像の差分を利用する仕組みを持たない場合は、後者を用いる方が良い。図４（ａ）と図５（ａ）を比べればわかるように、後者の方が合成後のダイナミックレンジを大きくできるためである。

なお、露出段差算出部１０５は、露出段差が大きく変更される場合には、基準露出を動体部分の画像データに基づいて補正してもよい。

例えば、フレーム毎に長秒画像と短秒画像の２枚の画像が撮像される場合、露出段差算出部１０５が、長秒画像の撮像時の露光量を基準露出として固定し、短秒画像の撮像時における露光量だけを動体に応じて変更するように制御する。かかる制御では、動体検出すると、短秒画像の撮像時の露光量が長秒画像の撮像時の露光量に近づく。このため、動体部分で不適切なＨＤＲ合成画像が生じることを防止する一方、ＨＤＲ合成画像のダイナミックレンジ拡大幅は縮小する。その結果、ＨＤＲ合成画像の高輝度被写体部分が飽和（白とび）してしまうおそれがある。ここで、高輝度被写体部分に動体が含まれる場合、動体部分が白とびしてしまうことになる。つまり、動体部分で不適切なＨＤＲ合成画像が生じることを防止するために、動体部分を白とびさせてしまうことになり、結局、動体部分の視認性を改善することができないおそれがある。そこで、このような場合には、動体部分に基準露出を合わせるように補正することで、動体部分が白とびすることを防止するとともに、不適切なＨＤＲ合成画像が生じることを防止することができる。

なお、露出段差算出部１０５は、３枚以上の撮像画像をＨＤＲ合成する場合、中間の露光量だけを変えるように、各撮像毎の露光量を算出してもよい。換言すると、例えば、３枚の撮像画像をＨＤＲ合成する場合、最大の露光量の撮像画像と、最小の露光量の撮像画像については、動体の検出結果に関わらず露光量を変えず、これらを除いた撮像画像の露光量を変更するように制御する。ＨＤＲ合成画像のダイナミックレンジは、最大露光量の撮像画像の輝度範囲と最小露光量の撮像画像の輝度範囲の間のレンジとなる。従って、最大露光量の撮像画像の輝度範囲と最小露光量の撮像画像の輝度範囲は維持しつつ、中間露光量の撮像画像の輝度範囲だけ変更するように制御する。これにより、ＨＤＲ合成画像のダイナミックレンジを維持しつつ、動体部分で不適切なＨＤＲ合成画像が生じることを防止できる。

（実施例２）
以下、図７を参照して、本発明の実施例２に係る撮像装置１００ａ及びその制御方法について説明する。

実施例１では合成対象となる複数の撮像画像のそれぞれと、背景画像や過去の撮像画像との差分を算出することで動体を検出した。これに対し、本実施例では前フレームで合成したＨＤＲ合成画像と過去のＨＤＲ合成画像との差分を動体として検出する。ここで過去のＨＤＲ合成画像とは、背景画像が生成されるまでは２フレーム以上前のＨＤＲ合成画像を指し、背景画像が生成された後は、２フレーム以上前のＨＤＲ合成画像と背景画像とをＨＤＲ合成した画像を指す。

図７は、本実施例に係る撮像装置１００ａの構成図である。

なお、実施例１と同じ機能部には同じ符号を付し、その説明は省略する。

動体検出部２０２は、外部装置から１フレーム前のＨＤＲ合成画像を取得し、記憶部２０４から取得した過去のＨＤＲ合成画像との差分を算出することにより、動体を検出する。そして、動体の画素値を動体分析部１０３に出力する。また、動体検出部２０２は、取得した１フレーム前のＨＤＲ合成画像を記憶部２０４に出力する。

記憶部２０４は、現在の撮影シーンと同一のシーンにおける、過去のＨＤＲ合成画像を記憶し、動体検出部２０２に出力する。また、動体検出部２０２から出力された１フレーム前のＨＤＲ合成画像を順次記憶する。

背景画像算出部２０７は、過去の所定期間における撮像ユニット１０１で生成された撮像画像データを記憶部１０４から取得し、その時間平均を背景画像のデータとして算出する。また、背景画像算出部２０７は、算出された背景画像と２フレーム以上前のＨＤＲ合成画像とをＨＤＲ合成し、このＨＤＥ合成された画像を過去のＨＤＲ合成画像とし記憶させるべく記憶部２０４に出力する。

以上の構成により本実施例では、ＨＤＲ合成画像間の差分を算出することで、動体を検出する。

これにより、複数の撮像画像毎に差分を算出して動体を検出する実施例１に記載の撮像装置１００と比べて記憶しておく画像の数を少なくすることができる。すなわち、実施例１に記載の撮像装置１００では、過去の複数の撮像画像を記憶する必要があったが、本実施例の撮像装置１００ａでは、過去のＨＤＲ合成画像だけを記憶すればよい。そのため、画像を記憶するためのメモリを削減できるという効果を得られる。

（実施例３）
以下、図８を参照して、本発明の実施例３に係る撮像装置１００ｂ及びその制御方法について説明する。

実施例１，２では、背景画像と撮像画像の差分やＨＤＲ合成画像と過去のＨＤＲ合成画像の差分を動体として検出したが、本実施例では、ユーザの指示に基づいて動体を検出する。

図８は、本実施例に係る撮像装置１００ｂの構成図である。

なお、上述の実施例と同じ機能部には同じ符号を付し、その説明は省略する。

動体検出部３０２は、ユーザ指示に基づいて撮像画角内に存在する動体を検出し、撮像画像中の検出された動体の画素値を動体分析部１０３に出力する。

より具体的には、外部装置において、撮像装置１００ｂの撮像画角内でユーザが指定した領域を動体が存在する領域として指定するためのユーザインターフェースとしての不図示の指示受付部が設けられる。そして、動体検出部３０２は、ユーザによって指定された領域に関する情報をユーザ指示として外部装置から取得し、撮像画像のその指定された領域を動体として検出する。

なお、上記指示受付部としては、ＰＣなどのコンピュータ上で動作する映像ビューアアプリケーションが例示できる。この場合、コンピュータの画面上の映像ビューアアプリケーションの映像表示領域に対して、ユーザはマウス操作やタッチ操作を行うことにより動体が存在する領域を指定する。

また、上記映像表示領域には、外部装置にて直前に生成したＨＤＲ合成画像を表示してもよい。この場合、動体検出部３０２が出力する動体の画素値は当該ＨＤＲ合成画像から抽出しても良い。また、動体検出部３０２が出力する動体の画素値は撮像装置１００ｂからのフレーム毎の出力画像である、複数の撮影画像（長秒画像、短秒画像）の一方又は双方から動体の画素値を抽出しても良い。

尚、上記指示受付部は外部装置ではなく、撮像装置１００ｂに設けられていてもよい。

また、本実施例の構成では、上述の実施例に存在した記憶部を含まなくてもよい。これは、動体検出するために、過去に撮影された、または、生成された画像データを記憶しておく必要が無いためである。

次に、図９を用いて、本実施例に係る、露出段差算出フレームの処理シーケンス及びこれにつづく露出段差反映フレームの処理シーケンスの一例を説明する。

図９の露出段差算出フレームの処理シーケンスに示すように、非同期に発生したユーザ指示に応じて動体検出、長秒画像の撮像時及び単秒画像の撮像時の露光量（露出段差）の算出を行う。その後、露光量算出後の最初の撮像タイミング（すなわち次のフレームである露出段差反映フレーム）で当該露光量を反映するように制御する。

以上の構成により本実施例では、ユーザが指定した領域を動体として検出する。そして、ユーザが指定した領域（動体）部分で、多重像などの不適切な合成画像を生じないように、露光量を決定し、ＨＤＲ合成用の複数の撮像画像を撮影する。

これにより、ユーザが注目している重要な領域について、多重像などの不適切な合成画像が生じることを防止できる。

（実施例４）
以下、図１０を参照して、本発明の実施例４に係る撮像装置１００ｃ及びその制御方法について説明する。

上述の実施例１～３では、撮像ユニットにＨＤＲ合成用の各画像の撮像時の露出制御パラメータを出力していた。これに対し、本実施例では、ＨＤＲ合成用の画像を１回撮像するごとにＨＤＲ合成用の次の画像の撮像時の露出制御パラメータを算出し、撮像ユニットに出力する。すなわち、同一フレームにおいて、奇数回目の撮像で得られた撮像画像に基づき、偶数回目の撮像時に用いられる露出制御パラメータが算出される。

図１０は、本実施例に係る撮像装置１００ｃの構成図である。

撮像ユニット４０１は、露出制御部４０６から取得した露出制御パラメータで決定する露光量にて撮像を行い、長秒画像や短秒画像の撮像画像データを生成する。そして、長秒画像や短秒画像の撮像画像データをいずれも撮像装置１００ｃの出力画像として出力する一方、長秒画像の撮像画像データについては動体検出部１０２にも出力する。すなわち、動体検出部１０２は、長秒画像からのみ動体を検出し、動体分析部１０３は長秒画像から抽出された動体の特徴量（動体画素の輝度ヒストグラム）のみを生成する。

露出段差算出部４０５は、動体分析部１０３から動体の特徴量を、露出制御部４０６から前フレームにおける短秒画像の撮像時の露出制御パラメータを取得し、これらに基づき、撮像ユニット４０１が現フレームの短秒画像の撮像を行う際の露光量を算出する。その後、算出した露光量を露出制御部４０６に出力する。

露出制御部４０６は、露出段差算出部４０５から取得した露光量に基づき、当該露光量に対応する、短秒画像の撮像の際の露出制御パラメータを算出し、露出制御パラメータを撮像ユニット４０１に出力する。

次に、図１１を用いて、本実施例に係る、フレーム毎に行われる短秒画像の露出段差算出反映処理シーケンスの一例を説明する。

図１１に示すように、本実施例においては、長秒画像の撮像が行われると、その長秒画像の撮像画像データに基づいて、動体を検出し、検出した動体の特徴量に基づき動体輝度域の全体を算出する。次に、算出された動体輝度域に基づき、現フレームの短秒画像の撮像のための露光量を算出し、その算出された露光量を現フレームの短秒画像の撮像に反映する。

現フレームの長秒画像の撮像画像データに基づいて、現フレームの短秒画像の撮像のための露光量を決定する方法について図１２を用いて説明する。

まず、露出制御部４０６から取得した露出制御パラメータで決定する露光量で撮像された長秒画像の撮影輝度範囲（図１２の「長秒画像の輝度範囲」と示す矢印の範囲）から動体を検出する。その後、動体画素の輝度ヒストグラムを生成する（図１２の動体輝度ヒストグラム）。この時、図１２の動体輝度ヒストグラムのようにその分布が最大階調値（輝度）付近に分布している場合がある。この場合、現フレームの短秒画像の撮影輝度範囲（図１２中の「単秒画像の輝度範囲」と示す矢印の範囲）においても、動体の輝度が分布していると予測することができる。つまり、動体が長秒画像と短秒画像のいずれにも含まれるおそれがある。前述したように、異なるタイミングで撮影された、動体を含む長秒画像と短秒画像を合成すると、多重像などの不適切な合成画像を生じるおそれがある。そこで、短秒画像の撮影輝度範囲が、長秒画像から検出された動体の輝度範囲（図１２の「輝度重複領域」と示す矢印の範囲）を含むように、短秒画像の露光量を決定する。このようにすることで、動体の全体の輝度範囲を短秒画像の輝度範囲に含ませることができる。それ故、ＨＤＲ合成時に、動体部分については短秒画像のみ用いてＨＤＲ合成画像を生成することで、動体部分で多重像などの不適切な合成画像を生じることを防止できる。

なお、露出段差算出部４０５は、長秒画像の撮像時の露光量を基準露出とし、長秒画像の明るさに関する特徴量（例えば、動体の輝度ヒストグラム）に基づいて露光量を算出し、次フレームの長秒画像の撮像時の露光量に反映させても良い。このようにすることで、露出を適正に保ちながら、ＨＤＲ合成のための撮像を行うことができる。

（実施例５）
本実施例では、実施例１における動体分析部及び露出段差算出部の処理内容が異なるのみであるため、構成図の図示を省略する。

本実施例の処理内容について図１３を用いて説明する。

本実施例では、動体の輝度範囲が２つの領域に分割され、且つその２つの領域の間の輝度差が、ＨＤＲ合成に用いられる複数の撮像画像の１つの撮影輝度範囲では動体の輝度範囲の全てがカバーできない程度に大きい場合を想定する。

かかる動体の輝度範囲を動体分析部１０３が検出した場合、動体の輝度範囲を全てカバーするようにＨＤＲ合成を行うとすると、図１３（ａ）に示すように、合成すべき撮像画像の枚数が多くなってしまう。例えば図１３（ａ）のように４枚合成する場合、１枚のＨＤＲ合成画像を合成するために４回撮像する必要があるため、ＨＤＲ合成しない場合と比べるとフレームレートが４分の１に低下してしまう。そして、フレームレートが低下すると動体がカクカクと動くように見えるため、動体の視認性が低下する。

また、動体の輝度範囲の全てをＨＤＲ合成に用いられる複数の撮像画像の１つの撮影輝度範囲でカバーすることが不可能なため、動体を異なる撮影タイミングで撮像した画像を合成することとなり、動体部分で多重像などの不適切な合成画像を生じることとなる。そして、撮像枚数が増えるほど、各撮像タイミングの時間間隔が大きくなるおそれがあり、撮像タイミングの時間間隔が大きいほど、合成時に生じる多重像の幅が大きくなるため、多重像による妨害感が大きくなってしまう。

そこで、本実施例では、動体分析部１０３が動体の輝度範囲が少なくとも２つの以上の領域に分割されている場合、動体に対応する領域の間の輝度差が非常に大きいか否かを判別する。そして、輝度差が非常に大きいと判別した場合、露出段差算出部１０５は、連続する撮像タイミングの間で、露出段差を撮影輝度範囲が不連続になるように決める。換言すると、上記動体に対応する領域の輝度範囲に合わせて、撮影輝度範囲も分割されるように、露光量を決定する。具体的には、図１３（ｂ）に示すように、１枚目の撮像画像の撮影時の露出段差を、上記２つの領域の一方を含む撮影輝度範囲となるように算出し、２枚目の撮像画像の撮影時の露出段差を、上記２つの領域の他方を含む撮影輝度範囲となるように算出する。

このように実施することで、動体部分の撮像タイミングの差が少なくなるため、合成時に生じる多重像の幅を小さくできるため、多重像による妨害感を低減できる。

さらに、撮像枚数を、分割された動体の輝度範囲の夫々の領域を撮像するために必要な最小数にする。即ち、図１３（ｂ）の場合であれば、撮像枚数を２枚にする。

このように、撮像枚数を最小にすることで、フレームレートを大きくできるため、動体の動きが自然になり視認性が向上する。図１３の例では、図１３（ａ）の場合、図１３（ｂ）の場合と比べてフレームレートを２倍にできる。

なお、フレームレートは変化しないが、ＨＤＲ合成に用いられる複数の画像を取得する順番として、動体に対応する撮影輝度範囲を優先的に撮像する構成であれば、動体を撮像する時間的な間隔を短くすることができる。例えば、４回に分けてＨＤＲ合成用の被合成画像を取得するために、連続的に撮像を行う場合、動体部分に対応する撮影輝度範囲は連続的に撮像を行う。この構成であれば、ＨＤＲ合成後の画像において、動体部分の多重像の不自然さを低減することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

［その他の実施例］
本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、装置に供給することによっても、達成されることは言うまでもない。このとき、供給された装置の制御部を含むコンピュータ（またはＣＰＵやＭＰＵ）は、記憶媒体に格納されたプログラムコードを読み出し実行する。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、上述のプログラムコードの指示に基づき、装置上で稼動しているＯＳ（基本システムやオペレーティングシステム）などが処理の一部又は全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、装置に挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施例の機能が実現される場合も含まれることは言うまでもない。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行う。

１００ 撮像装置
１０１ 撮像ユニット
１０２ 動体検出部
１０３ 動体分析部
１０４ 記憶部
１０５ 露出段差算出部
１０６ 露出制御部

Claims (10)

1. 撮像画像を生成する撮像部と、
   前記撮像部の露光量を設定する設定部とを具備し、
   ＨＤＲ合成を行うため、各フレームで前記設定部により設定された異なる複数の露光量で前記撮像部により撮像を行って複数の撮像画像を生成する撮像装置であって、
   前記複数の撮像画像の少なくとも１つの画像に存在する動体を検出する動体検出手段をさらに具備し、
   前記設定部は、前記動体検出手段により動体が検出されたか否かに応じて、前記異なる複数の露光量を調整し、
   前記複数の撮像画像の数が３枚以上である場合に、前記設定部は、前記複数の露光量のうち、最大の露光量と最小の露光量を除いた露光量を調整することを特徴とする撮像装置。
2. 前記複数の撮像画像の夫々に存在する前記動体の明るさを分析する分析手段をさらに備え、
   前記設定部は、前記分析された明るさに応じて、前記異なる複数の露光量を調整することを特徴とする請求項１に記載の撮像装置。
3. 前記設定部は、前記動体検出手段が前記動体を検出した場合の前記異なる複数の露光量の最大値と最小値の差を、前記動体検出手段が前記動体を検出しなかった場合よりも小さくすることを特徴とする請求項１又は２記載の撮像装置。
4. 前記設定部は、前記動体検出手段が動体を検出した場合に、前記動体の輝度域を撮像するために必要な画像の数が最小になるように、前記異なる複数の露光量を決定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 過去の所定期間における前記撮像部により生成された同一シーンの撮像画像の時間平均を算出することにより得られる背景画像を算出する算出手段を更に備え、
   前記動体検出手段は、前記複数の撮像画像の少なくとも１つの画像と前記算出された背景画像の差分を前記動体として検出することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記動体検出手段は、前記複数の撮像画像のＨＤＲ合成を行うことで得られるＨＤＲ合成画像と過去のＨＤＲ合成画像との差分を前記動体として検出することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記動体検出手段は、前記少なくとも１つの画像の前記撮像装置の撮像画角内のユーザにより指定された領域を前記動体として検出することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
8. 前記設定部は、前記複数の撮像画像の１つの画像の輝度域が、前記動体の輝度域の全域を含む露光量となるように、前記異なる複数の露光量を調整することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 撮像画像を生成する撮像部と、
   前記撮像部の露光量を設定する設定部とを具備し、
   ＨＤＲ合成を行うため、各フレームで前記設定部により設定された異なる複数の露光量で前記撮像部により撮像を行って複数の撮像画像を生成する撮像装置の制御方法であって、
   前記複数の撮像画像の少なくとも１つの画像に存在する動体を検出する動体検出ステップと、
   前記動体検出ステップにおいて動体が検出されたか否かに応じて、前記設定部で前記異なる複数の露光量を調整する調整ステップとを有し、
   前記複数の撮像画像の数が３枚以上である場合、前記調整ステップにおいて、前記設定部で、前記複数の露光量のうち、最大の露光量と最小の露光量を除いた露光量が調整されることを特徴とする制御方法。
10. 請求項９記載の制御方法を実行することを特徴とするプログラム。

Images