JP6172967B2 - 撮像装置、及びその制御方法 - Google Patents

Description

本発明は、撮像装置、及びその制御方法に関する。

静止画や動画を撮影することを目的とした、ＣＣＤやＣＭＯＳイメージセンサを用いた固体撮像素子のダイナミックレンジ（階調を識別することができる最小輝度と最大輝度の比率）は、人の目と比較して一般的に狭いことが知られている。そのため、実際に目で見た階調を、写真としてそのまま再現することが困難だという問題があった。この問題に対して、異なる露出条件で撮影した複数の画像（明るいオーバー露出のＨ画像、適正露出のＭ画像、暗いアンダー露出のＬ画像等）を重ね合わせて、通常撮影よりも広いダイナミックレンジ（以下、ＨＤＲ）の画像を取得する技術が知られている。特許文献１は、ＨＤＲ技術の一例を開示している。

従来のＨＤＲ技術によれば、撮影を開始した後に、露出条件を変えて複数枚（例えば、Ｈ画像、Ｍ画像、Ｌ画像の３枚）の撮影が順に行われる。その後、各画像を合成することで、Ｈ画像とＬ画像の露出の差によるＨＤＲを実現することができる。しかし、このようなＨＤＲ技術によれば、合成する各画像の取得タイミングが異なるため、動く被写体に対しては正確に合成できない問題があった。

この問題を解決するために、１画面内で領域毎に露出を変えて撮影することによって各領域から異なる露出の画像を取得することにより、複数の合成対象画像の取得タイミングのずれを軽減する技術が知られている（特許文献２参照）。特許文献２によれば、撮像素子の露光時間を行単位で制御することができ、明るいオーバー露出の行からＨ画像が生成され、暗いアンダー露出の行からＬ画像が生成される。オーバー露出の行の露光とアンダー露出の行の露光は並行して行うことができるので、Ｈ画像とＬ画像の取得タイミングのずれが軽減される。

特開平０６−１４１２２９号公報 特開２０１１−２４４３０９号公報

特許文献２の技術に従ってＬ画像及びＨ画像を生成する場合、Ｌ画像の露光時間はＨ画像の露光時間よりも短いため、１枚のＨ画像を生成する間に２枚以上のＬ画像を生成することができる。（厳密には、Ｌ画像の露光時間がＨ画像の露光時間の半分よりも長い場合、Ｈ画像の露光完了までに２枚目のＬ画像の露光は完了しない。しかし、この場合でも２枚目のＬ画像の露光はＨ画像の露光完了後程なく完了するため、大雑把に言えば、１枚のＨ画像を生成する間に２枚以上のＬ画像を生成することができる。）特許文献２は、例えば１枚のＨ画像と２枚以上のＬ画像とを合成する形で、１枚のＨ画像を生成する間に生成される２枚以上のＬ画像を活用している。

ところで、１枚目のＬ画像と２枚目のＬ画像とは取得タイミングが異なるため、１枚目のＬ画像と２枚目のＬ画像との間には被写体の動きが存在する可能性がある。しかしながら、現在、この点に注目して２枚以上のＬ画像を活用する提案は知られていない。

本発明はこのような状況に鑑みてなされたものであり、撮像素子の所定の画素群を用いて高露出画像が取得されるタイミングで他の画素群を用いて取得される２枚の低露出画像を活用する新規な技術を提供することを目的とする。なお、ここで言う高露出画像及び低露出画像は、露出の相対的な高低を意味しているだけであり、高露出画像は必ずしもオーバー露出を意味しないし、低露出画像は必ずしもアンダー露出を意味しない。

上記課題を解決するために、第１の本発明は、被写体を撮像する撮像手段と、１フレーム期間内に、前記撮像手段の第１の画素群を用いて第１の露光時間の撮像を行うことにより高露出画像を取得するとともに、前記撮像手段の第２の画素群を用いて前記第１の露光時間よりも短い露光時間の撮像を複数回行うことにより複数の低露出画像を取得する撮像制御手段と、前記複数の低露出画像を比較することにより撮影間の被写体の動きの大きさと方向を検出する検出手段と、前記高露出画像と、前記検出手段による検出結果に基づいて前記複数の低露出画像から選択された１の低露出画像を合成することにより、ハイダイナミックレンジ（ＨＤＲ）画像を生成する生成手段と、を備え、前記生成手段は、前記検出手段によって前記撮影間の前記被写体の動きの方向が反転したことが検出された場合は、反転の前後における前記被写体の動きの大きさに応じて、合成に用いる低露出画像を選択することを特徴とする撮像装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

以上の構成により、本発明によれば、撮像素子の所定の画素群を用いて高露出画像が取得されるタイミングで他の画素群を用いて取得される２枚の低露出画像を活用する新規な技術が提供される。

第１の実施形態に係る撮像装置１００の構成を示すブロック図。 撮像部１０３に含まれる撮像素子の構成を示す図。 撮像装置１００を用いて通常画像を取得する際のタイミングチャート。 撮像装置１００を用いて通常画像を取得する際の垂直駆動回路２０６から生成される信号を示したタイミングチャート。 第１の実施形態において、撮像装置１００を用いてＨＤＲ画像を取得する際のタイミングチャート。 第１の実施形態において、撮像装置１００を用いてＨＤＲ画像を生成するための各画像を取得する際の垂直駆動回路２０６から生成される信号を示したタイミングチャート。 動き検出部１０８が２枚のＬ画像から被写体の動きを検出する方法を例示する図。 第１の実施形態に係る動き検出処理及びＨＤＲ画像生成処理を示すフローチャート。 第２の実施形態において、撮像装置１００を用いてＨＤＲ画像を取得する際のタイミングチャート。 第２の実施形態に係る、動き検出結果を用いてＨＤＲ画像を作成する基となる画像を選択する処理を示すフローチャート。 動き検出対象のＬ画像を複数のブロックに分割する様子を示す図。 第２の実施形態の変形例を説明する図。 第３の実施形態において、撮像装置１００を用いてＨＤＲ画像を取得する際のタイミングチャート。 第３の実施形態に係る、動き検出結果を用いてＨＤＲ画像を作成する基となる画像を選択する処理を示すフローチャート。 第３の実施形態における被写体の移動方向の変化を例示する図。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

［第１の実施形態］
図１は、第１の実施形態に係る撮像装置１００の構成を示すブロック図である。撮像装置１００は、例えばデジタルカメラである。レンズ部１０１は、被写体からの光を撮像部１０３へ集光する。レンズ部１０１には、焦点距離変更部や、入射光を遮る遮光部等が含まれる。光量調整部１０２は、レンズ部１０１と撮像部１０３との間に配置され、例えば減光フィルタの挿入機構や絞り機構を含む。撮像部１０３は、レンズ部１０１と光量調整部１０２を通して入射した光をアナログ電気信号に変換する画素部と、アナログ電気信号をデジタル信号に変換するＡ／Ｄ変換回路等を含んでいる。

信号処理部１０４は、撮像部１０３より入力される画素信号に対する補正用パラメータを生成し、画素信号に対して必要な画像信号補正処理を行う。撮像制御部１０５は、全体制御・演算部１０６からの入力信号に従い、撮像部１０３及び信号処理部１０４等に必要なタイミング信号、映像信号を増幅するためのゲインの設定信号、露光時間の設定信号、及び、その他の制御に必要な信号の生成を行う。

全体制御・演算部１０６は、撮像装置１００の動作に応じて必要な処理及び演算を行う。全体制御・演算部１０６の中には、信号処理部１０４等からの信号を一時的に記憶する一時記録部１０７と、撮像部１０３からの信号を基に画面内の動く被写体を検出する動き検出部１０８と、露出条件を決定する露出演算部１０９とが含まれている。全体制御・演算部１０６は、露出演算部１０９の演算結果に基づき、光量調整部１０２を用いて光量を調整する処理、若しくは撮像制御部１０５を用いて露光時間や映像信号を増幅するためのゲインを調整する処理を行う。

本実施形態においては、信号処理部１０４は全体制御・演算部１０６とは独立の構成としたが、信号処理部１０４は全体制御・演算部１０６の中に含まれていてもよいし、撮像部１０３の中に含まれていてもよい。また、撮像制御部１０５は、撮像部１０３の中に含まれていてもよい。

操作部１１０は、釦やダイヤル等のヒューマンＩＦを含み、ユーザはこれを介して撮像装置１００に対する動作命令を行う。記録部１１１は、全体制御・演算部１０６にて生成される画像データを記録媒体に記録する。表示部１１２は、信号処理部１０４からの信号を基にして全体制御・演算部１０６にて生成される画像データを表示したり、操作部１１０から入力された命令に対応したアイコン等を表示したりする。

次に、撮像部１０３に含まれる撮像素子の構成を図２に示す。受光画素部２０１は、レンズ部１０１からの光を受光し、表面に入射した光を光電変換して電気信号として出力する。受光画素部２０１は、フォトダイオード２０２、転送トランジスタ２０３、信号増幅アンプ２０４、及びリセット用トランジスタ２０５を１単位（画素）として構成されている。撮像部１０３には、受光画素部２０１と同様の画素を単位として、複数の画素が２次元的に配置されている。

転送トランジスタ２０３及びリセット用トランジスタ２０５は、撮像素子に配置された垂直駆動回路２０６からの信号によって動作する。ここで、垂直駆動回路２０６には、シフトレジスタや、各画素を駆動させる信号生成回路等が含まれる。そして、生成されたタイミング信号（ＴＸ１〜４、ＲＳ１〜４等）によって、転送トランジスタ２０３及びリセット用トランジスタ２０５を制御することにより、フォトダイオード２０２の電荷をリセットしたり、読み出したりして露光時間を制御することができる。

水平駆動回路２０９には、シフトレジスタ（不図示）、列アンプ回路及びＡ／Ｄ変換回路２１０、信号出力選択スイッチ２１１、及び外部への出力回路（不図示）等が含まれる。ここで、列アンプ回路及びＡ／Ｄ変換回路２１０の設定を、撮像制御部１０５からの信号によって変化させることによって、画素から読み出された信号を増幅することができる。

次に、撮像装置１００を用いて通常の画像を取得する処理について説明する。図３は、撮像装置１００を用いて通常画像を取得する際のタイミングチャートである。全体制御・演算部１０６又は撮像制御部１０５が生成する垂直同期信号によって、露光及び信号読み出しが行われる。

図４は、撮像装置１００を用いて通常画像を取得する際の垂直駆動回路２０６から生成される信号を示したタイミングチャートである。ＴＸ信号及びＲＳ信号が立ち上がることによって、フォトダイオード２０２の電荷がリセットされ、露光が開始する。この動作は、撮像制御部１０５によって設定された条件で、受光画素部２０１から所定の順番で順次行われる。その後所定の露光時間の経過後に、ＴＸ信号が再度立ち上がり、フォトダイオード２０２の電荷を信号増幅アンプ２０４に読み出す。信号増幅アンプ２０４からの信号から映像信号が生成され、水平駆動回路２０９を通して出力される。この動作も、撮像制御部１０５によって設定された条件で行われる。

本実施形態の撮像装置１００に搭載されている撮像素子はＣＭＯＳ型の撮像素子である。そのため、垂直駆動回路２０６のシフトレジスタの設定によって、どの行の転送トランジスタ２０３をどのような順序で駆動させるか選択することができるし、同一行を繰り返し選択して信号を読み出すこともできる。また、水平駆動回路２０９のシフトレジスタの設定によって、どの列の信号出力選択スイッチ２１１を動作させるかによって、同一行の信号において、どの列の信号から出力するかを選択することができる。これによって、画面内のどの画素からどのような順番で読み出すかを指定することができる。読み出した信号に対して、信号処理部１０４にて必要な補正処理が行われる。その後、全体制御・演算部１０６にて最終的な画像が作成される。

次に、撮像装置１００を用いた被写体の動き検出処理について説明する。本実施形態の動き検出処理は、撮像素子の所定の画素群（第１の画素群）を用いて高露出画像（Ｈ画像）が取得されるタイミングで他の画素群（第２の画素群）を用いて取得される２枚の低露出画像（Ｌ画像）を活用する。但し、ここで言うＨ画像及びＬ画像は、露出の相対的な高低を意味しているだけであり、Ｈ画像は必ずしもオーバー露出を意味しないし、Ｌ画像は必ずしもアンダー露出を意味しない。例えば、Ｈ画像は適正露出の画像であっても構わない。

以下では、ハイダイナミックレンジ（ＨＤＲ）画像を生成する文脈で動き検出処理について説明し、動き検出結果に基づいて高露出画像と低露出画像とが合成されてＨＤＲ画像が生成されるものとする。しかしながら、ＨＤＲ画像の生成は、本実施形態の動き検出処理にとって必須ではない。動き検出処理に続いてＨＤＲ画像を生成する必要はないし、動き検出結果はＨＤＲ画像の生成処理に限らず任意の目的で利用可能である。例えば、撮像装置１００は、Ｈ画像として適正露出の画像を撮像して記録部１１１に記録し、２枚のＬ画像から被写体の動きを検出し、動き検出結果をＨ画像のヘッダに記録してもよい。こうして記録された動き検出結果は、例えば後で画像補正処理を行う際などに利用することができる。

図５は、第１の実施形態において、撮像装置１００を用いてＨＤＲ画像を取得する際のタイミングチャートである。図５は３０ｆｐｓの動画像を取得するものとして記載されているが、本実施形態は動画像ではなく静止画像を取得する場合にも適用可能である。また、動画像を取得する場合でも、フレームレートは３０ｆｐｓに限定されない。

本実施形態において、撮像部１０３の撮像素子は、Ｌ画像取得用とＨ画像取得用の露出条件を２行周期で設定することができる。このように、一般的には、撮像素子の画素群は所定数の行単位で交互にＬ画像取得用の画素群又はＨ画像取得用の画素群に属しているが、画素群の割り当てはこれに限定されない。そして、撮影動作自体は、全体制御・演算部１０６が生成する１／３０秒毎の垂直同期信号によって、３０ｆｐｓの撮影周期で行われる。それぞれの行で所定の露光時間が終了し、撮像素子から出力された撮影画像は、一時記録部１０７に一時的に記憶される。そして、Ｌ画像とＨ画像が揃ったところで、全体制御・演算部１０６が両画像を合成し、画像合成によるＨＤＲ画像を作成する。

Ｌ画像用の行では、Ｈ画像用の行の露光時間中に２回の露光及び読み出し動作が行われ、２枚のＬ画像が取得される。但し、Ｌ画像用の２つの露光時間がＨ画像用の露光時間に完全に含まれている必要は無く、Ｈ画像用の露光時間と少なくとも部分的に重複するタイミングでＬ画像用の２回の露光が行われればよい。従って、２回目の露光はＨ画像用の露光時間中に完了しなくても構わないし、１回目の露光はＨ画像用の露光開始と異なるタイミングで開始しても構わない。また、Ｌ画像用の２回の露光時間は異なっていても構わないし、Ｈ画像用の露光時間中にＬ画像用の行で３回以上の露光を行って３枚以上のＬ画像を取得してもよい。取得した複数のＬ画像は、ＨＤＲ画像を生成するためだけではなく、動き検出部１０８にて画面内の動体が写っている領域を検出するためにも使用される。動き検出部１０８の検出結果は、Ｈ画像とＬ画像の合成時に位置合わせ等を目的として使用可能である。また、ＨＤＲ画像を生成する際に、１枚目のＬ画像を使用してもよいし、２枚目のＬ画像を使用してもよいし、両方のＬ画像を使用してもよい。３枚以上のＬ画像が生成される場合、任意の複数のＬ画像を使用してもよい。

図６は、第１の実施形態において、撮像装置１００を用いてＨＤＲ画像を生成するための各画像を取得する際の垂直駆動回路２０６から生成される信号を示したタイミングチャートである。ＴＸ信号及びＲＳ信号が立ち上がることによって、フォトダイオード２０２の電荷がリセットされ露光が開始される。この動作は、撮像制御部１０５によって設定された条件で、受光画素部２０１から所定の順番で順次行われる。その後、Ｌ画像用の行において、所定の露光時間（第２の露光時間）の経過後に、ＴＸ１及びＴＸ２が順次立ち上がる。これにより、フォトダイオード２０２の電荷が信号増幅アンプ２０４に読み出され、水平駆動回路２０９を通して出力され、１枚目のＬ画像（第１の低露出画像）が取得される。その後、再度ＲＸ１及びＲＸ２が順次立ち上がり、Ｌ画像用の行をリセットする。そして同様に、Ｌ画像用の所定の露光時間（第３の露光時間。これは第２の露光時間と等しくてもよいし異なっていてもよい）の経過後に、ＴＸ１及びＴＸ２が順次立ち上がる。これにより、フォトダイオード２０２の電荷が信号増幅アンプ２０４に読み出され、水平駆動回路２０９を通して出力され、２枚目のＬ画像（第２の低露出画像）が取得される。そして、Ｈ画像用の所定の露光時間（第１の露光時間）の経過後に、ＴＸ３及びＴＸ４が順次立ち上がり、フォトダイオード２０２の電荷が信号増幅アンプ２０４に読み出され、水平駆動回路２０９を通して出力され、Ｈ画像が取得される。

次に、図７を参照して、動き検出部１０８が２枚のＬ画像を比較することにより被写体の動きを検出する方法を例示する。最初に、動き検出部１０８は、２枚のＬ画像間に被写体の動きが存在するか否かを判定するために、２枚のＬ画像間の差分を算出する。この算出は、
Diff = Σ|L₂(x,y) - L₁(x,y)| ・・・ 式（１）
に従って行われる。ここで、L_N(x,y)は、Ｎ枚目のＬ画像の座標(x,y)の画素値を示す。従って、画像全体の差分Diffは、各画素の差分の総和である。

動き検出部１０８は、Diffが閾値Ｔｈ未満の場合、被写体の動きが存在しないと判断し、Diffが閾値Ｔｈ以上の場合、被写体の動きが存在すると判断する。動きが存在する場合、動き検出部１０８は、図７に示すように基準画像に対して水平・垂直方向に一定画素（本実施形態では水平にα画素、垂直にβ画素）ずらした画像との差分を求めることにより、動きの方向を求める。ここでは、基準画像は２枚目のＬ画像であり、画像Ａ〜Ｈは１枚目のＬ画像をずらした画像である。そして、動き検出部１０８は、最も差分が小さい画像の方向Ｖを、被写体の動きの方向として判断する。ここで、方向ＶはＡ〜Ｈの８種類の値をもつ。そして、それぞれＡ＝−Ｈ、Ｂ＝−Ｇ、Ｃ＝−Ｆ、Ｄ＝−Ｅの関係をもつ。

この動き検出処理は、画面全体を複数の領域に分割し、それぞれの領域において実施し、領域ごとに動きの有無及び方向を判定することで、検出精度を上げることができる。また、３枚以上のＬ画像が取得される場合、動き検出部１０８は、３枚以上のＬ画像に基づいて動き検出を行ってもよい。また、動き検出部１０８は、Ｈ画像も利用して動き検出を行ってもよい。

図８は、第１の実施形態に係る動き検出処理及びＨＤＲ画像生成処理を示すフローチャートである。Ｓ８０１で、撮像装置１００の全体制御・演算部１０６は、撮像制御部１０５を制御することにより、１枚のＨ画像及び２枚のＬ画像を取得する。Ｓ８０２で、動き検出部１０８は、Ｓ８０１で取得した２枚のＬ画像を比較することにより、被写体の動きを検出する。Ｓ８０３で、全体制御・演算部１０６は、Ｓ８０１で取得した１枚のＨ画像と２枚のＬ画像のうちの１枚（又は両方）とを、Ｓ８０２で検出された被写体の動きに基づいて合成することにより、ＨＤＲ画像を生成する。こうして、動き検出処理及びＨＤＲ画像生成処理が完了する。

以上説明したように、本実施形態によれば、撮像装置１００は、撮像素子の所定の画素群を用いてＨ画像が取得されるタイミングで他の画素群を用いて取得される２枚のＬ画像に基づき、被写体の動きを検出する。従って、本実施形態によれば、このように取得された２枚のＬ画像が動き検出に活用される。

なお、本実施形態では、Ｈ画像とＬ画像の露出差は露光時間差によるものとして説明したが、光量調整部１０２、又は、撮像制御部１０５を用いた増幅手段等を組み合わせて露出差を生じさせてもよい。

［第２の実施形態］
第１の実施形態では、同一面内でのＨＤＲ画像の生成が行われた。この場合、Ｈ画像及びＬ画像の取得タイミングの差が縮小するため、被写体に動きがある場合の画質の低下を抑制することができる。しかしながら、Ｈ画像及びＬ画像はそれぞれ撮像素子の異なる画素群から取得されるため、高周波の被写体に対しては、画質が低下する問題がある。そのため、動きの少ない被写体を撮影する際には、同じ画素群を用いて時間的に連続してＨ画像及びＬ画像を取得してＨＤＲ画像を生成した方が、画質の低下を抑制できる場合がある。そこで、第２の実施形態では、被写体の動きの程度に応じてＨＤＲ画像の生成の基となる画像を切り替える構成について説明する。なお、第２の実施形態において、撮像装置１００の基本的な構成等は第１の実施形態と同様である（図１参照）。以下、主に第１の実施形態と異なる点について説明する。

図９は、第２の実施形態において、撮像装置１００を用いてＨＤＲ画像を取得する際のタイミングチャートである。第１の実施形態と同様、撮像部１０３の撮像素子は、Ｌ画像取得用とＨ画像取得用の露出条件を２行周期で設定することができる。そして、撮影動作自体は、全体制御・演算部１０６が生成する１／６０秒毎の垂直同期信号によって、６０ｆｐｓの撮影周期で行われる。それぞれの行で所定の露光時間が終了すると、撮像素子から出力された撮影画像は、一時記録部１０７に一時的に記憶される。

第２の実施形態では、第１の実施形態と異なり、Ｌ画像取得用の行とＨ画像取得用の行は、垂直同期信号が発生するたびに入れ替わる。従って、撮像装置１００は、Ｈ画像の取得後に、このＨ画像を生成した画素群（第１の画素群）を用いて３枚目のＬ画像（第３の低露出画像）及び４枚目のＬ画像を取得する。３枚目のＬ画像の露光期間（第４の露光時間）は、１枚目、２枚目、及び４枚目のＬ画像の露光期間と同じであってもよいし、異なっていてもよい。

動き検出用のＬ画像が所定枚数揃うと、動き検出部１０８は、被写体の動きを検出する。そして、全体制御・演算部１０６は、動き検出部１０８における検出結果を用いて、Ｈ画像と合成するＬ画像を選択する。具体的には、全体制御・演算部１０６は、Ｈ画像を取得した際の同一の垂直同期信号内で取得したＬ画像（１枚目又は２枚目のＬ画像）、又は、その次の垂直同期信号内で取得するＬ画像（３枚目又は４枚目のＬ画像）を選択する。

図１０は、動き検出結果を用いてＨＤＲ画像を作成する基となる画像を選択する処理を示すフローチャートである。Ｓ１００１で、動き検出部１０８は、動き検出対象のＬ画像（Ｌ−１１及びＬ−１２）を、図１１に示すように複数のブロックに分割する。Ｓ１００２で、動き検出部１０８は、動きのあるブロックをカウントするためのカウンタである変数Ｓを０に初期化する。Ｓ１００３で、動き検出部１０８は、１つ目のブロック（例えば、図１１の左上のブロック）について、動きの有無を判定する。Ｓ１００３の判定は、例えば第１の実施形態で説明した式（１）に従って行うことができる（但し、DiffはＬ画像全体ではなく処理対象ブロックのみに関する差分となる）。動きが検出された場合、Ｓ１００４で、動き検出部１０８は、Ｓに１を加える。Ｓ１００５で、動き検出部１０８は、全てのブロックについて処理が完了したか否かを判定し、完了していなければ、処理はＳ１００３に戻って次のブロックが処理される。換言すると、動き検出部１０８は、動き検出対象のＬ画像（Ｌ−１１及びＬ−１２）を所定サイズのブロック単位で比較することにより各ブロックにおける被写体の動きを検出する。

Ｓ１００６で、全体制御・演算部１０６は、カウント結果（Ｓ）が所定の閾値（Ｓｔｈ）以上であるか否かを判定する。Ｓ≧Ｓｔｈであれば、処理はＳ１００７に進み、そうでなければ（即ち、被写体の動きが検出されたブロックの数が閾値未満であれば）、処理はＳ１００８に進む。

Ｓ１００７で、全体制御・演算部１０６は、合成対象画像として、１枚目のＨ画像（Ｈ−１）と、このＨ画像を取得した際の同一の垂直同期信号内で取得したＬ画像（Ｌ−１１）を選択する。従って、Ｓ≧Ｓｔｈの場合（即ち、被写体の動きが大きい場合）、面内でのＨＤＲ画像生成処理が行われる。

一方、Ｓ１００８では、全体制御・演算部１０６は、合成対象画像として、１枚目のＨ画像（Ｈ−１）と、その次の垂直同期信号内で取得するＬ画像（Ｌ−２１）を選択する。従って、Ｓ＜Ｓｔｈの場合（即ち、被写体の動きが小さいか検出されない場合）、面間でのＨＤＲ画像生成処理が行われる。

なお、Ｌ画像の選択については、第１の実施形態と同様、Ｓ１００７ではＬ−１２を選択してもよいし、Ｌ−１１及びＬ−１２の両方を選択してもよい。Ｓ１００８でも同様である。

以上説明したように、本実施形態によれば、撮像装置１００は、被写体の動き検出結果に応じて、ＨＤＲ画像生成処理を面内で行うか面間で行うかを切り替える。これにより、ＨＤＲ画像の画質を向上させることができる。なお、図１０の選択処理は一例に過ぎず、例えば、撮像装置１００は、少しでも被写体の動きが存在する場合は面内でＨＤＲ画像生成処理を行ってもよい。

なお、撮像装置１００は、ＨＤＲ画像生成処理を面内で行うか面間で行うかをブロック単位で選択してもよい。この場合、例えば、動きが検出されたブロックについては１枚目のＬ画像（Ｌ−１１）の対応するブロックが、動きが検出されなかったブロックについては３枚目のＬ画像（Ｌ−２１）の対応するブロックが、それぞれＨ画像（Ｈ−１）に対して合成される。

●変形例
被写体の動き検出結果に応じてＨＤＲ画像生成処理を面内で行うか面間で行うかを切り替える代わりに、各Ｌ画像の合成比率を変化させてもよい。例えば、撮像装置１００は、図１２に示すように、４枚のＬ画像を加重平均して合成することによって１枚の合成用Ｌ画像（合成画像）を生成し、これをＨ画像と合成してもよい。各Ｌ画像の重み係数（α、β、γ、θ）は、動き検出処理によって求められたＳ（動きのあるブロックの数）及びＶ（動きの方向）の関数である。この関数は、例えば、被写体の動きが大きいほどα及びβの値が大きくなるように設計される。

なお、本変形例において、撮像装置１００は、４枚のＬ画像全てを合成する必要は無く、例えば、１枚目のＬ画像（Ｌ−１１）及び３枚目のＬ画像（Ｌ−２１）から合成用Ｌ画像を生成してもよい。

［第３の実施形態］
第１及び第２の実施形態では、ＨＤＲ画像生成処理を面内で行う場合、複数のＬ画像のうちのいずれをＨ画像と合成してもよいものとして説明を行った。しかしながら、被写体に動きがある場合、複数のＬ画像はそれぞれ異なるため、どのＬ画像をＨ画像と合成するかに応じて、ＨＤＲ画像の画質が変化する。そこで、第３の実施形態では、ＨＤＲ画像生成処理を面内で行う場合にＨＤＲ画像の画質を向上させるように合成対象のＬ画像を選択する構成について説明する。なお、第３の実施形態において、撮像装置１００の基本的な構成等は第１及び第２の実施形態と同様である（図１参照）。以下、主に第１及び第２の実施形態と異なる点について説明する。

図１３は、第１の実施形態において、撮像装置１００を用いてＨＤＲ画像を取得する際のタイミングチャートである。第１の実施形態と同様、撮像部１０３の撮像素子は、Ｌ画像取得用とＨ画像取得用のそれぞれ露出条件を２行周期で設定することができる。そして、撮影動作自体は全体制御・演算部１０６が生成する１／６０秒毎の垂直同期信号によって、６０ｆｐｓの撮影周期で行われる。それぞれの行で所定の露光時間が終了すると、撮像素子から出力された撮影画像は、一時記録部１０７に一時的に記憶される。

本実施形態では、１枚のＨ画像が取得されるタイミングで、３枚のＬ画像（Ｌ−１１、Ｌ−１２、Ｌ−１３）が取得されるものとする。３枚目のＬ画像（第４の低露出画像）は、Ｈ画像の露光時間よりも短い所定の露光時間（第５の露光時間）の撮像により取得される。そして、動き検出用のＬ画像が所定枚数揃うと、動き検出部１０８は、被写体の動きを検出する。具体的には、動き検出部１０８は、Ｌ−１１とＬ−１２との間、及び、Ｌ−１２とＬ−１３との間それぞれについて、動きのあるブロックの数Ｓ、及び移動方向Ｖを検出する。

図１４は、第３の実施形態に係る、動き検出結果を用いてＨＤＲ画像を作成する基となる画像を選択する処理を示すフローチャートである。Ｓ１４０１及びＳ１４０２で、動き検出部１０８は、１枚目のＬ画像（Ｌ−１１）と２枚目のＬ画像（Ｌ−１２）との間の動きを検出し、動きのあるブロック数Ｓ１２及び移動方向Ｖ１２（図７のＡ〜Ｈのいずれか）を算出する。その後、Ｓ１４０３及びＳ１４０４で、動き検出部１０８は、２枚目のＬ画像（Ｌ−１２）と３枚目のＬ画像（Ｌ−１３）との間の動きを検出し、動きのあるブロック数Ｓ２３及び移動方向Ｖ２３（図７のＡ〜Ｈのいずれか）を算出する。

Ｓ１４０５及びＳ１４０６で、全体制御・演算部１０６は、Ｓ１２及びＳ２３が所定の閾値（Ｓｔｈ）以上であるか否かを判定する。Ｓ１２及びＳ２３の少なくとも一方がＳｔｈ未満の場合、少なくとも、Ｌ−１１とＬ−１２との間、及びＬ−１２とＬ−１３との間のいずれかには被写体の動きが存在しない。この場合、処理はＳ１４０９に進み、全体制御・演算部１０６は、３枚のＬ画像の中で時間的な中間に近いＬ−１２を合成対象のＬ画像として選択する。

Ｓ１２及びＳ２３がＳｔｈ以上の場合、各Ｌ画像を取得した間に被写体が動き続けている。この場合、全体制御・演算部１０６は、各Ｌ画像間の移動方向に基づき、ＨＤＲ合成用のＬ画像を選択する。具体的には、Ｓ１４０７で、全体制御・演算部１０６は、Ｖ１２＝Ｖ２３であるか否かを判定する。Ｖ１２＝Ｖ２３である場合、図１５（ａ）に示すように、被写体が一定方向に動いている。この場合、処理はＳ１４０９に進み、全体制御・演算部１０６は、３枚のＬ画像の中で時間的な中間に近いＬ−１２を合成対象のＬ画像として選択する。

Ｖ１２＝Ｖ２３でない場合（Ｖ１２≠Ｖ２３の場合）、Ｓ１４０８で、全体制御・演算部１０６は、Ｖ１２＝（−Ｖ２３）であるか否かを判定する。Ｖ１２＝（−Ｖ２３）でない場合（Ｖ１２とＶ２３とが逆方向ではない場合）、被写体の移動方向は一定方向ではない。この場合、処理はＳ１４０９に進み、全体制御・演算部１０６は、３枚のＬ画像の中で時間的な中間に近いＬ−１２を合成対象のＬ画像として選択する。

Ｖ１２＝（−Ｖ２３）である場合、図１５（ｂ）に示すように、被写体の移動方向は途中で反転している。この場合、Ｓ１４１０で、全体制御・演算部１０６は、Ｓ１２＜Ｓ２３であるか否かを判定する。Ｓ１２＜Ｓ２３である場合、処理はＳ１４１１に進み、全体制御・演算部１０６は、合成対象のＬ画像としてＬ−１１を選択する。Ｓ１２＜Ｓ２３でない場合、処理はＳ１４１２に進み、全体制御・演算部１０６は、合成対象のＬ画像としてＬ−１３を選択する。

なお、Ｓ１４０５乃至Ｓ１４１０の条件分岐は一例に過ぎず、これとは異なる条件でＬ画像を選択してもよい。例えば、Ｓ１４０８においてＶ１２≠（−Ｖ２３）であったとしても、（Ｖ１２＝Ｃ又はＥ又はＨ）且つ（Ｖ２３＝Ａ又はＤ又はＦ）（図７参照）の場合（即ち、Ｘ座標の移動方向が反転した場合）は、処理はＳ１４１０へ進んでもよい。

以上説明したように、本実施形態によれば、撮像装置１００は、ＨＤＲ画像生成処理を面内で行う場合に、動き検出結果に応じて合成対象のＬ画像を選択する。これにより、ＨＤＲ画像の画質を向上させることができる。

なお、本実施形態の構成は、面間のＬ画像又はＨ画像を合成対象とする場合に適用してもよい。また、動き検出は、Ｌ画像同士だけではなく、複数のＬ画像に対してＨ画像も組み合わせて行ってもよい。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (2)

1. 被写体を撮像する撮像手段と、
   １フレーム期間内に、前記撮像手段の第１の画素群を用いて第１の露光時間の撮像を行うことにより高露出画像を取得するとともに、前記撮像手段の第２の画素群を用いて前記第１の露光時間よりも短い露光時間の撮像を複数回行うことにより複数の低露出画像を取得する撮像制御手段と、
   前記複数の低露出画像を比較することにより撮影間の被写体の動きの大きさと方向を検出する検出手段と、
   前記高露出画像と、前記検出手段による検出結果に基づいて前記複数の低露出画像から選択された１の低露出画像を合成することにより、ハイダナミックレンジ（ＨＤＲ）画像を生成する生成手段と、を備え、
   前記生成手段は、前記検出手段によって前記撮影間の前記被写体の動きの方向が反転したことが検出された場合は、反転の前後における前記被写体の動きの大きさに応じて、合成に用いる低露出画像を選択することを特徴とする撮像装置。
2. 被写体を撮像する撮像手段を備える撮像装置の制御方法であって、
   前記撮像装置の撮像制御手段が、１フレーム期間内に、前記撮像手段の第１の画素群を用いて第１の露光時間の撮像を行うことにより高露出画像を取得するとともに、前記撮像手段の第２の画素群を用いて前記第１の露光時間よりも短い露光時間の撮像を複数回行うことにより複数の低露出画像を取得する撮像制御工程と、
   前記撮像装置の検出手段が、前記複数の低露出画像を比較することにより撮影間の被写体の動きの大きさと方向を検出する検出工程と、
   前記撮像装置の生成手段が、前記高露出画像と、前記検出手段による検出結果に基づいて前記複数の低露出画像から選択された１の低露出画像を合成することにより、ハイダイナミックレンジ（ＨＤＲ）画像を生成する生成工程と、
   を備え、
   前記生成工程では、前記検出手段によって前記撮影間の前記被写体の動きの方向が反転したことが検出された場合は、反転の前後における前記被写体の動きの大きさに応じて、合成に用いる低露出画像を選択することを特徴とする制御方法。

Images