JPWO2019187901A1 - 撮像装置、撮像方法、およびプログラム - Google Patents

Abstract

露光時間の制御により異なる露光量の画像を合成して広ダイナミックレンジの画像を得る場合に、動体の動きが自然な広ダイナミックレンジの動画を得ることができる撮像装置、撮像方法、及びプログラムを提供する。撮像装置（１）は、撮像部と、第１の露光時間および第２の露光時間を設定する露光時間設定部と、少なくとも第１の露光時間の１フレームの露光と第２の露光時間のｍフレーム分の露光とを１セットにして繰り返し露光制御する露光制御部と、各フレームの画像データを取得する画像データ取得部（１０５）と、平均フレームの画像データを生成する画像データ生成部（１０７）と、第１の露光時間の１フレームの画像データと平均フレームの画像データとを使用してダイナミックレンジを拡大した合成フレームを生成する合成フレーム生成部（１０９）と、を備える。

Description

本発明は、撮像装置、撮像方法、およびプログラムに関し、特にダイナミックレンジの拡大処理が行われた動画を取得する技術に関する。

デジタルカメラなどでダイナミックレンジの広い被写体（またはシーン）について撮像画像を取得すると、ハイライト部分の白飛びやシャドウ部分の黒つぶれが発生することがある。この白飛びや黒つぶれを抑制し、被写体の持つダイナミックレンジをより広く表現させる方法の１つとして、ダイナミックレンジ拡大処理（ＨＤＲ処理：High-dynamic-range）がある。

例えば特許文献１には、長時間露光画像および短時間露光画像を合成して、広ダイナミックレンジ（拡大されたダイナミックレンジ）の動画を得る技術が記載されている。特許文献１に記載された技術では、長時間露光が終了した後に短時間露光が開始するまでのブランク期間（露光間隔）と、短時間露光が終了した後に長時間露光が開始するまでのブランク期間とが異なることによる動画における動体の動きの不自然さを解消することを目的とし、上述の２つのブランク期間を等しくする技術が記載されている。

特開２０１１−２５９３７５号公報

ここで、広ダイナミックレンジの合成画像を得るには、露光量の異なる複数の画像を得る必要がある。異なる露光量の画像を得る方法としては、例えば感度を異ならせる手法と露光時間を異ならせる手法とがある。

感度を異ならせる手法においては、露光量多（露光量が多い）の画像は高感度で、露光量少（露光量が少ない）の画像は低感度で画像を取得することにより、異なる露光量の画像データを得る。この手法では、露光量多と露光量少との露光時間が等しく、シャドウ部とハイライト部の動き量が等しくなる。しかしながら、カメラで実現可能な感度には限界があるため、明るいシーンでは露光量少の画像を得るための低感度撮影が実行不可能な場合がある。例えば、露光量多の画像をＩＳＯ感度１００で撮像し、露光量少の画像をＩＳＯ感度５０で撮像して、異なる露光量の画像を得る場合に、ＩＳＯ感度を５０以下に下げることができないカメラを使用していると、露光量少の画像を得ることができない。

一方で、露光時間を異ならせる手法では、露光量少の画像を得るためには露光時間を短くすればよく、露光量少の画像を明るいシーンであっても取得することができる。しかしながら、露光量多の画像と露光量少の画像とでは露光時間が異なるため、シャドウ部とハイライト部の動体の動き量が異なり不自然になる。例えば、露光量多に対して露光量少の露光差が１Ｅｖである場合には、露光量多に対して露光量少は露光時間が１／２である。動体を撮影した場合には、露光量多（シャドウ部）の動き量に対して、露光量少（ハイライト部）の動き量が１／２になる。これにより、露光量多の画像と露光量少の画像とを合成した広ダイナミックレンジの画像では、シャドウ部とハイライト部の動体の動き量が異なり不自然となってしまう。

本発明はこのような事情に鑑みてなされたもので、その目的は、露光時間の制御により異なる露光量の画像を合成して広ダイナミックレンジの画像を得る場合に、動体の動きが自然な広ダイナミックレンジの動画を得ることができる撮像装置、撮像方法、およびプログラムを提供することである。

上記目的を達成するための本発明の一の態様である撮像装置は、撮像部と、第１の露光時間と第１の露光時間よりも短い第２の露光時間とを設定する露光時間設定部であって、ｍを２以上の整数とすると、第２の露光時間は第１の露光時間を整数ｍで除算した露光時間であり、第１の露光時間および第２の露光時間を設定する露光時間設定部と、撮像部により連続して撮像される各フレームの露光を制御する露光制御部であって、少なくとも第１の露光時間の１フレームの露光と第２の露光時間のｍフレーム分の露光とを１セットにして繰り返し露光制御する露光制御部と、露光が制御された撮像部から各フレームの画像データを取得する画像データ取得部と、１セット内の第２の露光時間のｍフレーム分の画像データの平均である平均フレームの画像データを生成する画像データ生成部と、第１の露光時間の１フレームの画像データと平均フレームの画像データとを使用してダイナミックレンジを拡大した動画記録用または動画表示用の合成フレームを生成する合成フレーム生成部と、を備える。

本態様によれば、画像データ生成部により、１セット内の第２の露光時間のｍフレーム分の画像データの平均である平均フレームの画像データが生成され、合成フレーム生成部により、第１の露光時間の１フレームの画像データと平均フレームの画像データとを使用してダイナミックレンジを拡大した動画記録用または動画表示用の合成フレームが生成される。これにより、本態様では、第１の露光時間と露光時間は同じであるが、第１の露光時間の１フレームより露光量が少ない平均フレームを使用して合成フレームを生成するので、シャドウ部とハイライト部との動体の動き量が等しく、動体の動きが自然な合成フレームを生成することができる。

好ましくは、撮像装置は、第１の露光時間の１フレームの画像データおよび第２の露光時間の１フレームの画像データのうち少なくとも一方において、白飛び画素の割合を算出する白飛び割合算出部を備え、露光時間設定部は、白飛び画素の割合に基づいて、次のセットにおいて整数ｍに対して増加変更または減少変更を行う。

本態様によれば、白飛び割合算出部により、第１の露光時間の１フレームの画像データおよび第２の露光時間の１フレームの画像データのうち少なくとも一方において、白飛び画素の割合が算出され、露光時間設定部により、白飛び画素の割合に基づいて、次のセットにおいて整数ｍに対して増加変更または減少変更される。これにより、本態様は、撮像される画像における白飛び画素の割合に応じて整数ｍが変更されるので、撮像されるシーンの明るさに基づいた第２の露光時間が決定され、撮像されるシーンに適切な平均フレームを生成することができる。

好ましくは、露光時間設定部は、白飛び画素の割合が所定の閾値以上の場合には、次のセットにおいて整数ｍに対して増加変更を行い、白飛び画素の割合が所定の閾値以下の場合には、次のセットにおいて整数ｍに対して減少変更を行う。

本態様によれば、露光時間設定部により、白飛び画素の割合が所定の閾値以上の場合には、次のセットにおいて整数ｍに対して増加変更が行われ、白飛び画素の割合が所定の閾値以下の場合には、次のセットにおいて整数ｍに対して減少変更が行われる。これにより、本態様は、整数ｍを適切に変更することができ、撮像されるシーンに適切な平均フレームを生成することができる。

好ましくは、露光時間設定部は、白飛び画素の割合が第１の閾値以上の場合には増加変更を行い、次のセットにおいて第２の露光時間は第１の露光時間を整数ｍ＋１で除算した露光時間とし、白飛び画素の割合が第２の閾値以下の場合には減少変更を行い、次のセットにおいて第２の露光時間は第１の露光時間を整数ｍ−１で除算した露光時間とする。

本態様によれば、露光時間設定部により、白飛び画素の割合が第１の閾値以上の場合には増加変更を行い、次のセットにおいて第２の露光時間は第１の露光時間を整数ｍ＋１で除算した露光時間とし、白飛び画素の割合が第２の閾値以下の場合には減少変更を行い、次のセットにおいて第２の露光時間は第１の露光時間を整数ｍ−１で除算した露光時間とされる。これにより、本態様は、白飛び画素の割合が多い場合には、次のセットにおいては第２の露光時間が短くなるように整数ｍに増加変更が行われ、白飛び画素の割合が少ない場合には、次のセットにおいては第２の露光時間が長くなるように整数ｍに減少変更が行われる。

好ましくは、撮像装置は、減少変更が行われる場合に、減少変更が行われる前の第２の露光時間の１フレームの画像データに確認画像用デジタルゲインをかけて、白飛び確認画像データを生成する確認画像データ生成部を備え、白飛び割合算出部は、白飛び確認画像データの白飛び画素の割合を算出し、露光時間設定部は、白飛び確認画像データの白飛び画素の割合が第３の閾値以下の場合には、減少変更を行う。

本態様によれば、確認画像データ生成部により、減少変更が行われる場合に、減少変更が行われる前の第２の露光時間の１フレームの画像データに確認画像用デジタルゲインをかけて、白飛び確認画像データが生成され、露光時間設定部により、白飛び確認画像データの白飛び画素の割合が第３の閾値以下の場合には、減少変更が行われる。これにより、本態様は、整数ｍの減少変更後の白飛び画素の割合が白飛び確認画像データにより確認されてから、減少変更が行われるので、減少変更と増加変更とが繰り返し行われることによるダイナミックレンジの変動のふらつきが抑制される。

好ましくは、確認画像データ生成部は、第２の露光時間の１フレームの画像データにｍ／（ｍ−１）倍の確認画像用デジタルゲインをかけて白飛び確認画像データを生成し、露光時間設定部は、白飛び確認画像データの白飛び画素の割合が第３の閾値以下の場合には、次のセットの第２の露光時間は第１の露光時間を整数ｍ−１で除算した露光時間とする。

本態様によれば、確認画像データ生成部により、第２の露光時間の１フレームの画像データにｍ／（ｍ−１）倍の確認画像用デジタルゲインをかけて白飛び確認画像データが生成され、露光時間設定部により、白飛び確認画像データの白飛び画素の割合が第３の閾値以下の場合には、次のセットの第２の露光時間は第１の露光時間を整数ｍ−１で除算した露光時間とされる。これにより、本態様は、整数ｍを整数ｍ−１とする場合に、より正確な白飛び確認画像データが生成されるので、ダイナミックレンジの変動のふらつきを適切に抑制することができる。

好ましくは、撮像装置は、露光時間設定部により増加変更された場合に、増加変更された後の平均フレームの画像データに第１のゲインアップ処理をして第１のゲインアップ画像データを生成する第１のゲインアップ画像データ生成部であって、動画記録用または動画表示用のフレームレートに沿って第１のゲインアップ処理の第１のデジタルゲインが段階的に小さくなった、第１のゲインアップ画像データを生成する第１のゲインアップ画像データ生成部を備え、合成フレーム生成部は、第１のゲインアップ画像データを平均フレームの画像データとして、合成フレームを生成する。

本態様によれば、第１のゲインアップ画像データ生成部により、動画記録用または動画表示用のフレームレートに沿って第１のゲインアップ処理の第１のデジタルゲインが段階的に小さくなった、第１のゲインアップ画像データが生成され、合成フレーム生成部により、第１のゲインアップ画像データを平均フレームの画像データとして、合成フレームが生成される。これにより、本態様は、滑らかにダイナミックレンジを変更させることができる。

好ましくは、第１のゲインアップ画像データ生成部は、整数ｍ＿ａから整数ｍ＿ｂに増加変更する場合には、第１のデジタルゲインをｍ＿ｂ／ｍ＿ａ倍から１倍へ段階的に小さくする。

本態様によれば、第１のゲインアップ画像データ生成部により、整数ｍ＿ａから整数ｍ＿ｂに増加変更する場合には、第１のデジタルゲインをｍ＿ｂ／ｍ＿ａ倍から１倍へ段階的に小さくされる。これにより、本態様は、第１のデジタルゲインが段階的に小さくされて第１のゲインアップ画像データが生成されるので、より滑らかなダイナミックレンジの変更を行うことができる。

好ましくは、撮像装置は、露光時間設定部により減少変更された場合に、減少変更される前の平均フレームの画像データに第２のゲインアップ処理をして第２のゲインアップ画像データを生成する第２のゲインアップ画像データ生成部であって、動画記録用または動画表示用のフレームレートに沿って、第２のゲインアップ処理の第２のデジタルゲインが段階的に大きくなった第２のゲインアップ画像データを生成する第２のゲインアップ画像データ生成部を備え、合成フレーム生成部は、第２のゲインアップ画像データを平均フレームの画像データとして、合成フレームを生成する。

本態様によれば、第２のゲインアップ画像データ生成部により、動画記録用または動画表示用のフレームレートに沿って第２のゲインアップ処理の第１のデジタルゲインが段階的に大きくなった第２のゲインアップ画像データが生成され、合成フレーム生成部により、第２のゲインアップ画像データを平均フレームの画像データとして、合成フレームが生成される。これにより、本態様は、滑らかにダイナミックレンジを変更させることができる。

好ましくは、第２のゲインアップ画像データ生成部は、整数ｍ＿ｃから整数ｍ＿ｄに減少変更する場合には、第２のデジタルゲインは１倍からｍ＿ｃ／ｍ＿ｄ倍へ段階的に第２のデジタルゲインを大きくする。

本態様によれば、第２のゲインアップ画像データ生成部により、整数ｍ＿ｃから整数ｍ＿ｄに減少変更する場合には、第２のデジタルゲインは１倍からｍ＿ｃ／ｍ＿ｄ倍へ段階的に第２のデジタルゲインが大きくされる。これにより、本態様は、第２のデジタルゲインが段階的に大きくされて第２のゲインアップ画像データが生成されるので、より滑らかなダイナミックレンジの変動を行うことができる。

本発明の他の態様である撮像方法は、第１の露光時間と第１の露光時間よりも短い第２の露光時間とを設定する露光時間設定ステップであって、ｍを２以上の整数とすると、第２の露光時間は第１の露光時間を整数ｍで除算した露光時間であり、第１の露光時間および第２の露光時間を設定する露光時間設定ステップと、撮像部により連続して撮像される各フレームの露光を制御する露光制御ステップであって、少なくとも第１の露光時間の１フレームの露光と第２の露光時間のｍフレーム分の露光とを１セットにして繰り返し露光制御する露光制御ステップと、露光が制御された撮像部から各フレームの画像データを取得する画像データ取得ステップと、１セット内の第２の露光時間のｍフレーム分の画像データの平均である平均フレームの画像データを生成する画像データ生成ステップと、第１の露光時間の１フレームの画像データと平均フレームの画像データとを使用してダイナミックレンジを拡大した動画記録用または動画表示用の合成フレームを生成する合成フレーム生成ステップと、を含む。

本発明の他の態様であるプログラムは、第１の露光時間と第１の露光時間よりも短い第２の露光時間とを設定する露光時間設定ステップであって、ｍを２以上の整数とすると、第２の露光時間は第１の露光時間を整数ｍで除算した露光時間であり、第１の露光時間および第２の露光時間を設定する露光時間設定ステップと、撮像部により連続して撮像される各フレームの露光を制御する露光制御ステップであって、少なくとも第１の露光時間の１フレームの露光と第２の露光時間のｍフレーム分の露光とを１セットにして繰り返し露光制御する露光制御ステップと、露光が制御された撮像部から各フレームの画像データを取得する画像データ取得ステップと、１セット内の第２の露光時間のｍフレーム分の画像データの平均である平均フレームの画像データを生成する画像データ生成ステップと、第１の露光時間の１フレームの画像データと平均フレームの画像データとを使用してダイナミックレンジを拡大した動画記録用または動画表示用の合成フレームを生成する合成フレーム生成ステップと、を含む撮像方法をコンピュータに実行させる。

本発明によれば、画像データ生成部により、１セット内の第２の露光時間のｍフレーム分の画像データの平均である平均フレームの画像データが生成され、合成フレーム生成部により、第１の露光時間の１フレームの画像データと平均フレームの画像データとを使用してダイナミックレンジを拡大した動画記録用または動画表示用の合成フレームが生成されるので、第１の露光時間と露光時間は同じであるが、第１の露光時間の１フレームより露光量が少ない平均フレームを使用して合成フレームを生成し、シャドウ部とハイライト部との動体の動き量が等しく、動体の動きが自然な合成フレームを生成することができる。

図１は、撮像装置の制御処理系を示すブロック図である。 図２は、露光時間の設定および露光制御に関連する機能構成例を示すブロック図である。 図３は、画像処理部の機能構成例を示すブロック図である。 図４は、従来の露光時間の設定手法に関して説明する図である。 図５は、本実施形態の合成フレームを構成する被合成フレームの露光に関して説明する図である。 図６は、図５で説明した撮像が撮像装置で行われる工程を示すフロー図である。 図７は、画像処理部の機能構成例を示すブロック図である。 図８は、撮像装置の動作の工程を示すフロー図である。 図９は、画像処理部の機能構成例を示すブロック図である。 図１０は、撮像装置の動作の工程を示すフロー図である。 図１１は、画像処理部の機能構成例を示すブロック図である。 図１２は、第１のゲインアップ画像データと、ダイナミックレンジの変動に関して説明する図である。 図１３は、ダイナミックレンジの変動をまとめた図である。 図１４は、画像処理部の機能構成例を示すブロック図である。 図１５は、第２のゲインアップ画像データと、ダイナミックレンジの変動に関して説明する図である。 図１６は、ダイナミックレンジの変動をまとめた図である。

以下、添付図面に従って本発明にかかる撮像装置、撮像方法、およびプログラムの好ましい実施の形態について説明する。

図１は、撮像装置１の制御処理系を示すブロック図である。

被写体光は、レンズ１２、絞り１４、メカニカルシャッタ２０を通過し、撮像素子（撮像部）２１によって受光される。レンズ１２は、撮像レンズおよび絞り１４を含む撮像光学系によって構成される。

撮像素子２１は、被写体像を受光して撮像信号（画像データ）を生成する素子であり、ＲＧＢ（赤緑青）等のカラーフィルタと、光学像を電気信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサとを有する。撮像素子２１から出力される画像データは、プロセス処理部２２でＡＧＣ（Automatic Gain Control）回路等によってプロセス処理が施され、その後、ＡＤ（Analog Digital)変換部２３によってアナログ形式の画像データがデジタル形式の画像データに変換される。デジタル化された画像データはメインメモリ２４に保存される。

メインメモリ２４は、画像データを一時的に記憶する領域であり、ＤＲＡＭ（Dynamic Random Access Memory）等によって構成される。ＡＤ変換部２３から送られてきてメインメモリ２４に蓄えられた画像データは、システム制御部２５により制御される画像処理部３１によって読み出される。

画像処理部３１は、撮像素子２１が生成する画像データを入力画像データとして使用し、ホワイトバランス補正、ガンマ補正処理およびデモザイク処理等の各種の画像処理を行い、画像処理後の画像データを再びメインメモリ２４に保存する。

また、画像処理部３１は、ダイナミックレンジを拡大した合成フレームを生成する。画像処理部３１の詳しい構成に関しては後で詳述する。

なお、ダイナミックレンジの拡大処理を行った合成フレームを以下では「合成フレーム」と記載する。また、広ダイナミックレンジの合成フレームを構成するフレームを「被合成フレーム」と記載する。

画像処理部３１において画像処理が施されてメインメモリ２４に保存された画像データは、表示制御部３５および圧縮伸張部３２によって読み出される。表示制御部３５は表示部８を制御し、メインメモリ２４から読み出した画像データを表示部８に表示させる。このように、撮像素子２１から出力され画像処理部３１において画像処理を受けた画像データは、撮像確認画像（ポストビュー画像）として表示部８に表示される。

一方、圧縮伸張部３２は、メインメモリ２４から読み出した画像データの圧縮処理を行って、ＪＰＥＧ(Joint Photographic Experts Group)やＴＩＦＦ(Tagged Image File Format)等の任意の圧縮形式の画像データを作成する。圧縮処理後の画像データは、外部メモリ１０へのデータ記憶処理および外部メモリ１０からのデータ読み出し処理をコントロールする記憶制御部３３によって、外部メモリ１０に記憶される。撮像情報は任意のフォーマットで画像データに付加され、例えばＥｘｉｆ(Exchangeable image file format)形式を採用可能である。

撮像装置１のＡＦ処理機能は、シャッタボタンの第１段階の押下（半押し）があると、半押し時に取り込まれるＡＦエリアに対応する画像データの高周波成分の絶対値を積算し、この積算した値（ＡＦ評価値）をシステム制御部２５に出力する。

ＡＥ検出機能は、シャッタボタンの第１段階の押下（半押し）があると、画面全体に対応するデジタル信号を積算し、または画面中央部と周辺部とで異なる重みづけをした画像データを積算し、その積算値をシステム制御部２５に出力する。

システム制御部２５は、上述のようにメインメモリ２４、画像処理部３１および記憶制御部３３をコントロールするが、撮像装置１における他の各部（ＡＦ処理機能、ＡＥ検出機能）もコントロールする。

システム制御部２５は、オート撮影モード時にシャッタボタンが半押しされると、ＡＥ検出機能を動作させる。ＡＥ検出機能により入力される積算値より被写体輝度（撮像Ｅｖ値）を算出し、この撮像Ｅｖ値に基づいて絞り駆動部２８を介して絞り１４の絞り値およびシャッタ速度（メカニカルシャッタ２０および／または撮像素子２１の電荷蓄積時間）をプログラム線図にしたがって決定する。

シャッタボタンが全押しされると、決定した絞り値に基づいて絞り１４を制御するとともに、決定したシャッタ速度に基づいてシャッタ駆動部２７を介してメカニカルシャッタ２０を制御する。なお、撮像素子２１の電荷蓄積時間は、センサ駆動部２６により制御される。

システム制御部２５は、オート撮影モード時にシャッタボタンが半押しされると、レンズ駆動部２９を介してレンズ１２のフォーカスレンズを至近から無限遠側に移動させるとともに、ＡＦ処理機能を動作させて各レンズ位置におけるＡＦ評価値をＡＦ処理機能から取得する。そして、ＡＦ評価値が最大となる合焦位置をサーチし、その合焦位置にフォーカスレンズを移動させることにより、被写体への焦点調節を行う。システム制御部２５は、フォーカスレンズの移動位置に基づいて合焦位置に関する情報を取得する。

またシステム制御部２５は、シャッタボタン、電源スイッチおよび操作部を含むユーザインタフェース３６からの操作信号を取得し、操作信号に応じた各種の処理およびデバイス制御を行う。

システム制御部２５で行われる各種の処理およびデバイス制御に必要なプログラムやデータ類は、メインメモリ２４に記憶されている。システム制御部２５は、必要に応じて、制御メモリ３０に記憶されているプログラムやデータ類を読み出すことができ、また、新たなプログラムやデータ類を制御メモリ３０に保存することができる。

次に、本発明の露光時間の設定および露光制御に関して説明する。図２は、露光時間の設定および露光制御に関連する機能構成例を示すブロック図である。

システム制御部２５は露光時間設定部１０１を含む。露光時間設定部１０１は、第１の露光時間と第１の露光時間よりも短い第２の露光時間とを設定する露光時間設定部１０１であって、ｍを２以上の整数とすると、第２の露光時間は、第１の露光時間を整数ｍで除算した露光時間である第１の露光時間および第２の露光時間を設定する。なお、第２の露光時間は、第１の露光時間を整数ｍで除算した露光時間に厳密に一致する必要はなく、第２の露光時間は、第１の露光時間を整数ｍで除算した露光時間に近い露光時間であれば足りる。

シャッタ駆動部２７は、撮像素子２１における露光制御部１０３を有する。露光制御部１０３は、撮像素子２１により連続して撮像される各フレームの露光を制御する。具体的には、露光制御部１０３は、少なくとも第１の露光時間の１フレームの露光と第２の露光時間のｍフレーム分の露光とを１セットにして繰り返し露光制御する。

＜第１の実施形態＞
図３は、第１の実施形態の画像処理部３１の機能構成例を示すブロック図である。画像処理部３１は、画像データ取得部１０５、画像データ生成部１０７、および合成フレーム生成部１０９を備える。

画像データ取得部１０５は、露光が制御された撮像部から各フレームの画像データを取得する。具体的には、画像データ取得部１０５は、撮像素子２１で出力された、第１の露光時間の１フレームおよび第２の露光時間のフレームの画像データをメインメモリ２４から逐次取得する。

画像データ生成部１０７は、被合成フレームの一つである平均フレームを生成する。画像データ生成部１０７は、１セット内の第２の露光時間のｍフレーム分の画像データの平均である平均フレームの画像データを生成する。ここでｍは２以上の整数を示す。平均フレームの詳しい説明は後で行う。

合成フレーム生成部１０９は、第１の露光時間の１フレームの画像データと平均フレームの画像データとを使用してダイナミックレンジを拡大した動画記録用または動画表示用の合成フレームを生成する。

次に、被合成フレームを得る場合の従来の露光時間の設定に関して説明する。

図４は、従来の露光時間の設定手法に関して説明する図である。図４では、縦軸は時間単位あたりの露光量を示し、横軸は時間を示している。

合成フレームは、被合成フレームである露光量の多いフレーム（フレームＡ）と露光量の少ないフレーム（フレームＢ）とで構成される。また、フレームＡおよびフレームＢの各々は、３０ｆｐｓ（frame per second）で撮像されており、１／３０秒毎に取得されている。なお、フレームＡおよびフレームＢは同じＩＳＯ感度、同じ絞り値（Ｆ値）により取得されており、露光時間を変えることにより、露光量の異なるフレームとされる。

フレームＡの露光時間はａ秒に設定されており、フレームＢの露光時間はａ秒よりも短いｂ秒に設定されている。そして、各合成フレーム（合成フレーム１、２、３、４）は、隣合うフレームＡとフレームＢとで構成される。合成フレームにおいては、シャドウ部ではフレームＡの画像データが使用され、ハイライト部ではフレームＢの画像データが使用される。したがって、フレームＡとフレームＢとの露光時間が異なってしまうと、合成フレームにおいて動体の動き量が異なり、不自然な合成フレームとなる。

次に、被合成フレームを得る場合の本発明の露光時間の設定に関して説明する。

図５は、本実施形態の合成フレームを構成する被合成フレームの露光に関して説明する図である。なお図５は、図４と同じ縦軸および横軸を示す。

図５に示した場合では、１セットにおいて、フレームＡ、フレームＢ１、フレームＢ２の露光が行われ、それぞれ画像データが取得される。フレームＡは露光時間ａ秒（第１の露光時間に相当）であり、フレームＢ１およびＢ２は共に露光時間ｂ秒（ａ／２秒）（第２の露光時間に相当）である。露光時間ｂ秒は、フレームＡの露光時間ａ秒を、ｍ＝２として除算したものである。ここで、ｍは平均フレームがフレームＢ１およびフレームＢ２の２枚で構成されるのでｍ＝２とされる。平均フレームは、フレームＢ１およびＢ２の画像データが平均されて生成されているので、露光時間はフレームＡに等しく、露光量はフレームＡの１／２の情報を有することになる。なお、１セットはフレームＡとフレームＢのｍフレーム分の露光が行われるタイミングをいい、図中にはセット１、セット２が示されており、撮像の継続とともにセットが繰り返される。

そして、隣り合うフレームＡと平均フレームとにより合成フレーム１、２、３、および４が生成される。このようにして、各セットのフレームＢ１およびＢ２により平均フレームが生成され、各平均フレームとフレームＡとにより合成フレームが生成される。具体例として、露光時間割合が１：１／２（１Ｅｖ違い）の被合成フレームは、フレームＡの露光時間ａは１／４５秒となり、フレームＢ１およびＢ２の露光時間ｂは１／９０秒となる。

次に、撮像装置１の動作工程（本発明の撮像方法に相当）を説明する。図６は、図５で説明した撮像が撮像装置１で行われる工程を示すフロー図である。

露光時間設定部１０１は、フレームＡ、Ｂ１、およびＢ２の露光時間を設定する（ステップＳ１０：露光時間設定ステップ）。フレームＡ、Ｂ１、Ｂ２の露光時間は、フレームＡはａ秒であり、フレームＢ１およびＢ２はｂ秒（ａ／２秒）と設定される。

その後、露光制御部１０３により、露光時間設定部１０１で設定された露光時間に基づいて露光が制御される（ステップＳ１１：露光制御ステップ）。具体的には、フレームＡ、フレームＢ１、およびフレームＢ２の露光を１セットとし、この１セットが繰り返されるように露光が行われる。次に、画像データ取得部１０５は、フレームＡ、フレームＢ１、フレームＢ２の画像データを取得する（ステップＳ１２：画像データ取得ステップ）。そして、画像データ生成部１０７により、１セット内のフレームＢ１およびフレームＢ２の画像データを平均することにより平均フレームを生成する（ステップＳ１３：画像データ生成ステップ）。その後、合成フレーム生成部１０９は、フレームＡおよび平均フレームの画像データにより、合成フレームを生成する（ステップＳ１４：合成フレーム生成ステップ）。

以上、本実施形態によれば、第１の露光時間と露光時間は同じであるが、第１の露光時間の１フレームより露光量が少ない平均フレームを被合成フレームとして、合成フレームを生成し、シャドウ部とハイライト部との動体の動き量が等しく、動体の動きが自然な合成フレームを生成することができる。

上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

また、上述の各構成および機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本実施形態では、取得される画像データの白飛び画素の割合に応じて、第２の露光時間を決める際の整数ｍが変更される。

図７は、本実施形態の画像処理部３１の機能構成例を示すブロック図である。画像処理部３１は、画像データ取得部１０５、画像データ生成部１０７、合成フレーム生成部１０９、白飛び割合算出部１１１を備える。なお、図３で既に説明を行った箇所は同じ符号を付し説明は省略する。

白飛び割合算出部１１１は、フレームＡ（第１の露光時間の１フレーム）の画像データおよびフレームＢ１またはフレームＢ２（第２の露光時間の１フレーム）の画像データのうち少なくとも一方において、白飛び画素の割合を算出する。すなわち、白飛び割合算出部１１１は、同じセット内の、フレームＡの画像データにおける白飛び画素の割合、フレームＢ１またはフレームＢ２の画像データにおける白飛び画素の割合、フレームＡ、フレームＢ１、およびフレームＢ２の画像データにおける白飛び画素の割合を算出する。ここで白飛び画素とは、蓄積された電荷が飽和に達した状態の画素である。そして、露光時間設定部１０１は、算出された白飛び画素の割合に基づいて、次のセットにおいて整数ｍに対して増加変更または減少変更を行う。

具体的には、露光時間設定部１０１は、白飛び画素の割合が第１の閾値以上の場合には増加変更を行い、次のセットにおいて第２の露光時間を第１の露光時間を整数ｍ＋１で除算した露光時間とする。これにより、次のセットにおいて第２の露光時間が短くなり白飛び画素の割合が抑制された合成フレームを生成することができる。また露光時間設定部１０１は、白飛び画素の割合が第２の閾値以下の場合には減少変更を行い、次のセットにおいて第２の露光時間を第１の露光時間を整数ｍ−１で除算した露光時間とする。これにより、第２の露光時間が長くなり、デジタルゲインアップ量が減少するのでノイズが抑制された合成フレームを生成することができる。なお、ｍ−１は２以上の整数である。

図８は、本実施形態の撮像装置１の動作の工程を示すフロー図である。

先ず、白飛び割合算出部１１１は、フレームＡ、フレームＢ１、フレームＢ２の画像データのうち少なくとも一方において、白飛び画素の割合を算出する（ステップＳ２０）。その後、露光時間設定部１０１は、白飛び画素の割合が第１の閾値（ＴＨ１）以上であるか否かを判定する（ステップＳ２１）。

露光時間設定部１０１は、白飛び画素の割合がＴＨ１以上である場合には、次のセットにおいては、平均フレームを構成する第２の露光時間のフレームの枚数ｍを増加変更させて、その平均フレームに基づいて合成フレームを生成する。（ステップＳ２２）。

露光時間設定部１０１は、白飛び画素の割合がＴＨ１未満である場合には、白飛び画素の割合がＴＨ２（第２の閾値）以下であるか判定する（ステップＳ２４）。白飛び画素の割合がＴＨ２以下である場合には、次のセットにおいては、平均フレームを構成する第２の露光時間のフレームの枚数ｍを減少変更させて、その平均フレームに基づいて合成フレームを生成する（ステップＳ２５）。また、露光時間設定部１０１は、白飛び画素の割合がＴＨ２より大きい場合には、次のセットにおいては、平均フレームを構成する第２の露光時間のフレームの枚数ｍを変更せずに、合成フレームを生成する（ステップＳ２６）。この場合には、合成フレームのダイナミックレンジの変更はない。

その後、露光時間設定部１０１は、撮影が終了か否かを判定して（ステップＳ２３）、撮影が継続される場合には、再び白飛び割合算出部１１１は、フレームＡ、フレームＢ１、フレームＢ２のうち少なくとも一方において、白飛び画素の割合を算出する（ステップＳ２０）。

以上説明したように、本実施形態では、白飛び割合算出部１１１により、第１の露光時間の１フレームの画像データおよび第２の露光時間の１フレームの画像データのうち少なくとも一方において、白飛び画素の割合が算出される。そして、露光時間設定部１０１により、白飛び画素の割合に基づいて、次のセットにおいて整数ｍに対して増加変更または減少変更される。これにより、本実施形態では、撮像される画像における白飛び画素の割合に応じて整数ｍが変更されるので、撮像されるシーンの明るさに応じて第２の露光時間が決定され、撮像されるシーンに適切な平均フレームを生成することができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。本実施形態では、白飛び画素の割合に応じて整数ｍが減少変更される場合に、白飛び確認画像データの白飛び画素の割合が確認された後に、整数ｍの減少変更が行われる。

図９は、本実施形態の画像処理部３１の機能構成例を示すブロック図である。画像処理部３１は、画像データ取得部１０５、画像データ生成部１０７、合成フレーム生成部１０９、白飛び割合算出部１１１、および確認画像データ生成部１１３を備える。なお、図３および図７で既に説明を行った箇所は同じ符号を付し説明は省略する。

確認画像データ生成部１１３は、減少変更が行われる場合に、減少変更が行われる前の第２の露光時間の１フレームの画像データに確認画像用デジタルゲインをかけて、白飛び確認画像データを生成する。具体的には、例えば整数ｍが整数ｍ−１に減少変更される場合には、確認画像データ生成部１１３は、第２の露光時間の１フレームの画像データにｍ／（ｍ−１）倍の確認画像用デジタルゲインをかけて白飛び確認画像データを生成する。

本実施形態では、白飛び割合算出部１１１は、フレームＡの画像データおよびフレームＢの画像データのうち少なくとも一方において、白飛び画素の割合を算出するのに加えて、白飛び確認画像データの白飛び画素の割合を算出する。

露光時間設定部１０１は、白飛び確認画像データの白飛び画素の割合が第３の閾値以下の場合には、減少変更を行う。

図１０は、本実施形態の撮像装置１の動作の工程を示すフロー図である。

先ず、白飛び割合算出部１１１は、フレームＡ、フレームＢ１、フレームＢ２の画像データのうち少なくとも一方において、白飛び画素の割合を算出する（ステップＳ３０）。その後、露光時間設定部１０１は、白飛び画素の割合が第１の閾値（ＴＨ１）以上であるか否かを判定する（ステップＳ３１）。

露光時間設定部１０１は、白飛び画素の割合がＴＨ１以上である場合には、次のセットにおいては、平均フレームを構成する第２の露光時間のフレームの枚数ｍを増加変更させて、その平均フレームに基づいて合成フレームを生成する。（ステップＳ３２）。

露光時間設定部１０１は、白飛び画素の割合がＴＨ１未満である場合には、白飛び画素の割合がＴＨ２（第２の閾値）以下であるか判定する（ステップＳ３４）。白飛び画素の割合がＴＨ２以下である場合には、確認画像データ生成部１１３は、フレームＢの画像データにｍ／（ｍ−１）倍のデジタルゲインをかけて白飛び確認画像データを生成する（ステップＳ３５）。次に白飛び割合算出部１１１は、白飛び確認画像データの白飛び画素の割合を算出する（ステップＳ３６）。その後、露光時間設定部１０１は、白飛び確認画像データの白飛び画素の割合がＴＨ３以下であるか否かを判定する（ステップＳ３７）。白飛び確認画像データの白飛び画素の割合がＴＨ３以下である場合には、次のセットにおいては、平均フレームを構成する第２の露光時間のフレームの枚数ｍを減少変更させて、その平均フレームに基づいて合成フレームを生成する（ステップＳ３８）。

一方、フレームＡ、フレームＢ１、およびフレームＢ２のうち少なくとも一方における白飛び画素の割合がＴＨ２より大きい場合（ステップＳ３４のＮｏの場合）、または白飛び確認画像データの白飛び画素の割合がＴＨ３より大きい場合（ステップＳ３７のＮｏの場合）には、次のセットにおいては、平均フレームを構成する第２の露光時間のフレームの枚数ｍを変更せずに、合成フレームを生成する（ステップＳ３９）。この場合には、合成フレームのダイナミックレンジの変更はない。

その後露光時間設定部１０１は、撮影が終了か否かを判定して（ステップＳ３３）、撮影が継続される場合には、白飛び割合算出部１１１は、フレームＡ、フレームＢ１、およびフレームＢ２のうち少なくとも一方において、白飛び画素の割合を算出する（ステップＳ３０）。

以上、本実施形態では、整数ｍの減少変更後の白飛び画素の割合が白飛び確認画像データにより確認された後に、減少変更が行われる。したがって、整数ｍの減少変更後直ぐに増加変更が行われるような、減少変更と増加変更とが繰り返し行われるようなダイナミックレンジの変動のふらつきが抑制される。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。本実施形態では、合成フレーム生成部１０９により、段階的にゲインが変更された第１のゲインアップ画像データが生成され、その第１のゲインアップ画像データを平均フレームの画像データとして、合成フレームが生成される。したがって、合成フレームのダイナミックレンジが変動する場合に、滑らかにダイナミックレンジが変動される。

図１１は、本実施形態の画像処理部３１の機能構成例を示すブロック図である。画像処理部３１は、画像データ取得部１０５、画像データ生成部１０７、合成フレーム生成部１０９、白飛び割合算出部１１１、および第１のゲインアップ画像データ生成部１１５を備える。なお、図３および図７で既に説明を行った箇所は同じ符号を付し説明は省略する。

第１のゲインアップ画像データ生成部１１５は、露光時間設定部１０１により増加変更された場合に、増加変更された後の平均フレームの画像データに第１のゲインアップ処理をして第１のゲインアップ画像データを生成する。第１のゲインアップ処理では、第１のデジタルゲインを動画記録用または動画表示用のフレームレートに沿って段階的に小さくし、ｍが増加変更された後の平均フレームに近づく第１のゲインアップ画像データを生成する。具体的には、第１のゲインアップ画像データ生成部１１５は、整数ｍ＿ａから整数ｍ＿ｂに増加変更する場合には、第１のデジタルゲインをｍ＿ｂ／ｍ＿ａ倍から１倍へ段階的に小さくする。なお、第１のゲインアップ処理は、デジタルゲイン処理によりゲインアップを行い、上限リミット処理で所定値以上の信号値は一定値とする処理を行う。また、第１のゲインアップ画像データ生成部１１５は、好ましくは１秒以上かけて合成フレームのダイナミックレンジの変動が行われるように、第１のゲインアップ画像データを生成する。また、第１のゲインアップ画像データ生成部１１５は、好ましくは１２段階以上により、合成フレームのダイナミックレンジの変動が行われるように、第１のゲインアップ画像データを生成する。これは、１２段階の各段階で２フレーム分の第１のゲインアップ画像データを生成し、２４フレームかけて変動が行われて２４ｆｐｓの動画で１秒で変動が段階的に行われることになる。

図１２は、第１のゲインアップ画像データと、ダイナミックレンジの変動に関して説明する図である。なお、各グラフの縦軸は信号値を示し、横軸は平均フレームのダイナミックレンジについて示している。

符号１５１では変動前のｍ＝ａの平均フレームの信号値Ｌａ（ダイナミックレンジＤ１）が示されている。符号１５４ではダイナミックレンジの変動後のｍ＝ｂの平均フレームの信号値Ｌｂ（ダイナミックレンジＤ４）が示されている。なお、ａおよびｂは２≦ａ＜ｂの関係がある。符号１５２および符号１５３では、それぞれ、第１段階の第１のゲインアップ画像データＧ１、第２段階の第１のゲインアップ画像データＧ２、が示されている。第１段階の第１のゲインアップ画像データＧ１は、変動後のｍ＝ｂの平均フレームの信号値にデジタルゲイン処理および上限リミット処理を行うことにより生成される。第１段階の第１のゲインアップ画像データＧ１ではダイナミックレンジＤ２となる。第２段階の第１のゲインアップ画像データＧ２は、変動後のｍ＝ｂの平均フレームの信号値にデジタルゲイン処理および上限リミット処理を行うことにより生成される。第２段階の第１のゲインアップ画像データＧ２ではダイナミックレンジＤ３となる。

図１３は、図１２で説明したダイナミックレンジの変動をまとめた図である。符号１５１、符号１５２、符号１５３、符号１５４のグラフにおいて、Ｄ１、Ｄ２、Ｄ３、およびＤ４とダイナミックレンジが変動することを示している。

平均フレームのダイナミックレンジはＤ１からＤ４に変動するが、ダイナミックレンジがＤ１、Ｄ２、Ｄ３、Ｄ４と段階的に変動することにより、平均フレームのダイナミックレンジを滑らかに変動させることができる。

＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。本実施形態では、合成フレーム生成部１０９により、第２のゲインアップ画像データを平均フレームの画像データとして、合成フレームが生成されるので、滑らかにダイナミックレンジを変更させることができる。

図１４は、本実施形態の画像処理部３１の機能構成例を示すブロック図である。画像処理部３１は、画像データ取得部１０５、画像データ生成部１０７、合成フレーム生成部１０９、白飛び割合算出部１１１、および第２のゲインアップ画像データ生成部１１７を備える。なお、図３および図７で既に説明を行った箇所は同じ符号を付し説明は省略する。

第２のゲインアップ画像データ生成部１１７は、露光時間設定部１０１により減少変更された場合に、減少変更される前の平均フレームの画像データに第２のゲインアップ処理をして第２のゲインアップ画像データを生成する。第２のデジタルゲインを動画記録用または動画表示用のフレームレートに沿って段階的に大きくし、ｍが減少変更された後の平均フレームに近づく第２のゲインアップ画像データを生成する。具体的に第２のゲインアップ画像データ生成部１１７は、整数ｍ＿ｃから整数ｍ＿ｄに減少変更する場合には、第２のデジタルゲインは１倍からｍ＿ｃ／ｍ＿ｄ倍へ段階的に第２のデジタルゲインを大きくする。なお、第２のゲインアップ処理は、デジタルゲイン処理によりゲインアップを行い、上限リミット処理で所定値以上の信号値は一定値とする処理を行う。また、第２のゲインアップ画像データ生成部１１７は、好ましくは１秒以上かけて合成フレームのダイナミックレンジの変動が行われるように、第２のゲインアップ画像データを生成する。また、第２のゲインアップ画像データ生成部１１７は、好ましくは１２段階以上により、合成フレームのダイナミックレンジの変動が行われるように、第２のゲインアップ画像データを生成する。これは、１２段階の各段階で２フレーム分の第２のゲインアップ画像データを生成し、２４フレームかけて変動が行われて２４ｆｐｓの動画で１秒で変動が段階的に行われることになる。

図１５は、第２のゲインアップ画像データと、ダイナミックレンジの変動に関して説明する図である。なお、各グラフの縦軸は信号値を示し、横軸は平均フレームのダイナミックレンジについて示している。

符号１５５では変動前のｍ＝ｃの平均フレームの信号値Ｌｃ（ダイナミックレンジＤ５）が示されている。符号１５８ではダイナミックレンジの変動後のｍ＝ｄの平均フレームの信号値Ｌｄ（ダイナミックレンジＤ８）が示されている。なお、ｃおよびｄはｃ＞ｄ≧２の関係がある。符号１５６および符号１５７では、それぞれ、第１段階の第２のゲインアップ画像データＧ３、第２段階の第２のゲインアップ画像データＧ４、が示されている。第１段階の第２のゲインアップ画像データＧ３は、変動前のｍ＝ｃの平均フレームの信号値にデジタルゲイン処理および上限リミット処理を行うことにより生成される。第１段階の第２のゲインアップ画像データＧ３ではダイナミックレンジＤ６となる。第２段階の第２のゲインアップ画像データＧ４は、変動前のｍ＝ｃの平均フレームの信号値にデジタルゲイン処理および上限リミット処理を行うことにより生成される。第２段階の第２のゲインアップ画像データＧ２ではダイナミックレンジＤ７となる。

図１６は、図１５で説明したダイナミックレンジの変動をまとめた図である。符号１５５、符号１５６、符号１５７、符号１５８のグラフにおいて、Ｄ５、Ｄ６、Ｄ７、およびＤ８とダイナミックレンジが変動することを示している。

平均フレームのダイナミックレンジはＤ５からＤ８に変動するが、ダイナミックレンジがＤ５、Ｄ６、Ｄ７、Ｄ８と段階的に変動することにより、平均フレームのダイナミックレンジを滑らかに変動させることができる。

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１ ：撮像装置
８ ：表示部
１０ ：外部メモリ
１２ ：レンズ
１４ ：絞り
２０ ：メカニカルシャッタ
２１ ：撮像素子
２２ ：プロセス処理部
２３ ：ＡＤ変換部
２４ ：メインメモリ
２５ ：システム制御部
２６ ：センサ駆動部
２７ ：シャッタ駆動部
２８ ：絞り駆動部
２９ ：レンズ駆動部
３０ ：制御メモリ
３１ ：画像処理部
３２ ：圧縮伸張部
３３ ：記憶制御部
３５ ：表示制御部
３６ ：ユーザインタフェース
１０１ ：露光時間設定部
１０３ ：露光制御部
１０５ ：画像データ取得部
１０７ ：画像データ生成部
１０９ ：合成フレーム生成部
１１１ ：白飛び割合算出部
１１３ ：確認画像データ生成部
１１５ ：第１のゲインアップ画像データ生成部
１１７ ：第２のゲインアップ画像データ生成部ステップＳ１０−Ｓ１４：第１の実施形態の撮像方法ステップＳ２０−Ｓ２６：第２の実施形態の撮像方法ステップＳ３０−Ｓ３９：第３の実施形態の撮像方法

Claims (12)

1. 撮像部と、
   第１の露光時間と前記第１の露光時間よりも短い第２の露光時間とを設定する露光時間設定部であって、ｍを２以上の整数とすると、前記第２の露光時間は前記第１の露光時間を整数ｍで除算した露光時間であり、前記第１の露光時間および前記第２の露光時間を設定する露光時間設定部と、
   前記撮像部により連続して撮像される各フレームの露光を制御する露光制御部であって、少なくとも前記第１の露光時間の１フレームの露光と前記第２の露光時間のｍフレーム分の露光とを１セットにして繰り返し露光制御する露光制御部と、
   前記露光が制御された前記撮像部から各フレームの画像データを取得する画像データ取得部と、
   前記１セット内の前記第２の露光時間のｍフレーム分の画像データの平均である平均フレームの画像データを生成する画像データ生成部と、
   前記第１の露光時間の１フレームの画像データと前記平均フレームの画像データとを使用してダイナミックレンジを拡大した動画記録用または動画表示用の合成フレームを生成する合成フレーム生成部と、
   を備えた撮像装置。
2. 前記第１の露光時間の１フレームの画像データおよび前記第２の露光時間の１フレームの画像データのうち少なくとも一方において、白飛び画素の割合を算出する白飛び割合算出部を備え、
   前記露光時間設定部は、前記白飛び画素の割合に基づいて、次の前記セットにおいて前記整数ｍに対して増加変更または減少変更を行う請求項１に記載の撮像装置。
3. 前記露光時間設定部は、前記白飛び画素の割合が所定の閾値以上の場合には、次の前記セットにおいて前記整数ｍに対して増加変更を行い、前記白飛び画素の割合が所定の閾値以下の場合には、次の前記セットにおいて前記整数ｍに対して減少変更を行う請求項２に記載の撮像装置。
4. 前記露光時間設定部は、前記白飛び画素の割合が第１の閾値以上の場合には前記増加変更を行い、次の前記セットにおいて前記第２の露光時間は前記第１の露光時間を整数ｍ＋１で除算した露光時間とし、前記白飛び画素の割合が第２の閾値以下の場合には前記減少変更を行い、次の前記セットにおいて前記第２の露光時間は前記第１の露光時間を整数ｍ−１で除算した露光時間とする請求項２または３に記載の撮像装置。
5. 前記減少変更が行われる場合に、前記減少変更が行われる前の前記第２の露光時間の１フレームの画像データに確認画像用デジタルゲインをかけて、白飛び確認画像データを生成する確認画像データ生成部を備え、
   前記白飛び割合算出部は、前記白飛び確認画像データの白飛び画素の割合を算出し、
   前記露光時間設定部は、前記白飛び確認画像データの前記白飛び画素の割合が第３の閾値以下の場合には、前記減少変更を行う請求項２から４のいずれか１項に記載の撮像装置。
6. 前記確認画像データ生成部は、前記第２の露光時間の１フレームの画像データにｍ／（ｍ−１）倍の前記確認画像用デジタルゲインをかけて前記白飛び確認画像データを生成し、
   前記露光時間設定部は、前記白飛び確認画像データの前記白飛び画素の割合が第３の閾値以下の場合には、次の前記セットの前記第２の露光時間は前記第１の露光時間を整数ｍ−１で除算した露光時間とする請求項５に記載の撮像装置。
7. 前記露光時間設定部により前記増加変更された場合に、前記増加変更された後の前記平均フレームの画像データに第１のゲインアップ処理をして第１のゲインアップ画像データを生成する第１のゲインアップ画像データ生成部であって、前記動画記録用または前記動画表示用のフレームレートに沿って前記第１のゲインアップ処理の第１のデジタルゲインが段階的に小さくなった、前記第１のゲインアップ画像データを生成する第１のゲインアップ画像データ生成部を備え、
   前記合成フレーム生成部は、前記第１のゲインアップ画像データを前記平均フレームの画像データとして、前記合成フレームを生成する請求項２から６のいずれか１項に記載の撮像装置。
8. 前記第１のゲインアップ画像データ生成部は、整数ｍ＿ａから整数ｍ＿ｂに前記増加変更する場合には、前記第１のデジタルゲインをｍ＿ｂ／ｍ＿ａ倍から１倍へ段階的に小さくする請求項７に記載の撮像装置。
9. 前記露光時間設定部により前記減少変更された場合に、前記減少変更される前の前記平均フレームの画像データに第２のゲインアップ処理をして第２のゲインアップ画像データを生成する第２のゲインアップ画像データ生成部であって、前記動画記録用または前記動画表示用のフレームレートに沿って、前記第２のゲインアップ処理の第２のデジタルゲインが段階的に大きくなった前記第２のゲインアップ画像データを生成する第２のゲインアップ画像データ生成部を備え、
   前記合成フレーム生成部は、前記第２のゲインアップ画像データを前記平均フレームの画像データとして、前記合成フレームを生成する請求項２から８のいずれか１項に記載の撮像装置。
10. 前記第２のゲインアップ画像データ生成部は、整数ｍ＿ｃから整数ｍ＿ｄに前記減少変更する場合には、前記第２のデジタルゲインは１倍からｍ＿ｃ／ｍ＿ｄ倍へ段階的に前記第２のデジタルゲインを大きくする請求項９に記載の撮像装置。
11. 第１の露光時間と前記第１の露光時間よりも短い第２の露光時間とを設定する露光時間設定ステップであって、ｍを２以上の整数とすると、前記第２の露光時間は前記第１の露光時間を整数ｍで除算した露光時間であり、前記第１の露光時間および前記第２の露光時間を設定する露光時間設定ステップと、
    撮像部により連続して撮像される各フレームの露光を制御する露光制御ステップであって、少なくとも前記第１の露光時間の１フレームの露光と前記第２の露光時間のｍフレーム分の露光とを１セットにして繰り返し露光制御する露光制御ステップと、
    前記露光が制御された前記撮像部から各フレームの画像データを取得する画像データ取得ステップと、
    前記１セット内の前記第２の露光時間のｍフレーム分の画像データの平均である平均フレームの画像データを生成する画像データ生成ステップと、
    前記第１の露光時間の１フレームの画像データと前記平均フレームの画像データとを使用してダイナミックレンジを拡大した動画記録用または動画表示用の合成フレームを生成する合成フレーム生成ステップと、
    を含む撮像方法。
12. 第１の露光時間と前記第１の露光時間よりも短い第２の露光時間とを設定する露光時間設定ステップであって、ｍを２以上の整数とすると、前記第２の露光時間は前記第１の露光時間を整数ｍで除算した露光時間であり、前記第１の露光時間および前記第２の露光時間を設定する露光時間設定ステップと、
    撮像部により連続して撮像される各フレームの露光を制御する露光制御ステップであって、少なくとも前記第１の露光時間の１フレームの露光と前記第２の露光時間のｍフレーム分の露光とを１セットにして繰り返し露光制御する露光制御ステップと、
    前記露光が制御された前記撮像部から各フレームの画像データを取得する画像データ取得ステップと、
    前記１セット内の前記第２の露光時間のｍフレーム分の画像データの平均である平均フレームの画像データを生成する画像データ生成ステップと、
    前記第１の露光時間の１フレームの画像データと前記平均フレームの画像データとを使用してダイナミックレンジを拡大した動画記録用または動画表示用の合成フレームを生成する合成フレーム生成ステップと、
    を含む撮像方法をコンピュータに実行させるプログラム。

Images