JP6742732B2 - 輝度分布と動きとの間のトレードオフに基づいてシーンのｈｄｒ画像を生成する方法 - Google Patents

Description

本発明は、概して高ダイナミックレンジ（ＨＤＲ）デジタル撮像に関し、特に、シーンの高ダイナミックレンジ（ＨＤＲ）画像を生成するために、例えばデジタルカメラなどの撮像装置による画像データの検出用の露出パラメータを決定及び設定することに関する。

ダイナミックレンジとは、センサ又はアクチュエータが生成することができる最大と最小の取り得る信号間の比である。ここで使用されるとき、用語“ダイナミックレンジ”は、例えばデジタルカメラなどの画像キャプチャ装置のダイナミックレンジに言及するものである。

シーンのＨＤＲ画像をキャプチャするため、一般に、ＨＤＲ画像キャプチャ装置によって様々な露出の下でそのシーンの複数のフレームがキャプチャされる。そのような装置の伝統的な設定においては、一般に、例えばシーン内の照度の完全なる分布をカバーするように、露出同士が間隔を空けられる。このようなプロセスは“露出ブラケット”として知られている。最新のカメラは、１／３Ｆストップから３Ｆストップまで間隔を空けられ得る３段から９段の露出ブラケットのキャプチャを可能にしている。ここで、１Ｆストップは１対数単位である。Ｆストップは、カメラレンズの入射瞳の直径に対する該カメラレンズの焦点長の比である。異なる露出を有するこれらのフレームからＨＤＲ画像を作り出すため、それ自体は既知の手法で、各露出の良好な露出の部分を組み合わせることによって、一連の露出が融合される。一般に、露出はそれらの露出時間に従ってスケーリングされ、各フレームの各画素がその光強度に応じた重み係数を受け取る。ここで、レンジの中央に近い画素ほど、有用な情報を描写する傾向が強いので、高い重みを受け取る（例えば、非特許文献１参照）。

典型的に、ＨＤＲ画像を構築するのに使用される複数の異なるフレームの露出は等間隔にされる。露出を等間隔にするせいで、これらのソリューションは幾つかの欠点を有する。第１に、各々が隣接露出のコンテンツの多くを複製した過度に多くの露出がキャプチャされることがある。第２に、露出同士が更に間隔を空けられる場合に、得られるＨＤＲ画像が、暗い領域で過度に多いノイズに悩まされ得る。

非特許文献２では、ＨＤＲ画像を構築するのに使用される露出の組をキャプチャする前に、或るアルゴリズムが低分解能の露出を用いてシーンのＨＤＲヒストグラムを推定する。このヒストグラムに基づいて、露出のあらゆる組み合わせが試され、そのシーンに関してＨＤＲキャプチャに最適なのが何れであるかが決定される。露出の選択及び配置を案内するため、最終的な選択がノイズを最小化するよう、ノイズ特性も考慮に入れられる。そして、それらの設定を用いて一連の露出がキャプチャされる。この手法は単一のＨＤＲ画像をキャプチャするために設計されているので、以下の欠点を有する：
− 動きが考慮されない；
− 完全なＨＤＲヒストグラムが構築されることを必要とするので、動画（ビデオ）に対して実用的でない。これは、過度に多くの喪失フレームを生じさせることになり、故に、最終結果が低フレームレートとなる。

同じ結論が特許文献１及び特許文献２に当てはまる。

このようなＨＤＲプロセスを動画キャプチャに適用するとき、代わる代わるのフレームが異なる露出設定を用いて順次にキャプチャされるが、このようなプロセスは、“時間的ブラケット”と呼ばれる。しかし、動画の各ＨＤＲ画像を構築するのに使用される順次の露出のキャプチャ中に、シーン内の一部の物体が動くことがある（あるいは、カメラが動くことがある）とともに、これらの異なる露出は異なる時間でシーンをキャプチャするので、これらの露出を融合することは動きアーティファクトを生み出し得る。また、ＨＤＲ画像の周波数は、ビデオ画像キャプチャ装置が可能にするフレーム周波数を割ったものであるので、このＨＤＲ周波数は低すぎてモーションブラーを回避できないものとなり得る。

故に、高いダイナミックレンジと鮮鋭なモーションキャプチャとの間のトレードオフが必要である。

米国特許第７３８２９３１号明細書 米国特許第８５８２００１号明細書

Pradeep Sen，Nima Khademi Kalantari，Maziar Yaesoubi，Soheil Darabi，Dan B．Goldman，及びEli Shechtman，"Robust patch-based HDR reconstruction of dynamic scenes"，ACM Transactions on Graphics，31(6)：203:1−203:11，2012年 Orazio Gallo等，"Metering for exposure stacks"，2012年，Computer Graphics Forum，vol.31，pp.479−488（Wiley Online Library）

本発明の１つの課題はそのようなトレードオフである。

本発明の一主題は、シーンのＨＤＲ画像を生成する方法であって、シーンを撮像する現在フレームが現在露出の下でキャプチャされており、シーンを撮像する先行フレームが現在フレームの前にキャプチャされており、当該方法は、
現在露出と、現在フレームの画素の色の第１の輝度分布と、これらの画素の動きによって重み付けられたこれらの画素の色の第２の輝度分布との関数として、次フレームに関する露出を設定することであり、動きは、先行フレームとの比較でこれらの画素に関して評価される、設定することと、
設定された露出の下で次フレームをキャプチャすることと、
次フレームを、ＨＤＲ画像へと、少なくとも現在フレームと融合することと
を有する。

これらのフレームの各々、すなわち、先行フレーム、現在フレーム及び次フレームの各々が、異なる瞬間にシーンを撮像する。これら先行フレーム、現在フレーム、及び次フレームは、それらの間に他のフレームを有さずに、連続してキャプチャされるフレームであってもよいし、それらの間に１つ以上のその他のフレームを有して、連続してキャプチャされないフレームであってもよい。

動き領域は、一緒に結合されない現在フレームの複数の異なる部分に関係してもよい。これらの画素に関するこの動きの評価はまた、先行フレームとの比較を補完して、その他のパラメータを考慮に入れてもよい。

シーンのＨＤＲ画像を得るために融合される複数の異なるフレームの最適な露出設定をオンザフライで決定するため、提案する画像／フレームキャプチャ方法は、有利なことに、そのシーンのダイナミックレンジと、そのシーン内の動きとの双方を考慮する。この方法は、従来技術においてのようなシーン内の輝度値の分布の関数としてだけでなく、そのシーン内で検出される動きの関数としても、フレーム間で露出を動的に変化させる。この方法は有利なことに、ローカル及びグローバルな動きデータを照度ヒストグラム情報とともに利用して、動きアーティファクトを生み出すことなく所与のシーンに対してどれだけの露出が可能であるかを決定する。

予め定められたパラメータを用いて、ＨＤＲ画像を生成するのに使用される連続フレームの露出を定めることに代えて、この方法は、現在フレームをキャプチャした直後に次フレームに関する露出を定める。

二次的な利益として、この方法は、シーケンスにて生成されるＨＤＲ画像の数が、これらのＨＤＲ画像の生成に使用されるフレームの数とほぼ同じになるので、フレームレートを低下させない。例えば、非常に異なる輝度レベルを持つ２つの異なる領域をシーンが有する場合、この方法は、露出をそれらのレベルの各々と揃えるが、どのような融合アルゴリズムが後処理に適用されるかにも応じて、さらに露出間の重なりが最小化又は除去されるように露出を配することになる。同様に、陰影のある物体が明るい背景の前で動いている場合（逆もまた然りである）、その動きが適切にキャプチャされるように、移動物体の強度レベル付近に露出が配されることになる。明るい背景領域において（逆もまた然りである）、この方法は、暗い（明るい）領域における動きが強くなくてシーン全体のダイナミックレンジをキャプチャすることが可能な場合に、空間的にいっそう離れたフレームを当てにする。故に、動きのある領域を優先しながら、この方法は有利なことに、隣接するフレームのうちの１つで動きが弱まる場合に、生成されるＬＤＲ画像の各々に関して、完全なシーンレンジを再構成し得る。そうでなくでも、この方法はなおも、単一のＬＤＲ画像と比較してレンジを拡大する。

好ましくは、動きは、現在フレームの少なくとも１つの画素に関してヌルである。これは、このフレームが実際に動きのない領域を有するということを意味する。より一般的には、先行フレーム内の対応する画素と比較した現在フレームの画素に関する動きの評価は、とりわけゼロを含んだ、異なる値の動き、とりわけ、異なる値の動き振幅をもたらすということを意味する。好ましくは、次フレームに関する露出は、現在フレームに関する露出変化の好適方向の関数としても設定される。

好ましくは、この方法は、次フレームに続くフレームに関する露出変化の好適方向を決定することを有する。

好ましくは、次フレームに関する露出を設定することは、第１の輝度分布に基づくが第２の輝度分布には基づかない当初露出の概算と、第２の輝度分布に基づく調整された露出の概算と、次フレームに関する露出の値として当初露出と調整された露出との間で選択を行うように適応された、次フレームに関する露出の最終的な見積もりとを有する。

本発明の一主題はまた、ＨＤＲ画像キャプチャ装置であって、当該装置は、
特に先行フレームをキャプチャし且つ現在露出の下で現在フレームをキャプチャするよう、シーンを撮像する順次のフレームをキャプチャするように構成されたフレームセンサと、
プロセッサであり、
現在露出と、現在フレームの画素の色の第１の輝度分布と、それらの画素の動きによって重み付けられたそれらの画素の色の第２の輝度分布との関数として、次フレームに関する露出を設定し、動きは、先行フレームとの比較でそれらの画素に関して評価され、
フレームセンサにより、設定された露出の下での次フレームのキャプチャを引き起こし、
次フレームを、ＨＤＲ画像へと、少なくとも現在フレームと融合する
ように構成されたプロセッサと
を有する。

非限定的な例によって与えられる以下の説明を読み、且つ以下の図を含む添付図面を参照することで、本発明はより明瞭に理解されることになる。
本発明の主たる一実施形態に従ったビデオ画像キャプチャ装置の簡略化したブロック図である。 本発明の主たる一実施形態に従った、図１のビデオ画像キャプチャ装置を用いてシーンのＨＤＲ画像を生成する方法を例示する図である。 次フレームに関する露出変化の方向が“アップ”であるときに、この次フレームに関する露出の最終見積もりステップと、後続フレームに関する露出変化の方向の決定ステップとを実行するために、この主たる実施形態で使用される決定木である。 次フレームに関する露出変化の方向が“ダウン”であるときに、この次フレームに関する露出の最終見積もりステップと、後続フレームに関する露出変化の方向の決定ステップとを実行するために、この主たる実施形態で使用される決定木である。 主たる一実施形態に従った図２に例示した方法の繰り返しの現在フレームｆ_ｉにおける輝度値Ｚのヒストグラムを例示する図である。 図５と同じ輝度値Ｚのヒストグラムを、点線の累積ヒストグラムとともに示す図である。

当業者によって理解されることになるように、ここに提示されるフローチャートや図などは、本発明を具現化する例示的な回路の概念図を表す。それらは、コンピュータ又はプロセッサが明示的に示されていようとなかろうと、コンピュータ読み取り可能媒体にて実質的に表現されてコンピュータ又はプロセッサによってそのように実行され得る。

本発明の主たる一実施形態によれば、図１は、ビデオ画像キャプチャ装置の、そして、より具体的にはデジタルビデオカメラの、簡略化したブロック図を示している。デジタルビデオカメラ１００はフレームセンサ１１０を含んでいる。フレームセンサ１１０は、シーンの画像又はフレームをキャプチャするように構成された、光学レンズと光検出回路（例えば、ＣＭＯＳ集積回路など）との組み合わせに関係し得る。このフレームセンサ１１０は、それ自体は知られているように、輝度値を取って輝度値を返すものであるカメラ応答関数（“ＣＲＦ”）によって特徴付けられる。このＣＲＦは、逆ガンマとして考えることができる。その役割は、センサの非線形性に対して画像を線形にすることである。

フレームセンサ１１０によって検出された画像データは、キャプチャされたフレームデータとして、バスを介してプロセッサ１２０に提供され得る。キャプチャされたフレームデータは、フレームの複数の異なる画素に関係付けられた色データを含む。

プロセッサ１２０は、一般に、集積回路マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、及びプロセッサのうちの１つを用いて実装され得る。プロセッサ１２０は、受け取ったフレームデータを、例えばプロセッサ実行可能命令の形態でメモリ１３０に格納された特定の画像処理アルゴリズムに基づいて処理するように構成され得る。プロセッサ１２０は更に、バスによってフレームセンサ１１０に露出値を提供して、例えば、そのような露出値の下でフレームセンサ１１０がフレームをキャプチャすることを可能にする。

例えばプロセッサ１２０によって生成されたＨＤＲ画像データなどの、処理されたデータは、メモリ１３０に格納され、且つ／或いは見るためにディスプレイ１４０に提供され得る。理解されるべきことには、メモリ１３０は、例えばハードドライブ、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、又はその他の種類の揮発性及び／又は不揮発性メモリなどの、様々なメモリ記憶装置の如何なる組み合わせにも関係し得る。さらに理解されるべきことには、メモリ１３０は、処理された画像データと、キャプチャされた画像データを処理するためのプロセッサ実行可能命令と、を格納する複数の又は個別のメモリとして実装され得る。また、メモリ１３０は、画像データの記憶用の、例えばフラッシュメモリなどのリムーバブルメモリを含み得る。

ディスプレイ１４０は、キャプチャされた画像データやＨＤＲ画像データの表示のためにデジタルカメラ１００に組み込まれた液晶ディスプレイ（ＬＣＤ）に関係し得る。他の例では、理解されるべきことに、ＨＤＲ画像データの表示及び／又は出力のために、外付けの表示装置がデジタルカメラ１００に結合されてもよい。図１をデジタルカメラに関して上述したが、理解されるべきことに、この装置は一般に、例えば撮像装置などのその他の装置に関係してもよい。

図１のビデオ画像キャプチャ装置をデジタルビデオカメラとして説明したが、これまた理解されるべきことに、この装置は一般に、例えばモバイル通信装置やポータブル通信装置などのその他の装置に関係してもよいし、あるいはそれに含まれてもよい。

次いで、図２を参照するに、図１のビデオ画像キャプチャ装置によって生成される動画シーケンスにてシーンの少なくとも１つのＨＤＲ画像を生成する方法の非限定的な一実施形態が示されている。ここで使用されるとき、“シーン”は、この装置のユーザがキャプチャすることを望む領域に関係し得るとともに、様々なレベルの明るさの下で照らされた１つ以上の物体を含み得る。ここで、これらの物体のうちの１つ以上が、装置による連続したフレームのキャプチャ中に動き得る。更に詳細に後述するように、明るさ範囲とこれらの物体の動きとの決定が、順次のフレームをキャプチャするための１つ以上の露出パラメータを提供し得る。

以下の説明において、用語“オーバー露出画素”は、それらの画素に付随する色データが所定のオーバー露出色データ閾値ｔ_ｈｉｇｈよりも高い値に相当するキャプチャフレームの画素に関係する。このオーバー露出閾値が色データに関する最大値であるとき、その色は飽和していると見なされる。一般に、この最大オーバー露出色データ閾値は、この最大限かよりも低い。このようなオーバー露出閾値は、色を表現するのに使用される色チャネルＲ、Ｇ及びＢごとに定められることができ、そして、Ｒ、Ｇ及びＢが色データと見なされる。他の一例において、このオーバー露出色データ閾値はオーバー露出照度閾値として定められ、照度ＬがＲ、Ｇ及びＢの値の加重和として計算される。より性能に敏感である更なる他の一例（例えば、携帯電話）においては、緑色チャネルを照度の‘代理’として使用し得る。同様に、用語“アンダー露出画素”は、それらの画素に付随する色データが所定のアンダー露出色データ閾値ｔ_ｌｏｗよりも低い値に相当するキャプチャフレームの画素に関係する。一般にこのアンダー露出色データ閾値はゼロよりも高いが、ゼロに等しくてもよい。

この非限定的な実施形態に従った方法を開始するため、フレームセンサ１１０を用いて、第１のフレームｆ_０が露出Ｅ_０の下でキャプチャされ、第２のフレームｆ_１が露出Ｅ_１の下でキャプチャされる。露出Ｅ_０及びＥ_１は、これら２つの最初のフレームの融合からシーンの第１のＨＤＲ画像を生成するように適応される既知の何れかの自動露出アルゴリズムを用いて、相異なる値に設定される。オーバー露出はアンダー露出よりも視覚的に良くないので、第２のフレームに関する露出時間が好ましく変化しようとする方向ｄｉｒ_{ｉ＋１＝１}は、好ましくは“ダウン（ｄｏｗｎ）”（すなわち、Ｅ_１＜Ｅ_０）に設定されるが、同様に“アップ（ｕｐ）”（すなわち、Ｅ_１＞Ｅ_０）に設定されることもできる。この方向が、フレームｆ_{ｉ＋１＝１}が現在フレームよりも長い（“アップ”）露出でキャプチャされるのか、短い（“ダウン”）露出でキャプチャされるのかを決定する。第３のフレームｆ_{ｉ＋２＝２}に関する露出時間が好ましく変化しようとする方向ｄｉｒ_{ｉ＋２＝２}は、とりわけ図３及び４に示す決定木を用いて、第１及び第２のフレームｆ_０及びｆ_１の特性に基づいて計算される。そして、自身の色データを有するキャプチャされた第１及び第２のフレームｆ_０、ｆ_１と、それらの露出Ｅ_０、Ｅ_１の値及び第３のフレームｆ_２に関する露出変化の好適方向ｄｉｒ_ｉ＋２の値が、記憶のためにメモリ１３０に伝達されるとともに、後述するような処理のためにプロセッサ１２０に伝達される。

ｉ＝１である、２つのフレームの処理の以下の第１の繰り返し（イテレーション）では、第２のフレームｆ_ｉ＝１が“現在フレーム”と称され、第１のフレームｆ_{ｉ−１＝０}が“先行フレーム”と称され、第３のフレームｆ_{ｉ＋１＝２}が“次フレーム”と称され、そして、“次”フレームに続く第４のフレームｆ_{ｉ＋２＝３}が“後続フレーム”と称される。ステップ１乃至６がプロセッサ１２０によって実行される。そして、ステップ６が、ステップ１乃至６から計算される露出Ｅ_ｉ＋１の下で“次フレーム”ｆ_ｉ＋１をキャプチャするために、センサ１１０によって実行される。

この第１の繰り返しの後、ｉ＝２として第２の繰り返しが始められる。ステップ１乃至６の別の繰り返しで、フレームｆ_ｉ＝２が“現在フレーム”となり、フレームｆ_{ｉ−１＝１}が“先行フレーム”となり、フレームｆ_{ｉ＋１＝３}が“次フレーム”となり、そして、フレームｆ_{ｉ＋２＝４}が“後続フレーム”となって、ステップ１乃至６から再び計算される露出の下での別の“次フレーム”のキャプチャが可能にされる。そして、これが、シーンのＨＤＲ画像を後述のようにして生成することができる一連のフレームのキャプチャの終了まで、ｉの値を増大させて続けられる。

次に、これらの繰り返しの各々の様々なステップを説明する。提示の順序は必ずしも、これらのステップを実行する順序を表すものではない。

ステップ１ ― 動きを考慮に入れない、現在フレームｆ_ｉに関する輝度ヒストグラム計算
現在フレームｆ_ｉすなわちキャプチャされた最後のフレームの全ての画素の色の輝度値から、それ自体は既知の手法で、輝度ヒストグラムＨｆｕｌｌ_ｉが計算される。この計算は画素の動きを考慮に入れない。

ステップ２ ― 現在フレームｆ_ｉに関する動きフィールドＭ_ｉの計算、及び第１のバリエーションに従った、現在フレームｆ_ｉの動き領域ＭＲ_ｉの決定
現在フレームｆ_ｉと先行フレームｆ_ｉ−１との間の動き比較からそれ自体既知の手法で計算される動きフィールドから、現在フレームｆ_ｉと同じサイズを有する動き振幅マップＭ_ｉが提供される。このマップＭ_ｉの各画素が動き振幅値を有する。画素の動き振幅は、先行フレームｆ_ｉ−１から現在フレームｆ_ｉまでにその画素が動いた距離を表す。動き振幅値は好ましくは、０（動きなし）と１（現在フレームでの最大の動き）との間に正規化される。この動きフィールドは、例えば、Fabrice Urban等による“a real-time multi-dsp motion estimator for mpeg-4 h. 264 avc high definition video encoding”なるタイトルの論文（2009年，Journal of Real-Time Image Processing，4(1)，pp.23−31）に開示されている動き推定方法を用いて計算される。

ゼロよりも高い固定の動き振幅閾値を持つ第１のバリエーションにおいて、この閾値よりも高い動き振幅値を有するこの動き振幅マップＭ_ｉの画素の全てが、現在フレームｆ_ｉ内の動き領域ＭＲ_ｉを形成する。動き振幅閾値を有しない第２のバリエーションが、以下のステップ３で提示される。

ステップ３ ― 現在フレームｆ_ｉに関する動きを考慮に入れた輝度ヒストグラム計算
必ずしも必要ではないが好ましくは上述のステップ１と同じ方法を用いて、ステップ２で決定された動き領域ＭＲ_ｉに属する画素の色の、Ｈｍｏｔｉｏｎ_ｉと称する輝度ヒストグラムが計算される。これが意味することは、動き領域ＭＲ_ｉに属する画素のみがこの輝度ヒストグラムＨｍｏｔｉｏｎ_ｉに考慮されるということである。

ステップ２で動き振幅閾値が定められない上述の第２のバリエーションにおいて、現在フレームｆ_ｉの各画素の輝度値が、上述のステップ２で決定された動き振幅マップＭ_ｉから得られるその画素の動き振幅によって重み付けられる。このような輝度値の重み付けの後、この第２のバリエーションでもＨｍｏｔｉｏｎ_ｉと称する加重輝度ヒストグラムの計算が実行される。

上述の双方の型において、この計算によって得られる動き分布Ｈｍｏｔｉｏｎ_ｉは、対応する画素の動きによって重み付けられた色データに基づき、この動きは先行フレームｆ_ｉ−１と比較して評価される。第１のバリエーションにおいて、動き領域に属する画素は１の加重値を与えられ、その他の画素は０の加重値を与えられる。

この段階において、
− 画像の全ての画素に関するＨｆｕｌｌ_ｉ
− ヌルではない動き加重を持ち動き領域ＭＲ_ｉの部分と見なされる画素のみを考えるＨｍｏｔｉｏｎ_ｉ
という２つの輝度ヒストグラムを有する。これが意味することは、Ｈｍｏｔｉｏｎ_ｉにカウントされる画素は、Ｈｆｕｌｌ_ｉにもカウントされるということである。

この実施形態の更なるバリエーションにおいて、動き領域ＭＲｉの部分ではない画像内の全ての画素の別個のヒストグラムを計算することによって、画素のこの二重カウントを回避することができる。このヒストグラムをＨｇｌｏｂａｌ_ｉと称することにする。

ヒストグラムＨｆｕｌｌ_ｉがＮ_ｆｕｌｌ個の瓶から成り、ヒストグラムＨｍｏｔｉｏｎ_ｉがＮ_{ｍｏｔｉｏｎ}個の瓶から成り、そして、ヒストグラムＨｇｌｏｂａｌ_ｉがＮ_{ｇｌｏｂａｌ}個の瓶から成ると仮定する。

上述の３つのヒストグラムＨｆｕｌｌ_ｉ、Ｈｍｏｔｉｏｎ_ｉ、及びＨｇｌｏｂａｌ_ｉの各々から、我々はまた、以下の３つのその他の累積ヒストグラム：

を計算する。

上述の３つのヒストグラムＨｆｕｌｌ_ｉ、Ｈｍｏｔｉｏｎ_ｉ、及びＨｇｌｏｂａｌ_ｉの各々から、我々はまた、以下の３つの逆累積ヒストグラム：

を計算する。

これらの累積ヒストグラムは、以下のサブステップ４．２及び４．３で使用されることになる。

ステップ４ ― 次フレームｆ_ｉ＋１に関する露出Ｅ_ｉ＋１の概算
次フレームｆ_ｉ＋１に関するこの露出Ｅ_ｉ＋１を概算するため、とりわけ必要なのは、現在フレームｆ_ｉに関する露出の値と、先行イテレーションによって（あるいは、初期化ステップによって）提供される露出変化の好適方向ｄｉｒ_ｉ＋１の値である。

全体的に、３つの考え得るケースが存在する：
ａ．現在フレームｆ_ｉの露出Ｅ_ｉが既にシーン全体の露出範囲をキャプチャしており、その場合において、Ｅ_ｉ＋１←Ｅ_ｉ及びｄｉｒ_ｉ＋２＝ダウン（何故なら、初期条件に実効的に戻ろうとしているからである）。現在の露出Ｅ_ｉがシーンのダイナミックレンジを十分にキャプチャしているかをテストするため、フル画像ヒストグラムＨｆｕｌｌ_ｉのＮ_ｆｕｌｌ個の瓶のうちの最初の瓶と最後の瓶とが取られる。瓶の総数Ｎ_ｆｕｌｌを有するヒストグラムに関し、瓶の値Ｈｆｕｌｌ_ｉ（０）及びＨｆｕｌｌ_ｉ（Ｎ_ｆｕｌｌ−１）が瓶閾値ｈに対してテストされる。全てのフレームに対して概して共通なものであるこの閾値の値は、典型的に、フレーム内の画素の総数のうちの小さい割合であり、例えば１％であるが、ゼロになるように選択されることも可能である。現在フレームは、以下の条件：
Ｈｆｕｌｌ_ｉ（０）＜ｈ、且つＨｆｕｌｌ_ｉ（Ｎ_ｆｕｌｌ−１）＜ｈ
が満たされる場合に、シーンのダイナミックレンジをキャプチャしていると見なされる。
ｂ．２つの条件：
− ｆ_ｉ＋１がｆ_ｉと十分な重なりを有する
− ｆ_ｉ＋１が十分な有用な画素をキャプチャしている
を満たす露出設定Ｅ_ｉ＋１を見出すことができる。
ｃ．そのような露出Ｅ_ｉ＋１が存在せず（例えば、シーンの照度分布が二峰性であり且つ露出Ｅ_ｉがそれらの２つのモードの中間にあるため）、その場合、２つの考え得る露出変化方向のうちの一方で十分な露出重なりを保ちながら、与えられた露出変化方向で可能な最大露出刻みを選択する。

次フレームｆ_ｉ＋１のための露出Ｅ_ｉ＋１の概算につながる図３及び図４に示す決定木の主なブロックは、とりわけ、次フレームｆ_ｉ＋１に関する当初（イニシャル）露出Ｅｉｎｉｔ_ｉ＋１の概算、及び次フレームｆ_ｉ＋１に関する調整された露出Ｅａｄｊ_ｉ＋１の概算という、２つの先立っての概算を含む。これらの概算を以下のサブステップで説明する。

サブステップ４．１ ― 次フレームｆ_ｉ＋１に関する当初露出Ｅｉｎｉｔ_ｉ＋１の概算
ステップ１で提供されたＨｆｕｌｌ_ｉのみを用いて次フレームに関する当初露出設定Ｅｉｎｉｔ_ｉ＋１を計算し、ｄｉｒ_ｉ＋２の計算に関してステップ５で後述するのと同じプロセスに従って先行イテレーション（又は初期化ステップ）から計算された方向ｄｉｒ_ｉ＋１に露出を変化させる。

現在フレームｆ_ｉに関するアンダー露出色データ閾値ｔ_ｌｏｗに対応するデフォルトの低閾輝度値Ｚ_{ｌｏｗ，ｉ}を計算するとともに、オーバー露出色データ閾値ｔ_ｈｉｇｈに対応するデフォルトの高閾輝度値Ｚ_{ｈｉｇｈ，ｉ}を計算する。閾値ｔ_ｌｏｗ及びｔ_ｈｉｇｈは、相対尺度にて、輝度のどの範囲がフレーム内で有用であるか定める。ｔ_ｌｏｗ及びｔ_ｈｉｇｈの値は概して、キャプチャすべきシーケンスの全てのフレームに対して共通である。フレームセンサ１１０が８ビットフレームをキャプチャするように構成される場合、例えば、ｔ_ｌｏｗ＝０．２及びｔ_ｈｉｇｈ＝０．９を有する。故に、この計算では、ｔ_ｌｏｗ＝０．２を有する場合、Ｚ_{ｌｏｗ，ｉ}＝ｔ_ｌｏｗ×２５５＝５１であり、また、ｔ_ｈｉｇｈ＝０．９を有する場合、Ｚ_{ｈｉｇｈ，ｉ}＝ｔ_ｈｉｇｈ×２５５＝２３０である。

以下に示すように、Ｅｉｎｉｔ_ｉ＋１を計算するため、ｄｉｒ_ｉ＋１＝アップである場合にはアンダー露出色データ閾値ｔ_ｌｏｗを検討し、ｄｉｒ_ｉ＋１＝ダウンである場合にはオーバー露出色データ閾値ｔ_ｈｉｇｈを検討する。

フレームセンサ１１０のカメラ応答関数ＣＲＦと現在フレームｆ_ｉの露出時間Ｅ_ｉとを知って、次に、このフレームのデフォルトの閾輝度値Ｚ_{ｌｏｗ，ｉ}又はＺ_{ｈｉｇｈ，ｉ}に対応するこのフレームのシーン照度値を：

のように計算する。ここで、ＣＲＦ^−１は、カメラ応答関数ＣＲＦを反転したものである。

図５は、現在フレームｆ_ｉにおける輝度値Ｚ（すなわち、８ビット符号化において０から２５５）の分布を例示している。この分布はＨｆｕｌｌ_ｉのみに相当する。Ｙ軸は画素カウントに対応し、Ｘ軸は画素値の色データＺに対応している。Ｉ（Ｚ）は、Ｚとしてキャプチャされるシーン照度値を表す。

ｄｉｒ_ｉ＋１＝アップであるときにＥｉｎｉｔ_ｉ＋１を計算するため、図５に示すように次式：

が好ましく満足されるべきである。

式（３）及び（４）が与えられると、

となる。

カメラ応答関数ＣＲＦを再び考えるに、次フレームｆ_ｉ＋１に対応する値に基づいて、式（５）を：

と再公式化することができる。

式（５）と（６）とを結合して、

が与えられる。

式（７）中の未知数はＥｉｎｉｔ_ｉ＋１のみであり、故に、それを解いて、

に従った次フレームｆ_ｉ＋１のための当初露出設定を得ることができる。

簡単に言えば、現在フレーム及び次フレームｆ_ｉ、ｆ_ｉ＋１の特定の色値に関して同じシーン照度がキャプチャされるように、次フレームｆ_ｉ＋１の露出Ｅｉｎｉｔ_ｉ＋１の見積もりを計算することができる。このＥｉｎｉｔ_ｉ＋１の選択は、現在フレームｆ_ｉにおける露出範囲と次フレームｆ_ｉ＋１における露出範囲との間に十分な露出重なりが存在することと、現在フレームにおいてアンダー露出又はオーバー露出の何れかであった画素のうちの十分な数を次フレームがキャプチャすることとを確実にする（すなわち、上述のケースｂ）。

同様に、なおも図５に示した輝度値の分布を参照するに、ｄｉｒ_ｉ＋１＝ダウンであるときにＥｉｎｉｔ_ｉ＋１を計算するため、次フレームｆ_ｉ＋１に関する当初露出Ｅｉｎｉｔ_ｉ＋１が次式：

に従って概算される。

本発明は、上述のＥｉｎｉｔ_ｉ＋１の計算に限定されない。動きを考慮に入れずにＨＤＲ画像を構築するその他の知られた方法が使用されてもよく、とりわけ、上述のように輝度ヒストグラムＨｆｕｌｌｉのみに置かれる閾値Ｚｌｏｗ及びＺｈｉｇｈを使用するだけでなく、このヒストグラムの形状をも使用する方法が用いられてもよい（例えば、上記特許文献１（米国特許第７３８２９３１号明細書）を参照）。

サブステップ４．２ ― 次フレームｆ_ｉ＋１に関する調整された露出Ｅａｄｊ_ｉ＋１の概算
この概算では、好ましくは、現在フレームｆ_ｉのどれだけ多くの画素が、異なる状況においてオーバー露出又はアンダー露出である色を有するかを検討し、それに従って次フレームｆ_ｉ＋１のための露出を調整する。

次フレームｆ_ｉ＋１に関して許容可能なオーバー／アンダー露出画素の個数を決定するため、好ましくは、現在フレームｆ_ｉにおけるローカル（局所的）又はグローバル（全域的）な動きによってどれだけ多くの画素が影響を受けるかを検討し、また、現在フレームｆ_ｉ内でオーバー又はアンダーの露出を測定しているかを検討する。これらのケースの各々が、動き領域ＭＲ_ｉ内のオーバー／アンダー露出画素の割合の閾値ｔｈｒ_{ｍｏｔｉｏｎ}に関して、また、全体フレームｆ_ｉ内のオーバー／アンダー露出画素の割合の閾値ｔｈｒ_ｆｕｌｌ（又は、動き領域ＭＲ_ｉの中にない画素に関するオーバー／アンダー露出画素の割合の閾値ｔｈｒ_{ｇｌｏｂａｌ}）に関して、異なる値をもたらす。これら２つの閾値ｔｈｒ_{ｍｏｔｉｏｎ}及びｔｈｒ_ｆｕｌｌ（又はｔｈｒ_{ｇｌｏｂａｌ}）は、以下にて、次フレームｆ_ｉ＋１が好ましくはどれだけ現在フレームｆ_ｉと輝度的に重なるべきかを決定するために使用されることになる。

続いて、現在フレームｆ_ｉに関する画素ｔｈｒ_{ｍｏｔｉｏｎ}の概算を詳述する。

上述のステップ２で提供される動き振幅マップＭ_ｉから、各画素位置ｘに関し、ローカル動きインデックスＬＭ_ｉを：

のように設定する。

そして、現在フレームｆ_ｉに関してローカル動きマップが得られる。

加えて、現在フレームｆ_ｉにおけるローカル動きを有する画素の割合を：

のように計算する。

ローカル動きを有する画素の最小の割合の値Ａ_ｍｉｎ、及びローカル動きを有する画素の最大の割合の値Ａ_ｍａｘが実験的に、例えば、Ａ_ｍｉｎ＝０．１％、及びＡ_ｍａｘ＝１％に設定される。これらの値は概して、シーケンスの全てのフレームに対して共通である。動き領域ＭＲ_ｉがＡ_ｍｉｎ及びＡ_ｍａｘにどのように関係しているかを決定するため、動きを有する画素を以下のように単純にカウントする。

以下の表１を参照するに、ローカル動きを有する画素の割合Ａ_ｉがＡ_ｍｉｎよりも小さい場合：
− オーバー露出に関し、ｄｉｒ_ｉ＋１＝アップであるとき、ｔｈｒ_{ｍｏｔｉｏｎ}＝ｔｈｒ_{ｏｖｅｒ，ｍｉｎ}と設定し、そして
− アンダー露出に関し、ｄｉｒ_ｉ＋１＝ダウンであるとき、ｔｈｒ_{ｍｏｔｉｏｎ}＝ｔｈｒ_{ｕｎｄｅｒ，ｍｉｎ}と設定する。ｔｈｒ_{ｏｖｅｒ，ｍｉｎ}及びｔｈｒ_{ｕｎｄｅｒ，ｍｉｎ}の値は、表１の最初の行に提案されている。

ローカル動きを有する画素の割合Ａ_ｉがＡ_ｍａｘよりも大きい場合：
− オーバー露出に関し、ｄｉｒ_ｉ＋１＝アップであるとき、ｔｈｒ_{ｍｏｔｉｏｎ}＝ｔｈｒ_{ｏｖｅｒ，ｍａｘ}と設定し、そして
− アンダー露出に関し、ｄｉｒ_ｉ＋１＝ダウンであるとき、ｔｈｒ_{ｍｏｔｉｏｎ}＝ｔｈｒ_{ｕｎｄｅｒ，ｍａｘ}と設定する。ｔｈｒ_{ｏｖｅｒ，ｍａｘ}及びｔｈｒ_{ｕｎｄｅｒ，ｍａｘ}の値は、表１の最後の行に提案されている。

Ａ_ｍｉｎ＜Ａ_ｉ＜Ａ_ｍａｘである第３の取り得る状況においては、オーバー／アンダー露出の画素の割合の閾値ｔｈｒ_{ｍｏｔｉｏｎ}を、以下に示すように補間する（表１の真ん中の行を参照）：

続いて、現在フレームｆ_ｉに関する画素ｔｈｒ_ｆｕｌｌ（又は、第２の実施形態によるｔｈｒ_{ｇｌｏｂａｌ}）の概算を詳述する。

閾値ｔｈｒ_ｆｕｌｌ（又はｔｈｒ_{ｇｌｏｂａｌ}）を、方向ｄｉｒ_ｉ＋１＝アップである場合、表２に与えられる閾値ｔｈｒ_{ｕｎｄｅｒ}に設定し、あるいは、方向ｄｉｒ_ｉ＋１＝ダウンである場合、表２に与えられる閾値ｔｈｒ_ｏｖｅｒに設定する。

このプロセスが双方の累積ヒストグラムに対して繰り返される。

動き領域ＭＲ_ｉ内のオーバー／アンダー露出画素の割合に関する閾値ｔｈｒ_{ｍｏｔｉｏｎ}の値は、とりわけ式（１０）に従って計算されることがあるので、フレーム間で可変であり、故に、フレームごとに具体的に評価される。この値は、そのフレーム内のどれほどの動きがあるかに応じて変化することになる。

上述のようにして、現在フレームｆ_ｉの動き領域ＭＲ_ｉに関するオーバー／アンダー露出画素の割合の閾値ｔｈｒ_{ｍｏｔｉｏｎ}と、現在フレームｆ_ｉの全ての画素に関するｔｈｒ_ｆｕｌｌ（又は、動き領域に属さない画素に関するｔｈｒ_{ｇｌｏｂａｌ}）との値を得た後、後続計算に関して上述したものの中から２つの累積ヒストグラムを選択する。露出時間の増大が次フレームに好ましい場合（すなわち、ｄｉｒ_ｉ＋１＝アップ）、Ｃｆｕｌｌ^ｒ _ｉ及びＣｍｏｔｉｏｎ^ｒ _ｉを好ましく選択する。他の一実施形態において、（上で概説したように）画素を二重にカウントすることを回避するため、Ｃｇｌｏｂａｌ^ｒ _ｉ及びＣｍｏｔｉｏｎ^ｒ _ｉを選択し得る。

露出時間の減少が好ましい場合、すなわち、ｄｉｒ_ｉ＋１＝ダウンの場合、Ｃｆｕｌｌ_ｉ及びＣｍｏｔｉｏｎ_ｉを好ましく選択する。他の一実施形態において、（上で概説したように）画素を二重にカウントすることを回避するため、Ｃｇｌｏｂａｌ_ｉ及びＣｍｏｔｉｏｎ_ｉを選択し得る。

このプロセスは、動き領域に関する１つと、全体画像、又は全体画像から動き領域ＭＲ_ｉを差し引いたものの何れかに関する１つとの、２つの累積ヒストグラムを好ましく選択する。また、２つの対応する閾値の値を上で決定しており、上述の式（９）及び（１０）に従って計算されるｔｈｒ_{ｍｏｔｉｏｎ}が、Ｃｍｏｔｉｏｎ_ｉ（それぞれ、Ｃｍｏｔｉｏｎ^ｒ _ｉ）についての後続計算に関与し、ｄｉｒ_ｉ＋１に応じて表２に従って設定されるｔｈｒ_ｆｕｌｌが、実施形態の選択に依存して、Ｃｆｕｌｌ_ｉ（それぞれ、Ｃｆｕｌｌ^ｒ _ｉ）又はＣｇｌｏｂａｌ_ｉ（それぞれ、Ｃｇｌｏｂａｌ^ｒ _ｉ）の何れかについての後続計算に関与する。

図６は、図５と同じ現在フレームｆ_ｉにおける輝度／強度値Ｚの分布（すなわち、８ビット符号化において０から２５５）の分布を例示している。図６はまた、点線の曲線にて、選択された逆累積分布を例示している。Ｉ（Ｚ）は、Ｚとしてキャプチャされるシーン照度値を表す。この図６を参照して、上述の閾値ｔｈｒ_ｆｕｌｌに対応する調整された閾輝度Ｚ_{ｔｈｒ，ｆｕｌｌ，ｉ}の値を、以下のようにして決定する：点線の累積ヒストグラムＣｆｕｌｌ_ｉ（それぞれ、Ｃｆｕｌｌ^ｒ _ｉ）上で、ｙ軸（すなわち、画素カウント）がｔｈｅ_ｆｕｌｌに等しい点を見つけ、この点のＸ軸上での投影がＺ_{ｔｈｒ，ｆｕｌｌ，ｉ}の値を与える。

このプロセスが累積ヒストグラムＣｆｕｌｌ_ｉ（それぞれ、Ｃｆｕｌｌ^ｒ _ｉ）（又は、Ｃｇｌｏｂａｌ_ｉ（それぞれ、Ｃｇｌｏｂａｌ^ｒ _ｉ））に適用されるとき、Ｚ_{ｔｈｒ，ｆｕｌｌ，ｉ}の値が得られる。このプロセスが累積ヒストグラムＣｍｏｔｉｏｎ_ｉ（それぞれ、Ｃｍｏｔｉｏｎ^ｒ _ｉ）に対して繰り返されて、Ｚ_{ｔｈｒ，ｍｏｔｉｏｎ，ｉ}が得られる。

そして、
Ｃ_{ｍｏｔｉｏｎ，ｉ}（Ｚ_{ｔｈｒ，ｍｏｔｉｏｎ，ｉ}）≦ｔｈｒ_{ｍｏｔｉｏｎ}
Ｃ_{ｆｕｌｌ，ｉ}（Ｚ_{ｔｈｒ，ｍｏｔｉｏｎ，ｉ}）≦ｔｈｒ_ｆｕｌｌ
である場合にのみ、最終的な調整された閾輝度値Ｚ_{ｔｈｒ，ｉ}がＺ_{ｔｈｒ，ｍｏｔｉｏｎ，ｉ}に設定される。

あるいは、
Ｃ_{ｍｏｔｉｏｎ，ｉ}（Ｚ_{ｔｈｒ，ｆｕｌｌ，ｉ}）≦ｔｈｒ_{ｍｏｔｉｏｎ}
Ｃ_{ｆｕｌｌ，ｉ}（Ｚ_{ｔｈｒ，ｆｕｌｌ，ｉ}）≦ｔｈｒ_ｆｕｌｌ
である場合にのみ、最終的な調整された閾輝度値Ｚ_{ｔｈｒ，ｉ}がＺ_{ｔｈｒ，ｆｕｌｌ，ｉ}に設定される。

この調整された閾輝度値Ｚ_{ｔｈｒ，ｉ}を得た後、Ｚ_{ｌｏｗ，ｉ}をＺ_{ｔｈｒ，ｉ}で置き換え且つＥｉｎｉｔ_ｉ＋１をＥａｄｊ_ｉ＋１で置き換えた式（３）−（７）にて、上記Ｅｉｎｉｔ_ｉ＋１を概算したのと同じ手法で、次フレームｆ_ｉ＋１に関する調整された露出Ｅａｄｊ_ｉ＋１を概算する。

サブステップ４．３ ― 次フレームｆ_ｉ＋１に関する露出Ｅ_ｉ＋１の最終見積もり
ｄｉｒ_ｉ＋１＝アップである場合、図３に示した決定木に従って、次フレームｆ_ｉ＋１のための露出Ｅ_ｉ＋１の最終見積もりを得る。ｄｉｒ_ｉ＋１＝ダウンである場合には、図４に示した決定木に従って、次フレームｆ_ｉ＋１のための露出Ｅ_ｉ＋１の最終見積もりを得る。これらの決定木によれば、結論は、Ｅ_ｉ＋１＝Ｅｉｎｉｔ_ｉ＋１、又はＥ_ｉ＋１＝Ｅａｄｊ_ｉ＋１の何れかである。なお、これらの決定木は現在フレームｆ_ｉの露出Ｅ_ｉを考慮に入れている。

ステップ５ ― 後続フレームｆ_ｉ＋２に関する露出変化の好適方向の決定
この方向ｄｉｒ_ｉ＋２は、“後続”フレームｆ_ｉ＋２が“次”フレームｆ_ｉ＋１の露出Ｅ_ｉ＋１よりも長い（“アップ”）露出時間でキャプチャされるべきか、短い（“ダウン”）露出時間でキャプチャされるべきかを決定する。次の繰り返しで後続フレームｆ_ｉ＋２に関する露出が好ましく変化（アップ又はダウン）されるべき方向ｄｉｒ_ｉ＋２は、サブステップ４．３で使用されたものと同じ決定木に従って決定される。図３及び４を再び参照されたい。

ステップ６ ― 次フレームｆ_ｉ＋１のキャプチャ
センサ１１０が、上述のステップ４でプロセッサ１２０によって調整された露出Ｅ_ｉ＋１に関するデータを受信する。次いで、この露出Ｅ_ｉ＋１の下でセンサが次フレームｆ_ｉ＋１をキャプチャする。そして、このキャプチャされたフレームｆ_ｉ＋１に関する画像データが、メモリ１３０に伝達されて格納される。

ステップ１乃至６の後続イテレーション
上述のステップ１乃至６の第１の繰り返しの後、キャプチャの終了まで、ステップ１乃至６の、他の後続の繰り返しが同様に実行される。Ｑはシーケンスのフレームの総数であるとして、繰り返しごとに、同じシーンをそれぞれの露出Ｅ_０、Ｅ_１、Ｅ_２、…、Ｅ_ｉ−１、Ｅ_ｉ、Ｅ_ｉ＋１、…、Ｅ_Ｑ−１の下で撮像する連続したフレームｆ_０、ｆ_１、ｆ_２、…、ｆ_ｉ−１、ｆ_ｉ、ｆ_ｉ＋１、…、ｆ_Ｑ−１がメモリ１３０に格納される。

後処理：シーンの一連のＨＤＲ画像を生成する
上述のようなＱフレームのキャプチャの後、例えばこれらのフレームを異なる露出を有する連続したフレームのシリーズにグループ化するため及び各シリーズのフレームをシーンのＨＤＲ画像へとそれ自体は既知の手法で融合するためなどの後処理ステップが、プロセッサ１２０によって適用される。好ましくは、第１のシリーズの第２のフレームが、第１のシリーズに続く第２のシリーズの第１のフレームであるように、各々のシリーズが２つの連続したフレームを有するとともに、各々のフレームが２つのシリーズに属する。

シリーズのフレームの融合からの各ＨＤＲ画像の生成は、好ましくは、Nima Khademi Kalantari等による“Patch-based high dynamic range video”なるタイトルの論文（2013年，ACM Trans. Graph.，32(6)，p.202）に記載されている方法を用いて実行される。

そして、シーンのＨＤＲ画像のビデオシーケンスが得られる。

一バリエーションにて、上述のような連続フレームからのＨＤＲ画像の生成は、これらおフレームに関する画像データがメモリ１３０にて利用可能になると直ちに実行されることができる。

本発明の利点
本発明に従った方法は以下の利点を有する：
− 生成されるＨＤＲビデオシーケンスのダイナミックレンジが最大化されながら、これらのシーケンスにおける動きアーティファクトが最小化される；
− 当該方法のオンライン部分、すなわち、上述のステップ１乃至６の繰り返しでキャプチャされるほぼ全てのフレームが、後処理の後にＨＤＲフレームをもたらし、ＨＤＲビデオシーケンスを生成するその他の方法においてのような高フレームレートのカメラの必要性を取り除く；
− 所与のＨＤＲ画像に関して最小必要数の露出のキャプチャであり、故に、シーンが多数の露出を必要としない場合、それらはキャプチャされないことになる；
− 当該方法は、特に、限られた処理能力を有するモバイル装置に合わせて設計される。

理解されるように、本発明は、様々な形態のハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、又はこれらの組み合わせにて実装され得る。本発明は、とりわけ、ハードウェアとソフトウェアとの組み合わせとして実装され得る。また、ソフトウェアは、プログラム記憶ユニットにて有形に具現化されるアプリケーションプログラムとして実装され得る。アプリケーションプログラムは、好適なアーキテクチャを有する機械にアップロードされて、それによって実行され得る。好ましくは、その機械は、例えば１つ以上の中央演算処理ユニット（“ＣＰＵ”）、ランダムアクセスメモリ（“ＲＡＭ”）、及び入力／出力（“Ｉ／Ｏ”）インタフェースなどのハードウェアを有するコンピュータプラットフォーム上に実装される。コンピュータプラットフォームはまた、オペレーティングシステム及びマイクロ命令コードを含み得る。ここに記載された様々なプロセス及び機能は、マイクロ命令コードの部分又はアプリケーションプログラムの部分の何れか、又はこれらの何らかの組み合わせとすることができ、それがＣＰＵによって実行され得る。さらに、コンピュータプラットフォームには、例えば更なるデータ記憶ユニット及び印刷ユニットなどの様々なその他の周辺ユニットが接続され得る。

特定の例及び好適実施形態に関して本発明を説明したが、理解されるように、本発明はこれらの例及び実施形態に限定されない。特許請求される本発明は、故に、当業者に理解されることになるような、ここに記載された特定の例及び好適実施形態からの変形を含む。複数の具体的な実施形態の一部が別々に記述されて特許請求されていることがあるが、理解されるように、ここに記述されて特許請求される実施形態の様々な特徴が組み合わせて使用されてもよい。請求項中に現れる参照符号は、単に例示によるものであり、請求項の範囲への限定効果を有するものではない。
上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
シーンのＨＤＲ画像を生成する方法であって、前記シーンを撮像する現在フレームが現在露出の下でキャプチャされており、前記シーンを撮像する先行フレームが前記現在フレームの前にキャプチャされており、当該方法は、
前記現在露出と、前記現在フレームの画素の色の第１の輝度分布と、前記画素の動きによって重み付けられた前記画素の色の第２の輝度分布との関数として、次フレームに関する露出を設定することであり、前記動きは、前記先行フレームとの比較で前記画素に関して評価される、設定することと、
前記設定された露出の下で前記次フレームをキャプチャすることと、
前記次フレームを、ＨＤＲ画像へと、少なくとも前記現在フレームと融合することと
を有する、ＨＤＲ画像を生成する方法。
（付記２）
前記次フレームに関する前記露出は、前記現在フレームに関する露出変化の好適方向の関数としても設定される、付記１に記載のＨＤＲ画像を生成する方法。
（付記３）
前記次フレームに続くフレームに関する露出変化の好適方向を決定すること、を有する付記２に記載のＨＤＲ画像を生成する方法。
（付記４）
前記次フレームに関する露出を設定することは、前記第１の輝度分布に基づくが前記第２の輝度分布には基づかない当初露出の概算と、前記第２の輝度分布に基づく調整された露出の概算と、前記次フレームに関する前記露出の値として前記当初露出と前記調整された露出との間で選択を行うように適応された、前記次フレームに関する前記露出の最終的な見積もりとを有する、付記１乃至３の何れか一に記載のＨＤＲ画像を生成する方法。
（付記５）
特に先行フレームをキャプチャし且つ現在露出の下で現在フレームをキャプチャするよう、シーンを撮像する順次のフレームをキャプチャするように構成されたフレームセンサと、
プロセッサであり、
前記現在露出と、前記現在フレームの画素の色の第１の輝度分布と、前記画素の動きによって重み付けられた前記画素の色の第２の輝度分布との関数として、次フレームに関する露出を設定し、前記動きは、前記先行フレームとの比較で前記画素に関して評価され、
前記フレームセンサにより前記設定された露出の下での前記次フレームのキャプチャを引き起こし、
前記次フレームを、ＨＤＲ画像へと、少なくとも前記現在フレームと融合する
ように構成されたプロセッサと、
を有するＨＤＲ画像キャプチャ装置。
（付記６）
前記プロセッサはまた、前記次フレームに関する前記露出を、前記現在フレームに関する露出変化の好適方向の関数としても設定するように構成されている、付記５に記載のＨＤＲ画像キャプチャ装置。
（付記７）
前記プロセッサはまた、前記次フレームに続くフレームに関する露出変化の好適方向を決定するように構成されている、付記６に記載のＨＤＲ画像キャプチャ装置。
（付記８）
前記プロセッサはまた、前記次フレームに関する露出を設定することが、前記第１の輝度分布に基づくが前記第２の輝度分布には基づかない当初露出の概算と、前記第２の輝度分布に基づく調整された露出の概算と、前記次フレームに関する前記露出の値として前記当初露出と前記調整された露出との間で選択を行うように適応された、前記次フレームに関する前記露出の最終的な見積もりとを有するように構成されている、付記５乃至７の何れか一に記載のＨＤＲ画像キャプチャ装置。

Claims (8)

1. シーンの高ダイナミックレンジ（ＨＤＲ）画像を生成する方法であって、前記シーンを撮像する現在フレームが現在露出の下でキャプチャされており、前記シーンを撮像する先行フレームが前記現在フレームの前にキャプチャされており、当該方法は、
   前記現在露出と、前記現在フレームの画素の色の第１の輝度分布及び前記画素の動きによって重み付けられた前記画素の色の第２の輝度分布に基づいて得た閾輝度値の関数として、次フレームに関する露出を設定することであり、前記動きは、前記先行フレームとの比較で前記画素に関して評価される、設定することと、
   前記設定された露出の下で前記次フレームをキャプチャすることと、
   前記次フレームを、ＨＤＲ画像へと、少なくとも前記現在フレームと融合することと
   を有する、ＨＤＲ画像を生成する方法。
2. 前記次フレームに関する前記露出は、前記現在フレームに関する露出変化の好適方向の関数としても設定される、請求項１に記載のＨＤＲ画像を生成する方法。
3. 前記次フレームに続くフレームに関する露出変化の好適方向を決定すること、を有する請求項２に記載のＨＤＲ画像を生成する方法。
4. 前記次フレームに関する露出を設定することは、前記第１の輝度分布に基づくが前記第２の輝度分布には基づかない当初露出の概算と、前記第２の輝度分布に基づく調整された露出の概算と、前記次フレームに関する前記露出の値として前記当初露出と前記調整された露出との間で選択を行うように適応された、前記次フレームに関する前記露出の最終的な見積もりとを有する、請求項１乃至３の何れか一項に記載のＨＤＲ画像を生成する方法。
5. 高ダイナミックレンジ（ＨＤＲ）画像キャプチャ装置であって、
   先行フレーム及び現在露出の下での現在フレームを含む、シーンを撮像する順次のフレームをキャプチャするように構成されたフレームセンサと、
   プロセッサであり、
   前記現在露出と、前記現在フレームの画素の色の第１の輝度分布及び前記画素の動きによって重み付けられた前記画素の色の第２の輝度分布に基づいて得た閾輝度値の関数として、次フレームに関する露出を設定し、前記動きは、前記先行フレームとの比較で前記画素に関して評価され、
   前記フレームセンサにより前記設定された露出の下での前記次フレームのキャプチャを引き起こし、
   前記次フレームを、ＨＤＲ画像へと、少なくとも前記現在フレームと融合する
   ように構成されたプロセッサと、
   を有するＨＤＲ画像キャプチャ装置。
6. 前記プロセッサはまた、前記次フレームに関する前記露出を、前記現在フレームに関する露出変化の好適方向の関数としても設定するように構成されている、請求項５に記載のＨＤＲ画像キャプチャ装置。
7. 前記プロセッサはまた、前記次フレームに続くフレームに関する露出変化の好適方向を決定するように構成されている、請求項６に記載のＨＤＲ画像キャプチャ装置。
8. 前記プロセッサはまた、前記次フレームに関する露出を設定することが、前記第１の輝度分布に基づくが前記第２の輝度分布には基づかない当初露出の概算と、前記第２の輝度分布に基づく調整された露出の概算と、前記次フレームに関する前記露出の値として前記当初露出と前記調整された露出との間で選択を行うように適応された、前記次フレームに関する前記露出の最終的な見積もりとを有するように構成されている、請求項５乃至７の何れか一項に記載のＨＤＲ画像キャプチャ装置。

Images