JP5964409B2 - ハイダイナミックレンジ画像についてのホワイトバランス最適化 - Google Patents

Description

本開示は、一般的に、画像のホワイトバランシングに関する。より詳細には、本開示は、ハイダイナミックレンジ画像をホワイトバランスするためのシステムおよび方法に関する。

技術の進歩が、より小さく、よりパワフルなコンピューティング装置をもたらした。例えば、小さく、軽量で、ユーザによる持ち運びが容易な、携帯無線電話（portable wireless telephone）、携帯情報端末（ＰＤＡ）、およびページングデバイスなどの無線コンピューティング装置を含む様々な携帯パーソナルコンピューティング装置が現在存在する。より具体的には、セルラー電話やインターネットプロトコル（ＩＰ）電話などの携帯無線電話が無線ネットワーク上で音声およびデータパケットを通信できる。さらに、多くのこうした無線電話は、これに組み込まれる他のタイプのデバイスを含む。例えば、無線電話は、デジタルスチルカメラ、デジタルビデオカメラ、デジタルレコーダ、およびオーディオファイルプレイヤを含むこともできる。また、このような無線電話は、インターネットにアクセスするために使用できるウェブブラウザアプリケーションなどのソフトウェアアプロケーションを含む実行可能命令群を処理できる。従って、これら無線電話はかなりの計算能力を持ち得る。

デジタル信号プロセッサ（ＤＳＰ）、画像プロセッサ、および他の処理デバイスは、デジタルカメラを備えたり、デジタルカメラによって取り込まれた画像データや映像データを表示したりする携帯パーソナルコンピューティング装置において頻繁に使用される。こうした処理デバイスは、映像機能および音声機能を提供すること、並びに取り込まれた画像データなどの受取データを処理することに利用され得る。

デジタルカメラによって取り込まれた画像データや映像データのダイナミックレンジは、精確に解像できる、最も高い明るさレベルと、最も低い明るさレベルとの間の比率を示す。画像のダイナミックレンジは、画像の露出時間によって変化し得る。いくつかのケースでは、画像は、２つの異なるプリセット露出時間を使用して取り込まれ得る。例えば、シーンの第１の露出が得られ、次にこの露出時間の１／２、１／３、または１／４でシーンの第２の露出が取り込まれる。第１の露出は暗い方の画像エリアを提供するために使用され、第２のより短い露出は明るい方の画像エリアを提供するために使用される。結果として生じた２つの露出は次に、画像の明るいエリアおよび暗いエリアにおいて適切な露出を有するハイダイナミックレンジ（ＨＤＲ）画像を生成するよう組み合わされる。しかしながら、この方法は固定の露出時間を使用することから、第２のフレームが常に第１のフレームの露出のパーセンテージとして取り込まれるため、これが明るいエリアおよび暗いエリアを取り込む方式においてフレキシビリティを提供しない。

さらに、従来のホワイトバランスアルゴリズムは単一セットのホワイトバランスゲインを特定の画像のために利用する。これら従来の技法がハイダイナミックレンジ画像に適用される場合、合成画像の２つ以上の領域の変化する照明が不適切なホワイトバランスを余儀なくさせ、結果として生じる画像の品質を損い得る。

開示される技法は上述の問題を解決する。まず、ハイダイナミックレンジを形成するために組み合わされる各ソース画像の露出が、特定の光源ソースのために最適化される。例えば、１つのソース画像がシーンの暗い領域のために最適化するように露出され得る一方で、第２のソース画像の露出パラメータがシーンの明るい領域のために最適化される。このような技法は、上述された固定の露出ブラケティングの結果として生じる最適でない（sub optimal）露出をいくつかの先行技術に対して解消する。

次に、各ソース画像は、この画像の露出が最適化された対象の領域に基づいてホワイトバランスされる。例えば、第１のソース画像の露出がその明るい領域のために最適化された場合、そのホワイトバランスが同じ明るい領域からのデータのみに基づく。同様に、暗い領域を取り込むために最適化された露出の画像は、この後、この暗い領域に基づいてホワイトバランスされる。両方の画像のホワイトバランス方法は露出パラメータの考慮でさらに改善される。

特定の実施形態では、ハイダイナミックレンジのデジタル画像を生成する方法が開示され、これが少なくとも１つのセンサからあるシーンの第１の画像を取り込むことを含み、ここにおいて第１の画像は明るい領域および暗い領域を有し、第１の画像はこの明るい領域に基づいた第１の露出設定を使用して取り込まれ、第１の画像のホワイトバランスはこの明るい領域によって決定される。この方法は、この少なくとも１つのセンサからのシーンの第２の画像を取り込むこと、ここにおいて第２の画像は暗い領域に基づいた第２の露出設定を使用して取り込まれ、第２の画像のホワイトバランスはこの暗い領域によって決定される、並びに第１の画像と第２の画像とを組み合わせることによってハイダイナミックレンジのデジタル画像を生成することを含む。

この方法の一実施形態において、ハイダイナミックレンジデジタル画像は第１の画像の明るい領域を第２の画像の暗い領域と組み合わせることによって生成される。別の実施形態において、第１の領域のホワイトバランスはまた、第１の露出設定に基づいて決定され、第２の領域のホワイトバランスはまた、第２の露出設定に基づいて決定される。いくつかの実施形態において、ホワイトバランスは第１の画像の明るい領域および第２の画像の暗い領域のみに適用される。他の実施形態において、第１の露出設定は、第１の画像の第１の輝度ヒストグラムを生成することと、第１の輝度ヒストグラムからしきい値を識別することと、このしきい値に基づいて明るい領域を決定することとによって決定される。いくつかの実施形態において、センサは１つのみである。他の実施形態では、少なくとも２つのセンサがあり、第１の画像は第１のセンサによって取り込まれ、第２の画像は第２のセンサによって取り込まれる。

他の実施形態は、カメラセンサおよびプロセッサを備える結像デバイスを含み、このプロセッサは少なくとも１つのセンサからシーンの第１の画像を取り込むように構成され、第１の画像は明るい領域および暗い領域を有し、第１の画像はこの明るい領域に基づいた第１の露出設定を使用して取り込まれ、第１の画像のホワイトバランスはこの明るい領域によって決定される。このプロセッサはこの少なくとも１つのカメラセンサからのシーンの第２の画像を取り込むようにさらに構成され、第２の画像はこの暗い領域に基づいた第２の露出設定を使用して取り込まれ、第２の画像のホワイトバランスはこの暗い領域によって決定される。プロセッサはまた、最終画像を生成するために、第１の画像と第２の画像とを組み合わせるように構成される。この実施形態のデバイスはまた、最終画像を記憶するための記憶装置を含む。

このデバイスのいくつかの実施形態において、第１の露出設定は、第１の画像の第１の輝度ヒストグラムを生成することと、この第１の輝度ヒストグラムからしきい値を識別することと、このしきい値に基づいて明るい領域を決定することとによって決定される。他の実施形態でにおいて、このデバイスは第２のカメラセンサをさらに含み、少なくとも１つのセンサは第１のカメラセンサおよび第２のカメラセンサを備える２つのセンサである。いくつかの実施形態において、最終画像はスナップショットである。いくつかの実施形態における結像デバイスのプロセッサは、第１の露出設定に基づいて第１の領域のホワイトバランスを決定し、第２の露出設定に基づいて第２の領域のホワイトバランスを決定するようにさらに構成される。いくつかの実施形態において、結像デバイスのプロセッサはこれらステップを繰り返し行うように構成される。結像デバイスのいくつかの実施形態において、プロセッサは、第１の露出設定に基づいて第１の領域のホワイトバランスを決定し、第２の露出設定に基づいて第２の領域のホワイトバランスを決定するようにさらに構成される。結像デバイスの他の実施形態において、プロセッサは第１の露出設定に基づいて第１の領域のホワイトバランスを決定し、第２の露出設定に基づいて第２の領域のホワイトバランスを決定するようにさらに構成される。

いくつかの実施形態は、複数のプロセッサ実行可能な第１の命令群を含む非一時的なコンピュータ可読媒体を備え、プロセッサ実行可能な第１の命令群は少なくとも１つのセンサからあるシーンの第１の画像を取り込むことと、ここにおいて第１の画像は明るい領域および暗い領域を有し、第１の画像はこの明るい領域に基づいた第１の露出設定を使用して取り込まれ、第１の画像のホワイトバランスはこの明るい領域によって決定される、この少なくとも１つのセンサからのシーンの第２の画像を取り込むことと、ここにおいて第２の画像はこの暗い領域に基づいた第２の露出設定を使用して取り込まれ、第２の画像のホワイトバランスはこの暗い領域によって決定される、最終画像を生成するために第１の画像と第２の画像とを組み合わせることと、をプロセッサに行わせるように動作可能である。いくつかの実施形態において、第１の露出設定は、第１の画像の第１の輝度ヒストグラムを生成することと、第１の輝度ヒストグラムから明るさしきい値を識別することと、明るさしきい値に基づいて明るい領域を決定することとによって、決定される。他の実施形態はまた、プロセッサに第１の命令群を繰り返し実行させるように動作可能な、第２の命令群を含む。

ハイダイナミックレンジ画像合成のための改善されたホワイトバランスの実施形態によって提供される一つの格別な利点は、最終画像を構成するために使用される変化する露出時間にかかわらず、本来の画像の照明のより精確な表現である。

本開示の他の態様、利点、および特徴は、以下のセクション、すなわち図面の簡単な説明、発明を実施するための形態、および特許請求の範囲を含む、本明細書全体を読んだ後に明らかとなるはずである。

ハイダイナミックレンジ（ＨＤＲ）合成モジュールおよびＨＤＲ圧縮モジュールを持つ画像処理システムを含む特定の例示的な、システムの実施形態のブロック図である。 オート露出制御システムの例示的な実施形態のデータフローの図である。 領域識別モジュールおよびオートホワイトバランスモジュールを含む、ハイダイナミックレンジ画像合成システムの例示的な実施形態のブロック図である。 図４Ａおよび図４Ｃが２つの画像である。図４ａは短い露出で得られ、図４ｃは長い露出で得られる。図４ｂおよび図４ｄがホワイトバランス動作を最適化するために適した各画像内の領域の識別を示す。 領域識別モジュールの例示的な実施形態のフローチャートである。 明るい領域および暗い領域についての輝度ヒストグラムのためのしきい値を示すグラフである。 ハイダイナミックレンジ画像合成の方法の第１の例示的な実施形態のフローチャートである。 デジタル画像を自動的にホワイトバランスする方法の例示的な実施形態のフローチャートである。 自動的なホワイトバランシング処理の一部としてフレーム統計値を収集する方法の例示的な実施形態のフローチャートである。 自動的なホワイトバランシング方法の一部として基準光源を決定するためにフレーム統計値を分析する方法の例示的な実施形態のフローチャートである。 ハイダイナミックレンジ合成モジュールを含むデバイスの特定の実施形態のブロック図である。 ハイダイナミックレンジ合成モジュールを含む無線通信デバイスのブロック図である。

本明細書に開示された実現は、ハイダイナミックレンジ画像をホワイトバランスするためのシステム、方法、および装置を提供する。詳細には、本実施形態は、あるシーンの画像をこのシーンの暗い領域または明るい領域のいずれかに基づいて取り込むことを意図する。本実施形態はさらに、この画像をこの明るい領域またはこの暗い領域のいずれかに基づいてホワイトバランスすることを意図する。当業者は、これらの実施形態がハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせで実現され得ることを認識するはずである。

以下の説明では、特定の詳細が、複数の例の十分な理解を提供するために与えられる。しかしながら、これら例はこれらの特定の詳細なしに実践され得ることが、当業者によって理解されるはずである。例えば、電気コンポーネント／デバイスは、不必要な詳細により例を曖昧にしないように、ブロック図で示され得る。他の例では、このようなコンポーネント、他の構造および技法がこれら例をさらに説明するために詳細に示され得る。

例が処理として説明され得ることにも留意すべきであり、これは、フローチャート、フロー図、有限状態図、構造図、またはブロック図として示される。フローチャートは複数の動作を連続処理として示し得るが、これら動作の多くは、並行してまたは同時に行われることができ、この処理は繰り返され得る。加えて、これら動作の順序は並べ替えできる。この処理は、これら動作が完了する時に終了する。この処理は、方法、機能、プロシージャ、サブルーチン、サブプログラム、等に対応し得る。この処理がソフトウェアの機能に対応する場合、その終了は呼出機能や主要機能への機能復帰に対応する。

当業者は、情報および信号がさまざまな異なる技術および技法のうちのいずれかを使用して表現され得ることを理解するはずである。例えば、上記説明全体にわたって言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場または磁性粒子、光場または光粒子、またはこれらの任意の組み合わせによって表されることができる。

図１は、ハイダイナミックレンジ（ＨＤＲ）合成モジュール１１６と、ローカルマッピングおよびグローバルマッピングを使用するＨＤＲ圧縮モジュール１１８と、を持つ画像処理システム１３０を含む特定の例示的な、システムの実施形態のブロック図である。システム１００は、画像処理システム１３０に結合された撮像デバイス１０１を含む。画像処理システム１３０は、画像記憶デバイス１４０および表示デバイス１７０に結合される。画像処理システム１３０は、異なる露出時間を使用した撮像デバイス１０１からの複数セットの画像データ１０９を受取り、ローダイナミックレンジ（ＬＤＲ）のトランスポートメカニズム、記憶メカニズム、およびディスプレイメカニズムと互換性のあるＨＤＲ画像を生成するように構成される。一般に、システム１００は、相対的に限られた処理リソースを使用してリアルタイムな画像処理を行うように構成された電子デバイスにおいて実現され得る。

特定の実施形態において、撮像デバイス１０１は、ビデオカメラまたはスチルカメラのようなカメラである。撮像デバイス１０１は、フォーカシングモジュール１０４と露出モジュール１０６とに応答するレンズ１０２を含む。画像センサ１０８は、レンズ１０２を介して光を受け取り、このレンズ１０２を介して受け取られた画像に応答して画像データ１０９を生成するように結合される。フォーカシングモジュール１０４はセンサ１０８に応答でき、レンズ１０２のフォーカシングを自動的に制御するように適応され得る。露出モジュール１０６もまた、センサ１０８に応答でき、画像の露出を制御し、ＨＤＲ画像に合成される複数の画像の露出を変化させるように適応され得る。特定の実施形態において、センサ１０８は複数の検出器または複数のピクセルウェルを含み、これらは隣接する検出器が光の異なる色を検出するように配置される。例えば、受け取られた光は、各検出器が赤色、緑色、または青色の入射光を受け取るようにフィルタリングされ得る。

いくつかの実施形態、特に、モバイルデバイスにおいて実現される実施形態では、センサが露出時間およびゲインの設定を含むことが一般的である。これらの実施形態において、オート露出モジュール１０６は、露出およびゲインの制御のためにレンズ１０２を制御するだけでなく、アパーチャおよびシャッターの制御のためにセンサ１０８も制御するはずである。機械的なシャッターおよびアパーチャの制御は、よりハイエンドで、より高価な実施形態の場合を除いて、これらのデバイスで通常利用されない。

撮像デバイス１０１は、画像処理システム１３０に画像データ１０９を供給するように結合される。画像処理システム１３０は、センサ１０８から受け取った画像データ１０９に対しデモザイク動作を行うためにデモザイクモジュール１１０を含む。色およびガンマ補正モジュール１１２は、デモザイクされた画像データについて色補正を行い、ガンマ補正された画像データを生成するように構成される。色変換モジュール１１４は、ガンマ補正された画像データに色空間変換を行うように結合される。

画像処理システム１３０はまた、ハイダイナミックレンジ（ＨＤＲ）合成モジュール１１６と、ローカルマッピングおよびグローバルマッピングを使用するＨＤＲ圧縮モジュール１１８とを含む。ＨＤＲ合成モジュール１１６は、短縮された露出時間を使用して取り込まれた第１のローダイナミックレンジ画像１６０を、より長い露出時間を使用して取り込まれた第２のローダイナミックレンジ画像１６２と組み合わせるように構成される。ローダイナミックレンジ（ＬＤＲ）画像１６０および１６２は、ハイダイナミックレンジ画像１６４を形成するために組み合わせられる。ローカルマッピングおよびグローバルマッピングを使用するＨＤＲ圧縮モジュール１１８は、ハイダイナミックレンジ画像１６４を、ジョイントフォトグラフィックエキスパーツグループ（ＪＰＥＧ）符号化のようなトランスポート層、または表示デバイス１７０のような表示デバイスと互換性のあるビットレンジに圧縮するように構成される。

圧縮および記憶モジュール１２０は、ＨＤＲ圧縮モジュール１１８の出力を受け取り、圧縮されたＨＤＲファイル１６６として出力データを画像記憶デバイス１４０に記憶するように結合される。例えば、圧縮および記憶モジュール１２０は、記憶されるべきＨＤＲ圧縮モジュール１１８の出力を符号化するためにＪＰＥＧ符号化を使用するように構成され得る。画像記憶デバイス１４０は、１つ以上のディスプレイバッファ、レジスタ、キャッシュ、フラッシュメモリ要素、ハードディスク、任意の他の記憶デバイス、またはこれらの任意の組み合わせなどの、任意のタイプの記憶媒体を含み得る。画像記憶デバイス１４０は、圧縮されたＨＤＲファイル１６６が表示デバイス１７０でのＨＤＲ画像１６８としての表示のために読み出せるように表示デバイス１７０でアクセス可能であり得る。

動作中、システム１００は、代表的な画像１５０の少なくとも２つの画像取込動作を行い得る。画像１５０は、太陽として示された明るい領域、および木の陰として示された暗い領域を含む。ローダイナミックレンジ画像１６０は、センサ１０８において短縮された露出時間に応答して取り込まれた画像データを含み得る。短縮された露出時間は、センサ１０８が画像１５０のより明るい領域内のディテールを取り込むことを可能にさせ得る。例えば、短縮された露出時間は、太陽の領域におけるセンサの複数のピクセルの飽和を防ぎ、木の陰のようなより暗いエリアのディテールが取り込まれることのない結果にできる。他方では、第２のローダイナミックレンジ画像１６２は、画像１６０の露出時間の２倍のような、より長い露出時間でセンサ１０８によって取り込まれた画像データを含み得る。より長い露出時間は、センサ１０８が画像１５０のより暗い部分のディテールを取り込むことを可能にさせるが、明るい領域に近接したセンサ１０８の複数のピクセルを飽和させる。

画像処理システム１３０内では、第１のＬＤＲ画像１６０が明るいエリアの中でコントラストを提供できるものの、より暗いエリアでできない一方で、第２のＬＤＲ画像１６２がより暗いエリアでコントラストを提供できるものの、明るいエリアが色あせていたり不明瞭であったりし得る。ローダイナミックレンジ画像１６０および１６２を組み合わせてハイダイナミックレンジ画像１６４を生成することによって、画像処理システム１３０は、画像データが太陽の周りの明るいエリアおよび木の陰の周りのより暗いエリアにディテールを含むことを可能する。しかしながら、結果として生じたＨＤＲ画像１６４は、ＪＰＥＧ層のようなトランスポート層、または表示デバイス１７０のような表示デバイスによってサポートされ得るよりも非常に多くの情報を必要とし得る。例えば、ローダイナミックレンジ画像１６０および１６２の両方が例えば０〜２５５のレンジを持つ８ビット値としてピクセル輝度値を表現できる場合、ＨＤＲ画像１６４は例えば０〜６５、５３５のレンジを包含するように１６ビット値を使用してピクセル輝度値を表現できる。しかしながら、表示デバイス１７０は１ピクセあたり８ビットの輝度値をサポートするのみであり得る。従って、ＨＤＲ画像１６４の１６ビットの輝度値は表示デバイス１７０に表示可能なように８ビット値に圧縮される。

ＨＤＲ圧縮モジュール１１８は、ローカルトーンマッピングおよびグローバルトーンマッピングの両方を使用してＨＤＲ画像１６４を圧縮する。例えば、グローバルトーンマッピングは、ＨＤＲ画像１６４全体にわたる輝度値の分布に基づいて、ハイダイナミックレンジ画像の大きな数の輝度値を、より小さな数の輝度値に減じるために使用され得る。しかしながら、グローバルトーンマッピングは、ＨＤＲ画像１６４の任意の特定の領域では次善であり得る。例えば、グローバルトーンマッピングは、太陽の周りの明るいエリアと木の根元の陰影のあるエリアとの両方のために十分に大きなダイナミックレンジを提供することはできない。一方、ローカルトーンマッピングは、ハイダイナミックレンジ画像を論理的に複数の領域に分け、領域ごとに、減じられたレンジの輝度値にピクセルの輝度値を選択的にマッピングし得る。従って、ローカルトーンマッピングは、ダイナミックレンジを減じられたレンジの輝度値によりローカルに効率的にマッピングすることを可能にし得るが、画像の複数の領域にわたる均一性の欠如を結果としてもたらし得る。

ＨＤＲ圧縮モジュール１１８は、受け取ったＨＤＲ画像データに基づいて、グローバルトーンマッピング並びにローカルトーンマッピングをも行うことができ、ピクセル毎に、ローカルトーンマッピング、グローバルトーンマッピング、あるいはローカルトーンマッピングとグローバルトーンマッピングとの重みづけされた組み合わせを選択できる。例えば、検討中のピクセルが輝度値の高いバリエーションのエリア内にある場合、ＨＤＲ圧縮モジュール１１８は、そのピクセルの領域において輝度値のより大きなダイナミックレンジを提供するために、ローカルマッピングのより大きな重みづけを選択し得る。対照的に、特定のピクセルの近傍に著しい量の輝度のバリエーションが存在しない場合、ＨＤＲ圧縮モジュール１１８は、画像全体にわたるより良い均一性のために、グローバルトーンマッピングのより大きな重みづけを選択し得る。

異なる露出値を使用した１つ以上のローダイナミックレンジ画像１６０、１６２を組み合わせ、この後、結果として生じたＨＤＲ画像１６４をローカルトーンマッピングとグローバルトーンマッピングとの両方を使用して圧縮することとによって、システム１００はより低いダイナミックレンジ技術との互換性を保ちながら、注目領域内のより大きなダイナミックレンジを効果的に提供する画像生成を可能にする。加えて、ＨＤＲ画像１６４をより小さな輝度値のレンジに圧縮するために、ローカルトーンマッピングされたピクセル値とグローバルトーンマッピングされたピクセル値とを選択的に組み合わせることによって、適切なマッピング技法またはマッピング技法の融合が、特定の画像の特徴に基づいて選択されることができ、マッピング技法の選択は、画像の特徴が変化すると、画像全体にわたって変えられることができる。

図１に示された特定の実施形態において、撮像デバイス１０２は単一のセンサ１０８を有するものとして示されているが、他の実施形態においては、撮像デバイス１０２は複数のセンサを有し得る。例えば、撮像デバイス１０２は、ＬＤＲ画像１６０および１６２を提供するために、異なる露出設定を使用して、ある特定のシーンの複数の同時画像取り込みを行うように構成された２つ以上のセンサを有し得る。複数のセンサを有する実施形態において、センサは同一のものである必要はなく、代わりに異なる特性を有し得る。

他の実施形態は、複数のセンサを複数の画像処理システム１３０と結合できる。２つのセンサの間で画像処理システム１３０を共有する必要はないので、センサごとに別個の画像処理システム１３０を含むことにより、各センサのデータの処理スピードが増加され得る。このような実施形態は、特定の映像アプリケーションのように、高いフレームレートが最低限の処理遅延で必要とされる場合に有用であり得る。

図２を参照すると、オート露出制御の例示的な実施形態のデータフローが図示され、概ね２００と示されている。データフローは、結像センサ２１０で開始され、これが制御パラメータ２０５および２１５の２つのセットのうちの１つに基づいて画像データを取り込む。この画像データは次にゲート２８０に流れる。ゲート２８０の位置に依存し、画像データは次に上側経路およびモジュール２２０、または下側経路およびモジュール２３０のいずれかに流れる。ゲート２８０の位置は、結像センサ２１０が長い露出設定２０５を使用して画像を取り込んだのか、あるいは短い露出設定２１５を使用して画像を取り込んだのかによって決定される。一実施形態において、結像センサ２１０は２セットの設定を交互に繰り返し、ゲートも、対応する上側データ経路および下側データ経路を交替させる。モジュール２２０への上側データ経路に続き、モジュール２２０は画像の明るい領域における統計値を収集する。これらの統計値は、後述するように、オフページ基準２２５を介してオートホワイトバランスモジュールに送られる。統計値はまた、モジュール２４０へと移動し、明るさ目標（brightness target）との比較による画像の全体的な明るさの決定を可能にする。次に、画像の全体的な明るさがモジュール２５０に送られ、ここで露出パラメータが次の短い露出の画像を取り込むことに備えて更新される。これらの新しい露出パラメータは次に、結像センサ２１０の明るい設定２１５へと流れる。

ゲート２８０からの下側分岐に続き、画像データはモジュール２３０へと流れ、ここで画像データの暗い領域のための領域の統計値が計算される。これらの統計値もまた、後述するように、オフページ基準２３５を介してオートホワイトバランスモジュールに送られる。統計値はまた、モジュール２６０に送られ、ここで画像の全体的な明るさが暗い画像のターゲットの明るさと比較される。この計算の結果はモジュール２７０に送られ、ここで任意の必要な露出制御パラメータが結像センサによって取り込まれる次の長い露出の画像に備えて調節され、暗い設定２０５に送られる。

複数の結像センサを利用する実施形態では、ゲート２８０の必要性がなくなることに注意すべきである。代わりに、第１の結像センサは明るい領域のスタッツ解析モジュール２２０に直接画像データを送る。第１の結像センサは、明るい設定モジュール２１５からその設定を読み込む。第２の結像センサは、暗い領域のスタッツ解析モジュール２３０に直接画像データを送り、暗い設定モジュール２０５からその設定を読み込む。

従って、オート露出制御ループとしても知られる図２によって示されるシステムは、少なくとも１つのセンサからあるシーンの画像を取り込むための一つの手段を表し、ここで画像は明るい領域および暗い領域を有する。結像センサが明るい設定モジュール２１５からその設定を読み込み、ゲート２８０がモジュール２２０へのデータの流れを可能にする場合において、図２によって示されるシステムは、画像が明るい領域に基づいた露出設定を使用して取り込まれるための手段を表す。結像センサが暗い設定モジュール２０５からその設定を読み込み、ゲート２８０がモジュール２３０へのデータの流れを可能にする場合において、図２によって示されるシステムは、画像が暗い領域に基づいた露出設定を使用して取り込まれるための手段を表す。

図３を参照すると、ハイダイナミックレンジ（ＨＤＲ）画像合成システムの例示的な実施形態が図示され、概ね３００と示される。システム３００は、画像位置合わせモジュール３０２、画像スケーリングモジュール３０４、領域識別モジュール３０６、オートホワイトバランスモジュール３０８、および画像合成モジュール３１０、および重みづけ関数３５０を含む。システム３００は、ＨＤＲ画像データ３１６を生成するために、第１の画像データ３１２と第２の画像データ３１４とを組み合わせる。例示的な実施形態では、システム３００は、図１のＨＤＲ合成モジュール１１６内に含まれ得る。

第１の画像データ３１２が第１の露出時間を使用した画像に対応する画像センサの出力を含み得る一方で、第２の画像データ３１４が第２の露出時間を使用した画像に対応する同一の画像センサ（または別の画像センサ）の出力を含み得る。例えば、第１の画像データ３１２がＮの露出時間を使用して露出され得る一方で、第２の画像データ３１４が１．５Ｎ、２Ｎ、４Ｎ、または任意の他のＮの整数倍または非整数倍の露出時間を使用して露出され得る。

特定の実施形態において、画像位置合わせモジュール３０２は、第１の画像データ３１２および第２の画像データ３１４を受け取る命令群を含むように構成される。画像位置合わせモジュール３０２は、第１のアラインメントされた画像データ３１８および第２のアラインメントされた画像データ３３０を生成するために、画像の精確な位置合わせを可能にするように、第１の画像データ３１２および第２の画像データ３１４に対する１つ以上のオフセットを決定する命令群によって構成され得る。例えば、第１の画像データ３１２は、手のブレまたは他のカメラの動きまたは画像内のオブジェクトの移動のようなカメラ移動のせいで第２の画像データ３１４からオフセットされ得る。画像位置合わせモジュール３０２は、画像データ３１２および３１４の領域またはピクセルに対応する１つ以上のモーションベクトルを決定する命令群を含み得る。モーションベクトルは、各画像の対応する部分が、第１のアラインメントされた画像データ３１８および第２のアラインメントされた画像データ３３０における各画像の同一のピクセル位置におおむね位置するように、第１の画像データ３１２および第２の画像データ３１４のうちの少なくとも１つが調節されることを可能にする。

画像スケーリングモジュール３０４は、第１のスケーリングされた画像データ３２２および第２のスケーリングされた画像データ３３４を生成するために、アラインメントされた画像データ３１８および３２０のうちの１つ以上の、様々なピクセルレベルの輝度(intensity)を変更する命令群を含むように構成される。例えば、第２のアラインメントされた画像データ３２０が第１のアラインメントされた画像データ３１８の露出時間の２倍に等しい露出時間を有する場合、第１のアラインメントされた画像データ３１８の各ピクセルに対応する輝度値は、それが第２のアラインメントされた画像データ３２０と同一の長さの時間にわたって露出された場合にそのピクセルが受け取ったであろう光の近似量を補償するように調節され得る。また、輝度値のスケーリングは、実行中に、モジュール３０４内の命令群によって推定され得る。特定の実施形態において、第１のアラインメントされた画像データ３１８の輝度値をスケーリングすることの１つの結果は、第１のアラインメントされた画像データ３１８のスケーリングされた輝度値のレンジがローダイナミックレンジ画像データフォーマットにおける輝度値の利用可能な数を超え得ることである。従って、第１のスケーリングされた画像データ３２２は、第１の画像データ３１２よりも、各ピクセルのために多くの数のデータビットを使用して表され得る。

特定の実施形態において、画像スケーリングモジュール３０４は、第１のスケーリングされた画像データ３２２および第２のスケーリングされた画像データ３３４を生成するために、第１の画像および第２の画像の相対的な露出時間に基づいて、第１のアラインメントされた画像データ３１８または第２のアラインメントされた画像データ３２０のうちの１つだけをスケーリングする命令群によって構成される。しかしながら、他の実施形態において、これら命令群は、第１のアラインメントされた画像データ３１８および第２のアラインメントされた画像データ３２０のうちの一方または両方を調節し得る。

特定の実施形態において、領域識別モジュール３０６は、画像スケーリングモジュール３０４からスケーリングされた画像データ３２２および３３４を受け取るための命令群によって構成され得る。特定の実施形態において、領域識別モジュール３０６における命令群は、画像スケーリングモジュール３０４によってスケーリングされた画像データ３１２などの、より短い露出時間に対応する第１のスケーリングされた画像データ３２２を受け取り得る。領域認識モジュール内の命令群は、この後、スケーリングされた画像データ３２２から１つ以上の明るい領域を識別する。

代わりに、領域識別モジュール３０６における命令群は、画像スケーリングモジュール３０４によってスケーリングされた画像データ３１４などの、より長い露出時間に対応する第２のスケーリングされた画像データ３３４を受け取り得る。領域識別モジュール内の命令群は、この後、スケーリングされた画像データ３３４から１つ以上の暗い領域を識別する。

特定の実施形態において、オートホワイトバランスモジュール３０８は、領域識別モジュールから画像データ３２８および３３０を受け取るための命令群によって構成され得る。オートホワイトバランスモジュールはまた、より短い露出時間の画像のための領域情報３２９、および長い露出の画像のための領域情報３３１を領域識別モジュールから受け取るための命令群を含む。領域情報は、最終画像において利用されることになる各画像データ３２８および３３０の一部を識別する。オートホワイトバランスモジュールは、各画像データと関連する露出情報３３５および３８０を受け取るための命令群も含む。オートホワイトバランスモジュール内の命令群は、この後、各画像データ３２８および３３０に対しホワイトバランス動作を行う。

特定の実施形態において、画像合成モジュール３１０は、オートホワイトバランスモジュール３０８からホワイトバランスされたデータ３４０および３４５を受け取るための命令群によって、およびハイダイナミックレンジ画像データ３１６を生成するために受け取った画像データを組み合わせるための命令群によって構成され得る。特定の実施形態において、画像合成モジュール３１０内の命令群は、画像スケーリングモジュール３０４によってスケーリングされ、オートホワイトバランスモジュール３０８によってホワイトバランスされた画像データ３１２などの、より短い露出時間に対応する第１のホワイトバランスされた画像データ３４０を受け取り得る。加えて、画像合成モジュール３１０内の命令群は、画像スケーリングモジュール３０４によってスケーリングされ、オートホワイトバランスモジュール３０８によってホワイトバランスされた画像データ３１４のような、より長い露出時間に対応する第２のホワイトバランスされた画像データ３４５を受け取り得る。画像合成モジュール３１０は、第１のスケーリングされた画像データ３４０、第２のスケーリングされた画像データ３４５、または両方の組み合わせに対応する値を含むかどうかを、ＨＤＲ画像データ３１６の各特定のピクセル毎に決定する、命令群、内部回路、または他の決定回路を含み得る。

特定の実施形態において、画像合成モジュール３１０は、重みづけ関数３５０から１つ以上の値を受け取るための命令群によって構成される。重みづけ関数３５０は、画像合成モジュール３１０内の命令群に、ＨＤＲ画像データ３１６を生成するために第１のホワイトバランスされた画像データ３４０および第２のホワイトバランスされた画像データ３４５を選択的に組み合わせることを可能にさせる、１つ以上の条件又は値を含み得る。例えば、重みづけ関数３５０は、第１のホワイトバランスされた画像データ３４０および第２のホワイトバランスされた画像データ３４５から、ＨＤＲ画像データ３１６のピクセル値を、混合、区別、そうでなければ決定または選択するために、１つ以上のステップ関数、１つ以上のシグモイド関数、または１つ以上の他の関数の表現を含み得る。例示するために、ピクセルの領域内の輝度バリエーションのようなメトリックが、ホワイトバランスされた画像データ３４０および／または３４５から決定されることができ、重みづけ関数３５０に供給されることができる。重みづけ関数３５０は、ＨＤＲ画像データ３１６におけるピクセル値を生成するために第１のスケーリングされた画像データ３４０におけるピクセルの値を第２のスケーリングされた画像データ３４５におけるピクセルの値に加える前に、第１のホワイトバランスされた画像データ３４０におけるピクセルの値および／または第２のホワイトバランスされた画像データ３４５におけるピクセルの値に適用される、スケーリングファクターを示す値を戻し得る。

従って、図３に示されるＨＤＲ画像合成システムは、第１の画像と第２の画像とを組み合わせることによって、ハイダイナミックレンジのデジタル画像を生成するための１つの手段を表す。より一般的には、画像位置合わせと、画像スケーリングモジュールと、領域識別モジュールと、オートホワイトバランスモジュールと、画像合成モジュールと、を備える画像パイプラインは、第１の画像および第２の画像を組み合わせることによってハイダイナミックレンジのデジタル画像を生成するための別の手段を表す。

図４ａ〜図４ｄは、画像内の暗い領域および画像の明るい領域のための露出の最適化を示す。図４ａは、短い露出の使用によって、明るい領域のために最適化された画像をシミュレートする。人形が座っている窓台の後ろの空および背景は十分に露出されており、良質のディテールを伴う。対照的に、前面の画像は暗く、ディテールが区別されることができない。短い露出は、これらのエリア内のディテールを区別するのに必要な光の量をセンサに提供しない。一実施形態において、図４ａのホワイトバランスは図４ｂの陰影部分に対応するエリアのみからの画像データに基づくはずである。代替の実施形態は、画像全体をホワイトバランスの基礎(basis)として利用し得る。しかしながら、露出不足の領域は、これらの実施形態における次善のホワイトバランスという結果をもたらし得る。図４ｃは、同一の画像の前面の部分のために最適化された露出の結果をシミュレートする。人形、おもちゃの機関車、および窓台が十分に露出されており、クリアである。図４ｃにおいて、背景の空および雲は、露出過度であり、これらのエリアにおける画像センサの飽和により、ディテールのロスをもたらす。ホワイトバランス最適化アルゴリズムの一実施形態は、図４ｃのためのホワイトバランスゲインを計算するために、図４ｄの陰影部分に対応する図４ｃのエリアを利用するはずである。

図５は、領域識別モジュール３０６の一実施形態内で稼働する処理５００を示すフローチャートである。一実施形態において、領域識別モジュール３０６は、処理５００を開始状態５１０において開始し、この後、状態５２０に移動させる命令群を含み、状態５２０において、命令群は輝度ヒストグラムを生成する。処理５００は次に、状態５３０に移動する。ステップ５３０で、処理５００は画像の暗い領域を決定するために使用されるしきい値を決定する。

一実施形態において、暗い領域のためのしきい値は、あるレベルを下回る値を有するピクセルの数に比例する。例えば、８ビットのピクセル幅では、暗いしきい値は、まず４未満の値を有するピクセルの数を識別することによって、決定され得る（ピクセルビットは２〜７クリアする）。４未満のピクセルの数はこの後、４を下回るピクセルによって表される画像エリアの割合を見つけるために、ピクセルの合計数で、除算される。他の実施形態は、これらの個別の設計検討に基づいて、異なるしきい値を選択し得る。

いくつかの実施形態は、複数の領域を生成するために追加のしきい値を識別し得る。例えば、さらなる処理能力を伴う実施形態では、各個別領域が、さらなる精確さを提供するために、より小さくされて、領域の数が増やされることができる。

いくつかの実施形態において、暗いしきい値は次に、この値にコントラスト

を乗算することによって決定され、次に、

が加えられる。

は、暗いしきい値を決定する上で、画像の最も暗い領域が、どれだけのバイアスまたはエフェクトを有することになるのかを決定するために使用される。

は、さらに後述するように、しきい値のための開始点、例えば、暗い領域のしきい値のための０からのオフセットを、または明るいしきい値のための２５５（８ビットピクセルによる）からの距離を決定する。

はまた、暗いしきい値の決定にフリキシビリティを加える。暗いしきい値を計算するために使用される方法の公式の表現は、

である。

暗い領域のためのしきい値が決定された後、処理５００はステップ５４０に移動し、明るい領域のためのしきい値が決定される。明るい領域のためのしきい値が、暗いしきい値と同様の方法で決定される。例えば、まず、特定の値を上回るピクセルの数が決定される。例示の目的で、２５２の値を上回る８ビットピクセルの数（０ｘＦＣ）が使用され得る（ビット３〜７が１に設定される）。暗いしきい値と同様に、一実施形態において、明るいしきい値は次に、この値にコントラスト

を乗算することによって決定され、

が加えられる。このような決定は、以下の式によって表される。

明るいしきい値が決定された後、処理５００は、明るい領域を決定するために、ステップ５５０に移動する。一実施形態において、明るい領域は、明るいしきい値以上の領域の明るさの平均値を有するような領域である。このような領域を識別する技法は、当業者に知られている。例えば、（２００５年５月２３日に出願された）米国特許出願公開第2006/0262363号明細書、ハイダイナミックレンジ画像のレンダリング（Rendering of High Dynamic Range Images）の段落００１０、および（１９９８年３月１１日に出願された）米国特許第6,177,958号、凸静止画のオートマチックキャプチャのためのシステムおよび方法（System and Method for the Automatic Capture of Salient Still Images）の第８コラムの５行目を参照のこと。明るい領域が決定された後、処理５００は状態５６０に移動し、暗い領域が識別される。一実施形態において、暗い領域は、暗いしきい値よりも低い領域の明るさの平均値を有するような領域を構成する。ステップ５６０が暗いしきい値を決定した後、処理５００は終了する。

図６は、典型的な輝度ヒストグラムのグラフである。２つのしきい値、ＴＨ＿ＤＡＲＫおよびＴＨ＿ＢＲＩＧＨＴが示されている。ＴＨ＿ＢＲＩＧＨＴしきい値を上回るピクセル値のセットは、緑色の線の左側に観察できる。これらのピクセルは、画像の明るい領域を表す。ＴＨ＿ＤＡＲＫの線の右側のピクセル値は、画像の暗い領域を表す。これらの線の間のピクセルは、暗い領域の部分でも、明るい領域の部分でもない。

ＴＨ＿ＤＡＲＫと、ＴＨ＿ＢＲＩＧＨＴとがオーバーラップする場合、複数の画像間でのより少ない露出の分離が典型的に必要とされる。あるいは、シーンは、相対的に小さなダイナミックレンジを有し得るので、同様の露出が、明るい領域および暗い領域の両方のために使用されることができる。しかしながら、ＴＨ＿ＤＡＲＫとＴＨ＿ＢＲＩＧＨＴとが、大きな分離を有する場合、これは２つの領域間の露出におけるより大きな分離が必要であることを示す。

図７は、ハイダイナミックレンジ画像合成の方法の例示的な実施形態のフローチャートである。特定の実施形態において、方法７００は、図１〜３または図１１〜１２のシステム、またはこれらの任意の組み合わせによって行われる。処理７００は、開始ステップ７０３において開始し、この後ステップ７０５に移動し、第１の画像データが画像センサから受け取られる。第１の画像データは第１の露出時間を使用して生成される。処理７００はこの後ステップ７１０に移動し、第２の画像データが画像センサから受け取られる。第２の画像データは第１の露出時間よりも長い第２の露出時間を使用して生成される。

処理７００は、この後ステップ７１５に移動し、スケーリングされた第１の画像データを生成するために、第１の画像データの輝度値が第２の露出時間の第１の露出時間に対する比に基づいてスケーリングされる。処理７００はこの後ステップ７２０に移動し、第１の画像データおよび第２の画像データの、暗い領域と明るい領域とが識別される。処理７００は、この後ステップ７２５に移動し、第１の画像データおよび第２の画像データが第１の画像および第２の画像のための領域情報および露出設定に従ってホワイトバランスされる。ステップ７２５は、処理８００においてさらに詳細に説明される。

処理７００はこの後ステップ７３０に移動し、ハイダイナミックレンジ（ＨＤＲ）画像を生成するために、スケーリングされた第１の画像データの第１の実効ダイナミックレンジと、第２の画像データの第２の実効ダイナミックレンジとの間のオーバーラップに基づいて、スケーリングされた第１の画像データと第２の画像データとが選択的に組み合わせられる。第１の実効ダイナミックレンジは、第１の画像データの第１の飽和レベル、第１の暗いレベル、および第１のノイズフロアに基づいて決定され得る。第２の実効ダイナミックレンジは第２の画像データの第２の飽和レベル、第２の暗いレベル、および第２のノイズフロアに基づいて決定され得る。スケーリングされた第１の画像データおよび第２の画像データは第１のノイズフロアに実質的に集中させた第１のシグモイド関数と、第２の飽和レベルマイナス第２の暗いレベルに実質的に集中させた第２のシグモイド関数と使用して選択的に組み合わせられ得る。

７３５に移動すると、トーンマッピングがＨＤＲ画像のダイナミックレンジを圧縮するために生成される。トーンマッピングを生成することは、各ピクセルの近傍内の輝度バリエーションに基づいて、グローバルトーンマッピング値およびローカルトーンマッピング値の、ピクセルごとの重みづけを決定することを含む。例えば、圧縮されたダイナミックレンジは８ビットレンジであり得る。７４０に進み、圧縮されたダイナミックレンジを有するトーンマッピングされた画像が表示デバイスで表示されるために提供される。処理７００はこの後終了状態７５０に移る。

図８は、オートホワイトバランシングの方法の例示的な実施形態のフローチャートである。処理８００を実現する命令群は、処理７００のステップ７２５を実現する命令群のセット内に含まれ得る。オートホワイトバランスモジュール３０８内の命令群もまた、処理８００を実現し得る。代わりに、処理８００が図１〜３または図１１〜１２に示されて任意のモジュールまたはコンポーネントのうちのいずれかによって実現されてもよい。処理８００は、開始状態８０５において開始し、この後ステップ８１０に移動し、基準照明条件が構築される。所与のセンサモジュールのための特徴づけ処理（characterization process）がオフラインで通常行われる。一実施形態では、様々な光源下のグレーチャートの写真がシミュレートされ、写真が撮られる。これらの光源は、Ｄ９０、Ｄ６５、Ｄ７５、ＴＬ８４、蛍光灯、地表灯、白熱灯、およびカスタム蛍光灯を含み得る。これらの基準ポイントは、当業者に知られている。これらの照明条件下のグレーオブジェクトのＲ／ＧおよびＢ／Ｇ比が、記録される。Ｒ／ＧおよびＢ／Ｇ比のスケールを決定した後、これらの基準ポイントはグリッド座標を与えられる。スケールは、グリッドの距離が異なる基準ポイントの間を適切に微分するために使用され得る手法で決定される。処理８００は、オートホワイトバランシングの処理の完全な説明を提供するために統合されたステップ８１０とともに示される。しかしながら、他の実施形態は、処理８００が単純に基準照明データを利用する処理８００とともに、ステップ８１０をオフラインの別個のタスクとして実現するはずである。

基準照明条件が知られた後、処理８００はステップ８２０に移動し、続いてピクセル統計値がオートホワイトバランス動作をサポートするために収集される。このステップは、図９においてより詳細に説明される。次に、処理８００がステップ８３０に移動し、収集されたオートホワイトバランス統計値が分析される。このステップは、図１０においてより詳細に説明される。次に、処理８００がステップ８４０に移動し、オートホワイトバランスゲインが計算され、適用される。ステップ８４０において利用される技法は、当事者に知られている。例えば、ステップ８４０の一実施形態が、単純なグレーワールド技法（grey world technique）を利用し得る一方で、別の実施形態は発展型のグレーワールドアプローチ（grey world approach）を利用し得る。相関によるホワイトバランスもまた、いくつかの実施形態において使用されることができ、画像のシーンの色応答が異なる光源と相関される。オートホワイトバランスゲインが適用された後、処理８００は終了状態８５０に移動する。

図９は、オートホワイトバランス統計値を収集する方法の例示的な実施形態のフローチャートである。処理９００を実現する命令群は、図８の処理８００のステップ８２０を実現する命令群のセット内で稼働され得る。処理９００はまた、図１〜３または図１１〜１２の実施形態または方法のうちのいずれか、または任意のこれらの組み合わせに従って動作し得る。処理９００は、開始状態９１０において開始し、この後ステップ９２０に移動し、第１の領域が画像から取得される。次に、処理９００は決定ステップ９３０に移動し、処理９００はホワイトバランスが長い露出の画像のために行われているかどうかを決定する。長い露出の画像のためのホワイトバランスが行われている場合、処理９００はステップ９３５に移動する。ステップ９３５において、現在の領域の明るさが、前述の処理５００において計算されるＴＨ＿ＤＡＲＫしきい値に対して評価される。領域の明るさがＴＨ＿ＤＡＲＫを下回る場合、処理９００はステップ９６０に移動し、グレーのピクセルの、Ｙコンポーネント、Ｃｂコンポーネント、およびＣｒコンポーネントの合計が蓄積される。領域の明るさがＴＨ＿ＤＡＲＫを下回らない場合、処理９００は後述の決定ステップ９５０に移動する。

処理９００が短い露出の画像をホワイトバランスしている場合、処理９００は決定ステップ９３０から決定ステップ９４０に移動する。決定ステップ９４０で、処理９００は、現在の領域の明るさが前述の処理５００において計算されたＴＨ＿ＢＲＩＧＨＴしきい値を上回るかどうかを決定する。領域の明るさがＴＨ＿ＢＲＩＧＨＴを上回る場合、処理９００はステップ９６０に移動し、再びグレーのピクセルのＹコンポーネント、Ｃｂコンポーネント、およびＣＲコンポーネントの合計が蓄積される。処理９００はこの後ステップ９５０に移動する。

決定ステップ９５０は、評価されるべきさらなる領域が存在するかどうかを決定する。さらなる領域が利用可能である場合、処理９００はステップ９２５に移動し、次の領域が取得される。処理９００はこの後決定ステップ９３０に戻る。決定ステップ９５０がこれ以上利用可能な領域はないと決定した場合、処理９００はステップ９７０に移動し、グローバル統計値が蓄積される。

処理９００の一実施形態において、グローバルホワイトバランス統計値は、いくつかの

と

との間のＹ値を有するピクセルのためのＹコンポーネント、Ｃｂコンポーネント、およびＣｒコンポーネントを含む。これは、グローバル統計値が、暗すぎるまたは明るすぎるピクセルを含まないことを確実にするのでノイズおよび飽和の問題を低減させる。処理９００はこの後終了状態９８０に移動する。

処理７００と組み合わせられた処理９００は、画像の暗い領域に少なくとも部分的に基づいて、長い露出の画像のホワイトバランスを決定するための一つの手段を表す。処理７００と組み合わせられた処理９００は、画像の明るい領域に少なくとも部分的に基づいて、短い露出の画像のホワイトバランスを決定するための一つの手段をさらに表す。

図１０は、オートホワイトバランス統計値を分析する方法の例示的な実施形態のフローチャートである。処理１０００を実現する命令群は処理８００のステップ８３０を実現する命令群のセット内に含まれ得る。代わりに、処理１０００が図１〜３または図１１〜１２に示されたモジュールまたはコンポーネントのうちのいずれかの中で行われてもよい。処理１０００は、開始状態１０１０において開始され、次にステップ１０１５に移動し、処理９００において集められたデータポイントがグリッド座標に変換される。処理１０００のステップ１０１５の一実施形態において、各領域のためのＹ、Ｃｂ、Ｃｒ値の合計の平均値は、領域のための各々の合計を、領域において蓄積されたピクセルの数で除算することによって、求められる。平均のＹ、Ｃｂ、Ｃｒの値はこの後、変換されてＲ、Ｇ、Ｂ値に戻されることができる。Ｒ／ＧおよびＢ／Ｇ比がこの後、各領域のために計算され、比はこの後、グリッド座標に変換される。

次に、処理１０００はステップ１０１７に移動し、第１のデータポイントが取得される。処理１０００はこの後ステップ１０２０に移動し、データポイントから一連の基準ポイントまでの距離が計算される。例えば、一実施形態において、一連の基準ポイントは、地表灯、白熱灯、ＴＬ８４、クールホワイト、Ｄ６５、およびシェードを含み得る。これらの色基準は、当業者に知られている。各基準ポイントまでの距離が計算されると、処理１０００はステップ１０２５に移動し、基準ポイントまでの最短距離がしきい値と比較される。最も近い基準ポイントがしきい値よりも遠い場合、このポイントはアウトライアー（outlier）とみなされ、処理１０００は決定ステップ１０２５からステップ１０２６に移動し、データポイントは破棄される。基準ポイントの各々から遠いデータポイントは、おそらくグレーオブジェクトではない。このような観察は、全体の距離比較に対しネガティブなインパクトを有し得るので、一実施形態において破棄される。しかしながら、少なくとも一つの基準ポイントがしきい値距離内にある場合は、処理１０００はステップ１０２７に移動し、データポイントは、複合ポイント（composite point）が作り出されるステップ１０４０における後の使用のためにセーブされる。処理１０００はこの後決定ステップ１０３０に移動し、さらなるデータポイントが評価されるべきかどうかを決定する。さらなる評価すべきポイントがある場合、処理１０００は決定ステップ１０３０からステップ１０６５に移動し、次のデータポイントが取得される。処理１０００はこの後ステップ１０２０に戻る。

決定ステップ１０３０が、評価のために残っているデータポイントが存在しないと決定する場合、処理１０００は決定ステップ１０３０から決定ステップ１０３５に移動し、少なくとも１つのデータポイントが非アウトライアーであるのに十分な程度に基準ポイントに近かったかどうかが決定される。基準ポイントからしきい値よりも近いデータポイントがなかった場合、処理１０００は、決定ステップ１０３５から決定ステップ１０５０に移動する。ステップ１０５０において、フレームを取り込むために使用される露出指数が考慮される。露出指数は、通常、シャッタースピードおよびアパーチャの組み合わせである。露出指数が、画像取り込み中に強い光が受け取られたことを示す場合、処理１０００はステップ１０５５に移動し、屋外の光に対応する基準ポイントが選択される。例えばＤ５０がステップ１０５５の一実施形態において選択され得る。露出指数が強い光を示さない場合、処理１０００は決定ステップ１０５０からステップ１０４５に移行し、ここで屋内の光に対応する基準ポイントが利用される。例えば、一実施形態において、ＴＬ８４およびクールホワイトの平均値が基準として使用され得る。

決定ステップ１０３５が、少なくとも１つのデータポイントが基準ポイントからのしきい値距離内にあると決定する場合、処理１０００はステップ１０４０に移動する。ステップ１０４０では、複合サンプルポイントが生成される。複合サンプルポイントを生成するために、全ての非アウトライアーポイントのためのＲ／Ｇ比およびＢ／Ｇ比の平均値が計算される。処理１０００はこの後ステップ１０４２に移動し、複合ポイントに最も近い基準ポイントが決定される。最も近い基準ポイントがフレームのための照明条件と見なされる。処理１０００はこの後ステップ１０４２、１０４５、または１０５５から終了状態１０７０に移動する。

図１１は、ハイダイナミックレンジ（ＨＤＲ）合成および圧縮モジュールを含むシステムの特定の実施形態のブロック図である。システム１１００は、レンズ１１６８に結合されると共に携帯マルチメディアデバイスのアプリケーションプロセッサチップセット１１７０にも結合された画像センサデバイス１１２２を含む。画像センサデバイス１１２２は、オート露出制御およびオートホワイトバランスパラメータを推定するためのオート露出制御およびオートホワイトバランス推定モジュール１１５０と、ローカルマッピングおよびグローバルマッピングを使用するＨＤＲモジュール１１６４であって、図１〜３のモジュールまたはシステムのうちの１つ以上を実現する命令群を含み得るか、または、図５または図７〜１０の実施形態または方法のうちのいずれか、またはこれらの任意の組み合わせに従ってそれを動作させる命令群を含み得る、ローカルマッピングおよびグローバルマッピングを使用するＨＤＲモジュール１１６４とを含む。

オート露出制御およびオートホワイトバランス推定モジュール１１５０は、例えば、画像アレイ１１６６の出力を受け取り、オート露出制御およびオートホワイトバランス推定モジュール１１５０に画像データを供給するために結合されたアナログデジタルコンバータ１１２６を介して画像アレイ１１６６から画像データを受け取るように結合される。

ローカルマッピングおよびグローバルマッピングを使用するＨＤＲモジュール１１６４は、オート露出およびオートホワイトバランス推定モジュール１１５０から画像データを受け取るように結合される。ローカルマッピングおよびグローバルマッピングを使用するＨＤＲモジュール１１６４は、通常の画像アレイ１１６６によってＨＤＲ機能を可能にするために、画像アレイ１１６６において取り込まれた複数の画像からＨＤＲ画像データを生成し得る。加えて、ローカルマッピングおよびグローバルマッピングを使用するＨＤＲモジュール１１６４は、結果として生じた画像を、連続性を確実にし、アーティファクトを導入することなく、ローカルトーンマッピング及びグローバルトーンマッピングの両方の組み合わせを使用してより低い解像度のトランスポートメカニズムおよび記憶メカニズムと互換性があるように圧縮し得る。

例えば、ローカルマッピングおよびグローバルマッピングを使用するＨＤＲモジュール１１６４は、画像の領域内で第１のグローバルにマッピングされた輝度値を生成するように構成されたグローバルマッピングモジュールと、画像の領域内で第２のローカルにマッピングされた輝度値を生成するように構成されたローカルマッピングモジュールと、第１のグローバルにマッピングされた輝度値および第２のローカルにマッピングされた輝度値の重みづけされた合計を使用して、出力された画像の対応する領域内の輝度値を決定するように構成された合成モジュールと、を含み得る。重みづけされた合計の重みは、画像の領域内の輝度バリエーションに少なくとも部分的に基づく。例えば、重みは、領域内のピクセル毎に決定され得る。

ローカルマッピングおよびグローバルマッピングを使用するＨＤＲモジュール１１６４はまた、画像の一部に対応するフラットネスマップを生成するように、構成され得る。フラットネスマップは、画像の領域内の輝度バリエーションを示し得る。ＨＤＲモジュールは、領域内の特定のピクセルの近傍内の輝度の変化を決定するように、構成され得る。特定のピクセルに対応するフラットネスマップのエントリは、特定のピクセルの近傍内の輝度の変化の、特定のピクセルの近傍内の輝度の平均値に対する比に比例し得る。

画像センサデバイス１１２２はまた、プロセッサ１１１０を含み得る。特定の実施形態において、プロセッサ１１１０は、ローカルマッピングおよびグローバルマッピングを使用するＨＤＲモジュール１１６４を実現するように構成される。例えば、プロセッサ１１１０は、ＨＤＲモジュール１１６４を実現するために、プロセッサ可読媒体から命令群を読み込み、これら命令群を実行するように構成され得る。別の実施形態において、ローカルマッピングおよびグローバルマッピングを使用するＨＤＲモジュール１１６４は、画像処理回路として実現される。

別の特定の実施形態において、プロセッサ１１１０は、オート露出制御およびオートホワイトバランス推定モジュール１１５０を実現するように構成される。別の実施形態において、オート露出制御およびオートホワイトバランス推定モジュール１１５０は画像処理回路として実現される。

プロセッサ１１１０はまた、図１のモジュール１１０〜１２０によって行われる動作のうちの１つ以上のような追加の画像処理動作を行うように構成され得る。プロセッサ１１１０は、さらなる処理、伝送、記憶、表示、または任意のこれらの組み合わせのために、処理された画像データをアプリケーションプロセッサチップセット１１７０に供給し得る。

図１２は、オート露出制御およびオートホワイトバランス推定モジュール１２５０と、ＨＤＲ組み合わせおよび圧縮モジュール１２６４とを含むシステムの特定の実施形態のブロック図である。システム１２００は、携帯無線電子デバイスにおいて実現されることができ、メモリ１２３２に結合された、デジタル信号プロセッサ（ＤＳＰ）のようなプロセッサ１２１０を含む。システム１２００は、オート露出制御およびオートホワイトバランス推定モジュール１２５０を含む。オート露出制御およびオートホワイトバランス推定モジュール１２５０は、シグナルプロセッサ１２１０内に存在でき、または（示されていない）ハードウェア画像処理パイプラインにおける別個のデバイスまたは回路であり得る。オート露出制御およびオートホワイトバランス推定モジュール１２５０は、オート露出を制御するための手段１２９８、およびオートホワイトバランスを制御するための手段１２９９を含む。オート露出を制御するための手段１２９８、およびオートホワイトバランスを制御するための手段１２９９は、ハードウェア回路、ファームウェア、コードを実行するプロセッサまたはコントローラ、フィールドプログラマブルアレイ、またはこれらの任意の組み合わせを含み得る。

システム１２００は、ローカルマッピングおよびグローバルマッピングを使用するＨＤＲモジュール１２６４も含む。例示的な例において、ローカルマッピングおよびグローバルマッピングを使用するＨＤＲモジュール１２６４は、図１〜３のモジュールまたはシステムのうちの１つ以上を含み、または、図５または図７〜１０の実施形態または方法のうちのいずれか、またはこれらの任意の組み合わせに従って動作する。ローカルマッピングおよびグローバルマッピングを使用するＨＤＲモジュール１２６４は、プロセッサ１２１０内に存在し得るか、または別個のデバイスであり得る。

カメラインターフェース１２６８は、プロセッサ１２１０に結合され、ビデオカメラまたはスチルカメラのようなカメラ１２７０にも結合される。ディスプレイコントローラ１２２６は、プロセッサ１２１０および表示デバイス１２２８に結合される。符号器／復号器（ＣＯＤＥＣ）１２３４もまた、プロセッサ１２１０に結合されることができる。スピーカー１２３６およびマイクロフォン１２３８は、ＣＯＤＥＣ１２３４に結合され得る。無線インターフェース１２４０は、プロセッサ１２１０および無線アンテナ１２４２に結合されることができる。

特定の実施形態において、プロセッサ１２１０は、ローカルマッピングおよびグローバルマッピングを使用するＨＤＲモジュール１２６４を含み、通常のカメラ１２７０によるＨＤＲ機能を可能にするために、カメラ１２７０によって取り込まれた複数の画像からＨＤＲ画像データを生成するように適応される。加えて、ローカルマッピングおよびグローバルマッピングを使用するＨＤＲモジュール１１６４は、結果として生じた画像を、連続性を確実にしながら、アーティファクトを導入することなく、ローカルトーンマッピングおよびグローバルトーンマッピングの両方の組み合わせを使用してより低い解像度のトランスポートメカニズムおよび記憶メカニズムと互換性があるように圧縮し得る。

プロセッサ１２１０はまた、様々なソースから受け取られ得る画像データの複数のセットからＨＤＲ画像データを生成し、圧縮するように適応され得る。例えば、画像データは、例示的で非限定的な例として、カメラ１２７０からの映像データおよび静止画像、無線インターフェース１２４０を介した無線伝送からの、または（示されていない）ユニバーサルシリアルバス（ＵＳＢ）インターフェースを介して結合された外部のデバイスなどの他のソースからの画像データを含み得る。

特定の実施形態において、プロセッサ１２１０は、画像データの複数のピクセルの各特定のピクセルのトーンマッピングされたピクセル値を含むトーンマッピングされた画像データをその特定のピクセルの近傍内の輝度バリエーションに基づいて生成し、表示デバイス１２２８において表示するためにトーンマッピングされた画像データを供給するように構成される。例えば、トーンマッピングされたデータは図３の出力画像データ３１６であり得る。加えて、プロセッサ１２１０は、メモリ１２３２においてトーンマッピングされた画像データを記憶するように、または無線インターフェース１２４０を介して通信されるためのトーンマッピングされた画像データを供給するようにさらに構成され得る。

画像データは、第１の露出時間を使用しカメラ１２７０から受け取られた第１のセットの画像データと、第２の露出時間を使用しカメラ１２７０から受け取られた第２のセットの画像データとを組み合わせることによって生成されたハイダイナミックレンジ（ＨＤＲ）画像データであり得る。第１および第２のセットの画像データは、カメラ１２７０の単一のセンサにおいて連続的に取り込まれることができ、または異なる露出条件を使用してカメラ１２７０の複数のセンサにおいて同時に取り込まれ得る。第１のセットの画像データの輝度値は、第１の露出時間に対する第２の露出時間の割合(ratio)に基づいて、スケーリングされ得る。第１および第２のセットの画像データの両方がこの後画像データの暗い領域または明るい領域のいずれかに基づいてホワイトバランスされ得る。第１の画像データはこの後図６に関して説明されたように、ＨＤＲ画像データを生成するためにスケーリングされた輝度値の第１の実効ダイナミックレンジと、第２のセットの画像データの第２の実効ダイナミックレンジとの間のオーバーラップに基づいて、画像データの第２のセットと選択的に組み合わせられる。プロセッサ１２１０は、特定のピクセルの近傍内の輝度バリエーションを示すフラットネスマップを生成するためにＨＤＲ画像データを処理し、グローバルにマッピングされた画像データおよびローカルにマッピングされた画像データの重みづけされた合計を使用して特定のピクセルのトーンマッピングされたピクセル値を決定するようにさらに構成され得る。重みづけされた合計の重みは特定のピクセルの近傍内の輝度バリエーションに基づいて決定され得る。

ディスプレイコントローラ１２２６は、処理された画像データを受け取り、処理された画像データを表示デバイス１２２８に供給するための命令群によって構成される。さらに、メモリ１２３２は処理された画像データを受け取り記憶するように構成されることができ、無線インターフェース１２４０はアンテナ１２４２を介した送信のために、処理された画像データを受け取るように構成され得る。

特定の実施形態では、シグナルプロセッサ１２１０、ディスプレイコントローラ１２２６、メモリ１２３２、ＣＯＤＥＣ１２３４、無線インターフェース１２４０、およびカメラインターフェース１２６８は、システムインパッケージ、またはシステムオンチップのデバイス１２２２に含まれる。特定の実施形態では、入力デバイス１２３０および電源１２４４が、システムオンチップのデバイス１２２２に結合される。さらに、特定の実施形態では、図１２に示されているように、表示デバイス１２２８、入力デバイス１２３０、スピーカー１２３６、マイクロフォン１２３８、無線アンテナ１２４２、ビデオカメラ１２７０、および電源１２４４は、システムオンチップのデバイス１２２２の外部にある。しかしながら、表示デバイス１２２８、入力デバイス１２３０、スピーカー１２３６、マイクロフォン１２３８、無線アンテナ１２４２、ビデオカメラ１２７０、および電源１２４４の各々は、インターフェースまたはコントローラなどの、システムオンチップのデバイス１２２２のコンポーネントに結合され得る。

当業者は、ここに開示された実施形態に関連して説明された、さまざまな例示的な論理ブロック、構成、モジュール、回路、およびアルゴリズムのステップが、電子ハードウェア、コンピュータソフトウェア、または両方の組み合わせとして実現され得ることをさらに理解するはずである。ハードウェアおよびソフトウェアのこの相互互換性を明確に例示するために、様々な例示的なコンポーネント、ブロック、構成、モジュール、回路、およびステップが、これらの機能の観ポイントから一般的に上述されている。このような機能がハードウェアとして実現されるか、ソフトウェアとして実現されるかは、システム全体に課される特定の用途および設計の制約に依存する。当業者は、説明された機能を、各特定の用途のために様々な方法で実現できるが、このような実現の決定は、本開示の範囲からの逸脱を生ずるものとして解釈されるべきではない。

ここに開示された実施形態に関して説明された方法またはアルゴリズムのステップは、ハードウェアにおいて直接的に、またはプロセッサにより実行されたソフトウェアモジュールにおいて、または２つの組み合わせにおいて、具現化され得る。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、読み出し専用メモリ（ＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、または当該技術において周知である任意の他の形態の記憶媒体中に存在し得る。例示的な記憶媒体は、プロセッサに結合されるので、プロセッサは、記憶媒体から情報を読み取り、記憶媒体へ情報を書き込むことができる。あるいは、記憶媒体は、プロセッサに組み込まれることができる。プロセッサおよび記憶媒体は、特定用途向け集積回路（ＡＳＩＣ）内に存在できる。ＡＳＩＣは、コンピューティング装置またはユーザ端末内に存在し得る。あるいは、プロセッサおよび記憶媒体は、コンピューティング装置またはユーザ端末において、離散コンポーネントとして存在し得る。

開示された実施形態の先の説明は、開示された実施形態を製造および使用することをいずれの当業者にも可能にさせるために提供される。これらの実施形態に対する様々な変更は、当業者には容易に明らかであり、ここに定義された原理は、本開示の範囲から逸脱することなく、他の実施形態に適用され得る。従って、本開示は、ここに示された実施形態に限定されことを意図せず、以下の特許請求の範囲によって定義される原理および新規な特徴と一致する、可能な限り最も広い範囲を与えられるべきである。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］ ハイダイナミックレンジのデジタル画像を生成する方法であって、
少なくとも１つのセンサからシーンの第１の画像を取り込むことと、ここにおいて、前記シーンは明るい領域および暗い領域を有し、前記第１の画像は前記明るい領域に基づいた第１の露出設定を使用して取り込まれ、前記第１の画像のホワイトバランスは前記明るい領域によって決定される、
前記少なくとも１つのセンサから前記シーンの第２の画像を取り込むことと、ここにおいて、前記第２の画像は前記暗い領域に基づいた第２の露出設定を使用して取り込まれ、前記第２の画像のホワイトバランスは前記暗い領域によって決定される、
前記第１の画像と前記第２の画像とを組み合わせることによってハイダイナミックレンジのデジタル画像を生成することと、
を含む、方法。
［Ｃ２］ 前記ハイダイナミックレンジのデジタル画像は少なくとも前記第１の画像の前記明るい領域を前記第２の画像の前記暗い領域と組み合わせることによって生成される、Ｃ１に記載の方法。
［Ｃ３］ 前記第１の領域のホワイトバランスはまた、前記第１の露出設定に基づいて決定され、または、前記第２の領域のホワイトバランスはまた、前記第２の露出設定に基づいて決定される、Ｃ１に記載の方法。
［Ｃ４］ 前記ハイダイナミックレンジのデジタル画像は前記第１の画像の前記明るい領域に適用されたホワイトバランス、および前記第２の画像の前記暗い領域に適用されたホワイトバランスを含む、Ｃ１に記載の方法。
［Ｃ５］ 前記第１の露出設定は、
前記第１の画像の第１の輝度ヒストグラムを生成することと、
前記第１の輝度ヒストグラムからしきい値を決定することと、
前記しきい値に基づいて前記明るい領域を決定することと、
によって決定される、Ｃ１に記載の方法。
［Ｃ６］ 前記少なくとも１つのセンサは１つのセンサである、Ｃ１に記載の方法。
［Ｃ７］ 前記少なくとも１つのセンサは２つのセンサであり、前記第１の画像は第１のセンサから取り込まれ、前記第２の画像は第２のセンサから取り込まれる、Ｃ１に記載の方法。
［Ｃ８］ 最終画像はスナップショットである、Ｃ１に記載の方法。
［Ｃ９］ 前記最終画像は映像の１つのフレームである、Ｃ１に記載の方法。
［Ｃ１０］ 前記ステップは繰り返し行われる、Ｃ１に記載の方法。
［Ｃ１１］ カメラセンサと、
プロセッサであって、
少なくとも１つのセンサからシーンの第１の画像を取り込み、ここにおいて、前記第１の画像は明るい領域および暗い領域を有し、前記第１の画像は、前記明るい領域に基づいた第１の露出設定を使用して取り込まれ、前記第１の画像のホワイトバランスは前記明るい領域によって決定される、
前記少なくとも１つのカメラセンサから前記シーンの第２の画像を取り込み、ここにおいて、前記第２の画像は前記暗い領域に基づいた第２の露出設定を使用して取り込まれ、前記第２の画像のホワイトバランスは、前記暗い領域によって決定される、
最終画像を生成するために前記第１の画像と前記第２の画像とを組み合わせるように構成されたプロセッサと、
前記最終画像を記憶するための記憶装置と、を含む、結像デバイス。
［Ｃ１２］ 前記第１の露出設定は、
前記第１の画像の第１の輝度ヒストグラムを生成することと、
前記第１の輝度ヒストグラムからしきい値を決定することと、
前記しきい値に基づいて前記明るい領域を決定することと、
によって決定される、Ｃ１１に記載のデバイス。
［Ｃ１３］ 第２のカメラセンサをさらに備え、前記少なくとも１つのセンサは第１のカメラセンサと第２のカメラセンサとを備える２つのセンサである、Ｃ１１に記載のデバイス。
［Ｃ１４］ 前記最終画像はスナップショットである、Ｃ１１に記載のデバイス。
［Ｃ１５］ 前記プロセッサは前記ステップを繰り返し行うように構成される、Ｃ１１に記載のデバイス。
［Ｃ１６］ 前記プロセッサは前記第１の露出設定に基づいて前記第１の領域のホワイトバランスを条件付きで決定し、前記第２の露出設定に基づいて前記第２の領域のホワイトバランスを条件付きで決定するようにさらに構成される、Ｃ１１に記載のデバイス。
［Ｃ１７］ プロセッサ実行可能な第１の命令群を含む非一時的なコンピュータ可読媒体であって、前記第１の命令群は、
少なくとも１つのセンサからシーンの第１の画像を取り込むことと、ここにおいて、前記第１の画像は明るい領域および暗い領域を有し、前記第１の画像は前記明るい領域に基づいた第１の露出設定を使用して取り込まれ、前記第１の画像のホワイトバランスは前記明るい領域によって決定される、
前記少なくとも１つのセンサから前記シーンの第２の画像を取り込むことと、ここにおいて、前記第２の画像は前記暗い領域に基づいた第２の露出設定を使用して取り込まれ、前記第２の画像のホワイトバランスは前記暗い領域によって決定される、
最終画像を生成するために前記第１の画像と前記第２の画像とを組み合わせることと、
をプロセッサに行わせるように動作可能である、非一時的なコンピュータ可読媒体。
［Ｃ１８］ 前記第１の露出設定は、
前記第１の画像の第１の輝度ヒストグラムを生成することと、
前記第１の輝度ヒストグラムから明るさしきい値を識別することと、
前記明るさしきい値に基づいて前記明るい領域を決定することと、
によって決定される、Ｃ１７に記載のコンピュータ可読媒体。
［Ｃ１９］ 前記プロセッサに前記第１の命令群を繰り返し行わせるように動作可能な第２の命令群も含む、Ｃ１７に記載のコンピュータ可読媒体。
［Ｃ２０］ 少なくとも１つのセンサからシーンの第１の画像を取り込むための手段と、ここにおいて、前記第１の画像は明るい領域および暗い領域を有し、前記第１の画像は前記明るい領域に基づいた第１の露出設定を使用して取り込まれ、前記第１の画像のホワイトバランスは、少なくとも部分的に、前記明るい領域によって決定される、
前記少なくとも１つのセンサから前記シーンの第２の画像を取り込むための手段と、ここにおいて、前記第２の画像は前記暗い領域に基づいた第２の露出設定を使用して取り込まれ、前記第２の画像のホワイトバランスは少なくとも部分的に前記暗い領域によって決定される、
前記第１の画像と前記第２の画像とを組み合わせることによって、ハイダイナミックレンジのデジタル画像を生成するための手段と、
を含む、画像化装置。

Claims (28)

1. ハイダイナミックレンジのデジタル画像を生成する方法であって、
   第１の露出設定を決定することと、
   前記第１の露出設定に基づいて少なくとも１つのセンサからシーンの第１の画像を取り込むことと、
   明るいしきい値を決定することと、
   前記明るいしきい値に基づいて前記第１の画像の１つ以上の明るい領域を決定することと、
   前記１つ以上の明るい領域における複数の第１のピクセルを１セットの基準ポイントまでの各ピクセルの距離に基づいて一部破棄することと、
   一部破棄された第１のピクセルの数がピクセルしきい値を下回る場合に前記第１の画像を取り込むために使用される少なくともシャッタースピードおよびアパーチャに基づいて第１の基準ポイントを選択し、一部破棄された第１のピクセルの前記数が前記ピクセルしきい値を上回る場合に前記一部破棄された第１のピクセルに基づいて複合ポイントを決定し、前記複合ポイントまでの前記基準ポイントの距離に基づいて前記第１の基準ポイントを選択することと、
   前記選択された第１の基準ポイントに基づいて前記第１の画像をホワイトバランスすることと、
   第２の露出設定を決定することと、
   前記第２の露出設定を使用して前記少なくとも１つのセンサから前記シーンの第２の画像を取り込むことと、
   暗いしきい値を決定することと、
   前記暗いしきい値に基づいて前記第２の画像の１つ以上の暗い領域を決定することと、
   前記１つ以上の暗い領域における複数の第２のピクセルを１セットの基準ポイントまでの各ピクセルの距離に基づいて一部破棄することと、
   一部破棄された第２のピクセルの数が前記ピクセルしきい値を下回る場合に前記第２の画像を取り込むために使用される少なくともシャッタースピードおよびアパーチャに基づいて第２の基準ポイントを選択し、一部破棄された第２のピクセルの前記数が前記ピクセルしきい値を上回る場合に前記一部破棄された第２のピクセルに基づいて第２の複合ポイントを決定し、前記第２の複合ポイントまでの前記第２の基準ポイントの距離に基づいて前記第２の基準ポイントを選択することと、
   前記選択された第２の基準ポイントに基づいて前記第２の画像をホワイトバランスすることと、
   前記ホワイトバランスされた第１の画像と前記ホワイトバランスされた第２の画像とを組み合わせることによってハイダイナミックレンジのデジタル画像を生成することと、
   を含む、方法。
2. 前記ハイダイナミックレンジのデジタル画像は少なくとも前記第１の画像の前記明るい領域を前記第２の画像の前記暗い領域と組み合わせることによって生成される、請求項１に記載の方法。
3. 前記第１の画像のホワイトバランスはまた、前記第１の露出設定に基づいて決定され、または、前記第２の画像のホワイトバランスはまた、前記第２の露出設定に基づいて決定される、請求項１に記載の方法。
4. 前記ハイダイナミックレンジのデジタル画像は前記第１の画像の前記明るい領域に適用された前記ホワイトバランス、および前記第２の画像の前記暗い領域に適用された前記ホワイトバランスを含む、請求項１に記載の方法。
5. 前記第１の露出設定は、
   前記第１の画像の第１の輝度ヒストグラムを生成することと、
   前記第１の輝度ヒストグラムからしきい値を決定することと、
   前記しきい値に基づいて前記明るい領域を決定することと、
   によって決定される、請求項１に記載の方法。
6. 前記少なくとも１つのセンサは１つのセンサである、請求項１に記載の方法。
7. 前記少なくとも１つのセンサは２つのセンサであり、前記第１の画像は第１のセンサから取り込まれ、前記第２の画像は第２のセンサから取り込まれる、請求項１に記載の方法。
8. 最終画像はスナップショットである、請求項１に記載の方法。
9. 前記最終画像は映像の１つのフレームである、請求項１に記載の方法。
10. 前記ステップは繰り返し行われる、請求項１に記載の方法。
11. 少なくとも１つのカメラセンサと、
    プロセッサであって、
    第１の露出設定を決定することと、
    前記第１の露出設定を使用して少なくとも１つのカメラセンサからシーンの第１の画像を取り込み、
    明るいしきい値を決定し、
    前記明るいしきい値に基づいて前記第１の画像の１つ以上の明るい領域を決定し、
    前記１つ以上の明るい領域における複数の第１のピクセルを１セットの基準ポイントまでの各ピクセルの距離に基づいて一部破棄し、
    一部破棄された第１のピクセルの数がピクセルしきい値を下回る場合に前記第１の画像を取り込むために使用される少なくともシャッタースピードおよびアパーチャに基づいて第１の基準ポイントを選択し、一部破棄された第１のピクセルの前記数が前記ピクセルしきい値を上回る場合に前記一部破棄された第１のピクセルに基づいて複合ポイントを決定し、前記複合ポイントまでの前記第１の基準ポイントの距離に基づいて前記第１の基準ポイントを選択し、
    前記選択された第１の基準ポイントに基づいて前記第１の画像をホワイトバランスし、
    第２の露出設定を決定し、
    前記第２の露出設定を使用して前記少なくとも１つのカメラセンサから前記シーンの第２の画像を取り込み、
    暗いしきい値を決定し、
    前記暗いしきい値に基づいて前記第２の画像の１つ以上の暗い領域を決定し、
    前記１つ以上の暗い領域における複数の第２のピクセルを１セットの基準ポイントまでの各ピクセルの距離に基づいて一部破棄し、
    一部破棄された第２のピクセルの数が前記ピクセルしきい値を下回る場合に前記第２の画像を取り込むために使用される少なくともシャッタースピードおよびアパーチャに基づいて第２の基準ポイントを選択し、一部破棄された第２のピクセルの前記数が前記ピクセルしきい値を上回る場合に前記一部破棄された第２のピクセルに基づいて第２の複合ポイントを決定し、前記第２の複合ポイントまでの前記第２の基準ポイントの距離に基づいて前記第２の基準ポイントを選択し、
    前記選択された第２の基準ポイントに基づいて前記第２の画像をホワイトバランスし、
    最終画像を生成するために前記ホワイトバランスされた第１の画像と前記ホワイトバランスされた第２の画像とを組み合わせるように動作を実行するように構成されたプロセッサと、
    前記最終画像を記憶するための記憶装置と、を含む、結像デバイス。
12. 前記第１の露出設定は、
    前記第１の画像の第１の輝度ヒストグラムを生成することと、
    前記第１の輝度ヒストグラムからしきい値を決定することと、
    前記しきい値に基づいて前記明るい領域を決定することと、
    によって決定される、請求項１１に記載のデバイス。
13. 第２のカメラセンサをさらに備え、前記少なくとも１つのセンサは第１のカメラセンサと第２のカメラセンサとを備える２つのセンサである、請求項１１に記載のデバイス。
14. 前記最終画像はスナップショットである、請求項１１に記載のデバイス。
15. 前記プロセッサは前記動作を繰り返し行うように構成される、請求項１１に記載のデバイス。
16. 前記プロセッサは前記第１の露出設定に基づいて前記第１の領域のホワイトバランスを条件付きで決定し、前記第２の露出設定に基づいて前記第２の領域のホワイトバランスを条件付きで決定するようにさらに構成される、請求項１１に記載のデバイス。
17. プロセッサ実行可能な第１の命令群を含むコンピュータ可読記憶媒体であって、前記第１の命令群は、
    第１の露出設定を決定することと、
    前記第１の露出設定を使用して少なくとも１つのセンサからシーンの第１の画像を取り込むことと、
    明るいしきい値を決定することと、
    前記明るいしきい値に基づいて前記第１の画像の１つ以上の明るい領域を決定することと、
    前記１つ以上の明るい領域における複数の第１のピクセルを１セットの基準ポイントまでの各ピクセルの距離に基づいて一部破棄することと、
    一部破棄された第１のピクセルの数がピクセルしきい値を下回る場合に前記第１の画像を取り込むために使用される少なくともシャッタースピードおよびアパーチャに基づいて第１の基準ポイントを選択し、一部破棄された第１のピクセルの前記数が前記ピクセルしきい値を上回る場合に前記一部破棄された第１のピクセルに基づいて複合ポイントを決定し、前記複合ポイントまでの前記基準ポイントの距離に基づいて前記第１の基準ポイントを選択することと、
    前記選択された第１の基準ポイントに基づいて前記第１の画像をホワイトバランスすることと、
    第２の露出設定を決定することと、
    前記第２の露出設定を使用して前記少なくとも１つのセンサから前記シーンの第２の画像を取り込むことと、
    暗いしきい値を決定することと、
    前記暗いしきい値に基づいて前記第２の画像の１つ以上の暗い領域を決定することと、
    前記１つ以上の暗い領域における複数の第２のピクセルを１セットの基準ポイントまでの各ピクセルの距離に基づいて一部破棄することと、
    一部破棄された第２のピクセルの数が前記ピクセルしきい値を下回る場合に前記第２の画像を取り込むために使用される少なくともシャッタースピードおよびアパーチャに基づいて第２の基準ポイントを選択し、一部破棄された第２のピクセルの前記数が前記ピクセルしきい値を上回る場合に前記一部破棄された第２のピクセルに基づいて第２の複合ポイントを決定し、前記第２の複合ポイントまでの前記第２の基準ポイントの距離に基づいて前記第２の基準ポイントを選択することと、
    前記選択された第２の基準ポイントに基づいて前記第２の画像をホワイトバランスすることと、
    最終画像を生成するために前記ホワイトバランスされた第１の画像と前記ホワイトバランスされた第２の画像とを組み合わせることと、
    をプロセッサに行わせるように動作可能である、コンピュータ可読記憶媒体。
18. 前記第１の露出設定は、
    前記第１の画像の第１の輝度ヒストグラムを生成することと、
    前記第１の輝度ヒストグラムから明るさしきい値を識別することと、
    前記明るさしきい値に基づいて前記明るい領域を決定することと、
    によって決定される、請求項１７に記載のコンピュータ可読記憶媒体。
19. 前記プロセッサに前記第１の命令群を繰り返し行わせるように動作可能な第２の命令群も含む、請求項１７に記載のコンピュータ可読記憶媒体。
20. 第１の露出設定を決定するための手段と、
    前記第１の露出設定を使用して少なくとも１つのセンサからシーンの第１の画像を取り込むための手段と、
    明るいしきい値を決定するための手段と、
    前記明るいしきい値に基づいて前記第１の画像の１つ以上の明るい領域を決定するための手段と、
    前記１つ以上の明るい領域における複数の第１のピクセルを１セットの基準ポイントまでの各ピクセルの距離に基づいて一部破棄するための手段と、
    一部破棄された第１のピクセルの数がピクセルしきい値を下回る場合に前記第１の画像を取り込むために使用される少なくともシャッタースピードおよびアパーチャに基づいて第１の基準ポイントを選択するための手段と、
    一部破棄された第１のピクセルの前記数が前記ピクセルしきい値を上回る場合に前記一部破棄された第１のピクセルに基づいて複合ポイントを決定するための手段と、
    一部破棄された第１のピクセルの前記数が前記ピクセルしきい値を上回る場合に前記複合ポイントまでの前記基準ポイントの距離に基づいて前記第１の基準ポイントを選択するための手段と、
    前記選択された第１の基準ポイントに基づいて前記第１の画像をホワイトバランスするための手段と、
    第２の露出設定を決定するための手段と、
    前記第２の露出設定を使用して前記少なくとも１つのセンサから前記シーンの第２の画像を取り込むための手段と、
    暗いしきい値を決定するための手段と、
    前記暗いしきい値に基づいて前記第２の画像の１つ以上の暗い領域を決定するための手段と、
    前記１つ以上の暗い領域における複数の第２のピクセルを１セットの基準ポイントまでの各ピクセルの距離に基づいて一部破棄するための手段と、
    一部破棄された第２のピクセルの数が前記ピクセルしきい値を下回る場合に前記第２の画像を取り込むために使用される少なくともシャッタースピードおよびアパーチャに基づいて第２の基準ポイントを選択するための手段と、
    一部破棄された第２のピクセルの前記数が前記ピクセルしきい値を上回る場合に前記一部破棄された第２のピクセルに基づいて第２の複合ポイントを決定するための手段と、
    一部破棄された第２のピクセルの前記数が前記ピクセルしきい値を上回る場合に前記第２の複合ポイントまでの前記第２の基準ポイントの距離に基づいて前記第２の基準ポイントを選択するための手段と、
    前記選択された第２の基準ポイントに基づいて前記第２の画像をホワイトバランスするための手段と、
    前記ホワイトバランスされた第１の画像と前記ホワイトバランスされた第２の画像とを組み合わせることによって、ハイダイナミックレンジのデジタル画像を生成するための手段と、
    を含む、画像化装置。
21. 前記暗いしきい値を決定することは、所定のレベルを下回るピクセル値の割合を決定することを含む、請求項１に記載の方法。
22. 前記１つ以上の暗い領域を決定することは、前記暗いしきい値以下の平均輝度を有する１つ以上の領域を決定することを含む、請求項１に記載の方法。
23. 前記１つ以上の明るい領域を決定することは、前記明るいしきい値以上の平均輝度を有する１つ以上の領域を決定することを含む、請求項１に記載の方法。
24. 前記第１の画像のホワイトバランスは、前記暗い領域に基づくものではなく、前記第２の画像のホワイトバランスは、前記明るい領域に基づくものではない、請求項１に記載の方法。
25. 前記第１のピクセルは、前記１セットの基準ポイントまでの各第１のピクセルの最短距離に基づいて一部破棄される、請求項１に記載の方法。
26. 前記１セットの基準ポイントは、地表灯、白熱灯、ＴＬ８４、クールホワイト、Ｄ６５、およびシェードのうちの１つ以上を含む、請求項２５に記載の方法。
27. 各第１のピクセルについての１セットの基準ポイントまでの最短距離が距離しきい値を上回るかどうかを決定することと、
    前記距離しきい値を上回る距離のピクセルを破棄することと、
    をさらに含む、請求項２５に記載の方法。
28. 複合ポイントを決定することは、前記一部破棄された第１のピクセルについて赤／緑および青／緑の比率を平均することを含む、請求項１に記載の方法。

Images