JP5457532B2 - 画像のダイナミックレンジの増大 - Google Patents

Description

本発明は、デジタル画像に関する。本発明は特に画像（静止画像および／またはビデオ画像を含む）のダイナミックレンジを増大する装置および方法に関する。本発明は、限定はされないが、電子ディスプレイ、メディアプレーヤー（ＤＶＤプレーヤーなど）、電子ディスプレイおよび／またはメディアプレーヤーで使用される画像処理サブシステム、および、データプロセッサで読み込まれその後実行され、媒体上で提供されるコンピュータソフトウェアにおいて実施される。

ヒトの目は、非常に広い範囲の強さの光を感知できる。正確に実際のシーンを再現するには、画像が高いダイナミックレンジを有することが好ましい。高性能ＣＣＤアレイのような高性能画像センサは、高いダイナミックレンジを有する画像を取得することができる。新世代のディスプレイ装置は、従来のディスプレイ技術より改善されたダイナミックレンジを間違いなく提供する。

現在の映画、ビデオおよび静止画像のほとんどは、これらの新世代のディスプレイ装置が作り出すより遥かに低いダイナミックレンジを提供するフォーマットで記録されている。将来は、進化するカメラ技術とファイルフォーマットにより、これらのディスプレイ装置に高品質の内容が提供されるであろう。近い将来では、低ダイナミックレンジのメディア（例えば、低ダイナミックレンジ（ＬＤＲ）フォーマットでの画像データ）のダイナミックレンジを増大する方法が提供されるのが望ましい。このことにより観察者は、既存のメディアを用いながら少なくとも多少は高ダイナミックレンジのディスプレイの利益の恩恵を受けられるであろう。

映画館の画像システム（プロジェクタ）や家庭シアターシステムの観察者は、とても目が肥えている。これらのおよび他の用途で、目に付くアーティファクトが基本的にない画像を提供することが望まれる。

用途によっては、リアルタイムで画像のダイナミックレンジを増大する（たとえば、増大した画像信号を生成する）ことが好ましい。

本発明は多くの局面を有する。一局面では、入力として低ダイナミックレンジ（ＬＤＲ）フォーマットの画像データを受け取り、出力として入力画像データのダイナミックレンジより大きなダイナミックレンジを有する増大した画像データを生成する方法を提供する。実施の形態によっては、その方法はビデオデータに用いられ、リアルタイムで実行される（すなわち、ビデオフレームを処理してビデオフレームのダイナミックレンジを増大することは、平均として少なくともビデオ信号のフレームレートで完了する）。
本発明のさらなる局面と本発明の特定の実施の形態の特徴を、以下に説明する。
添付の図面は本発明の、限定的ではない、実施の形態を図解する。

本発明の一実施の形態による画像のダイナミックレンジを増大する方法の流れ図である。 例示的な一実施の形態による入力画像データを線形化する方法の流れ図である。 輝度増大機能を生成し、画像データに輝度増大機能を用いる例示的な方法を図解する流れ図である。 エッジストッピング機能を構成するマスクを生成する例示的な方法を図解する流れ図である。 ピクセルの近傍と、そのピクセルでの階調度を決定する例示的方法を図解する流れ図である。 例示的なＬＤＲ入力画像を示す。 対応するスムース成分を示す エッジストッピング成分により修正された対応する輝度増大機能を示す。 高ダイナミックレンジ（ＨＤＲ）出力画像を示す。特許図面のメディアは入出力画像のダイナミックレンジを再生しないことが分かるであろう。 輝度増大機能のスムース成分を生成する例示的な方法を図解する流れ図である。 輝度増大機能のエッジストッピング成分を生成する例示的な方法を図解する流れ図である。 例えば、図４Ａおよび図４Ｂの方法で輝度増大機能を生成するのに用いられる画像ピラミッドを図解する。 図４Ｂの概念、エッジストッピング成分を生成するのに関連する概念を特に、図解する。 図５は、本発明の実施の形態による装置を図解する。 増大した画像データを映し出すために、画像データのダイナミックレンジを増大し、二重変調型ディスプレイのモジュレータの駆動値を生成する特定の実施の形態による方法を図解する。 増大した画像データを映し出すために、画像データのダイナミックレンジを増大し、二重変調型ディスプレイのモジュレータの駆動値を生成する特定の実施の形態による方法を図解する。

以下の詳細な説明を通じ、具体的な詳細は、本発明をよりよく理解するために示されている。しかし、本発明は、それらの詳細なしでも実施できる。他の例では、本発明を不要にぼやけさせるのを避けるため、周知の要素は示さず、あるいは、詳細に説明していない。したがって、明細書と図面は、限定的な意味ではなく、説明的な意味とみなされるべきである。

図１は、本発明の一実施の形態による、画像データ２１により画定されるデジタル画像のダイナミックレンジを増大する方法２０を説明するフローチャート（流れ図）である。画像データ２１は、低ダイナミックレンジ（ＬＤＲ）画像データでよい。ブロック２２では、入力された画像データ２１からのピクセル値を線形化する。ブロック２２は、輝度がピクセル値と線形に変化する空間で、入力された画像データ２１のピクセル値が既に表されている場合には、不要である。実施の形態によっては、ブロック２２の線形化は下流側の余分な処理をするにより、回避される。ブロック２２からの出力は、線形化画像データ２３である。線形化画像データ２３の各ピクセルは、ピクセルの輝度と少なくともほぼ比例する値を有する。

ブロック２２の線形化でなされる特定のプロセスは、入力された画像データ２１の画像のエンコーディングに依存する。たとえば、代表的な画像やテレビのデータは、２．２近傍のガンマ値を有するガンマ曲線でエンコードされる。このガンマ曲線は、ブラウン管（ＣＲＴ）のような従来のディスプレイ技術での非線形性を補正するようになされている。そのようなデータの線形化は、ガンマ曲線を反転した関数を用いることによりなされる。ガンマ曲線を反転することにより、原シーンの輝度にほぼ比例するピクセル値が提供される。

ブロック２２の線形化機能は、参照テーブル（ＬＵＴ）を用いて実行される。たとえば、ブロック２２の線形化の手順は、入力された画像データ２１のピクセル値を参照し、ＬＵＴから対応する線形化されたピクセル値を検索し、対応する線形化されたピクセル値を線形化画像データ２３に出力することを含む。他の実施の形態では、ブロック２２の線形化機能は、入力された画像データ２１からのピクセル値を入力として受け取り、線形化画像データ２３用の対応する線形化されたピクセル値を出力として生成する、適切なデータプロセッサ上で実行されるソフトウェアあるいはハードウェアにより実行されてもよい。

実施の形態によっては、ブロック２２の線形化プロセスは、入力された画像データ２１を線形化するのに最も適した複数の線形化機能の１つを選定することを備える。あるデータフォーマットは、ピクセル値と輝度の非線形な関係を明確にまたは暗に特定する情報を含む。そのような情報は、例えば、入力された画像データ２１に付随するヘッダーから入手できる。

図１Ａは、特定の実施の形態に従って、ブロック２２の線形化を実行する方法を示し、入力された画像データ２１は、入力された画像データ２１のピクセル値と所望の輝度との非線形な関係を明確または暗に特定するエンコード情報を含む。図１Ａを参照すると、ブロック２２の線形化プロセスは：エンコード情報を読み取ること（ブロック２０Ａ）；エンコード情報に一致する複数の線形化機能２５（２５Ａ、２５Ｂ、２５Ｃ・・・として区別する）の１つを選定すること；選定された線形化機能２５を入力された画像データ２１に適用し（ブロック２０Ｃ）線形化画像データ２３を生成すること；を含んでもよい。

実施の形態によっては、線形化画像データ２３のピクセル値は、対応するピクセルに対しディスプレイ上で映し出される絶対的な出力強度を備える。
再度図１を参照すると、ブロック３０で線形化画像データ２３のコントラストをストレッチ（強調）してストレッチ画像データ３１を生成する。ブロック３０のコントラストストレッチは、いろいろな方法で実施される。１つの特定の実施の形態では、ブロック３０のストレッチは次式で実施される。

ここで、ＬＤＲ_ｉｊは線形化画像データ２３からのピクセル値（符号ｉ，ｊでインデックスを付けた）、ＨＤＲ_ｉｊはストレッチ画像データ３１からの対応するピクセル値（符号ｉ，ｊでインデックスを付けた）、αは画像が映し出されるディスプレイの黒レベルに等しく設定されたパラメータ、βは係数である。実施の形態によっては、αは１ｃｄ／ｍ^２未満である。一例の実施の形態では、αは０．０５〜０．６ｃｄ／ｍ^２の範囲である。特定の実施の形態では、αは０．３ｃｄ／ｍ^２であり、通常の観測条件で濃い黒を示す。係数βは、結果としての画像が不自然な見え方（例えば、アーティファクト）を有するほどに高くない、所望のコントラスト比を生ずるように選定される。約５０００：１までコントラストをストレッチすること（すなわち、βが約５０００まで）は、種々の画像で許容できないアーティファクトを含むことなく実施できることが分かっている。この閾値は安全側である。多くの画像について、より大きな係数βを使って目覚ましい成果を収めることができる。しかし、この閾値を超えると、画像によっては見栄えの劣化を生ずることがある。

係数βは画像が映し出されるディスプレイ上の白レベルを参照して設定してもよい。例えば、βは、線形化画像データ２３の飽和ピクセル値が白色点に対応する強度値にマッピング（写像）されるように選んでもよい。例えば、白色点は１０００ｃｄ／ｍ^２を超えてもよい。プロトタイプの実施の形態では、白色点は約１２００ｃｄ／ｍ^２になるように選ばれた。αとβの値は、目標ディスプレイに適合するように選ばれる。αとβの値は、線形化画像データ２３により表される画像の特徴と関係なく設定されてもよい。

オプションのブロック４０（図１）では、ストレッチ画像データ３１に画像フィルタを用いて、フィルタされたストレッチ画像データ４１を提供する。オプションのブロック４０のフィルタは、ノイズと量子化アーティファクトを低減する。コントラストストレッチ（ブロック３０）やピクセル値の非線形マッピング（ブロック２２）は、量子化アーティファクトとノイズを増幅する。ＬＤＲ入力画像は通常２５６ピクセル値に量子化され、代表的には１０００以上の異なった値を用いて最小弁別閾（ＪＮＤ）ステップの精密さでＨＤＲディスプレイのダイナミックレンジをカバーする。Ｌｏｓｓｙビデオ圧縮は、局所的画像領域で使える強度レベルの数をさらに低減することができる。オプションのブロック４０のフィルタプロセスは、使用されていない強度レベルを利用して、そうしなければ量子化アーティファクトのこの増幅により生じるであろうアーティファクトを取り除くことができる。

実施の形態によっては、ブロック４０は、双方向フィルタをストレッチ画像デー３１に適用することを備える。適当な双方向フィルタは、Tomasi、Manduchi「Bilateral filtering for gray and color images」ＩＣＣＶ’９８講演集、８３９に説明されている。一般的に双方向フィルタは次のフォームを有する。

ここで、ｈ（ｘ）は位置ｘにおけるピクセル用のフィルタの出力、Ａ（ｘ）は規格化因子、ｆ（ｘ）は位置ｘのピクセル値、ｃ（ξ−ｘ）は位置ξのピクセルと位置ｘのピクセルの距離と共に低下する重み関数（ｃは「近接（closeness）」関数と呼ばれる）、ｓ（ｆ（ξ）−ｆ（ｘ））はｆ（ｘ）とｆ（ξ）の差異と共に低下する重み関数（ｓは「類似（similarity）」関数と呼ばれる）である。式（２）の積分は、位置ｘの近傍Ｎ（ｘ）にわたり計算される。

双方向フィルタが式（２）で与えられる場合、規格化因子Ａ（ｘ）は次式で与えられる。

実施の形態によっては、近接関数（ｃ）と類似関数（ｓ）は、それぞれの独立変数のガウス関数である。例えば、ｃは次式で与えられる。

ここで、ｄ（ξ−ｘ）は、ξとｘ間のユークリッド距離、σ_ｄは分散を定義するパラメータ（すなわち、ξとｘ間の距離の増加と共にどのくらい迅速にｃが低下するか）である。類似関数（ｓ）は次式で与えられる。

ここで、δは位置ξと位置ｘでのピクセル値間の強度スペースでの距離の適切な大きさ、σ_ｒは分散を定義するパラメータ（すなわち、ｆ（ξ）とｆ（ｘ）間の距離の増加と共にどのくらい迅速にｓが低下するか）である。

実施の形態によっては、類似関数（ｓ）の分散σ_ｒがｆ（ｘ）の値と共に増加するように、類似関数（ｓ）に修正した関数を用いる。このような実施の形態では、ブロック３０の局所ピクセル値の非線形強度マッピングにより導かれるストレッチに比例して分散σ_ｒをストレッチし、ブロック３０のストレッチ後は、測光分散が量子化レベルの固定値、好ましくは２、に等しいようにする。

上述のようにσ_ｒをｆ（ｘ）と共に変化するようにすることの効果は、ブロック３０のストレッチの前に固定した分散で双方向フィルタを行うのと似ている。しかし、ブロック３０のストレッチ後ブロック４０の双方向フィルタを固定小数点演算で行うことができるので、ブロック３０のストレッチ後にブロック４０の双方向フィルタを行うことは好都合である。双方向フィルタを行うことは計算コストが高いので、コンピュタリソースが限られている場合には、双方向フィルタを各ピクセルの比較的小さな近傍Ｎ（ｘ）で行うのが好ましい。例えば、実施の形態によっては、ブロック４０の双方向フィルタは、処理中のピクセルの４ピクセル程度のスペース内のピクセルだけを含む近傍で行うことでもよい。

画像のＬＤＲ表示では、画像の最も明るい領域のピクセルを揃える（例えば、ＬＤＲ画像のピクセル値は０から２５５の範囲の整数（８ビット表示に対応する）ならば、画像の最も明るい領域のピクセルはピクセル値を２５５に揃えさせる）。２５５は可能な最大のピクセル値なので、ＬＤＲ画像は原シーンが２５５のピクセル値を生ずる最小閾値よりどのくらい明るかったかの情報を欠いている。画像のダイナミックレンジを増大するのに、ブロック３０でなされるコントラストストレッチを超え、コントラストストレッチより大きく取り出したピクセル値を高めるのが好ましい。

さらに、ＬＤＲ画像に基づいて最良のＨＤＲ画像を得るために、最も明るいピクセル値を、それらのピクセル値が取り出されていないとしても、高めるのが好ましい。例えば、ＬＤＲ画像の白レベルの、あるいは、そのレベルを超える値を有するピクセルのピクセル値を高めることが好ましい。これらの領域では、シーン強度がカメラ、録画手段、あるいは画像データフォーマットの能力を超えるので、情報が失われてしまう。

再度図１を参照して、ブロック５０は、輝度増大機能を生成し、フィルタされた画像データ４１（あるいは、ブロック３０とブロック５０の間にフィルタがなければ、ストレッチ画像データ３１）に適用する。ブロック５０の輝度増大機能を適用することの結果として出力画像５１が生成される。ブロック５０の輝度増大機能は出力画像５１の輝度を、少なくとも１つの色チャンネルに対するピクセル値がフィルタされた画像データ４１の閾値を超える領域で特に、増大する。そのような領域は、本書では「増大領域（enhancement regions）」と呼ばれる。

ブロック５０の輝度増大機能はフィルタされた画像データ４１を、観察者に原シーンを見ているときに付随するのと似た直感的な反応を与える出力画像５１を生ずるように修正しようとする。入力された画像データ２１を生成するときに原シーンから失われた情報を正確に置き換えることが不可能であるとしても、このことは可能である。

図２は、本発明の特定の実施の形態によるブロック５０の輝度増大機能を実行する方法を示す。図２に示すように、ブロック５０は、出力画像データ５１を生ずるためにフィルタされた画像データ４１に適用される輝度増大機能５３を、ブロック５０Ａで計算することを備える。以下に説明するように、輝度増大機能５３は、出力画像データ５１を著しく劣化させる目に付く空間的または時間的アーティファクトを取り込むのを防止する特徴を有するのがよい。出力画像データ５１で必要な忠実度は、用途によって異なる。以下の例では、輝度増大機能５３がフィルタされた画像データ４１のピクセル値を増加させて出力画像データ５１を生ずるのに用いられる値を生成する。他の実施の形態では、輝度増大機能５３は、増加以外の方法を用いて、フィルタされた画像データ４１に適用してもよい。

輝度増大機能５３はフィルタされた画像データ４１で、主としてスムース(滑らか)に変化し、増大領域のエッジを越えて広がる影響を有する。結果は、閾値を超える色チャンネル（あるいは、増大領域に含まれることの基準を満たす他の輝度測定値）のフィルタされた画像データ４１のピクセルに対してだけではなく、そのようなピクセルを囲む領域のピクセルに対しても輝度を増加する。以下に説明するように、輝度増大機能５３はフィルタされた画像データ４１の強い画像階調度の領域のシャープなエッジを含む。実施の形態によっては、輝度増大機能５３はスムースに変化する成分５３Ａとエッジストップ成分５３Ｂを組み合わせて生成してもよい。以下にさらに詳細に説明するように、エッジストップ成分５３Ｂはフィルタされた画像データ４１のシャープな階調度の位置を特定する。

輝度増大機能５３のスムースに変化する成分５３Ａは、閾値を超える値を有する（あるいは、他に増大された領域に含まれることの基準を満たす）フィルタされたデータ４１のピクセルを特定するマップに基づいて決定されてもよい。少なくとも１つの色チャンネルが強度閾値を超えるピクセル（あるいは、他の輝度測定が増大領域に含まれる基準を満たす値のピクセル）はある値（例えば１）を有し、他のすべてのピクセルは別の値（例えば０）を有する、２値マスク５５を作ると便利である。画像データが単一の輝度値または均等なものを示す描写では、２値マスク５５は、輝度が閾値を超えるピクセルを１つの値（例えば１）に、他のピクセルを別の値（たとえば０）に設定することで作ってもよい。

一般的に、ピクセルを増大領域に含むための閾値を揃えた値（すなわち、入力された画像データ２１で許容される最大値）よりいくらか低く設定することが好ましい。典型的にはビデオフォーマットは２３５の白レベルを用い、反射体の完全な白色が各色チャンネルの２３５のピクセル値に対応することを表す。典型的なビデオストリームは、鏡面反射のハイライトや光源に相当するより大きな、「超飽和」ピクセル値も含む。Ｌｏｓｓｙビデオ圧縮では、ピクセル値をいくつかのステップで置き換えてもよい。ＲＧＢフォーマットで入力された画像データ２１を０から２５５の範囲のピクセル値を有する色チャンネルで処理するとき、２３０の閾値を用いると、Ｌｏｓｓｙビデオ圧縮があるところで、他の領域から増大領域を分離するのに有用であることが分かった。閾値は、問題になっている画像の白色点と同じか、より低いことが好ましい。典型的な写真では、Ｌｏｓｓｙ圧縮により取り込まれたアーティファクトが存在しても２５４の閾値で充分であることが分かった。

本書で説明した方法は、単に明るいまたは飽和したピクセルとＨＤＲ画像で高めるべきピクセルとを区別するのに選んだ特定の閾値に対して、あまり敏感ではない。閾値は、出力画像の見え方を顕著に損ねることなくある程度変化してもよい。シャープなまたは固定した閾値を使わなくてもよい。

ピクセル値が、輝度情報が複数の色チャンネルに対し別々に規定されるＲＧＢあるいは類似のフォーマットで規定される場合は、各色チャンネルに同じ閾値を用いるのが、必須ではないが便利で実際的である。ある色チャンネルに１つの閾値（例えば、２２９）を、他の１つ以上の色チャンネルに別の閾値（例えば、２３１）を用いることによっても許容できる結果が得られる。

輝度増大機能５３のスムースに変化する成分５３Ａは、マスク５５をガウス形状またはほぼガウス形状の大きなカーネル（中心部）でぼかすことにより２値マスク５５から生成される。結果は、各ピクセルに対する値を有するグレースケール画像５７である。グレースケール画像５７の値は、フィルタされた画像データ４１の増大領域の中心部分に対応する領域で最大となり、そのような増大領域の中心部分から離れるにつれスムースに減少する。次にグレースケール画像５７の値は、１からａの範囲にマッピングされ、ここで、ａはスムースに変化する輝度増大成分５３Ａを生ずるのに用いられる拡大率である。グレースケール画像５７の値の１からａの範囲へのマッピングは、線形でもよい。

グレースケール画像５７を生成するのに用いるぼかしカーネル（ｂｌｕｒ ｋｅｒｎｅｌ）は有利なことに十分に大きく、予想される観察状況で、２値マスク５５をぼかすのに用いるぼかしフィルタの空間スペクトルは、人間の視覚システムに対し目立たないように十分に小さな角振動数を主に含む。例えば、角振動数は、１サイクル／度以下、好ましくは０．５サイクル／度以下である。人間の視覚システムは、そのような低空間振動数で生ずる輝度の変化にはあまり敏感ではない。

ピクセル間の空間に関してぼかしフィルタの標準偏差は、ディスプレイ寸法と観察距離の予想範囲により変わる。例えば、解像度１９２０×１０８０ピクセルの３７インチ（対角線）ディスプレイでは、例としての実施の形態は１５０ピクセルの標準偏差を有するぼかしフィルタを用いる。このことは、３ｍの観察距離での１．２度に対応する。ぼかしフィルタの標準偏差は少なくとも０．７５度、好ましくは１度、より好ましくは１．１度に対応する。結果として、ぼかしフィルタの空間スペクトルは主に低角振動数を含み、視覚的に邪魔となるアーティフェクトとなりうる高角振動数を含まない。

コンピュータモニタのほとんどは、おぼ０．５メートルの距離から観察されるようにされている。３０ｃｍの幅を有するそのようなモニタは、約３０度の観察角度に広がる。ホームシアターシステムでテレビ画面に推奨できる観察角度もまた、代表的には３０〜３６度の範囲である。意図された観察角度が３０度の場合、ディスプレイの水平解像度の０．０２５に等しい標準偏差は約０．７５度に広がり、ディスプレイの水平解像度の０．０５に等しい標準偏差は約１．５度に広がる。

本書で説明する方法がテレビに映し出される画像を生成するのに用いられる場合には、ぼかしフィルタの標準偏差はディスプレイの水平解像度の少なくとも約０．０２５、より好都合にはディスプレイの水平解像度の少なくとも約０．０３３（ここで、「約」は±１５％を意味する）であることが好ましい。例えば、水平解像度１９２０ピクセルのディスプレイでは、ぼかしフィルタの標準偏差は少なくとも約５０ピクセルであるのが好都合であり、より好都合には少なくとも約６５ピクセルである。上記したように、この水平解像度のディスプレイ上での好結果は、１５０ピクセルの標準偏差で成し遂げられる。

輝度増幅係数ａの値は、対象のディスプレイの性能に応じて選択される。輝度増幅係数ａは、ディスプレイが許容できる出力より著しく大きな出力値を生成するほどに大きくてはならない。例としての実施の形態では、４×１２００＝４８００ｃｄ／ｍ^２のピーク強度に対応するａ＝４の値が、Ｂｒｉｇｈｔｓｉｄｅ（登録商標）型ＤＲ３７ディスプレイで好結果となることが分かった。大きなぼかし半径のために、大きな増大領域でピーク強度に達するだけである。より高い値あるいはより低い値の輝度増幅係数ａを用いることもできる。画像によっては、３２程度までのａの値を、顕著なアーティフェクトを取り込むこともなく用いることができる。調整なしで広範囲の画像にこの方法を用いる場合、より安全側のａの値、例えば２から９または１０の範囲の値が、好ましい。実施の形態によっては、ａは３から１２の範囲でもよい。

輝度増大機能５３のスムース成分５３Ａは、フィルタされた画像データ４１に用いられるとそれ自身で全体のコントラストをストレッチし、ＨＤＲディスプレイで観察するとストレッチ画像データ３１よりも鮮明に見える画像を生ずる。しかし、スムース成分５３Ａは、シャープなエッジ周りの局所的なコントラストを強調はしない。このような状態でさらに見栄えをよくするために、輝度増大機能５３はエッジストッピング成分５３Ｂを備える。輝度増大機能５３のエッジストッピング成分５３Ｂは、シャープなエッジで増大領域から分けられた画像領域のスムース成分５３Ａの影響を制限する。

エッジストッピング成分５３Ｂは、スムース成分５３Ａがピクセルに適用されるか否かを示すピクセル値を有する２値マスクを備えてもよい。スムース成分５３Ａが適用されるべきではないと示す値を有するエッジストッピング機能５３Ｂのピクセルに対応するスムース成分５３Ａのピクセルを特定することにより、エッジストッピング成分５３Ｂとスムース成分５３Ａを組み合わせてもよい。そのように特定されたスムース成分５３Ａのピクセルの値を１に設定できる（フィルタ画像４１の対応する値に影響しないように）。

図２Ａは、マスク５５と階調画像５９に基づきエッジストッピング機能５３Ｂを構成するマスクを生成する方法を示す。階調画像５９は、フィルタされた画像データ４１から生成され、フィルタされた画像データ４１の各ピクセルの階調が閾値を超えるか否かを示すピクセル値を有する２値マスクの形式でもよい。

それから、２値マスク５５をシードとして用いてフラッドフィル（ｆｌｏｏｄ ｆｉｌｌ）アルゴリズムを適用し、フラッドフィルを増大領域だけからフラッドフィルが大きな階調強度（例えば閾値以上）のピクセルに対応する階調画像５９のピクセルまたはスムース成分５３Ａに影響する領域の境界に達するまで外側に展開することによりエッジストッピング機能５３Ｂを生成する。

差分商の方法を用いて階調画像５９の階調が計算される。例えば、図２Bのピクセル２００の階調が垂直方向に近接するピクセル２０１Ａと２０１Ｂと水平方向に近接するピクセル２０２Ａと２０２Ｂとの間の差分を計算することにより求められる。例示の実施の形態では、階調は次のように計算される。

ここで、Ｇは階調、Ａはピクセル２０１Ａのピクセル値、Ｂはピクセル２０１Ｂのピクセル値、Ｃはピクセル２０２Ａのピクセル値、Ｄはピクセル２０２Ｂのピクセル値である。ロバスト性のために、いくつかのピクセル（すなわち、２０１Ａと２０１Ｂは離れたいくつかのピクセルであり、２０２Ａと２０２Ｂは離れたいくつかのピクセルである）の広い基準線を使うのが好ましい。図２Ｂに示される実施の形態では、基準線は５ピクセルである。このことが、階調画像５９でフラッドフィルアルゴリズムがエッジを越えてリークすることがないようにする厚いエッジを提供するのに役立つことが分かった。

実施の形態によっては、モルフォロジカル（形態学的）「オープン」オペレータ（通常「^ｏ」記号で示される）でエッジストッピング成分５３Ｂをさらに処理し、結果を僅かにぼかしてエイリアシングを圧縮するのが好ましい。オープンオペレータ（図２Ａには示されない）は、輪郭をスムースにし、狭い狭間をなくす。オープンオペレータは、１つのピクセルで全てのエッジを徐々に減らすこと、および、いずれかのエッジに隣接するピクセルを結果としての画像で加えることにより作動する。それから、さらに処理されたエッジストッピング成分５３Ｂは、上記のようにスムース成分５３Ａと組み合わされて輝度増大機能５３を生ずる。結果としての輝度増大機能５３は、フィルタされた画像データ４１上に乗算され、出力画像データ５１を生ずる。

図３Ａ、３Ｂ、３Ｃはそれぞれ、例示のＬＤＲ入力画像６０、対応するスムース成分５３Ｂ、スムース成分５３Ａをエッジストッピング成分５３Ｂと組み合わせて修正した対応する輝度増大機能５３を示す。

スムース成分５３Ａとエッジストッピング成分５３Ｂを生成するのに１つの計算上効果的な方法は、図４Ａと図４Ｂに示されるように画像データをダウンサンプルし、アップサンプルすることを含み、図４Ａと図４Ｂはそれぞれ、本発明の特定の実施の形態による輝度増大機能５３のスムース成分５３Ａを生成する方法７０とエッジストッピング機能５３Ｂを生成する方法７１を示す。スムース成分５３Ａは図４Ａの方法７０で生成される。方法７０は、マスク５５から始まる。マスク５５は、前述のマスク５５（図２）と同様で、上述のプロセスと同様のプロセスにより求められる。ブロック７２でマスク５５はＮ回ダウンサンプルされ、ダウンサンプルマスク７３が求められる。Ｎ回のブロック７２のダウンサンプルのそれぞれのステップは、各次元で適当な係数だけピクセル数を減少させる。実施の形態によっては、Ｎ回のブロック７２のダウンサンプルのそれぞれのステップで各次元のピクセル数が係数２だけ減少する（合計のピクセル数は係数４だけ減少する）ようにダウンサンプルされるのが好都合である。

図示の実施の形態では、スムース成分５３Ａは、その後ダウンサンプルマスク７３からループ７４を経由して求められる。ループ７４はＮ回の繰り返しからなり、各繰り返しは、ぼかしフィルタをブロック７４Ａで適用すること（小さなカーネルを有するガウスぼかしの適用、例えば各ピクセルの近傍の３×３ピクセルにガウスぼかしを適用すること、を備える）；およびその後の結果をブロック７４Ｂでアップサンプルすること（最も近い近傍の内挿を含む）；を含む。この技法は、画像ピラミッド法として説明される。画像ピラミッドの利用については、Burt P. 、Adelson E.の「The Laplacian pyramid as a compact image code」ＩＥＥＥ（１９８３）、通信に関する議事録３１、４、５３２−５４０ページに説明されている。方法７０の結果が、スムース成分５３Ａとなる。

実施の形態によっては、エッジストッピング成分５３Ｂは、フィルタされた画像４１の階調を示す階調画像７５から始めて図４Ｂに示す方法７１を用いて生成される。ブロック７６では、階調画像７５がＮ回ダウンサンプルされてダウンサンプル階調画像７７を生ずる。それからエッジストッピング機能５３Ｂが、ダウンサンプルマスク７３からＮ回のループ７９で得られ、ループ７９は最も近い近傍の内挿を用いてダウンサンプルマスクをアップサンプルし（ブロック７８Ａ）、モルフォロジカル「膨張」オペレーションを結果に適用する（ブロック７８Ｂ）。膨張オペレーション（通常下記数７の記号で示される）が小さな（例えば３×３ピクセル）ブロックで実行され（すなわち、３×３正方形構造エレメントを用いる）、エッジに対応するピクセルで停止するように修正される（例えば、対応する解像度のエッジ画像に高階調を有するように印付けられる）。

図４Ｄはこれらの概念を、特にエッジストッピング成分５３Ｂに関連する概念をさらに説明する。図示のように、方法７１はフィルタされた画像４１の階調を示す階調画像７５で始まる。階調画像データ７５の階調は、前述の階調画像データ５９のプロセスと同様のプロセス(例えば、差分商)を用いて求めることができる。方法７１も、上述の方法と同様の方法で求められるダウンサンプルマスク７３（図４Ａ）から始まる。ブロック７６で階調画像７５はＮ回ダウンサンプルされてＮ個のダウンサンプル階調画像７７を１組生じ、Ｎ個のダウンサンプル階調画像７７の各々は対応する解像度を有する。ダウンサンプルマスク７３とダウンサンプル階調画像７７の１つは、それからモルフォロジカル膨張オペレーション（ブロック７８Ａ）に供される。ブロック７８Ａの膨張オペレーション（通常下記数８の記号で示される）が、ダウンサンプルマスク７３の小さな（例えば３×３ピクセル）ブロックで実行される（すなわち、３×３正方形構造エレメントを用いる）。ブロック７８Ａの膨張オペレーションは、ダウンサンプルマスク７３の解像度と同じ、あるいは類似の、解像度を有するダウンサンプル階調画像７７の１つを備える。ブロック７８Ａの膨張オペレーションは、エッジに対応するピクセル（例えば、決められたピクセルまたはダウンサンプル階調画像７７の解像度が等しい対応する１つの画像に高階調を有するとして印付けされたピクセル）で停止するように修正されてもよい。

ブロック７８Ａの膨張オペレーションの結果はループ７９に供され、エッジストッピング機能５３Ｂを求めるのに用いられる。ループ７９はＮ回の繰り返しを備え、各繰り返しには、前のループ７９の繰り返しの結果（または最初のループ７９の繰り返しの場合はブロック７８Ａの膨張オペレーションの結果）をアップサンプルすること（ブロック７８Ｂ）；モルフォロジカル「膨張」オペレーションを７８Ｂのアップサンプルされた結果に適用すること（ブロック７８Ｃ）；を含む。ブロック７８Ｂのアップサンプル手順は、最も近い近傍の内挿を備えてもよい。ブロック７８Ｃの膨張オペレーションは上述のブロック７８Ａのオペレーションと同様であるが、ブロック７８Ｃの膨張オペレーションではブロック７８Ｂのアップサンプルプロセスの出力の解像度と同じ、または類似の、解像度を有するダウンサンプル階調画像７７の１つを入力とすることおよびブロック７８Ｃの膨張オペレーションではエッジに対応するピクセル（例えば、決められたピクセルまたはダウンサンプル階調画像７７の解像度が等しい対応する１つの画像に高階調を有するとして印付けされたピクセル）で停止するように修正されてもよいことを除く。図示の実施の形態では、ループ７９の終わりには、Ｎ回のアップサンプルオペレーションとＮ＋１回の膨張オペレーションがあったことになる。別の実施の形態では、最初のブロック７８Ａの膨張オペレーションは必要ではない−すなわち、Ｎ回のアップサンプルオペレーションとＮ回の膨張オペレーションがある。ループ７９の出力は、エッジストッピング成分５３Ｂである。

有利なことに、膨張オペレーション（ブロック７８Ａ、７８Ｃ）が作用する半径（ブロックサイズ）は、ブロック７４Ａのぼかしオペレーション（図４Ａ）が行われる半径と同じである。このことにより、ぼかしオペレーション（ブロック７４Ａ）と膨張オペレーション（ブロック７８Ａ、７８Ｃ）により影響を受ける領域の境界が、続くアップサンプルの繰り返しにわたり同じ速さで外側に広がる。

図４Ｃは、図４Ａ、４Ｂの方法７０、７１を実行する過程で適用される画像ピラミッドを提供するダウンサンプル画像と階調画像を示す。特に、図４Ｃのコラム（１）はブロック７２のダウンサンプルオペレーションを示し（図４Ａ）；図４Ｃのコラム（２）はループ７４のブロック７４Ａのぼかしとブロック７４Ｂのアップサンプルオペレーションを示し（図４Ａ）；図４Ｃのコラム（３）は１組のダウンサンプル画像７７を得るための階調画像７５のブロック７６のダウンサンプルを示し（図４Ｂ）；図４Ｃのコラム（４）はループ７９のブロック７８Ａ、７８Ｃの膨張とブロック７８Ｂのアップサンプルオペレーションを示す（図４Ｂ）。

本書で説明する例示的方法は、以下の１つ以上を含む有利な特徴を供するような方法で実装される。
・その方法はグラフィックプロセッサユニット（「ＧＰＵ」）で実行されるアルゴリズムとして実装される
・その方法はシグナルプロセッサ、特定用途集積回路（ＡＳＩＣ）またはフィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」）で実行できるアルゴリズムとして実装され、それらはディスプレイ、メディアプレーヤー等に置かれる。
・その方法はダイナミックＨＤＴＶ解像度ビデオストリームで実行されるのに十分なだけ効率的である
・ユーザ入力が必要ではない。全パラメータは画像が映し出されるディスプレイのハードウェアの特徴に基づき、予め選定される。
・その方法は、邪魔なアーティフェクトの生成を回避するという意味で、ロバスト性がある。ＨＤＲ出力画像の表示品質は、内容の非常に広い範囲で入力画像の品質と少なくとも同程度に優れている。
・出力ビデオストリームは時間的にコヒーレントである（色と強度は、入力画像でそうでない限り、急に変化しないように）。

図５は、本発明の例示的実施の形態による装置８０を示す。装置８０は、入力された画像データ（図１）を受領する入力８２を備える。画像データは、リニアライザ８４、コントラストストレッチャ８６、オプションのフィルタ８８を順番に通る。フィルタ８８の出力は閾値比較システム９０と空間フィルタ９２に送られ、スムース成分５３Ａを画定するデータを生成する。空間フィルタ９２は、例えば、方法７０の動作（図４Ａ）を実行する。フィルタ８８の出力はまた、階調コンピュータ９３、フィルタ９４、閾値比較システム９６を順に通り、エッジストッピング成分５３Ｂを生ずる。スムース成分５３Ａおよびエッジストッピング成分５３Ｂを画定するデータは、輝度増大機能５３を生成する輝度増大生成コンポーネント９８に供される。輝度増大機能５３とフィルタ８８の出力は乗算器９９に供され、図示の実施の形態では乗算器９９はフィルタ８８と輝度増大機能５３との出力を乗算（例えば、ピクセルでの乗算）をする。図示の実施の形態では、乗算器９９からの出力は出力９５に提供される。他の実施の形態では、乗算器９９は他の形のマッピングまたは他の機能（すなわち、ピクセルでの乗算以外）を実行し、フィルタ８８と輝度増大機能５３との出力を入力として結果のデータ９５を出力する。実施の形態によっては、出力９５での出力データはデータストアに記憶され、または、出力データを映し出すディスプレイのデータパスをたどり続ける。装置８０は入力８２で受領したデータをリアルタイムで処理してもよい。

図５に示されるエレメントは、いかなる適切な方法で実装されてもよい。例えば、これらのエレメントは適切なデータプロセッサ上で稼動するソフトウェア、ＦＰＧＡのような必要な機能等を実行するようになされた構成可能なハードウェアまたはその一部を備える。

あるＨＤＲディスプレイは、二重変調ＨＤＲディスプレイと称される２つのモジュレータを有するタイプである。第１のモジュレータは光パターンを生成し、第２モジュレータは第１モジュレータで生成された光パターンを変調し画像を生成する。第１モジュレータは、画像の比較的低解像度の描写を生成するように動かされる。低解像度の描写は第２モジュレータで変調され、観察者に視認される高解像度画像を提供する。第１モジュレータは、発光ダイオード（ＬＥＤ）等のような、積極的に変調された光源のマトリックスまたはアレイを備え、または代替として、機能的にモジュレータから分離された光源から発せられる光を変調するモジュレータを備える。第１モジュレータは発光層または光源層と称される。発光層の位置の関数として発せられる光量はコントロールできる。第２モジュレータは、実施の形態によっては液晶ディスプレイ（ＬＣＤ）である。このような二重変調ＨＤＲディスプレイは、第１モジュレータおよび第２モジュレータ用の別々の駆動信号を生成する。

二重変調ディスプレイでの第１モジュレータと第２モジュレータ用駆動信号を生成するいくつかの方法は、２００５年５月２７日出願、タイトル「デュアル変調器ディスプレイ上での高速画像レンダリング（RAPID IMAGE RENDERING ON DUAL-MODULATOR DISPLAYS）」の国際特許出願ＰＣＴ／ＣＡ２００５／０００８０７に説明されている。この出願は、ＷＯ２００６／０１０２４４として公開され、参照して本書に組み込む。

ダイナミックレンジを向上させるのに上記に説明した方法と、二重変調ディスプレイでモジュレータ用駆動信号を生成するのに用いられる方法との間には、相乗作用がある。特に、ある中間結果（例えば、ダウンサンプル／アップサンプル画像データの種々のレベル）は両方の方法に使える。実施の形態によっては、ダイナミックレンジを向上するために本書に説明される方法と装置は、二重変調ディスプレイの駆動信号を生成する方法や装置と組み合わされる。有利なことに、そのような実施の形態では、データがそれらの方法間で共有される。このことによりハードウェアおよび／または計算資源を節約する。実施の形態によっては特定の節約となり、あるダウンサンプル画像データが画像のダイナミックレンジを向上する目的と適切な駆動信号（例えば、モジュレータの１つ用の駆動信号）を生成するための両方に用いられて二重変調ディスプレイに向上した画像を映し出させる。実施の形態によっては、本発明による装置は、ディスプレイで使用するビデオプロセッサチップまたはディスプレイで使用されるディスプレイドライバチップに組み込まれる。

図６と図６Ａは、例示的実施の形態により画像を向上させ映し出す方法１００を示す。方法１００は、例えば、二重変調ディスプレイの回路で実行される。ブロック１０２では、最初のＬＤＲ画像１０１Ａが強度空間で線形化され、線形化画像１０１Ｂを提供する。最初のＬＤＲ画像１０１Ａがガンマ曲線でエンコードされている場合には、ブロック１０２はＬＤＲ画像１０１Ａの輝度値を修正するガンマを備えて線形化画像データ１０１Ｂを求める。

ブロック１０４では、線形化画像１０１Ｂをダウンサンプルし（例えば、画像を映し出すのに用いられる二重変調ディスプレイの光源層（すなわち、第１モジュレータ）のエレメントの解像度と適合する解像度へ）ダウンサンプル画像データ１０５を生成する。ブロック１０４のダウンサンプルは１段あるいは多段で実行される。光源層は、たとえば発光ダイオード（ＬＥＤ）のような光源のマトリックス、普通の光源または光源のセットからの光の伝達を変調する反射型または透過型モジュレータの制御可能なピクセルのアレイなどを備える。ダウンサンプル画像１０５の解像度は典型的にはダウンサンプル階調画像７７（図４Ｂ参照）の解像度よりあるいはダイナミックレンジ向上の目的で用いられる最低解像度画像１０７より大きい。

ダウンサンプル画像１０５は保存される（例えば、適切なメモリ等に記憶される）。ブロック１０６で、ダウンサンプル画像１０５はさらにダウンサンプルされ、最低解像度画像１０７を生ずる。最低解像度画像１０７は輝度増大機能５３を生成するのに必要な解像度を有する（例えば、図４Ａ、４Ｂの方法７０、７１を実行するため）。ブロック１０６のダウンサンプルは一連のダウンサンプルステップで行われてもよい。

増大領域を特定するマスク１０９は、ブロック１０８で用意される。ブロック１０８は、例えば上述のように、最低解像度画像１０７のピクセル値を１つ以上の閾値と比較することと、２値化マスク１０９を生成することとを備える。マスク１０９（図６）は、上述のダウンサンプルマスク７３（図４Ａ、４Ｂ）に対応し、上述のプロセスと同様のプロセスを用いてブロック１０８で生成される。実施の形態によっては、全解像度２値化マスク（図２、４Ａのマスク５５と類似）は線形化画像データ１０１Ｂから直接生成され、その後、全解像度２値化マスク自身をダウンサンプルしマスク１０９を得る。

ブロック１１０で階調画像１１１は線形化画像データ１０１Bから計算される。階調画像１１１（図６）は階調画像７５（図４Ｂ）に対応し、上述の方法と同様の方法でブロック１１０にて計算される。ブロック１１２で階調画像１１１は最低解像度画像１０７やマスク１０９と同じ解像度にダウンサンプルされる。図示の実施の形態では、ブロック１１２のダウンサンプルは一連のダウンサンプルステップで実行され１組の異なった解像度のダウンサンプル階調画像１１３を生ずる。１組のダウンサンプル階調画像１１３（図６）はダウンサンプル階調画像７７（図４Ｂ）に対応し、上述の方法と同様の方法でブロック１１２で生成される。

ブロック１１４で、マスク１０９は線形化画像１０１Ｂの解像度に達するまでの回数アップサンプルされる。ループ７４（図４Ａ）で上に説明したように、各ブロック１１４のアップサンプルステップの前にガウスぼかし（図４Ａのブロック７４Ａ）を適用する。ブロック１１４のアップサンプルの結果はグレースケール画像１１５である。グレースケール画像１１５はグレースケール画像５７（図２）および／または輝度増大機能のスムース成分５３Ａ（図２、図４Ａ）に対応する。

ブロック１１６でマスク１０９は、ダウンサンプル画像１０５と同じ解像度までアップサンプルされる。ブロック１１６のアップサンプルオペレーションの結果は、アップサンプル画像１１７として保存される（例えば、適切なメモリ等に記憶される）。方法７１（図４Ｂ）で上に説明したように、膨張オペレーション（図４Ｂのブロック７８Ａ、７８Ｃ）を各ブロック１１６のアップサンプルステップの間に適用する。ブロック７８Ａ、７８Ｃの膨張オペレーションに関して上述したように、各ブロック１１６のアップストリームステップで対応する解像度の階調画像１１３をエッジストップとして用いる（例えば、膨張オペレーションの範囲および／または輝度増大機能の対応する範囲を限定する）。例えば、対応する階調画像１１３の高階調ピクセルに対応するピクセルは、これらのピクセルに少ない程度しか影響せずまたは全く影響しない輝度増大機能となる値に設定される。

ブロック１１８で、アップサンプル画像１１７は、線形化画像１０１Ｂの解像度までさらにアップサンプルされる。ブロック１１８のアップサンプルの結果は、アップサンプル画像１１９である。図６では陽に示してはないが、ブロック１１８のアップサンプル手順もまた、ブロック７８Ａ、７８Ｃ（図４Ｂ）の膨張オペレーションと同様の膨張オペレーションを含む。再度、各ブロック１１８のアップサンプルステップで、対応する解像度の階調画像１１３をエッジストップとして用いる（例えば、膨張オペレーションの範囲および／または輝度増大機能の対応する範囲を限定する）。アップサンプル画像１１９は輝度増大機能のエッジストップ成分５３Ｂ（図４Ｂ）に対応する。

ブロック１２０で、グレースケール画像１１５はアップサンプル画像１１９で乗算（例えば、ピクセルでの乗算）されて向上画像（ｅｎｈａｎｃｅｍｅｎｔ ｉｍａｇｅ）１２１を生ずる。他の実施の形態では、ブロック１２０は、グレースケール画像１１５とアップサンプル画像１１９を入力とし向上画像１２１を出力する他のマッピングを備えてもよい。ブロック１２２でアンチエイリアシングフィルタを向上画像１２１に用いて飽和拡張画像（ｓａｔｕｒａｔｉｏｎ ｅｘｔｅｎｓｉｏｎ ｉｍａｇｅ）１２３を生ずる。他の実施の形態では、ブロック１２２はアンチエイリアシングさもなければ拡張画像１２１からエイリアシングを除去しまたは減じて拡張画像１２３を生ずるための他の技術を含む。拡張画像１２３は、上述の輝度増大機能５３（図２）に対応する。

ブロック１２４（図６Ａ）で、飽和拡張画像１２３は線形化画像データ１０１Ｂで乗算（例えば、ピクセルでの乗算）されてＨＲＤ画像１２５を生ずる。実施の形態によっては、ブロック１２４は乗算を行う前にマッピング（例えば、１からａの値への）を含む。他の実施の形態では、ブロック１２４は飽和拡張画像１２３と線形化画像データ１０１Ｂを入力としＨＤＲ画像１２５を出力する他のマッピングを備えてもよい。

方法１００の図示した実施の形態では、発光層（例えば、比重変調ディスプレイの第１モジュレータ）用コントロール信号１３１は、ブロック１２６から１３０で生成される。ブロック１２６でダウンサンプル画像１０５の輝度は固定され、輝度が閾値（例えば、閾値は、発光層のＬＥＤが発光できる最大輝度に関係する）を超えないようにする。ブロック１２６は固定された画像１２７を生ずる。

ブロック１２８にて、固定画像１２７で輝度収集ステップが行われ、収集ＬＥＤ画像１２９を生ずる。実施の形態によっては、ブロック１２８は固定画像１２７にぼかしフィルタを適用することを備える。ブロック１２８は、第１モジュレータの発光エレメントが画像処理で用いられるグリッドとは異なるパターンで配置された場合に有用である。例えば、第１モジュレータのＬＥＤまたは他の光源は六角形グリッドに配置されるが、方法１００の画像処理ステップは正方形または長方形グリッド上で処理される（画像処理アルゴリズムおよび／またはハードウェアの便利のため）。そのような場合には、長方形グリッドエレメントは第１モジュールのＬＥＤや他の発光エレメントに対応しない。ぼかしフィルタオペレーションはブロック１２８で行われ、強度を第１モジュレータのＬＥＤや他の発光エレメントに対応に対応する近傍のエレメントまでは広げる。

ブロック１３０で、収集したＬＥＤ画像１２９に交換を行い、第１モジュレータ駆動値１３１を生ずる。ブロック１３０の交換オペレーションは、増大領域に対応する第２モジュレータの領域まで第１モジュレータにより供給された光の強度を増大する。ブロック１３０の交換オペレーションとブロック１３２の光照射野シミュレーションとは一緒に第１オジュレータの複数のＬＥＤの重畳効果を補おうとする。ブロック１３０の交換オペレーションは、アップサンプル画像１１７を入力として受け取る。第２モジュレータの位置での光強度は、その位置に対応する光源の周りの第１モジュレータの光源の出力を増加することにより増加する。以下に説明するように、第２モジュレータのピクセル値は光照射野シミュレーションに基づき設定される（ブロック１３２）。ブロック１３２の光照射野シミュレーションは第１モジュレータが駆動値１３１で駆動されたときの第１モジュレータにより生成される光を考慮に入れる。この方法により、ブロック１３２の光照射野シミュレーションは、第１モジュレータにより生成された光強度パターンの増大した位置を囲む領域が観察者の見る画像で過度に明るくなるのを防止する。

図示の実施の形態では、ブロック１３２の光照射野シミュレーションは、入力として第１モジュレータ駆動値１３１を用いて実行される。交換オペレーション１３０で生成された第１モジュレータ駆動値１３１は収集したＬＥＤ画像１２９とアップサンプル画像１１７を考慮に入れる。他の実施の形態では、ブロック１３２の光照射野シミュレーションは、オプションとして、収集したＬＥＤ画像１２９および／またはアップサンプル画像１１７を受け取る。アップサンプル画像１１７は光源層のエレメントに適用されるダイナミックレンジ増大に関する情報を提供する。ブロック１３２の光照射野シミュレーションは、輝度マップ１３３を生ずる。輝度マップ１３３は、アップサンプル画像１１７で修正された収集したＬＥＤ画像１２９に対応する駆動値１３１を用いて光源層（第１モジュレータ）を駆動するときに結果となる第２モジュレータのピクセルに入射する光の輝度を推定する。

ブロック１３４でＨＤＲ画像１２５は輝度マップ１３３により除算され第２モジュレータのエレメント用駆動値１３５を生ずる。実施の形態によっては、ブロック１３４の除算オペレーションは、ピクセルでの除算を備えてもよい。別の実施の形態では、ブロック１３４は、ＨＤＲ 画像データ１２５と輝度マップ１３３を入力としてそれらから第２モジュレータ駆動値１３５を生成する他のフォームのマッピングを備えてもよい。ブロック１３４はまた第２モジュレータの応答関数（ガンマ）で画像値を調整することを含んでもよい。

ディスプレイは、第１モジュレータが駆動値１３１により駆動され、第２モジュレータが駆動値１３５により駆動されているときに、ＨＤＲ画像１２５のレンダリングを映し出す。

実施の形態によっては、第１モジュレータ駆動値１３１は下流側に送られ、第２モジュレータ駆動値１３５を含む画像フォーマットの「スペア」走査線に駆動回路を映し出す。駆動回路はスペア走査線から第１モジュレータ駆動値１３１を抽出し、第１モジュレータ駆動値１３１を用いて第１モジュレータを駆動する。第１モジュレータは第２モジュレータより遥かに少ないエレメントを有し、データフォーマットは第２モジュレータで必要とされない１本以上の走査線を伝えることができるから、このことは実用的なことが多い。例えば、第１モジュレータは、第２モジュレータの１本の走査線上のピクセル数より少ない数のＬＥＤで構成される。この場合、全てのＬＥＤ用の第１モジュレータ駆動値１３１は、第２モジュレータのピクセル用駆動値を伝える必要のないデータフォーマットの単一走査線に含まれる。

ディスプレイまたはディスプレイ内の構成品は、入ってくる画像データに図６、６Ａの方法１００を実行するように構成される。実施の形態によっては、その方法は、入ってくる画像データがダイナミックレンジ増大を必要とするか否かを判断することを含む。ダイナミックレンジ増大が必要でなければ（例えば、入ってくる画像データが適切なＨＤＲデータフォーマットで高ダイナミックレンジ画像を画定する場合）、ディスプレイはダイナミックレンジ増大が消されるモードに切り替える。方法１００（図６、６Ａ）のステップは例えばグラフィックプロセッサ、デジタル信号プロセッサあるいはマイクロプロセッサなどの１つ以上のプロセッサ上でおよび／または適切に構成されたＡＳＩＣＳ、ＦＰＧＡ、論理回路等などのハードウェアサブシステムで実行される。実施の形態によっては、方法１００（図６、６Ａ）のステップはリアルタイムで（すなわち、少なくとも平均でビデオ信号のフレームレートで）ビデオフレームのシーケンスのフレーム上で実行される。

本発明のある実施では、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータプロセッサを備える。例えば、ディスプレイまたはディスプレイコントローラまたはメディアプレーヤーの１つ以上のプロセッサが、プロセッサでアクセス可能なプログラムメモリ中のソフトウェア命令を実行することにより図１、１Ａ、２、２Ａ、４Ａ、６および／または６Ａの方法を実行する。本発明はまたプログラムの製品の形としても提供される。プログラムの製品は、データプロセッサで実行されるとデータプロセッサに本発明の方法を実行させる命令を備える１組のコンピュータ可読データを有するメディアを備える。本発明によるプログラムの製品は多種多様な形態であってよい。例えば、プログラムの製品は、フロッピーディスク、ハードディスク装置を含む磁気データ記憶媒体、ＣＤ・ＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭを含む電子データ記憶媒体等を包含する。プログラムの製品上のコンピュータ可読データは、オプションとして、圧縮され、または、暗号化されてもよい。

構成要素（例えばソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路、等）が上記で参照される場合に、特に指定されない限り、その構成要素への参照（「手段」への参照を含めて）は、図解の本発明の例示の実施の形態において説明される構成要素の機能を実施する構成要素であって、必ずしも構造的には開示された構成要素と等化ではない構成部品を含め、その機能を実施するいかなる構成要素をも、その構成要素と均等なものとして含むものと解される。

これまでの界磁を踏まえで当業者に明らかであるように、本発明の思想と範囲から逸脱することなく、本発明の実施において多くの改変と修正とが可能である。例えば、
・上記に説明した例示の方法では、コントラストをストレッチした（例えば、ブロック３０において）後に、輝度増大機能５３が適用される（例えばブロック５０において）。この順序は必須ではない。代替の実施の形態では、コントラストをストレッチする前に輝度増大機能を適用することができる。
・本書で説明した方法は、描写中のオペレーションにより容易になされ、ピクセル値は輝度に対し線形に変化する。このことは好都合ではあるが、必須ではない。本書で説明した方法は、適当な修正をして、非線形の空間で実施できる。
・用途によっては、所望の見え方を有するＨＤＲ画像を得るようにダイナミックレンジの増大に影響する１つ以上のパラメータをユーザが微調整できるようにするオプションを提供するのが実用的である。そのような用途の実施の形態は、そのパラメータへのアクセスを提供するユーザインターフェースを備える。すると、ユーザは、それらのパラメータの所望の値を選定し、それらのパラメータを用いる本書で説明した方法を用いて原画像から作り出された画像を見ることができる。いかなるパラメータもユーザ調整できるようにすることが可能である。ユーザ調整できるパラメータの非限定的例のいくつかは：線形化機能を定義するパラメータ；増大領域を特定する閾値；暗点および白色点を規定するパラメータ；全体的に適用されるコントラストストレッチ量を規定するパラメータ；輝度増大機能に影響される領域の大きさに関連するパラメータ；輝度増大機能の最大値に関連するパラメータ等である。
・本出願と添付の特許請求の範囲は、低ダイナミックレンジ（ＬＤＲ）画像データおよび高ダイナミックレンジ（ＨＤＲ）画像データを参照している。これらの参照は、互いに関連するものと理解されるべきである。すなわち、ＬＤＲデータはＨＤＲデータのダイナミックレンジより低いダイナミックレンジを有すると解され、その逆の場合も同じである。しかし、特に言及された場合を除き、ＬＤＲデータやＨＤＲデータの絶対的なダイナミックレンジに制限はない。

したがって、本発明の範囲は、添付の特許請求の範囲に画定された内容に従って解釈されるものである。

Claims (16)

1. 高ダイナミックレンジ（以下、ＨＤＲと表記する）プロジェクタであって、
   画像データに基づく駆動信号に応答して光パターンを発するように構成された第１モジュレーション層と、
   前記光パターンを変調して所望の画像を生成するように構成された第２モジュレーション層と、
   プロセッサとを備え、該プロセッサは、
   前記画像データ内のピクセル値がしきい値を超える少なくとも１つの増大領域を特定し、
   前記画像データに輝度増大機能を適用して所望の画像データを生成し、ここで、前記画像データと比較して、前記所望の画像データは、前記増大領域におけるピクセルの修正された輝度値と、前記増大領域の外側に１つ以上の境界領域ピクセルの修正された輝度値とを備え、前記境界領域ピクセルの輝度値の修正量は前記増大領域から離れるにつれて減少し、
   前記画像データに前記輝度増大機能を適用する過程で得られる中間データに少なくとも部分的に基づいて前記第１モジュレーション層用の駆動信号を決定する
   ように構成され、
   前記輝度増大機能は、画像データの階調度に少なくとも部分的に基づいて前記輝度増大機能の特徴に基づく成分を生成することを含み、前記特徴に基づく成分は前記輝度増大機能により前記画像データのピクセルを修正すべきか否かを示すピクセル値を有し、
   前記中間データは前記特徴に基づく成分を低解像度にしたものを含む、ＨＤＲプロジェクタ。
2. 前記特徴に基づく成分は、階調度の領域のシャープなエッジ、エッジストッピング成分、およびスムース成分とエッジストッピング成分とを区別する２値マスクのうちの少なくとも一つを含む、請求項１に記載のＨＤＲプロジェクタ。
3. 前記特徴に基づく成分を用いて生成される画像データは、スムースに変化し、かつ前記増大領域を超えて広がる、請求項１に記載のＨＤＲプロジェクタ。
4. 前記第１モジュレーション層は、光源と、該光源から発せられた光を変調するモジュレータとを含む、請求項１に記載のＨＤＲプロジェクタ。
5. 前記第１モジュレーション層は、個々に駆動される光源のマトリックスを含む、請求項１に記載のＨＤＲプロジェクタ。
6. 前記第１モジュレーション層は、個々に駆動される光源群を含む、請求項１に記載のＨＤＲプロジェクタ。
7. 前記光源は、発光ダイオード（ＬＥＤ）を含む、請求項６に記載のＨＤＲプロジェクタ。
8. 前記光パターンは、画像データにより表される低解像度の画像を含む、請求項１に記載のＨＤＲプロジェクタ。
9. 前記輝度増大機能は、ＨＤＲプロジェクタの複数の色チャンネルに適用される、請求項１に記載のＨＤＲプロジェクタ。
10. 前記輝度増大機能の閾値は、ＨＤＲプロジェクタの異なる色チャンネルに亘って変化する、請求項１に記載のＨＤＲプロジェクタ。
11. 前記ＨＤＲプロジェクタは、ＲＧＢ色チャンネルを含む、請求項１乃至１０のいずれか一項に記載のＨＤＲプロジェクタ。
12. 前記ＨＤＲプロジェクタは、シアター画像システムを含む、請求項１１に記載のＨＤＲプロジェクタ。
13. 前記ＨＤＲプロジェクタは、シアター画像システムを含む、請求項１乃至１０のいずれか一項に記載のＨＤＲプロジェクタ。
14. 前記ＨＤＲプロジェクタは、高詳細テレビジョン（ＨＤＴＶ）およびＨＤＲディスプレイのうちの少なくとも一つを含み、前記第２モジュレーション層は、液晶ディスプレイ（ＬＣＤ）パネルを含む、請求項１乃至１０のいずれか一項に記載のＨＤＲプロジェクタ。
15. 前記プロセッサは、高速画像レンダリング技術に少なくとも部分的に基づいて前記第１モジュレーション層および前記第２モジュレーション層用の駆動信号を生成するように構成されている、請求項１乃至１４のいずれか一項に記載のＨＤＲプロジェクタ。
16. 前記輝度増大機能は、画像データの階調度を含む、前記輝度増大機能のエッジに基づく成分を生成することを含み、前記エッジに基づく成分は、前記輝度増大機能により画像データの対応するピクセルの輝度を増加するか否かを示すピクセル値を有し、前記中間データは前記エッジに基づく成分を低解像度にしたものを含む、請求項１乃至１０のいずれか一項に記載のＨＤＲプロジェクタ。