JP7509761B2 - 未来のフレームのメタデータを用いたプロジェクタ光源ディミング - Google Patents

Description

関連出願の相互参照
本願は、２０１９年８月５日出願の米国特許仮出願第６２／８８２，８９４号、および、２０１８年９月２６日出願の米国特許仮出願第６２／７３７，０１５号に基づく優先権を主張するものであり、これらの出願の全文を本願に援用する。

本願は、広義には、プロジェクタ表示システムに関する。

プロジェクタ表示システムは、典型的に、プロジェクタの内部または外部の何らかの光学システムによって変調された画像をスクリーンに照射する光源を含む。プロジェクタは、レーザ、キセノンランプ、アークランプ、発光ダイオードなどの１つ以上の発光素子を含み得る光源を含む。光源からの光は、レンズ、変調器、ビームエキスパンダ、ビームスプリッタ、絞り（iris）、フィルタなどの１つ以上の光学要素を含み得る光路に沿って導かれ得る。

プロジェクタ表示システムを出る光は、映画館のスクリーンのような二次元のスクリーンに導かれ得る。プロジェクタ表示システムに含まれ得る１つ以上の変調器は、スクリーンの特定箇所に光を選択的に導き、これにより、比較的明るい部分および比較的暗い部分を含み得る画像を生成する。プロジェクタのコントラスト比は、プロジェクタ表示システムの性能の１つの尺度であり、そのディスプレイのピーク輝度レベルと暗レベルの比として定義される。無限のコントラスト比は技術的に実現不可能であるので、プロジェクタが非常に明るい画像部分と絶対的に黒い画像部分とを同時に表示することは技術的に難しいことであり得る。

グローバルディミングを含むまたはグローバルディミングに関連するプロジェクタまたは他のディスプレイシステムが、下記を含む同出願人の特許および特許出願に記載されている。
「グローバルディミングを有するシングルおよびマルチ変調器プロジェクタシステム（Single and Multi-Modulator Projector Systems with Global Dimming）」と題する米国特許公開公報第２０１８／０２１７４８５号
「サラウンド周囲光の検知、処理および調節（Surround Ambient Light Sensing, Processing, and Adjustment）」と題する米国特許公開公報第２０１８／０２１１４４０号
「高ダイナミックレンジを有するプロジェクタのための光リサイクル（Light Recycling for Projectors with High Dynamic Range）」と題する米国特許公開公報第２０１８／０１６４６６５号
「カラーリマッピング情報（ＣＲＩ）メッセージングによるターゲットディスプレイカラーボリューム仕様（Targeted Display Color Volume Specification via Color Remapping Information (CRI) Messaging）」と題する米国特許公開公報第２０１８／００９８０４６号
「ＨＤＲディスプレイのためのダイナミックパワーマネージメント（Dynamic Power Management for an HDR Display）」と題する米国特許公開公報第２０１８／００６８６３７号
「コントラストおよび解像度を増加させるフィルタレスＬＣＤを用いた高ダイナミックレンジディスプレイ（High Dynamic Range Displays Using Filterless LCD(s) for Increasing Contrast and Resolution）」と題する米国特許公開公報第２０１８／００１１３６５号
「高ダイナミックレンジ画像プロジェクタのための方法およびシステム（Methods and Systems for High Dynamic Range Image Projectors）」と題する米国特許公開公報第２０１８／０００７３２７号
「ＬＥＤバックライト、積層光学フィルムおよび低解像度光フィールドシミュレーションに基づくＬＣＤ駆動信号を用いた高ダイナミックレンジディスプレイ（High Dynamic Range Display Using LED Backlighting, Stacked Optical Films, and LCD Drive Signals Based on a Low Resolution Light Field Simulation）」と題する米国特許公開公報第２０１７／０３１６７５８号
「変調されたバックライトのためのパワーマネージメント（Power Management for Modulated Backlights）」と題する米国特許公開公報第２０１７／０１８６３８０号
「グローバルディミングを有するシングルおよびマルチモジュレータプロジェクタシステム（Single and Multi-Modulator Projector Systems with Global Dimming）」と題する米国特許公開公報第２０１６／０２６１８３２号
「非機械的ミラービームステアリングを有するプロジェクタ表示システム（Projector Display Systems Having Non-Mechanical Mirror Beam Steering）」と題する米国特許公開公報第２０１６／０１３９５６０号
「グローバルディスプレイ管理に基づく光変調（Global Display Management Based Light Modulation）」と題する米国特許公開公報第２０１５／０３６５５８０号
「プロジェクタ表示システムのためのエンハンストグローバルディミング（Enhanced Global Dimming for Projector Display Systems）」と題する米国特許公開公報第２０１５／０１２４１７６号
「画像特性に基づくディスプレイエミュレーションのためのマッピング（Mapping for Display Emulation Based on Image Characteristics）」と題する米国特許公開公報第２０１４／０３３３６６０号
「変調されたバックライトのためのパワーマネージメント（Power Management for Modulated Backlights）」と題する米国特許公開公報第２０１４／０１６８２８７号
「眼鏡型ディスプレイ装置のためのディスプレイ、撮像システムおよびコントローラ（Display, Imaging System and Controller for Eyewear Display Device）」と題する米国特許公開公報第２０１４／００８５１９０号
「高コントラストグレイスケールおよびカラーディスプレイ（High Contrast Grayscale and Color Displays）」と題する米国特許公開公報第２０１３／０３３５６８２号
「ＬＥＤバックライト、積層光学フィルムおよび低解像度光フィールドシミュレーションに基づくＬＣＤ駆動信号を用いた高ダイナミックレンジディスプレイ（High Dynamic Range Display Using LED Backlighting, Stacked Optical Films, and LCD Drive Signals Based on a Low Resolution Light Field Simulation）」と題する米国特許公開公報第２０１３／０１２０２３４号
「コントラストおよび解像度を増加させるフィルタレスＬＣＤを用いた高ダイナミックレンジディスプレイ（High Dynamic Range Displays Using Filterless LCD(s) for Increasing Contrast and Resolution）」と題する米国特許公開公報第２０１２／０２２４１２１号
「変調されたバックライトのためのパワーマネージメント（Power Management for Modulated Backlights）」と題する米国特許公開公報第２０１１／０１７５９４９号
「ディスプレイ装置におけるＨＤＲ実装のための様々な実施形態による方法および装置（Method and Apparatus in Various Embodiments for HDR Implementation in Display Devices）」と題する米国特許公開公報第２００９／０３２２８００号
これらの文献の全文を本願において援用する。

開示内容の要旨
本開示の様々な態様は、視覚的アーティファクトの知覚されやすさを低減するべくプロジェクタにおいてグローバルディミングを行う装置、システムおよび方法に関する。

本開示のある例示的な態様において、コンテンツデータに応じて光を出射するように構成された光源と、前記光を変調するように構成された光学変調器と、前記コンテンツデータおよび未来のフレームに関するメタデータに基づいてプロジェクション表示システムの光レベルを調節することにより、視覚的アーティファクトの知覚されやすさを低減するように構成されたコントローラと、を含むプロジェクション表示システムが提供される。

本開示の別の例示的な態様において、光源および光学変調器を備えたプロジェクション表示システムのプロセッサによって実行されたときに、コンテンツデータを受け取ることと、前記コンテンツデータに応じて前記光源によって光を出射することと、前記光学変調器によって前記光を変調することと、前記コンテンツデータおよび未来のフレームに関するメタデータに基づいて前記プロジェクション表示システムの光レベルを調節することにより、視覚的アーティファクトの知覚されやすさを低減することとを包含する処理を、前記プロジェクション表示システムに行わせる命令を格納した非一時的なコンピュータ可読媒体が提供される。

このように、本開示の様々な態様は、心理視覚的マスキングを用いたプロジェクタ表示システムにおけるグローバルディミングを提供するとともに、少なくとも画像プロジェクション、信号処理などの技術分野において向上をもたらす。

様々な態様の上記およびその他のより詳細で具体的な特徴は、下記の添付図面を参照しながら以下の説明でより完全に開示される。
本開示の様々な態様による例示的なディミング技術のグラフを示す。 本開示の様々な態様によるプロジェクタおよび部屋の例示的な関係のグラフを示す。 本開示の様々な態様による別の例示的なディミング技術のグラフを示す。 本開示の様々な態様による例示的なトーン曲線のグラフを示す。 本開示の様々な態様による例示的なプロジェクタの様々な暗レベルのグラフを示す。 本開示の様々な態様による例示的なプロジェクタの様々な暗レベルのグラフを示す。 本開示の様々な態様による例示的なプロジェクタの様々な暗レベルのグラフを示す。 本開示の様々な態様による例示的なプロジェクタの様々な暗レベルのグラフを示す。 本開示の様々な態様による例示的なプロジェクタの様々な暗レベルのグラフを示す。 本開示の様々な態様による例示的なプロジェクタの様々な暗レベルのグラフを示す。 本開示の様々な態様による例示的なプロジェクタ表示システムのブロック図を示す。 本開示の様々な態様による例示的なプロジェクタ表示方法の処理フローを示す。

本開示およびその態様は、コンピュータ実装された方法によって制御されるハードウェアまたは回路、コンピュータプログラム製品、コンピュータシステムおよびネットワーク、ユーザインタフェースおよびアプリケーションプログラミングインタフェース、ならびに、ハードウェア実装された方法、信号処理回路、メモリアレイ、特定用途向け集積回路、フィールドプログラマブルゲートアレイなどを含む様々な形態で実施可能である。上記要旨は、本開示の様々な態様の概要を示すものに過ぎず、本開示の範囲を何ら限定するものではない。

本開示の１つ以上の態様の理解を助けるべく、以下の説明においては、回路構成、波形タイミング、回路動作など、数多くの詳細事項を記載する。これらの具体的な詳細事項が例示に過ぎず、本願の範囲を限定するものではないことは、当業者には明らかである。

また、本開示は、デジタルプロジェクションシステムにおいて様々な回路が用いられる例を主な対象としているが、それも１つの実施例に過ぎないことが理解されるであろう。さらに、開示されるシステムおよび方法が、視覚的アーティファクトの知覚されやすさを低減または小さくする必要があるあらゆる装置（例えば、顕微鏡、イメージセンシング、テレコミュニケーション、ノンプロジェクションイメージディスプレイなど）に利用可能であることが理解されるであろう。

ディミング技術
本明細書において、「グローバルディミング」とは、プロジェクタの光源の全体の光レベルをコンテンツに応じて変化させる技術を指す。明るいシーンの場合には光源の光レベルを増加させ、うす暗いシーンの場合には光レベルを減少させる。これは、絞り、可変密度フィルタを通す、また、光源自体を変調することを含む様々な方法で行うことができる。さらに、これは、ハードウェア要素、ソフトウェア要素、ファームウェアまたはその組み合わせを用いて行うことができる。一例として、グローバルディミング（以下の技術のあらゆる１つ以上の技術など）は、メタデータパラメータを入力として用いる可変多入力アナログまたはデジタルローパスフィルタ関数によって実装され得る。

グローバルディミングシステムにおいては、望ましくない視覚的アーティファクトが生じ得る。例えば、信号機のような小さく明るい光がゆっくりと点滅する、非常に暗いシーンを考える。この場合、暗レベルのポンピング（ｐｕｍｐｉｎｇ）に起因する望ましくないアーティファクトが存在し得る。変調器のダイナミックレンジが限られている場合、このシーンの暗レベルは、信号が点灯しているときには増加し、信号が暗くなると減少する。換言すると、プロジェクタ暗レベルはソースレベルに比例する。明るい光は小さいので、シーンのそれ以外の部分に有意なマスキングを与えず、プロジェクタ暗レベルの変化は視認されやすい。ベース（同時）コントラストがより高いプロジェクタでは、アーティファクトは視認されにくくなるが、それでも、容易に見えるかもしれない。デジタルシネマ（ＤＣＩ）プロジェクタにおいて典型的に用いられるプロジェクタは約２０００：１であるが、エンハンストＤＣＩプロジェクタは８０００：１以上であり得る。例えば、ベース同時コントラスト比が１，０００，０００：１を超えるプロジェクタは、グローバルディミングの恩恵をあまり受けないかもしれず、それによるアーティファクトは視認され得ないかもしれないが、コントラスト比（ＣＲ）が約５０，０００：１のプロジェクタは、グローバルディミングの恩恵を受け、プロジェクタ暗レベルポンピングが依然として知覚され得る。

しかしながら、これらの視覚的アーティファクトをマスキングして、観察者に知覚されないように、または、わずかに知覚されるだけにすることが可能である。このマスキングは、人間の視覚システムに基づく様々な技術を用いて実現可能であり、これにより、これらの効果の視認されやすさを低減し得る。

技術１－スローディミング
「スローディミング」技術によると、明るい光が現れたときに、そのシーンの最も明るい部分が正しいまたは所望の輝度になるようにソース光を増加する。図１は、スローディミング技術を示す。具体的には、図１は、時間の関数として、プロジェクタ表示システムの輝度レベルを示す。図１において、ある所与のフレームにおける画像のピーク輝度レベルに対応する一連のピークレベル１０１を示す。曲線１０２は、あるプロジェクタ表示システムの性能、すなわち、ある所与の時点においてプロジェクタ表示システムが表示できるピークホワイトレベルを示す。曲線１０３は、その所与の時点において、そのプロジェクタ表示システムが表示できる暗レベルを示す。図１に示す特定の例において、このプロジェクタ表示システムは、１０００：１のベースコントラスト比を有し、暗レベル曲線１０３はピークホワイトレベル曲線１０２の１／１０００である。この光が消えると、ソース光のレベルはゆっくりと減少する。シーン中の明るい光が再び現れたときは、明るいオブジェクトを正しいレベルで示すことができるように、ソース光は素早く増加される。このように、輝度の変化速度が滑らかになるようにソース光を調節する。プロジェクタ暗レベルポンピングは、特に、高速の暗から明への移行時に依然として視認可能であり得るが、あまり知覚されない。なぜなら、人間は、低速な変化に対して高速な変化ほどは気が付かないからである。また、シーンの最も明るい部分がちょうど光源でカバーされるように光源を減光する必要はない。例えば、シーンが１００ニトの明るい領域から０．０１ニトに変化した場合、ソース光を１０，０００分の１に低減する必要はない。より小さな低減（部分ディミング）を用いる事が可能であり、それによってポンピング効果は低減されるが、部分ディミングの場合、プロジェクタ暗レベルを低減する効果が低くなり得る。

明るい領域が小さい場合には、それらの領域を完全なディテールで再現するために使用されるソース光レベルよりも低いソース光レベルとすることが有利であり得る。これにより、明るいオブジェクトは飽和してディテールが失われるが、プロジェクタ暗レベルは低くなる。多くの場合、小さく明るいオブジェクトのディテールは観察者には視認されにくいので、これは望ましいトレードオフである。画像分析と人間視覚システムの知識に基づいて、使用する適切なレベルを決定することができる。これは、スモールブライトオブジェクト（ＳＢＯ）補償と呼ばれる。

考慮すべきもう１つの点は、スクリーンからの光が客席の壁に反射してスクリーンに戻ってくることである。この結果、暗レベルはスクリーン上の画像の総エネルギーに比例する。プロジェクターの暗レベルを部屋反射率暗レベルよりも大幅に低くすることは厳密には必要ではなく、このことは、ソースレベルを決定するアルゴリズムを調節する際に考慮され得る。これは、「部屋反射補償」と呼ばれる。客席の壁から反射される光の量は、少なくとも一部は、スクリーンから反射される光の量に基づくので、部屋反射補償のアルゴリズムは、スクリーンゲインに基づいた調節を組み入れてもよい。

ディミングの速度は、１つ以上の内部または外部要因に依存して可変であり得る。例えば、小さく明るいオブジェクトに加えて、平均画素レベル（ＡＰＬ）が高い、および／または、部屋反射または周囲光のレベルが高い場合には、ＡＰＬが低い、および／または、部屋反射または周囲光のレベルが低い場合と比較して、比較的「速い」ディミングを提供することが好適であり得る。

部屋反射補償に加えて、プロジェクタが生成している画像の総エネルギーに依存するプロジェクタからの暗レベルを補償することも可能である。このレベルは、例えば、プロジェクタ内の光学表面における（例えば、プロジェクションレンズによる）散乱によって生じる。これは、「レンズベイリンググレア（ｌｅｎｓ ｖｅｉｌｉｎｇ ｇｌａｒｅ）」または「ベイリンググレア暗光（ｌｅｎｓ ｖｅｉｌｉｎｇ ｄａｒｋ ｌｉｇｈｔ）」と呼ばれ得る。部屋反射暗光およびベイリンググレア暗光は共にＡＰＬに依存するので、分析および補償の目的においては、これらの効果を単一項にまとめてもよい。

さらに、シアター内の周囲光または「部屋周囲暗光」の効果を補償することも可能である。周囲光レベルが高い場合、大きな強度のグローバルディミングを提供する必要性は低い。これは少なくとも周囲光効果が支配的となるためである。ディミングの強度はまた、投影されている画像のコントラスト比に影響され得る。すなわち、画像データにおいて指定されているコントラストよりも大幅に高いコントラストを有する画像をプロジェクタ／部屋システムから生成する場合には、リターンが減少する。画像データから、シーン内の最も暗い画素を計算して、スクリーン上に実際に表示されるはずの暗レベルを決定することができる。この計算の結果は、ディミングの量の計算に用いるデータに加えることができる。

グローバルディミングアルゴリズムは、画像データ中のシーンチェンジ時にリセットまたは再初期化されてもよい。例えば、ソースレベルは、シーンチェンジ時に、すぐにリセットして画像のピークレベルにされてもよく、ローパスフィルタの様々なパラメータは、新たな画像シーケンスに合わせて適宜変化してもよい。シーンチェンジのタイミングは、ダイナミックに（例えば、現フレームまたは未来のフレームにおける画像データをモニタリングして）決定してもよく、また、その画像データと一緒に含まれるメタデータを用いてフラグ付けしてもよい。

視覚的アーティファクトの知覚されやすさは音声によっても影響され得る。例えば、音圧がより高い場合（例えば、大音量の爆発シーン）、低レベル暗領域を知覚する人間の視覚システムの能力を低減し得る。よって、サウンドトラックの音量が大きい期間中は、より小さい強度のグローバルディミングを用い得る。このように、グローバルディミングに影響する追加的なパラメータは音圧レベルであり得る。

好ましくは、適用するグローバルディミングの特定の強度および種類を決定する際において、上記要素の多くまたは全てを考慮すべきである。すなわち、システムが生成する全暗レベルの合計に一致するのに必要な最低限のディミング量となるように、グローバルディミングの強度および種類を算出するべきである。図２は、特定の（かつ任意の）フレームシーケンスについて、この一例を示している。図２において、上側ライン２０１は、スクリーン上の光の合計、すなわち、ＡＰＬ、を表している。下側ライン２０２は、部屋から反射してプロジェクションレンズからスクリーン上へと散乱する光を表している。図２に示すように、反射光は、典型的な客席条件を表すおよそ０．７％の貢献度を提供する。

技術２－ルックアヘッドを用いたスローディミング
「ルックアヘッドを用いたスローディミング」技術において、プロジェクタは、各フレームの未来ピークレベルについての情報を有している。この情報は、メタデータに含まれていてもよく、あるいは、再生に先立って各フレームを先読みすることによって決定されてもよい。一般のスローディミング技術と同様に、ソース光はゆっくりと変化する。プロジェクタが未来のフレームの情報を有しているので、これにより、明るい光が現れる前にソース光をゆっくり増加させて、暗ポンピングの視認されやすさをさらに低減することができる。さらに、ある状態から別の状態への変化の勾配または速度は、異なるレベルおよび異なるコンテンツに対して異なっていてもよい（測定および視聴者の観察に依存して、正しい遷移速度および形状を決定する）。遷移が非常に遅く、分単位の場合もあり、人間の視覚システムの順応（ａｃｃｏｍｏｄａｔｉｏｎ）速度をトラックする。部分ディミング、ＳＢＯ補償および部屋反射補償も本技術において用いることができる。

図３は、時間の関数として、部分ディミングおよびＳＢＯクリッピングを含むプロジェクタ表示システムの輝度レベルを示す。図３は一連のピークレベル３０１を示し、これは、所与のフレームにおける画像内のピーク輝度レベルに対応する。曲線３０２は、プロジェクタ表示システムの性能、すなわち、所与の時点においてプロジェクタ表示システムが表示できるピークホワイトレベルを示す。曲線３０３は、所与の時点においてプロジェクタ表示システムが表示できる暗レベルを示す。図３に示す特定の例において、プロジェクタ表示システムは１０００：１のベースコントラスト比を有するので、暗レベル曲線３０３はピークホワイトレベル曲線３０２の１／１０００である。図１に示す技術に比べて、図３は、比較的明るいフレームまたはフレーム部分に先立ってプロジェクタ表示システムの輝度レベルを増加させることができる事を示している。このように増加させることにより、より遅い変化、ひいては、より知覚されにくい強度のプロジェクタ暗レベルポンピングが可能になり得る。図３において、２つのピークレベル３０４はＳＢＯに対応する。未来のフレームデータを用いて、プロジェクタ表示システムは、ＳＢＯを含むフレームのピークホワイトレベルが実際のピークレベル３０４より低くなるように、ＳＢＯをクリッピングする。これにより、より低い暗レベル、ひいては、含まれる視覚的アーティファクトが視聴者にとってより少なくなるようなフレーム再生成が可能になり得る。

技術３－ダイナミックレンジ圧縮を用いたディミング
技術１および２は、共に「スローディミング」に関連し、定常条件下においてベースプロジェクタのダイナミックレンジを有する単一画像が得られる（部分ディミングを用いる時を除く）。「ダイナミックレンジ圧縮」を用いるディミング技術において、特に遷移時、ダイナミックレンジが減少する。これにより、グローバルディミングレベルに応じて、画像暗部ディテールが現れたり消えたりする画像となる。ソースレベルが高い明るいシーンの場合、プロジェクタ暗レベルによって画像暗部ディテールが不明瞭になる。より低いレベルにおいて、明るい光が存在せずソースレベルおよびプロジェクタ暗レベルが減少すると、画像暗部ディテールが再度現れる。この効果を緩和する１つの解決策は、遷移中において、また、異なる定常条件下において、トーン曲線の形状をダイナミックに変化させることである。図４は、このようなトーン曲線を示す。図４において、輝度（すなわち、出力レベル）は、最大輝度での単一フレームの画像入力レベルの関数として示している。破線４０１はプロジェクタ暗レベルに対応し、破線４０２はプロジェクタピークレベルに対応する。もし、未修正トーン曲線４０３が実装された場合、輝度は、画像入力レベルに対して単純に線形に対応するであろう。しかし、修正トーン曲線４０４により、（低画像入力レベルについて）エンハンスト暗画像ディテールが可能になる、および／または、（高画像入力レベルについて）ＳＢＯディテールが可能になる。

すなわち、一例として、スクリーン上に（小面積）高輝度コンテンツが存在しかつソースレベルが高い場合にはプロジェクタ暗レベルによって通常不明瞭になるであろうような、画像の暗部のレベルを増加させることがあげられ得る。高輝度コンテンツが存在せず、ソースレベル（およびプロジェクタ暗レベル）が低い場合には、トーン曲線は線形に戻るであろう。高輝度コンテンツに影響を与える形状を含む、異なる形状のトーン曲線を用いた変形例もまた有利であり得る。例えば、小さく明るいオブジェクトが存在する場合、（より低い変調深さにおいて）それら小さく明るいオブジェクトのディテールを可能にするＳ字形状とする一方で、技術１で説明したようなより低いソースレベルを用いる（ただしディテールを失わない）小さく明るいことが、有利であり得る。

技術４－チューニング済みディミング
「人間によるチューニング済み」ディミングを組み込むことも可能である。これは、上記各技術のいずれか、ならびに、人間によるチューニングを用いて、ソースレベルを明示的に調整するマスタリングまたはカラーグレーディング処理において、メタデータを生成することによって達成し得る。あるいは、上記各技術および人間によるチューニングのいずれかを用いて、ソースに適切なレベルを決定するプロジェクタ内のアルゴリズムをガイドする、メタデータを提供し得る。上記提供されるメタデータは、異なる機能を持つプロジェクタで利用できるように、複数の手法を利用するための情報を含み得る。例えば、提供されるメタデータは、ルックアヘッドをサポートするプロジェクタにおいて使用する第１の情報セット、部分ディミングをサポートするプロジェクタにおいて使用する第２の情報セット、追加的な機能サポートを持たないプロジェクタにおいて使用する第３の情報セットなどを含み得る。

上記各技術は一緒に使用することができる。例えば、スローディミング技術（ルックアヘッド有りまたは無し）を、ダイナミックレンジ圧縮および／または人間によるチューニングと組み合わせて使用することができる。上記組み合わせ技術は、ＳＢＯ補償、部分ディミング、部屋反射補償の１つ以上を含めることによりさらに洗練され得る。

また、図１および図３～図４は、プロジェクタのピークおよび暗レベルと比較した画像の照明レベルを示すトーン曲線を示しているが、画像の色成分を色相を維持したまま個別に変化させることも可能である。例えば、小さく明るいオブジェクトが赤色である場合、図１および図３～図４に示すようなトーン曲線をプロジェクタにおける赤色光に適用し、青色または緑色光には適用しないことが可能である。

上記各技術において、様々なパラメータ（例えば、部屋反射、周囲光などに関する特性）を測定して、アルゴリズムに入力して、リアルタイムでディミングを算出することができる。あるいは、様々なパラメータを測定して、キャリブレーション時にアルゴリズムに手動で入力することができる。本開示のいくつかの態様において、一部のパラメータをキャリブレーション時に測定および入力し、他のパラメータをリアルタイムで測定および入力してもよい。

実施例
図５～図１０は、一連の特定のプロジェクタおよび部屋に対する暗レベル貢献度の例を示す。プロジェクタおよび部屋の構成の詳細を以下の表１に示す。

表１において、「ＭＰＰＬ」は、最大プロジェクタピークレベル（単位、ニト）を表し、ＰＢＣＲは、プロジェクタベースコントラスト比（ＤＣＩ４Ｋの場合１６００：１）を表し、ＲＲＲは、部屋反射率比（ＡＰＬ：部屋反射率暗レベル）を表し（ベイリンググレア項を含む）、ＡＤＬは、周囲暗レベルを表し、ＳＦＲＲは、部屋反射および周囲光の安全性ファクタを表す。安全性ファクタは、特定のグローバルディミングアルゴリズムが、合計暗レベルからどれだけ離れたところにプロジェクタ暗光を置くのかを決定する際に用いるマージンである。これは、（合計暗光のうちの）どれくらいより多くの暗光がプロジェクタによって貢献されるのかを規定する。上記各値は一例に過ぎない。

図５は、高コントラスト（５００００）プロジェクタである実施例１の全暗レベル貢献度を示す。具体的には、図５は、部屋反射／ベイリンググレア暗レベル貢献度（破線５０１）、プロジェクタ暗レベル貢献度（一点鎖線５０２）、部屋周囲暗レベル貢献度（長破線５０３）、画像暗レベル貢献度（短破線５０４）および全暗レベル貢献度合計（実線５０５）を示す。

図６は、実施例１の基本的なグローバルディミングの効果を示す。図６の特定の図示において、グローバルディミングアルゴリズムは、各フレームの画像のピークレベルがソースレベルによって直接トラッキングされる瞬間的方法に対応する。これは、瞬間的グローバルディミングまたは「最高ピーク」グローバルディミングと呼ばれ得る。瞬間的方法は、説明の便宜上選ばれたものである。図６は、プロジェクタピークレベルおよび画像ピークレベル（実線６０１）、ＡＰＬ（短破線６０２、部屋反射／ベイリンググレア暗レベル貢献度（点線６０３）、画像暗レベル貢献度（一点鎖線６０４）、周囲暗レベル貢献度（二点鎖線６０５）、プロジェクタ暗レベル貢献度（一点二鎖線６０６）および全暗レベル貢献度合計（破線６０７）を示す。

図６に見られるように、プロジェクタシステムは、ほとんどのフレームにおいて、その部屋で実現し得る画像に近い画像を提供する。プロジェクタ暗レベル貢献度６０６は、合計６０７に有意に貢献しない。ほとんどは、部屋反射／ベイリンググレア暗レベル貢献度６０３がシステムを支配する。フレーム１～４においては、画像暗レベル貢献度６０４が支配的である。この図において、グローバルディミングアルゴリズムは、プロジェクタピークレベル６０１に対して大量の変化を与える。例えば、フレーム１２に対するフレーム１４の比は１００：１である。これにより、より暗いシーンにおいて視認可能な暗レベルポンピングが起こり得る。

比較として、図７は、実施例１におけるグローバルディミングアルゴリズムにおいて部屋反射／ベイリンググレア、周囲および画像暗レベル貢献度に対する補償の効果を示す。図７は、プロジェクタピークレベルおよび画像ピークレベル（実線７０１）、ＡＰＬ（短破線７０２）、部屋反射／ベイリンググレア暗レベル貢献度（点線７０３）、画像暗レベル貢献度（一点鎖線７０４）、周囲暗レベル貢献度（二点鎖線７０５）、プロジェクタ暗レベル貢献度（一点二鎖線７０６）および全暗レベル貢献度合計（破線７０７）を示している。図７のＡＰＬ７０２を図６のＡＰＬ６０２と比較すると、結果は実質的に同じであることが分かる。すなわち、図６および図７において画像のピークレベルは概ね同じであるが、図７の場合、プロジェクタがそれほど大きな強度のソースディミングを実装せずに同じ目的を達成している。これは、「最小限ディミング」原理と呼ばれ得る。最小限ディミング原理の根底にある考え方は、スクリーン上の他の暗光ソースを考慮に入れて、完全ディミングによって得られるものと実質的に同じ結果を得るのに必要な最小限の量だけプロジェクタを減光することである。

図８～図１０は、実施例１と比べると比較的低コントラスト（５０００）プロジェクタである実施例２の暗レベル貢献度、瞬間的グローバルディミングおよび補償済グローバルディミング（「最小限ディミング」）の簡略化バージョンを示す。図８～図１０は、それぞれ、図５～図７を単純化した類似物と考えてもよい。

図８は、画像の所望の暗レベル（一点鎖線８０１）、スクリーン上の実際の暗レベル（破線８０２）および周囲暗レベル（二点鎖線８０３）を示す。図８においては、グローバルディミングは行われない。図９は、画像の所望の暗レベル（一点鎖線９０１）、スクリーン上の実際の暗レベル（破線９０２）、周囲暗レベル（二点鎖線９０３）およびプロジェクタピークレベル（実線９０４）を示す。図９においては、瞬間的グローバルディミングが行われる。図１０は、画像の所望の暗レベル（一点鎖線１００１）、スクリーン上の実際の暗レベル（破線１００２）、周囲暗レベル（二点鎖線１００３）およびプロジェクタピークレベル（実線１００４）を示す。図１０においては、最小限グローバルディミングが行われる。

全体として図８～図１０は、最小限グローバルディミングが、比較的少ないソースのディミングで、最高ピークグローバルディミングと概ね同じパフォーマンスを発揮することを示している。しかし、より低いコントラスト比プロジェクタ（実施例２）の場合、より高いコントラスト比プロジェクタ（実施例１）の場合よりも、最小限グローバルディミングアルゴリズムはより多くの変調を含む。部屋が非常に暗くかつコンテンツが高コントラストであり、プロジェクタベースコントラスト比が低い状況においては、最小限ディミングアルゴリズムは、より一層、最高ピークディミングアルゴリズムに近くなる。また、部屋が暗くなくまたは画像コンテンツが低コントラストであり、高いベースコントラスト比プロジェクタを用いる状況においては、最小限ディミングアルゴリズムは、必要に応じて変調を完全に停止する。

プロジェクタ表示システム
図１１は、本開示の様々な態様による例示的なプロジェクションシステムを示す。具体的には、図１１は、光源１１１１、光学変調器１１１２、光源１１１１に動作可能に接続されたコントローラ１１１３、光学変調器１１１２および投影光学系１１１４を含むプロジェクタ１１１０を示す。プロジェクタ１１１０は、スクリーン１１２０に向けて光を投影する。実際には、プロジェクタ１１１０は、メモリ、入出力ポート、通信回路、電源などの追加的要素を含み得る。さらに、プロジェクタ１１１０は、ミラー、レンズ、導波管、光ファイバ、ビームスプリッタ、ディフューザ、追加的空間光変調器（ＳＬＭ）などの追加的光学要素を含み得る。説明の便宜上、これらの追加的要素はここでは図示していない。

光源１１１１は、例えば、レーザ光源、高圧放電ランプ、ＬＥＤなどであり得る。本開示のいくつかの態様において、光源１１１１は、それぞれ異なる波長または波長帯に対応する複数の光源１１１１を含み得る。光源１１１１は、コントローラ１１１３が提供する画像信号に応じて光を出射する。コントローラ１１１３は、例えば、プロジェクタ１１１０の中央処理装置（ＣＰＵ）などのプロセッサであり得る。一例において、光学変調器１１１２は、反射性ＳＬＭまたは透過性ＳＬＭを含むＳＬＭであり得る。光学変調器１１１２は、液晶オンシリコン（ＬＣＯＳ）ＳＬＭ、デジタルマイクロミラー装置（ＤＭＤ）、ライトバルブなどであり得る。また、コントローラ１１１３は、光源１１１１から光を受ける光学変調器１１１２を制御する。光学変調器１１１２は、位相変調などの空間的変化を伴う変調を光に対して行い、変調された光を投影光学系１１１４に向けて導く。投影光学系１１１４は、１つ以上のレンズおよび／または他の光学要素を含んでもよく、これにより、光源１１１１からの光がスクリーン１１２０上に画像を形成する。

本開示のいくつかの態様において、プロジェクタ１１１０は、様々なパラメータ（例えば、部屋反射、周囲光などに関する特性）をリアルタイムで決定するための１つ以上のセンサを含み得る。本開示の他の態様において、１つ以上のセンサがプロジェクタ１１１０の外部に設けられていてもよく、このプロジェクタは、リアルタイムでセンサからパラメータデータを受け取るための要素（例えば、上述の入出力ポート）を含み得る。リアルタイムで検知されたパラメータは、ＲＡＭなどのメモリに格納され得る。パラメータがリアルタイムで検知または決定されない場合、データは、手動で、キャリブレーション時に入力して、ハードディスクなどのメモリに格納してもよい。一部のパラメータを内部センサで決定し、他のパラメータを外部センサで決定し、さらに他のパラメータをキャリブレーション時に手動で入力するなど、異なるパラメータが異なる方法で検知または決定されてもよい。

プロジェクタ表示方法
図１２に例示的なプロジェクタ表示方法を示す。この例示的な方法は、電子プロセッサによって実行されたときに、図１２に記載した処理の１つ以上を行わせる命令を格納した非一時的なコンピュータ可読媒体を用いて行う、または、行わせることができる。非一時的なコンピュータ可読媒体には、例えば、ＲＡＭ、ハードディスク、フラッシュメモリのような取り外し可能な記憶装置、光学ディスクなど、データを一時的に、永久的に、または、半永久的に保存するように構成されたあらゆる要素が含まれる。この例示的な方法は、図１１に関連して説明したプロジェクタ１１１０のようなプロジェクタ表示装置で行われ得る。

ステップ１２０１において、プロジェクタ表示装置はコンテンツデータを受け取る。コンテンツデータは、例えば、有線または無線接続によって外部データソースから受け取られ得る。また、コンテンツデータは、内部記憶装置または取り外し可能な記憶装置のような内部データソースから受け取られ得る。本開示のいくつかの態様において、コンテンツデータは、図１１に関連して説明したコントローラ１１１３などのプロジェクタ表示装置のコントローラによって受け取られる。コンテンツデータを受け取った後、ステップ１２０２において、プロジェクタ表示装置は、コンテンツデータに応じて光を出射する。一例において、コントローラ１１１３は、コンテンツデータによって決定される輝度の光を光源１１１１に出射させる。

ステップ１２０３において、プロジェクタ表示装置は、出射光を変調する。一例において、コントローラ１１１３は、光学変調器１１１２に、空間的変化を伴う変調を光源１１１１から出射された光に対して行わせる。ステップ１２０４において、プロジェクタ表示装置は、コンテンツデータおよび未来のフレームに関するメタデータに基づいて光レベルを調節する。このようにして、プロジェクションディスプレイ装置は視覚的アーティファクトの知覚されやすさを低減する。例えば、コントローラ１１１３は内部または外部のデータソースからメタデータを受信して、それに応じて光源１１１１を調節することができる。

コントローラ１１１３は、光源１１１１を様々な方法で調節するように構成され得る。例えば、コントローラは、部分ディミングを行う、ＳＢＯ補償を行う、ダイナミックレンジを圧縮するなどして、光源１１１１から出射された光レベルを調節し得る。光レベルを調節する際、コントローラ１１１３は、光源１１１１自体に対するパルススキップ、光源１１１１自体に対する振幅変調、光源１１１１からの出射光の減衰などを行い得る。光源１１１１が複数の個別光源からなる場合、コントローラ１１１３は、各光源の光レベルを、一括して、または、個別に調節し得る。いくつかの例においては、ステップ１２０２～１２０４をフレーム毎に繰り返し行い、それにより、動きのある画像（動画）を表示してもよい。具体的な調節は、上記のディミング技術の任意の１つ以上を用いて実装され得る。

結論
本明細書に記載したプロセス、システム、方法、ヒューリスティックなどに関して、当該プロセスなどの各ステップは、ある順序のシーケンスに従って起こるものとして説明したが、各ステップを本明細書に記載した順序以外の順序で実行して当該プロセスを実施することもできることが理解されるべきである。さらに、特定のステップを同時に実行したり、他のステップを追加したり、本明細書に記載した特定のステップを省略したりすることも可能であることが理解されるべきである。言い換えれば、本明細書のプロセスの説明は、本開示の特定の態様を説明する目的で提供されており、決して特許請求の範囲を限定するように解釈されるべきではない。

したがって、上記の説明が限定的ではなく例示的なものであることが理解される。説明した各例以外の多くの態様および用途が上記説明を読めば明らかになるであろう。上記範囲は、上記説明を参照するのではなく、添付の特許請求の範囲、ならびに、当該特許請求の範囲が権利を有する均等物の全範囲を参照して決定されるべきである。本明細書で議論した技術が今後発展し、本願に開示したシステムおよび方法がそのような未来の実施形態に組み込まれることは予期および意図されている。要するに、本願は、修正および変形が可能であることが理解されるべきである。

本開示の様々な態様は、以下の構成の任意の１つ以上の形態をとり得る。

（１）プロジェクション表示システムであって、コンテンツデータに応じて光を出射するように構成された光源と、前記光を変調するように構成された光学変調器と、前記コンテンツデータおよび未来のフレームに関するメタデータに基づいて前記プロジェクション表示システムの光レベルを調節することにより、視覚的アーティファクトの知覚されやすさを低減するように構成されたコントローラと、を備えた、プロジェクション表示システム。

（２）前記コンテンツデータは、画像データと、周囲条件データ、前記未来のフレームに関するメタデータ、マスタリングメタデータ、カラーグレーディングメタデータ、またはプロジェクタ性能データの少なくとも１つとを含む、（１）に記載のプロジェクション表示システム。

（３）前記プロジェクタ性能データは、前記プロジェクション表示システムのベイリンググレア特性に対応するデータを含む、（２）に記載のプロジェクション表示システム。

（４）前記周囲条件データは、部屋反射特性に対応するデータ、スクリーンゲインに対応するデータ、または周囲光レベルに対応するデータの少なくとも１つを含む、（２）または（３）に記載のプロジェクション表示システム。

（５）前記コントローラは、部分ディミングを行うことによって前記プロジェクション表示システムの前記光レベルを調節するように構成されている、（１）から（４）のいずれか一項に記載のプロジェクション表示システム。

（６）前記コントローラは、前記光源の輝度または前記光源の輝度の変化速度の少なくとも１つを調節することによって前記プロジェクション表示システムの前記光レベルを調節するように構成されている、（１）から（５）のいずれか一項に記載のプロジェクション表示システム。

（７）前記コントローラは、小さく明るいオブジェクト補償を行うことにより前記プロジェクション表示システムの前記光レベルを調節するように構成されている、（１）から（６）のいずれか一項に記載のプロジェクション表示システム。

（８）前記コントローラは、ダイナミックレンジを圧縮することにより前記プロジェクション表示システムの前記光レベルを調節するように構成されている、（１）から（７）のいずれか一項に記載のプロジェクション表示システム。

（９）前記光源は、前記光を出射するように構成されたレーザ光源である、（１）から（８）のいずれか一項に記載のプロジェクション表示システム。

（１０）前記コントローラは、前記レーザ光源に対するパルススキップ、前記レーザ光源に対する振幅変調または前記光に対する減衰の少なくとも１つを行うことによって、前記プロジェクション表示システムの前記光レベルを調節するように構成されている、（９）に記載のプロジェクション表示システム。

（１１）前記光源は、第１色の光を出射するように構成された第１の発光装置と、第２色の光を出射するように構成された第２の発光装置と、第３色の光を出射するように構成された第３の発光装置と、を含む、（１）から（１０）のいずれか一項に記載のプロジェクション表示システム。

（１２）前記コントローラは、前記第１色の光、前記第２色の光および前記第３色の光の光レベルを、個別に、調節するように構成されている、（１１）に記載のプロジェクション表示システム。

（１３）前記コントローラは、前記第１色の光、前記第２色の光および前記第３色の光の光レベルを、一括して、調節するように構成されている、（１１）に記載のプロジェクション表示システム。

（１４）前記視覚的アーティファクトは暗ポンピング効果である、（１）から（１３）のいずれか一項に記載のプロジェクション表示システム。

（１５）光源および光学変調器を備えたプロジェクション表示システムのプロセッサによって実行されたときに、コンテンツデータを受け取ることと、
前記コンテンツデータに応じて前記光源によって光を出射することと、前記光学変調器によって前記光を変調することと、前記コンテンツデータおよび未来のフレームに関するメタデータに基づいて前記プロジェクション表示システムの光レベルを調節することにより、視覚的アーティファクトの知覚されやすさを低減することと、
を包含する処理を、前記プロジェクション表示システムに行わせる命令を格納した非一時的なコンピュータ可読媒体。

（１６）前記コンテンツデータは、画像データと、周囲条件データ、前記未来のフレームに関するメタデータ、マスタリングメタデータ、カラーグレーディングメタデータ、またはプロジェクタ性能データの少なくとも１つとを含む、（１５）に記載の非一時的なコンピュータ可読媒体。

（１７）前記プロジェクタ性能データは、前記プロジェクション表示システムのベイリンググレア特性に対応するデータを含む、（１６）に記載の非一時的なコンピュータ可読媒体。

（１８）前記周囲条件データは、部屋反射特性に対応するデータ、スクリーンゲインに対応するデータ、または周囲光レベルに対応するデータの少なくとも１つを含む、（１６）または（１７）に記載の非一時的なコンピュータ可読媒体。

（１９）前記プロジェクション表示システムの光レベルの調節は、部分ディミングを行うことを含む、（１５）から（１８）のいずれか一項に記載の非一時的なコンピュータ可読媒体

（２０）前記プロジェクション表示システムの光レベルの調節は、前記光源の輝度または前記光源の輝度の変化速度の少なくとも１つを調節することを含む、（１５）から（１９）のいずれか一項に記載の非一時的なコンピュータ可読媒体。

（２１）前記プロジェクション表示システムの光レベルの調節は、小さく明るいオブジェクト補償を行うことを含む、（１５）から（２０）のいずれか一項に記載の非一時的なコンピュータ可読媒体。

（２２）前記プロジェクション表示システムの光レベルの調節は、ダイナミックレンジを圧縮することを含む、（１５）から（２１）のいずれか一項に記載の非一時的なコンピュータ可読媒体。

（２３）前記光源は、前記光を出射するように構成されたレーザ光源である、（１５）から（２２）のいずれか一項に記載の非一時的なコンピュータ可読媒体。

（２４）前記プロジェクション表示システムの光レベルの調節は、前記レーザ光源に対するパルススキップ、前記レーザ光源に対する振幅変調または前記光に対する減衰の少なくとも１つを行うことを含む、（２３）に記載の非一時的なコンピュータ可読媒体。

（２５）前記光の出射は、前記光源の第１の発光装置による第１色の光の出射と、前記光源の第２の発光装置による第２色の光の出射と、前記光源の第３の発光装置による第３色の光の出射と、を含む、（１５）から（２４）のいずれか一項に記載の非一時的なコンピュータ可読媒体。

（２６）前記プロジェクション表示システムの光レベルの調節は、前記第１色の光、前記第２色の光および前記第３色の光の光レベルを、個別に、調節することを含む、（２５）に記載の非一時的なコンピュータ可読媒体。

（２７）前記プロジェクション表示システムの光レベルの調節は、前記第１色の光、前記第２色の光および前記第３色の光の光レベルを、一括して、調節することを含む、（２５）に記載の非一時的なコンピュータ可読媒体。

（２８）前記視覚的アーティファクトは暗ポンピング効果である、（１５）から（２７）のいずれか一項に記載のプロジェクション表示システム。

Claims (15)

1. プロジェクション表示システムであって、
   コンテンツデータに応じて光を出射するように構成された光源と、
   前記光を変調するように構成された光学変調器と、
   前記コンテンツデータおよび未来のフレームに関するメタデータに基づいて前記光源の輝度の変化速度を調節することにより、視覚的アーティファクトの知覚されやすさを低減するように構成されたコントローラと、
   を備えた、プロジェクション表示システム。
2. 前記コントローラは、さらに、周囲条件データを取得するように構成され、前記周囲条件データは、部屋反射特性に対応するデータ、スクリーンゲインに対応するデータ、または周囲の光レベルに対応するデータの少なくとも１つを含む、請求項１に記載のプロジェクション表示システム。
3. 前記コントローラは、部分ディミングを行うことによって前記プロジェクション表示システムの光レベルを調節するように構成されている、請求項１または２に記載のプロジェクション表示システム。
4. 前記コントローラは、小さく明るいオブジェクト補償を行うことにより前記プロジェクション表示システムの光レベルを調節するように構成されている、請求項１から３のいずれか一項に記載のプロジェクション表示システム。
5. 前記コントローラは、前記コンテンツデータのダイナミックレンジを圧縮することにより前記視覚的アーティファクトの知覚されやすさを低減するように構成されている、請求項１から４のいずれか一項に記載のプロジェクション表示システム。
6. 前記光源は、前記光を出射するように構成されたレーザ光源である、請求項１から５のいずれか一項に記載のプロジェクション表示システム。
7. 前記コントローラは、前記レーザ光源に対するパルススキップ、前記レーザ光源に対する振幅変調または前記光に対する減衰の少なくとも１つを行うことによって、前記プロジェクション表示システムの光レベルを調節するように構成されている、請求項６に記載のプロジェクション表示システム。
8. 前記光源は、第１色の光を出射するように構成された第１の発光装置と、第２色の光を出射するように構成された第２の発光装置と、第３色の光を出射するように構成された第３の発光装置と、を含む、請求項１から７のいずれか一項に記載のプロジェクション表示システム。
9. 前記コントローラは、前記第１色の光、前記第２色の光および前記第３色の光の光レベルを、個別に、調節するように構成されている、請求項８に記載のプロジェクション表示システム。
10. 前記コントローラは、前記第１色の光、前記第２色の光および前記第３色の光の光レベルを、一括して、調節するように構成されている、請求項８に記載のプロジェクション表示システム。
11. 前記視覚的アーティファクトは暗ポンピング効果である、請求項１から１０のいずれか一項に記載のプロジェクション表示システム。
12. 光源および光学変調器を備えたプロジェクション表示システムのプロセッサによって実行されたときに、
    コンテンツデータを受け取ることと、
    前記コンテンツデータに応じて前記光源によって光を出射することと、
    前記光学変調器によって前記光を変調することと、
    前記コンテンツデータおよび未来のフレームに関するメタデータに基づいて前記光源の輝度の変化速度を調節することにより、視覚的アーティファクトの知覚されやすさを低減することと、
    を包含する処理を、前記プロジェクション表示システムに行わせる命令を含むコンピュータプログラム。
13. 前記処理は、さらに、
    周囲条件データを受け取ることを含み、
    前記光源の輝度の変化速度の調節は、前記コンテンツデータ、前記メタデータ、および前記周囲条件データに基づいて実行される、請求項１２に記載のコンピュータプログラム。
14. 前記光源は、前記光を出射するように構成されたレーザ光源であり、
    前記光源の輝度の変化速度の調節は、前記レーザ光源に対するパルススキップ、前記レーザ光源に対する振幅変調または前記光に対する減衰の少なくとも１つを行うことを含む、
    請求項１２または１３に記載のコンピュータプログラム。
15. 前記視覚的アーティファクトは暗ポンピング効果である、請求項１２から１４のいずれか一項に記載のコンピュータプログラム。

Images