JP7203758B2 - 画像を形成するべく光を投影する画像投影システム及び画像投影方法 - Google Patents

画像を形成するべく光を投影する画像投影システム及び画像投影方法 Download PDF

Info

Publication number
JP7203758B2
JP7203758B2 JP2019561900A JP2019561900A JP7203758B2 JP 7203758 B2 JP7203758 B2 JP 7203758B2 JP 2019561900 A JP2019561900 A JP 2019561900A JP 2019561900 A JP2019561900 A JP 2019561900A JP 7203758 B2 JP7203758 B2 JP 7203758B2
Authority
JP
Japan
Prior art keywords
light
projector
image
image projection
projection system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019561900A
Other languages
English (en)
Other versions
JP2020520179A (ja
Inventor
ガーウィン ダンバーグ、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MTT Innovation Inc
Original Assignee
MTT Innovation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MTT Innovation Inc filed Critical MTT Innovation Inc
Publication of JP2020520179A publication Critical patent/JP2020520179A/ja
Priority to JP2022209183A priority Critical patent/JP2023052097A/ja
Application granted granted Critical
Publication of JP7203758B2 publication Critical patent/JP7203758B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/312Driving therefor
    • H04N9/3126Driving therefor for spatial light modulators in series
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/48Laser speckle optics
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/02Diffusing elements; Afocal elements
    • G02B5/0273Diffusing elements; Afocal elements characterized by the use
    • G02B5/0278Diffusing elements; Afocal elements characterized by the use used in transmission
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/005Projectors using an electronic spatial light modulator but not peculiar thereto
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • H04N9/3161Modulator illumination systems using laser light sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/20Lamp housings
    • G03B21/2006Lamp housings characterised by the light source
    • G03B21/2033LED or laser light sources

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)

Description

関連出願の相互参照
本願は、2017年5月12日に出願された米国出願第62/505827号の優先権を主張する。米国を目的として、本願は、あらゆる目的のために参照によりここに組み入れられる高輝度投影のシステムと方法との名称の、2017年5月12日に出願された米国特許出願第62/505827号の米国特許法セクション119による利益を主張する。
本発明は、例えば映画投影機のような、デジタル画像投影機に関する。
視聴者に現実的及び/又は魅力的な視聴体験を与えることのできる投影機が要望されている。ハイダイナミックレンジ(HDR)画像が投影されると視聴体験が改善され得る。高い最大輝度を与えることによっても、視聴体験を改善することができる。しかしながら、現在利用可能な最新型映画投影機でさえも、インシーン(in-scene)コントラストを欠き、さらに重要なことには、高いピーク輝度を欠いている。これらは双方とも、画像が現実的に見えるための重要な知覚属性である。
当該分野からの様々な研究コンセプトが商用ディスプレイ製品に取り入れられてきた一方、コンピュータディスプレイにおける実用的なイノベーションから、主に大画面投影機が開拓されてきた。現実的な画像を見せるには、議論の余地はあるにせよ、ディスプレイシステムの最も重要な視覚特性は、表示できる光レベル及び色の範囲及び数といえる。残念ながら、投影機においてこの範囲を有意に増加させることは、法外に高価となる。ピーク輝度がディスプレイの電力及び光源のコストに正比例する一方、輝度値の明るさ知覚は、ほぼ対数的だからである。
いくつかの映画館では、投影光が大画面にわたって分散される。投影機が高い光出力を有する場合であっても、大きな画面面積ゆえに、達成可能な最大輝度(全画面白色)がそれほど明るくならない。
さらなる側面及び例示的な実施形態が、添付図面に示され、及び/又は以下の説明に記載される。
添付図面により、本発明の非限定的な例の実施形態が示される。
近似的な知覚上の明るさの影響を視覚化するべく対数スケールでの標準化された映画SDR輝度範囲(黄色)を、光操舵投影機アーキテクチャ(緑色)により達成可能なHDR輝度範囲の一例と比較する。 変動する平均輝度を有するテストパターンに対する理論上及び測定上の操舵効率を、振幅変調を使用して画像を形成する伝統的な投影システムと比較する。 15~25%の総合可能システム効率を有する完全光操舵アーキテクチャである。 全体的なシステム光効率を増加させてコストを低減する一方で完全光操舵投影機に匹敵する画像品質を達成するハイブリッドアーキテクチャである。この例において、操舵光路の光効率は13.5%であり、非操舵光路の光効率は31.5%である。 図5Aは、光操舵投影機(緑色)及び非光操舵投影機(赤色)間の、入力信号(黒色)の可能な分離を示す直線である。図5Bは、光操舵投影機(緑色)及び非光操舵投影機(赤色)間の、入力信号(黒色)可能な分離を示す対数プロットである。 図6A~6Dは、画像セットからの画像例である。 3つの仮想投影機上で104個のHDR画像のそれぞれを再現するのに必要な相対パワーである。48cd/m(青色)及び480cd/m(緑色)のピーク輝度を有する2つの光操舵投影機と、48cd/m(赤色)のピーク輝度を有する伝統的な光阻止映画投影機とが対比される。理想的なピーク輝度(48cd/m)を達成するのに必要な平均パワーは、伝統的な投影機の13%のオーダーである。重要なのは、極めて最も明るい画像(被試験画像すべてのうち近似的に9%)以外はすべて、同じ又はそれ以下のパワーを使用しながらも480cd/mのピーク輝度まで再現され得るということである。 ダークラボにおいて完成されたRGBプロトタイプの写真である。 一例のプロジェクタの色度といくつかの一般的な色標準とを比較する色度図である。 0~2πの位相変調器の典型的な相対立ち上がり時間(左側)及び立ち下り時間(右側)である。 図11Aは、駆動レベル255のうち65でのサブフレーム位相応答である。図11Bは、駆動レベル255のうち75でのサブフレーム位相応答である。図11Cは、駆動レベル255のうち100でのサブフレーム位相応答である。 DMDタイミングのハイレベル動作原理を示す。 図13Aは、低速非同期光パルスを使用するDMDにより動作するパルス光源の第1フレームを示す相対タイミング図である。図13Bは、低速非同期光パルスを使用するDMDにより動作するパルス光源の第2フレームを示す相対タイミング図である。 図14Aは、高速非同期光パルスを使用するDMDにより動作するパルス光源の第1フレームを示す相対タイミング図である。図14Bは、高速非同期光パルスを使用するDMDにより動作するパルス光源の第2フレームを示す相対タイミング図である。 低速同期光パルスを使用するDMDにより動作するパルス光源の相対タイミング図である。 位相LCoS、DMD及びレーザパルスの組み合わせを示す相対タイミング図である。 位相LCoS及びDMD振幅変調器を有するプロトタイプの写真である。 レーザ光源から投影レンズまでのプロトタイプ投影機の光路内のハイレベル光ブロックを描くフローチャートである。 位相変調器によって操舵されないレーザ光コンポーネントの画面上の画像である。 フル画面白色パターンの画面上の画像である。 投影機アーキテクチャを制御するハイレベルアルゴリズムブロックを示す。 入力変換ブロックがPQ-XYZ入力を取得し、線形化し、光操舵投影機色空間に変換するアルゴリズムブロックを示す。 コンテンツマッピングアルゴリズムブロックを示す。 cd/m単位の目標輝度の関数としての操舵分割及び非操舵分割のグラフである。 フォワードモデルアルゴリズムブロックを示す。 テストパターンに適用される点拡がり関数を示す。 位相パターン計算ブロックを示す。 振幅パターン生成ブロックを示す。 図29Aは、光操舵プロトタイプ(左)に、及びレンズからのパワーが同じ伝統的な投影機(右)に、表示されたムービーからの第1フレームを示す。図29Bは、光操舵プロトタイプ(左)に、及びレンズからのパワーが同じ伝統的な投影機(右)に、表示されたムービーからの第1フレームを示す。
以下の説明全体にわたり、本発明のさらに徹底した理解を与えるべく特定の詳細が記載される。しかしながら、本発明は、そうした詳細なしに実施することもできる。他の例では、本発明を不必要に曖昧にすることを避けるべく、周知の要素は示さず、又は詳細に記載しない。したがって、本明細書及び図面は、限定的な意味ではなくむしろ例示的な意味で考えるべきである。
本発明は、デジタル投影機に適用され得るアーキテクチャ、コンポーネント及び方法に関する。この詳細な説明は、あらゆる目的のために参照によりここに組み入れられる米国特許出願公開第2017/0085846号として公開されたMTTイノベーション社が所有する米国特許出願第15/368,021号に記載される全体的な投影機アーキテクチャの文脈で本発明の様々な側面を説明する。ここに記載される技術は、HDR(高ダイナミックレンジ)投影システムにおけるアプリケーションにとって特に有益である。ここに記載される技術は、国際公開第2017/059537号、2016/015163号、2015/184549号及び2015054797号に記載される装置及び技法と組み合わせて使用してよい。これらのすべてはMTTイノベーション社により所有され、これらのすべてはあらゆる目的のために参照によりここに組み入れられる。これらの参照文献は、本願の文脈において適用され得る光操舵の方法の例を与える。
従来の(光減衰)投影システムにおける照明パワーが、画面上の所望のピーク輝度により線形的にスケーリングされる一方、人間の視覚システム(HVS)による当該輝度値の知覚は非線形的(対数に近い)となる。米国特許出願公開第2017/0085846号に記載される投影機アーキテクチャは、選択された画像特徴部を、フル画面白色(FSW)輝度レベルよりも有意に高く再現可能とするべく光操舵を使用する。図1は、シネマにおける今日の標準化されたシネマSDR輝度範囲10A(デジタルシネマイニシアチブ(DCI)仕様を参照。ピーク輝度白色が14fL=48cd/mで定義されている)と、光操舵を使用する投影機アーキテクチャにおいて達成可能な光操舵輝度範囲10Bの一例とを対数スケールで比較する。
画像統計及びパワー要件
開示の技術のいくつかの実施形態は、投影される画像コンテンツの特徴部を使用して、高輝度かつ高コントラストのHDRコンテンツを再現する目標と、パワー及びコスト(光源)を最小限にすることとのトレードオフを達成することができるとの発想を利用する。いくつかの投影機アーキテクチャの光学シミュレーション及びコストモデル(ここでは光予算予測器(Light Budget Estimator(LBE))と記載する)を、様々な代表的シアターHDRコンテンツの統計分析と組み合わせて使用しての実験が行われてきた。
光操舵効率
理想的な光操舵投影機において、利用可能な光はすべて、画像を形成するべく使用される。かかるアーキテクチャにおいて、画像を形成するべく必要とされるパワーは、目標画像の平均(mean)輝度又はパワーに等しい。特定の実装例において、非常に小さな明るい特徴物へと光を操舵する能力は、例えば、システムの点拡がり関数(point spread function(PSF))によって制限される。図2は、ソース信号において同一の最小輝度及び最大輝度を有するが異なる平均輝度(パワー)の、光操舵投影機において再現され、及び伝統的な振幅減衰投影機において再現されたテストパターンの選択を示す。実線の曲線が、理想的な光操舵投影機において理論的に可能な最大ピーク輝度、すなわち、
Figure 0007203758000001
を示す。
曲線11Aは、理論的に達成可能な輝度を、非黒色パターン面積の関数として示す。曲線11Bは、初期の光操舵プロトタイプについての実際の測定データを示す。わかることだが、操舵効率は100%ではない。非操舵光は部分的に、投影機画面の外側のエリアへと散乱される。非操舵光の一部は、当該画面上に存在して黒色レベルを上げる。破線は、画像を形成するべく振幅変調を使用する伝統的な投影システムの最大輝度を示す。
コンポーネント効率
投影システムの光路にある各コンポーネントは一般に、合計光スループットを低減させる傾向がある。例えば、特定の投影機において達成可能な光スループットの合計は、位相変調器の反射率(65%~80%の範囲にある場合が多い)、光路にある任意の規則的に構成された表面上に現れるピクセルグリッドからの高次回折効果による損失(40%~50%の損失範囲にある場合が多い)、並びに、リレーレンズ、ディフューザ、光路を折りたたむ広帯域ミラー、及び色チャネルを結合又は分割するダイクロイックミラーのような付加的な光素子の影響を受ける。
光操舵は、従来型投影機には見当たらない付加的な光コンポーネントを必要とする。かかるコンポーネントの存在により、光効率が低減し得る。プロトタイプの光操舵投影機の合計光効率が、ソース光から画面までの近似的に5%で測定された。この非効率性は部分的に、光操舵に起因するピーク輝度における大きな利得と均衡するが、特に、高い平均画像レベル(APL)を有する画像に対し、全体的に高コストとなる。最適化されたシステム(光源波長に対するカスタムコーティング)において、全体的な効率は、15%~25%もの高さとなり得るが、これは、フル画像白色テストパターンに対して光源のほぼ35~45%が画面に到達し得る伝統的な投影機アーキテクチャと比べると依然として低い。
狭帯域光源
新しいHDR投影機アーキテクチャにおいて、光操舵効率は、その最高ピーク輝度とともに、良好にコリメートされた狭帯域光に対して最高となる。レーザダイオードが、このアプリケーションに十分適している。ただし、レーザダイオードを使用する場合、いくつかの落とし穴が存在する。これには以下が含まれる。すなわち、
・コスト:LED、照明器、及びレーザ+蛍光体システムのような他の光源の方が、現在のところ、ドル当たりの出力ルーメンの点でコスト効率が高い。
・観測者のメタメリズム:狭帯域光源から構成される同じ測定可能な色度座標が、異なる観測者によって異なるように知覚される。この効果は、狭帯域でない光に対してはあまり目立たない。
・画面スペックル:レーザ光からの小スケールの干渉パターンは、投影画面上に、擾乱を与える小さな空間強度変動を引き起こし得る。この効果は、広帯域光に対しては不可視である。
レーザ光源を使用することに係るこれらの負の効果のいくつかは、レーザ特性のいくつかを壊すこと(例えば大きな角度多様性を導入することにより)、又はレーザからの光を非レーザ系光源と組み合わせることのいずれかによって対処することができる。興味深いことに、全体的に明るいシーンの多くが、人間の視覚システムが画面の明るい部分に適応することに起因して、低い黒色レベルを必要とするわけではない。
フル光操舵アーキテクチャ
図3は、米国特許出願公開第2017/0085846号明細書に記載されるもののような投影機のシステムアーキテクチャを高レベルで示す。フル光操舵アーキテクチャ20において、制御ファームウェア22が、光操舵モジュール24及び投影機ヘッド26を制御する。光操舵モジュールは、最終HDR出力画像30を生成するべく投影機ヘッド26により画面上に投影される操舵光画像28を生成する。制御ファームウェア22は、例えば、画像処理ユニット及びシステム制御ユニットを含んでよい。光操舵モジュール24は、例えば、一以上のRGBレーザバンクを含んでよく、自由空間又はファイバアーキテクチャを使用して動作し得る。投影機ヘッド26は、シネマ又は消費者投影機としてよく、とりわけ4k解像度、HFR及び3D効果を含む詳細レイヤを加えてよい。このフル光操舵アーキテクチャは、現在利用可能な光コンポーネントを使用して約15%~25%の合計可能システム効率を有する。
ハイブリッド光操舵アーキテクチャ
図4は、一例のハイブリッド投影機アーキテクチャ32を高レベルで描く。投影機32において、コストをさらに低減し、かつ、所定の画像アーチファクトを軽減するべく、狭帯域光の光操舵が、(振幅変調器を均一に照明する)広帯域の非操舵光と組み合わせられて一つのシステムとなる。このハイブリッドアーキテクチャにより、フル光操舵投影機に匹敵する画像品質を達成しながらも、増加した全体的なシステム光効率が、低減されたコストで得られる。
ハイブリッド投影機32において、制御ファームウェア22が、ベース減衰光源34、光操舵モジュール24及び投影機ヘッド26を制御する。光操舵モジュール24は操舵光画像28を生成し、操舵光画像28は、ベース減衰光源34が生成したベース減衰光画像36と組み合わせられる。
一例の実施形態において、その結果得られる画像は、30%の操舵光及び70%のベース減衰光を含み得る。一例の実施形態において、光操舵モジュール24は効率η=0.4を有し、投影機ヘッドは効率η=0.45を有する。組み合わせられた画像は、投影機ヘッド26によって投影されて最終HDR出力画像30がもたらされる。この例において、操舵光路の光効率は13.5%であり、非操舵光路の光効率は31.5%である。
ハードウェアパラメータは、システムの操舵部分と非操舵部分との間でのソース光の割合、並びに、光源のタイプ、及び関連付けられるコスト及びスペクトル特性を含み得る。
ソフトウェアパラメータは、システムを駆動して操舵ステージと非操舵ステージとの間で光を割り当てるべく使用されるアルゴリズムの複数側面を含み得る。図5A及び5Bは、線形入力信号を古典的な投影機光路と光操舵経路との間で分割する一例を示す。図5は、入力信号40Aの光操舵投影機40Bと非光操舵投影機40Cとの間での可能な分離の線形プロットを示す。図5Bは、入力信号42Aの光操舵投影機42Bと非光操舵投影機42Cとの間での、同様の可能な分離の対数プロットを示す。
知覚的に意味のある画像品質メトリックを適用して、所望の目標画像の色及び強度がどの程度忠実に再現されているかを決定することができる。
一例の実施形態において、ハイブリッド投影機を、非操舵投影機及び光操舵投影機を含む2投影機システムとしてよい。非操舵投影機は、例えば、振幅変調を使用する市販の投影機を含んでよい。光操舵投影機は、例えば、位相/振幅変調設計を有してよい。
このセクションは、(近似的な輝度範囲にマッピングされた)非シアターHDR画像データと、フル光操舵投影機の簡略システムモデルとに基づいて収集された画像統計について述べる。
シネマにおけるHDR画像の平均輝度
シアター用の視聴環境向けに色がグレード分けされている公的に利用可能な高輝度のHDRビデオコンテンツはほとんど存在しない。これは部分的に、十分な能力がある大画面投影システムが、現在のところ存在しないことに起因する。本セクションにおいて、我々は、色がグレード分けされたHDR静止画像を使用して、シネマにおける現行のピーク輝度を10倍上回るまでのHDR輝度レベルを再現するのに必要な相対的なパワーの推定を試みる。104個のHDR画像の分析が行われ、提案のアーキテクチャにおいてのような光操舵投影機のためのパワー要件が推定された。この理論的な演習においては、伝統的なシネマ投影機よりも低いパワーの光操舵投影機が、調査対象の48cd/mまでの画像すべて、及び480cd/mまでのHDR画像のほとんどすべてを、追加のトーン圧縮を必要とせずに直接再現することができるということがわかった。表1にその結果をまとめる。
Figure 0007203758000002
方法論
マーク・フェアチャイルドの104個のシーン参照HDR画像(Mark D Fairchild. The hdr photographic survey. In Color and Imaging Conference, pages 233-238. Society for Imaging Science and Technology, 2007)が分析された。図6A~6Dは、本考察で使用された画像セットからの画像例である。これらの画像は、ダイナミックレンジが1000:1未満から10:1超過まで異なる。ほとんどの画像は、屋外シーンである。画像データが、測定されたシーン参照HDR(実際のシーン輝度レベル)を表し、シネマ投影機での視聴を意図しているわけではないところ、シネマに適切なレンダリングの初期推測は、シネマにおいて推定された視聴者適応レベルにAPLが近似的にマッチするように画像強度をシフトさせることによって確立することができる。簡単な線形スケーリング演算子Sadaptationが、各画像に対して手動で決定された。画像が、48cd/mのピーク白色輝度(D65白色点)に設定されたキャリブレーション済み27インチ基準モニタ(フォトリサーチ社のPR-650スペクトロラジオメータを使用してキャリブレーションが確認されたデル社のU2713HMt)において、暗い視聴環境で手動チューニングされた。強度を調整しながら、近似的に3~5画面高の距離から画像が視聴された。
適切な輝度スケーリング因子がひとたび決定されると、FSWの10倍すなわち480cd/mを超える輝度レベルがクリップされた。次に、提案の投影機アーキテクチャの操舵効率が、システムPSF近似(この場合、1920個の水平画像ピクセルのうちの実質的に81個のピクセルにわたるある程度保守的な、大規模ガウスカーネル)を介して説明された。得られた輝度プロファイルのすべてのピクセルにわたる平均強度が、光操舵投影機のパワー要件に対する近似メトリックとしての役割を果たす。
計算ステップ
Figure 0007203758000003
結果
図7は、光操舵投影機において、伝統的なシネマ投影機と同一のピーク輝度48cd/mで、及びシネマ基準システムよりも程度が1オーダー大きなピーク輝度を有する光操舵投影機と同一のピーク輝度480cd/mで、各HDR画像を再現するのに必要なパワーの推定を示す。48cd/m光操舵アーキテクチャにおいて、伝統的な投影機のパワーのほんの一部分(13%)を使用して、すべての画像を再現することができる。重要なことに、ほとんどすべての画像を、伝統的な投影機以下のパワーを使用して480cd/m(10倍高いピーク輝度)までで再現することができる。
図7において、伝統的な投影機が48cd/mまでを生成するのに必要なパワーが、伝統的な投影機の線44Aに示され、操舵投影機が48cd/mまでを生成するのに必要なパワーが、低輝度操舵投影機の線44Bに示され、操舵投影機が480cd/mまでを生成するのに必要なパワーが、低輝度操舵投影機の線44Cに示される。
上述したスケーリング及びクリップの操作を使用し、さらなる芸術的な色補正をしていない場合、データセットの平均画像レベル(APL)は、シネマ対応の高輝度HDRコンテンツから予測され得るものよりも高く見える。一定のHDRコンテンツは、有意に低いAPL(例えば近似的に3%以下)を有し得る。低いAPRでHDRコンテンツを投影するべく使用される光操舵投影機アーキテクチャのパワー要件は、ここに記載されるものよりもかなり低く(又は高いピーク輝度及びコントラストに)なり得る。
改善されたRGB投影機プロトタイプ
改善されたフルカラーRGB投影機プロトタイプが、表2に挙げられた特徴を組み入れる。これらの特徴は、個別に又は任意の組み合わせで適用することができる。挙げられた特徴の詳細は、限定を意図しない。挙げられた特徴はそれぞれが、様々な可能な置換可能コンポーネントのいずれかを使用して実装することができる。例えば、記載のプロトタイプにおいて振幅SLMとしてLCoSベースのSLMが使用される一方、振幅変調を目的として透過型又は反射型SLM、液晶表示パネル又はデジタルマイクロミラーデバイス(DMD)のような他のSLMも使用し得る。位相変調又は振幅変調に適した技術の例は、“Rolf R Hainich and Oliver Bimber. Displays: fundamentals & applications.CRC press, 2016; and David Armitage, Ian Underwood, and Shin-Tson Wu. Introduction to microdisplays, volume 11. John Wiley & Sons, 2006”に記載されている。これは、あらゆる目的のために参照によりここに組み入れられる。
Figure 0007203758000004
RGB投影機プロトタイプのアーキテクチャ
図8は、表2からの特徴を実装する完成したRGBプロトタイプ投影機の写真である。頂部に取り付けられているのは、カラーキャリブレーションのための機械ビジョンカメラ及びスポット分光放射計である。
色(カラー)
赤色、緑色及び青色レーザダイオードを含む光源により、我々はフルカラー投影機を設計することができる。プロトタイプの実施形態は、462nm、520nm及び638nmの波長の光を放出するネイティブレーザダイオードを使用する。プロトタイプの実施形態は、並列アーキテクチャを有する。ここでは、光源、位相変調器及び光コンポーネントを含む3つの単色光路が結合されて白色ビームになり、その後、振幅変調投影ヘッドへと中継される。他実施形態において、フィールドシーケンシャルシステム(例えば、赤色、緑色及び青色の光照射野が順次に表示されるシステム)を使用してよい。さらなる実施形態において、並列又は順次アーキテクチャは、これよりも多い又は少ない数の光波長を用いてよい。いくつかの実施形態において、4つ以上の波長の光が、並列して生成され、又は順次表示される。狭帯域光源に加え、いくつかの実施形態のアーキテクチャは、広帯域及び/又はフルスペクトルの光源を含んでよい。
このプロトタイプの達成可能な色度の範囲は、他の一般的なディスプレイ及びシネマの原色に対する図9の色度図に見ることができる。u’及びv’を色度座標として使用するCIE1976均一色度スケール(Uniform Chromaticity Scale(UCS))46Aが、個々の色間の知覚的に均一な関係を与える(すなわち、互いから等距離の色間の知覚される差が同程度である)。スター付きのデータポイント46Bは、シネマ及び家庭のディスプレイシステムにおいて一般的なD65白色点を表す。プロトタイプを使用して再現され得る提案される色度空間46Bは、DCI P3空間46C及びRecの双方よりも有意に大きく、その双方を含む。これは、Rec.2020色空間46Eをほぼ完全に含み、その面積を超える。
光パワー
プロトタイプの概念実証投影機の光パワーが、レンズ外で10ルーメンとして測定された。光源パワーが大きな投影機を、レンズ外の輝度を増加させて操舵光の輝度を増加させるべく、用いることができる。新たなプロトタイプの目標としての100~200ルーメンの操舵光は、意味のある布石を表す。しかしながら、必要な光源パワーは、既存のレーザダイオードによっては容易に達成することができない。3つのレーザダイオード特性が注目される。すなわち、レーザダイオードの合計パワー、発光体の寸法、及び発光される光のダイバージェンスである。光源における多数レーザダイオードのビーム拡大、コリメーション光学、及び傾斜を、個々のコンポーネントが、一部は6自由度で調整可能となる機械的設計を使用して実装することができる。
スペックル
(LED又はレーザのような)狭帯域又は単色の光源に基づくディスプレイと同様に、観察者間のメタメリズムの変動及びスペックルのような望ましくない特性を管理するべく注意を払う必要がある。典型的には、観察者に対する可視スペックルコントラストを低減するための3つの尺度が存在する。すなわち、偏光をランダムにすることと、光路における光の角度ダイバーシティを増加させること、及び光源スペクトルの拡大である。本明細書の焦点ではないが、これら3つの方法のいずれか又はすべての要素を、ここに記載される投影機において適用することができる。
RGBプロトタイプにおいて利用される投影ヘッドは、直線偏光入力を必要とするLCoS技術に基づくが、この偏光を、投影レンズの前又は後ろのいずれかに最終画像が形成された後にランダムにすることが、原則的に可能である。同様に、光操舵法がDMD系投影機ヘッドに結合される場合、偏光は、位相変調に引き続きかつDMD振幅変調の前に、投影機光路内でランダムにすることができる。DMDは、入力において直線偏光を必要としないからである。我々の光操舵システム内の光は、理想的には十分にコリメートされる。これは、高いfナンバー(f#)の光学系へと変換され、そのような限られた角度ダイバーシティを伴う。システムの光操舵部分のために、このような高度なコリメーションを保持することは重要だが、中間画像が形成された後は、この光特性はもはや必要ではない。
その後f#が、例えば、光整形ディフューザを使用して低減され、引き続く光学機器の入力許容角度に合わせられる。これにより、ビームの高い角度ダイバーシティがもたらされて可視スペクトルが小さくなる。投影機内のディフューザを動かすことにより、光が経時的に広がる角度がランダムにされるので、可視スペックルコントラストがさらに低減される。これは、例えば、投影機内でディフューザディスクを回転させることにより、又は当該ディフューザにおいて若しくはその近くで光学要素を直線的に変位させることにより、実現することができる。
スペックルコントラストを低減する第2の有効な方法は、投影画面に対する動きの導入である。画面表面のわずかな連続変位は、投影機レンズからの光が(非平坦)画面表面から反射されるにつれて、多くの角度にわたって平均化されるという効果を有する。同様に効果的であるがシネマ設定ではあまり実用的ではないのは、観察者の動きである。
各色に対して異なる中心波長を有するレーザダイオードを含むビニングかつキャリブレーションされたレーザダイオードを使用することにより、光源の有効スペクトル帯域を広げることができるので、可視スペックルコントラストが低減される。光源を広げることにより、光の操舵後に各色チャネルに対し、わずかに拡大及び縮小された画像の重畳セットがもたらされる。これは、小さなぼかしカーネルによってモデル化できるので、必ずしも望ましくないというわけではない。
同期
位相SLM及び振幅SLM、並びにパルス幅変調(PWM)調光可能レーザ光源を、理想的にはフレーム又はサブフレームレベルで同期する必要がある。プロトタイプにおける振幅変調器は、消費者投影機に由来し、我々が説明するその内蔵画像処理ブロック内でマルチフレームの望ましくないレイテンシを示す。シネマにおいて、大きな投影機光出力を取り扱うべく、及び所定基準(例えばDCI)を順守するべく、バイナリDMDが、主に振幅SLMとして使用される。以下の一時的考慮事項のセクションでは、予想される一時的なアーチファクト(例えばフリッカー)を軽減することを目的とする新たな駆動スキーム(タイミング)について述べる。
HDR投影ディスプレイにおける時間的考慮事項
プロトタイプの一部は一般消費者向けハードウェアに基づいて構築されたが、カスタマイズされた光源制御電子機器と一緒に開発キットを使用することにより、光源からのパルス(レーザ強度変調)、位相変調器に対処するべく必要なデジタルパルスコード(サブフレーム内のビットプレーン(bit plane))、及び、例えば、投影機ヘッドにおけるバイナリ一次振幅変調器(DMDミラー状態)の良好な同期が許容される。我々は、同期駆動スキームに対する異なるソリューションを探究する。このセクションは、DMD系投影機アーキテクチャに対する同期オプションを説明する。
LCoS系位相変調器
光操舵投影機の実装を目的として我々が選択した位相変調器は現在のところ、デジタルバックプレーンを有して入力又は出力偏光フィルタがないLCoSマイクロディスプレイを使用する。バックプレーンは、垂直方向上下にスクロールする態様で更新される。一回に一本の線又は2本の線いずれかが更新される。バックプレーンの高速パルスコードに対する液晶材料の相対的に低速の応答により、ディスプレイの近アナログ位相応答を効率的に達成することが可能となる。これは有利である。マイクロミラー系投影機ヘッドの高速バイナリ状態への同期が、真にバイナリの高速LCoSデバイス(例えば強誘電体デバイス)と比較して問題が少ないからである。
我々のアプリケーションにとって重要なことは以下の通りである。すなわち、
・位相変調器の全体的なリフレッシュレート(リフレッシュレートは、全体的な投影機に必要なビデオフレームレートと整合する必要がある)。
・一定フレーム期間にわたる位相精度(位相変調器が、対応する駆動レベルに基づいて所与の位相値を、どの程度の信頼性で再現するのか)。
・一定フレーム内での位相安定性(全体的な位相応答(位相フリッカー)において、バックプレーンからの個々のデジタルパルスが、どの程度まで測定可能なのか、及びこれが光操舵にどのように影響するのか)。
・各ライン更新間のサブフレーム内の位相ドリフト。
キャリブレーション済みLCoSデバイスにおいて、ピクセル毎の液晶は、電界が適用され又は除去されるときに、2π又は0πそれぞれに向かってドリフトする。応答時間は、電界が適用された時刻から液晶が2π位相シフトをもたらす時刻までの時間と考えることができる。応答時間は、液晶の化学式によってチューニングすることができる。
図10は、位相のみのマイクロディスプレイの立ち上がり特性及び立ち下がり特性の一例を示す。図10は、0から2πの位相変調器に対する典型的な相対立ち上がり(左)及び立ち下がり(右)時間を示す。目標位相応答が0から2πであれば、中間位相遅延を達成するべく電圧を周期的に適用及び除去することができる。
周期電圧を生成する回路が、マイクロディスプレイの空間分解能と位相制御のビット精度とによって支配される周波数を有する。液晶応答時間は、更新周波数が駆動回路から与えられる場合に最も安定した画像を与えるようにチューニングされる。
現行プロトタイプにおいて使用される駆動回路は、7kHzで駆動オン/オフ電圧の状態を変えるべく動作可能なFPGAである。この場合、頂部から開始してピクセルアレイは、ラインごとに更新される。したがって、フレーム全体にわたる一つのビットプレーンの更新には、1/7,000秒(すなわち約145,000ナノ秒)かかる。
現行システムの位相安定性及び位相ドリフトのばらつきの一例は、図11A~11Cにおける測定に見ることができる。ここで、液晶配向が、周期的な方形波電圧が適用されることによって半回転状態でバランスされる。
図11A、11B及び11Cは、駆動レベルが255のうち65(左)、75(真ん中)及び100(右)でのサブフレーム位相応答を示す。我々は、小さなスケールの時間的なリップルを、位相フリッカーと称し、平均値まわりの偏差を、位相安定性と称することとする。
合計立ち上がり応答時間は8.7ミリ秒であり、合計立ち下り応答時間は現在のところ21ミリ秒である。特定の被試験パネルのセル厚さは、当該アプリケーションに対してカスタマイズされておらず、光スペクトルのうち赤外(IR)部までの全体にわたり十分な位相遅延を与える。よって、セル厚さは、必要以上に厚い。この特定のパネルの例に対し、青色レーザダイオードにとって可能な最大の位相遅延は6ナノであり、赤色にとっては3ナノに近くなり得る。高速な応答時間は、セル厚さを低減して波長当たりの最大必要位相遅延を超えることがないようにすることによって達成することができる。さらに、レンズ効果を与える(操舵する)機能が、位相変調器の有効なリフレッシュレートを、簡単なモデルを介して説明することができ、かつ、そうであるべきである。新たなフレームが到着すると、すべてのピクセルの駆動状態が、次のリフレッシュサイクルで更新される。
高速な応答時間と高い位相安定性とは、時間制御の一つの共有次元に沿ってみると、ある程度対立する目標である。これは、ビデオフレームの持続時間内では、連続的な電界を初期に適用することにより、液晶が正しい位置に迅速に動くことが許容される(その後、電界が除去され又は時々パルスだけにされる)一方、ビデオフレーム全体にわたる位相安定性は、電界のオン状態及びオフ状態を、ビデオフレームの持続時間全体にわたって相対的に均等に広げることによって達成されるのが最善となるからである。双方の目標は、結局のところ、レンズ効果アルゴリズムにおいて説明され得るとともに、位相符号ワードを光位相応答にマッピングするべく使用されるパルス符号変調(PCM)の基礎となるデジタル更新スキームにおいても説明され得る。
現行のプロトタイプシステムにおけるFPGAにより与えられる機能はまた、専用ASICにより与えられ得る。ASICは、高い更新レート(例えば15kHz)を与えることができる。図11における位相安定性プロットでは、同じ時間内に2倍の数の山(ピーク)及び谷が見られる。
加えて、高速な応答時間(例えば2倍の改善)を可能にするべく現行の位相変調器において使用される液晶(LC)材料の複屈折特性を修正又は再定式化するオプションが存在する。
DLP技術の特性
DLP技術は、ピクセル毎のマイクロミラーを対角線にわたり前後にフリップさせるバイナリ変調器を利用する。各ミラーはいつでも、画面に光線を向けるオン状態か、オフ画面箇所、いわゆる光ダンプエリア、に光線を向けるオフ状態かのいずれとなり得る。ミラーは、迅速に前後にフリップすることによってグレースケールを生成する。例えば、ビデオフレームの過程にわたり、明るいピクセルをレンダリングするにはオン状態の方に多くの時間が費やされ、暗いピクセルに対してはオフ状態の方に多くの時間が費やされる。
典型的に、各ピクセルは、ビデオフレーム(通常は60フレーム毎秒(fps))当たり8ビット(又はそれ以上)のグレースケール駆動値によって制御される。図12は、こうしたグレースケールがどのようにしてミラーフリップに変換され得るのかの一例を示す。図12は、高レベル動作原理(8ビットカラーに対する一フレームにおける概念的なビットパーティションを描くT1 DLPドキュメンテーションから複製)としてのDMDタイミングの図である。
ビット(bit)が0に設定されるか1に設定されるかが、ミラーがオン位置にフリップされるかオフ位置にフリップされるかを決定する。ビット位置が、ミラーが当該状態のままである相対的な持続時間を決定する。ミラーが典型的に達成可能な秒当たりフリップの最大数は、10kHzの直下である(図12を参照。プロフェッショナルのアプリケーションに対しては80kHzまでが報告されている)から、この推定に対して我々は、ミラー状態の最短期間を0.1ミリ秒すなわち100,000ナノ秒に設定する)。我々はこれを、図12のダイヤグラムにおけるb0の期間に等しいミラーフリップ期間と称することとする。
非同期光パルス
(例えば最大レベルの50パーセントで光を生成するべく)パルス光源が使用される場合、例えば光状態の低いパルス周波数に起因して、オフ及びオンのパルスがミラーフリップに非同期であって、オフ及びオンの期間が静止画像のフレーム毎に有意に異なる場合、フリッカリング(ちらつき)が生じる。
図13A及び13Bは、低速な非同期光パルスを使用するパルス光源によるDMD動作の2つのフレームの相対タイミング図である。図13Aにおいて、信号が非同期であるとの事実に起因して、どのようにしてフレーム1において光が2/5の時間にオンになり、図13Bのフレーム2において光が3/5の時間にオンとなるのかに注意されたい。オフ及びオンの光源期間がミラーフリップ期間に対して短い場合、静止フレーム間でのオフ期間とオン期間との差が劇的に低減されて人間の目に知覚されないはずである。
図14A及び14Bは、最短可能ミラーフリップ期間よりも有意に高速に光源変調されるパルス光源によるDMD動作の2つのフレームの相対タイミング図を示す。
図14A及び14Bにおいて、駆動値が1の一つの最小幅ミラーフリップのみが示されている点に注意されたい。光状態は、以下に記載されるPWMクロックに類似する。さらに、この例では、光がフレーム1では27/54のオンであり、フレーム2では28/54のオンである点にも注意されたい。
同期光パルス
光源オフ期間及び光源オン期間が(図15においてのように)ミラーフリップに同期されている場合、静止フレーム間の強度差は実質的に存在しないはずなので、光源パルス生成器は、ミラーフリップの期間で動作するだけでよく、ひいては、制御ソリューションの要件及び電磁干渉(EMI)の考慮を劇的に低減することができる。図15は、低速同期光パルスを使用するパルス光源によるDMD動作の一フレームに対する相対タイミング図である。
新たなフレームが到着すると、すべてのピクセルに対するミラーフリップロジックは、二重バッファリングスキームを介して(又は所望により頂部から底部までのブロックにおいて)同時に更新され得る。
レーザ制御ソリューション
我々は、高電流でレーザダイオードを直接駆動するべくiC-Haus iC-HGデバイス(iC Haus GmbH. ic-haus homepage - product: ic-hg. http://ichaus.de/HG, 2017)を選択し、超高周波数でパルスを動作させるオプションを選択した。このデバイスは、差分ペア入力からの200MHzまでのスイッチング能力を有する。500mW(光パワー又はダイオード当たり650mA及び2:2Vの電力)638nmレーザダイオードアレイの100MHzまでの同期したスイッチングが確認された。iC-HGへの一定電圧入力により、オン状態の電流制限が設定される。我々は、高速デジタルアナログ変換器(DAC)によって一定電圧電流入力を駆動した。
LCoS位相変調器、バイナリDMD系SLM、及びパルスレーザの組み合わせ
図16は、位相LCoS、DMD及びレーザパルスの組み合わせの相対タイミング図である。この図は、最短可能期間でのDMDミラーフリップ、図示目的のために実際よりも少なくした光源パルス、及びLCoS系位相変調器の予想される位相ドリフトを含む。全体的なシステム時間応答の第1推定を目的として以下の仮定が使用された。すなわち、
・最短ミラーフリップ持続時間に対し、約100個の光状態PWMクロックパルスが存在し(図16では明確性を目的として少なく示す)、LCoS位相誤差が、この例においては、0.1πと-0.1πとの間でとの間で平均1.5倍ドリフトする。
・上述のように導入された高速非同期PWMクロック駆動スキームに沿ったこれらの可視化には、(プロトタイプと比較して)2倍高速位相LCoS SLM及び高速制御器チップ(ASIC)が使用された。
表3は、投影機内の異なる変調要素に対する典型的な更新速度及びその結果得られたパルス持続時間を示す。
Figure 0007203758000005
位相変調における0.1πの誤差(ドリフト)は、2π超過という可能位相遅延の最大量と比較して相対的に低く、高速レーザ光源は、最高速DMDミラーフリップ数であっても影響を与えない。連続波(CW)又は常時点灯レーザドライバを含む多くの代替実装例が可能である。ここで、過剰な光は、アクティブ画像エリアから離れるように操舵される。
DMD系実験プロトタイプ
LCoS系位相変調器、(kHzのオーダーの)PWM調光レーザ光源及びDMDを、非同期駆動スキームに従って組み合わせる実験プロトタイプが、実証目的で構築された、直接のタイミング測定が行われなかったが、可視時間アーチファクトは、目立つほど十分に支配的とはならなかった。位相誤差の相対的に低い振幅、及び位相フリッカーの、最大2πに対して低い振幅が、潜在的に存在する時間アーチファクトをマスキングする支援となった。
図17は、位相LCoS及びDMD振幅変調器を有するプロトタイプの写真である。レーザが、ファイバを介して移送変調器に結合され(赤色、エンクロージャの左側)、その強度がPWM駆動スキームを介して調整される。
投影機の比色キャリブレーション
フルカラーシステムにおいて、比色キャリブレーションは、PSFを含むシステムを特徴付けることと精密にモデリングすることとを要求する。これらのことは、光源及び光路に依存するので、潜在的に位置に又は画像特徴部サイズにも依存し得る。
光操舵画像形成モデル
光源から画面までの動作において、コリメートされたレーザ光は、一連の光学機器により、光源から反射位相変調器へと中継される。所与の色チャネルに対する位相変調器から離れる光は、残りのチャネルからの光と組み合わせられ、ディフューザを通してフィリップス又はRGBプリズムへと中継される。プリズムは、当該光を分離して、その複数のコンポーネント色にする。各コンポーネント色は、振幅変調器によって変調され、プリズム内で再結合され、主要投影レンズへと向けられる。
図18は、レーザ光源から投影レンズまでのプロトタイプ投影機50の光路内の高レベルの光ブロックを描く。レーザ52A、52B及び52Cがレーザ光を生成し、そのレーザ光が、位相光変調器54A、54B及び54Cそれぞれを通るように向けられる。一例の実施形態において、レーザ52A、52B及び/又は52Cは、レーザダイオードによって与えられてよい。例えば、レーザ52Aは462nmの波長を生成するレーザダイオードとし、レーザ52Bは520nmの波長を生成するレーザダイオードとし、レーザ52Cは638nmの波長を生成するレーザダイオードとしてよい。
位相光変調器54A、54B及び54Cを通過した後、3つの光路からの光は、結合光学機器ブロック56において結合された後、ディフューザ60において拡散される。拡散された光はRGBプリズム60を通過し、RGBプリズム60は当該光を分割して、その複数のコンポーネント波長にする。各別個の光路は、対応する空間光変調器(SLM62A、62B及び62Cそれぞれ)に向けられる。空間光変調器による変調の後、光は、RGBプリズムにおいて再結合され、レンズ64の中へと向けられた後に画面66に投影される。RGB光が結合されて白色光になることは、便宜上選択されたことであり、事前に整列されたSLMを有する市販の投影ハードウェアへの適合を目的とする。別個のRGB光路を実装する十分に設計された投影機からは、良好なコントラスト性能が期待され得る。
この設計によれば、入射波面に位相変動をもたらすことができる位相変調器54のおかげで、典型的なフル画面強度を十分に上回る局所強度を生成することができる。これにより、位相変調器54は、ソフトウェア駆動位相パターンに応答するプログラム可能レンズとして機能することができる。位相パターンが、入力照明プロファイルから目標光プロファイルへの光の再分配を試みるように計算され、理想的には、下にある目標画像における強度の上側エンベロープを近似するように選択される。これにより、暗いエリアから、典型的な画像の特定に起因して、広い薄暗い領域を有する傾向がある明るい領域へ光が再分配され、小さな明るいハイライトにより、従来型投影機により達成され得るレベルの10倍を超えるレベルにまで到達することができる予備光のかなりの合焦がもたらされる。
位相変調器が一定数のアーチファクトを導入するので、ディフューザが、光学設計に組み入れられてスペックルを低減するとともに、光照射野に対するローパスフィルタとして作用する。このアーチファクトは、固定されたテクスチャ、未操舵照明のコンポーネント、回折アーチファクトを含む。ディフューザは、回折アーチファクト及び固定テクスチャを除去するのに有効であるが、一般に、未操舵光を補償することはできない(図19参照)。
図19は、プロトタイプのレーザ光の未操舵コンポーネントを描く。未操舵コンポーネントは、位相変調器による操舵がされていないレーザ光から構成される。未操舵コンポーネントの光量は、ディフューザによるフィルタリングの後に位相変調器に入射する照明に関連する。典型的には、位相変調器に入射する光の約10%が、未操作コンポーネントになる。
その結果、未操舵コンポーネントは、その後の画像形成に対する重要な寄与分となる。未操舵コンポーネントの測定は、すべての利用可能な光を画面外に操舵するように位相パターンを設計することによって得られる。残りが未操舵コンポーネントとなる(図19)。
RGBプロトタイプのようなレーザダイオード系システムに対しては、未操舵コンポーネントは、位相変調器から反射された個々のダイオードビームを示す。これは、図19において、縦縞(赤色)及び横縞(緑色、青色)として示される。配向の差は、ダイオードの異なる偏光配向に起因する。光源からのビームは、同じ方向に偏光されるので、すべての縞が、設計によって同様に配向される。ファイバ結合レーザの場合、未操舵コンポーネントは、有意にさらに均一となる。図20は、結果的に得られたフル画面白色パターンを示す。
光学モデル
このセクションは、システムを駆動するべく使用されるアルゴリズムを記載する。全体的なアルゴリズムについての高レベルアルゴリズムブロックから始める。主要ブロックが、専門のサブセクションでさらに記載される。各矩形ブロックは一セットの動作に対応し、平行四辺形は、ブロック間で渡されるデータを示す。実線矢印がブロック間の既知の相互作用を示す一方、破線矢印はオプションの関係を示す。
高レベルアルゴリズム
図21は、高レベルの方法70のフロー図である。方法70は、入力画像72を取り入れる。入力画像72は、線形入力76を生成する変換ブロック74に入力される。線形入力76は、コンテンツマッピングアルゴリズムブロック78による操作を受ける。ブロック78により具体化されるコンテンツマッピングアルゴリズムは、目標光照射野80、目標画像82、及びパワー制御98の入力を生成する。
目標光照射野80は、フォワードモデルアルゴリズム84及び位相パターン計算ブロック88による作用を受ける。フォワードモデルアルゴリズム84は、予測光照射野86を生成する。予測光照射野86は、目標光照射野80及び目標画像82の再計算を目標として、反復プロセスにおいてコンテンツマッピングアルゴリズム78に入力として戻される。
最終的に、予測光照射野86は振幅パターン生成ブロック90に渡され、振幅パターン生成ブロック90はさらに、目標画像82を取り込んで、振幅パターンLS94及び振幅パターンNS96を生成する。位相パターン計算ブロック88は、位相パターン92を生成する。RGBプロトタイプシステムにおいて、この入力は、各チャネルの知覚量子化(PQ)エンコーディングによるCIE1931XYZ色空間における値を含む。
入力変換ブロックにおいて、画像データコンテンツが線形化され、システムの作業色空間へと変換される。入力変換の出力は、現在のところ線形RGBレーザ原色で表現された線形画像である。
コンテンツマッピングブロックにおいて、線形画像は、光操舵投影機と非操舵投影機との間で、2つの投影機の場合は別個の振幅パターンそれぞれにより、又は統合システムの場合は共有振幅パターン(光操舵を有する一つの投影ヘッド、及び非光操舵光源)により、分割(又は分配)される。コンテンツマッピングブロックの出力は、目標光照射野画像、目標(フル)画像(投影機当たり)、及びパワー制御信号となる。パワー制御信号と目標画像とは、取られるパワー制御アプローチに応じて相互に関連する。
物理的に光を再配向するべく、目標光照射野は、位相パターン生成アルゴリズムブロックへの入力として使用される。これは、位相変調器による光再分配に影響を与えるべく必要とされる駆動パラメータを計算する。加えて、目標光照射野は、フォワードモデルアルゴリズムブロックによっても使用される。これは、光操舵画像形成モデルのフィードフォワードシミュレーションを実装する。実際には、位相変調器及びその後の光路が、任意の目標光照射野を正確に再現することができないからである。フォワードモデル手順は、目標画像と組み合わせられて、振幅パターン生成ブロックにより使用される予測光照射野画像を生成する。これにより、光操舵及び非光操舵双方のブロックに対して必要な振幅パターンが決定される。
入力変換
入力変換ブロックは主に、入力画像を、入力が表現される色空間(例えばXYZ色空間におけるPQエンコード画像)から、レーザ原色により定義される色空間へと変換する。使用される精密な変換は、入力画像データの形態に依存する。
図22は、入力変換ブロック74がPQ-XYZ入力画像72を取得して線形化ブロック102において同画像を線形化し、線形XYZ出力104を生成するアルゴリズムブロックを示す。その後、線形XYZ出力は、色空間変換106により、光操舵投影機の色空間において線形出力76に変換される。
PQエンコーディングのためのフォワード変換及び逆変換が、以下の式で与えられる。
Figure 0007203758000006
ここで、P及びLは、範囲[0;1]にマッピングされたPQ値及び線形値を表す。これらの範囲は、公称動作範囲、例えば10ビットPQに対して[0,210-1]、Lに対して[0,10000]cd/mまで調整される必要がある。この変換は、1Dルックアップテーブル(LUT)として実装することができるが、曲線の領域すべてを解決するには、サンプリングレートに対するケアが重要となる。
色変換に対するRGB投影機の原色及び白色点(D65)が表4に示される。
Figure 0007203758000007
これらからのレーザ原色においてRGB画像を取得するべく、その一つがRGB投影機原色(MTTP3)に変換され得る。この変換は、各チャネルの輝度を保持するべく選択され、XYZ画像間に以下の関係が得られる。
Figure 0007203758000008
ここで、[X,Y,Zは、結合された画像の輝度であり、[Y,Y,Yは、Y=Y+Y+Yとの制約のもとで独立して処理された各チャネルの輝度である。そして、Y=1に対応するチャネル当たりの輝度[Y,Y,Yは、上述のシステムを解くことによって見出すことができる。
チャネル当たりの輝度地が、MTTP3からXYZへの変換Mを定義するべく使用された。この変換は、以下のように定義することができる。
Figure 0007203758000009
これは、各チャネルがその対応原色の輝度を格納する入力画像が、当該画像に格納された輝度で当該原色の色度にマッピングされる必要があることを意味する。この変換は、以下を使用して見出すことができる。
Figure 0007203758000010
上述した色度及び白色点について、これがMに対して以下の結果を与える。
Figure 0007203758000011
同様に、XYZからMTTP3への逆マッピングが以下のように表現できる。
Figure 0007203758000012
コンテンツマッピング
コンテンツマッピングブロック78が、入力として線形入力画像を取得し、光操舵投影機と非光操舵投影機との間の分割、及び必要なパワーレベルを決定する。
図23は、コンテンツマッピングブロック78を実装するべく適用され得る一例のアルゴリズム78Aの詳細を示す。アルゴリズム78Aはまず、線形入力76を取得して、システムパワー予算の条件で入力画像が実現可能か否かをチェックする。これは、現在のところ、パワーヒューリスティックを使用して行われる。否(No)の場合、入力はトーンマッピング114される。トーンマッピング114は、例えば、簡単なスケーリングを含む。ただし、より洗練されたトーンマッピングアルゴリズムも適用してよい。結果として得られた目標画像82(通過されるかトーンマッピングされるかのいずれか)がその後、引き続き手のステージにとっての目標光照射野となる。実現可能な入力コンテンツに対しては、線形入力画像と目標画像とは同一である。目標画像82はその後、目標光照射野画像80を生成するべく使用される。目標画像82は、非操舵システムと操舵システムとの間で分割される。分割機能116が、目標光照射野80、及びパワー制御98のための情報を生成する。
操舵と非操舵との間の分割は、例えば、目標画像を指数まで引き上げて(γ>1)光操舵画像を決定することによって達成することができる。これは、光操舵投影機データを正確に再現するわけではない。ハイライトを強調するべくそのコンテンツが破壊されるからである。正確に(かつ光効率的に)分割することは、画像形成のほとんどに対して、しきい照明レベル(例えば48cd/m)までは非操舵投影機を使用し、照明レベルが増加するにつれて光操舵投影機において徐々にフェージングすることによって得られる。例えば、図24は、操舵と非操舵との分割の一例の、cd/m単位の目標輝度の関数としてのグラフである。なお、対数・対数スケールである。
図24の一例の実施形態において、分割機能116は、操舵投影機への引き継ぎが開始されるポイントである47cd/mまでの画像形成の90%に対し、非操舵投影機を利用しようと試みる。ペイントされた(painted-on)外観を有する明るい画像特徴部を回避するべく、すべてのピクセルにおいて画像の一部分に対し、操舵投影機を使用することが望ましい。分割は1Dであり、一関数として又はLUTとして実装してよい。
フォワードモデル
図25は、フォワードモデルアルゴリズムブロック84を実装するべく適用され得る一例のアルゴリズム84Aの図示である。フォワードモデルブロック84は、入力として目標光照射野80を、コンテンツマッピングブロック78から取得し、それを使用して光システムの出力を予測する。これを、予測光照射野86と称する。
予測光照射野86を計算することは有利となる。目標光照射野のすべてが達成可能というわけではないからである。予測光照射野86は、正確な振幅パターンを計算するべく使用することができる。予測光照射野86は、目標光照射野80と比較して、実際の光照射野がどれほど目標光照射野と異なるのかを特定することができる。アルゴリズム84Aは、キャリブレーション済みシステムPSF122及び実際の光照射野(操舵)124、並びに未操舵コンポーネント126を、全体的なパワーレベルを説明するように注意しながら、出力画像に適用することを含む。
フォワードモデルは、目標光照射野80を入力として取得し、ディフューザによるぼかし後の実際の光照射野の結果を予測するべくシステムPSF122を目標光照射野80に適用する。RGB投影機システムのPSFの一例は、4×4パターンに並べて図26に示される。赤色チャネル、緑色チャネル及び青色チャネルに対するPSFが、異なるサイズ及び/又は形状を有し得る。
その結果得られた光照射野にはこの場合、未操舵コンポーネント126の効果が加えられる。これは、ぼかし後に加えられる。この画像の測定は、ディフューザを通過した後になって初めて達成されるからである。現行のシステムでは、固定パターンが高度の不均一となる。ファイバ結合システムにおいては、ガウス分布に近似し得る。
位相パターン計算
位相パターン生成ブロック88は、目標光照射野を達成するのに必要な位相パターンを計算する。図27は、位相パターン計算ブロック88を与えるべく適用され得る一例のアルゴリズム88Aを示す。
振幅変調器上で画像を正確にフレーミングして高い回折次数を分離するべく、目標光照射野80を前処理することが望ましい。これは、3つのチャネルをアラインさせるべく意図されたキャリブレーション済み歪みによるワーピング132を含む。例えば、次元W×Hの目標画像の各点[x,y]を、2Dの3次多項式によってソース画像における点[x,y]にマッピングすることができる。
Figure 0007203758000013
ソース画像はその後、各目的ピクセルx,yに対応する[x,y]において線形サンプリングされ得る。目標座標([x,y]座標)の正規化により、ソース画像と目標画像との分解能不整合に対してもマッピングを計算することができる。10×1フィットパラメータベクトルβ及びβが、キャリブレーションから取得される。ひとたびワーピング及び再サンプリングがされると、その結果得られた画像は、(光学的構成に応じて)循環シフト134され、([0.001,1000.0]のような)適切な範囲にクランプ136される。この時点で、位相計算アルゴリズム142が適用される。そして、最終的な位相パターンが、位相パネルの出力範囲にマッピングされる。
振幅パターン生成
振幅パターン生成ブロック90が、目標画像及び予測光照射野を入力として使用することにより、操舵投影機及び非操舵投影機に対する振幅パターンを決定する。図28は、振幅パターン生成ブロック90を実装するべく与えられる一例のアルゴリズム90Aを示す。
アルゴリズム90Aはまず、非操舵照明152を予測光照射野86に加える。これは、画面上で利用可能な光の合計となる。目標画像82は、予測光照射野86を説明するべく調整される。共通振幅パターン160がその後、光操舵及び非光操舵振幅変調器の双方に対して計算される。その結果得られた画像が、透過率の有効範囲(例えば[0,1])にクランプ156される(又は範囲外領域におけるテクスチャを保持するべくトーンマッピングされ得る)。任意の必要なLUTがその後、振幅SLMの応答を説明するべく適用158され、そのパターンがその後、投影ヘッドに直接送信される。操舵投影機と非操舵投影機とを空間的にアラインさせるべく、アラインメントワーピング162を、キャリブレーション済みピクセル対応部に基づいて使用することができる。アラインメントワーピング162は、位相パターン生成ブロックと同じ3次ワーピング関数を使用することができる。これにより、光操舵(LS)振幅パターン94、及び非操舵(NS)振幅パターン96が得られる。
結果
図29A及び29Bは、シネマ投影機とプロトタイプ光操舵投影機とを並べて比較する写真を示す。双方とも、レンズ外の同じ光パワーにより、このセクションで導入されるアルゴリズムフレームワークを使用して処理されたビデオを再生する。図29A及び29Bはそれぞれ、レンズ外の同じ光パワーによる光操舵プロトタイプ(左)及び伝統的投影機(右)に表示された映画からの一フレームを示す。光操舵投影機(左)は、比較投影機のコントラスト及びピーク輝度を、約20倍だけ有意に超越している(光操舵投影機:1,000cd/m;右の投影機:48cd/m)。
用語の解釈
本明細書及び特許請求の範囲全体を通して、文脈が明らかにそうでないことを要求しない限り、
・「含む」、「備える」等は、排他的又は網羅的な意味とは対照的に、包括的な意味、すなわち「含むが、これに限られない」との意味に解釈するものとし、
・「接続され」、「結合され」又はこれらの任意の変形は、2つ以上の要素間の直接又は間接いずれかの任意の接続又は結合を意味し、当該要素間の結合又は接続は物理的、論理的、又はこれらの組み合わせとしてよく、
・「ここに」、「上に」、「下に」、及び同様の意味の言葉は、本明細書を記載するべく使用されるとき、本明細書全体に言及されるべきであって、本明細書のいずれかの特定の部分に言及されるべきではなく、
・2つ以上の項目のリストを言及する「又は」及び「若しくは」は、当該単語の以下の解釈のすべて、すなわち、当該リストの任意の項目、当該リストのすべての項目、及び当該リストの項目の任意の組み合わせをカバーし、
・単数形「一の」、「一つの」、及び「当該」、「この」、「その」はまた、任意の適切な複数形の意味も含む。
本明細書及び任意の添付の特許請求の範囲において使用される「縦」、「横」、「水平」、「上方」、「下方」、「前」、「フォワード」、「後」、「バックワード」、「内」、「外」、「垂直」、「横切る」、「左」、「右」、「前」、「後」、「頂」、「底」、「下」、「上」、「下」等のような方向を示す言葉は(存在する場合)、記載され図示される装置の特定の方向に依存する。ここに記載される主題は、様々な代替配向を仮定し得る。したがって、これらの方向の用語は、厳密に定義されてはおらず、狭く解釈するべきではない。
本発明の実施形態は、特定的に設計されたハードウェア、構成可能ハードウェア、データプロセッサ上で実行可能なソフトウェア(オプションで「ファームウェア」を含み得る)の提供によって構成されるプログラム可能データプロセッサ、又は、ここに詳細に説明される方法における一以上のステップ及び/若しくはこれらの2つ以上の組み合わせを行うべく特定的にプログラムされ、構成され、若しくは構築される専用コンピュータ若しくはデータプロセッサを使用して実装することができる。特定的に設計されたハードウェアの例は、論理回路、特定用途向け集積回路(「ASIC」)、大規模集積回路(「LSI」)、超大規模集積回路(「VLSI」)等である。構成可能ハードウェアの例は、プログラマブルアレイロジック(「PAL」)、プログラマブルロジックアレイ(「PLA」)、フィールドプログラマブルゲートアレイ(「FPGA」)のような一以上のプログラム可能論理デバイスである。プログラム可能データプロセッサの例は、マイクロプロセッサ、デジタル信号プロセッサ(「DSP」)、組込みプロセッサ、グラフィックスプロセッサ、数学コプロセッサ、汎用コンピュータ、サーバコンピュータ、クラウドコンピュータ、メインフレームコンピュータ、コンピュータワークステーション等である。例えば、投影機の制御回路における一つ以上のデータプロセッサは、プロセッサにアクセス可能なプログラムメモリ内のソフトウェア命令を実行することにより、ここに記載の方法を実装することができる。
処理は集中又は分散されてよい。処理が分散される場合、ソフトウェア及び/又はデータを含む情報が集中して保持され又は分散され得る。かかる情報は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)若しくはインターネットのような通信ネットワーク、有線若しくは無線のデータリンク、電磁信号、又は他のデータ通信チャネルを経由して異なる機能ユニット間で交換され得る。
例えば、プロセス又はブロックが所与の順序で提示されるが、代替例は、異なる順序でステップを有するルーチンを行うこと又はブロックを有するシステムを用いることができ、いくつかのプロセス又はブロックは、代替又はサブコンビネーションを与えるべく削除、移動、追加、細分化、結合、及び/又は修正することができる。これらのプロセス又はブロックはそれぞれが、様々な異なる態様で実装することができる。また、プロセス又はブロックが直列的に行われるように示されることがあるが、これらのプロセス又はブロックは、その代わりに、並列して行い又は異なる時に行うこともできる。
加えて、要素が連続して実行されるように示される場合があるが、その代わりに同時に又は異なる順序で実行されてよい。したがって、以下の特許請求の範囲は、意図された範囲内にあるそのようなすべての変形例を含むと解釈されることを意図する。
ソフトウェア及び他のモジュールは、サーバ、ワークステーション、パーソナルコンピュータ、タブレットコンピュータ、画像データエンコーダ、画像データデコーダ、ビデオ投影機、オーディオビジュアル受信器、(テレビのような)ディスプレイ、デジタルシネマ投影機、メディアプレーヤ、及びここに記載される目的に適した他のデバイスに常駐してよい。
本発明はまた、プログラム製品の形態で与えられてよい。プログラム製品は、データプロセッサによって実行されると、データプロセッサに本発明の方法を実行させるコンピュータ可読命令のセットを担持する任意の非一時的媒体を含んでよい。本発明に係るプログラム製品は、多種多様な形態のいずれかとしてよい。プログラム製品は、例えば、フロッピーディスケットを含む磁気データ記憶媒体、ハードディスクドライブ、CD ROMを含む光学データ記憶媒体、DVD、ROMを含む電子データ記憶媒体、フラッシュRAM、EPROM、有線又は事前プログラムチップ(例えばEEPROM半導体チップ)、ナノテクノロジーメモリ等のような非一時的媒体を含み得る。プログラム製品上のコンピュータ可読信号は、オプションで圧縮又は暗号化してよい。
いくつかの実施形態では、本発明はソフトウェアで実装されてよい。大幅に明確にすると、「ソフトウェア」はプロセッサ上で実行される任意の命令を含み、ファームウェア、常駐ソフトウェア、マイクロコード等を含み得るがこれらに限定されない。処理ハードウェア及びソフトウェアは双方とも、当業者に知られているように、全体的又は部分的に集中又は分散(又はこれらの組み合わせ)されてよい。例えば、ソフトウェア及び他のモジュールは、ローカルメモリを介し、ネットワークを介し、分散コンピューティングの文脈におけるブラウザ若しくは他のアプリケーションを介し、又は上述した目的に適した他の手段を介し、アクセスすることができる。
コンポーネント(例えばソフトウェアモジュール、プロセッサ、アセンブリ、光変調器、レンズ、投影機ヘッド、プリズム、デバイス、回路等)が上で参照される場合、そうでないことが示されない限り、そのコンポーネントへの参照(「手段」への参照も含む)は、そのコンポーネントの均等物として、記載のコンポーネントの機能を実行する任意のコンポーネントを含むもの(すなわち機能的に均等)と解釈されるべきである。本発明の図示された典型的な実施形態における機能を実行する開示の構造に構造的に均等とはいえないコンポーネントも含まれる。
システム、方法及び装置の特定の例が、例示目的でここに記載されてきた。これらは複数の例にすぎない。ここに与えられる技術は、上述した例のシステム以外のシステムに適用することもできる。本発明の実施内で、多くの代替、修正、追加、省略及び置換が可能である。本発明は、記載の実施形態に対する変形例を含む。その変形例は当業者にとって明らかであり、特徴、要素及び/若しくは工程を、均等な特徴、要素及び/若しくは工程に置換すること、異なる実施形態からの特徴、要素及び/若しくは工程を混合及びマッチングすること、ここに記載の実施形態からの特徴、要素及び/若しくは工程を、他の技術の特徴、要素及び/若しくは工程と組み合わせること、並びに/又は記載の実施形態からの特徴、要素及び/若しくは工程を省略し組み合わせることによって得られる変形例を含む。
様々な特徴が、「いくつかの実施形態」に存在するものとしてここに記載される。かかる特徴は必須ではなく、すべての実施形態に存在するわけではない。本発明の実施形態は、そのような特徴のゼロ、任意の一つ、又は2つ以上の任意の組み合わせを含み得る。これは、かかる特徴の所定のものが、かかる特徴の他のものと不適合となる範囲にのみ制限される。当業者にとって、かかる不適合な特徴を組み合わせる実用的な実施形態を構築することが不可能という意味である。したがって、「いくつかの実施形態」が特徴Aを所有し、かつ、「いくつかの実施形態」が特徴Bを所有するとの記載は、発明者が(当該記載がそうではないことを述べない限り、又は特徴Aと特徴Bとが基本的に不適合とはならない限り)特徴Aと特徴Bとを組み合わせた実施形態も意図しているという明示として解釈すべきである。
したがって、以下の添付の特許請求の範囲及びその後に導入される特許請求の範囲は、合理的に推測され得るすべてのそのような修正、置換、追加、省略及びサブコンビネーションを含むと解釈されることが意図される。特許請求の範囲は、複数例に記載される好ましい実施形態によって限定されるべきではなく、全体として記載に一致する最も広い解釈が与えられるべきである。

Claims (42)

  1. 画像を形成するべく光を投影するように動作可能な画像投影システムであって、
    第1変調光を画面に投影するべく動作可能であり、第1空間光変調器を含む第1投影機と、
    第2変調光を前記第1変調光に重畳させるように前記画面に投影するべく動作可能であり、光操舵モジュールを含む第2投影機と、
    表示される目標画像のための目標照明レベルを定義するピクセル値を含む画像データを処理するべく、並びに前記第1空間光変調器及び前記光操舵モジュールのための制御信号を生成するべく動作可能な制御器と
    を含み、
    前記処理は、光出力を前記第1投影機と前記第2投影機との間で分割することにより、前記第2変調光が前記画像のピクセルのそれぞれに対する前記光の一部分を含むとともに、前記第1変調光が前記画像の前記ピクセルに対する前記光の大部分を構成する態様となり、前記光の大部分に対しては前記目標照明レベルが第1しきいレベル未満となる、画像投影システム。
  2. 前記制御器は、前記目標画像を定義する前記ピクセル値をパワーγまで上昇させることを含む処理によって修正された目標画像を生成し、前記第2投影機に対する制御信号を前記修正された目標画像に基づかせるべく構成され、ここで、γ>1である、請求項1に記載の画像投影システム。
  3. 前記制御器は、前記分割を、前記目標照明レベルに基づいてピクセル毎に行うべく構成される、請求項1に記載の画像投影システム。
  4. 前記制御器は、前記第1しきいレベル未満の目標照明レベルを有するピクセルに対し、前記第1変調光の輝度に対する前記第2変調光の輝度の固定比を維持するべく構成される、請求項2に記載の画像投影システム。
  5. 前記制御器は、前記第1しきいレベルを超過する目標照明レベルを有するピクセルに対し、前記第1変調光に対する前記第2変調光の比が前記固定比を超過するように、前記第2投影機を制御するべく構成される、請求項4に記載の画像投影システム。
  6. 前記固定比は20%未満である、請求項4又は5に記載の画像投影システム。
  7. 前記第2変調光の任意のピクセルに対する前記第2投影機による最大達成可能照明レベルが、第1変調光の任意のピクセルに対する前記第1投影機による最大到達可能照明レベルよりも少なくとも10倍大きい、請求項1から6のいずれか一項に記載の画像投影システム。
  8. 前記制御器はルックアップテーブル(LUT)を含み、
    前記制御器は、前記LUTからの出力に基づいて前記光出力を前記第1投影機と前記第2投影機との間で分割するべく構成される、請求項1から7のいずれか一項に記載の画像投影システム。
  9. 前記第2投影機は第2空間光変調器を含み、
    前記制御器は、前記画像データにアラインメントワーピングを適用してワーピングされた画像データを得て、前記ワーピングされた画像データを使用して前記第2空間光変調器を駆動するように構成される、請求項1から7のいずれか一項に記載の画像投影システム。
  10. 前記制御器は、前記目標画像の表示が実現可能か否かを決定するべくチェックを行うように構成され、
    前記チェックにより前記目標画像の表示が実現可能ではないと決定された場合、前記制御器は、トーンマッピングされた画像データを得るべく前記画像データにトーンマッピングを行い、前記トーンマッピングされた画像データによる処理を続けるべく構成される、請求項1から9のいずれか一項に記載の画像投影システム。
  11. 前記第1投影機は広帯域光源を含む、請求項1から10のいずれか一項に記載の画像投影システム。
  12. 前記広帯域光源は、前記第1空間光変調器を均一に照明するべく配列される、請求項11に記載の画像投影システム。
  13. 前記広帯域光源は白色光源を含む、請求項11又は12に記載の画像投影システム。
  14. 前記第2投影機は狭帯域光源を含む、請求項1から13のいずれか一項に記載の画像投影システム。
  15. 前記狭帯域光源は一以上のレーザダイオードを含む、請求項14に記載の画像投影システム。
  16. 前記狭帯域光源は、赤色発光ダイオード、緑色発光ダイオード及び青色発光ダイオードを含む、請求項15に記載の画像投影システム。
  17. 前記光操舵モジュールは複数の位相変調器を含み、前記赤色発光ダイオード、緑色発光ダイオード及び青色発光ダイオードにより発光される光はそれぞれが、前記複数の位相変調器の第1位相変調器、第2位相変調器及び第3位相変調器により操舵される、請求項16に記載の画像投影システム。
  18. 前記制御器は、前記光操舵モジュールによって操舵されてきた光に対する予測光照射野を計算するフォワードモデルを実装し、
    前記フォワードモデルは、前記赤色発光ダイオード、緑色発光ダイオード及び青色発光ダイオードにより発光される光に対する別個の点拡がり関数を含む、請求項16又は17に記載の画像投影システム。
  19. 前記フォワードモデルは反復モデルである、請求項18に記載の画像投影システム。
  20. 前記フォワードモデルは、前記光操舵モジュールからの光の操舵済みコンポーネントと、前記光操舵モジュールからの光の未操舵コンポーネントとをモデリングする、請求項18又は19に記載の画像投影システム。
  21. 前記第1投影機と前記第2投影機とは、共通投影機ヘッドを共有する、請求項1から20のいずれか一項に記載の画像投影システム。
  22. 画像を形成するべく光を投影する画像投影方法であって、
    第1空間光変調器を含む第1投影機を使用して第1変調光を画面に投影することと、
    光操舵モジュールを含む第2投影機を使用して第2調光を前記第1変調光に重畳させるように前記画面に投影することと、
    表示される目標画像に対して目標照明レベルを定義するピクセル値を含む画像データを処理することであって、前記処理は、光出力を前記第1投影機と前記第2投影機との間で分割することにより、前記第2変調光が前記画像のピクセルのそれぞれに対する前記光の一部分を含むとともに、前記第1変調光が前記画像の前記ピクセルに対する前記光の大部分を構成する態様となり、前記光の大部分に対しては前記目標照明レベルが第1しきいレベル未満となることと、
    前記第1空間光変調器及び前記光操舵モジュールのための制御信号を生成することと
    を含む、画像投影方法。
  23. 前記目標画像を定義する前記ピクセル値をパワーγまで上昇させることを含む処理によって修正された目標画像を生成し、前記第2投影機のための制御信号を前記修正された目標画像に基づかせることをさらに含み、ここで、γ>1である、請求項22に記載の画像投影方法。
  24. 前記分割は、前記目標照明レベルに基づいてピクセル毎に行われる、請求項22に記載の画像投影方法。
  25. 前記第1しきいレベル未満の目標照明レベルを有するピクセルに対し、前記第1変調光の輝度に対する前記第2変調光の輝度の固定比を維持することをさらに含む、請求項23に記載の画像投影方法。
  26. 前記第1しきいレベルを超過する目標照明レベルを有するピクセルに対し、前記第1変調光に対する前記第2変調光の比が前記固定比を超過するように、前記第2投影機を制御することをさらに含む、請求項25に記載の画像投影方法。
  27. 前記固定比は20%未満である、請求項25又は26に記載の画像投影方法。
  28. 前記第2変調光の任意のピクセルに対する前記第2投影機による最大達成可能照明レベルが、第変調光の任意のピクセルに対する前記第投影機による最大到達可能照明レベルよりも少なくとも10倍大きい、請求項22から27のいずれか一項に記載の画像投影方法。
  29. ルックアップテーブルからの出力に基づいて前記光出力を前記第1投影機と前記第2投影機との間で分割することをさらに含む、請求項22から28のいずれか一項に記載の画像投影方法。
  30. 前記画像データにアラインメントワーピングを適用してワーピングされた画像データを得ることと、
    前記ワーピングされた画像データを使用して前記第2投影機の第2空間光変調器を駆動することと
    をさらに含む、請求項22から28のいずれか一項に記載の画像投影方法。
  31. 前記目標画像の表示が実現可能か否かを決定するべくチェックを行い、前記チェックにより前記目標画像の表示が実現可能ではないと決定された場合、トーンマッピングされた画像データを得るべく前記画像データにトーンマッピングを行い、前記トーンマッピングされた画像データによる処理を続けることをさらに含む、請求項22から30のいずれか一項に記載の画像投影方法。
  32. 前記第1投影機は広帯域光源を含む、請求項22から31のいずれか一項に記載の画像投影方法。
  33. 前記第1空間光変調器を均一に照明するように前記広帯域光源を動作させることをさらに含む、請求項32に記載の画像投影方法。
  34. 前記広帯域光源は白色光源を含む、請求項32又は33に記載の画像投影方法。
  35. 前記第2投影機は狭帯域光源を含む、請求項22から34のいずれか一項に記載の画像投影方法。
  36. 前記狭帯域光源は一以上のレーザダイオードを含み、
    前記画像投影方法は、前記光操舵モジュールの一以上の位相変調を照明するように前記レーザダイオードを動作させることを含む、請求項35に記載の画像投影方法。
  37. 前記狭帯域光源は、赤色発光ダイオード、緑色発光ダイオード及び青色発光ダイオードを含む、請求項36に記載の画像投影方法。
  38. 前記光操舵モジュールの複数の位相変調器の第1の位相変調器、第2の位相変調器及び第3の位相変調器それぞれを使用して、前記赤色発光ダイオード、緑色発光ダイオード及び青色発光ダイオードにより発光される光を操舵することをさらに含む、請求項37に記載の画像投影方法。
  39. 前記光操舵モジュールによって操舵されてきた光に対する予測光照射野を計算するフォワードモデルを実装することをさらに含み、
    前記フォワードモデルは、前記赤色発光ダイオード、緑色発光ダイオード及び青色発光ダイオードにより発光される光に対する別個の点拡がり関数を含む、請求項37又は38に記載の画像投影方法
  40. 前記フォワードモデルは反復モデルである、請求項39に記載の画像投影方法。
  41. 前記フォワードモデルは、前記光操舵モジュールからの光の操舵済みコンポーネントと、前記光操舵モジュールからの光の未操舵コンポーネントとをモデリングする、請求項39又は40に記載の画像投影方法
  42. 前記第1投影機と前記第2投影機とは、共通投影機ヘッドを共有する、請求項22から41のいずれか一項に記載の画像投影方法。
JP2019561900A 2017-05-12 2018-05-11 画像を形成するべく光を投影する画像投影システム及び画像投影方法 Active JP7203758B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022209183A JP2023052097A (ja) 2017-05-12 2022-12-27 画像投影システム及び画像投影方法、コンテンツマッピングモジュール及びコンテンツマッピングの方法、並びにハイライト投影システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762505827P 2017-05-12 2017-05-12
US62/505,827 2017-05-12
PCT/CA2018/050564 WO2018205036A1 (en) 2017-05-12 2018-05-11 High brightness projection systems and methods

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022209183A Division JP2023052097A (ja) 2017-05-12 2022-12-27 画像投影システム及び画像投影方法、コンテンツマッピングモジュール及びコンテンツマッピングの方法、並びにハイライト投影システム

Publications (2)

Publication Number Publication Date
JP2020520179A JP2020520179A (ja) 2020-07-02
JP7203758B2 true JP7203758B2 (ja) 2023-01-13

Family

ID=64104204

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019561900A Active JP7203758B2 (ja) 2017-05-12 2018-05-11 画像を形成するべく光を投影する画像投影システム及び画像投影方法
JP2022209183A Pending JP2023052097A (ja) 2017-05-12 2022-12-27 画像投影システム及び画像投影方法、コンテンツマッピングモジュール及びコンテンツマッピングの方法、並びにハイライト投影システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022209183A Pending JP2023052097A (ja) 2017-05-12 2022-12-27 画像投影システム及び画像投影方法、コンテンツマッピングモジュール及びコンテンツマッピングの方法、並びにハイライト投影システム

Country Status (6)

Country Link
US (1) US11611728B2 (ja)
EP (1) EP3622707A4 (ja)
JP (2) JP7203758B2 (ja)
CN (2) CN114401389B (ja)
CA (1) CA3059498A1 (ja)
WO (1) WO2018205036A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12133029B2 (en) 2023-02-16 2024-10-29 Mtt Innovation Incorporated High brightness projection systems and methods

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3055993B1 (en) * 2013-10-10 2020-03-18 Dolby Laboratories Licensing Corp. Displaying dci and other content on an enhanced dynamic range projector
US11176694B2 (en) 2018-10-19 2021-11-16 Samsung Electronics Co., Ltd Method and apparatus for active depth sensing and calibration method thereof
US10880528B1 (en) * 2019-10-31 2020-12-29 Christie Digital Systems Usa, Inc. Device, system and method for modulating light using a phase light modulator and a spatial light modulator
CN116868563A (zh) * 2021-02-16 2023-10-10 Mtt创新公司 用于光转向投影仪的贴片校正
CN117063226A (zh) * 2021-03-22 2023-11-14 三星电子株式会社 提供高动态范围图像的方法和支持该方法的电子装置
US11582433B2 (en) * 2021-04-15 2023-02-14 GM Global Technology Operations LLC Head up display speckle contrast determination systems and methods
CN113518213B (zh) * 2021-04-16 2022-08-26 华东师范大学 一种基于4k数字微镜芯片的实时动态视频显示系统
CN115705819A (zh) * 2021-07-08 2023-02-17 深圳市奥拓电子股份有限公司 一种led显示四点交织脉宽调制系统、方法及存储介质
WO2023161237A1 (en) 2022-02-22 2023-08-31 Barco N.V. Apparatus and methods for adjusting digital images

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011033805A (ja) 2009-07-31 2011-02-17 Sanyo Electric Co Ltd 映像制御装置、投写型映像表示装置および映像表示システム
JP2014517337A (ja) 2011-04-19 2014-07-17 ドルビー ラボラトリーズ ライセンシング コーポレイション 高輝度投影ディスプレイ及び関連方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5612753A (en) * 1995-01-27 1997-03-18 Texas Instruments Incorporated Full-color projection display system using two light modulators
US5905545A (en) * 1995-01-27 1999-05-18 Texas Instruments Incorporated Full-color projection display system using two light modulators
JP4096356B2 (ja) * 2002-10-07 2008-06-04 ソニー株式会社 プロジェクタ、および位相差板の配置方法
JP4120414B2 (ja) * 2003-02-07 2008-07-16 三菱電機株式会社 投写型表示装置及び画像信号の変換方法
JP3997958B2 (ja) * 2003-07-16 2007-10-24 セイコーエプソン株式会社 プロジェクタ
WO2005099386A2 (en) * 2004-04-13 2005-10-27 Board Of Regents, The University Of Texas System Holographic projector
KR100814644B1 (ko) * 2006-07-31 2008-03-18 주식회사 나노브릭 이미지 프로젝션 시스템 및 방법
DE102007018266A1 (de) * 2007-04-10 2008-10-16 Seereal Technologies S.A. Holographisches Projektionssystem mit einer optischen Wellennachführung und Mitteln zum Korrigieren der holographischen Rekonstruktion
GB0719721D0 (en) * 2007-10-09 2007-11-21 Seos Ltd Image display apparatus
CN201097088Y (zh) * 2007-11-08 2008-08-06 北京中视中科光电技术有限公司 一种用于投影系统的光源装置及投影显示装置
US7551341B1 (en) * 2008-01-28 2009-06-23 Dolby Laboratories Licensing Corporation Serial modulation display having binary light modulation stage
US20110164191A1 (en) * 2010-01-04 2011-07-07 Microvision, Inc. Interactive Projection Method, Apparatus and System
EP2564374B1 (en) * 2010-04-18 2014-11-19 Imax Corporation Double stacked projection
CN103119946A (zh) * 2010-06-21 2013-05-22 图象公司 双堆叠式投影
US8444275B2 (en) * 2010-08-12 2013-05-21 Eastman Kodak Company Light source control for projector with multiple pulse-width modulated light sources
EP2745505B1 (en) * 2011-08-16 2020-02-19 Imax Theatres International Limited Hybrid image decomposition and projection
FR2986339B1 (fr) * 2012-01-31 2015-05-29 Centre Nat Rech Scient Systeme d'affichage d'images hautes luminances et procede associe
US8905548B2 (en) * 2012-08-23 2014-12-09 Omnivision Technologies, Inc. Device and method for reducing speckle in projected images
JP6135389B2 (ja) * 2012-09-19 2017-05-31 船井電機株式会社 画像表示装置および光学部品
CN104036475A (zh) * 2013-07-22 2014-09-10 成都智慧星球科技有限公司 适应于任意投影机群及投影屏幕的高鲁棒性几何校正方法
MY177315A (en) * 2013-07-30 2020-09-11 Dolby Laboratories Licensing Corp Projector display systems having non-mechanical mirror beam steering
US9049413B2 (en) * 2013-07-30 2015-06-02 Dolby Laboratories Licensing Corporation Multiple stage modulation projector display systems having efficient light utilization
EP3055993B1 (en) * 2013-10-10 2020-03-18 Dolby Laboratories Licensing Corp. Displaying dci and other content on an enhanced dynamic range projector
CN110286484A (zh) 2013-10-20 2019-09-27 Mtt创新公司 光场投影装置及方法
EP3143763B8 (en) * 2014-05-15 2023-12-27 MTT Innovation Incorporated Light projector and method for displaying an image
WO2015184549A1 (en) * 2014-06-03 2015-12-10 Mtt Innovation Incorporated Efficient, dynamic, high contrast lensing with applications to imaging, illumination and projection
EP3161557B1 (en) * 2014-06-27 2019-12-11 Dolby Laboratories Licensing Corporation Light recycling for projectors with high dynamic range
DE102015110502A1 (de) * 2014-07-04 2016-01-07 Seereal Technologies S.A. Projektionsvorrichtung und Verfahren zum Darstellen einer zweidimensionalen und/oder dreidimensionalen Szene oder von Inhalt
US9462239B2 (en) * 2014-07-15 2016-10-04 Fuji Xerox Co., Ltd. Systems and methods for time-multiplexing temporal pixel-location data and regular image projection for interactive projection
CN106796355B (zh) 2014-07-31 2020-09-22 Mtt创新公司 用于自由曲面透镜构造的数值方法:面积参数化自由曲面透镜构造
US10230928B2 (en) * 2014-10-27 2019-03-12 Texas Instruments Incorporated Color recapture using polarization recovery in a color-field sequential display system
WO2017013862A1 (ja) * 2015-07-17 2017-01-26 日本電気株式会社 投射装置、投射方法およびプログラム記憶媒体
CA2999353A1 (en) 2015-10-06 2017-04-13 Mtt Innovation Incorporated Projection systems and methods
GB201519103D0 (en) * 2015-10-28 2015-12-16 Rockwell Collins Inc Image modulation apparatus
JP2017156581A (ja) * 2016-03-02 2017-09-07 キヤノン株式会社 投影装置及びその制御方法
ES2831431T3 (es) * 2016-09-30 2021-06-08 Dolby Laboratories Licensing Corp Combinación de haces para proyección resaltada

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011033805A (ja) 2009-07-31 2011-02-17 Sanyo Electric Co Ltd 映像制御装置、投写型映像表示装置および映像表示システム
JP2014517337A (ja) 2011-04-19 2014-07-17 ドルビー ラボラトリーズ ライセンシング コーポレイション 高輝度投影ディスプレイ及び関連方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12133029B2 (en) 2023-02-16 2024-10-29 Mtt Innovation Incorporated High brightness projection systems and methods

Also Published As

Publication number Publication date
EP3622707A1 (en) 2020-03-18
CA3059498A1 (en) 2018-11-15
CN110651471A (zh) 2020-01-03
JP2023052097A (ja) 2023-04-11
JP2020520179A (ja) 2020-07-02
US11611728B2 (en) 2023-03-21
CN114401389B (zh) 2024-03-22
US20230199156A1 (en) 2023-06-22
US20200137362A1 (en) 2020-04-30
WO2018205036A1 (en) 2018-11-15
CN114401389A (zh) 2022-04-26
CN110651471B (zh) 2022-02-25
EP3622707A4 (en) 2021-05-12

Similar Documents

Publication Publication Date Title
JP7203758B2 (ja) 画像を形成するべく光を投影する画像投影システム及び画像投影方法
JP7046995B2 (ja) プロジェクタ
JP7119047B2 (ja) 画像データによって画定された画像を表示するための方法
JP7441894B2 (ja) 拡張ダイナミックレンジ・プロジェクタにおけるdciおよびその他のコンテンツの表示
JP5973403B2 (ja) デュアル変調器ディスプレイ上での高速画像レンダリング
US20120281031A1 (en) Multiple display channel system with high dynamic range
JP2011514546A5 (ja)
US11399164B2 (en) System and method for increased spatial resolution
WO2015037218A1 (ja) 画像表示装置、および画像表示装置の制御方法
US12133029B2 (en) High brightness projection systems and methods
JP2013205572A (ja) 画像表示装置
Damberg Computational projection display: towards efficient high brightness projection in cinema
US20240163408A1 (en) Projection system and method of driving a projection system with field mapping
US10084997B1 (en) Adaptive optics for a video projector
CN116965013A (zh) 投影系统和利用场映射驱动投影系统的方法
JP2008225031A (ja) プロジェクタ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210506

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221227

R150 Certificate of patent or registration of utility model

Ref document number: 7203758

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150