JP6917378B2 - マルチビューディスプレイ並びに関連するシステム及び方法 - Google Patents

マルチビューディスプレイ並びに関連するシステム及び方法 Download PDF

Info

Publication number
JP6917378B2
JP6917378B2 JP2018534458A JP2018534458A JP6917378B2 JP 6917378 B2 JP6917378 B2 JP 6917378B2 JP 2018534458 A JP2018534458 A JP 2018534458A JP 2018534458 A JP2018534458 A JP 2018534458A JP 6917378 B2 JP6917378 B2 JP 6917378B2
Authority
JP
Japan
Prior art keywords
display
layer
target pattern
view
print
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018534458A
Other languages
English (en)
Other versions
JP2018537046A (ja
JP2018537046A5 (ja
Inventor
トーマス・アンソニー・バラン
マシュー・ワッゲナー・ヒルシュ
ダニエル・レイティンガー
Original Assignee
ファゾム・オプティクス・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファゾム・オプティクス・インコーポレイテッド filed Critical ファゾム・オプティクス・インコーポレイテッド
Publication of JP2018537046A publication Critical patent/JP2018537046A/ja
Publication of JP2018537046A5 publication Critical patent/JP2018537046A5/ja
Application granted granted Critical
Publication of JP6917378B2 publication Critical patent/JP6917378B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41MPRINTING, DUPLICATING, MARKING, OR COPYING PROCESSES; COLOUR PRINTING
    • B41M3/00Printing processes to produce particular kinds of printed work, e.g. patterns
    • B41M3/008Sequential or multiple printing, e.g. on previously printed background; Mirror printing; Recto-verso printing; using a combination of different printing techniques; Printing of patterns visible in reflection and by transparency; by superposing printed artifacts
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41MPRINTING, DUPLICATING, MARKING, OR COPYING PROCESSES; COLOUR PRINTING
    • B41M3/00Printing processes to produce particular kinds of printed work, e.g. patterns
    • B41M3/06Veined printings; Fluorescent printings; Stereoscopic images; Imitated patterns, e.g. tissues, textiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B44DECORATIVE ARTS
    • B44FSPECIAL DESIGNS OR PICTURES
    • B44F7/00Designs imitating three-dimensional effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Textile Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Description

関連出願の相互参照
本願は、米国特許法第119条下で、2015年9月17日に出願された「Techniques for Optimized Displays」という名称の米国仮特許出願第62/219,767号明細書、2015年10月23日に出願された「On Optimized Displays」という名称の米国仮特許出願第62/245,620号明細書、及び2016年5月21日に出願された「PRINTED LIGHT FIELD DISPLAYS AND ASSOCIATED SYSTEMS AND METHODS」という名称の米国仮特許出願第62/339,830号明細書の利益を主張するものであり、これらのそれぞれは全体的に参照により本明細書に援用される。
背景
奥行きの錯覚を生成可能なディスプレイは、閲覧者を長い間、魅了してきた。従来の二次元ディスプレイは、ディスプレイの物理的距離に見える物体を示すが、三次元(3D)ディスプレイは、画面の物理的位置の前後両方で、ディスプレイ自体を超えて延在するように見える視覚効果を生み出すことができる。
3Dディスプレイの一カテゴリは、「眼鏡ベース」の3Dディスプレイであり、閲覧者は、奥行きのあるシーンを閲覧者に提供するために、専用眼鏡類(例えば、3D眼鏡)を装着する必要がある。専用眼鏡類は、より離れたディスプレイから来る光を調整するか、又は画像自体を形成可能である。眼鏡類は、画像の立体対を閲覧者の目に提供し、立体対は閲覧者に奥行きの錯覚を提供する。
3Dディスプレイの別のカテゴリは、「眼鏡なし」の3Dディスプレイであり、3Dディスプレイを見ている間、3Dディスプレイの閲覧者が専用眼鏡類又は他のハードウェアを装着する必要なく、奥行きの錯覚を生み出すことができる。眼鏡なし3Dディスプレイは、シーンの複数のビューを1つ又は複数の方向で3Dディスプレイの前の空間に投影し得る。眼鏡なし3Dディスプレイは、シーンの複数のビュー(例えば、2つのビュー、数十のビュー、数百のビュー等)を同時に表示して、閲覧可能な位置範囲を増やし、知覚される表示品質を上げ、及び/又は閲覧者が表示物体の「周囲」を見られるようにし得る。眼鏡なし3Dディスプレイの例としては、ある層に固定バリアパターンを有し、別の層にサブ画像又は積分画像を有する視差バリアディスプレイ、ある層に円柱形レンズの配置を有し、別の層にサブ画像又は積分画像を有するレンティキュラディスプレイ、並びにコンテンツ依存パターンを生成して、2つ以上の層を使用して表示し、3Dシーンを表示する計算ディスプレイが挙げられる。
マルチビュー3Dディスプレイは、複数のビューのそれぞれに対応する複数(2つ以上)の画像を対応する閲覧位置に同時に示すことが可能であり得る。閲覧者は、各閲覧位置からシーンの異なる視点を見得る。眼鏡なしマルチビュー3Dディスプレイは、オートマルチスコープ3Dディスプレイ(automultiscopic 3D display)と呼ばれる。オートマルチスコープディスプレイでは、閲覧者は、シーンへの閲覧者の視点が変わるにつれて、仮想物体周囲を見ることができ得る。閲覧者の頭部がオートマルチスコープ3Dディスプレイのある側から別の側に動くにつれて、閲覧者の目は、様々な画像がオートマルチスコープ3Dディスプレイから投影される領域を通って移動し得る。オートマルチスコープ3Dディスプレイにより生成される画像は、仮想シーンの様々な視点を表し得、これらの様々な視点を通して、閲覧者は、フル運動視差及び立体奥行きを有する仮想シーンを観測し得る。オートマルチスコープ3Dディスプレイは、複数のビュー(3Dディスプレイに相対する閲覧者の位置に応じて閲覧者により見られる特定のビュー)を生成し得、両眼視差を示し得、及び/又は水平方向及び垂直方向の両方で運動視差を示し得る。
概要
幾つかの実施形態は、マルチビュー表示装置の光学挙動を制御する作動信号を生成するシステムを提供し、マルチビュー表示装置は、第1の複数の光学要素を含む第1の層及び第2の複数の光学要素を含む第2の層を含む少なくとも2つの異なる層を含む。本システムは、少なくとも1つのプロセッサ、プロセッサ実行可能命令を記憶する少なくとも1つの非一時的コンピュータ可読記憶媒体を備え、プロセッサ実行可能命令は、少なくとも1つのプロセッサにより実行されると、少なくとも1つのプロセッサに、複数のシーンビューを取得することと、マルチビュー表示装置のモデルを指定する情報を取得することと、少なくとも1つのブラー変換を指定する情報を取得することと、複数のシーンビューに対応する複数の表示ビューを同時に表示するように、マルチビュー表示装置を制御する複数の作動信号を生成することであって、複数の作動信号は、第1の複数の光学要素を制御する第1の複数の作動信号及び第2の複数の光学要素を制御する第2の複数の作動信号を含む、生成することとを実行させ、生成することは、少なくとも部分的に、複数のシーンビュー、マルチビュー表示装置のモデルを指定する情報、及び少なくとも1つのブラー変換を指定する情報に基づいて、第1の複数の作動信号及び第2の複数の作動信号を生成することを含む。
幾つかの実施形態は、マルチビュー表示装置の光学挙動を制御する作動信号を生成する方法を提供し、マルチビュー表示装置は、第1の複数の光学要素を含む第1の層及び第2の複数の光学要素を含む第2の層を含む少なくとも2つの異なる層を含む。本方法は、少なくとも1つのプロセッサを使用することを含み、少なくとも1つのプロセッサは、複数のシーンビューを取得することと、マルチビュー表示装置のモデルを指定する情報を取得することと、少なくとも1つのブラー変換を指定する情報を取得することと、複数のシーンビューに対応する複数の表示ビューを同時に表示するように、マルチビュー表示装置を制御する複数の作動信号を生成することであって、複数の作動信号は、第1の複数の光学要素を制御する第1の複数の作動信号及び第2の複数の光学要素を制御する第2の複数の作動信号を含む、生成することとを実行するように構成され、生成することは、少なくとも部分的に、複数のシーンビュー、マルチビュー表示装置のモデルを指定する情報、及び少なくとも1つのブラー変換を指定する情報に基づいて、第1の複数の作動信号及び第2の複数の作動信号を生成することを含む。
幾つかの実施形態は、プロセッサ実行可能命令を記憶する少なくとも1つの非一時的コンピュータ可読記憶媒体を提供し、プロセッサ実行可能命令は、少なくとも1つのプロセッサにより実行されると、少なくとも1つのプロセッサに、マルチビュー表示装置の光学挙動を制御する作動信号を生成する方法を実行させ、マルチビュー表示装置は、第1の複数の光学要素を含む第1の層及び第2の複数の光学要素を含む第2の層を含む少なくとも2つの異なる層を含む。方法は、複数のシーンビューを取得することと、マルチビュー表示装置のモデルを指定する情報を取得することと、少なくとも1つのブラー変換を指定する情報を取得することと、複数のシーンビューに対応する複数の表示ビューを同時に表示するように、マルチビュー表示装置を制御する複数の作動信号を生成することであって、複数の作動信号は、第1の複数の光学要素を制御する第1の複数の作動信号及び第2の複数の光学要素を制御する第2の複数の作動信号を含む、生成することとを含み、生成することは、少なくとも部分的に、複数のシーンビュー、マルチビュー表示装置のモデルを指定する情報、及び少なくとも1つのブラー変換を指定する情報に基づいて、第1の複数の作動信号及び第2の複数の作動信号を生成することを含む。
幾つかの実施形態は、マルチビュー表示装置の光学挙動を制御する作動信号を生成するシステムを提供し、マルチビュー表示装置は、第1の複数の光学要素を含む第1の層及び第2の複数の光学要素を含む第2の層を含む少なくとも2つの異なる層を含む。本システムは、少なくとも1つのプロセッサ、プロセッサ実行可能命令を記憶する少なくとも1つの非一時的コンピュータ可読記憶媒体を備え、プロセッサ実行可能命令は、少なくとも1つのプロセッサにより実行されると、少なくとも1つのプロセッサに、複数のシーンビューを取得することと、マルチビュー表示装置のモデルを指定する情報を取得することと、少なくとも部分的に複数のシーンビュー及びマルチビュー表示装置のモデルを指定する情報に基づいて、複数のシーンビューに対応する複数の表示ビューを同時に表示するように、マルチビュー表示装置を制御する複数の作動信号を生成することであって、複数の作動信号は、第1の複数の光学要素を制御する第1の複数の作動信号及び第2の複数の光学要素を制御する2の複数の作動信号を含む、生成することとを実行させ、複数の作動信号のうちの少なくとも2つはそれぞれ、少なくとも1つのカラー又は強度チャネルにおいて、0.2よりも大きな値のソベルベースの高周波数内容測定値を有し、複数の作動信号は、120Hz未満(例えば、60Hz以下)の率で更新される。
幾つかの実施形態は、マルチビュー表示装置の光学挙動を制御する信号を生成するシステムを提供し、マルチビュー表示装置は、第1の複数の光学要素を含む第1の層及び第2の複数の光学要素を含む第2の層を含む少なくとも2つの異なる層を含む。本システムは、少なくとも1つのプロセッサ、プロセッサ実行可能命令を記憶する少なくとも1つの非一時的コンピュータ可読記憶媒体を備え、プロセッサ実行可能命令は、少なくとも1つのプロセッサにより実行されると、少なくとも1つのプロセッサに、複数のシーンビューを取得することと、マルチビュー表示装置のモデルを指定する情報を取得することと、少なくとも1つのブラー変換を指定する情報を取得することと、複数のシーンビューに対応する複数の表示ビューを同時に表示するように、マルチビュー表示装置を制御する複数の信号を生成することであって、複数の信号は、第1の複数の光学要素を制御する第1の複数の信号及び第2の複数の光学要素を制御する第2の複数の信号を含む、生成することとを実行させ、生成することは、少なくとも部分的に、複数のシーンビュー、マルチビュー表示装置のモデルを指定する情報、及び少なくとも1つのブラー変換を指定する情報に基づいて、第1の複数の信号及び第2の複数の信号を生成することを含む。信号は、第1の複数の信号が第1の複数の作動信号を含み得、第2の複数の信号が第2の複数の作動信号を含み得るような作動信号を含み得る。
幾つかの実施形態は、第1の複数の光学要素を含む第1の層と、第2の複数の光学要素を含む第2の層であって、第2の層は、距離により第1の層から隔てられる、第2の層と、制御回路とを含むマルチビュー表示装置を提供し、制御回路は、第1の複数の光学要素を制御するように構成される第1の回路と、第2の複数の光学要素を制御するように構成される第2の回路とを備え、制御回路は、少なくとも部分的に、複数のシーンビュー、マルチビュー表示装置のモデルを指定する情報、及び少なくとも1つのブラー変換を指定する情報に基づいて生成される第1の複数の作動信号及び第2の複数の作動信号を受信することと、少なくとも部分的に、第1の複数の作動信号を使用して、第1の内容を表示するように第1の複数の光学要素を制御し、第2の複数の作動信号を使用して、第2の内容を表示するように第2の複数の光学要素を制御することにより、複数のシーンビューに対応する複数のビューを同時に表示するように、マルチビュー表示装置を制御することとを行うように構成される。
幾つかの実施形態は、ライトフィールドプリントを製造する方法を提供し、ライトフィールドプリントは、透明前層及び透明後層を含む少なくとも2つの異なる透明層を備える。本方法は、ライトフィールドプリントを使用してレンダリングする内容を取得することであって、内容は複数のシーンビューを含む、内容を取得することと、プリントプロセス情報を取得することと、少なくとも部分的に内容及びプリントプロセス情報に基づいて、透明前層の第1の標的パターン及び透明後層の第2の標的パターンを生成することと、第1の標的パターンに従って、透明前層にプリント材料を付着させることにより、透明前層に第1の標的パターンをプリントすることと、第2の標的パターンに従って、透明後層にプリント材料を付着させることにより、透明後層に第2の標的パターンをプリントすることとを含み、透明前層は、透明後層からある距離で深度的に離間され、上記ある距離は、6mm及びL/60のうちの大きい方以下であり、Lは、透明前層及び透明後層が異なるサイズである場合、透明前層及び透明後層のうちの大きい方の最大線形広がりであり、透明前層及び透明後層が同じサイズである場合、透明前層の最大線形広がりである。
上記は、本発明の非限定的な概要であり、本発明は添付の特許請求の範囲により規定される。
様々な態様及び実施形態について、以下の図を参照して説明する。図が必ずしも一定の縮尺で描かれていないことを理解されたい。
本明細書に記載の技術の幾つかの実施形態による、マルチビューディスプレイを制御する作動信号を生成し、生成された作動信号を使用してマルチビューディスプレイを制御する例示的なシステムを示す。 本明細書に記載の技術の幾つかの実施形態による、ライトフィールドプリントの層にプリントするパターンを生成し、生成されたパターンをライトフィールドプリントの層にプリントする例示的なシステムを示す。 本明細書に記載の技術の幾つかの実施形態による、マルチビューディスプレイを制御する作動信号を生成するように実行される処理の例示的なブロック図である。 本明細書に記載の技術の幾つかの実施形態による、マルチビューディスプレイを制御する作動信号の生成の一環及び/又はライトフィールドプリントの1つ又は複数の層にプリントするパターンの生成の一環として解くことができる最適化問題例を示す。 本明細書に記載の技術の幾つかの実施形態による、図3に示される最適化問題に1つ又は複数の解を生成する勾配降下技法の態様を示す。 本明細書に記載の技術の幾つかの実施形態による、図3に示される最適化問題に1つ又は複数の解を生成するのに使用し得る更新ルールの例を示す。 本明細書に記載の技術の幾つかの実施形態による、マルチビューディスプレイを制御する作動信号の生成の一環及び/又はライトフィールドプリントの1つ又は複数の層にプリントするパターンの生成の一環として解くことができる最適化問題の別の例を示す。 本明細書に記載の技術の幾つかの実施形態による、図6に示される最適化問題に1つ又は複数の解を生成する勾配降下技法の態様を示す。 本明細書に記載の技術の幾つかの実施形態による、マルチビューディスプレイを制御する作動信号の生成の一環及び/又はライトフィールドプリントの1つ又は複数の層にプリントするパターンの生成の一環として解くことができる最適化問題の別の例を示す。 本明細書に記載の技術の幾つかの実施形態による、図8に示される最適化問題に1つ又は複数の解を生成する勾配降下技法の態様を示す。 本明細書に記載の技術の幾つかの実施形態による、図8に示される最適化問題に1つ又は複数の解を生成するのに使用し得る別の技法の態様を示す。 本明細書に記載の技術の幾つかの実施形態による、作動信号の非負性を実施する乗法更新ルールが利用される、図8に示される最適化問題に1つ又は複数の解を生成するのに使用し得る技法の態様を示す。 本明細書に記載の技術の幾つかの実施形態による、作動信号の非負性を実施する乗法更新ルールが利用される、図8に示される最適化問題に1つ又は複数の解を生成するのに使用し得る別の技法の態様を示す。 本明細書に記載の技術の幾つかの実施形態による、図11及び図12に示される乗法更新ルールの一般形態を示す。 本明細書に記載の技術の幾つかの実施形態によるマルチビューディスプレイにより生成されるシミュレーションビューを示す。 本明細書に記載の技術の幾つかの実施形態によるマルチビュー表示装置の光学挙動を制御する作動信号を生成する例示的なプロセス1500のフローチャートである。 本明細書に記載の技術の幾つかの実施形態による、ピクセルインデックスと、関連する出力光線強度の位置との間の非線形マッピングあり及びなしのそれぞれの表示システムでのピクセル順を示す。 本明細書に記載の技術の幾つかの実施形態による、ピクセルインデックスと、関連する出力光線強度の位置との間の非線形マッピングあり及びなしのそれぞれの表示システムでのピクセル順を示す。 本明細書に記載の技術の幾つかの実施形態によるマルチビューディスプレイを観測している閲覧者のビューコーンを示す。 ピンホールバリアディスプレイの詳細及び遠視野図を示す。 ピンホールバリアディスプレイの詳細及び遠視野図を示す。 非負行列因数分解法と併用されるように構成されるシステムを示す。 本明細書に記載の技術の幾つかの実施形態によるマルチビューディスプレイのカラーフィルタアレイ内で使用されるカラーフィルタ応答を示す。 本明細書に記載の技術の幾つかの実施形態によるマルチビューディスプレイのカラーフィルタアレイ内で使用されるカラーフィルタ応答を示す。 本明細書に記載の技術の幾つかの実施形態によるマルチビューディスプレイ内の内部反射を補償する技法を示す。 本明細書に記載の技術の幾つかの実施形態による、拡散器を備えるマルチビューディスプレイを示す。 本明細書に記載の技術の幾つかの実施形態による反射モードマルチビューディスプレイの態様を示す。 本明細書に記載の技術の幾つかの実施形態による反射モードマルチビューディスプレイの態様を示す。 本明細書に記載の技術の幾つかの実施形態による反射モードマルチビューディスプレイの態様を示す。 本明細書に記載の技術の幾つかの実施形態による反射モードマルチビューディスプレイの態様を示す。 本明細書に記載の技術の幾つかの実施形態による反射モードマルチビューディスプレイの態様を示す。 本明細書に記載の技術の幾つかの実施形態による反射モードマルチビューディスプレイの態様を示す。 本明細書に記載の技術の幾つかの実施形態による多層ライトフィールドディスプレイを示す。 本明細書に記載の技術の幾つかの実施形態による、拡張現実及び視覚順応効果を利用する他の用途で使用し得るマルチビューディスプレイの実施形態を示す。 本明細書に記載の技術の幾つかの実施形態による、拡張現実及び視覚順応効果を利用する他の用途で使用し得るマルチビューディスプレイの実施形態を示す。 本明細書に記載の技術の幾つかの実施形態によるマルチビューディスプレイの較正へのモバイルデバイスの使用の説明のための例を示す。 本明細書に記載の技術の幾つかの実施形態による、ライトフィールドプリントの層にプリントされるパターンを生成し、生成されたパターンをライトフィールドプリントの層にプリントする別の例示的なシステムを示す。 本明細書に記載の技術の幾つかの実施形態により製造されるライトフィールドプリントの説明のための例を示す。 本明細書に記載の技術の幾つかの実施形態により製造されるライトフィールドプリントの説明のための例を示す。 本明細書に記載の技術の幾つかの実施形態により製造されるライトフィールドプリントの別の説明のための例を示す。 本明細書に記載の技術の幾つかの実施形態による、自己整合プリント法を使用して製造されるライトフィールドプリントの説明のための例を示す。 本明細書に記載の技術の幾つかの実施形態による、ライトフィールドプリントの層のプリントに使用されるプリントプロセスを適応的に位置合わせする例示的なシステムを示す。 本明細書に記載の技術の幾つかの実施形態によるプリントサービスの例を示す。 本明細書に記載の技術の幾つかの実施形態による、窓等のガラス面と併用されるライトフィールドプリントの例を示す。 本明細書に記載の技術の幾つかの実施形態による、窓等のガラス面と併用されるライトフィールドプリントの例を示す。 本明細書に記載の技術の幾つかの実施形態による、ライトフィールドプリントを製造する例示的なプロセス3400のフローチャートである。 本明細書に記載の技術の任意の態様を実施し得る例示的なコンピュータ3500を概略的に示す。
詳細な説明
本発明者らは、従来のオートマルチスコープ3Dディスプレイが改良可能であることを認識し理解した。従来のオートマルチスコープ3Dディスプレイは、高空間解像度及び高角解像度の両方を可能にしない−製造業者は、これらは両方とも消費者にとって望ましいにもかかわらず、これら2つの表示特性をトレードオフしなければならない。一方、オートマルチスコープ3Dディスプレイにより表示される画像は、オートマルチスコープ3Dディスプレイが十分な空間解像度を有さない場合、ぼやけて又はギザギザに見える。他方、オートマルチスコープ3Dディスプレイが、十分な角解像度を有さない場合、オートマルチスコープディスプレイでポップイン又はポップアウトして見える領域の3D効果は、画像がディスプレイの物理面から遠く浮いて見えるほど、早く劣化する。例えば、不十分な角解像度を有するオートマルチスコープ3Dディスプレイにより表示される画像は、3Dディスプレイの物理面からの距離に伴ってますますぼやけて見え得る。
本発明者らは、従来のオートマルチスコープ3Dディスプレイは、表示するシーンの需要に動的に合わせることにより3Dディスプレイの利用可能な解像度を効率的に使用するために、空間解像度及び角解像度を動的にトレードオフしないことを認識し理解した。例えば、単一のシーンは、高空間解像度(例えば、急速変化するパターンを有する1つ又は複数の領域)を必要とする領域及び高角解像度を必要とする領域(例えば、ディスプレイの物理面から離れてポップアウトして見える1つ又は複数の領域)を有し得る。しかし、従来のオートマルチスコープ3Dディスプレイでは、3Dディスプレイが、製造中であるとき、ディスプレイの空間解像度と角解像度とのトレードオフを選択しなければならず、それは、表示面全体にわたり一定のままでなければならない(すなわち、3Dディスプレイにより表示されるコンテンツの性質に基づいて動的に調整することができない)。その結果、従来のオートマルチスコープ3Dディスプレイは、空間解像度をトレードすることによってしか、高角解像度(例えば、大きなポップアウト効果を表示するための)を達成することができず、空間解像度のトレードにより、ポップアウトして見えず、したがって、高角解像度を必要としないディスプレイの領域を含め、全ての画像はよりぼやけることになる。
本発明者らは、従来のオートマルチスコープ3Dディスプレイの別の欠点が、製造にコストがかかり得、較正が難しいことがある光学要素を製造で使用する必要があることが多いことであることを認識し理解した。オートマルチスコープ3Dディスプレイの製造に利用可能な現行技術は、高コスト及び製造の難しさと比べて十分に高い空間角度解像度を提供していない。計算的表示を使用して、これらの問題の幾つかに対処しようとする試みがなされたが、その結果生成されたディスプレイは従来のオートマルチスコープディスプレイよりも厚く、視野角が狭いという問題を有し、製造が困難であり、従来の表示ハードウェアを用いては光学的に非効率的である。
本発明者らは、表示するシーンの需要に合うように、空間解像度と角解像度を動的にトレードオフ可能な新しいクラスのオートマルチスコープ3Dディスプレイを開発した。新しいオートマルチスコープ3Dディスプレイは、3Dシーンを表示するコンテンツ依存作動信号により制御される複数の層を含む計算的3Dディスプレイである。計算を使用して、オートマルチスコープ3Dディスプレイでの空間解像度と角解像度との所望のバランスを動的に達成することは、鮮鋭な平面内テキスト及びグラフィックスを有すると共に、従来のオートマルチスコープ3Dディスプレイでは可能ではないことがある、同じディスプレイ及び同じシーン内で大きな程度の知覚ポップアウトを有する能力を提供する。
本発明者らは、オートマルチスコープ3Dディスプレイの表面で個々の点を分解する人間視覚系の能力を考慮することにより、オートマルチスコープ3Dディスプレイの設計において追加の自由度が提供されることを認識し理解した。そのような追加の自由度を使用して、オートマルチスコープ3Dディスプレイ自体の厚みを縮小しながら、空間解像度と角解像度を動的にトレードオフし、より深い奥行きで3Dシーンを表現し得る。
したがって、幾つかの実施形態では、オートマルチスコープ3Dディスプレイの制御に使用される作動信号は、少なくとも部分的に、人間視覚系の知覚能力に基づいて設計及び/又は選択し得る1つ又は複数のブラー変換を使用することにより生成される。例えば、幾つかの実施形態では、オートマルチスコープ3Dディスプレイにより生成される各ビューの再構築誤差を人間視覚系の帯域幅外にシフトすることにより、ビュー間のクロストークを大幅に低減することができ、閲覧者の視点から性能が改善する。知覚される帯域制限挙動は、人間網膜の有限解像度、焦点ボケ、高次光学効果、及びディスプレイハードウェア又は人間視覚系での回折効果を含むがこれに限定されない様々なファクタの結果として生じ得る。知覚的に動機付けられる加重は、個々の光線への加重制約として幾つかの多層ディスプレイで使用されてきたが、本明細書に記載の実施形態の幾つかで使用されるブラー変換は、ディスプレイの各ビューでの1組の光線に帯域幅制約を課し得、本明細書に記載の技法を使用して解くことができる新しい最適化問題を生じさせる。
本発明者らは、人間視覚系の知覚能力に基づいて設計及び/又は選択される1つ又は複数のブラー変換を使用して、オートマルチスコープ3Dディスプレイの複数の層を制御する信号を動的に生成することにより、従来の視差バリアベースのオートマルチスコープ3Dディスプレイと比較して有意な輝度増大も生じさせ得ることも認識し理解した。例えば、合計でN個のビューを生成する従来の視差バリアベースのオートマルチスコープ3Dディスプレイは、全体輝度で1/N係数を生じさせ、潜在的に輝度を実質的に低減する。これとは対照的に、幾つかの実施形態は、同数のビューで、はるかに高い全体輝度を有するオートマルチスコープ3Dディスプレイを提供する。実際に、1つ又は複数のブラー変換の利用と組み合わせた、均等数の生成ビューでの従来の視差ベース技法よりも優れた輝度の任意の増大は、本発明者らにより開発された技法の利用を示し得る。
本発明者らは、土台をなす光学変調器の基本クラスを調整することにより、オートマルチスコープ3Dディスプレイのコストをより低くすることができ、光学効率に関する性能をよりよくすることができることも認識し理解した。レンティキュラプリントディスプレイと比較して、本発明者らによる重要な一寄与は、いかなる屈折光学要素も必要としない眼鏡なし3Dプリントディスプレイを製造する小型軽量で効率的な方法を生み出すことである。
本明細書に記載の技術の幾つかの実施形態は、従来のオートマルチスコープ3Dディスプレイの上記欠点の幾つかに対処する。しかし、あらゆる実施形態が、これらの欠点のあらゆるものに対処するわけではなく、幾つかの実施形態は、欠点のいずれかに対処しないことがある。したがって、本明細書に記載の技術の態様が、従来のオートマルチスコープ3Dディスプレイの上記欠点の全て又はいずれかへの対処に限定されないことを理解されたい。
したがって、幾つかの実施形態は、本発明者らにより開発された新規のクラスのオートマルチスコープマルチビュー3Dディスプレイ及び所望のシーンビューを生成するようにそのようなディスプレイを制御する技法を提供する。本発明者らにより開発されたオートマルチスコープ3Dディスプレイは、表示されるコンテンツを使用して動的に決定される作動信号により制御されるという点で、計算的ディスプレイである。幾つかの実施形態では、作動信号は、少なくとも部分的に、1つ又は複数のブラー変換を使用することに基づいて決定し得る。ブラー変換は、人間視覚系の特徴に基づいて設計及び/又は選択し得る。ブラー変換の非限定的な例が本明細書に提供される。
ブラー変換を説明するに当たり、一般に、最適化多層ディスプレイの個々のビューに対応する二次元静止画像及び動画像に関連付けられた、限られた空間帯域幅、時間帯域幅、及び時空帯域幅を参照する。これは、光線空間での帯域幅の制限とは異なり、光線空間での帯域幅の制限とは対照的である。質的に、光線空間での帯域幅の制限は、特定のビューでのぼやけを増やすが、一方、本明細書に記載の技法は、特定のビューでの事実上のぼやけを低減する。記載される技法は、知覚効果に起因して、各ビューでいくらかの帯域制限ぼやけが自然に生じることを認識することにより、この目標を達成し、これにより、追加の自由度が可能になり、追加の自由度は、ビュー間クロストークに起因したぼやけの低減に使用することができる。
I.1つ又は複数のブラー変換を使用したマルチビューディスプレイの光学挙動の制御
幾つかの実施形態は、第1の光学要素を含む第1の層と、第2の光学要素を含む第2の層とを含むマルチビュー表示装置の光学挙動を制御する作動信号を生成する技法を提供する。幾つかの実施形態では、技法は、(1)シーンビューを取得(例えば、例えば表示装置に相対するマルチビュー表示装置の1人又は複数の閲覧者の各組の位置に対応する1組のシーンビューを取得)することと、(2)マルチビュー表示装置のモデルを指定する情報を取得することと、(3)少なくとも1つのブラー変換を指定する情報を取得(例えば、各シーンビューのブラー変換を指定する情報を取得)することと、(4)シーンビューに対応する表示ビューを同時に生成するように、マルチビュー表示装置を制御する作動信号を生成することであって、作動信号は、第1の光学要素を制御する第1の作動信号及び第2の光学要素を制御する第2の作動信号を含む、生成することと、(5)生成された作動信号を使用して(例えば、マルチビュー表示装置を制御する第1及び第2の作動信号を回路に提供し、回路を使用して、第1の作動信号を使用して第1の光学要素を制御し、第2の作動信号を使用して第2の光学要素を制御することにより)、マルチビュー表示装置を制御することとを含む。
幾つかの実施形態では、マルチビュー表示装置の制御に使用される作動信号を生成することは、少なくとも部分的に、シーンビュー、マルチビュー表示装置のモデルを指定する情報、及び少なくとも1つのブラー変換を指定する情報に基づいて、第1の作動信号及び第2の作動信号を生成することを含み得る。
幾つかの実施形態では、作動信号は、反復最適化技法を使用して生成し得る。幾つかの実施形態では、作動信号を生成することは、(1)初期組の作動信号を生成することと、(2)初期組の作動信号を繰り返し更新して、一連の中間組の作動信号を生成することと、(3)マルチビュー表示装置の光学挙動の制御に使用される作動信号として、一連の中間組の作動信号内の最後の組の作動信号を出力することとを含む。
幾つかの実施形態では、初期組の作動信号を繰り返し更新することは、少なくとも部分的に、シーンビュー、マルチビューディスプレイのモデルを指定する情報、及び少なくとも1つの帯域制限変換を指定する情報に基づいて実行し得る。第1の組の作動信号を繰り返し更新することは、(1)マルチビュー表示装置のモデルを指定する情報及び第1の組の作動信号を使用して、第1の組の作動信号がマルチビュー表示装置の制御に使用された場合にマルチビュー表示装置により生成される表示ビューに対応する第1の組の表示ビューを決定することと、(2)少なくとも1つのブラー変換を使用して、第1の組の表示ビューと複数のシーンビューとの間の誤差の測定を特定することと、(3)第1の組の表示ビューと複数のシーンビューとの間の誤差の測定に基づいて、第1の組の作動信号を更新することとを含み得る。幾つかの実施形態では、更新することは、複数回実行し得、作動信号に対する非負制約を受ける。
幾つかの実施形態では、マルチビュー表示装置は、ある層にグレースケール内容を生成し、別の層にカラー内容を生成し得る。したがって、幾つかの実施形態では、第1及び第2の作動信号は、第1の作動信号が第1の層の制御に使用される場合、第1の層がカラー内容を表示し、第2の作動信号が第2の層の制御に使用される場合、第2の層がグレースケール内容を表示するように生成される。
本明細書に記載のように、幾つかの実施形態では、1つ又は複数のブラー変換を使用して、マルチビュー3Dディスプレイの光学挙動を制御する作動信号を生成し得る。幾つかの実施形態では、例えば、そのようなブラー変換は、マルチビュー3Dディスプレイの駆動に使用する作動信号を繰り返し識別する場合、1つ又は複数のシーンビュー及び/又は表示ビューに適用し得る。しかし、ブラー変換の利用はそのような変換のシーンビュー及び/又は表示ビューへの適用に限定されないため(例えば、幾つかの実施形態では、ブラー変換は、更に詳細に後述するように、誤差ビューに適用し得る)、ブラー変換は、マルチビュー3Dディスプレイの光学挙動を制御する作動信号を生成する場合、任意の他の適する方法で使用し得る。
そのような実施形態では、ブラー変換の画像(例えば、シーンビュー又は任意の他の適する画像)への適用は、空間領域での帯域制限変換を用いての画像の畳み込み又は画像の対応する変換との帯域制限変換の2Dフーリエ変換(又は他の周波数変換)の乗算を含み得る。
幾つかの実施形態では、ブラー変換は帯域制限関数を含み得る。帯域制限関数は2D関数であり得る。幾つかの実施形態では、帯域制限関数は、大きさが、平均又は漸近的に空間周波数の増大に伴って低減し得る2Dフーリエ変換を有し得る。例えば、画像変換の例示的な一クラスは、以下の形態をとり、
Figure 0006917378
式中、入力画像はxで示され、出力画像はyで示され、x[u,v]は、水平位置u及び垂直位置vで評価される入力画像xの強度であり、y[u,v]は、水平位置u及び垂直位置vで評価される出力画像yの強度である。次に、h[u,v]は、大きさが平均又は漸近的に、空間周波数の増大に伴って低減する2Dフーリエ変換を有する場合、入力画像xを処理して、出力画像yを取得する帯域制限関数のパラメータを指定し得る。そのような帯域制限関数の例示的な非限定的な例は、
Figure 0006917378
を含む。
幾つかの実施形態では、ブラー変換は、画像に適用された場合、高周波数内容の量及び/又は画像内の細かい細部を低減する任意の線形又は非線形関数であり得る。
幾つかの実施形態では、ブラー変換は、人間視覚系のモデルを画像に適用する任意の関数であり得る。例えば、ブラー変換は、人間視力のモデルを画像に適用する任意の関数であり得る。別の例として、ブラー変換は、人間コントラスト感度のモデルを画像に適用する任意の関数であり得る。
幾つかの実施形態では、ブラー変換は、人間視覚系の帯域制限挙動の近似を表す空間的及び/又は時間的帯域制限関数を含み得る。例えば、ブラー変換は、特定の個人の長期視覚特性(例えば、個人の特定の視覚欠陥)に合わせられた帯域制限関数を含み得る。別の例として、ブラー変換は、個人の閲覧者の短期特性(例えば、閲覧者の特定の閲覧位置又は瞬間焦点距離順応を考慮に入れて)に合わせられた帯域制限関数を含み得る。
幾つかの実施形態では、ブラー変換を画像に適用することは、別の関数を用いて画像を空間的に畳み込む(又は例えば、フーリエ領域での乗算等の空間領域又は他の領域での任意の均等な計算を実行する)ことを含む。例えば、ブラー変換を画像に適用することは、光学系(例えば、カメラ、人間の目の光学系、ピクセルサイズの非常に小さなホームを通して光を送る光学効果)の点広がり関数を用いて画像を空間的に畳み込むことを含み得る。特定の例として、ブラー変換を画像に適用することは、アパーチャの形状を表すカーネル又はアパーチャの形状の周波数領域表現を用いて画像を空間的に畳み込むことを含み得る。別の例として、ブラー変換を画像に適用することは、全ての離散エントリにわたりとられた応答の和が、全ての離散エントリにわたりとられた応答のlノルム以上である二次元空間離散点広がり応答を用いて画像を空間的に畳み込むことを含み得る。更に別の例として、ブラー変換を画像に適用することは、二次元ガウス関数を用いて画像を空間的に畳み込むことを含み得る。
幾つかの実施形態では、ブラー変換を画像に適用することは、2値モルフォロジ変換(例えば、浸食、膨張、モルフォロジオープニング、及びモルフォロジクロージング)を画像に適用することを含み得る。幾つかの実施形態では、ブラー変換を画像に適用することは、ランクフィルタ(例えば、メジアンフィルタ、大多数フィルタ等)を画像に適用することを含み得る。
幾つかの実施形態では、ブラー変換は、変換された色空間での費用関数として(例えば、ルミナンスチャネル及びクロミナンスチャネルに別個の時空間帯域制限応答特性を利用する)又は他の色分解を使用して指定し得る。
幾つかの実施形態では、ブラー変換は、マルチビュー表示デバイスの層(又はライトフィールドプリントの層)間の回折相互作用に起因する効果及び/又は1つ又は複数の光学拡散器又は他のパッシブ層に起因する効果を現し得る。
マルチビュー3Dディスプレイの層を制御する作動信号の生成に使用されるブラー変換の特定の形態に関係なく、ブラー変換を使用して得られる作動信号は一般に、多量の高周波数内容を有する。この表記を正確にするために、いわゆるソベルエッジ検出器を導入し、この検出器は、画像内の高周波数内容量を評価するのに使用し得るエッジ検出フィルタである。
で示される、作動信号の単一の色又は強度チャネルを表す二次元画像を所与として、そのソベル大きさ画像
Figure 0006917378
は、まず、
Figure 0006917378
に従ってソベル勾配
Figure 0006917378
を計算することであって、式中、は二次元信号処理畳み込み演算を示す、計算すること、次に、
Figure 0006917378
に従ってソベル大きさ画像を計算することにより計算し得、式中、平方根関数、合算関数、及び二乗関数は、ピクセル毎に実行される。ソベル大きさ画像
Figure 0006917378
の計算に使用されるスケール係数は、オープンソースグラフィックスパッケージGIMPに見られるソベルベースエッジ検出アルゴリズムの実施に一致する。
加えて、ソベル大きさ画像
Figure 0006917378
の平均ピクセル値と対応するパターン画像(作動信号)xの平均ピクセル値との比率として定義されるソベルベース高周波数内容測定φを導入する。したがって、ソベルベース高周波数内容測定φは、
Figure 0006917378
に従って取得し得、式中、
Figure 0006917378
Figure 0006917378
の平均ピクセル値を示し、AVGPX(x)はxの平均ピクセル値を示す。ソベル大きさ画像及びソベルベース高周波数内容測定を計算するための全ての数学演算は、連続値空間において、作動信号が二進値であるか否かに関係なく実行される。マルチチャネル作動信号の場合、ソベル大きさ画像及び高周波数内容測定は、各チャネルで独立して演算することにより取得し得る。
本明細書に記載のように、本明細書に記載の技術の幾つかの実施形態によりブラー変換を使用して得られる作動信号は、多量の高周波数内容を有し得る。例えば、複数の作動信号のうちの2つ以上はそれぞれ、少なくとも1つの色又は強度チャネルで0.2を超える値(例えば、0.2〜1.0)であるソベルベース高周波数内容測定を有し得る。これとは対照的に、自然な画像は(0.001〜0.06)の範囲の値を有し得る。
本明細書に記載の技術の態様が、明示的に1つ又は複数のブラー変換を使用して、マルチビュー3Dディスプレイの光学要素を制御する作動信号を生成することに限定されないことも理解されたい。幾つかの実施形態では、作動信号は、ブラー変換を明示的に含まず、全体手法と一貫する作動信号を別の方法で生成する(例えば、ソベルベース高周波数内容測定に少なくとも1つの閾値を有する)アルゴリズムを使用して生成し得る。一例として、幾つかの実施形態では、マルチビュー3Dディスプレイにより生成される表示画像のエラーを人間視覚系の帯域外に整形する任意のヒューリスティック技法を利用し得る。
II.マルチビューディスプレイ構成
マルチビュー表示装置を制御する作動信号を生成する技法は、本明細書に記載の多くのタイプのマルチビュー3Dディスプレイと併用し得る。幾つかの実施形態では、マルチビュー3Dディスプレイはオートマルチスコープディスプレイであり得る。幾つかの実施形態では、マルチビュー3Dディスプレイは計算的ディスプレイであり得る。
幾つかの実施形態では、マルチビュー3Dディスプレイは、光学要素の複数(例えば、2つ、3つ、4つ、5つ等)の層を備える多層ディスプレイであり得る。マルチビュー3Dディスプレイの層は、パッシブ光学層、アクティブ光学層、又はパッシブ要素及びアクティブ要素の両方を有する層であり得る。パッシブ光学層の例としては、偏光子、拡散器、輝度強化膜、波遅延器、カラーフィルタ、ホログラフィック層、視差バリア、及び小型レンズアレイが挙げられるがこれに限定されない。アクティブ光学層の例としては、単層及び多層液晶表示画面、発光ダイオード(LED)を含む層、蛍光バックライト、有機LED(OLED)バックライト、OLED層、電子的に合焦可能レンズを含む層、及び多層偏光回転子が挙げられるがこれに限定されない。
幾つかの実施形態では、マルチビュー表示装置は、第1の光学要素を含む第1の層、第2の光学要素を含み、第1の層からある距離離れた第2の層、並びに第1の層及び第2の層を制御するように構成される制御回路を含み得る。制御回路は、第1の光学要素を制御するように構成される第1の回路及び第2の光学要素を制御するように構成される第2の回路を含み得る。制御回路は、(1)少なくとも部分的にシーンビュー、マルチビュー表示装置のモデルを指定する情報、及び少なくとも1つのブラー変換を指定する情報に基づいて生成された第1の作動信号及び第2の作動信号を受信し、(2)少なくとも部分的に、第1の作動信号を使用して、第1の内容を表示するように第1の光学要素を制御し、第2の作動信号を使用して、第2の内容を表示するように第2の光学要素を制御することにより、シーンビューに対応するビューを同時に表示するようにマルチビュー表示装置を制御するように構成し得る。ブラー変換の例は本明細書に提供される。
幾つかの実施形態では、第1の複数の光学要素を制御することは、第1の作動信号を使用して、グレースケール内容を表示するように第1の光学要素を制御することを含み、第2の光学要素を制御することは、第2の作動信号を使用して、カラー内容を表示するように第2の光学要素を制御することを含む。幾つかの実施形態では、第1の光学要素を制御することは、第1の作動信号を使用して、強度チャネル又はカラーチャネルのそれぞれで二進値である内容を表示するように第1の光学要素を制御することを含み、第2の光学要素を制御することは、第2の複数の作動信号を使用して、各強度チャネル又はカラーチャネルで二進値である内容を表示するように第2の光学要素を制御することを含む。
幾つかの実施形態では、第1及び第2の層は両方ともアクティブ層であり得る。例えば、第1及び第2の層はそれぞれ、LCDパネルを含み得る。別の例として、第1の層はLEDのアレイを含み得、第2の層はLEDパネルを含み得る。他の実施形態では、第1及び第2の層のうちの一方はアクティブ層であり得、他方の層はパッシブ層であり得る。更に他の実施形態では、第1及び第2の層は両方ともパッシブ層であり得る。幾つかの実施形態では、第1及び第2の層のうちの少なくとも一方は、反射性及び/又は透過性であり得る。幾つかの実施形態では、第1及び第2の層のうちの少なくとも一方は、半透過性LCDを含み得る。幾つかの実施形態では、第1及び第2の層のうちの少なくとも一方は、1:100未満のコントラストを有する。幾つかの実施形態では、光学要素の第1の層及び/又は第2の層内の光学要素のピッチは、0.005インチ(0.127mm)以下であり得る。
幾つかの実施形態では、第1の層は第1のカラーフィルタアレイを含み得、第2の層は第2のカラーフィルタアレイを含み得る。第1及び第2のカラーフィルタアレイはそれぞれ、少なくとも閾値において半値全幅応答(例えば、少なくとも50nm、少なくとも60nm、少なくとも70nm、少なくとも80nm、少なくとも90nm、少なくとも100nm等)を有するカラーフィルタを含み得る。幾つかの実施形態では、マルチビュー装置のカラーチャネルは、まとめて最適化し得る。
幾つかの実施形態では、第1の層は、第2の層から6mm未満の距離で深度的に離間し得る。幾つかの実施形態では、第1の層は、以下の2つの数量のうちの大きい方以下である距離において、第2の層から深度的に離間し得る:6mm及び第1の層及び第2の層のうちの大きい方の最大線形広がりの1/60。
幾つかの実施形態では、マルチビュー表示装置は、第1及び第2の層に加えて、1つ又は複数の層及び/又は構成要素を含み得る。例えば、幾つかの実施形態では、マルチビュー表示装置は、1つ又は複数の拡散器(例えば、第1の層と第2の層との間に配置される拡散器)を含み得る。別の例として、幾つかの実施形態では、マルチビュー表示装置はバックライトユニットを含み得る。幾つかの実施形態では、バックライトユニットにより発せられる光の少なくとも90%は、マルチビュー装置の閲覧予期位置(1人又は複数の閲覧者による)を含む角度領域にわたり発せられ得る。追加又は代替として、マルチビュー装置は、1つ又は複数の垂直向き、斜め向き、又は水平向きのレンズシート、1つ又は複数の小型レンズアレイ、角度拡張膜、集光膜、1つ又は複数の偏光子、1つ又は複数の回折要素、1つ又は複数のホログラフィック要素、1つ又は複数の光学拡散器、正反射要素及び拡散反射要素を含む1つ又は複数の反射要素、1つ又は複数の光学膜、1つ又は複数の波遅延器(例えば、1/2波長板)を含み得る。
幾つかの実施形態では、マルチビュー表示装置は、閲覧者の目から1フィート(約30cm)以下の距離から見られるように設計し得る。幾つかの実施形態は、閲覧者の目から6インチ(約15cm)未満の距離にマルチビュー表示装置を位置決めするマルチビュー表示装置を含む固定具を提供する。例えば、マルチビュー表示装置は、閲覧者が装着したウェアラブル(例えば、仮想現実)ヘッドセットの一部であり得る。
III.ライトフィールドプリントを製造する技法
本発明者らは、3D情報を閲覧者に提示する目的で、透明媒体にプリントする技法を開発した。生成されるプリントは、層状パッシブ3D表示装置であり、複数のパッシブ層を有し、本明細書では「ライトフィールドプリント」と呼ばれる。本明細書に記載されるのは、ライトフィールドプリントを素早く堅牢且つ精密に製造する技法である。
本発明者らは、ライトフィールド演出を意図したプリントパターンを作成するプロセスが、従来の2Dプリント用のプリントパターンを作成するプロセスよりも要求が厳しいことを認識し理解してきた。ライトフィールドプリントでは、例えば、人間の目の視力よりもかなり低い特徴は、多層ライトフィールドプリントの視認性能を変える効果を生み出し得る。このことを認識して、プリントされるパターンのソフトウェア表現からプリントの物理的方法、プリンタ及びプリント結果の位置合わせ及び較正まで、全てのレベルの積層技術でプリント技法の性能を改善する技法を開発する必要がある。
眼鏡なし3Dライトフィールドプリントの生成が全く異なる「3Dプリント」であることを理解されたい。3Dプリントでは、所望の形状の物理的構造が、例えば、積層造形(例えば、金属材料の層を順次付着させて、所望の構造を構築すること)により直接生成される。眼鏡なし3Dライトフィールドプリントでは、2つ以上の平坦なプリント層が生成され、ある角度範囲から観測した場合、閲覧者が物理的物体をプリント層の近傍で浮いているように知覚するように上下に重ねられる。層の物理的広がりは一般に、知覚される物体のものよりもはるかに小さい。例として、5cm×5cm×5cmの立方体を3Dプリントする場合、物理的材料を容積内に付着させることが可能な特殊ハードウェアが必要であり、物体は、プリント完成時、5cm×5cm×5cmの容積を占有する。他方、同じ5cm×5cm×5cm立方体のライトフィールドプリントは、標準的なオフィスプリンタよりもかなり小さなプリンタを必要とし、2枚の0.1mm厚シートにパターンをプリントし、これらのシートは0.8mm離間された場合、プリントの総物理容積が5cm×5cm×1cmであるような同じ立方体の仮想画像を生成する。
幾つかの実施形態は、透明前層及び透明後層を含む少なくとも2つの異なる透明層を含むライトフィールドプリントを製造する方法を提供する。方法は、(1)ライトフィールドプリントを使用してレンダリングされるコンテンツを取得することであって、コンテンツは複数のシーンビューを含む、取得することと、(2)プリントプロセス情報を取得することと、(3)少なくとも部分的にコンテンツ及びプリントプロセス情報に基づいて、透明前層の第1の標的パターン及び透明後層の第2の標的パターンを生成することと、(4)第1の標的パターンに従って透明前層に所望のドットピッチ(例えば、0.0025インチ未満)でプリント材料(例えば、インク又はトナー)を付着させることにより、第1の標的パターンを透明前層にプリントすることと、(5)第2の標的パターンに従って透明後層に所望のドットピッチ(例えば、0.0025インチ未満)でプリント材料(例えば、インク又はトナー)を付着させることにより、第2の標的パターンを透明後層にプリントすることと、(6)透明前層が透明後層からある距離、深度的に離間されるように、透明前層及び透明後層からのライトフィールドプリントを組み立てる(例えば、幾つかの実施形態では、接着剤を使用して)こととを含む。この距離は、6mm及びL/60のうちの大きい方以下であり得、ここで、Lは、透明前層及び透明後層が異なるサイズである場合、透明前層及び透明後層のうちの大きい方の最大線形広がりであり、透明前層及び透明後層が同じサイズである場合、透明前層の最大線形広がりである。
幾つかの実施形態では、ライトフィールドを製造する方法は、少なくとも1つブラー変換(その例が本明細書に提供される)を指定する情報を取得することと、少なくとも1つのブラー変換を指定する情報を使用することにより、第1及び第2の標的パターンを生成することとも含む。
幾つかの実施形態では、第1の標的パターンを生成することは、(1)少なくとも部分的にコンテンツ及びプリントプロセス情報に基づいて、プリント前層の第1の初期標的パターン及びプリント後層の第2の初期標的パターンを生成することと、(2)プリント及び/又は媒体動力学の効果を補償して、第1の標的パターンを得るように、第1の初期標的パターンを変更することと、(3)プリント及び/又は媒体動力学の効果を補償して、第2の標的パターンを得るように、第2の初期標的パターンを変更することとにより実行し得る。
幾つかの実施形態では、プリント及び/又は媒体動力学について標的パターンを補償することは、例えば、空間線形フィルタリングを標的パターンに適用することにより、又は他の任意の適する方法でドットゲインの影響について標的パターンを補償することを含み得る。幾つかの実施形態では、プリント及び/又は媒体動力学について標的パターンを補償することは、例えば、プリント材料が透明前層の消失ピクセル位置に付着しないように標的パターンのピクセルをなくすことにより、又は任意の他の適する方法で、プリント材料の滲み及び/又は透明前層の最大許容可能プリント材料密度の影響について標的パターンを補償することを含み得る。
幾つかの実施形態では、ライトフィールドプリントを組み立てることは、まず、第2の標的パターンを透明後層にプリントし、次に、第1の標的パターンを透明前層にプリントする前に、透明前層を透明後層上に配置し、次に、第1の標的パターンを透明前層にプリントすることを含む。
上記で紹介され、更に詳細に後述される技法が、いかなる特定の実施様式にも限定されないため、任意の多くの方法で実施可能なことを理解されたい。実施の詳細の例は、単に例示を目的として本明細書に提供される。さらに、本明細書に記載の技法の態様はいかなる特定の技法又は技法の組み合わせの使用にも限定されないため、本明細書に開示される技法は、個々に又は任意の適する組み合わせで使用し得る。
IV.1つ又は複数のブラー変換を使用したマルチビューディスプレイの光学挙動を制御する技法の更なる説明
図1Aは、本明細書に記載の技術の幾つかの実施形態による、マルチビューディスプレイを制御する作動信号を生成し、生成された作動信号を使用してマルチビューディスプレイを制御する例示的なシステム100を示す。図1Aに示されるように、計算デバイス104は、作動信号を生成し、生成された作動信号を電子光学インターフェース回路109に提供するように構成され、電子光学インターフェース回路109は、提供された作動信号(「作動パターン」と呼ばれることもある)を使用して、ディスプレイインターフェース信号を生成し、生成されたディスプレイインターフェース信号を使用してマルチビューディスプレイ111を駆動する。
図1Aの例示的な実施形態に示されるように、マルチビューディスプレイ111は、前層111a及び後層111bを備える。幾つかの実施形態では、層111a及び111bは両方ともアクティブ層である。他の実施形態では、前層111aはアクティブ層であり得、後層111bはパッシブ層であり得、又はこの逆であり得る。アクティブ層の非限定的な例としては、単層LCD画面、多層LCD画面、発光ダイオード(LED)を含む層、蛍光又は有機LED(OLED)バックライト、OLED層、1つ又は複数の電子的に合焦可能なレンズを含む層、及び多層偏光回転子が挙げられる。アクティブ層は、電子的に制御し得る1つ又は複数のアクティブ光学要素を含み得る。そのようなアクティブ光学要素の非限定的な例としては、ピクセル、トランジスタ、発光ダイオード、カラーフィルタ、液晶、及び/又は発光し、及び/又は発光を支援するように構成されるか、又は選択的に遮光し、及び/又は選択的な遮光を支援するように構成される、任意の他の電子的に作動する構成要素が挙げられる。パッシブ層の非限定的な例としては、偏光子、拡散器、輝度強化膜、被膜を有する層、波遅延器、カラーフィルタ、ホログラフィック層、視差バリア層、及び小型レンズアレイが挙げられる。前層111a及び後層111bが、光線空間の線形又は非線形パラメータ化を生み出す任意の他の構成の光学要素を含み得ることを理解されたい。層111a及び111bがアクティブ層である実施形態では、本明細書に記載の技術の態様はこれに関して限定されないため、層111a及び111bは、同数のアクティブ光学要素又は異なる数のアクティブ光学要素を備え得る。
図1Aに示されるように、計算デバイス104は、マルチビューディスプレイ111の層111a及び111bの光学挙動を制御するのに使用される作動信号108a及び108bを生成する。計算デバイス104は、作動信号108aを第1の電子光学インターフェース回路109aに提供し、第1の電子光学インターフェース回路109aは、作動信号108aの受信に応答して、前層111aを駆動するディスプレイインターフェース信号110aを生成する。ディスプレイインターフェース信号110aは、前層111a内の光学要素のうちの1つ又は複数(例えば、全て)のそれぞれのディスプレイインターフェース信号を含み得る。作動信号108aは、前層111a内の光学要素の1つ又は複数(例えば、全て)のそれぞれの作動信号を含み得る。計算デバイス104は、作動信号108bを第2の電子光学インターフェース回路109bにも提供し、第2の電子光学インターフェース回路109bは、作動信号108bの受信に応答して、後層111bを駆動するディスプレイインターフェース信号110bを生成する。ディスプレイインターフェース信号110bは、後層111b内の光学要素のうちの1つ又は複数(例えば、全て)のそれぞれのディスプレイインターフェース信号を含み得る。作動信号108bは、後層111b内の光学要素の1つ又は複数(例えば、全て)のそれぞれの作動信号を含み得る。
マルチビューディスプレイは、図1Aの例示的な実施形態に示されるような2層のみを含むものに限定されず、任意の適する数のアクティブ層(例えば、0、1、2、3、4、5等)及び/又は任意の適する数のパッシブ層(例えば、0、1、2、3、4、5等)を含む任意の適する数の層を含み得、本明細書に記載の技術の態様はこれに関して限定されない。マルチビューディスプレイがN個のアクティブ層(ここで、Nは2よりも大きい整数)を含む実施形態では、計算デバイス104は、N組の作動信号を生成し、それらを電子光学回路109に提供するように構成し得、電子光学回路109はそれに応答して、N組のディスプレイインターフェース信号を生成し、生成された組のディスプレイインターフェース信号を使用して、マルチビューディスプレイのN個のアクティブ層を駆動する。
幾つかの実施形態では、計算デバイス104は、それぞれが任意の適するタイプの1つ又は複数の計算デバイスを含み得る。各計算デバイスは1つ又は複数のプロセッサを含み得る。各プロセッサは、中央演算処理装置(CPU)、グラフィックス処理ユニット(GPU)、デジタル信号プロセッサ(DSP)、FPGA、ASIC、任意の他のタイプのハードウェアプロセッサ、又はそれらの任意の適する組み合わせであり得る。計算デバイス104が複数の計算デバイスを含む場合、複数の計算デバイスは、1つの物理的ロケーションに配置されてもよく、又は異なる物理的ロケーションに分散してもよい。複数の計算デバイスは、互いと直接又は間接的に通信するように構成し得る。
図1Aに示される例示的な実施形態を含め、幾つかの実施形態では、計算デバイス104は、(a)マルチビューディスプレイ111により再現される所望のライトフィールドを指定する情報105、(b)1つ又は複数のブラー変換を指定する情報106、及び(c)マルチビューディスプレイ111のモデルを指定する情報107に基づいて作動信号(例えば、作動信号108a及び108b)を生成するように構成し得る。計算デバイス104は、これらの入力に基づいて、1つ又は複数の最適化問題を解いて作動信号を取得する1つ又は複数の最適化アルゴリズムを符号化するソフトウェア103を使用することにより、これらの入力に基づいて作動信号を生成し得る。ソフトウェア103はプロセッサ命令を含み得、プロセッサ命令は、実行されると、上記入力に基づいて最適化問題を解き、作動信号を取得する。ソフトウェア103は、任意の適するプログラミング言語で書くことができ、任意の適するフォーマットであり得、本明細書に記載の技術の態様はこれに関して限定されない。
したがって、幾つかの実施形態では、作動信号108a及び108bは、少なくとも部分的に、(a)マルチビューディスプレイ111により再現される所望のライトフィールドを指定する情報105、(b)1つ又は複数のブラー変換を指定する情報106、及び(c)マルチビューディスプレイ111のモデルを指定する情報107を使用することにより公式化される最適化問題への解として取得し得る。そのような最適化問題及び最適化問題の解を生成する技法の例について、図2〜図15の参照を含め、本明細書において説明する。
したがって、幾つかの実施形態では、マルチビューディスプレイ111により生成されるコンテンツは、少なくとも1つの最適化問題を解く(例えば、例えば1つ又は複数の反復最適化アルゴリズムを含む1つ又は複数の最適化アルゴリズムにより)ことにより取得し得る。したがって、マルチビューディスプレイ111は「最適化ディスプレイ」と呼ぶことができる。最適化ディスプレイは、少なくとも1つの最適化問題を解くことにより取得されるコンテンツを生成する任意のディスプレイであり得る。
幾つかの実施形態では、マルチビューディスプレイ111により再現される所望のライトフィールドを指定する情報105は、1つ又は複数のシーンビューを含み得る。シーンビューは、自然のシーン又は合成シーンであり得、自然発生するライトフィールドの代表であってもよく、又は自然発生するライトフィールドにはあまり類似しないライトフィールドであってもよい。後者の場合は、限定ではなく例として、各ビューで基本的に独立した二次元コンテンツを示す複数の別個のビューを有するシーンに対応することができる。幾つかの実施形態では、各シーンビューは、マルチビュー表示装置の閲覧者の各位置に対応し得る。
幾つかの実施形態では、1つ又は複数のシーンビューを指定する情報105は、シーンビューのうちの1つ又は複数(例えば、全て)のそれぞれの画像(例えば、PNGファイル、JPEGファイル、又は画像の任意の他の適する表現)を含み得る。画像は、カラー画像又はグレースケール画像であり得、任意の適する解像度であり得る。幾つかの実施形態では、シーンビューの画像は、3D生成ソフトウェア(例えば、AUTOCAD、3D STUDIO、SOLIDWORKS等)により生成し得る。シーンビューを指定する情報105は、任意の適する数のビュー(例えば、少なくとも2つ、少なくとも10、少なくとも50、少なくとも100、少なくとも500、2〜1000、10〜800、又はこれらの範囲の任意の他の適する組み合わせ)を指定し得、本明細書に提供される技術の態様はこれに関して限定されない。
幾つかの実施形態では、1つ又は複数のブラー変換を指定する情報106は、ブラー変換を実施する任意の適するデータ(例えば、数値)を含み得る。データは、任意の適するタイプの1つ又は複数のデータ構造で記憶し得、データ構造は表現の一部であり得る。追加又は代替として、ブラー変換を指定する情報は、実行されると、ブラー変換を画像に適用する(例えば、画像を符号化するデータ構造に対して演算することにより)プロセッサ実行可能命令(例えば、任意の適するプログラミング言語のソフトウェアコード、1つ又は複数のアプリケーションプログラミングインターフェース及び/又はソフトウェアライブラリへの1つ又は複数の関数呼び出し等)を含み得る。情報106が、任意の適する方法で1つ又は複数のブラー変換を指定し得、本明細書に記載の技術の態様がこれに関して限定されないことを理解されたい。情報106は、本明細書に記載の任意のタイプのブラー変換を含む任意の適するタイプのブラー変換を指定し得る。
幾つかの実施形態では、マルチビューディスプレイ111のモデルを指定する情報107は、マルチビューディスプレイ111の1つ又は複数の物理的特性を特徴付ける情報を含み得る。情報107は、マルチビューディスプレイが画像を生成する方法に影響を及ぼすマルチビューディスプレイ111の任意の物理的特性についての情報を含み得る。例えば、幾つかの実施形態では、情報107は、前層と後層との間の距離、後層に対する前層の相対位置、前層の解像度、後層の解像度、前層のサイズ、後層のサイズ、前層及び/又は後層の任意のカラーフィルタの応答についての情報、前層及び後層のカラーチャネル間のスペクトルクロストークの表現、並びに/或いはマルチビューディスプレイの1つ又は複数の物理的特性を特徴付ける任意の他の適する情報を示す情報を含み得る。
幾つかの実施形態では、マルチビューディスプレイ111は、1つ又は複数の乗法パネル層(例えば、統合偏光子を有する1つ又は複数のLCDパネル並びに液晶オンシリコン(LCOS)及びデジタルマイクロミラーデバイス(DMD)又は他の電子機械デバイス)を含み得、情報107は、マルチビューディスプレイ111の層を透過する光への乗法パネル層の効果を示す情報を含み得る。幾つかの実施形態では、マルチビューディスプレイ111は、1つ又は複数の加法パネル層(例えば、光学的に結合されたLCD要素、OLED要素、及びLED要素)を含み得、情報107は、マルチビューディスプレイ111の層を透過する光への加法パネル層の効果を示す情報を含み得る。幾つかの実施形態では、マルチビューディスプレイ111は、1つ又は複数の偏光回転層(例えば、偏光子のないLCDパネル)を含み得、情報107は、マルチビューディスプレイ111の層を透過する光への偏光回転層の効果を示す情報を含み得る。
幾つかの実施形態では、情報107は、マルチビューディスプレイ111の1つ又は複数の投影系部分を示す情報を含み得る。幾つかの実施形態では、情報107は、マルチビューディスプレイ111の遠近効果を示す情報を含み得、この効果は、オンアクシス及びオフアクシス投影として表現可能であり得る。幾つかの実施形態では、情報107は、様々な層で様々なカラーチャネルを再現することに関連付けられた一般的に非均一なサブピクセル傾斜パターンの表現を含み得る。幾つかの実施形態では、情報107は、赤、緑、青、又は他のカラーチャネル間のスペクトルクロストークの表現を含み得る。幾つかの実施形態では、情報107は、表示要素により取得可能な有効最小及び最大強度レベルの表現を含み得る。幾つかの実施形態では、情報107は、マルチビューディスプレイ111の任意の乗法及び/又は加法表示要素の非線形応答特性(もしあれば)を特徴付ける情報を含み得る。幾つかの実施形態では、情報107は、マルチビューディスプレイ111の1つ又は複数の構成要素の位置の摂動(例えば、製造の結果として)についての情報を含み得る。幾つかの実施形態では、情報107は、表示要素位置の物理的移動についての情報(例えば、マルチビューディスプレイ111が1つ又は複数の電動要素を含む場合)を含み得る。幾つかの実施形態では、情報107は、マルチビューディスプレイ111の光学要素の時間領域動力学の表現を含み得る。限定ではなく例として、上記時間領域動力学は、ピクセル状態の立ち上がり時間及び立ち下がり時間を特徴付け得る。
幾つかの実施形態では、情報107は、ディスプレイインターフェース信号に提供される作動信号の変換に関連付けられた電子光学インターフェース回路109での制約の表現を含み得る。限定ではなく例として、表される制約は、所与のクロックサイクルで更新し得るピクセル状態の許容可能サブセットを反映し得る。限定ではなく例として、行駆動回路及び列駆動回路のサブセットを使用することが可能であり、それにより、表示要素の同等のフルリフレッシュフレームレートよりも高いレートでピクセルのサブセットを更新することができる。表現し得る表示駆動回路制約の更なる非限定的な例としては、値を特定のピクセル又はピクセルの集合に割り当て得る許容可能精度を反映した制約が挙げられる。限定ではなく例として、上記ピクセル状態は、ピクセル毎のカラーチャネル毎のいくらかの数のビットとして指定し得る。
幾つかの実施形態では、情報107は、マルチビューディスプレイ111に関連付けられた1つ又は複数のパッシブ光学現象を特徴付ける情報を含み得る。例えば、幾つかの実施形態では、マルチビューディスプレイ111は、1つ又は複数のパッシブ層(層111a及び111bと異なる)を含み得、情報107は、マルチビューディスプレイ111の層を透過する光へのパッシブ層の効果を特徴付ける情報を含み得る。そのようなパッシブ層は、1つ又は複数の光学拡散器、正反射要素及び拡散反射要素を含む1つ又は複数の反射要素、1つ又は複数の光学膜、1つ又は複数の小型レンズアレイ、1つ又は複数のホログラフィック層(例えば、回折ホログラフィックバックライト)を含み得る。そのようなパッシブ層は、マルチビューディスプレイ111の任意のアクティブ層の前、間、又は背後に配置し得る。追加又は代替として、情報107は、例えば、ピクセルアパーチャパターン、任意の光学膜の波長依存効果、波遅延器(例えば、1/2波長板)の波長依存効果、例えば、角度依存輝度を含む角度依存強度応答、及びコントラスト及び/又はガンマ特徴に起因する光学要素間の回折効果を特徴付ける情報を含み得る。
幾つかの実施形態では、情報107は、マルチビューディスプレイの駆動に使用される作動信号と、作動信号に応答してマルチビューディスプレイにより生成される表示ビューとの間のマッピングを含み得る。マッピングは、情報107の一部として上述した情報のいずれかを使用して生成し得る(したがって、表現及び/又は反映し得る)。例えば、マッピングは、マルチビューディスプレイ111の1つ又は複数の物理的特性を特徴付ける情報、前層と後層との間の距離を示す情報、後層に対する前層の相対位置、前層の解像度、後層の解像度、前層のサイズ、後層のサイズ、前層及び/又は後層の任意のカラーフィルタの応答についての情報、前層及び後層のカラーチャネル間のスペクトルクロストークの表現、マルチビューディスプレイ111の層を透過する光への乗法、加法、及び/又は偏光回転パネル層の効果を示す情報、マルチビューディスプレイ111の1つ又は複数の投影系部分の効果を示す情報、マルチビューディスプレイ111の遠近効果を示す情報、様々な層での様々なカラーチャネルの再現に関連付けられた一般に非均一なサブピクセル傾斜パターンの表現、赤、緑、青、又は他のカラーチャネル間のスペクトルクロストークの表現、表示要素により取得可能な有効最小及び最大強度レベルの表現、マルチビューディスプレイ111の任意の乗法及び/又は加法表示要素の非線形応答特性を特徴付ける情報、マルチビューディスプレイ111の1つ又は複数の構成要素の位置の摂動についての情報、表示要素位置の物理的移動についての情報(例えば、マルチビューディスプレイ111が1つ又は複数の電動要素を含む場合、マルチビューディスプレイ111の光学要素の時間領域動力学の表現、ディスプレイインターフェース信号に提供される作動信号の変換に関連付けられた電子光学インターフェース回路109での制約、マルチビューディスプレイ111に関連付けられた1つ又は複数のパッシブ光学現象を特徴付ける情報、光学要素間の回折効果を特徴付ける情報及び/又はマルチビューディスプレイが画像を生成する方法に影響を及ぼすマルチビューディスプレイ111の任意の物理的特性についての情報を使用して生成し得る。
幾つかの実施形態では、マルチビューディスプレイの駆動に使用される作動信号と、ディスプレイにより生成される表示ビューとの間のマッピングを生成(例えば、計算)し得、後続使用のために記憶し得、使用時にアクセスし得る。そのような実施形態では、マッピングは、任意の適するフォーマット及び/又はデータ構造で記憶し得、本明細書に記載の技術の態様はこれに関して限定されない。幾つかの実施形態では、マッピングを生成し、記憶せずにすぐに使用し得る。
幾つかの実施形態では、マッピングは、1つ又は複数のソフトウェアパッケージを使用して生成し得る。ソフトウェアパッケージは、上記情報107のいずれかを入力及び/又はパラメータとしてとり、作動信号から表示ビューを生成し得る。例えば、幾つかの実施形態では、マッピングは、カメラ投影を使用して、興味のある特定の閲覧位置からのビューを取得して、作動信号の使用に対応する状態でディスプレイのモデルをレンダリングするに当たり、レンダリングパッケージ又はフレームワーク(例えば、3D Studio、Blender、Unity、ThreeJS、NVIDIA Optix、POVRay、又はOpenGL、OpenGL ES、WebGL、Direct3D、CUDA、若しくは汎用CPUライブラリ等の様々なグラフィックスフレームワークを利用し得るカメラ若しくは他のパッケージ)を使用して生成し得る。投影は、透視投影、オフアクシス投影、又は正投影であり得る。
作動信号が、後層から選択的に発せられる光及び前層で選択的に減衰する光を生じさせる実施形態では、後層を第1の作動信号を用いてテクスチャ化された平面としてレンダリングし得、その後、乗法混色を使用して後層のレンダリングと混色した、第2の作動信号を用いてテクスチャ化された平面として前層をレンダリングし得る。そのような実施形態では、視点がディスプレイ視点の所望の位置に一致するカメラ投影を使用してシーンのレンダリングを実行することは、関連付けられた表示ビューの計算に繋がり得る。表示モデルがより複雑である(例えば、反射層、拡散層、カラーチャネル間のスペクトルクロストーク、回折効果、又は層間の内部反射のモデルを含む)幾つかの実施形態では、作動信号から表示ビューへのマッピングは、光学系モデリングルーチン又はソフトウェア(例えば、NVIDIA Optix、Maxwell、又はカスタムで書かれたソフトウェア)を使用して生成し得る。
図1Bは、本明細書に記載の技術の幾つかの実施形態による、ライトフィールドプリントの層にプリントするパターンを生成し、生成されたパターンをライトフィールドプリントの層にプリントする例示的なシステム110を示す。図1Bに示されるように、計算デバイス113は、作動信号を生成し、生成された作動信号をプリントシステム118に提供するように構成され、プリントシステム118は、提供された作動信号(「作動パターン」又は「標的パターン」と呼ばれることもある)を、ライトフィールドプリント120等の層状パッシブ表示構成に構成される層プリント媒体にプリントする。
図1Bの例示的な実施形態に示されるように、ライトフィールドプリント120は、前層120a及び後層120bを含む。これらの層はそれぞれ、生成された作動パターンをプリントシステム118によりプリントし得る1つ又は複数の透明膜及び/又は他の透明材料を含み得る。さらに、幾つかの実施形態では、ライトフィールドプリント120は、1つ又は複数の光学スペーサ、1つ又は複数の拡散器、1つ又は複数の小型レンズアレイ、1つ又は複数のホログラフィック層、1つ又は複数のカラーフィルタ、及び/又は1つ又は複数のアクティブバックライトを含むがこれに限定されない1つ又は複数の他の層を含み得る。
図1Bに示されるように、計算デバイス113は、層120a及び120bに付着する標的パターン117a及び117bを生成する。計算デバイス113は、生成された標的パターンをプリントシステム118に提供し、プリントシステム118は、標的パターンを層120a及び120bにプリントする。プリントシステム118はレーザトナーベースのプリントシステム、レーザドラムベースのプリントシステム、インクジェットプリントシステム、発色又は他の写真プリントシステム、デジタルオフセットプリントシステム、及び/又は標的パターンをライトフィールドプリントの組み立てに使用される1つ又は複数の層にプリントするのに使用し得る任意の他のタイプのプリントシステムであり得る。
ライトフィールドプリントは、図1Bの例示的な実施形態に示されるように、2つのみの層を有することに限定されず、任意の適する数の層(例えば、2、3、4、5、6、7等)を含み得、本明細書に記載の技術の態様はこれに関して限定されない。ライトフィールドプリントがN層を含む(ここで、Nは2よりも大きい整数)実施形態では、計算デバイス113は、N個の標的パターンを生成し、それらをプリントシステム118に提供するように構成し得、プリントシステム118は、生成された標的パターンをN層にプリントし、これらの層を続けて組み立てて、ライトフィールドプリントにし得る。
幾つかの実施形態では、計算デバイス113は、それぞれが任意の適するタイプである1つ又は複数の計算デバイスを含み得る。各計算デバイスは、1つ又は複数のプロセッサを含み得る。各プロセッサは、中央演算処理装置(CPU)、グラフィックス処理ユニット(GPU)、デジタル信号プロセッサ(DSP)、FPGA、ASIC、任意の他のタイプのハードウェアプロセッサ、又はそれらの任意の適する組み合わせであり得る。計算デバイス113が複数の計算デバイスを含む場合、複数の計算デバイスは、1つの物理的ロケーションに配置されてもよく、又は異なる物理的ロケーションに分散してもよい。複数の計算デバイスは、互いと直接又は間接的に通信するように構成し得る。
図1Bに示される例示的な実施形態を含め、幾つかの実施形態では、計算デバイス113は、(a)ライトフィールドプリント120により生成することが望ましいライトフィールドを指定する情報115、(b)1つ又は複数のブラー変換を指定する情報114、及び(c)プリントシステム118により実行されるプリントプロセスのモデルを指定する情報116に基づいて標的パターン(例えば、標的パターン117a及び117b)を生成ように構成し得る。計算デバイス113は、1つ又は複数の最適化問題を解いて、これらの入力に基づいて標的パターンを取得する1つ又は複数の最適化アルゴリズムを符号化するソフトウェア112を使用することにより、これらの入力に基づいて標的パターンを生成し得る。ソフトウェア112はプロセッサ命令を含み得、プロセッサ命令は、実行されると、最適化問題を解き、上記入力に基づいて標的パターンを取得する。ソフトウェア112は、任意の適するプログラミング言語で書くことができ、任意の適するフォーマットであり得、本明細書に記載の技術の態様はこれに関して限定されない。
したがって、幾つかの実施形態では、標的パターン117a及び117bは、少なくとも部分的に、(a)ライトフィールドプリント120により生成することが望ましいライトフィールドを指定する情報115、(b)1つ又は複数のブラー変換を指定する情報114、及び(c)プリントシステム118により実行されるプリントプロセスのモデルを指定する情報116を使用することにより公式化される最適化問題への解として取得し得る。そのような最適化問題及びそれらへの解を生成する技法の例について、以下の図2〜図15の参照を含め、本明細書において説明する。
幾つかの実施形態では、ライトフィールドプリントにより生成することが望ましいライトフィールドを指定する情報115は、1つ又は複数のシーンビューを含み得、例えば、図1Aの情報105に関連して上述した任意の情報を含み得る。幾つかの実施形態では、1つ又は複数のブラー変換を指定する情報114は、図1Aの情報106に関連して上述した任意の情報を含み得る。
幾つかの実施形態では、プリントシステム118により実行されるプリントプロセスのモデルを指定する情報116は、層ジオメトリ情報、カラーモデル情報、プリント解像度情報、使用されるプリントシステムのタイプを指定する情報、プリントプロセスから生じるインク滲み量を特徴付ける情報、プリントプロセスから生じるドットゲイン量を特徴付ける情報、プリント媒体の許容可能最大インク濃度を示す情報、プリントプロセスにより生成されるプリントのドットピッチを示す情報を含むがこれに限定されないプリントプロセスを特徴付ける情報を含み得る。
図1A及び図1Bの上記考察から理解し得るように、本明細書に記載の技法は、アクティブディスプレイを制御する作動パターンの生成及びパッシブディスプレイ(プリント資料及びCNC製造材料を含む)の標的パターンの生成に適用し得る。本明細書に記載の技法の用途の非限定的な例を以下に列挙する。アクティブ要素を制御する作動信号を生成する用途としては、閲覧者の目から離れた位置で使用し得る電子表示の提供(例えば、特殊な眼鏡又は他のハードウェアを必要とせずに奥行きの錯覚の生成、シーンの複数の独立したビューの生成、閲覧者の視覚欠陥の矯正)、ディスプレイ出力を周囲の既存のライトフィールドと結合する光学系あり又はなしでの閲覧者の目から近い位置で使用し得る電子表示の提供(例えば、仮想現実又は拡張現実用途での調節キューの再現)、光学系(例えば、ヘッドアップディスプレイシステム)を使用して周囲の既存のライトフィールドに重ねられる、閲覧者の目から離れた位置で使用し得る電子表示の提供が挙げられるがこれに限定されない。これらのタイプのディスプレイのいずれも、モバイルデバイス(例えば、携帯電話、ウェアラブルデバイス、及びタブレット)、娯楽システム(例えば、ホームテレビジョンディスプレイ、機内娯楽システム、及び自動車両娯楽システム)、データ視覚化システム、汎用計算システム及びコンピュータユーザインターフェース、広告及び情報キオスクを含む電子看板、建築プレビューディスプレイ、CADワークステーションディスプレイ、自動車両及び航空機器ディスプレイ、及び任意の他の適するタイプのディスプレイの一部として使用し得る。パッシブ表示要素の作動パターンを生成する用途は、家具、高級家具、建築物、及び建築装飾、ステージ及びテレビジョンセット、看板、パッシブ又はアクティブバックライトを用いる看板を含む広告及び販売促進資料、例えば0.02インチ(約0.5mm)未満の厚さのプリント資料、CNC機械加工及び多層物品の生成が挙げられるがこれに限定されない。
本明細書に記載のように、幾つかの実施形態では、最適化ベースの手法を使用して、1つ又は複数のアクティブ層を制御し、及び/又は1つ又は複数の透明材料層にプリントする標的パターンを生成する作動信号を生成し得る。幾つかの実施形態では、最適化ベースの手法は反復し得る。
幾つかの実施形態では、手法は以下のようであり得る。まず、初期化段階において、第1の組の作動信号(又はプリントの状況では標的パターン)が生成される。この組の作動信号は、新たに又は1つ若しくは複数の前に取得した作動信号に基づいて生成し得る。次に、第1の組の作動信号を使用して、第1の組の作動信号により駆動された場合にマルチビューディスプレイにより生成される第1の組の表示ビューを決定し、表示ビューをシーンビュー(マルチビューディスプレイにより生成されることが望ましいライトフィールドを指定する)と比較して、誤差ビューを生成する。表示ビューは、シーンビュー毎に生成し得る。表示ビューは、マルチビューディスプレイの物理的特徴についての情報(例えば、図1Aを参照して説明した情報107)を使用して決定し得る。プリントの状況では、ビューは、プリントプロセスについての情報(例えば、図1Bを参照して説明した情報116)を使用して決定し得る。
幾つかの実施形態では、誤差ビューは、1つ又は複数のブラー変換(例えば、表示ビューとシーンビューとの対と同じブラー変換)に更に基づいて生成し得る。幾つかの実施形態では、表示ビュー及びシーンビューのそれぞれは、比較されて誤差ビューを生成する前、適するブラー変換(例えば、図2に示されるような)により変換し得る。幾つかの実施形態では、表示ビュー及びシーンビューに適用されるブラー変換が同一且つ線形である場合、ブラー変換は、表示ビュー及びシーンビューに適用される代わりに誤差ビューに適用し得る。
そして、誤差ビューを使用して、第1の組の作動信号の値をいかに更新するか(表示ビューとシーンビューとの間の誤差を低減するために)を判断し、第2の組の作動信号を取得し得る。次に、第2の組の作動信号を使用して、第2の組の作動信号により駆動された場合にマルチビューディスプレイにより生成される第2の組の表示ビューを決定し、第2の組の表示ビューをシーンビューと比較することにより、第2の組の誤差ビューを生成する。次に、第2の組の誤差ビューを使用して、第2の組の作動信号の値をいかに更新するかを判断し、第3の組の作動信号を取得して、表示ビューとシーンビューとの間の誤差を更に低減する。この反復プロセスは、表示ビューとシーンビューとの間の誤差が所定の閾値未満になるまで、閾値回数の反復が実行されるまで、閾値量の時間が経過するまで、又は任意の他の適する停止基準が満たされるまで、繰り返し得る。
上記の例示的な反復最適化技法は、アクティブディスプレイを制御する作動信号の生成に関して説明されたが、類似の技法を使用して、ライトフィールドプリントの組み立てに使用される透明層にプリントする標的パターンを生成し得ることを理解されたい。同様に、以下の説明では、図2〜図14を参照して説明される最適化技法は、アクティブディスプレイの作動信号の生成のみならず、ライトフィールドプリントを製造する標的パターンの生成にも適用し得る。
図2は、本明細書に記載の技術の幾つかの実施形態による、マルチビューディスプレイを制御する作動信号を生成するように実行される処理の例示的なブロック図200である。特に、図2は、d(k=1,・・・,N)で示され、Nはビューの数を表す、層201a及び201bを有するマルチビューディスプレイ201の1組の表示ビュー202と、仮想シーン203の、s(k=1,・・・,N)で示される1組の対応するシーンビュー204との比較に基づいて、1組の作動信号を識別する反復最適化技法のステップを示す。シーンビューは、本明細書に記載されるタイプを含め、任意の適するタイプのものであり得る。例えば、シーンビューは、自然のシーン又は合成シーンのものであり得、自然発生するライトフィールドの代表であってもよく、又は自然発生するライトフィールドにはあまり類似しないライトフィールドであってもよい。後者の場合は、限定ではなく例として、各ビューで基本的に独立した二次元コンテンツを示す複数の別個のビューを有するシーンに対応することができる。
幾つかの実施形態では、表示ビューとシーンビューとの間には1対1対応性があり得る。他の実施形態では、そのような1対1対応性がないことがある。例えば、シーンビューは、水平方向のみで移動中の場合、表示ビューに対応し得、一方、垂直方向に移動中、1組の表示ビューは1つのシーンビューに対応し得る。別の例として、水平方向に移動することによりシーンビューと表示ビューとを比較する場合、シーンビューロケーションは、表示ビューロケーションのレートの何分の一か(例えば、1/2)進み得る。
図2に示されるように、ブラー変換208を表示ビュー202及びシーンビュー204に適用し得、その結果生成されるブラー表示ビュー及びブラーシーンビューを比較して、e(k=1,・・・,N)で示される誤差ビュー212を生成し得る。幾つかの実施形態では、同じブラー変換を全ての表示ビュー及び全てのシーンビューに適用し得る。他の実施形態では、他のブラー変換Tを表示ビューd及び対応するシーンビューsに適用し得、異なるブラー変換Tを別の表示ビューd及びそれに対応するシーンビューsに適用し得る。ブラー変換208は、本明細書に記載の任意のタイプのブラー変換を含み得る。
表示ビューは、x(k=1,・・・,M)で示される1組の作動信号205を使用して生成し得、ここで、Mは作動信号数を示す。作動信号205は、多層ディスプレイ201のモデルを指定する情報に基づいて、状態を多層ディスプレイ201及び/又は多層ディスプレイ201のシミュレーションの様々な層に割り当てて、表示ビューd202を生成するに当たり使用し得、モデルを指定する情報は、図1Aを参照して説明した情報107のいずれかを含み得、幾つかの実施形態では、作動信号と表示ビューとの間の1つ又は複数のマッピング(前に生成され、記憶されたか、又は「オンライン」使用に向けてソフトウェアにおいて指定される)を含み得る。したがって、幾つかの実施形態では、1つ又は複数のマッピングを使用して、作動信号205に基づいて状態を多層ディスプレイ201の様々な層に割り当て得る。この意味では、作動信号205(すなわち、x(k=1,・・・,M))から表示ビュー202(すなわち、d(k=1,・・・,N))へのマッピングは、多層ディスプレイ201の物理的光伝搬及びパッシブ又はアクティブ表示要素を含む全体的な多層ディスプレイ201の特性を使用して公式化し得る。したがって、作動信号205から表示ビュー202へのマッピングは、例えば、図1Aを参照して説明した情報107のいずれかを含め、マルチビューディスプレイ111の1つ又は複数の物理的特性を特徴付ける任意の情報に依存し得る。
幾つかの実施形態では、図2から理解し得るように、最適化アルゴリズムの各反復で、目標は、誤差ビュー212に基づいて作動信号205を更新して、表示ビューのブラー版とシーンビューのブラー版との間の全体誤差量を低減することであり得る。これは、非ブラー表示ビューが、大量の高周波数内容を有することがあり(実際に、有することになり)、この大量の高周波数内容が、ブラー変換208の適用を介して除去されることを意味する。言い換えれば、低周波数内容をより大きく加重する誤差関数は、高周波数内容が誤差関数に向けてそれほど大きくはカウントされないため、マルチビューディスプレイに高周波数内容を生成させるように作動信号を促進し得る。幾つかの実施形態では、ブラー変換208は、誤差ペナルティが低周波数でより高く、誤差ペナルティが高周波数でより小さくなるように低周波数内容を加重することにより、これを促進し得る。
アクティブディスプレイ(例えば、マルチビューディスプレイ111)を制御する作動信号又はライトフィールドプリント(例えば、ライトフィールドプリント120)を製造する標的パターンの生成に使用し得る最適化技法の追加の態様について、図3〜図13を参照して以下に説明する。
図3は、本明細書に記載の技術の幾つかの実施形態による、マルチビューディスプレイを制御する作動信号の生成の一環及び/又はライトフィールドプリントの1つ又は複数の層にプリントするパターンの生成の一環として解くことができる最適化問題例300を示す。
図3に示されるように、最適化問題300を使用し、作動信号への上限u及び下限lを含む列挙された制約を受ける費用関数g(e,・・・,e)を最小化する(厳密に又は近似的に)ことにより、作動信号xを決定し得る。そのような制約は、要素毎に実施される。最適化問題300では、関数f(・・・)、k=1,・・・,Nは、作動信号xから図2に示されるビュー誤差信号等のビュー誤差信号eへのマッピングを表す。この意味では、関数f(・・・)は一般に、例えば、(1)作動信号xから表示ビューdへの暗黙的マッピング、(2)所望のシーンビューの値s、並びに(3)図2に示されるブラー変換及び差分関数を組み込む。
幾つかの実施形態では、最適化問題300は、図4に概略的に示されるように、反復勾配ベースの技法を使用して解き、作動信号xを取得し得る。示されるように、勾配技法は、関数f(・・・)の勾配を使用し、更新ルールを使用して作動信号の値を繰り返し更新することを含む。
図5は、幾つかの実施形態における図4の勾配ベースの技法の一環として使用し得る更新ルールの例504を示す。作動信号xを制約する、図3に示される上限u及び下限lは、制約を満たすことが分かっている1組の変数x501から開始し、これらの制約を常に満たす状態進化を生じさせる値α502及びβ503を動的に選択することにより、更新ルール504により実施し得る。
図6は、本明細書に記載の技術の幾つかの実施形態による、マルチビューディスプレイを制御する作動信号の生成の一環及び/又はライトフィールドプリントの1つ又は複数の層にプリントするパターンの生成の一環として解くことができる別の最適化問題600を示す。最適化問題600は、最適化問題300での上限及び下限を費用関数でのペナルティ項で置換することにより取得し得る。ペナルティ項は、状態が進化するにつれて又はシムが定常状態に達するにつれて制約が満たされるように選択される。例示的な最適化問題600では、ペナルティ項はペナルティ関数p(x)である。
幾つかの実施形態では、最適化問題600は、図7に示される勾配ベースの反復技法により解くことができる。図7に示されるように、この技法は、更新ルール701を利用し、ペナルティ項の勾配を組み込む。更新ルール701は、任意の適する更新ルールであり得、例えば、図5に示される更新ルール504であり得る。
なお図7を参照すると、以下は、関数fj,k(・・・)についての表記を定義する。
j,k(x)=f(・・・,x,・・・)
したがって、各fj,k(・・・)は、f(・・・)から開始され、位置j以外の全ての引数を一定に保持することにより得られるその関数として定義される。位置jにない変数の特定の固定値は、大域的問題範囲内で他の箇所に定義されるように、それらの変数の前に定義された値を保持する。この定義は、一般性を失わずに使用され、以下の項での考察に役立つ。
幾つかの実施形態では、1つ又は複数の最適化問題を解くことにより(例えば、厳密解又は近似解を見つけることにより)作動信号の値を決定するのに必要とされる処理は、複数の計算デバイスにより分散して実行し得る。以下において、幾つかの実施形態では、本発明者らにより開発された最適化アルゴリズムを分散し得る、本発明者らにより開発された技法を考察する。分散ハードウェア及びソフトウェアのトポロジーは、これらの説明により暗示される。
幾つかの実施形態では、最適化問題(例えば、最適化問題300及び600等)は、作動信号xのサブセットを一定に保ち、作動信号の残りのサブセットの値を最適化に幾つかの回数の反復を実行することにより、「分割」し得る(すなわち、最適化問題を解く技法は、分散環境での実施を促進するように設計し得る)。この時点後、作動信号xの異なるサブセットを選択し得、作動信号の所望の値が得られるまで、プロセスを繰り返す。
図8は、最適化問題300を解く勾配ベースの反復最適化技法の分散実施を促進するように公式化された最適化問題800を示す。幾つかの実施形態では、表1に示されるように各作動信号を順次更新することにより、最適化問題300の解(厳密及び近似−大域的又は局所的最小)解を取得し得る。
Figure 0006917378
幾つかの実施形態において、図8に示される最適化問題800の局所的又は大域的最小を見つけるために使用することができるか、又は代替的に、そのような解に向かう有限数の反復ステップをとるにあたり使用することができる反復勾配ベースの最適化アルゴリズムは、図9に概略的に示されている。
幾つかの実施形態では、計算を更に分割し分散するために、最適化問題800の公式化での追加の数学的構造を利用し得る。例えば、図8を参照して、
j,k(x)=L(hj,k(x)−s
として関数fj,k(x)を選択し、各関数hj,k(・・・)及びL(・・・)は線形マップであり、それにより、図10に概略的に示されるように、最適化アルゴリズムの更なる分解に繋がる。
図10では、上付きのアスターリスクは、随伴マップを示し、これは、行列の場合、転置行列になる。なお、この公式化では、変数s1001はシーンビューを表し、関数hj,k(・・・)1002は、作動信号x1003から表示ビューd1004へのマッピングを表し得、関数L(・・・)1005は、ブラー変換を実施する線形マップ(幾つかの実施形態では、ブラーカーネルとの畳み込みとして明示的に実現し得る)を表し得る。例えば、hj,k(・・・)及びL(・・・)の線形性は、1組の全ての作動信号1003から個々の表示ビューd1004への全体マッピングが多重線形マップである、乗法層からなる多層ディスプレイでの作動信号最適化に当たり自然に上昇する。
図10に示されるように、関数gj,k(e)(1006)をとり、図8の最適化問題800に列挙されるような全体費用項に個々に合算する。
g(e,...,e)=gj,1(e)+…+gj,N(e
この意味では、個々の関数gj,k(e)は、勾配が図10に示されるように計算される線形又は非線形ペナルティ関数であり得る。例えば、
Figure 0006917378
を選ぶことにより、
Figure 0006917378
の局所最小が得られることを示すことは簡単であり、式中、||・・・||γはγノルムを示す。
幾つかの実施形態では、二次ペナルティ関数gj,k(e)を利用し得る。関数
Figure 0006917378
は二次(例えば、γ=2)であり、目的が非負性に対応する作動信号xへの加減の実施である場合、幾つかの実施形態では、乗法更新ルールを使用し得る。上辺では、これは、非負行列因数分解問題を解くに当たり使用されることがある乗法更新ルールと同様に見える。しかし、そのような実施形態で記載される技法は、fj,k(x)=L(hj,k(x)−s)を構成する関数での線形性のより一般的な性質を利用し、これは、1組の表示層の1組の作動信号xから誤差ビューeへのマッピングでの多重線形性に対応する。これは、加重又は非加重非負行列因数分解と併用されるよりも制限性がはるかに低い仮定であり、ブラー変換を利用するアルゴリズムの公式化に特に有用である。
図11及び図12は、幾つかの実施形態において、作動信号xの非負性を実施する乗法更新ルールを利用して、図8に示される最適化問題800の局所的又は大域的最小を見つける(又はそのような解に向かう1つ又は複数のステップをとる)のに使用し得る2つの技法を示す。図11に示されるように、様々なサブ計算から生じる分子項1101及び分母項1102を加法的に結合し、個々の和を除算する。図12に示されるように、限定ではなく例として、重みが非負であり、合算すると1になる加重平均に対応する、各サブ計算1201で様々な信号での除算1203がまず実行され、個々のサブ計算1205の結果の凸結合1204がとられる。図11及び図12で利用される情報更新ルール1103及び1202の一般形はそれぞれ、図13に概略的に示されている。
図2〜図13の追加の態様は、使用される特定の図表記の以下の更なる説明を通して理解し得る。矢印は、時間に伴う信号フローの方向を表し得る。信号フローは、例えば、画像データ又は画像データの集まりのフローを示す、一般にスカラー値又はベクトル値をとり得る変数の同期又は非同期での受け渡しに対応し得る。円に囲まれた+記号は一般に、入力信号のベクトル加算又は減算を示す(例えば、図2に示されるように)。入力に書かれた負の符号を有する、円に囲まれた+記号への任意の入力の場合、これらの入力信号は無効になる。生じ得る無効化後、全ての信号を合算して、出力信号を形成する。信号線上のドットは、信号複製(例えば、図5の「状態記憶」の出力後に示されるような)を示す。記号▽は、関数の勾配を示す(例えば、図10では、この記号を含む四角ブロックは、そのブロックへの入力である信号eに負勾配の関数gj,k(・・・)を適用することを指す)。図11及び図12では、円で囲まれた÷記号は、一般にベクトル値信号の要素毎の除算を示し、四角で囲まれた記号は、記された線形マップの関連付けられた入力信号への適用を示す。図13では、円で囲まれた×記号は、一般にベクトル値の信号の要素毎の乗算を示す。
表2は、幾つかの実施形態により、反復勾配ベースの最適化技法の態様を使用して、最適化問題への局所的又は大域的解を取得し、作動信号の値を生成し得る擬似コードを示す。
Figure 0006917378
Figure 0006917378
図14は、本明細書に記載の技術の幾つかの実施形態によるマルチビューディスプレイにより生成されるシミュレーションビューを示す。画像1401は、15のビューを含むマルチビューライトフィールド画像の2つのビューを示し、15のビューは、比較される全ての方法への入力として指定される。画像1402は、非負行列因数分解(NMF)を利用する当業者に以前から既知の方法の実行又は2層の場合にNMFに低減される方法の実行からの結果を示す。画像1403及び1404は、有限ビュー帯域幅を利用する知覚的に動機付けられる費用関数を利用する、本明細書に記載の技法を使用して幾つかにより達成される性能を示す。1403及び1404に示されるのは、閲覧者距離237cmにおいて層離間1.44cmを有する、シミュレートされた47cm×30cmの2層ディスプレイに提示された10度水平FOVを有する3×5(15のビュー)ライトフィールドの水平示差方向に沿った2つの極端なビューのシミュレーションである。画像1403及び1404は、シーン輝度を変化させて、開示される方法の一実施形態の性能を比較する。ライトフィールドデータ及び表示構成は、[G.Wetzstein.Syntheic Light Field Archive.http://web.media.mit.edu/〜gordonw/SyntheticLightFields/.2015年8月12日アクセス]から得た。手法1402〜1404毎に、必要とされるディスプレイバックライト輝度の増大が列挙され、従来のバリアベースの視差ディスプレイと比較して、バックライト効率の大きな増大を達成することができることを示す。なお、提示された全ての結果は、以前に実証された時間多重化研究とは対照的に、単一フレーム非時間多重化ディスプレイでの性能を示している。示される結果は、拡大詳細図1405を除き、人間視覚系による観測をシミュレートするようにフィルタリングされる。
図15は、本明細書に記載の技術の幾つかの実施形態によるマルチビュー表示装置の光学挙動を制御する作動信号を生成する例示的なプロセス1500のフローチャートである。プロセス1500は、任意の適するデバイスにより実行し得る。例えば、プロセス1500は、マルチビューディスプレイに結合され、及び/又はマルチビューディスプレイの一部である1つ又は計算デバイスにより実行し得る。例えば、プロセス1500は、図1Aを参照して説明した計算デバイス104により実行し得る。
プロセス1500は、動作1502において開始され、複数のシーンビューを取得し得る。複数のシーンビューのそれぞれは、マルチビューディスプレイの閲覧者の位置に対応し得る。シーンビューは、マルチビューディスプレイにより生成されることが望ましいライトフィールドを指定し得る。本明細書に記載のように、シーンビューは、自然なシーン又は合成シーンのものであり得る。各シーンビューは、シーンビューのうちの1つ又は複数(例えば、全て)のそれぞれの任意の適する解像度のグレースケール画像及び/又はカラー画像を含み得る。任意の適する数(例えば、少なくとも2つ、少なくとも10、少なくとも50、少なくとも100、少なくとも500、2〜1000、10〜800、又はこれらの範囲の任意の他の適する組み合わせ)のシーンビューを動作1502において取得し得、本明細書に提供される技術の態様はこれに関して限定されない。
幾つかの実施形態では、シーンビューは、少なくとも1つの画像ソースにアクセスし、及び/又は少なくとも1つの画像ソースから1つ又は複数の画像を受信する(例えば、記憶された画像にアクセスする、別のアプリケーションプログラム又はリモート計算デバイスから画像を受信する)ことにより取得し得る。幾つかの実施形態では、シーンビューは、まず、3Dシーンの記述(例えば、シーンの3Dモデル)を取得し、次に、プロセス1500の一環として、取得された3Dシーンの記述に基づいてシーンビューを生成することにより取得し得る。
次に、プロセス1500は動作1504に進み、マルチビューディスプレイのモデルを指定する情報を取得し得る。この情報は、マルチビューディスプレイが画像を生成する方法に影響を及ぼし得るマルチビュー表示装置の任意の物理的特性についての任意の情報を含み得る。動作1504において取得される情報は、例えば、図1Aを参照して説明した情報107のいずれかを含み得る。
幾つかの実施形態では、動作1504において取得される情報は、これらのデータを使用して、作動信号を識別する反復最適化技法(例えば、図2〜図13を参照して説明したように)の一環として1組の作動信号に基づいて表示ビューを生成し得るように、マルチビューディスプレイの物理的特性を数値的に(例えば、任意の適するタイプの1つ又は複数のデータ構造で記憶された1つ又は複数の値を使用して)指定するデータを含み得る。幾つかの実施形態では、動作1504において取得される情報は、ソフトウェアコードに符号化し得る。ソフトウェアコードは、作動信号を識別する反復最適化技法の一環として1組の作動信号に基づいて表示ビューを生成するのに使用することもできる。幾つかの実施形態では、そのようなソフトウェアコードが実行されるとき、ソフトウェアコードで具現される物理的特性に基づいてパラメータ(例えば、作動信号、表示ビュー又は他の画像、他の変数)を変換し得る。
次に、プロセス1500は動作1506に進み、少なくとも1つのブラー変換を指定する情報を取得し得る。少なくとも1つのブラー変換を指定する情報は、1つ又は複数のブラー変換を指定し得、例えば、図1Aを参照して説明した情報106のいずれかを含む任意の適するタイプの情報を含み得る。
次に、プロセス1500は動作1508に進み、動作1502において取得された複数のシーンビュー、動作1504において取得されたマルチビュー表示装置のモデルを指定する情報、及び動作1506において取得された少なくとも1つのブラー変換を指定する情報に基づいて、複数の作動信号を生成し得る。これは、本明細書に記載の任意の方法で行い得、例えば、図2〜図13を参照して説明した反復最適化技法を使用することにより行い得る。
次に、プロセス1500は動作1510に進み、動作1508において生成された作動信号を使用して、マルチビューディスプレイを制御し得る。これは、任意の適する方法で行い得る。例えば、幾つかの実施形態では、生成された作動信号を電子光学インターフェース回路(例えば、図1Aを参照して説明した回路109)に提供し得、電子光学インターフェース回路は、提供された作動信号に基づいてマルチビューディスプレイを駆動し得る。動作1510後、プロセス1500は完了する。
ブラー変換を使用する本明細書に記載の技法が、ブラー変換が知覚効果(例えば、人間視覚系の)に関連せず、むしろ、ディスプレイから出力される光又は他の電磁波を受け取る媒体での何らかの帯域制限効果に関連する用途でも使用可能なことを理解されたい。そのような用途では、ディスプレイから出力される光又は電磁波は、通常、人間の目により消費に向けて設計されず、むしろ、別の物理的媒体又は生物組織による消費に向けて設計される事がある。そのような用途の非限定的な例としては以下が挙げられる。
・3Dプリントでのフォトリソグラフィ及びステレオリソグラフィに最適化されたディスプレイ(例えば、最適化されたディスプレイを感光樹脂に発するのに使用し得る)での帯域制限性の使用。ここで、帯域制限性は、樹脂中の解像可能なドットサイズへの下限を実施する。
・二次元資料を写真的に露光するように最適化されたディスプレイでの帯域制限性の使用(例えば、フォトジェニックプリントプロセス又は他の写真プリントデバイスで使用される)。ここで、帯域制限性は、写真媒体での解像可能ドットサイズへの下限を実施する。
・光又は他のエネルギー電磁波を使用して生物組織を放射するように最適化されたディスプレイでの帯域制限性の使用。帯域制限性は、熱効果又は他の効果に起因して放射により独立して影響を及ぼすことができる組織の最小容積を実施し得る。
V.マルチビューディスプレイ構成の更なる説明
マルチビューディスプレイを制御する作動信号を生成する技法は、本明細書に記載の多くのタイプのマルチビュー3Dディスプレイと併用し得る。以下は、本発明者らにより開発された幾つかのタイプのマルチビュー3Dディスプレイ及び関連技法の説明を含む。これらの3Dディスプレイの幾つかは、例えば、図1〜図15を参照して説明した任意の技法を含め、本明細書に記載の最適化技法の幾つかにより、ライトフィールドを合成する好ましい特性を有し得る。
最適化ライトフィールドディスプレイの目標は基本的に、表示されるデータの構造並びに人間視覚系及びディスプレイ光学系の応答を含む外部要因の両方により生じる冗長性を利用して、人間観測者にライトフィールド画像を光学的に表現することである。単純な線形分析を通して考えた場合、そのようなシステムは、一見して、単純なカウント引数に違反しているように見える−ライトフィールド合成の場合、ディスプレイは、独立した画像要素がある場合よりも独立した光線を生成するように見える。
実際には、そのようなディスプレイは、ディスプレイハードウェアと同数の自由度で出力を生成する。出力の帯域幅又は代数スコアは、ディスプレイハードウェアの自由度により制限される。これを見る別の方法は、表示システムの自由パラメータ数が、画像要素数と共に増減するが、ピクセル状態(又は同等に、ピクセル状態を駆動する作動信号)と出力光線強度との間の適する非線形マッピングが生み出される場合、表示システムのパラメータ空間は大きい空間であることができることを観測することによる。この洞察は、最適化に適する表示システムを識別する新しい手段を与える。この性質を有するシステムは、パラメトリック表示システムと呼ぶことができる。
この洞察は、線形空間をアドレス指定する手段を表す図16A及び図16Bに更に示される。示される概略図では、枠は画面上のピクセル、ライトフィールド内の光線、又は他の抽象的なアドレス指定可能な数量を表し得る。図16Aは、枠がデカルト座標によりアドレス指定される直接アドレス指定方式を示す。このアドレス指定方式では、空間のアドレス指定に必要なパラメータ数は、空間の次元数に等しい。図16Bは、非線形関数C(t)が枠のアドレス指定に使用される間接的又はパラメータ化アドレス指定方式を示す。このアドレス指定方式では、空間のアドレス指定に必要なパラメータ数は、空間の次元数よりも少ない。この有利な状況は、本明細書に記載の技術の幾つかの実施形態を動機付ける。
最適化ライトフィールドディスプレイの重要な利点は、利用可能な自由度をより柔軟に使用して、様々な閲覧座標下で所望のライトフィールドを表現し、特定のディスプレイハードウェア及びシーンコンテンツに合わせ得ることである。しかし、最適化ライトフィールドディスプレイの利点は、画像要素状態と出力光線状態との間に1対多マッピングが存在する場合、最良に実現し得る。画像要素状態を光線状態と1対1関係に制約するディスプレイは、画像要素と出力光線との間に先入不変マッピングを課し、これは、変化するシーン及び閲覧状況に適合することができない。これは、ライトフィールドの低解像度表現に繋がり、幾つかの場合、画像輝度の損失を生じさせる。これを画像要素状態と光線状態との1対多マッピングもつれ(1−to−many mapping entanglement)と呼ぶ。ピクセル状態と光線空間との間の非線形数学的マッピングが、線形光学相互作用の場合であっても存在することができることも理解されたい。非線形光学系は、非線形相互作用を生み出すが、排他的な手段ではない手段を提供する。
本明細書に記載のように、最適化ライトフィールドディスプレイは、少なくとも1つの最適化問題を解く(例えば、反復最適化アルゴリズム又は任意の他のタイプの最適化アルゴリズムを使用して)ことにより得られるコンテンツを生成する任意のディスプレイであり得る。幾つかの実施形態では、画像がディスプレイから望まれるとき、ディスプレイの現在状態、閲覧者の現在状態、及び所望の表示外観の現在知識を所与として、最適化問題を呈し得、最適化問題は、コンピュータ又は他の手段により明示的又は暗黙的に解かれる場合、所望の表示外観の最適な近似であり得る画像をディスプレイに出力させるディスプレイ状態を生じさせる。この場合、画像は多くの場合、4Dライトフィールドであるが、そうである必要はない(所望の出力画像は3Dライトフィールド、2Dライトフィールド、5Dライトフィールド、視覚矯正ライトフィールド、順応キューライトフィールド、又は多くの他の所望の表示機能であることができる)。
最適化ディスプレイは、本明細書に記載のリアルタイム又はオンラインコンテンツベース最適化技法を利用し得る。予測可能な状況下で閲覧される事前記録画像の場合、最適化問題を事前に呈することが可能であり、最適化問題への解を生成し(例えば、反復勾配ベース又は他の最適化アルゴリズムを使用して最適化問題を解くことにより計算する)、後に検索し表示するために、記憶し得る。そのようなディスプレイの出力も最適化アルゴリズムの結果であるため、このようにして機能するディスプレイを最適化ディスプレイと見なす。これとは対照的に、多くの一般人は、何らかの人間参加型又は開ループ法により「合わせられる」又は「調整」されることを意味するものとして「最適化」という用語を使用する。例えば、技術者は、実際に技術者が所定のガンマ補正ソフトウェアモジュール内のパラメータをサービスマニュアルで参照される値に調整しているとき、顧客に向けてテレビジョンディスプレイのガンマ値を「最適化」すると言うことができる。これは、最適化という用語が本明細書で使用される意味でテレビジョンが最適化ディスプレイであることを意味せず、その理由は、最適化問題がないテレビジョンの出力を生成するために解かれる。別の例として、ディスプレイ製造業者は、両方とも96ビット高ダイナミックレンジ(HDR)画像をHDRディスプレイで表示される16ビットHDR画像に変換するために、正式な最適化問題を解いて、カラールックアップテーブルの値又はアルゴリズムのパラメータを決定し得る。そのようなHDRは、最適化という用語が本明細書で使用される意味では最適化ディスプレイではなく、その理由は、最適化技法がディスプレイの機能の調整に使用されたにもかかわらず、ディスプレイの出力がそれ自体、正式な最適化を通して決定されないためである。
ハードウェア設計の視点から最適化ディスプレイを使用することの切実な一理由は、従来の固定パイプライン設計に対する形態及び機能のディスプレイゲイン柔軟性である。したがって、幾つかの実施形態では、最適化ディスプレイは、幾つかの自由度を有するシステムとして扱うことができ、自由度は、最適化法を通して、高空間−角度解像度、広視野、高ディスプレイ輝度、高時間的リフレッシュレート、及び旅行名知覚画像品質(又は忠実性)等の所望の性質を有する合成ライトフィールドを生成することができる。さらに、リアルタイム最適化により駆動されるディスプレイは、上記閲覧状況が変化するにつれて、変化する閲覧状況に適合することができる。ディスプレイが適合することが望ましいことがある状況の非限定的な例としては、閲覧者位置、周辺光強度、周辺光方向、閲覧者数で変化する表示コンテンツ(リアルタイムライトフィールドビデオストリーム等)、閲覧者の視覚系の欠陥、デバイス消費電力要件、デバイスの向き、及び閲覧者の目の間隔が挙げられる。
様々な要因が組み合わせられて、最適化ディスプレイに示される画像の品質に影響をいかに及ぼすかは、予測が複雑である。本明細書に記載の最適化ディスプレイの主な利点のうちの別の利点は、望むように、表示品質に影響を及ぼす要因を互いに対してトレードオフして、所望レベルの表示品質を維持することができることである。各タイプのディスプレイハードウェアは、表示品質に影響を及ぼすそれ自体の組の要因を有するが、最適化2層乗法ライトフィールドディスプレイの事例は、最適化ディスプレイの典型事例である。最適化2層乗法ライトフィールドディスプレイの場合、以下の要因が物理的なライトフィールド画像の表示される画質に影響を及ぼし得る:視差、層の位置(例えば、ディスプレイ層の物理的位置への所望シーン内の仮想物体の近接性)、シーン輝度(例えば、最大ディスプレイ輝度の分数として、表示中の全体シーンがどの程度明るいか)、計算時間(例えば、シーンレンダリング後の、ディスプレイ層パターンを決定するために利用可能な時間)、及び利用可能な電力(例えば、計算及びバックライトに利用可能なデバイス電力量)。
視差は、ディスプレイの視野(例えば、画像が閲覧されることが意図されるビューコーン)、シーン深度(例えば、シーン内の物体が閲覧者から離れてディスプレイ内に又は閲覧者に向かってディスプレイから延出する量)、及び被写界深度(DOF)により影響を受け得る。物理的シーンで正確な視差をレンダリングすることのディスプレイの失敗は、画面の平面から離れて延びるシーンの領域で生じる空間ブラーとして現れる。これは、この影響がカメラ系での同じ名称の影響に似ているため、DOFとして知られている。全てのオートマルチスコープディスプレイはいくらかの程度のDOFを有するが、本明細書に記載の技術の幾つかの実施形態による最適化ディスプレイは、所与の動作点で、従来のディスプレイよりも良好なDOFを達成し得る。より近い角度間隔でビューをレンダリングすることは、DOFブラーの知覚品質を上げる一方法である。
以下に、異なる特徴間を動的にトレードして、変化する閲覧状況をサポートするように、本明細書に記載の技術の幾つかの実施形態により実施される最適化ディスプレイをいかに構成し得るかの幾つかの例示的で非限定的な例が続く。これらの例では、通常、ディスプレイが、頭部位置情報及び目位置情報を含むことができる、ディスプレイの前の閲覧者の位置についての情報を有すると仮定される。幾つかの実施形態では、そのような追跡乗法は、標準カメラ系、ステレオカメラ系、マルチビューカメラ系、又は深度カメラ系を通して取得し得る。
一例では、ユーザは、ユーザのデバイスを暗めの照明の部屋から昼光環境に運び得る。幾つかの実施形態では、デバイス内の最適化ディスプレイはその達成可能な最大輝度のより近くで動作を開始して、環境照明と競い合うことができる。その結果、3Dポップアウトの程度をわずかに低減し得、表示画像はいくらかの追加のアーチファクトを示し得る。
別の例では、第1のユーザは、幾つかの実施形態により実施される最適化ライトフィールドディスプレイを有するタブレットデバイスで、没入型ライトフィールド動画を閲覧中であり得る。第2のユーザは第1のユーザの隣に座り、これもまた動画を閲覧し得る。幾つかの実施形態では、ディスプレイは、各ユーザに独自の物理的に性格なライトフィールドビューを提供するように構成し得る。両ユーザに視野を拡大するのに必要な追加の自由度を達成するために、画像はわずかに暗くなり得、シーンの奥行きを圧縮し得、画質は僅かに低減し得る。
別の例では、ユーザは、幾つかの実施形態により実施される最適化ライトフィールドディスプレイで立体コンテンツを閲覧中であり得る。そのユーザの隣に第2のユーザが座り、これもまた動画を見る。自由度を保存し、提供されるコンテンツからの外挿の必要性を避けるために、ディスプレイは、同じ立体ビューを両閲覧者の目に対して複製し得る。
図17に示される別の例では、閲覧者1701は、幾つかの実施形態により実施されるマルチビューディスプレイ1704を観測中であり得る。図示の実施形態では、単一ビュー錐体1702(ビューコーンとも説明される)は、閲覧者が3Dシーンを見得る角度領域を示す。本明細書に記載の技術の幾つかの実施形態では、追跡デバイス1703を使用して、閲覧者1701を追跡し、追跡器1703により測定される、マルチビューディスプレイ1704に関連した閲覧者1701の空間位置に従って、ビュー錐体1702を調整し得る。ビュー錐体1702は、閲覧者1701の両目を囲むように調整し得る。このようにして、ディスプレイ1704は、閲覧者の目の位置を測定し、コンテンツが現在の閲覧者にとって正確に見えるようにするのに必要なビューのみを表示するよう、出力ビューサイズ及び方向を適合し得る。これは、複数の閲覧者に対して行うことができる。閲覧者の両目1701の周囲のみの枠をカバーするビューコーン1702を表示することにより、ディスプレイの自由度をディスプレイ輝度の増大、被写界深度の拡張、及び上記トレード空間で利用可能な他の望ましい性質のために保存し得る。ディスプレイが閲覧者の両目を標的とすることができる程度は、閲覧者の両目の追跡に利用される追跡器1703の制度及び待ち時間に依存する。追跡器の待ち時間が非常に短く、追跡器の精度が非常に高い用途では、別個のビューコーンを閲覧者の両目のそれぞれに向けることも可能である。
追跡器の待ち時間がより長いか、又は追跡器の精度がより低い用途では、追跡器の不正確性又は更新時間が観測可能な視覚的欠陥を生成しないように、閲覧者の両目の周りにビューコーンを拡大することが有利であり得る。換言すれば、仮に追跡器が短い時間にわたりオフであり、追跡器、レンダリング器、及び最適器がディスプレイの最適閲覧位置を更新することができるようになる前に閲覧者が移動する場合であっても、それでもなお閲覧者は、有効で明確に画定された高品質閲覧ゾーン内にいることになる。不正確性の主な原因が追跡器の待ち時間である場合、ビューコーンは、現実世界の物理的単位で小量、拡大されるべきである−−例えば、閲覧者の目平面でのビューコーンのサイズは、閲覧者の目の分離距離よりも2cm広くすべきである。この状況では、誤差の原因(ユーザの移動)は、ディスプレイからの閲覧者の距離により影響を受けない。不正確性の主な原因が追跡器のノイズ又は位置合わせずれである場合、ビューコーンは、閲覧者のアイボックに対するコーンよりも1.5度広い等の一定の角度増大で拡大されるべきである。この場合、誤差の原因は追跡器自体であり、誤差は、閲覧者が画面から離れて移動するにつれて、現実世界座標において拡大することになる。
別の例では、モバイルデバイスは、幾つかの実施形態により実施される最適化ディスプレイを含み得る。モバイルデバイスの電池残量が枯渇するにつれて、ディスプレイは、輝度及び表示品質を犠牲にして電力を保存するように構成し得る。幾つかの実施形態では、デバイスは、画像アーチファクトの導入を犠牲にして、表示強度を同じままにしながら、バックライトを暗くし得る。代替的には、デバイスは、画面の全体強度又は両方の組み合わせを暗くし得る。幾つかの実施形態では、デバイスは、最適化問題を解くために行われる処理量を低減して、画質を低減し、又はデバイスフレームレートを低減し、又はアルゴリズムの収束速度を低減し得る。後者の手法は、希にしか変化しないコンテンツに適切であり得る。
別の例では、汎用コンピュータのモニタが、幾つかの実施形態により実施される最適化ディスプレイを含み得る。ユーザは、ポップアウトして、グラフィカルユーザインターフェースの要素を強調する小領域を有する主に平坦なディスプレイにコンテンツを提示するアプリケーションを実行し得る。そのような場合、ディスプレイは、低電力モードで実行し、画面の領域を選択的に更新し、アプリケーションに表示される結果を複数の閲覧者で共有することができるように広いFOVを使用し得る。ユーザが、デスクトップアプリケーションから、より大きな3Dポップアウト効果(より大きなDOF)を必要とする動的グラフィックスを有するゲームに切り替わる際、ディスプレイはFOVを狭め得、ディスプレイバックライト輝度を上げ得る。これにより、消費電力の増大及びパーソナルな単一閲覧者ゲーミング経験を犠牲にして、ライトフィールドコンテンツを表現するより多くの自由度がディスプレイに与えられる。
別の例では、幾つかの実施形態により実施される最適化ライトフィールドディスプレイは、ホテルロビーに位置して、眼鏡なし3Dマップ経験を顧客に与え得る。一人の閲覧者がマップを見ている場合、経験は、印象的な量の3Dポップアウト(大きなDOF)を有する、明るく、動的な3Dシーンである。第2の顧客がマップに近づくと、ディスプレイは3Dポップアウト量を低減し、より暗くなり、複数のビューコーンを表現するのに必要な追加の自由度を可能にする。ディスプレイは、複数の閲覧者に囲まれるにつれて、誰もが画面上の情報を明確に読むことができるように2D閲覧モードにシームレスに後退する。
V.A 遠視野ライトフィールドディスプレイ
本明細書に記載の幾つかの実施形態は、遠視野ライトフィールドディスプレイを提供する。幾つかの実施形態は、遠視野ライトフィールドディスプレイの幾つかの変形も提供し、これらについて本明細書で考察する。
ディスプレイ空間解像度
従来の多層ディスプレイは常に、等しい空間サンプリングを有する複数の層で構成される。本発明者らは、これが最適化多層ライトフィールドディスプレイにとって必須条件ではないことを理解した。逆に、本発明者らは、異なる空間サンプリングパターン又は周波数を有する層を選ぶ多くの理由を突き止めていた。例えば、2層ディスプレイの高周波数サンプリンググリッド間の光学モアレ干渉を低減するために、幾つかの実施形態では、光学拡散シートを層間に配置することが有利であり得る。異なる表示解像度を選ぶことの利点の多くは、拡散器により意図的に又は表示デバイスの回折若しくは光学特性により非意図的に導入される光学ブラーに取り組む際、より高い効率(例えば、より低いレンダリングコスト、消費電力の低減)を達成することから生じ得る。
幾つかの実施形態では、モアレ干渉の減衰に使用される拡散器の所要強度を低減するために、予期される閲覧位置からの透視投影を説明するように、ディスプレイサンプル間隔を調整し得る。閲覧者がディスプレイの前層から距離dにいることが予期され、ディスプレイが距離sで離間され、前部ディスプレイのピクセル間隔がpである場合、後部ディスプレイのピクセル間隔は、
Figure 0006917378
として特定し得る。これは、モアレが事実上、閲覧者の目平面に投影される異なる層のサンプリンググリッド間のうなり周波数であるため、機能する。幾つかの実施形態では、上記量による変更は、両画面に同じ空間周波数を標的閲覧距離dに投影させ得る。dに近い閲覧距離では、より弱い拡散器を使用して、生じるモアレパターンを減衰させ得、その主な理由は、投影される目平面での空間周波数の小さな差が、人間の閲覧者にとってより気付きにくい低周波数モアレパターンを生じさせるためである。
代替的には、幾つかの実施形態では、閲覧者の目に投影される空間周波数の差が大きなディスプレイは、高周波数モアレを生じさせ、これは、閲覧者には不可視又は見える程度がより低いことができる。減衰ベースの多層ディスプレイ等の乗法空間でのモアレ干渉は、新しい知覚周波数:閲覧者の目に投影される2つの平面の空間サンプリング周波数の和及び差に繋がり得る。
大きな空間周波数差を有するディスプレイには多くの可能で有利な構成がある。例示的な一実施形態では、2つのパネルは3mmの距離で離間し得、一方は空間解像度1000dpi(25.4μmピクセル)を有し、他方は空間解像度500dpi(50.8μmピクセル)を有する。閲覧者が画面の真正面60cmのところに立っており、両画面を通しての閲覧者の目への光学投影を確立する場合、前画面に投影される後画面のピクセルは50.5μmになる。これは、前画面及び後画面のそれぞれで空間サンプリング周波数39.4ピクセル/mm及び19.8ピクセル/mmを確立する。59.2ピクセル/mm及び19.6ピクセル/mmでのモアレパターンが観測されることになる−−両方とも60cmのところにいる閲覧者の可視周波数の範囲外。
幾つかの実施形態では、各層のカラーフィルタを調整することにより、追加の利点を達成し得る。例えば、前層のカラーフィルタを除去することは、水平空間サンプリングレートを3倍にすることと同等であり、したがって、適宜選ばれた画面サンプリングレート及び分離距離で、閲覧者により知覚されるモアレ強度が低減する。
図21は、本明細書に記載の技術の幾つかの実施形態による光学変調器2101、2103、及び2105の積層を観測している閲覧者2106を示す。幾つかの実施形態では、光学変調器2101、2103、及び2105はグリッド構造を備え、ここで、上記グリッド構造はディスプレイ解像度に比例し、モアレ干渉と呼ばれる望ましくない光学干渉を生じさせる。拡散器を1つの光学変調器間に配置することで、モアレ干渉を軽減することができる。図21の実施形態は、2つの光学拡散器2102及び2104を示す。拡散器2102及び2104は、異なる拡散強調を有し得、拡散器2102は軽い強調の拡散器であり、拡散器2104は重い強調の拡散器である。拡散器2102及び2104は、光学積層内の異なる距離d及びdに配置される。光線2107は、前記拡散層2102及び2104のそれぞれを透過する際、拡散器の強調に従った程度で散乱する。前記散乱は、それに従った量の角度発散を与え、角度発散は、光線が閲覧者位置2106までの距離を移動する際、光学ブラーを生じさせる。拡散器2104の強調は、光学変調器2103と2105との間のモアレ干渉を軽減するように選び得る。光学変調器層2101、2103、及び2105のグリッド構造のサイズに応じて、光学変調器2101と2103との間のモアレ干渉を軽減するには追加の拡散が必要であり得、追加の拡散は、拡散器2102の拡散強調及び距離を選択することにより追加し得る。幾つかの実施形態では、光学変調器2101のディスプレイ解像度は、2103よりも低く、光学変調器2103のディスプレイ解像度は、2105よりも低い解像度であり得る。幾つかの実施形態では、表示層の間隔s及びtは異なり得、幾つかの実施形態では、同一であり得る。
上述した利点と組み合わせて実現し得る表示デバイスの1つ又は複数の層の空間解像度を低減することの別の利点は、レンダリングコスト及び最適化計算コストの低減である。最適化コスト及びレンダリングコストは、表示システムを用いて表現することが可能な離散光線数に応じる。離散光線数は組み合わせて、各表示層内の画像要素数に依存する。モアレ干渉を軽減するために意図的に導入されるか、又は表示デバイス内の様々な周囲層の性質を通して非意図的に導入される光学ブラーが存在する場合、閲覧者から最も遠い表示層上の単一の画像要素が個々に分解可能ではないことが多い。したがって、このピクセルグリッドでコンテンツをレンダリングし最適化する計算コストは無駄になる。この場合、幾つかの実施形態では、計算効率を目的として、ディスプレイの予期される閲覧距離にある閲覧者により各表示要素が個々に分解可能である直前まで、上記表示層上の画像要素数を低減することが有利であり得る。
リフレッシュレート/時間解像度
本明細書に記載の最適化技法は、上記説明された非線形性及びもつれ要件に準拠する多くのシステムを使用してライトフィールドを合成するのに使用し得る。高い時間的リフレッシュレートにより提供される追加の自由度により、上述したトレード空間により高い自由度が可能である。これは、高い時間的リフレッシュレートを有する最適化ディスプレイが、より高い品質の画像を生成し得ることを意味する。
まず、人間視覚系の可変フリッカー融合レートを考察することが有用であり、可変フリッカー融合レートを超えたレートでは、閲覧者は中心視覚でフリッカーを知覚しない。フリッカー融合レートは、絶対光強度及びフリッカー信号の相対的な大きさ(光強度と低強度との差)に伴って変化する。明照明環境でのフリッカー融合は、約60Hzで生じ、暗い環境では40Hzという低いフリッカーレートで生じ得る。この考察では、フリッカー融合周期は、フリッカー融合レートの逆数であると考えられる。積層内の各層が、上記表示層のそれぞれが1フレームを同時にスキャンアウトするように、上記層上の各ピクセルを順次、同時にリフレッシュする最適化ディスプレイの場合、積層全体は、積層のどれでも1つの要素と同じリフレッシュレートを有するように見える。したがって、1/240秒でフレーム全体をスキャンアウトすることができる積層は、リフレッシュレート240Hzを有する。この積層から構築される最適化ディスプレイは、明照明環境において閲覧者のフリッカー融合周期内で4つの画像及びフリッカー融合周期内で6つの画像をスキャンアウトする能力を有する。フリッカー融合の別の見方は、人間視覚系が時間的に帯域制限され、帯域外時間周波数を知覚しないことである。
ライトフィールドディスプレイのリフレッシュレート要件の問いに答えるに当たり有用な一メトリックは、ディスプレイ出力空間の代数ランクと比較して、表示されるライトフィールドの代数ランクを表示層によりパラメータ化されたものとして見なすことである。240Hz 3平面層状乗法ディスプレイ構成の場合、これは、3階テンソル、3階テンソルとは対照的に4階テンソルとしてパラメータ化された、表示されるライトフィールドのランク(多くの場合、10〜20)を見なすことをもたらす。完全な再構築のために、ランクは等しいものである必要がある。しかし、実際には、情報は、ライトフィールドのランク毎の分解で全ての要素にわたり均等に分布しない。これは、幾つかのシーンで、ライトフィールドの4階再構築が許容可能な品質のものであり得ることを意味する。1000Hzリフレッシュレートを有する画面は、時間多重化のみを使用して大半の自然ライトフィールドシーンを再構築可能であり得る。
高速表示層の利点を達成するために、積層の少なくとも2つの表示層は、同じレートで更新すべきである。単純思考実験により、他の層よりも高速な単層更新が最適化ディスプレイの自由度を改善しない理由が明らかになる。人間視覚系は、1つのフリッカー融合周期にわたり生じる全てのフレームにわたり概ね平均する。1つのみの表示層が1周期中に更新される場合、問題は、多重線形ではなく線形になり、フリッカー融合周期中に表示されるフレームの平均は、より低いレートで、高速更新中の層に表示することができる。
この論拠は、多層システムにおいて、ディスプレイ更新を効率的に使用すべき場合、同じレートで更新するように少なくとも2つの層を構成すべきであることの理解に繋がる。幾つかの実施態様では、多層最適化ディスプレイの少なくとも1つの層を、2つ以上の層が残っている限り、残りの層を更新しながら、一定に保つことが有利であり得る。これを使用して、計算を簡易化し、ユーザに結果をより高速に届け(結果の計算により多くの時間を費やすのとは対照的に)、本発明を用いない場合には最適化問題を解くために使われた電力を節減し得る。
近代のディスプレイハードウェアは、ラスタスキャン又はスキャンアウトと呼ばれることが多い順で各画像要素を更新する。通常使用される順序は、画面の最上行から始まり、第1のラインに沿って各ピクセルを順次更新し、次に、次のラインに進み、画面全体が更新されるまで続ける。今まで、最適化ディスプレイは、最適化ディスプレイの各層でこのラスタスキャン順を使用する市販の既成のディスプレイハードウェアを使用して作られてきた。
しかし、本発明者らは、幾つかの実施形態では、異なる非順次手法を採用して、表示層内の光学要素を更新することが有利であり得る(例えば、市販のディスプレイハードウェアを使用して、最適化ディスプレイを作製する場合)ことを認識し理解した。最適化ディスプレイでは、本発明者らは、所望の画像の表現に利用可能な自由度数を上げるために、より高いレートで画面を更新することが有利であり得ることを認識した。実際には、所望の画像の全ての領域が等しく、表現が複雑である訳ではない。したがって、実際には、表示層の幾つかの領域を、表示層の他の領域をより低速で更新することを犠牲として、高速で更新することが有利であり得る。非順次更新は、更新レートでのこのトレードオフを可能にする。
DisplayPort等の近代のディスプレイバスは、標準ディスプレイの要件を超える帯域幅を有する。順次ディスプレイ更新方式では、ピクセルの順序がピクセルの位置を決めると仮定されるため、ピクセルアドレスは必要ない。近代のディスプレイバスの帯域幅により、ピクセル値及びピクセル座標(アドレス)を含むデータブロックをディスプレイコントローラにことが可能であり、任意のピクセルの更新が可能である。
他方、最適化多層ディスプレイでは、非順次更新方式を使用する表示層を用いる場合、高いシーン視差若しくは非常に明るい画像に対応する又は表現に多くの自由度を必要とするディスプレイの領域は、より高速に更新し得、より暗い、視差が低い領域又は表現に必要な自由度がより低い領域は、より低速で更新することができる。例えば、60Hzで更新される1024×768ピクセル画面、帰線区間を無視して、各ピクセルは1/47185920秒(47MHz)で更新される。LCD等の幾つかのディスプレイ技術は、単一の画像要素へのそのような高速更新を許さない整定時間を有するが、それでもなお画像要素群は、60Hzよりもはるかに高いレートで更新することができる。逆に、多くのディスプレイ技術では、ピクセルは、1/60秒よりも長い時間にわたり、更新されずにその状態を維持し、これは、ディスプレイ上の画像データを失わずに、画面の他の領域をより低いレートで更新可能なことを意味する。
したがって、幾つかの実施形態では、この非順次アドレス指定方式を最適化多層ディスプレイと併用する場合、最適化アルゴリズムにより更新順を指示し、再構築誤差を帯域外にし、又は人間観測者のフリッカー融合レートよりも上にすることが可能である。
乗法多層表示デバイスでのライトフィールド表示問題は、2層画面から発せられるライトフィールドが、各層に表示される減衰関数の外積であるという意味でランク1であるため、標準の行駆動回路及び列駆動回路を通してのディスプレイスキャンアウトの問題も、ディスプレイに表示される2D画像が行駆動回路の電気状態と列駆動回路の電気状態とのランク1外積であるという意味でランク1問題であることを理解されたい。行及び列駆動回路を用いてピクセルをアドレス指定することの問題は通常、今日、各時間ステップで更新する単一のピクセルを選択することにより自明に解決されるが、代わりに、各時間ステップにおいてランク1画像シーケンスを生み出すように、多くの表示デバイスで現在使用されているディスプレイ行−列駆動回路を別目的で使用することが可能である。本文書で先に概説した一般形態の単一最適化アルゴリズムは、複数の表示層をアドレス指定するように公式化することができ、上記層はそれぞれ、行及び列駆動回路によりアドレス指定され、上記駆動回路に、各時間ステップで上記表示層のそれぞれにランク1画像を生成する作動信号が送信され、上記複数の表示層は最適化ライトフィールドディスプレイを構成し、上記ライトフィールドディスプレイの出力は、各時間ステップでの各表示層上の画像のランク1外積である。高周波数で生じる多くの時間ステップを有することで、誤差を時間的に帯域外に押し出し、人間の閲覧者にとって高品質画像を作成することが可能である。
幾つかの実施形態では、既存のディスプレイコントローラファームウェアと互換性を有する幾つかのハイブリッド表示層更新方式も可能である。例えば、ディスプレイのリフレッシュレートを変更して、複雑性の低いシーンを表示するとき、節電することが可能である。例えば、時間の経過に伴った変化がごく僅かであるシーンコンテンツ又は低い視差を有するシーンコンテンツにおいて高品質での表示に必要なディスプレイリフレッシュレートはより低い。
表示層間隔
図18Aは、本明細書に記載の技術の幾つかの実施形態の説明に役立つピンホールディスプレイの詳細図を示す。変調器1801a及び1801bは、ピンホールディスプレイ1801を構成する。変調器1801bの個々のピクセル(1802、1803、1804)は、変調器1801aの透明ピクセル1805を通して観測し得る。これは3つの別個のビューコーンを生成する。図18Bは、対応するビューコーンと共に、図18Aの構成をより離れたところから見た図を示す。仮想物体1806は、ディスプレイ1801の位置に相対して示されている。図18Cは、図18Bと同じ詳細レベルで異なるシステムを示し、このシステムは、当分野で既知の非負行列因数分解法と併用されるように構成される。仮想物体1806は、非負行列因数分解(NNMF)と併用するために図18A及び図18Bよりも離れて位置決めされた変調器1801a及び1801bの位置に相対して示されている。
最適化多層ライトフィールドディスプレイでは、層間隔の選択は、表示画像の観測される品質に大きな影響を有し得る。実際には、表示されるコンテンツと組み合わせて、最適化多層ディスプレイを駆動する最適化アルゴリズムにより利用される特徴は、所望の結果を達成するために最良に使用される戦略を決める。
非負行列因数分解を使用するディスプレイ等の、最適化アルゴリズムが多層デバイスの3Dジオメトリを利用して、ライトフィールド効果を生み出す構成では、最良の実施は、表現する仮想シーンの最大深度距離の30%〜40%において層を離間することである。例えば、NNMF法を使用する最適化表示デバイスが、現実世界深度4cmを有する3Dシーンを表現するライトフィールドを表示する必要がある用途で展開される場合、層間隔は1.2cm〜1.6cmであるべきである。ディスプレイは、画面の中央平面の前よりも背後で物体を効率的に表現する。したがって、ディスプレイの4cm範囲は、ディスプレイの後部に向けてバイアスされる。この経験則は開始点を提供し、最適値は、システムのFOV、システムに表示されるコンテンツ、容認できるブラー量、表示層の空間解像度、及び最前パネルのサンプルグリッドにより生み出される回折ブラーを含め、多くの要因に依存する。
幾つかのタイプの多層システムにとって重要な考慮事項である別の要因は、最大解像度の平面の深度位置である。最適化多層ディスプレイで最大空間サンプリングを有する平面は、ディスプレイの最前層で生じ、高空間サンプリングは、最適化ディスプレイの他の表示層でも利用可能である。したがって、幾つかの実施形態では、表示層は、例えば、判読可能なテキストが出現する臨界深度に配置し得る。ディスプレイ性能についての洞察は、最適化の枠組み及び意図されるコンテンツと併せて、物理的システムのシミュレーションを実行することにより得ることができる。
最適化ディスプレイが、高時間的更新レート(例えば、60Hzよりも高い)が可能なハードウェアを有する実施形態では、多層デバイスの3Dジオメトリ及びディスプレイの高時間的サンプリングレートの両方を利用する最適化アルゴリズムを使用し得る。この場合、ディスプレイの高速時間変動が、最適化ディスプレイのDOFを拡張するために、適する最適化アルゴリズムが使用し得る自由度を提供するため、離間ガイドラインは緩和し得る。緩和の程度は、変調器の速度に大きく依存し、シミュレーションを通して理解し得る。
最適化ディスプレイが、高周波数空間サンプリング(例えば、典型的な閲覧距離で1分未満のピクセルピッチを有するピクセルグリッド)が可能なハードウェアを有する実施形態では、多層デバイスの3Dジオメトリ及びディスプレイの高空間サンプリングレートの両方を利用する最適化アルゴリズムを使用し得る。これらの場合、視差ベースの効果を生成する作動パターンは、層間隔も小さくすることができる(例えば、6mm未満)のに十分に小さなピッチを有し得る。これは、所要層間隔をピンホールディスプレイで必要とされる層間隔と同じ又はそれよりも狭くする。

従来の多層最適化ディスプレイは一般に、カラーフィルタアレイを有する同一のLCDパネルを使用して作製され、各カラーチャネルは互いから独立して最適化される。本発明者らは、最適化多層ディスプレイの複数のカラーチャネルの作動信号をまとめて決定する技法を開発した。この開発により、多くの新しい物理的設計が可能になり、既存のハードウェア設計内での性能改善が可能である。
各LCDパネルが同一構成の同一カラーフィルタアレイを含むLCDパネルの積層を備える最適化多層ディスプレイでは、カラーフィルタ間にクロストークがあり、それにより、LCDのカラーチャネルは真に分離されない。理想的なカラーフィルタを有するLCDパネルの積層を備える仮説的な多層ディスプレイでは、第1の層の赤カラーフィルタを透過する光は、第2の層の緑フィルタを透過せず、LCDパネルのカラーフィルタアレイに含まれるカラーフィルタの非同一対のそれぞれで以下同様である。この理想化された多層表示システムでは、カラーチャネルは相互作用しないため、各カラーチャネルの独立した最適化が可能である。しかし、現実では、カラーフィルタ間のクロストークは、光をある層のあるカラーチャネルから別の層の別のカラーチャネルに透過させる。本発明者らは、表示されるライトフィールド又は画像で所望の色を正確に再現するためには、全てのカラーチャネルの中でまとめて、カラーチャネル間のクロストーク関数の知識をもって、最適化ディスプレイを駆動する作動信号を生成しなければならないことを理解した。
本発明者らは、最適化多層ディスプレイを駆動する作動信号が全てのカラーチャネルの中でまとめて得られる、各層で同一のカラーフィルタを有する最適化多層ディスプレイの場合、所望のライトフィールド又は画像の色正確表現を取得することが可能であるのみならず、カラークロストークを利用して、より広い色域及び空間サブサンプリングされた画像を達成することも可能なことを認識し理解した。各層で1つの非同一カラーフィルタ対から発せられる光の色は、画像形成に使用することができる新しい原色を導入する。例えば、第1の層の赤カラーフィルタと第2の層の緑カラーフィルタとが交差する経路に沿って発せられる光は、カラーフィルタの応答曲線の積が以下に応じて、橙黄色に見え得る。
カラーフィルタ応答がクロストークせず、カラーフィルタがピクセル毎にカラーサブピクセルに配置される理想化された多層ディスプレイでは、各カラーチャネルの空間解像度は、ディスプレイの空間解像度と同じである。このシナリオでは、各カラーチャネルを独立して考える場合、各表示層で同一のカラーフィルタと交わる光線のみが伝搬する。これは、カラーチャネル毎に、可視カラーサブピクセルのサンプリングレートが全体ディスプレイサンプリングレートと同じであることを意味する。しかし、カラーフィル間でカラークロストークを示す現実世界のディスプレイでは、光は、異なる表示層の非同一カラーフィルタと交わる光路に沿って可視であり、これは、色の少なくともサブセットで、空間サンプリングがサブピクセルサンプリングレートまで増大し得ることを意味する。
ディスプレイ製造時、カラーフィルタアレイは、色域の増大及び空間サンプリングの増大並びにディスプレイの光学強度という上述した効果を最大にするように調整し得る。一般に、これらの変更の目標は、複数の表示層のそれぞれで1つずつ生じる複数の変調を利用して、カラーフィルタを通しての光損失を低減し、各層のフィルタの組み合わせを通してディスプレイの出力において利用可能な原色の多様性を増大させることである。多層ディスプレイを出る光線の観測カラーフィルタ応答は、積層を通る光線に沿ったカラーフィルタ応答の積であるため、カラーフィルタ応答の乗法結合を達成し得る。
図19A及び図19Bは、本明細書に記載の技術の幾つかの実施形態による、光学変調器のカラーピクセルで使用し得る又はカラーフィルタ応答を例示し得るカラーフィルタ応答を示す。ディスプレイが2つの光減衰層から作られる実施形態では、複数の層を通る単一光路に沿って観測される色は、上記光線が上記層と交わる位置での各層のカラー応答の積である。図19Aでは、実線1901及び1902は、当分野で既知のLCDパネルで見られる標準の赤及び緑カラーフィルタ応答をそれぞれ表す。そのような応答は、半値全幅70nmを有し得る。点線1903、1904、及び1905は、2つのカラーフィルタの3つの結合の積をそれぞれ表す−1901×1901、1901×1902、及び1902×1902。上記積は、カラー応答1901及び1902を有するピクセルを含む2層を重ねることにより観測可能な色を含む。
図19Bは、実線1906及び1907として示される変更されたカラー応答を示す。点線1908、1909、及び1910は、2つのカラーフィルタの3つの結合の積をそれぞれ表す−1906×1906、1906×1907、及び1907×1907。応答1906及び1907は、積がより大きな曲線下面積を有し、したがって、より多くの光エネルギーにカラーフィルタを透過させるように1901及び1902から変更されている。変更されたカラーフィルタ応答は通常、100nmを超える半値全幅を有する。
幾つかの実施形態では、カラーフィルタ応答は、標準カラーフィルタ応答の平方根をとることにより変更し得る。可変組のカラーフィルタ応答にわたるコーパス内のライトフィールド再構築誤差を最小にする最適化問題を実行することにより、ライトフィールド画像のコーパスの最適カラーフィルタ応答を特定することも可能である。幾つかの実施形態では、原色は、最適化多層ライトフィールドディスプレイの1つ又は複数の層から全体的に除去し得る。人間の視覚系により、クロミナンスが、ルミナンスよりも低い解像度で知覚されることは周知である。この知覚事実を利用して、多層ディスプレイ内の1つ又は複数の層からカラーフィルタアレイを除外することにより、よりよい光効率を有する最適化多層ライトフィールドディスプレイを作製することができる。
幾つかの実施形態では、最適化ライトフィールドディスプレイにより表示されるライトフィールド画像をルミナンス成分及びクロミナンス成分に分解し、次に、クロミナンス成分の解像度をデシメートし、標的高解像度ルミナンス成分及び低解像度クロミナンス成分をまとめて組み込んだ上記最適化ディスプレイの費用関数を作成することが可能であり得る。光学積層が、LCDパネルで通常見られるようなRGBカラーフィルタアレイを有する一層と、カラーフィルタアレイを有さない第2のグレースケールLCDとを含む実施形態では、カラーフィルタアレイの各サブピクセルはルミナンス画像に寄与し、一方、解像度のより低いクロミナンス画像は、カラー層のカラーピクセルとカラーフィルタアレイのない層のグレースケールピクセルとの間に形成される。
表示層の数
最適化ライトフィールドディスプレイに利用可能な自由度数を増大させる方法の1つは、ディスプレイ内の層数を上げることである。多層ディスプレイで表示層数を上げる場合、固有のトレードオフがある。追加の層により提供される追加の自由度は、表示品質の理論上の上限の改善に寄与するが、実際には、非理想的な表示層の追加は、吸収及び散乱に起因する光損失を増大させ、特徴付けられない場合、画像アーチファクトの一因となる内部反射を生み出す。
最適化多層ディスプレイを駆動する最適化の公式化において、反射光路を説明する(例えば、適する費用関数を介して)ことにより内部反射を補償することが可能である。多くの場合、補償する必要があるのは最初の跳ね返りのみであり得るが、複数跳ね返り補正も可能である。
図20は、本明細書に記載の技術の幾つかの実施形態による多層マルチビューディスプレイ内の内部反射を補償する技法を示す。示されるように、光学変調器2001及び2002は、距離sだけ離間されて配置され、ライトフィールドディスプレイを形成する。光線2005は、両層を直接透過する。x0_1から発せられ、x1_1及びx0_0から反射され、x1_0を透過してから、閲覧者2004により観測される幾つかの処理光線2006では、無視し得る。しかし、光線2006及び他のそのような反射光線の効果を説明することが有利であり得る。2つの光束が図20に描かれている。光束2007は、光学変調器2001に端を発し、光学変調器2002を透過し、光束2008は、光学変調器2001に端を発し、次に光学変調器2002から跳ね返り、次に光学変調器2001から跳ね返り、次に、光学変調器2002を透過する。光束2007及び2008の経路を突き止めることにより、光束2008の跳ね返り光線経路が、光学変調器2001から位置2sにある追加の加法光学変調器層2003として同等にモデリング可能なことが示される。
モアレ干渉は、規則正しく空間分布するパターン間の空間エイリアシングに起因し、光学コミュニティではより理解されている。拡散器を多層ディスプレイの表示層間に配置することで、モアレ干渉を生じさせる高空間周波数をブラーアウトすることによりモアレの影響を軽減することができることが示されてきた。本明細書では、多層ディスプレイに拡散器を配置する代替の方法を示す。
ディスプレイが3つ以上の層を有するものを含め、多層ディスプレイへの拡散層の配置に関連する様々な問題がある。拡散器配置の一般的な目標は、多層表示積層の各材料層から生じるブラーカーネルが、結合した場合、閲覧者の視点から、表示サンプリンググリッドの空間周波数を減衰させるのにちょうど十分な大きさであるが、観測可能な空間解像度の損失を回避するのに必要な大きさよりも大きくないブラーカーネルを生じさせることを保証することである。表示層自体が、回折に起因するブラーを生み出し、このブラーを利用して、閲覧者により近い層とのモアレ干渉を低減することができることにも留意する。
各層間で必要なブラー量を見つける一方法は、問題となっている層を次の層に投影し、信号を乗算し、結果のスペクトルを許容可能最小モアレ周波数と比較し、全体ブラー関数の集約特徴付けを生成することである。最適化ベースの多層ディスプレイでは、最適化公式は一般に、先に言及した特徴付けそのような特徴付けを組み込む。
光学変調器を有する最適化ディスプレイ
最適化ディスプレイは、例えば、液晶表示装置等の広範囲の光変調デバイスを用いて構築し得る。この項では、本明細書に記載の幾つかの実施形態により実施される最適化ライトフィールドディスプレイの変調器要素を含むことができるデバイスの幾つかの有用な組み合わせを列挙する。以下に概説する変調器組み合わせは、本明細書に記載の技法の多くと併用し得る。
幾つかの実施形態では、TFT、TN、Piセル、及び強誘導性LCDを含むがこれに限定されない広範囲のLCD技術を使用し得る。
幾つかの実施形態では、発光デバイス(例えば、有機LEDディスプレイ)は、少なくとも1つの発光デバイスの前に少なくとも1つの光減衰デバイスがある限り、減衰デバイス(例えば、LCDパネル)と組み合わせ得る。幾つかの実施形態では、最適化ディスプレイは、LCDディスプレイの背後に小さな距離2層積層でOLEDディスプレイを備え得る。これには、多くのLCDとバックライトとの組み合わせと比較して、使用電力の低減及び更新レートの増大という利点がある。
微小電子機械システムは、高速でバイナリ不透明状態を切り替えることができるスライドシャッタ「光値」の生成に使用されてきた。幾つかの実施形態では、これらの光値は、バイナリパターンを生成する最適化方法と共に利用されて、最適化ライトフィールドディスプレイを生成し得る。幾つかの実施形態では、2つのMEMSシャッタデバイスを積層内に配置し得る。これらのデバイスでの層の間隔は、本明細書に記載の任意の方法で決定し得る。
LCDパネルは、変調状態の精密性が変調の離散レベル数とトレードされるように製造し得る。したがって、上記パネルの出力が数ビットのみに量子化されるLCDパネルの作製が可能である。典型的なLCDパネルは、6ビットに量子化される出力を有し、一方、LCDパネルでの表示を意図される典型的な画像は、少なくとも8ビットのダイナミックレンジを有する。時間的及び空間的ディザリングを使用して、所望の出力ダイナミックレンジと、人間閲覧者から利用可能なダイナミックレンジとの差を隠し得る。乗法層を備える最適化ディスプレイでは、出力ダイナミックレンジは、各層のダイナミックレンジの和である。例えば、2つの6ビットLCD層を備える最適化多層ディスプレイは、ダイナミックレンジ12ビットを有する。これは、最適化多層ディスプレイから発せられるライトフィールドのダイナミックレンジを上げる最適化アルゴリズムにおいて説明し得る。8ビット出力を有するディスプレイの視覚品質も上記戦略を使用して改善し得る。
LCDパネルは通常、入力光波の偏光状態を完全に変調するのに適切な厚さであるように設計される。LCDデバイスのガラス層の厚さを低減すると、パネルにより変調される光量が低減し、表示画像の観測コントラストが低減するが、パネルの切り替え速度は増大する。本発明者らは、多層最適化ディスプレイでは、複数の層を透過する光線の複数の変調を通して表示画像のコントラスト増大を達成することが可能であり、時間的帯域幅の増大を利用して、上記最適化ディスプレイを改善することが可能であるため、コントラストと表示更新率とのトレードオフを行うことが有利であることを認識した。典型的なLCDコントラストは1:1000超である。最適化多層ディスプレイの場合、1:100以下のコントラストを有するLCDを使用することが可能である。
幾つかの実施形態では、最適化ディスプレイは、プリントされた透明シートから作り得る。本明細書に記載の技術の新規態様は、3D効果の知覚を生み出すのに使用されるパッシブ変調層の積層の厚さである。人間視覚系の空間帯域制限を利用する最適化アルゴリズムへの解から作動信号を設定する場合、文献で報告されるよりも層間隔をはるかに狭くすることが可能であり、文献で報告されるよりも少数の層を使用することが可能である。
反射ベースの最適化ディスプレイ
透過型である従来の最適化ディスプレイとは異なり、本発明者らは、反射型最適化ライトフィールドディスプレイを可能にする幾つかの最適化ディスプレイアーキテクチャを開発した。本明細書に記載の反射モード最適化ディスプレイは、2つの基本原材料を有する:変調器及び反射性バックプレーン。透過型最適化ディスプレイとの直接の対応性はないが、反射面の類似物はバックライトユニットであり、変調器は同じである。
図22A〜図22Fは、本明細書に記載の技術の幾つかの実施形態による反射モードマルチビューディスプレイの態様を示す。示されるディスプレイは、少なくとも1つの透過性変調器及び反射性バックプレーンを備える。上記バックプレーンは、拡散反射器又は正反射反射器であり得、それ自体、変調器であってもよい。この考察では、正反射は、入射光線が、反射時、射出方向において、システムからの射出経路上で1つのみの変調器要素と有意味に相互作用するのに十分にコンパクトなままである場合、生じ得る。
図22Aは、正反射反射器2204(例えば、ミラーであり得る)の前の透過性光学変調器2203を示す。光は、平行又は略平行の光線を生成する遠隔点光源2201に端を発する。閲覧者2202はディスプレイを観測する。閲覧者2202に達する光線は、変調器2203を2回透過しなければならない−変調器の1回の透過は、光線が光源2201から正反射反射器2204に向かって移動する際、入口において生じ、変調器の次の透過は、正反射反射器2204から閲覧者2202に向かって反射する出口において生じる。マルチビューディスプレイを生成する本明細書に記載の方法により、光源2201への照明方向の知識を用いて、変調器2203のピクセルを制御する作動信号を生成し得る。
図22Bは、複数の透過性変調器2207及び2208が正反射反射器2209の前に配置される別の実施形態を示す。この実施形態では、遠隔点光源2205からの光線は4回変調される−2つの変調は、光線が光源2205から反射器2209に向かって移動する際に生じ、2回の更なる変調は、光線が正反射反射器2209から閲覧者位置2206に移動する際に生じる。図22Bの実施形態では、システムに追加の自由度が可能であり、視野の拡大及び見掛けのポップアウトの増大を含むがこれに限定されないマルチビューディスプレイ性能の改善が可能である。マルチビューディスプレイを生成する本明細書に記載の技法により、光源2205への照明方向の知識を用いて、変調器2207及び2208のピクセルを制御する作動信号を生成し得る。
図22Cは、正反射反射器2214及び透過性変調器2213の構成を示す。点光源2210はディスプレイ付近に配置され、それにより、光源2210から来る光線は平行であると見なすことができない。これは、ディスプレイの幾つかの領域にわたり閲覧者位置2212を光源2210に結び付ける光路がないため、ディスプレイの領域が閲覧者2212にとって暗く見えるという望ましくない状況に繋がり得る。幾つかの実施形態では、近傍光源の必要性は、点光源2210を面光源2211で置換することにより対応することができる。光源の位置及び形状の知識を使用して、本明細書に記載の技法により、変調器2213の作動信号を計算し得る。
図22Dは、正反射性変調器2218の上にある透過性変調器2217を示す。この場合、遠隔点光源2215は、変調器2217を通って移動し、反射性変調器2218で反射されるときに変調され、閲覧者位置2216に向かい続ける際、変調器2217で3回目の変調を受ける光線を投影する。幾つかの実施形態では、図22Dに示される要素の構成は、図22Aに示される正反射反射性バックプレーンを用いて利用可能な自由度を超えて、反射性マルチビュー表示システムの自由度を追加する。変調器2218及び2217の作動信号は、本明細書に記載の技法により、光源2215からの入射光の方向の知識を用いて計算し得る。
図22Eは、拡散反射器2222の上に重ねられた透過性変調器2221を示す。拡散反射器は、遠隔点光源2219からの単一の光線が変調層2221により変調され、拡散反射器2222により散乱し、次に、変調層2221上の複数のピクセルと相互作用するように光を散乱させる。広い反射ローブを有する拡散反射器は、単一の遠隔点光源2219と結合される場合、拡散反射器に、変調器に表示されたパターンの画像を形成する。したがって、閲覧者の視点から、変調器2221上のパターン変調器は、光源2219により拡散反射器2222に投影されるものと同じパターンをスケーリングしシフトしたものと相互作用することになる。幾つかの実施形態では、閲覧者位置2220に加えて、シフトパターン間の上記相互作用を組み込んだ本明細書に記載の技法により、マルチビュー表示を生成する作動信号を計算し得る。
図22Fは、拡散反射器が狭い反射ローブを有する、拡散反射器2226の上にある透過性変調器2225の構成を示す。上記狭いローブは、上記拡散反射器から光を反射され、変調器2225上のピクセルの小さなサブセットと相互作用させる。幾つかの実施形態では、狭い拡散反射ローブは、光を変調器2225上のピクセルのサブセットのみを含む角度範囲にわたり散乱させ、マルチビュー表示システムにおいて自由度を管理する有利な方法を可能にする。開示される技法により、図22Fに示されるシステムの作動信号を計算し得る。幾つかの実施形態では、拡散反射器の拡散ローブのサイズ、点光源2223の方向、及び閲覧者2224の位置を考慮することも有用であり得る。
幾つかのタイプの変調層を用いて、光学系に調整を行うことにより、より高い光学効率を達成することが可能であり得る。例えば、光の偏光状態を保持する反射面の前にあるLCDパネルの場合、LCDの偏光後層を除去して、光学透過を増大させることが可能であり得る。このセットアップにおいて、幾つかの状況では、LCDの偏光前層を円偏光子で置換して、ディスプレイの強度分布が光学的に反転しないようにすることが有利であり得る。上記変更されたLCD変調器を液晶オンシリコン(LCoS)デバイス等の入射光の偏光状態を変更可能な反射性変調器と結合することは、反射性変調器なしのシステムの光学効率を保持しながら、システムに反射性変調器を追加するという効果を有する。
バックライト設計
本発明者らは、効率を目的として、最適化ライトフィールドディスプレイに結合されるバックライトが、閲覧予期エリアのみにわたり指向性ライトコーンを提供するように設計すべきであることを理解した。例えば、ディスプレイが90度水平スパンにわたり閲覧者をサポートすることが予期される場合、ディスプレイの変調層の背後に配置されるバックライトユニットは、閲覧が予期される90度スパンにわたってのみ光を発するようにされるべきである。これは、1人又は複数の閲覧者の位置を追跡し、ディスプレイがコンテンツを示す角度領域を更新するディスプレイの場合でも当てはまる。多くの場合、ディスプレイは、随時、狭い視野を有するが、狭い視野は、狭い視野が閲覧予期位置のより広い角度範囲に対応し得るように様々な方向に向けることができる。幾つかの実施形態では、これらの場合、バックライトの設計を比較的単純に保つために、バックライトは、閲覧予期位置の全体角度領域にわたり一度に光を発するように作られ得る。実際には、光学材料の非理想的な性質に起因して、角度効率的バックライトにより発せられる光の少なくとも90%が、閲覧者予期位置を含む角度領域に入ることが予期される。
V.B ニアアイライトフィールドディスプレイ
ニアアイ(near eye)ライトフィールドディスプレイの非限定的な例として、仮想現実ディスプレイ(例えば、主レンズが目と画面との間にある、閲覧者の目の近傍の2つのLCD層)及び拡張現実ディスプレイ(例えば、分割光路を有する仮想現実システム)が上げられる。仮想現実ディスプレイは、本明細書に記載の任意の多層手法を使用して実施し得る。拡張現実ディスプレイは、オクルージョンを生成する第2の低解像度多層システムを含むことにより実施し得る。
図23は、ライトフィールド入力を閲覧者の目2312に提供する目的で設計されるとともに、閲覧者の目の近傍に配置されるように設計された多層ライトフィールドディスプレイの一実施形態を示す。この構成は、変調層が閲覧者の目から離れており、出力が異なる画像を複数の閲覧者の目の位置に同時に提供することが意図される他の実施形態とは対照的である。ニアアイライトフィールドディスプレイでは、幾つかの実施形態は、閲覧者の瞳孔にわたり複数のシーンビューポイントを作成するように設計され、それにより、閲覧者は目の焦点を仮想物体に合わせることができる。一対のそのようなニアアイライトフィールドディスプレイは、順応キュー及びフォーカスキューを閲覧者に提供可能な仮想現実又は拡張現実ヘッドセットを作製することが可能である。
図23に示されるシステムは、2つの光路を含む本明細書に記載の技術の一実施形態を示す:一方の光路は、閲覧者の前にある物体又は人々を含む世界の画像を閲覧者の目に向け、第2の光路は、複数の層状光学変調器を閲覧者の目にイメージングして、仮想シーンのライトフィールド画像を生成する。仮想画像を生成する光路は、図23の上部のバックライト要素2301から始まる。1枚又は複数のレンズ2302を使用して、変調器に適切なようにバックライトを調整し得、上記調整は、例えば、光源の合焦又はコリメートを含む。幾つかの実施形態での代替の構成は、環境光収集器としてレンズ2302を使用して、環境光を収集することを優先して、放射性バックライト2301を諦めることである。光学変調器2303a及び2303bは任意選択的に、幾つかの実施形態では高解像度変調器であり得、図23では例として、2層の液晶光変調要素として示されている。層2303a及び2303bは、任意の透過性又は反射性光学変調要素であり得る。層2303a及び2303bは、本明細書に開示される技術により計算される作動信号により駆動し得る。レンズ2304は、光学アダプタとして機能するように存在し得る。上記光学アダプタは、変調器及び光学結合器からの出力を隣接光学要素に結合し得る。現実世界シーン画像を閲覧者の目2312にイメージングする光路は、世界2305から始まり、世界2305は、デバイスを通して閲覧される任意のシーンを表現するものとして解釈し得る。2306は任意選択的な調整可能光学減衰器を示し、これを使用して、世界2305の強度を光学変調器2303により透過される光の強度に適合させ得る。1枚又は複数のレンズ2307は、世界2305をシステムにイメージングし得る任意選択的な主レンズ又はシーン収集光学系を表す。光学結合器2308は、例えば、一対のプリズムを表し得る。上記光学結合器は、主レンズ2307により形成される画像とライトフィールド表示2303と結合し、結合された画像は次に、閲覧者2312の方向に移動する。光学変調器2309a及び2309bは、暗視野画面を生成するために存在し得る。上記画面は、限定ではなく例として、2つの液晶光変調要素として描かれているが、他のタイプの光学変調器を含み得る。上記画面は、デバイスを通しての回折ブラーが閲覧者の目の位置で最小になるように設計される。幾つかの実施形態では、回折は、大きなアパーチャを有する液晶要素からデバイスを作製することにより最小に抑え得る。暗視野画面要素の意図は、指定された方向から来る光の遮断である。上記暗視野画面は、角度依存減衰器として知られ得る。幾つかの実施形態では、上記暗視野画面により、閲覧者は、仮想物体からの正確若しくは妥当な現実世界オクルージョンを観測し、又は実際の物体をビューから削除することができる。幾つかの実施形態では、変調器2309a及び2309bは、所望の減衰分布を記述する適切な費用関数を所与として、本明細書に開示される方法により計算される作動信号を使用して駆動し得る。要素2310は、幾つかの実施形態では、システムを空間制約設計に適合させるのに使用することができる任意選択的なリレー光学系を示す。レンズ2311は、システムの出力を目位置2312で示される人間視覚系に結合することが意図される接眼光学系を表す。
図24A及び図24Bは、本明細書に記載の技術の幾つかの実施形態による、拡張現実及び仮想現実を含むニアアイライトフィールドディスプレイの用途に使用し得るマルチビューディスプレイの実施形態を示す。両図とも、図23に示される光学要素からの代替の光学要素を利用するニアアイライトフィールドディスプレイの実施形態を示す。図24A及び図24Bの図面は、特徴とされる光学要素の役割を明確にするように単純化されており、図23に描かれているシステムの完全な一般性が図24A及び図24Bのシステムに適用されないことの示唆を意図しない。
図24Aでは、世界2401は光学結合器2402を通してイメージングされ、結合器は、世界の画像を変調器2403a及び2403bにより生成されるライトフィールド画像と結合し、上記画像を閲覧者2405に向ける。変調器2403a及び2403bは、幾つかの実施形態では、本明細書に開示される技術により生成される作動信号により駆動されて、マルチビュー表示を生成する。反射光学系2404は、光学結合器2402を介して、変調器2403a及び2403bにより生成された画像を閲覧者2405に送る。
図24Bでは、実施形態は、世界2406の画像と変調器2407a及び2407bからのライトフィールド画像とを結合するくさび光学系2408を使用して示される。上記画像は閲覧者2409に向けられる。変調器2407a及び2407bは、本明細書に開示される技術により計算される作動信号により作動し得る。くさび光学系を使用する開示される技術の実施形態は、スペース効率的な設計から恩恵を受け得る。
V.C 投影型拡張現実ライトフィールドディスプレイ
投影型拡張現実ディスプレイは、投影レンズ及び閲覧面と併せて、本文書で概説される原理を使用して作製し得る。そのようなディスプレイの目的は、一人又は複数の観測者の視点から、投影された仮想画像が現実シーンと3Dで統合するように、窓、ウィンドシールド、コックピット、ビュー画面、投影画面、又は他の反射面、透明面を通して見られるような世界のビューに仮想画像を投影することである。
最適化ディスプレイが、専用画面光学系を用いてライトフィールド画像を投影することができることが示されている。本発明者らは、専用画面を使用せずに、拡張現実用途の最適化ライトフィールド投影ディスプレイを作製する技法を開発した。そのようなデバイスの基本レイアウトは、空間−角度多様性を提供するソース、ソースを所望の空間スケールにスケーリングする主レンズ、及び投影画像を閲覧者の目に反射する画面を含む。
幾つかの実施形態では、ソースは、上記項で詳述した透過型最適化ライトフィールドディスプレイのいずれか1つを適切なバックライトと結合したものを含み得る。幾つかの実施形態では、画面は、任意選択的に、閲覧者の既知の方向でソース及び主レンズの既知の位置から優先的に反射するように変更された任意の反射面又は半反射面であり得る。そのような変更は、そのような目的で一般に使用されるホログラフィック要素又はホーゲルを通して達成することができる。
幾つかの実施形態では、画面の表面は、車のウィンドシールド、ボート及び航空機のコックピット、並びに建物及び他の構造物内の外窓を含み得る。反射面が湾曲を有する場合、ソースから発せられるライトフィールドは、反射器の形状を補償するように予めワープし得る。これは、ライトフィールドソースからシステム内の全ての光学面を通り閲覧者の目の可能な位置に伝搬する光路を突き止めることにより行われる。次に、これらの光路はソートされて、所望の形状のライトフィールドを提供する。
投影型拡張現実ディスプレイを作製する鍵は、十分な角度多様性が閲覧者の目の閲覧位置に到達することを保証することである。これを達成するために、システムの主レンズの射出瞳に対する角度は、少なくともシステムの所望の視野と同じ大きさでなければならない。このために、実際に有用な視野を有するシステムを達成するために、閲覧者の近傍に配置される大型レンズが望ましい。大型レンズは、ソースに大きな変調層を必要とする。これらは優先的に、LCDデバイスを用いて達成することができる。主レンズの費用を低減するために、フレネル光学系又は反射屈折系(ミラー付きデバイスと反射光学系とを組み合わせたもの)を主レンズの構築に使用することが望ましいことがある。LCD、LCoS、MEMS DMD、MEMSシャッタディスプレイを含め、多くのタイプの変調器が使用可能である。
V.D 最適化ライトフィールドディスプレイの較正
幾つかの実施形態では、モバイルデバイスを使用して、最適化ディスプレイの作動信号を決定する本明細書で使用されるアルゴリズムを較正し得る。例えば、モバイルデバイスを使用して、様々な作動信号から表示ビューへのマッピングの決定を支援し得る製造環境での較正方法も、これらの例及び考慮事項から簡単に得られる。
幾つかの実施形態では、モバイルデバイスを使用する較正は、以下のうちの1つ又は複数の任意の適する組み合わせを含み得る:(1)較正中のディスプレイのイメージングでのモバイルデバイスカメラ、深度カメラ、又はカメラアレイの使用、(2)モバイルデバイスのイメージングでの、較正中のディスプレイに取り付けられたカメラ、深度カメラ、又はカメラアレイの使用、(3)人間又はモバイルデバイスカメラ、深度カメラ、若しくはカメラアレイにより見られる、QRコードを含む様々な較正パターンの表示での、較正中のディスプレイの使用、(4)人間又は較正中のディスプレイに取り付けられたカメラにより見られる、QRコードを含む様々な較正パターンの表示でのモバイルデバイスディスプレイの使用、(5)較正の実行への複数のモバイルデバイスの使用、(6)較正パラメータが学習されるにつれての様々な表示パターンの連続適合、(7)最適化ディスプレイに対するモバイルデバイスの位置の特定での加速度計、ジャイロスコープ、コンパス、ソナー、又はモバイルデバイスによる他の測定の使用、及び(8)モバイルデバイスと、較正中のディスプレイに取り付けられた計算との間でのパラメータの交換での無線又は有線データ伝送の使用。
図25は、本明細書に記載の技術の幾つかの実施形態によるマルチビューディスプレイの較正へのモバイルデバイスの使用の説明のための例を示す。複数の光変調層を含む本明細書に記載の技術の実施形態では、上記層の相対空間の向きは、ディスプレイにより生成されるマルチビュー画像に影響する。当業者に既知の方法を使用して、表示層を所定の位置に配置し得、上記位置は製造時に特徴付け得る。幾つかの実施形態では、例えば、デバイス内の機械的変化、製造誤差、及び/又はソフトウェア変化により、互いに対する変調層の位置を特徴付けし直すことが必要であり得る。
図25は、スマートフォン又は他のモバイル計算デバイスを使用して、現場での較正ステップを介して上記特徴付けを実行するシステムの例を示す。幾つかの実施形態では、現場での較正は、製造後に実行される任意の較正を指し得る。幾つかの実施形態では、図25に示されるシステム(及びその変形)は、製造時に適用し得る。
図25の実施形態では、較正される多層ディスプレイ2501は、較正パターン2503及び2504を表示する2つの変調層と、カメラ2506とを備える。カメラと少なくとも1つの変調層との空間的関係は、既知であってもよく、又は既知でなくてもよい。カメラ2506に可視の較正パターン2507を表示可能なディスプレイと、較正パターン2503及び2504をイメージング可能なカメラ2505とを備えるモバイルデバイス2502も示される。両カメラ2505及び2506は、統合カメラ、カメラアレイ、又は深度カメラであり得る。幾つかの実施形態では、カメラ2505とパターン2507との空間的関係は既知である。幾つかの実施形態では、無線通信チャネル2508が、モバイルデバイス2502と画面2501との間に存在する。
較正手順の幾つかの実施形態では、モバイルデバイス2502は、ディスプレイ2501の前の複数の位置に移動される。位置の数は、閾値数よりも大きい(例えば、3、5、10、20、25等よりも大きい)数であり得る。上記位置のそれぞれにおいて、カメラ2505はパターン2503及び2504をイメージングすることが可能であり、カメラ2506は、パターン2507をイメージングすることが可能である。カメラ較正技法(例えば、コンピュータビジョンで使用し得る)を使用して、カメラ2505に対するパターン2503及び2504の空間位置が確立され、カメラ2506に対する較正パターン2507の空間位置が確立される。幾つかの実施形態では、カメラ2505の視点からのパターン2503及び2504の相対配置は、較正に十分であり得る。幾つかの実施形態では、カメラ2505とパターン2507との間の既知の空間関係を使用して、カメラ2505及び2506の座標系を接続し、全ての較正パターンに大域的座標系を確立し得る。各パターンの確立された空間位置から、各変調器の空間向きを導出し得る。幾つかの実施形態では、空間情報は、(例えば、無線)通信リンク2508を介してモバイルデバイス2502と画面2501とで共有される。幾つかの実施形態では、通信リンク2508は、インターネット又は他のネットワーク上のサーバを介する接続を含む。
図25では、較正パターンは、非限定的な例としてQRコードとして描かれている。較正パターンは、例えば、OpenCVソフトウェアパッケージでのチェス盤パターン若しくはドット較正パターン又は任意の他の適するパターンを含め、他の普及しているパターンを含んでもよい。幾つかの実施形態では、較正パターンは、独自のメタデータを含み得る。幾つかの実施形態では、独自のメタデータ及び較正中に得られる較正データは、後の検索のためにデータベースに記憶し得、上記データベースは、インターネット又は他のネットワーク上のサーバに存在し得る。サーバはクラウドサーバであり得る。画面2501での変調器は上下に重なって配置されるにもかかわらず、較正パターン2503及び2504は、重複しないように描かれる。幾つかの実施形態では、較正パターンは、カメラ2505のビューにおいて重複しない。幾つかの実施形態では、重複較正パターンを使用して、追加の測定精度を達成し得る。重複較正パターンはモアレ効果を生み出し得、これをカメラ2505により測定して、変調層間の隔たりを特定することができる。
V.E 計算された作動パターンのキャッシュ及び合成
上述したブラー変換を利用する技法の使用を含め、最適化多層ディスプレイにおいて表示作動信号の値を決定するに当たり、本発明者らは、作動信号のキャッシュ及び/又は他のキャッシュした信号及び最適化中の信号とのキャッシュした信号の合成の利点を認識した。
幾つかの実施形態では、生成される作動信号は記憶し得る。生成される作動信号は、明示的最適化プロセス又は生成へのヒューリスティック法の使用の結果として含め、本明細書に記載の任意の方法で取得し得る。生成される作動信号は、(1)予め選択されたビュー位置又は1組のビュー位置に対して、(2)アニメーションシーンの状況では、予め選択されるアニメーションフレーム又は1組のアニメーションフレームに対して、(3)様々なパラメータ値の関数としてコンテンツを表示するシーンの状況では、予め選択されるパラメータ値又は1組のパラメータ値に対して、及び/又は任意の他の適する状況で生成し得る。作動信号は、任意のタイプのメモリに記憶し得、本明細書に記載の技術の態様はこれに関して限定されない。
幾つかの実施形態では、記憶された作動信号は、最適化ディスプレイを含め、単層又は多層ディスプレイに表示し(呼び出し)得る。
幾つかの実施形態では、記憶された作動信号は、(1)二次元拡散ライトフィールド、例えば、二次元テキスト、画像、グラフィックス、又はユーザインターフェース要素に対応するユーザ信号、(2)他の前に呼び出された作動信号、(3)明示的又はヒューリスティックに「リアルタイム」で最適化中の作動信号、及び(4)任意の他の適する作動信号を含むがこれに限定されない1つ又は複数の他の信号を結合し得る。
幾つかの実施形態では、作動信号を結合する技法は、(1)個々の表示層に基づく空間合成、(2)合成中の作動信号のエッジ間の漸次ブラー、(3)より高次のライトフィールドに基づく合成(例えば、閲覧者の既知の位置を利用して、ディスプレイにより生成されるライトフィールドの相互に別個の部分に対応する作動信号の分割を識別する合成及び閲覧者の既知の位置を利用して、生成されたライトフィールドの近くビューの相互に別個の部分に対応する作動信号の分割を識別する合成)、(4)例えば、合成する2組の作動信号(「ソース信号」)を所与として、1つを除く全ての表示層は同一のソース信号を有する乗法多層ディスプレイでの加法又は線形合成を含む。この場合、合成された信号は、別個のソース信号を有する表示層上のシース信号の線形重ね合わせに対応し、並びに(5)作動パターンを生成する最適化アルゴリズムでのパラメータ又は最適化アルゴリズムの初期状態としてのキャッシュされた1つ又は複数の作動信号の使用。
V.F 用途
本明細書に記載の技術の態様が多種多様な用途で使用可能なことを理解されたい。そのような用途の非限定的な例は、自動車用途(例えば、3Dダッシュボード、ゲージ、機器、ボタン、及び拡張現実ウィンドシールド)、計算デバイス(例えば、タブレット、電話、ラップトップ、デスクトップ、ワークステーション等)のユーザインターフェース、コンピュータ支援設計(CAD)ワークステーション、建築モデル、娯楽用途(例えば、テレビジョン、シアター映画、ホームムービー、モバイルデバイス動画)、ゲーミング用途(居間規模、ハンドヘルド、デスクトップコンピューティング、公共の場−アーケード、チームスポーツアリーナ)、医療撮像(例えば、例えばMRI又は超音波撮像デバイスにより得られるボリュメトリックデータの視覚化、深度データの視覚化(2.5D)、レンダリング/メッシュデータの視覚化)、科学及び医療視覚化用途(例えば、地下撮像、生態系撮像、ビッグデータ/データトレンド)、金融用途(例えば、複雑な市場、相関の発見)、広告用途、芸術用途、車両遠隔制御用途(例えば、空中、水中、及び/又は陸上の無人機を制御するユーザインターフェースの生成)、1台又は複数台の車両の監視、テレビ会議用途、テレプレゼンス用途、テレオペレーション用途、ニアアイディスプレイ用途(例えば、拡張現実及び/又は仮想現用途)、及びこれらの任意の用途での順応キューの生成である。
VI.ライトフィールドプリントを製造する技法の更なる説明
ライトフィールドプリントを高速に堅牢に精密に製造する技法の更なる態様についてこの項で説明する。
図26は、本明細書に記載の技術の幾つかの実施形態による、ライトフィールドプリントの層にプリントされるパターンを生成し、生成されたパターンをライトフィールドプリントの層にプリントする例示的なシステム2600を示す。図26では、線は、システムを通るデータ経路を示し、ストレージは、データを記憶し得る上記データ経路の部分を示す。幾つかの実施形態では、ストレージロケーションは迂回し得る。
図26に示されるシステムへの入力は、幾つかのフォーマットの1つを含み得る。一実施形態では、入力2601は、幾つかの場合、ライトフィールドと呼ばれる3Dシーンの複数の2Dビューを含み得る。幾つかの実施形態では、入力2601は、ジオメトリ又はテクスチャ情報を含むがこれに限定されないシーン記述を含み得る。シーン記述が入力を構成する実施形態では、入力は、記述シーン2603のビューを表す複数画像を含むライトフィールド表現に変換し得る(2602)。入力が既に、シーンビュー2604を表す複数の画像である場合、変換ステップ2602は迂回し得る。ブロック2606において、所望のライトフィールド表現2605を使用して、ライトフィールドプリントに組み立てられる層にプリントする標的パターン2607を計算し得る。
幾つかの実施形態では、ジオメトリ、カラーモデル、及び解像度情報2608をパターン2607の計算に組み込み得る。幾つかの実施形態では、動作2609において、標的パターン2607を処理して、プリントプロセスの性質を補償し得る。そのような性質は、例えば、媒体の物理的特性、プリントプロセスの物理的特性、プリントプロセスの動的特性及びプリンタインクの流体力学的特性、又はプリンタトナーの物理的特性を含み得る。幾つかの実施形態では、処理2609は、補償2610すべき特性の物理的モデルを組み込む。幾つかの実施形態では、計算ブロック2609及び2602を結合して、統合計算システム又は方法2612にし得る。補償パターン2611は、プリンタ若しくはプリントスプーラーに送信し、又は他の方法でプリントに再現し得る。
幾つかの実施形態では、計算ブロック2602は、シーン記述からライトフィールドの表現を生成し、シーン記述は、例えば、CADファイル、深度マップ、OBJファイルフォーマット、Colladaファイルフォーマット3D Studioファイルフォーマット、three.js JSONファイルフォーマット、又はPOV−Rayシーン若しくはNvidia Optixプログラム等のレイトレーシングが意図されるシーンとして表現される3Dシーンを含み得る。生成される所望のライトフィールド2603は、多くのレンダリング技法の任意のものを使用して生成し得る。例えば、上記レンダリング技法は、異なる視点から複数のオフアクシス画像をレンダリングする仮想マルチカメラレンダリングリグ、GPUシェーダーベースのレンダリング技法、及び/又はレイトレーシング技法を含み得る。
2602により生成されたライトフィールドは、様々なフォーマットで符号化し得る。例えば、ライトフィールドは、シーンの様々な所望のビューに対応する1組の画像として符号化し得る。この表現では、各ピクセル値は、特定の位置から表示面上に特定の角度で発せられる光線の所望の色及び/又は強度に対応する。特定の構成の重要性も符号化し得る。幾つかの実施形態では、上記符号化を使用して、下流処理2606で使用される誤差関数を加重し得る。
幾つかの方法をプリント2606の標的パターンの計算に使用し得る。幾つかの実施形態では、標的パターンは、モノクロであるプリント層及びカラーである第2のプリンタ層に関して計算される。幾つかの実施形態では、各インクチャネルでバイナリである標的パターンを計算し得る。例えば、パターンは、バイナリシアン、バイナリマゼンタ、バイナリイエロー、バイナリブラック(CMYK)チャネルを含み得る。限定ではなく、ライトブラック、ライトシアン、及びライトマゼンタ等のライトインク、スポットカラーインク、及びプリンタ色域の拡張を意図するインクを含め、同様の考慮を他の色の組み合わせ及びインクセットに対しても行い得る。バイナリパターンの計算は、例えば、本明細書に開示される本明細書に記載の技法(例えば、図2〜図13に記載の技法を使用して)による、標的パターンの計算に使用される計算方法に適切な規則性を導入することにより行い得る。幾つかの実施形態では、パターンは、標的パターンのサブブロックに対して演算し、上記サブブロックを結合して、標的パターンを取得することにより計算し得る。幾つかの実施形態では、上記サブブロックは、標的ライトフィールドの関連する特性を使用し得る。例えば、ブロック処理は、計算を実行する任意の反復方法の各反復で行い得る。
幾つかの実施形態は、プリントマルチビューディスプレイでパターンをプリントするに当たりプリント及び媒体の動力学を補償する技法を含み得る。上記補償の目標は、標的パターンから補償済みパターンを取得し、上記補償済みパターンはプリント及び媒体の動力学について補正されている。例えば、補償済みパターンは、インクの滲み、ドットゲイン、及びプリント媒体の許容可能最大インク濃度の任意の1つ又は複数(例えば、全て)について補正し得る。
ライトフィールドプリントの作成においてドットゲインを補償する技法は、例えば、ガウスブラーフィルタリング等の標的パターンの線形空間フィルタリング、次に強度閾値演算及び/又はモルフォロジ処理方法の使用を含む。これらの技法を利用する前、標的パターンを空間的にアップサンプリングし得る。ライトフィールドプリントの作成に使用されるドットゲイン補償方法は、個々のカラーチャネルに又は複数のチャネルにまとめて適用し得る。ドットゲイン補償処理により生成される出力パターンは、中間パターンと呼ぶことができる。
ライトフィールドプリントを作成するに当たりインク濃度を補償する技法は、構造化パターンを中間パターンに適用し、それにより、選択された数の個々のピクセルがなくなり、それにより、インク、トナー、染料、又は他の媒体が媒体の消去ピクセルの位置に付着しないことを含むがこれに限定されない。幾つかの実施形態では、どのピクセルをなくすかの選択は、処理で上流のパターンに依存し得る。他の実施形態では、その選択は、処理で上流のパターンから独立し得る。幾つかの実施形態では、中間パターンを処理することにより得られるインク濃度補償の結果は、処理において下流で利用される補償済みパターンになる。
図27A及び図27Bは、本明細書に記載の技術の幾つかの実施形態により製造されるライトフィールドプリントの説明のための例を示す。図27Aでのライトフィールドプリントは、プリント後層2701の真上にあり、したがって、プリント後層2701に接触するプリント前層2701を備える。層は、限定ではなく、LED2703及びライトガイド2704を含め、ランプを含むバックライトユニットにより照明される。
図27Bは、透明スペーサ2706によりプリント後層2707から離間されたプリント前層2705を備えるライトフィールドプリントを示す。この実施形態も、ランプ2708及びライトガイド2709を含め、図27Aに示されるものと構造的に同一のバックライトにより照明することができる。
幾つかの実施形態では、インク又はエマルジョンが、プリント層2701、2702、2705、及び2707の前向き面にあり得る。幾つかの実施形態では、インク又はエマルジョンは、層の後向き面にあり得る。幾つかの実施形態では、層全体は、層容積全体を通して選択的透明減衰器であり得る。幾つかの実施形態では、特定モードの減衰(例えば上部、下部、又はボリュメトリック)が、層2701と2702との間で別個であり得る。適切な減衰モードを選ぶことにより、パターンがプリントされる透明材料の厚さを透明スペーサとして使用し得る。
LED2703及びライトガイド2704は、側部照明バックライトモジュールを示す。他の実施形態では、代替のタイプのバックライトモジュールを使用し得る。バックライトモジュールは、側部照明、正面照明、又は背面照明構成に編成されたエレクトロルミネセント、蛍光、又はLED要素に基づき得る。同じ考慮が2708、2709に当てはまる。
図28は、本明細書に記載の技術の幾つかの実施形態により製造されるライトフィールドプリントの別の説明のための例を示す。上記ライトフィールドプリントは、放射層及び減衰層の積層を含む。上記層は、個々の層を順次組み立てて、プリント層の積層を形成する本明細書に開示される関連技法に対応し得る。プリントパターン2802は、ランプ2803及びライトガイド2804を含むバックライトの表面にプリントされる。照明源2803は、限定ではなく例として、LEDであり得る。遅延した全反射は、バックライト媒体2804の表面にインクが付着2802する任意の位置で照明領域の外観を生じさせる。次に、減衰層2801を後部放射層に固定する。幾つかの実施形態では、減衰層2801は放射層2804に直接固定し得る。幾つかの実施形態では、減衰層2801は離間層により隔てられる。層2801及びインク層2802上の標的パターン及び補償済みパターンの作動信号は、複数の減衰層を含むプリントの作動信号を計算する本明細書に記載の技法に従って計算し得る。
図29は、本明細書に記載の技術の幾つかの実施形態による、自己整合プリント法を使用して製造されるライトフィールドプリントの説明のための例を示す。示されるのは、後部パターン2903がプリントされる透明層2904である。透明セパレータ2902がプリントパターン2903の上に固定される。幾つかの実施形態では、セパレータは、光学接着剤を使用して固定し得る。前部パターン2901は次に、透明セパレータ2902にプリントされる。幾つかの実施形態では、スペーサ2902は、透明層2904の空間位置に影響せずに固定される。これは、プリントベッド又はプラテンに直接組み立てを実行し、複数の層に対して繰り返しプリントパスを実行し得る。幾つかの実施形態では、UV硬化フラットベッドインクジェットプリンタを使用し得る。このようにして、層間及び各層とプリントヘッドとの位置合わせを保持し得る。幾つかの実施形態では、材料2901〜2904の積層は、エッジライト照明源2905及びライトガイド2906を含むバックライトに配置し得る。
図30は、本明細書に記載の技術の幾つかの実施形態による、ライトフィールドプリントの層のプリントに使用されるプリントプロセスを適応的に位置合わせする例示的なシステムを示す。プリントキャリッジ3001は、ガイド構造3002に沿って移動する。幾つかの実施形態では、ガイド構造を使用して、描画面に直交する方向にプリントキャリッジ3001を移動させ得る。幾つかの実施形態では、プリント媒体は、描画面に直交して移動させて、プリント機構がプリント媒体の二次元領域をアドレス指定できるようにする。
図30は2パスプリントプロセスを示す。第1のパス中、インクはインクヘッド3007によりプリント媒体3004上に付着し、媒体はプリントベッド3006に静止する。インクは、水性インク、顔料インク染料インク、UV硬化インク、及び/又は任意の他の適するタイプのインクであり得る。幾つかの実施形態では、媒体3004は、剛性又は可撓性であり得る透明層である。材料の積層は、プリントベッド3006に固定し得る。幾つかの実施形態では、材料は、ピン及び/又は真空テーブルの配置を使用することによりプリントベッドに固定し得る。
第1のパスの完了後、プリント媒体3004を裏返す。材料積層3003〜3005は、プリントベッド又はプラテン3006に静止し、上記のようにプリントベッドに固定し得る。第2のパス中、インクヘッド3007はインク滴3003を媒体3004に付着させる。プリントキャリッジ3001に統合されたカメラ3008及び3009により、プリントプロセスの第2のパスを監視することができる。複数のカメラ(3008及び3009として描かれる)及びインクヘッド3007の空間関係は、既知であり得る。カメラ3003は、材料積層3003〜3005を通して見られる、現在付着しているインクを監視する。カメラ3008は、透明層3004を通して、前に付着したインク3005の層及び3005よりも下の積層の任意の要素を監視する。幾つかの実施形態では、プラテン又はプリントベッド3006は、照明源を組み込み得る。幾つかの実施形態では、プラテン又はプリントベッド3006は、追跡マーカーを組み込み得る。プリントキャリッジ3001がプリントベッド又はプラテン3006上を移動する際、カメラ3008及び3009を使用して、プリントキャリッジ3001の位置を前に付着したインクパターン3005に合わせ得る。これは、プリント層が位置合わせされることの保証に役立つ。
本明細書に記載の実施形態により製造されるライトフィールドプリントは、任意の適する用途で使用し得る。例えば、本明細書に記載の技術により製造されるライトフィールドプリントは、看板(例えば、例えば空港、モール、バス停、及び/又は任意の他の適する場所にあるバックライトライトボックス内で見られ得る広告看板)の作製に使用し得る。看板は、一体型バックライトを有してもよく、又は既存のバックライトボックスに挿入された剛性若しくは可撓性多層プリントとして設置してもよい。別の例として、本明細書に記載の技法により製造されるライトフィールドプリントは、土産品及び/又は記念品(例えば、人物の頭部の3Dスキャンから作製されるその人物の顔のライトフィールドプリント、スポーツの記念品、建築及び/又は任意の他の適するタイプの記念品)の作製に使用し得る。別の例として、本明細書に記載の技法により製造されるライトフィールドプリントは、ロゴ、販売促進資料、教材、及び/又はビジネス環境で使用される任意の他の適するタイプの資料の作成に使用し得る。
更に別の例として、幾つかの実施形態では、本明細書に記載の技法により製造されるライトフィールドプリントは、ガラス装飾(例えば、窓装飾)、インテリア装飾、インテリアブランディング、及び/又は芸術品として使用し得る。
図31は、広告看板での使用を示すプリントサービスの説明を示す。プリントサービスの幾つかの実施形態では、3Dモデルはコンピュータ3101に記憶される。3Dモデルはシーン記述を含み得、シーン記述は、例えば、CADファイル、深度マップ、OBJファイルフォーマット、Colladaファイルフォーマット3D Studioファイルフォーマット、three.js JSONファイルフォーマット、又はPOV−Rayシーン若しくはNvidia Optixプログラム等のレイトレーシングが意図されるシーンとして表し得る。幾つかの実施形態では、3Dモデルは複数の2D層を含み、上記2D層は3Dシーンの1つ又は複数の深度に示される。幾つかの実施形態では、3Dファイルフォーマットは、限定ではなく、Adobe Photoshopファイル、Adobe Illustratorファイル、ビットマップ画像、ベクトル画像を含み、3Dアップコンバートプロセスを通してアップコンバートして、3Dモデルを作成し得る。幾つかの実施形態では、既存の層を深度的に分離することにより、層情報を含む2Dファイルを3Dモデルにアップコンバートし得る。
幾つかの実施形態では、3Dモデルをプリントサービス3102に提出し得る。提出は、インターネットを介してファイルを送信することを含み得る。幾つかの実施形態では3D、モデル提出は、ウェブサービスを介して行われ得、それにより、ウェブサービスに提出される3Dモデルをリモートサーバに記憶し得る。幾つかの実施形態では、3Dモデルは、ウェブブラウザで作成され、インターネットを経由しての送信を介してプリントサービス3102に提出し得る。幾つかの実施形態では、プリントサービスに提出されると、3Dモデルを結合し編集し得る。幾つかの実施形態では、3Dモデルは、モバイルデバイス(例えば、タブレット、ラップトップ、スマートフォン、家電等)からプリントサービスに提出し得る。
幾つかの実施形態では、プリントサービスにおいて、ユーザは、プリンタウェブサービスから3Dモデルをインポートすることができ得る。インポートは、プリンタウェブサービスから1つ又は複数のモデルを選択することと、上記モデル又は選択をプリントサービスに通信することとを含み得る。通信は、API又はパートナーAPIの使用を含み得る。幾つかの実施形態では、プリントサービスは、ユーザがプリントサービスを介してプリントされる3Dシーンを作成し得るストックコンテンツのデータベースを提供し得る。プリントサービスにより提供されるストックコンテンツは、無料であってもよく、又は料金若しくはサブスクリプションにより利用可能になってもよい。ストックコンテンツは、無料又は有料でプリントサービスの他のユーザにより提供し得る。ストックコンテンツは、プリントサービスの市場で利用可能であり、第三者により提供し得る。市場は、有料、バーター、又は他の取引市場であり得る。
幾つかの実施形態では、プリントサービスに提出される3Dモデルは、提出時にプレビューし得る。上記プレビューは、プリントサービスを用いて、提出された3Dモデルをプリント又はレンダリングする予測結果を示し得る。上記プレビューを作成する場合、限定ではなく、以下の入力を考慮し得る:3Dモデルコンテンツ、プリンタタイプ、プリンタ品質設定、アルゴリズム入力、アルゴリズム設定、注文された視野角、閲覧位置、環境照明、バックライトユニットタイプ、プリント媒体タイプ、プリントインク、利用可能な計算時間、製品タイプ、支払いタイプ又はプラン、プリント寿命、及びプリント環境露出。
幾つかの実施形態では、プリントサービスで利用可能なプレビューは、標準2D画面に提示し得る。他の実施形態では、プリントサービスは、眼鏡なし3D画面、立体又はマルチビュー画面、眼鏡ベースの3D画面、仮想現実ヘッドセット、拡張現実ヘッドセット、又はスマートフォン若しくはタブレット等のモバイルデバイスでの拡張現実を使用して、プレビューを可能にし得る。上記拡張現実プレビューの場合、プレビューは物理的に配置し得、上記物理的位置は、プリントサービスを用いて生成されるプリントの意図される位置又は別の類似又は非類似位置を含む。幾つかの実施形態では、プリントサービスのユーザは、例えば、プリントサービスにより提供される推定費用及び/又は最終製品のプレビューに基づいて、プリントを承認又は拒絶する機会を有し得る。
幾つかの実施形態では、ユーザは、プリントサービスを使用してプリントプロセスを開始し得る。開始は、支払い、ブラウザを使用してボタンのクリック、又は言葉での入力を技術者に若しくは店頭でキオスクにより提供することを含み得る。
開始時、プリントサービスは、本明細書に開示される方法に従って、提出された3Dシーン記述又は3Dモデルを処理し得る。上記処理は、本明細書に記載の技法を使用してプリントする標的パターンを生成し得る。生成された標的パターンは、本明細書に記載の技法を使用して保証されて、補償済みパターンを生成し得る。標的パターン又は補償済み標的パターンは、プリンタ3103(例えば、示されるように従来のロールインクジェットプリンタ、UVフラットベッドプリンタ、又は透明材料の透明性を変更することができる任意の他のタイプのプロセス)に送信し得る。プリンタは、プリンタに送信された標的パターン又は補償済み標的パターンから複数のプリント層を作成し得る。プリント層は、プリント後、位置合わせし得るが、幾つかの実施形態では、プリント時に位置合わせし得る。位置合わせされたプリント層は、コマーシャル看板用途で使用されるライトボックス等のライトボックス3104の前に配置し得る。そのようなライトボックスは、乗り継ぎ駅、モール、映画シアター、及び多くの他の商業ロケーション並びにプライベートショールーム、家、娯楽の場及び美術館、及び/又は任意の他の適するロケーションにおいて見られ得る。幾つかの実施形態では、プリントサービスは、プリントをライトボックスの前に配置する。幾つかの実施形態では、プリントサービスは、パートナー組織と連携して、プリントし、プリントをライトボックスに配布する。幾つかの実施形態では、プリントサービスは、プリントされた看板と同じ場所に設置されるユーザ追跡又は顔追跡デバイスを提供し得る。追跡デバイスは、ユーザエンゲージメントを測定し得る。
幾つかの実施形態では、上記サービスは、プリントディスプレイサービスではなくデジタルディスプレイサービスを含み得る。そのような実施形態では、作動信号は、提出される3Dシーン記述又は3Dモデルから生成される。幾つかの実施形態では、作動信号は、複数の光学変調器を備えるデジタルディスプレイに送信される。幾つかの実施形態では、上記送信は、インターネットを介して行われ得る。幾つかの実施形態では、デジタルディスプレイを追跡デバイスと結合して、視聴者に関連する数量、限定ではなく例として、ユーザエンゲージメント、閲覧者数、及び閲覧者のタイプを測定し得る。幾つかの実施形態では、上記測定される数量を使用して、上記デジタルディスプレイのコンテンツを合わせ得る。
幾つかの実施形態では、ライトフィールドプリントは、光減衰パターン化材料として実現し得、ガラス面(例えば、窓)の両面に取り付け得る。パターン化材料は、プリントされた膜、ガラス面に直接塗布されたカラー層、及び/又は光減衰パターンを含むように機械加工又は成形された材料を含み得る。パターン化材料上のパターンは、光線の通過点及び光線の角度に応じて、光線がガラス面を透過する際、どのように減衰すべきかに従ってプリントし得る。
例えば、ガラス面が窓である場合、窓は、特定の角度で日光を遮断し得(例えば、図32に示されるように)、別の角度で日光を透過し得る(例えば、図33に示されるように)。幾つかの実施形態では、窓に付着するパターンは、特定の日時及び年度で異なる日光角度に対応する、窓の緯度、経度、及び/又は向きに従って生成し得る。図32は、特定の角度での日光の遮断を示し、光減衰層3201及び3203、窓表面3202、並びに太陽3204を示す。図33は、透過する太陽光線を示し、光減衰層3301及び3303、窓表面3302、並びに太陽3304を示す。
幾つかの実施形態では、光減衰パターン化材料は、通過する車、街灯、広告の光を選択的に減衰させ、又は室内からの光漏れを阻止する等のために、人工光を遮断するように製造し得る。幾つかの実施形態では、光減衰パターン化材料は、建物のインテリア及び/又はエクステリアの一部である、グラフィックス又はロゴ等の3Dコンテンツを表示するように製造し得る。
幾つかの実施形態では、光減衰パターン化材料は、一方向では光線を遮断し得るが、別の方向では反射した色を含み得、それにより、光源が配置される側と同じ側から見た場合、2Dグラフィックスを表示し得る。
図34は、本明細書に記載の技術の幾つかの実施形態による、ライトフィールドプリントを製造する例示的なプロセス3400のフローチャートである。プロセス3400は、例えば、システム110又はシステム2600を含む任意の適するシステムにより実行し得る。
プロセス3400は動作3402において開始され、複数のシーンビューを取得し得、シーンビューは、プロセス3400を介して製造中のライトフィールドプリントを使用してレンダリングされるものである。複数のシーンビューはそれぞれ、ライトフィールドプリントの閲覧者の位置に対応し得る。本明細書に記載のように、シーンビューは、自然なシーン又は合成シーンのものであり得る。各シーンビューは、シーンビューのうちの1つ又は複数(例えば、全て)のそれぞれの任意の適する解像度のグレースケール画像及び/又はカラー画像を含み得る。任意の適する数(例えば、少なくとも2つ、少なくとも10、少なくとも50、少なくとも100、少なくとも500、2〜1000、10〜800、又はこれらの範囲の任意の他の適する組み合わせ)のシーンビューを動作1502において取得し得、本明細書に提供される技術の態様はこれに関して限定されない。
幾つかの実施形態では、シーンビューは、少なくとも1つの画像ソースにアクセスし、及び/又は少なくとも1つの画像ソースから1つ又は複数の画像を受信する(例えば、記憶された画像にアクセスする、別のアプリケーションプログラム又はリモート計算デバイスから画像を受信する)ことにより取得し得る。幾つかの実施形態では、シーンビューは、まず、3Dシーンの記述(例えば、シーンの3Dモデル)を取得し、次に、プロセス3400の一環として、取得された3Dシーンの記述に基づいてシーンビューを生成することにより取得し得る。
次に、プロセス3400は動作3404に進み、プリントプロセス情報を取得し得る。プリントプロセス情報は、図1Bを参照して説明した任意の情報116を含み得、例えば、層ジオメトリ情報、カラーモデル情報、プリント解像度情報、及び/又はプリント動力学についての標的パターンの補償(例えば、動作3410において)に使用し得る任意の情報を含み得る。幾つかの実施形態では、層ジオメトリ情報は、組み立てるライトフィールドプリントにおける層のサイズ、形状、及び互いに対する位置を記述する情報を含み得る。例えば、層ジオメトリ情報は、各層が平らであり、幅11インチ(約27.9cm)、高さ17インチ(約43.1cm)であり、組み立てるライトフィールドプリントにおいて層を0.045インチ(約1.14mm)離間し得ることを示し得る。別の例として、層は、組み立てるライトフィールドプリントの法線に対して0.06インチ(約1.52mm)の変位で離間すべき湾曲形状を有し得る。層ジオメトリ情報は、ソフトウェアパッケージ(例えば、AUTOCAD)ではジオメトリックモデルとして又はファイル(例えば、OBJファイル)として表現し得る。
幾つかの実施形態では、カラーモデル情報は、利用可能なカラーチャネル(例えば、1組のプリントヘッドで利用可能なインクチャネル及びインクセット)及び/又はインクセットのカラー特性(例えば、スペクトル特性、一色のインクが別の色のインクに重ねられたときに色が互いといかに相互作用するかについての情報)を表すカラーモデルを指定し得る。追加又は代替として、カラーモデルは、プリンタプロファイル(例えば、ICCデバイスプロファイル)に組み込まれる任意の情報を含み得、デバイス色空間(例えば、PostScriptの言語、DeviceN、又はDeviceCMYK空間内)を標準色空間(例えば、sRGB)にいかにマッピングするかについての情報を含み得る。カラーモデルは、インクの色の光学特性を記述し得、インクの色の光学特性の非限定的な例としては、シアン、マゼンタ、イエロー、ブラック、ライトシアン、ライトマゼンタ、オレンジ、グリーン、レッド、バイオレット、ライトブラック、ライトライトブラック、マットブラック、グロッシーブラック、クリアインク、放射性インク、グロスオプティマイザ、及びPantoneカラー等の特定の標準色が挙げられる。
幾つかの実施形態では、プリント解像度情報は、水平寸法及び垂直寸法(例えば、水平DPI及び垂直DPI)両方での1インチ当たりのアドレス指定可能ドット中心数を含み得る。プリント解像度情報は、追加又は代替として、プリントシステムにより生成可能なドットピッチ又は選択された複数のドットピッチ(ドット半径又は選択された複数のドット半径)(例えば、インチ又はその分数で測定される)を含み得る。ドットピッチ例は、1/800インチであり得る。
次に、プロセス3400は動作3406に進み、少なくとも1つのブラー変換を指定する情報を取得し得る。少なくとも1つのブラー変換を指定する情報は、1つ又は複数の部位ラー変換を指定し得、例えば、図1Bを参照して説明した任意の情報114を含む任意の適するタイプの情報を含み得る。
次に、プロセス3400は動作3408に進み、動作3402において取得された複数のシーンビュー、動作3404において取得されたプリントプロセス情報、及び動作3406において取得された少なくとも1つのブラー変換を指定する情報に基づいて、複数の作動信号を生成し得る。これは、本明細書に記載の任意の方法で、例えば、図2〜図13を参照して説明した任意の最適化技法を使用することにより行い得る。
次に、プロセス3400は動作3410に進み、プリント及び/又は媒体の動力学について、動作3408において生成された標的パターンを補償して、補償済み標的パターン(例えば、ドットゲインの効果、プリント材料滲みの効果、及び許容可能最大プリント材料濃度について補償された)を取得し得る。補償は、本明細書に記載の任意の方法又は任意の他の適する方法で実行し得る。
次に、プロセス3400は動作3412に進み、本明細書に記載の任意のタイプを含む任意の適するタイプのプリンタ又は補償済み標的パターンを層に付着させる任意の他の技法を使用して、補償済み標的パターンを透明前層及び透明後層にプリントする。標的パターンが層にプリントされた後、動作3414において、層を組み立てて、ライトフィールドプリントを作成し得る。層を組み立ててライトフィールドプリントにすることは、例えば、プリントを位置合わせして、互いに接着させる(例えば、接着剤又は任意の他の適する手段を使用して)ことを含み得る。動作3414後、プロセス3400は完了する。
プロセス3400が例示であり、変形があることを理解されたい。例えば、幾つかの実施形態では、動作3406及び/又は3410の1つ又は複数は省略し得る。
VII.追加の実施詳細
図35に示される実施形態では、コンピュータ3500は、1つ又は複数のプロセッサを有する処理ユニット3501と、例えば、揮発性メモリ及び/又は不揮発性メモリを含み得る非一時的コンピュータ可読記憶媒体3502とを含む。メモリ3502は、本明細書に記載の任意の機能を実行するように処理ユニット3501をプログラムする1つ又は複数の命令を記憶し得る。コンピュータ3500は、システムメモリ3502に加えて、記憶装置3505(例えば、1つ又は複数のディスクドライブ)等の他のタイプの非一時的コンピュータ可読媒体を含むこともできる。記憶装置3505は、メモリ3502にロードし得る、アプリケーションプログラムにより使用される1つ又は複数のアプリケーションプログラム及び/又はリソース(例えば、ソフトウェアライブラリ)を記憶することもできる。
コンピュータ3500は、図35に示されるデバイス3506及び3507等の1つ又は複数の入力デバイス及び/又は出力デバイスを有し得る。これらのデバイスは、特に、ユーザインターフェースの提示に使用することができる。ユーザインターフェースの提供に使用することができる出力デバイスの例としては、出力を視覚的に提示するためのプリンタ又は表示画面及び出力の可聴提示のためのスピーカ又は他のサウンド生成デバイスが挙げられる。ユーザインターフェースに使用することができる入力デバイスの例としては、マウス、タッチパッド、及びデジタイズタブレット等のキーボード及びポインティングデバイスが挙げられる。別の例として、入力デバイス3507は、オーディオ信号を捕捉するマイクロフォンを含み得、出力デバイス3506は、視覚的にレンダリングするための表示画面及び/又は認識されたテキストを可聴的にレンダリングするスピーカを含み得る。
図35に示されるように、コンピュータ3500は、様々なネットワーク(例えば、ネットワーク3510)を介する通信を可能にする1つ又は複数のネットワークインターフェース(例えば、ネットワークインターフェース3508)を備えることもできる。ネットワークの例としては、企業ネットワーク又はインターネット等のローカルエリアネットワーク又は広域ネットワークが挙げられる。そのようなネットワークは、任意の適する技術に基づき得、任意の適するプロトコルに従って動作し得、無線ネットワーク、有線ネットワーク、又は光ファイバネットワークを含み得る。
幾つかの実施形態では、アクティブディスプレイは、作動信号が、例えば、偏光前層と偏光後層との間に積層されたLCD要素の場合では透光性である、様々な光学特性を動的に指定するアクティブ電子光学要素の構成を備え得る。
幾つかの実施形態では、作動信号は、光学積層内の要素の光学挙動を決定する1組の制御可能変数を含み得る。例えば、プリンタに送信されるピクセル強度値は、プリントされた透明シートでの光減衰を決定する作動信号であり、バックライトを有さず、前部偏光子及び後部偏光子を含むカラーLCDパネルに送信されるピクセル(カラー)値は、パネルによる光減衰を決定する作動信号である。作動信号の値は、本明細書に記載の任意の技法を使用して決定し得る。幾つかの場合、作動信号の値は一定であり得る。
幾つかの実施形態では、ライトフィールドは、環境中の光の空間角度分布を含み得る。例えば、多層光学積層の表面は、人物の周囲の自然環境の場合のように、明確に定義されたライトフィールドを有し得る。
幾つかの実施形態では、光学積層は、LCD、OLED、偏光子、波遅延器、バックライト、他の照明源、カラーフィルタ、レンズ、小型レンズアレイ、視差バリア、光学スプリッタ、光学結合器、回折要素、ホログラフィック要素、及び光学膜を含め、パッシブ及びアクティブ光学要素及び電子光学要素の一般構成を備え得る。
幾つかの実施形態では、パラメトリックディスプレイは、マルチビューディスプレイを備え得、マルチビューディスプレイでは、作動信号とディスプレイから発せられる空間角度強度分布との間のマッピングは、非線形である(例えば、パラメータは、空間角度強度分布の基底展開での基底係数として容易に解釈可能ではない)。
幾つかの実施形態では、パッシブディスプレイは、作動信号が様々な光学特性、例えば、プリント透明媒体の場合では透光性を指定するパッシブ固定光学要素の構成を指し得る。パッシブディスプレイは、アクティブ(エネルギー消費)バックライト又はパッシブバックライトを含み得る。
幾つかの実施形態では、乗法層は、乗法効果を有する光学要素を含み得、乗法効果では、強度は、関連する作動信号の何らかの一般非線形関数で乗算される。例えば、非線形関数は、ガンマ曲線又は他の知覚強度曲線を組み込み得る。
幾つかの実施形態では、変調層は、光学特性が制御されるアクティブ又はパッシブ光学要素を備え得る。
幾つかの実施形態では、バックライトは、表示デバイスの1つ又は複数の透過性構成要素に照明を提供し得る。透過性構成要素は、閲覧者から光学的に遠くにあり得るバックライトと比較して、光学的に閲覧者のより近くにあり得る。
幾つかの実施形態では、「強度」は、強度、エネルギー、又は電力の任意の測定値又はこれに関連する任意の測定値を指し得る。例えば、光の「強度」は、以下の任意の測定値を含む:放射照度、スペクトル放射照度、放射エネルギー、放射束、スペクトルパワー、放射強度、スペクトル強度、放射輝度、スペクトル放射輝度、放射放出度、放射発散度、スペクトル放射放出度、スペクトル放射発散度、ラジオシティ、放射露光量、及び放射エネルギー密度。
本明細書に記載の技術の態様は、以下の構成を有し得る。
(1)2つ以上の変調層を備える最適化ベースマルチビュー表示システム。
(2)2つ以上の変調層を備えるパラメトリックマルチビュー表示システム。
(3)閲覧者位置は、最適化問題の特定に利用される、(1)に記載のシステム。
(4)周辺光強度は、前記最適化問題の特定に利用される、(1)に記載のシステム。
(5)周辺光方向は、前記最適化問題の特定に利用される、(1)に記載のシステム。
(6)閲覧者数は、最適化問題の特定に利用される、(1)に記載のシステム。
(7)ディスプレイに表示されるコンテンツが、最適化問題の特定に利用される、(1)に記載のシステム。
(8)1人又は複数の閲覧者の視覚系の不具合は、最適化問題の特定に利用される、(1)に記載のシステム。
(9)閲覧者の眼間間隔は、最適化問題の特定に利用される、(1)に記載のシステム。
(10)ディスプレイはデバイスに統合され、上記デバイスの消費電力要件が、最適化問題の特定に利用される、(1)に記載のシステム。
(11)ディスプレイはデバイスに統合され、1人又は複数の閲覧者に対するデバイスの向きが、最適化問題の特定に利用される、(1)に記載のシステム。
(12)閲覧者位置は、パラメトリックマッピングの特定に利用される、(2)に記載のシステム。
(13)2つ以上の変調層を備える最適化ベースマルチビュー表示システムであって、層上の変調パターンの空間サンプリングレート、すなわち、空間サンプリング密度は、少なくとも1/1000だけ異なる、最適化ベースマルチビュー表示システム。
(14)層の空間サンプリングレートは、閲覧者により観測されるモアレ干渉の周波数を調整するように選択される、(13)に記載のシステム。
(15)層の空間サンプリングレートは、ディスプレイのコンテンツをレンダリングする計算コストを低減するように選択される、(13)に記載のシステム。
(16)各変調層の画像要素は、非順次的に更新される、(1)に記載のシステム。
(17)各変調層の画像要素の更新順序は、最適化問題の部分結果又は最終結果である、(16)に記載のシステム。
(18)ディスプレイの更新率は、表示されるコンテンツの時空複雑性に従って調整される、(1)に記載のシステム。
(19)表示されるマルチビュー画像は、人間の閲覧者により、ディスプレイの前、ディスプレイの背後、又は両方の領域での深度範囲にわたり広がる1つ又は複数の仮想物体を表すものとして解釈され、変調層は、最大深度広がり(すなわち、ディスプレイに示される1つ又は複数の仮想物体の達成可能な最大前後シーン深度)の30%〜40%の距離において深度的に離間される、(1)に記載のシステム。
(20)表示されるマルチビュー画像は、人間の閲覧者により、ディスプレイの前、ディスプレイの背後、又は両方の領域での深度範囲にわたり広がる1つ又は複数の仮想物体を表すものとして解釈され、変調層は、最大深度広がり、すなわち、ディスプレイに示される1つ又は複数の仮想物体の達成可能な最大前後シーン深度の30%未満の距離において深度的に離間される、(1)に記載のシステム。
(21)表示されるマルチビュー画像は、人間の閲覧者により、ディスプレイの前、ディスプレイの背後、又は両方の領域での深度範囲にわたり広がる1つ又は複数の仮想物体を表すものとして解釈され、最適化問題は、作動信号の生成に人間の視覚系の時間的帯域制限を利用し、変調層は、最大深度広がり、すなわち、ディスプレイに示される1つ又は複数の仮想物体の達成可能な最大前後シーン深度の20%〜40%の距離において深度的に離間される、(1)に記載のシステム。
(22)表示されるマルチビュー画像は、人間の閲覧者により、ディスプレイの前、ディスプレイの背後、又は両方の領域での深度範囲にわたり広がる1つ又は複数の仮想物体を表すものとして解釈され、最適化問題は、作動信号の生成に人間の視覚系の時間的帯域制限を利用し、変調層は、最大深度広がり、すなわち、ディスプレイに示される1つ又は複数の仮想物体の達成可能な最大前後シーン深度の30%未満の距離において深度的に離間される、(1)に記載のシステム。
(23)変調層は、6mm未満の距離において深度的に離間される、(1)に記載のシステム。
(24)最適化問題は、作動信号の生成に当たり、帯域制限知覚モデル、例えば、人間視覚系の空間帯域制限を利用する、(23)に記載のシステム。
(25)高解像度のテキスト及びグラフィックスを表示するために、最適化されたディスプレイに表示される視覚的シーンでの1つ又は複数の好ましい深度があり、物理的表示層のうちの1つ又は複数は、上記好ましい深度のうちの1つ又は複数に配置される、(1)に記載のシステム。
(26)カラー画像は、カラーフィルタアレイを変調層の変調要素に取り付けることにより示され、ディスプレイのカラーチャネルはまとめて最適化される、(1)に記載のシステム。
(27)カラーフィルタアレイでのカラーフィルタ間のクロストークの特徴付けは、最適化アルゴリズムで利用される、(26)に記載のシステム。
(28)単層ディスプレイと比較して、表示画像においてより広い色域が得られる、(26)に記載のシステム。
(29)カラーフィルタアレイで使用されるカラーフィルタは、変調層間で同一である、(26)に記載のシステム。
(30)多層ディスプレイの各層のカラーフィルタアレイで使用されるカラーフィルタは、70nm以上の半値全幅応答を有する、(26)に記載のシステム。
(31)多層ディスプレイの各層のカラーフィルタアレイで使用されるカラーフィルタは、100nm以上の半値全幅応答を有する、(26)に記載のシステム。
(32)カラー画像は、カラーフィルタアレイを1つのみの変調層の変調要素に取り付けることにより示される、(1)に記載のシステム。
(33)示される画像は、表示層を構成する変調器と同じサンプリングレートでサンプリングされるルミナンスチャネル及び上記変調器のレートよりも低いレートでサブサンプリングされるクロミナンスチャネルに分解される、(32)に記載のシステム。
(34)表示層間の反射光路は、作動信号を生成する最適化問題においてモデリングされる、(1)に記載のシステム。
(35)表示されるマルチビュー画像は、人間の閲覧者により、ディスプレイの前、ディスプレイの背後、又は両方の領域での深度範囲にわたり広がる1つ又は複数の仮想物体を表すものとして解釈され、層間の反射光路は、層間の間隔の少なくとも1.5倍の距離に上記深度範囲を拡張するのに利用される、(34)に記載のシステム。
(36)3つ以上の変調層を備える最適化ベースマルチビュー表示システムであって、拡散器が表示層間に配置され、上記拡散器は、光学ブレの程度を決める重みを有し、上記拡散器重みは、光学ブレの程度が、観測されるモアレ干渉を低減するように選択される、最適化ベースマルチビュー表示システム。
(37)最適化結果は、二進値(完全不透明又は完全透明)に制約される、(1)に記載のシステム。
(38)変調層はLCDパネルから作られ、LCDパネルはバイナリPiセルである、(37)に記載のシステム。
(39)変調層はLCDパネルから作られ、LCDパネルはバイナリ強誘電性液晶アレイである、(37)に記載のシステム。
(40)変調層はMEMSシャッタデバイスから作られる、(37)に記載のシステム。
(41)変調層は、光学要素が付随するMEMSミラーデバイスから作られる、(37)に記載のシステム。
(42)変調層の変調要素は、8ビットよりも細かい精度(低ビット深度)を有し、最適化問題への最終解又は中間解は、表示デバイスの精度に量子化される、(1)に記載のシステム。
(43)変調層の変調要素は、8ビットよりも細かい精度(低ビット深度)を有し、少なくとも1つそのような低ビット深度変調層はLCDパネルである、(42)に記載のシステム。
(44)変調層の少なくとも1つのコントラストは、1:100未満である、(1)に記載のシステム。
(45)1:100未満のコントラストを有する層は、LCDから作られる、(44)に記載のシステム。
(46)少なくとも1つの層は、発光ダイオードのアレイを備え、少なくとも1つの層は、光減衰変調器を備え、発光ダイオードのアレイを備える上記層は、閲覧者の視点から、光減衰変調器を備える上記層のうちの少なくとも1つの背後に配置される、(1)に記載のシステム。
(47)変調層の少なくとも1つは、パッシブパターン化光減衰材料を含む、(1)に記載のシステム。
(48)上記パッシブ材料は、インクがパターン化された透明プラスチックシートを含む、(47)に記載のシステム。
(49)インクはインクジェトプリンタにより付着する、(48)に記載のシステム。
(50)上記パッシブ材料は、例えば、レーザプリンタ又は他の静電プリント方法からトナーによりパターン化された透明プラスチックシートを含む、(47)に記載のシステム。
(51)上記パッシブ材料は、インクがパターン化されたガラスシートを含む、(47)に記載のシステム。
(52)上記パッシブ材料は、露光フィルム、例えばフォトマスクを含む、(47)に記載のシステム。
(53)上記パッシブ材料は、発色プロセスを使用してパターン化されている、(47)に記載のシステム。
(54)変調層のうちの少なくとも1つは、パッシブ機械加工層を含む、(1)に記載のシステム。
(55)機械加工層は木から作られる、(54)に記載のシステム。
(56)機械加工層は金属から作られる、(54)に記載のシステム。
(57)機械加工層は不透明プラスチックから作られる、(54)に記載のシステム。
(58)変調層間の間隔は5mm未満である、(47)に記載のシステム。
(59)変調層間の間隔は、変調層の最小特徴サイズの幅の60倍未満である、(47)に記載のシステム。
(60)少なくとも1つの変調層及び少なくとも1つの反射層を備える最適化ベースマルチビュー表示システム。
(61)入射光源の位置は、最適化に利用され、閲覧者の位置は、最適化に利用される、(60)に記載のシステム。
(62)反射層は拡散ローブを有する、(61)に記載のシステム。
(63)反射層は変調層でもある、(60)に記載のシステム。
(64)反射層は電子インク又は電子ペーパーディスプレイを構成する、(63)に記載のシステム。
(65)反射層は透過性でもある、(61)に記載のシステム。
(66)反射透し層は、半透過性LCDを構成する、(65)に記載のシステム。
(67)ディスプレイはバックライトユニットにより照明され、バックライトユニットは、ディスプレイの予期される閲覧位置を含む角度領域にわたり上記バックライトユニットにより発せられる全光の90%超を発する、(1)に記載のシステム。
(68)システムは、車両内に3Dダッシュディスプレイを提供する、(1)に記載のシステム。
(69)システムは、車両内に3D機器クラスタを提供する、(1)に記載のシステム。
(70)システムは、車両内に3D制御面を提供する、(1)に記載のシステム。
(71)システムは、スマートフォンに3Dユーザインターフェースを提供する、(1)に記載のシステム。
(72)システムは、タブレットコンピュータに3Dユーザインターフェースを提供する、(1)に記載のシステム。
(73)システムは、ラップトップコンピュータに3Dユーザインターフェースを提供する、(1)に記載のシステム。
(74)システムは、デスクトップコンピュータに3Dユーザインターフェースを提供する、(1)に記載のシステム。
(75)システムは、ワークステーションコンピュータに3Dユーザインターフェースを提供する、(1)に記載のシステム。
(76)システムは、CADワークステーションに3D視覚化を提供する、(1)に記載のシステム。
(77)システムは、建築モデルの3Dビューを提供する、(1)に記載のシステム。
(78)システムは、立体映像コンテンツを見るための3D画面を提供する、(1)に記載のシステム。
(79)システムは、マルチビューテレビジョン又は他のマルチビュービデオコンテンツを見るための3D画面を提供する、(1)に記載のシステム。
(80)ディスプレイはプライベートホームにある、(79)に記載のシステム。
(81)ディスプレイは映画シアターにある、(79)に記載のシステム。
(82)システムは3Dゲーミング経験を提供する、(1)に記載のシステム。
(83)3Dゲーミング経験は、モバイルデバイス上の経験である、(82)に記載のシステム。
(84)3Dゲーミング経験はプライベートホームでの経験である、(82)に記載のシステム。
(85)3Dゲーミング経験はデスクトップコンピュータ上の経験である、(82)に記載のシステム。
(86)3Dゲーミング経験は、コンソールゲーミングシステム上の経験である、(82)に記載のシステム。
(87)3Dゲーミング経験は、公共アーケードでの経験である、(82)に記載のシステム。
(88)システムは、医療撮像データの3Dビューを提供する、(1)に記載のシステム。
(89)システムは、ボリュメトリック医療スキャンの3Dビューを提供する、(1)に記載のシステム。
(90)システムは、3Dビュー医療チャートデータ又は患者バイタルデータを提供する、(1)に記載のシステム。
(91)システムは、地震イメージングデータの3Dビューを提供する、(1)に記載のシステム。
(92)システムは、顕微鏡的構造の3Dビューを提供する、(1)に記載のシステム。
(93)システムは、大きなデータセットのトレンドの3Dビューを提供する、(1)に記載のシステム。
(94)システムは、金融データの3Dビューを提供する、(1)に記載のシステム。
(95)システムは、芸術作品の3D媒体を提供する、(1)に記載のシステム。
(96)システムは、3D広告を提供する、(1)に記載のシステム。
(97)システムは3Dアナウンスを提供する、(1)に記載のシステム。
(98)システムは、遠隔車両オペレーションの3D視覚化を提供する、(1)に記載のシステム。
(99)車両は航空機である、(98)に記載のシステム。
(100)車両は潜水可能である、(98)に記載のシステム。
(101)車両は陸上を移動する、(98)に記載のシステム。
(102)車両は宇宙空間で動作する、(98)に記載のシステム。
(103)車両は惑星外で機能する、(98)に記載のシステム。
(104)システムは、自律車両の車隊を制御する3D視覚化を提供する、(1)に記載のシステム。
(105)システムは3Dテレビ会議を提供する、(1)に記載のシステム。
(106)システムは3Dテレプレゼンスを提供する、(1)に記載のシステム。
(107)システムは3Dテレオペレーションを提供する、(1)に記載のシステム。
(108)システムは、表示灯として機能する3Dグラフィック又はテキストを提供する、(47)に記載のシステム。
(109)システムは、電子システムの制御パネルでのエンブレムとして機能する3Dグラフィック又はテキストを提供する、(47)に記載のシステム。
(110)システムは、スイッチ、ボタン、容量性タッチボタン、つまみ、スライド制御機構、光学近接性センサ、又は他の物理的制御要素若しくは表面のラベル又はそれ(ら)上のラベルとして機能する3Dグラフィック又はテキストを提供する、(47)に記載のシステム。
(111)システムは、車両の外部灯、例えば、ブレーキ灯、尾灯、又は他の外部照明表面に重ねられる3Dグラフィック又はテキストを提供する、(47)に記載のシステム。
(112)システムは3D広告を提供する、(47)に記載のシステム。
(113)システムは3Dアナウンスを提供する、(47)に記載のシステム。
(114)システム内の層は、ガラス、例えば窓に接着される、(47)に記載のシステム。
(115)表示されたマルチビュー画像は、1つ又は複数の仮想物体を表すものとして人間の閲覧者により解釈され、上記仮想物体は、人間の閲覧者により知覚される物理世界での実際の物体と共存するように見え、仮想物体は3D形状を有するように見える、(1)に記載のシステム。
(116)システムから発せられる光は、半反射画面を通して閲覧者により見られる、(115)に記載のシステム。
(117)上記半反射画面は、車のウィンドシールドである、(116)に記載のシステム。
(118)上記半反射画面は、航空機のコックピットである、(116)に記載のシステム。
(119)上記半反射画面は、建物又は構造物の窓である、(116)に記載のシステム。
(120)変調層から発せられる光は、レンズを透過する、(116)に記載のシステム。
(121)変調層から発せられる光は、反射屈折系を透過する、(116)に記載のシステム。
(122)変調層から発せられる光は、湾曲ミラー系を透過する、(116)に記載のシステム。
(123)閲覧者位置は、パラメトリックマッピングの特定に利用される、(2)に記載のシステム。
(124)周辺光強度は、パラメトリックマッピングの特定に利用される、(2)に記載のシステム。
(125)周辺光方向は、パラメトリックマッピングの特定に利用される、(2)に記載のシステム。
(126)閲覧者数は、パラメトリックマッピングの特定に利用される、(2)に記載のシステム。
(127)ディスプレイに示されるコンテンツは、パラメトリックマッピングの特定に利用される、(2)に記載のシステム。
(128)1人又は複数の閲覧者の視覚系の不具合は、パラメトリックマッピングの特定に利用される、(2)に記載のシステム。
(129)閲覧者の眼間間隔は、パラメトリックマッピングの特定に利用される、(2)に記載のシステム。
(130)閲覧者位置は、パラメトリックマッピングの特定に利用される、(2)に記載のシステム。
(131)2つ以上の変調層を備えるパラメトリックマルチビュー表示システムであって、層上の変調パターンの空間サンプリングレート、すなわち、空間サンプリング密度は、少なくとも1/1000だけ異なる、パラメトリックマルチビュー表示システム。
(132)層の空間サンプリングレートは、閲覧者により観測されるモアレ干渉の周波数を調整するように選択される、(131)に記載のシステム。
(133)層の空間サンプリングレートは、ディスプレイのコンテンツをレンダリングする計算コストを低減するように選択される、(131)に記載のシステム。
(134)各変調層の画像要素は、非順次的に更新される、(2)に記載のシステム。
(135)各変調層の画像要素の更新順序は、最適化問題の部分結果又は最終結果である、(134)に記載のシステム。
(136)ディスプレイの更新率は、表示されるコンテンツの時空複雑性に従って調整される、(2)に記載のシステム。
(137)表示されるマルチビュー画像は、人間の閲覧者により、ディスプレイの前、ディスプレイの背後、又は両方の領域での深度範囲にわたり広がる1つ又は複数の仮想物体を表すものとして解釈され、変調層は、最大深度広がり、すなわち、ディスプレイに示される1つ又は複数の仮想物体の達成可能な最大前後シーン深度の30%〜40%の距離において深度的に離間される、(2)に記載のシステム。
(138)表示されるマルチビュー画像は、人間の閲覧者により、ディスプレイの前、ディスプレイの背後、又は両方の領域での深度範囲にわたり広がる1つ又は複数の仮想物体を表すものとして解釈され、変調層は、最大深度広がり、すなわち、ディスプレイに示される1つ又は複数の仮想物体の達成可能な最大前後シーン深度の30%未満の距離において深度的に離間される、(2)に記載のシステム。
(139)表示されるマルチビュー画像は、人間の閲覧者により、ディスプレイの前、ディスプレイの背後、又は両方の領域での深度範囲にわたり広がる1つ又は複数の仮想物体を表すものとして解釈され、最適化問題は、作動信号の生成に人間の視覚系の時間的帯域制限を利用し、変調層は、最大深度広がり、すなわち、ディスプレイに示される1つ又は複数の仮想物体の達成可能な最大前後シーン深度の20%〜40%の距離において深度的に離間される、(2)に記載のシステム。
(140)変調層は、6mm未満の距離において深度的に離間される、(2)に記載のシステム。
(141)最適化問題は、作動信号の生成に当たり、帯域制限知覚モデル、例えば、人間視覚系の空間帯域制限を利用する、(140)に記載のシステム。
(142)高解像度のテキスト及びグラフィックスを表示するために、最適化されたディスプレイに表示される視覚的シーンでの1つ又は複数の好ましい深度があり、物理的表示層のうちの1つ又は複数は、上記好ましい深度のうちの1つ又は複数に配置される、(2)に記載のシステム。
(143)カラー画像は、カラーフィルタアレイを変調層の変調要素に取り付けることにより示され、ディスプレイのカラーチャネルを表すパラメータは、集合的に見なされる、(2)に記載のシステム。
(144)単層ディスプレイと比較して、表示画像においてより広い色域が得られる、(143)に記載のシステム。
(145)カラーフィルタアレイで使用されるカラーフィルタは、変調層間で同一である、(143)に記載のシステム。
(146)多層ディスプレイの各層のカラーフィルタアレイで使用されるカラーフィルタは、70nm以上の半値全幅応答を有する、(143)に記載のシステム。
(147)多層ディスプレイの各層のカラーフィルタアレイで使用されるカラーフィルタは、100nm以上の半値全幅応答を有する、(143)に記載のシステム。
(148)カラー画像は、カラーフィルタアレイを1つのみの変調層の変調要素に取り付けることにより示される、(2)に記載のシステム。
(149)示される画像は、表示層を構成する変調器と同じサンプリングレートでサンプリングされるルミナンスチャネル及び上記変調器のレートよりも低いレートでサブサンプリングされるクロミナンスチャネルに分解される、(148)に記載のシステム。
(150)表示層間の反射光路は、ディスプレイのパラメータ空間に含まれる、(2)に記載のシステム。
(151)表示されるマルチビュー画像は、人間の閲覧者により、ディスプレイの前、ディスプレイの背後、又は両方の領域での深度範囲にわたり広がる1つ又は複数の仮想物体を表すものとして解釈され、層間の反射光路は、層間の間隔の少なくとも1.5倍の距離に上記深度範囲を拡張するのに利用される、(150)に記載のシステム。
(152)3つ以上の変調層を備えるパラメトリックマルチビュー表示システムであって、拡散器が表示層間に配置され、上記拡散器は、光学ブレの程度を決める重みを有し、上記拡散器重みは、光学ブレの程度が、観測されるモアレ干渉を低減するように選択される、最適化ベースマルチビュー表示システム。
(153)最適化結果は、二進値(完全不透明又は完全透明)をとるように制約される、(2)に記載のシステム。
(154)変調層はLCDパネルから作られ、LCDパネルはバイナリPiセルである、(153)に記載のシステム。
(155)変調層はLCDパネルから作られ、LCDパネルはバイナリ強誘電性液晶アレイである、(153)に記載のシステム。
(156)変調層はMEMSシャッタデバイスから作られる、(153)に記載のシステム。
(157)変調層は、光学要素が付随するMEMSミラーデバイスから作られる、(153)に記載のシステム。
(158)変調層の変調要素は、8ビットよりも細かい精度(低ビット深度)を有し、パラメータ空間は、表示デバイスの精度に量子化される、(2)に記載のシステム。
(159)変調層の変調要素は、8ビットよりも細かい精度(低ビット深度)を有し、少なくとも1つそのような低ビット深度変調層はLCDパネルである、(158)に記載のシステム。
(160)変調層の少なくとも1つのコントラストは、1:100未満である、(2)に記載のシステム。
(161)1:100未満のコントラストを有する層は、LCDから作られる、(160)に記載のシステム。
(162)少なくとも1つの層は、発光ダイオードのアレイを備え、少なくとも1つの層は、光減衰変調器を備え、発光ダイオードのアレイを備える上記層は、閲覧者の視点から、光減衰変調器を備える上記層のうちの少なくとも1つの背後に配置される、(2)に記載のシステム。
(163)変調層の少なくとも1つは、パッシブパターン化光減衰材料を含む、(2)に記載のシステム。
(164)上記パッシブ材料は、インクがパターン化された透明プラスチックシートを含む、(163)に記載のシステム。
(165)インクはインクジェトプリンタにより付着する、(164)に記載のシステム。
(166)上記パッシブ材料は、例えば、レーザプリンタ又は他の静電プリント方法からトナーによりパターン化された透明プラスチックシートを含む、(163)に記載のシステム。
(167)上記パッシブ材料は、インクがパターン化されたガラスシートを含む、(163)に記載のシステム。
(168)上記パッシブ材料は、露光フィルム、例えばフォトマスクを含む、(163)に記載のシステム。
(169)上記パッシブ材料は、発色プロセスを使用してパターン化されている、(163)に記載のシステム。
(170)変調層のうちの少なくとも1つは、パッシブ機械加工層を含む、(2)に記載のシステム。
(171)機械加工層は木から作られる、(170)に記載のシステム。
(172)機械加工層は金属から作られる、(170)に記載のシステム。
(173)機械加工層は不透明プラスチックから作られる、(170)に記載のシステム。
(174)変調層間の間隔は5mm未満である、(165)に記載のシステム。
(175)変調層間の間隔は、変調層の最小特徴サイズの幅の60倍未満である、(165)に記載のシステム。
(176)少なくとも1つの変調層及び少なくとも1つの反射層を備えるパラメトリックベースマルチビュー表示システム。
(177)入射光源の位置は、システムにより既知であり、閲覧者の位置は、システムにより既知である、(176)に記載のシステム。
(178)反射層は拡散ローブを有する、(177)に記載のシステム。
(179)反射層は変調層でもある、(177)に記載のシステム。
(180)反射層は電子インク又は電子ペーパーディスプレイを構成する、(177)に記載のシステム。
(181)反射層は透過性でもある、(177)に記載のシステム。
(182)反射透し層は、半透過性LCDを構成する、(181)に記載のシステム。
(183)ディスプレイはバックライトユニットにより照明され、バックライトユニットは、ディスプレイの予期される閲覧位置を含む角度領域にわたり上記バックライトユニットにより発せられる全光の90%超を発する、(2)に記載のシステム。
(184)システムは、車両内に3Dダッシュディスプレイを提供する、(2)に記載のシステム。
(185)システムは、車両内に3D機器クラスタを提供する、(2)に記載のシステム。
(186)システムは、車両内に3D制御面を提供する、(2)に記載のシステム。
(187)システムは、スマートフォンに3Dユーザインターフェースを提供する、(2)に記載のシステム。
(188)システムは、タブレットコンピュータに3Dユーザインターフェースを提供する、(2)に記載のシステム。
(189)システムは、ラップトップコンピュータに3Dユーザインターフェースを提供する、(2)に記載のシステム。
(190)システムは、デスクトップコンピュータに3Dユーザインターフェースを提供する、(2)に記載のシステム。
(191)システムは、ワークステーションコンピュータに3Dユーザインターフェースを提供する、(2)に記載のシステム。
(192)システムは、CADワークステーションに3D視覚化を提供する、(2)に記載のシステム。
(193)システムは、建築モデルの3Dビューを提供する、(2)に記載のシステム。
(194)システムは、立体映像コンテンツを見るための3D画面を提供する、(2)に記載のシステム。
(195)システムは、マルチビューテレビジョン又は他のマルチビュービデオコンテンツを見るための3D画面を提供する、(2)に記載のシステム。
(196)ディスプレイはプライベートホームにある、(195)に記載のシステム。
(197)ディスプレイは映画シアターにある、(195)に記載のシステム。
(198)システムは3Dゲーミング経験を提供する、(2)に記載のシステム。
(199)3Dゲーミング経験は、モバイルデバイス上の経験である、(198)に記載のシステム。
(200)3Dゲーミング経験はプライベートホームでの経験である、(198)に記載のシステム。
(201)3Dゲーミング経験はデスクトップコンピュータ上の経験である、(198)に記載のシステム。
(202)3Dゲーミング経験は、コンソールゲーミングシステム上の経験である、(198)に記載のシステム。
(203)3Dゲーミング経験は、公共アーケードでの経験である、(198)に記載のシステム。
(204)システムは、医療撮像データの3Dビューを提供する、(2)に記載のシステム。
(205)システムは、ボリュメトリック医療スキャンの3Dビューを提供する、(2)に記載のシステム。
(206)システムは、3Dビュー医療チャートデータ又は患者バイタルデータを提供する、(2)に記載のシステム。
(207)システムは、地震イメージングデータの3Dビューを提供する、(2)に記載のシステム。
(208)システムは、顕微鏡的構造の3Dビューを提供する、(2)に記載のシステム。
(209)システムは、大きなデータセットのトレンドの3Dビューを提供する、(2)に記載のシステム。
(210)システムは、金融データの3Dビューを提供する、(2)に記載のシステム。
(211)システムは、芸術作品の3D媒体を提供する、(2)に記載のシステム。
(212)システムは、3D広告を提供する、(2)に記載のシステム。
(213)システムは3Dアナウンスを提供する、(2)に記載のシステム。
(214)システムは、遠隔車両オペレーションの3D視覚化を提供する、(2)に記載のシステム。
(215)車両は航空機である、(214)に記載のシステム。
(216)車両は潜水可能である、(214)に記載のシステム。
(217)車両は陸上を移動する、(214)に記載のシステム。
(218)車両は宇宙空間で動作する、(214)に記載のシステム。
(219)車両は惑星外で機能する、(214)に記載のシステム。
(220)システムは、自律車両の車隊を制御する3D視覚化を提供する、(2)に記載のシステム。
(221)システムは3Dテレビ会議を提供する、(2)に記載のシステム。
(222)システムは3Dテレプレゼンスを提供する、(2)に記載のシステム。
(223)システムは3Dテレオペレーションを提供する、(2)に記載のシステム。
(224)ステムは、表示灯として機能する3Dグラフィック又はテキストを提供する、(163)に記載のシステム。
(225)システムは、電子システムの制御パネルでのエンブレムとして機能する3Dグラフィック又はテキストを提供する、(163)に記載のシステム。
(226)システムは、スイッチ、ボタン、容量性タッチボタン、つまみ、スライド制御機構、光学近接性センサ、又は他の物理的制御要素若しくは表面のラベル又はそれ(ら)上のラベルとして機能する3Dグラフィック又はテキストを提供する、(163)に記載のシステム。
(227)システムは、車両の外部灯、例えば、ブレーキ灯、尾灯、又は他の外部照明表面に重ねられる3Dグラフィック又はテキストを提供する、(163)に記載のシステム。
(228)システムは3D広告を提供する、(163)に記載のシステム。
(229)システムは3Dアナウンスを提供する、(163)に記載のシステム。
(230)システム内の層は、ガラス、例えば窓に接着される、(163)に記載のシステム。
(231)表示されたマルチビュー画像は、1つ又は複数の仮想物体を表すものとして人間の閲覧者により解釈され、上記仮想物体は、人間の閲覧者により知覚される物理世界での実際の物体と共存するように見え、仮想物体は3D形状を有するように見える、(2)に記載のシステム。
(232)システムから発せられる光は、半反射画面を通して閲覧者により見られる、(231)に記載のシステム。
(233)上記半反射画面は、車のウィンドシールドである、(231)に記載のシステム。
(234)上記半反射画面は、航空機のコックピットである、(231)に記載のシステム。
(235)上記半反射画面は、建物又は構造物の窓である、(231)に記載のシステム。
(236)変調層から発せられる光は、レンズを透過する、(231)に記載のシステム。
(237)変調層から発せられる光は、反射屈折系を透過する、(231)に記載のシステム。
(238)変調層から発せられる光は、湾曲ミラー系を透過する、(231)に記載のシステム。
(239)アクティブ最適化ライトフィールドディスプレイで使用される作動信号を最適化するシステムであって、帯域制限知覚モデルが最適化の実行に利用される、システム。
(240)アクティブ最適化ライトフィールドディスプレイで使用される作動信号を最適化するシステムであって、帯域制限知覚モデルが最適化の実行に利用され、関連する光学スタックは、それぞれが4つ以上の個々に選択可能なピクセルを含む2つ以上のアクティブ乗法層を含む、システム。
(241)アクティブ最適化ライトフィールドディスプレイで使用される作動信号を最適化するシステムであって、帯域制限知覚モデルが最適化の実行に利用され、関連する光学スタックは、それぞれが4つ以上の個々に選択可能なピクセル又は予め構成されたパターンを含む2つ以上のアクティブ乗法層を含む、システム。
(242)パッシブ最適化ライトフィールドディスプレイで使用される作動信号を最適化するシステムであって、帯域制限知覚モデルが最適化の実行に利用される、システム。
(243)三次元プリンタでの感光性樹脂の硬化に使用されるライトフィールドエミッタで使用される作動信号を最適化するシステムであって、材料の帯域制限モデルが利用される、システム。
(244)二次元写真媒体の露光に使用されるライトフィールドエミッタで使用される作動信号を最適化するシステムであって、媒体の帯域制限モデルが利用される、システム。
(245)生物学的組織媒体の露光に使用されるライトフィールドエミッタで使用される作動信号を最適化するシステムであって、媒体の帯域制限モデルが利用される、システム。
(246)帯域制限知覚モデルが利用され、関連する計算が複数の計算スレッド又はリソースに分散される、作動信号を最適化する方法。
(247)帯域制限知覚モデルが利用され、関連する計算が複数の計算スレッド又はリソースに分散され、各リソースが全体的又は部分的に、光学スタック内の対応する層の作動信号の最適化に寄与する、作動信号を最適化する方法。
(248)帯域制限知覚モデルが利用され、(247)により記載される計算の分散が、複数の計算スレッド又はリソースに更に分散され、更に分散したリソースはそれぞれ全体的又は部分的に、ディスプレイの対応する知覚ビューの最適化に寄与する、作動信号を最適化する方法。
(249)帯域制限知覚モデルが利用され、最適化方法が作動信号を繰り返し更新し、反復の更新は、前の値が動的に生成されるステップで乗算されて、後続する反復での値を取得するルールを利用する、作動信号を最適化する方法。
(250)最適化ライトフィールドディスプレイで使用される最適化作動信号をキャッシュし、合成し、呼び出すシステムであって、作動信号を記憶し、呼び出し、他の作動信号と結合して、ディスプレイを制御している作動信号を取得し得る、システム。
(251)ライトフィールドディスプレイにおいて作動信号を合成する方法であって、漸次的エッジブラー処理が、ソース信号の境界間で実行される、方法。
(252)ライトフィールドディスプレイにおいて作動信号を合成する方法であって、選択されているソース信号の部分は、閲覧者の位置に依存する、方法。
(253)乗法的多層ライトフィールドディスプレイにおいて作動信号を合成する方法であって、ソース信号のうちの1つ又は複数は、ディスプレイの単一の層を変更することにより結合される、方法。
(254)乗法多層ライトフィールドディスプレイにおいて作動信号を合成する方法であって、ソース信号の1つ又は複数は、最適化アルゴリズムを使用して結合される、方法。
(255)モバイルデバイスが較正の実行に利用される、最適化ライトフィールドディスプレイの較正を実行する方法。
(256)モバイルデバイスが、較正の実行に特にモバイルデバイスの統合カメラ、深度カメラ、又はカメラアレイを利用して、較正の実行に利用される、最適化ライトフィールドディスプレイの較正を実行する方法。
(257)モバイルデバイスが、較正の実行に特に加速度計、ジャイロスコープ、コンパス、又は他の関連するセンサを利用して、較正の実行に利用される、最適化ライトフィールドディスプレイの較正を実行する方法。
(258)モバイルデバイスが較正の実行に利用され、較正パターンが、較正中の最適化ライトフィールドディスプレイ表示される、最適化ライトフィールドディスプレイの較正を実行する方法。
(259)モバイルデバイスが較正の実行に利用され、較正パターンが、較正に使用されるモバイルデバイス表示される、最適化ライトフィールドディスプレイの較正を実行する方法。
(260)製造環境において最適化ライトフィールドディスプレイの較正を実行する方法であって、当業者により産業機器の使用に向けて、(255)〜(259)に従って指定された方法を適合した後、任意のそのような方法を使用する、方法。
こうして幾つかの態様、幾つかの実施形態を説明したが、様々な改変、変更、及び改善を当業者が思い付くことを理解されたい。そのような改変、変更、及び改善は、本開示の趣旨及び範囲内にあることが意図される。したがって、上記説明及び図面は単なる例としてのものである。
本開示の上記実施形態は、任意の多くの方法で実施することができる。例えば、実施形態は、ハードウェア、ソフトウェア、又はそれらの組み合わせを使用して実施し得る。ソフトウェアで実施される場合、ソフトウェアコードは、単一のコンピュータで提供されるか、それとも複数のコンピュータに分散されるかに関係なく、任意の適するプロセッサ又はプロセッサの集まりで実行することができる。
また、本明細書に概説される様々な方法又はプロセスは、様々なオペレーティングシステム又はプラットフォームの任意の1つを利用する1つ又は複数のプロセッサで実行可能なソフトウェアとして符号化し得る。さらに、そのようなソフトウェアは、任意の幾つかの適するプログラミング言語及び/又はプログラミング又はスクリプトツールを使用して書くことができ、フレームワーク又は仮想マシンで実行される実行可能機械語コード又は中間コードとしてコンパイルすることもできる。
これに関して、本明細書に開示される概念は、1つ又は複数のコンピュータ又は他のプロセッサで実行されると、上述した本開示の様々な実施形態を実施する方法を実行する1つ又は複数のプログラムが符号化された非一時的コンピュータ可読媒体(又は複数のコンピュータ可読媒体)(例えば、コンピュータメモリ、1つ又は複数のフロッピーディスク、コンパクトディスク、光ディスク、磁気テープ、フラッシュメモリ、フィールドプログラマブルゲートアレイ若しくは他の半導体デバイス内の回路構成、又は他の非一時的有形コンピュータ記憶媒体)として実施し得る。1つ又は複数のコンピュータ可読媒体は可搬性を有することができ、それにより、記憶された1つ又は複数のプログラムを1つ又は複数の異なるコンピュータ又は他のプロセッサにロードして、上述したような本開示の様々な態様を実施することができる。
「プログラム」又は「ソフトウェア」という用語は、本明細書では、上述したような本開示の様々な態様を実施するようにコンピュータ又は他のプロセッサをプログラムするのに利用することができる任意のタイプのコンピュータコード又はコンピュータ実行可能命令セットを指すのに使用される。さらに、この実施形態の一態様により、実行されると、本開示の方法を実行する1つ又は複数のコンピュータプログラムが、単一のコンピュータ又はプロセッサに存在する必要はなく、幾つかの異なるコンピュータ又はプロセッサにモジュール式に分散して、本開示の様々な態様を実施してもよいことを理解されたい。
コンピュータ実行可能命令は、1つ若しくは複数のコンピュータ又は他のデバイスにより実行される、プログラムモジュール等の多くの形態であり得る。一般に、プログラムモジュールは、特定のタスクを実行し、又は特定の抽象データ型を実施するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。プログラムモジュールの機能は、様々な実施形態で望ましいように結合又は分散し得る。
また、データ構造は、任意の適する形態でコンピュータ可読媒体に記憶し得る。説明を簡明にするために、データ構造は、データ構造内の位置を通して関連するフィールドを有するものとして示され得る。そのような関係は、フィールド間の関係を伝達するコンピュータ可読媒体内の位置にフィールドのストレージを割り当てることによっても同様に達成し得る。しかし、任意の適するメカニズムを使用して、ポインタ、タグ、又はデータ要素間の関係を確立する他のメカニズムの使用を通しての確立を含め、データ構造のフィールド内の情報間の関係を確立し得る。
本開示の様々な特徴及び態様は、単独で、2つ以上の任意の組み合わせで、又は上記説明される実施形態で特に考察されない様々な構成で使用し得、したがって、上記説明に記載されるか、又は図面に示される構成要素の詳細及び構成に用途は限定されない。例えば、一実施形態で記載される態様は、他の実施形態で記載される態様と任意の様式で組み合わせ得る。
また、本明細書に開示される概念は、例を提供した方法として実施し得る。方法の一貫として実行される動作は、任意の適する方法で並べ得る。したがって、実施形態は、動作が示される順序とは異なる順序で実行される実施形態を構築することも可能であり、異なる順序は、例示的な実施形態では順次動作として示されるにもかかわらず、幾つかの動作を同時に実行することを含み得る。
クレーム要素を修飾する特許請求の範囲での「第1の」、「第2の」、「第3の」等の序数詞の使用はそれ自体、あるクレーム要素の別のクレーム要素からのいかなる優先、先行、又は順序も含意せず、又は方法の動作が実行される時間順も含意せず、特定の名称を有するあるクレーム要素を同じ名称を有する(序数詞の使用を除き)別の要素から区別し、クレーム要素を区別するための単なるラベルとして使用される。
また、本明細書で使用される語句及び用語は、説明を目的としたものであり、限定として見なされるべきではない。「含む」、「備える」、「有する」、「包含する」、「関わる」、及びそれらの変形の本明細書での使用は、その後に列挙された項目及びそれらの均等物並びに追加の項目を包含することが意図される。
103 ソフトウェア
104 計算デバイス
105 ライトフィールドを指定する情報
106 ブラー変換を指定する情報
107 マルチビューディスプレイのモデルを指定する情報
108a、108b 作動信号
109a 第1の電子光学インターフェース回路
109b 第2の電子光学インターフェース回路
110a、110b ディスプレイインターフェース信号
111 マルチビューディスプレイ
111a 前層
111b 後層
113 計算デバイス
114 ブラー変換を指定する情報
115 ライトフィールドを指定する情報
116 プリントプロセスのモデルを指定する情報
117a、117b 標的パターン
118 プリントシステム
120 ライトフィールドプリント
120a 前層
120b 後層
200 ブロック図
201 マルチビューディスプレイ
201a、201b 層
202 1組の表示ビュー
203 仮想シーン
204 1組の対応するシーンビュー
205 作動信号
208 ブラー変換
212 誤差ビュー
300 最適化問題
504 更新ルールの例
600 最適化問題
701 更新ルール
800 最適化問題
1001 シーンビュー
1002 マッピング
1003 作動信号
1004 表示ビュー
1005 線形マップ
1101 分子項
1102 分母項
1103 情報更新ルール
1201 サブ計算
1202 情報更新ルール
1203 除算
1204 凸結合
1205 サブ計算
1401 マルチビューライトフィールド画像の2つのビュー
1402 NMFを利用する方法の実行からの結果
1403、1404 本明細書に記載の技法を使用して達成される性能
1701 閲覧者 1702 単一ビュー錐体
1703 追跡デバイス
1704 マルチビューディスプレイ
1801 ピンホールディスプレイ
1801a、1801b 変調器
1802、1803、1804 ピクセル
1805 透明ピクセル
1806 仮想物体
2001、2002 光学変調器
2004 閲覧者
2006 光線
2007、2008 光束
2101、2103、2105 光学変調器
2102、2104 光学拡散器
2106 閲覧者
2201 遠隔点光源
2202 閲覧者
2203 透過性光学変調器
2204 正反射反射器
2205 遠隔点光源
2207、2208 透過性変調器
2209 正反射反射器
2210 点光源
2211 面光源
2212 閲覧者
2213 透過性変調器
2214 正反射反射器
2215 遠隔点光源
2216 閲覧者
2217 透過性変調器
2218 正反射性変調器
2219 遠隔点光源
2220 閲覧者位置
2221 透過性変調器
2222 拡散反射器
2223 点光源
2224 閲覧者
2225 透過性変調器
2226 拡散反射器
2312 閲覧者の目
2301 バックライト要素
2302 レンズ
2303a、2303b 光学変調器
2304 レンズ
2305 世界
2306 調整可能光学減衰器
2307 レンズ
2309a、2309b 光学変調器
2310 リレー光学系
2311 レンズ
2312 閲覧者の目
2401 世界
2402 光学結合器
2403a、2403b 変調器
2406 世界
2407a、2407b 変調器
2408 くさび光学系
2409 閲覧者
2501 多層ディスプレイ
2502 モバイルデバイス
2503、2504 較正パターン
2505 カメラ
2506 カメラ
2507 較正パターン
2508 無線通信チャネル
2601 入力
2602 変換ステップ
2604 シーンビュー
2605 ライトフィールド表現
2606 プリント
2607 標的パターン
2608 解像度情報
2609 計算ブロック
2610 補償
2611 補償パターン
2612 統合計算システム
2701 プリント後層
2703 LED
2704 ライトガイド
2705 プリント前層
2706 透明スペーサ
2707 プリント後層
2708 ライト
2709 ライトガイド
2801 現水槽
2802 プリントパターン
2803 ランプ
2804 ライトガイド
2901 前部パターン
2902 透明セパレータ
2903 後部パターン
2904 透明層
2905 エッジライト照明源
2906 ライトガイド
3001 プリントキャリッジ
3002 ガイド構造
3003 インク滴
3004 プリント媒体
3006 プリントベッド
3007 インクヘッド
3008、3009 カメラ
3201、3203 光減衰層
3202 窓表面
3204 太陽
3301、3303 光減衰層
3302 窓表面
3304 太陽
3500 コンピュータ
3501 処理ユニット
3502 メモリ
3505 記憶装置
3506 出力デバイス
3507 入力デバイス
3508 ネットワークインターフェース
3510 ネットワーク

Claims (10)

  1. ライトフィールドプリントを製造する方法であって、前記ライトフィールドプリントは、透明前層及び透明後層を含む少なくとも2つの異なる透明層を備え、前記方法は、
    前記ライトフィールドプリントを使用して表示する内容を取得することであって、前記内容は複数のシーンビューを含む、内容を取得することと、
    プリントプロセス情報を取得することと、
    少なくとも部分的に前記内容及び前記プリントプロセス情報に基づいて、前記透明前層の第1の標的パターン及び前記透明後層の第2の標的パターンを生成することと、
    前記第1の標的パターンに従って、前記透明前層にプリント材料を付着させることにより、前記透明前層に前記第1の標的パターンをプリントすることと、
    前記第2の標的パターンに従って、前記透明後層にプリント材料を付着させることにより、前記透明後層に前記第2の標的パターンをプリントすることと
    を含み、
    前記透明前層は、前記透明後層からある距離で深度的に離間され、
    前記第1の標的パターンおよび前記第2の標的パターンを生成することは、
    少なくとも部分的に前記内容及び前記プリントプロセス情報に基づいて、プリントされる前記透明前層の第1の初期標的パターン及びプリントされる前記透明後層の第2の初期標的パターンを生成することと、
    プリント及び/又は媒体動力学の影響を補償するように前記第1の初期標的パターンを変更して、前記第1の標的パターンを取得することと、
    プリント及び/又は媒体動力学の影響を補償するように前記第2の初期標的パターンを変更して、前記第2の標的パターンを取得することと
    を更に含む、方法。
  2. 少なくとも1つのブラー変換を指定する情報を取得すること
    を更に含み、
    前記第1の標的パターン及び前記第2の標的パターンを生成することは、前記少なくとも1つのブラー変換を指定する情報に更に基づいて実行される、請求項1に記載の方法。
  3. 前記第1の初期標的パターンを変更することは、ドットゲインの影響について前記第1の初期標的パターンを補償することを含む、請求項1または2に記載の方法。
  4. ドットゲインの影響について前記第1の初期標的パターンを補償することは、空間線形フィルタリングを前記第1の初期標的パターンに適用することを含む、請求項3に記載の方法。
  5. 前記第1の初期標的パターンを変更することは、前記透明前層のプリント材料滲み及び/又は最大許容プリント材料濃度の影響について、前記第1の初期標的パターンを補償することを含む、請求項1から4のいずれか一項に記載の方法。
  6. 前記透明前層のプリント材料滲み及び/又は最大許容可能プリント材料濃度の影響について前記第1の初期標的パターンを補償することは、プリント材料が、複数のピクセルの位置において前記透明前層に付着しないように、前記第1の初期標的パターン内の前記複数のピクセルをなくすことを含む、請求項5に記載の方法。
  7. 前記透明前層に材料を付着させることは、インク又はトナーを前記透明前層に付着させることを含む、請求項1から6のいずれか一項に記載の方法。
  8. 前記透明前層及び前記透明後層から前記ライトフィールドプリントを組み立てることを更に含む、請求項1から7のいずれか一項に記載の方法。
  9. 前記組み立てることは、
    前記第2の標的パターンを前記透明後層プリントした後且つ前記第1の標的パターンを前記透明前層にプリントした後、前記透明前層を前記透明後層に配置することと、
    前記透明前層を前記透明後層に配置した後、前記第1の標的パターンを前記透明前層にプリントすることと
    を含む、請求項8に記載の方法。
  10. 0.0025インチ以下のドットピッチで前記第1の標的パターンをプリントすることを含む、請求項1から9のいずれか一項に記載の方法。
JP2018534458A 2015-09-17 2016-09-16 マルチビューディスプレイ並びに関連するシステム及び方法 Active JP6917378B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562219767P 2015-09-17 2015-09-17
US62/219,767 2015-09-17
US201562245620P 2015-10-23 2015-10-23
US62/245,620 2015-10-23
US201662339830P 2016-05-21 2016-05-21
US62/339,830 2016-05-21
PCT/US2016/052166 WO2017049106A1 (en) 2015-09-17 2016-09-16 Multi-view displays and associated systems and methods

Publications (3)

Publication Number Publication Date
JP2018537046A JP2018537046A (ja) 2018-12-13
JP2018537046A5 JP2018537046A5 (ja) 2019-10-24
JP6917378B2 true JP6917378B2 (ja) 2021-08-11

Family

ID=58283637

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018534458A Active JP6917378B2 (ja) 2015-09-17 2016-09-16 マルチビューディスプレイ並びに関連するシステム及び方法

Country Status (6)

Country Link
US (5) US10070118B2 (ja)
EP (1) EP3350649B1 (ja)
JP (1) JP6917378B2 (ja)
KR (1) KR20180084749A (ja)
CA (1) CA3036787A1 (ja)
WO (1) WO2017049106A1 (ja)

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103792606B (zh) * 2014-01-26 2016-02-10 清华大学深圳研究生院 一种全息光栅的曝光方法及曝光光路
US10980494B2 (en) 2014-10-20 2021-04-20 The University Of North Carolina At Chapel Hill Systems and related methods for stationary digital chest tomosynthesis (s-DCT) imaging
JP6917378B2 (ja) 2015-09-17 2021-08-11 ファゾム・オプティクス・インコーポレイテッド マルチビューディスプレイ並びに関連するシステム及び方法
US10492761B2 (en) 2015-10-14 2019-12-03 General Electric Company Utilizing depth from ultrasound volume rendering for 3D printing
US10157500B2 (en) * 2015-10-14 2018-12-18 General Electric Company Utilizing depth from ultrasound volume rendering for 3D printing
WO2017106102A1 (en) 2015-12-14 2017-06-22 Red.Com, Inc. Modular digital camera and cellular phone
US10539708B2 (en) * 2016-02-01 2020-01-21 The University Of North Carolina At Chapel Hill Mobile and free-form x-ray imaging systems and methods
US10835199B2 (en) 2016-02-01 2020-11-17 The University Of North Carolina At Chapel Hill Optical geometry calibration devices, systems, and related methods for three dimensional x-ray imaging
US10531064B2 (en) * 2016-04-15 2020-01-07 Canon Kabushiki Kaisha Shape reconstruction using electronic light diffusing layers (E-Glass)
EP3499897B1 (en) * 2016-08-10 2021-05-19 Panasonic Intellectual Property Corporation of America Camerawork generating method and video processing device
US11425281B1 (en) * 2016-09-07 2022-08-23 Google Llc Color image processing using models of overlapped response spectra for retinal cone cells
KR102564478B1 (ko) * 2016-11-22 2023-08-07 삼성전자주식회사 3d 영상 렌더링 방법 및 장치
US10277842B1 (en) * 2016-11-29 2019-04-30 X Development Llc Dynamic range for depth sensing
US10692232B2 (en) * 2016-12-30 2020-06-23 Canon Kabushiki Kaisha Shape reconstruction of specular and/or diffuse objects using multiple layers of movable sheets
US10296565B2 (en) * 2017-01-18 2019-05-21 International Business Machines Corporation Optimized browser object rendering
US10573056B2 (en) 2017-03-06 2020-02-25 3D Patents, Llc Multi-view processing unit systems and methods
EP3607244B1 (en) 2017-04-04 2023-12-13 LEIA Inc. Multilayer multiview display and method
WO2018191312A1 (en) * 2017-04-11 2018-10-18 Dolby Laboratories Licensing Corporation Layered augmented entertainment experiences
EP3401899B1 (en) * 2017-05-11 2021-09-08 ams International AG Method for controlling a display parameter of a mobile device and computer program product
JP6900065B2 (ja) * 2017-05-12 2021-07-07 国立大学法人大阪大学 模様変動シート及び歩行誘導システム
US10347030B2 (en) * 2017-05-15 2019-07-09 Envisics Ltd Adjusting depth of augmented reality content on a heads up display
EP3416381A1 (en) * 2017-06-12 2018-12-19 Thomson Licensing Method and apparatus for providing information to a user observing a multi view content
CN107086027A (zh) * 2017-06-23 2017-08-22 青岛海信移动通信技术股份有限公司 文字显示方法及装置、移动终端及存储介质
EP3665013B1 (en) 2017-08-09 2021-12-29 Fathom Optics Inc. Manufacturing light field prints
US20190057180A1 (en) * 2017-08-18 2019-02-21 International Business Machines Corporation System and method for design optimization using augmented reality
CN109446435B (zh) * 2017-08-31 2022-06-28 京东方科技集团股份有限公司 信息显示装置、方法、系统及计算机可读存储介质
WO2019066819A1 (en) 2017-09-27 2019-04-04 Leia Inc. MULTI-COLOR STATIC MULTI-VIEW DISPLAY DEVICE AND ASSOCIATED METHOD
CN111164348A (zh) 2017-09-28 2020-05-15 镭亚股份有限公司 采用光学集中的光栅耦合光导、显示系统以及方法
JP7067016B2 (ja) * 2017-10-23 2022-05-16 凸版印刷株式会社 多視点質感シミュレーションシステム及び多視点質感シミュレーション方法
DE102018103262B4 (de) * 2018-02-14 2024-05-29 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum Betreiben einer Beleuchtungsvorrichtung eines Kraftfahrzeugs
CN108765575A (zh) * 2018-02-24 2018-11-06 石化盈科信息技术有限责任公司 一种基于ar的工业设备图鉴展示方法和系统
CN110223644B (zh) * 2018-03-02 2020-08-04 京东方科技集团股份有限公司 显示装置、虚拟现实设备及驱动方法
EP3815032A1 (en) * 2018-06-29 2021-05-05 Diebold Nixdorf Incorporated Autonomous mobile services
US11172190B2 (en) * 2018-07-10 2021-11-09 Google Llc Stereo weaving for head-tracked autostereoscopic displays
US10726751B2 (en) * 2018-08-22 2020-07-28 Lightspace Technologies, SIA Table-top volumetric display apparatus and method of displaying three-dimensional image
JP7023817B2 (ja) * 2018-09-19 2022-02-22 本田技研工業株式会社 表示システム、表示方法、およびプログラム
US20210287461A1 (en) * 2018-09-21 2021-09-16 Honda Motor Co., Ltd. Vehicle inspection system
WO2020072034A1 (en) * 2018-10-01 2020-04-09 Leia Inc. Holographic reality system, multiview display, and method
CA3109903C (en) * 2018-10-01 2022-08-30 Leia Inc. Multiview display and method with offset rows of multibeam emitters and multiview pixels
US10720123B2 (en) * 2018-10-05 2020-07-21 International Business Machines Corporation Self-adjusting curved display screen
US20200128233A1 (en) * 2018-10-17 2020-04-23 Red Technologies, LLC Mobile device
KR102587258B1 (ko) * 2018-11-16 2023-10-11 현대모비스 주식회사 차량의 주행정보 전달 장치 및 방법
US10699673B2 (en) * 2018-11-19 2020-06-30 Facebook Technologies, Llc Apparatus, systems, and methods for local dimming in brightness-controlled environments
WO2020106972A1 (en) * 2018-11-21 2020-05-28 The Board Of Trustees Of The Leland Stanford Junior University Wide-field nanosecond imaging methods using wide-field optical modulators
KR102652943B1 (ko) * 2018-12-03 2024-03-29 삼성전자주식회사 3차원 영상 출력 방법 및 그 방법을 수행하는 전자 장치
US11309082B2 (en) * 2018-12-10 2022-04-19 Groop Internet Platform, Inc. System and method for monitoring engagement
WO2020139758A1 (en) * 2018-12-28 2020-07-02 Magic Leap, Inc. Low motion-to-photon latency architecture for augmented and virtual reality display systems
KR20210139423A (ko) * 2019-04-15 2021-11-22 레이아 인코포레이티드 사선 시차를 갖는 정적 멀티뷰 디스플레이 및 방법
KR20210133322A (ko) * 2019-04-22 2021-11-05 레이아 인코포레이티드 다중 영역 백라이트, 멀티뷰 디스플레이 및 방법
CN110333285B (zh) * 2019-07-04 2021-07-27 大连海洋大学 基于变分模态分解的超声兰姆波缺陷信号识别方法
US20210105451A1 (en) * 2019-12-23 2021-04-08 Intel Corporation Scene construction using object-based immersive media
US11575882B2 (en) 2019-12-27 2023-02-07 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
KR102091838B1 (ko) * 2019-12-30 2020-03-20 주식회사 에프앤디파트너스 포토메트릭 영상과 모아레 영상을 획득하여 3차원 입체 영상을 제공하는 실감형 3차원 입체 영상 정보 획득 장치
WO2021155778A1 (en) * 2020-02-03 2021-08-12 Beijing Bytedance Network Technology Co., Ltd. Cross-component adaptive loop filter
US11474770B2 (en) * 2020-03-26 2022-10-18 Misapplied Sciences, Inc. Multi-view network bridge device
EP4154242A4 (en) * 2020-05-20 2024-03-13 Magic Leap Inc PROGRESSIVE AND CONTINUOUS CALIBRATION IN PIECES WITH CONSISTENT CONTEXT
CN113766324B (zh) * 2020-06-02 2022-11-04 深圳市万普拉斯科技有限公司 视频播放的控制方法、装置、计算机设备和存储介质
CN111951342B (zh) * 2020-07-28 2023-06-06 中煤科工重庆设计研究院(集团)有限公司 一种基于离屏渲染的背面构件剔除方法、系统和存储介质
CN111950053B (zh) * 2020-07-30 2023-05-26 中煤科工重庆设计研究院(集团)有限公司 一种基于Threejs的建筑模型漫游功能的优化方法及相关装置
KR20220023647A (ko) * 2020-08-21 2022-03-02 삼성전자주식회사 적층형 디스플레이 장치 및 이의 영상 제공 방법
JP2022035437A (ja) * 2020-08-21 2022-03-04 株式会社ファルテック 移動体搭載表示装置
JP7484589B2 (ja) 2020-08-31 2024-05-16 株式会社リコー 情報処理装置、方法、プログラムおよび印刷システム
US11145109B1 (en) * 2020-10-05 2021-10-12 Weta Digital Limited Method for editing computer-generated images to maintain alignment between objects specified in frame space and objects specified in scene space
KR20220075475A (ko) * 2020-11-30 2022-06-08 주식회사 홀로랩 고속 디지털 스크린용 홀로그램 제작 방법 및 시스템
US11886625B1 (en) * 2020-12-21 2024-01-30 Apple Inc. Method and device for spatially designating private content
US11303858B1 (en) 2021-04-23 2022-04-12 Avalon Holographics Inc. Direct projection multiplexed light field display
CN113096255A (zh) * 2021-04-26 2021-07-09 本影(上海)网络科技有限公司 一种基于WebGL三维视图同步融合非侵入式集成技术方法
US11913345B2 (en) 2021-07-26 2024-02-27 General Electric Company System and method of using a tool assembly
CN114584747B (zh) * 2022-03-04 2023-10-31 大连海事大学 一种360°环幕无缝投影软矫正方法
WO2023200176A1 (ko) * 2022-04-12 2023-10-19 삼성전자 주식회사 3d 영상을 표시하기 위한 전자 장치 및 전자 장치의 동작 방법
KR102537808B1 (ko) * 2022-11-11 2023-05-31 주식회사 리빌더에이아이 다시점에 관련한 복수의 이미지를 통해 큐브맵을 생성하기 위한 방법, 서버 및 컴퓨터 프로그램

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59124550A (ja) 1982-12-27 1984-07-18 Ono Sokki Co Ltd 加工装置
JPH0747310B2 (ja) 1986-04-04 1995-05-24 株式会社篠原鉄工所 印刷用見当タ−ゲツト
JPH01223473A (ja) * 1988-03-02 1989-09-06 Fuji Photo Film Co Ltd 平版印刷版の不感脂化処理方法
US5004669A (en) * 1988-10-31 1991-04-02 Konica Corporation Light-sensitive silver halide photographic material
EP0451106B1 (de) * 1990-04-06 1994-06-15 GRETAG Aktiengesellschaft Vorrichtung zur Analyse von Druckkontrollfeldern
ATE160572T1 (de) * 1993-03-31 1997-12-15 Sanofi Sa Oligonucleotide mit amidverkettungen die phosphoesterverkettungen einsetzen
US5503952A (en) * 1994-03-22 1996-04-02 Shinto Paint Co., Ltd. Method for manufacture of color filter and liquid crystal display
ES2127624T5 (es) 1995-01-31 2003-06-16 Rowland Inst For Science Metodos de revestimiento y composiciones para la produccion de imagenes de polarizacion esteroscopicas digitalizadas.
US5598058A (en) * 1995-02-09 1997-01-28 Leading Edge Industries, Inc. Multi-color electroluminescent display
US5821028A (en) * 1996-04-12 1998-10-13 Konica Corporation Thermal transfer image receiving material with backcoat
ATE500532T1 (de) 1998-02-20 2011-03-15 Puredepth Ltd Mehrschichtige anzeigevorrichtung und verfahren zur darstellung von bildern auf einer solchen anzeigevorrichtung
US20020163482A1 (en) 1998-04-20 2002-11-07 Alan Sullivan Multi-planar volumetric display system including optical elements made from liquid crystal having polymer stabilized cholesteric textures
JPH11327065A (ja) * 1998-05-19 1999-11-26 Fuji Photo Film Co Ltd 画像記録方法及び感熱記録メディア
US7342721B2 (en) 1999-12-08 2008-03-11 Iz3D Llc Composite dual LCD panel display suitable for three dimensional imaging
US6549308B1 (en) * 2000-01-11 2003-04-15 Zebra Imaging, Inc. Unibiased light field models for rendering and holography
JP2002137530A (ja) * 2000-11-01 2002-05-14 Riso Kagaku Corp 孔版印刷方法及び装置
US9781408B1 (en) 2001-01-23 2017-10-03 Visual Effect Innovations, Llc Faster state transitioning for continuous adjustable 3Deeps filter spectacles using multi-layered variable tint materials
US7262885B2 (en) 2001-06-25 2007-08-28 Xerox Corporation Stochastic halftone screening method
US7417782B2 (en) 2005-02-23 2008-08-26 Pixtronix, Incorporated Methods and apparatus for spatial light modulation
US6863360B2 (en) 2003-08-06 2005-03-08 Eastman Kodak Company Method for adjusting dot-gain for a halftone binary bitmap
EP1728116B1 (en) 2004-03-12 2012-09-19 Koninklijke Philips Electronics N.V. Multiview display device
US7973972B2 (en) * 2005-02-22 2011-07-05 Fuji Xerox Co., Ltd. Halftone dot formation method and apparatus, and image forming apparatus
US7692650B2 (en) * 2005-06-01 2010-04-06 Analogic Corporation Method of and system for 3D display of multi-energy computed tomography images
JP2007098726A (ja) 2005-10-03 2007-04-19 Torai Tec:Kk 印刷物評価装置
US9036015B2 (en) 2005-11-23 2015-05-19 Koninklijke Philips N.V. Rendering views for a multi-view display device
CA2634494C (en) * 2005-12-24 2015-10-27 Joshua D. I. Distler Methods and files for delivering imagery with embedded data
RU2415024C1 (ru) 2006-12-14 2011-03-27 Колгейт-Палмолив Компани Голографическое изображение, проявляющееся на упаковке
US7724866B2 (en) * 2007-06-27 2010-05-25 Analogic Corporation Method of and system for variable pitch computed tomography scanning for baggage screening
TWI372906B (en) * 2008-04-08 2012-09-21 Au Optronics Corp Multi-view liquid crystal display and the driving method thereof
US20100079676A1 (en) * 2008-09-29 2010-04-01 International Business Machines Corporation Providing Multi-User Views
SG172182A1 (en) 2008-09-30 2011-07-28 Panasonic Corp Reproduction device, recording medium, and integrated circuit
US8301062B2 (en) * 2009-03-03 2012-10-30 Eastman Kodak Company Electrophotographically produced barrier images
US10498939B2 (en) * 2009-06-16 2019-12-03 Nri R&D Patent Licensing, Llc Small-profile lensless optical microscopy imaging and tomography instruments and elements for low cost and integrated microscopy
US8654234B2 (en) 2009-07-26 2014-02-18 Massachusetts Institute Of Technology Bi-directional screen
WO2011057835A1 (en) * 2009-11-13 2011-05-19 Eulitha Ag Optimized mask design for fabricating periodic and quasi-periodic patterns
JP5499778B2 (ja) * 2010-03-03 2014-05-21 株式会社ニコン 撮像装置
US8540441B2 (en) 2010-03-24 2013-09-24 Canon Kabushiki Kaisha Printing control apparatus and printing control method
JP2011230413A (ja) 2010-04-28 2011-11-17 Dainippon Printing Co Ltd 色見本表示媒体、色見本対応表示媒体、印刷品質履歴レポート、色差許容範囲決定方法、色調制御装置及び色調制御プログラム
JP2012003121A (ja) * 2010-06-18 2012-01-05 Fujifilm Corp 立体画像印刷物、及びその製造方法
FR2961621B1 (fr) 2010-06-22 2014-09-05 Arjowiggins Security Procede d'authentification et/ou d'identification d'un article de securite
US8524443B2 (en) * 2010-07-07 2013-09-03 Eulitha A.G. Method and apparatus for printing a periodic pattern with a large depth of focus
US20120092634A1 (en) * 2010-10-13 2012-04-19 Solak Harun H Method and apparatus for printing periodic patterns
US9083926B2 (en) * 2010-10-25 2015-07-14 Sony Corporation Multi-display device and method therefore
US9146403B2 (en) 2010-12-01 2015-09-29 Massachusetts Institute Of Technology Content-adaptive parallax barriers for automultiscopic display
US8678534B2 (en) 2010-12-22 2014-03-25 Camtek Ltd. Multiple iteration substrate printing
US9298264B2 (en) * 2011-05-16 2016-03-29 Massachusetts Institute Of Technology Methods and apparatus for actuated 3D surface with gestural interactivity
JP4850983B1 (ja) 2011-06-02 2012-01-11 美濃商事株式会社 装飾表示体
WO2013005074A1 (en) * 2011-07-01 2013-01-10 Nokia Corporation Optical element control
TWI437604B (zh) * 2011-07-15 2014-05-11 Nat Univ Chung Cheng Three - pole type field emission device and its making method
US8542933B2 (en) 2011-09-28 2013-09-24 Pelican Imaging Corporation Systems and methods for decoding light field image files
US8651678B2 (en) 2011-11-29 2014-02-18 Massachusetts Institute Of Technology Polarization fields for dynamic light field display
US8848006B2 (en) 2012-01-25 2014-09-30 Massachusetts Institute Of Technology Tensor displays
JP2013186195A (ja) * 2012-03-06 2013-09-19 Toshiba Tec Corp 画像形成装置、レンズアレイ及びその形成方法
TWI504933B (zh) * 2012-06-13 2015-10-21 Innolux Corp 可切換式二維/三維顯示裝置及其製造方法
US9720245B2 (en) * 2012-11-27 2017-08-01 Disney Enterprises, Inc. Content-adaptive lenticular prints
US20140211451A1 (en) * 2013-01-30 2014-07-31 Shenzhen China Star Optoelectronics Technology Co. Ltd. Display Device, Backlight Module, and Field Emission Light Source Built Therein
US9405124B2 (en) * 2013-04-09 2016-08-02 Massachusetts Institute Of Technology Methods and apparatus for light field projection
CN107315249B (zh) * 2013-11-27 2021-08-17 奇跃公司 虚拟和增强现实系统与方法
US10397545B2 (en) * 2013-12-23 2019-08-27 University Of Deleware 3-D light field camera and photography method
WO2015106352A1 (en) 2014-01-14 2015-07-23 Canadian Bank Note Company, Limited Optically variable printed feature for security documents
US20150294143A1 (en) * 2014-04-10 2015-10-15 GM Global Technology Operations LLC Vision based monitoring system for activity sequency validation
US10529059B2 (en) * 2014-08-11 2020-01-07 The Regents Of The University Of California Vision correcting display with aberration compensation using inverse blurring and a light field display
EP3201824B1 (en) * 2014-10-02 2021-05-05 Touchcode Technologies, LLC Reduced ink coverage of printed electronic designs by alternative fill patterns comprising ray and grid patterns
CN105120257B (zh) * 2015-08-18 2017-12-15 宁波盈芯信息科技有限公司 一种基于结构光编码的垂直深度感知装置
JP6917378B2 (ja) 2015-09-17 2021-08-11 ファゾム・オプティクス・インコーポレイテッド マルチビューディスプレイ並びに関連するシステム及び方法
CN105259664B (zh) 2015-11-13 2018-03-02 苏州苏大维格光电科技股份有限公司 一种光场成像打印装置及具有三维浮动图像的薄膜
CN106494077B (zh) 2016-12-01 2020-06-30 甄欣 光磁双场形成安全图案的系统
EP3665013B1 (en) 2017-08-09 2021-12-29 Fathom Optics Inc. Manufacturing light field prints

Also Published As

Publication number Publication date
US10999572B2 (en) 2021-05-04
EP3350649B1 (en) 2024-05-08
KR20180084749A (ko) 2018-07-25
EP3350649A4 (en) 2019-05-22
US20170085867A1 (en) 2017-03-23
US20230412791A1 (en) 2023-12-21
US20190098290A1 (en) 2019-03-28
US10070118B2 (en) 2018-09-04
WO2017049106A1 (en) 2017-03-23
US11652980B2 (en) 2023-05-16
JP2018537046A (ja) 2018-12-13
EP3350649A1 (en) 2018-07-25
US20210258562A1 (en) 2021-08-19
US10645375B2 (en) 2020-05-05
US20200244948A1 (en) 2020-07-30
CA3036787A1 (en) 2017-03-23

Similar Documents

Publication Publication Date Title
JP6917378B2 (ja) マルチビューディスプレイ並びに関連するシステム及び方法
Kim et al. Foveated AR: dynamically-foveated augmented reality display.
Hainich et al. Displays: fundamentals & applications
US11094075B1 (en) Systems and methods utilizing a machine learning model for generating defocus blur effects
Maimone et al. Computational augmented reality eyeglasses
CN107438796B (zh) 头戴式显示装置、近眼显示装置和方法
CN102414738B (zh) 具有三维和场序颜色合成控制的高动态范围显示器
Yang et al. See in 3D: state of the art of 3D display technologies
US20130127861A1 (en) Display apparatuses and methods for simulating an autostereoscopic display device
JPWO2016072518A1 (ja) 表示装置及び表示制御方法
US20150363978A1 (en) Methods, systems, and computer readable media for generating an augmented scene display
CN112585523B (zh) 具有通量校准的显示设备
US20130050186A1 (en) Virtual image display device
WO2016072194A1 (ja) 表示装置及び表示制御方法
CN113454702A (zh) 多投影仪显示架构
CN110082960B (zh) 一种基于高亮分区背光的光场显示装置及其光场优化算法
US10802281B2 (en) Periodic lenses systems for augmented reality
Wetzstein et al. State of the art in perceptual VR displays
US11145228B1 (en) Immersive display structure
Gao et al. Performance improvement for additive light field displays with weighted simultaneous algebra reconstruction technique and tracked views
Lee et al. Display Techniques for Augmented Reality and Virtual Reality
Yoo et al. 15 focal planes head-mounted display using led array backlight
Maimone Computational see-through near-eye displays
Wetzstein et al. Factored displays: improving resolution, dynamic range, color reproduction, and light field characteristics with advanced signal processing
US20240080434A1 (en) Display device, method, computer program code, and apparatus for providing a correction map for a display device, method and computer program code for operating a display device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190912

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190912

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210719

R150 Certificate of patent or registration of utility model

Ref document number: 6917378

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150