JP6738336B2 - 音響光学制御装置を使用する光投影器 - Google Patents

音響光学制御装置を使用する光投影器 Download PDF

Info

Publication number
JP6738336B2
JP6738336B2 JP2017534696A JP2017534696A JP6738336B2 JP 6738336 B2 JP6738336 B2 JP 6738336B2 JP 2017534696 A JP2017534696 A JP 2017534696A JP 2017534696 A JP2017534696 A JP 2017534696A JP 6738336 B2 JP6738336 B2 JP 6738336B2
Authority
JP
Japan
Prior art keywords
acousto
light
image light
optic scanner
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017534696A
Other languages
English (en)
Other versions
JP2018503871A (ja
Inventor
ジェレミー エー. グラータ,
ジェレミー エー. グラータ,
ハドソン ウェルチ,
ハドソン ウェルチ,
マルワーン フセイン,
マルワーン フセイン,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2018503871A publication Critical patent/JP2018503871A/ja
Application granted granted Critical
Publication of JP6738336B2 publication Critical patent/JP6738336B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/32Holograms used as optical elements
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G02F1/33Acousto-optical deflection devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/14Picture reproducers using optical-mechanical scanning means only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/001Constructional or mechanical details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/002Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/008Aspects relating to glasses for viewing stereoscopic images

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Nonlinear Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)
  • Projection Apparatus (AREA)
  • Overhead Projectors And Projection Screens (AREA)

Description

(背景)
現代のコンピューティングおよびディスプレイ技術は、デジタルで再生されたイメージまたはその部分がユーザに提示され、現実のものとして知覚され得る、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を容易にしてきた。仮想現実(「VR」)シナリオは、典型的に他の実際の現実世界の視覚入力に対する透過性なしのデジタルまたは仮想のイメージ情報の提示を含む。拡張現実(「AR」)シナリオは、典型的にユーザの周りの実際の世界の可視化に対する拡張としてのデジタルまたは仮想のイメージ情報の提示を含む。例えば、図1を参照すると、拡張現実シーン100が示され、AR技術装置のユーザは、人、木、背景に建物、およびコンクリートプラットフォーム104を特徴とする現実世界の公園のようなセッティング102を見る。これらの項目に加え、AR技術のユーザは、彼/彼女が、現実世界プラットフォーム104上に立っているロボット像106、および近くを飛んでいる漫画のようなアバターキャラクター108を、これらの要素(106、108)が現実世界に存在しないにも関わらず、「見ている」と知覚もする。結局、人間の視覚知覚システムは、非常に複雑であり、他の仮想または現実世界のイメージ要素において仮想イメージ要素の快適な、自然な感じである、上質な提示を容易にするVRまたはAR技術を作り出すことは、困難である。
図2を参照すると、概して、人間の視覚システムによって三次元視点が知覚されるようにわずかに異なる要素提示でイメージをディスプレイするように構成された2つのディスプレイ(例えば、202、204)を特徴とする立体着用可能眼鏡200タイプの構成が開発されてきた。そのような構成は、三次元でイメージを知覚するために克服されなくてはならない両眼転導と調節との間のミスマッチによって多くのユーザにとって不快であると認められた。実際に、何人かのユーザは、立体構成に耐えることができない。
図3を参照すると、角膜302、虹彩304、レンズ−または「水晶体」306、強膜308、脈絡膜層310、黄斑312、網膜314、および脳への視神経の路316を特徴とする、人間の眼300の簡易化された横断面図が示される。黄斑は、網膜の中心であり、中程度の詳細を見るために使われる。黄斑の中心には、最も細かい詳細を見るために使われる「中心窩」がある。中心窩は、網膜の他のどの部分よりも多くの光受容体(視覚度毎に約120コーン)を含んでいる。
人間の視覚システムは、受動センサタイプのシステムではない。それは、能動的に環境をスキャンするように構成されている。フラットベッドスキャナでイメージをスキャンすることまたは紙から点字を読むために指を使うことに幾分類似する様式で、眼の光受容体は、一定の状態の刺激に常に対応するよりも、刺激における変化に応答して発火する。実際に、眼の筋肉を麻痺させるように使用されるコブラ毒等の物質を用いた実験は、毒を注入されて麻痺状態の眼で静的シーンを見るとき、人間の被験者が彼/彼女の眼が開いている状態で置かれた場合に盲目を経験することを示した。言い換えると、刺激における変化がないと、光受容体は脳に入力を提供せず、盲目が経験される。これは、普通の人間の眼が通称「マイクロサッカード」において、前後に動くか、または、横運動で震えることが観察される少なくとも1つの理由であると考えられている。上に記載されるように、網膜の中心窩は、最大密度の光受容体を含み、人間が典型的に彼らの視野全体にわたって高解像度視覚化能力を有しているという知覚を有する一方で、彼らは、概して実際には中心窩で最近捉えられた高解像度情報の持続的なメモリに伴って、頻繁に機械的に掃きまわっている小さな高解像度中心のみを有している。幾分類似する様式において、眼の焦点の距離制御機構(毛様体弛緩は、より遠い焦点の長さのために張っている毛様体連結線維がレンズを平らにすることを引き起こし;毛様体収縮は、レンズがより至近距離の焦点の長さのためにより丸い幾何学形状をとることを可能にする、ゆるい毛様体連結線維を引き起こす様式で、毛様体筋は、水晶体に作用可能に連結される)は、標的とされる焦点の長さの近い側および遠い側の両方に少量のいわゆる「光屈折ぼけ(dioptric blur)」を周期的に誘起するように約1/4から1/2ディオプターで前後に震える。これは、コンスタントにコースを正して凝視されている物体の網膜イメージの焦点をおおよそ合った状態に保つことを助ける周期的な負のフィードバックとして脳の調節制御回路によって使用される。
脳の可視化中心は、眼およびその構成要素の両方の動きからの互いに対する貴重な知覚情報を得もする。互いに対する2つの眼の転導運動(すなわち、物体を凝視するために眼の視線を収束するように互いに向かうかまたは離れる瞳孔の回転運動)は、眼のレンズの焦点を合わせること(または「調節」)と密接に関連する。通常の状況下では、異なる距離にある物体に焦点を合わせるように、眼のレンズの焦点を変えること、または眼を調節することは、「調節両眼転導反射(accommodation−vergence reflex)」として知られている関係の下で、同じ距離に対して転導におけるマッチング変化を自動的に引き起こす。同様に、転導における変化は、通常の状況下で、調節におけるマッチング変化を引き起こす。ほとんどの従来型立体ARまたはVR構成のように、この反射に逆らって機能することは、ユーザにおける目の疲労、頭痛、または他の形での不快感を生むと知られている。
眼を収容する頭部の運動も、物体の可視化において重要な影響力を持つ。人間は、周りの世界を可視化するために頭部を動かす。しばしば彼らは、目的の物体に対して頭部を再配置および向け直すかなりコンスタントな状態にある。更に、ほとんどの人は、特定の物体に焦点を合わせるために視線が約20度よりも大きく中心を外れて動く必要があるとき、頭部を動かすことを好む(すなわち、人は、典型的に「眦で」ものを見ることを好まない)。人間は、典型的に、オーディオ信号キャプチャを向上させて頭部に対する耳の幾何学形状を使うために−音に関して頭部をスキャンするかまたは動かしもする。人間の視覚システムは、頭部運動および眼転導距離に応じて異なる距離にある物体の相対的な動きに関係する、いわゆる「頭部運動視差」から強力な深度合図を得る(すなわち、ある人が自分の頭部を横に動かして物体に対する凝視を維持する場合、その物体から遠く外側にあるものは、頭部と同じ方向に動き;その物体の前にあるものは、頭部運動に対して反対に動く。これらは、その人に対して環境において空間的にどこにものがあるかについての非常に顕著な合図である−おそらく立体視と同じくらい強力である)。もちろん、頭部運動も、物体の周りを見るために使われる。
更に、頭部および眼の運動は、頭部の回転の間に網膜に関するイメージ情報を安定させ、従って物体イメージ情報を網膜上でおおよそ中心に保つ「前庭動眼反射」と連係させられている。頭部の回転に応じて、眼は、物体に対する安定した凝視を保つために反対方向に反射的かつ比例して回転させられる。この補償関係の結果として、多くの人間は、頭部を前後に振りながら本を読むことができる(興味深いことに、頭部がおおよそ静止した状態で本が同じ速さで前後にパンされる場合、概して同様ではない−その人は、動いている本を読むことができそうにない;前庭動眼反射は、頭部および眼の運動の連係の1つであり、概して手の運動のためには発達していない)。このパラダイムは、ユーザの頭部運動が眼の運動と比較的直接関係し得るため、拡張現実システムにおいて重要であり得、システムは、好ましくはこの関係とともに機能する準備ができる。
実際に、これらの様々な関係を考慮して、デジタルコンテンツ(例えば、部屋の現実世界の光景を拡張するために提示された仮想シャンデリア物体等の3−Dコンテンツ;または部屋の現実世界の光景を拡張するために提示された平面/平らな仮想油絵物体等の2−Dコンテンツ)を配置するとき、物体の性質を制御するためにデザイン選択が行われ得る。例えば、(例えば、GoogleGlassアプローチにおけるように)2−D油絵物体は、頭部中心であり得、その場合物体は、ユーザの頭部と一緒に動き回るか;または物体は、世界中心であり得、その場合物体は、ユーザが現実世界に対して物体の位置を動かさずに自分の頭部または眼を動かし得るように、現実世界座標系の一部であるかのように提示され得る。
従って拡張現実世界に仮想コンテンツを配置するとき、どうのようにコンテンツが提示されるかは、考慮されなくてはならない。例えば、世界中心構想において仮想物体は、ユーザが物体を異なる視点で見るためにそのまわりで彼/彼女の頭部(ahead)を動かし得るように現実世界において配置に留まる。
本明細書に記載されるシステムおよび技術は、これらの課題に対処するために典型的な人間の視覚構成とともに機能するように構成されている。
(概要)
いくつかの実施形態において、光を投影するためのアプローチは、イメージ光を異なる領域に誘導するように基板に沿って生じさせられた表面音響波を使用する音響光学深度スイッチを使用してインプリメントされ得る。表面音響波は、変換器を使用して基板上に生成され得る。異なる周波数の表面音響波は、異なる物理的位置にある異なる光学要素上にイメージ光を誘導できる。光学要素は、見る人から異なる距離にあるイメージで物体を示すように構成され得る。いくつかの実施形態において、ARシステムユーザは、ユーザの眼の前に配置されたディスプレイシステムに連結されたフレーム構造を着用し得る。スピーカが、フレームに連結され得、ユーザの外耳道に隣接して配置される(1つの実施形態において、別のスピーカは、ユーザの他方の外耳道に隣接して配置されて、ステレオ/整形可能な音制御を提供し得る)。ディスプレイは、有線リードまたは無線接続等によって、ローカル処理およびデータモジュールに作用可能に連結され、ローカル処理およびデータモジュールは、いくつかの実施形態によると、フレームに固定的に取り付けられる等、様々な構成で設置され得る。追加の実施形態において、ローカル処理およびデータモジュールは、ヘルメットまたは帽子に固定的に取り付けられ得るか、ヘッドホンに埋め込まれ得るか、(バックパック式構成でユーザの胴体に取り外し可能なように取り付けられ得るか、またはベルト連結式構成でユーザの腰に取り外し可能なように取り付けられ得る。ローカル処理およびデータモジュールは、電力効率のあるプロセッサまたはコントローラと、フラッシュメモリ等のデジタルメモリとを備え得、その両方は、(a)イメージキャプチャ装置(カメラ等)、マイクロフォン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線装置、および/またはジャイロ等の、フレームに作用可能に連結され得るセンサからキャプチャされた、かつ/または、(b)おそらくそのような処理または取り出しの後のディスプレイへの移動のために遠隔処理モジュールおよび/または遠隔データレポジトリを使用して取得および/または処理された、データの処理、キャッシング、および記憶を助けるために利用され得る。
ローカル処理およびデータモジュールは、有線通信リンクまたは無線通信リンク等によって、遠隔処理モジュールおよび遠隔データレポジトリに作用可能に連結され得、これらの遠隔モジュールは、互いに作用可能に連結されて、ローカル処理およびデータモジュールに対してリソースとして利用可能になる。いくつかの実施形態において、遠隔処理モジュールは、データおよび/またはイメージ情報を分析および処理するように構成された、1つ以上の比較的強力なプロセッサまたはコントローラを備え得る。いくつかの実施形態において、遠隔データレポジトリは、比較的大規模なデジタルデータ記憶設備を備え得、その設備は、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して入手可能であり得る。いくつかの実施形態において、全てのデータは、記憶されて、全ての計算は、ローカル処理およびデータモジュールにおいて実行されて、任意の遠隔モジュールからの完全に自律した使用を可能にする。
いくつかの実施形態において、仮想現実(VR)または拡張現実(AR)システムは、積み重ねられた導波路アセンブリ(「EDGE」)を使用する。EDGEシステムは、イメージの生成および処理のために、メモリ、CPUおよびGPUを有するイメージ生成プロセッサと、他の回路とを含み得る。イメージ生成プロセッサは、ARシステムユーザに対しての提示のために所望の仮想コンテンツと一緒にプログラムされ得る。いくつかの実施形態において、イメージ生成プロセッサは、着用可能なARシステムに収納され得ることを理解されたい。他の実施形態において、イメージ生成プロセッサおよび他の回路は、着用可能な光学素子に連結されたベルトパック、または他の構成に収納され得る。イメージ生成プロセッサによって生成された仮想コンテンツまたは情報は、ディスプレイ回路に送られ得る。ディスプレイ回路は、イメージ生成プロセッサと通信状態にあり得るインターフェース回路を備え得、更に、チップ、温度センサ、圧電駆動/変換器、赤色レーザー、青色レーザー、および緑色レーザー等の回路と、レーザーを結合するファイバ結合器とインターフェースをとり得る。レーザーは、光生成器の例として本明細書で論じられているが、他のタイプの光生成器(例えば、DLP、LCD、LED)もディスプレイ回路にインプリメントされ得る。ディスプレイ回路は、ファイバ走査装置(FSD)等のディスプレイまたは投影装置とインターフェースをとり得る。概して、FSDは、イメージを送達するための様々なパターンを作るために速く振動させられる1つ以上の光ファイバを有するディスプレイ装置である。議論される実施形態は、FSDをディスプレイ装置として使用しているが、当業者は、当該分野において公知の他のディスプレイ装置(例えばDLP、OLED、LCD、LCOS)が同様にインプリメントされ得ることを理解する。
いくつかの実施形態において、次にVR/ARシステムは、FSDから回折光学要素(DOE)アセンブリ(例えば、回折光学要素)へ光を向けるために連結光学素子を使用し得る。いくつかの実施形態によると、連結光学素子は、DOEアセンブリにおける異なる深度平面に光を集束させるために使用され得るもう1つのレンズを指し得る。簡単にいうと、いくつかの実施形態によると、DOEアセンブリは、(1)導波路のスパンに沿ってイメージ光を偏向させ、(2)自然の現実世界の回折効果を模擬する角度でイメージ光が導波路から出ることを可能にする回折格子を有する1つ以上の積み重ねられた平面導波路を備えた装置であり得る。それぞれのDOE層は、以下で更に詳細に説明されるように、特定の焦点深度にカスタマイズされ得る。
現実世界において、光は、それが進むに従って回折するかまたは外に広がる。従って、月等の遠くにある物体から反射される光は、見る人から5メートル離れているヒト等のより近くにある物体から反射される光よりも更に外に広がっている。上で説明されるように、人間の視覚システムは、(1)視線調節(例えば両眼転導運動)によってと、(2)焦点を合わせることによってとの少なくとも2つの方法で遠くにある物体から来る光および近くにある物体から来る光に対応する。例えば、現実世界で月を見るとき、眼は、それぞれの眼の視線を月が位置するところで交差するように収束させることによって調節を行う。視線を調節することに加え、それぞれの眼は、光の外への広がりをとらえるためにそのレンズシステムの焦点を合わせなくてはならない。いくつかの実施形態において、DOEアセンブリは、近くにある物体および遠くにある物体を異なる深度平面でディスプレイすることによって人間の調節両眼転導反射とともに機能する。例えば、平らなイメージ(例えばヒト、木、地面、および月)は、深度合成イメージを形成するために3つの深度平面、DP1、DP2、DP3に分解され得る。最も近くであると意図される物体、ヒトは、1メートル離れた物体から外に広がっている光を模擬するように調整された深度平面1(DP1)にディスプレイされる。真ん中の物体、木および地面は、5メートル離れた物体から外に広がっている光を模擬するように調整された深度平面2(DP2)にディスプレイされる。最後に、最も遠くにある物体、月は、384,400,000メートル離れた物体から外に広がっている光を模擬するように調整された深度平面3(DP3)にディスプレイされる。(384,400,000メートルは、地球から月へのおおよその距離である。しかしながら、一定の距離を超えた物体に関しては、単にレンズシステム等のイメージングシステムを光学的無限遠に調節することが一般的であり、それによって入射光線は、ほとんど平行な光線として近似される)。この方法において、深度合成イメージを見る人は、異なる深度平面で物体を見るとき、彼/彼女の焦点合わせおよび視線収束の両方を調節しなくてはならず、頭痛または不快感は、起きない。
いくつかの実施形態において、イメージ生成プロセッサは、平らなイメージを複数の深度平面において複数の物体に「分解する」装置としてインプリメントされ得る。他の実施形態において、イメージシーケンスは、別々の深度平面固有イメージシーケンスとして記憶され、イメージ処理生成器は、事前処理された深度平面イメージシーケンスをディスプレイの準備ができているディスプレイ回路に送る。いくつかの実施形態において、DOEは、それらが能動的に回折する「オン」状態とそれらが有意には回折しない「オフ」状態との間で切り替え可能である。例えば、切り替え可能なDOEは、ポリマー分散液晶の層を備え得、その層において微小液滴は、ホスト媒体における回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的にマッチするように切り替えられ得るか(その場合パターンは、感知できるほどに入射光を回折しない)、または微小液滴は、ホスト媒体のそれとマッチしない率に切り替えられ得る(その場合パターンは、能動的に入射光を回折する)。バッテリ電力等のリソースを節約するために、いくつかの実施形態において、見る人が特定の深度平面において物体を見ているとき、その深度平面のためのイメージ情報をディスプレイするのみであることが好ましくあり得る。例えば、イメージが月のみから成る場合、DP3は、オンに切り替えられ得、その間他の深度平面、DP1およびDP2は、オフに切り替えられている。随意に、3つ全ての深度平面は、オンにされ得、シーケンスにされた方式で物体をディスプレイするように使用され得る。例えば、FSDは、迅速な連続でDP1、DP2、DP3のイメージの投影を素早く切り替え得る。人間の視覚システムは、特定の周波数(例えば、30Hz)までの動き/変化を検出することのみができるため、見る人は、FSDが平面を切り替えていることを知覚しないが、代わりに滑らかな複数深度の平面化された合成イメージストリームを知覚する。
加えて、いくつかの実施形態によると、システムは、眼追跡サブシステムも含み得る。この場合、眼追跡サブシステムは、見る人が遠くにある物体を見ているのか、または近くにある物体を見ているのかを判断するために、見る人の眼(例えば眼の収束角度を監視することによって)を監視し得る。システムが、例えば、見る人が月を見ていることを検出する場合、DP3は、オンに切り替えられ得、DP1およびDP2は、オフに切り替えられ、かつ/または弱められる。積み重ねられた構成は、複数平面焦点合わせを同時に提供するように、(静的導波路およびレンズよりも)動的DOEを使用し得る。例えば、3つの同時の焦点の平面を用いて、一次焦点面(例えば、測定された眼の調節に基づいて)がユーザに提示され得、+マージンおよび−マージン(1つの焦点の平面は、より近くに、1つは、より遠くの外側に)は、大きな焦点の範囲を提供するために使用され得、その範囲内でユーザは、平面がアップデートされることが必要になる前に調節し得る。この増大された焦点の範囲は、(例えば、調節測定によって判断されたように)ユーザがより近くの焦点またはより遠くの焦点に切り替える場合、一時的な利益を提供し得る。次に焦点の新しい平面は、焦点の中間深度に存在するように作られ得、+マージンおよび−マージンは、システムがキャッチアップする間にいずれかへの速い切り替えの準備が再びできている。
いくつかの実施形態において、AR/VRシステムは、大きな視野にわたって複数の深度平面においてイメージを素早くディスプレイするためにインプリメントされ得る。そこでは、アーキテクチャは、音響光学深度スイッチ(ADS)を除くと、アーキテクチャに似ている。ADSは、FSDから光を受け取り、異なる深度にある異なるDOE層に光を集束させるように連結され得る。ADSは、論理モジュールおよび音響光学(AO)モジュレータを含み得る。FSDからの光入力は、ADSユニットに入り、DOEアセンブリの中へ複数の角度で偏向させられる(例えば回折させられる、屈折させられる)。それぞれのDOE層または回折要素は、深度平面(例えばDP1、DP2、DP3)に対応する。例えば、DOE層は、DP1に対応し得、見る人から1メートル離れた知覚距離でヒトをディスプレイする。同様に、DOE層は、DP2に対応し得、見る人から5メートル離れた知覚距離で地面に根付いている木をディスプレイする。最後に、DOE層は、DP3に対応し得、384,400,000メートル離れた知覚距離(または光学的無限遠)で月をディスプレイする。いくつかの実施形態において、それぞれのDOE層は、ADSから受け取ったイメージ光を深度平面のスパンに沿って偏向させるために内側連結(in−coupling)格子をインプリメントする。次にイメージは、DOE層を出て第2のセットの回折格子を使用して見る人に向かい得る。いくつかの実施形態において、AOモジュレータは、連結光学素子を通して光を受け取り、受け取られた光を導管路に沿って誘導し、基板に沿って表面弾性波を引き起こすために変換器を使用して(表面弾性波は、基板の屈折率を変える)、光が表面弾性波周期に比例した角度で基板を出ることを引き起こす。特に、入力光は、まずプリズムのような、連結器を通してAOモジュレータとインターフェースをとる。連結器は、基板上の導波路内に光を向ける。いくつかの実施形態において、基板は、石英のような圧電性材料または当該分野で知られているような他の圧電性の透明/半透明の材料を含む。いくつかの実施形態において、基板は、ニオブ酸リチウムの薄いシートを備え、そのシートも、圧電性である(すなわち、圧力/応力に応じて電気を生成する)。いくつかの実施形態において、ニオブ酸リチウム基板は、材料の屈折率を変えて所望の方向に光を屈折させるために、高電圧(例えば30ボルト)を加えることによって電気光学スイッチとして使用され得る。しかしながら、人間の顔の近くで高電圧を走らせることは、典型的には、望まれない。更に、30ボルトのニオブ酸リチウムスイッチ等の高電圧のスイッチを使用することは、典型的にバッテリ電力が限られている着用可能なコンピュータ視覚システムにおいて実用的でなくあり得る。代替的に、いくつかの実施形態において、基板を電気光学スイッチとして使用する代わりに、AOモジュレータは、基板を音響光学スイッチとして使用する。例えば、変換器は、基板の表面に沿った波(例えば「表面音響波」)を生じさせるように、基板が前後に小刻みに動くことを引き起こす非常に低い電圧を供給され得る。表面音響波は、変換器によって生じさせられた波の周波数に比例する特定の規定された周期(例えばピーク間の距離)を有し得る。すなわち、例えば、変換器が60Hz ACを受ける場合、表面音響波の周期は、60Hzにおおよそマッチする(例えば、材料そのものにおいて失われたエネルギー(例えば、ヒステリシス)は考慮に入れない)。同様に、RF周波数電力が変換器に供給される場合、表面音響波は、RF周波数におおよそマッチする。従って、変換器の周波数を変えることによって、誘起させられた表面波の周期は、制御および/または調整され得る。概して、いくつかの実施形態において、論理モジュールは、AOモジュレータを必要な周波数を生じさせるように管理し得る。例えば、論理モジュールは、データのストリームを受け取り得、変換器が光をDOEアセンブリ層に向けるようにシーケンスにおいて周波数を変えることを引き起こす。他の実施形態において、イメージ処理生成器等の他の構成要素は、AOモジュレータを周波数のシーケンスを生じさせるように管理する。表面音響波は、基板の屈折率を変えることができ、回折格子の一種としても働き得る。始めに、導波路および基板は、全内部反射が導波路の中の光に対して起きるように2つの異なる屈折率を有する。ニオブ酸リチウム等の特定の基板は、電気エネルギーまたは物理/機械エネルギー(例えば応力)に応じて変わる屈折率を有する。そのように、ニオブ酸リチウム基板に異なる表面音響波を適用することによって、屈折率は、導波路の中で起きている全内部反射を破壊するように変えられ得、従って導波路の中にある光が漏れ出ることを可能にする。
更に、所与の波長の光が格子の外へ偏向させられる角度は、光の波長に比例し得る。いくつかの実施形態において、表面音響波は、格子幅(例えば表面音響波に対するピーク間の距離)に比例する角度でイメージ光を導波路/基板インターフェースから外へ回折する回折格子として働く。この方法において、導波路を通って伝播する入力光は、(基板の屈折率の変化によって引き起こされる)屈折と(表面音響波が波周期に比例して回折格子効果を誘起することによって引き起こされる)回折とによって偏向させられ得る。組み合わさった効果は、入力光を内側連結格子等の複数の内側連結格子標的の上に誘導するために使われ得る。加えて、光が1つの標的から次へ偏向させられ得るスピードは、単に変換器に異なる信号(例えば異なる周波数)を適用することによって調節され得る。この方法において、音響光学深度スイッチは、大きなFOVにわたって非常に速い切り替えスピードを達成し得る。
いくつかの実施形態において、FSDおよび/または連結光学素子の必要なく、スキャナおよびスイッチとしての音響光学装置がインプリメントされ得る。動作において、ディスプレイ回路からのイメージ信号は、AOSへ直接入力される。次にAOSは、光を変調し、上で述べたような音響光学アプローチを使用して光を異なる深度平面上へ偏向させ得る。ディスプレイ回路からの入力光/イメージ光は、まず、プリズム等の光学連結器であり得る、連結器とインターフェースをとり得る。連結器は、光を導波路内に向け、導波路は、光を基板の上に誘導するために全内部反射を使用する。AOモジュレータは、2つの変換器を備え得る。垂直変換器は、光がDOEアセンブリに向かって異なる角度で偏向することを引き起こす垂直表面音響波を生じさせる。水平変換器は、いくつかの実施形態において、垂直変換器に直交して整列され得る。水平変換器は、水平表面音響波を生じさせるためにインプリメントされ得る。入力光を(AOモジュレータに対して)垂直に偏向させる垂直表面音響波のように、水平表面音響波も、ブラッグ回折等の機構を使用して、導波路において光を偏向させ得るが、偏向は、水平方向である。従って、インプリメントされるように、AOモジュレータは、水平方向および垂直方向の両方において入力光を制御し得る。例えば、DP2においてディスプレイされるイメージは、地面に根付いている木である。イメージを水平にスキャンするように光線を向けるために、水平変換器は、周波数を制御することによって、従って光の水平偏向を制御することによって水平表面音響波を変調し得る。同様に、イメージ出力を垂直にスキャンするために、垂直変換器は、周波数を制御することによって、従って光の垂直偏向を制御することによって垂直表面音響波を変調し得る。
示されているいくつかの実施形態において、音響光学スキャナは、ハイブリッドAOSユニットにおいて水平AOモジュレータおよび垂直AOモジュレータを使用し得る。水平AOモジュレータは、連結器と、基板と、導波路と、水平変換器(例えば、水平変換器)とを備え得、それらは、水平に偏向またはシフトされた光を生じさせるために使用され得る。次に水平に偏向させられた光は、垂直AOモジュレータ内に入力され得る。垂直AOモジュレータは、連結器と、基板と、導波路と、垂直に光を偏向させる垂直表面音響波を生じさせる垂直変換器(例えば、垂直変換器)とを備え得る。従って、1つの組み合わされた垂直/水平AOモジュレータに代わり、2つのモジュレータは、独立したユニットであり、それぞれは、独自の基板と、連結器と、導波路とを有し得るが、直交の変換器を有し得る。垂直/直立モジュレータは、AOモジュレータのように構築されている。つまり、それは、(モジュレータに対して)上/下方向において光を偏向させることができる。垂直入力光は、直立モジュレータに入力されるとき、垂直方向におけるイメージ出力のように、イメージをスキャンするように垂直方向に偏向させられる。直交AOモジュレータは、直立モジュレータに対して直交であるように90度回転させられ得る。この方法において、直交AOモジュレータは、ブラッグ回折を使用せずに、水平方向にイメージをスキャンするように水平入力光を偏向させる。直交モジュレータは、例として本明細書において論じられているが、当業者は、異なる角度に整列された1つ以上のAOモジュレータが全イメージスキャンを達成するように同様にインプリメントされ得ることを理解する。例えば、3つのAOモジュレータのインプリメンテーションにおいて、第1のAOモジュレータは、0度に整列されて(第1のAOモジュレータに対して)45度に方向づけられている第2のAOモジュレータの中に光を入力し得、第2のAOモジュレータは、(第1のAOモジュレータに対して)90度に方向づけられている第3のAOモジュレータの中に光を入力し得る。この方法において、1つ以上の間にあるモジュレータは、1つのステップで0度から90度にいく代わりに、ゆっくりと角度を変える。
いくつかの実施形態において、1つの基板を有することが好ましくあり得るが、その基板の2つの直交表面が使用される。例えば、基板の上面は、第1の連結器、導波路、および変換器をインプリメントし得る。一方で基板の側面では、第2の連結器、導波路、および変換器がインプリメントされる。動作において、この実施形態は、直立モジュレータおよび直交モジュレータに類似して機能するが、第2の基板および/またはAOモジュレータユニットは、必要ない。
いくつかの実施形態において、ハイブリッドFSD/AOSモジュール、AOS構成要素は、FSDに対して補足的に使用され得る。このアプローチにおいて、FSDは、特定の解像度でディスプレイされるイメージを生成し、そのイメージは、FSDから入力される。例えば、イメージ出力を参照すると、FSDは、概して限られた解像度を有し、特定の間隔にある渦に沿って光を出力し得る。このアプローチにおいて、ハイブリッドFSD/AOS構成要素は、水平モジュレータおよび垂直モジュレータの両方を有するAOモジュレータを特徴とし、AOモジュレータは、FSDが標的に定めることができないまたは届くことができないイメージ点をより精細に生成し得る。いくつかの実施形態に従うように、まず「1次」イメージ点が、FSDによって生成され得(例えばFSD渦に沿う点)、それに対して次に2次/補足イメージ点が、FSDの解像度を超えて位置する点を「埋める」ようにAOモジュレータによって生成される。
音響光学深度スイッチを使用して光を投影するためのアプローチのための方法は、次のようにインプリメントされ得る。まず、レーザー、LED、またはLCD等のイメージ生成器は、一シリーズのイメージを含むイメージ光を生成する。その一シリーズのイメージは、イメージのビデオシーケンスであり得、その一シリーズにおけるそれぞれのイメージは、異なる距離にある物体を示す。例えば、シリーズの第1の部分は、見る人に対して近い(closed)第1の深度平面における全ての物体を含み得る(例えば、見る人は、仮想現実または拡張現実ヘッドセットを着用している)。同様に、シリーズの他の部分は、異なる距離にある物体を含み得る。例示的な実施形態において、6つの深度平面がインプリメントされ、それぞれが、見る人からの6つの距離に対応している。いくつかの実施形態において、6つのうちの第1の深度平面は、3メートルまたはそれより近い距離に対応し、第6の深度平面は、光学的無限遠またはそうでなければ非常に大きな距離に対応する。次に、光生成器によって生成されたイメージ光は、FSDに入力され、角度にわたって作動する。いくつかの実施形態に従うように、FSDは、音響光学深度スイッチ連結光学素子上に光を投影するように使用される。プリズム等の連結光学素子は、基板に沿って、イメージ光を導波路上に向け得る。音響光学深度スイッチ内の変換器は、表面音響波を基板の表面上に生成するように異なる周波数で振動し得る。上で説明されるように、異なる周波数の表面音響波は、異なる角度でイメージ光を偏向させる。次に、変換器は、回折光学要素等の異なる光学要素上にイメージ光を偏向させるように変換器に異なる周波数でSAWを生じさせるように命令する論理モジュールから命令を受け得る。
異なる周波数で光を偏向させるように音響光学深度スイッチを使用して光を投影するための方法は、次のようにインプリメントされ得る。いくつかの実施形態において、イメージ光は、異なる深度平面のために光の部分にシーケンスにされ得る。例えば、第1の先行する部分は、見る人に対して最も近いものとして示される物体を含み得る。第2の部分は、見る人に対して中間距離で示される物体を含み得る。第3の部分は、見る人から最も遠い距離で示される物体を含み得る。このアプローチにおいて、論理モジュールは、まず第1の部分を第1の周波数を使用して第1の光学要素に偏向させて、次に第2の部分を第2の周波数を使用して第2の光学要素に偏向させて、次に第3の部分を第3の周波数を使用して第3の光学要素に偏向させるように、変換器に、異なる周波数のSAWを交互方式で生じさせるように指示し得る。本明細書において例として3つの深度平面および周波数のみが論じられているが、他の数の深度平面(例えば、6)および対応する周波数が、同様にインプリメントされ得る。
直交するように方向づけられた変換器を使用して直交方向に光を投影するための方法は、次のようにインプリメントされ得る。まず、水平SAWは、水平変換器を使用して生成され得る。水平SAWは、ブラッグ回折を使用して水平方向に沿って光を光学要素上に偏向またはラスタ化させ得る。次に、垂直SAWは、垂直変換器を使用して生成され得る。垂直SAWは、屈折および回折を使用して垂直方向に沿って光を光学要素上に偏向(defect)またはラスタ化させ得る。上記の方法においてステップの特定の順番が論じられているが、当業者は、異なる順番が同様にインプリメントされ得ることを理解する。
本明細書は、例えば、以下の項目も提供する。
(項目1)
光を投影するためのシステムであって、該システムは、
一シリーズのイメージに対応するイメージ光を生成する光生成器と、
音響光学深度スイッチとを備え、該イメージ光は、該音響光学深度スイッチ上に偏向させられ、該音響光学深度スイッチは、該イメージ光の部分を複数の回折光学要素上に偏向させ、該複数の回折光学要素のそれぞれは、該一シリーズのイメージの異なる深度平面に対応する、システム。
(項目2)
ファイバスキャン装置は、前記光生成器によって生成された前記イメージ光を受け取り、該イメージ光を前記音響光学深度スイッチ上に偏向させるように角度にわたって作動するファイバを使用する、項目1のシステム。
(項目3)
前記音響光学深度スイッチは、前記光生成器に連結されている、項目1のシステム。
(項目4)
前記音響光学深度スイッチは、基板上に表面音響波を生成する変換器を備え、該表面音響波は、前記イメージ光を前記複数の回折光学要素上に偏向させる、項目1のシステム。
(項目5)
音響光学深度スイッチは、第1の周波数および該第1の周波数とは異なる第2の周波数を含む複数の周波数において前記表面音響波を生成するように構成されており、該第1の周波数は、前記イメージ光の一部分を第1の回折光学要素上に偏向させ、該第2の周波数は、該イメージ光の一部分を第2の回折要素上に偏向させる、項目4のシステム。
(項目6)
前記基板は、ニオブ酸リチウム基板である、項目4のシステム。
(項目7)
前記音響光学深度スイッチは、基板上に垂直表面音響波を生成する垂直変換器と、該基板上に水平表面音響波を生成する水平変換器とを備える、項目1のシステム。
(項目8)
光を投影するための方法であって、該方法は、
一シリーズのイメージを含むイメージ光を生成することであって、該一シリーズのイメージは、異なる距離に対応する物体を含んでいる、ことと、
音響光学深度スイッチを介して該一シリーズのイメージの部分を回折光学要素に偏向させることであって、該一シリーズのイメージの第1の部分は、第1の距離に対応する第1の回折光学要素に偏向させられ、該一シリーズのイメージの第2の部分は、第2の距離に対応する第2の回折光学要素に偏向させられ、該第2の距離は、該第1の距離よりも大きい、こととを含む、方法。
(項目9)
ファイバスキャン装置は、前記イメージ光を受け取り、前記音響光学深度スイッチ上に該イメージ光を偏向させるように角度にわたって作動するファイバを使用する、項目8の方法。
(項目10)
前記音響光学深度スイッチは、前記イメージ光を生成する光生成器に連結されている、項目8の方法。
(項目11)
前記音響光学深度スイッチは、基板上に表面音響波を生成する変換器を備え、該表面音響波は、前記イメージ光を前記回折光学要素上に偏向させる、項目8の方法。
(項目12)
音響光学深度スイッチは、第1の周波数および該第1の周波数とは異なる第2の周波数を含む複数の周波数において前記表面音響波を生成するように構成され、該第1周波数は、前記第1の部分を前記第1の回折光学要素上に偏向させ、該第2の周波数は、前記第2の部分を前記第2の回折光学要素上に偏向させる、項目11の方法。
(項目13)
前記基板は、ニオブ酸リチウム基板である、項目11の方法。
(項目14)
前記音響光学深度スイッチは、基板上に垂直表面音響波を生成する垂直変換器と、該基板上に水平表面音響波を生成する水平変換器とを備える、項目8の方法。
(項目15)
光を投影するためのシステムであって、該システムは、
一シリーズのイメージに対応するイメージ光を生成する光生成器と、
音響光学スキャナとを備え、該イメージ光は、該音響光学スキャナ上に偏向させられ、該音響光学スキャナは、該イメージ光の部分を複数の回折光学要素上に偏向させ、該複数の回折光学要素のそれぞれは、該一シリーズのイメージの異なる深度平面に対応し、
該音響光学スキャナは、水平モジュレータおよび垂直モジュレータを備え、該水平モジュレータは、該イメージ光を水平に偏向させ、該垂直モジュレータは、該イメージ光を垂直に偏向させ、該垂直モジュレータは、該水平モジュレータから水平に偏向させられたイメージ光を受け取る、システム。
(項目16)
音響光学スキャナは、前記光を水平および垂直に偏向させるように表面音響波を生成するように構成され、該音響光学スキャナは、第1の周波数および該第1の周波数とは異なる第2の周波数を含む複数の周波数において該表面音響波を生成するように構成され、該第1の周波数は、前記イメージ光の一部分を第1の回折光学要素上に偏向させ、該第2の周波数は、該イメージ光の一部分を第2の回折光学要素上に偏向させる、項目15のシステム。
(項目17)
光を投影するためのシステムであって、該システムは、
一シリーズのイメージに対応するイメージ光を生成する光生成器と、
音響光学スキャナとを備え、該イメージ光は、該音響光学スキャナ上に偏向させられ、該音響光学スキャナは、該イメージ光の部分を複数の回折光学要素上に偏向させ、該複数の回折光学要素のそれぞれは、該一シリーズのイメージの異なる深度平面に対応し、
該音響光学スキャナは、水平モジュレータおよび該水平モジュレータに対して並列である垂直モジュレータを備え、該水平モジュレータは、該イメージ光を水平に偏向させ、該垂直モジュレータは、該イメージ光を垂直に偏向させ、該垂直モジュレータは、該一シリーズのイメージのうち垂直に偏向させられる部分を入力として受け取り、該水平モジュレータは、該一シリーズのイメージのうち平行に偏向させられる部分を入力として受け取る、システム。
(項目18)
音響光学スキャナは、前記光を水平および垂直に偏向させるように表面音響波を生成するように構成され、該音響光学スキャナは、第1の周波数および該第1の周波数とは異なる第2の周波数を含む複数の周波数において該表面音響波を生成するように構成され、該第1の周波数は、前記イメージ光の一部分を第1の回折光学要素上に偏向させ、該第2の周波数は、該イメージ光の一部分を第2の回折光学要素上に偏向させる、項目17のシステム。
(項目19)
光を投影するためのシステムであって、該システムは、
一シリーズのイメージに対応するイメージ光を生成する光生成器と、
音響光学スキャナとを備え、該イメージ光は、該音響光学スキャナ上に偏向させられ、該音響光学スキャナは、該イメージ光の部分を複数の回折光学要素上に偏向させ、該複数の回折光学要素のそれぞれは、該一シリーズのイメージの異なる深度平面に対応し、
ファイバスキャン装置は、該光生成器によって生成された該イメージ光を受け取り、該イメージ光を該音響光学スキャナ上に偏向させるように角度にわたって作動するファイバを使用し、該ファイバスキャン装置は、第1の解像度で光を投影するように構成可能であり、該音響光学スキャナは、該第1の解像度よりも大きい第2の解像度で光を投影するように構成可能であり、該音響光学スキャナは、該第1の解像度において該ファイバスキャン装置から該イメージ光を受け取り、該音響光学スキャナは、該第2の解像度において該イメージ光を出力する、システム。
(項目20)
音響光学スキャナは、前記光を水平および垂直に偏向させるように表面音響波を生成するように構成され、該音響光学スキャナは、第1の周波数および該第1の周波数とは異なる第2の周波数を含む複数の周波数において該表面音響波を生成するように構成され、該第1の周波数は、前記イメージ光の一部分を第1の回折光学要素上に偏向させ、該第2の周波数は、該イメージ光の一部分を第2の回折光学要素上に偏向させる、項目17のシステム。
いくつかの実施形態における局面、物体、および利点の更なる詳細は、詳細な説明、図、および特許請求の範囲において以下に記載される。前述の概要の説明および次の詳細な説明の両方は、例示的であり説明的であり、実施形態の範囲について限定することを意図しない。
図は、本発明のいくつかの実施形態のデザインおよび実用性を例示する。図は、一定の縮小比で描かれておらず、類似する構造または機能の要素は、図を通して同様の参照数字によって示されることを留意されたい。どのように本発明の様々な実施形態における上記のおよび他の利点および目的を得るかをより良く理解するために、上で簡単に説明された本発明のより詳細な説明が、付随する図に例示される、その特定の実施形態に対する参照によって提示される。これらの図は、本発明の典型的な実施形態のみを示すのであり従ってその範囲を限定するものと考えられるべきではないことを理解し、本発明は、付随する図の使用を通しての追加特定および詳細とともに記載および説明される。
図1は、いくつかの実施形態に従った、例示的な仮想または拡張現実環境を示す。
図2は、いくつかの実施形態に従った、仮想または拡張現実ヘッドセットを示す。
図3は、人間の眼の構成要素を示す。
図4は、いくつかの実施形態に従った、仮想または拡張現実ヘッドセットおよびディスプレイモジュールを示す。
図5は、いくつかの実施形態に従った、仮想または拡張現実ヘッドセットおよびファイバスキャン装置を使用するディスプレイモジュールのアーキテクチャを示す。
図6は、いくつかの実施形態に従った、平らなイメージとしての仮想または拡張現実環境の例を示す。
図7は、いくつかの実施形態に従った、異なる深度平面に分けられた図6の仮想または拡張現実環境の例を示す。
図8は、いくつかの実施形態に従った、仮想または拡張現実ヘッドセットおよびファイバスキャン装置を使用するディスプレイモジュールおよび音響光学深度スイッチのアーキテクチャを示す。
図9は、いくつかの実施形態に従った、音響光学深度スイッチおよび回折光学アセンブリの内部アーキテクチャを示す。
図10は、いくつかの実施形態に従った、仮想または拡張現実ヘッドセットおよび光生成器を備えたディスプレイ回路に直接連結された音響光学深度スイッチを使用するディスプレイモジュールのアーキテクチャを示す。
図11は、いくつかの実施形態に従った、回折光学アセンブリと水平および垂直変換器を有する音響光学深度スイッチとの内部アーキテクチャを示す。
図12は、いくつかの実施形態に従った、回折光学アセンブリおよび垂直方向音響光学深度スイッチに連結された水平方向音響光学深度スイッチの内部アーキテクチャを示す。
図13は、いくつかの実施形態に従った、回折光学アセンブリおよび垂直方向音響光学深度スイッチに対して並列する水平方向音響光学深度スイッチの内部アーキテクチャを示す。
図14は、いくつかの実施形態に従った、回折光学アセンブリおよびハイブリッドファイバスキャンおよび音響光学深度スイッチ装置の内部アーキテクチャを示す。
図15は、いくつかの実施形態に従った、回折光学アセンブリおよびファイバスキャン装置が届くことのできない解像度を覆う音響光学深度スイッチの内部アーキテクチャを示す。
図16AからCは、いくつかの実施形態に従った、音響光学深度スイッチを使用して光を投影するための方法のためのフローチャートを示す。 図16AからCは、いくつかの実施形態に従った、音響光学深度スイッチを使用して光を投影するための方法のためのフローチャートを示す。 図16AからCは、いくつかの実施形態に従った、音響光学深度スイッチを使用して光を投影するための方法のためのフローチャートを示す。
図17は、例示的システムアーキテクチャを示す。
(詳細な説明)
様々な実施形態は、音響光学制御装置のための方法、システム、およびコンピュータプログラム製品に関する。他の目的、特徴、および利点は、詳細な説明、図および特許請求の範囲に記載される。
次に、方法、システム、および製品の様々な実施形態は、当業者が様々な実施形態を実践し得るように例示的な例として提供される図の参照とともに詳細に説明される。特に、以下の図および例は、本発明の範囲を限定することを意図するものではない。本発明の特定の要素が公知の構成要素(または方法またはプロセス)を使用して部分的または全体的にインプリメントされ得る場合、本発明の理解に必要なそのような公知の構成要素(または方法またはプロセス)の部分のみが説明され、そのような公知の構成要素(または方法またはプロセス)の他の部分の詳細な説明は、発明を不明瞭にしないように省略される。更に、本発明は、本明細書において例示として参照される構成要素に対する現在および未来の公知の均等物を含む。
図4は、音響光学制御装置がインプリメントされ得る例示的なシステムおよび動作環境を示す。図4に示されるように、ARシステムユーザ400は、ユーザの眼の前に配置されたディスプレイシステム402に連結されたフレーム404構造を着用しているところが示される。スピーカ406は、示される構成においてフレーム404に連結され、ユーザの外耳道に隣接して配置される(1つの実施形態において、図示されていない別のスピーカは、ユーザの他方の外耳道に隣接して配置されて、ステレオ/整形可能な音制御を提供する)。ディスプレイ402は、有線リードまたは無線接続等によってローカル処理およびデータモジュール410に作用可能に連結され408、ローカル処理およびデータモジュール410は、いくつかの実施形態によると、フレーム404に固定的に取り付けられる等、様々な構成で設置され得る。追加の実施形態において、ローカル処理およびデータモジュール410は、ヘルメットまたは帽子に固定的に取り付けられ得るか、ヘッドホンに埋め込まれ得るか、(バックパック式構成でユーザの胴体に取り外し可能なように取り付けられ得るか、またはベルト連結式構成でユーザの腰に取り外し可能なように取り付けられ得る(図示せず)。
ローカル処理およびデータモジュール410は、電力効率のあるプロセッサまたはコントローラと、フラッシュメモリ等のデジタルメモリとを備え得、その両方は、(a)イメージキャプチャ装置(カメラ等)、マイクロフォン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線装置、および/またはジャイロ等の、フレーム404に作用可能に連結され得るセンサからキャプチャされた、かつ/または、(b)おそらくそのような処理または取り出しの後のディスプレイ402への移動のために遠隔処理モジュール412および/または遠隔データレポジトリ414を使用して取得および/または処理された、データの処理、キャッシング、および記憶を助けるために利用され得る。
ローカル処理およびデータモジュール410は、有線通信リンクまたは無線通信リンク等によって遠隔処理モジュール412および遠隔データレポジトリ414に作用可能に連結され得(416、418)、これらの遠隔モジュール(412、414)は、互いに作用可能に連結されて、ローカル処理およびデータモジュール410に対してリソースとして利用可能になる。いくつかの実施形態において、遠隔処理モジュール412は、データおよび/またはイメージ情報を分析および処理するように構成された、1つ以上の比較的強力なプロセッサまたはコントローラを備え得る。いくつかの実施形態において、遠隔データレポジトリ414は、比較的大規模なデジタルデータ記憶設備を備え得、その設備は、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して入手可能であり得る。いくつかの実施形態において、全てのデータは、記憶されて、全ての計算は、ローカル処理およびデータモジュールにおいて実行されて、任意の遠隔モジュールからの完全に自律した使用を可能にする。
図5は、いくつかの実施形態に従った、積み重ねられた導波路アセンブリ(「EDGE」)を使用する例示的なARシステムを示す。EDGEシステム500は、イメージの生成および処理のために、概して、メモリ512、CPU516およびGPU514を有するイメージ生成プロセッサ502と、他の回路とを含む。イメージ生成プロセッサ502は、ARシステムユーザに対しての提示のために所望の仮想コンテンツと一緒にプログラムされ得る。いくつかの実施形態において、イメージ生成プロセッサ502は、着用可能なARシステムに収納され得ることを理解されたい。他の実施形態において、イメージ生成プロセッサおよび他の回路は、着用可能な光学素子に連結されたベルトパック、または他の構成に収納され得る。
イメージ生成プロセッサ502によって生成された仮想コンテンツまたは情報は、ディスプレイ回路510に送られ得る。ディスプレイ回路510は、イメージ生成プロセッサ502と通信状態にあり得るインターフェース回路532を備え得、更に、チップ534、温度センサ536、圧電駆動/変換器538、赤色レーザー540、青色レーザー542、および緑色レーザー544等の回路と、レーザーを結合するファイバ結合器(図示せず)とインターフェースをとり得る。レーザーは、光生成器の例として本明細書に示されているが、他のタイプの光生成器(例えば、DLP、LCD、LED)もディスプレイ回路510にインプリメントされ得る。
ディスプレイ回路510は、ファイバ走査装置(FSD)520等のディスプレイまたは投影装置とインターフェースをとり得る。概して、FSD520は、イメージを送達するための様々なパターンを作るために速く振動させられる1つ以上の光ファイバを有するディスプレイ装置である。例示される実施形態は、FSDをディスプレイ装置として使用しているが、当業者は、当該分野において公知の他のディスプレイ装置(例えばDLP、OLED、LCD、LCOS)が同様にインプリメントされ得ることを理解する。
次にARシステムは、FSDから回折光学要素(DOE)アセンブリ530(例えば、回折光学要素)へ光を向けるために連結光学素子522を使用し得る。いくつかの実施形態によると、連結光学素子522は、DOEアセンブリにおける異なる深度平面に光を集束させるために使用され得るもう1つのレンズを指し得る。簡単にいうと、いくつかの実施形態によると、DOEアセンブリ530は、(1)導波路のスパンに沿ってイメージ光を偏向させ、(2)自然の現実世界の回折効果を模擬する角度でイメージ光が導波路から出ることを可能にする回折格子を有する1つ以上の積み重ねられた平面導波路を備えた装置である。それぞれのDOE層は、以下で更に詳細に説明されるように、特定の焦点深度にカスタマイズされ得る。
図6は、同じ深度平面に示される異なる距離にある物体を有するシーンの例示的な例を示す。そこでは、平らなイメージ600が、ヒト602、地面606に根付いている木604、および空にある月608を示す。現実世界において、光は、それが進むに従って回折するかまたは外に広がる。従って、月608等の遠くにある物体から反射される光は、ヒト602等のより近くにある物体から反射される光よりも更に外に広がっている。上で説明されるように、人間の視覚システムは、(1)視線調節(例えば両眼転導運動)によってと、(2)焦点を合わせることによってとの少なくとも2つの方法で遠くにある物体から来る光および近くにある物体から来る光に対応する。例えば、現実世界で月を見るとき、眼は、それぞれの眼の視線を月が位置するところで交差するように収束させることによって調節を行う。同様に、ある人が彼/彼女自身の鼻の先を見つめる場合、眼は、再びそれぞれの眼の視線を鼻の先が位置するところで交差するように収束させることを調節し、対象は、外見上「寄り眼」に見える。
視線を調節することに加え、それぞれの眼は、光の外への広がりをとらえるためにそのレンズシステムの焦点を合わせなくてはならない。例えば、遠くにある月608から反射される光は、月からの光に焦点が合っていない場合、ヒト602から反射される光よりも「ぼやけた」ように見え得る。従って、月を見るために、それぞれの眼は、レンズを平らにすることによって眼のレンズの焦点を合わせ、月光をだんだんと少なく屈折させて、最終的に月に焦点が合うようになる。同様に、ヒトを見るためにそれぞれの眼は、レンズをより丸くすることによって眼のレンズの焦点を合わせ、ヒトに焦点が合うまでますます入射光を屈折させる。上で説明されるように、それぞれの眼の視線を調節することと、焦点を合わせることとは、自動的に一緒に起こり、「調節両眼転導反射」として知られている。
従来型/レガシーの立体的ARまたはVR構成の問題は、それらが調節両眼転導反射に逆らって機能することである。例えば、図6の平らなイメージ600を参照すると、従来型/レガシーの立体的ARまたはVRシステムが、異なる知覚距離で月608、木604、およびヒト602をディスプレイする(例えばヒトがより近くに見えて月がより遠くに見える)が、全てに焦点が合っている場合、眼は、月またはヒトを見るときに焦点を合わせ直す必要がない。これは、調節両眼転導反射に逆らって機能するミスマッチを引き起こす。前述されているように、これらの種類のレガシーアプローチは、ユーザにおける眼の疲労、頭痛、または他の形での不快感を生むと知られている。
対照的に、(図5にある)DOEアセンブリ530は、近くにある物体および遠くにある物体を異なる深度平面でディスプレイすることによって人間の調節両眼転導反射とともに機能する。例えば、図7は、深度合成イメージ710を形成するために3つの深度平面、DP1、DP2、DP3に分解された同じ平らなイメージ600(例えばヒト、木、地面、および月)を示す。最も近くであると意図される物体、ヒト620は、1メートル離れた物体から外に広がっている光を模擬するように調整された深度平面1(DP1)にディスプレイされる。真ん中の物体、木604および地面606は、5メートル離れた物体から外に広がっている光を模擬するように調整された深度平面2(DP2)にディスプレイされる。最後に、最も遠くにある物体、月608は、384,400,000メートル離れた物体から外に広がっている光を模擬するように調整された深度平面3(DP3)にディスプレイされる。(384,400,000メートルは、地球から月へのおおよその距離である。しかしながら、一定の距離を超えた物体に関しては、単にレンズシステム等のイメージングシステムを光学的無限遠に調節することが一般的であり、それによって入射光線は、ほとんど平行な光線として近似される)。この方法において、深度合成イメージ710を見る人は、異なる深度平面で物体を見るとき、彼/彼女の焦点合わせおよび視線収束の両方を調節しなくてはならず、頭痛または不快感は、起きない。
再び図5を参照すると、イメージ生成プロセッサ502は、いくつかの実施形態によると、平らなイメージを複数の深度平面において複数の物体に「分解する」装置としてインプリメントされ得る。他の実施形態において、イメージシーケンスは、別々の深度平面固有イメージシーケンスとして記憶され、イメージ処理生成器は、事前処理された深度平面イメージシーケンスをディスプレイの準備ができているディスプレイ回路に送る。
いくつかの実施形態において、DOEは、それらが能動的に回折する「オン」状態とそれらが有意には回折しない「オフ」状態との間で切り替え可能である。例えば、切り替え可能なDOEは、ポリマー分散液晶の層を備え得、その層において微小液滴は、ホスト媒体における回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的にマッチするように切り替えられ得るか(その場合パターンは、感知できるほどに入射光を回折しない)、または微小液滴は、ホスト媒体のそれとマッチしない率に切り替えられ得る(その場合パターンは、能動的に入射光を回折する)。
バッテリ電力等のリソースを節約するために、いくつかの実施形態において、見る人が特定の深度平面において物体を見ているとき、その深度平面のためのイメージ情報をディスプレイするのみであることが好ましくあり得る。例えば、図7を参照すると、イメージが月608のみから成る場合、DP3は、オンに切り替えられ得、その間他の深度平面、DP1およびDP2は、オフに切り替えられている。随意に、3つ全ての深度平面は、オンにされ得、シーケンスにされた方式で物体をディスプレイするように使用され得る。例えば、FSD520は、迅速な連続でDP1、DP2、DP3のイメージの投影を素早く切り替え得る。人間の視覚システムは、特定の周波数(例えば、30Hz)までの動き/変化を検出することのみができるため、見る人は、FSD520が平面を切り替えていることを知覚しないが、代わりに滑らかな複数深度の平面化された合成イメージストリームを知覚する。
加えて、いくつかの実施形態によると、システムは、眼追跡サブシステム550(図5)も含み得る。この場合、眼追跡サブシステムは、見る人が遠くにある物体を見ているのか、または近くにある物体を見ているのかを判断するために、見る人の眼(例えば眼の収束角度を監視することによって)を監視し得る。システムが、例えば、見る人が月を見ていることを検出する場合、DP3は、オンに切り替えられ得、DP1およびDP2は、オフに切り替えられ、かつ/または弱められる。
積み重ねられた構成は、複数平面焦点合わせを同時に提供するように、(静的導波路およびレンズよりも)動的DOEを使用し得る。例えば、3つの同時の焦点の平面を用いて、一次焦点面(例えば、測定された眼の調節に基づいて)がユーザに提示され得、+マージンおよび−マージン(1つの焦点の平面は、より近くに、1つは、より遠くの外側に)は、大きな焦点の範囲を提供するために使用され得、その範囲内でユーザは、平面がアップデートされることが必要になる前に調節し得る。この増大された焦点の範囲は、(例えば、調節測定によって判断されたように)ユーザがより近くの焦点またはより遠くの焦点に切り替える場合、一時的な利益を提供し得る。次に焦点の新しい平面は、焦点の中間深度に存在するように作られ得、+マージンおよび−マージンは、システムがキャッチアップする間にいずれかへの速い切り替えの準備が再びできている。
しかしながら、このシナリオは、FSDが、複数のDOEに注入されるように異なるイメージ/イメージの部分を迅速に生成するのに十分速く動作することができると仮定している。説明されるように、FSDは、概して、所与の角度にわたって前後にラスタ化することによって機能する。その角度は、ディスプレイされるイメージのための視野(FOV)を決定する。6つの深度平面を有するシステムにおいて(例えばDP1、DP2・・・DP6)、FSDは、シームレスな仕方で深度平面をフレーム毎に6回切り替えることができなくてはならない。例えば、1秒毎のフレーム(FPS)が(多くのビデオストリームインプリメンテーションにおいて典型的である)60である場合、FSDは、それぞれのフレームに対してフレーム毎に6回切り替えなくてはならない。加えて、それぞれの深度平面において2つの標的領域が存在し得、1つは、緑色の光用、2つ目は、赤色および青色の光用である。従って、FSDが切り替え可能でなくてはならない12個の標的がフレーム毎に存在し得る。従って、FSDは、シームレスなイメージ/ビデオシーケンスをラスタ化するために、60FPSおよび12個の標的に対して、1秒毎に約714回切り替えることができなくてはならない。FSDは、イメージをラスタ化するために角度を通してファイバを作動させる物理的/機械的装置であるため、より大きな角度にわたって十分速く作動することは、1秒毎のフレームまたは深度平面の数が増えるほどに、ますます難しくなる。
加えて、FSD520が十分速くラスタ化および切り替えができると仮定して、(FSDから受け取られた光をほとんど直交な角度でDOEアセンブリに向ける)連結光学素子522は、FSDのスピードおよびFOV要件にマッチすることができるべきである。それぞれの深度平面にFSD光を集束させるためにレンズを使用する等の現行のアプローチは、少なくともFOV要件に関して限定される。理想的には、現実的なシミュレーションのために、120度のFOVが、自然な現実世界の視覚を模擬するために必要とされる。しかしながら、可変焦点レンズシステム、LCシャッタ、および/または格子システムを使用する等の現行の連結光学アプローチは、120度のFOVを生じさせることができず、シームレスな視覚的ディスプレイを生じさせるのに十分に速く深度平面を切り替えることができない。
加えて、FSDと、レンズシステム等の連結光学素子とを機械的に作動させることは、要求されるFOVにわたってそのようなアプローチが十分に速く切り替えることができたとしても、電力およびリソースを消耗し得る。従って、大きな視野にわたって複数の深度平面において素早くイメージをディスプレイするためのアプローチの必要性が存在する。
図8は、大きな視野にわたって複数の深度平面においてイメージを素早くディスプレイするためのアプローチを示す。そこでは、アーキテクチャ800は、120度等の大きなFOVにわたってFSDのスピードにマッチできるおよび/またはFSDのスピードを超えることができる音響光学深度スイッチ(ADS)802を除くと、図5に示されるアーキテクチャに似ている。図8の例示的実施形態に示されるように、ADS802は、FSD520から光を受け取り、異なる深度にある異なるDOE層に光を集束させるように連結されている。
図9は、いくつかの実施形態に従うように、ADSおよびDOEアセンブリの局面を示している内部アーキテクチャ900を例示する。そこでは、ADS802が、論理モジュール950および音響光学(AO)モジュレータ952を含む。例示される実施形態において、FSD520からの光入力902は、ADS802ユニットに入り、DOEアセンブリ530の中へ複数の角度で偏向させられる(例えば回折させられる、屈折させられる)。それぞれのDOE層または回折要素(例えば530a、530b、530c)は、深度平面(例えばDP1、DP2、DP3)に対応する。例えば、DOE層530aは、DP1に対応し得、見る人から1メートル離れた知覚距離でヒト620(図7)をディスプレイする。同様に、DOE層530bは、DP2に対応し得、見る人から5メートル離れた知覚距離で地面606に根付いている木604をディスプレイする。最後に、DOE層530cは、DP3に対応し得、384,400,000メートル離れた知覚距離(または光学的無限遠)で月608をディスプレイする。
いくつかの実施形態において、それぞれのDOE層は、ADS802から受け取ったイメージ光を深度平面のスパンに沿って偏向させるために内側連結格子960をインプリメントする。次にイメージは、DOE層を出て第2のセットの回折格子(図示せず)を使用して見る人914に向かい得る。
いくつかの実施形態において、AOモジュレータは、連結光学素子を通して光を受け取り、受け取られた光を導管路に沿って誘導し、基板に沿って表面弾性波を引き起こすために変換器を使用して(表面弾性波は、基板の屈折率を変える)、光が表面弾性波周期に比例した角度で基板を出ることを引き起こす。特に、図9に例示されるように、入力光902は、まずプリズムのような、連結器904を通してAOモジュレータ952とインターフェースをとる。連結器904は、基板912上の導波路906内に光を向ける。いくつかの実施形態において、基板は、石英のような圧電性材料または当該分野で知られているような他の圧電性の透明/半透明の材料を含む。いくつかの実施形態において、基板は、ニオブ酸リチウムの薄いシートを備え、そのシートも、圧電性である(すなわち、圧力/応力に応じて電気を生成する)。
いくつかの実施形態において、ニオブ酸リチウム基板は、材料の屈折率を変えて所望の方向に光を屈折させるために、高電圧(例えば30ボルト)を加えることによって電気光学スイッチとして使用され得る。しかしながら、人間の顔の近くで高電圧を走らせることは、典型的には、望まれない。更に、30ボルトのニオブ酸リチウムスイッチ等の高電圧のスイッチを使用することは、典型的にバッテリ電力が限られている着用可能なコンピュータ視覚システムにおいて実用的でなくあり得る。
代替的に、図9に例示されるように、基板を電気光学スイッチとして使用する代わりに、AOモジュレータは、基板912を音響光学スイッチとして使用する。例えば、変換器908は、基板の表面に沿った波(例えば表面音響波)を生じさせるように、基板が前後に小刻みに動くことを引き起こす非常に低い電圧を供給され得る。表面音響波は、変換器によって生じさせられた波の周波数に比例する特定の規定された周期(例えばピーク間の距離)を有し得る。すなわち、例えば、変換器908が60Hz ACを受ける場合、表面音響波の周期は、60Hzにおおよそマッチする(例えば、材料そのものにおいて失われたエネルギー(例えば、ヒステリシス)は考慮に入れない)。同様に、RF周波数電力が変換器に供給される場合、表面音響波は、RF周波数におおよそマッチする。従って、変換器の周波数を変えることによって、誘起させられた表面波の周期は、制御および/または調整され得る。概して、いくつかの実施形態において、論理モジュール950は、AOモジュレータ952を必要な周波数を生じさせるように管理し得る。例えば、論理モジュールは、データのストリームを受け取り得、変換器が光をDOEアセンブリ層に向けるようにシーケンスにおいて周波数を変えることを引き起こす。他の実施形態において、イメージ処理生成器502等の他の構成要素は、AOモジュレータを周波数のシーケンスを生じさせるように管理する。
前述したように、表面音響波は、基板の屈折率を変え、回折格子の一種としても働き得る。始めに、導波路および基板は、全内部反射が導波路の中の光に対して起きるように2つの異なる屈折率を有する。ニオブ酸リチウム等の特定の基板は、電気エネルギーまたは物理/機械エネルギー(例えば応力)に応じて変わる屈折率を有する。そのように、ニオブ酸リチウム基板に異なる表面音響波を適用することによって、屈折率は、導波路の中で起きている全内部反射を破壊するように変えられ得、従って導波路の中にある光が漏れ出ることを可能にする。
更に、所与の波長の光が格子の外へ偏向させられる角度は、光の波長に比例する。例えば、格子上の輝く白い光は、異なる波長に対応する「分解された」色の虹をもたらす。いくつかの実施形態において、表面音響波は、格子幅(例えば表面音響波に対するピーク間の距離)に比例する角度でイメージ光を導波路/基板インターフェース(例えば図9における912と906との間のインターフェース)から外へ回折する回折格子として働く。この方法において、導波路906を通って伝播する入力光902は、(基板912の屈折率の変化によって引き起こされる)屈折と(表面音響波が波周期に比例して回折格子効果を誘起することによって引き起こされる)回折とによって偏向させられ得る。組み合わさった効果は、入力光902を内側連結格子906等の複数の内側連結格子標的の上に誘導するために使われ得る。加えて、光が1つの標的から次へ偏向させられ得るスピードは、単に変換器908に異なる信号(例えば異なる周波数)を適用することによって調節され得る。この方法において、音響光学深度スイッチ802は、大きなFOVにわたって非常に速い切り替えスピードを達成し得る。
図10は、FSDおよび/または連結光学素子の必要なく、音響光学装置をスキャナおよびスイッチとして使用するアプローチを例示する。そこでは、アーキテクチャ1000は、音響光学スキャナ(AOS)1002と、FSD520がないこととを除いて、図8に例示されるアーキテクチャに類似する。動作において、ディスプレイ回路510からのイメージ信号は、AOS1002へ直接入力される。次にAOS1002は、光を変調し、上で述べたような音響光学アプローチを使用して光を異なる深度平面上へ偏向させ得る。
図11は、いくつかの実施形態に従うように、音響光学スキャナ(AOS)1002およびDOEアセンブリ530の内部アーキテクチャ1100を例示する。例示されるように、ディスプレイ回路510(図5)からの入力光/信号902は、まず、プリズム等の光学連結器であり得る、連結器1114とインターフェースをとり得る。連結器1114は、光を導波路1110内に向け、導波路1110は、光を基板1108の上に誘導するために全内部反射を使用する。上で述べられるアプローチと比較して、図11のAOモジュレータ1106は、2つの変換器を有する。垂直変換器1120は、上で述べられ、概して光がDOEアセンブリ530に向かって異なる角度で偏向することを引き起こす垂直表面音響波1118を生じさせる。
水平変換器1116は、いくつかの実施形態において、垂直変換器1120に直交して整列され得る。水平変換器は、水平表面音響波1112を生じさせるためにインプリメントされる。入力光を(AOモジュレータに対して)垂直に偏向させる垂直表面音響波1118のように、水平表面音響波も、ブラッグ回折等の機構を使用して、導波路において光を偏向させ得るが、偏向は、水平方向である。従って、インプリメントされるように、AOモジュレータ1106は、水平方向および垂直方向の両方において入力光を制御し得る。例えば、イメージ出力1150を参照して、DP2においてディスプレイされるイメージは、地面に根付いている木である。イメージを水平1152にスキャンするように光線を向けるために、水平変換器は、周波数を制御することによって、従って光の水平偏向を制御することによって水平表面音響波を変調し得る。同様に、イメージ出力を垂直1154にスキャンするために、垂直変換器1120は、周波数を制御することによって、従って光の垂直偏向を制御することによって垂直表面音響波1118を変調し得る。
図12は、いくつかの実施形態に従うように、ハイブリッドAOSユニット1202において水平AOモジュレータおよび垂直AOモジュレータを使用して光を偏向させるためのAOSアーキテクチャ1200を示す。そこでは、水平AOモジュレータ1204は、連結器と、基板と、導波路と、水平変換器(例えば、水平変換器1116)とを備え得、それらは、水平に偏向またはシフトされた光1222を生じさせるために使用され得る。次に水平に偏向させられた光は、垂直AOモジュレータ1206内に入力され得る。垂直AOモジュレータは、連結器と、基板と、導波路と、垂直に光を偏向1224させる垂直表面音響波を生じさせる垂直変換器(例えば、垂直変換器1120)とを備え得る。従って、1つの組み合わされた垂直/水平AOモジュレータ(例えば、図11の1106)に代わり、2つのモジュレータ(1204、1206)は、独立したユニットであり、それぞれは、独自の基板と、連結器と、導波路とを有し得るが、直交の変換器を有し得る。
図13は、いくつかの実施形態に従うように、ハイブリッドAOSユニット1310において直立モジュレータおよび直交モジュレータを使用して光を偏向させるためのAOSアーキテクチャ1300を示す。そこでは、直立モジュレータ1320は、図9に例示されるAOモジュレータ952のように構築されている。つまり、それは、(モジュレータに対して)上/下方向において光を偏向させることができる。垂直入力光1304は、直立モジュレータ1320に入力されるとき、垂直方向1154におけるイメージ出力1150のように、イメージをスキャンするように垂直方向に偏向させられる。
直交AOモジュレータ1322も、図9に記載されるAOモジュレータ952のように構築されている。しかしながら、直交AOモジュレータは、直立モジュレータ1320に対して直交であるように90度回転させられ得る。この方法において、直交AOモジュレータ1322は、ブラッグ回折を使用せずに、水平方向1152にイメージをスキャンするように水平入力光1302を偏向させる。直交モジュレータは、例として本明細書に示されるが、当業者は、異なる角度に整列された1つ以上のAOモジュレータが全イメージスキャンを達成するように同様にインプリメントされ得ることを理解する。例えば、3つのAOモジュレータのインプリメンテーションにおいて、第1のAOモジュレータは、0度に整列されて(第1のAOモジュレータに対して)45度に方向づけられている第2のAOモジュレータの中に光を入力し得、第2のAOモジュレータは、(第1のAOモジュレータに対して)90度に方向づけられている第3のAOモジュレータの中に光を入力し得る。この方法において、減らすことができる1つ以上の間にあるモジュレータは、1つのステップで0度から90度にいく代わりに、ゆっくりと角度を変える。
いくつかの実施形態において、1つの基板を有することが好ましくあり得るが、その基板の2つの直交表面が使用される。例えば、基板の上面は、第1の連結器、導波路、および変換器をインプリメントし得る。一方で基板の側面では、第2の連結器、導波路、および変換器がインプリメントされる。動作において、この実施形態は、図13に例示される直立モジュレータおよび直交モジュレータに類似して機能するが、第2の基板および/またはAOモジュレータユニットは、必要ない。
図14は、いくつかの実施形態に従うように、ハイブリッドFSD/AOSモジュールをインプリメントするためのアーキテクチャ1400を例示する。そこでは、ハイブリッドFSD/AOSモジュール1402は、図8におけるFSD520およびADS802に構造的に類似する。しかしながら、図14に例示されるアプローチにおいて、AOS構成要素は、補足的なスキャナ/生成器およびスイッチとして使用される。図15は、この実施形態に従った、AOSモジュレータ1550の内部アーキテクチャ1500を示す。このアプローチにおいて、FSD(例えば、FSD520)は、特定の解像度でディスプレイされるイメージを生成し、そのイメージは、1504に例示されるようにFSDから入力される。例えば、イメージ出力1530を参照すると、FSDは、概して限られた解像度を有し、特定の間隔にある渦に沿って光を出力し得る。すなわち、イメージ出力1530内の渦1510は、FSDが光を投影し得る点を表わす。渦の間の円形の点1512は、FSDの解像度を超えている。しかしながら、FSDは、渦の間の円形の点に届くことはできないが、AOモジュールは、可能である。このアプローチにおいて、ハイブリッドFSD/AOS構成要素は、水平モジュレータおよび垂直モジュレータの両方を有するAOモジュレータ1550を特徴とし、AOモジュレータ1550は、FSDが標的に定めることができないまたは届くことができないイメージ点をより精細に生成し得る。いくつかの実施形態に従うように、まず「1次」イメージ点が、FSDによって生成され得(例えばFSD渦1510に沿う点)、それに対して次に2次/補足イメージ点が、FSDの解像度を超えて位置する点を「埋める」ようにAOモジュレータ1550によって生成される。
図16Aは、いくつかの実施形態に従うように、音響光学深度スイッチを使用して光を投影するためのアプローチのためのフローチャート1600を示す。1602において、レーザー、LED、またはLCD等のイメージ生成器は、一シリーズのイメージを含むイメージ光を生成する。その一シリーズのイメージは、イメージのビデオシーケンスであり得、その一シリーズにおけるそれぞれのイメージは、異なる距離にある物体を示す。例えば、シリーズの第1の部分は、見る人に対して近い(closed)第1の深度平面における全ての物体を含み得る(例えば、見る人は、仮想現実または拡張現実ヘッドセットを着用している)。同様に、シリーズの他の部分は、異なる距離にある物体を含み得る。例示的な実施形態において、6つの深度平面がインプリメントされ、それぞれが、見る人からの6つの距離に対応している。いくつかの実施形態において、6つのうちの第1の深度平面は、3メートルまたはそれより近い距離に対応し、第6の深度平面は、光学的無限遠またはそうでなければ非常に大きな距離に対応する。
1604において、光生成器によって生成されたイメージ光は、FSDに入力され、角度にわたって作動する。いくつかの実施形態に従うように、FSDは、1606に示されるように、音響光学深度スイッチ連結光学素子上に光を投影するように使用される。プリズム等の連結光学素子は、基板に沿って、イメージ光を導波路上に向け得る。音響光学深度スイッチ内の変換器は、表面音響波を基板の表面上に生成するように異なる周波数で振動し得る。上で説明されるように、異なる周波数の表面音響波は、異なる角度でイメージ光を偏向させる。
1608において、変換器は、回折光学要素等の異なる光学要素上にイメージ光を偏向させるように変換器に異なる周波数でSAWを生じさせるように命令する論理モジュールから命令を受け得る。
図16Bは、いくつかの実施形態に従うように、異なる周波数で光を偏向させるように音響光学深度スイッチを使用するためのフローチャート1609を例示する。いくつかの実施形態において、イメージ光は、異なる深度平面のために光の部分にシーケンスにされ得る。例えば、第1の先行する部分は、見る人に対して最も近いものとして示される物体を含み得る。第2の部分は、見る人に対して中間距離で示される物体を含み得る。第3の部分は、見る人から最も遠い距離で示される物体を含み得る。論理モジュールは、第1の部分を1610に示されるように第1の周波数を使用して第1の光学要素に偏向させて、第2の部分を1612に示されるように第2の周波数を使用して第2の光学要素に偏向させて、第3の部分を1613に示されるように第3の周波数を使用して第3の光学要素に偏向させるように、変換器に、異なる周波数のSAWを交互方式で生じさせるように指示し得る。本明細書において例として3つの深度平面および周波数のみが論じられているが、他の数の深度平面(例えば、6)および対応する周波数が、同様にインプリメントされ得る。
図16Cは、いくつかの実施形態に従うように、直交するように方向づけられた変換器を使用して直交方向に光を投影するためのアプローチのためのフローチャート1614を示す。1616において、水平SAWは、水平変換器を使用して生成される。水平SAWは、ブラッグ回折を使用して水平方向に沿って光を光学要素上に偏向またはラスタ化させ得る。1618において、垂直SAWは、垂直変換器を使用して生成される。垂直SAWは、屈折および回折を使用して垂直方向に沿って光を光学要素上に偏向(defect)またはラスタ化させ得る。
図17は、いくつかの実施形態に従うように、光投影器および論理モジュールのアスペクトをインプリメントするために適している例示的なコンピューティングシステム1700のブロック図である。コンピュータシステム1700は、情報を通信するためのバス1706または他の通信機構を含み、それは、プロセッサ1707、システムメモリ1708(例えば、RAM)、静的記憶装置1709(例えば、ROM)、ディスクドライブ1710(例えば、磁気的または光学的)、通信インターフェース1714(例えば、モデムまたはイーサネット(登録商標)カード)、ディスプレイ1711(例えば、CRTまたはLCD)、入力装置1712(例えば、キーボード)、およびカーソル制御等の、サブシステムおよび装置を相互接続する。
本発明の1つの実施形態によると、コンピュータシステム1700は、プロセッサ1707がシステムメモリ1708に含まれている1つ以上の命令の1つ以上のシーケンスを実行することによって特定の動作を実行する。そのような命令は、静的記憶装置1709またはディスクドライブ1710等の別のコンピュータ読み取り可能/使用可能媒体からシステムメモリ1708へ読み込まれ得る。代替的な実施形態において、ハードワイヤードの回路は、本発明をインプリメントするようにソフトウェア命令の代わりにまたはソフトウェア命令と組み合わさって使用され得る。従って、本発明の実施形態は、ハードウェア回路および/またはソフトウェアのどの特定の組み合わせにも限定されない。1つの実施形態において、「論理」という用語は、本発明の全てまたは一部をインプリメントするように使用されるソフトウェアまたはハードウェアの任意の組み合わせを意味する。
一時的な実施形態、ハードワイヤードの回路という用語は、代わりに使われ得、実行のためにプロセッサ1707に命令を提供することに関与する任意の媒体を指す。そのような媒体は、不揮発性媒体および揮発性媒体を含むが、それらに限定されない、多くの形をとり得る。不揮発性媒体は、例えば、ディスクドライブ1710等の光学または磁気ディスクを含む。揮発性媒体は、システムメモリ1708等の動的メモリを含む。いくつかの実施形態によると、データベース1732は、データインターフェース1733”を使用してコンピュータ読み取り可能媒体1731上でアクセスされ得る。
コンピュータ読み取り可能媒体の一般的な形は、例えば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、CD−ROM、任意の他の光学媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理的媒体、RAM、PROM、EPROM、FLASH−EPROM、任意の他のメモリチップまたはカートリッジ、またはコンピュータが読み取り得る任意の他の媒体を含む。
本発明の実施形態において、本発明を実践するための命令のシーケンスの実行は、単一コンピュータシステム1700によって実行される。本発明の他の実施形態によると、通信リンク1715(例えば、LAN、PTSN、または無線ネットワーク)によって連結された2つ以上のコンピュータシステム1700は、互いに共同で本発明を実践するために必要とされる命令のシーケンスを実行し得る。
コンピュータシステム1700は、プログラム、すなわちアプリケーションコードを含む命令、データおよびメッセージを通信リンク1715および通信インターフェース1714を通して送って受け取り得る。受け取られたプログラムコードは、受け取られたときにプロセッサ1707によって実行され得、かつ/または後での実行のためにディスクドライブ1710または他の不揮発性記憶装置に記憶され得る。
前述の明細書において、本発明は、その特定の実施形態の参照とともに記載されてきた。しかしながら、本発明の幅広い精神および範囲から外れることなくそれに様々な修正および変更が加えられ得ることが明らかである。例えば、上に記載されるプロセスの流れは、プロセス行為の特定の順番の参照とともに記載されている。しかしながら、記載されるプロセス行為のうちの多くのプロセス行為の順番は、本発明の範囲または動作に影響を与えることなく変更され得る。明細書および図は、適切に、制限的な意味ではなくむしろ例示的な意味であると見なされるべきである。

Claims (18)

  1. 光を投影するためのシステムであって、該システムは、
    一シリーズのイメージに対応するイメージ光を生成する光生成器と、
    該光生成器によって生成された該イメージ光を受け取るディスプレイ装置と、
    音響光学スキャナ
    を備え、
    該ディスプレイ装置が、該イメージ光該音響光学スキャナ上に偏向させ該音響光学スキャナが、該イメージ光の部分を複数の回折光学要素上に偏向させ、該複数の回折光学要素のそれぞれは、該一シリーズのイメージの異なる深度平面に対応し、
    該音響光学スキャナは、第1の解像度において該ディスプレイ装置から該イメージ光を受け取り、該第1の解像度よりも大きい第2の解像度において該イメージ光を出力するように構成されている、システム。
  2. 前記音響光学スキャナは、前記光生成器に光学的に連結されている、請求項1のシステム。
  3. 前記音響光学スキャナは、基板上に表面音響波を生成する変換器を備え、該表面音響波は、前記イメージ光を前記複数の回折光学要素上に偏向させる、請求項1のシステム。
  4. 音響光学スキャナは、第1の周波数および該第1の周波数とは異なる第2の周波数を含む複数の周波数において前記表面音響波を生成するように構成されており、該第1の周波数は、前記イメージ光の一部分を第1の回折光学要素上に偏向させ、該第2の周波数は、該イメージ光の一部分を第2の回折要素上に偏向させる、請求項のシステム。
  5. 前記基板は、ニオブ酸リチウム基板である、請求項のシステム。
  6. 前記音響光学スキャナは、基板上に光を垂直に偏向させる表面音響波を生成する垂直変換器と、該基板上に光を水平に偏向させる表面音響波を生成する水平変換器とを備える、請求項1のシステム。
  7. 光を投影するための方法であって、該方法は、
    光生成器により、一シリーズのイメージに対応するイメージ光を生成することであって、該一シリーズのイメージは、異なる距離に対応する物体を含んでいる、ことと、
    音響光学スキャナを介して該一シリーズのイメージの部分を回折光学要素に偏向させることであって、該一シリーズのイメージの第1の部分は、第1の距離に対応する第1の回折光学要素に偏向させられ、該一シリーズのイメージの第2の部分は、第2の距離に対応する第2の回折光学要素に偏向させられ、該第2の距離は、該第1の距離よりも大きい、ことと
    ファイバスキャン装置によって、該光生成器によって生成された該イメージ光を受け取り、該イメージ光を該音響光学スキャナ上に偏向させることであって、該ファイバスキャン装置は、第1の解像度において光を投影するように構成可能であり、該音響光学スキャナは、該第1の解像度よりも大きい第2の解像度において光を投影するように構成可能であり、該音響光学スキャナは、該第1の解像度において該ファイバスキャン装置から該イメージ光を受け取り、該音響光学スキャナは、該第2の解像度において該イメージ光を出力する、ことと
    を含む、方法。
  8. 前記音響光学スキャナは、前記イメージ光を生成する光生成器に光学的に連結されている、請求項の方法。
  9. 前記音響光学スキャナは、基板上に表面音響波を生成する変換器を備え、該表面音響波は、前記イメージ光を前記回折光学要素上に偏向させる、請求項の方法。
  10. 音響光学スキャナは、第1の周波数および該第1の周波数とは異なる第2の周波数を含む複数の周波数において前記表面音響波を生成するように構成され、該第1周波数は、前記第1の部分を前記第1の回折光学要素に偏向させ、該第2の周波数は、前記第2の部分を前記第2の回折光学要素に偏向させる、請求項の方法。
  11. 前記基板は、ニオブ酸リチウム基板である、請求項の方法。
  12. 前記音響光学スキャナは、基板上に光を垂直に偏向させる表面音響波を生成する垂直変換器と、該基板上に光を水平に偏向させる表面音響波を生成する水平変換器とを備える、請求項の方法。
  13. 光を投影するためのシステムであって、該システムは、
    一シリーズのイメージに対応するイメージ光を生成する光生成器と、
    該光生成器によって生成された該イメージ光を受け取るディスプレイ装置と、
    音響光学スキャナと
    を備え、
    該ディスプレイ装置が、該イメージ光該音響光学スキャナ上に偏向させ該音響光学スキャナ、該イメージ光の部分を複数の回折光学要素上に偏向させ、該複数の回折光学要素のそれぞれは、該一シリーズのイメージの異なる深度平面に対応し、
    該音響光学スキャナは、水平モジュレータおよび垂直モジュレータを備え、該水平モジュレータは、該イメージ光を水平に偏向させ、該垂直モジュレータは、該イメージ光を垂直に偏向させ、該垂直モジュレータは、該水平モジュレータから水平に偏向させられたイメージ光を受け取り、
    該音響光学スキャナは、第1の解像度において該ディスプレイ装置から該イメージ光を受け取り、該第1の解像度よりも大きい第2の解像度において該イメージ光を出力するように構成されている、システム。
  14. 音響光学スキャナは、前記光を水平および垂直に偏向させるように表面音響波を生成するように構成され、該音響光学スキャナは、第1の周波数および該第1の周波数とは異なる第2の周波数を含む複数の周波数において該表面音響波を生成するように構成され、該第1の周波数は、前記イメージ光の一部分を第1の回折光学要素上に偏向させ、該第2の周波数は、該イメージ光の一部分を第2の回折要素上に偏向させる、請求項13のシステム。
  15. 光を投影するためのシステムであって、該システムは、
    一シリーズのイメージに対応するイメージ光を生成する光生成器と、
    該光生成器によって生成された該イメージ光を受け取るディスプレイ装置と、
    音響光学スキャナと
    を備え、
    該ディスプレイ装置が、該イメージ光該音響光学スキャナ上に偏向させ該音響光学スキャナ、該イメージ光の部分を複数の回折光学要素上に偏向させ、該複数の回折光学要素のそれぞれは、該一シリーズのイメージの異なる深度平面に対応し、
    該音響光学スキャナは、水平モジュレータおよび該水平モジュレータに対して並列である垂直モジュレータを備え、該水平モジュレータは、該イメージ光を水平に偏向させ、該垂直モジュレータは、該イメージ光を垂直に偏向させ、該垂直モジュレータは、該一シリーズのイメージのうち垂直に偏向させられる部分を入力として受け取り、該水平モジュレータは、該一シリーズのイメージのうち平行に偏向させられる部分を入力として受け取り、
    該音響光学スキャナは、第1の解像度において該ディスプレイ装置から該イメージ光を受け取り、該第1の解像度よりも大きい第2の解像度において該イメージ光を出力するように構成されている、システム。
  16. 音響光学スキャナは、前記光を水平および垂直に偏向させるように表面音響波を生成するように構成され、該音響光学スキャナは、第1の周波数および該第1の周波数とは異なる第2の周波数を含む複数の周波数において該表面音響波を生成するように構成され、該第1の周波数は、前記イメージ光の一部分を第1の回折光学要素上に偏向させ、該第2の周波数は、該イメージ光の一部分を第2の回折要素上に偏向させる、請求項15のシステム。
  17. 光を投影するためのシステムであって、該システムは、
    一シリーズのイメージに対応するイメージ光を生成する光生成器と、
    音響光学スキャナと
    を備え、該イメージ光は、該音響光学スキャナ上に偏向させられ、該音響光学スキャナは、該イメージ光の部分を複数の回折光学要素上に偏向させ、該複数の回折光学要素のそれぞれは、該一シリーズのイメージの異なる深度平面に対応し、
    ファイバスキャン装置、該光生成器によって生成された該イメージ光を受け取り、該イメージ光を該音響光学スキャナ上に偏向させ該ファイバスキャン装置は、第1の解像度で光を投影するように構成可能であり、該音響光学スキャナは、該第1の解像度よりも大きい第2の解像度で光を投影するように構成可能であり、該音響光学スキャナは、該第1の解像度において該ファイバスキャン装置から該イメージ光を受け取り、該音響光学スキャナは、該第2の解像度において該イメージ光を出力する、システム。
  18. 音響光学スキャナは、前記光を水平および垂直に偏向させるように表面音響波を生成するように構成され、該音響光学スキャナは、第1の周波数および該第1の周波数とは異なる第2の周波数を含む複数の周波数において該表面音響波を生成するように構成され、該第1の周波数は、前記イメージ光の一部分を第1の回折光学要素上に偏向させ、該第2の周波数は、該イメージ光の一部分を第2の回折要素上に偏向させる、請求項17のシステム。
JP2017534696A 2014-12-29 2015-12-29 音響光学制御装置を使用する光投影器 Active JP6738336B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462097563P 2014-12-29 2014-12-29
US62/097,563 2014-12-29
PCT/US2015/067957 WO2016109599A1 (en) 2014-12-29 2015-12-29 Light projector using an acousto-optical control device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020027831A Division JP6785999B2 (ja) 2014-12-29 2020-02-21 音響光学制御装置を使用する光投影器

Publications (2)

Publication Number Publication Date
JP2018503871A JP2018503871A (ja) 2018-02-08
JP6738336B2 true JP6738336B2 (ja) 2020-08-12

Family

ID=56285016

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017534696A Active JP6738336B2 (ja) 2014-12-29 2015-12-29 音響光学制御装置を使用する光投影器
JP2020027831A Active JP6785999B2 (ja) 2014-12-29 2020-02-21 音響光学制御装置を使用する光投影器
JP2020041612A Active JP7003167B2 (ja) 2014-12-29 2020-03-11 音響光学制御装置を使用する光投影器

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2020027831A Active JP6785999B2 (ja) 2014-12-29 2020-02-21 音響光学制御装置を使用する光投影器
JP2020041612A Active JP7003167B2 (ja) 2014-12-29 2020-03-11 音響光学制御装置を使用する光投影器

Country Status (10)

Country Link
US (4) US10015477B2 (ja)
EP (3) EP3723367B1 (ja)
JP (3) JP6738336B2 (ja)
KR (4) KR102664868B1 (ja)
CN (2) CN113163180B (ja)
AU (1) AU2015374071B2 (ja)
CA (2) CA2971613C (ja)
IL (4) IL302657B1 (ja)
NZ (3) NZ759405A (ja)
WO (1) WO2016109599A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11300791B2 (en) 2019-08-21 2022-04-12 Magic Leap, Inc. Flat spectral response gratings using high index materials

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9674510B2 (en) * 2012-11-21 2017-06-06 Elwha Llc Pulsed projection system for 3D video
KR101844883B1 (ko) 2014-12-23 2018-04-03 메타 컴퍼니 관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 결합시키는 장치, 방법 및 시스템
US20160343173A1 (en) * 2015-05-20 2016-11-24 Daqri, Llc Acousto-optical display for augmented reality
WO2018140939A1 (en) 2017-01-30 2018-08-02 The Charles Stark Draper Laboratory, Inc. Electro-holographic light field generators and displays
US11243450B2 (en) * 2017-01-30 2022-02-08 The Charles Stark Draper Laboratory, Inc. Saw modulator having optical power component for extended angular redirection of light
US10534185B1 (en) * 2017-02-14 2020-01-14 Facebook Technologies, Llc Multi-planar display with waveguide and lens stacks
US10739665B2 (en) * 2017-04-17 2020-08-11 Brigham Young University Structures for modifying leaky mode light
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
US12013538B2 (en) 2017-07-03 2024-06-18 Holovisions LLC Augmented reality (AR) eyewear with a section of a fresnel reflector comprising individually-adjustable transmissive-reflective optical elements
US10338400B2 (en) 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
US10895746B1 (en) 2017-08-07 2021-01-19 Facebook Technologies, Llc Expanding field-of-view in direct projection augmented reality and virtual reality systems
US10534209B1 (en) 2017-08-21 2020-01-14 Facebook Technologies, Llc Liquid crystal structure for controlling brightness uniformity in a waveguide display
FI128044B (en) 2017-12-22 2019-08-30 Dispelix Oy Laser projector and diffractive display device
FI129586B (en) * 2017-12-22 2022-05-13 Dispelix Oy Waveguide display element with many pupils and display device
US10156770B1 (en) * 2018-02-08 2018-12-18 The Charles Stark Draper Laboratory, Inc. Packaging and interconnect systems for edge-emitting light modulators based on surface acoustic wave (SAW) modulation
US10613332B1 (en) 2018-02-15 2020-04-07 Facebook Technologies, Llc Near-eye display assembly with enhanced display resolution
EP3776027A4 (en) * 2018-04-02 2021-12-29 Magic Leap, Inc. Waveguides with integrated optical elements and methods of making the same
EP3843866B1 (en) * 2018-08-28 2023-03-08 Magic Leap, Inc. Dynamic incoupling gratings in imaging systems
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
JP2020064096A (ja) * 2018-10-15 2020-04-23 ソニー株式会社 画像表示装置、頭部装着型ディスプレイ、画像表示装置の製造方法、及び画像表示装置の調整方法
US11457804B1 (en) * 2019-05-02 2022-10-04 Amazon Technologies, Inc. System for monitoring vision changes

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3851951A (en) * 1974-01-16 1974-12-03 Isomet Corp High resolution laser beam recorder with self-focusing acousto-optic scanner
JPS61213832A (ja) * 1985-03-19 1986-09-22 Nippon Sheet Glass Co Ltd 光偏向器
GB2249845A (en) * 1990-11-09 1992-05-20 Marconi Gec Ltd Acousto-optic device
US5903397A (en) 1998-05-04 1999-05-11 University Of Washington Display with multi-surface eyepiece
US6563105B2 (en) * 1999-06-08 2003-05-13 University Of Washington Image acquisition with depth enhancement
TW540228B (en) * 2000-11-03 2003-07-01 Actuality Systems Inc Three-dimensional display systems
IL140309A0 (en) * 2000-12-14 2002-02-10 Yeda Res & Dev Acousto-optic scanner with fast non-linear scan
AU2002246714A1 (en) * 2000-12-18 2002-08-06 Sara L. Johnson 3d display devices with transient light scattering shutters
JP4531740B2 (ja) * 2006-12-15 2010-08-25 富士通株式会社 コヒーレント光受信機
US8149265B2 (en) 2007-08-11 2012-04-03 Massachusetts Institute Of Technology Holographic video display system
US8757812B2 (en) * 2008-05-19 2014-06-24 University of Washington UW TechTransfer—Invention Licensing Scanning laser projection display devices and methods for projecting one or more images onto a surface with a light-scanning optical fiber
CN101505389B (zh) * 2009-02-13 2011-10-12 深圳市纳宇电子有限公司 激光投影显示装置及实现方法
US8547618B2 (en) * 2009-04-09 2013-10-01 Panasonic Corporation Beam scanning display apparatus
CN101814694B (zh) * 2010-04-28 2011-07-20 天津奇谱光电技术有限公司 可调谐激光器
KR101826744B1 (ko) 2011-08-24 2018-02-07 삼성전자주식회사 나노 구조를 갖는 음향광학 소자, 및 상기 음향광학 소자를 이용한 광스캐너, 광 변조기 및 디스플레이 장치
KR101826743B1 (ko) 2011-08-25 2018-02-07 삼성전자주식회사 광회절각 음향광학 소자, 및 상기 음향광학 소자를 이용한 광 스캐너, 광 변조기 및 디스플레이 장치
BR112014012615A2 (pt) * 2011-11-23 2017-06-13 Magic Leap Inc sistema de exibição de realidade aumentada e virtual tridimensional
EP2795392B1 (en) * 2011-12-22 2018-07-04 Intel Corporation Configuration of acousto-optic deflectors for laser beam scanning
US9052414B2 (en) * 2012-02-07 2015-06-09 Microsoft Technology Licensing, Llc Virtual image device
WO2013163347A1 (en) 2012-04-25 2013-10-31 Rockwell Collins, Inc. Holographic wide angle display
US8754829B2 (en) * 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
US10025089B2 (en) * 2012-10-05 2018-07-17 Microsoft Technology Licensing, Llc Backlight for viewing three-dimensional images from a display from variable viewing angles
IL301489B1 (en) * 2013-01-15 2024-04-01 Magic Leap Inc A system for scanning electromagnetic imaging radiation
CN203120067U (zh) * 2013-03-30 2013-08-07 广东汉唐量子光电科技有限公司 一种新型激光投影显示装置
CN110542938B (zh) 2013-11-27 2023-04-18 奇跃公司 虚拟和增强现实系统与方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11300791B2 (en) 2019-08-21 2022-04-12 Magic Leap, Inc. Flat spectral response gratings using high index materials
US11885969B2 (en) 2019-08-21 2024-01-30 Magic Leap, Inc. Flat spectral response gratings using high index materials

Also Published As

Publication number Publication date
US10728532B2 (en) 2020-07-28
AU2015374071A1 (en) 2017-08-10
US20160286204A1 (en) 2016-09-29
NZ759405A (en) 2022-01-28
WO2016109599A1 (en) 2016-07-07
CN113163180B (zh) 2023-03-31
JP7003167B2 (ja) 2022-02-04
EP3723367B1 (en) 2023-08-16
US20190166356A1 (en) 2019-05-30
IL289705A (en) 2022-03-01
KR102270055B1 (ko) 2021-06-25
IL283580A (en) 2021-07-29
EP3240969A4 (en) 2018-06-13
CA2971613C (en) 2022-07-19
JP2018503871A (ja) 2018-02-08
EP3240969A1 (en) 2017-11-08
IL302657B1 (en) 2024-03-01
CA3161521A1 (en) 2016-07-07
KR20230093374A (ko) 2023-06-27
EP4231637A2 (en) 2023-08-23
US10237540B2 (en) 2019-03-19
US20200336731A1 (en) 2020-10-22
EP3240969B1 (en) 2020-07-15
IL253213B (en) 2021-06-30
IL289705B2 (en) 2023-10-01
CA2971613A1 (en) 2016-07-07
KR102664868B1 (ko) 2024-05-10
NZ733965A (en) 2021-07-30
US11381804B2 (en) 2022-07-05
IL253213A0 (en) 2017-08-31
EP4231637A3 (en) 2023-11-01
IL302657A (en) 2023-07-01
NZ759399A (en) 2022-01-28
CA3161521C (en) 2024-03-12
EP3723367A1 (en) 2020-10-14
CN107110479A (zh) 2017-08-29
US10015477B2 (en) 2018-07-03
KR102547307B1 (ko) 2023-06-22
KR20170115522A (ko) 2017-10-17
US20180270477A1 (en) 2018-09-20
IL283580B (en) 2022-02-01
AU2015374071B2 (en) 2021-05-27
KR102414644B1 (ko) 2022-06-28
CN107110479B (zh) 2021-04-20
JP6785999B2 (ja) 2020-11-18
JP2020095280A (ja) 2020-06-18
KR20220093277A (ko) 2022-07-05
KR20210078584A (ko) 2021-06-28
CN113163180A (zh) 2021-07-23
JP2020095288A (ja) 2020-06-18
IL289705B1 (en) 2023-06-01

Similar Documents

Publication Publication Date Title
JP6785999B2 (ja) 音響光学制御装置を使用する光投影器
US11138793B2 (en) Multi-depth plane display system with reduced switching between depth planes
CN106537219B (zh) 用于在虚拟和增强现实中产生焦平面的方法和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200717

R150 Certificate of patent or registration of utility model

Ref document number: 6738336

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250