JP7075940B2 - Mems走査ディスプレイデバイス - Google Patents

Mems走査ディスプレイデバイス Download PDF

Info

Publication number
JP7075940B2
JP7075940B2 JP2019548064A JP2019548064A JP7075940B2 JP 7075940 B2 JP7075940 B2 JP 7075940B2 JP 2019548064 A JP2019548064 A JP 2019548064A JP 2019548064 A JP2019548064 A JP 2019548064A JP 7075940 B2 JP7075940 B2 JP 7075940B2
Authority
JP
Japan
Prior art keywords
scanning
image
phase offset
head
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019548064A
Other languages
English (en)
Other versions
JP2020510873A (ja
Inventor
アレン タルディフ,ジョン
オーウェン ミラー,ジョシュア
エヌ. マルゴリス,ジェフリー
Original Assignee
マイクロソフト テクノロジー ライセンシング,エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/624,477 external-priority patent/US10365709B2/en
Application filed by マイクロソフト テクノロジー ライセンシング,エルエルシー filed Critical マイクロソフト テクノロジー ライセンシング,エルエルシー
Publication of JP2020510873A publication Critical patent/JP2020510873A/ja
Application granted granted Critical
Publication of JP7075940B2 publication Critical patent/JP7075940B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/101Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/12Scanning systems using multifaceted mirrors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24Coupling light guides
    • G02B6/42Coupling light guides with opto-electronic elements
    • G02B6/4201Packages, e.g. shape, construction, internal or external details
    • G02B6/4204Packages, e.g. shape, construction, internal or external details the coupling comprising intermediate optical elements, e.g. lenses, holograms
    • G02B6/4214Packages, e.g. shape, construction, internal or external details the coupling comprising intermediate optical elements, e.g. lenses, holograms the intermediate optical element having redirecting reflective means, e.g. mirrors, prisms for deflecting the radiation from horizontal to down- or upward direction toward a device
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Prostheses (AREA)
  • Instrument Panels (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Description

いくつかのディスプレイデバイスは、光源走査を用いて可視画像を生成する。一例では、レーザ光は、異なる角度で走査ミラーシステムによって反射され、投影画像のピクセルにまたがってレーザを走査する。各ピクセルにおける光の色及び/又は強度の制御により、画像を投影することが可能になる。
ヘッドマウント型走査画像ディスプレイシステムに関する例が開示される。一例において、走査ヘッドマウント型ディスプレイシステムは、光源と、動きセンサと、光源からの光を少なくとも一次元に沿って走査して画像を形成するように構成される走査ミラーシステムと、光を走査して画像を形成するよう走査ミラーシステムを制御し、動きセンサから頭部の動きデータ(head motion data)を受け取り、頭部の動きデータに基づいて、走査速度と、画像の第1フレームと第2フレームとの間の位相オフセットとのうちの1つ以上を調整するように構成されるコントローラとを含む。この要約は、以下の詳細な説明で更に説明される概念の選択を簡略化された形式で紹介するために提供される。この要約は、特許請求に係る主題の主要な特徴又は本質的な特徴を特定するように意図されておらず、また、特許請求に係る主題の範囲を限定するように使用されるようにも意図されていない。さらに、特許請求に係る主題は、本開示のいずれかの部分に記載されたいずれかの又はすべての欠点を解決する実装に限定されない。
例示のMEMS走査ヘッドマウント型ディスプレイデバイスのブロック図である。
例示のレーザトレースの図解である。
別の例示のレーザトレースの図解である。
第1回転方向における例示のレーザダイを示す図である。
第2回転方向における図4の例示のレーザダイを示す図である。
別の例示のレーザトレースの図解である。
別の例示のレーザトレースの図解である。
走査ヘッドマウント型ディスプレイデバイスの1つ以上の動作パラメータを動的に調整する例示的な方法を示すフロー図である。
別の例の走査ヘッドマウント型ディスプレイデバイスのブロック図である。
別の例の走査ヘッドマウント型ディスプレイデバイスのブロック図である。
例示のコンピューティングデバイスのブロック図である。
上述のように、いくつかのディスプレイデバイスは、光源走査を用いて可視画像を生成する。一例では、レーザ光はミラーシステムによって異なる角度で反射され、反射されたレーザ光を視野(FOV:field-of-view)にわたって投影する。反射角の範囲を達成するために、マイクロエレクトロメカニカルシステム(MEMS:microelectromechanical system)アクチュエータのような適切なアクチュエータがミラーシステムを回転させることができる。
MEMSアクチュエータは、水平方向及び垂直方向にミラーシステムを回転させて、二次元FOV内に可視画像を生成することができる。この目的のために、ミラーシステムは、水平方向と垂直方向の双方で駆動される単一のミラーを含むか、あるいは水平方向と垂直方向で別個に駆動される2つのミラーを含むことができる。水平方向と垂直方向では異なる走査速度を用いることができる。2つのミラーシステムでは、例えば水平に走査されるミラーは、比較的速い速度(例えば~10kHz)で駆動されてよく、一方、垂直に走査されるミラーは、比較的遅い速度(例えば~60Hz)で駆動されてもよい。水平及び垂直走査速度は、ミラー開口(例えば直径)及び走査角度のような他の要因とともに、これらの速度で生成される画像の解像度を少なくとも部分的に決定することができる。
しかしながら、現在のMEMS技術は、ミラー走査速度に上限を設け、これは表示解像度を制限することになる。一例として、水平走査速度27kHzと垂直走査速度60Hzを組み合わせると、720pの垂直解像度を得ることができる。特に、720p及び同様の垂直解像度がぼやけて低解像度に見える可能性があるニアアイ・ディスプレイ実装では、かなり高い垂直解像度(例えば1440p、2160p)が望まれることがある。水平及び/又は垂直走査速度の増加は表示解像度を増加させるが、前者は技術的に実行不可能であり、後者は電力消費を増加させる。さらに、高い走査速度は、ミラー走査角度及び開口を少なくとも部分的に制約することがあり、より大きな値も望まれる。加えて、より高い解像度をサポートすることは、より小さい「ピクセル」サイズに関連する回折限界に起因して、より大きなミラーサイズも必要とすることがある。より大きなミラーはより低い走査周波数をもたらすので、このようなより大きなミラーの使用は、走査ディスプレイでより高い解像度を達成する難しさを更に増大させる可能性がある。
したがって、高解像度出力のために構成されるレーザベースのMEMS走査ディスプレイデバイスの例を開示する。以下で説明されるように、複数のレーザを動作させるインターレースモードを、インターレースフレーム間の可変走査速度及び/又は位相オフセットと組み合わせて、レーザ出力間の所望の間隔(spacing)を達成し、これにより所望の画像ピクセル間隔及び解像度を得ることができる。複数のレーザの使用は、ミラー期間(mirror period)毎に複数のラインを走査することを可能にし、それによって、ミラー走査周波数を増加させることなく、より高い解像度を達成することを可能にし、また、より大きなミラーが使用されることを許容し、これにより、回折限界によって課されるピクセルサイズの問題を回避するのを助けることができる。さらに、アイトラッキングセンサからの出力を用いて、ユーザの注視方向に応じてレーザ出力間隔を動的に変更する例を開示する。
図1は、レーザベースのMEMS走査ディスプレイデバイスとして示される、例示的なディスプレイデバイス100のブロック図を示す。ディスプレイデバイス100は、光源102を備えており、図4及び図5を参照して以下に更に詳細に説明されるように、光源102は、任意の適切な形態(例えば1つ以上の固体レーザ)をとってよく、1つ以上の波長の光(例えば赤、緑及び/又は青の波長範囲の光)の光を出力してよい。光源102は、第1ミラー104による受信のために光を出力し、第1ミラー104は、光源から受け取った光を第2ミラー106の方へ反射する。第1ミラー104は、水平方向(例えばx軸)に走査するように構成されてよく、第2ミラー106は、垂直方向(例えばy軸)に走査するように構成されてよく、その結果、光は、最終的に二次元FOVにわたって投影されて可視画像を形成する。他の例では、第1ミラーが垂直方向に走査してよく、第2ミラーが水平方向に走査してもよい。
図1は、第2ミラー106から、可視画像が形成される出力部108に向かう、光の反射を示している。出力部108は、ディスプレイ面、投影光学系、導波路光学系等の任意の適切な形態をとることができる。例として、ディスプレイデバイス100は、不透明な面として構成される出力部108を有する仮想現実ヘッドマウントディスプレイ(HMD)デバイスとして、あるいは部分的に透明な面として構成される出力部を有し、かつ、その面を通して周囲の物理環境に対応する画像が伝送されて、レーザ光と結合され得る、混合現実HMDデバイスとして構成されてもよい。ディスプレイデバイス100は、ヘッドアップディスプレイ、モバイルディスプレイ画面、モニタ、テレビ等のような他の適切な形態をとってもよい。
所望の画像の生成を可能にするために、アクチュエータ110は、第1ミラー104と第2ミラー106を別個に駆動する。一例では、アクチュエータ110は、第1ミラー104を水平方向に比較的早い第1速度(例えば27kHz、35kHz)で回転させ、第2ミラー106を垂直方向に比較的遅い第2速度(例えば60Hz、120Hz)で回転させる。第2ミラー106が連続的に垂直に走査されるように第2速度を固定してもよいが、他の例では、第2ミラーが、水平走査線の完了前に実質的にゼロに等しい垂直速度を有し、水平走査線の完了時にはゼロではなくなり、それによって次の水平走査線に移行するように、垂直走査が段階的に行われてもよい。ミラー104及び106は、(例えば共振圧電作動される)MEMS作動ミラーのような任意の適切な形態をとってもよい。
いくつかの実装では、ディスプレイデバイス100は、該ディスプレイデバイスのユーザの注視方向を検出するように動作可能なアイトラッキングセンサ112を更に備えてもよい。注視方向は、ユーザの注視が向けられる、出力部108における位置を決定するために、ディスプレイ空間内の領域にマッピングされてもよい。以下で図3を参照して更に詳細に説明されるように、ディスプレイデバイス100の1つ以上の動作パラメータ(例えば垂直走査速度、位相オフセット)は、決定された注視位置に応答して変更されてもよい。センサ112は、任意の適切な形態をとることができる。一例として、センサ112は、光のきらめき(glint)をユーザの各眼の角膜から反射させるように構成される1つ以上の光源(例えば赤外光源)と、きらめきを含むユーザの眼の画像をキャプチャする1つ以上の画像センサを備えてもよい。
いくつかの例において、ディスプレイデバイス100は、例えばユーザの頭部の動きから生じる、ディスプレイデバイスの動きを検出するように動作可能な動きセンサ113を更に備えてもよい。図8を参照して以下で更に詳細に説明されるように、ディスプレイデバイス100の1つ以上の動作パラメータ(例えば垂直走査速度、位相オフセット)が、検出された動きに応答して変更されてもよい。動きセンサ113は、任意の好適な形態をとってよい。一例として、動きセンサ113は、1つ以上の加速度計、ジャイロスコープ、及び/又は磁力計を含んでもよい。
ディスプレイデバイス100は、本明細書で説明されるアプローチを実施するためのコントローラ114を更に備える。コントローラ114は、レーザ102の動作(例えば周波数、強度、デューティサイクル)及び/又は第1ミラー104及び/又は第2ミラー106の動作を制御することができる。コントローラ114は、アイトラッキングセンサ112及び/又は動きセンサ113からの出力を受け取り、アイトラッキングセンサの出力及び/又は動きセンサの出力に基づいて、レーザ、第1ミラー及び/又は第2ミラーの動作を調整することもできる。
ディスプレイデバイス100は、図1に図示されていない代替又は追加の要素を備えてもよい。例えば1つ以上の光学素子(例えばコリメータ、ディフューザ、コンバイナ、収束レンズ、発散レンズ、ホログラフィック素子)を、レーザ光がそれに沿って進む光路内に配置して、所望のディスプレイ特性を達成することができる。ディスプレイデバイス100は、ディスプレイデバイスの能動素子に電力を提供するよう、適切な電源(例えばバッテリ、電源)を更に含んでもよい。さらに、第1ミラー104及び第2ミラー106の代わりに単一のミラーを含むことのように、ディスプレイデバイス100に対する様々な修正が考えられ、そのような場合、単一のミラーは水平方向と垂直方向の双方で走査される。
図2は、例示のレーザトレースの図解200を示す。図解200は、例えば図1のディスプレイデバイス100によって生成され得る光学出力を示す。連続的にインターレースされ得る、2つの異なるフレームにおける2つのレーザの出力に対応する4つのレーザトレースが示されている。各トレースは、例えば図1の出力部108において、FOV 201のディスプレイ空間で生成される光に対応する。したがって、転換点(turning point)202A及び202Bのような連続する転換点の間のレーザトレースの部分は、そのレーザトレースによって描かれる、知覚された画像ピクセルの水平行(horizontal row)に対応し得る。いくつかの例では、転換点は画像フレームの外側であってもよい。
凡例204で示されるように、図解200は、第1フレームにおける第1レーザのトレース、第1フレームにおける第2レーザのトレース、第2フレームにおける第1レーザのトレース及び第2フレームにおける第2レーザのトレースを示す。第1フレームにおいて、第1及び第2レーザのトレースは、ディスプレイ空間において1ライン(one line)だけ垂直方向に分離されてもよい。したがって、第1及び第2レーザのトレースは、垂直に整列される、垂直に隣接する画像ピクセルで光を生成することができる。一例として、図2は、第1フレーム内の第1レーザ及び第2レーザによって生成され得る、垂直に隣接する、垂直に整列された画像ピクセル206A及び206Bを示す。
図2に示される例は、実質的に正弦波運動(sinusoidal motion)で調和的に振動するアクチュエータを用いて水平ミラー走査が達成されるアプローチに対応してよい。したがって、レーザトレースは、少なくとも部分的な正弦波運動を示すことがあり、図2に示されるように、各レーザトレースは、2つの水平トレースが、正弦波の全周期(例えば2×πラジアン(pi rad))で走査されるように、正弦波の半周期(例えばπラジアン)で画像ピクセルの水平行を走査する。垂直ミラーを制御することは、これらの2つのトレースが、水平画像ピクセルの2つのトレースを生成することを可能にする。
この定式化において、第1フレームと第2フレーム及び他の連続する代替フレーム(alternate frames)のインターレースは、代替フレーム間に位相オフセットを適用することを含むことがある。一例として、図2は、第1フレームと第2フレームとの間の対応する正弦波に適用されるπラジアンの位相オフセットを示す。代替フレーム間の位相オフセットをこのように適用することによって、FOV 201にわたる光のより一貫した分布、したがって、より高い解像度の画像及び輝度の一貫性が達成され得る。この例では、水平ミラーによって用いられる高周波走査速度を考慮して、高周波水平ミラーの走査挙動を制御することは、走査速度を調整することが調和振動を中断することがあるので、困難を提示する可能性がある。このように、位相オフセットは、所望の調整に応じて、水平走査期間の前後のいずれかに垂直走査を開始するように、より遅い走査垂直ミラーを制御することによって達成される。さらに、インターレースフレーム間で十分に高い代替周波数(alternating frequency)を選択することによって、許容できないフリッカのない安定した画像を生成することができ、その安定した画像内では両方のフレームからの光が視聴者に同時に現れる。一例として、各フレームは、120Hzの垂直走査周波数で表示されてよく、第1代替フレーム及び第2代替フレームによって形成されるプログレッシブ画像は、60Hzの垂直走査周波数で表示される。
単一ライン(例えばピクセル)間隔は、FOV 201内の特定の領域で達成され得るが、あまり望ましくない間隔が、FOV内の他の領域で生じる可能性がある。図2に示された例では、高い程度の重複(overlap)は、FOV 201内で0度に近い水平角度における、第1フレーム内の各レーザ及び第2フレーム内の同じ対応するレーザからの出力をもたらす。対照的に、FOV 201のエッジに向かって、例えば+/-15度と+/-30度の水平角度の間で、より望ましい単一ライン間隔が達成される。解像度及び輝度における望ましくない変化は、FOV 201にわたるライン間隔におけるこのような変化に起因する可能性がある。そのような変化に対処するために、代替フレーム間の位相オフセットは、垂直走査ミラーを調整することによって調整されてもよい。
図3は、代替フレーム間のπ/2ラジアンの位相オフセットで生成されるレーザトレースの図解300の例を示す。πラジアンの位相オフセットで生成される図2のレーザトレースの図解200とは対照的に、図3は、π/2ラジアンオフセットの使用により、FOV 201内の他の領域、例えば0°近くの水平角度内での単一ライン間隔がどのように得られるかを示す。望ましくない間隔及びレーザ出力の重複は、FOV 201のエッジに向かう水平角度、例えば+/-15度と+/-30度との間の角度をもたらす。
図2及び図3に示すレーザトレースの図解は、インターレースされたレーザ走査出力における代替フレーム間の位相オフセットの調整が、どのようにして、ディスプレイ空間におけるFOVの異なる領域において所望のライン及び画像ピクセルの間隔を生成するかを示す。このアプローチは、FOVの任意の領域において所望のライン間隔を達成するために、任意の適切なセットの位相オフセットの使用に拡張されてよい。さらに、位相オフセット調整を、ディスプレイデバイスの動作中に動的に用いて、例えば垂直ブランク間隔のフレームの端部とその後の開始との間のように、ユーザの注視が向けられる領域内で所望のライン間隔を達成することができる。例えば図1を参照すると、コントローラ114は、ユーザの注視方向を示すアイトラッキングセンサ112からの出力を利用して、ユーザの注視が向けられる出力部108のFOV内の領域を決定することができる。次いで、コントローラ114は、この決定に応答して位相オフセットを選択して、ユーザの注視が向けられる領域内の所望のライン間隔を達成することができ、それにより、ディスプレイデバイス100の動作を通してユーザによって知覚されるディスプレイ出力を最適化することができる。位相オフセットを動的に調整する過程では、任意の適切なレベルの粒度を用いることができる。一例として、FOVは四分円に分割されてよく、それぞれの位相オフセットは、各四分円に関連付けられて、その四分円における所望のライン間隔を達成するために使用される。しかしながら、FOVは、任意の適切な幾何学的形状を有する任意の適切な数の領域に分割されてよく、それらの領域は、等しくても等しくなくてもよく、規則的でも不規則でもよい。別の例として、実質的連続関数(substantially continuous function)を使用して、FOV内の注視点を位相オフセットにマッピングすることができる。例えばモンテカルロ・テストが、注視点と位相オフセットとの間のマッピングのセットを決定するために実施されてよい。
図2及び図3は、例として提供されており、いかなる意味においても限定するものではないことが理解されよう。レーザトレースの図解200及び図解300は、例えば図1のディスプレイデバイス100に含まれ得る1つ以上の光学素子による処理前のレーザ出力を表すことができる。さらに、任意の適切な整数個nのレーザが使用されてよく、この場合、画像の垂直解像度はnに比例し、例えばn個のレーザの数が2から4へ増加すると、垂直解像度が2倍になる。またさらに、任意の適切な垂直リフレッシュレートが使用されてよく、この場合、垂直リフレッシュレートの増加は、垂直解像度を減少させ、例えば垂直リフレッシュレートの倍増は、垂直解像度を半分に減少させる。したがって、レーザの数n及び垂直リフレッシュレートは、所望のディスプレイ出力を達成するためにバランスされてよい。またさらに、その中の画像が視聴者に提供されるFOVとして、図解200及び図解300のサブセットが選択されてもよい。図3に関連する一例として、図解300内のレーザトレースの一部が省略された例示的なFOV 302が示される。省略された部分は、レーザ出力が非対称であるか、(図解300の水平端におけるように)垂直方向に位置がずれているか、そうでなければ望ましくない領域に対応し得る。省略された部分は、オーバースキャン領域として指定されてもよく、オーバースキャン領域では、レーザ出力は(例えばレーザへの電力供給を停止することによって)無効にされる。
様々なレーザ構成を使用して、単一及び他の所望のライン間隔を生成することができる。一例として、図4は、2つの固体レーザ402A及び402Bを含む例示のレーザダイ400の例を示す。レーザ402A及び402Bは、例えば適切なリソグラフィプロセスを介して、レーザダイ400上に配置されてよい。図4に示される向きでは、レーザダイ400は、x軸404及びy軸406を中心に配置される。x軸404及びy軸406は、それぞれ、1つ以上のミラー(例えば図1の第1ミラー104及び第2ミラー106)がそれに沿って走査される水平軸及び垂直軸に対応し得る。さらに、レーザ402A及び402Bは、レーザ中心からレーザ中心までの垂直軸に沿って測定される垂直分離距離408によって垂直軸406に位置合わせされ、垂直軸406に沿って間隔をおいて配置される。分離距離408は、所望のレーザ動作を達成し、かつ熱クロストークのようにレーザ402Aと402Bの間の過度に狭い間隔に関連付けられる望ましくない問題を回避するように選択されてよい。分離距離408は更に、機械公差とともに、レーザダイ400を形成し、かつレーザ402A及び402Bを作動させるために必要な構造及び電気的素子の配置を収容することができる。一例として、分離距離408は、実質的に15ミクロンに等しくてもよい。
しかしながら、この距離及び他の垂直分離距離は、ディスプレイ空間における1ラインよりも大きいライン間隔で現れることがある。以下に更に詳細に説明するように、特定の垂直リフレッシュレート及び/又は位相オフセットが、単一ライン間隔を補償して達成するために選択されてよい。
単一ライン間隔は、図4に示される向きに対してレーザダイを回転させ、回転された向きにおいてミラーシステムにレーザ光を供給することによって、レーザダイ400で達成され得る。この目的のために、図5は、図4に示される向きに対して回転された向きのレーザダイ400を示す。回転された向きは、回転されていない向きの垂直分離距離408に対して減少された垂直分離距離410を達成するように選択される。垂直分離距離410は、例えば実質的に1ミクロンに等しくてもよい。このようにして、回転されていない向きでは15ミクロン又は類似の垂直分離距離を有し得るレーザダイ400を用いて、単一ライン間隔がディスプレイ空間で達成され得る。機械公差のために、回転レーザダイ400において回転誤差が生じることがあり、これは、ディスプレイ空間におけるライン間隔誤差として現れることがある。補償するために、垂直リフレッシュレートが、レーザ402Aと402Bとの間の既知の機械的間隔及びレーザダイ400の特徴的な熱的分散(characterized thermal variance)で調整されてよい。一例として、1ラインよりも大きいディスプレイ空間におけるライン間隔は、単一ライン間隔を達成するために、ある垂直解像度を犠牲にして垂直リフレッシュレートを増加させることによって補償され得る。図2及び図3のレーザトレースの図解200及び図解300は、例えば回転された向きで配置されるレーザダイ400によって生成されてもよい。
図6は、凡例602によって示されるように、2つの代替フレームにおける2つのレーザからのレーザトレースを含む、例示のレーザトレースの図解600を示す。図解600は、レーザ402Aと402Bとの間の垂直分離距離408を有する図4に示される向きのレーザダイ400のように、ディスプレイ空間において単一ラインを生じる間隔よりも大きい垂直分離をレーザ間に有するように方向付けられたレーザダイによって生成される、レーザ出力を表すことができる。この例では、レーザトレースによって他の方法で想定される正弦波プロファイルは、垂直レーザ分離距離に起因して歪みを生じ、その結果、走査ミラー効果から生じるレーザトレースに対して「弓(bow)」形状となる。さらに、歪んだ正弦波の性質はレーザ間で異なり、第1レーザは、水平線走査の間、より大きな下向きの曲率を示すのに対し、第2レーザは、水平線走査の間、より大きな上向きの曲率を示す。しかしながら、ディスプレイ空間における所望の単一及び他のライン間隔は、上述のように垂直リフレッシュレートを調整することによって達成されてもよい。垂直分離距離408の場合、画像内に依然として整数の水平ラインを保持しながら、例えば垂直リフレッシュレートを変化させて、ライン間隔及び/又は解像度を調整することができる。例えばこれは、走査が、中心窩領域(例えばユーザの注視ライン)よりも中心窩以外の領域(例えばユーザの周辺視野)でより速く起こることを可能にし、アイトラッキングデータを使用して中心窩表示を達成することを可能にする。
垂直分離距離408を有するレーザダイ400によって生成されるインターレースフレーム間の位相オフセットは、上述のように、FOV 604の特定の部分に所望のライン間隔を生成するように調整することができる。図7は、図解600を生成するために使用されるπラジアンの位相オフセットの変化からπ/2ラジアンの位相オフセットへの変化から得られる例示のレーザトレースの図解700を示す。0°に近い水平角度で望ましくないライン間隔及びレーザ出力重複が生じる図解600とは対照的に、図解700によって表されるπ/2ラジアン位相オフセットは、0°に近い水平角度で望ましいライン間隔を生じる。上述したように、図1のアイトラッキングセンサ112からの出力を使用して、ユーザの注視に応答して所望のライン間隔を達成し、位相オフセットを動的に調整するために使用され得る。
走査ディスプレイシステムがHMDとして実装される例では、ユーザの頭部の動きが画像解像度に影響を与えることがある。例えば垂直頭部運動(vertical head motion)(あるいは、より一般的には、より低い周波数の走査方向に沿った頭部運動)は、インターレース走査パターンのフレームの間でエイリアシングを生じ、走査パターンのラインが互いに「崩壊(collapse)」するように見える。そのような例では、ユーザは、より低い周波数の走査方向に沿った頭部運動による画像解像度の低下を経験することがある。同様に、いくつかの例では、眼球運動(eye motion)がエイリアシングにつながることがある。
このような視覚的効果を回避するのを助けるために、動きセンサを使用して、動きデータに基づいて走査速度及び/又は位相オフセットを調整するために頭部運動及び/又は眼球運動を感知することができる。図8は、ユーザの動きに基づいて1つ以上の動作パラメータを動的に調整する例示の方法800を示すフロー図である。方法800は、ヘッドマウントディスプレイシステムのようなコンピュータシステムの論理サブシステムによって実行可能な、記憶される命令として実装されてよい。
802において、方法800は、インターレースパターンで光を走査して画像を形成するように走査ミラーシステムを制御することを含む。これは、804で示すように、光源からの光を第1方向においてより高い周波数で走査し、第2方向においてより低い周波数で走査して画像を形成するように、走査ミラーシステムを制御することを含んでもよい。本明細書で説明される例を含むがこれに限定されない、任意の適切な走査ミラーシステムを使用することができる。
方法800は、806において、1つ以上のセンサから動きデータを受け取ることを更に含む。このような動きデータは、808で示されるように、頭部動きセンサからのデータを含んでもよい。頭部の動きデータは、ユーザの頭部運動に関する任意の適切な情報、例えば3つの軸に沿った並進及び/又は回転速度及び/又は加速度情報を含んでもよい。このデータから、第2方向に沿った頭部速度ベクトル(head velocity vector)を決定することができる。以下により詳細に説明されるように、動きデータを、810で示されるようにアイトラッキングセンサからも取得することもできる。
続いて、方法800は、812において、動きデータに基づいて、第2方向の走査速度と、インターレースパターンの第1フレームと第2フレームとの間の位相オフセットとのうちの1つ以上を調整して、投影画像における知覚可能なエイリアシングを低減するのを助けることを含む。いくつかの例では、加速度(rate of acceleration)が決定され、画像表示の時点において、可能性のある頭部速度(likely head velocity)を計算するために使用され、その可能性のある頭部速度を使用して調整を決定することができる。
ユーザの頭部の加速度における変化は、決定された加速度に基づいて調整が決定される場合、例えばフレームの表示中の加速度の変化が、そのフレームの間の決定された調整の有効性を低下させるのに十分な大きさである場合であっても、画像のインターレースされたパターンにわたるエイリアシングに影響を与えることがある。いくつかの例において、加速度の変化は、フレームの持続時間(例えば8msフレーム持続時間に基づく5~10msの間隔)を通して十分に小さいと予測することができ、この場合、フレームの持続時間に対して同じ調整が適用され、加速度が予測されたレベルを超えるいずれかの例は明示的に補償されない。他の例では、リアルタイム加速度が決定されてよく、1つ以上のパラメータが、画像フレームの表示中に、フレームの間の走査速度を変更するために調整され得る。
上述のように、エイリアシングはまた、より低い周波数の走査方向に沿った眼球運動からも生じることがある。このように、いくつかの例において、1つ以上の動作パラメータは、追加的に又は代替的に、注視追跡システムからの眼球の動きデータに基づいて調整されてもよい。したがって、方法800は、810において、アイトラッキングセンサからデータを受け取り、このデータに基づいて、(814において)第2方向の走査速度と、インターレースパターンのフレーム間の位相オフセットとのうちの1つ以上を調整することを含んでもよい。
頭部運動と眼球運動の両方が考慮される場合、インターレースパターンのフレーム間の位相オフセットは、頭部運動及び眼球運動の位相オフセットを個々に決定し、次いで、816において示されるように、決定された位相オフセットを合計することによって調整され得る。さらに、オフセットが中心窩表示のために決定される場合、中心窩表示オフセットも、適用すべき全位相オフセットを決定するために、頭部運動オフセット及び眼球運動オフセットとともに加算されてもよい。
いくつかの例では、ディスプレイは、左眼画像及び右眼画像について別個の走査ディスプレイシステムを使用するように構成されてもよい。例えば図1のシステムは、共通のコントローラによって制御される、各眼のために別個の光源(例えば別個のレーザ)と第1及び第2のミラーを含むように修正されてもよい。このような例では、2つの単眼ディスプレイシステムが重なり合って、立体画像ディスプレイを生成してもよい。このような例では、2つの単眼ディスプレイシステム間の位相差は、加法的双眼ディスプレイ(additive binocular display)が2つの単眼画像走査の合計であるように制御可能にオフセットされ得る。一例として、一方の目は奇数フレームを見ることができ、他方の目は偶数フレームを見ることができる。このような例では、十分に高いフレームレートを使用して、2つの画像を見る者は2つの画像を融合し、奇数フレームと偶数フレームの重ね合わせを同時に見るであろう。このような例では、奇数フレーム及び偶数フレームの位相オフセットは、上述のように、走査間の所望のライン間隔を維持し、知覚可能なエイリアシングを低減するために、動きデータに基づいて調整され得る。
2つの独立した走査ディスプレイシステムが使用される場合、より高い周波数の走査方向において同じ走査速度を達成することは困難である可能性がある。例えば製造公差の問題は、より高い周波数の走査ミラーの両方について、十分に一貫した(例えば<100Hz差)共振周波数を確保することを困難にする可能性がある。このような問題は、共振周波数に基づいて部品をソートすることによって、潜在的に解決され得る。しかしながら、これは、製造コストを増加させる可能性があり、また、2つの独立した走査システム間の不均一なより高い周波数走査速度をもたらす可能性がある温度及び駆動の可変性の問題に対処することもできないであろう。別の可能な解決策として、一方又は両方の高周波数走査ミラーは、他のミラーの周波数に一致するように、その共振周波数から外れて動作するように強制され得る。しかしながら、このような解決策は、その共振周波数でミラーを動作させるよりもかなり高い電力消費をもたらす可能性があり、システムの安定性及び視野に影響を与える可能性がある。さらに、共振周波数が近く(例えば<100Hz)、十分に安定であっても、より高い周波数走査速度の(小さい)差から生じる位相差の変化に起因して、各フレームに対して相対位相を調整する必要がある場合がある。
一致しないより高い周波数の走査速度を伴うこのような問題を回避するために、同じより高い周波数の走査ミラーを、各眼に対して別個のより遅い周波数の走査ミラーとともに使用することができる。このような構成の一例が、図9の走査ディスプレイシステム900として示されている。走査ディスプレイシステム900は、それぞれ左眼及び右眼の光源902a、902bを含む。各光源は、光(例えばレーザ光)を同じ高周波走査ミラー904に向ける。走査ディスプレイシステム900は、出力部908a、908bに向けて各眼画像についての光を走査するために、それぞれ左眼及び右眼の低周波数走査ミラー906a、906bを更に含む。コントローラ910は、光源902a、902b、より高周波数の走査ミラー904及び各より低い周波数の走査ミラー906a、906bを制御する。コントローラ910はまた、動きセンサ912から入力を受け取り、914a、914bでそれぞれ示される、各眼についてのアイトラッキングセンサから入力を受け取ってもよい。動きセンサ912及び/又はアイトラッキングセンサ914a、914bからのデータに基づいて、コントローラ910は、第1ディスプレイ及び/又は第2ディスプレイのためのフレーム間の位相オフセットを調整することができ、これは、知覚可能なエイリアシングを緩和するのを助けることができる。
別の例として、走査ディスプレイシステムは、第1方向に沿って各画素について光エミッタを有する光エミッタの一次元アレイと、第2方向に沿って光エミッタの一次元アレイからの光を走査する走査ミラーとを利用することができる。画像は、走査方向の各ピクセル行又は列において、各光エミッタによって放射される光を個別に制御することによって投影されてもよい。このようなシステムでは、左眼画像と右眼画像についてサンプルタイミングをオフセットして、頭部の動きに起因するエイリアシングを緩和することができる。そのようなシステムの一例が図10に示されている。図10は、それぞれ、一次元レーザアレイ1002a、1002b及び走査ミラー1004a、1004bを有し、走査された一次元画像ラインを出力部1006a、1006bに向ける、第1ディスプレイ1000a及び第2ディスプレイ1000bを図示している。コントローラ1008は、各ディスプレイ1000a、1000bを制御する。また、コントローラは、動きセンサ1010から入力を受け取り、1012a、1012bでそれぞれ示されている、各眼のアイトラッキングセンサから入力を受け取ってもよい。動きセンサ1010及び/又はアイトラッキングセンサ1012a、1012bからのデータに基づいて、コントローラ1008は、エイリアシングを緩和するために、第1ディスプレイ1000a及び/又は第2ディスプレイ1000bによって表示される画像のサンプルタイミングを調整することができる。
いくつかの実施形態において、本明細書で説明される方法及びプロセスは、1つ以上のコンピューティングデバイスのコンピューティングシステムと結び付けられてよい。特に、このような方法及びプロセスは、コンピュータ・アプリケーション・プログラム又はサービス、アプリケーション・プログラミング・インターフェース(API)、ライブラリ及び/又は他のコンピュータ・プログラム製品として実装されてよい。
図11は、上述の方法及びプロセスのうちの1つ以上を実施することができるコンピューティングシステム1100の非限定的な実施形態を概略的に示す。コンピューティングシステム1100は、簡略化された形態で示されている。コンピューティングシステム1100は、1つ以上のパーソナルコンピュータ、サーバコンピュータ、タブレットコンピュータ、ホームエンターテインメントコンピュータ、ネットワークコンピューティングデバイス、ゲームデバイス、モバイルコンピューティングデバイス、モバイル通信デバイス(例えばスマートフォン)及び/又は他のコンピューティングデバイスの形態をとることができる。
コンピューティングシステム1100は、論理マシン1102及びストレージマシン1104を含む。コンピューティングシステム1100は、任意に、ディスプレイサブシステム1106、入力サブシステム1108、通信サブシステム1110及び/又は図11に示されていない他の構成要素を含んでもよい。
論理マシン1102は、命令を実行するように構成される1つ以上の物理デバイスを含む。例えば論理マシンは、1つ以上のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造又は他の論理構造の一部である命令を実行するように構成されてよい。このような命令は、タスクを実行し、データ型を実装し、1つ以上の構成要素の状態を変換し、技術的効果を達成するか又は他の方法で所望の結果に到達するように実装され得る。
論理マシンは、ソフトウェア命令を実行するように構成される1つ以上のプロセッサを含んでもよい。あるいはまた、論理マシンは、ハードウェア又はファームウェア命令を実行するように構成される1つ以上のハードウェア又はファームウェアの論理マシンを含んでもよい。論理マシンのプロセッサは、シングルコア又はマルチコアであってもよく、その上で実行される命令は、逐次、並列及び/又は分散処理のために構成されてよい。論理マシンの個々の構成要素は、任意に、2つ以上の別個のデバイス間に分散されてもよく、これらのデバイスは、リモートに配置され、かつ/又は協調処理のために構成され得る。論理マシンの側面は、クラウドコンピューティング構成内に構成される、リモートにアクセス可能でネットワーク化されたコンピューティングデバイスによって仮想化されて実行され得る。
ストレージマシン1104は、本明細書で説明される方法及びプロセスを実施するために論理マシンによって実行可能な命令を保持するよう構成される、1つ以上の物理デバイスを含む。このような方法及びプロセスが実装されるとき、ストレージマシン1104の状態は、例えば異なるデータを保持するように変換され得る。
ストレージマシン1104は、取り外し可能及び/又は内蔵デバイスを含んでもよい。ストレージマシン1104は、特に、光メモリ(例えばCD、DVD、HD-DVD、Blu-Ray(登録商標)ディスク等)、半導体メモリ(例えばRAM、EPROM、EEPROM等)及び/又は磁気メモリ(例えばハードディスクドライブ、フロッピーディスクドライブ、テープドライブ、MRAM等)を含むことができる。ストレージマシン1104は、揮発性、不揮発性、動的、静的、読み取り/書き込み、読み取り専用、ランダムアクセス、逐次アクセス、位置アドレス指定可能、ファイルアドレス指定可能及び/又はコンテンツアドレス指定可能なデバイスを含むことができる。
ストレージマシン1104は、1つ以上の物理デバイスを含むことが理解されよう。しかしながら、本明細書で説明される命令の側面は、有限期間の間に物理デバイスによって保持されない通信媒体(例えば電磁信号、光信号等)によって伝搬されてもよい。
論理マシン1102及びストレージマシン1104の側面は、一緒に1つ以上のハードウェア論理コンポーネントに統合されてもよい。そのようなハードウェア論理コンポーネントは、例えばフィールド・プログラマブル・ゲートアレイ(FPGA)、特定プログラム及び特定用途向け集積回路(PASIC/ASIC)、特定プログラム及び特定用途向け標準製品(PSSP/ASSP)、システム・オン・ア・チップ(SOC)、及び複合プログラマブル論理デバイス(CPLD)を含んでよい。
用語「モジュール」、「プログラム」及び「エンジン」は、特定の機能を実行するよう実装されるコンピューティングシステム1100の側面を説明するために使用され得る。ある場合には、モジュール、プログラム又はエンジンは、ストレージマシン1104によって保持された命令を実行している論理マシン1102を介してインスタンス化されてよい。異なるモジュール、プログラム及び/又はエンジンが、同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、API、関数等からインスタンス化され得ることが理解されよう。同様に、同じモジュール、プログラム及び/又はエンジンが、異なるアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、API、関数等によってインスタンス化されてもよい。用語「モジュール」、「プログラム」及び「エンジン」は、個々の又は実行可能ファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベースレコード等のグループを包含し得る。
ここで使用される「サービス」は、複数のユーザセッションにわたって実行可能なアプリケーションプログラムであることが理解されよう。サービスは、1つ以上のシステムコンポーネント、プログラム及び/又は他のサービスに利用可能であってよい。一部の実装では、サービスは1つ以上のサーバコンピューティングデバイス上で実行されてよい。
ディスプレイサブシステム1106は、含まれるとき、ストレージマシン1104によって保持されるデータの視覚的表現を提示するために使用されてよい。この視覚的表現は、グラフィカル・ユーザ・インターフェース(GUI)の形態をとることができる。本明細書で説明される方法及びプロセスが、ストレージマシンによって保持されるデータを変更し、したがって、ストレージマシンの状態を変換すると、ディスプレイサブシステム1106の状態も同様に、基礎となるデータにおける変化を視覚的に表すように変換され得る。ディスプレイサブシステム1106は、実質的に任意のタイプの技術を利用する1つ以上のディスプレイデバイスを含んでもよい。そのようなディスプレイデバイスは、共有エンクロージャ内の論理マシン1102及び/又はストレージマシン1104と組み合わされてもよく、あるいはそのようなディスプレイデバイスは周辺ディスプレイデバイスであってもよい。
入力サブシステム1108は、含まれるとき、キーボード、マウス、タッチスクリーン又はゲームコントローラのような1つ以上のユーザ入力デバイスを備えるか、これらとインターフェースすることができる。いくつかの実施形態において、入力サブシステムは、選択されたナチュラルユーザ入力(NUI)構成要素を備えるか、これとインターフェースすることができる。そのような構成要素は統合され得るか、周辺的なものであってよく、入力アクションのトランスダクション及び/又は処理は、オンボード又はオフボードで処理されてよい。例示的なNUI構成要素には、スピーチ及び/又は音声認識のためのマイクロホン;マシンビジョン及び/又はジェスチャ認識のための赤外線、色、立体及び/又は深度カメラ;運動検出及び/又は意図認識のためのヘッドトラッカー、アイトラッカー、加速度計及び/又はジャイロスコープ;並びに脳活動を評価するための電界検出構成要素が含まれ得る。
通信サブシステム1110は、含まれるとき、1つ以上の他のコンピューティングデバイスと通信結合するように構成されてもよい。通信サブシステム1110は、1つ以上の異なる通信プロトコルと互換性のある有線及び/又は無線通信デバイスを含んでもよい。非限定的な例として、通信サブシステムは、無線電話ネットワーク、あるいは有線又は無線のローカル又はワイドエリアネットワークを介して通信するように構成されてよい。いくつかの実施形態において、通信サブシステムは、コンピューティングシステム1100が、インターネットのようなネットワークを介して、他のデバイスへ及び/又は他のデバイスから、メッセージを送信及び/又は受信することを可能にすることができる。
別の例は、光源と、動きセンサと、光源からの光を少なくとも一次元に沿って走査して画像を形成するように構成される走査ミラーシステムと、光を走査して画像を形成するよう走査ミラーシステムを制御し、動きセンサから頭部の動きデータを受け取り、頭部の動きデータに基づいて、走査速度と、画像の第1フレームと第2フレームとの間の位相オフセットとのうちの1つ以上を調整するように構成されるコントローラとを備える、走査ヘッドマウント型ディスプレイシステムを提供する。そのような例では、走査ミラーシステムは、追加又は代替として、第1方向で光を走査するように構成される第1ミラーと、第2方向で光を走査するように構成される第2ミラーとを備えてよい。そのような例では、コントローラは、追加又は代替として、走査ミラーシステムが、第1方向の光の走査に対して第2方向の光の走査を開始する時間を調整することによって、第1フレームと第2フレームとの間の位相オフセットを調整するように構成されてよい。そのような例では、コントローラは、追加又は代替として、画像内の領域における所望のライン間隔に基づいて、第1フレームと第2フレームとの間の位相オフセットを調整するように構成されてよい。そのような例では、領域は、画像内の複数の領域のうちの1つであってよく、コントローラは、追加又は代替として、それぞれの位相オフセットを複数の領域の各々に関連付けるように構成されてよい。そのような例では、走査ヘッドマウント型ディスプレイシステムは、ユーザの注視方向を検出するように構成されるアイトラッキングセンサを更に備えてよく、コントローラは、代替又は追加として、注視方向を画像内の領域にマッピングし、画像内の領域に基づいて、走査速度及び位相オフセットのうちの1つ以上を調整するように更に構成されてよい。そのような例では、コントローラは、代替又は追加として、注視方向を画像内の第1領域にマッピングすることに基づいて第1方法で位相オフセットを調整し、注視方向を画像内の第2領域にマッピングすることに基づいて第2方法で位相オフセットを調整するように更に構成されてよい。そのような例では、領域は、画像の中心窩領域であってよく、画像は、非中心窩領域を含んでよく、コントローラは、代替又は追加として、非中心窩領域内で走査速度を増加させ、中心窩領域内で走査速度を減少させるように更に構成されてよい。そのような例では、第1フレームと第2フレームとの間の位相オフセットは、複数の位相オフセット調整を含んでよく、コントローラは、代替又は追加として、画像内の領域に基づいて第1位相オフセット調整を決定し、頭部の動きデータに基づいて第2位相オフセット調整を決定し、決定された第1位相オフセット調整と決定された第2位相オフセット調整の合計(sum)に基づいて第1フレームと第2フレームとの間の位相オフセットを調整するように構成されてよい。そのような例では、光源は、代替又は追加として、2つ以上のオフセットレーザを備えるレーザ光源を備えてよく、レーザ光源は複数の色の光を出力するように構成されてよい。そのような例では、走査ヘッドマウント型ディスプレイシステムは、眼の動きを検出するように構成されるアイトラッキングセンサを更に備えてよく、コントローラは、代替又は追加として、眼の動きをマッピングし、眼の動きに基づいて第1フレームと第2フレームとの間の位相オフセットを調整するように構成されてよい。そのような例において、走査ミラーシステムは、代替又は追加として、該走査ミラーシステムを駆動する微小電気機械アクチュエータの半周期で画像の水平線を走査するように構成されてよい。そのような例において、光源は、代替又は追加として、光エミッタの一次元アレイを含んでよい。そのような例において、走査ミラーシステムは、代替又は追加として、より高周波数の走査方向(higher frequency scan direction)及びより低周波数の走査方向(lower frequency scan direction)をそれぞれ走査するために、同じより高周波数の走査ミラー(higher frequency scanning mirror)と、別個の左眼及び右眼のより低周波数の走査ミラー(lower frequency scanning mirrors)を含んでもよい。
別の例は、画像を表示する方法を提供する。当該方法は、光源からの光を走査ミラーシステムに向けるステップと、光源からの光を、第1方向においてより高い周波数で、第2方向においてより低い周波数で走査し、それにより光をインターレースパターンで走査して画像を形成するステップと、動きセンサから頭部の動きデータを受け取るステップと、少なくとも頭部の動きデータに基づいて、第2方向における走査速度と、インターレースパターンの第1フレームと第2フレームとの間の位相オフセットとのうちの1つ以上を調整するステップとを含む。そのような例において、方法は、代替又は追加として、アイトラッキングセンサを介して決定された注視方向を画像内の領域にマッピングするステップと、画像内の領域に基づいて、第2方向における走査速度と位相オフセットのうちの1つ以上を調整するステップとを更に含んでよい。そのような例において、方法は、代替又は追加として、アイトラッキングセンサを介して画像にわたる眼の動きをマッピングするステップと、眼の動きに基づいて、第2方向における走査速度と、インターレースパターンの第1フレームと第2フレームとの間の位相オフセットとのうちの1つ以上を調整するステップとを更に含んでよい。そのような例において、光源からの光を走査することは、代替又は追加として、1440pと2160pとの間の解像度で画像を形成するように光を走査することを含んでもよい。
別の例は、光源と、動きセンサと、光源からの光を、第1方向においてより高い周波数で、第2方向においてより低い周波数で走査して画像を形成するように構成される走査ミラーシステムと、アイトラッキングセンサと、インターレースパターンで光を走査して画像を形成するよう走査ミラーシステムを制御し、動きセンサから頭部の動きデータを受け取り、アイトラッキングセンサからデータを受け取り、頭部の動きデータ及びアイトラッキングセンサから受け取ったデータに基づいて、第2方向における走査速度と、インターレースパターンの第1フレームと第2フレームとの間の位相オフセットとのうちの1つ以上を調整するように構成されるコントローラとを備える、走査ヘッドマウント型ディスプレイシステムを提供する。そのような例において、コントローラは、代替又は追加として、注視方向及び眼の動きのうちの1つ以上の指示を受け取ることによって、アイトラッキングセンサからデータを受け取るように構成されてよく、コントローラは、代替又は追加として、注視方向及び眼の動きのうちの1つ以上に基づいて第1位相オフセット調整を決定し、頭部の動きデータに基づいて第2位相オフセット調整を決定し、決定された第1位相オフセットと決定された第2位相オフセットの合計に基づいて、インターレースパターンの第1フレームと第2フレームとの間の位相オフセットを調整するように構成されてよい。
本明細書で説明される構成及び/又はアプローチは、本質的に例示的なものであり、これらの具体的な実施形態又は実施例は、多くのバリエーションが可能であるため、限定的な意味で考慮されるべきではないことが理解されよう。本明細書で説明される具体的なルーチン又は方法は、任意の数の処理ストラテジのうちの1つ以上を表してよい。このように、図示及び/又は説明された様々な動作は、図示及び/又は説明された順序で実行されてもよく、他の順序で実行されても並行に実行されてもよく、あるいは省略されてもよい。同様に、上述した処理の順序も変更することができる。
本開示の主題は、様々なプロセス、システム及び構成、並びに本明細書に開示される他の特徴、機能、動作及び/又は特性、並びにそれらのいずれか又はすべての等価物のすべての新規で非自明の組合せ及び副次的組合せを含む。

Claims (15)

  1. 光源と
    動きセンサと;
    前記光源からの光を少なくとも一次元に沿って走査して画像を形成するように構成される走査ミラーシステムと
    コントローラであって、
    前記光を走査して前記画像を形成するよう前記走査ミラーシステムを制御し、
    前記動きセンサから頭部の動きデータを受け取り、
    前記頭部の動きデータに基づいて決定される頭部の動きの加速度を用いて、走査速度と、前記画像の第1フレームと第2フレームとの間の位相オフセットとのうちの1つ以上を調整する、
    ように構成されるコントローラとを備える、
    走査ヘッドマウント型ディスプレイシステム。
  2. 前記走査ミラーシステムは、第1方向で前記光を走査するように構成される第1ミラーと、第2方向で前記光を走査するように構成される第2ミラーとを備える、請求項1に記載の走査ヘッドマウント型ディスプレイシステム。
  3. 前記コントローラは、前記走査ミラーシステムが、前記第1方向の前記光の走査に対して前記第2方向の前記光の走査を開始する時間を調整することによって、前記第1フレームと前記第2フレームとの間の前記位相オフセットを調整するように構成される、請求項2に記載の走査ヘッドマウント型ディスプレイシステム。
  4. 前記コントローラは、記第1フレームと前記第2フレームとの間の前記位相オフセットを調整することに基づいて、前記画像内の領域における所望のライン間隔を達成するように構成される、請求項1に記載の走査ヘッドマウント型ディスプレイシステム。
  5. 前記領域は、前記画像内の複数の領域のうちの1つであり、前記コントローラは、前記位相オフセットを前記複数の領域の各々に関連付けるように構成される、請求項4に記載の走査ヘッドマウント型ディスプレイシステム。
  6. ユーザの注視方向を検出するように構成されるアイトラッキングセンサを更に備え、前記コントローラは、前記注視方向を前記画像内の領域にマッピングし、前記注視方向に基づいて前記画像内の前記領域において所望のライン間隔が達成されるよう、前記走査速度及び前記位相オフセットのうちの1つ以上を調整するように更に構成される、請求項1に記載の走査ヘッドマウント型ディスプレイシステム。
  7. 前記領域は、前記画像の中心窩領域であり、前記画像は、非中心窩領域を含み、前記コントローラは、前記非中心窩領域内で前記走査速度を増加させ、前記中心窩領域内で前記走査速度を減少させるように更に構成される、請求項6に記載の走査ヘッドマウント型ディスプレイシステム。
  8. 前記第1フレームと前記第2フレームとの間の前記位相オフセットは、複数の位相オフセット調整を含み、前記コントローラは、
    前記画像内の前記領域におけるライン間隔に基づいて第1位相オフセット調整を決定し、
    前記頭部の動きデータに基づいて第2位相オフセット調整を決定し、
    前記決定された第1位相オフセット調整と前記決定された第2位相オフセット調整の合計に基づいて前記第1フレームと前記第2フレームとの間の前記位相オフセットを調整する、
    ように構成される、
    請求項6に記載の走査ヘッドマウント型ディスプレイシステム。
  9. 前記光源は、2つ以上のオフセットレーザを備えるレーザ光源であり、前記レーザ光源は複数の色の光を出力するように構成される、
    請求項1に記載の走査ヘッドマウント型ディスプレイシステム。
  10. 眼の動きを検出するように構成されるアイトラッキングセンサを更に備え、前記コントローラは、
    前記眼の動きを前記画像の領域にマッピングし、
    前記眼の動きに基づいて前記画像内の前記領域において所望のライン間隔が達成されるよう、前記第1フレームと前記第2フレームとの間の前記位相オフセットを調整する、
    ように構成される、
    請求項1に記載の走査ヘッドマウント型ディスプレイシステム。
  11. 前記光源は、光エミッタの一次元アレイを含む、請求項1に記載の走査ヘッドマウント型ディスプレイシステム。
  12. 前記走査ミラーシステムは、より高周波数の走査方向及びより低周波数の走査方向をそれぞれ走査するために、1つのより高周波数の走査ミラーと、別個の左眼及び右眼のより低周波数の走査ミラーを含む、請求項1に記載の走査ヘッドマウント型ディスプレイシステム。
  13. 画像を表示する方法であって
    光源からの光を走査ミラーシステムに向けるステップと
    前記光源からの光を、第1方向においてより高い周波数で、第2方向においてより低い周波数で走査し、それにより前記光をインターレースパターンで走査して画像を形成するステップと
    動きセンサから頭部の動きデータを受け取るステップと
    少なくとも前記頭部の動きデータに基づいて決定される頭部の動きの加速度を用いて、前記第2方向における走査速度と、前記インターレースパターンの第1フレームと第2フレームとの間の位相オフセットとのうちの1つ以上を調整するステップとを含む、
    方法。
  14. アイトラッキングセンサを介して決定された注視方向を前記画像内の領域にマッピングするステップと、前記画像内の前記領域に基づいて、前記第2方向における前記走査速度と前記位相オフセットのうちの1つ以上を調整するステップと、
    を更に含む、請求項13に記載の方法。
  15. アイトラッキングセンサを介して前記画像にわたる眼の動きをマッピングするステップと、
    前記眼の動きに基づいて、前記第2方向における前記走査速度と、前記インターレースパターンの前記第1フレームと前記第2フレームとの間の前記位相オフセットとのうちの1つ以上を調整するステップと、
    を更に含む、請求項13に記載の方法。
JP2019548064A 2017-03-03 2018-02-27 Mems走査ディスプレイデバイス Active JP7075940B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762467086P 2017-03-03 2017-03-03
US62/467,086 2017-03-03
US15/624,477 US10365709B2 (en) 2017-03-03 2017-06-15 MEMS scanning display device
US15/624,477 2017-06-15
US15/870,838 US10317670B2 (en) 2017-03-03 2018-01-12 MEMS scanning display device
US15/870,838 2018-01-12
PCT/US2018/019801 WO2018208361A2 (en) 2017-03-03 2018-02-27 Mems scanning display device

Publications (2)

Publication Number Publication Date
JP2020510873A JP2020510873A (ja) 2020-04-09
JP7075940B2 true JP7075940B2 (ja) 2022-05-26

Family

ID=63354987

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019548064A Active JP7075940B2 (ja) 2017-03-03 2018-02-27 Mems走査ディスプレイデバイス

Country Status (17)

Country Link
US (1) US10317670B2 (ja)
EP (1) EP3590000B1 (ja)
JP (1) JP7075940B2 (ja)
KR (1) KR102582491B1 (ja)
CN (1) CN110352375B (ja)
AU (1) AU2018264863B2 (ja)
CA (1) CA3053390A1 (ja)
CL (1) CL2019002520A1 (ja)
CO (1) CO2019009316A2 (ja)
IL (1) IL268453B2 (ja)
MX (1) MX2019010215A (ja)
NZ (1) NZ756038A (ja)
PH (1) PH12019550178A1 (ja)
RU (1) RU2770138C2 (ja)
SG (1) SG11201907647UA (ja)
WO (1) WO2018208361A2 (ja)
ZA (1) ZA201905227B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017162504A1 (en) * 2016-03-21 2017-09-28 Koninklijke Philips N.V. An adaptive lighting system for a mirror component and a method of controlling an adaptive lighting system
WO2020082002A1 (en) * 2018-10-19 2020-04-23 Magic Leap, Inc. Method and system for reducing line separation artifacts in interlaced image projection
WO2023018997A1 (en) * 2021-08-13 2023-02-16 Magic Leap, Inc. Methods to improve the perceptual quality of foveated rendered images
EP4167016B1 (en) * 2021-10-13 2024-02-14 TriLite Technologies GmbH Display apparatus
EP4167018B1 (en) 2021-10-13 2024-07-31 TriLite Technologies GmbH Display apparatus

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006178033A (ja) 2004-12-21 2006-07-06 Canon Inc 走査型表示光学系
JP2007093644A (ja) 2005-09-27 2007-04-12 Brother Ind Ltd 光走査型ディスプレイ
JP2011166396A (ja) 2010-02-09 2011-08-25 Panasonic Corp 走査型表示装置
JP2014078022A (ja) 2013-11-29 2014-05-01 Sony Corp 表示装置組立体
US20160274365A1 (en) 2015-03-17 2016-09-22 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays with heterogeneous display quality
WO2016203991A1 (ja) 2015-06-19 2016-12-22 ソニー株式会社 投影装置、投影モジュールおよび電子機器

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK0725939T3 (da) 1992-03-13 1999-11-15 Kopin Corp Skærmsystem til anbringelse på hovedet
US7277173B1 (en) 2002-12-24 2007-10-02 Agere Systems Inc. Active optical alignment using MEMS mirrors
US7252394B1 (en) 2003-07-03 2007-08-07 Advanced Numicro Systems, Inc. Laser projection display and illumination device with MEMS scanning mirror for indoor and outdoor applications
US7164811B2 (en) 2004-02-09 2007-01-16 Northrop Grumman Corporation Pocket-pen ultra-high resolution MEMS projection display in combination with on-axis CCD image capture system including means for permitting 3-D imaging
US7920213B2 (en) 2006-07-26 2011-04-05 Texas Instruments Incorporated Method for maintaining the phase difference of a positioning mirror as a constant with respect to a high speed resonant mirror to generate high quality images
KR101214735B1 (ko) 2008-01-08 2012-12-21 오스람 아게 적어도 하나의 광빔 투사방법 및 적어도 하나의 광빔 투사장치
US9812096B2 (en) * 2008-01-23 2017-11-07 Spy Eye, Llc Eye mounted displays and systems using eye mounted displays
CN101896851B (zh) * 2008-10-17 2012-11-14 松下电器产业株式会社 扫描型图像显示装置
IL195919A0 (en) 2008-12-14 2009-09-01 Btendo Ltd Device and method for scanning images by a laser projector
US8049825B2 (en) 2009-04-16 2011-11-01 Microvision, Inc. Laser projection source with birefringent wedge for speckle reduction
US20110115894A1 (en) 2009-11-19 2011-05-19 Daniel Rogers Burnett Device and method for diagnosis and monitoring of neural, opthalmologic and retinal disorders
US9529191B2 (en) 2010-11-03 2016-12-27 Trex Enterprises Corporation Dynamic foveal vision display
US8274724B2 (en) 2011-01-28 2012-09-25 Prysm, Inc. Optical beam control based on flexure actuation with positioning sensing and servo control
KR20120091810A (ko) 2011-02-10 2012-08-20 엘지전자 주식회사 레이저 다이오드를 이용한 디스플레이 방법 및 그 방법을 채용한 디스플레이 시스템
KR20140043910A (ko) 2011-06-03 2014-04-11 톰슨 라이센싱 레이저 프로젝터에서 가변적인 톱니형 스캔
US9897805B2 (en) 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US9324250B2 (en) 2011-09-09 2016-04-26 Dolby Laboratories Licensing Corporation High dynamic range displays comprising MEMS/IMOD components
US8451353B1 (en) 2011-11-08 2013-05-28 Alces Technology, Inc. Multiple-linear-array MEMS display chips
EP3270194B1 (en) * 2012-01-24 2020-10-14 The Arizona Board of Regents on behalf of The University of Arizona Compact eye-tracked head-mounted display
GB201211917D0 (en) 2012-07-04 2012-08-15 Cambridge Correlators Ltd Reconfigurable optical processor
IL293789B2 (en) 2013-01-15 2023-08-01 Magic Leap Inc A system for scanning electromagnetic imaging radiation
US9134532B2 (en) 2013-03-13 2015-09-15 Pixtronix, Inc. MEMS shutter assemblies for high-resolution displays
DE112013002917B4 (de) * 2013-06-28 2021-07-22 Intel Corporation Erzeugung von Lichtmustern mit einem MEMS-Scanspiegel
US9652893B2 (en) 2014-04-29 2017-05-16 Microsoft Technology Licensing, Llc Stabilization plane determination based on gaze location
US9824498B2 (en) * 2014-12-30 2017-11-21 Sony Interactive Entertainment Inc. Scanning display system in head-mounted display for virtual reality
KR101647727B1 (ko) 2015-06-11 2016-08-11 엘지전자 주식회사 스캐닝 프로젝터 및 그 동작방법
US20170285343A1 (en) 2015-07-13 2017-10-05 Mikhail Belenkii Head worn display with foveal and retinal display
KR20170033462A (ko) * 2015-09-16 2017-03-27 삼성디스플레이 주식회사 전자 기기 및 헤드 마운트 디스플레이 장치의 영상 표시 방법
US10237515B2 (en) * 2017-03-28 2019-03-19 Stmicroelectronics Ltd MEMS projector using multiple laser sources

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006178033A (ja) 2004-12-21 2006-07-06 Canon Inc 走査型表示光学系
JP2007093644A (ja) 2005-09-27 2007-04-12 Brother Ind Ltd 光走査型ディスプレイ
JP2011166396A (ja) 2010-02-09 2011-08-25 Panasonic Corp 走査型表示装置
JP2014078022A (ja) 2013-11-29 2014-05-01 Sony Corp 表示装置組立体
US20160274365A1 (en) 2015-03-17 2016-09-22 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays with heterogeneous display quality
WO2016203991A1 (ja) 2015-06-19 2016-12-22 ソニー株式会社 投影装置、投影モジュールおよび電子機器

Also Published As

Publication number Publication date
KR20190118670A (ko) 2019-10-18
US20180252913A1 (en) 2018-09-06
RU2019130051A3 (ja) 2021-10-12
JP2020510873A (ja) 2020-04-09
CN110352375B (zh) 2021-11-19
MX2019010215A (es) 2019-10-09
KR102582491B1 (ko) 2023-09-22
SG11201907647UA (en) 2019-09-27
WO2018208361A2 (en) 2018-11-15
BR112019016575A2 (pt) 2020-03-31
PH12019550178A1 (en) 2020-06-08
IL268453A (en) 2019-09-26
IL268453B1 (en) 2023-05-01
EP3590000A2 (en) 2020-01-08
RU2770138C2 (ru) 2022-04-14
CN110352375A (zh) 2019-10-18
US10317670B2 (en) 2019-06-11
AU2018264863A1 (en) 2019-08-22
NZ756038A (en) 2023-06-30
RU2019130051A (ru) 2021-04-05
CA3053390A1 (en) 2018-11-15
WO2018208361A3 (en) 2018-12-20
IL268453B2 (en) 2023-09-01
ZA201905227B (en) 2020-10-28
EP3590000B1 (en) 2023-08-30
CL2019002520A1 (es) 2020-01-31
CO2019009316A2 (es) 2020-01-17
AU2018264863B2 (en) 2022-07-21

Similar Documents

Publication Publication Date Title
JP7075939B2 (ja) Mems走査ディスプレイデバイス
JP7075940B2 (ja) Mems走査ディスプレイデバイス
EP3899918B1 (en) Display projector with non-uniform pixel resolution
US11435577B2 (en) Foveated projection system to produce ocular resolution near-eye displays
US20160085301A1 (en) Display visibility based on eye convergence
US20160210784A1 (en) Augmented reality field of view object follower
WO2018118730A1 (en) Virtual object lighting
WO2021242365A1 (en) Reprojection and wobulation at head-mounted display device
BR112019016575B1 (pt) Sistema de exibição montado em cabeça de varredura e método de exibição de uma imagem
BR112019016689B1 (pt) Sistema de exibição de varredura e método de exibição de uma imagem

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220516

R150 Certificate of patent or registration of utility model

Ref document number: 7075940

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150