JP7198663B2 - デュアルモード拡張/仮想現実(ar/vr)ニアアイウェアラブルディスプレイ - Google Patents

デュアルモード拡張/仮想現実(ar/vr)ニアアイウェアラブルディスプレイ Download PDF

Info

Publication number
JP7198663B2
JP7198663B2 JP2018519398A JP2018519398A JP7198663B2 JP 7198663 B2 JP7198663 B2 JP 7198663B2 JP 2018519398 A JP2018519398 A JP 2018519398A JP 2018519398 A JP2018519398 A JP 2018519398A JP 7198663 B2 JP7198663 B2 JP 7198663B2
Authority
JP
Japan
Prior art keywords
display device
eye display
image
viewer
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018519398A
Other languages
English (en)
Other versions
JP2018533765A (ja
JP2018533765A5 (ja
JPWO2017066802A5 (ja
Inventor
エル-ゴロウリー,フセイン・エス
チュアン,チー-リ
アゴスティネリ,ビアジオ
Original Assignee
オステンド・テクノロジーズ・インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オステンド・テクノロジーズ・インコーポレーテッド filed Critical オステンド・テクノロジーズ・インコーポレーテッド
Publication of JP2018533765A publication Critical patent/JP2018533765A/ja
Publication of JP2018533765A5 publication Critical patent/JP2018533765A5/ja
Publication of JPWO2017066802A5 publication Critical patent/JPWO2017066802A5/ja
Application granted granted Critical
Publication of JP7198663B2 publication Critical patent/JP7198663B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0081Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/18Diffraction gratings
    • G02B5/1842Gratings for image generation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/10Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings of the optical waveguide type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026Control of mixing and/or overlay of colours in general
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0147Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033Indexing scheme relating to G06F3/033
    • G06F2203/0339Touch strips, e.g. orthogonal touch strips to control cursor movement or scrolling; single touch strip to adjust parameter or to implement a row of soft keys
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0666Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Eyeglasses (AREA)

Description

関連出願の相互参照
本出願は、2015年10月16日出願の米国仮特許出願第62/242,963号の優先権を主張するものであり、上記仮特許出願の内容は、参照により、本出願中に完全に言及されているかのように本出願に援用される。
本発明は一般に、ウェアラブル電子装置に関し、より詳細には、デュアルモード拡張/仮想現実ニアアイ(near‐eye)ウェアラブルディスプレイに関する。
ウェアラブル光学電子装置は、集積回路のサイズ、重量及び電力(size, weight and power:SWaP)、並びにコストが縮小するに従って、一般化している。ウェアラブル光学電子装置は、多数の市販、軍事及び消費者向け用途を有する。ウェアラブル光学電子装置に関して、非平面プロファイル及び表面を有する湾曲レンズの形状を有する高解像度デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイに対する需要に対処する従来技術は存在せず、このような湾曲レンズのプロファイルは、ほとんど消費者向け及びその他の用途のみに使用され、ファッショナブルで審美的満足を与えるものであると考えられている。本明細書において開示される発明は、このようなニアアイウェアラブルディスプレイに対する需要に対処し、このようなニアアイウェアラブルディスプレイを実現可能とする。
図1は、本発明のデュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイの斜視図である。 図2は、本発明のデュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイの上面平面図である。 図3Aは、本発明の光学レンズを示す。 図3Bは、図3Aのレンズの断面図である。 図3Cは、図3Aのレンズ素子の上面図である。 図4は、本発明のデュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイのレンズを示し、上記レンズの光導波路構造体を図示する。 図5は、本発明のデュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイの斜視図であり、バッテリと、ディスプレイフレームのテンプルのコネクタとを示す。
本発明及びその様々な実施形態について、以下の好ましい実施形態の説明において記載する。これらは、後続の請求項中において、本発明の図示された実施例として提示される。このような請求項によって定義される本発明は、以下に記載される図示された実施形態より幅広いものとなり得ることを明記しておく。
説明及び様々な図(複数の図にわたって、同様の参照符号が同様の要素を示す)に移ると、開示されているのは、限定するものではないが湾曲レンズと共に使用するための、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイである。
本発明の第1の態様では、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイが開示されており、これは、第1の(シーン側)表面、レンズ厚さ、レンズ周縁部又は表面を備える光学レンズを備える。第1の表面は、第1の導電性透明薄膜層と第2の導電性透明薄膜層との間に配置された可変光透過層を備える、電気着色層を備える。第1及び第2の導電性透明薄膜層はそれぞれ、上記可変光透過層の光透過率を変更するよう構成された制御回路構成に結合される。1つ又は複数の光導波路構造体がレンズ厚さ内に設けられ、これは、少なくとも1つの入力画像アパーチャ及び少なくとも1つの出口アパーチャを備えてよく、上記出口アパーチャは、複数の出口アパーチャ部分領域に分割されていてよい。電子ディスプレイ素子等の1つ又は複数の画像ソースが、それぞれの入力画像アパーチャに光学的に結合される。上記画像ソースは、レンズの周縁(即ち縁部又は側部)表面上に配置してよく、また、画像ソースから表示された光学画像を、入力画像アパーチャに直接、そしてこれに続いて出口アパーチャに、又は複数の入力画像アパーチャから複数の出口アパーチャ部分領域それぞれに、直接光学的に結合させるよう構成してよい。出口アパーチャの、又は出口アパーチャ部分領域の光学特性は好ましくは、各入力画像アパーチャの所定の面積及び所定の発散角度に適合するよう構成される。
可変光透過層がポリマー分散液晶(polymer dispersed liquid crystal:PDLC)材料からなる、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイを提供できる。レンズ素子内に配置された複数の光導波路構造体がそれぞれ独立して「区分的に平坦(piecewise flat)」である、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイを提供できる。
区分的に平坦である複数の光導波路構造体が、複数の画像部分を提供し、これら複数の画像部分をタイル張りとする配置でまとめて組み合わせることによって、湾曲又は非平面表面及びプロファイルを有する光学レンズを画定する、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイを提供できる。複数の光導波路構造体がそれぞれ、結合された画像を、その入力画像アパーチャからその出口アパーチャ又は出口アパーチャ部分領域へと再配向するよう構成された、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイを提供できる。区分的に平坦である光導波路構造体の使用の代替例も開示される。
デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイの出力アイボックスを集合的に画定する、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイを更に提供できる。複数の光導波路構造体がそれぞれ、専用の入力画像アパーチャ及び出口アパーチャ部分領域を有し、これらは専用の独立した画像ソースに結合される、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイを提供できる。画像ソースが、独立して空間的、色的及び時間的にアドレス指定できる複数のピクセルからなる、発光マイクロスケールピクセルアレイを備える、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイを提供できる。
複数の光導波路構造体がそれぞれ、視認者に対して表示するための集合画像の一部分を表示するよう構成された専用の入力画像アパーチャに結合された専用の画像ソースを有する、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイを更に提供できる。複数の光導波路構造体がそれぞれ、別個の画像ソースから結合されたある画像部分を、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイの対応する出口アパーチャ部分領域へと中継して拡大するよう光学的に構成される、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイを提供できる。
導波路構造体が、視認者の1つ又は複数の眼の位置を追跡するよう構成された画像検出センサと光学的又は電気的に通信する、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイを更に提供できる。少なくとも1つの薄膜層がインジウム‐スズ酸化物材料からなるデュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイを提供できる。デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイは更に、視認者が表示された画像を認識した時を感知して、認識及び表示された画像を所定の画像データで補足若しくは修正する、又は視認者の視野内で表示されたシーンの一部若しくは全体を修正若しくは補足するよう構成された、処理回路構成を備えてよい。
光導波路構造体が、導波路層等の微小刻印切子面構造(micro‐imprinted facet structure)を含む、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイを更に提供できる。光導波路層は、微小刻印切子面構造を備えてよい。光導波路層は、表面レリーフ光学素子又は体積レリーフ回折格子導波路を備えてよい。微小刻印切子面構造は、回折格子導波路、ブレーズド回折格子導波路、マルチレベル回折格子導波路又はブラッグ回折格子導波路を備えてよい。
例えば図1に示すように、本発明のニアアイウェアラブルディスプレイ1は好ましくは、少なくとも1つの光学レンズ5を備える従来の外観の眼鏡フレーム‐レンズ組立体として構成される。レンズ5は、非平面表面又は区分的平面表面を備えてよく、また拡張現実(AR)、仮想現実(VR)又はハイブリッドAR/VRモードで動作するよう構成してよい。
図2、3A~C、4に移ると、レンズ5は、レンズ厚さ5’及びレンズ周縁又は縁部表面5’’からなる。図3Bのレンズ5の断面図に詳細に示されているように、ある好ましい実施形態では、本開示のデュアルモードAR/VRニアアイウェアラブルディスプレイ1のレンズ5の前側のシーン側表面10は、電気着色層15を備えてよい。電気着色層15は、レンズ5を通した透過率(又は着色レベル)を電気的に制御するよう設計された、複数の薄膜層20を備えてよい。複数の薄膜層20は、薄膜層20の間に挟まれた、ポリマー分散液晶(PDLC)材料又は同等の好適な材料といった可変光透過材料の、少なくとも1つの可変光透過層25を備えてよい。薄膜層20は、インジウム‐スズ酸化物(ITO)といった、導電性の、光学的に透明な材料を含んでよい。薄膜層20は、レンズ5の着色又は透過率レベルを電気的に変化させる(又は制御する)ために、可変光透過層25を横断する電気信号又は電位の結合を可能とするよう構成される。可変光透過層25の対向する側部の薄膜層20は好ましくは電気的に絶縁され、各レンズ5の有効透過率の複数レベルの又は連続可変制御を可能とするために適切な制御回路構成に別個に電気的に結合され、透明又は無色から非透明又は暗色へと変化できる。
ある好ましい実施形態では、レンズ5の電気着色層15は、透明な導電性ITO薄膜層20を通して、視認者によって定義された複数の電圧レベルの電気信号の結合を可能とすることによって、可変光透過PDLC層25の結晶方位を制御して、レンズ5の着色レベルを無色から暗色まで、着色レベルの離散的又は連続的範囲にわたって制御下で変化させることができるように設計される。
レンズ5の裏側の視認者側表面30は、1つ又は複数の光導波路構造体40を備える(図4)。ある好ましい実施形態では、裏側表面30は、それぞれが出口アパーチャを画定するレンズ厚さ5’内に配置された、それぞれが出口アパーチャを画定する複数の導波路層50からなるポリマーの光学的薄膜層を備えてよい。導波路層50は、各レンズ5の周縁表面5’’付近(好ましくは視認者の瞳孔視認領域の外側)に位置する導波路構造体40で受承された光を、レンズの厚さ5’の各部分を通して、図4に示すように視認者の瞳孔の視認領域内に位置する各導波路層50によって画定される所定の出口アパーチャ部分領域45’へと、全内部反射(total internal reflection:TIR)又は「導波(wave‐guide)」できるように構成された、複数の微小刻印切子面又は同等の光学構造体として、設けることができる。(図の他の側面を不必要に不明瞭にしないよう、導波路層を全て図示してはいない。)図4は概して、レンズ5の視認領域内の複数の出口アパーチャ部分領域45’に結合された複数の導波路構造体40を示す。導波路層50は一般に、各レンズ5の周縁領域に隣接する境界領域を除く、各出口アパーチャ部分領域45’の全体に広がっており、これにより、各アパーチャ部分領域45’の個々の画像部分がタイル張りにされる結果として、間隙又はデッドエリアを有しない集合画像を生成できる。
導波路構造体40は例えば、レンズ厚さ5’内の表面レリーフ又は体積レリーフ回折光学構造体(DOC)を用いて製作してよく、例えば回折格子、ブレーズド回折格子、マルチレベル若しくはブラッグ回折格子、又は当該技術分野において公知であるような同等の構造体として提供してよい。
導波路層50は、好ましくは可視光スペクトルをカバーする広帯域の光を回折させるよう設計してよい。
導波路層50は好ましくは、1つ又は複数の画像ソース55から放出された光を各レンズ5へ、及び視認者の瞳孔領域へと光学的に結合させるよう設計される。導波路構造体は、画像ソース55の一部を形成する適切なマイクロレンズアレイとあわせて、各レンズ部分領域45’に結合される画像を適切に光学的に拡大及び再配向するよう構成される。特に、各プリズム様回折格子素子上の微小刻印切子面は、互いに異なる別個の視認者定義型切子面角度を備えることができ、例えばこれは導波路層50自体にわたって漸増又は漸減し、これにより、各画像部分を画定する出口アパーチャにおける光を、視認者の眼へと集束するよう再配向する。
本発明のデュアルモードAR/VRニアアイウェアラブルディスプレイ1は更に、少なくとも1つの画像ソース55を備えてよく、これは各レンズ5の各導波路構造体40に直接光学的に結合され、これにより各画像ソース55が、多色ピクセルの2Dアレイを含むデジタル光学画像部分を生成及び出力できる。上述のように、各画像ソース55は各入力アパーチャ40に1つの画像部分を提供し、これは各レンズ5の各出口アパーチャ又は各出口アパーチャ部分領域45’に対して提示されることになり、これにより各画像部分が、レンズ5の外縁部の小さな部分を除いて各出口アパーチャ部分領域45’を埋め、各画像部分がタイル張りにされることによって各レンズ内に単一の復号画像を提供できる。
レンズ5に光学的に結合された画像ソース55は、デュアルモード拡張/仮想現実ニアアイウェアラブルディスプレイ内のシングルビュー画像又はマルチビュー光照射野画像を修正する能力を備えてよい。
レンズ5に光学的に結合された画像ソース55は好ましくは、デュアルモードAR/VRウェアラブルディスプレイの視認者の視野を阻害せずにレンズ5に結合できるよう、十分に小型である。
画像ソース55は、ある好ましい実施形態では(「バックライト式」又は「透過性」画像ソースとは対照的に)発光タイプとすることによって、ウェアラブルディスプレイに求められるコンパクトさを実現できるように提供され、レンズ5の入力画像アパーチャ40の表示領域及び必要な発散角度に概ね適合した画像を生成できる。発光式イメージャは、視認者の視野を不必要に阻害する嵩高い光学インタフェース又は中継要素を必要とすることなく、その発光表面から上記発光式イメージャのマイクロレンズアレイを通して光学的に結合できる。
レンズ5に光学的に結合された画像ソース55は例えば、米国特許第7,623,560号;米国特許第7,829,902号;米国特許第8,567,960号;米国特許第7,767,479号;米国特許第8,049,231号;米国特許第8,243,770号に記載されている、Quantum Photonic Imagers (「QPI」(商標)、Ostendo Technologies, Inc.の商標)と呼ばれる種類の発光ディスプレイデバイスから提供され得、これらは、本出願の譲受人であるOstendo Technologies, Inc.に譲受された複数の特許及び特許出願の主題である。
本発明と共に画像ソース55として使用するために好適な例示的な発光ディスプレイ素子としては、限定するものではないが、例えばそれぞれ「Spatio‐temporal Directional Light Modulator」という名称の米国特許第9,195,053号;米国特許第8,854,724号;米国特許第8,928,969号で教示されている光照射野発光ディスプレイデバイス、又はそれぞれ「Quantum Photonic Imagers And Methods Of Fabrication Thereof」という名称の米国特許第7,623,560号;米国特許第7,829,902号;米国特許第8,567,960号;米国特許第7,767,479号;米国特許第8,049,231号;米国特許第8,243,770号で教示されている発光ディスプレイ素子が挙げられ、これらの特許はそれぞれ、本出願の出願人に譲渡され、またその内容全体が参照により本出願に援用される。
上で参照した米国特許それぞれの主題である上述の画像ソースは、望ましいことに、全ての必要なディスプレイ駆動回路構成を含む単一の発光ディスプレイデバイスにおいて、高い輝度、高い解像度、及び多色光による、また一部は空間変調能力による極めて迅速な応答という特徴を有する。上で参照した特許において開示されているデバイスは本発明での使用に極めて好適であるものの、本発明の文脈において、本明細書中で使用される用語「画像ソース(image source)」は、好適なサイズの発光性マイクロスケールソリッドステート光(SSL)放出ピクセルのアレイを備えたいずれの光電子デバイスを包含することは明らかである。このようなデバイス(これ以降まとめて「画像ソース」と呼ぶ)のSSL光放出ピクセルは、発光ダイオード(LED)若しくはレーザダイオード(LD)構造体、又は駆動回路構成によってオン‐オフ状態が制御されるいずれのソリッドステート光放出(好ましくは多色)構造体であってよく、あるいは一例として、OLEDイメージャデバイスを含む画像ソース55を含んでよい。
上で参照した米国特許の画像ソースの発光性マイクロスケールアレイは、関連する駆動CMOS回路構成によって個々に空間、色、時間的に個々にアドレス指定可能なものとして提供されると有益であり、これによりこのような画像ソースは、空間、色、時間的に変調された光を放出できる。上で参照した特許において開示されている画像ソースが放出する複数の色は、同一のピクセルアパーチャを共有することが望ましい。ピクセルアパーチャは、多色のコリメートされた(又は非ランバート)光を、約±5°~約±45°の発散角度で放出する。上で参照した特許の画像ソースの発光性アレイを構成するピクセルのサイズは典型的にはおよそ5~20マイクロメートルであり、画像ソースの典型的な発光表面積は、およそ15~150平方ミリメートルとなる。上述の特許の主題である画像ソースは、その発光性ピクセルアレイとデバイスの物理的縁部との間に最小の間隙又は境界を備え、これにより、多数の画像ソースデバイスを「タイル張りに(tiled)」させて、視認者が定義する任意のサイズの表示領域を生成できる。しかしながら、図3A、3C、4に示され、かつ上述されているように、本発明のレンズの周縁の周りに独立して分散される場合、タイル張りにされるのは画像ソース自体ではなく複数の画像部分であり、これにより画像ソース自体の境界は、画像ソース自体が何らかの理由でタイル張りにされない限りは無関係となる。
本発明のレンズ5に光学的に結合された画像ソース55は、好ましくは1~15ルーメンにわたる範囲内でデジタル制御可能な輝度を有するビデオ画像を、好ましくは本開示のデュアルモードAR/VRウェアラブルディスプレイ1の小型構成内への実用的な統合が可能となるように最小の電力消費で、生成できる。
画像ソース55の制御可能な輝度レベルにより、デュアルモードAR/VRウェアラブルディスプレイ1の複数の動作モードに適合した適切な輝度レベルを生成できる。
レンズ5に光学的に結合された画像ソース55は、(変調されて入力画像アパーチャ40に結合されるピクセルの数及び境界に関して)デジタル制御可能な画像サイズ及び形状を生成するよう構成してよく、これにより、この制御可能な画像サイズ及び形状を用いて、可変制御サイズ及び形状を有する画像を、レンズ5の出口アパーチャ45又は出口アパーチャ部分領域45’に結合させる。
レンズ5に光学的に結合された画像ソース55は好ましくは、上述のように各レンズ5専用の少なくとも1つの画像ソース55、又は図4に示すように各画像ソース55を異なる部分領域45’に結合させるために、各レンズ5の複数の導波路構造体に結合された複数の画像ソース55を備える。
各レンズ5の複数の入力画像アパーチャ40に結合された複数の画像ソース55を使用することによって、各画像ソース55を別個の専用の出口アパーチャ部分領域45’に効果的に結合させることにより、(典型的にはTIR導波条件を持続させるために必要な)導波路平坦性条件は、レンズ厚さ5’内のレンズ5のわずかな部分のみにわたってしか必要でなくなり、従ってレンズ5は、個々の出口アパーチャ部分領域45’全体にわたって、「区分的に平坦」でありさえすればよい。これにより、非平面表面及び湾曲断面プロファイルを有する、全体として湾曲したレンズ5を使用できる。
レンズ5を「区分的に平坦」なものとして提供できることにより、典型的な導波路光学素子を使用する際に必要となる略平面のレンズではなく、湾曲形状のレンズを使用できる。湾曲レンズの区分的に平坦な部分により、本発明のデュアルモードAR/VRニアアイウェアラブルディスプレイ1に関して、より審美的に魅力のある眼鏡レンズ形状、及び最新の外観の使用が可能となる。
可能な選択肢としてデュアルモードAR/VRニアアイウェアラブルディスプレイ1の全体的な設計に応じて、画像ソース55から導波路層50に画像を直接投影できる。更なる選択肢として、全内部反射は、内部表面に対する光の入射角が臨界角未満であることしか必要とせず、内部反射の回数は通常多くはなく、例えば1回~3回の範囲内であり、また所望の審美的効果を得るために、レンズ5の曲率半径を大きくする必要がないため、区分的に平坦なレンズ5ではなく、連続的に湾曲したレンズ5を使用できる。視認者に対して表示される画像部分は歪んでいるが、この画像部分を、画像ソース55の適切なマイクロレンズ層等によって事前に逆に歪ませて、及び/又は電子的に補正して、歪みを除去できる。全内部反射を使用する場合、これは、内部反射が使用される場所、即ち各レンズ5の縁部付近においてのみ必要とされることに留意されたい。その他の点では、レンズ5は、通常のガラスのように緩やかに連続的に湾曲してよく、導波路層50はこれに従って変化し、また必要な場合は、眼鏡フレームの縁部を張り出した縁部によって被覆してよく、これにより、連続的に湾曲した部分だけが通常視認可能となる。
各画像ソース55を異なる専用の出口アパーチャ部分領域45’に結合するために、各レンズ5の複数の入力導波路構造体40に結合された、複数の画像ソース55の使用により、更に、複数の画像ソース55から出口アパーチャ部分領域45’への光導波路が、異なる複数の方向から視認者の各瞳孔に集束する複数の光線を有することができる。
複数の入力画像アパーチャ40に結合された複数の画像ソース55の使用(ここで上記複数の入力画像アパーチャ40はそれぞれ、異なる出口アパーチャ部分領域45’に結合され、複数の画像ソース55から複数の出口アパーチャ部分領域45’を通して各光導波路に結合される)により、異なる画像ソース55から放出された光を、異なる複数の方向から視認者の各瞳孔に集束させ、ここで各出口アパーチャ部分領域45’に関連する画像ソース55は好ましくは、異なる視線からのビュー(perspective view)を変調し、デュアルモードAR/VRニアアイウェアラブルディスプレイ1にマルチビュー光照射野シーンを表示させることができる。
複数の導波路構造体40に結合された複数のマルチビュー光照射野画像ソース55の使用(ここで上記複数の導波路構造体40はそれぞれ、異なる部分領域45’に結合され、複数の画像ソース55からそれぞれの出口アパーチャ部分領域45’を通して光導波路に結合される)により、異なる画像ソース55から放出されたマルチビュー光照射野を、異なる複数の方向から視認者の各瞳孔に集束させ、ここで各出口アパーチャ部分領域45’に関連する画像ソース55は、異なるマルチビュー視線を変調する。これにより、デュアルモードAR/VRニアアイウェアラブルディスプレイ1に、微細な(小さい)角度(ピッチ)解像度の光照射野を、幅広い視野(field of view:FOV)にわたって変調させることができ、これにより複数の画像ソース55の視認者の眼への主要な光線の角度によって、大まかな方向の変調(例えば全FOV内の複数の主要な光線間の15°の角度分離)が達成され、また、画像ソース55が、その各出口アパーチャ部分領域45’の方向内の微細な角度分離ピッチによって隔てられた異なる複数の視線のセットを変調することによって、微細な方向の変調(例えば部分領域FOV内の複数のビュー間の0.5°の角度分離)が達成される。
複数の導波路構造体40に結合された複数のマルチビュー光照射野画像ソース55の使用により、視認者の各瞳孔に十分な数のビュー(好ましくは瞳孔1つに対して8~12個のビュー(ただし少なくとも6つのビューが水平視差に沿っている))を提供する光照射野を、いわゆる「輻輳調節矛盾(vergence accommodation conflict:VAC)」効果(これは視認者の深刻な不快感を引き起こすものであり、また従来技術のニアアイ自動立体ディスプレイではよく発生するものである)を実質的に排除する程度まで変調でき、従って本開示のデュアルモードAR/VRニアアイウェアラブルディスプレイ1をVACフリーディスプレイとすることができる。
複数の導波路構造体40に結合された複数の画像ソース55の使用により、例えば限定するものではないが、1つの眼に対して100万ピクセルを実現するために、それぞれ125,000個の10マイクロメートルのピクセルを有する8つの画像ソース55を用いて、各ディスプレイレンズ5に光学的に結合される画像ソース55の数を増加させることにより、又は例えば限定するものではないが、1つの眼に対して200万ピクセルの表示を可能とするために、上述の例と同一の物理的サイズを有するものの500,000個の5マイクロメートルのピクセルを有する8つの画像ソース55を用いて、画像ソース55のピクセルサイズを低減することにより、(視認者に対して表示されるピクセルの数という点で)ディスプレイの解像度を上昇させることができる。
各レンズ5の複数の導波路構造体40それぞれに結合された複数の画像ソース55の使用により、1つの眼に対して高いピクセル解像度を実現でき、視認者の各瞳孔に対して十分な数のビューを変調することによって、視認者に対してデジタルホログラフィック画像又は光照射野画像を変調できる。
電子制御可能な画像サイズ及び形状を有する画像ソース55を用いることにより、デュアルモードAR/VRウェアラブルディスプレイ1の様々な動作モード及び光学画像の歪みに適合する適切な画像サイズ及び形状を生成できる。
図2に戻ると、デュアルモードAR/VRニアアイウェアラブルディスプレイ1は、1つの眼に対して少なくとも1つの眼追跡センサ65を備えてよく、眼追跡センサ65の出力は、各眼の角度位置(又は視角)、虹彩の直径、2つの瞳孔の間の距離を含むがこれらに限定されない、視認者の眼の複数の所定のパラメータを検出するよう構成される。
眼追跡センサ65は、CMOS検出器アレイデバイス等の複数の画像検出センサを備えてよく、これらは各レンズ5の入力画像アパーチャ40に結合され、これにより各眼追跡センサ65は、各レンズ5の光導波路構造体40の光伝達機能を利用するために、画像ソース55付近に位置決めされる。これにより、各レンズ5の光導波路構造体40を、2つの機能、即ち:複数の画像ソース55から導波路層へ、又は複数の画像ソース55から各眼への光経路としての機能;及び各眼から1つ又は複数の画像検出用眼追跡センサ65への逆方向の光経路としての機能を果たすように使用できる。
複数の画像検出用眼追跡センサ65が捕捉した複数の画像を1つに混合(又は融合)して、各瞳孔の捕捉画像を形成してよく、またディスプレイ出口アパーチャ45又は出口アパーチャ部分領域45’の画像を形成し、これを用いて複数の出口アパーチャ部分領域45’にわたる色及び輝度の均一性を判断してよい。
眼追跡センサ65を利用して、複数のディスプレイ出口アパーチャ部分領域45’にわたる輝度及び色の均一性を検出してよく、これにより、1つ又は複数の眼追跡センサ65が捕捉した画像を分析して、各ディスプレイ出口アパーチャ部分領域45’の輝度及び色を決定する。続いて、決定された値を比較し、これに従って、複数の導波路構造体40に結合された複数の画像ソース55の輝度及び/又は色を調整することにより、出口アパーチャ部分領域45’のセット全体にわたる色及び輝度を、例えば10%である所与の視認者定義型閾値内で均一なものとすることができる。
次に、眼追跡センサ65の眼パラメータ出力を利用して、各レンズ5の複数の入力画像アパーチャ40に結合された複数のマルチビュー光照射野画像ソース55のパラメータを調整すること、例えば:1°~2°の範囲内の「目視(eye‐look)」方向におけるディスプレイ解像度をその最高レベルまで調整すること;又は検出された眼パラメータから推定された深さにおいて光照射野圧縮基準ホログラフィック要素(ホーゲル)を選択すること;又は眼が焦点を合わせる深さに適合するように、合成ホログラフィック3D画像の深さを調整すること;又は1°~2°の範囲の目視方向内における輝度若しくは色を調整すること、例えば1°~2°の範囲の目視方向の外側の画像領域内の視線、解像度、輝度及び/若しくは色をぼかす、低減する及び/若しくは調整することによって、各眼に関する表示パラメータを調整してよい。
画像ソース55と、レンズ5に光学的に結合された、画像均一化機能を実施するよう構成された1つ又は複数の眼追跡センサ65とは、好ましくは図1、2に示すようなデュアルモードAR/VRウェアラブルディスプレイ1の眼鏡フレームのテンプル組立体75内又は眼鏡のテンプルに一体化された小型プリント回路として構成される、インタフェース・制御・処理要素(ICPE)に電気的に結合されてよい。ICPEは通常、プログラム制御下で動作する。
デュアルモードAR/VRウェアラブルディスプレイインタフェース・制御・処理要素(ICPE)から画像ソース55への電気的結合は、例えばデジタルビデオ入力信号、輝度制御並びに画像サイズ及び形状制御信号を組み入れてよい。
デュアルモードAR/VRウェアラブルディスプレイ1のインタフェース・制御・処理要素(ICPE)は更に、眼鏡のフレームのテンプル組立体75内の無線及び有線両方のインタフェースと、デュアルモードAR/VRウェアラブルディスプレイ1が図2で確認できるような画像記憶ソース又は制御ホストプロセッサ及び/若しくはサーバに無線又は有線でインタフェース連結して接続できるようにする、接続能力とを備えてよい。
眼追跡センサ65からの処理フィードバック入力に必要な画像処理能力を、デュアルモードAR/VRウェアラブルディスプレイ1のインタフェース・制御・処理要素(ICPE)内に実装してよい。
デュアルモードAR/VRウェアラブルディスプレイ1のインタフェース・制御・処理要素(ICPE)は更に、両眼に対して表示された画像を、視線及び時間の両方の面で同期させる能力を備えてよい。
デュアルモードAR/VRウェアラブルディスプレイ1のインタフェース・制御・処理要素(ICPE)は更に、図2に示すようにデュアルモードAR/VRウェアラブルディスプレイ1の傾斜及び配向の感知(頭を追跡する能力)を可能とするための、好ましくはマイクロスケールのジャイロ及び加速度計を用いて実装される傾斜及び配向センサ80を備えてよい。
デュアルモードAR/VRウェアラブルディスプレイ1のインタフェース・制御・処理要素(ICPE)は更に、デュアルモードAR/VRウェアラブルディスプレイの周囲光環境の輝度を感知できるようにするための、1つ又は複数の周囲光センサ85を備えてよい。
デュアルモードAR/VRウェアラブルディスプレイ1のインタフェース・制御・処理要素(ICPE)は更に、感知されたデュアルモードAR/VRウェアラブルディスプレイ1の周囲光、傾斜、配向(周囲光、傾斜及び配向センサの出力データ)を、接続された画像ソース55、並びに制御ホストプロセッサ及び/又はサーバに出力するための、インタフェース連結能力を備えてよい。
デュアルモードAR/VRウェアラブルディスプレイ1のインタフェース・制御・処理要素(ICPE)は更に、デュアルモードAR/VRウェアラブルディスプレイ1に提供される入力電力を変換、調節及び管理するために使用される、電力コンバータ回路及び電力管理回路構成90を備えてよい。
デュアルモードAR/VRウェアラブルディスプレイ1のインタフェース・制御・処理要素(ICPE)は更に、自律型(又は非電源接続)動作モードを実現するために電力コンバータ及び電力管理回路構成に結合されたバッテリパックを、電力管理回路構成の一部として備えてよい。
デュアルモードAR/VRウェアラブルディスプレイ1のインタフェース・制御・処理要素(ICPE)は更に、電源接続動作モードを実現するために電力コンバータ及び電力管理回路構成90に結合された、入力電力インタフェースを備えてよい。
デュアルモードAR/VRウェアラブルディスプレイ1のインタフェース・制御・処理要素(ICPE)は更に、好ましくは図5に示すように、デュアルモードAR/VRウェアラブルディスプレイ1のウェアラブルディスプレイのフレームのテンプル組立体95のうちの少なくとも1つの末端部分に配置された、デュアルモードAR/VRウェアラブルディスプレイへの電力、データ及び制御用インタフェース連結を実現するための小型入力コネクタを備えてよい。
湾曲レンズ5及び光導波路構造体40という特徴を利用することにより、デュアルモードAR/VRウェアラブルディスプレイ組立体1を、視認者の前頭部プロファイルに適合するように湾曲させることができ、ここでテンプル組立体75及びレンズフレームは、デュアルモードAR/VRウェアラブルディスプレイ1の視認領域内に過剰な周囲光が漏れるのを十分に最小化するために、垂直軸に沿って延在する。
デュアルモードAR/VRウェアラブルディスプレイ1は、(ディスプレイのテンプルを触ることによって若しくは音声コマンドによって)ディスプレイの視認者によって、又は画像ソースホストプロセッサ及び/若しくはサーバから入力されたインタフェース・制御・処理要素データ内に埋め込まれたコマンドによって、命令されたとおりに、仮想現実VRモード、拡張現実ARモード又はハイブリッドAR/VRモードで動作するよう構成してよい。
VRモードでは、レンズ5の電気着色層15に結合される電気信号のレベルを適切に設定することにより、デュアルモードAR/VRウェアラブルディスプレイ1のレンズ5の着色を最大値まで増大させる(又は透過率を最小値まで低減させる)ことができ、これにより、レンズ画像ソース’55の出力画像の輝度を、ディスプレイの視認者の好みとして設定されたVR輝度レベルに適合するよう低減できる。
VRモードでは、デュアルモードAR/VRウェアラブルディスプレイ1は、感知された傾斜及び配向データを画像ソースに提供してよく、これは画像ソースがデュアルモードAR/VRウェアラブルディスプレイ1に、視認者の頭の傾斜及び配向に応じて適切に生成されたVR画像を提供するためである。特にARモードでは、視認者の頭の傾斜又は位置の変化は、上記傾斜及び配向データに応じて電子的に補正しない限り、拡張画像の見かけの位置を傾斜又は変化させるものの現実の画像の見かけの位置は傾斜又は変化させないことになる。
デュアルモードAR/VRウェアラブルディスプレイ1のVRモードでは、(ディスプレイのアームの外側表面上に位置するタッチセンサに触れることによって、若しくは音声コマンドによって)視認者がディスプレイにそのように命令した場合、又は感知された傾斜及び配向データが、視認者によって好みとして設定されたデフォルトの視認体積(若しくはボックス)の外側に視認者の頭があることを示している場合、レンズの着色を、ディスプレイの視認者によって定義された最小レベルまで低減できる。これにより、ある一定の物理的視認ボックスを設定し、その外側ではディスプレイの視認者が安全に動き回ることができるようにディスプレイのレンズの着色を低減することによって、ディスプレイの視認者は、デュアルモードAR/VRウェアラブルディスプレイ1を装着したまま安全に動き回ることができる。
VRモードでは、デュアルモードAR/VRウェアラブルディスプレイ1を、2D又は3D光照射野画像を表示するよう再構成してよく、これにより、ディスプレイが感知した傾斜及び配向データを画像ソースデバイスが使用して、2D及び3D動作モードの両方において表示可能な視野を拡大するか、又は3D動作モードにおいて全視差3D視認体験を実現する。
ARモードでは、周囲光センサ85を用いてレンズの着色層15に結合される電気信号のレベルを適切に設定することによって、デュアルモードAR/VRウェアラブルディスプレイ1のレンズ5の着色を、ディスプレイが感知した周囲光レベルに適合する所望の視認レベルまで、低減できる。表示される画像の輝度は、ディスプレイの視認者によって好みとして設定された、感知された周囲光レベル及び輝度レベルに適合するように、レンズ画像ソース55の出力画像の輝度を低減することによって、増大させることができる。
ARモードでは、デュアルモードAR/VRウェアラブルディスプレイ1は、ICPEを通して画像ソース55に傾斜及び配向データを提供してよく、これは画像ソース55がデュアルモードAR/VRウェアラブルディスプレイ1に、視認者の頭の傾斜及び配向に応じて適切に生成されたAR画像を提供するためである。ARモードでは、レンズ5を通して視認できる画像(現実世界)と、コンピュータで生成された又はその他の拡張画像との両方が、調和させ、重ねた状態で視認可能であるため、補償を行わない場合、視認者の頭の傾斜及び配向がこれら2つの画像の相対位置を妨害することになる。ある好ましい実施形態では、いずれの一時点で表示される画像は、メモリに記憶され得るもの又は必要に応じて生成され得るもの(又はこれら両方)等の、更に大きな拡張画像の一部であると考えることができ、実際には、補償を目的として視認可能な領域を上記更に大きな画像の周りで単に移動させる又はねじることによって、頭の運動が効果的に補正される。その結果、いずれの部分領域45’に表示されるいずれの1つの画像部分の物理的サイズが変化していない間も、表示されている上記更に大きな画像の上記一部、及びそれがいずれの1つの部分領域45’に表示される方法は、頭の運動と共にICPEによって変更され、これにより、現実の画像と拡張画像との整列が維持される。この特徴はVRモードにおいても有益となり得、視認者のVR体験に付与される視認可能な画像の空間的位置が固定される。
AR又はVRモードにおいて、画像ソースによってレンズ5のいずれの部分領域に表示される画像は典型的には、縁部周辺に使用されない(黒色の又は「オフ」の)1つ又は複数の画像ソースピクセルを有することになることに留意されたい。これにより、部分領域に表示された画像の、ピクセルのインクリメントでの電子的な精密サイズ設定、配置及び角度位置が、非合理的な機械的整列要件等を回避できる。
デュアルモードAR/VRウェアラブルディスプレイ1のARモードでは、ディスプレイのテンプルの外側表面上に位置するタッチセンサ100に触れることによって、若しくは音声コマンドによって、視認者がディスプレイにそのように命令した場合、又は感知された周囲光データが、表示された画像のコントラストを低下させる点まで周囲光が増加していることを示している場合、レンズの着色を、ディスプレイの視認者によって設定されたレベルまで増大させることができる。
ARモードでは、デュアルモードAR/VRウェアラブルディスプレイ1は2D又は3D光照射野を表示でき、これにより、ディスプレイが感知した傾斜及び配向データを画像ソース55が使用して、2D及び3D動作モードの両方において表示可能な視野を拡大できるか、又は3D動作モードにおいて全視差3D視認体験を実現できる。
デュアルモードAR/VRウェアラブルディスプレイ1のハイブリッドAR/VRモードでは、埋め込まれたモード制御コマンドデータパケットを内包するディスプレイコンテンツによって、動作モードを制御でき、上記モード制御コマンドデータパケットは、表示されているシーンのコンテンツ及び/又は視認者の眼が向けられ、焦点を合わせている場所に応じて、デュアルモードAR/VRウェアラブルディスプレイ1に、表示された画像内の特定の対象物又は焦点面を、このようなシーン対象物又は焦点深さの着色レベル及び/又はコントラストレベルを修正することによって強調させる。
デュアルモードAR/VRウェアラブルディスプレイ1は、AR動作モードとVR動作モードとの間を切り替えるため、及び各モードの様々な動作パラメータを制御するために、上で説明したように使用される、タッチ及び音声両方による制御能力を備えてよい。
タッチ制御能力は、ケーシング(又はエンクロージャー)の外側のテンプル組立体上に組み込まれたタッチセンサ100として実装してよい。タッチセンサ100は、単回タッチ、複数回タッチ、又はタッチ・アンド・ドラッグタイプのコマンドに応答するよう設計してよい。ARモード及びVRモードの両方において、例示的な右側タッチセンサ100のデフォルトの設定は、タッチセンサを制御してディスプレイレンズの染色レベルを制御するためのドラッグであり、左側タッチセンサ100の設定は、タッチセンサを制御してディスプレイの輝度レベルを制御するためのドラッグである。VRモードでは、いずれかの側部への単回のタッチは、ディスプレイの視認者が安全に動き回れるよう、ディスプレイのレンズの着色を変化させることができる。複数回のタッチを用いて、ディスプレイの視認者が彼らの需要に適合するように各動作モードパラメータを設定及び変更できるようにするプログラマブルメニューに基づいて、タッチセンサのデフォルト制御を変更してよい。
音声制御能力を提供することによって、ディスプレイの視認者が、AR、VR又はハイブリッドAR/VRといったディスプレイモード、及び輝度又は画像サイズといったディスプレイ動作パラメータを制御できるようにすることができる。
眼鏡のフレームのテンプル組立体75の無線又は有線インタフェース連結能力によって、デュアルモードAR/VRウェアラブルディスプレイ1は、ハンドジェスチャセンサ105とインタフェース連結でき、これによりディスプレイの視認者は、AR、VR又はハイブリッドAR/VRといったディスプレイモード、及び輝度又は画像サイズといったディスプレイ動作パラメータを制御できまた、手、音声又はタッチジェスチャによって視認者の表示領域に対して追加したり除去したりすることができるソフトボタン又はアイコンを用いて、ディスプレイのコンテンツを制御及び/又は選択できる。
デュアルモードAR/VRウェアラブルディスプレイ1は更に、少なくとも1つの「リアリティ(reality)」センサ110(好ましくは光照射野カメラ)を備えてよく、これは好ましくは、周囲光照射野コンテンツを捕捉して、捕捉した画像をインタフェース・制御・処理要素(ICPE)に結合し、続いてインタフェース・制御・処理要素(ICPE)は、表示される画像を混合又は融合して、ARモードで視認される現実の視線にフィットさせ、光学的に適合させるか、又はリアリティセンサが捕捉した画像をVRモードで表示されるコンテンツに統合する。
デュアルモードAR/VRウェアラブルディスプレイ1は更に、入力画像データ又はビデオデータを圧縮フォーマット(例えばMPEG又はJPEG等)で受け取り、最初に入力画像を復元してからこれらを視認者に対して表示するか、又は復元処理及びメモリ要件を削減して電力消費を削減するために、以下で議論するビジュアル復元(Visual Decompression)技法を用いて入力画像を視認者に対して直接表示する能力を備えてよい。
デュアルモードAR/VRウェアラブルディスプレイ1の複数の画像ソース55は更に、(標準的な1ピクセルの変調ベースの代わりに)(n×n)ピクセルの高次ベースを用いて画像を変調し、画像の整合離散ウェーブレット変換(discrete wavelet transform:DWT)又は離散コサイン変換(discrete cosine transform:DCT)表現の係数(これらは典型的にはMPEG及びJPEG圧縮技法で使用される係数である)を変調し、これにより、デュアルモードAR/VRウェアラブルディスプレイ1が、圧縮画像データを直接用いて画像を変調できるようにする能力を備えてよい。これはデータ処理スループット及びメモリ使用量についての効率化をもたらし、結果的に、デュアルモードAR/VRウェアラブルディスプレイ1のインタフェース・制御・処理要素(ICPE)の体積及び電力消費要件を削減する。
デュアルモードAR/VRウェアラブルディスプレイ1は更に、光照射野圧縮技法及びフォーマットを用いて圧縮された入力画像又はビデオを受け取り、圧縮光照射野レンダリングを適用して、表示するべき光照射野を、圧縮基準ホログラフィック要素(ホーゲル)のセットから復元及び合成することにより、画像インタフェース帯域幅、圧縮処理及びメモリ要件を削減するため並びに電力消費を削減する能力を備えてよい。
デュアルモードAR/VRウェアラブルディスプレイ1は更に、クラウドサーバ115とインタフェース連結し、上記サーバに、検出した視認者の眼及び頭の位置及び配向に基づいて、圧縮光照射野ホログラフィック要素(ホーゲル)の選択されたセットをダウンロードするよう問い合わせ、次に上記サーバから、要求した光照射野ホログラフィック要素(ホーゲル)を受け取り、続いて圧縮光照射野レンダリングを適用して、表示するべき光照射野を、圧縮基準ホログラフィック要素(ホーゲル)のセットから復元及び合成する能力を備えてよい。これにより有益なことに、画像インタフェース帯域幅、並びに圧縮処理及びメモリ要件及び電力消費が更に削減される。
デュアルモードAR/VRウェアラブルディスプレイ1は更に、クラウドサーバ115とインタフェース連結し、上記サーバに、検出した視認者の眼の焦点深さ又は距離に基づいて、ここでは基準ホーゲルと呼ばれる、圧縮光照射野ホログラフィック要素(ホーゲル)の選択されたセットをダウンロードするよう問い合わせ、次に上記サーバから、要求した基準光照射野ホーゲルを受け取り、続いて圧縮光照射野レンダリングを適用して、表示するべき光照射野を、圧縮基準ホーゲルのセットから復元及び合成することにより、画像インタフェース帯域幅、並びに圧縮処理及びメモリ要件及び電力消費を更に削減する能力を備えてよい。
デュアルモードAR/VRウェアラブルディスプレイ1は更に、ネットワーク化光照射野写真クラウドサーバとして構成されたクラウドサーバ115とインタフェース連結し、上記サーバと対話して、そのリアリティセンサ110が捕捉した周囲光照射野画像をアップロードし、視認者が拡大した光照射野の画像をダウンロードすることによって、視認者が、自身の視認範囲を超えた周囲光照射野、即ち拡大された光照射野のコンテンツを視認できるようにするか、又はディスプレイの視認者が、ディスプレイのVR又はARモードを用いて、ダウンロードされた光照射野をブラウズできるようにする能力を備えてよい。
デュアルモードAR/VRウェアラブルディスプレイ1は更に、クラウドサーバ115とインタフェース連結して、1つ又は複数の眼追跡センサ65が検出した眼のパラメータ(例えば視角及び焦点の深さ)に応じてビデオデータセットの選択された一部分のビデオコンテンツをダウンロードするよう問い合わせる能力を備えてよい。
デュアルモードAR/VRウェアラブルディスプレイ1は更に、オーディオスピーカ及びマイクロフォンを備えてよいオーディオインタフェース120とインタフェース連結する能力を備えてよく、上記オーディオスピーカ及びマイクロフォンはいずれもテンプル組立体75の体積の周囲に一体化され、これによりマイクロフォンは、インタフェース・制御・処理要素(ICPE)に電気的に結合されて、インタフェース・制御・処理要素(ICPE)の音声認識処理要素(ソフトウェア)に視認者の音声コマンドをインタフェース連結するために使用され、またスピーカは、インタフェース・制御・処理要素(ICPE)に電気的に結合されて、オーディオコンテンツを視認者にインタフェース連結するために使用される。
複数の画像ソース55及び眼追跡センサ65と、リアリティセンサ110及びインタフェース・制御・処理要素(ICPE)とは、それぞれニアアイウェアラブルディスプレイ眼鏡フレームのレンズベゼルのリム及びテンプルの体積の周囲に埋め込んでよく、これにより、図1に示すもののような、公の場で着用した場合に審美的及び美容的に魅力的な、最新の外観のニアアイウェアラブルディスプレイ眼鏡を形成できる。
デュアルモードAR/VRウェアラブルディスプレイ1には、対象物、アイコン及び/又はマーカの参照画像を度々表示することを期待でき、またデバイスの処理要素は更に、表示されるコンテンツ内に頻繁に出現する対象物、アイコン及び/又はマーカの参照画像のサブセットを、そのインタフェース・制御・処理要素のメモリにおいて常に把握し、続いて、この参照画像のサブセットの細部を簡約するか又はその解像度を低下させて、処理及びメモリ要件を削減し、電力消費を削減する能力を備えてよい。この特徴は、よく知られた又は過去に視覚的に感知された対象物及び画像を認識及び/又は識別するために必要な細部を仮想的に書き込むことにより、ヒト視覚系(human visual system:HVS)の認知能力を活用して、応答の遅延、処理スループット及びメモリ要件、並びに電力消費に関するデュアルモードAR/VRニアアイウェアラブルディスプレイ1の効率を最大化する。
デュアルモードAR/VRウェアラブルディスプレイ1は更に、デバイスに表示するべきコンテンツをフレーム毎に分析して、色域原色の座標に対して色域サイズを推定し、続いて、視認者に表示されている画像の変調時に測定した色域原色を用いて、複数の画像ソース55に、推定された色域を合成するよう命令する能力を備えてよい。この特徴は、画像コンテンツの色域が典型的には、上述のレーザダイオード又はLED系の画像ソース55によって合成できる色域全体よりもはるかに小さいという事実を活用して、輝度、純色量、処理スループット及びメモリ要件並びに電力消費に関するデュアルモードAR/VRニアアイウェアラブルディスプレイ1の効率を最大化する。
ここでは図2に示されているICPE及びホストプロセッサを参照するが、これらはいずれも1つ又は複数の処理要素を含み、上記処理要素は必要に応じてメモリを含む。いずれの処理は、無線又は有線通信を用いて、図1のデバイス上で、又は図1のデバイスから離れて、又はその両方で実施できることを理解されたく、また後続の請求項中での処理要素に関する言及は、図1のデバイス上の、及び/又は図1のデバイスから離れた、1つ又は複数の処理要素に言及しているものと理解されたい。
当業者は、本発明の精神及び範囲から逸脱することなく、多数の改変及び修正を実施してよい。従って、図示されている実施形態は例示のみを目的として記載されていること、及び図示されている実施形態は、本出願に対する優先権を主張するいずれの後続の出願のいずれの請求項によって定義されるように本発明を限定するものとして解釈してはならないことを理解しなければならない。
例えば、いずれのこのような請求項の複数の要素がある特定の組み合わせで記載される場合があるという事実にもかかわらず、本発明は、上で開示されている更に少ない、更に多い、又は異なる要素の他の組み合わせを、最初にはこのような組み合わせで請求されていない場合でさえ、含むことを、はっきりと理解しなければならない。
本発明及びその様々な実施形態を説明するために本明細書中で使用される語句は、その一般的に定義された意味だけでなく、本明細書中での特別な定義によって、一般的に定義された意味を超える構造、材料、又は行為を含むものとして理解するべきである。従って、本明細書の文脈において、ある要素が2つ以上の意味を含むものとして理解できる場合、後続の請求項における上記要素の使用は、本明細書及びその語句自体がサポートするあらゆる可能な意味を包括するものとして理解しなければならない。
従って、本出願に対する優先権を主張するいずれの後続の出願のいずれの請求項の語句又は要素の定義は、逐語的に記載された要素の組み合わせだけでなく、略同一の結果を得るために略同一の方法で略同一の機能を実施するいずれの同等の構造、材料又は行為も含むものと定義するべきである。従ってこの意味において、以下の請求項中の要素のうちのいずれの1つに対して2つ以上の要素での置換を行うことができること、又はこのような請求項中の2つ以上の要素に対して単一の要素での置換を行うことができることが考えられる。
以上において、複数の要素が特定の組み合わせで作用するものとして説明されている場合があり、また以下でそのように請求されている場合があるが、請求されている組み合わせからの1つ又は複数の要素を、場合によっては上記組み合わせから削除できること、及びこのような請求されている組み合わせから部分組み合わせ又は部分組み合わせの変形例を導くことができることを、はっきりと理解されたい。
現時点で公知の又は将来考案される、いずれの以下で請求される主題からの、当業者から見て非現実的な変更は、同様にこのような請求項の範囲内であるものと明らかに考えられる。従って、現時点で又は将来において当業者に公知である明らかな置換は、定義されている要素の範囲内であるものとして定義される。
よって、本出願に対する優先権を主張するいずれの後続の出願のいずれの請求項は、以上で具体的に例示及び説明されたもの、概念的に同等であるもの、明確に置換可能なもの、及び本発明の基本的着想を本質的に援用するものを含むものとして理解するべきである。

Claims (25)

  1. 湾曲または非平面表面及びプロファイルを有する光学レンズであって、
    シーン側の表面と、
    視認者の瞳孔の視認領域を含む視認者側の表面と、
    前記視認者側の表面に配置された複数の光導波路構造であって、前記視認領域の複数の部分領域を定義する複数の各導波路層を含む、複数の光導波路構造と、
    前記シーン側の表面と前記視認者側の表面との間の縁部表面と、を備えた、前記光学レンズと、
    前記縁部表面に直接配置された複数の発光タイプ画像ソースであって、各発光タイプ画像ソースは、各前記光導波路構造に結合され、視認可能な画像の各部分を生成する、前記複数の発光タイプ画像ソースと、
    を備える、ニアアイディスプレイ装置であって、
    各光導波路構造が、生成された前記視認可能な画像の各部分を受け取り、各光導波路層を介して中継し、前記各部分は、前記視認者側の表面の前記視認領域の各前記部分領域に表示され
    前記視認領域の各前記複数の部分領域を含む、前記視認者側の表面の上に配置された前記複数の光導波路構造は、前記視認可能な画像の各部分を提供するために区分的に平坦であり、前記視認可能な画像の各部分は、湾曲または非平面表面及びプロファイルを有する前記光学レンズを画定するために、タイル張りの配置で組み合わされている、
    前記ニアアイディスプレイ装置。
  2. 各前記発光タイプ画像ソースは、空間的、色的及び時間的にアドレス指定できる複数のピクセルを含む、請求項1に記載のニアアイディスプレイ装置。
  3. 前記複数の導波路層は、前記複数の光導波路構造に受承された光が、前記光学レンズを介して前記視認領域の各部分領域へ全内部反射(TIR)されることを許容する、請求項2に記載のニアアイディスプレイ装置。
  4. 前記視認可能な画像は、メモリに保存されている、又は必要に応じてオンデマンドで生成される、又はこれら両方の、より大きな画像の一部であり、
    前記ニアアイディスプレイ装置を着用した前記視認者の頭の運動を感知するための複数の頭運動センサ;並びに
    前記頭運動センサに応答して、各導波路層を通して視認可能な前記より大きな画像の前記一部、及び前記一部を表示する方法を、前記頭の運動を用いて制御することによって、拡張現実モードにおいて現実の画像及び拡張画像の整列を維持する、又は仮想現実モードにおいて前記複数の発光タイプ画像ソースからの前記視認可能な画像の空間的位置を固定する、処理要素
    を更に備える、請求項2に記載のニアアイディスプレイ装置。
  5. 前記視認者の眼と光学的に通信して前記視認者の1つ又は複数の眼のパラメータを追跡する、各前記発光タイプ画像ソースに関連付けられた画像検出センサを更に備える、請求項2に記載のニアアイディスプレイ装置。
  6. 前記光学レンズの前記シーン側の表面は、第1の導電性透明薄膜層と第2の導電性透明薄膜層との間に配置された電気的に可変である光透過層を有する電気着色層を備える、請求項1に記載のニアアイディスプレイ装置。
  7. 前記可変である光透過層は、ポリマー分散液晶材料を備える、請求項6に記載のニアアイディスプレイ装置。
  8. 前記第1の導電性透明薄膜層と前記第2の導電性透明薄膜層のうちの少なくとも1つは、インジウム‐スズ酸化物材料を備える、請求項6に記載のニアアイディスプレイ装置。
  9. 少なくとも1つの環境光センサ;並びに
    前記発光タイプ画像ソース及び前記電気着色層を制御して、前記発光タイプ画像ソースと、前記電気着色層を通して視認可能な現実の画像との間の相対輝度を制御するための、前記環境光センサに応答する処理要素
    を更に備える、請求項6に記載のニアアイディスプレイ装置。
  10. 前記ニアアイディスプレイ装置と音声通信するための、マイクロフォン及びスピーカを備えるオーディオインタフェースを更に備える、請求項6に記載のニアアイディスプレイ装置。
  11. 前記ニアアイディスプレイ装置又は前記電気着色層の動作モードを制御するためのタッチセンサを更に備える、請求項6に記載のニアアイディスプレイ装置。
  12. 前記タッチセンサは、タッチ・アンド・ドラッグセンサを含む、請求項11に記載のニアアイディスプレイ装置。
  13. 前記複数の導波路層は、微小刻印切子面構造を備える、請求項1に記載のニアアイディスプレイ装置。
  14. 前記微小刻印切子面構造は、表面レリーフ光学素子を備える、請求項13に記載のニアアイディスプレイ装置。
  15. 前記導波路層は、体積レリーフ回折光学素子を備える、請求項1に記載のニアアイディスプレイ装置。
  16. 前記導波路層は、回折格子を備える、請求項1に記載のニアアイディスプレイ装置。
  17. 前記導波路層は、ブレーズド回折格子を備える、請求項1に記載のニアアイディスプレイ装置。
  18. 前記導波路層は、マルチレベル回折格子を備える、請求項1に記載のニアアイディスプレイ装置。
  19. 前記導波路層は、ブラッグ回折格子を備える、請求項1に記載のニアアイディスプレイ装置。
  20. 前記ニアアイディスプレイ装置は、湾曲した外観を有する、請求項1に記載のニアアイディスプレイ装置。
  21. 前記光学レンズは、第1の光学レンズであり、前記ニアアイディスプレイ装置はさらに、第2の光学レンズを備え、前記第1の光学レンズ及び前記第2の光学レンズは、テンプル組立体を含むフレーム内に取り付けられている、請求項1に記載のニアアイディスプレイ装置。
  22. ホストプロセッサ及び/又はサーバへの有線又は無線通信リンクを更に備える、請求項1に記載のニアアイディスプレイ装置。
  23. 処理要素を更に備え、
    前記処理要素は、前記視認可能な画像内に出現する対象物、アイコン、マーカ、またはそれらの一部の参照画像を処理要素メモリ内で追跡する、請求項1に記載のニアアイディスプレイ装置。
  24. 処理要素を更に備え、
    前記処理要素は、前記ニアアイディスプレイ装置に表示するべきシーンのコンテンツをフレーム毎に分析して、複数の色域原色の座標に対して色域サイズを推定し、続いて、前記視認者に表示されている前記視認可能な画像の変調時において、前記複数の色域原色を用いて、前記複数の発光タイプ画像ソースに、前記推定した前記色域サイズを合成するよう命令する、請求項1に記載のニアアイディスプレイ装置。
  25. ユーザが表示された画像を認識した時を感知して、認識及び表示された前記視認可能な画像を修正するよう構成された、処理要素を更に備える、請求項1に記載のニアアイディスプレイ装置。
JP2018519398A 2015-10-16 2016-10-17 デュアルモード拡張/仮想現実(ar/vr)ニアアイウェアラブルディスプレイ Active JP7198663B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562242963P 2015-10-16 2015-10-16
US62/242,963 2015-10-16
US15/294,447 2016-10-14
US15/294,447 US11609427B2 (en) 2015-10-16 2016-10-14 Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays
PCT/US2016/057418 WO2017066802A1 (en) 2015-10-16 2016-10-17 Dual-mode augmented/virtual reality (ar/vr) near-eye wearable displays

Publications (4)

Publication Number Publication Date
JP2018533765A JP2018533765A (ja) 2018-11-15
JP2018533765A5 JP2018533765A5 (ja) 2019-11-28
JPWO2017066802A5 JPWO2017066802A5 (ja) 2022-09-29
JP7198663B2 true JP7198663B2 (ja) 2023-01-04

Family

ID=58518430

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018519398A Active JP7198663B2 (ja) 2015-10-16 2016-10-17 デュアルモード拡張/仮想現実(ar/vr)ニアアイウェアラブルディスプレイ

Country Status (8)

Country Link
US (1) US11609427B2 (ja)
EP (1) EP3362838A4 (ja)
JP (1) JP7198663B2 (ja)
KR (1) KR20180070626A (ja)
CN (1) CN108369339B (ja)
HK (1) HK1259436A1 (ja)
TW (1) TWI767891B (ja)
WO (1) WO2017066802A1 (ja)

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10297180B2 (en) 2015-08-03 2019-05-21 Facebook Technologies, Llc Compensation of chromatic dispersion in a tunable beam steering device for improved display
US20170038591A1 (en) * 2015-08-03 2017-02-09 Oculus Vr, Llc Display with a Tunable Pinhole Array for Augmented Reality
US10338451B2 (en) 2015-08-03 2019-07-02 Facebook Technologies, Llc Devices and methods for removing zeroth order leakage in beam steering devices
US10552676B2 (en) 2015-08-03 2020-02-04 Facebook Technologies, Llc Methods and devices for eye tracking based on depth sensing
US10459305B2 (en) 2015-08-03 2019-10-29 Facebook Technologies, Llc Time-domain adjustment of phase retardation in a liquid crystal grating for a color display
US11609427B2 (en) 2015-10-16 2023-03-21 Ostendo Technologies, Inc. Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays
US20170111723A1 (en) * 2015-10-20 2017-04-20 Bragi GmbH Personal Area Network Devices System and Method
US10416454B2 (en) 2015-10-25 2019-09-17 Facebook Technologies, Llc Combination prism array for focusing light
US10247858B2 (en) 2015-10-25 2019-04-02 Facebook Technologies, Llc Liquid crystal half-wave plate lens
US10203566B2 (en) 2015-12-21 2019-02-12 Facebook Technologies, Llc Enhanced spatial resolution using a segmented electrode array
KR20230134159A (ko) 2016-01-07 2023-09-20 매직 립, 인코포레이티드 깊이 평면들에 걸쳐 분포된 동일하지 않은 수의 컴포넌트 컬러 이미지들을 갖는 가상 및 증강 현실 시스템들 및 방법들
US20180072226A1 (en) * 2016-03-16 2018-03-15 Jesse Clement Bunch Extended perception system
CN105955456B (zh) * 2016-04-15 2018-09-04 深圳超多维科技有限公司 虚拟现实与增强现实融合的方法、装置及智能穿戴设备
US10104464B2 (en) * 2016-08-25 2018-10-16 Bragi GmbH Wireless earpiece and smart glasses system and method
CN106291945B (zh) * 2016-10-31 2018-01-09 京东方科技集团股份有限公司 一种显示面板和显示装置
US10185151B2 (en) * 2016-12-20 2019-01-22 Facebook Technologies, Llc Waveguide display with a small form factor, a large field of view, and a large eyebox
WO2018213009A1 (en) * 2017-05-17 2018-11-22 Vuzix Corporation Fixed focus image light guide with zoned diffraction gratings
US11454815B2 (en) 2017-06-01 2022-09-27 NewSight Reality, Inc. Transparent optical module using pixel patches and associated lenslets
CN109085711A (zh) * 2017-06-13 2018-12-25 深圳市光场视觉有限公司 一种可调整透光度的视觉转换装置
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
US10338400B2 (en) 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
US10659771B2 (en) * 2017-07-13 2020-05-19 Google Llc Non-planar computational displays
US10609902B2 (en) 2017-07-27 2020-04-07 Command Sight, Inc. Animal wearable head mountable display system
US10630873B2 (en) 2017-07-27 2020-04-21 Command Sight, Inc. Animal-wearable first person view system
CN109387939B (zh) * 2017-08-09 2021-02-12 中强光电股份有限公司 近眼式显示装置及其显示影像的校正方法
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
CN107889074A (zh) * 2017-10-20 2018-04-06 深圳市眼界科技有限公司 用于vr的碰碰车数据处理方法、装置及系统
US20190129174A1 (en) * 2017-10-31 2019-05-02 Google Llc Multi-perspective eye-tracking for vr/ar systems
US10510812B2 (en) 2017-11-09 2019-12-17 Lockheed Martin Corporation Display-integrated infrared emitter and sensor structures
US10594951B2 (en) 2018-02-07 2020-03-17 Lockheed Martin Corporation Distributed multi-aperture camera array
US10951883B2 (en) 2018-02-07 2021-03-16 Lockheed Martin Corporation Distributed multi-screen array for high density display
US10838250B2 (en) 2018-02-07 2020-11-17 Lockheed Martin Corporation Display assemblies with electronically emulated transparency
US10979699B2 (en) 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
US10129984B1 (en) 2018-02-07 2018-11-13 Lockheed Martin Corporation Three-dimensional electronics distribution by geodesic faceting
US10652529B2 (en) 2018-02-07 2020-05-12 Lockheed Martin Corporation In-layer Signal processing
US11616941B2 (en) 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system
US10690910B2 (en) 2018-02-07 2020-06-23 Lockheed Martin Corporation Plenoptic cellular vision correction
US11067805B2 (en) * 2018-04-19 2021-07-20 Magic Leap, Inc. Systems and methods for operating a display system based on user perceptibility
US11210832B2 (en) 2018-04-24 2021-12-28 Hewlett-Packard Development Company, L.P. Animated gazes on head mounted displays
DE102018209377A1 (de) 2018-06-12 2019-12-12 Volkswagen Aktiengesellschaft Verfahren zur Darstellung von AR-/VR-Inhalten auf einem mobilen Endgerät und mobiles Endgerät, auf dem AR-/VR-Inhalte dargestellt werden
TWI691907B (zh) * 2018-06-12 2020-04-21 網銀國際股份有限公司 行動裝置及其空間中的定位方法
US11209650B1 (en) 2018-09-06 2021-12-28 Facebook Technologies, Llc Waveguide based display with multiple coupling elements for artificial reality
US10627565B1 (en) 2018-09-06 2020-04-21 Facebook Technologies, Llc Waveguide-based display for artificial reality
US10481321B1 (en) 2018-09-06 2019-11-19 Facebook Technologies, Llc Canted augmented reality display for improved ergonomics
US10838490B2 (en) 2018-10-23 2020-11-17 Microsoft Technology Licensing, Llc Translating combinations of user gaze direction and predetermined facial gestures into user input instructions for near-eye-display (NED) devices
US10996746B2 (en) 2018-10-23 2021-05-04 Microsoft Technology Licensing, Llc Real-time computational solutions to a three-dimensional eye tracking framework
US10852823B2 (en) 2018-10-23 2020-12-01 Microsoft Technology Licensing, Llc User-specific eye tracking calibration for near-eye-display (NED) devices
US10718942B2 (en) 2018-10-23 2020-07-21 Microsoft Technology Licensing, Llc Eye tracking systems and methods for near-eye-display (NED) devices
US10855979B2 (en) 2018-10-23 2020-12-01 Microsoft Technology Licensing, Llc Interpreting eye gaze direction as user input to near-eye-display (NED) devices for enabling hands free positioning of virtual items
DE102018218987A1 (de) * 2018-11-07 2020-05-07 Robert Bosch Gmbh Brillenglas für Datenbrille, Datenbrille sowie Verfahren zum Betrieb eines Brillenglases oder einer Datenbrille
US10859861B2 (en) * 2018-12-03 2020-12-08 Disney Enterprises, Inc. Virtual reality and/or augmented reality viewer having variable transparency
US10866413B2 (en) * 2018-12-03 2020-12-15 Lockheed Martin Corporation Eccentric incident luminance pupil tracking
KR102678726B1 (ko) * 2018-12-28 2024-06-26 엘지디스플레이 주식회사 전기변색 광학장치 및 그를 포함하는 표시장치
KR102706916B1 (ko) * 2019-01-02 2024-09-20 삼성디스플레이 주식회사 증강 현실 제공 장치
US10785473B2 (en) * 2019-01-10 2020-09-22 Honeywell International Inc. Virtual window display
US11448918B2 (en) 2019-01-30 2022-09-20 Samsung Electronics Co., Ltd. Grating device, screen including the grating device, method of manufacturing the screen and display apparatus for augmented reality and/or virtual reality including the screen
US10942320B2 (en) * 2019-02-11 2021-03-09 Facebook Technologies, Llc Dispersion compensation for light coupling through slanted facet of optical waveguide
KR20200107027A (ko) 2019-03-05 2020-09-16 삼성디스플레이 주식회사 증강 현실 제공 장치
KR20200110489A (ko) * 2019-03-13 2020-09-24 삼성디스플레이 주식회사 플렉시블 표시 장치와 그를 포함한 증강 현실 제공 장치
KR102717296B1 (ko) * 2019-03-14 2024-10-15 삼성디스플레이 주식회사 증강 현실 제공 장치와 그의 구동 방법
US10698201B1 (en) 2019-04-02 2020-06-30 Lockheed Martin Corporation Plenoptic cellular axis redirection
US20220146822A1 (en) * 2019-08-15 2022-05-12 Ostendo Technologies, Inc. Wearable Display Systems and Design Methods Thereof
EP4022383B1 (en) * 2019-08-30 2024-08-14 InterDigital VC Holdings, Inc. Creating a 3d multiview display with elastic optical layer buckling
KR20220049548A (ko) * 2019-08-30 2022-04-21 엘지전자 주식회사 머리에 착용할 수 있는 전자 디바이스
WO2021061448A1 (en) * 2019-09-23 2021-04-01 Akalana Management Llc Optical systems with switchable lenses for mitigating variations in ambient brightness
US11275250B2 (en) 2019-11-19 2022-03-15 Apple Inc. Optical alignment for head-mountable device
TW202125039A (zh) 2019-12-30 2021-07-01 宏碁股份有限公司 穿戴式顯示裝置
CN111458880B (zh) * 2020-05-09 2022-04-22 三生万物(北京)人工智能技术有限公司 一种波导光场显示装置和头戴式增强现实眼镜
JP2021189379A (ja) * 2020-06-03 2021-12-13 株式会社日立エルジーデータストレージ 映像表示装置
KR20210156613A (ko) 2020-06-18 2021-12-27 삼성전자주식회사 증강 현실 글라스 및 그 동작 방법
KR20220031850A (ko) * 2020-09-04 2022-03-14 삼성디스플레이 주식회사 라이트 필드 표시 장치 및 이의 영상 처리 방법
CN112365861B (zh) * 2020-10-26 2022-07-08 深圳Tcl新技术有限公司 显示画面调整方法、电子设备及计算机可读存储介质
KR20220078093A (ko) * 2020-12-03 2022-06-10 삼성전자주식회사 발광부를 포함하는 웨어러블 전자 장치
US11994677B2 (en) 2021-02-18 2024-05-28 Samsung Electronics Co., Ltd. Wearable electronic device
KR20220118170A (ko) * 2021-02-18 2022-08-25 삼성전자주식회사 웨어러블 전자 장치
CN115240820A (zh) * 2021-04-23 2022-10-25 中强光电股份有限公司 穿戴式装置及基于环境调整显示状态的方法
US20220342219A1 (en) * 2021-04-26 2022-10-27 Meta Platforms Technologies, Llc Apparatus, system, and method for disposing photonic integrated circuits on surfaces
CN113629014A (zh) * 2021-08-05 2021-11-09 安徽熙泰智能科技有限公司 一种近眼微显示器及其制备方法
KR20230029434A (ko) * 2021-08-24 2023-03-03 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
US20230204958A1 (en) * 2021-12-28 2023-06-29 David Fliszar Eyewear electronic tinting lens with integrated waveguide
CN114280789B (zh) * 2021-12-29 2024-02-27 Oppo广东移动通信有限公司 近眼显示光学系统及近眼显示光学设备
CN116413911A (zh) * 2021-12-31 2023-07-11 北京耐德佳显示技术有限公司 一种超薄型镜片、使用其的虚像成像装置和近眼显示器
US11762205B1 (en) * 2022-09-20 2023-09-19 Rockwell Collins, Inc. Method for creating uniform contrast on a headworn display against high dynamic range scene
US20240168296A1 (en) * 2022-11-15 2024-05-23 Apple Inc. Waveguide-Based Displays with Tint Layer
CN117109453B (zh) * 2023-08-21 2024-08-20 深圳市核心装备科技有限公司 一种vr镜片自动检测机

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001264683A (ja) 2000-03-17 2001-09-26 Minolta Co Ltd 情報表示光学系及び光学素子又は光学系及び情報表示装置
US20130077049A1 (en) 2011-09-26 2013-03-28 David D. Bohn Integrated eye tracking and display system
JP2014142386A (ja) 2013-01-22 2014-08-07 Seiko Epson Corp 光学デバイス及び画像表示装置
JP2014511512A5 (ja) 2011-12-14 2015-02-05
US20150241707A1 (en) 2013-11-27 2015-08-27 Magic Leap, Inc. Modifying light using freeform optics for augmented or virtual reality

Family Cites Families (215)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4427912A (en) 1982-05-13 1984-01-24 Ausonics Pty. Ltd. Ultrasound transducer for enhancing signal reception in ultrasound equipment
US4757714A (en) 1986-09-25 1988-07-19 Insight, Inc. Speed sensor and head-mounted data display
JPH05500461A (ja) 1989-06-09 1993-02-04 オニール,ジョン,エル 筋肉運動をモニターする生体フィードバック装置
CA2030874C (en) 1989-11-30 1994-11-01 Ronald G. Hegg Dual-mirror virtual image display for vehicle instrument cluster
US5696521A (en) 1994-06-22 1997-12-09 Astounding Technologies (M) Sdn. Bhd. Video headset
US5544268A (en) 1994-09-09 1996-08-06 Deacon Research Display panel with electrically-controlled waveguide-routing
US5619373A (en) 1995-06-07 1997-04-08 Hasbro, Inc. Optical system for a head mounted display
US5986811A (en) 1995-06-07 1999-11-16 Meso Scale Technologies Llp Method of and apparatus for generating a 3-D image from a 2-D image having a changeable focusing micro-lens array
JPH099301A (ja) 1995-06-24 1997-01-10 Victor Co Of Japan Ltd ヘッドマウントディスプレイ
US5818359A (en) 1995-07-10 1998-10-06 Beach; Kirk Process and apparatus for computerizing translation of motion of subcutaneous body parts
JP3632271B2 (ja) 1995-12-28 2005-03-23 富士ゼロックス株式会社 メガネディスプレイ
US5886822A (en) 1996-10-08 1999-03-23 The Microoptical Corporation Image combining system for eyeglasses and face masks
ATE232621T1 (de) 1996-12-20 2003-02-15 Hitachi Europ Ltd Verfahren und system zur erkennung von handgesten
US6764012B2 (en) 1997-02-10 2004-07-20 Symbol Technologies, Inc. Signaling arrangement for and method of signaling in a wireless local area network
JPH10319240A (ja) * 1997-05-22 1998-12-04 Fuji Xerox Co Ltd ヘッドマウンテッドディスプレイ
US20020075232A1 (en) 1997-08-15 2002-06-20 Wolfgang Daum Data glove
US6151167A (en) 1998-08-05 2000-11-21 Microvision, Inc. Scanned display with dual signal fiber transmission
US6937221B2 (en) 1998-08-05 2005-08-30 Microvision, Inc. Scanned beam display
US6583772B1 (en) 1998-08-05 2003-06-24 Microvision, Inc. Linked scanner imaging system and method
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6147807A (en) 1999-05-04 2000-11-14 Honeywell, Inc. High brightness see-through head-mounted display
CA2375519A1 (en) 1999-06-21 2000-12-28 The Microoptical Corporation Eyeglass display lens system employing off-axis optical design
US6515781B2 (en) 1999-08-05 2003-02-04 Microvision, Inc. Scanned imaging apparatus with switched feeds
US6795221B1 (en) 1999-08-05 2004-09-21 Microvision, Inc. Scanned display with switched feeds and distortion correction
US6924476B2 (en) 2002-11-25 2005-08-02 Microvision, Inc. Resonant beam scanner with raster pinch compensation
US6433907B1 (en) 1999-08-05 2002-08-13 Microvision, Inc. Scanned display with plurality of scanning assemblies
US6525310B2 (en) 1999-08-05 2003-02-25 Microvision, Inc. Frequency tunable resonant scanner
US6456438B1 (en) 1999-08-12 2002-09-24 Honeywell Inc. Variable immersion vignetting display
GB2360603A (en) 2000-03-20 2001-09-26 Cambridge 3D Display Ltd Planar optical waveguide and float glass process
RU2002133232A (ru) 2000-05-11 2004-04-20 Клоузинг Плас Ой (Fi) Способ визуального отображения посредством проектора электронной информации, выдаваемой электронным устройством, проектор и предмет одежды
AU5664401A (en) 2000-06-05 2001-12-17 Lumus Ltd Substrate-guided optical beam expander
US20040051392A1 (en) 2000-09-22 2004-03-18 Ziad Badarneh Operating device
JP4436445B2 (ja) 2000-11-17 2010-03-24 キヤノン株式会社 在庫管理システム、在庫管理方法及びプログラム
US6724012B2 (en) 2000-12-14 2004-04-20 Semiconductor Energy Laboratory Co., Ltd. Display matrix with pixels having sensor and light emitting portions
US7193758B2 (en) 2001-02-06 2007-03-20 Microvision, Inc. Scanner and method for sweeping a beam across a target
US7082393B2 (en) 2001-03-27 2006-07-25 Rast Associates, Llc Head-worn, trimodal device to increase transcription accuracy in a voice recognition system and to process unvocalized speech
US7061450B2 (en) 2001-04-09 2006-06-13 Microvision, Inc. Electronically scanned beam display
JP4772204B2 (ja) 2001-04-13 2011-09-14 オリンパス株式会社 観察光学系
US6529331B2 (en) 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
US6731434B1 (en) 2001-05-23 2004-05-04 University Of Central Florida Compact lens assembly for the teleportal augmented reality system
US20040125076A1 (en) 2001-06-08 2004-07-01 David Green Method and apparatus for human interface with a computer
US6666825B2 (en) 2001-07-05 2003-12-23 General Electric Company Ultrasound transducer for improving resolution in imaging system
US7072096B2 (en) 2001-12-14 2006-07-04 Digital Optics International, Corporation Uniform illumination system
US6719693B2 (en) 2002-03-29 2004-04-13 Becs Technology, Inc. Apparatus and system for real-time synthetic focus ultrasonic imaging
US7580007B2 (en) 2002-05-17 2009-08-25 Microvision, Inc. Apparatus and method for bi-directionally sweeping an image beam in the vertical dimension and related apparati and methods
US6984208B2 (en) 2002-08-01 2006-01-10 The Hong Kong Polytechnic University Method and apparatus for sensing body gesture, posture and movement
US6747785B2 (en) 2002-10-24 2004-06-08 Hewlett-Packard Development Company, L.P. MEMS-actuated color light modulator and methods
US7071594B1 (en) 2002-11-04 2006-07-04 Microvision, Inc. MEMS scanner with dual magnetic and capacitive drive
US20040138935A1 (en) 2003-01-09 2004-07-15 Johnson Christopher D. Visualizing business analysis results
US7145722B2 (en) 2003-04-24 2006-12-05 Banpil Photonics, Inc. Optical filter and method of manufacturing thereof
JP4741488B2 (ja) 2003-07-03 2011-08-03 ホロタッチ, インコーポレイテッド ホログラフィックヒューマンマシンインタフェース
GB2403814A (en) 2003-07-10 2005-01-12 Ocuity Ltd Directional display apparatus with birefringent lens structure
GB2403815A (en) 2003-07-10 2005-01-12 Ocuity Ltd Birefringent lens array structure
US7106519B2 (en) 2003-07-31 2006-09-12 Lucent Technologies Inc. Tunable micro-lens arrays
US7209538B2 (en) 2003-08-07 2007-04-24 Xoran Technologies, Inc. Intraoperative stereo imaging system
CN1898563B (zh) 2003-09-24 2011-11-23 肿瘤疗法科学股份有限公司 诊断乳腺癌的方法
US7232071B2 (en) 2003-11-14 2007-06-19 Microvision, Inc. Scanned beam imager
US6999238B2 (en) 2003-12-01 2006-02-14 Fujitsu Limited Tunable micro-lens array
GB0328904D0 (en) 2003-12-12 2004-01-14 Swan Thomas & Co Ltd Scarab
DE102005001417B4 (de) 2004-01-29 2009-06-25 Heidelberger Druckmaschinen Ag Projektionsflächenabhängige Anzeige-/Bedienvorrichtung
US7482730B2 (en) 2004-02-09 2009-01-27 Microvision, Inc. High performance MEMS scanner
US9652032B2 (en) 2004-03-02 2017-05-16 Brian T. Mitchell Simulated training environments based upon fixated objects in specified regions
US7724210B2 (en) 2004-05-07 2010-05-25 Microvision, Inc. Scanned light display system using large numerical aperture light source, method of using same, and method of making scanning mirror assemblies
US7486255B2 (en) 2004-07-21 2009-02-03 Microvision, Inc. Scanned beam system and method using a plurality of display zones
US7545571B2 (en) 2004-09-08 2009-06-09 Concurrent Technologies Corporation Wearable display system
US20060132383A1 (en) 2004-09-27 2006-06-22 Idc, Llc System and method for illuminating interferometric modulator display
US7619807B2 (en) 2004-11-08 2009-11-17 Angstrom, Inc. Micromirror array lens with optical surface profiles
US7747301B2 (en) 2005-03-30 2010-06-29 Skyline Biomedical, Inc. Apparatus and method for non-invasive and minimally-invasive sensing of parameters relating to blood
US7190508B2 (en) 2005-06-15 2007-03-13 Miradia Inc. Method and structure of patterning landing pad structures for spatial light modulators
US20070083120A1 (en) 2005-09-22 2007-04-12 Cain Charles A Pulsed cavitational ultrasound therapy
US8405618B2 (en) 2006-03-24 2013-03-26 Northwestern University Haptic device with indirect haptic feedback
US20070276658A1 (en) 2006-05-23 2007-11-29 Barry Grayson Douglass Apparatus and Method for Detecting Speech Using Acoustic Signals Outside the Audible Frequency Range
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
EP2503363A1 (en) 2006-07-10 2012-09-26 Sony Corporation Lens array
US9319741B2 (en) 2006-09-07 2016-04-19 Rateze Remote Mgmt Llc Finding devices in an entertainment system
US7804624B2 (en) 2006-11-30 2010-09-28 Honeywell International Inc. Image capture device
US7369321B1 (en) 2007-01-16 2008-05-06 University Of Central Florida Research Foundation, Inc. Variable-focus liquid lens
DE112008000051A5 (de) 2007-01-25 2009-11-12 Rodenstock Gmbh Brille und Brillenglas zur Dateneinspiegelung
WO2008118967A1 (en) 2007-03-26 2008-10-02 University Of Washington Smart sunglasses, helmet faceshields and goggles based on electrochromic polymers
US7623560B2 (en) 2007-09-27 2009-11-24 Ostendo Technologies, Inc. Quantum photonic imagers and methods of fabrication thereof
US8031172B2 (en) 2007-10-12 2011-10-04 Immersion Corporation Method and apparatus for wearable remote interface device
WO2009062124A1 (en) 2007-11-09 2009-05-14 Wms Gaming, Inc. Interface for wagering game environments
CN101868770B (zh) 2007-11-19 2013-09-11 诺基亚公司 输入设备
US7791810B2 (en) 2007-12-21 2010-09-07 Microvision, Inc. Scanned beam display having high uniformity and diminished coherent artifacts
KR20100127775A (ko) 2008-02-12 2010-12-06 퀄컴 엠이엠스 테크놀로지스, 인크. 이중층 박막 홀로그래픽 태양광 집중장치/집광장치
US7945338B2 (en) 2008-03-03 2011-05-17 Rockwell Automation Technologies, Inc. Automation human machine interface having virtual graphic controls
US8293354B2 (en) 2008-04-09 2012-10-23 The Regents Of The University Of Michigan UV curable silsesquioxane resins for nanoprint lithography
US8447704B2 (en) 2008-06-26 2013-05-21 Microsoft Corporation Recognizing gestures from forearm EMG signals
US7954953B2 (en) 2008-07-30 2011-06-07 Microvision, Inc. Scanned beam overlay projection
JP4858512B2 (ja) * 2008-08-21 2012-01-18 ソニー株式会社 頭部装着型ディスプレイ
US20100053151A1 (en) 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US8098265B2 (en) 2008-10-10 2012-01-17 Ostendo Technologies, Inc. Hierarchical multicolor primaries temporal multiplexing system
US8289162B2 (en) 2008-12-22 2012-10-16 Wimm Labs, Inc. Gesture-based user interface for a wearable portable device
US9569001B2 (en) 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US8510244B2 (en) 2009-03-20 2013-08-13 ISC8 Inc. Apparatus comprising artificial neuronal assembly
US8107147B2 (en) 2009-03-27 2012-01-31 Microvision, Inc. Two-mirror scanning system
US20150138086A1 (en) 2009-04-02 2015-05-21 John S. Underkoffler Calibrating control device for use with spatial operating system
US9317128B2 (en) 2009-04-02 2016-04-19 Oblong Industries, Inc. Remote devices used in a markerless installation of a spatial operating environment incorporating gestural control
WO2010123934A1 (en) 2009-04-20 2010-10-28 The Arizona Board Of Regents On Behalf Of The University Of Arizona Optical see-through free-form head-mounted display
JP5852956B2 (ja) 2009-06-23 2016-02-03 シーリアル テクノロジーズ ソシエテ アノニムSeereal Technologies S.A. 2次元及び3次元の少なくともいずれかの画像コンテンツ提示用ディスプレイに用いられる光変調デバイス
JP4988016B2 (ja) 2009-08-27 2012-08-01 韓國電子通信研究院 指の動き検出装置およびその方法
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
TWM380512U (en) * 2009-10-29 2010-05-11 Wistron Corp Heat sink and heat-dissipation fins thereof
KR101647722B1 (ko) 2009-11-13 2016-08-23 엘지전자 주식회사 영상표시장치 및 그 동작방법
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
JP2013521576A (ja) 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
WO2011113066A1 (en) 2010-03-12 2011-09-15 The University Of North Carolina At Greensboro Methods and systems using integrated metabolomics and pharmacokinetics for multi-component drug evaluation
US9110505B2 (en) 2010-04-16 2015-08-18 Innovative Devices Inc. Wearable motion sensing computing interface
JP2011244425A (ja) 2010-04-23 2011-12-01 Canon Inc 電気機械変換装置及びその作製方法
CN102782562B (zh) 2010-04-30 2015-07-22 北京理工大学 宽视场高分辨率拼接式头盔显示装置
US9501145B2 (en) 2010-05-21 2016-11-22 Disney Enterprises, Inc. Electrovibration for touch surfaces
KR101385347B1 (ko) * 2010-06-30 2014-04-14 파나소닉 주식회사 광디바이스
US9916006B2 (en) 2010-07-23 2018-03-13 Telepatheye Inc. Eye-wearable device user interface and method
US8743145B1 (en) 2010-08-26 2014-06-03 Amazon Technologies, Inc. Visual overlay for augmenting reality
DE102010040962A1 (de) 2010-09-17 2012-03-22 Carl Zeiss Ag Anzeigevorrichtung mit einer auf den Kopf eines Benutzers aufsetzbaren Haltevorrichtung
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US20120075196A1 (en) 2010-09-23 2012-03-29 Nokia Corporation Apparatus and method for user input
US20120075173A1 (en) 2010-09-23 2012-03-29 Nokia Corporation Apparatus and method for user input
US9632315B2 (en) 2010-10-21 2017-04-25 Lockheed Martin Corporation Head-mounted display apparatus employing one or more fresnel lenses
US9529191B2 (en) 2010-11-03 2016-12-27 Trex Enterprises Corporation Dynamic foveal vision display
KR101670927B1 (ko) 2010-11-05 2016-11-01 삼성전자주식회사 디스플레이 장치 및 방법
US20140049983A1 (en) 2010-11-18 2014-02-20 Anthony John Nichol Light emitting device comprising a lightguide film and aligned coupling lightguides
JP5659768B2 (ja) 2010-12-16 2015-01-28 凸版印刷株式会社 斜め電界液晶表示装置
KR101544524B1 (ko) 2010-12-16 2015-08-17 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US8994718B2 (en) 2010-12-21 2015-03-31 Microsoft Technology Licensing, Llc Skeletal control of three-dimensional virtual world
KR101525336B1 (ko) 2011-01-06 2015-06-02 가부시키가이샤 히타치 메디코 초음파 탐촉자
RU2480941C2 (ru) 2011-01-20 2013-04-27 Корпорация "Самсунг Электроникс Ко., Лтд" Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности
US20120236201A1 (en) 2011-01-27 2012-09-20 In The Telling, Inc. Digital asset management, authoring, and presentation techniques
US20120195461A1 (en) 2011-01-31 2012-08-02 Qualcomm Incorporated Correlating areas on the physical object to areas on the phone screen
US20130169536A1 (en) 2011-02-17 2013-07-04 Orcam Technologies Ltd. Control of a wearable device
JP5960796B2 (ja) 2011-03-29 2016-08-02 クアルコム,インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
US10061387B2 (en) 2011-03-31 2018-08-28 Nokia Technologies Oy Method and apparatus for providing user interfaces
US8781221B2 (en) 2011-04-11 2014-07-15 Intel Corporation Hand gesture recognition system
US20120290943A1 (en) 2011-05-10 2012-11-15 Nokia Corporation Method and apparatus for distributively managing content between multiple users
US8912017B2 (en) 2011-05-10 2014-12-16 Ostendo Technologies, Inc. Semiconductor wafer bonding incorporating electrical and optical interconnects
US8508830B1 (en) 2011-05-13 2013-08-13 Google Inc. Quantum dot near-to-eye display
US8619049B2 (en) 2011-05-17 2013-12-31 Microsoft Corporation Monitoring interactions between two or more objects within an environment
US20120299962A1 (en) 2011-05-27 2012-11-29 Nokia Corporation Method and apparatus for collaborative augmented reality displays
KR101423536B1 (ko) 2011-06-14 2014-08-01 한국전자통신연구원 인쇄매체 기반 혼합현실 구현 장치 및 방법
US9218058B2 (en) 2011-06-16 2015-12-22 Daniel Bress Wearable digital input device for multipoint free space data collection and analysis
US20120326948A1 (en) 2011-06-22 2012-12-27 Microsoft Corporation Environmental-light filter for see-through head-mounted display device
PT105814A (pt) 2011-07-14 2013-01-14 Yd Ynvisible S A Método para produção de partículas electrocrómicas e controlo das suas propriedades espectrais nir e vis
US8471967B2 (en) 2011-07-15 2013-06-25 Google Inc. Eyepiece for near-to-eye display with multi-reflectors
US8508851B2 (en) 2011-07-20 2013-08-13 Google Inc. Compact see-through display system
US9931230B2 (en) 2011-08-01 2018-04-03 George Mason University Artificial body part control system using ultrasonic imaging
WO2013032955A1 (en) 2011-08-26 2013-03-07 Reincloud Corporation Equipment, systems and methods for navigating through multiple reality models
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US9672049B2 (en) 2011-09-22 2017-06-06 Qualcomm Incorporated Dynamic and configurable user interface
US20130083303A1 (en) 2011-10-04 2013-04-04 Palo Alto Research Center Incorporated Multi-Level Imaging Using Single-Pass Imaging System Having Spatial Light Modulator and Anamorphic Projection Optics
US8773599B2 (en) 2011-10-24 2014-07-08 Google Inc. Near-to-eye display with diffraction grating that bends and focuses light
US8279716B1 (en) 2011-10-26 2012-10-02 Google Inc. Smart-watch including flip up display
US8553910B1 (en) 2011-11-17 2013-10-08 Jianchun Dong Wearable computing device with behind-ear bone-conduction speaker
US8872853B2 (en) 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
US8928969B2 (en) 2011-12-06 2015-01-06 Ostendo Technologies, Inc. Spatio-optical directional light modulator
US8854724B2 (en) 2012-03-27 2014-10-07 Ostendo Technologies, Inc. Spatio-temporal directional light modulator
EP2802861A4 (en) 2012-01-11 2015-08-19 Hughes Howard Med Inst MULTIDIMENSIONAL IMAGING USING MULTI-ROOM MICROSCOPY
US8894484B2 (en) 2012-01-30 2014-11-25 Microsoft Corporation Multiplayer game invitation system
US20130225999A1 (en) 2012-02-29 2013-08-29 Toshiba Medical Systems Corporation Gesture commands user interface for ultrasound imaging systems
US20130286053A1 (en) 2012-04-25 2013-10-31 Rod G. Fleck Direct view augmented reality eyeglass-type display
WO2013177109A1 (en) 2012-05-21 2013-11-28 Medplate Lifesciences Corporation Collapsible, shape memory alloy structures and folding fixtures for collapsing same
US9179126B2 (en) 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
US9430055B2 (en) 2012-06-15 2016-08-30 Microsoft Technology Licensing, Llc Depth of field control for see-thru display
CN103546181A (zh) 2012-07-17 2014-01-29 高寿谦 可拆卸并可自由组合功能的穿戴式无线智能电子装置
US8754829B2 (en) 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
US20140049417A1 (en) 2012-08-20 2014-02-20 Playtabase, LLC Wireless motion activated command transfer device, system, and method
US20140085177A1 (en) 2012-09-21 2014-03-27 Nokia Corporation Method and apparatus for responding to input based upon relative finger position
US10620902B2 (en) 2012-09-28 2020-04-14 Nokia Technologies Oy Method and apparatus for providing an indication regarding content presented to another user
US9921687B2 (en) 2012-10-02 2018-03-20 Autodesk, Inc. Always-available input through finger instrumentation
US10234941B2 (en) 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
KR20140052640A (ko) 2012-10-25 2014-05-07 삼성전자주식회사 커서를 디스플레이에 디스플레이하기 위한 방법과 상기 방법을 수행할 수 있는 시스템
CN105027030B (zh) 2012-11-01 2018-10-23 艾卡姆有限公司 用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法
US10185416B2 (en) 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
US9274608B2 (en) 2012-12-13 2016-03-01 Eyesight Mobile Technologies Ltd. Systems and methods for triggering actions based on touch-free gesture detection
US9345609B2 (en) 2013-01-11 2016-05-24 Elwha Llc Position sensing active torso support
JP6010450B2 (ja) 2012-12-20 2016-10-19 浜松ホトニクス株式会社 光観察装置及び光観察方法
US20140176417A1 (en) 2012-12-21 2014-06-26 Ian A. Young Wearable projector for portable display
US8947783B2 (en) 2013-01-02 2015-02-03 Google Inc. Optical combiner for near-eye display
KR20170103026A (ko) 2013-02-08 2017-09-12 애플 인크. 용량성 감지에 기초한 힘 결정
WO2014127126A1 (en) 2013-02-14 2014-08-21 New York University Handphone
US9223139B2 (en) 2013-02-15 2015-12-29 Google Inc. Cascading optics in optical combiners of head mounted displays
US20140301662A1 (en) 2013-03-17 2014-10-09 ISC8 Inc. Analysis, Labeling and Exploitation of Sensor Data in Real Time
US20140304646A1 (en) 2013-04-04 2014-10-09 Klip, Inc. Sliding side menu gui with menu items displaying indicia of updated content
US9405124B2 (en) 2013-04-09 2016-08-02 Massachusetts Institute Of Technology Methods and apparatus for light field projection
KR102116551B1 (ko) 2013-05-10 2020-05-28 한국전자통신연구원 입체 디스플레이 시스템
EP2804096B1 (en) 2013-05-15 2018-03-21 Google LLC Efficient fetching of a map data during animation
US8725842B1 (en) 2013-07-11 2014-05-13 Khalid Al-Nasser Smart watch
US20140129207A1 (en) 2013-07-19 2014-05-08 Apex Technology Ventures, LLC Augmented Reality Language Translation
CN103424803B (zh) 2013-08-16 2015-07-29 上海理工大学 光学波导器件系统
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
US9164290B2 (en) 2013-11-06 2015-10-20 Microsoft Corporation Grating configurations for a tiled waveguide display
CN103558918B (zh) 2013-11-15 2016-07-27 上海威璞电子科技有限公司 在智能手表中实现手势识别技术的方法
CA2931973A1 (en) 2013-11-29 2015-06-04 Motiv Inc. Wearable computing device
US9244539B2 (en) 2014-01-07 2016-01-26 Microsoft Technology Licensing, Llc Target positioning with gaze tracking
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US10554962B2 (en) 2014-02-07 2020-02-04 Samsung Electronics Co., Ltd. Multi-layer high transparency display for light field generation
JP2015184560A (ja) 2014-03-25 2015-10-22 ソニー株式会社 導光装置、画像表示装置及び表示装置
US20150323998A1 (en) 2014-05-06 2015-11-12 Qualcomm Incorporated Enhanced user interface for a wearable electronic device
KR102245297B1 (ko) * 2014-05-15 2021-04-27 삼성전자주식회사 단일 방향성의 빔을 이용한 영상 표시 장치 및 방법
US9595138B2 (en) * 2014-05-29 2017-03-14 Commissariat A L'energie Atomique Et Aux Energies Alternatives Augmented reality display device
CN104468578B (zh) 2014-12-10 2017-12-26 怀效宁 一种无线通讯的优先通讯系统和通讯方法
US10234952B2 (en) 2014-07-18 2019-03-19 Maxim Integrated Products, Inc. Wearable device for using human body as input mechanism
US9335602B2 (en) 2014-07-25 2016-05-10 Tintable Kibing Co., Ltd. Method for control of electrochromic device
CN104460992B (zh) 2014-11-20 2017-07-21 大连理工大学 一种使用红外线照射腕部韧带的手指运动检测装置及方法
CN104597602A (zh) * 2015-01-24 2015-05-06 上海理湃光晶技术有限公司 高效耦合、结构紧凑的齿形镶嵌平面波导光学器件
US11166698B2 (en) 2015-01-30 2021-11-09 Canon Medical Systems Corporation Ultrasonic diagnostic apparatus
US10295990B2 (en) 2015-05-18 2019-05-21 Milwaukee Electric Tool Corporation User interface for tool configuration and data capture
US10080950B2 (en) 2015-09-05 2018-09-25 Aspire Sports Inc. System of communication in a wearable device
US9898869B2 (en) 2015-09-09 2018-02-20 Microsoft Technology Licensing, Llc Tactile interaction in virtual environments
US11609427B2 (en) 2015-10-16 2023-03-21 Ostendo Technologies, Inc. Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays
US10578882B2 (en) 2015-12-28 2020-03-03 Ostendo Technologies, Inc. Non-telecentric emissive micro-pixel array light modulators and methods of fabrication thereof
US10054503B2 (en) 2016-03-11 2018-08-21 Microsoft Technology Licensing, Llc Force sensor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001264683A (ja) 2000-03-17 2001-09-26 Minolta Co Ltd 情報表示光学系及び光学素子又は光学系及び情報表示装置
US20130077049A1 (en) 2011-09-26 2013-03-28 David D. Bohn Integrated eye tracking and display system
JP2014511512A5 (ja) 2011-12-14 2015-02-05
JP2014142386A (ja) 2013-01-22 2014-08-07 Seiko Epson Corp 光学デバイス及び画像表示装置
US20150241707A1 (en) 2013-11-27 2015-08-27 Magic Leap, Inc. Modifying light using freeform optics for augmented or virtual reality

Also Published As

Publication number Publication date
TW201728961A (zh) 2017-08-16
JP2018533765A (ja) 2018-11-15
CN108369339A (zh) 2018-08-03
TWI767891B (zh) 2022-06-21
KR20180070626A (ko) 2018-06-26
EP3362838A4 (en) 2019-12-04
US11609427B2 (en) 2023-03-21
EP3362838A1 (en) 2018-08-22
US20170108697A1 (en) 2017-04-20
WO2017066802A1 (en) 2017-04-20
CN108369339B (zh) 2022-08-26
HK1259436A1 (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
JP7198663B2 (ja) デュアルモード拡張/仮想現実(ar/vr)ニアアイウェアラブルディスプレイ
JP7329105B2 (ja) ディスプレイシステムのための深度ベース中心窩化レンダリング
US11710469B2 (en) Depth based foveated rendering for display systems
US10867451B2 (en) Apparatus, systems, and methods for display devices including local dimming
US9442294B2 (en) Image display device in the form of a pair of eye glasses comprising micro reflectors
US8619005B2 (en) Switchable head-mounted display transition
US20200301239A1 (en) Varifocal display with fixed-focus lens
US10282912B1 (en) Systems and methods to provide an interactive space over an expanded field-of-view with focal distance tuning
JPWO2017066802A5 (ja)
US20220004008A1 (en) Optical Systems with Switchable Lenses for Mitigating Variations in Ambient Brightness
CN107748442B (zh) 一种可快速切换图像深度的增强现实显示装置
US10585284B1 (en) Systems and methods to provide an interactive environment over a wide field of view

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191017

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191017

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210525

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220322

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220622

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220822

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20220916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221219

R150 Certificate of patent or registration of utility model

Ref document number: 7198663

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150