JP6141584B2 - 小型視線追従型ヘッドマウントディスプレイ - Google Patents

小型視線追従型ヘッドマウントディスプレイ Download PDF

Info

Publication number
JP6141584B2
JP6141584B2 JP2014553548A JP2014553548A JP6141584B2 JP 6141584 B2 JP6141584 B2 JP 6141584B2 JP 2014553548 A JP2014553548 A JP 2014553548A JP 2014553548 A JP2014553548 A JP 2014553548A JP 6141584 B2 JP6141584 B2 JP 6141584B2
Authority
JP
Japan
Prior art keywords
display
optical
mounted display
head
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014553548A
Other languages
English (en)
Other versions
JP2015508182A (ja
JP2015508182A5 (ja
Inventor
ガオ、チュンユ
フア、ホン
Original Assignee
アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ
アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ
オウグメンテッド ヴィジョン、インク.
オウグメンテッド ヴィジョン、インク.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ, アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ, オウグメンテッド ヴィジョン、インク., オウグメンテッド ヴィジョン、インク. filed Critical アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ
Publication of JP2015508182A publication Critical patent/JP2015508182A/ja
Publication of JP2015508182A5 publication Critical patent/JP2015508182A5/ja
Application granted granted Critical
Publication of JP6141584B2 publication Critical patent/JP6141584B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08Catadioptric systems
    • G02B17/0856Catadioptric systems comprising a refractive element with a reflective surface, the reflection taking place inside the element, e.g. Mangin mirrors
    • G02B17/086Catadioptric systems comprising a refractive element with a reflective surface, the reflection taking place inside the element, e.g. Mangin mirrors wherein the system is made of a single block of optical material, e.g. solid catadioptric systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08Catadioptric systems
    • G02B17/0896Catadioptric systems with variable magnification or multiple imaging planes, including multispectral systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/04Prisms
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/011Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Lenses (AREA)
  • Eyeglasses (AREA)
  • Eye Examination Apparatus (AREA)

Description

関連技術の相互参照
本願は、2012年1月24日出願の米国特許仮出願第61/632,441号の優先権、および、2012年4月25日出願の米国特許仮出願第61/687,607号の優先権、および、2012年9月11日出願の米国特許仮出願第61/699,493号の優先権を主張するものであり、それらの出願の全内容は、参照により本明細書に組み込まれる。
国家ライセンシング権
本発明は、米国科学財団によって発注された契約番号第IIS1115489号による米国政府支援の下でなされたものである。米国政府は、本発明に対するある程度の権利を有する。
本発明は、視線追従型ヘッドマウントディスプレイに関する。より具体的には(ただし排他的ではない)、同一の光学系を視線追跡および画像鑑賞用に使用する視線追従型ヘッドマウントディスプレイに関し、当該光学系は、視線追跡光路のために使用される選択された光学系の部分と、画像鑑賞光路のために使用される選択された表示光学系の部分とを有する。
ヘッドマウントディスプレイ(HMD:頭部装着型表示装置)技術は、科学およびエンジニアリングの領域の広い範囲で応用されてきている。応用の例としては、フライトシミュレーション、科学的な可視化、医学、エンジニアリングデザイン、教育およびトレーニング、ウェアラブルコンピューティング、およびエンターテインメントシステムが挙げられる。拡張現実感の領域では、HMDは、仮想ビューを物理的場面と融合するための実現技術の1つであり、これは医師が解剖学的構造または患者のCT画像の3Dレンダリングを、患者の解剖学的構造、例えば、腹部の上に重ねて見ることができるようにする場合がある。ウェアラブルコンピューティングの領域では、HMDは、スマートフォンおよびPDAsなどの他の一般的なモバイルプラットフォームよりずっと魅力的な画像および画面サイズを提示する、モバイルディスプレイソリューションを生成する。近い将来、かかるモバイルディスプレイは、一対のサングラスほどにエレガントに登場するかもしれず、直ちに情報を取り出し、人々と連絡を取るために、多くの人々の日々の活動の必須部分になるかもしれない。
HMD技術と平行して、様々な視線追跡技術が開発されおり、視力研究、ヒューマンコンピューターインターフェース、テレオペレーション周囲、およびビジュアルコミュニケーションを含む、いくつかの専門分野に適用された。マルチモードのヒューマンコンピューターインターフェースに対する視線追跡の利点、およびデータ圧縮の技術的な利点は、十分に認識され研究されてきている。例えば、効果的に通信のデータ転送帯域幅を保存し、フォービエイテッド(foveated)レベルオブディテール管理法を使用して3Dシーンのレンダリング速度を改善し、広視野(FOV)、高解像度ディスプレイおよび画像システムを達成するために、マルチレゾリューション眼球運動連動型(gaze−contingent)ディスプレイおよび画像処理スキームが提案されている。
統合型視線追従型HMD(ET−HMD)システムを作り出す概念は、様々なレベルで検討されてきた。ET−HMDは、使用者の視線方向を追加的に追跡しながら、従来のHMDで行うような単眼または実体視のバーチャル画像を表示することができる。完全統合型ET−HMDは、基礎科学的な研究のためだけでなく、新興的な用途のためにも、かかる技術の多面的な利点を提示する。例えば、人間の使用者が空間的な情報をどのように知覚し整理するか、かかる情報とどのように相互作用するか、3D仮想空間内でどのように移動するかについて、数多くの研究の努力が考慮されてきた。HMDでの視線追跡能力は、科学者が使用者の3D環境との相互作用を定量的に評価し、トレーニング、教育、および拡張認知の課題を含む、様々な具体的な課題に対する様々な3D可視化技術の有効性を調査するために、大変価値のあるツールと客観的な測定基準を追加する。技術的な見地から、視線追跡の能力が、HMDシステムと統合されると、実体視ディスプレイで寸法および距離知覚の精度を改善するために利用することができる。視線追跡能力は、フォビア(fovea)認知ディスプレイスキームを通して、視野−解像度のトレードオフに対する解決法を作り出す助けとなる場合があり、かつ可変焦点面ディスプレイ法を使用することによって、瞳孔近見否認に対する解決法を作り出す助けとなる場合がある。応用の見地から、ET−HMDは、相互作用および通信の方法として手や足の代わりに、視線を使用することができる、固有受容性(proprioceptive)障害の人のための新規の対話式のインターフェースに対する独特の機会を提示する。
単独のHMDおよび単独の視線追跡技術の著しい進歩および商業的な可用性にもかかわらず、これら2つの単独技術を統合することは、小型で、可搬式で、正確で、かつ頑強なシステムを作り出す上で、著しい困難を強いる。ET−HMD技術を開発し、体系的な取り組みによってこれらの2つの技術を最適化するために、いくつかの先駆的な努力がなされたが、いかなる既存の技術的な解決法も、真の可搬式、軽量、かつ頑強なシステムであって、メガネスタイルの形状因子に適合するディスプレー、を提示することができなかった。多くの過酷な用途に対しては、軽量であることおよび小型であることは重要である。例えば、筋萎縮性側索硬化症(ALS)患者のコミュニケーションを支持するためには、患者が、その著しく弱った筋力とごく限られた移動度で重量に耐えることができるように、統合型システムは、軽量でなけれならない。
過去数十年にわたり、システム性能を改善するために多くの異なる光学的な設計のアプローチがHMD設計に取られた。これらの方法は、反射屈折技法の適用、非球面状の表面などの新しい要素の導入、ホログラフィーおよび回折する光学的な構成要素の使用、投影光学を使用して従来のHMD設計のアイピースまたは顕微鏡形レンズ系を置き換えることなどの新しい設計原理の検討、ならびに勾配、ならびに偏心、またはさらにはフリーフォーム表面の導入を含む。これらの光学的な設計方法のうちのいくつかは、視界が幅広く、小型で、軽量なHMD作り出す能力があり、非侵入型で、眼鏡型の眼に近いディスプレイであると考えることができる。視線追跡能力をこれらの技術に統合するのは、大変困難であり、著しい重量、体積、および複雑さを加える。
視線追跡能力をHMDに追加することは、CAE Corporationの高級解像度インセットディスプレイと同じくらい以前に開始された。この先駆的な仕事は、移動式の小型ET−HMDシステムを意図してはいなかった。また、他社は、高解像度インセットを移動するために、ベンチプロトタイプの実体視ディスプレイで、機械的な駆動装置を使用した。ISCAN Corporationは、ソフトウェアベースのフォビア認知ディスプレイスキームを研究するために、ISCANアイトラッカーを、Virtual Research CorporationからのV8−HMDの中に統合する仕事をした。市販されているHMDおよびアイトラッカーを統合するこの方法は、機能性統合アプローチと称され、ここでは2つの別個の器具は、利用の後の方の段階で一緒にされる。機能性統合アプローチは、開発コストが少なくてすむ単純な解決法であるという利点を有するが、一般に低レベルの最適化の利点を取ることができず、かつ小型であること、精度、および堅牢性という属性に欠ける。
機能性統合アプローチとは対照的に、システムが、基本的な設計観点から1つの単一の器具として考えられ、最適化される、システム的なアプローチでは、完全に統合型のET−HMD器具を作り出す上で多くの利点を有する。システム的なアプローチの著しい利益としては、ディスプレイおよびアイトラッカーユニットの両方に対する設計上の制約および必要条件を検討し、新しい解決法を考え、そして小型で堅牢なシステムのための設計を最適化する能力が挙げられる。低いレベルの最適化を用いた完全な統合の可能性を検討するための先駆的な努力がなされてきた。これらの初期の努力に続いて、Hua and Rollandは、完全統合型設計アプローチを協力し合って追求し、ET−HMDシステム用の堅牢な視線追跡方法およびアルゴリズムを開発し、頭部装着型の投映ディスプレイの概念に基づいて、光学的に透視性のET−HMD光学的システムを設計した。図1は、ET−HMD光学的システムの一次レイアウトを示し、ここでは概念およびスケールを強調するために光学的システムが理想的なレンズモジュールで単純化されている。(Curatu,C.,Hong Hua,and J.P.Rolland,"Projection−based head−mounted display with eye−tracking capabilities,"Proceedings of the SPIE International Society for Optical Engineering,Vol.5875,San Diego,USA,August 2005。Curatu,C.,J.P.Rolland,and Hong Hua,"Dual purpose lens for an eye−tracked projection head−mounted display,"Proceedings of International Optical Design Conference,Vancouver,Canada,June 2006。)。この設計では、完全な統合アプローチを行い、ディスプレイサブシステムと視線追跡サブシステムとに対するほとんどの光路を組み合わせた。ディスプレイ機能と目視画像化機能との両方に対する同一の投影光学系が共有された。しかしながら、この設計の主たる限界は、他のものよりも著しく改善されたが、以前としてかさばりかつ重い、統合型ET−HMDシステムの全体的な体積だった。
真の可搬式、軽量、小型ET−HMDの解決法を作り出すという、重要な課題は、2つの根本的な問題、すなわち(1)技術開発者と応用開発者の両方の永続的な夢である、一対のサングラスと同じぐらい抗しがたい優雅な形状因子を用いた、HMDシステムの設計を可能にする光学的な方法と、(2)システムへ著しい重量および体積を追加することなく視線追跡能力の統合を可能にする光学的な方法と、への対処にある。
この出願の発明に関連する先行技術文献情報としては、以下のものがある(国際出願日以降国際段階で引用された文献及び他国に国内移行した際に引用された文献を含む)。
(先行技術文献)
(特許文献)
(特許文献1) 米国特許第6,034,823号明細書
(特許文献2) 米国特許出願公開第2006/0119951号明細書
(特許文献3) 米国特許出願公開第2003/0076591号明細書
(特許文献4) 米国特許出願公開第2005/0036119号明細書
(特許文献5) 米国特許出願公開第2005/0248849号明細書
(特許文献6) 米国特許第3,992,084号明細書
(特許文献7) 米国特許第4,669,810号明細書
(特許文献8) 米国特許第4,753,522号明細書
(特許文献9) 米国特許第4,863,251号明細書
(特許文献10) 米国特許第5,172,272号明細書
(特許文献11) 米国特許第5,172,275号明細書
(特許文献12) 米国特許第5,526,183号明細書
(特許文献13) 米国特許第5,572,229号明細書
(特許文献14) 米国特許第5,621,572号明細書
(特許文献15) 米国特許第5,625,495号明細書
(特許文献16) 米国特許第5,818,632号明細書
(特許文献17) 米国特許第6,028,606号明細書
(特許文献18) 米国特許第6,198,577号明細書
(特許文献19) 米国特許第6,236,521号明細書
(特許文献20) 米国特許第6,243,199号明細書
(特許文献21) 米国特許第6,271,972号明細書
(特許文献22) 米国特許第6,404,561号明細書
(特許文献23) 米国特許第6,404,562号明細書
(特許文献24) 米国特許第6,493,146号明細書
(特許文献25) 米国特許第6,563,648号明細書
(特許文献26) 米国特許第6,731,434号明細書
(特許文献27) 米国特許第6,963,454号明細書
(特許文献28) 米国特許第6,999,239号明細書
(特許文献29) 米国特許第7,152,977号明細書
(特許文献30) 米国特許出願公開第2011/0037951号明細書
(特許文献31) 米国特許第8,511,827号明細書
(特許文献32) 米国特許出願公開第2002/0015116号明細書
(特許文献33) 米国特許出願公開第2003/0090753号明細書
(特許文献34) 米国特許出願公開第2004/0196213号明細書
(特許文献35) 米国特許出願公開第2008/0094720号明細書
(特許文献36) 米国特許出願公開第2011/0043644号明細書
(特許文献37) 米国特許出願公開第2012/0019557号明細書
(特許文献38) 米国特許出願公開第2012/0057129号明細書
(特許文献39) 米国特許出願公開第2012/0081800号明細書
(特許文献40) 米国特許出願公開第2012/0113092号明細書
(特許文献41) 米国特許出願公開第2012/0162549号明細書
(特許文献42) 米国特許第5,699,194号明細書
(特許文献43) 米国特許第5,959,780号明細書
(特許文献44) 米国特許第6,201,646号明細書
(特許文献45) 米国特許第6,384,983号明細書
(特許文献46) 米国特許第6,433,760号明細書
(特許文献47) 米国特許第7,177,083号明細書
(特許文献48) 米国特許出願公開第2009/0168010号明細書
(特許文献49) 米国特許第7,230,583号明細書
(特許文献50) 米国特許出願公開第2013/0187836号明細書
(特許文献51) 米国特許出願公開第2013/0112705号明細書
(特許文献52) 米国特許第5,701,202号明細書
(特許文献53) 米国特許第5,706,136号明細書
(特許文献54) 米国特許第6,433,376号明細書
(特許文献55) 米国特許第7,414,791号明細書
(特許文献56) 米国特許第7,522,344号明細書
(特許文献57) 米国特許第8,503,087号明細書
(特許文献58) 米国特許出願公開第2008/0291531号明細書
(特許文献59) 米国特許第6,829,113号明細書
(特許文献60) 米国特許第6,510,006号明細書
(特許文献61) 米国特許第8,467,133号明細書
(特許文献62) 米国特許第6,671,099号明細書
(特許文献63) 米国特許出願公開第2013/0329304号明細書
(特許文献64) 米国特許出願公開第2014/0009845号明細書
(特許文献65) 米国特許出願公開第2014/0361957号明細書
(特許文献66) 米国特許出願公開第2011/0075257号明細書
(特許文献67) 米国特許出願公開第2009/0115842号明細書
(特許文献68) 米国特許出願公開第2010/0109977号明細書
(特許文献69) 米国特許第5,917,656号明細書
(特許文献70) 米国特許出願公開第2013/0258461号明細書
(特許文献71) 米国特許出願公開第2013/0286053号明細書
(特許文献72) 米国特許出願公開第2013/0300634号明細書
(特許文献73) 米国特許出願公開第2001/0009478号明細書
(特許文献74) 米国特許出願公開第2011/0090389号明細書
(特許文献75) 米国特許第7,249,853号明細書
(特許文献76) 中国特許出願公開第101359089号明細書
(特許文献77) 中国特許出願公開第101424788号明細書
(特許文献78) 中国特許出願公開第1252133号明細書
(特許文献79) 特開2006―276884号公報
(特許文献80) 特開平11―326820号公報
(特許文献81) 国際公開第2004/079431号
(特許文献82) 国際公開第2007/140273号
(特許文献83) 国際公開第2007/002694号
(特許文献84) 特開2001−066543号公報
(特許文献85) 国際公開第2007/002694号
(特許文献86) 国際公開第2008/089417号
(特許文献87) 国際公開第2011/134169号
(特許文献88) 国際公開第99/23647号
(特許文献89) 特開平09―218375号公報
(特許文献90) 国際公開第2013/112705号
(特許文献91) 国際公開第2014/062912号
(特許文献92) 国際公開第2007/085682号
(非特許文献)
(非特許文献1) International Search Report dated February 10,2011 from PCT/CN2010/072376.
(非特許文献2) J.E.MELZER’S:‘Overcoming the field−of−view/resolution invariant in headmounted displays’PROC.SPIE vol.3362,1998,page 284
(非特許文献3) L.G.BROWN’S:‘Applications of the Sensics panoramic HMD’SID SYMPOSIUM DIGEST vol.39,2008,page 77
(非特許文献4) M.GUTIN:‘Automated design and fabrication of ocular optics’PROC.SPIE 2008,page 7060
(非特許文献5) Written Opinion dated February 10,2011 from PCT/CN2010/072376.
(非特許文献6) ZHANG,R.,et al.,"Design of a Polarized Head−Mounted Projection Display using FLCOS Microdisplays",Proc.of SPIE Vol.6489,64890B−1.(2007).
(非特許文献7) GB Examination Report corresponding to GB 1012165.5 dated June 28,2011.
(非特許文献8) ‘Fresnel Lenses’downloaded from http://www.fresneltech.com on June 8,2011.Copyright Fresnel Technologies,Inc.,2003.
(非特許文献9) AZUMA,R.,et al.,‘Recent advances in augmented reality’,IEEE Computer Graphics App;.21,34−47(2001).
(非特許文献10) BAJURA,M.,et al.,"Merging virtual objects with the real world: seeing ultrasound imagery within the patient"in Proceedings of ACM SIGGRAPH(ACM,Chicago,1992),pp.203−210.
(非特許文献11) Biocca,et al.,"Virtual eyes can rearrange your body: adapting to visual displacement in see−through,head−mounted displays",Presence: Teleoperators and Virtual Environments 7,262−277(1998).
(非特許文献12) Bunkenburg,J.‘Innovative Diffractive Eyepiece for Helmet−Mounted Display.’SPIE Vol.3430.pp.41 − 49 July 1998
(非特許文献13) Cruz−Neira et al.,‘Surround−Screen Projection−Based Virtual Reality: the Design and Implementation of the CAVE,’Proceedings of the 20th Annual Conference on Computer Graphics and Interactive Techniques pp 135−142,ACM SIGGRAPH,ACM Press(1993).
(非特許文献14) C.Curatu,H.Hua,and J.P.Rolland,"Projection−based headmounted display with eye−tracking capabilities,"Proc.SPIE 5875,587050J(2005).
(非特許文献15) CAKMAKCI,O.,et al.,‘Head−Worn Displays: A Review’.Journal of Display Technology,Vol.2,No.3,September,2006,pp.199−216.
(非特許文献16) CAUDELL,T.,et al.,"Augmented reality: an application of heads−up display technology to manual manufacturing processes"in Proceedings of Hawaii International Conferences on Systems Sciences (Hawaii,1992),pp.659−669.
(非特許文献17) Examination Report dated April 29,2011 from corresponding GB Application No.GB1012165.5.
(非特許文献18) H.Hua,C.Gao,and J.P.Rolland,‘Study of the Imaging properties of retroreflective materials used in head−mounted projective displays(HMPDs),’Proc.SPIE4711,194−201(2002).
(非特許文献19) H.Hua,C.Gao,F.Biocca,and J.P.Rolland,"An ultra−light and compact design and implementation of head−mounted projective displays,"in Proceedings of IEEE VR 2001,pp.175−182.
(非特許文献20) H.Hua,L.Brown,and C.Gao,"A new collaborative infrastructure: SCAPE,"in Proceedings of IEEE VR 2003 (IEEE,2003),pp.171−179.
(非特許文献21) H.Hua,L.Brown,and C.Gao,"SCAPE: supporting stereoscopic collaboration in augmented and projective environments,"IEEE Comput.Graphics Appl.24,66−75(2004).
(非特許文献22) H.Hua,L.Brown,and C.Gao,"System and interface framework for SCAPE as a collaborative infrastructure,"Presence: Teleoperators and Virtual Environments 13,234−250(2004).
(非特許文献23) H.Hua,Y.Ha,and J.P.Rolland,‘Design of an ultra−light and compact projection lens,’Appl.Opt.42,1−12(2003),pp.97 − 107.
(非特許文献24) H.Hua.,A.Girardot,C.Gao.J.P.Rolland.‘Engineering of head−mounted projective displays’.Applied Optics.39(22),pp.3814−3824.(2000).
(非特許文献25) H.Hua and C.Gao,"A polarized head−mounted projective display,"in Proceedings of IEEE and ACM International Symposium on Mixed and Augmented Reality 2005(IEEE,2005),pp.32−35.
(非特許文献26) Hua et al.,‘Design of a Bright Polarized Head−Mounted Projection Display’Applied Optics 46:2600−2610(2007).
(非特許文献27) International Search Report dated March 9,2009 with regard to International Patent Application No.PCT/ US2009/031606.
(非特許文献28) J.L.Pezzaniti and R.A.Chipman,"Angular dependence of polarizing beamsplitter cubes,"Appl.Opt.33,1916−1929(1994).
(非特許文献29) J.P.Rolland,F.Biocca,F.Hamza−Lup,Y.Ha,and R.Martins,"Development of head−mounted projection displays for distributed,collaborative,augmented reality applications,"Presence: Teleoperators and Virtual Environments 14,528−549(2005).
(非特許文献30) J.P.Rolland and Hong Hua."Head−mounted display systems,"in Encyclopedia of Optical Engineering.R.Barry Johnson and Ronald O.Driggers,Eds,(2005).
(非特許文献31) KRUEERKE,Daniel,"Speed May Give Ferroelectric LCOS Edge in Projection Race,"Display Devices Fall‘05.Copyright 2005 Dempa Publications,Inc.pp.29−31.
(非特許文献32) L.Brown and H.Hua,"Magic lenses for augmented virtual environments,"IEEE Comput.Graphics Appl.26,64−73(2006).
(非特許文献33) L.Davis,J.P.Rolland,F.Hamza−Lup,Y.Ha,J.Norfleet,and C.Imielinska,‘Enabling a continuum of virtual environment experiences,’ IEEE Comput.Graphics Appl.23,pp.10−12 March/April,2003.
(非特許文献34) M.Inami,N.Kawakami,and S.Tachi,‘Optical camouflage using retro−reflective projection technology,’ in Proceedings of ISMAR 2003(ISMAR,2003).
(非特許文献35) M.Inami,N.Kawakami,D.Sekiguchi,Y.Yanagida,T.Maeda,and S.Tachi,"Visuo−haptic display using head−mounted projector,"in Proceedings of IEEE Virtual Reality 2000,pp.233−240.
(非特許文献36) M.Robinson.J.Chen,and G.Sharp,Polarization Engineering for LCD Projection.John Wiley & Sons,Ltd.England,2005.
(非特許文献37) N.Kawakami,M.Inami,D.Sekiguchi,Y.Yangagida,T.Maeda,and S.Tachi,‘Object−oriented displays: a new type of display systemsfrom immersive display to object−oriented displays,’in Proceedings of IEEE SMC 1999,IEEE International Conference on Systems,Man,and Cybernetics,Vol.5,pp.1066−1069.
(非特許文献38) R.Azuma,A Survey of Augmented Reality in Presence; Teleoperators and Virtual Environments 6.4,355−385,(1997).
(非特許文献39) R.Kijima,K.Haza,Y.Tada,and T.Ojika,"Distributed display approach using PHMD with infrared camera,"in Proceedings of IEEE 2002 Virtual Reality Annual International Symposium(IEEE,2002),pp.1−8.
(非特許文献40) R.Kijima and T.Ojika,"Transition between virtual environment and workstation environment with projective headmounted display,"in Proceedings of IEEE VR 1997(IEEE,1997),pp.130−137.
(非特許文献41) R.Martins,V.Shaoulov,Y.Ha,and J.P.Rolland,"Projection based headmounted displays for wearable computers,"Proc.SPIE 5442,104−110(2004).
(非特許文献42) R.N.Berry,L.A.Riggs,and C.P.Duncan,"The relation of vernier and depth discriminations to field brightness,"J.Exp.Psychol.40,349−354(1950).
(非特許文献43) ROLLAND,J.P.,et al.,‘Optical versus video see−through head mounted displays in medical visualization’,Presence‘Teleoperators and Virtual Environments 9,287−309(2000).
(非特許文献44) WINTERBOTTOM,M.,et al.,‘Helmet−Mounted Displays for use in Air Force Training and Simulation’,Human Effectiveness Directorate,November,2005,pp.1−54
(非特許文献45) Written Opinion of the International Searching Authority dated March 9,2009 with regard to International Patent Application No.PCT/US2009/031606.
(非特許文献46) Y.Ha,H.Hua,R.Martins,and J.P.Rolland,"Design of a wearable wide−angle projection color display,"in Proceedings of International Optical Design Conference 2002(IODC,2002),pp.67−73.
(非特許文献47) ZHANG,R.,"8.3: Design of a Compact Light Engine for FLCOS Microdisplays in a p−HMPD system,"Society for Information Display 2008 International Symposium,Seminar and Exhibition(SID2008),Los Angeles,CA,May 2008.
(非特許文献48) Zhang,R.,et al.,"Design of a Polarized Head−Mounted Projection Display Using Ferroelectric Liquid−Crystal−on−Silicon Microdisplays,"Applied Optics,vol.47,No.15,May 20,2008,pp.2888−2896.
(非特許文献49) HUA et al,"Compact eyetracked optical see−through head−mounted display,"Proc.SPIE 8288,Stereoscopic Displays and Applications XXIII,82881F(February 9,2012).
(非特許文献50) International Search Report dated June 18,2010 in corresponding international application PCT/US2010/031799.
(非特許文献51) Jisoo Hong,et al.,"Three−dimensional display technologies of recent interest: Principles,Status,and Issues,"Applied Optics(December 1,2011)50(34):106.
(非特許文献52) Written Opinion dated June 18,2010 in corresponding international application PCT/US2010/031799.
(非特許文献53) YAMAZAKI et al,"Thin wide−field−of−view HMD with free−form−surface prism and applications,"Proc.SPIE 3639,Stereoscopic Displays and Virtual Reality Systems VI,453(May 24,1999).
(非特許文献54) Akeley et al.,"A Stereo Display Prototype with Multiple Focal Distances,"ACM Trans.Graphics 23:804−813(2004).
(非特許文献55) Davis et al.,"Accommodation to Large Disparity Stereograms,&quotJournal of AAPOS 6:377−384 (2002).
(非特許文献56) Downing et al.,"A Three−Color,Solid−State,Three−Dimensional Display,"Science 273:1185−1189(1996).
(非特許文献57) Edgar et al.,"Visual Accommodation Problems with Head−Up and Helmet−Mounted Displays?,"Displays 15:68−75(1994).
(非特許文献58) Favalora et al.,"100 Million−Voxel Volumetric Display,"Proc.SPIE 4712:300−312(2002).
(非特許文献59) Graham−Rowe,"Liquid Lenses Make a Splash,"Nature−Photonics pages 2−4(2006).
(非特許文献60) Heanue et al.,"Volume Holographic Storage and Retrieval of Digital Data,"Science 265:749−752(1994).
(非特許文献61) Hua,"Merging the Worlds of Atoms and Bits: Augmented Virtual Environments,"Optics and Photonics News 17:26−33(2006).
(非特許文献62) Inoue et al.,"Accommodative Responses to Stereoscopic Three−Dimensional Display,"Applied Optics,36:4509−4515(1997).
(非特許文献63) Kuiper et al.,"Variable−Focus Liquid Lens for Miniature Cameras,"Applied Physics Letters 85:1128−1130(2004).
(非特許文献64) Kuribayashi,et al.,"A Method for Reproducing Apparent Continuous Depth in a Stereoscopic Display Using"Depth−Fused 3D"Technology"Journal of the Society for Information Display 14:493−498(2006).
(非特許文献65) Liu et al.,"An Optical See−Through head Mounted Display with Addressable Focal Planes,"IEEE Computer Society,pages 33−42(2008).
(非特許文献66) Liu et al.,"Time−Multiplexed Dual−Focal Plane Head−Mounted Display with a Liquid Lens,"Optics Letters 34:1642−1644(2009).
(非特許文献67) Liu et al.,‘A Novel Prototype for an Optical See−Through Head−Mounted Display with Addressable Focus Cues,’IEEE Transactions on Visualization and Computer Graphics 16:381−393(2010).
(非特許文献68) Liu et al.,"A Systematic Method for Designing Depth−Fused Multi−Focal Plane Three−Dimensional Displays,"Optics Express 18:11562−11573(2010).
(非特許文献69) McQuaide et al.,"A Retinal Scanning Display System That Produces Multiple Focal Planes with a Deformable Membrane Mirror,"Displays 24:65−72(2003).
(非特許文献70) Mon−Williams et al.,"Binocular Vision in a Virtual World: Visual Deficits Following the Wearing of a Head−Mounted Display,"Ophthalmic Physiol.Opt.13:387−391(1993).
(非特許文献71) "OLED−XL Microdisplays,"eMagin 5 pages(2010).
(非特許文献72) Optical Research Associates,http://www.optica1res.com,2 pages(obtained 1/26/2011).
(非特許文献73) Rolland et al.,"Multifocal Planes Head−Mounted Displays,"Applied Optics 39:3209−3215(2000).
(非特許文献74) Schowengerdt et al.,"True 3−D Scanned Voxel Displays Using Single or Multiple Light Sources,"J.Soc.Info.Display 14:135−143(2006).
(非特許文献75) Sheedy et al.,"Performance and Comfort on Near−Eye Computer Displays,"Optometry and Vision Science 79:306−312(2002).
(非特許文献76) Shibata et al.,"Stereoscopic 3−D Display with Optical Correction for the Reduction of the Discrepancy Between Accommodation and Convergence,"Journal of the Society for Information Display 13:665−671(2005).
(非特許文献77) Shiwa et al.,"Proposal for a 3−D Display with Accommodative Compensation: 3DDAC,"Journal of the Society for Information Display 4:255−261(1996).
(非特許文献78) Sullivan,"A Solid−State Multi−Planar Volumetric Display,"SID Symposium Digest of Technical Papers 34:354−356(2003).
(非特許文献79) Varioptic,"Video Auto Focus and Optical Image Stabilization,"http://vvww.varioptic.com/en/home.html,2 pages(2008).
(非特許文献80) Wann et al.,"Natural Problems for Stereoscopic Depth Perception in Virtual Environments,Vision Res.35:2731−2736(1995).
(非特許文献81) Watt et al.,"Focus Cues Affect Perceived Depth,"J Vision 5:834−862 (2005).
(非特許文献82) Love et al.(High Speed switchable lens enables the development of a volumetric stereoscopic display.Aug 2009,Optics Express.Vol.17,No.18,Pages 15716−15725.)
(非特許文献83) Hidenori Kuriyabashi,Munekazu Date,Shiro Suyama,Toyohiko HatadaJ.of the SID 14/5,2006 pp 493−498
(非特許文献84) A.T.Duchowski,"Incorporating the viewer’s Point−Of−Regard(POR) in gaze−contingent virtual environments,"SPIE−Int.Soc.Opt.Eng.Proceedings of Spie − the International Society for Optical Engineering,vol.3295,1998,pp.332−43.
(非特許文献85) T.Ando,K.Yamasaki,M.Okamoto,and E.Shimizu,"Head Mounted Display using holographic optical element,"Proc.SPIE,Vol.3293,183(1998).
(非特許文献86) Curatu,C.,J.P.Rolland,and Hong Hua,"Dual purpose lens for an eye−tracked projection head−mounted display,"Proceedings of International Optical Design Conference,Vancouver,Canada,June 2006.
(非特許文献87) D.Cheng,Y.Wang,H.Hua,and M.M.Talha,"Design of an optical see−through headmounted display with a low f−number and large field of view using a freeform prism,"Appl.Opt.,48(14):2655−2668,2009.
(非特許文献88) D.Cheng,Y.Wang,H.Hua,J.Sasian,"Design of a wide−angle,lightweight headmounted display using free−form optics tiling,"Opt.Lett.,36(11):2098−100,2011.
(非特許文献89) J.G.Droessler,D.J.Rotier,"Tilted cat helmet−mounted display,"Opt.Eng.,Vol.29,849(1990).
(非特許文献90) Duchowski,A.,"Eyetracking Methodology: theory and practice,"Publisher: Springer,2003.
(非特許文献91) Duchowski,A.T.,and A.Coltekin,"Foveated gaze−contingent displays for peripheral LOD management,3D visualization,and stereo imaging,"ACM Trans.on Mult.Comp.,Comm.,and App.3,1−21,(2007).
(非特許文献92) P.Gabbur,H.Hua,and K.Barnard,‘A fast connected components labeling algorithm for real−time pupil detection,’Mach.Vision Appl.,21(5):779−787,2010.
(非特許文献93) Geisler,W.S.,J.S.Perry and J.Najemnik,"Visual search: The role of peripheral information measured using gaze−contingent displays,"J.Vision 6,858−873(2006).
(非特許文献94) H.Hoshi,N.Taniguchi,H.Morishima,T.Akiyama,S.Yamazaki and A.Okuyama,"Offaxial HMD optical system consisting of aspherical surfaces without rotational symmetry,"SPIE Vol.2653,234(1996).
(非特許文献95) Hua,H,"Integration of eye tracking capability into optical see−through headmounted displays,"Proceedings of SPIE(Electronic Imaging 2001),pp.496−503,January 2001.
(非特許文献96) H.Hua,C.Pansing,and J.P.Rolland,"Modeling of an eye−imaging system for optimizing illumination schemes in an eye−tracked head−mounted display,"Appl.Opt.,46(31):7757−75,October 2007.
(非特許文献97) H.Hua,P.Krishnaswamy,and J.P.Rolland,‘Video−based eyetracking methods and algorithms in head−mounted displays,’Opt.Express,14(10):4328−50,May 2006.
(非特許文献98) Hua,H.,C.Pansing,and J.P.Rolland,"Modeling of an eye−imaging system for optimizing illumination schemes in an eye−tracked head−mounted display,"Applied Optics,46(32): 1−14,November 2007.
(非特許文献99) J.P.Rolland,"Wide−angle,off−axis,see−through head−mounted display,"Opt.Eng.,Vol.39,1760(2000).
(非特許文献100) K.Iwamoto,K.Tanie,T.T.Maeda,"A head−mounted eye movement tracking display and its image display method,"Systems & Computers in Japan,vol.28,no.7,30 June 1997,pp.89−99.Publisher: Scripta Technica,USA.
(非特許文献101) K.Iwamoto,S.Katsumata,K.Tanie,"An eye movement tracking type head mounted display for virtual reality system:−evaluation experiments of a prototype system,"Proceedings of 1994 IEEE International Conference on Systems,Man,and Cybernetics.Humans,Information and Technology(Cat.No.94CH3571−5).IEEE.Part vol.1,1994,pp.13−18 vol.1.New York,NY,USA.
(非特許文献102) Laurence R.Young,David Sheena,"Survey of eye movement recording methods,"Behavior Research Methods & Instrumentation,7(5),397−429,1975.
(非特許文献103) Loschky,L.C.and Wolverton,G.S.,"How late can you update gaze−contingent multiresolutional displays without detection?"ACM Trans.Mult.Comp.Comm.and App.3,November 2007.
(非特許文献104) M.D.Missig and G.M.Morris,"Diffractive optics applied to eyepiece design,"Appl.Opt.34,2452−2461(1995).
(非特許文献105) M.L.Thomas,W.P.Siegmund,S.E.Antos,and R.M.Robinson,"Fiber optic development for use on the fiber optic helmet−mounted display,"Helmet−Mounted Displays,J.T.Carollo,ed.,Proc.SPIE 116,90−101,1989.
(非特許文献106) O.Cakmakci,B.Moore,H.Foroosh,and J.P.Rolland,"Optimal local shape description for rotationally non−symmetric optical surface design and analysis,"Opt.Express 16,1583−1589(2008).
(非特許文献107) R.J.Jacob,"The use of eye movements in human−computer interaction techniques: what you look at is what you get,"ACM Transactions on Information Systems,9(2),152−69,1991.
(非特許文献108) Reingold,E.M.,L.C.Loschky,G.W.McConkie and D.M.Stampe,"Gazecontingent multiresolutional displays: An integrative review,"Hum.Factors 45,307−328 (2003).
(非特許文献109) Rolland,J.P.,A.Yoshida,L.D.Davis and J.H.Reif,"High−resolution inset headmounted display,"Appl.Opt.37,4183−93 (1998).
(非特許文献110) Wartenberg,Philipp,"EyeCatcher,the Bi−directional OLED Microdisplay,"Proc.of SID 2011.
(非特許文献111) International Search Report dated January 29,2014 in corresponding international application PCT/US2013/065422.
(非特許文献112) Xinda Hu and Hong Hua,"High−resolution optical see−through multi−focal−plane head−mounted display using freeform optics,"Optics Express,22(11): 13896−13903,June 2014.
(非特許文献113) Xin Shen,Yu−Jen Wang,Hung−Shan Chen,Xiao Xiao,Yi−Hsin Lin,and Bahram Javidi,"Extended depth−of−focus 3D micro integral imaging display using a bifocal liquid crystal lens,"Optics Letters,vol.40,issue 4,pp 538−541 (9 February 2015)
(非特許文献114) S.Hong,J.Jang,and B.Javidi,"Three−dimensional volumetric object reconstruction using computational integral imaging,"Journal of Optics Express,on−line Journal of the Optical Society of America,Vol.12,No.3,pp.483−491,February 09,2004.
(非特許文献115) S.Kishk and B.Javidi,"Improved Resolution 3D Object Sensing and Recognition using time multiplexed Computational Integral Imaging,"Optics Express,on−line Journal of the Optical Society of America,vol.11,no.26,pp.3528−3541,December 29,2003.
(非特許文献116) R.Schulein,C.Do,and B.Javidi,"Distortion−tolerant 3D recognition of underwater objects using neural networks,"Journal of Optical Society of America A,vol.27,no.3,pp 461−468,March 2010.
(非特許文献117) C.Manh Do,R.Mart?nez−Cuenca,and B.Javidi,"Three−dimensional object−distortion−tolerant recognition for integral imaging using independent component analysis,"Journal of Optical Society of America A 26,issue 2,pp 245−251 (1 February 2009).
(非特許文献118) S.Hong and B.Javidi,"Distortion−tolerant 3D recognition of occluded objects using computational integral imaging,"Journal of Optics Express,Vol.14,Issue 25,pp.12085−12095,December 11,2006.
(非特許文献119) Christopher M.Bishop,Neural Networks for Pattern Recognition,Oxford University Press,Inc.New York,NY 1995.
(非特許文献120) M.Daneshpanah,B.Javidi,and E.Watson,"Three dimensional integral imaging with randomly distributed sensors,"Journal of Optics Express,Vol.16,Issue 9,pp.6368−6377,April 21,2008.
(非特許文献121) R.Schulein,M.DaneshPanah,and B.Javidi,"3D imaging with axially distributed sensing,"Journal of Optics Letters,Vol.34,Issue 13,pp.2012−2014,1 July 2009.
(非特許文献122) Yano,S.,Emoto,M.,Mitsuhashi,T.,and Thwaites,H.,"A study of visual fatigue and visual comfort for 3D HDTV/HDTV images,"Displays,23(4),pp.191−201,2002.
(非特許文献123) D.M.Hoffman,A.R.Girshick,K.Akeley,and M.S.Banks,"Vergence−Accommodation Conflicts Hinder Visual Performance and Cause Visual Fatigue,"J.Vision,8(3),1−30,(2008).
(非特許文献124) G.Lippmann,"Epreuves reversibles donnant la sensation du relief,"Journal of Physics (Paris) 7,821−825 (1908).
(非特許文献125) C.B.Burckhardt,"Optimum parameters and resolution limitation of integral photography,"J.Opt.Soc.Am.58,71−76 (1968).
(非特許文献126) T.Okoshi,"Optimum design and depth resolution of lens−sheet and projectiontype three−dimensional displays,"Appl.Opt.10,2284−2291 (1971).
(非特許文献127) F.Okano,H.Hoshino,J.Arai y I.Yuyama,"Real−time pickup method for a three−dimensional image based on integral photography,"Appl.Opt.36,1598−1603 (1997).
(非特許文献128) J.Aran,"Depth−control method for integral imaging,&quotOptics Letters,33(3):279−282,2008.
(非特許文献129) H.Hua,"Sunglass−like displays become a reality with freeform optical technology,"SPIE Newsroom,2012.
(非特許文献130) H.Hua,X.Hu,and C.Gao,"A high−resolution optical see−through headmounted display with eyetracking capability,"Optics Express,November 2013.
(非特許文献131) D.Cheng,Y.Wang,H.Hua,and M.M.Talha,Design of an optical see−through headmounted display with a low f−number and large field of view using a free−form prism,App.Opt.48 (14),pp.2655−2668,2009.
(非特許文献132) A.Jones,I.McDowall,Yamada H.,M.Bolas,P.Debevec,Rendering for an Interactive 360? Light Field Display ACM Transactions on Graphics (TOG) −Proceedings of ACM SIGGRAPH 2007,26(3),2007.
(非特許文献133) Tibor Balogh,"The HoloVizio System,"Proceedings of SPIE,VOl 6055,2006.
(非特許文献134) Y.Takaki,Y.Urano,S.Kashiwada,H.Ando,and K.Nakamura,"Super multiview winshield display for long−distance image information presentation,"Opt.Express,19,704−16,2011.
(非特許文献135) Blundell,B.G.,and Schwarz,A.J.,"The classification of volumetric display systems: characteristics and predictability of the image space,"IEEE Transaction on Visualization and Computer Graphics,8(1),pp.66−75,2002.
(非特許文献136) Schowengerdt,B.T.,and Seibel,E.J.,"True 3−D scanned voxel displays using single or multiple light sources,"Journal of SID,14(2),pp.135−143,2006.
(非特許文献137) X.Hu and H.Hua,"Design and assessment of a depth−fused multi−focal−plane display prototype,"Journal of Display Technology,December 2013.
(非特許文献138) Suyama,S.,Ohtsuka,S.,Takada,H.,Uehira,K.,and Sakai,S.,"Apparent 3D image perceived from luminance−modulated two 2D images displayed at different depths,"Vision Research,44: 785−793,2004.
(非特許文献139) J.Hong,S.Min,and B.Lee,"Integral floating display systems for augmented reality,"Applixed Optics,51(18):4201−9,2012.
(非特許文献140) A.Malmone,and H.Fuchs,"Computational augmented reality eyeglasses,"Proc.of ISMAR 2012.
(非特許文献141) H.Mukawa,K.Akutsu,I.Matsumura,S.Nakano,T.Yoshida,M.Kuwahara,and K.Aiki,A fullcolor eyewear display using planar waveguides with reflection volume holograms,J.Soc.Inf.Display 19 (3),pp.185−193,2009.
(非特許文献142) M.Mart?nez−Corral,H.Navarro,R.Mart?nez−Cuenca,G.Saavedra,and B.Javidi,"Full parallax 3−D TV with programmable display parameters,"Opt.Phot.News 22,50−50 (2011).
(非特許文献143) J.S.Jang and B.Javidi,"Large depth−of−focus time−multiplexed three−dimensional integral imaging by use of lenslets with non−uniform focal lengths and aperture sizes,"Opt.Lett.vol.28,pp.1924−1926 (2003).
(非特許文献144) Chih−Wei Chen,Myungjin Cho,Yi−Pai Huang,and Bahram Javidi,"Improved viewing zones for projection type integral imaging 3D display using adaptive liquid crystal prism array,"IEEE Journal of Display Technology,2014.
(非特許文献145) Xiao Xiao,Bahram Javidi,Manuel Martinez−Corral,and Adrian Stern,"Advances in Three−Dimensional Integral Imaging: Sensing,Display,and Applications,"Applied Optics,52(4):.546−560,2013.
(非特許文献146) J.S.Jang,F.Jin,and B.Javidi,"Three−dimensional integral imaging with large depth of focus by use of real and virtual image fields,"Opt.Lett.28:1421−23,2003.
(非特許文献147) S.Bagheri and B.Javidi,"Extension of Depth of Field Using Amplitude and Phase Modulation of the Pupil Function,"Journal of Optics Letters,vol.33,no.7,pp.757−759,1 April 2008.
(非特許文献148) M.Lucente,"Interactive three−dimensional holographic displays: seeing the future in depth,"Computer Graphics,31(2),pp.63−67,1997
(非特許文献149) P.A.Blanche,et al,"Holographic three−dimensional telepresence using largearea photorefractive polymer,"Nature,468,80−83,Nov.2010
(非特許文献150) G.Wetzstein et al.,"Tensor Displays: Compressive light field synthesis using multilayer displays with directional backlighting,"ACM Transactions on Graphics,31(4),2012.
(非特許文献151) Blundell,B.G.,and Schwarz,A.J.,"The classification of volumetric display systems: characteristics and predictability of the image space,"IEEE Transaction on Visualization and Computer Graphics,8(1),pp.66−75,2002.
(非特許文献152) J.Y.Son,W.H.Son,S.K.Kim,K.H.Lee,B.Javidi,"Three−Dimensional Imaging for Creating Real−World−Like Environments,"Proceedings of IEEE Journal,Vol.101,issue 1,pp.190−205,January 2013.
(非特許文献153) R.Martinez−Cuenca,H.Navarro,G.Saavedra,B.Javidi,and M.Martinez−Corral,"Enhanced viewingangle integral imaging by multiple−axis telecentric relay system,"Optics Express,Vol.15,Issue 24,pp.16255−16260,21 November 2007.
(非特許文献154) A.Castro,Y.Frauel,and B.Javidi,"Integral imaging with large depth of field using an asymmetric phase mask,"Journal of Optics Express,Vol.15,Issue 16,pp.10266−10273(August 2007)
(非特許文献155) European Search Report dated August 14,2015 in corresponding EP application 13740989.2.
(非特許文献156) R.Schulein,M.DaneshPanah,and B.Javidi,"3D imaging with axially distributed sensing,"Journal of Optics Letters,Vol.34,Issue 13,pp.2012−2014,1 July 2009.
ビデオベースの特徴追跡方法を使用するET−HMDシステムは、典型的には少なくとも3つの固有の光路、すなわち照射光路、眼画像化光路、および仮想表示光路を必要とする。照射光路を通して、典型的には近赤外発光ダイオード(NIR LED)によって、追跡するために、暗い瞳孔もしくは明るい瞳孔および/またはプルキンエの特徴などの画像化特徴を作り出すために、目が照射される。特徴検出および追跡のために、画像化光路を通して、追跡特徴を有する眼画像が取得される。表示光路を通して、ミニチュア表示デバイス上に表示される虚像が、情報視覚のためにアイピース光学系を通して作り出される。本発明の新機軸のうちの1つは、アイピース、投影レンズ、または他の光学系構造であってもよい同一の中核光学系を通して、これらの3つの光路を一意的に組み合わせることができる光学的なスキームである。
例えば、態様のうちの1つでは、本発明は、視線追跡用の眼画像化光学系を情報視覚用の表示光学系と一意的に組み合わせることができる、新機軸の光学的なスキームとともに、フリーフォームの光技術を使用してもよい。(したがって、本発明の記述と関連して本明細書で使用する場合、「表示光学系」、および「画像化光学系」という用語は、同一の物理光学を指す場合があり、物理光学は、「中核光学系」とも呼ばれる場合がある。)所望により、眼照射光学系も、組み合わせられてもよい。このように、その有益な点のうちの1つでは、本発明は、HMD用および視線追跡光路用の光学的システムが、別々に取り扱われており、回転対称の光学的表面が主として使用される、従来のアプローチによって課された制限を避ける。しかしながら、本発明で開示される、より制限的である可能性がある、HMDと統合している視線追跡の光学的なスキームは、フリーフォーム光学系に限定されない。本発明によるET−HMDシステム用の中核光学系を、従来のHMD光学系に適用することができる。
例示的な構成では、本発明は、使用者が鑑賞する画像を生成するマイクロディスプレイを有する視線追従型ヘッドマウントディスプレイを提供する。前記マイクロディスプレイは、表示光路と、当該表示光路に関連付けられた射出瞳とを有する。第1の平面はマイクロディスプレイに位置付けられ、第2の平面は射出瞳に位置付けられる。画像センサーは、使用者の眼から反射した、反射光学的放射を第2の平面から受容するように構成され、当該画像センサーに関連付けられたセンサー光路を有する。加えて、視線追従型ヘッドマウントディスプレイは、前記表示光路に沿ってマイクロディスプレイと光学的に連通し、前記センサー光路に沿って前記画像センサーと光学的に連通して配置される表示光学系を含む。前記表示光学系は、マイクロディスプレイに最も近い選択された表面と、前記画像センサーとを含んでもよく、前記表示光路および前記画像センサー光路が前記選択された表面の異なる部分にそれぞれ衝突(impinge)するように前記マイクロディスプレイおよび前記画像センサーに対して位置付けられる。前記表示光路と前記画像センサー光路とは、選択された表面でにおいて部分的に重なってもよい。前記マイクロディスプレイおよび前記画像センサーにそれぞれの光軸を有し、当該それぞれの光軸は同軸であってもよく、傾斜していてもよい、前記表示光学系と前記画像センサーとのそれぞれにおいて、それぞれの光軸を備えてもよい。加えて、視線追従型ヘッドマウントディスプレイは、第1の平面において停止部を含む場合があり、この停止部は、前記センサー光路に沿った位置において、停止部に内設される少なくとも1つの開口を有する。同様に、視線追従型ヘッドマウントディスプレイは、停止部を含み、当該停止部は、前記センサーと前記選択された表面との間の前記にセンサー光路に沿った位置において、当該停止部に内設される少なくとも1つの開口を有する。いずれの構成においても、前記停止部または前記開口は、開口のようなピンホールを含む。1つの例示的な構成では、前記表示光学系は、フリーフォーム光学素子、回転対称の光学素子、および/またはフリーフォーム光学プリズムを含んでもよい。前記表示光学系は球面の表面を含んでもよい。
さらに、視線追従型ヘッドマウントディスプレイは、光学的放射を生成して前記第2の平面を照射することにより前記使用者の眼を照射する照射源を含む。前記表示光学系は、前記照射源からの光学的放射をコリメートするように構成される。前記照射源は、前記第1の平面内に、または表示光学系の光軸から外れている位置など異なる位置に位置付けられる。
図1は、従来の回転対称の光技術に基づく視線追従ヘッドマウントディスプレイ(ET−HMD)システムを概略的に図示する。 図2A、図2Bは、概略的に2つの異なるIR照射戦略からの画像を図示し、図2Aは、明るい眼の瞳孔の眼画像および軸上照射戦略からの結果として得られる4つの輝きを示し、ここで4つの近赤外線LEDは、眼画像化光学系の光軸とほぼ同軸に配設され、図2Bは、暗い眼の瞳孔の眼画像および軸外照射戦略からの結果として得られる4つの輝きを示し、4つの近赤外線LEDは、眼画像化光学系の光軸から離れる方向に置かれる。 図2A、図2Bは、概略的に2つの異なる赤外線照射戦略からの画像を図示し、図2Aは、明るい眼の瞳孔の眼画像および軸上照射戦略からの結果として得られる4つの輝きを示し、ここで4つの近赤外線LEDは、眼画像化光学系の光軸とほぼ同軸に配設され、図2Bは、暗い眼の瞳孔の眼画像および軸外照射戦略からの結果として得られる4つの輝きを示し、4つの近赤外線LEDは、眼画像化光学系の光軸から離れる方向に置かれる。 図3Aは、本発明による、単眼の光学的なモジュールとして示される、例示的な光学的システムを概略的に図示する。 図3Bは、本発明による、マイクロディスプレイパネルの周囲に配置される照射ユニットおよび眼画像化ユニットの例示的なシステムを概略的に図示する。 図4は、単眼の光学的モジュールとして示される本発明によるフリーフォームプリズム技術に基づく例示的なシステムのブロック図を概略的に図示する。 図5A〜図5Dは、本発明による光学的に透視性のHMDの例示的な設計を概略的に図示し、図5Aでは、眼照射光路と、画像化光路と、を示し、図5Bは、仮想表示光路を示し、図5Cは、眼照射光路と、眼画像化光路と、仮想表示光路と、によって共有されるフリーフォームプリズムを示し、図5Dは、透視能力を可能にするフリーフォームプリズムに取り付けられたフリーフォーム補助レンズを示す。 図5A〜図5Dは、本発明による光学的に透視性のHMDの例示的な設計を概略的に図示し、図5Aでは、眼照射光路と、画像化光路と、を示し、図5Bは、仮想表示光路を示し、図5Cは、眼照射光路と、眼画像化光路と、仮想表示光路と、によって共有されるフリーフォームプリズムを示し、図5Dは、透視能力を可能にするフリーフォームプリズムに取り付けられたフリーフォーム補助レンズを示す。 図5A〜図5Dは、本発明による光学的に透視性のHMDの例示的な設計を概略的に図示し、図5Aでは、眼照射光路と、画像化光路と、を示し、図5Bは、仮想表示光路を示し、図5Cは、眼照射光路と、眼画像化光路と、仮想表示光路と、によって共有されるフリーフォームプリズムを示し、図5Dは、透視能力を可能にするフリーフォームプリズムに取り付けられたフリーフォーム補助レンズを示す。 図5A〜図5Dは、本発明による光学的に透視性のHMDの例示的な設計を概略的に図示し、図5Aでは、眼照射光路と、画像化光路と、を示し、図5Bは、仮想表示光路を示し、図5Cは、眼照射光路と、眼画像化光路と、仮想表示光路と、によって共有されるフリーフォームプリズムを示し、図5Dは、透視能力を可能にするフリーフォームプリズムに取り付けられたフリーフォーム補助レンズを示す。 図6は、図5Dの2反射のフリーフォームプリズム構造を使用した、本発明による例示的な最適化されたET−HMDシステムの光学的なレイアウトおよびレイトレーシングを概略的に図示する。 図7は、本発明による例示的なET−HMD光学的システムの3Dモデルを概略的に図示する。 図8は、本発明による図6および図7の光学的な設計に基づく例示的な両眼のET−HMDプロトタイプのモデルを概略的に図示する。 図9A〜図9Dは、図6の設計のHMD仮想表示光路内の視野にわたる20個のサンプリングされた視野の4mmの中心瞳孔の多色性変調伝達関数(MTF)を図示する。 図9A〜図9Dは、図6の設計のHMD仮想表示光路内の視野にわたる20個のサンプリングされた視野の4mmの中心瞳孔の多色性変調伝達関数(MTF)を図示する。 図9A〜図9Dは、図6の設計のHMD仮想表示光路内の視野にわたる20個のサンプリングされた視野の4mmの中心瞳孔の多色性変調伝達関数(MTF)を図示する。 図9A〜図9Dは、図6の設計のHMD仮想表示光路内の視野にわたる20個のサンプリングされた視野の4mmの中心瞳孔の多色性変調伝達関数(MTF)を図示する。 図10は、図6の設計のHMD仮想表示光路内の視野にわたる歪曲グリッドを図示する。 図11は、図6の設計の眼画像化光路内の視野にわたるサンプリングされた視野の変調伝達関数を図示する。 図12は、図6の設計の眼画像化光路内の視野にわたる歪曲グリッドを図示する。 図13A〜図13Dは、図6の設計のHMD透視光路内の4mmの中心瞳孔の30×22度の中央視野にわたる20個のサンプリングされた視野の多色性変調伝達関数(MTF)を図示する。 図13A〜図13Dは、図6の設計のHMD透視光路内の4mmの中心瞳孔の30×22度の中央視野にわたる20個のサンプリングされた視野の多色性変調伝達関数(MTF)を図示する。 図13A〜図13Dは、図6の設計のHMD透視光路内の4mmの中心瞳孔の30×22度の中央視野にわたる20個のサンプリングされた視野の多色性変調伝達関数(MTF)を図示する。 図13A〜図13Dは、図6の設計のHMD透視光路内の4mmの中心瞳孔の30×22度の中央視野にわたる20個のサンプリングされた視野の多色性変調伝達関数(MTF)を図示する。 図14は、図6の設計のHMD透視光路の視野にわたる歪曲グリッドを図示する。 図15A、図15Bは、本発明による図3に示す光学的なスキームの例示的な設計を図示する。 図15A、図15Bは、本発明による図3に示す光学的なスキームの例示的な設計を図示する。 図16は、本発明による、図3に示す回転対称の光学系に基づく光学的なスキームの例示的な実施を概略的に図示する。
ここで、全体を通して同様な要素に同様な番号が付けられている図面を参照すると、図3Aは、本発明による小型ET−HMDシステムを達成するための例示的なシステムレイアウト300を概略的に図示する。この例示的なレイアウト300では、同一の中核光学系310は、眼画像化、表示鑑賞(display viewing)、および/または眼照射の機能を果たすことができる。この単純化は、一意的な共役平面上で、眼照射光路305、眼画像化光路307、および表示光路309の洞察力のある観測から生じる。加えて、中核光学系310の有効口径に沿った異なる部分は、眼照射光路305、眼画像化光路307、および表示光路309のために使用されてもよい。例えば、マイクロディスプレイに最も近く位置付けられる中核光学系310の選択された表面において、選択された表面のそれぞれの部分が異なると、眼照射光路305、眼画像化光路307、および表示光路309のうちの2つ以上(例えば、眼画像化光路307および表示光路309)が衝突する可能性があるが、部分的な重なりは許容される。
表示光路309では、この状況では表示光学系として機能する中核光学系310は、眼10によって見られるマイクロディスプレイ320の拡大された虚像を形成する。マイクロディスプレイユニット320は、画像源として機能することができる任意のタイプの自発光式、または照射される画素アレイ(シリコン上の液晶(LCoS)表示デバイス、液晶ディスプレイ(LCD)パネル、有機発光型ディスプレイ(OLED)、シリコン上の強誘電性液晶(FLCoS)デバイス、デジタルミラーデバイス(DMD)、または前述したものまたは他のタイプのマイクロディスプレイデバイスの上に構築されたマイクロプロジェクターが挙げられるが、これに限定されない)とすることができ、所望により、または必要に応じて、マイクロディスプレイ320と中核光学系310との間に追加的な所望の光学系が提供されてもよい。眼10から無限または有限の距離にあるように現れる拡大された虚像は、マイクロディスプレイ320の共役焦点面に対応する。眼の瞳孔12は、表示光路309の射出瞳312と同じ場所に位置付けられてもよい。瞳孔12の中心を通るディスプレイの主光線(図3Aで実線で示される)は、マイクロディスプレイ320上の視野高さを画定するため、マイクロディスプレイ表面上で分離できる。眼照射光路305では、図3Bの表示/中核光学系310を通して眼を照射するために、1つまたは多重の近赤外線発光ダイオード(NIR LED)330がマイクロディスプレイ320の周囲に載置されてもよい。表示/中核光学系310は、LED光をコリメートしてもよく、表示/中核光学系310を通して生成された多重の仮想LED源を通して、眼領域上に均等に照射される領域を作り出してもよい。かかる軸から外れた照射配設は、暗い瞳孔の効果を作りだすことができ、前角膜からの反射を通して近赤外線LED330の多重の輝き画像を形成する。
眼画像化光路307では、眼の瞳孔12は、画像化の対象となる。絞り340が、マイクロディスプレイ320の周囲に置かれる場合がある。マイクロディスプレイ320の瞳孔と視野との関係、および上述の眼の瞳孔12を考慮すると、表示光路の異なる対象視野の主光線は、眼画像化光路307の軸上の対象点の周縁光線になり、したがって眼の瞳孔12上の同一の点を通るすべての光線は、赤外線画像化センサー360上の同一の点上に画像化される。しかしながら、これらの光線は、マイクロディスプレイ表面と一意的な位置で交差する。したがって、画像化光路307では、絞り340は、表示光路309に影響を与えないようにしかも眼画像を眼画像化光路307に形成するために十分な光線を集めるように、適切に設計されて、マイクロディスプレイ320の周囲に置かれる。図3Bに示す図では、絞り340は、ピンホールのような小さい開口350の形態で提供されてもよく、マイクロディスプレイ320を包囲する選択された領域であってもよい。分離された画像センサー360は、それぞれのピンホールのような開口350に組み込まれてもよい。
利点のうちの1つとして、2つのまたは3つの固有の光学的な機能を組み合わせるための光学的なレイアウト300は、HMD光学系に適した実質上すべてのタイプの光学的な構造に対する適用範囲を有する。例えば、従来の回転対称の光学素子を基にしたアイピース光学系を用いた例示的な構成は、図16に関連して以下で考察するように設計されてきた。
視線追跡機能の態様としては、具体的には、眼球運動を監視するために使用される場合がある、いくつかの異なる視線追跡技法が存在し、これらは3つの分類に分けられる、すなわち、電子眼球運動記録法、強膜サーチコイル法、および様々なビデオベースの特徴追跡アプローチである。これらの方法の中でも、取得された眼画像の特徴を検出して追跡するビデオベースの特徴追跡は、眼球運動を追跡するためには、最も侵入的でなく、かつ最も便利なアプローチである。
近赤外線照射下で、眼画像201、202は、典型的には容易に識別、および測定できる2つのタイプの特徴を有する(図2A、図2B)。1つの特徴は、第1のプルキンエ画像、または輝き6として知られ、角膜の前面によって形成される点光源の反射画像を指す(図2B)。第2の機能は、眼の瞳孔12である。図2A〜図2Bは、赤外線照射された眼画像201、202の実施例を示す。赤外線照射器、例えば、近赤外線LED330、の構成に依存して、赤外線照射器が眼画像化光学系の光軸とほとんど同軸上に配設される、軸上照射戦略は、明るい瞳孔2、図2A、につながるが、一方で、赤外線照射器が眼画像化光学系の光軸から離れて置かれる、軸から外れた照射戦略は、輝き6を有する暗い瞳孔4(図2B)につながる。その結果、瞳孔と輝きとの特徴は、眼球運動追跡のために利用される場合がある。
ビデオベースの特徴追跡方法の中でも、眼球運動を瞳孔の中心と輝きの中心との間のベクトル差に関係付ける、瞳孔角膜反射追跡方法が、ET−HMDシステムで最も適切なアプローチである。この方法では、1つのまたは多重の近赤外線発光ダイオード(NIR LED)、例えば、近赤外線LED330は、眼10を照射するために使用されてもよく、照射された眼10は、次いで赤外線CCDなどの画像化センサー360によって画像化されてもよい。眼の瞳孔12、第1のプルキンエ画像(すなわち輝き)、および/または虹彩11が、同時に、または別途追跡されてもよい。それぞれの近赤外線LED330は、輝き6すなわち第1のプルキンエ画像を形成する場合がある。瞳孔12および第1のプルキンエ特徴は、眼の回転に比例的に移動し、相互の間では差動的に移動する。2つの特徴の間の差動ベクトルが、眼10の注視点を決定するために使用されてもよい。この方法は、画像化センサー360の眼10に対する配向の変更をある程度引き起こし、眼球運動を混乱させる、HMDシステムのヘルメットの滑りを許容する。
別の重要な態様では、本発明は、透視能力をともなう、超小型、かつ軽量のET−HMDを達成するためにフリーフォームの光技術を中核光学系310で、利用する場合がある。図4は、本発明による、フリーフォームの光技術に基づく小型視線追従型HMD設計への例示的なアプローチのブロック図400を示す。1つの例示的な実施では、中核光学系310内で、楔形のフリーフォームプリズム410または導波管タイプのフリーフォームプリズムが使用されてもよく、多面プリズム構造内で光線経路を折り畳むことが許容され、これは回転対称の要素を使用する設計と比較すると表示光学系の全体的な重量および体積を減少するのを助ける。フリーフォームの光技術を適用することは、HMD光学系の機能と視線追跡の機能とを小型形態の中に完全に統合できるようにする。フリーフォームプリズム410は、軽量および低コストのために成形可能な塑性体から作成される場合がある。
このアプローチでは、フリーフォームプリズム410は、2つまたはそれ以上の固有の光学的な機能を果たす。第1の、フリーフォームプリズム410は、眼画像化光路407で、中核要素として機能する場合がある近赤外線で照射される使用者の眼画像401を取得し、そして取得された眼画像401を使用して眼球運動を追跡する。典型的にはレンズ構成体内に回転対称の光学の表面を採用し、典型的には画像化レンズを検出器460および取得される対象物と同一直線上にしたままにしておく必要がある、従来の画像化システムとは異なり、画像検出器460がフリーフォームプリズム410の側に置かれてもよいように、フリーフォームプリズム410は、単一の要素内の光路を折り曲げる。第2に、同一のフリーフォームプリズム410は、表示光路409でマイクロディスプレイ420上の画像を鑑賞するために、表示視覚光学系として機能する場合がある。第3に、プリズム410は、1つまたは多重の近赤外線LED430からの光をコリメートする照射光路305内で中核要素として機能する場合がある。代替的には、近赤外線LEDは、プリズム410(または中核光学系310)を通過せずに、眼領域を直接照射してもよい。いずれの場合でも、近赤外線LED430は、眼領域を均等かつ非侵襲的に照射する場合があり、視線追跡のために画像化されるべき重要な特徴(例えば、輝き6および暗い瞳孔4)を形成する。最後に、実世界の直接鑑賞が重要である用途のために、光学的に透視性のET−HMDシステムが要求される場合、プリズム410は、フリーフォーム補正レンズ415に固着されてもよい。フリーフォーム修正器415は、視覚軸の偏差およびプリズム410によって導入された望ましくない収差を修正することができ、かつ実世界鑑賞411のために周辺部の不透明度の低減およびひずみの最小限化を提示するシステム400の透視能力を可能にする。全体的に、本発明の固有の光学的なスキームは、最小限のハードウエアコストで、同一のフリーフォームプリズム410を通して、眼画像化407のためと、仮想表示409のためと、所望により眼照射405のためとの光路の組み合わせを可能にすることができ、かつ視線追跡および表示の能力を達成することができる。
本発明による第1の例示的な構成500は、2つの反射を用いる、楔形のフリーフォームプリズム510を利用する、図5A〜図5D。この実施形態では、フリーフォームプリズム510は、3つもの中核機能の作用をする場合があり(1)照射光学系として、1つまたは多重の近赤外線LED530からの光を均等に、かつ非侵襲的に眼領域を画像化されるように照射するためにコリメートし、(2)眼画像化光学系の中核要素として、近赤外線で照射された眼画像を取得して、眼球運動の追跡を可能にし、(3)HMDシステムのアイピース光学系として、マイクロディスプレイ520上の画像を鑑賞する。これら3つの固有の光路は、視線追跡および表示の能力を達成するために、同一のフリーフォームプリズム510によって組み合わせられてもよい。追加的に、同一のプリズム510は、フリーフォーム補正レンズに固着されたとき、光学的に透視性のHMDシステムの透視能力が可能になった。代替的には、フリーフォームプリズム510は、照射光学系として中核機能を省略してもよい。
楔形のフリーフォームプリズム510は、3つの光学的な表面を含んでもよく、そのうちの少なくとも1つは、回転対称であるか、または回転対称でない、非球面の表面であってもよい。本発明の1つの新機軸は、単一のフリーフォームプリズム510を介して、2つまたは3つの固有の光路(すなわち、眼照射光路505、眼画像化光路507、および表示光路509のうちの2つ以上)を一意的に組み合わせることができる、光学的なアプローチである。図5Aは、フリーフォームプリズム510を含む、眼照射および画像化光学系の概略の設計を示す。照射光路505では、近赤外線LED530から放射された光線は、第1に表面3によって反射され、2つの表面1'および表面2による連続反射が続き、最終的に表面1を通して伝送され、眼10に到達する。表面1'上の反射は、内部全反射(TIR)の条件を満足する場合がある。LED530によって放射された光は、プリズム510によってコリメートされる場合があり、眼10に対して均一な照射をもたらす。近赤外線で照射された眼10は、次いで赤外線画像センサー560によって画像化されてもよい。眼画像化光路507では、光線が、眼10に散乱して落ち、第1に表面1によって反射されてもよく、表面2および1'による2つの連続反射が続き、最終的には表面3を通して伝送されてもよく、そしてセンサー560に達する。眼画像化の光学的な性能を改善するために追加的なレンズ562が、プリズム510の表面3と画像センサー560との間に挿入されてもよい。画像化センサー560によって受容された光を閉じ込めるために、小さい開口絞り550が、レンズ562の近くまたは内側に置かれてもよい。
図5Bは、フリーフォームプリズム510を使用してマイクロディスプレイ520上の画像を拡大し、快適な鑑賞距離で虚像を形成する、HMD光学系の表示光路509概略的に図示する。マイクロディスプレイ520上の点から放射された光線は、第1にフリーフォームプリズム510の表面3によって反射されてもよく、表面1'および2による2つの連続反射が後に続き、最終的に、システム500の射出瞳512に到達するように表面1を通過して伝送されてもよい。表面1'上の反射は、TIR条件を満足する場合がある。多重の要素を必要とするよりも、むしろプリズム構造内で光路が自然に折り曲げられる。表示光路509の光学的な性能をさらに改良するために、プリズム510の表面3と、マイクロディスプレイ520との間に、さらなるレンズが、挿入されてもよい。
図5Cは、照射、画像化、および表示光学系が同一のプリズム510を備え、高品質の眼画像を形成するために、照射LEDs530およびピンホール様の550が、マイクロディスプレイ520の縁部540の周囲に置かれる、統合型システム500を概略的に図示する。図5Cに、絞りおよびLED構成の一例が図示される。絞り550およびLEDs530は、マイクロディスプレイ520の周囲の周辺部内の他の位置に置かれてもよいことを注意する価値がある。加えて、絞り550およびLEDs530は、マイクロディスプレイ520と同一平面であってもそうでなくても使用されてもよい。システム性能を改良するために、追加的なレンズが、照射光路505、眼画像化光路507、および表示光路509のうちの1つ以上で使用されてもよい。さらに、マイクロディスプレイ520に最も近い表面、表面3で、照射光路505、眼画像化光路507、および表示光路509は、表面3のそれぞれの部分が異なると衝突する場合がある(しかし、部分的な重なりは許容される)。
透視能力を可能にするために、プリズム510の表面2は、半透鏡としてコーティングされてもよい。マイクロディスプレイ520からの光線は、表面2によって反射される場合があるが、実世界の場面からの光線は、伝送される。図5Dは、プリズム510に固着される2つのフリーフォームの表面4および5からなる、実世界視覚経路511へのフリーフォームプリズム510によって導入された視覚軸の偏差および収差を修正するためのフリーフォーム補助レンズ515を概略的に図示する。通常補助レンズ515の表面4は、プリズム510の表面2と同一の規定を有し、補助レンズ515の表面5は、軸の偏差および収差を修正するように最適化される。補助レンズ515は、システムの全体的な設置面積または重量を目立つほど増加することはない。全体的に、例示的なシステム500は、軽量で、小型で、堅牢な、視線追跡HMDの解決法を提供し、いかなる既存のHMDのアプローチよりも目立ちすぎない形状因子を潜在的に供給することができ、これは、設計のコンピューター解析によりさらに実証される。
図6は、図5に図示される2反射楔形のフリーフォームプリズム510に基づく、最適化されたシステムの2次元の光学的なレイアウトを概略的に図示する。この実施では、眼画像化光路507の性能を改善するために、画像化レンズ562が、使用される場合がある。絞り550は、プリズム510の表面3の近くに位置付けられてもよい。近赤外線LED530は、マイクロディスプレイ520の周辺に位置付けられてもよい。図7は、図5Dの例示的な光学的システムの3Dモデル700を概略的に図示し、図8は、図6および図7に示す光学的な設計に基づく両眼のET−HMDプロトタイプ800の3Dモデルを概略的に図示する。全体的なシステムの仕様は、表1に一覧で記載される。
Figure 0006141584
フリーフォームプリズム510の例示的な光学的な規定が、表面1、表面2、および表面3のそれぞれに対して表2〜表4に一覧で示される。プリズム510の3つの光学的な表面のうちの表面1は、歪像の非球面の表面(AAS)である。AAS表面のサグは、以下の式、
Figure 0006141584
によって定義され、式中zは、フリーフォーム表面のサグであり、局所x、y、z座標系のz軸に沿って測定され、cおよびcは、それぞれx軸およびy軸での頂点曲率であり、KおよびKは、それぞれx軸およびy軸での円錐定数であり、AR、BR、CR、およびDRは、それぞれ円錐からの4次変形、6次変形、8次変形、および10次変形の回転対称の部分であり、AP、BP、CP、およびDPは、円錐からの4次変形、6次変形、8次変形、および10次変形の非回転対称の構成要素である。
プリズム510の表面2は、以下の式、
Figure 0006141584
で定義されるXY多項式曲面であってもよく、式中zは、局所x、y、z座標系のz軸に沿って測定されたフリーフォーム表面のサグであり、cは、頂点曲率(CUY)であり、kは、円錐定数であり、そしてCjは、xに対する係数である。
表面3は、回転対称のキノフォーム回析光学素子を有する非球面の表面であってもよく、以下の式、
Figure 0006141584
によって定義される非球面の表面のサグを有し、式中zは、局所x、y、z座標系のz軸に沿って測定された表面のサグであり、cは、頂点曲率であり、kは、円錐定数であり、A〜Jは、それぞれ4次変形係数、6次変形係数、8次変形係数、10次変形係数、12次変形係数、14次変形係数、16次変形係数、18次変形係数、および20次変形係数である。
Figure 0006141584
Figure 0006141584
Figure 0006141584
例示的なフリーフォーム修正器515レンズの表面5の光学的な規定が、表5に一覧で記載される。レンズ515の表面4は、プリズム510の表面2と同一の規定を有し、レンズ515の表面5は、表面2と同一の式で定義されるXY多項式曲面である。
Figure 0006141584
例示的な設計のディスプレイの面では、プリズム510は水平から46度、または40度で、垂直から22度の対角線の視野を提供する。これは、ピクセルサイズが約8μmで、対角線サイズが0.9インチ以下のマイクロディスプレイ520を提供する。プロトタイプは、アスペクト比が16:9で、解像度が1920×1200ピクセルの0.86インチのマイクロディスプレイを使用して製作された。
例示的な設計は、高い画像コントラストと、高い解像度を達成した。図9A〜図9Dは、4mmの中心瞳孔のHMD光路の視野にわたる20個のサンプリングされた視野の多色性変調伝達関数(MTF)を図示する。MTF曲線は、50lps/mmのカットオフ解像度(10μmピクセルの解像度と等価)において、0.2の平均コントラストを実証し、35lps/mmのカットオフ解像度(15μmピクセルの解像度と等価)において、0.3より高い平均コントラストを実証する。図10は、仮想表示光路の歪曲グリッドをさらに実証する。
眼画像化および照射の面では、フリーフォームプリズム510を通して、均等に照射された眼領域を作り出すために、画像源の周囲に1つ以上の近赤外線LED530が置かれる。フリーフォームプリズム510は、水平および垂直の方向にそれぞれ約30mm×20mmの眼領域に対して均一な照射を提供することができる。同一の照射された眼領域は、高解像度近赤外線センサー560によって取得される。画像化される領域は、眼球運動の追跡を可能にするのに十分である。眼画像化光路を分解できるピクセルサイズは、約10μmである。図11は、眼画像化光路の変調伝達関数(MTF)を図示する。MTF曲線は、50lps/mmのカットオフ解像度(10μmピクセルの解像度と等価)において、0.1の平均コントラストを実証し、30lps/mmのカットオフ解像度(16μmピクセルの解像度と等価)において、0.3より高い平均コントラストを実証する。図12は、眼画像化光路の歪曲グリッドをさらに実証する。
システム500の透視の面では、固着されたプリズム510およびフリーフォーム補正レンズ515は、水平から約100度、または80度で、垂直から50度の対角線視野を提供する。透視性視野は、改善された状況認識のために仮想表示視野よりかなり広く設計される。透視システムのアイボックスサイズは、使用の容易さおよび鑑賞の快適さをさらに改善するために、仮想表示システムより大きくなるように最適化される。この設計実施形態は、高い画像コントラストと解像度を達成する。図13A〜図13Dは、透視光路内の4mmの中心瞳孔の中央の30×22度の視野にわたる20個のサンプリングされた視野の多色性変調伝達関数(MTF)を図示する。MTF曲線は、ほぼ回折限界の性能を実証する。図13A〜図13Dでは、0.5サイクル/分は、1分の角度の空間的解像度に対応し、これは、視力20/20の分解能であり、1サイクル/分は、0.5分の角度の空間的解像度に対応し、これは視力20/15の分解能である。サンプリングされた視野にわたる平均MTFは、0.5サイクル/分(1分の角度の角度的解像度と等価)のカットオフ解像度で、0.5より大きく、平均コントラストは、1サイクル/分(0.5分の角度の角度的解像度と等価)のカットオフ解像度で0.4より大きい。80×50透視性視野全体にわたる平均MTFは、0.5サイクル/分のカットオフ周波数で、0.35より大きい。図14は、全視野にわたる透視性表示光路の歪曲グリッドをさらに図示する。中心の40×22度でのひずみは、2%未満であり、全視野にわたるひずみは、8%未満である。
図15A〜図15Bは、本発明の第2の構成の例示的な設計を概略的に図示し、ここで画像化システム1500の絞り1540は、マイクロディスプレイ1520を包囲してもよい。マイクロディスプレイ平面は、赤外線センサー1560によって光線を集めることを可能にし、赤外線センサー1560上での眼画像化のために絞り1540として機能する場合がある赤外線透過性領域1527と、赤外線光線が赤外線センサー1560に達するのを遮る、有効なディスプレイ領域に対応するマイクロディスプレイ1520(非透過性)の有効領域と、マイクロディスプレイの物理的フレームに対応する、これも光線が赤外線センサー1560に達するのを遮る、赤外線透過性領域とマイクロディスプレイ領域との間の第3の非透過性フレーム1523と、の3つの区域に分けられる。画像化システム1500では、プリズム1510、マイクロディスプレイ1520、および赤外線センサー1560のそれぞれの光軸は同軸であってもよい。よって、赤外線センサー1560は、マイクロディスプレイ1520が眼の瞳孔の画像を取得した後、置かれる場合がある。赤外線センサー1560からプリズム1510までの距離は、フリーフォームプリズム1510を通した眼の瞳孔の画像位置に依存し、これは最終的には表示光路の設計に依存する。例えば、フリーフォームプリズム1510が、表示空間内で、テレセントリックになるように、またはテレセントリックに近くなるように設計される場合、主光線は、互いにほぼ平行になり、これらがマイクロディスプレイ1520に交わる前に、マイクロディスプレイ表面に直角になる。これは、プリズム1510を通した眼の瞳孔の画像が、無限遠または著しく遠い距離に位置付けられることを意味する。この場合、眼画像化光路の全体的な長さを低減し、かつ良好な画像品質を達成するために、1つ以上の追加的な画像化レンズ1562を、赤外線センサー1560とプリズム1510との間に挿入する必要がある場合がある、図15A。
一方で、フリーフォームプリズム1510が非テレセントリックとなる(すなわち、主光線がプリズム1510の後ろのいずれかの短い距離の点に集中する)ように設計される場合、眼の瞳孔は、プリズム1510によってかなり近い距離で画像化され、赤外線センサー1560は、さらなる画像化レンズ1562の必要無しに、プリズム1510のすぐ後ろに置くことができる。実際には、テレセントリック性または近似テレセントリック性の条件は、虚像が視野全体にわたってより均一に表示されるので、表示光路を設計するときしばしば望ましい。マイクロディスプレイ1520が狭い角度内でのみ光を放出または反射するとき、この条件が要求される場合がある(例えば、LCoSタイプのマイクロディスプレイなどのデバイス)。マイクロディスプレイ1520が幅広い放射角度を提示するとき(例えば、OLED)、テレセントリック性条件を緩めることができる。
近赤外線LEDは、図3Bに記載したのと同様のやり方で、絞り1540の周囲に置かれてもよく、または代替的に近赤外線LED1530は、プリズム1510の縁部の周囲に置かれて、図15Aに示すように眼10を直接照射してもよい。さらに、プリズム1510の縁部の周囲の近赤外線LED1530が、プリズム1530を使用せずに眼10を直接照射することは、例えば図5A〜図6、または図16に示されたものを含む、本発明の任意の他の構成で実施されてもよい。
図16は、中核光学系310に対して回転対称の光学系を利用する、図3に示す光学的なスキームの例示的な設計1600を概略的に図示する。小型フリーフォームを基にしたプリズム510を使用する代わりに、表示鑑賞、眼画像化および眼照射のために、4要素視覚光学系1610が、中核光学系310として使用される。マイクロディスプレイ1620は、光学系1610の焦点面に置かれてもよい。1つの光源1630(近赤外線LEDなどの)が、画像源1620の周囲に置かれてもよい。ピンホール様の絞り1640およびマイクロ画像化レンズ1662は、画像化センサー1660上に眼画像を形成するために、画像源1620の端部の周囲にも置かれてもよい。さらなる光源1630および画像化サブシステム(マイクロ−画像化レンズ1662および画像化センサー1660)を、他の用途のための必要に応じて、画像源1620の周囲に配設することができる。例示的な設計1600では、表示光学系1610およびマイクロディスプレイ1620のそれぞれの光軸は、同軸であってもよく、一方で、画像センサー1660、光源1630、およびマイクロディスプレイ1620のうちの1つ以上のそれぞれの光軸は、互いに対して傾斜していても、かつ/または偏心していてもよい。フリーフォームの構成を用いて、マイクロディスプレイ1620に最も近い表面である表面8において、照射光路、眼画像化光路、および表示光路は、表面8の部分のそれぞれが異なると衝突するが、例えば、画像化光路と表示光路との間に図示するように、部分的な重なりは許容される。
視覚光学系1610は、40度の対角線、20mmアイリリーフ、および10mmの眼の瞳孔のサイズを提供することができ、0.8インチ以下の対角線サイズの画像源1620を支持することができる。1つ以上の近赤外線LED1630は、視覚光学系を通して均等に照射される眼領域を作り出すために、マイクロディスプレイ1620の周囲に置かれてもよい。視覚光学系1610は、約15mm×15mmの眼領域に均一な照射を提供することができる。同一の照射される眼領域は、高解像度近赤外線センサー1630によって取得されてもよい。画像化される領域は、眼球運動の追跡を可能にするのに十分である。
設計1600の例示的な光学的な規定が、表6〜表9に提供される。
Figure 0006141584
Figure 0006141584
表面11および12は、非球面の表面であってもよく、以下の式、
Figure 0006141584
によって定義される非球面の表面のサグを有し、式中zは、局所x、y、z座標系のz軸に沿って測定された表面のサグであり、cは、頂点曲率であり、kは、円錐定数であり、A〜Jは、それぞれ4次変形係数、6次変形係数、8次変形係数、10次変形係数、12次変形係数、14次変形係数、16次変形係数、18次変形係数、および20次変形係数である。
Figure 0006141584
Figure 0006141584
上記の明細書から、本発明のこれらの、および他の利点は、当業者には明らかであろう。したがって、当業者には、本発明の広範な発明の概念から逸脱することなく、上記の実施形態に対する変更または改良がなされてもよいことが理解されるであろう。したがって、本発明は、本明細書に記載される特定の実施形態に限定されず、特許請求の範囲および本発明の趣旨内のすべての変更および改良を含むことが意図されることを理解するべきである。

Claims (28)

  1. 視線追従型ヘッドマウントディスプレイであって
    使用者が鑑賞する画像を生成するマイクロディスプレイであって、表示光路と、当該表示光路に関連付けられた射出瞳とを有するものである、前記マイクロディスプレイと、
    前記マイクロディスプレイに位置する第1の平面と、前記射出瞳に位置する第2の平面と、
    使用者の眼から反射した、反射光学的放射を前記第2の平面から受容するように構成された画像センサーであって、当該画像センサーに関連付けられたセンサー光路を有するものである、前記画像センサーと、
    前記表示光路に沿って前記マイクロディスプレイと光学的に連通して配置され、前記センサー光路に沿って前記画像センサーと光学的に連通する表示光学系であって、前記マイクロディスプレイおよび前記画像センサーに最も近い選択された表面を有し、前記表示光路および前記画像センサー光路が前記選択された表面の異なる部分にそれぞれ衝突(impinge)するように前記マイクロディスプレイおよび前記画像センサーに対して位置付けられるものである、前記表示光学系と
    を有し、
    前記表示光路および前記センサー光路はそれぞれ、前記表示光学系および前記画像センサーにそれぞれの光軸を有し、前記それぞれの光軸は、前記第2の平面において互いに対して傾斜しているものである、
    視線追従型ヘッドマウントディスプレイ。
  2. 請求項1記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光路および画像センサー光路は前記選択された表面において部分的に重なるものである視線追従型ヘッドマウントディスプレイ。
  3. 請求項1または2記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光学系は、前記第2の平面における鑑賞用に前記マイクロディスプレイの虚像を生成するように構成されるものである視線追従型ヘッドマウントディスプレイ。
  4. 請求項1〜のいずれか1つに記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光路は光軸を有し、前記画像センサーは前記表示光路の前記光軸から外れた位置に位置付けられるものである視線追従型ヘッドマウントディスプレイ。
  5. 請求項1〜のいずれか1つに記載の視線追従型ヘッドマウントディスプレイにおいて、前記マイクロディスプレイは前記表示光路の前記光軸上に位置付けられるものである視線追従型ヘッドマウントディスプレイ。
  6. 請求項1〜のいずれか1つに記載の視線追従型ヘッドマウントディスプレイにおいて、当該ディスプレイは前記第1の平面に絞りを有し、当該絞りその内部に設けられた少なくとも1つの開口を有するものであり、当該少なくとも1つの開口は前記センサー光路に沿った位置に配置されるものである視線追従型ヘッドマウントディスプレイ。
  7. 請求項1〜のいずれか1つに記載の視線追従型ヘッドマウントディスプレイにおいて、当該ディスプレイは絞りを有し、当該絞りその内部に設けられた少なくとも1つの開口を有するものであり、当該少なくとも1つの開口は前記センサーと前記選択された表面との間の前記センサー光路に沿った位置に配置されるものである視線追従型ヘッドマウントディスプレイ。
  8. 請求項または記載の視線追従型ヘッドマウントディスプレイにおいて、前記少なくとも1つの開口はピンホールを有するものである視線追従型ヘッドマウントディスプレイ。
  9. 請求項1〜のいずれか1つに記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光学系はフリーフォーム光学素子を有するものである視線追従型ヘッドマウントディスプレイ。
  10. 請求項1〜のいずれか1つに記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光学系は回転対称な光学素子を有するものである視線追従型ヘッドマウントディスプレイ。
  11. 請求項1〜10のいずれか1つに記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光学系はフリーフォーム光学プリズムを有するものである視線追従型ヘッドマウントディスプレイ。
  12. 請求項11記載の視線追従型ヘッドマウントディスプレイにおいて、前記プリズムは楔形状のプリズムを有するものである視線追従型ヘッドマウントディスプレイ。
  13. 請求項11記載の視線追従型ヘッドマウントディスプレイにおいて、前記プリズムは非球面の表面を有するものである視線追従型ヘッドマウントディスプレイ。
  14. 請求項11記載の視線追従型ヘッドマウントディスプレイにおいて、前記プリズムは表示空間内でテレセントリックである視線追従型ヘッドマウントディスプレイ。
  15. 請求項11記載の視線追従型ヘッドマウントディスプレイにおいて、前記プリズムは表示空間内で非テレセントリックである視線追従型ヘッドマウントディスプレイ。
  16. 請求項11記載の視線追従型ヘッドマウントディスプレイにおいて、前記プリズムは、前記マイクロディスプレイからの光を受容し、かつ内部全反射するように配向される内部全反射(TIR)表面を有するものである視線追従型ヘッドマウントディスプレイ。
  17. 請求項11記載の視線追従型ヘッドマウントディスプレイにおいて、前記プリズムは、光を前記画像センサーに対して内部全反射するように配向される内部全反射(TIR)表面を有するものである視線追従型ヘッドマウントディスプレイ。
  18. 請求項11記載の視線追従型ヘッドマウントディスプレイにおいて、前記プリズムと光学的に連通するフリーフォーム補正レンズを有するものである視線追従型ヘッドマウントディスプレイ。
  19. 請求項18記載の視線追従型ヘッドマウントディスプレイにおいて、前記補正レンズの視野は前記表示光学系の視野より大きいものである視線追従型ヘッドマウントディスプレイ。
  20. 請求項1〜19のいずれか1つに記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光学系は半透鏡状の表面を有するものである視線追従型ヘッドマウントディスプレイ。
  21. 請求項1〜20のいずれか1つに記載の視線追従型ヘッドマウントディスプレイにおいて、光学的放射を生成し、かつ前記第2の平面を照射して前記使用者の眼の照射をもたらすように構成された照射源を有し、当該照射源は、当該照射源に関連付けられた照射光路を有するものである視線追従型ヘッドマウントディスプレイ。
  22. 視線追従型ヘッドマウントディスプレイであって
    使用者が鑑賞する画像を生成するマイクロディスプレイであって、表示光路と、当該表示光路に関連付けられた射出瞳とを有するものである、前記マイクロディスプレイと、
    前記マイクロディスプレイに位置する第1の平面と、前記射出瞳に位置する第2の平面と、
    使用者の眼から反射した、反射光学的放射を前記第2の平面から受容するように構成された画像センサーであって、当該画像センサーに関連付けられたセンサー光路を有するものである、前記画像センサーと、
    前記表示光路に沿って前記マイクロディスプレイと光学的に連通して配置され、前記センサー光路に沿って前記画像センサーと光学的に連通する表示光学系であって、前記マイクロディスプレイおよび前記画像センサーに最も近い選択された表面を有し、前記表示光路および前記画像センサー光路が前記選択された表面の異なる部分にそれぞれ衝突(impinge)するように前記マイクロディスプレイおよび前記画像センサーに対して位置付けられるものである、前記表示光学系と、
    光学的放射を生成し、かつ前記第2の平面を照射して前記使用者の眼の照射をもたらすように構成された照射源であって、当該照射源に関連付けられた照射光路を有するものである、前記照射源と
    を有し、
    前記表示光学系は前記照射光路に沿って前記照射源と光学的に連通して配置されるものである
    視線追従型ヘッドマウントディスプレイ。
  23. 請求項21または22記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光学系は前記照射源からの放射を受容し、当該放射を前記第2の平面に伝搬するように構成されるものである視線追従型ヘッドマウントディスプレイ。
  24. 請求項2123のいずれか1つに記載の視線追従型ヘッドマウントディスプレイにおいて、前記照射源は、前記第1の平面に近接して位置付けられるものである視線追従型ヘッドマウントディスプレイ。
  25. 請求項2124のいずれか1つに記載の視線追従型ヘッドマウントディスプレイにおいて、前記照射源は複数の発光ダイオードを有するものである視線追従型ヘッドマウントディスプレイ。
  26. 請求項2125のいずれか1つに記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光学系は、前記照射源からの前記光学的放射をコリメートするように構成されるものである視線追従型ヘッドマウントディスプレイ。
  27. 請求項2126のいずれか1つに記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光学系の前記表示光路は光軸を有し、前記照射源は前記光軸から外れた位置に位置付けられるものである視線追従型ヘッドマウントディスプレイ。
  28. 請求項2127のいずれか1つに記載の視線追従型ヘッドマウントディスプレイにおいて、前記プリズムは、前記照射源からの放射を受容し、かつ内部全反射するように配向される内部全反射(TIR)表面を有するものである視線追従型ヘッドマウントディスプレイ。
JP2014553548A 2012-01-24 2013-01-24 小型視線追従型ヘッドマウントディスプレイ Active JP6141584B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261632441P 2012-01-24 2012-01-24
US61/632,441 2012-01-24
US201261687607P 2012-04-27 2012-04-27
US61/687,607 2012-04-27
US201261699493P 2012-09-11 2012-09-11
US61/699,493 2012-09-11
PCT/US2013/022918 WO2013112705A1 (en) 2012-01-24 2013-01-24 Compact eye-tracked head-mounted display

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017092062A Division JP6744252B2 (ja) 2012-01-24 2017-05-06 小型視線追従型ヘッドマウントディスプレイ

Publications (3)

Publication Number Publication Date
JP2015508182A JP2015508182A (ja) 2015-03-16
JP2015508182A5 JP2015508182A5 (ja) 2016-12-22
JP6141584B2 true JP6141584B2 (ja) 2017-06-07

Family

ID=48873902

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2014553548A Active JP6141584B2 (ja) 2012-01-24 2013-01-24 小型視線追従型ヘッドマウントディスプレイ
JP2017092062A Active JP6744252B2 (ja) 2012-01-24 2017-05-06 小型視線追従型ヘッドマウントディスプレイ
JP2020128743A Active JP7179039B2 (ja) 2012-01-24 2020-07-30 小型視線追従型ヘッドマウントディスプレイ

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2017092062A Active JP6744252B2 (ja) 2012-01-24 2017-05-06 小型視線追従型ヘッドマウントディスプレイ
JP2020128743A Active JP7179039B2 (ja) 2012-01-24 2020-07-30 小型視線追従型ヘッドマウントディスプレイ

Country Status (12)

Country Link
US (7) US9720232B2 (ja)
EP (3) EP3270194B1 (ja)
JP (3) JP6141584B2 (ja)
KR (3) KR101931406B1 (ja)
CN (2) CN104204904B (ja)
AU (4) AU2013212169B2 (ja)
BR (1) BR112014018154A8 (ja)
CA (1) CA2860701C (ja)
IL (4) IL233502A (ja)
NZ (2) NZ719204A (ja)
RU (1) RU2623708C2 (ja)
WO (1) WO2013112705A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017182078A (ja) * 2012-01-24 2017-10-05 アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ 小型視線追従型ヘッドマウントディスプレイ

Families Citing this family (284)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10073264B2 (en) 2007-08-03 2018-09-11 Lumus Ltd. Substrate-guide optical device
IL166799A (en) 2005-02-10 2014-09-30 Lumus Ltd Aluminum shale surfaces for use in a conductive substrate
AU2009206514A1 (en) 2008-01-22 2009-07-30 The Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted projection display using reflective microdisplays
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US20150277120A1 (en) 2014-01-21 2015-10-01 Osterhout Group, Inc. Optical configurations for head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
WO2010123934A1 (en) 2009-04-20 2010-10-28 The Arizona Board Of Regents On Behalf Of The University Of Arizona Optical see-through free-form head-mounted display
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
CN102782562B (zh) 2010-04-30 2015-07-22 北京理工大学 宽视场高分辨率拼接式头盔显示装置
IL219907A (en) 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
US9345402B2 (en) * 2012-09-11 2016-05-24 Augmented Vision, Inc. Compact eye imaging and eye tracking apparatus
US9874760B2 (en) 2012-10-18 2018-01-23 Arizona Board Of Regents On Behalf Of The University Of Arizona Stereoscopic displays with addressable focus cues
US9377902B2 (en) * 2013-02-18 2016-06-28 Microsoft Technology Licensing, Llc Systems and methods for wedge-based imaging using flat surfaces
US10228561B2 (en) 2013-06-25 2019-03-12 Microsoft Technology Licensing, Llc Eye-tracking system using a freeform prism and gaze-detection light
US9625723B2 (en) * 2013-06-25 2017-04-18 Microsoft Technology Licensing, Llc Eye-tracking system using a freeform prism
US10345903B2 (en) * 2013-07-30 2019-07-09 Microsoft Technology Licensing, Llc Feedback for optic positioning in display devices
WO2015038810A2 (en) 2013-09-11 2015-03-19 Firima Inc. User interface based on optical sensing and tracking of user's eye movement and position
US20150085254A1 (en) * 2013-09-26 2015-03-26 Topcon Medical Laser Systems, Inc. Micro-Display Based Slit Lamp Illumination System
EP3065623B1 (en) 2013-11-09 2020-04-22 Shenzhen Goodix Technology Co., Ltd. Optical eye tracking
US9552064B2 (en) * 2013-11-27 2017-01-24 Shenzhen Huiding Technology Co., Ltd. Eye tracking and user reaction detection
US20150157198A1 (en) * 2013-12-11 2015-06-11 Topcon Medical Laser Systems, Inc. Ophthalmic Illumination System with Micro-Display Overlaid Image Source
US9459455B2 (en) 2013-12-19 2016-10-04 Google Inc. See-through eyepiece for head wearable display
US9389422B1 (en) 2013-12-23 2016-07-12 Google Inc. Eyepiece for head wearable display using partial and total internal reflections
US9459451B2 (en) 2013-12-26 2016-10-04 Microsoft Technology Licensing, Llc Eye tracking apparatus, method and system
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US9366868B2 (en) 2014-09-26 2016-06-14 Osterhout Group, Inc. See-through computer display systems
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9310610B2 (en) 2014-01-21 2016-04-12 Osterhout Group, Inc. See-through computer display systems
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US12093453B2 (en) 2014-01-21 2024-09-17 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US12105281B2 (en) 2014-01-21 2024-10-01 Mentor Acquisition One, Llc See-through computer display systems
US9651788B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9615742B2 (en) 2014-01-21 2017-04-11 Osterhout Group, Inc. Eye imaging in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US20150205135A1 (en) * 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9442292B1 (en) 2014-02-18 2016-09-13 Google Inc. Directional array sensing module
EP3114527B1 (en) 2014-03-05 2021-10-20 Arizona Board of Regents on Behalf of the University of Arizona Wearable 3d augmented reality display with variable focus and/or object recognition
US9395544B2 (en) 2014-03-13 2016-07-19 Google Inc. Eyepiece with switchable reflector for head wearable display
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
EP3129822A4 (en) 2014-04-09 2017-11-15 3M Innovative Properties Company Head mounted display and low conspicuity pupil illuminator
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9915823B1 (en) 2014-05-06 2018-03-13 Google Llc Lightguide optical combiner for head wearable display
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US9377623B2 (en) 2014-08-11 2016-06-28 Microsoft Technology Licensing, Llc Waveguide eye tracking employing volume Bragg grating
US9494799B2 (en) 2014-09-24 2016-11-15 Microsoft Technology Licensing, Llc Waveguide eye tracking employing switchable diffraction gratings
US9366869B2 (en) 2014-11-10 2016-06-14 Google Inc. Thin curved eyepiece for see-through head wearable display
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD743963S1 (en) 2014-12-22 2015-11-24 Osterhout Group, Inc. Air mouse
WO2016103525A1 (ja) * 2014-12-27 2016-06-30 株式会社Fove ヘッドマウントディスプレイ
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
KR101638095B1 (ko) * 2015-01-16 2016-07-20 한국과학기술원 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체
US10663626B2 (en) * 2015-01-21 2020-05-26 Tesseland, Llc Advanced refractive optics for immersive virtual reality
US10176961B2 (en) 2015-02-09 2019-01-08 The Arizona Board Of Regents On Behalf Of The University Of Arizona Small portable night vision system
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
WO2016147868A1 (ja) * 2015-03-13 2016-09-22 コニカミノルタ株式会社 映像表示装置と光学シースルーディスプレイ
US9625989B2 (en) * 2015-04-01 2017-04-18 Fove, Inc. Head mounted display
US10162180B2 (en) 2015-06-04 2018-12-25 Google Llc Efficient thin curved eyepiece for see-through head wearable display
KR20180021086A (ko) 2015-06-30 2018-02-28 쓰리엠 이노베이티브 프로퍼티즈 컴파니 조명기
US10146054B2 (en) 2015-07-06 2018-12-04 Google Llc Adding prescriptive correction to eyepieces for see-through head wearable displays
US10297180B2 (en) 2015-08-03 2019-05-21 Facebook Technologies, Llc Compensation of chromatic dispersion in a tunable beam steering device for improved display
US10552676B2 (en) 2015-08-03 2020-02-04 Facebook Technologies, Llc Methods and devices for eye tracking based on depth sensing
US10459305B2 (en) 2015-08-03 2019-10-29 Facebook Technologies, Llc Time-domain adjustment of phase retardation in a liquid crystal grating for a color display
US10338451B2 (en) 2015-08-03 2019-07-02 Facebook Technologies, Llc Devices and methods for removing zeroth order leakage in beam steering devices
US10534173B2 (en) 2015-08-03 2020-01-14 Facebook Technologies, Llc Display with a tunable mask for augmented reality
CN107852474B (zh) 2015-08-11 2021-01-08 索尼互动娱乐股份有限公司 头戴式显示器
US10302945B2 (en) 2015-08-12 2019-05-28 Google Llc Near-eye display with stacked lightguides
JP6334477B2 (ja) * 2015-08-24 2018-05-30 Necフィールディング株式会社 画像表示装置、画像表示方法及びプログラム
JP2017049762A (ja) 2015-09-01 2017-03-09 株式会社東芝 システム及び方法
JP2016127587A (ja) * 2015-09-03 2016-07-11 株式会社Fove ヘッドマウントディスプレイ
WO2017041308A1 (zh) 2015-09-13 2017-03-16 深圳市柔宇科技有限公司 光学模组、光学装置及穿戴式显示装置
US10247858B2 (en) 2015-10-25 2019-04-02 Facebook Technologies, Llc Liquid crystal half-wave plate lens
US10416454B2 (en) 2015-10-25 2019-09-17 Facebook Technologies, Llc Combination prism array for focusing light
CN108885341B (zh) 2015-11-25 2021-03-09 谷歌有限责任公司 基于棱镜的眼睛跟踪
US10203566B2 (en) 2015-12-21 2019-02-12 Facebook Technologies, Llc Enhanced spatial resolution using a segmented electrode array
CN105662334B (zh) * 2016-01-18 2017-07-11 北京国承万通信息科技有限公司 眼睛光学参数检测设备及头戴式显示器
WO2018154564A1 (en) * 2017-02-22 2018-08-30 Real View Imaging Ltd. Pupil tracking in an image display system
WO2017145155A1 (en) 2016-02-22 2017-08-31 Real View Imaging Ltd. A method and system for displaying holographic images within a real object
EP3420414B1 (en) 2016-02-22 2025-01-01 Real View Imaging Ltd. Holographic display
WO2017145158A1 (en) 2016-02-22 2017-08-31 Real View Imaging Ltd. Zero order blocking and diverging for holographic imaging
US10795316B2 (en) 2016-02-22 2020-10-06 Real View Imaging Ltd. Wide field of view hybrid holographic display
US11663937B2 (en) 2016-02-22 2023-05-30 Real View Imaging Ltd. Pupil tracking in an image display system
TWI614530B (zh) * 2016-03-23 2018-02-11 宏達國際電子股份有限公司 頭戴式顯示裝置
US9897811B2 (en) 2016-04-07 2018-02-20 Google Llc Curved eyepiece with color correction for head wearable display
US9946074B2 (en) 2016-04-07 2018-04-17 Google Llc See-through curved eyepiece with patterned optical combiner
US9910284B1 (en) 2016-09-08 2018-03-06 Osterhout Group, Inc. Optical systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
CN105843397A (zh) * 2016-04-12 2016-08-10 公安部上海消防研究所 基于瞳孔追踪技术的虚拟现实互动系统
US10599215B2 (en) * 2016-04-26 2020-03-24 Facebook Technologies, Llc Off-axis eye tracker
ES2939165T3 (es) * 2016-04-29 2023-04-19 Tobii Ab Dispositivos portátiles con seguimiento ocular
EP3455667A2 (en) * 2016-05-11 2019-03-20 Wayray Sa Heads-up display with variable image plane
CN105934028B (zh) * 2016-05-25 2017-11-10 北京易迈医疗科技有限公司 一种自适应照明调节系统以及医用头盔
US10338390B2 (en) 2016-06-17 2019-07-02 Google Llc Method for fabricating a curved eyepiece
US10649209B2 (en) 2016-07-08 2020-05-12 Daqri Llc Optical combiner apparatus
CN105954992B (zh) * 2016-07-22 2018-10-30 京东方科技集团股份有限公司 显示系统和显示方法
US10466474B2 (en) 2016-08-04 2019-11-05 International Business Machines Corporation Facilitation of communication using shared visual cue
US20180045964A1 (en) * 2016-08-12 2018-02-15 Esight Corp. Large exit pupil wearable near-to-eye vision systems exploiting freeform eyepieces
WO2018052590A2 (en) 2016-08-12 2018-03-22 Arizona Board Of Regents On Behalf Of The University Of Arizona High-resolution freeform eyepiece design with a large exit pupil
WO2018044917A1 (en) * 2016-08-29 2018-03-08 StratusVR, Inc. Selective culling of multi-dimensional data sets
US10733439B1 (en) * 2016-10-20 2020-08-04 Facebook Technologies, Llc Imaging retina in head-mounted displays
US9946075B1 (en) * 2016-12-08 2018-04-17 Darwin Hu See-through display glasses for virtual reality and augmented reality applications
US10548567B2 (en) * 2016-12-13 2020-02-04 General Electric Company System and method for displaying medical images of an object within a patient
US10816800B2 (en) 2016-12-23 2020-10-27 Samsung Electronics Co., Ltd. Electronic device and method of controlling the same
CN115145023B (zh) * 2016-12-31 2024-02-09 鲁姆斯有限公司 用于导出人眼睛的注视方向的设备
US10481678B2 (en) 2017-01-11 2019-11-19 Daqri Llc Interface-based modeling and design of three dimensional spaces using two dimensional representations
CN110431467B (zh) 2017-01-28 2025-10-28 鲁姆斯有限公司 增强现实成像系统
JPWO2018150722A1 (ja) * 2017-02-20 2019-11-07 シャープ株式会社 ヘッドマウントディスプレイ
US10810753B2 (en) * 2017-02-27 2020-10-20 Microsoft Technology Licensing, Llc Single-frequency time-of-flight depth computation using stereoscopic disambiguation
CN106908951A (zh) * 2017-02-27 2017-06-30 阿里巴巴集团控股有限公司 虚拟现实头戴设备
WO2018161040A1 (en) * 2017-03-02 2018-09-07 Intevac, Inc. See through axial high order prism
US10365709B2 (en) * 2017-03-03 2019-07-30 Microsoft Technology Licensing, Llc MEMS scanning display device
US10317670B2 (en) * 2017-03-03 2019-06-11 Microsoft Technology Licensing, Llc MEMS scanning display device
IL269043B2 (en) 2017-03-09 2024-02-01 Univ Arizona A complex light field display in the head with integral imaging and a waveguide prism
AU2018231081B2 (en) 2017-03-09 2023-03-09 Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted light field display with integral imaging and relay optics
AU2018231087A1 (en) * 2017-03-09 2019-09-26 Arizona Board Of Regents On Behalf Of The University Of Arizona Freeform prism and head-mounted display with increased field of view
CN107452031B (zh) * 2017-03-09 2020-06-26 叠境数字科技(上海)有限公司 虚拟光线跟踪方法及光场动态重聚焦显示系统
EP3602195B1 (en) 2017-03-21 2025-02-12 Magic Leap, Inc. Methods, devices, and systems for illuminating spatial light modulators
CA3056899C (en) 2017-03-21 2023-09-19 Magic Leap, Inc. Low-profile beam splitter
US20200012101A1 (en) * 2017-03-31 2020-01-09 Sharp Kabushiki Kaisha Head-mounted display
DE102017107346A1 (de) * 2017-04-05 2018-10-11 Carl Zeiss Ag Vorrichtung zur Energieversorgung von und/oder Kommunikation mit einem Augenimplantat mittels Beleuchtungsstrahlung
US11164352B2 (en) 2017-04-21 2021-11-02 Intel Corporation Low power foveated rendering to save power on GPU and/or display
US10928633B1 (en) * 2017-05-26 2021-02-23 Meta View, Inc. Apparatuses, methods and systems for an off-axis display assembly
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10521658B2 (en) * 2017-07-07 2019-12-31 Facebook Technologies, Llc Embedded eye tracker with dichroic mirror
TWI770234B (zh) 2017-07-19 2022-07-11 以色列商魯姆斯有限公司 通過光導光學元件的矽基液晶照明器
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
US10726627B2 (en) 2017-07-25 2020-07-28 Facebook Technologies, Llc Sensor system based on stacked sensor layers
US11568609B1 (en) 2017-07-25 2023-01-31 Meta Platforms Technologies, Llc Image sensor having on-chip compute circuit
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
US10394034B2 (en) * 2017-08-15 2019-08-27 Microsoft Technology Licensing, Llc Eye-tracking with MEMS scanning and optical relay
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
US10976551B2 (en) * 2017-08-30 2021-04-13 Corning Incorporated Wide field personal display device
US12114930B2 (en) 2017-09-05 2024-10-15 Neurolens, Inc. System for measuring binocular alignment with adjustable displays and eye trackers
US10420467B2 (en) * 2017-09-05 2019-09-24 eyeBrain Medical, Inc. Method and system for measuring binocular alignment
US12569135B2 (en) 2017-09-05 2026-03-10 Newton, Inc. Headset-based system for measuring binocular alignment
US11589745B2 (en) 2017-09-05 2023-02-28 Neurolens, Inc. Method and system for measuring binocular alignment
DE102017217193B4 (de) 2017-09-27 2019-07-25 Audi Ag Anzeigevorrichtung, insbesondere für ein Fahrzeug, sowie Fahrzeug mit einer solchen Anzeigevorrichtung
US11301036B1 (en) 2017-09-28 2022-04-12 Apple Inc. Method and device for image display and eye tracking through a catadioptric lens
DE102017217375A1 (de) * 2017-09-29 2019-04-04 Carl Zeiss Meditec Ag Vorrichtung zur Einspiegelung von Parameter und/oder Bilddaten in den stereoskopischen Beobachtungsstrahlengang ophthalmologischer Geräte
US10475834B1 (en) * 2017-10-06 2019-11-12 Facebook Technologies, Llc Apparatuses, systems, and methods for disrupting light at a back-side of an image sensor array
CN207965356U (zh) * 2017-11-14 2018-10-12 塔普翊海(上海)智能科技有限公司 一种近眼可透视头显光学系统
CN107942416A (zh) * 2017-11-15 2018-04-20 中国科学院长春光学精密机械与物理研究所 一种环带自由曲面光学元件及单片式光学系统
US11138301B1 (en) * 2017-11-20 2021-10-05 Snap Inc. Eye scanner for user identification and security in an eyewear device
JP2018037107A (ja) * 2017-11-27 2018-03-08 株式会社東芝 システム及び方法
CA3084546C (en) 2017-12-03 2023-01-31 Frank Jones Enhancing the performance of near-to-eye vision systems
WO2019122808A1 (en) * 2017-12-21 2019-06-27 Bae Systems Plc Eye tracking for head-worn display
CN107861247B (zh) * 2017-12-22 2020-08-25 联想(北京)有限公司 光学部件及增强现实设备
US10949947B2 (en) 2017-12-29 2021-03-16 Intel Corporation Foveated image rendering for head-mounted display devices
US10506220B2 (en) 2018-01-02 2019-12-10 Lumus Ltd. Augmented reality displays with active alignment and corresponding methods
US11116663B2 (en) 2018-01-19 2021-09-14 Iridex Corporation System and method for a patient-invisible laser treatment alignment pattern in ophthalmic photomedicine
US11057581B2 (en) 2018-01-24 2021-07-06 Facebook Technologies, Llc Digital pixel array with multi-stage readouts
US10725292B2 (en) * 2018-02-01 2020-07-28 Varjo Technologies Oy Gaze-tracking system and aperture device
JP2019154815A (ja) * 2018-03-13 2019-09-19 株式会社リコー 眼球の傾き位置検知装置、表示装置、及び検眼装置
US11546575B2 (en) 2018-03-22 2023-01-03 Arizona Board Of Regents On Behalf Of The University Of Arizona Methods of rendering light field images for integral-imaging-based light field display
US10497320B1 (en) * 2018-05-07 2019-12-03 Facebook Technologies, Llc Transparent and reflective illumination source
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
US12034015B2 (en) 2018-05-25 2024-07-09 Meta Platforms Technologies, Llc Programmable pixel array
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
EP3582077B1 (en) * 2018-06-13 2024-10-30 Tobii AB Eye tracking device and method for manufacturing an eye tracking device
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
CN108957753A (zh) * 2018-07-25 2018-12-07 上海乐相科技有限公司 一种头戴式显示设备
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
TWI875656B (zh) 2018-09-25 2025-03-01 美商蘋果公司 攝影機,計算裝置,以及透鏡系統
US11550095B2 (en) * 2018-10-26 2023-01-10 Google Llc Curved optical see-through thin freeform lightguide with large field of view in eyewear formfactor
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11500185B2 (en) * 2018-11-09 2022-11-15 Meta Platforms Technologies, Llc Catadioptric and refractive optical structures for beam shaping
US11221483B2 (en) * 2018-12-10 2022-01-11 Auroratech Company Optical system for AR headsets, and method for design and manufacturing
JP2022514489A (ja) 2018-12-10 2022-02-14 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー ハイパーボーカルビューポート(hvp)ディスプレイのための適応型ビューポート
US11125993B2 (en) 2018-12-10 2021-09-21 Facebook Technologies, Llc Optical hyperfocal reflective systems and methods, and augmented reality and/or virtual reality displays incorporating same
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US11409240B2 (en) * 2018-12-17 2022-08-09 Meta Platforms Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a diffractive optical element
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
TWI687733B (zh) 2018-12-20 2020-03-11 大立光電股份有限公司 成像鏡片系統、辨識模組及電子裝置
KR20210111278A (ko) 2019-01-09 2021-09-10 페이스북 테크놀로지스, 엘엘씨 Ar, hmd 및 hud 애플리케이션을 위한 광학 도파관들의 불-균일한 서브-동공 반사기들 및 방법들
US11237389B1 (en) * 2019-02-11 2022-02-01 Facebook Technologies, Llc Wedge combiner for eye-tracking
CN115202037B (zh) * 2019-03-06 2024-12-10 株式会社理光 光学装置、视网膜投影显示装置、头部安装型显示装置
IL284955B2 (en) 2019-03-12 2025-09-01 Lumus Ltd Image projector
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
WO2020202120A1 (en) 2019-04-04 2020-10-08 Lumus Ltd. Air-gap free perpendicular near-eye display
US10948729B2 (en) * 2019-04-16 2021-03-16 Facebook Technologies, Llc Keep-out zone for in-field light sources of a head mounted display
ES3000737T3 (en) 2019-04-18 2025-03-03 Bae Systems Plc Optical arrangement for a display
KR102875632B1 (ko) 2019-04-18 2025-10-22 배 시스템즈 피엘시 디스플레이용 광학 배열체
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
US10997773B2 (en) 2019-06-13 2021-05-04 Facebook Technologies, Llc Dynamic tiling for foveated rendering
US12108141B2 (en) 2019-08-05 2024-10-01 Meta Platforms Technologies, Llc Dynamically programmable image sensor
JP7656341B2 (ja) * 2019-09-13 2025-04-03 アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティー オブ アリゾナ 瞳整合オクルージョン対応光学シースルー頭部搭載型ディスプレイ
US11137608B2 (en) 2019-09-25 2021-10-05 Electronics And Telecommunications Research Institute Slim immersive display device, slim visualization device, and user eye-tracking device
CN112558751B (zh) * 2019-09-25 2022-07-01 武汉市天蝎科技有限公司 一种智能眼镜基于mems和光波导镜片的视线追踪方法
US11933949B2 (en) 2019-09-27 2024-03-19 Apple Inc. Freeform folded optical system
JP2021056369A (ja) * 2019-09-30 2021-04-08 セイコーエプソン株式会社 ヘッドマウントディスプレイ
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
CN110879469A (zh) * 2019-10-31 2020-03-13 华为技术有限公司 一种头戴式显示设备
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US11809619B1 (en) 2019-11-12 2023-11-07 Apple Inc. Display systems with optical sensing
US11228745B2 (en) * 2019-11-26 2022-01-18 Varjo Technologies Oy Display apparatus and method of correcting image distortion therefor
US11176637B2 (en) 2019-12-03 2021-11-16 Facebook Technologies, Llc Foveated rendering using eye motion
US12352972B2 (en) 2019-12-13 2025-07-08 Google Llc Compact rim-mounted curved optical see-through lightguide based eyewear as mobile augmented reality display
US12141888B1 (en) 2019-12-18 2024-11-12 Meta Platforms Technologies, Llc Dynamic and hierarchical image sensing and processing
CN113093378A (zh) * 2020-01-08 2021-07-09 宏碁股份有限公司 眼球追踪装置和头戴式显示设备
US12148322B2 (en) * 2020-04-17 2024-11-19 Rockwell Collins, Inc. Head tracking with virtual avionics training products
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
CN111783660B (zh) * 2020-07-01 2023-11-10 业成科技(成都)有限公司 眼动追踪装置及应用其的电子装置
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
TWI792033B (zh) * 2020-08-10 2023-02-11 見臻科技股份有限公司 穿戴式眼動追蹤系統
US11686927B2 (en) 2020-08-26 2023-06-27 Electronics And Telecommunications Research Institute Slim immersive display device and slim visualization device
US12075175B1 (en) 2020-09-08 2024-08-27 Meta Platforms Technologies, Llc Programmable smart sensor with adaptive readout
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
KR102803339B1 (ko) * 2020-11-10 2025-05-07 삼성전자주식회사 디스플레이를 포함하는 웨어러블 전자 장치
US11935575B1 (en) 2020-12-23 2024-03-19 Meta Platforms Technologies, Llc Heterogeneous memory system
US12022218B2 (en) 2020-12-29 2024-06-25 Meta Platforms Technologies, Llc Digital image sensor using a single-input comparator based quantizer
JP7625456B2 (ja) * 2021-03-19 2025-02-03 キヤノン株式会社 光学装置および表示装置
US11741863B2 (en) 2021-04-16 2023-08-29 Tectus Corporation Eyeglass-integrated display device using multiple embedded projectors and display windows
CN113204119A (zh) * 2021-04-30 2021-08-03 歌尔股份有限公司 胶合镜组和头戴显示设备
CN113325585B (zh) * 2021-05-27 2023-03-28 京东方科技集团股份有限公司 显示装置、可穿戴显示设备及注视点的位置的确定方法
WO2022170287A2 (en) 2021-06-07 2022-08-11 Panamorph, Inc. Near-eye display system
US12204096B2 (en) 2021-06-07 2025-01-21 Panamorph, Inc. Near-eye display system
JPWO2023281772A1 (ja) * 2021-07-09 2023-01-12
CN115685542A (zh) * 2021-07-22 2023-02-03 中强光电股份有限公司 头戴式显示装置
WO2023021724A1 (ja) * 2021-08-18 2023-02-23 ソニーグループ株式会社 眼球情報検出装置、表示装置、眼球情報検出方法及び表示方法
US12019797B2 (en) * 2021-09-01 2024-06-25 Tdk Corporation Gaze tracking for a retinal projection display system
US20230084541A1 (en) * 2021-09-16 2023-03-16 Meta Platforms Technologies, Llc Compact imaging optics using spatially located, free form optical components for distortion compensation and image clarity enhancement
KR20230043612A (ko) 2021-09-24 2023-03-31 삼성전자주식회사 투시형 디스플레이 장치 및 이를 포함하는 증강 현실 장치
KR102659664B1 (ko) * 2021-09-30 2024-04-23 주식회사 피앤씨솔루션 비구면을 사용해 폭을 줄인 증강현실용 기하 광학 장치
CN114185162B (zh) * 2021-11-16 2022-09-16 中国科学院上海技术物理研究所 一种简约型搜索跟踪一体化光学系统
CN114035335B (zh) * 2021-11-29 2023-08-08 京东方科技集团股份有限公司 显示装置及其控制方法、显示系统
US11863730B2 (en) 2021-12-07 2024-01-02 Snap Inc. Optical waveguide combiner systems and methods
JP2023086613A (ja) 2021-12-10 2023-06-22 キヤノン株式会社 光学系及びそれを有する観察装置
CN116413911B (zh) * 2021-12-31 2025-08-01 北京耐德佳显示技术有限公司 一种超薄型镜片、使用其的虚像成像装置和近眼显示器
US12244936B2 (en) 2022-01-26 2025-03-04 Meta Platforms Technologies, Llc On-sensor image processor utilizing contextual data
KR102809973B1 (ko) * 2022-02-11 2025-05-22 한국광기술원 착용자의 시력을 보정할 수 있는 증강현실 장치
US20240004199A1 (en) * 2022-07-01 2024-01-04 Google Llc Partially curved lightguide with pupil replicators
US12443043B2 (en) * 2022-10-07 2025-10-14 Oomii Inc. System and method for multi-instances emission for retina scanning based near eye display
US11935195B1 (en) 2022-12-13 2024-03-19 Astrovirtual, Inc. Web browser derived content including real-time visualizations in a three-dimensional gaming environment
CN120112877A (zh) 2022-12-29 2025-06-06 三星电子株式会社 包括眼动追踪传感器的头戴式显示器装置和用于头戴式显示器装置的操作方法
US20250044519A1 (en) * 2023-08-02 2025-02-06 Meta Platforms Technologies, Llc Micro-molded prism geometric waveguide
IL305075A (en) * 2023-08-08 2025-03-01 Elbit Systems Ltd Head-mounted image display system
GB2635764A (en) * 2023-11-27 2025-05-28 Trulife Optics Ltd Opthalmic light guide system
US12573155B2 (en) * 2024-01-09 2026-03-10 Future Full-Screen Tong Intelligent Technology Group Co., Ltd. Wearable device system for cross-reality vision
WO2025244628A1 (en) * 2024-05-20 2025-11-27 Magic Leap, Inc. Eye imaging system with embedded prism

Family Cites Families (197)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3632184A (en) 1970-03-02 1972-01-04 Bell Telephone Labor Inc Three-dimensional display
JPS503354A (ja) 1973-05-11 1975-01-14
DE3266147D1 (en) 1981-05-29 1985-10-17 Gec Avionics Night vision goggles
US4669810A (en) 1984-02-03 1987-06-02 Flight Dynamics, Inc. Head up display system
US4753522A (en) 1985-06-03 1988-06-28 Ricoh Company, Ltd. Plastic lens assembly for use in copying machines
US4863251A (en) 1987-03-13 1989-09-05 Xerox Corporation Double gauss lens for a raster input scanner
US5880888A (en) 1989-01-23 1999-03-09 Hughes Aircraft Company Helmet mounted display system
JPH02200074A (ja) 1989-01-30 1990-08-08 Nippon Hoso Kyokai <Nhk> イメージインテンシファイア付固体撮像装置
GB8916206D0 (en) * 1989-07-14 1989-11-08 Marconi Gec Ltd Helmet systems
JP2692996B2 (ja) 1989-12-25 1997-12-17 オリンパス光学工業株式会社 結像レンズ
US5109469A (en) 1990-11-01 1992-04-28 Itt Corporation Phosphor screen for correcting luminous non-uniformity and method for making same
US5172275A (en) 1990-12-14 1992-12-15 Eastman Kodak Company Apochromatic relay lens systems suitable for use in a high definition telecine apparatus
DE4291016T1 (ja) 1991-04-22 1993-05-13 Evans & Sutherland Computer Corp., Salt Lake City, Utah, Us
DE69325607T2 (de) 1992-04-07 2000-04-06 Raytheon Co Breites spektrales Band virtuelles Bildanzeige optisches System
US6008781A (en) 1992-10-22 1999-12-28 Board Of Regents Of The University Of Washington Virtual retinal display
JPH0779914A (ja) * 1993-06-30 1995-03-28 Canon Inc 視野計及び視線操作装置
HU212134B (hu) * 1993-07-27 1998-06-29 László Holakovszky Szemüveghez rögzített kép-, előnyösen TV-kép-megjelenítő berendezés
US5526183A (en) 1993-11-29 1996-06-11 Hughes Electronics Helmet visor display employing reflective, refractive and diffractive optical elements
US5416315A (en) 1994-01-24 1995-05-16 Night Vision General Partnership Visor-mounted night vision visor
JP2911750B2 (ja) * 1994-06-13 1999-06-23 キヤノン株式会社 観察光学系
JP3847799B2 (ja) * 1994-08-05 2006-11-22 キヤノン株式会社 視線検出系を有した表示装置
JP3566369B2 (ja) * 1994-12-22 2004-09-15 キヤノン株式会社 観察光学装置
US7262919B1 (en) * 1994-06-13 2007-08-28 Canon Kabushiki Kaisha Head-up display device with curved optical surface having total reflection
US5621572A (en) 1994-08-24 1997-04-15 Fergason; James L. Optical system for a head mounted display using a retro-reflector and method of displaying an image
JPH08160345A (ja) * 1994-12-05 1996-06-21 Olympus Optical Co Ltd 頭部装着式ディスプレイ装置
US5625495A (en) 1994-12-07 1997-04-29 U.S. Precision Lens Inc. Telecentric lens systems for forming an image of an object composed of pixels
JP3683934B2 (ja) * 1995-02-28 2005-08-17 キヤノン株式会社 画像観察装置
JP3658034B2 (ja) 1995-02-28 2005-06-08 キヤノン株式会社 画像観察光学系及び撮像光学系
US5818632A (en) 1995-04-13 1998-10-06 Melles Griot, Inc Multi-element lens system
JP3599828B2 (ja) 1995-05-18 2004-12-08 オリンパス株式会社 光学装置
JP3556389B2 (ja) 1996-05-01 2004-08-18 日本電信電話株式会社 ヘッドマウントディスプレイ装置
US6469683B1 (en) 1996-01-17 2002-10-22 Nippon Telegraph And Telephone Corporation Liquid crystal optical device
JPH09218375A (ja) * 1996-02-08 1997-08-19 Canon Inc 疲労判定方法及びそれを用いた観察装置
JPH09219832A (ja) 1996-02-13 1997-08-19 Olympus Optical Co Ltd 画像表示装置
JPH09262210A (ja) * 1996-03-28 1997-10-07 Canon Inc 光学システム
US5959780A (en) 1996-04-15 1999-09-28 Olympus Optical Co., Ltd. Head-mounted display apparatus comprising a rotationally asymmetric surface
US5880711A (en) 1996-04-24 1999-03-09 Sony Corporation Three-dimensional image display method and its display apparatus
JP3758265B2 (ja) 1996-04-24 2006-03-22 ソニー株式会社 3次元画像表示方法とその表示装置
US6028606A (en) 1996-08-02 2000-02-22 The Board Of Trustees Of The Leland Stanford Junior University Camera simulation system
US5886822A (en) * 1996-10-08 1999-03-23 The Microoptical Corporation Image combining system for eyeglasses and face masks
JP3924348B2 (ja) 1996-11-05 2007-06-06 オリンパス株式会社 画像表示装置
US6034823A (en) 1997-02-07 2000-03-07 Olympus Optical Co., Ltd. Decentered prism optical system
US6204680B1 (en) * 1997-04-15 2001-03-20 Delaware Capital Formation, Inc. Test socket
JPH10307263A (ja) * 1997-05-07 1998-11-17 Olympus Optical Co Ltd プリズム光学素子及び像観察装置
US6760169B2 (en) 1997-05-07 2004-07-06 Olympus Corporation Prism optical element, image observation apparatus and image display apparatus
JP2001522118A (ja) 1997-11-05 2001-11-13 オーエムデイ・デバイシズ・エル・エル・シー 焦点誤差補正装置
JP2001511266A (ja) 1997-12-11 2001-08-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像表示装置及びこの画像表示装置を具えるヘッドマウントディスプレイ
US6236521B1 (en) 1998-02-09 2001-05-22 Canon Kabushiki Kaisha Objective lens and image pickup device using the same
US6198577B1 (en) 1998-03-10 2001-03-06 Glaxo Wellcome, Inc. Doubly telecentric lens and imaging system for multiwell plates
JP3279265B2 (ja) 1998-03-26 2002-04-30 株式会社エム・アール・システム研究所 画像表示装置
US6704149B2 (en) 1998-04-21 2004-03-09 Minolta Co., Ltd. Lens optical system
JPH11326820A (ja) 1998-05-18 1999-11-26 Olympus Optical Co Ltd 観察光学系及びそれを用いた観察装置
JP2000075240A (ja) * 1998-08-26 2000-03-14 Mr System Kenkyusho:Kk 複合表示装置
JP2000199853A (ja) 1998-10-26 2000-07-18 Olympus Optical Co Ltd 結像光学系及び観察光学系
US6281862B1 (en) 1998-11-09 2001-08-28 University Of Washington Scanned beam display with adjustable accommodation
JP2000171714A (ja) 1998-12-07 2000-06-23 Olympus Optical Co Ltd 結像光学系
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
JP4550184B2 (ja) * 1999-07-02 2010-09-22 オリンパス株式会社 観察光学系
JP2000231060A (ja) 1999-02-12 2000-08-22 Olympus Optical Co Ltd 結像光学系
JP2000249974A (ja) * 1999-03-02 2000-09-14 Canon Inc 表示装置及び立体表示装置
US6480337B2 (en) * 1999-03-04 2002-11-12 Mixed Reality Systems Laboratory Inc. Image display apparatus
DE60041287D1 (de) 1999-04-02 2009-02-12 Olympus Corp Optisches Sichtgerät und Bildanzeige mit diesem Gerät
EP1054280A3 (en) 1999-05-20 2004-08-18 Konica Corporation Zoom lens
JP2001066543A (ja) * 1999-08-25 2001-03-16 Canon Inc 複合光学装置
US6243199B1 (en) 1999-09-07 2001-06-05 Moxtek Broad band wire grid polarizing beam splitter for use in the visible wavelength region
JP2001091892A (ja) * 1999-09-24 2001-04-06 Olympus Optical Co Ltd 顔面装着型映像表示装置
JP3391342B2 (ja) 1999-10-29 2003-03-31 ミノルタ株式会社 撮像レンズ装置
JP2001145127A (ja) 1999-11-12 2001-05-25 Shunichi Suda 3次元画像表示装置
JP3854763B2 (ja) 1999-11-19 2006-12-06 キヤノン株式会社 画像表示装置
KR100360592B1 (ko) 1999-12-08 2002-11-13 동부전자 주식회사 반도체 장치 및 그 제조 방법
US6758563B2 (en) * 1999-12-30 2004-07-06 Nokia Corporation Eye-gaze tracking
JP2001238229A (ja) 2000-02-21 2001-08-31 Nippon Hoso Kyokai <Nhk> 立体画像撮影装置及び立体画像表示装置並びに立体画像撮影表示システム
JP2001264680A (ja) * 2000-03-14 2001-09-26 Mixed Reality Systems Laboratory Inc 画像表示装置
US20010048561A1 (en) 2000-08-24 2001-12-06 Heacock Gregory L. Virtual imaging system for small font text
KR100386725B1 (ko) 2000-07-31 2003-06-09 주식회사 대양이앤씨 헤드 마운트 디스플레이용 광학 시스템
JP4727025B2 (ja) 2000-08-01 2011-07-20 オリンパス株式会社 画像表示装置
JP2002055303A (ja) 2000-08-08 2002-02-20 Olympus Optical Co Ltd 3次元偏心光路を備えた画像表示装置
JP3658295B2 (ja) 2000-08-09 2005-06-08 キヤノン株式会社 画像表示装置
JP2004508779A (ja) 2000-09-07 2004-03-18 アクチュアリティー システムズ, インク. 立体3次元表示システム
JP4583569B2 (ja) 2000-09-22 2010-11-17 オリンパス株式会社 観察光学系および撮像光学系
JP4646374B2 (ja) 2000-09-29 2011-03-09 オリンパス株式会社 画像観察光学系
US6563648B2 (en) 2000-10-20 2003-05-13 Three-Five Systems, Inc. Compact wide field of view imaging system
JP2002148559A (ja) 2000-11-15 2002-05-22 Mixed Reality Systems Laboratory Inc 画像観察装置及びそれを用いた画像観察システム
JP4943580B2 (ja) 2000-12-25 2012-05-30 オリンパス株式会社 結像光学系
US20020114077A1 (en) 2001-01-23 2002-08-22 Bahram Javidi Integral three-dimensional imaging with digital reconstruction
JP3658330B2 (ja) * 2001-02-21 2005-06-08 キヤノン株式会社 複合表示装置及びそれを用いたヘッドマウントディスプレイ装置
JP2002258208A (ja) * 2001-03-01 2002-09-11 Mixed Reality Systems Laboratory Inc 光学素子及びそれを用いた複合表示装置
US6529331B2 (en) 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
US6963454B1 (en) 2002-03-01 2005-11-08 Research Foundation Of The University Of Central Florida Head-mounted display by integration of phase-conjugate material
US6731434B1 (en) 2001-05-23 2004-05-04 University Of Central Florida Compact lens assembly for the teleportal augmented reality system
US6999239B1 (en) 2001-05-23 2006-02-14 Research Foundation Of The University Of Central Florida, Inc Head-mounted display by integration of phase-conjugate material
JP4751534B2 (ja) 2001-07-24 2011-08-17 大日本印刷株式会社 光学系及びそれを用いた装置
JP4129972B2 (ja) 2002-02-18 2008-08-06 オリンパス株式会社 偏心光学系
US6943754B2 (en) * 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
KR100509370B1 (ko) 2002-12-30 2005-08-19 삼성테크윈 주식회사 촬영 렌즈
DE10306578A1 (de) 2003-02-17 2004-08-26 Carl Zeiss Anzeigevorrichtung mit elektrooptischer Fokussierung
JP2006519421A (ja) 2003-03-05 2006-08-24 スリーエム イノベイティブ プロパティズ カンパニー 回折レンズ
JP4035476B2 (ja) 2003-04-23 2008-01-23 キヤノン株式会社 走査光学系、走査型画像表示装置および画像表示システム
US7152977B2 (en) 2003-04-24 2006-12-26 Qubic Light Corporation Solid state light engine optical system
JP4072456B2 (ja) * 2003-05-08 2008-04-09 キヤノン株式会社 表示光学系、画像表示装置および画像表示システム
JP2004341411A (ja) * 2003-05-19 2004-12-02 Canon Inc 光学系および画像表示装置
US7077523B2 (en) 2004-02-13 2006-07-18 Angstorm Inc. Three-dimensional display using variable focusing lens
US20070246641A1 (en) 2004-02-27 2007-10-25 Baun Kenneth W Night vision system with video screen
US7339737B2 (en) 2004-04-23 2008-03-04 Microvision, Inc. Beam multiplier that can be used as an exit-pupil expander and related system and method
AU2005269254B2 (en) 2004-08-03 2009-06-18 Silverbrook Research Pty Ltd Electronic stylus
US7542209B2 (en) 2004-09-01 2009-06-02 Optical Research Associates Compact head mounted display devices with tilted/decentered lens element
JP4639721B2 (ja) 2004-09-22 2011-02-23 株式会社ニコン 三次元映像表示装置
JP4560368B2 (ja) 2004-10-08 2010-10-13 キヤノン株式会社 眼検出装置および画像表示装置
US7249853B2 (en) 2005-04-13 2007-07-31 Eastman Kodak Company Unpolished optical element with periodic surface roughness
US7405881B2 (en) * 2005-05-30 2008-07-29 Konica Minolta Holdings, Inc. Image display apparatus and head mount display
US7360905B2 (en) 2005-06-24 2008-04-22 Texas Instruments Incorporated Compact optical engine for very small personal projectors using LED illumination
JP2007101930A (ja) 2005-10-05 2007-04-19 Matsushita Electric Ind Co Ltd 立体像要素画像作成表示方法および立体像表示装置
US20070109505A1 (en) 2005-10-05 2007-05-17 Matsushita Electric Industrial Co., Ltd. Projection three-dimensional display apparatus
US7522344B1 (en) 2005-12-14 2009-04-21 University Of Central Florida Research Foundation, Inc. Projection-based head-mounted display with eye-tracking capabilities
EP1983884B1 (en) * 2006-01-26 2016-10-26 Nokia Technologies Oy Eye tracker device
KR101255209B1 (ko) 2006-05-04 2013-04-23 삼성전자주식회사 인터레이스 방식으로 영상을 디스플레이 하는 고해상도입체 영상 디스플레이 장치
US20070273983A1 (en) 2006-05-26 2007-11-29 Hebert Raymond T Devices, methods, and systems for image viewing
CN101455072A (zh) 2006-06-08 2009-06-10 株式会社岛津制作所 摄像装置
JP2006276884A (ja) 2006-06-16 2006-10-12 Olympus Corp 偏心プリズム光学系
US7515345B2 (en) 2006-10-09 2009-04-07 Drs Sensors & Targeting Systems, Inc. Compact objective lens assembly
WO2008089417A2 (en) 2007-01-18 2008-07-24 The Arizona Board Of Regents On Behalf Of The University Of Arizona A polarized head-mounted projection display
US9618748B2 (en) 2008-04-02 2017-04-11 Esight Corp. Apparatus and method for a dynamic “region of interest” in a display system
JP4906680B2 (ja) 2007-11-02 2012-03-28 キヤノン株式会社 画像表示装置
JP5268342B2 (ja) 2007-12-14 2013-08-21 キヤノン株式会社 画像表示装置
US20090168010A1 (en) 2007-12-27 2009-07-02 Igor Vinogradov Adaptive focusing using liquid crystal lens in electro-optical readers
AU2009206514A1 (en) 2008-01-22 2009-07-30 The Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted projection display using reflective microdisplays
JP5169253B2 (ja) 2008-01-29 2013-03-27 ブラザー工業株式会社 画像表示装置
FR2928034B1 (fr) 2008-02-26 2010-03-19 New Imaging Technologies Sas Capteur matriciel pour tube amplificateur de lumiere
JP5329882B2 (ja) * 2008-09-17 2013-10-30 パイオニア株式会社 ディスプレイ装置
CN101359089B (zh) * 2008-10-08 2010-08-11 北京理工大学 轻小型大视场自由曲面棱镜头盔显示器光学系统
JP5341462B2 (ja) 2008-10-14 2013-11-13 キヤノン株式会社 収差補正方法、画像処理装置および画像処理システム
JP5464839B2 (ja) 2008-10-31 2014-04-09 キヤノン株式会社 画像表示装置
CN101424788A (zh) 2008-12-09 2009-05-06 中国科学院长春光学精密机械与物理研究所 一种眼镜式头盔显示器光学系统
US8331032B2 (en) 2009-02-19 2012-12-11 Drs Rsta, Inc. Compact objective lens assembly for simultaneously imaging multiple spectral bands
WO2010123934A1 (en) 2009-04-20 2010-10-28 The Arizona Board Of Regents On Behalf Of The University Of Arizona Optical see-through free-form head-mounted display
US8441733B2 (en) 2009-04-24 2013-05-14 David Kessler Pupil-expanded volumetric display
GB0909126D0 (en) 2009-05-27 2009-07-01 Qinetiq Ltd Eye tracking apparatus
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
JP2011085769A (ja) * 2009-10-15 2011-04-28 Canon Inc 撮像表示装置
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
CN102906623A (zh) 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
GB201004346D0 (en) * 2010-03-16 2010-04-28 Qinetiq Ltd Eye tracking apparatus
CN102782562B (zh) 2010-04-30 2015-07-22 北京理工大学 宽视场高分辨率拼接式头盔显示装置
US20120013988A1 (en) 2010-07-16 2012-01-19 Hutchin Richard A Head mounted display having a panoramic field of view
ES2533064T3 (es) 2010-07-16 2015-04-07 Mcgill Technology Limited Aparato dispensador
US20120019557A1 (en) 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information
DE102010040030B4 (de) 2010-08-31 2017-02-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Objektiv und Bildaufnahmesystem
JP5603716B2 (ja) 2010-09-06 2014-10-08 オリンパス株式会社 プリズム光学系、プリズム光学系を用いた画像表示装置及び撮像装置
US8503087B1 (en) 2010-11-02 2013-08-06 Google Inc. Structured optical surface
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
CN103688208B (zh) 2010-12-24 2017-06-06 奇跃公司 人体工程学头戴式显示设备和光学系统
US20120160302A1 (en) 2010-12-27 2012-06-28 Jeffrey Michael Citron Trough shaped fresnel reflector solar concentrator
CA2828413A1 (en) 2011-02-28 2012-09-07 Osterhout Group, Inc. Alignment control in an augmented reality headpiece
TWI490587B (zh) 2011-04-12 2015-07-01 Ability Entpr Co Ltd 光學變焦鏡頭
US11640050B2 (en) 2011-10-19 2023-05-02 Epic Optix Inc. Microdisplay-based head-up display system
KR101931406B1 (ko) * 2012-01-24 2018-12-20 더 아리조나 보드 오브 리전츠 온 비핼프 오브 더 유니버시티 오브 아리조나 컴팩트한 시선추적 기능의 헤드 탑재형 디스플레이
JP6111635B2 (ja) 2012-02-24 2017-04-12 セイコーエプソン株式会社 虚像表示装置
US8985803B2 (en) 2012-03-21 2015-03-24 Microsoft Technology Licensing, Llc Freeform-prism eyepiece with illumination waveguide
JP6056171B2 (ja) 2012-03-29 2017-01-11 富士通株式会社 立体画像表示装置及び方法
US20130285885A1 (en) 2012-04-25 2013-10-31 Andreas G. Nowatzyk Head-mounted light-field display
US20130286053A1 (en) 2012-04-25 2013-10-31 Rod G. Fleck Direct view augmented reality eyeglass-type display
US20130300634A1 (en) 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for determining representations of displayed information based on focus distance
JP5983056B2 (ja) * 2012-06-04 2016-08-31 セイコーエプソン株式会社 画像表示装置およびヘッドマウントディスプレイ
US8754829B2 (en) 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
DE102013001097A1 (de) 2012-08-10 2014-02-13 Johnson Controls Gmbh Head-up-Display und Verfahren zum Betrieb eines Head-up-Displays
JP6019918B2 (ja) 2012-08-17 2016-11-02 セイコーエプソン株式会社 虚像表示装置
EP2895910A4 (en) 2012-09-11 2016-04-20 Magic Leap Inc ERGONOMIC HEAD-MOUNTED DISPLAY DEVICE AND OPTICAL SYSTEM
US9940901B2 (en) 2012-09-21 2018-04-10 Nvidia Corporation See-through optical image processing
US9874760B2 (en) 2012-10-18 2018-01-23 Arizona Board Of Regents On Behalf Of The University Of Arizona Stereoscopic displays with addressable focus cues
JP6221223B2 (ja) 2012-11-16 2017-11-01 セイコーエプソン株式会社 光学部材及び虚像表示装置
US9858721B2 (en) 2013-01-15 2018-01-02 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for generating an augmented scene display
US9201193B1 (en) 2013-02-18 2015-12-01 Exelis, Inc. Textured fiber optic coupled image intensified camera
WO2014144989A1 (en) 2013-03-15 2014-09-18 Ostendo Technologies, Inc. 3d light field displays and methods with improved viewing angle depth and resolution
US9405124B2 (en) 2013-04-09 2016-08-02 Massachusetts Institute Of Technology Methods and apparatus for light field projection
WO2014186620A1 (en) * 2013-05-15 2014-11-20 The Johns Hopkins University Eye tracking and gaze fixation detection systems, components and methods using polarized light
CN103605214A (zh) 2013-11-21 2014-02-26 深圳市华星光电技术有限公司 立体显示装置
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
WO2015095737A2 (en) 2013-12-19 2015-06-25 The University Of North Carolina At Chapel Hill Optical see-through near-eye display using point light source backlight
JP6264878B2 (ja) 2013-12-24 2018-01-24 セイコーエプソン株式会社 導光装置、虚像表示装置及び導光装置の製造方法
US10244223B2 (en) 2014-01-10 2019-03-26 Ostendo Technologies, Inc. Methods for full parallax compressed light field 3D imaging systems
EP4383272A3 (en) 2014-02-21 2024-11-20 The University of Akron Imaging and display system for guiding medical interventions
EP3114527B1 (en) 2014-03-05 2021-10-20 Arizona Board of Regents on Behalf of the University of Arizona Wearable 3d augmented reality display with variable focus and/or object recognition
EP3149939B1 (en) 2014-05-30 2024-08-14 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
RU2551731C1 (ru) 2014-07-02 2015-05-27 Константин Александрович Караваев Способ виртуального подбора одежды
WO2016033317A1 (en) 2014-08-29 2016-03-03 Arizona Board Of Regent On Behalf Of The University Of Arizona Ultra-compact head-up displays based on freeform waveguide
US10176961B2 (en) 2015-02-09 2019-01-08 The Arizona Board Of Regents On Behalf Of The University Of Arizona Small portable night vision system
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
WO2018052590A2 (en) 2016-08-12 2018-03-22 Arizona Board Of Regents On Behalf Of The University Of Arizona High-resolution freeform eyepiece design with a large exit pupil
AU2018231087A1 (en) 2017-03-09 2019-09-26 Arizona Board Of Regents On Behalf Of The University Of Arizona Freeform prism and head-mounted display with increased field of view
AU2018231081B2 (en) 2017-03-09 2023-03-09 Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted light field display with integral imaging and relay optics
IL269043B2 (en) 2017-03-09 2024-02-01 Univ Arizona A complex light field display in the head with integral imaging and a waveguide prism
KR102270131B1 (ko) 2017-05-26 2021-06-28 구글 엘엘씨 스파스 샘플링 슈퍼-해상도를 가진 니어-아이 디스플레이
US11546575B2 (en) 2018-03-22 2023-01-03 Arizona Board Of Regents On Behalf Of The University Of Arizona Methods of rendering light field images for integral-imaging-based light field display
WO2021242667A1 (en) 2020-05-28 2021-12-02 Arizona Board Of Regents On Behalf Of The University Of Arizona Optical see-through head-mounted lightfield displays based on substrate-guided combiners
KR20230153483A (ko) 2021-03-09 2023-11-06 아리조나 보드 오브 리전츠 온 비해프 오브 더 유니버시티 오브 아리조나 시간 다중화 방식을 사용하여 통합 이미징 기반 광 필드 디스플레이의 성능을 향상시키기 위한 디바이스 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017182078A (ja) * 2012-01-24 2017-10-05 アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ 小型視線追従型ヘッドマウントディスプレイ

Also Published As

Publication number Publication date
US10606080B2 (en) 2020-03-31
US10598939B2 (en) 2020-03-24
IL253681B (en) 2018-02-28
JP2015508182A (ja) 2015-03-16
AU2016259369A1 (en) 2016-12-08
EP2805200A1 (en) 2014-11-26
AU2020250245B2 (en) 2022-10-06
AU2020250245A1 (en) 2020-11-05
US11181746B2 (en) 2021-11-23
US20190235253A1 (en) 2019-08-01
EP3761072A1 (en) 2021-01-06
NZ627582A (en) 2016-11-25
KR20210068614A (ko) 2021-06-09
KR20180133937A (ko) 2018-12-17
EP3270194A1 (en) 2018-01-17
KR101931406B1 (ko) 2018-12-20
US20210255464A1 (en) 2021-08-19
WO2013112705A1 (en) 2013-08-01
CN104204904B (zh) 2018-05-18
US9720232B2 (en) 2017-08-01
AU2018250366B2 (en) 2020-07-09
AU2013212169A1 (en) 2014-07-24
US20200278550A1 (en) 2020-09-03
IL233502A0 (en) 2014-08-31
US10613328B2 (en) 2020-04-07
AU2016259369B2 (en) 2018-07-26
CA2860701A1 (en) 2013-08-01
AU2013212169B2 (en) 2016-09-08
IL282719A (en) 2021-06-30
JP7179039B2 (ja) 2022-11-28
EP2805200A4 (en) 2015-09-16
IL257590B (en) 2021-05-31
US20170184856A1 (en) 2017-06-29
US10969592B2 (en) 2021-04-06
KR20140119144A (ko) 2014-10-08
US20180113316A1 (en) 2018-04-26
AU2018250366A1 (en) 2018-11-08
EP3270194B1 (en) 2020-10-14
US12265223B2 (en) 2025-04-01
US20140361957A1 (en) 2014-12-11
IL253681A0 (en) 2017-09-28
RU2623708C2 (ru) 2017-06-28
IL257590A (en) 2018-04-30
US20220050299A1 (en) 2022-02-17
JP6744252B2 (ja) 2020-08-19
RU2014134394A (ru) 2016-03-20
BR112014018154A8 (pt) 2017-07-11
IL233502A (en) 2017-08-31
KR102524232B1 (ko) 2023-04-20
KR102264765B1 (ko) 2021-06-11
NZ719204A (en) 2017-11-24
JP2020181214A (ja) 2020-11-05
EP2805200B1 (en) 2017-09-13
JP2017182078A (ja) 2017-10-05
CA2860701C (en) 2018-09-18
CN104204904A (zh) 2014-12-10
BR112014018154A2 (ja) 2017-06-20
IL282719B (en) 2022-02-01
CN108333767A (zh) 2018-07-27

Similar Documents

Publication Publication Date Title
JP6141584B2 (ja) 小型視線追従型ヘッドマウントディスプレイ
JP6602797B2 (ja) ウェアラブル3d拡張現実ディスプレイ
Hua et al. A compact eyetracked optical see-through head-mounted display
Hua Past and future of wearable augmented reality displays and their applications
Liu Methods for generating addressable focus cues in stereoscopic displays
HK40040136A (en) Compact eye-tracked head-mounted display

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151105

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161101

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20161101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170506

R150 Certificate of patent or registration of utility model

Ref document number: 6141584

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250