JPWO2020146288A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2020146288A5
JPWO2020146288A5 JP2021538384A JP2021538384A JPWO2020146288A5 JP WO2020146288 A5 JPWO2020146288 A5 JP WO2020146288A5 JP 2021538384 A JP2021538384 A JP 2021538384A JP 2021538384 A JP2021538384 A JP 2021538384A JP WO2020146288 A5 JPWO2020146288 A5 JP WO2020146288A5
Authority
JP
Japan
Prior art keywords
foveal
display
field
texture
compositor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021538384A
Other languages
English (en)
Other versions
JP7460637B2 (ja
JP2022516270A (ja
Publication date
Application filed filed Critical
Priority claimed from PCT/US2020/012428 external-priority patent/WO2020146288A1/en
Publication of JP2022516270A publication Critical patent/JP2022516270A/ja
Publication of JPWO2020146288A5 publication Critical patent/JPWO2020146288A5/ja
Application granted granted Critical
Publication of JP7460637B2 publication Critical patent/JP7460637B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (20)

  1. システムであって、
    第1のピクセル/度(PPD)の解像度を有し、かつ第1の視野を有する操縦可能なディスプレイ画像を位置付けるための中心窩ディスプレイと、
    前記第1の解像度よりも低いPPDを有する第2の解像度を有し、かつ前記第1の視野よりも広い第2の視野を有する、フィールドディスプレイ画像を提供するためのフィールドディスプレイと、
    前記フィールドディスプレイ用のフィールドテクスチャ、および前記中心窩ディスプレイ用の中心窩テクスチャをレンダリングするためのレンダリングエンジンと、
    前記フィールドテクスチャから前記フィールドディスプレイ用のフレームを生成するためのフィールド合成器と、前記中心窩テクスチャから前記中心窩ディスプレイ用のフレームを生成するための中心窩合成器と、を含む合成器と、
    前記フィールドディスプレイおよび前記中心窩ディスプレイの1つ以上のデータを含む提示されるものを順序付け、選択するように設計された合成マネージャと、を備える、システム。
  2. 前記中心窩ディスプレイが切り欠きを埋めるように位置付けられている場合、前記フィールドディスプレイから前記切り欠きをトリガするための前記合成マネージャをさらに備える、請求項1に記載のシステム。
  3. 前記フィールドディスプレイからの前記切り欠きが、
    現在の中心窩テクスチャデータ、
    以前の中心窩テクスチャデータ、および
    フィールドテクスチャデータ、からの1つ以上のデータで埋められる、請求項2に記載のシステム。
  4. 前記フィールドテクスチャデータが、再サンプリングされたフィールドテクスチャデータである、請求項3に記載のシステム。
  5. 前記レンダリングエンジンおよび前記合成器が、非同期的である、請求項1に記載のシステム。
  6. 前記中心窩合成器および前記フィールド合成器が、非同期的である、請求項5に記載のシステム。
  7. 前記レンダリングエンジンおよび前記合成器が、同期的である、請求項1に記載のシステム。
  8. 前記中心窩ディスプレイが再位置付けされるべきであると判断すると、前記中心窩ディスプレイを移動させる前に、前記中心窩ディスプレイが整定された後の中心窩ディスプレイの前記移動および再有効化の前に、前記中心窩ディスプレイを消して、前記中心窩ディスプレイの迅速で小さな再位置付けを可能にすることをさらに含む、請求項1に記載のシステム。
  9. 前記中心窩ディスプレイが再位置付けされるべきであると判断すると、移動が延期されるべきであるかどうかを判断することと、前記移動を延期することと、をさらに含む、請求項8に記載のシステム。
  10. 前記移動が延期されるとき、前のフレームからの前記中心窩テクスチャが、表示のために再サンプリングされる、請求項9に記載のシステム。
  11. 前記合成器によって生成されたフレームデータにメタデータを添付するためのメタデータシステムをさらに備え、前記メタデータが、前記操縦可能なディスプレイ画像のレンダリングに使用される、請求項1に記載のシステム。
  12. 前記メタデータが、ポーズ、視線、および/または位置の測定値を含み、前記合成器が、最新のポーズ、視線、および/または位置の間でさらに使用するためのものであり、前記メタデータが、前記中心窩テクスチャをクロップするためのものである、請求項8に記載のシステム。
  13. 前記中心窩ディスプレイの光学スタックに歪み補正を提供するためのデジタル補正システムをさらに備える、請求項1に記載のシステム。
  14. システムであって、
    第1のタイムベースで、フィールドテクスチャおよび中心窩テクスチャをレンダリングするためのレンダリングエンジンと、
    前記フィールドテクスチャから、フィールドディスプレイ用のフレームを生成するためのフィールド合成器を含む合成器であって、前記フィールド合成器が、前記第1のタイムベースとは異なる第2のタイムベースを有する、合成器と、を備え、
    前記合成器が、中心窩ディスプレイ用のフレームを生成する中心窩合成器を含み、前記中心窩ディスプレイが、ユーザの中心窩領域に対して位置付けられ、かつ前記フィールドディスプレイの切り欠き領域に示される、システム。
  15. 前記中心窩ディスプレイの状態および前記中心窩ディスプレイに関連付けられた操縦可能な要素を追跡するための中心窩状態マシンをさらに備え、前記中心窩状態マシンが、前記フィールド合成器にデータを提供して、前記中心窩ディスプレイ領域を切り取るかまたは塗りつぶす、請求項14に記載のシステム。
  16. 前記中心窩ディスプレイ領域の塗りつぶしが、前記操縦可能な要素が移動されたときに現在の中心窩テクスチャに基づき、前記操縦可能な要素の移動が延期された場合に以前の中心窩テクスチャに基づく、請求項15に記載のシステム。
  17. 前記中心窩ディスプレイの移動が、コンテンツ、関心領域、シーン内の高解像度コンテンツの領域、および/または眼球運動分類に基づくシステム動作による視線予測に基づく、請求項14に記載のシステム。
  18. 前記レンダリングエンジンが、前記中心窩ディスプレイ領域のサイズをオーバーレンダリングして、再レンダリングすることなくミラーのわずかな移動を可能にする、請求項14に記載のシステム。
  19. 前記システム内の表示待ち時間を補償するために、前記中心窩ディスプレイのミラーの移動を延期するための合成マネージャをさらに備える、請求項14に記載のシステム。
  20. システムであって、
    第1の表示グレードを有し、かつ第1の視野を有する操縦可能なディスプレイ画像を位置付けるための中心窩ディスプレイと、
    前記第1の表示グレードよりも低いグレードを有する第2の表示グレードを有し、かつ前記第1の視野よりも広い第2の視野を有するフィールドディスプレイ画像を提供するためのフィールドディスプレイと、
    前記フィールドディスプレイ用のフィールドテクスチャおよび前記中心窩ディスプレイ用の中心窩テクスチャをレンダリングするためのレンダリングエンジンと、
    前記フィールドテクスチャから前記フィールドディスプレイ用のフレームを生成するためのフィールド合成器と、前記中心窩テクスチャから前記中心窩ディスプレイ用のフレームを生成するための中心窩合成器と、を含む合成器と、
    前記フィールドディスプレイおよび前記中心窩ディスプレイのデータのうちの1つ以上を含む提示されるものを順序付け、選択するように設計された合成マネージャと、を備える、システム。
JP2021538384A 2019-01-07 2020-01-06 制御システムおよびレンダリングパイプライン Active JP7460637B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962789511P 2019-01-07 2019-01-07
US62/789,511 2019-01-07
US201962847314P 2019-05-13 2019-05-13
US62/847,314 2019-05-13
PCT/US2020/012428 WO2020146288A1 (en) 2019-01-07 2020-01-06 Control system and rendering pipeline

Publications (3)

Publication Number Publication Date
JP2022516270A JP2022516270A (ja) 2022-02-25
JPWO2020146288A5 true JPWO2020146288A5 (ja) 2023-01-19
JP7460637B2 JP7460637B2 (ja) 2024-04-02

Family

ID=71403716

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021538384A Active JP7460637B2 (ja) 2019-01-07 2020-01-06 制御システムおよびレンダリングパイプライン

Country Status (7)

Country Link
US (2) US11126261B2 (ja)
EP (1) EP3884338A4 (ja)
JP (1) JP7460637B2 (ja)
KR (2) KR20240042166A (ja)
CN (1) CN113412442A (ja)
CA (1) CA3125739A1 (ja)
WO (1) WO2020146288A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020146546A1 (en) * 2019-01-08 2020-07-16 Avegant Corp. Sensor-based eye-tracking using a holographic optical element
US11159823B2 (en) * 2019-06-20 2021-10-26 At&T Intellectual Property I, L.P. Multi-viewport transcoding for volumetric video streaming
US11475545B2 (en) * 2020-05-28 2022-10-18 Nxp Usa, Inc. System and method for correcting geometric distortion in images
JP7468227B2 (ja) 2020-07-30 2024-04-16 セイコーエプソン株式会社 虚像表示装置
US20220310037A1 (en) * 2021-03-26 2022-09-29 Lightspace Technologies, SIA Method and system for reducing motion-to-photon latency in head-mounted display system
GB2615362B (en) * 2022-02-08 2024-03-13 Sony Interactive Entertainment Inc Image processing system and method

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4924522A (en) 1987-08-26 1990-05-08 Ncr Corporation Method and apparatus for displaying a high resolution image on a low resolution CRT
US5035500A (en) 1988-08-12 1991-07-30 Rorabaugh Dale A Automated ocular perimetry, particularly kinetic perimetry
US6008781A (en) 1992-10-22 1999-12-28 Board Of Regents Of The University Of Washington Virtual retinal display
JPH08313843A (ja) * 1995-05-16 1996-11-29 Agency Of Ind Science & Technol 視線追従方式による広視野高解像度映像提示装置
US8330812B2 (en) 1995-05-30 2012-12-11 Simulated Percepts, Llc Method and apparatus for producing and storing, on a resultant non-transitory storage medium, computer generated (CG) video in correspondence with images acquired by an image acquisition device tracked in motion with respect to a 3D reference frame
US6204974B1 (en) 1996-10-08 2001-03-20 The Microoptical Corporation Compact image display system for eyeglasses or other head-borne frames
US6097353A (en) 1998-01-20 2000-08-01 University Of Washington Augmented retinal display with view tracking and data positioning
WO2000079327A1 (en) 1999-06-21 2000-12-28 The Microoptical Corporation Eyeglass display lens system employing off-axis optical design
JP4374708B2 (ja) * 2000-03-30 2009-12-02 株式会社デンソー 網膜走査ディスプレイ装置及び光走査装置
NZ537849A (en) 2005-01-21 2007-09-28 Peter James Hilton Direct Retinal Display projecting a scanned optical beam via diverging and converging reflectors
JP4735234B2 (ja) 2005-12-19 2011-07-27 ブラザー工業株式会社 画像表示システム
US20080015553A1 (en) 2006-07-12 2008-01-17 Jaime Zacharias Steering laser treatment system and method of use
WO2009066475A1 (ja) 2007-11-21 2009-05-28 Panasonic Corporation 表示装置
US8314814B2 (en) 2007-12-20 2012-11-20 Raytheon Company Imaging system
JP2009182754A (ja) * 2008-01-31 2009-08-13 Sanyo Electric Co Ltd 画像処理装置
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US7786648B2 (en) 2008-08-18 2010-08-31 New Scale Technologies Semi-resonant driving systems and methods thereof
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
US20110141225A1 (en) 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Based on Low-Res Images
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9632315B2 (en) 2010-10-21 2017-04-25 Lockheed Martin Corporation Head-mounted display apparatus employing one or more fresnel lenses
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US9513490B2 (en) 2011-01-10 2016-12-06 Eastman Kodak Company Three channel delivery of stereo images
BR112014005192A2 (pt) 2011-09-07 2017-03-21 Improved Vision Systems (I V S ) Ltd método e sistema para o tratamento de deficiência visual
US20130100176A1 (en) 2011-10-21 2013-04-25 Qualcomm Mems Technologies, Inc. Systems and methods for optimizing frame rate and resolution for displays
US8681426B2 (en) 2011-11-04 2014-03-25 Honeywell International Inc. Steerable near-to-eye display and steerable near-to-eye display system
JP5524254B2 (ja) 2012-02-14 2014-06-18 富士フイルム株式会社 ミラー駆動装置及びその制御方法
US9779643B2 (en) 2012-02-15 2017-10-03 Microsoft Technology Licensing, Llc Imaging structure emitter configurations
US20130286053A1 (en) 2012-04-25 2013-10-31 Rod G. Fleck Direct view augmented reality eyeglass-type display
US9788714B2 (en) 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
US9846307B2 (en) 2013-03-25 2017-12-19 Intel Corporation Method and apparatus for head worn display with multiple exit pupils
DE102013208625A1 (de) 2013-05-10 2014-11-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiapertur-projektionsdisplay und einzelbilderzeuger für ein solches
US10533850B2 (en) * 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
US9335548B1 (en) 2013-08-21 2016-05-10 Google Inc. Head-wearable display with collimated light source and beam steering mechanism
US11402629B2 (en) 2013-11-27 2022-08-02 Magic Leap, Inc. Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same
JP2015132747A (ja) 2014-01-15 2015-07-23 セイコーエプソン株式会社 プロジェクター
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10068311B2 (en) * 2014-04-05 2018-09-04 Sony Interacive Entertainment LLC Varying effective resolution by screen location by changing active color sample count within multiple render targets
US9588408B1 (en) 2014-05-15 2017-03-07 Autofuss Methods and systems for projecting a target portion of an image at a higher resolution
US9874744B2 (en) 2014-06-25 2018-01-23 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays
JP6572893B2 (ja) 2014-06-30 2019-09-11 ソニー株式会社 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像処理システム
GB201417208D0 (en) 2014-09-30 2014-11-12 Ibvision Ltd Method Software And Apparatus For Testing A Patiants Visual Field
IL235073A (en) 2014-10-07 2016-02-29 Elbit Systems Ltd Head-mounted view of enlarged images that are locked on an object of interest
KR101844883B1 (ko) 2014-12-23 2018-04-03 메타 컴퍼니 관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 결합시키는 장치, 방법 및 시스템
WO2016105285A1 (en) 2014-12-26 2016-06-30 Koc University Near-to-eye display device with variable resolution
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US10284118B2 (en) 2015-02-06 2019-05-07 New Scale Technologies, Inc. Two-axis angular pointing device and methods of use thereof
CN107209390A (zh) 2015-02-12 2017-09-26 谷歌公司 组合高分辨率窄场显示和中分辨率宽场显示
US10078922B2 (en) 2015-03-11 2018-09-18 Oculus Vr, Llc Eye tracking for display resolution adjustment in a virtual reality system
US20160274365A1 (en) 2015-03-17 2016-09-22 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays with heterogeneous display quality
JP6520432B2 (ja) 2015-06-09 2019-05-29 セイコーエプソン株式会社 光学デバイスおよび画像表示装置
US10210844B2 (en) 2015-06-29 2019-02-19 Microsoft Technology Licensing, Llc Holographic near-eye display
JP2017028510A (ja) * 2015-07-23 2017-02-02 日本放送協会 多視点映像生成装置及びそのプログラム、並びに、多視点映像生成システム
KR102000888B1 (ko) * 2015-08-07 2019-10-01 애플 인크. 이미지들의 스트림을 디스플레이하기 위한 시스템 및 방법
EP3629136B1 (en) 2015-10-08 2024-04-17 InterDigital VC Holdings, Inc. Methods and systems of automatic calibration for dynamic display configurations
US10726619B2 (en) 2015-10-29 2020-07-28 Sony Interactive Entertainment Inc. Foveated geometry tessellation
WO2017083331A1 (en) 2015-11-09 2017-05-18 Digital Surgicals Pte Ltd. Personalized hand-eye coordinated digital stereo microscopic systems and methods
US20170188021A1 (en) 2015-12-24 2017-06-29 Meta Company Optical engine for creating wide-field of view fovea-based display
US20170255012A1 (en) 2016-03-04 2017-09-07 Sharp Kabushiki Kaisha Head mounted display using spatial light modulator to move the viewing zone
US20170255020A1 (en) 2016-03-04 2017-09-07 Sharp Kabushiki Kaisha Head mounted display with directional panel illumination unit
US10438400B2 (en) * 2016-03-08 2019-10-08 Nvidia Corporation Perceptually-based foveated rendering using a contrast-enhancing filter
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10460704B2 (en) 2016-04-01 2019-10-29 Movidius Limited Systems and methods for head-mounted display adapted to human visual mechanism
GB2553744B (en) * 2016-04-29 2018-09-05 Advanced Risc Mach Ltd Graphics processing systems
CN109716209A (zh) 2016-07-25 2019-05-03 奥普托图尼股份公司 使用多稳态状态以增强图像的分辨率的光学设备
US10255714B2 (en) 2016-08-24 2019-04-09 Disney Enterprises, Inc. System and method of gaze predictive rendering of a focal area of an animation
US10140695B2 (en) * 2016-10-04 2018-11-27 Facebook Technologies, Llc Head-mounted compound display including a high resolution inset
US9779478B1 (en) 2016-10-04 2017-10-03 Oculus Vr, Llc Rendering composite content on a head-mounted display including a high resolution inset
EP3542359A4 (en) 2016-11-16 2019-12-18 Magic Leap, Inc. DISPLAY ARRANGEMENT WITH MULTIPLE RESOLUTION FOR HEAD-MOUNTED DISPLAY SYSTEMS
US9711072B1 (en) 2016-12-01 2017-07-18 Varjo Technologies Oy Display apparatus and method of displaying using focus and context displays
US9711114B1 (en) 2016-12-01 2017-07-18 Varjo Technologies Oy Display apparatus and method of displaying using projectors
US11050364B2 (en) 2016-12-09 2021-06-29 New Scale Technologies, Inc. Semi-resonant motion devices and methods thereof
GB2560306B (en) 2017-03-01 2020-07-08 Sony Interactive Entertainment Inc Image processing
US20180262758A1 (en) * 2017-03-08 2018-09-13 Ostendo Technologies, Inc. Compression Methods and Systems for Near-Eye Displays
US20180269266A1 (en) * 2017-03-16 2018-09-20 Intel Corporation Foveated displays for virtual and augmented reality
KR20240046291A (ko) 2017-03-22 2024-04-08 매직 립, 인코포레이티드 디스플레이 시스템들을 위한 깊이 기반 포비티드 렌더링
JP2020515895A (ja) * 2017-03-27 2020-05-28 エイヴギャント コーポレイション 操作可能な中心窩ディスプレイ
US11209650B1 (en) 2018-09-06 2021-12-28 Facebook Technologies, Llc Waveguide based display with multiple coupling elements for artificial reality
US10866422B2 (en) 2019-02-21 2020-12-15 Microsoft Technology Licensing, Llc Micro LED display system

Similar Documents

Publication Publication Date Title
US11115638B2 (en) Stereoscopic (3D) panorama creation on handheld device
CN110199267B (zh) 利用数据压缩进行实时图像转换的无缺失的高速缓存结构
CN110651236B (zh) 经由眼睛跟踪扩大有效眼动范围的近眼显示器
US10191290B2 (en) Vehicle, head-up displaying system and method for adjusting height of projection image thereof
US10102666B2 (en) Electronic display stabilization for head mounted display
EP3824371B1 (en) Distributed foveated rendering based on user gaze
CN110249317B (zh) 用于实时图像变换的无未命中高速缓存结构
EP2979736A2 (en) Image processing
US7565003B2 (en) Image processing apparatus and method, printed matter production apparatus and method, and printed matter production system
US20150379772A1 (en) Tracking accelerator for virtual and augmented reality displays
EP2545411B1 (en) Panorama imaging
US20120019613A1 (en) Dynamically Variable Stereo Base for (3D) Panorama Creation on Handheld Device
US20110141300A1 (en) Panorama Imaging Using a Blending Map
US20120019614A1 (en) Variable Stereo Base for (3D) Panorama Creation on Handheld Device
US20110141229A1 (en) Panorama imaging using super-resolution
US20110141224A1 (en) Panorama Imaging Using Lo-Res Images
US20090316022A1 (en) Image resizing device and image resizing method
JP2010175844A (ja) 曲面型スクリーン装置及び曲面スクリーンシステム
CN110214300B (zh) 相位对准的凹形渲染
JPWO2020146288A5 (ja)
WO2020140657A1 (en) Head mounted display apparatus, virtual reality display system and driving method thereof
JP2000308092A (ja) 立体視眼鏡装置
EP4325334A1 (en) Systems and methods for rendering an augmented reality object with adaptive zoom feature
CN112703464B (zh) 基于用户注视的分配式注视点渲染
US20070195112A1 (en) High resolution display apparatus and methods