JP6787622B2 - ヘッドマウントディスプレイ更新バッファ - Google Patents
ヘッドマウントディスプレイ更新バッファ Download PDFInfo
- Publication number
- JP6787622B2 JP6787622B2 JP2017526934A JP2017526934A JP6787622B2 JP 6787622 B2 JP6787622 B2 JP 6787622B2 JP 2017526934 A JP2017526934 A JP 2017526934A JP 2017526934 A JP2017526934 A JP 2017526934A JP 6787622 B2 JP6787622 B2 JP 6787622B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- update
- environment
- updates
- current view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
Description
本出願は、2014年12月18日に出願された米国特許出願第14/575,612号の出願日の利益を主張し、参照により本明細書に組み込まれる。
Claims (18)
- 環境のビューを表示するヘッドマウントディスプレイ(HMD)デバイスと、
前記HMDデバイスの更新バッファであって、
前記環境の現在のビューの画像データと、
前記現在のビュー外にある前記環境の画像データと
を含む画像データを記憶する更新バッファと、
更新モジュールと、
前記更新バッファにおける、前記HMDデバイスの動きに起因する前記環境の新しいビューに対する更新と、前記環境の現在のビューに対する更新と、前記現在のビュー外にある前記環境の前記画像データに対する更新とのうちの少なくとも1つを含む、更新を提供する前記HMDデバイスの外部のソースコンピューティングデバイスと
を備え、
前記更新モジュールが、前記ソースコンピューティングデバイスから前記HMDデバイスに表示される画像データを直接提供するのではなく、前記更新バッファから前記HMDデバイスに表示される画像データを提供し、
前記更新モジュールがさらに、前記更新バッファに選択的更新を前記ソースコンピューティングデバイスに指示し、画像データの変化率が所定の閾値を超えることをトリガとして前記現在のビューの画像データへの更新を含む前記選択的更新が行われる、
画像データを更新するための装置。 - 前記更新モジュールが、
前記HMDデバイスの動きに起因する前記環境の新しいビューに対する更新を提供し、
前記環境の現在のビューに対する更新を提供し、
前記現在のビュー外にある前記環境の前記画像データに対する更新を提供する、
請求項1に記載の装置。 - 前記更新モジュールが、
前記HMDデバイスの動きがいつ発生したかを判定し、
前記動きに起因する新しいビューの新しい位置を計算し、
前記更新バッファから画像データを提供することによって前記HMDデバイスに表示されるコンテンツを更新し、
前記ソースコンピューティングデバイスに前記動きを通知する、
請求項1または2に記載の装置。 - 前記更新モジュールがさらに、前記更新バッファに選択的更新を提供するために前記ソースコンピューティングデバイスに指示し、前記選択的更新が、画像データの変化率が所定の閾値を超える前記現在のビュー外にある前記環境の前記画像データへの更新を含む、請求項1〜3のいずれか一項に記載の装置。
- 前記更新モジュールがさらに、前記更新バッファから部分的更新を取得し、前記部分的更新が、前記現在のビューの一部と、前記HMDデバイスの動きの後に以前は前記現在のビュー外にあった前記環境の前記画像データの一部とを含む、請求項1〜4のいずれか一項に記載の装置。
- 前記更新モジュールがさらに、部分的更新を取得し、前記ソースコンピューティングデバイスから提供される新しいビューの一部が前記更新バッファから利用可能でないときに、前記部分的更新が、前記新しいビューの前記一部を含む、請求項1〜5のいずれか一項に記載の装置。
- 前記現在のビューの前記画像データが、前記現在のビュー外にある前記環境の前記画像データより低いサイズの解像度である、請求項1〜6のいずれか一項に記載の装置。
- ヘッドマウントディスプレイ(HMD)デバイスに環境のビューを表示することと、
前記HMDデバイスの更新バッファに画像データを記憶することと
を含み、
前記画像データは、
前記環境の現在のビューの画像データと、
前記現在のビュー外にある前記環境の画像データと
を含み、
前記更新バッファから前記HMDデバイスに表示される画像データを提供することと、
前記HMDデバイスの外部のソースコンピューティングデバイスから前記更新バッファにおける、前記HMDデバイスの動きに起因する前記環境の新しいビューに対する更新と、前記環境の現在のビューに対する更新と、前記現在のビュー外にある前記環境の前記画像データに対する更新とのうちの少なくとも1つを含む、更新を提供することと、
前記更新バッファに選択的更新を提供するために前記ソースコンピューティングデバイスに指示することと、
画像データの変化率が所定の閾値を超えることをトリガとして前記現在のビューの画像データへの更新を含む前記選択的更新を行うことと、をさらに含む、
画像データを更新するための方法。 - 前記HMDデバイスの動きに起因する前記環境の新しいビューに対する更新を提供することと、
前記環境の現在のビューに対する更新を提供することと、
前記現在のビュー外にある前記環境の前記画像データに対する更新を提供することと
を含む、
請求項8に記載の方法。 - 前記HMDデバイスの動きがいつ発生したかを判定することと、
前記動きに起因する新しいビューの新しい位置を計算することと、
前記更新バッファから画像データを提供することによって前記HMDデバイスに表示されるコンテンツを更新することと、
前記ソースコンピューティングデバイスに前記動きを通知することと
をさらに含む、請求項8または9に記載の方法。 - 前記更新バッファに選択的更新を提供するために前記ソースコンピューティングデバイスに指示することをさらに含み、前記選択的更新が、画像データの変化率が所定の閾値を超える前記現在のビュー外にある前記環境の前記画像データへの更新を含む、請求項8〜10のいずれか一項に記載の方法。
- 前記更新バッファから部分的更新を提供することをさらに含み、前記部分的更新が、前記現在のビューの一部と、前記HMDデバイスの動きの後に以前は前記現在のビュー外にあった前記環境の前記画像データの一部とを含む、請求項8〜11のいずれか一項に記載の方法。
- 前記ソースコンピューティングデバイスから部分的更新を取得することをさらに含み、前記ソースコンピューティングデバイスから提供される新しいビューの一部が前記更新バッファから利用可能でないときに、前記部分的更新が、前記新しいビューの前記一部を含む、請求項8〜12のいずれか一項に記載の方法。
- 前記現在のビューの前記画像データが、前記現在のビュー外にある前記環境の前記画像データより低いサイズの解像度である、請求項8〜13のいずれか一項に記載の方法。
- 環境のビューを表示するためのヘッドマウントディスプレイ(HMD)デバイスと、
前記HMDデバイスの更新バッファであって、前記環境の現在のビューの画像データ、および前記現在のビュー外にある前記環境の画像データを有する画像データを記憶する更新バッファと、
更新モジュールと、
前記更新バッファにおける、前記HMDデバイスの動きに起因する前記環境の新しいビューに対する更新と、前記環境の現在のビューに対する更新と、前記現在のビュー外にある前記環境の前記画像データに対する更新とのうちの少なくとも1つを含む、更新を提供する前記HMDデバイスの外部のソースコンピューティングデバイスと
を備え、
前記更新モジュールが、前記ソースコンピューティングデバイスから前記HMDデバイスに表示される画像データを直接提供するのではなく、前記更新バッファから前記HMDデバイスに表示される画像データを提供し、
前記更新モジュールは、さらに、前記ソースコンピューティングデバイスに指示して、前記更新バッファにおいて、画像データの変化率が所定の閾値を超えることをトリガとして前記現在のビューにある画像データへの更新を含む選択的更新が行われる、
画像データを更新するためのシステム。 - 前記更新モジュールが、
前記HMDデバイスの動きに起因する前記環境の新しいビューに対する更新を提供し、
前記環境の現在のビューに対する更新を提供し、
前記現在のビュー外にある前記環境の前記画像データに対する更新を提供する、
請求項15に記載のシステム。 - 前記更新モジュールが、前記HMDデバイスの動きがいつ発生したかを判定し、
前記動きに起因する新しいビューの新しい位置を計算し、
前記更新バッファから画像データを提供することによって前記HMDデバイスに表示されるコンテンツを更新し、
ソースコンピューティングデバイスに前記動きを通知する、請求項15または16に記載のシステム。 - 前記更新モジュールがさらに、
画像データの変化率が所定の閾値を超える前記現在のビュー外にある前記環境の前記画像データへの更新を含む選択的更新をバッファに提供するために、および
前記現在のビューの一部と、前記HMDデバイスの動きの後に以前は前記現在のビュー外にあった前記環境の前記画像データの一部、
前記更新バッファから利用可能でないときに前記ソースコンピューティングデバイスから提供される新しいビューの一部、または
それらの任意の組み合わせ
を含む部分的更新を提供するために、
前記ソースコンピューティングデバイスに指示する、請求項15〜17のいずれか一項に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/575,612 | 2014-12-18 | ||
US14/575,612 US9542718B2 (en) | 2014-12-18 | 2014-12-18 | Head mounted display update buffer |
PCT/US2015/053949 WO2016099630A1 (en) | 2014-12-18 | 2015-10-05 | Head mounted display update buffer |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018502317A JP2018502317A (ja) | 2018-01-25 |
JP6787622B2 true JP6787622B2 (ja) | 2020-11-18 |
Family
ID=56127226
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017526934A Active JP6787622B2 (ja) | 2014-12-18 | 2015-10-05 | ヘッドマウントディスプレイ更新バッファ |
Country Status (6)
Country | Link |
---|---|
US (1) | US9542718B2 (ja) |
JP (1) | JP6787622B2 (ja) |
KR (1) | KR102488327B1 (ja) |
CN (1) | CN107003726B (ja) |
TW (1) | TWI608445B (ja) |
WO (1) | WO2016099630A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10120187B2 (en) * | 2016-02-18 | 2018-11-06 | Nvidia Corporation | Sub-frame scanout for latency reduction in virtual reality applications |
KR102561860B1 (ko) * | 2016-10-25 | 2023-08-02 | 삼성전자주식회사 | 전자장치 및 그 제어방법 |
US10394313B2 (en) | 2017-03-15 | 2019-08-27 | Microsoft Technology Licensing, Llc | Low latency cross adapter VR presentation |
US10713848B2 (en) | 2017-04-06 | 2020-07-14 | Htc Corporation | System and method for providing simulated environment |
GB201713051D0 (en) * | 2017-08-15 | 2017-09-27 | Imagination Tech Ltd | Low latency distortion unit for head mounted displays |
US20190079288A1 (en) * | 2017-09-13 | 2019-03-14 | Htc Corporation | Head mounted display system and image display method thereof |
US11493999B2 (en) | 2018-05-03 | 2022-11-08 | Pmcs Holdings, Inc. | Systems and methods for physical proximity and/or gesture-based chaining of VR experiences |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4348186A (en) * | 1979-12-17 | 1982-09-07 | The United States Of America As Represented By The Secretary Of The Navy | Pilot helmet mounted CIG display with eye coupled area of interest |
JP2000029617A (ja) * | 1998-07-08 | 2000-01-28 | Olympus Optical Co Ltd | 映像表示装置 |
KR20010113669A (ko) * | 1999-02-17 | 2001-12-28 | 케네쓰 올센 | 병렬적 샘플-픽셀 연산을 수행하도록 구성된 그래픽 시스템 |
SE527257C2 (sv) | 2004-06-21 | 2006-01-31 | Totalfoersvarets Forskningsins | Anordning och metod för att presentera en omvärldsbild |
JP4426918B2 (ja) * | 2004-07-20 | 2010-03-03 | オリンパス株式会社 | 情報表示システム |
JP5228305B2 (ja) * | 2006-09-08 | 2013-07-03 | ソニー株式会社 | 表示装置、表示方法 |
KR20080089803A (ko) | 2007-04-02 | 2008-10-08 | 이성수 | 영상데이터 처리방법 및 두부 장착형 디스플레이어 |
KR101692433B1 (ko) | 2010-01-07 | 2017-01-03 | 엘지전자 주식회사 | 영상 서비스 제공 방법, 그리고 이를 수행하는 영상 시스템 및 이동 단말기 |
CN102906623A (zh) * | 2010-02-28 | 2013-01-30 | 奥斯特豪特集团有限公司 | 交互式头戴目镜上的本地广告内容 |
US9316827B2 (en) * | 2010-09-20 | 2016-04-19 | Kopin Corporation | LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking |
US9217867B2 (en) * | 2011-03-24 | 2015-12-22 | Seiko Epson Corporation | Head-mounted display device and control method for the head-mounted display device |
JP5993127B2 (ja) * | 2011-10-25 | 2016-09-14 | オリンパス株式会社 | 頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法 |
JP2013258614A (ja) | 2012-06-13 | 2013-12-26 | Sony Computer Entertainment Inc | 画像生成装置および画像生成方法 |
US8992318B2 (en) * | 2012-09-26 | 2015-03-31 | Igt | Wearable display system and method |
US9395543B2 (en) * | 2013-01-12 | 2016-07-19 | Microsoft Technology Licensing, Llc | Wearable behavior-based vision system |
US9709806B2 (en) | 2013-02-22 | 2017-07-18 | Sony Corporation | Head-mounted display and image display apparatus |
US9041741B2 (en) | 2013-03-14 | 2015-05-26 | Qualcomm Incorporated | User interface for a head mounted display |
TWI581173B (zh) * | 2013-03-14 | 2017-05-01 | 茱麗安 麥克 爾巴哈 | 用以擴增實境及虛擬實境之目鏡系統及使用該系統之方法 |
-
2014
- 2014-12-18 US US14/575,612 patent/US9542718B2/en active Active
-
2015
- 2015-10-05 WO PCT/US2015/053949 patent/WO2016099630A1/en active Application Filing
- 2015-10-05 JP JP2017526934A patent/JP6787622B2/ja active Active
- 2015-10-05 CN CN201580062930.2A patent/CN107003726B/zh active Active
- 2015-10-05 KR KR1020177013438A patent/KR102488327B1/ko active IP Right Grant
- 2015-11-17 TW TW104137905A patent/TWI608445B/zh active
Also Published As
Publication number | Publication date |
---|---|
JP2018502317A (ja) | 2018-01-25 |
WO2016099630A1 (en) | 2016-06-23 |
TW201633252A (zh) | 2016-09-16 |
TWI608445B (zh) | 2017-12-11 |
KR102488327B1 (ko) | 2023-01-12 |
CN107003726A (zh) | 2017-08-01 |
CN107003726B (zh) | 2021-02-05 |
US20160180495A1 (en) | 2016-06-23 |
US9542718B2 (en) | 2017-01-10 |
KR20170095823A (ko) | 2017-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6787622B2 (ja) | ヘッドマウントディスプレイ更新バッファ | |
JP7095030B2 (ja) | 仮想現実コンテンツのビデオレンダリング速度の調整および立体画像の処理 | |
US20230110339A1 (en) | Optimized Display Image Rendering | |
CN109791433B (zh) | 预测式中心凹虚拟现实系统 | |
KR101979564B1 (ko) | 가상 현실 시스템에서 모션-대-포톤 레이턴시 및 메모리 대역폭을 감소시키기 위한 시스템들 및 방법들 | |
US9928655B1 (en) | Predictive rendering of augmented reality content to overlay physical structures | |
JP6826029B2 (ja) | 画像を表示するための方法、装置およびコンピュータ・プログラム | |
EP3137982B1 (en) | Transitions between body-locked and world-locked augmented reality | |
JP6736944B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
ES2726349T3 (es) | Métodos, dispositivos y sistemas para hacer zoom automático cuando se reproduce una escena de realidad aumentada | |
US9741167B1 (en) | Method and system for providing an image of a virtual space to a head mounted display | |
EP3289761B1 (en) | Stereoscopic display of objects | |
KR20230124075A (ko) | 가상 현실에서 공간 인식을 제공하기 위한 시스템 및방법 | |
JP6130478B1 (ja) | プログラム及びコンピュータ | |
US11099392B2 (en) | Stabilized and tracked enhanced reality images | |
CN109803138B (zh) | 自适应交错图像卷绕的方法、系统以及记录介质 | |
JP2018525692A (ja) | シミュレータ酔いを防止するための視点移動を含む仮想現実コンテンツの提示 | |
WO2018214431A1 (zh) | 通过虚拟现实设备呈现场景的方法、设备及虚拟现实设备 | |
US10891714B2 (en) | Error concealment for a head-mountable device | |
JP2017121082A (ja) | プログラム及びコンピュータ | |
US20180081425A1 (en) | Virtual and augmented reality using high-throughput wireless visual data transmission | |
US20230136662A1 (en) | Parallax Asynchronous Spacewarp for Multiple Frame Extrapolation | |
US11288873B1 (en) | Blur prediction for head mounted devices | |
EP4443869A1 (en) | Foveal region processing for artificial reality devices | |
US20230058228A1 (en) | Image processing apparatus, image processing method, and storage medium for generating image of mixed world |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180928 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190617 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190730 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200331 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200630 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200929 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201023 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6787622 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |