JP7148634B2 - ヘッドマウントディスプレイ装置 - Google Patents
ヘッドマウントディスプレイ装置 Download PDFInfo
- Publication number
- JP7148634B2 JP7148634B2 JP2020558712A JP2020558712A JP7148634B2 JP 7148634 B2 JP7148634 B2 JP 7148634B2 JP 2020558712 A JP2020558712 A JP 2020558712A JP 2020558712 A JP2020558712 A JP 2020558712A JP 7148634 B2 JP7148634 B2 JP 7148634B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- lens
- camera
- occlusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 claims description 20
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0129—Head-up displays characterised by optical features comprising devices for correcting parallax
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Description
第2の遮蔽領域計算部は、第2の情報生成部が生成したオクルージョン情報に基づいて、第2のレンズに表示されるCG画像を左目で見た際にCG画像が物体に遮蔽される遮蔽領域を計算する。
図1は、一実施の形態によるヘッドマウントディスプレイ装置10における構成の一例を示す説明図である。
図3は、図2の制御処理部16が有する情報処理部19における構成の一例を示す説明図である。
次に、ヘッドマウントディスプレイ装置10の動作について説明する。
図4は、図1のヘッドマウントディスプレイ装置10によるAR表示の一例を示した説明図である。図5は、両眼視を考慮した画像処理の一例を示した説明図である。図6は、輻輳角の一例を示す説明図である。図7は、右目および左目の見え方の違いの一例を示す説明図である。
また、CG画像は、アプリケーションから提供されるCG画像の距離情報に応じて、解像度、言い換えれば該CG画像のぼけ量を調節してレンズ12,13に表示するようにしてもよい。これによって、より自然なCG画像を表示することができる。
11 筐体
12 レンズ
13 レンズ
14 カメラ
15 カメラ
16 制御処理部
17 操作入力部
18 制御部
19 情報処理部
19 情報処理部
20 情報生成部
21 遮蔽領域計算部
22 AR画像生成部
23 AR表示部
25 視差マッチング部
26 デプス情報格納部
30 通信部
50 CG画像
Claims (5)
- 右目用のCG画像を表示する第1のレンズと、
左目用のCG画像を表示する第2のレンズと、
右目用の画像を撮影する第1のカメラと、
左目用の画像を撮影する第2のカメラと、
前記第1のカメラおよび前記第2のカメラが撮影した画像から右目で見た際のオクルージョンを表現した右目用のCG画像および左目で見た際のオクルージョンを表現した左目用のCG画像をそれぞれ生成して、生成した右目用の前記CG画像を前記第1のレンズに投射し、生成した左目用の前記CG画像を前記第2のレンズに投射する情報処理部と、
を有し、
前記情報処理部は、
前記第1のカメラおよび前記第2のカメラが撮影した画像から前記第1のレンズに表示する前記CG画像と現実環境との遮蔽関係を示すオクルージョン情報を生成する第1の情報生成部と、
前記第1のカメラおよび前記第2のカメラが撮影した画像から前記第2のレンズに表示する前記CG画像と現実環境との遮蔽関係を示すオクルージョン情報を生成する第2の情報生成部と、
前記第1の情報生成部が生成した前記オクルージョン情報に基づいて、前記第1のレンズに表示されるCG画像を右目で見た際に前記CG画像が物体に遮蔽される遮蔽領域を計算する第1の遮蔽領域計算部と、
前記第2の情報生成部が生成した前記オクルージョン情報に基づいて、前記第2のレンズに表示されるCG画像を左目で見た際に前記CG画像が物体に遮蔽される遮蔽領域を計算する第2の遮蔽領域計算部と、
前記CG画像を生成するCG画像生成データに基づいて、前記第1の遮蔽領域計算部が算出した前記遮蔽領域を表示しない右目用のCG画像および前記第2の遮蔽領域計算部が算出した前記遮蔽領域を表示しない左目用のCG画像をそれぞれ生成する画像生成部と、
前記画像生成部が生成した右目用の前記CG画像および左目用の前記CG画像を前記第1のレンズおよび前記第2のレンズに投射する表示部と、
を有し、
前記第1の情報生成部および前記第2の情報生成部が生成する前記オクルージョン情報は、表示する前記CG画像の距離情報に応じて設定されるぼけ量を含み、
前記画像生成部は、CG画像の表示距離に見合ったぼけ量を前記オクルージョン情報から取得して、取得した前記ぼけ量に応じて、前記遮蔽領域を表示しない右目用のCG画像および前記遮蔽領域を表示しない左目用のCG画像の輪郭をぼかす処理を行い、
前記CG画像の表示距離は、前記CG画像生成データに含まれる情報である、
ヘッドマウントディスプレイ装置。 - 請求項1記載のヘッドマウントディスプレイ装置において、
前記CG画像の大きさを前記CG画像生成データに含まれる距離情報に応じて生成し、
前記画像生成部は、前記CG画像の表示距離および大きさに見合ったぼけ量を前記オクルージョン情報から取得する、
ヘッドマウントディスプレイ装置。 - 請求項1または2に記載のヘッドマウントディスプレイ装置において、
前記第1の情報生成部および前記第2の情報生成部が生成する前記オクルージョン情報は、前記第1のカメラおよび前記第2のカメラから物体までの距離を示す物体距離と、両目にて物体を注視した際に前記物体にて両眼の視線が交差する角度である輻輳角とを含む、ヘッドマウントディスプレイ装置。 - 請求項3記載のヘッドマウントディスプレイ装置において、
前記画像生成部は、前記オクルージョン情報に含まれる前記物体距離および前記輻輳角に基づいて、右目用のCG画像および左目用のCG画像の前記遮蔽領域をそれぞれ算出する、ヘッドマウントディスプレイ装置。 - 請求項1または2に記載のヘッドマウントディスプレイ装置において、
前記第1のカメラのレンズの中心は、前記第1のレンズの中心と同じ位置に設けられ、
前記第2のカメラのレンズの中心は、前記第2のレンズの中心と同じ位置に設けられている、ヘッドマウントディスプレイ装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022151752A JP2022183177A (ja) | 2018-12-04 | 2022-09-22 | ヘッドマウントディスプレイ装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/044569 WO2020115815A1 (ja) | 2018-12-04 | 2018-12-04 | ヘッドマウントディスプレイ装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022151752A Division JP2022183177A (ja) | 2018-12-04 | 2022-09-22 | ヘッドマウントディスプレイ装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020115815A1 JPWO2020115815A1 (ja) | 2021-09-30 |
JP7148634B2 true JP7148634B2 (ja) | 2022-10-05 |
Family
ID=70975335
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020558712A Active JP7148634B2 (ja) | 2018-12-04 | 2018-12-04 | ヘッドマウントディスプレイ装置 |
JP2022151752A Pending JP2022183177A (ja) | 2018-12-04 | 2022-09-22 | ヘッドマウントディスプレイ装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022151752A Pending JP2022183177A (ja) | 2018-12-04 | 2022-09-22 | ヘッドマウントディスプレイ装置 |
Country Status (4)
Country | Link |
---|---|
US (2) | US11582441B2 (ja) |
JP (2) | JP7148634B2 (ja) |
CN (1) | CN113170090A (ja) |
WO (1) | WO2020115815A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10484824B1 (en) * | 2015-06-26 | 2019-11-19 | Lucasfilm Entertainment Company Ltd. | Content presentation and layering across multiple devices |
US11582441B2 (en) * | 2018-12-04 | 2023-02-14 | Maxell, Ltd. | Head mounted display apparatus |
CN116583763A (zh) * | 2020-12-10 | 2023-08-11 | 麦克赛尔株式会社 | 便携终端以及电子眼镜 |
US20240062483A1 (en) * | 2022-08-22 | 2024-02-22 | Samsung Electronics Co., Ltd. | Method and device for direct passthrough in video see-through (vst) augmented reality (ar) |
JP2024122802A (ja) * | 2023-02-28 | 2024-09-09 | 富士フイルム株式会社 | プロセッサ、表示制御方法、及び表示制御プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006209664A (ja) | 2005-01-31 | 2006-08-10 | Canon Inc | システム、画像処理装置、情報処理方法 |
US20120206452A1 (en) | 2010-10-15 | 2012-08-16 | Geisner Kevin A | Realistic occlusion for a head mounted augmented reality display |
JP2015230695A (ja) | 2014-06-06 | 2015-12-21 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
US20180275410A1 (en) | 2017-03-22 | 2018-09-27 | Magic Leap, Inc. | Depth based foveated rendering for display systems |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3338618B2 (ja) | 1996-10-07 | 2002-10-28 | ミノルタ株式会社 | 実空間画像と仮想空間画像の表示方法及び表示装置 |
JPH10327433A (ja) | 1997-05-23 | 1998-12-08 | Minolta Co Ltd | 合成画像の表示装置 |
EP1686554A3 (en) | 2005-01-31 | 2008-06-18 | Canon Kabushiki Kaisha | Virtual space generating system, image processing apparatus and information processing method |
US20150156481A1 (en) * | 2009-03-19 | 2015-06-04 | Real Time Companies | Heads up display (hud) sensor system |
KR101828805B1 (ko) * | 2011-07-07 | 2018-03-29 | 삼성전자주식회사 | 스테레오 카메라의 3차원 줌 영상 생성 방법 및 장치 |
US20130141419A1 (en) | 2011-12-01 | 2013-06-06 | Brian Mount | Augmented reality with realistic occlusion |
US9720505B2 (en) * | 2013-01-03 | 2017-08-01 | Meta Company | Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities |
US9239460B2 (en) * | 2013-05-10 | 2016-01-19 | Microsoft Technology Licensing, Llc | Calibration of eye location |
JP5916248B2 (ja) * | 2014-02-25 | 2016-05-11 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置、画像生成方法、プログラムおよびコンピュータ読取り可能な情報記憶媒体 |
US10306217B2 (en) * | 2015-04-17 | 2019-05-28 | Seiko Epson Corporation | Display device, control method for display device, and computer program |
US10708488B2 (en) * | 2016-09-27 | 2020-07-07 | Snap Inc. | Eyewear device mode indication |
JP7116410B2 (ja) * | 2017-03-31 | 2022-08-10 | 株式会社バンダイナムコエンターテインメント | プログラム及び画像生成システム |
JP6891600B2 (ja) | 2017-03-31 | 2021-06-18 | 富士通株式会社 | 情報処理装置 |
GB201709199D0 (en) * | 2017-06-09 | 2017-07-26 | Delamont Dean Lindsay | IR mixed reality and augmented reality gaming system |
US11582441B2 (en) * | 2018-12-04 | 2023-02-14 | Maxell, Ltd. | Head mounted display apparatus |
-
2018
- 2018-12-04 US US17/299,114 patent/US11582441B2/en active Active
- 2018-12-04 WO PCT/JP2018/044569 patent/WO2020115815A1/ja active Application Filing
- 2018-12-04 CN CN201880099966.1A patent/CN113170090A/zh active Pending
- 2018-12-04 JP JP2020558712A patent/JP7148634B2/ja active Active
-
2022
- 2022-09-22 JP JP2022151752A patent/JP2022183177A/ja active Pending
-
2023
- 2023-01-05 US US18/150,431 patent/US11956415B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006209664A (ja) | 2005-01-31 | 2006-08-10 | Canon Inc | システム、画像処理装置、情報処理方法 |
US20120206452A1 (en) | 2010-10-15 | 2012-08-16 | Geisner Kevin A | Realistic occlusion for a head mounted augmented reality display |
JP2015230695A (ja) | 2014-06-06 | 2015-12-21 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
US20180275410A1 (en) | 2017-03-22 | 2018-09-27 | Magic Leap, Inc. | Depth based foveated rendering for display systems |
Also Published As
Publication number | Publication date |
---|---|
US20230156176A1 (en) | 2023-05-18 |
CN113170090A (zh) | 2021-07-23 |
US11582441B2 (en) | 2023-02-14 |
JPWO2020115815A1 (ja) | 2021-09-30 |
US20220060680A1 (en) | 2022-02-24 |
US11956415B2 (en) | 2024-04-09 |
WO2020115815A1 (ja) | 2020-06-11 |
JP2022183177A (ja) | 2022-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7148634B2 (ja) | ヘッドマウントディスプレイ装置 | |
JP7094266B2 (ja) | 単一深度追跡型の遠近調節-両眼転導ソリューション | |
US11010958B2 (en) | Method and system for generating an image of a subject in a scene | |
JP4794678B1 (ja) | 映像処理装置、映像処理方法、および映像通信システム | |
JP3802630B2 (ja) | 立体画像生成装置および立体画像生成方法 | |
WO2014128749A1 (ja) | 形状認識装置、形状認識プログラム、および形状認識方法 | |
JP6177872B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
WO2018056155A1 (ja) | 情報処理装置、画像生成方法およびヘッドマウントディスプレイ | |
JP6250024B2 (ja) | キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法 | |
WO2014128751A1 (ja) | ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法 | |
KR20150088355A (ko) | 눈동자 이동 시점 생성을 지원하는 스테레오 라이트필드 입출력 장치 및 방법 | |
JP6250025B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
JP4270347B2 (ja) | 距離演算装置 | |
JP2005312605A (ja) | 注視点位置表示装置 | |
JP6446465B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
WO2019048819A1 (en) | METHOD FOR MODIFYING AN IMAGE ON A COMPUTER DEVICE | |
JP6479835B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
JP6479836B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
US20220232201A1 (en) | Image generation system and method | |
WO2023146882A1 (en) | Display system with machine learning (ml) based stereoscopic view synthesis over a wide field of view | |
CN116612234A (zh) | 基于增强或虚拟现实应用程序内立体视觉的高效动态遮挡 | |
JP2018186319A (ja) | 立体画像表示制御装置、立体画像表示制御方法及び立体画像表示制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210506 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20211022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220830 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220922 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7148634 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |