WO2020115815A1 - ヘッドマウントディスプレイ装置 - Google Patents

ヘッドマウントディスプレイ装置 Download PDF

Info

Publication number
WO2020115815A1
WO2020115815A1 PCT/JP2018/044569 JP2018044569W WO2020115815A1 WO 2020115815 A1 WO2020115815 A1 WO 2020115815A1 JP 2018044569 W JP2018044569 W JP 2018044569W WO 2020115815 A1 WO2020115815 A1 WO 2020115815A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
lens
information
occlusion
camera
Prior art date
Application number
PCT/JP2018/044569
Other languages
English (en)
French (fr)
Inventor
川前　治
嶋田　堅一
学 勝木
恵 藏知
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to PCT/JP2018/044569 priority Critical patent/WO2020115815A1/ja
Priority to JP2020558712A priority patent/JP7148634B2/ja
Priority to CN201880099966.1A priority patent/CN113170090A/zh
Priority to US17/299,114 priority patent/US11582441B2/en
Publication of WO2020115815A1 publication Critical patent/WO2020115815A1/ja
Priority to JP2022151752A priority patent/JP2022183177A/ja
Priority to US18/150,431 priority patent/US11956415B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0129—Head-up displays characterised by optical features comprising devices for correcting parallax
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Definitions

  • the present invention relates to a head mounted display device, and more particularly to a technique effective for expressing faithful occlusion in AR (Augmented Reality) display.
  • AR is a technique for displaying an image created by a computer, a portable computer, or the like so as to overlap the entire screen or a part of a real image.
  • An object of the present invention is to provide a technology capable of faithfully expressing occlusion even in binocular vision in AR display by a head mounted display device or the like.
  • a typical head mounted display device has a first lens, a second lens, a first camera, a second camera, and an information processing unit.
  • the first lens displays a CG image for the right eye.
  • the second lens displays the CG image for the left eye.
  • the first camera captures an image for the right eye.
  • the second camera captures an image for the left eye.
  • Information processing is performed by using a CG image for the right eye that expresses occlusion when viewed with the right eye and a CG image for the left eye that expresses occlusion when viewed with the left eye from the images captured by the first camera and the second camera.
  • the generated CG image for the right eye is projected on the first lens
  • the generated CG image for the left eye is projected on the second lens.
  • the center of the lens of the first camera is provided at the same position as the center of the first lens (center of the wearer's pupil).
  • the center of the lens of the second camera is provided at the same position as the center of the second lens (center of the wearer's pupil).
  • the information processing unit has a first information generation unit, a second information generation unit, a first occlusion area calculation unit, a second occlusion area calculation unit, an image generation unit, and a display unit.
  • the first information generation unit generates occlusion information indicating the occlusion relationship between the CG image displayed on the first lens and the real environment from the images captured by the first camera and the second camera.
  • the second information generation unit generates occlusion information indicating a shielding relationship between the CG image displayed on the second lens and the real environment from the images captured by the first camera and the second camera.
  • the first occlusion area calculation unit is based on the occlusion information generated by the first information generation unit, and the CG image displayed on the first lens is occluded by the object when the CG image is viewed by the right eye. Calculate the area.
  • the second occlusion area calculation unit based on the occlusion information generated by the second information generation unit, covers the object when the CG image displayed on the second lens is viewed by the left eye. Calculate the area.
  • the image generation unit based on the CG image generation data that generates the CG image, the CG image for the right eye that does not display the occlusion region calculated by the first occlusion region calculation unit and the occlusion calculated by the second occlusion region calculation unit.
  • Each CG image for the left eye that does not display the region is generated.
  • the display unit projects the CG image for the right eye and the CG image for the left eye generated by the image generation unit onto the first lens and the second lens.
  • FIG. 3 is an explanatory diagram showing an example of a configuration of a head mounted display device according to an embodiment.
  • FIG. 3 is an explanatory diagram showing an example of a configuration of a control processing unit included in the head mounted display device of FIG. 1.
  • It is explanatory drawing which shows an example of a structure in the information processing part which the control processing part of FIG. 2 has.
  • It is explanatory drawing which showed an example of AR display by the head mounted display apparatus of FIG.
  • It is an explanatory view showing an example of image processing which considered binocular vision.
  • FIG. 1 is an explanatory diagram showing an example of the configuration of a head mounted display device 10 according to an embodiment.
  • the head mounted display device 10 has a housing 11, lenses 12, 13, cameras 14, 15 and an information processing section 16.
  • the housing 11 constitutes a spectacle frame.
  • the lens 12 that is the first lens and the lens 13 that is the second lens are fixed to the rim of the housing 11.
  • the lenses 12 and 13 fixed to the rim are provided so as to correspond to the left and right eyes of a user who uses the head mounted display device 10.
  • These cameras 14 and 15 are, for example, stereo cameras.
  • the stereo camera takes an image of a subject by using the parallax between the two cameras.
  • the camera 14 is a camera corresponding to the right eye of the user
  • the camera 15 is a camera corresponding to the left eye of the user. These cameras 14 and 15 capture images, respectively.
  • the center of the lens of the camera 14 is provided at a position substantially the same as the center of the lens 12. In other words, the center of the lens of the camera 14 is almost the same as the center of the right eye pupil of the user.
  • the center of the lens of the camera 15 is provided at a position substantially the same as the center of the lens 13. In other words, the center of the lens of the camera 15 is almost the same as the center of the pupil of the right eye of the user.
  • FIG. 2 is an explanatory diagram showing an example of the configuration of the control processing unit 16 included in the head mounted display device 10 of FIG.
  • the control processing unit 16 is composed of an operation input unit 17, a control unit 18, an information processing unit 19, and a communication unit 30.
  • the operation input unit 17, the control unit 18, the information processing unit 19, the communication unit 30, and the cameras 14 and 15 in FIG. 1 are mutually connected by a bus 31.
  • the operation input unit 17 is a user interface including, for example, a touch sensor.
  • the touch sensor includes a capacitive touch panel that electrostatically detects the position of the user's finger or the like that contacts the touch sensor.
  • the control unit 18 controls the head mounted display device 10.
  • the information processing unit 19 generates a CG image and displays it on the lenses 12 and 13.
  • the information processing unit 19 is provided, for example, in the bridge portion of the housing 11 or the like.
  • the arrangement of the information processing unit 16 is not particularly limited, and the information processing unit 16 may be provided in, for example, a temple portion of the housing 11.
  • the CG image generated by the information processing unit 16 is projected on the lenses 12 and 13.
  • the projected CG image is magnified and displayed by the lenses 12 and 13, respectively.
  • the CG image displayed on the lenses 12 and 13 is superimposed on the actual image to form an AR image.
  • the communication unit 30 performs wireless communication of information via Bluetooth (registered trademark), an Internet line, or the like.
  • FIG. 3 is an explanatory diagram showing an example of the configuration of the information processing unit 19 included in the control processing unit 16 of FIG.
  • the information processing unit 19 includes a depth information generation unit 20, a shielded region calculation unit 21, an AR image generation unit 22, and an AR display unit 23.
  • the depth information generation unit 20 forming the first information generation unit and the second information generation unit calculates and stores the distance to the object, the angle of convergence, and the like.
  • the depth information generation unit 20 has a parallax matching unit 25 and a depth information storage unit 26.
  • the parallax matching unit 25 calculates the object distance and the convergence angle of all the objects in the images captured by the cameras 14 and 15 of FIG. 1, respectively.
  • the images captured by the cameras 14 and 15 are input via the bus 31.
  • the object distance is the distance from the cameras 14 and 15 to the object, in other words, the depth information of the object.
  • the vergence angle is the angle weaved by the object gazed by the line of sight emitted from both eyes. This angle of convergence can be calculated, for example, from the object distance and the position information of the object on the image.
  • the depth information storage unit 26 includes a semiconductor memory such as a flash memory, for example, and stores right-eye depth information and left-eye depth information.
  • the right-eye depth information is information obtained by adding the object distance and the convergence angle calculated by the parallax matching unit 25 to the image captured by the camera 14.
  • the left-eye depth information is information obtained by adding the object distance and the convergence angle calculated by the parallax matching unit 25 to the image captured by the camera 15.
  • the right-eye depth information, the left-eye depth information stored in the depth information storage unit 26, and the CG image to be displayed are calculated based on the distance information.
  • the occluded region is a region in which a part of the CG image displayed for expressing occlusion is not displayed.
  • the AR image generation unit 22 which is an image generation unit, based on the occlusion region of the CG image for the right eye calculated by the occlusion region calculation unit 21, the occlusion region of the CG image for the left eye, and the image generation data, the CG for the right eye. An image and a CG image for the left eye are generated respectively.
  • the distance information of the CG image described above is information indicating the distance and position of the CG image to be displayed.
  • the image generation data is data necessary for generating a CG image to be displayed, and is, for example, data such as the shape and color arrangement of the CG image.
  • the distance information and the image generation data are provided by an application input from the outside, for example.
  • the application is acquired, for example, through the communication unit 30 included in the control processing unit 19.
  • the information processing unit 19 may be provided with a memory (not shown), and an application input from the outside in advance may be stored in the memory.
  • the AR display unit 23 which is a display unit, is an optical system that irradiates the lenses 12 and 13 with the CG image for the right eye and the CG image for the left eye generated by the AR image generation unit 22, respectively, and draws the images.
  • the cameras 14 and 15 take images.
  • the images captured by the cameras 14 and 15 are input to the parallax matching unit 25 included in the depth information generation unit 20.
  • the parallax matching unit 25 calculates the object distance and the angle of convergence from the images captured by the cameras 14 and 15, respectively.
  • the object distance is calculated by the parallax matching unit 25 calculating the difference between the positions of the images captured by the cameras 14 and 15 by triangulation or the like.
  • a distance sensor (not shown) is newly provided in the information processing unit 19, and the distance sensor measures the distance to the object. May be respectively measured.
  • the vergence angle is calculated by the parallax matching unit 25 based on the calculated object distance and the position of the object. These calculations are performed for each object shown in the images taken by the cameras 14 and 15.
  • the parallax matching unit 25 adds the object distance and the convergence angle calculated from the image of the camera 14 to the image captured by the camera 14, respectively. Similarly, the object distance and the convergence angle calculated from the image of the camera 15 are added to the images captured by the camera 15, respectively.
  • the parallax matching unit 25 stores the image of the camera 14 to which the distance and the convergence angle are added in the depth information storage unit 26 as the depth information for the right eye, and the image of the camera 15 to which the distance and the convergence angle are added. It is stored in the depth information storage unit 26 as the left-eye depth information described above.
  • the occlusion area calculation unit 21 obtains the distance to the object and the convergence angle from the depth information for the right eye and the depth information for the left eye stored in the depth information storage unit 26, respectively. Then, based on the distance to the acquired object, the angle of convergence, and the distance information of the CG image provided from the application, the CG image displayed on the right eye is covered by the real object and the CG image displayed on the left eye is displayed. The areas occluded by the physical objects are calculated.
  • the AR image generation unit 22 generates a CG image to be superimposed on the real scene based on the image generation data provided by the application.
  • the AR image generation unit 22 generates each CG image in which the region expressing occlusion is not displayed, based on the information of the shielding region calculated by the shielding region calculation unit 21.
  • the CG images for the right eye and the left eye generated by the AR image generation unit 22 are output to the AR display unit 23, respectively.
  • the AR display unit 23 projects the input CG image for the right eye on the lens 12 and projects the input CG image for the left eye on the lens 13.
  • a CG image for the right eye that expresses the optimal occlusion for the visual field of the right eye and a CG image for the left eye that expresses the optimal occlusion for the visual field of the left eye are displayed on lenses 12 and 13, respectively.
  • an AR image in which faithful occlusion is expressed can be provided.
  • FIG. 4 is an explanatory diagram showing an example of an AR display by the head mounted display device 10 of FIG.
  • FIG. 5 is an explanatory diagram showing an example of image processing considering binocular vision.
  • FIG. 6 is an explanatory diagram showing an example of the convergence angle.
  • FIG. 7 is an explanatory diagram showing an example of a difference in appearance of the right eye and the left eye.
  • FIG. 4 shows an example in which an AR display is made in a state where a real object 201 is behind the real object 200 and the CG image 50 is placed on the real object 201.
  • the right eye and the left eye are about 6 cm apart, so the scenery captured by the left and right eyes is slightly different. At this time, the shift amount varies depending on the distance of the object. Therefore, when performing AR display in consideration of binocular vision, it is necessary to grasp the appearance of a real object captured by the left and right eyes of the user.
  • the vergence angle is larger when the object 204 which is closer is seen than when the object 203 which is far away is seen.
  • the area of the object 203 where the right eye and the left eye can see changes due to the change of the convergence angle, and thus the change of the occluded area of the CG image caused by the difference in the view area caused by the convergence angle. Need to consider.
  • the camera 14 provided so that the center of the lens is substantially the same as the center of the right eye of the user and the camera 15 provided so that the center of the lens is substantially the same as the center of the left eye of the user. Take each image. As a result, it is possible to capture an image that is substantially the same as how the user sees the real object with the left and right eyes.
  • the images captured by the cameras 14 and 15 are similar to the images captured by the left and right eyes of humans, and as shown in the upper part of FIG. 5, the image captured by the camera 14 for the right eye is mainly the real object 201. Of the image captured by the camera 15 for the left eye, the right side of the real object 201 is mainly hidden by the real object 200.
  • the occluding area of the CG image 50 superimposed from the image acquired by the camera 14 and the occluding area of the CG image 50 overlapping from the image captured by the camera 15 are calculated, respectively, for the right eye.
  • the CG image for the left eye are individually generated and displayed.
  • the user can browse the AR image in which the faithful occlusion is expressed.
  • the CG image may be displayed on the lenses 12 and 13 by adjusting the resolution, in other words, the blur amount of the CG image, according to the distance information of the CG image provided from the application. As a result, a more natural CG image can be displayed.
  • the depth information storage unit 26 stores the blur amount information having the distance of the CG image and the blur amount associated with the distance.
  • the AR image generation unit 22 acquires the distance of the CG image from the distance information of the CG image provided by the application. Then, the blur amount information stored in the depth information storage unit 26 is searched, and the blur amount that matches or is close to the blur amount corresponding to the acquired distance is extracted.
  • the blur information indicates, for example, the amount of blurring the contour line of the CG image, and the process of blurring the contour line of the CG image is performed based on the blur information.
  • the CG image can be blurred like a distant view, so that there is no discomfort such that the CG image is clearly displayed even though it is a CG image displayed in the distance, and a more natural AR image is presented to the user. Can be provided.
  • the blur amount information is information having the display distance and size of CG images and the blur amount associated with the distance and size of those CG images.
  • the AR image generation unit 22 acquires the distance of the CG image from the distance information of the CG image provided by the application, and acquires the size information of the CG image from the image generation data of the CG image also provided by the application.
  • the blur amount information stored in the depth information storage unit 26 is searched, and the blur amount that matches or is close to the blur amount corresponding to the acquired distance and size is extracted. Based on the extracted blur information, processing for fitting the contour line of the CG image is performed.

Abstract

ヘッドマウントディスプレイ装置などによるＡＲ表示において両眼視であっても忠実にオクルージョンを表現する。ヘッドアップディスプレイ装置１０は、レンズ１２、レンズ１３、カメラ１４、カメラ１５、および情報処理部１６を有する。レンズ１２は、右目用のＣＧ画像を表示する。レンズ１３は、左目用のＣＧ画像を表示する。カメラ１４は、右目用の画像を撮影する。カメラ１５は、左目用の画像を撮影する。情報処理部１６は、カメラ１４，１５が撮影した画像から右目で見た際のオクルージョンを表現した右目用のＣＧ画像および左目で見た際のオクルージョンを表現した左目用のＣＧ画像をそれぞれ生成して、生成した右目用の前記ＣＧ画像および左目用のＣＧ画像をレンズ１２，１３にそれぞれ投射する。カメラ１４のレンズの中心は、レンズ１２の中心と同じ位置に設けらる。カメラ１５のレンズの中心は、レンズ１３の中心と同じ位置に設けられる。

Description

ヘッドマウントディスプレイ装置
　本発明は、ヘッドマウントディスプレイ装置に関し、特に、ＡＲ（Augmented Reality：拡張現実）表示における忠実なオクルージョンの表現に有効な技術に関する。
　近年、ＡＲを利用した様々なサービスの提案がされている。ＡＲは、コンピュータ、または携帯型計算機などが作成する画像を画面の全体あるいは実写画像の一部に重ねて表示させる技術である。
　３次元空間では、上下や左右の他に前後関係がある。よって、手前にある物体が背後にある物体を隠して見えないようにする状態、すなわちオクルージョンが発生する。
　ＡＲによる表示において、ユーザに違和感のないＡＲ画像を提供するためには、３次元映像の処理などによって上述したオクルージョンを忠実に表現することが重要となる。
　この種のオクルージョンを考慮したＡＲの画像処理技術としては、例えばオクルージョンを表現する際に現実物体に隠れるＣＧ（Computer Graphics）画像領域を楕円状に切り取ることによって、オクルージョン処理を行うものが知られている（例えば特許文献１参照）。
米国特許出願公開第２０１２／２０６４５２号明細書
　上述したオクルージョン処理は、例えばスマートフォンやタブレットなどにＡＲ表示を行う単一視（Single Vison）の場合、単純に現実物体とＣＧ画像との距離関係に応じてオクルージョンを表現すればよい。
　しかし、ＡＲグラスなどの両眼視（Binocular Vision）によるヘッドマウントディスプレイ装置の場合、ＡＲ表示において忠実にオクルージョンを表現するには、両眼の視差や輻輳角などを考慮する必要があり、単一視のオクルージョン処理を適用するだけでは、不自然なＡＲ画像になってしまうという問題がある。
　また、上述した特許文献１のオクルージョンの処理技術では、ユーザの両眼視差や輻輳角などによる見え方の違いなどを考慮した処理が行われていない、また、現実物体の輪郭に沿って現実物体に隠れるＣＧ画像領域を切り取るのではなく、該ＣＧ画像領域を楕円状に切り取るために、現実物体とＣＧ画像との隙間の表示が不自然になってしまうという問題がある。
　本発明の目的は、ヘッドマウントディスプレイ装置などによるＡＲ表示において両眼視であっても忠実にオクルージョンを表現することのできる技術を提供することにある。
　本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。
　本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。
　すなわち、代表的なヘッドマウントディスプレイ装置は、第１のレンズ、第２のレンズ、第１のカメラ、第２のカメラ、および情報処理部を有する。第１のレンズは、右目用のＣＧ画像を表示する。第２のレンズは、左目用のＣＧ画像を表示する。第１のカメラは、右目用の画像を撮影する。第２のカメラは、左目用の画像を撮影する。
　情報処理は、第１のカメラおよび第２のカメラが撮影した画像から右目で見た際のオクルージョンを表現した右目用のＣＧ画像および左目で見た際のオクルージョンを表現した左目用のＣＧ画像をそれぞれ生成して、生成した右目用のＣＧ画像を第１のレンズに投射し、生成した左目用のＣＧ画像を第２のレンズに投射する。
　そして、第１のカメラのレンズの中心は、第１のレンズの中心(装着者の瞳の中心)と同じ位置に設けられている。第２のカメラのレンズの中心は、第２のレンズの中心(装着者の瞳の中心)と同じ位置に設けられている。
　特に、情報処理部は、第１の情報生成部、第２の情報生成部、第１の遮蔽領域計算部、第２の遮蔽領域計算部、画像生成部、および表示部を有する。
　第１の情報生成部は、第１のカメラおよび第２のカメラが撮影した画像から第１のレンズに表示するＣＧ画像と現実環境との遮蔽関係を示すオクルージョン情報を生成する。第２の情報生成部は、第１のカメラおよび第２のカメラが撮影した画像から第２のレンズに表示するＣＧ画像と現実環境との遮蔽関係を示すオクルージョン情報を生成する。
　第１の遮蔽領域計算部は、第１の情報生成部が生成したオクルージョン情報に基づいて、第１のレンズに表示されるＣＧ画像を右目で見た際にＣＧ画像が物体に遮蔽される遮蔽領域を計算する。
第２の遮蔽領域計算部は、第２の情報生成部が生成したオクルージョン情報に基づいて、第２のレンズに表示されるＣＧ画像を左目で見た際にＣＧ画像が物体に遮蔽される遮蔽領域を計算する。
　画像生成部は、ＣＧ画像を生成するＣＧ画像生成データに基づいて、第１の遮蔽領域計算部が算出した遮蔽領を表示しない右目用のＣＧ画像および第２の遮蔽領域計算部が算出した遮蔽領を表示しない左目用のＣＧ画像をそれぞれ生成する。表示部は、画像生成部が生成した右目用のＣＧ画像および左目用のＣＧ画像を第１のレンズおよび第２のレンズに投射する。
　本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。
　両眼視のＡＲ表示において、忠実なオクルージョンを再現することができる。
一実施の形態によるヘッドマウントディスプレイ装置における構成の一例を示す説明図である。 図１のヘッドマウントディスプレイ装置が有する制御処理部における構成の一例を示す説明図である。 図２の制御処理部が有する情報処理部における構成の一例を示す説明図である。 図１のヘッドマウントディスプレイ装置によるＡＲ表示の一例を示した説明図である。 両眼視を考慮した画像処理の一例を示した説明図である。 輻輳角の一例を示す説明図である。 右目および左目の見え方の違いの一例を示す説明図である。
　実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
　以下、実施の形態を詳細に説明する。
　〈ヘッドマウントディスプレイ装置の構成例〉
　図１は、一実施の形態によるヘッドマウントディスプレイ装置１０における構成の一例を示す説明図である。
　ヘッドマウントディスプレイ装置１０は、図１に示すように、筐体１１、レンズ１２，１３、カメラ１４，１５、および情報処理部１６を有する。筐体１１は、眼鏡フレームを構成する。
　第１のレンズであるレンズ１２および第２のレンズであるレンズ１３は、筐体１１のリムにそれぞれ固定されている。リムに固定される各々のレンズ１２，１３は、ヘッドマウントディスプレイ装置１０を使用するユーザの左右の目にそれぞれ対応するように設けられている。
　レンズ１２を固定するリムの上部には、第１のカメラであるカメラ１４が設けられており、レンズ１３を固定するリムの上部には、第２のカメラであるカメラ１５が設けられている。これらカメラ１４，１５は、例えばステレオカメラである。ステレオカメラは、２つのカメラの視差を利用して、被写体を撮影する。
　カメラ１４は、ユーザの右目に対応するカメラであり、カメラ１５は、ユーザの左目に対応するカメラである。これらカメラ１４，１５は、画像をそれぞれ撮影する。
　また、カメラ１４のレンズの中心は、レンズ１２の中心とほぼ同じとなる位置に設けられている。言い換えれば、カメラ１４のレンズの中心は、ユーザの右目の瞳の中心とほぼ同じとなる。
　同様に、カメラ１５のレンズの中心は、レンズ１３の中心とほぼ同じとなる位置に設けられている。言い換えれば、カメラ１５のレンズの中心は、ユーザの右目の瞳の中心とほぼ同じとなる。
　図２は、図１のヘッドマウントディスプレイ装置１０が有する制御処理部１６における構成の一例を示す説明図である。
　制御処理部１６は、図２に示すように、操作入力部１７、制御部１８、情報処理部１９、および通信部３０から構成されている。これら操作入力部１７、制御部１８、情報処理部１９、通信部３０、および図１のカメラ１４，１５は、バス３１によって相互に接続されている。
　操作入力部１７は、例えばタッチセンサなどからなるユーザインタフェースである。タッチセンサは、該タッチセンサに接触するユーザの指などの位置を静電的に検出する静電容量方式のタッチパネルなどからなる。
　制御部１８は、ヘッドマウントディスプレイ装置１０における制御を司る。情報処理部１９は、ＣＧ画像を生成してレンズ１２，１３に表示させる。この情報処理部１９は、例えば筐体１１のブリッジ部分などに設けられている。情報処理部１６の配置は、特に制限なく、例えば筐体１１のテンプル部分などに情報処理部１６を設けるようにしてもよい。
　情報処理部１６が生成したＣＧ画像は、レンズ１２，１３に投射される。投射されたＣＧ画像は、レンズ１２，１３によってそれぞれ拡大されて表示される。そして、レンズ１２，１３に表示されたＣＧ画像が実画像に重ね合わされてＡＲ画像となる。
　通信部３０は、例えばBluetooth（登録商標）、またはインターネット回線などによ情報のり無線通信などを行う。
　〈情報処理部の構成例〉
　図３は、図２の制御処理部１６が有する情報処理部１９における構成の一例を示す説明図である。
　情報処理部１９は、図３に示すように、奥行き情報生成部２０、遮蔽領域計算部２１、ＡＲ画像生成部２２、およびＡＲ表示部２３から構成されている。
　第１の情報生成部および第２の情報生成部を構成する奥行き情報生成部２０は、物体までの距離および輻輳角などを算出して格納する。この奥行き情報生成部２０は、視差マッチング部２５およびデプス情報格納部２６を有する。
　視差マッチング部２５は、図１のカメラ１４，１５が撮影した画像のすべての物体における物体距離および輻輳角をそれぞれ算出する。カメラ１４，１５が撮影した画像は、バス３１を介して入力される。
　物体距離とは、カメラ１４，１５から物体までの距離であり、言い換えれば、物体の深度情報である。輻輳角は、両目から放たれた視線が注視する物体にて織りなす角度である。この輻輳角は、例えば物体距離と該物体の画像上の位置情報とから算出することができる。
　デプス情報格納部２６は、例えばフラッシュメモリなどに例示される半導体メモリからなり、右目用デプス情報および左目用デプス情報を格納する。右目用デプス情報は、カメラ１４が撮影した画像に視差マッチング部２５が算出した物体距離および輻輳角をそれぞれ付加した情報である。左目用デプス情報は、カメラ１５が撮影した画像に視差マッチング部２５が算出した物体距離および輻輳角をそれぞれ付加した情報である。
　第１の遮蔽領域計算部および第２の遮蔽領域計算部を構成する遮蔽領域計算部２１には、デプス情報格納部２６に格納される右目用デプス情報、左目用デプス情報、および表示するＣＧ画像の距離情報に基づいて、右目用のＣＧ画像の遮蔽領域と左目用のＣＧ画像の遮蔽領域とをそれぞれ計算する。遮蔽領域とは、オクルージョンを表現するために表示するＣＧ画像の一部を表示させない領域である。
　画像生成部であるＡＲ画像生成部２２は、遮蔽領域計算部２１が計算した右目用のＣＧ画像の遮蔽領域、左目用のＣＧ画像の遮蔽領域、および画像生成データに基づいて、右目用のＣＧ画像と左目用のＣＧ画像とをそれぞれ生成する。
　上述したＣＧ画像の距離情報は、表示するＣＧ画像の距離や位置などを示す情報である。画像生成データは、表示するＣＧ画像を生成する際に必要なデータであり、例えばＣＧ画像の形状や配色などのデータである。
　これら距離情報および画像生成データは、例えば外部から入力されるアプリケーションによって提供される。アプリケーションは、例えば制御処理部１９が有する通信部３０を通じて取得する。あるいは、情報処理部１９に図示しないメモリを設け、該メモリに予め外部から入力されるアプリケーションを格納するようにしてもよい。
　表示部であるＡＲ表示部２３は、ＡＲ画像生成部２２が生成した右目用のＣＧ画像および左目用のＣＧ画像をレンズ１２，１３にそれぞれ照射して描画する光学系である。
　〈ヘッドマウントディスプレイ装置の動作例〉
　次に、ヘッドマウントディスプレイ装置１０の動作について説明する。
　まず、カメラ１４，１５が画像を撮影する。カメラ１４，１５によって撮影された画像は、奥行き情報生成部２０が有する視差マッチング部２５に入力される。視差マッチング部２５は、物体距離および輻輳角をカメラ１４，１５が撮影した画像からそれぞれ算出する。
　物体距離は、視差マッチング部２５がカメラ１４，１５が撮影したそれぞれの画像の位置の差を三角測量などによって計算することによって算出する。あるいは、ステレオカメラを構成するカメラ１４，１５の画像から物体までの距離を算出するのではなく、例えば情報処理部１９に図示しない距離センサなどを新たに設けて、該距離センサによって物体までの距離をそれぞれ測距するようにしてもよい。
　輻輳角は、算出した物体距離とその物体の位置に基づいて、視差マッチング部２５が算出する。これらの算出は、カメラ１４，１５が撮影した画像に写っている物体毎に行う。
　その後、視差マッチング部２５は、カメラ１４の画像から算出した物体距離および輻輳角をカメラ１４が撮影した画像にそれぞれ付加する。同様に、カメラ１５の画像から算出した物体距離および輻輳角をカメラ１５が撮影した画像にそれぞれ付加する。
　そして、視差マッチング部２５は、距離および輻輳角が付加されたカメラ１４の画像を上述した右目用デプス情報としてデプス情報格納部２６に格納し、距離および輻輳角が付加されたカメラ１５の画像を上述した左目用デプス情報としてデプス情報格納部２６に格納する。
　遮蔽領域計算部２１は、デプス情報格納部２６に格納された右目用デプス情報および左目用デプス情報から物体まで距離と輻輳角とをそれぞれ取得する。その後、取得した物体まで距離、輻輳角、およびアプリケーションから提供されるＣＧ画像の距離情報に基づいて、右目に表示されるＣＧ画像が現実物体に遮蔽される領域および左目に表示されるＣＧ画像が現実物体に遮蔽される領域をそれぞれ算出する。
　遮蔽領域計算部２１が算出した遮蔽領域の情報は、ＡＲ画像生成部２２にそれぞれ出力される。ＡＲ画像生成部２２は、アプリケーションから提供された画像生成データに基づいて、現実の光景に重畳するＣＧ画像を生成する。
　その際、ＡＲ画像生成部２２は、遮蔽領域計算部２１が算出した遮蔽領域の情報に基づいて、オクルージョンを表現する領域が表示されないＣＧ画像をそれぞれ生成する。
　ＡＲ画像生成部２２が生成した右目用および左目用のＣＧ画像は、ＡＲ表示部２３にそれぞれ出力される。ＡＲ表示部２３は、入力された右目用のＣＧ画像をレンズ１２に、左目用のＣＧ画像をレンズ１３にそれぞれ投射する。
　これによって、右目の視野に最適なオクルージョンが表現される右目用のＣＧ画像および左目の視野に最適なオクルージョンが表現される左目用のＣＧ画像をそれぞれレンズ１２，１３にそれぞれ表示される。その結果、忠実なオクルージョンが表現されたＡＲ画像を提供することができる。
　〈両眼視を考慮したＣＧ画像の表示について〉
　図４は、図１のヘッドマウントディスプレイ装置１０によるＡＲ表示の一例を示した説明図である。図５は、両眼視を考慮した画像処理の一例を示した説明図である。図６は、輻輳角の一例を示す説明図である。図７は、右目および左目の見え方の違いの一例を示す説明図である。
　図４は、現実物体２００の後方に現実物体２０１があり、現実物体２０１にＣＧ画像５０が載置されている状態のＡＲ表示がなされている例を示している。
　人間は、右目と左目とが６ｃｍ程度離れているため、左右の目が捉える景色はわずかにずれいている。このとき、ずれ量は、物体の距離に応じて異なる。よって、両眼視を考慮したＡＲ表示を行う場合には、ユーザの左右の目が捉える現実物体の見え方を把握する必要がある。
　また、図６に示すように、輻輳角は、遠くにある物体２０３を見るときの輻輳角θ１よりもより近くにある物体２０４を見るときの輻輳角θ２の方が大きくなる。輻輳角が変化することによって、図７に示すように、右目および左目の見える物体２０３の領域についても変化するため、輻輳角によって生じる見える領域の違いから発生するＣＧ画像の遮蔽領域の変化についても考慮する必要がある。
　そこで、上述したようにレンズの中心がユーザの右目の中心とほぼ同じとなるように設けられたカメラ１４およびレンズの中心がユーザの左目の中心とほぼ同じとなるように設けられたカメラ１５によって画像をそれぞれ撮影する。これにより、ユーザの左右の目による現実物体の見え方とほぼ同様の画像を捉えることができる。
　上述したように、ユーザが図４の現実物体２００，２０１を見た場合、左右の目によって現実物体２００の隠れ方が異なる。よって、図４の現実物体２００，２０１をカメラ１４，１５が撮影する場合も、左右の目によって捉えられる画像とほぼ同様の画像が取得されるようにする。
　例えば　図４の現実物体２００，２０１を人間の右目が捉えた場合には、主に現実物体２０１の左側が現実物体２００によって隠されるように見える。左目が捉えた場合には、主に現実物体２０１の右側が現実物体２００によって隠れるように見える。
　カメラ１４，１５が撮影した画像についても、人間の左右の目によって捉えられる画像と同様であり、図５の上方に示すように、右目用のカメラ１４が捉えた画像は、主に現実物体２０１の左側が現実物体２００によって隠され、左目用のカメラ１５が捉えた画像は、主に現実物体２０１の右側が現実物体２００によって隠される。
　そして、図５の下方に示すように、カメラ１４が取得した画像から重畳するＣＧ画像５０の遮蔽領域およびカメラ１５が撮影した画像から重畳するＣＧ画像５０の遮蔽領域をそれぞれ算出して、右目用のＣＧ画像と左目用のＣＧ画像とをそれぞれ個別に生成して表示する。
　このように、左右の視野の遮蔽関係を考慮した右目用のＣＧ画像および左目用のＣＧ画像をそれぞれ生成して表示することにより、ユーザは、忠実なオクルージョンが表現されるＡＲ画像を閲覧することができる。
　以上により、ユーザにとって違和感のない、自然なＡＲ画像を提供することができる。
　〈ＣＧ画像生成の他の例〉
　また、ＣＧ画像は、アプリケーションから提供されるＣＧ画像の距離情報に応じて、解像度、言い換えれば該ＣＧ画像のぼけ量を調節してレンズ１２，１３に表示するようにしてもよい。これによって、より自然なＣＧ画像を表示することができる。
　この場合、デプス情報格納部２６には、ＣＧ画像の距離と、該距離に紐付けられたぼけ量とを有するぼけ量情報が格納されている。ＡＲ画像生成部２２は、アプリケーションから提供されるＣＧ画像の距離情報からＣＧ画像の距離を取得する。そして、デプス情報格納部２６に格納されるぼけ量情報を検索して、取得した距離に該当するぼけ量に一致、または近いぼけ量を抽出する。
　そして、抽出したぼけ量に基づいて、ＣＧ画像をぼけ処理を行う。ぼけ情報は、例えばＣＧ画像の輪郭線をにじませる量を示しており、そのぼけ情報に基づいて、ＣＧ画像の輪郭線をにじませる処理を行う。
　これによって、遠景と同様にＣＧ画像をぼかすことができるので、遠くに表示されるＣＧ画像であるのに該ＣＧ画像がはっきりと表示されるなどの違和感がなくなり、より自然なＡＲ画像をユーザに提供することができる。
　また、ＣＧ画像の距離情報のみを用いてぼけ量を決定するのではなく、ＣＧ画像の大きさなども考慮したぼけ量情報を用いてＣＧ画像を生成することにより、距離情報だけの場合に比べて、より遠景に馴染む自然なぼけとなるＡＲ画像を提供することができる。
　この場合、ぼけ量情報は、ＣＧ画像の表示距離および大きさと、それらＣＧ画像の距離および大きさに紐付けられたぼけ量とを有する情報となる。ＡＲ画像生成部２２は、アプリケーションから提供されるＣＧ画像の距離情報からＣＧ画像の距離を取得し、同じくアプリケーションから提供されるＣＧ画像の画像生成データからＣＧ画像の大きさの情報を取得する。
　そして、デプス情報格納部２６に格納されるぼけ量情報を検索して、取得した距離および大きさに該当するぼけ量に一致、または近いぼけ量を抽出する。抽出したそのぼけ情報に基づいて、ＣＧ画像の輪郭線を馴染ませる処理を行う。
　以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
１０　ヘッドマウントディスプレイ装置
１１　筐体
１２　レンズ
１３　レンズ
１４　カメラ
１５　カメラ
１６　制御処理部
１７　操作入力部
１８　制御部
１９　情報処理部
１９　情報処理部
２０　情報生成部
２１　遮蔽領域計算部
２２　ＡＲ画像生成部
２３　ＡＲ表示部
２５　視差マッチング部
２６　デプス情報格納部
３０　通信部
５０　ＣＧ画像

Claims (6)

  1. 　右目用のＣＧ画像を表示する第１のレンズと、
    　左目用のＣＧ画像を表示する第２のレンズと、
    　右目用の画像を撮影する第１のカメラと、
    　左目用の画像を撮影する第２のカメラと、
    　前記第１のカメラおよび前記第２のカメラが撮影した画像から右目で見た際のオクルージョンを表現した右目用のＣＧ画像および左目で見た際のオクルージョンを表現した左目用のＣＧ画像をそれぞれ生成して、生成した右目用の前記ＣＧ画像を前記第１のレンズに投射し、生成した左目用の前記ＣＧ画像を前記第２のレンズに投射する情報処理部と、
    　を有し、
    　前記第１のカメラのレンズの中心は、前記第１のレンズの中心と同じ位置に設けられ、
    　前記第２のカメラのレンズの中心は、前記第２のレンズの中心と同じ位置に設けられる、ヘッドマウントディスプレイ装置。
  2. 　請求項１記載のヘッドマウントディスプレイ装置において、
    　前記情報処理部は、
    　前記第１のカメラおよび前記第２のカメラが撮影した画像から前記第１のレンズに表示する前記ＣＧ画像と現実環境との遮蔽関係を示すオクルージョン情報を生成する第１の情報生成部と、
    　前記第１のカメラおよび前記第２のカメラが撮影した画像から前記第２のレンズに表示する前記ＣＧ画像と現実環境との遮蔽関係を示すオクルージョン情報を生成する第２の情報生成部と、
    　前記第１の情報生成部が生成した前記オクルージョン情報に基づいて、前記第１のレンズに表示されるＣＧ画像を右目で見た際に前記ＣＧ画像が物体に遮蔽される遮蔽領域を計算する第１の遮蔽領域計算部と、
    　前記第２の情報生成部が生成した前記オクルージョン情報に基づいて、前記第２のレンズに表示されるＣＧ画像を左目で見た際に前記ＣＧ画像が物体に遮蔽される遮蔽領域を計算する第２の遮蔽領域計算部と、
    　前記ＣＧ画像を生成するＣＧ画像生成データに基づいて、前記第１の遮蔽領域計算部が算出した前記遮蔽領域を表示しない右目用のＣＧ画像および前記第２の遮蔽領域計算部が算出した前記遮蔽領域を表示しない左目用のＣＧ画像をそれぞれ生成する画像生成部と、
    　前記画像生成部が生成した右目用の前記ＣＧ画像および左目用の前記ＣＧ画像を前記第１のレンズおよび前記第２のレンズに投射する表示部と、
    　を有する、ヘッドマウントディスプレイ装置。
  3. 　請求項２記載のヘッドマウントディスプレイ装置において、
    　前記第１の情報生成部および前記第２の情報生成部が生成する前記オクルージョン情報は、前記第１のカメラおよび前記第２のカメラから物体までの距離を示す物体距離と、両目にて物体を注視した際に前記物体にて両眼の視線が交差する角度である輻輳角とを含む、ヘッドマウントディスプレイ装置。
  4. 　請求項３記載のヘッドマウントディスプレイ装置において、
    　前記画像生成部は、前記オクルージョン情報に含まれる前記物体距離および前記輻輳角に基づいて、右目用のＣＧ画像および左目用のＣＧ画像の前記遮蔽領域をそれぞれ算出する、ヘッドマウントディスプレイ装置。
  5. 　請求項４記載のヘッドマウントディスプレイ装置において、
    　前記第１の情報生成部および前記第２の情報生成部が生成する前記オクルージョン情報は、表示する前記ＣＧ画像の距離情報に応じて設定されるぼけ量を含み、
    　前記画像生成部は、ＣＧ画像の表示距離に見合ったぼけ量を前記オクルージョン情報から取得して、取得した前記ぼけ量に応じて、前記遮蔽領域を表示しない右目用のＣＧ画像および前記遮蔽領域を表示しない左目用のＣＧ画像の輪郭をぼかす処理を行い、
    　前記ＣＧ画像の表示距離は、前記ＣＧ画像生成データに含まれる情報である、ヘッドマウントディスプレイ装置。
  6. 　請求項４記載のヘッドマウントディスプレイ装置において、
    　前記第１の情報生成部および前記第２の情報生成部が生成する前記オクルージョン情報は、表示する前記ＣＧ画像の距離情報および大きさに応じて設定されるぼけ量を含み、
    　前記画像生成部は、ＣＧ画像の表示距離および大きさに見合ったぼけ量を前記オクルージョン情報から取得して、取得した前記ぼけ量に応じて、前記遮蔽領域を表示しない右目用のＣＧ画像および前記遮蔽領域を表示しない左目用のＣＧ画像の輪郭をぼかす処理を行い、
    　前記ＣＧ画像の表示距離および大きさは、前記ＣＧ画像生成データに含まれる距離情報に応じて生成される、ヘッドマウントディスプレイ装置。
PCT/JP2018/044569 2018-12-04 2018-12-04 ヘッドマウントディスプレイ装置 WO2020115815A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
PCT/JP2018/044569 WO2020115815A1 (ja) 2018-12-04 2018-12-04 ヘッドマウントディスプレイ装置
JP2020558712A JP7148634B2 (ja) 2018-12-04 2018-12-04 ヘッドマウントディスプレイ装置
CN201880099966.1A CN113170090A (zh) 2018-12-04 2018-12-04 头戴式显示装置
US17/299,114 US11582441B2 (en) 2018-12-04 2018-12-04 Head mounted display apparatus
JP2022151752A JP2022183177A (ja) 2018-12-04 2022-09-22 ヘッドマウントディスプレイ装置
US18/150,431 US11956415B2 (en) 2018-12-04 2023-01-05 Head mounted display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/044569 WO2020115815A1 (ja) 2018-12-04 2018-12-04 ヘッドマウントディスプレイ装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/299,114 A-371-Of-International US11582441B2 (en) 2018-12-04 2018-12-04 Head mounted display apparatus
US18/150,431 Continuation US11956415B2 (en) 2018-12-04 2023-01-05 Head mounted display apparatus

Publications (1)

Publication Number Publication Date
WO2020115815A1 true WO2020115815A1 (ja) 2020-06-11

Family

ID=70975335

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/044569 WO2020115815A1 (ja) 2018-12-04 2018-12-04 ヘッドマウントディスプレイ装置

Country Status (4)

Country Link
US (2) US11582441B2 (ja)
JP (2) JP7148634B2 (ja)
CN (1) CN113170090A (ja)
WO (1) WO2020115815A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022123723A1 (ja) * 2020-12-10 2022-06-16 マクセル株式会社 携帯端末および電子メガネ

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113170090A (zh) * 2018-12-04 2021-07-23 麦克赛尔株式会社 头戴式显示装置
US20240062483A1 (en) * 2022-08-22 2024-02-22 Samsung Electronics Co., Ltd. Method and device for direct passthrough in video see-through (vst) augmented reality (ar)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10112831A (ja) * 1996-10-07 1998-04-28 Minolta Co Ltd 実空間画像と仮想空間画像の表示方法及び表示装置
JPH10327433A (ja) * 1997-05-23 1998-12-08 Minolta Co Ltd 合成画像の表示装置
JP2006209664A (ja) * 2005-01-31 2006-08-10 Canon Inc システム、画像処理装置、情報処理方法
US20120206452A1 (en) * 2010-10-15 2012-08-16 Geisner Kevin A Realistic occlusion for a head mounted augmented reality display
JP2015230695A (ja) * 2014-06-06 2015-12-21 キヤノン株式会社 情報処理装置及び情報処理方法
US20180275410A1 (en) * 2017-03-22 2018-09-27 Magic Leap, Inc. Depth based foveated rendering for display systems

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1686554A3 (en) 2005-01-31 2008-06-18 Canon Kabushiki Kaisha Virtual space generating system, image processing apparatus and information processing method
US20150156481A1 (en) * 2009-03-19 2015-06-04 Real Time Companies Heads up display (hud) sensor system
KR101828805B1 (ko) * 2011-07-07 2018-03-29 삼성전자주식회사 스테레오 카메라의 3차원 줌 영상 생성 방법 및 장치
US20130141419A1 (en) 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
US9720505B2 (en) * 2013-01-03 2017-08-01 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
US9239460B2 (en) * 2013-05-10 2016-01-19 Microsoft Technology Licensing, Llc Calibration of eye location
JP5916248B2 (ja) 2014-02-25 2016-05-11 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像生成方法、プログラムおよびコンピュータ読取り可能な情報記憶媒体
US10306217B2 (en) * 2015-04-17 2019-05-28 Seiko Epson Corporation Display device, control method for display device, and computer program
EP3519892B1 (en) * 2016-09-27 2020-12-16 Snap Inc. Eyewear device mode indication
JP6891600B2 (ja) 2017-03-31 2021-06-18 富士通株式会社 情報処理装置
GB201709199D0 (en) * 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
CN113170090A (zh) * 2018-12-04 2021-07-23 麦克赛尔株式会社 头戴式显示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10112831A (ja) * 1996-10-07 1998-04-28 Minolta Co Ltd 実空間画像と仮想空間画像の表示方法及び表示装置
JPH10327433A (ja) * 1997-05-23 1998-12-08 Minolta Co Ltd 合成画像の表示装置
JP2006209664A (ja) * 2005-01-31 2006-08-10 Canon Inc システム、画像処理装置、情報処理方法
US20120206452A1 (en) * 2010-10-15 2012-08-16 Geisner Kevin A Realistic occlusion for a head mounted augmented reality display
JP2015230695A (ja) * 2014-06-06 2015-12-21 キヤノン株式会社 情報処理装置及び情報処理方法
US20180275410A1 (en) * 2017-03-22 2018-09-27 Magic Leap, Inc. Depth based foveated rendering for display systems

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022123723A1 (ja) * 2020-12-10 2022-06-16 マクセル株式会社 携帯端末および電子メガネ

Also Published As

Publication number Publication date
CN113170090A (zh) 2021-07-23
US20220060680A1 (en) 2022-02-24
US11956415B2 (en) 2024-04-09
JP7148634B2 (ja) 2022-10-05
US20230156176A1 (en) 2023-05-18
US11582441B2 (en) 2023-02-14
JP2022183177A (ja) 2022-12-08
JPWO2020115815A1 (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
JP7094266B2 (ja) 単一深度追跡型の遠近調節－両眼転導ソリューション
JP6023801B2 (ja) シミュレーション装置
JP4794678B1 (ja) 映像処理装置、映像処理方法、および映像通信システム
US11956415B2 (en) Head mounted display apparatus
WO2014128752A1 (ja) 表示制御装置、表示制御プログラム、および表示制御方法
JP2014219621A (ja) 表示装置、表示制御プログラム
JP2017204674A (ja) 撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
WO2014128748A1 (ja) キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法
WO2014128751A1 (ja) ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法
JP6576639B2 (ja) 電子眼鏡および電子眼鏡の制御方法
WO2014128750A1 (ja) 入出力装置、入出力プログラム、および入出力方法
JP6509101B2 (ja) 眼鏡状の光学シースルー型の両眼のディスプレイにオブジェクトを表示する画像表示装置、プログラム及び方法
JP6446465B2 (ja) 入出力装置、入出力プログラム、および入出力方法
WO2019048819A1 (en) METHOD FOR MODIFYING AN IMAGE ON A COMPUTER DEVICE
US11543655B1 (en) Rendering for multi-focus display systems
JP6479835B2 (ja) 入出力装置、入出力プログラム、および入出力方法
KR20140115637A (ko) 다수 사용자에 입체 영상을 제공하는 시스템 및 그 방법
WO2019138515A1 (ja) 画像作成装置、眼鏡レンズ選択システム、画像作成方法およびプログラム
US20220232201A1 (en) Image generation system and method
KR20180108314A (ko) 사용자 인터렉션 정보를 반영하여 입체영상을 재생하는 방법 및 장치
JP6814686B2 (ja) 立体画像表示制御装置、立体画像表示制御方法及び立体画像表示制御プログラム
WO2023146882A1 (en) Display system with machine learning (ml) based stereoscopic view synthesis over a wide field of view
JP2016133541A (ja) 電子眼鏡および電子眼鏡の制御方法
CN111913568A (zh) 与配置显示设备相关的技术
JP6479836B2 (ja) 入出力装置、入出力プログラム、および入出力方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18942504

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020558712

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18942504

Country of ref document: EP

Kind code of ref document: A1