WO2022044124A1 - ３次元仮想現実表示装置、ヘッドマウントディスプレイ、および３次元仮想現実表示方法 - Google Patents

３次元仮想現実表示装置、ヘッドマウントディスプレイ、および３次元仮想現実表示方法 Download PDF

Info

Publication number
WO2022044124A1
WO2022044124A1 PCT/JP2020/032034 JP2020032034W WO2022044124A1 WO 2022044124 A1 WO2022044124 A1 WO 2022044124A1 JP 2020032034 W JP2020032034 W JP 2020032034W WO 2022044124 A1 WO2022044124 A1 WO 2022044124A1
Authority
WO
WIPO (PCT)
Prior art keywords
real object
real
dimensional virtual
image
virtual reality
Prior art date
Application number
PCT/JP2020/032034
Other languages
English (en)
French (fr)
Inventor
治 川前
万寿男 奥
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to JP2022544936A priority Critical patent/JP7532532B2/ja
Priority to PCT/JP2020/032034 priority patent/WO2022044124A1/ja
Priority to CN202080103495.4A priority patent/CN115968486A/zh
Priority to EP20951378.7A priority patent/EP4207084A4/en
Priority to US18/022,745 priority patent/US20230230333A1/en
Publication of WO2022044124A1 publication Critical patent/WO2022044124A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Definitions

  • the present invention relates to a three-dimensional virtual reality display device, a head-mounted display, and a three-dimensional virtual reality display method, and in particular, a mixed reality (MR: Mixed Reality) including a real space and a virtual reality object (AR object: Argment Reality Object). ) About the technology to experience.
  • MR Mixed Reality
  • AR object Argment Reality Object
  • Patent Document 1 states that "an information processing device that outputs a composite image obtained by synthesizing a real space image and a virtual object image to a display device specifies the position of a real object and is based on the information on the position of the specified real object.
  • a technique of "determining whether a real object is moving and outputting the composite image to be displayed on the display device so that the real object can be recognized when it is moving" (summary excerpt) is disclosed. ..
  • Patent Document 1 when the 3D AR object and the real object in the real space overlap on the line of sight from the HMD, the 3D AR object is made translucent, or the 3D AR object is hidden in the vicinity of the real object. It imposes restrictions on the display of 3D AR objects. Therefore, it may not be possible to accurately recognize the 3D AR object and perform the MR experience.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a technique capable of more accurately recognizing a three-dimensional AR object.
  • a camera that captures an image of a real space and outputs an image of a real object existing in the real space
  • a distance sensor that measures the distance from an observer in the real space to the real object
  • a display a display.
  • a processor for displaying a three-dimensional virtual real object on the display and the processor is provided by the observer when the real object is present in the line of sight for the observer to observe the three-dimensional virtual real object.
  • the distance at which the 3D virtual real object is displayed is compared with the distance from the observer to the real object, and when the real object overlaps with the 3D virtual real object, the 3D virtual reality is on the line of sight.
  • the object is displayed, and the real object image is not displayed on the line of sight, and the overlap elimination display process is performed.
  • a three-dimensional AR object can be recognized more accurately. Objectives, configurations, and effects other than those described above will be clarified in the following embodiments.
  • FIG. 1 Schematic diagram of the three-dimensional virtual reality display system according to the first embodiment External view of HMD as an example of a 3D virtual reality display device
  • Block diagram of MR support server A diagram showing a conventional 3D virtual reality display example (a diagram showing a state in which a 3DAR object and a real object overlap)
  • the figure which shows the 3D virtual reality display (the 1st overlap elimination display example) which concerns on 1st Embodiment.
  • the figure which shows the 3D virtual reality display (second overlap elimination display example) which concerns on 1st Embodiment.
  • Flowchart of MR experience program according to the first embodiment A diagram showing an example of an algorithm for determining the degree of volume overlap.
  • Flow chart of VR service server according to the first embodiment Flow chart of MR support server according to the first embodiment A diagram showing an example of a conventional 3D virtual reality display (a diagram showing a state in which a real object is in front of a 3DAR object) The figure which shows the 3D virtual reality display (4th overlap elimination display example) which concerns on 2nd Embodiment.
  • FIG. 1 A diagram showing an example of a conventional 3D virtual reality display (a diagram showing a state in which a 3DAR object and a real object overlap)
  • Diagram showing a 3DAR object table Flowchart of MR experience program according to the third embodiment
  • Block diagram of MR support server of the fourth embodiment A flowchart showing the flow of the three-dimensional virtual reality display processing of the fourth embodiment.
  • 3DAR object a three-dimensional virtual real object (hereinafter referred to as "3DAR object") created by CG (Computer Graphics) on a three-dimensional real space image (hereinafter referred to as "real space image”) obtained by taking a real space with a distance measuring camera.
  • 3D-ARO three-dimensional virtual real object
  • the camera and the distance sensor for measuring the distance are integrally configured by using the range finder 20, but the camera and another distance sensor such as an ultrasonic range finder are combined and configured. May be good.
  • the mixed reality space (MR) image which is a composite of the AR image and the background image of the real space, is used for contents such as games, maintenance work, and sales promotion.
  • MR mixed reality space
  • a subject called an AR marker is imaged from a real space image, and an AR image associated with the AR marker is superimposed on this subject area.
  • an HMD head-mounted display
  • a camera and a display are integrated is often used as hardware for displaying a three-dimensional virtual reality
  • FIG. 1 is a schematic diagram of a three-dimensional virtual reality display system according to the first embodiment.
  • the MR experience person 2 wears the HMD2a on the head and visually recognizes the MR space 1.
  • the MR experience person 3 wears the HMD3a on the head and visually recognizes the MR space 1.
  • Each of the HMDs 2a and 3a is connected to the access point 1a by wireless communication by transmitting and receiving wireless LAN signals 1b, 2b and 3b.
  • the access point 1a is arranged in the MR space 1. Then, the access point 1a is connected to the network 7 outside the MR space 1 and communicates with the HMDs 2a and 3a and the VR service server 8 and the MR support server 9 located on the network 7.
  • VR Virtual Reality
  • VR is a virtual reality space.
  • the 3DAR object 6 is a three-dimensional AR object of a car.
  • MR space 1 is a space that assumes sales promotion of a car, and is not a space limited to one specific MR experience person, but multiple people like MR experience person 2 and 3 perform MR experience at the same time. May be.
  • the MR experience person 3 is a product explainer, and may be observing the same 3DAR object 6 as the MR experience person 2 from a different direction, or is an independent observer of a 3DAR object different from the MR experience person 2. It may be a visitor.
  • the promoter does not need to display an expensive real object (car) and does not need a large space to display a plurality of cars.
  • MR non-experienced persons 4a and 4b there may be visitors of MR non-experienced persons 4a and 4b in addition to MR experienced persons 2 and 3.
  • the MR non-experienced people 4a and 4b are the families of the MR experienced people 2 and 3 and the visitors who are waiting for the MR experience.
  • the MR non-experienced people 4a and 4b did not observe the 3DAR object 6, and their movement in the MR space 1 was not restricted. Therefore, it is possible that the object is in the same position as the 3DAR object 6 like the MR non-experienced person 4b.
  • FIG. 2 is an external view of HMD2a and 3a as an example of a three-dimensional virtual reality display device.
  • the HMD2a is a video see-through type HMD. Since the HMD3a has the same configuration as the HMD2a, the description thereof will be omitted.
  • the HMD2a includes a range-finding camera 20 having parallax and a display 22. The HMD2a captures the foreground with the ranging camera 20 and displays the image captured by the ranging camera 20 on the display 22 arranged in front of the MR experience person 2 by synthesizing the 3DAR object 6 drawn by CG or the like.
  • the range-finding camera 20 includes the left camera 20a and the right camera 20b, and is a range-finding camera for measuring the distance to the object being photographed.
  • the display 22 is a flat display, and a shutter 23 is provided inside the display 22.
  • the shutter 23 opens and closes in synchronization with the display on the display 22. That is, when the image for the left eye is displayed, the left half of the display 22 is open and the right half is closed, and when the image for the right eye is displayed, the left half of the display 22 is closed and the right half is open.
  • the HMD2a corresponds to the three-dimensional display.
  • the MR experience person 2 alternately sees the displayed image in only one eye in synchronization with the displayed image.
  • the HMD2a includes a processor 24 and mounting housings 25a and 25b.
  • the HMD2a is mounted on the head by the mounting housings 25a and 25b.
  • the front real space image taken by the left camera 20a and the right camera 20b is displayed on the display 22, and the MR experience person 2 sees the real space image. Further, the display 22 superimposes the 3DAR object 6 on the real space image and projects it. At this time, the image of the AR object for the left eye is superimposed on the image captured by the left camera 20a, and the image of the AR object for the right eye is superimposed on the image captured by the right camera 20b and displayed on the display 22, as if the 3DAR object 6 were a reality. It is displayed three-dimensionally (three-dimensionally) so that it is at a predetermined distance in space.
  • the display on the HMD2a reflects the context of the distance between the real object in the real space, the MR non-experienced person 4b, the vase 5a, the window 5b and the 3DAR object 6 in FIG. For example, when a part of a real object (MR non-experienced person 4b) is in a relationship in front of a part of the 3DAR object 6, a part of the 3DAR object 6 appears to be hidden by a part of the real object (MR non-experienced person 4b). As described above, the occlusion process for processing the drawing data of the 3DAR object 6 is performed.
  • FIG. 3 is a block diagram of HMD2a.
  • the same ones as those in FIG. 2 are assigned the same numbers.
  • the processor 24 is a portion surrounded by a broken line, and the left camera 20a, the right camera 20b, the display 22, the shutter 23, the speaker 26, and the microphone 27 are connected to the processor 24.
  • the processor 24 includes a camera processor 240, an orientation sensor 241, a gyro sensor 242, an acceleration sensor 243, a wireless communication device 244, a CPU 245 (corresponding to the main processor), a RAM 246, an image RAM 247, a Flash ROM (FROM) 248, and an internal bus. Each element is connected to each other via an internal bus 249, including 249.
  • the wireless communication device 244 selects an appropriate process from several communication processes such as mobile communication such as 4G and 5G, wireless LAN, etc., and connects the HMD 2a to the network 7 via the access point 1a.
  • mobile communication such as 4G and 5G, wireless LAN, etc.
  • the FROM248 includes a basic program 250 and an MR experience program 251.
  • the CPU 245 expands these processing programs into the RAM 246 and executes them. Further, the FROM 248 stores data necessary for executing the processing program.
  • the FROM 248 may be a non-volatile memory medium other than the Flash ROM.
  • the CPU 245 stores the image data to be transmitted to the display 22 in the image RAM 247 and then reads the image data.
  • the camera processor 240 executes a distance calculation process to the subject (corresponding to a real object) of the real space image based on the images taken by the left camera 20a and the right camera 20b, and the real space image is converted into a real space image. Adds distance data to the subject.
  • the "real space image” means only an image, and the data to which the distance data is added is referred to as "real space image data”.
  • the sensor group such as the azimuth sensor 241 and the gyro sensor 242 and the acceleration sensor 243 are used to know the position of the HMD2a and the shooting direction of the ranging camera 20 (used as the line of sight of the MR experience person 2 who wears the HMD2a).
  • the HMD2a may include a part or all of the processes executed by the VR service server 8 and the MR support server 9 described below.
  • FIG. 4 is a block diagram of the VR service server 8.
  • the VR service server 8 includes a network interface (network IF) 81 such as a wired LAN, a CPU 82, a RAM 83, and a storage 84, which are connected to each other via an internal bus 85.
  • network IF network interface
  • the storage 84 may be combined with a flash ROM, a hard disk drive, or the like.
  • the storage 84 stores the VR service program 86.
  • the CPU 82 expands and executes the VR service program 86 in the RAM 83.
  • the storage 84 stores VR data 87 such as a 3DAR object.
  • the VR data 87 is data necessary for executing the VR service program 86.
  • the VR data 87 may include VR (Virtual Reality) image data in addition to the 3DAR object.
  • the VR image data is an image that replaces the entire real space image of the MR experiencers 2 and 3, and the MR experiencers 2 and 3 observe the 3DAR object 6 while feeling as if they were in another space given by the VR image data. You will be able to experience doing.
  • FIG. 5 is a block diagram of the MR support server 9.
  • the MR support server 9 includes a network IF91 such as a wired LAN, a CPU 92, a RAM 93, and a storage 94, and these are connected to each other via an internal bus 95.
  • the storage 94 may be combined with a flash ROM, a hard disk drive, or the like.
  • the storage 94 includes an MR support program 96 as a processing program.
  • the CPU 92 expands and executes the MR support program 96 in the RAM 93.
  • the storage 94 stores the background object image 97 and the real object image 98. These are the data necessary to execute the MR support program 96.
  • the background object image 97 and the real object image 98 are data for the user to perform an MR experience, and when corresponding to a plurality of users, the data divided for each user exists.
  • the real object image 98 is data obtained by detecting a moving region by a time difference or the like from a real space image received from the HMD2a and recognizing a block of regions as a real object. Further, it may be possible to detect what the real object is, for example, a person from the shape of the real object.
  • the background object image 97 is the data of the background image obtained by removing the area of the real object from the real space image, and is the data of the non-moving area of the real space image. In the area of the real object to be removed, the background image is obtained by interpolating the data when the real object does not appear in the area from the real space image retroactively. More specifically, since the background object image 97 is behind the real object image 98, it is further behind the real object image 98 at a certain point in time, that is, in the same frame (target frame) of the three-dimensional real space image consisting of a plurality of frames. The background object in is not imaged. Therefore, the MR support program 96 recognizes the real object image 98 from the target frame and extracts the background object image 97 from the other frames in which the real object image 98 is not reflected, thereby generating the background object image 97.
  • FIGS. 6A to 6D are diagrams illustrating a three-dimensional virtual reality display method.
  • FIG. 6A is a diagram showing a conventional three-dimensional virtual reality display example (a diagram showing a state in which a 3DAR object and a real object are overlapped)
  • FIG. 6B is a diagram showing a three-dimensional virtual reality display according to the first embodiment (first overlap elimination).
  • FIG. 6C is a diagram showing a three-dimensional virtual reality display (second overlap elimination display example) according to the first embodiment
  • FIG. 6D is a three-dimensional virtual reality display according to the first embodiment (display example). It is a figure which shows the 3rd overlap elimination display example).
  • FIG. 6A to 6C correspond to the area (AREA) surrounded by the broken line shown in FIG. 1.
  • a real object a real object.
  • the MR non-experienced person 4b and the 3DAR object 6 are at the same position in the distance relationship and overlap each other in the line of sight of the HMD2a.
  • the "distance relationship" here means that the HMD2a is attached as a base point. It is a distance relationship on the same line-of-sight direction of the MR experience person 2. Even if the MR experience person 2 is at the same distance, the distance relationship in which the line-of-sight directions are different is not included.
  • FIG. 6A is an image obtained by occlusion processing the overlapping MR non-experienced person 4b (real object) and the 3DAR object 6.
  • the upper part of the MR non-experienced person 4b in front of the 3DAR object 6 is displayed, but the lower part of the MR non-experienced person 4b behind the 3DAR object 6 is not displayed.
  • the MR non-experienced person 4b appears from the 3DAR object 6 (as if the upper body of a person is sitting or growing on the hood of the car), and the MR non-experienced person 4b is a 3DAR object.
  • the image becomes unnatural, which hinders the recognition of 6. Therefore, in this embodiment, the process shown in FIG. 6B or FIG. 6C is performed.
  • the occlusion process is not executed between the real object (MR non-experienced person 4b) and the 3DAR object 6 which are at the same position at the same distance.
  • the background object image 10 cut out from the background image is inserted into the area of the real object (MR non-experienced person 4b), and the background object image 10 and the 3DAR object 6 perform occlusion processing.
  • the background object image 10 is usually located at a distance farther in the same line of sight than the 3DAR object 6, and the 3DAR object 6 can be displayed without being chipped, and the background hidden in the real object (MR non-experienced person 4b). Since (for example, vase 5a) is also displayed, a natural MR experience is possible.
  • FIG. 6B first overlap elimination display
  • Image 11 in FIG. 6C is a real object (MR non-experienced person 4b) after movement.
  • the real object MR non-experienced person 4b
  • the real object is not hidden and the 3DAR object 6 and the real object (actual object 6) are not hidden.
  • the distance on the same line of sight from the MR experienced person 2 may be different, such as in the distance or in the vicinity. In that case, it is possible to visually recognize the real object (MR non-experienced person 4b) in a natural size by reducing the scale or processing it to a large scale according to the distance from the MR experience person 2. Become.
  • FIG. 6D is an example in which the VR image data 6a replaces the real space image (third overlap elimination display example).
  • the VR image data 6a is on the back surface of the 3DAR object 6, the 3DAR object 6 is displayed with the VR image 6a as the background.
  • an image combining various backgrounds and the 3DAR object 6 can be displayed, and the experiencer can display the image. It is possible to visually recognize the 3DAR object 6 in various scenes.
  • the images may be gradually combined and changed, or processing such as wipe processing may be performed.
  • FIG. 7A is a flowchart of the MR experience program 251 according to the first embodiment.
  • the MR experience person 2 starts the MR experience program 251 stored in the HMD2a (S101), and logs in to the VR service server 8 and the MR support server 9.
  • the operation during execution of the MR experience program 251 by HMD2a will be described in step order.
  • processing when the MR non-experienced person 4b as a real object overlaps or does not overlap with the 3DAR object 6 of the car will be described as an example.
  • HMD2a starts camera shooting (S102).
  • Distance data to a real object is attached to the image taken by the distance measuring camera 20.
  • a moving image may be shot at 30 fps (frame per second) to generate 3D real space image data in which multiple frames are arranged in chronological order, and the shot image may be captured. It may be executed in synchronization with the camera shooting cycle.
  • the HMD2a transmits the three-dimensional real space image data to the MR support server 9 via the wireless communication device 244 (S103).
  • the MR support server 9 separates the real object image (MR non-experienced person 4b) and the background object image (for example, vase 5a, window 5b) from the real space image as described later.
  • the HMD2a transmits a transmission request for drawing data (included in the VR data 87) of the 3DAR object 6 to the VR service server 8 (S104).
  • the HMD2a receives at least one, preferably all real object image data (including the real object image and its distance data) extracted from the real space image from the MR support server 9 (S105), and the VR service server. 8 to 3DAR object (3DAR object 6 in this example) drawing data and VR image data are received (S106).
  • the HMD2a is a three-dimensional overlap of each real object (MR non-experienced person 4b) and the 3DAR object 6, in other words, a real object image (MR non-experienced person) from the HMD2a on the same line of sight when the HMD2a is used as a reference.
  • the distance between the image of 4b and the distance data up to that point) and the 3DAR object 6 from the HMD2a is compared.
  • the volume of the real object and the volume of the 3DAR object 6 overlap. Therefore, if occlusion is performed without considering the overlap of these volumes, for example, even if the occlusion process succeeds between the front of the 3DAR object 6 and the surface of the real object, the distance from the surface of the real object at the back of the 3DAR object 6 is reached. The relationship may not be properly processed, and an unnatural display may occur in which a real object suddenly appears from the 3DAR object 6.
  • the conventional occlusion or the overlap elimination display processing is selected according to the degree of volume overlap between the real object and the 3DAR object 6.
  • the HMD2a executes the occlusion process between the real object and the 3DAR object (S108).
  • the HMD2a performs the overlap elimination display processing.
  • FIG. 7B is a diagram showing an example of an algorithm for determining the degree of overlapping of volumes.
  • the display surface of the HMD2a is assumed to be a surface parallel to the vertical direction.
  • one point of the display 22, for example, the upper left corner of the display 22 is set as the origin, and the actual three-dimensional coordinates are defined by using the two-dimensional coordinate xy plane of the screen and the z-axis orthogonal to the two-dimensional coordinate xy plane. Therefore, the z-x plane is a horizontal plane, and the z-axis indicates the distance in the depth direction of the line of sight as seen from HMD2a.
  • the value of the z-axis corresponds to the distance from the HMD2a to the MR non-experienced person 4b. Since the MR non-experienced person 4b is visually recognized by the distance measuring camera 20, the position PR (x R , z R ) on the line of sight L from the observer of the MR non-experienced person 4b faces the HMD 2a in the MR non-experienced person 4b. It can be represented by the intersection of the surface and the line of sight L.
  • the shape of the 3DAR object 6 is defined by the (s, t, u) three-axis coordinates of the three-dimensional image system.
  • the 3DAR object 6 is superimposed and displayed on it. Therefore, if the origin (s 0 , t 0 , u 0 ) of the 3DAR object 6 is to be superimposed on the three-dimensional coordinates (xl, ym, z n ) of the AR marker, (s 0 , t 0 , u) 0 ) can be converted to (x l , ym, z n ) .
  • the processor 24 sets that point as the farthest point P n , and a plurality of points, for example, P 1 , ..., P n-2 , P.
  • the point farthest from HMD2a that is, the point having the largest value on the z-axis is selected as the farthest point P n .
  • the point P1 having the smallest value on the z - axis is the latest point.
  • the HMD2a requests the MR support server 9 (S109) and receives the data of the background object image (corresponding to the background object image 10 in FIG. 6B) corresponding to the region of the real object (MR non-experienced person 4b) (S109). S110).
  • the HMD2a hides the real object (MR non-experienced person 4b) with the background object image 10 and the 3DAR object 6 (first overlap elimination display).
  • the HMD2a cuts out a real object (MR non-experienced person 4b) and displays it in a place where it does not overlap with the 3DAR object 6, and also fits the background object image 10 in the area where the real object (MR non-experienced person 4b) actually exists. (2nd overlap elimination display).
  • the background object image among the real objects is replaced with the VR image in the steps of S107 and S108, and the background VR image is received in S108.
  • the 3DAR object and the real object perform synthesis processing such as occlusion processing and movement of the real object.
  • the process of synthesizing the display image of the HMD2a is shown as a configuration in which the process of synthesizing the display image of the HMD2a is performed in the HMD2a. It may be processed by a smartphone or tablet that is linked and connected.
  • HMD2a confirms whether the steps S107 to S111 have been executed for all the real objects that overlap with the 3DAR object 6, and if the real objects remain (S112: No), returns to S107. On the other hand, when the processing is completed for all the real objects (S112: Yes), the HMD2a displays the processed image on the display 22 of the HMD2a (S113).
  • FIG. 8 is a flowchart of the VR service program 86. Upon receiving the login request of the registered MR experience person 2, the login process is executed (S121).
  • the VR service server 8 When the VR service server 8 receives the transmission request of the drawing data of the 3DAR object 6 from the HMD2a (S122), the VR service server 8 creates the drawing data of the requested 3DAR object (S123).
  • the drawing data of the 3DAR object is data (object file) obtained by drawing the 3DAR object 6 in 3D according to the distance between the HMD2a and the 3DAR object included in the transmission request of the drawing data of the 3DAR object, the line-of-sight direction of the HMD2a, and the like.
  • the drawing data is updated according to the movement of the object and the change of the line of sight. Further, the influence of reflection or shadow may be added as an image from the direction of a light source such as the sun or lighting to obtain drawing data.
  • the VR service server 8 transmits the created drawing data to the HMD2a (S124).
  • the VR service server 8 continues the processing from steps S122 to S124 until the termination conditions of the VR service program 86 such as the logout of the MR experience person 2 and the termination of the MR experience program 251 are satisfied (S125: No).
  • the VR service server 8 terminates the above series of processes.
  • FIG. 9 is a flowchart of the MR support program 96.
  • the MR support server 9 processes the login request of the registered MR experience person 2 (S131).
  • the MR support server 9 receives the real space image data from the HMD2a (S132), recognizes the real object image (S133), extracts the real object image data, and obtains a background image.
  • the background image is updated every time a real space image is received (S134).
  • the MR support server 9 transmits the real object image data to the HMD2a (S135). Further, when the MR support server 9 receives the transmission request of the background object image (S136), the MR support server 9 transmits the background object image data to the HMD2a (S137).
  • the MR support server 9 continues the processes from steps S132 to S137 until the end conditions of the MR support program 96 such as logout of the MR experience person 2 and the end of the MR experience program 251 are satisfied (S138: No).
  • the MR support server 9 ends the above series of processes.
  • occlusion is performed when the volume of the real object and the volume of the 3DAR object 6 are so far that they do not overlap, and the closer they overlap.
  • the overlap elimination process is performed without occlusion, so that the real object and the 3DAR object 6 are not unnaturally overlapped and displayed. Therefore, the immersive feeling of the MR experience can be enhanced.
  • the shape of the 3DAR object 6 is not damaged by the third party, so that the MR experienced person Can accurately recognize the 3DAR object 6 and perform an MR experience.
  • FIG. 10A is a diagram showing an example of a conventional three-dimensional virtual reality display (a diagram showing a state in which a real object is in front of the 3DAR object 6).
  • FIG. 10B is a diagram showing a three-dimensional virtual reality display (fourth overlap elimination display example) according to the second embodiment.
  • the real object MR non-experienced person 4b and the 3DAR object 6 are located at the same distance, and another real MR non-experienced person 4c is in front of the 3DAR object 6. It is located at, and both of them overlap from the line of sight of HMD2a, which hinders the observation of the 3DAR object 6.
  • the MR non-experienced person 4b behind the 3DAR object 6 is replaced with the background object image 10 as in the first embodiment.
  • the other MR non-experienced person 4c is deleted and the 3DAR object 6 is placed.
  • the remaining area where the MR non-experienced person 4c is deleted the remaining area where the 3DAR object 6 does not overlap is obtained by extracting the image corresponding to the remaining area from the panoramic image of another frame to generate a foreground image, and generating the remaining area.
  • the 3DAR object 6 and the background object image 10 correspond to the MR non-experienced person 4b
  • the 3DAR object 6 and the foreground image 11a correspond to the other MR non-experienced person 4c.
  • the background object image 10, the foreground image 11a, and the 3DAR object 6 perform a process of overwriting and hiding the real object images of the MR non-experienced person 4b and the other MR non-experienced person 4c (fourth overlap elimination display example). As a result, the entire 3DAR object 6 can be observed.
  • FIG. 11 is a flowchart of the MR experience program 251 according to the second embodiment.
  • the distance between the real object and the 3DAR object 6 is determined depending on whether it is "at the back position and away" or "close or in front", and in the former case, the real object and the 3DAR object 6 are determined.
  • the occlusion process is performed in (S108), and in the latter, a transmission request for a background object image and a foreground image is performed (S151) and received (S152). Then, the real object image is hidden by the background object image, the 3DAR object 6, and the foreground image (S153).
  • the MR non-experienced person 4b and another MR non-experienced person 4c are processed so as to appear as if they do not exist there.
  • the real object has the same characteristics as the first embodiment, and even if there is a real object in front of the 3DAR object 6, it hinders the observation of the 3DAR object 6. Can be removed.
  • FIG. 12A is a diagram showing an example of a conventional three-dimensional virtual reality display (a diagram showing a state in which a 3DAR object and a real object overlap).
  • FIG. 12B is a diagram (processing example of a transparent portion) showing a three-dimensional virtual reality display example according to the third embodiment.
  • FIG. 12C is a diagram (example of replacement with a VR image) showing a three-dimensional virtual reality display example according to the third embodiment.
  • the MR experience person 2 experiences the situation as if he / she is sitting in the driver's seat of the car.
  • the dashboard 60, the front window 61, the rearview mirror 62, the handle 63, and the like are displayed as 3DAR objects.
  • MR non-experienced person 4d, 4e overlaps with the front window 61 and can be seen through the front window 61.
  • Each of the dashboard 60, the front window 61, the rear-view mirror 62, and the steering wheel 63 is a part constituting the 3DAR object 6 of the car.
  • the 3DAR object 6 which is one virtual reality object is divided into parts of a plurality of virtual reality objects, and a flag which defines the type of occlusion processing is added to each part. Since each of the dashboard 60, the rear-view mirror 62, and the handle 63 is a non-transparent area of the 3DAR object 6, the non-transparent area flag is added.
  • the front window 61 is a transparent area of the 3DAR object 6, a transparent area flag is added.
  • FIG. 12A shows the appearance when the occlusion process is not performed, and the MR non-experienced person 4d and 4e unnaturally overlap with the 3DAR object 6.
  • FIG. 12B shows the result of the occlusion process.
  • the Occlusion Flag described with reference to FIG. 13 is set in the drawing data of the 3DAR object 6 of the front window 61, and the process of replacing the real object overlapping with the front window 61 with the 3DAR object 6 is prohibited. Then, the occlusion process is performed on the real object and the 3DAR object 6. As a result, MR non-experienced persons 4d and 4e are observed through the front window 61.
  • the appearance is the same as that of the MR non-experienced person 4b (real object) in FIG. 6A.
  • the MR non-experienced person 4d (real object) is reduced and displayed as if the distance is long as in the MR non-experienced person 4d in FIG. 12B. Since the MR non-experienced person 4e is farther than the dashboard (3DAR object) 60, the steering wheel 63 (3DAR object), and the 3DAR object 6 which is the vehicle body, the front window 61 is treated as transparent, and other than that. Carry out occlusion processing in relation to the object.
  • FIG. 12C shows a case where the background image in the real space is replaced with the VR image 6b.
  • the dashboard 60, the handle 63 and the VR image 6b are subject to occlusion processing, but the front window 61 is a transparent or semi-transparent 3DAR object, and the VR image 6b in the back of the line of sight can be observed, as if it were a VR image. You can experience as if you were in a given virtual place.
  • FIG. 13 is a table 100 as an example of a 3DAR object.
  • the 3DAR object is identified by "CONTENTS ID", and a plurality of 3DAR objects (AR Objects 1 to 7, etc.) can be grouped together as related ones.
  • Each 3DAR object includes "Data id" peculiar to the 3DAR object, "Title” for making it easy for users such as MR experiencers to understand, "Occlusion Flag", and "3D Image Data”.
  • the 3DAR object When the value of "Occlusion Flag” is "10", the 3DAR object is treated as transparent regardless of the distance as shown in the front window 61 of FIG. 12B, and the 3DAR object and the real object at the tip of the front window 61 are used. Have the occlusion process performed.
  • a flag having a value of "Occlusion Flag” of "10" corresponds to a transparent part flag.
  • the 3DAR object at the end of the front window 61 may be a part of the 3DAR object 6 of the automobile, for example, a bonnet, or another 3DAR object different from the 3DAR object 6 of the automobile, for example, a 3DAR object of another automobile. ..
  • FIG. 14 is a flowchart of the MR experience program 251 according to the third embodiment.
  • HMD2a checks the "Occlusion Flag" of the 3DAR object in S160, and makes the process different according to the "Occlusion Flag" as described with reference to FIG.
  • HMD2a When "Occlusion Flag" is "00", HMD2a performs occlusion processing in S108 according to the relationship between the distance between the real object and the 3DAR object. (This process will be described with reference to FIG. 15.)
  • HMD2a When “Occlusion Flag” is "10", HMD2a is treated as a transparent object such as the front window 61 shown in FIG. 12 in S161 so that it can be seen through even if the distance is closer than the actual object. Perform the process of making. Then, it enters S107.
  • the HMD2a compares the distance between the real object and the 3DAR object in S107, and performs different processing depending on whether the object is distant or close or overlaps.
  • FIG. 15 is an example of an image to which the case where “Occlusion Flag” is “00” is applied.
  • FIG. 15 shows a situation in which a real object 4f is playing at the beach (where there are 3DAR objects having a sandy beach 64 and a sea surface 65).
  • the “Occlusion Flag” of the sea level 65 is set to “00”. Even if only half of the person who is the real object 4f appears from the sea surface 65, no discomfort occurs. Therefore, the occlusion process may be performed in relation to the distance between the sea surface 65 and the real object 4f.
  • the occlusion process according to the characteristics of the 3DAR object can be applied while having the same characteristics as the first embodiment.
  • FIG. 16 is a block diagram of the MR support server 9 according to the fourth embodiment.
  • the MR support server 9 of the fourth embodiment holds the 3DAR object & VR image data 900, the real space image data 901, and the display image data 902 in the storage 94.
  • the MR support server 9 of the fourth embodiment holds the 3DAR object & VR image data 900 received from the VR service server 8 and the real space image data 901 received from the HMD2a, which are instructed by the HMD2a.
  • the MR support server 9 recognizes and extracts an object located on the inner side (far side) in the depth direction of the real object image 98 from the real space image data 901 as a background object, and obtains the background object image 97. Generate.
  • the MR support server 9 performs occlusion processing or the like of the real object image 98 and the 3DAR object & VR image data 900 to obtain the display image data 902 synthesized into the real space image.
  • the display image data 902 is transmitted to the HMD2a and displayed on the display 22 of the HMD2a. Further, when the VR image data of the background is received together with the image data of the 3DAR object, it is stored in the 3DAR object & VR image data 900.
  • the MR support server 9 includes a program that replaces a background image of a real object with VR image data, and performs occlusion processing, movement of the real object, and other compositing processing between the background VR image, the 3DAR object, and the real object. ..
  • FIG. 17 is a flowchart of the MR support program 96 according to the fourth embodiment.
  • the MR support server 9 processes the login request of the registered MR experience person 2 (S131). Further, the MR support server 9 receives the real space image data from the HMD2a (S132).
  • the MR support server 9 transmits a transmission request for drawing data of the 3DAR object to the VR service server (S140).
  • the requesting 3DAR object receives an instruction to send drawing data of the 3DAR object according to the HMD2a that determines what kind of AR content the user synthesizes.
  • the MR support server 9 recognizes a real object from the real space image data received in S132 (S133), and updates the background image from the received real space image data (S134).
  • the MR support server 9 receives the drawing data of the 3DAR object and the VR image (the VR image may not be received) data (S141).
  • the MR support server 9 detects the overlap between the real object and the 3DAR object and compares the distances between the two objects (S142). When the volumes are separated so as not to overlap (S142: separated), the occlusion process is executed between the real object and the 3DAR object (S143).
  • the MR support server 9 generates data of the background object image from the background image (S144), and overwrites the real object with the background object image and the 3DAR object. (S145).
  • the MR support server 9 confirms whether the steps S142 to S145 have been executed for all the real objects that overlap with the 3DAR object, and if the real objects remain (S146: No), returns to S142.
  • the MR support server 9 transmits the processed image to the HMD2a as display image data (S147).
  • the MR support server 9 confirms the end of the program, and if it does not end (S138: No), the step from S142 is continued. When terminating (S138: Yes), a series of processes is terminated.
  • the fourth embodiment it has the same characteristics as the first embodiment, and most of the MR experience processing is executed by the high-performance MR support server 9, and the processing of the HMD2a is lightened. There is a feature that it can be done.
  • the present invention is not limited to the embodiments described with reference to FIGS. 1 to 17, and it is possible to replace a part of the configuration of one embodiment with another embodiment. It is also possible to add the configuration of another embodiment to the configuration of one embodiment. All of these belong to the category of the present invention, and the numerical values and messages appearing in the text and figures are merely examples, and even if different ones are used, the effect of the present invention is not impaired.
  • the functions and the like of the invention may be implemented by hardware, for example, by designing a part or all of them by an integrated circuit. Further, it may be implemented by software by interpreting and executing an operation program by a microprocessor unit, a CPU, or the like. Further, the implementation range of the software is not limited, and the hardware and the software may be used together.
  • MR space 1a Access point 1b: Wireless LAN signal 2

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

３次元仮想現実表示装置は、現実空間を撮像して現実空間に存在する現実物体画像を出力するカメラと、現実空間の観測者から現実物体までの距離を測定する距離センサと、ディスプレイと、ディスプレイに３次元仮想現実物体を表示させるプロセッサと、備え、プロセッサは、観測者が３次元仮想現実物体を観測する視線上に現実物体が存在する場合、観測者から３次元仮想現実物体が表示される距離と観測者から現実物体までの距離とを比較し、３次元仮想現実物体に現実物体が重なる場合は、視線上に３次元仮想現実物体は表示し、現実物体画像は視線上には表示しない重なり解消表示処理を行う。

Description

３次元仮想現実表示装置、ヘッドマウントディスプレイ、および３次元仮想現実表示方法
　本発明は、３次元仮想現実表示装置、ヘッドマウントディスプレイ、および３次元仮想現実表示方法に関し、特に、現実空間と仮想現実物体（ＡＲオブジェクト：Ａｒｇｕｍｅｎｔ　Ｒｅａｌｉｔｙ　Ｏｂｊｅｃｔ）とを含む複合現実（ＭＲ：Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ）を体験するための技術に関する。
　特許文献１は、「現実空間画像と仮想オブジェクト画像とを合成した合成画像を表示装置に出力する情報処理装置が、現実物体の位置を特定し、特定された現実物体の位置の情報に基づいて現実物体が移動しているか判定し、移動している場合に現実物体の存識可能にするように前記合成画像を前記表示装置に表示させるべく出力する」（要約抜粋）技術が開示されている。
特開２０１６－１２２３９２号公報
　特許文献１では、３次元ＡＲオブジェクトと現実空間の現実物体とがＨＭＤからの視線上で重なる場合は、３次元ＡＲオブジェクトを半透明にする、あるいは現実物体の近傍で３次元ＡＲオブジェクトを非表示にするなど、３次元ＡＲオブジェクトの表示に制約を与えている。このため、３次元ＡＲオブジェクトを正確に認識して、ＭＲ体験を行うことができない場合がある。
　本発明は上記課題に鑑みてなされたものであり、３次元ＡＲオブジェクトをより正確に認識できる技術を提供することを目的とする。
　上記課題を解決するために、本発明は特許請求の範囲に記載の構成を備える。その一例をあげるならば、現実空間を撮像して前記現実空間に存在する現実物体画像を出力するカメラと、前記現実空間の観測者から前記現実物体までの距離を測定する距離センサと、ディスプレイと、前記ディスプレイに３次元仮想現実物体を表示させるプロセッサと、備え、前記プロセッサは、前記観測者が前記３次元仮想現実物体を観測する視線上に前記現実物体が存在する場合、前記観測者から前記３次元仮想現実物体が表示される距離と前記観測者から前記現実物体までの距離とを比較し、前記３次元仮想現実物体に前記現実物体が重なる場合は、前記視線上に前記３次元仮想現実物体は表示し、前記現実物体画像は前記視線上には表示しない重なり解消表示処理を行う、ことを特徴とする。
　本発明によれば、３次元ＡＲオブジェクトをより正確に認識できる。上記した以外の目的、構成、効果については、以下の実施形態において明らかにされる。
第１実施形態に係る３次元仮想現実表示システムの概要図 ３次元仮想現実表示装置の一例としてのＨＭＤの外観図 ＨＭＤのブロック図 ＶＲサービスサーバのブロック図 ＭＲ支援サーバのブロック図 従来の３次元仮想現実表示例を示す図（３ＤＡＲオブジェクトと現実物体が重なっている状態を示す図） 第１実施形態に係る３次元仮想現実表示（第１重なり解消表示例）を示す図 第１実施形態に係る３次元仮想現実表示（第２重なり解消表示例）を示す図 第１実施形態に係る３次元仮想現実表示（第３重なり解消表示例）を示す図 第１実施形態に係るＭＲ体験プログラムのフローチャート 体積の重なり具合の判断アルゴリズム例を示す図 第１実施形態に係るＶＲサービスサーバのフローチャート 第１実施形態に係るＭＲ支援サーバのフローチャート 従来の３次元仮想現実表示の例を示す図（３ＤＡＲオブジェクトよりも手前に現実物体がいる状態を示す図） 第２実施形態に係る３次元仮想現実表示（第４重なり解消表示例）を示す図 第２実施形態に係るＭＲ体験プログラムのフローチャート 従来の３次元仮想現実表示の例を示す図（３ＤＡＲオブジェクトと現実物体が重なっている状態を示す図） 第３実施形態に係る３次元仮想現実表示例を示す図（透明部位の処理例） 第３実施形態に係る３次元仮想現実表示例を示す図（ＶＲ画像への置換例） ３ＤＡＲオブジェクトテーブルを示す図 第３実施形態に係るＭＲ体験プログラムのフローチャート 第３実施形態に係る３次元仮想現実表示の別例を示す図 第４実施形態のＭＲ支援サーバのブロック図 第４実施形態の３次元仮想現実表示処理の流れを示すフローチャート
　以下、図面を参照しながら、本発明の実施形態について説明する。全図において同一の構成、ステップには同一の符号を付し、重複説明を省略する。
　本実施形態では、現実空間を測距カメラで撮影した３次元現実空間画像（以下「現実空間画像」という）にＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）で作成した３次元仮想現実物体（以下「３ＤＡＲオブジェクト」という、図面では「３Ｄ-ＡＲＯ」と記載する。）を合成して表示する。本実施形態では、測距カメラ２０を用いることによりカメラと距離を測定する距離センサとを一体的に構成したが、カメラと例えば超音波距離計といった別体の距離センサとを組み合わせて構成してもよい。
　現実空間を撮像して得られる３次元現実空間画像に３ＤＡＲオブジェクトを重ねて表示する際に、視点から遠い側に表示されるべき画像には、近い側に表示されるべき画像によって遮蔽領域が生じる。この遮蔽領域を表現する画像処理手法としてオクルージョンがある。
　ＡＲ画像を現実空間の背景画像に合成した複合現実空間（ＭＲ）画像は、ゲームや保守作業、セールスプロモーション等のコンテンツに用いられている。ＡＲ画像を合成するために、例えば現実空間画像からＡＲマーカと呼ばれる被写体を撮像し、この被写体領域にＡＲマーカに紐付けられたＡＲ画像が重畳される。３次元仮想現実表示を行うハードウェアとして、カメラとディスプレイとが一体化されたＨＭＤ（ヘッドマウントディスプレイ）が用いられることが多いことから、以下では、本発明をＨＭＤに実装する実施形態について説明する。
［第１実施形態］
　図１から図９を参照して、第１実施形態について説明する。
（３次元仮想現実表示システムの構成）
　図１は、第１実施形態に係る３次元仮想現実表示システムの概要図である。
　図１にて、ＭＲ体験者２はＨＭＤ２ａを頭部に装着し、ＭＲ空間１を視認する。同様にＭＲ体験者３は、ＨＭＤ３ａを頭部に装着し、ＭＲ空間１を視認する。
　ＨＭＤ２ａ、３ａのそれぞれは、アクセスポイント１ａと、無線ＬＡＮ信号１ｂ、２ｂ、３ｂを送受信して無線通信接続される。
　アクセスポイント１ａは、ＭＲ空間１に配置されている。そしてアクセスポイント１ａは、ＭＲ空間１の外のネットワーク７に接続して、ＨＭＤ２ａ、３ａとネットワーク７上に置かれているＶＲサービスサーバ８およびＭＲ支援サーバ９のそれぞれと通信を行わせる。ＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）とは、仮想現実空間のことである。
　現実空間には、ＭＲ非体験者４ａ、４ｂが存在する。また現実空間の背景の一部として花瓶５ａと窓５ｂとがある。３ＤＡＲオブジェクト６は、車の３次元ＡＲオブジェクトである。
　ＭＲ空間１は、車のセールスプロモーションを想定した空間であり、特定の一人のＭＲ体験者に限定された空間ではなく、ＭＲ体験者２、３のように、複数の人が同時にＭＲ体験を行っていてもよい。ＭＲ体験者３は商品説明員であって、ＭＲ体験者２と同じ３ＤＡＲオブジェクト６を異なる方向から観測している場合もあるし、ＭＲ体験者２とは異なる３ＤＡＲオブジェクトを観測している独立な来場者であってもよい。販売対象である車を３ＤＡＲオブジェクト６として提示することにより、プロモータは、高価な現実物体（車）を展示する必要もなく、複数の車を展示する広い空間も必要とはしない。ＭＲ空間１には、ＭＲ体験者２、３以外にも、ＭＲ非体験者４ａ、４ｂの入場者が居てもよい。ＭＲ非体験者４ａ、４ｂはＭＲ体験者２、３の家族や、ＭＲ体験をこれから行おうと待機している来場者等である。
　ＭＲ非体験者４ａ、４ｂは、３ＤＡＲオブジェクト６を観測しておらず、ＭＲ空間１内の移動は制限されていない。このためＭＲ非体験者４ｂのように、３ＤＡＲオブジェクト６と同じ位置にいることが起こりえる。
　図２は、３次元仮想現実表示装置の一例としてのＨＭＤ２ａ、３ａの外観図である。ＨＭＤ２ａは、ビデオシースルー型のＨＭＤである。ＨＭＤ３ａは、ＨＭＤ２ａと同じ構成であるため説明を省略する。ＨＭＤ２ａは、視差を有する測距カメラ２０とディスプレイ２２を備える。ＨＭＤ２ａは、測距カメラ２０で前景を撮影し、ＭＲ体験者２の前面に配置するディスプレイ２２に、測距カメラ２０で撮影する画像にＣＧ等で描画した３ＤＡＲオブジェクト６を合成して表示する。
　測距カメラ２０は、左カメラ２０ａおよび右カメラ２０ｂを含み、撮影している対象物との距離を測るための測距カメラである。ディスプレイ２２は平面ディスプレイであり、その内側にシャッタ２３が備えられる。ディスプレイ２２に左目用の画像と右目用の画像を交互に表示されると、シャッタ２３はディスプレイ２２の表示に同期して開閉する。すなわち、左目用の画像が表示されるとディスプレイ２２の左半分は開、右半分は閉に、右目用の画像が表示されるとディスプレイ２２の左半分は閉、右半分は開に動作する。これにより、ＨＭＤ２ａは、３次元表示に対応している。ＭＲ体験者２は、表示される画像に同期して、交互に片方の目だけに表示画像を見る。
　さらにＨＭＤ２ａは、プロセッサ２４、および装着用筐体２５ａ、２５ｂを備える。装着用筐体２５ａ、２５ｂで、ＨＭＤ２ａを頭部に装着する。
　左カメラ２０ａおよび右カメラ２０ｂで撮影された前方の現実空間画像がディスプレイ２２に表示され、ＭＲ体験者２は現実空間画像を見る。またディスプレイ２２は、３ＤＡＲオブジェクト６を、現実空間画像に重畳して映し出す。この時、左カメラ２０ａで撮影する画像に左目用ＡＲオブジェクトの画像を、右カメラ２０ｂで撮影する画像に右目用ＡＲオブジェクトの画像を重畳してディスプレイ２２に表示して、３ＤＡＲオブジェクト６があたかも現実空間の所定の距離にあるように立体的（３次元的に）に表示する。
　ＨＭＤ２ａでの表示には、現実空間の現実物体、図１ではＭＲ非体験者４ｂ、花瓶５ａ、窓５ｂと３ＤＡＲオブジェクト６の距離の前後関係が反映される。例えば、現実物体（ＭＲ非体験者４ｂ）の一部分が３ＤＡＲオブジェクト６の一部分の前にある関係にある時、現実物体（ＭＲ非体験者４ｂ）の一部分に３ＤＡＲオブジェクト６の一部分が隠されて見えるように、３ＤＡＲオブジェクト６の描画データを加工するオクルージョン処理を行う。
（３次元仮想現実表示装置のブロック図）
　図３は、ＨＭＤ２ａのブロック図である。図３にて、図２と同一のものには同一の番号を付している。図３にて、プロセッサ２４は破線で囲った部分であり、プロセッサ２４に左カメラ２０ａ、右カメラ２０ｂ、ディスプレイ２２、シャッタ２３、スピーカ２６、マイク２７が接続される。
　プロセッサ２４は、カメラ用プロセッサ２４０、方位センサ２４１、ジャイロセンサ２４２、加速度センサ２４３、無線通信器２４４、ＣＰＵ２４５（メインプロセッサに相当する）、ＲＡＭ２４６、画像ＲＡＭ２４７、Ｆｌａｓｈ　ＲＯＭ（ＦＲＯＭ）２４８、および内部バス２４９を含み、各要素が内部バス２４９を介して互いに接続される。
　無線通信器２４４は、４Ｇ、５Ｇ等のモバイル通信、ワイヤレスＬＡＮ等の幾つかの通信処理の中から適切な処理を選択して、アクセスポイント１ａを介してＨＭＤ２ａをネットワーク７に接続する。
　ＦＲＯＭ２４８は、基本プログラム２５０、ＭＲ体験プログラム２５１を含む。ＣＰＵ２４５は、これら処理プログラムをＲＡＭ２４６に展開して実行する。さらにＦＲＯＭ２４８には、処理プログラムを実行するのに必要なデータを格納する。ＦＲＯＭ２４８は、Ｆｌａｓｈ　ＲＯＭ以外の不揮発性のメモリ媒体であっても良い。
　またＣＰＵ２４５は、ディスプレイ２２に送出する画像データを、画像ＲＡＭ２４７に格納した後、読み出す。
　カメラ用プロセッサ２４０は、左カメラ２０ａおよび右カメラ２０ｂで撮影した画像をもとに、現実空間画像の被写体（現実物体に相当する）までの距離算出処理を実行し、現実空間画像に現実空間画像の被写体までの距離データを付加する。本明細書において「現実空間画像」とは画像だけを意味し、これに距離データが付加されたデータは「現実空間画像データ」と称する。
　方位センサ２４１、ジャイロセンサ２４２、加速度センサ２４３等のセンサ群は、ＨＭＤ２ａの位置や測距カメラ２０の撮影方向（ＨＭＤ２ａを装着するＭＲ体験者２の視線として用いられる）を知るのに用いる。
　なおＨＭＤ２ａは、下記で説明するＶＲサービスサーバ８やＭＲ支援サーバ９で実行する処理の一部もしくは全部を含んでもよい。
　図４は、ＶＲサービスサーバ８のブロック図である。ＶＲサービスサーバ８は、有線ＬＡＮ等のネットワークインターフェース（ネットワークＩＦ）８１、ＣＰＵ８２、ＲＡＭ８３、ストレージ８４を含み、これらが内部バス８５を介して互いに接続される。
　ストレージ８４はＦｌａｓｈ　ＲＯＭのほか、ハードディスクドライブ等と組み合わせたものであってもよい。ストレージ８４は、ＶＲサービスプログラム８６を格納する。ＣＰＵ８２は、ＶＲサービスプログラム８６をＲＡＭ８３に展開して実行する。
　さらにストレージ８４は３ＤＡＲオブジェクト等のＶＲデータ８７を格納する。ＶＲデータ８７は、ＶＲサービスプログラム８６を実行するのに必要なデータである。
　ＶＲデータ８７としては、３ＤＡＲオブジェクトのほかＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）画像データも含んでよい。ＶＲ画像データは、ＭＲ体験者２、３の現実空間画像全体を置き換える画像で、ＭＲ体験者２、３はＶＲ画像データで与えられる別の空間にあたかも居るように感じながら、３ＤＡＲオブジェクト６の観測を行う体験が可能となる。
　図５は、ＭＲ支援サーバ９のブロック図である。ＭＲ支援サーバ９は、有線ＬＡＮ等のネットワークＩＦ９１、ＣＰＵ９２、ＲＡＭ９３，ストレージ９４を含み、これらが内部バス９５を介して互いに接続される。
　ストレージ９４はＦｌａｓｈ　ＲＯＭのほか、ハードディスクドライブ等と組み合わせたものであってもよい。ストレージ９４は、処理プログラムとして、ＭＲ支援プログラム９６を含む。ＣＰＵ９２は、ＭＲ支援プログラム９６をＲＡＭ９３に展開して実行する。
　さらにストレージ９４は背景物体画像９７と現実物体画像９８を格納する。これらはＭＲ支援プログラム９６を実行するのに必要なデータである。
　背景物体画像９７と現実物体画像９８は、ユーザがＭＲ体験を行うためのデータであり、複数のユーザに対応する場合には、ユーザ毎に分けられたデータが存在する。
　現実物体画像９８は、ＨＭＤ２ａから受信して得る現実空間画像から、時間差分等によって動きのある領域を検知し、一塊の領域を現実物体として認識したデータである。さらには現実物体の形状等から、現実物体が何であるか、例えば人であるかを検知してもよい。
　背景物体画像９７は、現実空間画像から現実物体の領域を取り除いた背景画像のデータであり、現実空間画像の動きのない領域のデータである。取り除かれる現実物体の領域には、時間を遡った現実空間画像から、その領域に現実物体が現れなかった時のデータを補間して背景画像を得る。より詳しくは、背景物体画像９７は、現実物体画像９８の後ろ側にあるので、ある時点、すなわち複数フレームからなる３次元現実空間画像の同一フレーム（対象フレーム）には現実物体画像９８のさらに後ろにある背景物体は撮像されてない。そこで、ＭＲ支援プログラム９６は、対象フレームから現実物体画像９８を認識し、それが映り込んでいない他のフレームから背景物体画像９７を抽出することで、背景物体画像９７を生成する。
（３次元仮想現実表示による画像）
　図６Ａ～図６Ｄは、３次元仮想現実表示方法を説明する図である。図６Ａは、従来の３次元仮想現実表示例を示す図（３ＤＡＲオブジェクトと現実物体が重なっている状態を示す図、図６Ｂは、第１実施形態に係る３次元仮想現実表示（第１重なり解消表示例）を示す図、図６Ｃは、第１実施形態に係る３次元仮想現実表示（第２重なり解消表示例）を示す図、図６Ｄは、第１実施形態に係る３次元仮想現実表示（第３重なり解消表示例）を示す図である。図６Ａ～図６Ｃは、図１に示している破線で囲った領域（ＡＲＥＡ）に対応している。図１に示されるように、現実物体であるＭＲ非体験者４ｂと３ＤＡＲオブジェクト６は、距離関係で同じ程度の位置にあり、ＨＭＤ２ａの視線上において重なっている。ここでいう“距離関係”とは、ＨＭＤ２ａを基点とし、ＨＭＤ２ａの装着者であるＭＲ体験者２の同一視線方向上における距離関係である。ＭＲ体験者２からの同距離にあっても、視線方向が異なっている距離関係は含まない。
　図６Ａは、重なっているＭＲ非体験者４ｂ（現実物体）と３ＤＡＲオブジェクト６をオクルージョン処理した画像である。３ＤＡＲオブジェクト６の前にあるＭＲ非体験者４ｂの上部は表示されるが、３ＤＡＲオブジェクト６の後ろにあるＭＲ非体験者４ｂの下部は表示されない。この結果、３ＤＡＲオブジェクト６の中からＭＲ非体験者４ｂが表れている（車のボンネットの上に人物の上半身が乗っているまたは生えているような）画像となり、ＭＲ非体験者４ｂが３ＤＡＲオブジェクト６の認識を妨げている不自然な画像となってしまう。このため本実施形態では、図６Ｂもしくは図６Ｃに示す処理を行う。
　図６Ｂ、図６Ｃでは、距離で同じ程度の位置にある現実物体（ＭＲ非体験者４ｂ）と３ＤＡＲオブジェクト６とでオクルージョン処理を実行させない。代わりに、現実物体（ＭＲ非体験者４ｂ）の領域に、背景画像から切り出す背景物体画像１０を挿入し、背景物体画像１０と３ＤＡＲオブジェクト６とでオクルージョン処理を行う。背景物体画像１０は、通常３ＤＡＲオブジェクト６よりも同一視線上において遠い距離に位置するものであり、３ＤＡＲオブジェクト６を欠けることなく表示できるとともに、現実物体（ＭＲ非体験者４ｂ）に隠れていた背景（例えば花瓶５ａ）も表示されるので、自然なＭＲ体験が可能となる。以上が図６Ｂの処理（第１重なり解消表示）である。
　図６Ｃでは、図６Ｂに加えて、現実物体（ＭＲ非体験者４ｂ）の画像を３ＤＡＲオブジェクト６の認識に支障のない場所に移動（退避）させる（第２重なり解消表示）。図６Ｃの画像１１が移動後の現実物体（ＭＲ非体験者４ｂ）である。現実物体（ＭＲ非体験者４ｂ）がＭＲ体験者２、３の子供等、常に注意を払っているべき存在であるような場合に、現実物体を非表示にせず、３ＤＡＲオブジェクト６と現実物体（ＭＲ非体験者４ｂ）とを同時に視認可能にさせ、かつオクルージョンによる不自然な画像の表示をせずにＭＲ体験の没入感を保持するという特徴を持つ。ここで現実物体（ＭＲ非体験者４ｂ）を移動させる際に、遠方や近傍のようにＭＲ体験者２からの同一視線上の距離が異なる場合がある。その場合には、ＭＲ体験者２からの距離に応じて現実物体（ＭＲ非体験者４ｂ）の縮尺を小さく加工したり、大きく加工したりすることで、自然なサイズで視認することが可能となる。
　図６Ｄは、ＶＲ画像データ６ａで現実空間画像を置き換えた例（第３重なり解消表示例）である。ＶＲ画像データ６ａが３ＤＡＲオブジェクト６の背面にある場合、３ＤＡＲオブジェクト６はＶＲ画像６ａを背景にして表示される。また、車のセールスプロモーションの場面によっては、図６Ｂもしくは図６Ｃの映像から、図６Ｄのような表示に切り替えると多様な背景と３ＤＡＲオブジェクト６を組み合わせた映像を表示することができ、体験者がいろいろなシーンで３ＤＡＲオブジェクト６を視認することが可能となる。図６Ｂもしくは図６Ｃの映像から、図６Ｄの背景映像に切り替える際に、徐々に映像を合成させて変化させたり、ワイプ処理のような加工を行ったりしても良い。
（フローチャート）
　図７Ａは、第１実施形態に係るＭＲ体験プログラム２５１のフローチャートである。ＭＲ体験者２がＨＭＤ２ａに格納されたＭＲ体験プログラム２５１を起動し（Ｓ１０１）、ＶＲサービスサーバ８やＭＲ支援サーバ９にログインする。以下、ＨＭＤ２ａがＭＲ体験プログラム２５１を実行中の動作についてステップ順に沿って説明する。また、以下では現実物体としてのＭＲ非体験者４ｂが車の３ＤＡＲオブジェクト６に重なるまたは重ならない場合の処理を例に挙げて説明する。
　ＨＭＤ２ａがカメラ撮影を開始する（Ｓ１０２）。測距カメラ２０で撮影する画像には、現実物体への距離データが添付される。カメラ撮影は、例えば３０ｆｐｓ（ｆｒａｍｅ　ｐｅｒ　ｓｅｃｏｎｄ）で動画撮影をして複数フレームが時系列に並んだ３次元現実空間画像データを生成し、撮影画像をキャプチャするようにしてよく、以降のステップは、カメラ撮影周期に同期して実行してもよい。
　ＨＭＤ２ａは、無線通信器２４４を介して、３次元現実空間画像データをＭＲ支援サーバ９に送信する（Ｓ１０３）。ＭＲ支援サーバ９は、後記するように現実空間画像から、現実物体画像（ＭＲ非体験者４ｂ）および背景物体画像（例えば花瓶５ａ、窓５ｂ）を分離する。
　さらにＨＭＤ２ａは、ＶＲサービスサーバ８に３ＤＡＲオブジェクト６の描画データ（ＶＲデータ８７に含まれる）の送信要求を送信する（Ｓ１０４）。
　ＨＭＤ２ａは、ＭＲ支援サーバ９から、現実空間画像から抽出された少なくとも一つ以上、好ましくは全ての現実物体画像データ（現実物体画像とその距離データを含む）を受信し（Ｓ１０５）、ＶＲサービスサーバ８から３ＤＡＲオブジェクト（本例では３ＤＡＲオブジェクト６）の描画データやＶＲ画像データを受信する（Ｓ１０６）。
　ＨＭＤ２ａは、各現実物体（ＭＲ非体験者４ｂ）と３ＤＡＲオブジェクト６との３次元的な重なり、換言すると、ＨＭＤ２ａを基準とした場合の同一視線上におけるＨＭＤ２ａからの現実物体画像（ＭＲ非体験者４ｂの画像とそれまでの距離データを含む）とＨＭＤ２ａからの３ＤＡＲオブジェクト６との距離を比較する。
　現実物体と３次元の３ＤＡＲオブジェクト６とが同一視線上において同じ距離にある場合には、現実物体の体積と３ＤＡＲオブジェクトとの体積とが重なっている。従って、これら体積の重なりを考慮することなくオクルージョンを行うと、例えば３ＤＡＲオブジェクト６の手前と現実物体の表面とについてオクルージョン処理が成功しても、３ＤＡＲオブジェクト６の奥では現実物体の表面との距離関係については適切に処理がなされず、３ＤＡＲオブジェクト６の中から突如現実物体が現れた、不自然な表示となることがある。
　本実施形態では、現実物体と３ＤＡＲオブジェクト６との体積の重なり具合に応じて従前のオクルージョンか、重なり解消表示処理かを選択する。
　そこでＨＭＤ２ａは、現実物体の体積が３ＤＡＲオブジェクト６の体積と重ならない距離である場合（Ｓ１０７：離れている）、現実物体と３ＤＡＲオブジェクトとでオクルージョン処理を実行する（Ｓ１０８）。
　一方、ＨＭＤ２ａは、現実物体（ＭＲ非体験者４ｂ）の体積が３ＤＡＲオブジェクトの体積と重なる距離である場合（Ｓ１０７：重なっている）、ＨＭＤ２ａは重なり解消表示処理を行う。
　図７Ｂを参照して、ステップＳ１０７での判断アルゴリズムの一例を説明する。図７Ｂは、体積の重なり具合の判断アルゴリズム例を示す図である。説明の便宜のため、ＨＭＤ２ａの表示面は鉛直方向に平行な面であるとする。そしてディスプレイ２２の１点、例えばディスプレイ２２の左上隅を原点とし、画面の２次元座標ｘ－ｙ面とそれに直交するｚ軸とを用いて現実の３次元座標を定義する。したがって、ｚ－ｘ面は水平面であり、ｚ軸はＨＭＤ２ａからみた視線の奥行き方向の距離を示す。
　図７Ｂの例では、ＨＭＤ２ａの正面に現実物体が位置する場合、ｚ軸の値がＨＭＤ２ａからＭＲ非体験者４ｂまでの距離に一致する。測距カメラ２０でＭＲ非体験者４ｂを視認するので、ＭＲ非体験者４ｂの観測者からの視線Ｌ上の位置ＰＲ（ｘＲ，ｚＲ）は、ＭＲ非体験者４ｂにおけるＨＭＤ２ａに対向する表面と視線Ｌとの交点で表せる。
　一方、３ＤＡＲオブジェクト６は、３次元画像系の（ｓ，ｔ，ｕ）の３軸座標でその形状が定義されているものとする。現実空間にＡＲマーカが出現するとそれに３ＤＡＲオブジェクト６を重ねて表示する。よって、３ＤＡＲオブジェクト６の原点（ｓ０，ｔ０，ｕ０）をＡＲマーカの３次元座標（ｘｌ，ｙｍ，ｚｎ）に重ね合わせるとするならば、（ｓ０，ｔ０，ｕ０）は（ｘｌ，ｙｍ，ｚｎ）に変換できる。説明の便宜のためｓｔｕ座標系とｘｙｚ座標系の各軸回転方向のずれはなく、ｓ軸はｘ軸に、ｔ軸はｙ軸に、ｕ軸はｚ軸に一致するものとする。
　プロセッサ２４は、ＨＭＤ２ａの視線Ｌ上に３ＤＡＲオブジェクト６を構成する点が一つしかなければその点を最遠点Ｐｎ、複数の点、例えばＰ１、・・・、Ｐｎ－２、Ｐｎ－１、Ｐｎがある場合には、ＨＭＤ２ａから最も遠い点、すなわちｚ軸の値が最も大きい点を最遠点Ｐｎとして選択する。なお、ｚ軸の値が最も小さい点Ｐ１は最近点である。
　そして、上記視線ＬとＭＲ非体験者４ｂとの交点ＰＲの３次元座標（ｘＲ、ｙＲ、ｚＲ）と３ＤＡＲオブジェクト６の最遠点Ｐｎの座標（ｘＡＲｎ、ｙＡＲｎ、ｚＡＲｎ）（但し、本例ではｘＲ＝ｘＡＲｎ、ｙＲ＝ｙＡＲｎ）とを比較する。ｚＲ＞ｚＡＲｎであれば現実物体と３ＤＡＲオブジェクト６とには体積の重なり部分がないと判断する（状態１）。ｚＲ≦ｚａｒであれば現実物体と３ＤＡＲオブジェクト６とには体積の重なり部分があると判断する（状態２）。
　そこでＨＭＤ２ａは、現実物体（ＭＲ非体験者４ｂ）の領域に対応する背景物体画像（図６Ｂの背景物体画像１０に相当する）のデータをＭＲ支援サーバ９に要求し（Ｓ１０９）、受信する（Ｓ１１０）。受信後、ＨＭＤ２ａは背景物体画像１０と３ＤＡＲオブジェクト６とで現実物体（ＭＲ非体験者４ｂ）を隠す（第１重なり解消表示）。またＨＭＤ２ａは現実物体（ＭＲ非体験者４ｂ）を切り取って３ＤＡＲオブジェクト６と重ならない場所に表示するとともに、現実物体（ＭＲ非体験者４ｂ）が実際には存在する領域に背景物体画像１０をはめ込む（第２重なり解消表示）。
　なお、Ｓ１０６で３ＤＡＲオブジェクト６の描画データと併せて、背景のＶＲ画像データを受信する場合は、Ｓ１０７、Ｓ１０８のステップで現実物体のうち背景物体画像をＶＲ画像に置き換え、Ｓ１０８で背景のＶＲ画像と３ＤＡＲオブジェクトと現実物体とでオクルージョン処理や現実物体の移動等の合成処理を行う。ここで、この例ではＨＭＤ２ａの表示画像を合成する処理をＨＭＤ２ａ内で実施する構成として示したが、合成処理を行う場所はこれに限定されず、後程述べるようにネットワークで接続されたサーバや、連携接続されたで行うスマートフォンやタブレットなどで処理しても良い。
　ＨＭＤ２ａは、３ＤＡＲオブジェクト６と重なり合う現実物体のすべてに対して、Ｓ１０７～Ｓ１１１のステップが実行されたかの確認を行い、現実物体が残っている場合には（Ｓ１１２：Ｎｏ）、Ｓ１０７に戻る。一方、ＨＭＤ２ａは、すべての現実物体に対して処理が完了した場合（Ｓ１１２：Ｙｅｓ）、処理済みの画像をＨＭＤ２ａのディスプレイ２２に表示する（Ｓ１１３）。
　ＨＭＤ２ａのＭＲ体験プログラム２５１が終了していない場合は、次のカメラ周期でＳ１０３からのステップを継続する（Ｓ１１４：Ｎｏ）。ＨＭＤ２ａのＭＲ体験プログラム２５１が終了する場合では（Ｓ１１４：Ｙｅｓ）、上記の処理を終了する。
　図８は、ＶＲサービスプログラム８６のフローチャートである。登録されているＭＲ体験者２のログイン要求を受信すると、ログイン処理を実行する（Ｓ１２１）。
　ＶＲサービスサーバ８は、ＨＭＤ２ａからの３ＤＡＲオブジェクト６の描画データの送信要求を受信すると（Ｓ１２２）、要求された３ＤＡＲオブジェクトの描画データを作成する（Ｓ１２３）。３ＤＡＲオブジェクトの描画データは、３ＤＡＲオブジェクトの描画データの送信要求に含まれるＨＭＤ２ａと３ＤＡＲオブジェクトの距離、ＨＭＤ２ａの視線方向等に応じて、３ＤＡＲオブジェクト６を３Ｄ描画したデータ（オブジェクトファイル）であり、ＨＭＤ２ａの移動や、視線の変化に応じて描画データは更新される。また、太陽や照明などの光源の方向から、反射や影の影響を画像として付加して描画データとしても良い。
　ＶＲサービスサーバ８は、作成された描画データをＨＭＤ２ａに送信する（Ｓ１２４）。
　ＶＲサービスサーバ８は、ＭＲ体験者２のログアウトやＭＲ体験プログラム２５１の終了など、ＶＲサービスプログラム８６の終了条件が成立するまで（Ｓ１２５：Ｎｏ）、ステップＳ１２２からＳ１２４までの処理を続行する。
　ＶＲサービスサーバ８は、ＶＲサービスプログラム８６の終了条件が成立すると（Ｓ１２５：Ｙｅｓ）、上記一連の処理を終了する。
　図９は、ＭＲ支援プログラム９６のフローチャートである。
　ＭＲ支援サーバ９は、登録されているＭＲ体験者２のログイン要求を処理する（Ｓ１３１）。
　ＭＲ支援サーバ９は、ＨＭＤ２ａから現実空間画像データを受信し（Ｓ１３２）、現実物体画像を認識して（Ｓ１３３）現実物体画像データを抽出し、背景画像を得る。背景画像は、現実空間画像を受信するたびに更新される（Ｓ１３４）。
　ＭＲ支援サーバ９は、現実物体画像データをＨＭＤ２ａに送信する（Ｓ１３５）。またＭＲ支援サーバ９は、背景物体画像の送信要求を受信すると（Ｓ１３６）、背景物体画像データをＨＭＤ２ａに送信する（Ｓ１３７）。
　ＭＲ支援サーバ９は、ＭＲ体験者２のログアウトやＭＲ体験プログラム２５１の終了など、ＭＲ支援プログラム９６の終了条件が成立するまでステップＳ１３２からＳ１３７までの処理を続行する（Ｓ１３８：Ｎｏ）。
　ＭＲ支援サーバ９は、ＭＲ支援プログラム９６の終了条件が成立すると（Ｓ１３８：Ｙｅｓ）、上記一連の処理を終了する。
　本実施形態によると、現実物体と３ＤＡＲオブジェクト６とがＭＲ体験者の同一視線上に重なる場合、現実物体の体積と３ＤＡＲオブジェクト６の体積とが重ならないほど遠い場合はオクルージョンを行い、両者が重なるほど近い場合はオクルージョンをすることなく、重なり解消処理を行うことで、現実物体と３ＤＡＲオブジェクト６とが不自然に重なって表示されることがない。そのため、ＭＲ体験の没入感を高めることができる。
　また、本実施形態によれば、ＭＲ体験を行わない第三者（ＭＲ非体験者）が存在するオープンな空間あっても、３ＤＡＲオブジェクト６の形状が第三者によって損なわれないのでＭＲ体験者が３ＤＡＲオブジェクト６を正確に認識して、ＭＲ体験を行うことができる。
［第２実施形態］
　図１０Ａ、図１０Ｂ、および図１１を参照して本発明の第２実施形態について説明する。図１０Ａは、従来の３次元仮想現実表示の例を示す図（３ＤＡＲオブジェクト６よりも手前に現実物体がいる状態を示す図）である。図１０Ｂは、第２実施形態に係る３次元仮想現実表示（第４重なり解消表示例）を示す図である。
　図１０Ａに示されるように、現実物体であるＭＲ非体験者４ｂと３ＤＡＲオブジェクト６は、距離で同じ程度の位置にあり、また現実物体である他のＭＲ非体験者４ｃが３ＤＡＲオブジェクト６の前に位置していて、いずれもＨＭＤ２ａの視線からは重なっており、３ＤＡＲオブジェクト６の観測の支障となっている。
　図１０Ｂでは、３ＤＡＲオブジェクト６の後ろ側にいるＭＲ非体験者４ｂは第１実施形態と同様に背景物体画像１０により置換する。一方、他のＭＲ非体験者４ｃは削除して３ＤＡＲオブジェクト６を配置する。さらに、ＭＲ非体験者４ｃを削除した領域のうち、３ＤＡＲオブジェクト６が重ならない残領域は、他のフレームの全景画像から、残領域に対応する画像を抽出して前景画像を生成し、残領域に埋め込む。ＭＲ非体験者４ｂに対し３ＤＡＲオブジェクト６と背景物体画像１０が、他のＭＲ非体験者４ｃに対し３ＤＡＲオブジェクト６と前景画像１１ａが対応する。背景物体画像１０と前景画像１１ａと３ＤＡＲオブジェクト６とでＭＲ非体験者４ｂと他のＭＲ非体験者４ｃの現実物体画像を上書きして隠す処理が行われる（第４重なり解消表示例）。この結果、３ＤＡＲオブジェクト６の全体が観測可能となる。
　図１１は、第２実施形態に係るＭＲ体験プログラム２５１のフローチャートである。
　図７のフローチャートとの違いは、Ｓ１５０のステップの距離比較にある。
　Ｓ１５０では、現実物体と３ＤＡＲオブジェクト６間距離を“後ろの位置にあって、離れている”場合と“近い位置にある、もしくは前にある”場合で判定し、前者では現実物体と３ＤＡＲオブジェクト６でオクルージョン処理を行い（Ｓ１０８）、後者では背景物体画像と前景画像の送信要求を行い（Ｓ１５１）、受信する（Ｓ１５２）。そして、背景物体画像、３ＤＡＲオブジェクト６、および前景画像で現実物体画像を隠す（Ｓ１５３）。上記の例ではＭＲ非体験者４ｂと別のＭＲ非体験者４ｃとがあたかもそこに存在しないかのように見えるような処理を行う。
　以上説明したように、第２実施形態によれば、第１実施形態と同じ特徴を有するとともに、３ＤＡＲオブジェクト６よりも手前に現実物体があっても、３ＤＡＲオブジェクト６の観察に支障となる現実物体の除去が行える。
［第３実施形態］
　図１２Ａから図１５Ｂを参照して、第３実施形態ついて説明する。
　図１２Ａは、従来の３次元仮想現実表示の例を示す図（３ＤＡＲオブジェクトと現実物体が重なっている状態を示す図）である。図１２Ｂは、第３実施形態に係る３次元仮想現実表示例を示す図（透明部位の処理例）である。図１２Ｃは、第３実施形態に係る３次元仮想現実表示例を示す図（ＶＲ画像への置換例）である。図１２Ａ～図１２Ｃでは、ＭＲ体験者２は車の運転席に座っているかのような状況を体験している。ダッシュボード６０、フロントウィンドウ６１、バックミラー６２、ハンドル６３などが３ＤＡＲオブジェクトとして表示されている。ＭＲ非体験者４ｄ、４ｅ（現実物体）が、フロントウィンドウ６１と重なり、フロントウィンドウ６１越しに見える。ダッシュボード６０、フロントウィンドウ６１、バックミラー６２、ハンドル６３のそれぞれは、車の３ＤＡＲオブジェクト６を構成する部位である。本例では、一つの仮想現実物体である３ＤＡＲオブジェクト６を複数の仮想現実物体の部位にわけ、各部位ごとにオクルージョン処理の種類を規定するフラグ付加する。ダッシュボード６０、バックミラー６２、ハンドル６３のそれぞれは３ＤＡＲオブジェクト６の非透明領域であるので、非透明領域フラグを付加する。一方、フロントウィンドウ６１は３ＤＡＲオブジェクト６の透明領域であるので、透明領域フラグを付加する。
　図１２Ａでは、オクルージョン処理が行われていない場合の見え方であり、ＭＲ非体験者４ｄ、４ｅは、３ＤＡＲオブジェクト６と不自然に重なっている。
　図１２Ｂには、オクルージョン処理が行われた結果を示している。第３実施形態では、フロントウィンドウ６１の３ＤＡＲオブジェクト６の描画データには、図１３で説明するＯｃｃｌｕｓｉｏｎ　Ｆｌａｇが設定されており、フロントウィンドウ６１に重なる現実物体については、３ＤＡＲオブジェクト６に置き換える処理は禁止され、現実物体と３ＤＡＲオブジェクト６でオクルージョン処理が行われる。この結果、フロントウィンドウ６１越しにＭＲ非体験者４ｄ、４ｅを観測する。この時、ＭＲ非体験者４ｄと３ＤＡＲオブジェクト６の距離が近く、フロントウィンドウ６１の後方にＭＲ非体験者４ｄを表示すると、図６ＡのＭＲ非体験者４ｂ（現実物体）と同じ見え方になる場合には、ＭＲ非体験者４ｄ（現実物体）を縮小して、図１２ＢのＭＲ非体験者４ｄのように距離が離れたように表示する。なお、ＭＲ非体験者４ｅはダッシュボード（３ＤＡＲオブジェクト）６０およびハンドル６３（３ＤＡＲオブジェクト）、それと車体である３ＤＡＲオブジェクト６よりも遠く離れているため、フロントウィンドウ６１は透明なものとして扱い、それ以外のものとの距離関係でオクルージョン処理を実施する。
　図１２Ｃは、現実空間の背景画像をＶＲ画像６ｂに置き換えた場合を示している。ダッシュボード６０、ハンドル６３とＶＲ画像６ｂはオクルージョン処理が行われるが、フロントウィンドウ６１は透過型あるいは半透過型の３ＤＡＲオブジェクトであり、視線の奥にあるＶＲ画像６ｂが観測でき、あたかもＶＲ画像で与えられる仮想の場所にいるかのような体験が行える。
　図１３は、３ＤＡＲオブジェクトの一例のテーブル１００である。３ＤＡＲオブジェクトは“ＣＯＮＴＥＮＴＳ　ＩＤ”で識別され、複数の３ＤＡＲオブジェクト（ＡＲ　Ｏｂｕｊｅｃｔ　１～７など）を関連したものとしてまとめることができる。個々の３ＤＡＲオブジェクトは、３ＤＡＲオブジェクトに固有の“Ｄａｔａ　ｉｄ”、ＭＲ体験者などのユーザにわかりやすくするための“Ｔｉｔｌｅ”のほか、“Ｏｃｃｌｕｓｉｏｎ　Ｆｌａｇ”、“３Ｄ　Ｉｍａｇｅ　Ｄａｔａ”を含む。
　“Ｏｃｃｌｕｓｉｏｎ　Ｆｌａｇ”は“００“、”０１“、”１０“を定義している。“Ｏｃｃｌｕｓｉｏｎ　Ｆｌａｇ”の値が“００”の場合は、現実物体と３ＤＡＲオブジェクトの距離に応じてオクルージョン処理を行う。“Ｏｃｃｌｕｓｉｏｎ　Ｆｌａｇ”の値が“００”のフラグは、非透明部位フラグに相当する。
　また“Ｏｃｃｌｕｓｉｏｎ　Ｆｌａｇ”の値が“０１”の場合は、現実物体と３ＤＡＲオブジェクトの距離が近い場合には、現実物体を背景物体にて置換して、３ＤＡＲオブジェクトが隠れないように処理を行う。“Ｏｃｃｌｕｓｉｏｎ　Ｆｌａｇ”の値が“０１”のフラグは、非透明部位フラグに相当する。
　“Ｏｃｃｌｕｓｉｏｎ　Ｆｌａｇ”の値が“１０”の場合は、図１２Ｂのフロントウィンドウ６１のように、距離に関わらず３ＤＡＲオブジェクトを透明なものとして扱い、フロントウィンドウ６１の先の３ＤＡＲオブジェクトと現実物体とでオクルージョン処理を行わせる。“Ｏｃｃｌｕｓｉｏｎ　Ｆｌａｇ”の値が“１０”のフラグは、透明部位フラグに相当する。フロントウィンドウ６１の先の３ＤＡＲオブジェクトは、自動車の３ＤＡＲオブジェクト６の一部、例えばボンネットでもよいし、自動車の３ＤＡＲオブジェクト６とは異なる他の３ＤＡＲオブジェクト、例えば他の自動車の３ＤＡＲオブジェクトであってもよい。
　図１４は、第３実施形態に係るＭＲ体験プログラム２５１のフローチャートである。
　図７のフローチャートとの違いは、Ｓ１６０、Ｓ１６１のステップが追加されていることにある。
　ＨＭＤ２ａは、Ｓ１６０において、３ＤＡＲオブジェクトの“Ｏｃｃｌｕｓｉｏｎ　Ｆｌａｇ”をチェックして、図１３で説明したように、“Ｏｃｃｌｕｓｉｏｎ　Ｆｌａｇ”に応じて、処理を異ならせる。
　“Ｏｃｃｌｕｓｉｏｎ　Ｆｌａｇ”が“００”の場合には、ＨＭＤ２ａは、Ｓ１０８にて現実物体と３ＤＡＲオブジェクトの距離の関係に従ってオクルージョン処理を行う。（この処理については図１５で説明する。）
　“Ｏｃｃｌｕｓｉｏｎ　Ｆｌａｇ”が“１０”の場合には、ＨＭＤ２ａは、Ｓ１６１にて、図１２で示したフロントウィンドウ６１のような透明な物体として扱い、現実物体より距離が近くても透過して見えるようにする処理を行う。その後、Ｓ１０７に入る。
　“Ｏｃｃｌｕｓｉｏｎ　Ｆｌａｇ”が“０１”の場合にはＨＭＤ２ａは、Ｓ１０７にて現実物体と３ＤＡＲオブジェクトの距離の比較を行い、離れている場合と、近い距離や重なっている場合とで異なる処理を行う。
　図１５は、“Ｏｃｃｌｕｓｉｏｎ　Ｆｌａｇ”が“００”の場合を適用する画像の例である。図１５は海辺（砂浜６４と海面６５の３ＤＡＲオブジェクトがある）にて、現実物体４ｆが遊んでいる状況である。図１５では海面６５の“Ｏｃｃｌｕｓｉｏｎ　Ｆｌａｇ”が“００”に設定されている。海面６５から現実物体４ｆである人物が半分だけ現れても違和感は生じない。そのため、海面６５と現実物体４ｆの距離の関係でオクルージョン処理を行うようにすればよい。
　以上説明したように、第３実施形態によれば、第１実施形態と同じ特徴を有するとともに、３ＤＡＲオブジェクトの特徴に応じたオクルージョン処理が適用できる。
［第４実施形態］
　図１６と図１７を参照して、第４実施形態について説明する。図１６は、第４実施形態に係るＭＲ支援サーバ９のブロック図である。第４実施形態のＭＲ支援サーバ９は、ストレージ９４に３ＤＡＲオブジェクト＆ＶＲ画像データ９００、現実空間画像データ９０１、表示画像データ９０２を保持する。
　第４実施形態のＭＲ支援サーバ９は、ＨＭＤ２ａから指示され、ＶＲサービスサーバ８から受信する３ＤＡＲオブジェクト＆ＶＲ画像データ９００と、ＨＭＤ２ａから受信する現実空間画像データ９０１と、を保持する。
　さらにＭＲ支援サーバ９は、現実空間画像データ９０１から、現実物体画像９８の視線上の奥行方向の奥側（遠い側）に位置する物体を背景物体として認識して抽出し、背景物体画像９７を生成する。
　さらに、ＭＲ支援サーバ９は、現実物体画像９８と３ＤＡＲオブジェクト＆ＶＲ画像データ９００とをオクルージョン処理等して、現実空間画像に合成した表示画像データ９０２を得る。表示画像データ９０２は、ＨＭＤ２ａに送信し、ＨＭＤ２ａのディスプレイ２２で表示される。また、３ＤＡＲオブジェクトの画像データと併せて、背景のＶＲ画像データを受信する場合は、３ＤＡＲオブジェクト＆ＶＲ画像データ９００に蓄える。
　ＭＲ支援サーバ９は、現実物体のうち背景画像をＶＲ画像データに置き換え、背景のＶＲ画像と３ＤＡＲオブジェクトと現実物体とでオクルージョン処理や現実物体の移動等の合成処理を行うプログラムが含まれている。
　図１７は、第４実施形態に係るＭＲ支援プログラム９６のフローチャートである。
　ＭＲ支援サーバ９は、登録されているＭＲ体験者２のログイン要求を処理する（Ｓ１３１）。さらにＭＲ支援サーバ９は、ＨＭＤ２ａから現実空間画像データを受信する（Ｓ１３２）。
　ＭＲ支援サーバ９は、３ＤＡＲオブジェクトの描画データの送信要求を、ＶＲサービスサーバに送信する（Ｓ１４０）。要求する３ＤＡＲオブジェクトは、ＨＭＤ２ａでユーザがどのようなＡＲコンテンツを合成するかを決めてそれに従って３ＤＡＲオブジェクトの描画データの送付指示を受ける。
　ＭＲ支援サーバ９は、Ｓ１３２で受信した現実空間画像データから現実物体を認識し（Ｓ１３３）、受信した現実空間画像データから背景画像を更新する（Ｓ１３４）。
　ＭＲ支援サーバ９は、３ＤＡＲオブジェクトの描画データとＶＲ画像（ＶＲ画像は受信しない場合もある）データを受信する（Ｓ１４１）。
　ＭＲ支援サーバ９は、現実物体と３ＤＡＲオブジェクトとの重なりを検知するとともに、２つの物体の距離を比較する（Ｓ１４２）。体積が重ならないほど離れている場合には（Ｓ１４２：離れている）、現実物体と３ＤＡＲオブジェクトとでオクルージョン処理を実行する（Ｓ１４３）。
　一方、重なっている場合（Ｓ１４２：重なっている）には、ＭＲ支援サーバ９は、背景画像から背景物体画像のデータを生成し（Ｓ１４４）、背景物体画像と３ＤＡＲオブジェクトとで現実物体を上書きして隠すような処理を実行する（Ｓ１４５）。
　ＭＲ支援サーバ９は、３ＤＡＲオブジェクトと重なり合う現実物体のすべてに対して、Ｓ１４２～Ｓ１４５のステップが実行されたかの確認を行い、現実物体が残っている場合には（Ｓ１４６：Ｎｏ）、Ｓ１４２に戻る。
　ＭＲ支援サーバ９は、すべての現実物体に対して処理が完了した場合（Ｓ１４６：Ｙｅｓ）、処理済みの画像を表示画像のデータとしてＨＭＤ２ａに送信する（Ｓ１４７）。
　ＭＲ支援サーバ９は、プログラムの終了を確認し、終了しない場合は（Ｓ１３８：Ｎｏ）、Ｓ１４２からのステップを継続する。終了する場合では（Ｓ１３８：Ｙｅｓ）、一連の処理を終了する。
　第４実施形態によれば、第１実施形態と同じ特徴を有するとともに、ＭＲ体験処理の大部分を高性能のＭＲ支援サーバ９で実行し、ＨＭＤ２ａの処理を軽くするなど、実装方法を柔軟にできるという特徴がある。
　本発明は、上記図１から図１７で説明した各実施形態に限られるものではなく、ある実施形態の構成の一部を他の実施形態に置き換えることが可能である。また、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。これらは全て本発明の範疇に属するものであり、さらに文中や図中に現れる数値やメッセージ等もあくまで一例であり、異なるものを用いても本発明の効果を損なうものでない。
　また、発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実装しても良い。また、マイクロプロセッサユニット、ＣＰＵ等が動作プログラムを解釈して実行することによりソフトウェアで実装しても良い。また、ソフトウェアの実装範囲を限定するものでなく、ハードウェアとソフトウェアを併用しても良い。
１　　　　：ＭＲ空間
１ａ　　　：アクセスポイント
１ｂ　　　：無線ＬＡＮ信号
２、３　　　　：ＭＲ体験者
２ａ、３a　　　：ＨＭＤ
２ｂ、３ｂ　　　：無線ＬＡＮ信号
４ａ、４ｂ、４ｃ、４ｄ、４ｅ　　　：ＭＲ非体験者
４ｆ　　　：現実物体
５ａ　　　：花瓶
５ｂ　　　：窓
６　　　　：３ＤＡＲオブジェクト
６ａ　　　：ＶＲ画像データ
６ｂ　　　：ＶＲ画像
７　　　　：ネットワーク
８　　　　：ＶＲサービスサーバ
９　　　　：ＭＲ支援サーバ
１０　　　：背景物体画像
１１　　　：画像
１１ａ　　：前景画像
２０　　　：測距カメラ
２０ａ　　：左カメラ
２０ｂ　　：右カメラ
２２　　　：ディスプレイ
２３　　　：シャッタ
２４　　　：プロセッサ
２５ａ、２５ｂ　　：装着用筐体
２６　　　：スピーカ
２７　　　：マイク
６０　　　：ダッシュボード
６１　　　：フロントウィンドウ
６２　　　：バックミラー
６３　　　：ハンドル
６４　　　：砂浜
６５　　　：海面
８２　　　：ＣＰＵ
８３　　　：ＲＡＭ
８４　　　：ストレージ
８５　　　：内部バス
８６　　　：ＶＲサービスプログラム
８７　　　：ＶＲデータ
９１　　　：ネットワークＩＦ
９２　　　：ＣＰＵ
９３　　　：ＲＡＭ
９４　　　：ストレージ
９５　　　：内部バス
９６　　　：ＭＲ支援プログラム
９７、９８　　　：背景物体画像
１００　　：テーブル
２４０　　：カメラ用プロセッサ
２４１　　：方位センサ
２４２　　：ジャイロセンサ
２４３　　：加速度センサ
２４４　　：無線通信器
２４５　　：ＣＰＵ
２４６　　：ＲＡＭ
２４７　　：画像ＲＡＭ
２４９　　：内部バス
２５０　　：基本プログラム
２５１　　：ＭＲ体験プログラム
９００　　：３ＤＡＲオブジェクト＆ＶＲ画像データ
９０１　　：現実空間画像データ
９０２　　：表示画像データ
Ｌ　　　　：視線
ＰＲ　　　：交点
Ｐｎ　　　：最遠点
Ｐ１　　　：最近点
 

Claims (11)

  1. 　現実空間を撮像して前記現実空間に存在する現実物体画像を出力するカメラと、
    　前記現実空間の観測者から前記現実物体までの距離を測定する距離センサと、
    　ディスプレイと、
    　前記ディスプレイに３次元仮想現実物体を表示させるプロセッサと、を備え、
    　前記プロセッサは、前記観測者が前記３次元仮想現実物体を観測する視線上に前記現実物体が存在する場合、前記観測者から前記３次元仮想現実物体が表示される距離と前記観測者から前記現実物体までの距離とを比較し、前記３次元仮想現実物体に前記現実物体が重なる場合は、前記視線上に前記３次元仮想現実物体は表示し、前記現実物体画像は前記視線上には表示しない重なり解消表示処理を行う、
    　ことを特徴とする３次元仮想現実表示装置。
  2. 　請求項１に記載の３次元仮想現実表示装置であって、
    　前記プロセッサは、前記３次元仮想現実物体を構成する点のうち、前記視線に沿った奥行き方向に最も遠い最遠点と同距離またはそれよりも手前に前記現実物体が存在する場合、前記３次元仮想現実物体に前記現実物体が重なると判断する、
    　ことを特徴とする３次元仮想現実表示装置。
  3. 　請求項２に記載の３次元仮想現実表示装置において、
    　前記プロセッサは、記現実物体が前記最遠点よりも前記視線上において遠くに位置する場合、前記現実物体画像に、前記３次元仮想現実物体の背後に表示させるためのオクルージョン処理を実行して表示する、
    　ことを特徴とする３次元仮想現実表示装置。
  4. 　請求項２に記載の３次元仮想現実表示装置において、
    　前記プロセッサは、前記現実物体が前記最遠点と同距離またはそれよりも手前に存在する場合、前記現実空間を前記カメラが撮像した３次元現実空間画像から前記現実物体画像を削除し、当該削除した領域に前記３次元現実空間画像を基に生成した背景物体画像をはめ込んで表示する、
    　ことを特徴とする３次元仮想現実表示装置。
  5. 　請求項４に記載の３次元仮想現実表示装置において、
    　前記プロセッサは、前記３次元現実空間画像における前記視線から退避した位置に削除された前記現実物体画像を移動して表示する、
    　ことを特徴とする３次元仮想現実表示装置。
  6. 　請求項２に記載の３次元仮想現実表示装置において、
    　前記プロセッサは、前記現実物体が前記最遠点と同距離またはそれよりも手前に位置する場合、予め用意された３次元仮想空間画像に前記３次元仮想現実物体を重ねて表示する、
    　ことを特徴とする３次元仮想現実表示装置。
  7. 　請求項２に記載の３次元仮想現実表示装置において、
    　前記プロセッサは、前記３次元仮想現実物体を構成する点のうち、前記視線に沿った奥行き方向の最も手前にある最近点と同距離またはそれよりも更に手前に前記現実物体が存在する場合、前記現実空間を前記カメラが撮像した３次元現実空間画像から前記現実物体画像を削除し、前記現実物体が削除された３次元現実空間画像に前記３次元仮想現実物体を重ねるとともに、前記３次元現実空間画像から前記現実物体画像が削除された残領域に、前記３次元現実空間画像を基に生成した前景画像をはめ込んで表示する、
    　ことを特徴とする３次元仮想現実表示装置。
  8. 　請求項１に記載の３次元仮想現実表示装置において、
    　前記３次元仮想現実物体は、当該３次元仮想現実物体に対するオクルージョン処理を制御するためのフラグが付与され、
    　前記プロセッサは、前記フラグに応じて前記３次元仮想現実物体と前記現実物体画像との間のオクルージョン処理等の実行を制御する、
    　ことを特徴とする３次元仮想現実表示装置。
  9. 　請求項８に記載の３次元仮想現実表示装置において、
    　前記３次元仮想現実物体は非透明領域と透明領域とを含み、
    　前記フラグは前記非透明領域に付される非透明領域フラグと、前記透明領域に付加される透明領域フラグと、を含み、
    　前記プロセッサは、前記非透明領域フラグが付加された前記３次元仮想現実物体の部位は、前記重なり解消表示処理を実行し、前記透明領域フラグが付加された前記３次元仮想現実物体の透明領域は、前記透明領域と前記現実物体との距離に関わらず、前記透明領域を透過して前記現実物体を観測する視線上に前記３次元仮想現実物体の他の部位または他の前記３次元仮想現実物体と前記現実物体とがある場合は、前記３次元仮想現実物体の他の部位または他の前記３次元仮想現実物体と前記現実物体との距離に応じた表示、または前記視線上に前記現実物体のみが存在する場合は前記現実物体までの距離に応じた表示を行う、
    　ことを特徴とする３次元仮想現実表示装置。
  10. 　請求項１から請求項９のいずれか一つに記載の３次元仮想現実表示装置を搭載したヘッドマウントディスプレイ。
  11. 　現実空間を撮像して生成された３次元現実空間画像に、前記現実空間の観測者から前記現実空間に存在する現実物体までの距離を付加した３次元現実空間画像データを取得するステップと、
    　前記観測者が３次元仮想現実物体を観測する視線上に前記現実物体が存在する場合、前記観測者から前記３次元仮想現実物体が表示される距離と前記３次元現実空間画像データに基づく前記現実物体までの距離とを比較するステップと、
    　前記３次元仮想現実物体に前記現実物体が重なる場合は、前記視線上に前記３次元仮想現実物体は表示し、前記現実物体画像は前記視線上には表示しない重なり解消表示処理を行うステップと、
    　を含むことを特徴とする３次元仮想現実表示方法。
PCT/JP2020/032034 2020-08-25 2020-08-25 ３次元仮想現実表示装置、ヘッドマウントディスプレイ、および３次元仮想現実表示方法 WO2022044124A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2022544936A JP7532532B2 (ja) 2020-08-25 2020-08-25 ３次元仮想現実表示装置、ヘッドマウントディスプレイ、および３次元仮想現実表示方法
PCT/JP2020/032034 WO2022044124A1 (ja) 2020-08-25 2020-08-25 ３次元仮想現実表示装置、ヘッドマウントディスプレイ、および３次元仮想現実表示方法
CN202080103495.4A CN115968486A (zh) 2020-08-25 2020-08-25 三维虚拟现实显示装置、头戴式显示器和三维虚拟现实显示方法
EP20951378.7A EP4207084A4 (en) 2020-08-25 2020-08-25 3D VIRTUAL REALITY DISPLAY DEVICE, HEAD-MOUNTED DISPLAY AND 3D VIRTUAL REALITY DISPLAY METHOD
US18/022,745 US20230230333A1 (en) 2020-08-25 2020-08-25 3d virtual-reality display device, head-mounted display, and 3d virtual-reality display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/032034 WO2022044124A1 (ja) 2020-08-25 2020-08-25 ３次元仮想現実表示装置、ヘッドマウントディスプレイ、および３次元仮想現実表示方法

Publications (1)

Publication Number Publication Date
WO2022044124A1 true WO2022044124A1 (ja) 2022-03-03

Family

ID=80354888

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/032034 WO2022044124A1 (ja) 2020-08-25 2020-08-25 ３次元仮想現実表示装置、ヘッドマウントディスプレイ、および３次元仮想現実表示方法

Country Status (5)

Country Link
US (1) US20230230333A1 (ja)
EP (1) EP4207084A4 (ja)
JP (1) JP7532532B2 (ja)
CN (1) CN115968486A (ja)
WO (1) WO2022044124A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024071208A1 (ja) * 2022-09-27 2024-04-04 株式会社Ｊｖｃケンウッド 表示装置、表示方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346468A (ja) * 2004-06-03 2005-12-15 Canon Inc 画像処理方法、画像処理装置
JP2009123018A (ja) * 2007-11-15 2009-06-04 Canon Inc 画像処理装置、画像処理方法
JP2013101528A (ja) * 2011-11-09 2013-05-23 Sony Corp 情報処理装置、表示制御方法、およびプログラム
JP2015087909A (ja) * 2013-10-30 2015-05-07 キヤノン株式会社 情報処理システム、情報処理装置、情報処理サーバ、情報処理方法、及びプログラム
JP2016122392A (ja) 2014-12-25 2016-07-07 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007045835B4 (de) * 2007-09-25 2012-12-20 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
US10229523B2 (en) * 2013-09-09 2019-03-12 Empire Technology Development Llc Augmented reality alteration detector
US9626773B2 (en) * 2013-09-09 2017-04-18 Empire Technology Development Llc Augmented reality alteration detector
WO2016144741A1 (en) * 2015-03-06 2016-09-15 Illinois Tool Works Inc. Sensor assisted head mounted displays for welding
US9767606B2 (en) * 2016-01-12 2017-09-19 Lenovo (Singapore) Pte. Ltd. Automatic modification of augmented reality objects
US10943399B2 (en) * 2017-08-28 2021-03-09 Microsoft Technology Licensing, Llc Systems and methods of physics layer prioritization in virtual environments
US10679410B2 (en) * 2018-09-14 2020-06-09 Facebook Technologies, Llc Display opacity control for preventing view occlusion in artificial reality
US10855979B2 (en) * 2018-10-23 2020-12-01 Microsoft Technology Licensing, Llc Interpreting eye gaze direction as user input to near-eye-display (NED) devices for enabling hands free positioning of virtual items
US20200211295A1 (en) * 2018-11-09 2020-07-02 Edx Technologies, Inc. Methods and devices for transitioning among realities mediated by augmented and/or virtual reality devices
CN113168820A (zh) * 2018-12-13 2021-07-23 麦克赛尔株式会社 显示终端、显示控制系统以及显示控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346468A (ja) * 2004-06-03 2005-12-15 Canon Inc 画像処理方法、画像処理装置
JP2009123018A (ja) * 2007-11-15 2009-06-04 Canon Inc 画像処理装置、画像処理方法
JP2013101528A (ja) * 2011-11-09 2013-05-23 Sony Corp 情報処理装置、表示制御方法、およびプログラム
JP2015087909A (ja) * 2013-10-30 2015-05-07 キヤノン株式会社 情報処理システム、情報処理装置、情報処理サーバ、情報処理方法、及びプログラム
JP2016122392A (ja) 2014-12-25 2016-07-07 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4207084A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024071208A1 (ja) * 2022-09-27 2024-04-04 株式会社Ｊｖｃケンウッド 表示装置、表示方法及びプログラム

Also Published As

Publication number Publication date
JP7532532B2 (ja) 2024-08-13
JPWO2022044124A1 (ja) 2022-03-03
EP4207084A1 (en) 2023-07-05
CN115968486A (zh) 2023-04-14
EP4207084A4 (en) 2024-05-01
US20230230333A1 (en) 2023-07-20

Similar Documents

Publication Publication Date Title
WO2016203792A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7523615B2 (ja) 拡張現実表示装置及び拡張現実表示方法
JP2017204674A (ja) 撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
WO2013155217A1 (en) Realistic occlusion for a head mounted augmented reality display
US11120632B2 (en) Image generating apparatus, image generating system, image generating method, and program
JP6934957B2 (ja) 画像生成装置、基準画像データ生成装置、画像生成方法、および基準画像データ生成方法
JP6980031B2 (ja) 画像生成装置および画像生成方法
JP7496403B2 (ja) 表示端末
US11682138B2 (en) Localization and mapping using images from multiple devices
US11813988B2 (en) Image processing apparatus, image processing method, and image processing system
CN110050295B (zh) 用于增强和虚拟现实系统的减性绘制
JP2020064592A (ja) 画像生成装置、画像生成システム、画像生成方法、およびプログラム
WO2022044124A1 (ja) ３次元仮想現実表示装置、ヘッドマウントディスプレイ、および３次元仮想現実表示方法
TW201919390A (zh) 顯示系統以及顯示方法
WO2022086580A1 (en) Dynamic resolution of depth conflicts in telepresence
WO2019230169A1 (ja) 表示制御装置、プログラムおよび表示制御方法
JP2024149597A (ja) ３次元仮想現実表示システム
CN115756153A (zh) 一种基于元宇宙虚拟现实vr交互系统及方法
JP2019145161A (ja) プログラム、情報処理装置、及び情報処理方法
EP4231635A1 (en) Efficient dynamic occlusion based on stereo vision within an augmented or virtual reality application
WO2023248678A1 (ja) 情報処理装置、情報処理方法、及び情報処理システム
US11181973B2 (en) Techniques related to configuring a display device
CN109313823A (zh) 信息处理装置、信息处理方法和程序
JP2024015868A (ja) ヘッドマウントディスプレイおよび画像表示方法
CN116612234A (zh) 基于增强或虚拟现实应用程序内立体视觉的高效动态遮挡

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20951378

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022544936

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020951378

Country of ref document: EP

Effective date: 20230327