WO2020115784A1 - 拡張現実表示装置及び拡張現実表示方法 - Google Patents

拡張現実表示装置及び拡張現実表示方法 Download PDF

Info

Publication number
WO2020115784A1
WO2020115784A1 PCT/JP2018/044358 JP2018044358W WO2020115784A1 WO 2020115784 A1 WO2020115784 A1 WO 2020115784A1 JP 2018044358 W JP2018044358 W JP 2018044358W WO 2020115784 A1 WO2020115784 A1 WO 2020115784A1
Authority
WO
WIPO (PCT)
Prior art keywords
augmented reality
display device
reality display
data
image
Prior art date
Application number
PCT/JP2018/044358
Other languages
English (en)
French (fr)
Inventor
川前　治
奥　万寿男
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to CN201880099967.6A priority Critical patent/CN113168732A/zh
Priority to US17/298,688 priority patent/US11508134B2/en
Priority to PCT/JP2018/044358 priority patent/WO2020115784A1/ja
Priority to JP2020558687A priority patent/JP7244541B2/ja
Publication of WO2020115784A1 publication Critical patent/WO2020115784A1/ja
Priority to US17/967,934 priority patent/US20230045016A1/en
Priority to JP2023036556A priority patent/JP2023078241A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses

Definitions

  • the present invention relates to an augmented reality display device and an augmented reality display method for displaying an augmented reality object (hereinafter, AR (Augmented Reality) object) overlaid on a background image.
  • AR Augmented Reality
  • An augmented reality display device such as a head-mounted display (hereinafter, HMD) displays an AR object created by CG (Computer Graphics) and the like on a background image (real space) captured by a camera. It is used in the field of content display such as game display and maintenance work.
  • AR display device such as a head-mounted display (hereinafter, HMD) displays an AR object created by CG (Computer Graphics) and the like on a background image (real space) captured by a camera. It is used in the field of content display such as game display and maintenance work.
  • an image called an AR trigger or a mark is photographed by the camera simultaneously with the background, and the AR object is combined with the background image by using the AR trigger as a clue.
  • markless AR there is also known a method called markless AR in which a feature point is extracted from a camera image, image recognition is performed, and an AR object is added to a specific object.
  • Patent Document 1 the position and orientation of an observer observing a virtual space (virtual object) and the observation conditions are recorded, and then a virtual window is arranged in the virtual space, and the position and orientation relationship between the virtual window and the viewpoint is Determine whether the specified conditions are met. Then, when the prescribed condition is satisfied, it is disclosed that an image of a virtual space (virtual object) in which the position and orientation at the time of recording and the observation condition are restored is output.
  • Patent Document 2 a position of a virtual object displayed following a movable real object in the real space and a distance between the virtual space or another object in the real space are calculated. Then, when the distance becomes equal to or less than a threshold value, it is disclosed that a part or all of the transparency of at least one of the image of the virtual object and the other object is controlled.
  • the user When wearing an HMD and arranging an AR object in a space, the user recognizes an object (for example, furniture) in the space, and the AR object is arranged with absolute coordinates in the space.
  • an object for example, furniture
  • the arrangement of objects (furniture) in the space may be different.
  • the current space is recognized as a different space, or the distance relationship before and after the previous space is different, so that the AR object cannot be arranged at an appropriate position.
  • there is a problem in that a user who observes this may feel uncomfortable or confuse the user.
  • Patent Document 1 the arrangement of AR objects for moving objects is not taken into consideration.
  • Patent Document 2 a moving object is targeted, but since the virtual object is displayed when the distance between the object and the virtual object is close, the virtual object is displayed when the arrangement of the object is changed. The object cannot be displayed.
  • an object of the present invention is to provide an augmented reality display device and an augmented reality display method that appropriately display an AR object including a movable object in accordance with the current position of the object.
  • the augmented reality display device of the present invention includes a camera for capturing a background image, a distance measuring sensor for measuring a distance to a real object in the background image, a position/orientation sensor for detecting a position and a capturing direction of the camera, and a camera.
  • a controller for recognizing a real object from the background image photographed in Section 3 and tying a predetermined AR object to the recognized real object, a display unit for displaying a video of the allyed AR object, and a tied real object.
  • a memory for storing data of the AR object.
  • the controller determines from the measurement result of the distance measuring sensor whether or not the real object is movable, and if the position of the real object linked to the AR object is moved, the current position of the real object is determined.
  • Ar object is arranged according to the position of.
  • the augmented reality display method of the present invention includes the steps of capturing a background image, recognizing a real object from the captured background image, measuring a distance to the real object in the background image, and capturing position of the background image.
  • a step of detecting a shooting direction a step of associating a predetermined AR object with the recognized physical object, and a step of recognizing that the physical object is movable by detecting that the physical object has moved.
  • the AR object is arranged in accordance with the current position of the physical object.
  • an AR object including a movable object can be appropriately displayed according to the present position of an object, and a user who observes this can observe comfortably, without giving a feeling of strangeness. be able to.
  • FIG. 3 is a diagram showing an appearance of an augmented reality display device (AR display device) according to the first embodiment.
  • the block diagram which shows the internal structure of AR display device.
  • the figure which shows the recognition method when a user's gaze direction is a direction of the code
  • the figure which shows the recognition method when a user's gaze direction is a direction of the code
  • the figure which shows the example of a display of a movable AR object The figure which shows the example of a display of the AR object linked with a line of sight.
  • the figure which shows the flow of AR object process 884 (the 1).
  • the figure which shows the flow of AR object process 884 (the 2).
  • FIG. 6 is a diagram showing an appearance of an augmented reality display device (AR display device) according to a second embodiment.
  • the augmented reality display device is also referred to as an “AR display device” for simplicity, and a person who experiences augmented reality (AR) using the augmented reality display device is referred to as a “user”.
  • AR augmented reality
  • FIG. 1A is a diagram showing an appearance of an augmented reality display device (AR display device) according to the first embodiment.
  • the AR display device 1 includes a camera 2, a distance measuring sensor 3, a position/direction sensor 4, a 3D (three-dimensional) projector 5, a transmissive screen 6, glasses with shutters 7, a controller 8, speakers 9a and 9b, holders 10a and 10b. Equipped with.
  • FIG. 1B is a diagram showing a state where the user wears the AR display device.
  • the user 100 mounts the AR display device 1 which is an HMD on his/her head with the holders 10a and 10b.
  • the 3D projector (display unit) 5 alternately projects and displays the image of the 3D AR object, that is, the image viewed by the left eye and the image viewed by the right eye.
  • the shutter-equipped glasses 7 in front of the transmissive screen 6 alternately transmit the left and right images in synchronization with the switching operation of the 3D projector 5 between the left and right images.
  • the user 100 can see the scenery in front and the real object through the transmissive screen 6, and can also visually recognize the 3D AR object projected by the 3D projector 5 by combining on the transmissive screen 6. it can.
  • the visually synthesized image is also referred to as a "display image".
  • the camera 2 is attached so as to photograph the front of the head of the user 100 (the direction of the user's line of sight).
  • the distance measuring sensor 3 measures the distance to the physical object captured by the image captured by the camera 2.
  • the measurement method is a method in which a light beam is two-dimensionally radiated like a TOF (Time of Flight) sensor and the distance is measured from the flight time thereof, or parallax information of two cameras as in Example 2 described later. A method of calculating the distance from may be used.
  • the position/direction sensor 4 detects the position and direction of the AR display device 1, that is, the movement of the position of the user 100 and the line-of-sight direction.
  • the controller 8 captures the image captured by the camera 2, the distance data from the distance measuring sensor 3, and the position/direction data from the position/direction sensor 4, and supplies it to the internal memory or CPU. Also, the image projected by the 3D projector 5 and the sound output to the speakers 9a and 9b are created. Further, a drive signal for the glasses with shutters 7 is generated, the transmission of the left and right glasses is switched in synchronization with the left and right images of the AR object projected by the 3D projector 5, and the user 100 is provided with the 3D image.
  • the controller 8 also includes a user interface with the user 100.
  • the user interface can use a flat panel with a built-in touch sensor.
  • FIG. 2 is a block diagram showing the internal configuration of the AR display device 1.
  • the same parts as those in FIGS. 1A and 1B are designated by the same reference numerals.
  • a feature extraction processing unit 81 Inside the controller 8 (shown by a broken line), a feature extraction processing unit 81, a distance calculation processing unit 82, a movement detection processing unit 83, a communication unit 84, a CPU 85, a RAM 86, an image RAM 87, a program flash ROM (P-FROM) 88, A data flash ROM (D-FROM) 89 and a user operation input unit 90 are further provided.
  • P-FROM program flash ROM
  • D-FROM data flash ROM
  • the feature extraction processing unit 81 extracts a contour (edge) of a physical object from a video image captured by the camera 2 and performs processing by using an inflection point or a vertex of the contour as a feature point.
  • the distance calculation processing unit 82 calculates the distance to the feature point based on the measurement data from the distance measuring sensor 3.
  • the movement detection processing unit 83 obtains the position and movement amount of the AR display device 1 and the shooting direction of the camera 2 based on the measurement data from the position/orientation sensor 4, that is, this is the position and movement amount of the user 100. , The line of sight.
  • the program flash ROM 88 stores various processing programs. This includes overall control processing 880, reference point and movement history processing 881, captured object processing 882, background object processing 883, AR object processing 884, captured object group processing 856, and display image generation processing 886. These processing programs are expanded in the RAM 86 and executed by the CPU 85.
  • the communication unit 84 can connect the AR display device 1 to an external network and allow a part of the processing of the AR display device 1 to be performed by a server or the like connected to the external network.
  • the data flash ROM 89 stores data generated in the process of executing these processing programs and as a result. That is, the reference point and movement history data 891, the photographed object data 892, the background object data 893, the AR object data 894, and the photographed object group data 895 are included. When the user wants to reproduce and experience the AR display, it can be reproduced by reading out the stored data.
  • program flash ROM 88 and the data flash ROM 89 may be configured by separate memory media as illustrated, or may be configured by one memory medium. Further, it may be two or more memory media, and may be a non-volatile memory medium other than the flash ROM.
  • the image data (AR object) generated by the display image generation process 886 is stored in the image RAM 87, read from the image RAM 87, and projected by the 3D projector 5. Further, the user operation input unit 90 receives a user input by a touch sensor, and controls the AR display device 1 by a control screen displayed by the 3D projector 5.
  • FIGS. 3A to 3D the process up to arranging the AR object on the background image will be described by using a specific example of the display image.
  • FIG. 3A shows an example of an image taken by the camera 2. That is, it is a real landscape that the user visually recognizes through the transmissive screen 6.
  • the camera 2 photographs the inside of the room, and the inside of the room is surrounded by a left side wall 11, a right side wall 12, a front wall 13 and a floor 14 as a real object, and the air conditioner 15, the window 16, the tables 17, 2 are shown.
  • the feature extraction processing unit 81 extracts feature points from the contour of an object in the captured image of the image captured by the camera.
  • the set of feature points forming the contour is sent to the CPU 85 to identify what the object is. At that time, the object may be identified by collating with the video database of the external server via the communication unit 84.
  • the distance measurement sensor 3 and the distance calculation processing unit 82 calculate the distance to each object in the room and create a sketch in the real space. Then, the feature data extracted by the feature extraction processing unit 81 is combined with the distance data calculated by the distance calculation processing unit 82. Further, the position/orientation sensor 4 and the movement detection processing unit 83 record which position (coordinates) and which direction the AR display device 1 was taken in.
  • the identified physical object is separately registered as a “photographed object” or a “background object” by the photographed object process 882 and the background object process 883.
  • the imaged object has a unique object shape and is located relatively close to the distance data.
  • the air conditioner 15, the window 16, the table 17, and the chairs 18 and 19 correspond.
  • the background object has, for example, no specific object shape other than a plane, or the distance data includes the farthest point.
  • the left side wall 11, the right side wall 12, the front wall 13, Floor 14 corresponds. That is, the background object is an object that constitutes the background of the image captured by the camera.
  • the current position is registered by judging whether the position is fixed and does not move or the position has moved and changed.
  • the air conditioner 15, the window 16, the left side wall 11, the right side wall 12, the front wall 13, and the floor 14 are objects whose positions are fixed.
  • the table 17, the chairs 18, 19 and the like are movable objects whose positions are changed by changing the layout (pattern). For a movable object, position data after movement is acquired, and an AR object is arranged according to the position after movement.
  • FIG. 3B is an example of a display image in which a background image and an AR object are combined.
  • AR objects 20 to 23 are added in addition to the real objects 11 to 19 in the room, and the user can visually recognize such a display image using the AR display device 1.
  • the curtain object 20 is placed in the window 16.
  • the clock object 21 is arranged on the right side wall 12
  • the vase object 22 is arranged on the table 17, and the stuffed toy object 23 is arranged on the chair 18.
  • Arrangement of such an AR object is determined by an AR object process 884 based on a user operation.
  • These operations and processes are called “linking operation” and “linking process”. That is, in the linking process, based on the sketch of the physical space created from the camera image of FIG. 3A, the coordinates at which each AR object is arranged are determined in consideration of the current position of the AR display device 1.
  • association information an offset distance is given to a specific feature point of the object in order not only to specify which object to associate with but also to specify which part of the object to arrange. Position.
  • the position of the curtain object 20 to be pasted on the window 16 and the position of the vase object 22 on the table 17 are designated.
  • the stuffed toy object 23 is placed on the chair 18, the stuffed toy object 23 is placed so that its posture matches the direction of the chair 18. In addition to being placed in contact with an object, it may be placed floating in space.
  • the state of these associations is expressed by numerical parameters and stored in the data flash ROM 89 together with the position information of the AR object.
  • a feature of the present embodiment is that an AR object (a vase object 22 or a stuffed toy object 23) placed on a movable object such as the table 17 or a chair 18 becomes a movable object when the movable object moves. Place them while maintaining the positional relationship of.
  • the AR object also rotates by the same angle and is arranged so as to maintain the same posture with respect to the movable object.
  • the hidden AR object is masked so that it cannot be seen in the arrangement after the movement.
  • FIG. 3C shows a display when the chair 18 which is a movable object is moved by, for example, a human hand after the display image of FIG. 3B.
  • a stuffed toy object 23, which is an AR object, is placed on the chair 18' after moving.
  • the stuffed toy object 23 associated with the chair 18' moves while maintaining the positional relationship with the chair 18'.
  • the chair 18′ is rotated, the stuffed toy object 23 is also rotated, and as a result, the stuffed toy object 23 is arranged while maintaining its posture with respect to the chair 18′. If the chair 18 is moved out of the range of the image captured by the camera, the stuffed toy object 23 associated with the chair 18 will also be removed from the display image.
  • FIG. 3C one of the two chairs 18 and 19 in FIG. 3B is removed. If the chair 18 is removed and the remaining chair has the reference numeral 19, the stuffed toy object 23 is placed in the remaining chair 19. This is due to the effect of grouping the photographed objects described later.
  • 3D shows a display when a partition 25 is additionally arranged in the real space after the display image of FIG. 3C.
  • the partition 25 is arranged in front of the table 17, close to the vase object 22 which is an AR object, and partially overlapped.
  • the portion overlapping the partition 25 is shaded by the partition 25 and displayed so as not to be seen by the user (shown by a dotted line). Therefore, it processes as follows.
  • the partition 25 is recognized as a photographed object, and distance data is given to its feature points.
  • the distance data of the partition 25 is compared with the distance data of the vase object 22 which is the displayed AR object. As a result of comparing the distance between the vase object 22 and the partition 25 adjacent to the vase object 22, the vase object 22 is located farther than the partition 25, and the hidden portion of the vase object 22 is hidden.
  • the curtain object 20 which is an AR object is also overlapped with the partition 25, and the lower left portion is hidden.
  • the AR object to be displayed overlaps the shooting object in the line-of-sight direction, and when the AR object is arranged farther than the shooting object, the hidden portion of the AR object is hidden to provide a display with no discomfort. Can be done.
  • FIG. 4 is a diagram showing an example of a display image in which an AR object is arranged in a natural landscape.
  • the camera is shooting a natural landscape.
  • Objects in the landscape naturally objects such as mountains, forests and hills
  • background objects are at a distance that cannot be measured by the distance measuring sensor 3, and such objects are treated as “background objects”.
  • a sufficiently large (or infinite) distance data is given to the background object.
  • AR objects can be placed on background objects such as landscapes.
  • the two house objects 24a and 24b are displayed in association with the background object.
  • the background object mountain, forest, etc.
  • FIG. 5A to FIG. 5C are diagrams for explaining how the user recognizes the line-of-sight direction and the background object.
  • the front wall 13 and the window 16 are present in the image captured by the camera, and the partition 25 is arranged in front.
  • the front wall 13 and the partition 25 are real objects, which are recognized as a background object and a captured object, respectively.
  • the line-of-sight direction of the user moves from the direction indicated by reference numeral 26a to the direction indicated by reference numeral 26b.
  • FIG. 5B is a diagram showing a recognizable area of the front wall 13 when the user's line-of-sight direction is the direction 26a. Since part of the front wall 13 is covered with the partition 25, the region 13a can be recognized as a background object, and the region 13x at the lower left corner is missing.
  • FIG. 5C is a diagram showing a recognizable area of the front wall 13 when the user's line-of-sight direction moves in the direction of reference numeral 26b.
  • the user can see the entire front wall 13 behind the partition 25.
  • the rectangular area 13b can be recognized as the background object.
  • the area (shape) of the background object on the back surface of the imaged object may change depending on the line-of-sight direction of the user (direction of the AR display device).
  • the background object is recognized as a background object in a wide area, it is treated as a background object having a wide area regardless of the direction of the line of sight thereafter.
  • the AR object can be arranged on the front wall portion 13x which is behind the partition 25 and cannot be seen in the line-of-sight direction 26a.
  • FIG. 6 is a diagram showing a display example of a movable AR object.
  • the drone object 27 is a movable AR object that is linked to the area near the partition 25.
  • a predetermined motion profile is given to the drone object 27.
  • the drone object 27 is located on the left side of the partition 25 that is the starting point at time T1, moves according to the parameters of the moving speed and the moving direction, and is located on the right side of the partition 25 at time T2. To do. If the user's line-of-sight direction 28 is on the right side of the screen 25, it looks as if the drone object 27 appeared through the screen 25.
  • a movable AR object an AR experience in which a moving object suddenly appears from an obstacle is possible.
  • FIG. 7 is a diagram showing a display example of an AR object linked to the line of sight.
  • the stuffed toy object 23 is a 3D image, and is tied so that the body is directed in the direction of sitting on the chair. Therefore, when the chair 18 moves to the position of the chair 19, the line of sight of the user changes from the reference numeral 29a to the reference numeral 29b, and the 3D display of the stuffed toy object 23 is also rotated to perform display according to the sitting direction of the chair. You can
  • the CPU 85 executes processing according to the following programs stored in the program flash ROM 88.
  • FIG. 8 is a flow of the overall control process 880. That is, the whole process from camera photographing to displaying the AR object is shown.
  • S101 Camera shooting is started in S101.
  • the camera shooting may be performed at the timing of executing the entire AR processing, or, for example, moving image shooting of 30 frames/second may be continued and the video to be captured may be captured at the timing of executing the entire AR processing.
  • S102 is a reference point/movement history processing 881, which detects the position of the camera and the shooting direction, that is, the position of the user's head and the line-of-sight direction at each time and registers it in the reference point/movement history data 891.
  • step S103 the captured object processing 882 is performed to extract the characteristics of the captured video image captured by the camera, select the characteristic points, recognize what the real object is from the set of characteristic points, and acquire the captured object data 892 as the captured object. Register with.
  • step S104 background object processing 883 is performed, in which the distance data added to the feature points includes the farthest feature point, and an area excluding the photographed object is registered as the background object in the background object data 893.
  • S105 is an AR object processing 884, which selects an AR object to be arranged on the photographed object and the background object and determines a parameter (display parameter) when arranging the AR object.
  • This processing includes a selection operation by the user.
  • the data of the selected AR object is registered in the AR object data 894, and the display parameter is registered as the linking data in the shooting object data 892 and the background object data 893.
  • the photographed object group process 885 is performed to group a plurality of related photographed objects that are associated with the common AR object and register the photographed object group data 895.
  • S107 is a display image generation process 886 which reads out various registered data, processes and generates a display image of the AR object, writes it in the image RAM 87, and causes the 3D projector 5 to project it on the transmissive screen 6. At this time, a drive signal for the shutter-equipped glasses 7 is also generated.
  • S108 it is determined whether or not to continue. If it is continued (Yes), the process returns to S101, and if it is not continued (No), the process ends.
  • FIG. 9 is a flow of the reference point and movement history processing 881. This processing is executed by the position/direction sensor 4 and the movement detection processing unit 83.
  • the user wears the AR display device 1, stands at a position substantially in the center of the real space where the AR is experienced, and starts camera shooting.
  • the position of the start point and the shooting direction of the camera form a pair and serve as a reference point in the real space.
  • the position/orientation sensor 4 detects the position of the AR display device 1 and the shooting direction of the camera 2, and acquires the data as the data indicating the position and the line-of-sight direction of the user.
  • FIG. 10 is a flow of the imaged object processing 882. This processing is executed by the feature extraction processing unit 81.
  • the captured image is read from the camera 2.
  • the feature analysis of the image is performed, for example, the edge is extracted, and the apex of the edge or the inflection point is extracted as the feature point.
  • the distance data acquired by the distance measuring sensor 3 and the distance calculation processing unit 82 are added to the feature points.
  • the difference from the previous feature point is evaluated, and in S125, the type of object is recognized from the set of feature points for which the difference is evaluated as significant.
  • the object may be identified by collating with the video database of the external server via the communication unit 84.
  • the identified result is registered in the photographed object data 892 as a photographed object. Further, a "movement flag” indicating whether or not the position of the photographic object acquired by the distance measuring sensor 3 has moved from the previous position is added.
  • the value of the movement flag "X" means the reference point, "0” means no movement, and "1" means movement.
  • FIG. 11 is a flow of the background object processing 883.
  • the feature point having the farthest distance is selected from the feature points extracted by the feature extraction processing unit 81.
  • the corner of the front wall 13 or the like corresponds.
  • region A a region including a feature point having the farthest distance and not recognized as a photographic object is selected.
  • region B a region in which the distance cannot be detected (exceeds the detection limit) is selected from the feature points extracted by the feature extraction processing unit 81 (referred to as region B).
  • region B the area A and the area B are regarded as elements forming the background of the real space, and are registered in the background object data 893 as the background object.
  • 12A and 12B are a flow of the AR object processing 884. 12A and 12B, a part of the processing procedure is replaced. This process is performed interactively by the user while looking at the operation screen.
  • one object in which the AR object is arranged is selected from the photographed object or the background object.
  • an AR object to be linked with the selected object is selected.
  • the AR object selection candidates may be prepared in advance in the AR display device 1, or may be referred to the data stored in an external server via the communication unit 84.
  • the selected AR object is registered in the AR object data 894.
  • display parameters for displaying the AR object are set. This gives the display position, size, and direction of the AR object with respect to the object. That is, it is possible to position the object by giving an offset to the position of a certain feature point of the selected object.
  • the background object in which the characteristic points are not clear like the area B an arbitrary point in the area may be selected and the selected point may be used as the pseudo characteristic point.
  • the position can be determined by indicating a point on the flat part of the wall by the coordinates from the corner, pillar or ceiling of the wall.
  • the set display parameters are registered in the photographed object data 892 and the background object data 893 as association data of the AR object.
  • an AR object is first selected, and a shooting object or a background object is assigned to the selected AR object.
  • S145 all AR objects to be used are selected. Therefore, reference is made to a built-in AR display device 1 or an external server.
  • the selected AR object is registered in the AR object data 894.
  • one of the selected AR objects is selected.
  • a shooting object or a background object to which the selected AR object is linked is selected.
  • display parameters position on display, size, direction for displaying the AR object are set.
  • the set display parameters are registered in the photographed object data 892 and the background object data 893 as association data of the AR object.
  • FIG. 12A Comparing FIG. 12A and FIG. 12B, when the number of shooting objects or background objects to be linked is smaller than the number of options of the AR object, the flow of FIG. 12A is efficient. On the contrary, when the number of AR objects to be linked is smaller than the number of options of the shooting object or the background object, the flow of FIG. 12B is efficient. It is assumed that the user can select one of the flows in FIGS. 12A and 12B depending on the situation at that time. Note that an example of a user operation screen in the AR object process 884 will be described with reference to FIGS.
  • FIG. 13 is a flow of the imaged object group processing 885.
  • the imaged object group is a process of grouping a plurality of imaged objects and linking a common AR object.
  • S151 a plurality of imaged objects of the same form are registered in the imaged object group data 895 as an imaged object group. For example, the two chairs 18 and 19 in FIG. 3A are grouped. At that time, the priority to be associated with each imaged object is specified.
  • a plurality of states in which one imaged object is deformed are registered as an imaged object group.
  • the window 16 of FIG. 3A can be deformed into a closed state, an open state, a curtain down state, and the like, and these are grouped.
  • the AR object common to the registered shooting object group is linked and the display parameter is set. By this grouping process, it is possible to display the AR object by reflecting the intention of the linked user and flexibly corresponding to the situation in the real space.
  • FIG. 14 is a flow of the display image generation processing 886.
  • various data registered in the data flash ROM 89 is read to generate a display image of the AR object, which is projected and displayed by the 3D projector 5.
  • the AR object to be displayed is selected with reference to the photographed object data 892, the background object data 893, and the AR object data 894.
  • the photographed object group data 895 is referred to, and it is determined whether or not the photographed objects to be linked are grouped. If they are grouped (Yes), the process proceeds to S164, and if they are not grouped (No), the process proceeds to S172.
  • the other grouped imaging objects are targets to be linked. At that time, if there are a plurality of candidates, the target is determined according to the priority. For example, as shown in FIG. 3C, the binding target object is switched from the chair 18 to the chair 19.
  • the AR object is rotated according to the direction of the AR display device 1 (user's line of sight). Further, the AR object is scaled up/down according to the distance to the shooting object (or background object) to be linked. As a result, the display as shown in FIGS. 5A to 5C and 7 becomes possible.
  • S168 the distance relationship between the AR object and the real object (photographed object) overlapping the AR object in the line-of-sight direction is evaluated.
  • S169 it is determined whether the AR object is hidden by the physical object, that is, whether the physical object exists in front of the AR object. If hidden (Yes), the process proceeds to S170, and if not hidden (No), the process proceeds to S171.
  • S170 the image of the hidden portion of the AR object is masked (for example, the image data is rewritten to 0). This enables the display as shown in FIG. 3D.
  • the 3D projector 5 projects and displays the AR object.
  • the process returns to S161 to process the next AR object.
  • FIG. 15A and 15B are diagrams showing specific examples of user operations in the AR object processing 884 described in FIG. 12A (FIG. 12B).
  • This is a scene in which the chair 18, which is a physical object, is recognized as a shooting object, and the stuffed toy object 23, which is an AR object, is linked to the shooting object. Note that this process is performed interactively by the user while looking at the operation screen.
  • FIG. 15A is a screen for selecting an AR object to be linked.
  • the cursor 31 is placed on the chair 18 and clicked. This operation pops up the menu small screen 32a. Click “Select AR Object” from the list presented on the menu small screen 32a. The clicked item is converted to white characters on a black background.
  • the AR object candidate screen 32b appears, and the cursor 31 is used to select the desired AR object.
  • the detailed display parameters of the selected AR object are set by clicking the items of "arrangement position setting" and "size/posture setting" at the bottom of the menu.
  • FIG. 15B shows a scene in which the display parameters of the AR object 23 that have been set once are changed.
  • the menu small screen 32c is displayed.
  • the menu list includes display/non-display switching, display size change, display rotation change, and layout change (offset change), and desired items can be changed.
  • 16 to 21 are diagrams showing examples of various data tables stored in the data flash ROM 89.
  • FIG. 16 shows header data, and a list of data handled by the AR display device 1 is described in “Accompanying Content”. Further, at the top of the table, there is a “content ID” indicating that the data is related to the AR experience. This “content ID” is an ID common to a table of photographed objects, background objects, AR objects, etc., which will be described later. In addition, information such as “content owner” and “copyright” is included.
  • FIG. 17 shows reference points and movement history data 891.
  • content ID indicates the reference point and the movement history data.
  • the time (T0, T1, T2), the position, and the direction of the "reference point (PBase)" and the “movement history (MP1, MP2)” are described.
  • UTC Universal Time, Coordinated
  • the position and the shooting direction of the AR display device 1 at each time are indicated by difference data with the reference point (PBase) as a starting point.
  • difference position (r1, ⁇ 1, ⁇ 1) (distance, horizontal angle, vertical angle)
  • difference direction ( ⁇ 1, ⁇ 1) (horizontal angle, vertical angle).
  • the value of GPS data is given for the position
  • the value of azimuth is given for the direction. Good.
  • FIGS. 18A to 18C show imaged object data 892.
  • the photographed object data is described separately for each photographing position.
  • FIG. 18A shows data at the reference position (PBase)
  • FIG. 18B shows data at the moving position (MP1)
  • FIG. 18C shows data at the moving position (MP2).
  • the data of FIGS. 18A to 18C correspond to the scenes of FIGS. 3B to 3D, respectively.
  • the photographed objects recognized at each photographing position are given numbers such as “photographed object 1”, “photographed object 2”,..., And the recognized object names “table”, “chair 1”,... Is listed.
  • a "movement flag” indicating whether or not the object is movable is attached to each imaged object.
  • the data of each feature point includes the relative position (distance and direction) with respect to the shooting position of the AR display device 1.
  • the data of the “associated AR object” is linked to the AR object data 894 described later, and the AR object (title) designated by the data ID is associated.
  • the “linking position” indicates a feature point where the AR object is arranged and an offset distance, and the “size” and “rotation” are parameters when the AR object is displayed.
  • the shooting position is the reference position (PBase) (FIG. 18A)
  • the shooting objects 1 to 3 are described, and the tying AR object 1 is set to the shooting object 1 (table) and the shooting object 2 (chair 1) is set to the shooting object 1 (table). Is associated with the associated AR object 2.
  • the shooting position is the moving position (MP2) (FIG. 18C)
  • the shooting object 4 is newly recognized and added.
  • the numerical values of the positions and directions of the imaged objects 1 and 2 with respect to each characteristic point are slightly different between the reference position (PBase) and the moving position (MP1, MP2). This is because even if the imaged objects 1 and 2 do not move in the physical space, the values will differ depending on the movement of the AR display device 1. In such a case, the difference in numerical value is recognized as being associated with the movement of the AR display device 1, and whether or not an actual object has moved is determined based on the movement of the AR display device 1.
  • the imaged object 2 (chair 1) is moving in the physical space, and the “movement flag” is set to “1” indicating that the object is movable.
  • the imaged object 4 (partition) is a new object appearing in the real space, and the “moving flag” for this is “1”.
  • a group number is given to each shooting object registered in the shooting object group described later.
  • the imaged object 2 (chair 1) and the imaged object 3 (chair 2) are grouped and treated as “group 1”.
  • FIG. 19 shows background object data 893.
  • the background object data is divided for each shooting position, and is described separately for the reference position (PBase) and the moving position (MP1,... ).
  • feature point 1 “feature point 1”, “feature point 2”,... are described, and these feature points may include pseudo feature points designated by the user. Subsequently, the data of the “correlated AR object” is described as in the case of the photographed object of FIGS. 18A to 18C. Further, the background object data has bitmap data corresponding to the coordinates of the image captured by the camera so that the position and shape of the background object data can be grasped.
  • FIG. 20 shows AR object data 894.
  • the AR object data is, for example, data downloaded from a server on the network, and a serial number is assigned to each title.
  • a data ID for identification is given to each AR object data, and is linked to the above-described photographic object data and background object data via this.
  • the items include a title and a description of copyright, and 3D image data is stored.
  • a display image is generated using this 3D image data.
  • AR object data may include unique display attributes.
  • the “AR object 7” is the case of the drone object 27 in FIG. 6, and the “motion profile” representing the motion of the drone is described.
  • FIG. 21 shows the photographed object group data 895.
  • Serial numbers are assigned to the imaged object group data such as “group 1” and “group 2”, and the imaged objects that form the group are described in “constituent object”.
  • the photographed object 2 and the photographed object 3 are grouped.
  • a "linking AR object” to link to each group is described.
  • a “priority” indicating a priority order of associating AR objects is given to a plurality of imaged objects that form a group.
  • the photographic objects to be displayed when displaying AR objects can be selected according to the situation.
  • the effect of grouping the two chairs 18 and 19 will be described with reference to FIG. 3B.
  • the stuffed toy object 23 is tied to the chair 18.
  • the tied chair 18 of the two chairs 18 and 19 may be removed from the room. If the chairs 18 and 19 are grouped and registered, even if the first-order chair 18 is removed, the stuffed toy object 23 is placed on the second-order chair 19 with reference to the photographed object group data 895. Can be made As a result, it is possible to reflect the user's intention associated with the stuffed animal and display the AR object flexibly in response to the situation in the real space.
  • the augmented reality display device that appropriately displays the AR object including the movable object in accordance with the current position of the object.
  • the 3D display that reflects the distance relationship between the AR object and the physical object (that is, the front-back relationship viewed from the user) is performed, it is possible to display with a sense of depth.
  • by grouping a plurality of photographed objects it is possible to reflect the user's intention and display the AR object flexibly corresponding to the situation in the real space.
  • an augmented reality display device equipped with a 3D camera for shooting and distance measurement will be described.
  • FIG. 22 is a diagram illustrating an appearance of the augmented reality display device (AR display device) according to the second embodiment.
  • Constituent elements having the same functions as those of the AR display device 1 shown in the first embodiment (FIG. 1A) are designated by the same reference numerals, and a duplicate description will be omitted.
  • the user mounts the AR display device', which is an HMD, on his/her head with the holders 10a and 10b.
  • the AR display device 1 includes 3D (three-dimensional) cameras 33a and 33b and a flat display (display unit) 34.
  • 3D cameras 33a and 33b By replacing the camera 2 and the distance measuring sensor 3 in the first embodiment, the 3D cameras 33a and 33b not only obtain the image captured by the camera, but also the difference between the image of the left visual line obtained by 33a and the image of the right visual line obtained by 33b. It is also possible to measure the distance of a real object in a camera image.
  • the flat display 34 is a replacement of the 3D projector 5 and the transmissive screen 6 in the first embodiment, and the images taken by the 3D cameras 33a and 33b and the AR object image are combined and displayed by the controller 8. At this time, the image of the left line of sight and the image of the right line of sight are alternately displayed, and the 3D image is displayed in synchronization with the glasses with shutter 7.
  • a general-purpose device such as a smartphone may be used for the flat display 34. At this time, the function of the controller 8 can be executed by the control device incorporated in the smartphone.
  • FIG. 23 is a block diagram showing the internal configuration of the AR display device 1'.
  • the blocks having the same functions as those of the blocks shown in the first embodiment (FIG. 2) are designated by the same reference numerals, and the duplicated description will be omitted.
  • the blocks different from the first embodiment are the 3D cameras 33a and 33b, the flat display 34, the feature extraction processing unit 81', the distance calculation processing unit 82', and the combination processing unit 91.
  • the feature extraction processing unit 81' extracts feature points from the images of the 3D cameras 33a and 33b, and recognizes the real object shown in the image captured by the camera from the feature points.
  • the distance calculation processing unit 82' measures the distance of the real object in the camera image by the difference between the images of the left-eye/right-eye line of sight obtained by the 3D cameras 33a and 33b.
  • the synthesizing processing unit 90 forms a video image of the 3D cameras 33a and 33b and a video image of the AR object, and the flat display 34 displays the synthesized video image.
  • the association of the AR object with the real object (the captured object, the background object) recognized from the captured video and the various display control methods of the associated AR object are described in the embodiment. It can be performed in the same manner as in the case of 1.
  • a general-purpose device such as a smartphone including a flat display.
  • the present invention is not limited to these, and a part of the configuration of one embodiment may be replaced with the configuration of another embodiment, or the configuration of another embodiment may be added. It is also possible.
  • the present invention can be applied not only to the display of an augmented reality (AR) object but also to a device and a display method for displaying a mixed reality (MR) object that is an evolution of the augmented reality (AR) object.
  • AR augmented reality
  • MR mixed reality

Abstract

拡張現実表示装置は、背景映像を撮影するカメラと、背景映像内の現実物体までの距離を測定する測距センサと、カメラの位置とカメラの撮影方向を検知する位置・方位センサと、カメラで撮影した背景映像から現実物体を認識し、認識した現実物体に所定のＡＲオブジェクトを紐付けするコントローラと、紐付けされたＡＲオブジェクトの映像を表示する表示部と、紐付けされた現実物体とＡＲオブジェクトのデータを記憶するメモリと、を備える。ここにコントローラは、測距センサの測定結果から、現実物体が移動可能なものであるかどうかを判断し、ＡＲオブジェクトが紐付けされた現実物体の位置が移動した場合には現実物体の現在の位置に合わせてＡＲオブジェクトを配置する。

Description

拡張現実表示装置及び拡張現実表示方法
　本発明は、背景映像に重ねて拡張現実オブジェクト（以下、ＡＲ（Augmented Reality）オブジェクト）を表示する拡張現実表示装置及び拡張現実表示方法に関する。
　ヘッドマウントディスプレイ（以下、ＨＭＤ）などの拡張現実表示装置（ＡＲ表示装置）は、カメラで撮影した背景映像（現実空間）にＣＧ（Computer Graphics）等で作成したＡＲオブジェクトを重ねて表示するもので、ゲーム表示や保守作業等のコンテンツ表示の分野で用いられている。その際ＡＲオブジェクトを付与するために、ＡＲトリガーあるいはマークと呼ばれる映像をカメラで背景と同時に撮影して、ＡＲトリガーを手掛かりにＡＲオブジェクトを背景映像に合成する。あるいは、カメラ映像から特徴点を抽出して画像認識を行い、特定の物体にＡＲオブジェクトを付与するマークレスＡＲと呼ばれる手法も知られている。
　また、ＡＲオブジェクトをどのタイミングで表示するかについて、以下の提案がある。特許文献１では、仮想空間（仮想物体）を観察している観察者の位置姿勢、観察条件を記録し、その後、仮想空間中に仮想窓を配置し、仮想窓と視点との位置姿勢関係が規定条件を満たすか否かを判断する。そして、規定条件を満たすとき、記録時の位置姿勢、観察条件を復元した仮想空間（仮想物体）の画像を出力することが開示されている。特許文献２では、現実空間内にて移動可能な現実物体に追従して表示される仮想オブジェクトの位置と、仮想空間又は現実空間における他の物体との距離を計算する。そして、その距離が閾値以下となった場合、仮想オブジェクトの画像、他の物体の少なくとも一方における、一部又は全部の透明度を制御することが開示されている。
特開２００７－１８８３３２号公報 特開２０１５－１４３９７６号公報
　ＨＭＤを装着しＡＲオブジェクトを空間に配置する際に、ユーザはその空間内の物体（例えば家具）を認識し、ＡＲオブジェクトはその空間内における絶対的な座標とともに配置される。しかしながら、後日、その空間にてＡＲオブジェクトを再現する際に、空間内の物体（家具）の配置が異なっている場合がある。その場合には、現在の空間を別の空間と認識されたり、以前の配置と前後の距離関係が異なったりすることで、ＡＲオブジェクトを適切な位置に配置できなくなる。その結果、これを観察するユーザに違和感を与えたりユーザを混乱させたりするという課題がある。
　前記特許文献１では、移動する物体を対象としたＡＲオブジェクトの配置については考慮されていない。また前記特許文献２では、移動する物体を対象としているが、物体と仮想オブジェクトとの距離が近接したときに仮想オブジェクトを表示するものであるから、物体の配置が変わったような場合には仮想オブジェクトを表示することができなくなる。
　上記の課題を鑑み、本発明の目的は、移動可能な物体を含めて物体の現在の位置に合わせてＡＲオブジェクトを適切に表示する拡張現実表示装置および拡張現実表示方法を提供することにある。
　本発明の拡張現実表示装置は、背景映像を撮影するカメラと、背景映像内の現実物体までの距離を測定する測距センサと、カメラの位置と撮影方向を検知する位置・方位センサと、カメラで撮影した背景映像から現実物体を認識し、認識した現実物体に所定のＡＲオブジェクトを紐付けするコントローラと、紐付けされたＡＲオブジェクトの映像を表示する表示部と、紐付けされた現実物体とＡＲオブジェクトのデータを記憶するメモリと、を備える。ここにコントローラは、測距センサの測定結果から、現実物体が移動可能なものであるかどうかを判断し、ＡＲオブジェクトが紐付けされた現実物体の位置が移動した場合には、現実物体の現在の位置に合わせてＡＲオブジェクトを配置する。
　さらに本発明の拡張現実表示方法は、背景映像を撮影し、撮影した背景映像から現実物体を認識するステップと、背景映像内の現実物体までの距離を測定するステップと、背景映像の撮影位置と撮影方向を検知するステップと、認識した現実物体に所定のＡＲオブジェクトを紐付けするステップと、現実物体が移動したことを検知することにより、その物体が移動可能な物体であると認識するステップと、紐付けされたＡＲオブジェクトの映像を表示するステップと、を備える。ここにＡＲオブジェクトの映像を表示するステップでは、ＡＲオブジェクトが紐付けされた現実物体の位置が移動した場合には、現実物体の現在の位置に合わせてＡＲオブジェクトを配置する。
　本発明によれば、移動可能な物体を含めて物体の現在の位置に合わせてＡＲオブジェクトを適切に表示することができ、これを観察するユーザに違和感を与えることなく、ユーザは快適に観察することができる。
実施例１に係る拡張現実表示装置（ＡＲ表示装置）の外観を示す図。 ユーザがＡＲ表示装置を装着している状態を示す図 ＡＲ表示装置の内部構成を示すブロック図。 カメラで撮影した映像の例を示す図。 ＡＲオブジェクトを合成した表示映像の例を示す図。 可動物体が移動した場合の表示映像の例を示す図。 現実空間に衝立を追加した場合の表示映像の例を示す図。 自然風景にＡＲオブジェクトを配置した表示映像の例を示す図。 ユーザの視線方向と背景物体の認識の仕方を説明する図。 ユーザの視線方向が符号２６ａの方向の時の認識の仕方を示す図。 ユーザの視線方向が符号２６ｂの方向の時の認識の仕方を示す図。 移動可能なＡＲオブジェクトの表示例を示す図。 視線に連動するＡＲオブジェクトの表示例を示す図。 全体制御処理８８０のフローを示す図。 基準点と移動履歴処理８８１のフローを示す図。 撮影物体処理８８２のフローを示す図。 背景物体処理８８３のフローを示す図。 ＡＲオブジェクト処理８８４（その１）のフローを示す図。 ＡＲオブジェクト処理８８４（その２）のフローを示す図。 撮影物体グループ処理８８５のフローを示す図。 表示映像生成処理８８６のフローを示す図。 ＡＲオブジェクト処理８８４におけるユーザ操作の具体例を示す図。 ＡＲオブジェクト処理８８４におけるユーザ操作の具体例を示す図。 ヘッダデータのデータテーブルの例を示す図。 基準点と移動履歴データ８９１のデータテーブルの例を示す図。 撮影物体データ８９２のデータテーブルの例を示す図。 撮影物体データ８９２のデータテーブルの例を示す図。 撮影物体データ８９２のデータテーブルの例を示す図。 背景物体データ８９３のデータテーブルの例を示す図。 ＡＲオブジェクトデータ８９４のデータテーブルの例を示す図。 撮影物体グループデータ８９５のデータテーブルの例を示す図。 実施例２に係る拡張現実表示装置（ＡＲ表示装置）の外観を示す図。 ＡＲ表示装置の内部構成を示すブロック図。
　以下、本発明の実施形態について図面を参照しながら説明する。なお、拡張現実表示装置のことを、簡単のために「ＡＲ表示装置」とも呼び、拡張現実表示装置を使用して拡張現実（ＡＲ）を体験する人を「ユーザ」と呼ぶことにする。
　図１Ａは、実施例１に係る拡張現実表示装置（ＡＲ表示装置）の外観を示す図である。ＡＲ表示装置１は、カメラ２、測距センサ３、位置・方位センサ４、３Ｄ（３次元）プロジェクタ５、透過型スクリーン６、シャッタ付きメガネ７、コントローラ８、スピーカ９ａ，９ｂ、ホルダ１０ａ，１０ｂを備える。
　図１Ｂは、ユーザがＡＲ表示装置を装着している状態を示す図である。ユーザ１００は、ホルダ１０ａ，１０ｂにて、ＨＭＤであるＡＲ表示装置１を自身の頭部に装着する。
　装置内の各部の説明を行う。３Ｄプロジェクタ（表示部）５は、３ＤのＡＲオブジェクトの映像、すなわち左目で視認する映像と右目で視認する映像とを、交互に透過型スクリーン６に投射して表示する。透過型スクリーン６の手前にあるシャッタ付メガネ７は、３Ｄプロジェクタ５の左右映像の切り替え動作に同期して、左右交互に映像を透過させる。これによりユーザ１００は、前方の風景や現実物体を透過型スクリーン６を通して見ることができるとともに、３Ｄプロジェクタ５にて投射される３ＤのＡＲオブジェクトを透過型スクリーン６上で合成して視認することができる。視認される合成された映像を「表示映像」とも呼ぶことにする。
　カメラ２は、ユーザ１００の頭部前方（ユーザの視線方向）を撮影するように取り付けられている。測距センサ３は、カメラ２の撮影映像が捉える現実物体までの距離を測定する。その測定方式は、ＴＯＦ（Time of Flight）センサのように２次元的に光線を照射してその飛行時間から距離を計測する方式や、後述する実施例２のように、２つのカメラの視差情報から距離を算出する方式でもよい。位置・方位センサ４は、ＡＲ表示装置１の位置と方位、すなわちユーザ１００の位置の移動や視線方向を検知する。
　コントローラ８は、カメラ２からの撮影映像、測距センサ３からの距離データ、位置・方位センサ４からの位置・方位データを取り込み、内部のメモリやＣＰＵに供給する。また、３Ｄプロジェクタ５で投射する映像やスピーカ９ａ，９ｂに出力する音を作成する。さらにシャッタ付メガネ７の駆動信号を生成し、３Ｄプロジェクタ５で投射するＡＲオブジェクトの左右映像に同期して、左右メガネの透過を切り替えて、ユーザ１００に３Ｄ映像を提供する。
　またコントローラ８は、ユーザ１００とのユーザインターフェースを含む。コントローラ８をスマートフォンのようなデバイスで実現する場合には、ユーザインターフェースはタッチセンサを内蔵した平面パネルを利用できる。
　図２は、ＡＲ表示装置１の内部構成を示すブロック図である。図１Ａ，図１Ｂと同一のものには同一の符号を付している。コントローラ８の内部（破線で示す）は、特徴抽出処理部８１、距離算出処理部８２、移動検知処理部８３、通信部８４、ＣＰＵ８５、ＲＡＭ８６、画像ＲＡＭ８７、プログラムフラッシュＲＯＭ（Ｐ－ＦＲＯＭ）８８、データフラッシュＲＯＭ（Ｄ－ＦＲＯＭ）８９と、さらにユーザ操作入力部９０を備える。
　特徴抽出処理部８１は、カメラ２からの撮影映像に対し、現実物体の輪郭（エッジ）を抽出し、輪郭の変曲点や頂点を特徴点とする処理を行う。距離算出処理部８２は、測距センサ３での計測データをもとに、特徴点までの距離を算出する。移動検知処理部８３は、位置・方位センサ４からの計測データをもとに、ＡＲ表示装置１の位置と移動量、及びカメラ２の撮影方向を求め、すなわちこれが、ユーザ１００の位置と移動量、視線方向となる。
　プログラムフラッシュＲＯＭ８８には、各種の処理プログラムが格納されている。これには、全体制御処理８８０、基準点と移動履歴処理８８１、撮影物体処理８８２、背景物体処理８８３、ＡＲオブジェクト処理８８４、撮影物体グループ処理８５６、表示映像生成処理８８６が含まれる。これらの処理プログラムは、ＲＡＭ８６に展開されてＣＰＵ８５で実行する。また通信部８４は、ＡＲ表示装置１を外部ネットワークに接続し、外部ネットワークに繋がるサーバ等によって、ＡＲ表示装置１の処理の一部を担わせることができる。
　さらにデータフラッシュＲＯＭ８９には、これら処理プログラムを実行する過程及び結果で発生するデータが格納される。すなわち、基準点と移動履歴データ８９１、撮影物体データ８９２、背景物体データ８９３、ＡＲオブジェクトデータ８９４、撮影物体グループデータ８９５が含まれる。ユーザがＡＲ表示を再現して体験したい場合に、これらの格納しているデータを読み出すことによって再現可能となる。
　なお、プログラムフラッシュＲＯＭ８８とデータフラッシュＲＯＭ８９は、図示したように別々のメモリ媒体で構成してもよいし、１つのメモリ媒体で構成してもよい。さらには２つ以上のメモリ媒体であってもよく、フラッシュＲＯＭ以外の不揮発性メモリ媒体であってもよい。
　表示映像生成処理８８６で生成する映像データ（ＡＲオブジェクト）は、画像ＲＡＭ８７に格納し、画像ＲＡＭ８７から読み出して３Ｄプロジェクタ５で投射する。また、ユーザ操作入力部９０ではタッチセンサによりユーザ入力を受け付け、３Ｄプロジェクタ５で表示する制御画面によってＡＲ表示装置１を制御する。
　図３Ａ～図３Ｄでは、背景映像にＡＲオブジェクトを配置するまでの処理を、具体的な表示映像の例で説明する。
　図３Ａは、カメラ２で撮影した映像の例を示す。すなわち、ユーザが透過型スクリーン６を通して視認する現実風景である。カメラ２は部屋の内部を撮影しており、部屋の中は現実物体として、左側壁１１、右側壁１２、正面壁１３、床１４で囲われており、エアコン１５、窓１６、テーブル１７、２脚の椅子１８、１９などが存在する。カメラの撮影映像に対し、特徴抽出処理部８１は、撮影された映像の中の物体の輪郭から特徴点を抽出する。輪郭を構成する特徴点の集合は、ＣＰＵ８５に送られ、物体が何であるかを識別する。その際、通信部８４を介して外部サーバの映像データベースと照合することで、物体の識別を行ってもよい。
　一方、測距センサ３と距離算出処理部８２により、部屋内の各物体までの距離を算出し、現実空間内の見取り図を作成する。そして、特徴抽出処理部８１で抽出した特徴点には、距離算出処理部８２で算出した距離データを組み合わせる。さらに、位置・方位センサ４と移動検知処理部８３により、ＡＲ表示装置１がどの位置（座標）でどの方向を向いた状態で撮影したものかを記録しておく。
　識別された現実物体は、撮影物体処理８８２および背景物体処理８８３により、「撮影物体」または「背景物体」に区別して登録する。撮影物体は、特有の物体形状を有し距離データが相対的に近くに位置するもので、本例では、エアコン１５、窓１６、テーブル１７、椅子１８，１９が相当する。一方、背景物体は、例えば平面以外の特有の物体形状を有していなかったり、距離データが最遠点を含んだりするもので、本例では、左側壁１１、右側壁１２、正面壁１３、床１４が相当する。つまり、背景物体は、カメラ撮影映像の背景を構成する物体である。
　また、撮影物体及び背景物体について、位置が固定されて動かない状態か、移動して位置が変わった状態かを判断して、現在の位置を登録する。本例では、エアコン１５、窓１６、左側壁１１、右側壁１２、正面壁１３、床１４は位置が固定される物体である。一方、テーブル１７、椅子１８，１９などは、レイアウト(模様)変え等によって位置が変わる可動物体である。可動物体については、移動後の位置データを取得し、移動後の位置に合わせてＡＲオブジェクトを配置する。
　図３Ｂは、背景映像とＡＲオブジェクトを合成した表示映像の例である。部屋内の現実物体１１～１９の他にＡＲオブジェクト２０～２３が追加されており、ユーザはＡＲ表示装置１を用いてこのような表示画像を視認することができる。
　ＡＲオブジェクトとして、カーテンオブジェクト２０は窓１６に配置されている。その他、時計オブジェクト２１は右側壁１２に、花瓶オブジェクト２２はテーブル１７に、ぬいぐるみオブジェクト２３は椅子１８に配置されている。
　このようなＡＲオブジェクトの配置は、ユーザの操作に基づくＡＲオブジェクト処理８８４により決定される。この操作、処理を「紐付け操作」、「紐付け処理」という。すなわち紐付け処理では、図３Ａのカメラ映像から作成した現実空間の見取り図をベースとし、ＡＲ表示装置１の現在位置を考慮して、各ＡＲオブジェクトを配置する座標を決める。この時、ＡＲオブジェクトの配置情報（紐付け情報）では、どの物体に関連付けるかを指定するだけでなく、物体のどの部分に配置するか指定するため、物体の特定の特徴点にオフセット距離を与えて位置決めする。
　例えば、カーテンオブジェクト２０を窓１６のどの位置に貼り付けるか、花瓶オブジェクト２２をテーブル１７のどの位置に置くか、などを指定する。さらに、ぬいぐるみオブジェクト２３を椅子１８に配置するとき、ぬいぐるみオブジェクト２３の姿勢を椅子１８の方向に合わせて配置する。また、物体に接触して配置するだけでなく、空間に浮遊させて配置する場合もある。これらの関連付けの状況（紐付け情報）を数値パラメータで表現し、ＡＲオブジェクトの位置情報と一緒にデータフラッシュＲＯＭ８９に記憶する。
　本実施例の特徴として、テーブル１７や椅子１８のような可動物体の上に置かれたＡＲオブジェクト（花瓶オブジェクト２２やぬいぐるみオブジェクト２３）は、その可動物体が移動した場合には、その可動物体との位置関係を保ったまま配置する。可動物体が回転した場合には、ＡＲオブジェクトも同じ角度だけ回転して、可動物体に対して同じ姿勢を保つように配置する。物体の移動によってＡＲオブジェクトとの前後関係が変わった場合は、移動後の配置では、隠れるＡＲオブジェクトの部分が見えないようにマスクする。これらの表示制御処理により、ユーザに違和感を与えないように表示している。
　次に、本実施例における特徴的な表示制御について述べる。
  図３Ｃは、図３Ｂの表示映像の後で、可動物体である椅子１８が例えば人の手によって移動した場合の表示を示す。移動後の椅子１８’には、ＡＲオブジェクトであるぬいぐるみオブジェクト２３が配置されている。その際、椅子１８’は移動したことが検知されているので、これに紐付けされたぬいぐるみオブジェクト２３は、椅子１８’との位置関係を保ったまま移動する。また、椅子１８’が回転した場合には、ぬいぐるみオブジェクト２３も同様に回転が施される結果、椅子１８’に対する姿勢を保ったまま配置される。もし、椅子１８がカメラ撮影映像の範囲外に移動された場合には、これに紐付けられたぬいぐるみオブジェクト２３も表示映像から外れることになる。
　また、図３Ｃでは、図３Ｂにおける２脚の椅子１８，１９のうち、一方が除去されている。椅子１８が除去され、残された椅子が符号１９のものであった場合には、ぬいぐるみオブジェクト２３は残された椅子１９に配置される。これは後述する撮影物体のグループ化の効果によるものである。
　図３Ｄは、図３Ｃの表示映像の後で、現実空間に衝立２５を追加して配置した場合の表示を示す。この例では、衝立２５はテーブル１７の手前に配置され、ＡＲオブジェクトである花瓶オブジェクト２２と近接し、一部が重なって配置されている。この場合の表示では、花瓶オブジェクト２２はテーブル１７の上に存在する訳であるから、衝立２５と重なる部分は衝立２５の陰になり、ユーザから見えないように表示される（点線で示す）。そのため、次のように処理する。
　衝立２５は撮影物体として認識され、その特徴点には距離データが与えられている。衝立２５の距離データを、表示しているＡＲオブジェクトである花瓶オブジェクト２２の距離データと比較する。花瓶オブジェクト２２と、これと近接する衝立２５の距離を比較した結果、花瓶オブジェクト２２は衝立２５よりも奥にあり、花瓶オブジェクト２２のうち隠れる部分は非表示とする。
　図３Ｄの場合、さらにＡＲオブジェクトであるカーテンオブジェクト２０についても、衝立２５に重なっており、左下部分を非表示にしている。このように、表示するＡＲオブジェクトが撮影物体と視線方向に重なるとともに、ＡＲオブジェクトが撮影物体よりも奥に配置されるときは、ＡＲオブジェクトの隠れる部分を非表示とすることで、違和感のない表示が行える。
　図４は、自然の風景にＡＲオブジェクトを配置した表示映像の例を示す図である。この例では、カメラは自然風景を撮影している。風景内の物体（山、森林、丘陵などの自然物）は、測距センサ３では測定不可能な距離にあり、このような物体は「背景物体」として扱う。背景物体には、十分大きな（または無限遠の）距離データを与える。
　風景のような背景物体にもＡＲオブジェクトを配置できる。この例では、２つの家オブジェクト２４ａ，２４ｂを背景物体に紐付けして表示している。この時、家オブジェクト２４ａ，２４ｂにも距離データを与え、背景物体（山、森林など）に対し所定の位置関係に配置することで、見映えの良い風景を表示することができる。
　図５Ａ～図５Ｃは、ユーザの視線方向と背景物体の認識の仕方を説明する図である。
  図５Ａでは、カメラ撮影映像には正面壁１３と窓１６が存在し、衝立２５が手前に配置されている。正面壁１３と衝立２５は現実物体であり、それぞれ背景物体と撮影物体として認識されている。これに対しユーザの視線方向が、符号２６ａの方向から符号２６ｂの方向に移動した場合を想定する。
　図５Ｂは、ユーザの視線方向が符号２６ａの方向の時、正面壁１３の認識できる領域を示す図である。正面壁１３はその一部が衝立２５で覆われるので、背景物体として認識できるのは領域１３ａで、左下の隅の領域１３ｘが欠けている。
　図５Ｃは、ユーザの視線方向が符号２６ｂの方向に移動した時、正面壁１３の認識できる領域を示す図である。ユーザは衝立２５の後ろの正面壁１３を全部見ることができる。その結果、背景物体として認識できるのは、矩形領域１３ｂとなる。このように、撮影物体の背面にある背景物体の領域（形状）は、ユーザの視線方向（ＡＲ表示装置の方向）に依存して変わることがある。
　背景物体は、一旦広い領域の背景物体として認識されたならば、その後の視線方向に係らず、広い領域を有する背景物体として取り扱う。これにより、視線方向２６ａのとき衝立２５の後ろにあり見えないはずの正面壁の部分１３ｘに、ＡＲオブジェクトを配置させることが可能となる。
　図６は、移動可能なＡＲオブジェクトの表示例を示す図である。ドローンオブジェクト２７は衝立２５付近に紐付けられているが、移動可能なＡＲオブジェクトである。ドローンオブジェクト２７には所定の動きプロファイルが与えられ、例えば、時刻Ｔ１で起点となる衝立２５の左側に位置し、移動速度と移動方向のパラメータに従い移動し、時刻Ｔ２になると衝立２５の右側に位置する。ユーザの視線方向２８が衝立２５の右側にあれば、ドローンオブジェクト２７が衝立２５を貫通して現れたように見える。このように、移動可能なＡＲオブジェクトを使用することにより、移動物体が障害物から突然現れるといったＡＲ体験が可能となる。
　図７は、視線に連動するＡＲオブジェクトの表示例を示す図である。ぬいぐるみオブジェクト２３は３Ｄ映像であり、椅子に座っている方向に体を向けるように紐付けられている。よって、椅子１８が椅子１９の位置に移動するとユーザの視線が符号２９ａから符号２９ｂの方向に変化し、ぬいぐるみオブジェクト２３の３Ｄ表示も回転させ、椅子に座っている方向に合わせた表示を行うことができる。
　次に、ＡＲ表示装置１の行う各種の処理フローについて説明する。すなわちＣＰＵ８５は、プログラムフラッシュＲＯＭ８８に格納される以下のプログラムに従い、処理を実行する。
　図８は、全体制御処理８８０のフローである。すなわち、カメラ撮影からＡＲオブジェクトを表示するまでの全体の工程を示す。
　Ｓ１０１でカメラ撮影を開始する。カメラ撮影は、ＡＲ処理全体を実行するタイミングで行ってもよいし、例えば３０フレーム／秒の動画撮影を継続していて、ＡＲ処理全体を実行するタイミングで撮影する映像をキャプチャするようにしてもよい。
  Ｓ１０２は基準点と移動履歴処理８８１であり、時刻毎にカメラの位置及び撮影方向、即ちユーザの頭部の位置と視線方向を検知し、基準点・移動履歴データ８９１に登録する。
　Ｓ１０３は撮影物体処理８８２であり、キャプチャしたカメラ撮影映像の特徴抽出を行い、特徴点を選び、特徴点の集合に対して、現実物体が何であるかを認識し、撮影物体として撮影物体データ８９２に登録する。
  Ｓ１０４は背景物体処理８８３であり、特徴点に付与される距離データが最遠点となる特徴点を含み、撮影物体を除く領域を背景物体として背景物体データ８９３に登録する。
　Ｓ１０５はＡＲオブジェクト処理８８４であり、撮影物体と背景物体に配置するＡＲオブジェクトを選択し、また配置するときのパラメータ（表示パラメータ）を決定する。この処理には、ユーザによる選択操作が含まれる。選択したＡＲオブジェクトのデータをＡＲオブジェクトデータ８９４に登録し、表示パラメータは紐付けデータとして、撮影物体データ８９２と背景物体データ８９３に登録する。
  Ｓ１０６は撮影物体グループ処理８８５であり、共通のＡＲオブジェクトを紐付けする関連する複数の撮影物体をグループ化し、撮影物体グループデータ８９５に登録する。
　Ｓ１０７は表示映像生成処理８８６であり、登録した各種データを読み出してＡＲオブジェクトの表示映像を加工して生成し、画像ＲＡＭ８７に書き込み、３Ｄプロジェクタ５で透過型スクリーン６に投射させる。この時、シャッタ付メガネ７の駆動信号も生成する。
  Ｓ１０８で継続するか否かの判断を行い、継続する場合（Ｙｅｓ）はＳ１０１に戻り、継続しない場合（Ｎｏ）は終了する。
　以下、各処理８８１～８８６について詳細に説明する。
  図９は、基準点と移動履歴処理８８１のフローである。この処理は、位置・方位センサ４と移動検知処理部８３により実行される。
　Ｓ１１１では、ユーザはＡＲ表示装置１を装着し、ＡＲ体験する現実空間のほぼ中心の位置に立ち、カメラ撮影を開始する。開始点の位置とカメラ撮影方向は対として、現実空間での基準点となる。
  Ｓ１１２では、位置・方位センサ４でＡＲ表示装置１の位置及びカメラ２の撮影方向を検知し、ユーザの位置及び視線方向を表すデータとして取得する。
　Ｓ１１３では、データフラッシュＲＯＭ８９内の基準点と移動履歴データ８９１に基準点データが既に登録されているか、即ちＡＲ体験の開始かどうかを確認する。登録されていない時（Ｎｏ）には、Ｓ１１５で基準点テータとして登録する。登録されている時（Ｙｅｓ）には、Ｓ１１４で移動履歴データとして登録する。移動履歴データは基準点データとの差分で表される。
  以降、ユーザが現実空間を移動しながらカメラ撮影を行う毎に、現在の位置とカメラ撮影方向の対を移動履歴として、基準点と移動履歴データ８９１に記録する。
　図１０は、撮影物体処理８８２のフローである。この処理は特徴抽出処理部８１により実行される。
　Ｓ１２１では、カメラ２から撮影映像を読み出す。
  Ｓ１２２では、映像の特徴解析を行い、例えばエッジを抽出し、エッジの頂点や変曲点を特徴点として抽出する。
  Ｓ１２３では、測距センサ３と距離算出処理部８２で取得した距離データを特徴点に付加する。
　Ｓ１２４では、前回の特徴点との差分を評価し、Ｓ１２５では、差分が有意と評価された特徴点の集合から、物体の種別等を認識する。その際、通信部８４を介して外部サーバの映像データベースと照合することで、物体の識別を行ってもよい。
　Ｓ１２６では、識別した結果を撮影物体として撮影物体データ８９２に登録する。また、測距センサ３で取得した撮影物体の位置が前回の位置から移動したか否かを示す「移動フラグ」を付与する。移動フラグの値が「Ｘ」は基準点を、「０」は移動なしを、「１」は移動ありを意味する。
　図１１は、背景物体処理８８３のフローである。
  Ｓ１３１では、特徴抽出処理部８１により抽出された特徴点のうち、最遠距離を有する特徴点を選択する。図３Ａの例では、正面壁１３の隅などが相当する。
  Ｓ１３２では、最遠距離を有する特徴点を含み撮影物体と認識されていない領域を選定する（領域Ａとする）。
　Ｓ１３３では、特徴抽出処理部８１により抽出された特徴点のうち、距離検出が不可能な（検出限界を超える）領域を選定する（領域Ｂとする）。
  Ｓ１３４では、上記の領域Ａ及び領域Ｂを、現実空間の背景を構成する要素とみなし、背景物体として背景物体データ８９３に登録する。
  なお、Ｓ１３２で最遠距離を有する特徴点が撮影物体に含まれる場合には、最遠点は、背景物体と撮影物体で共有することになる。
　図１２Ａと図１２Ｂは、ＡＲオブジェクト処理８８４のフローである。図１２Ａと図１２Ｂでは、処理手順の一部を入れ替えている。この処理は、ユーザが操作画面を見ながら対話形式で行う。
　図１２Ａの場合から説明する。
  Ｓ１４１では、撮影物体もしくは背景物体から、ＡＲオブジェクトを配置する物体を１つ選択する。
  Ｓ１４２では、選択した物体に対して、紐付けするＡＲオブジェクトを選択する。ＡＲオブジェクトの選択候補は、ＡＲ表示装置１に予め準備しておいてもよいし、通信部８４を介して外部のサーバに蓄えられているデータを参照してもよい。選択したＡＲオブジェクトをＡＲオブジェクトデータ８９４に登録する。
　Ｓ１４３は、ＡＲオブジェクトを表示するときの表示パラメータを設定する。これにより、ＡＲオブジェクトの物体に対する表示位置、大きさ、方向を与える。すなわち、選択された物体のある特徴点の位置に対してオフセットを与えることにより、物体に対する位置決めができる。前記領域Ｂのように特徴点が明確でない背景物体では、領域の任意の点を選択して、選択した点を擬似特徴点として用いてもよい。例えば、壁の平坦部の一点を壁の隅や柱、天井からの座標で示すことで位置決めができる。設定した表示パラメータはＡＲオブジェクトの紐付けデータとして、撮影物体データ８９２と背景物体データ８９３に登録する。
  Ｓ１４４では、ＡＲオブジェクトを配置する撮影物体もしくは背景物体が残っているかどうかを判定し、残っている場合（Ｙｅｓ）はＳ１４１に戻り、残っていない場合（Ｎｏ）は終了する。
　次に、図１２Ｂの場合について説明する。この場合は、最初にＡＲオブジェクトを選定し、選定したＡＲオブジェクトに対して撮影物体もしくは背景物体を割り当てるという手順となる。
  Ｓ１４５では、使用するＡＲオブジェクトを全て選定する。そのため、ＡＲ表示装置１に内蔵するもの、または外部のサーバを参照する。選定したＡＲオブジェクトをＡＲオブジェクトデータ８９４に登録する。
　Ｓ１４６では、選定したＡＲオブジェクトの１つを選択する。
  Ｓ１４７では、選択したＡＲオブジェクトを紐付けする撮影物体もしくは背景物体を選択する。
　Ｓ１４８では、ＡＲオブジェクトを表示するときの表示パラメータ（表示上の位置、大きさ、方向）を設定する。設定した表示パラメータはＡＲオブジェクトの紐付けデータとして、撮影物体データ８９２と背景物体データ８９３に登録する。
  Ｓ１４９では、Ｓ１４５で選定したＡＲオブジェクトが残っているかどうかを判定し、残っている場合（Ｙｅｓ）はＳ１４６に戻り、残っていない場合（Ｎｏ）は終了する。
　図１２Ａと図１２Ｂを比較すると、紐付けしたい撮影物体もしくは背景物体の数がＡＲオブジェクトの選択肢の数よりも少ない場合は、図１２Ａのフローが効率的である。逆に、紐付けしたいＡＲオブジェクトの数が撮影物体もしくは背景物体の選択肢の数よりも少ない場合は、図１２Ｂのフローが効率的である。ユーザはそのときの状況により、図１２Ａと図１２Ｂのいずれかのフローを選択できるものとする。
  なお、ＡＲオブジェクト処理８８４におけるユーザの操作画面の例は、図１５Ａ～Ｂで説明する。
　図１３は、撮影物体グループ処理８８５のフローである。撮影物体グループとは、複数の撮像物体をグループ化して、共通のＡＲオブジェクトを紐付ける処理である。
  Ｓ１５１では、同一形態の複数の撮影物体を撮影物体グループとして、撮影物体グループデータ８９５に登録する。例えば図３Ａの２個の椅子１８，１９をグループ化する。その際、各撮影物体に紐付けする優先度を指定する。
　Ｓ１５２では、１つの撮像物体が変形した複数の状態を撮影物体グループとして登録する。例えば、図３Ａの窓１６は、閉じられた状態、開いた状態、カーテンの降りた状態などの変形が可能で、これらをグループ化する。
  Ｓ１５３では、登録した撮影物体グループに共通するＡＲオブジェクトを紐付けし、また表示パラメータを設定する。
  このグループ化処理により、紐付けしたユーザの意図を反映し、現実空間の状況に柔軟に対応してＡＲオブジェクトを表示することができる。
　図１４は、表示映像生成処理８８６のフローである。ここでは、データフラッシュＲＯＭ８９に登録した各種データを読み出してＡＲオブジェクトの表示映像を生成し、３Ｄプロジェクタ５にて投射、表示する。
　Ｓ１６１では、撮影物体データ８９２と背景物体データ８９３、及びＡＲオブジェクトデータ８９４を参照して、表示するＡＲオブジェクトを選択する。
  Ｓ１６２では、選択したＡＲオブジェクトを紐付けする撮影物体が現在の撮影空間に存在するかどうかを判定する。存在すれば（Ｙｅｓ）Ｓ１６５へ進み、存在しなければ（Ｎｏ）Ｓ１６３へ進む。
　Ｓ１６３では、撮影物体グループデータ８９５を参照し、紐付けする撮影物体がグループ化されているかどうかを判定する。グループ化されていれば（Ｙｅｓ）Ｓ１６４へ進み、グループ化されていなければ（Ｎｏ）Ｓ１７２へ進む。
  Ｓ１６４では、グループ化された他の撮影物体を紐付けする対象とする。その際、複数の候補があれば優先度に従って対象を決定する。例えば、図３Ｃのように、紐付け対象物体を椅子１８から椅子１９に切り替える。
　Ｓ１６５では、対象の撮影物体の移動フラグを参照し、「１」（＝移動可能）かどうかを判定する。移動フラグが「１」ならば（Ｙｅｓ）Ｓ１６６へ進み、「１」以外（移動不可の「０」または基準点の「Ｘ」）ならばＳ１６７へ進む。
  Ｓ１６６では、撮影物体の現在の位置に合わせてＡＲオブジェクトを移動させて位置決めする。なお、移動フラグが「０」（移動不可）ならば、前回の位置のままとする。
　Ｓ１６７では、ＡＲ表示装置１の方向（ユーザの視線）に合わせてＡＲオブジェクトを回転させる。また、紐付けする撮影物体（または背景物体）までの距離に応じて、ＡＲオブジェクトを拡大・縮小させる。これにより、図５Ａ－Ｃ、図７のような表示が可能となる。
　Ｓ１６８では、ＡＲオブジェクトと、これと視線方向に重なる現実物体（撮影物体）との距離関係を評価する。
  Ｓ１６９では、ＡＲオブジェクトが現実物体で隠れるかどうか、すなわち、ＡＲオブジェクトの手前に現実物体が存在するかどうかを判定する。隠れる場合（Ｙｅｓ）はＳ１７０へ進み、隠れない場合（Ｎｏ）はＳ１７１へ進む。
  Ｓ１７０では、ＡＲオブジェクトの隠れる部分の映像をマスク処理する（例えば映像データを０に書き換える）。これにより図３Ｄのような表示が可能となる。
　Ｓ１７１では、３Ｄプロジェクタ５にてＡＲオブジェクトの投射、表示を行う。
  Ｓ１７２では、未処理のＡＲオブジェクトがある場合（Ｙｅｓ）には、Ｓ１６１に戻り次のＡＲオブジェクトについて処理する。
　図１５Ａと図１５Ｂは、図１２Ａ（図１２Ｂ）で説明したＡＲオブジェクト処理８８４におけるユーザ操作の具体例を示す図である。現実物体である椅子１８を撮影物体として認識し、該撮影物体にＡＲオブジェクトであるぬいぐるみオブジェクト２３を紐付ける場面である。なお、この処理はユーザが操作画面を見ながら対話形式で行う。
　図１５Ａは、紐付けるＡＲオブジェクトを選択する画面である。この紐付け操作では、まずカーソル３１を椅子１８の上に置き、クリックする。この操作によりメニュー小画面３２ａがポップアップする。このメニュー小画面３２ａで提示されるリストの中から、「ＡＲオブジェクトの選択」をクリックする。クリックした項目は、黒地に白抜きの文字に変換される。これに反応し、ＡＲオブジェクトの候補画面３２ｂが現れ、カーソル３１で所望のＡＲオブジェクトを選択する。さらに、メニュー下段の「配置位置設定」や「サイズ・姿勢設定」の項目をクリックして、選択したＡＲオブジェクトの詳細な表示パラメータを設定する。
　図１５Ｂは、一度設定したＡＲオブジェクト２３の表示パラメータの変更を行う場面である。ここではメニュー小画面３２ｃが表示されている。メニューリストとしては、表示／非表示の切り替え、表示サイズの変更、表示回転の変更、配置変更（オフセットの変更）があり、所望の項目について変更を行うことができる。
　図１６～図２１は、データフラッシュＲＯＭ８９に格納される各種データテーブルの例を示す図である。
　図１６は、ヘッダデータであり、ＡＲ表示装置１で取り扱うデータの一覧が「付随コンテンツ(Accompanying Content)」に記載されている。また、テーブルの先頭には、ＡＲ体験に関するデータであることを示す「コンテンツＩＤ」がある。この「コンテンツＩＤ」は、後述する撮影物体、背景物体、ＡＲオブジェクトなどのテーブルと共通のＩＤである。この他、「コンテンツ所有者」や「著作権」等の情報が含まれる。
　図１７は、基準点と移動履歴データ８９１を示す。共通の「コンテンツＩＤ」があり、「コンテンツ種類」で基準点と移動履歴データであることを示す。データとしては、「基準点（ＰＢａｓｅ）」と、「移動履歴（ＭＰ１，ＭＰ２）」について、時刻（Ｔ０，Ｔ１，Ｔ２）と位置と方向、が記述されている。時刻はＡＲ処理のカメラ撮影時刻であり、協定世界時（ＵＴＣ＝Universal Time, Coordinated）で記述される。位置と方向は、基準点（ＰＢａｓｅ）を起点として、それぞれの時刻でのＡＲ表示装置１の位置と撮影方向を差分データで示す。例えば、時刻Ｔ１での移動履歴（ＭＰ１）は、差分位置（ｒ１，θ１，φ１）＝（距離，水平角度，垂直角度）、差分方向（θθ１，φφ１）＝（水平角度，垂直角度）で表される。
  また、本例では基準点の値として、位置＝（０，０，０）、方向＝（０，０）と与えているが、位置ではＧＰＳデータの値、方向では方位角の値を与えてもよい。
　図１８Ａ～図１８Ｃは、撮影物体データ８９２を示す。撮影物体データは、撮影位置ごとに区分して記述され、図１８Ａは基準位置（ＰＢａｓｅ）、図１８Ｂは移動位置（ＭＰ１）、図１８Ｃは移動位置（ＭＰ２）におけるデータである。なお、図１８Ａ～Ｃのデータは、それぞれ図３Ｂ～Ｄの場面に対応させている。
　各撮影位置において認識された撮影物体は、「撮影物体１」、「撮影物体２」、…のように番号が与えられ、また認識された物体名である「テーブル」、「椅子１」、…が記載されている。各撮影物体には、抽出された「特徴点１」、「特徴点２」、…と、「紐付けＡＲオブジェクト」のデータが記載される。さらに各撮影物体には、移動可能な物体かどうかを示す「移動フラグ」が付与されている。基準点においては移動フラグ＝「Ｘ」、移動不可な物体の場合は「０」、移動可能な物体の場合は「１」で表示する。
　各特徴点のデータは、ＡＲ表示装置１の撮影位置に対する相対位置（距離と方向）を含む。「紐付けＡＲオブジェクト」のデータは、後述するＡＲオブジェクトデータ８９４にリンクし、データＩＤで指定されたＡＲオブジェクト（タイトル）が紐付けされている。さらに「紐付け位置」は、ＡＲオブジェクトを配置する特徴点とオフセット距離を示し、「サイズ」と「回転」は、ＡＲオブジェクトを表示するときのパラメータである。
　本例では、撮影位置が基準位置（ＰＢａｓｅ）において（図１８Ａ）、撮影物体１～３が記載され、撮影物体１（テーブル）には紐付けＡＲオブジェクト１が、撮影物体２（椅子１）には紐付けＡＲオブジェクト２が紐付けされている。さらに撮影位置が移動位置（ＭＰ２）において（図１８Ｃ）、撮影物体４（衝立）が新たに認識され追加されている。
　撮影物体１、２の各特徴点に対する位置や方向の数値は、撮影位置が基準位置（ＰＢａｓｅ）と移動位置（ＭＰ１，ＭＰ２）とでは、やや異なっている。これは、撮影物体１、２が現実空間の中で移動しない場合でも、ＡＲ表示装置１の移動によって異なる値となるからである。このような場合には数値の差異は、ＡＲ表示装置１の移動に伴うものであるとして認識され、実際の物体が移動したかどうかは、ＡＲ表示装置１の移動を踏まえて判断する。
　一方、図１８Ｂの移動位置（ＭＰ１）において、撮影物体２（椅子１）は現実空間で移動しており、「移動フラグ」は移動可能な物体であることを示す「１」とする。また、図１８Ｃの移動位置（ＭＰ２）において、撮影物体４（衝立）は新たに現実空間に現れた物体であり、これに対する「移動フラグ」は「１」とする。
　また、後述する撮影物体グループに登録されている撮影物体には、グループ番号が付与されている。例えば図１８Ａでは、撮影物体２（椅子１）と撮影物体３（椅子２）がグループ化され、「グループ１」として扱われている。
　図１９は、背景物体データ８９３を示す。背景物体データは、撮影位置ごとに区分され、基準位置（ＰＢａｓｅ）、移動位置（ＭＰ１、…）に分けて記述される。
　背景物体データは、特徴点があれば、「特徴点１」、「特徴点２」、…が記載され、これらの特徴点は、ユーザが指示する擬似特徴点を含む場合がある。続いて、図１８Ａ～Ｃの撮影物体の場合と同様に「紐付けＡＲオブジェクト」のデータが記載される。さらに背景物体データには、その位置や形状を把握できるよう、カメラ撮影映像の座標に対応したビットマップデータを有する。
　図２０は、ＡＲオブジェクトデータ８９４を示す。ＡＲオブジェクトデータは、例えばネットワーク上のサーバからダウンロードしたデータであり、タイトル毎に通し番号が振られている。個々のＡＲオブジェクトデータには識別用のデータＩＤが付与され、これを介して前述した撮影物体データや背景物体データと紐付けられている。項目として、タイトルと著作権の記載があり、３Ｄ画像データが格納されている。この３Ｄ画像データを用いて表示映像が生成される。
　ＡＲオブジェクトデータの中には、固有の表示属性を含むことがある。例えば、「ＡＲオブジェクト７」は図６のドローンオブジェクト２７の場合であり、ドローンの動きを表す「動きプロファイル」が記載されている。この他、姿勢プロファイルにより紐付けの状態（撮影物体との距離、姿勢の回転角度）を規定して、ユーザの紐付けパラメータの設定を制限することもできる。
　図２１は、撮影物体グループデータ８９５を示す。撮影物体グループデータは、「グループ１」、「グループ２」のように通し番号が振られ、「構成物体」にはグループを構成する撮影物体が記載される。この例では撮影物体２と撮影物体３とがグループ化されている。続いて、各グループに紐付けする「紐付けＡＲオブジェクト」が記載される。またグループを構成する複数の撮影物体には、ＡＲオブジェクトを紐付ける優先順位を示す「優先度」が与えられている。
　複数の撮影物体をグループ化することで、ＡＲオブジェクトを表示する際の撮影物体の選択が状況に即して行われる。例えば、図３Ｂで２つの椅子１８，１９をグループ化した効果を説明する。紐付け操作では、椅子１８にぬいぐるみオブジェクト２３が紐付けられている。その後、図３Ｃのように、２つの椅子１８，１９のうち、紐付けした椅子１８が部屋から除去される場合がある。椅子１８と椅子１９をグループ化して登録しておけば、第１順位の椅子１８が取り除かれても、撮影物体グループデータ８９５を参照し、第２順位の椅子１９の上にぬいぐるみオブジェクト２３を配置させることができる。これにより、ぬいぐるみを紐付けしたユーザの意図を反映し、現実空間の状況に柔軟に対応してＡＲオブジェクトの表示を行うことができる。
　以上説明したように、実施例１によれば、移動可能な物体を含めて物体の現在の位置に合わせてＡＲオブジェクトを適切に表示する拡張現実表示装置を提供できる。また、ＡＲオブジェクトと現実物体の距離関係（すなわちユーザから見た前後関係）を反映させた３Ｄ表示が行われるため、奥行き感のある表示が可能である。さらに、複数の撮影物体をグループ化することで、ユーザの意図を反映し、現実空間の状況に柔軟に対応してＡＲオブジェクトの表示を行うことができる。
　実施例２では、３Ｄカメラを搭載して撮影と距離測定を行う拡張現実表示装置について説明する。
　図２２は、実施例２に係る拡張現実表示装置（ＡＲ表示装置）の外観を示す図である。
前記実施例１（図１Ａ）に示したＡＲ表示装置１と同等の機能を有する構成要素については、同一の符号を付しており、重複する説明は省く。この場合も前記実施例１の図１Ｂと同様に、ユーザはホルダ１０ａ，１０ｂにて、ＨＭＤであるＡＲ表示装置’を自身の頭部に装着する。
　ＡＲ表示装置１’は、３Ｄ（３次元）カメラ３３ａ，３３ｂと、平面ディスプレイ（表示部）３４を備えている。３Ｄカメラ３３ａ，３３ｂは、実施例１におけるカメラ２と測距センサ３の置き換えで、カメラ撮影映像を得るだけでなく、３３ａで得る左目視線の映像と３３ｂで得る右目視線の映像の差により、カメラ映像内の現実物体の距離の測定も可能である。
　平面ディスプレイ３４は、実施例１における３Ｄプロジェクタ５と透過型スクリーン６の置き換えで、３Ｄカメラ３３ａ，３３ｂの撮影映像とＡＲオブジェクトの映像とをコントローラ８で合成して表示する。この時、左目視線の映像と右目視線の映像を交互に表示し、シャッタ付きメガネ７と同期させて３Ｄ映像の表示を行う。なお、平面ディスプレイ３４には、スマートフォン等の汎用デバイスを用いてもよい。この時、スマートフォンに内蔵する制御装置でコントローラ８の機能を実行することができる。
　図２３は、ＡＲ表示装置１’の内部構成を示すブロック図である。実施例１（図２）に示したブロックと同等の機能を有するものについては、同一の番号を付しており、重複する説明は省く。実施例１と異なるブロックは、３Ｄカメラ３３ａ，３３ｂ、平面ディスプレイ３４、特徴抽出処理部８１’、距離算出処理部８２’、合成処理部９１である。
　特徴抽出処理部８１’は、３Ｄカメラ３３ａ，３３ｂの映像から特徴点を抽出し、その特徴点から、カメラ撮影映像に写っている現実物体を認識する。距離算出処理部８２’は、３Ｄカメラ３３ａ，３３ｂで得る左目／右目視線の映像の差により、カメラ映像内の現実物体の距離を測定する。合成処理部９０は、３Ｄカメラ３３ａ，３３ｂの撮影映像とＡＲオブジェクトの映像とを構成し、平面ディスプレイ３４は合成された映像を表示する。
　実施例２のＡＲ表示装置１’においても、撮影映像から認識した現実物体（撮影物体、背景物体）へのＡＲオブジェクトの紐付けと、紐付けしたＡＲオブジェクトの様々な表示制御方法は、実施例１の場合と同様に行うことができる。
　実施例２によれば、実施例１と同様の効果を有するとともに、平面ディスプレイを含めてスマートフォンのような汎用デバイスの活用が図れるという特徴がある。
　以上、本発明の実施形態を説明したが、本発明はこれらに限られるものではなく、ある実施例の構成の一部を他の実施例の構成に置き換えたり、他の実施例の構成を加えたりすることも可能である。
　また本発明は、拡張現実（ＡＲ）オブジェクトの表示だけでなく、これを発展させた複合現実（ＭＲ：Mixed Reality）オブジェクトを表示する装置及びその表示方法についても同様に適用できることは言うまでもない。
　１，１’：拡張現実表示装置（ＡＲ表示装置）、２：カメラ、３：測距センサ、４：位置・方位センサ、５：３Ｄプロジェクタ（表示部）、６：透過型スクリーン、７：シャッタ付メガネ、８：コントローラ、９ａ，９ｂ：スピーカ、１０ａ，１０ｂ：ホルダ、２０，２１，２２，２３，２４ａ，２４ｂ，２７：ＡＲオブジェクト、３３ａ，３３ｂ：３Ｄカメラ、３４：平面ディスプレイ（表示部）、８１，８１’：特徴検出処理部、８２，８２’：距離算出処理部、８３：移動検出処理部、８４：通信部、８５：ＣＰＵ、８６：ＲＡＭ、８７：画像ＲＡＭ、８８：プログラムフラッシュＲＯＭ、８９：データフラッシュＲＯＭ、９０：ユーザ操作入力部、９１：映像合成処理部、１００：ユーザ、８８０：全体制御処理、８８１：基準点と移動履歴処理、８８２：撮影物体処理、８８３：背景物体処理、８８４：ＡＲオブジェクト処理、８８５：撮影物体グループ処理、８８６：表示映像生成処理。

Claims (10)

  1. 　ユーザが頭部に装着し、ユーザが視認する背景映像に重ねて拡張現実オブジェクト（以下、ＡＲオブジェクト）を表示する拡張現実表示装置であって、
    　前記背景映像を撮影するカメラと、
    　前記背景映像内の現実物体までの距離を測定する測距センサと、
    　前記カメラの位置と撮影方向を検知する位置・方位センサと、
    　前記カメラで撮影した前記背景映像から前記現実物体を認識し、認識した前記現実物体に所定の前記ＡＲオブジェクトを紐付けするコントローラと、
    　紐付けされた前記ＡＲオブジェクトの映像を表示する表示部と、
    　前記紐付けされた前記現実物体と前記ＡＲオブジェクトのデータを記憶するメモリと、を備え、
    　前記コントローラは、前記測距センサの測定結果から、前記現実物体が移動可能なものであるかどうかを判断し、前記ＡＲオブジェクトが紐付けされた前記現実物体の位置が移動した場合には、前記現実物体の現在の位置に合わせて前記ＡＲオブジェクトを配置することを特徴とする拡張現実表示装置。
  2. 　請求項１に記載の拡張現実表示装置であって、
    　前記コントローラは、前記位置・方位センサの測定結果をもとに当該拡張現実表示装置の移動履歴を求め、該移動履歴を考慮して前記現実物体に対し移動可能か否かを示す移動フラグを付与することを特徴とする拡張現実表示装置。
  3. 　請求項１に記載の拡張現実表示装置であって、
    　前記コントローラは、前記現実物体に配置する前記ＡＲオブジェクトの表示パラメータとして、前記現実物体に対する前記ＡＲオブジェクトの表示位置、大きさ、方向を設定することを特徴とする拡張現実表示装置。
  4. 　請求項１に記載の拡張現実表示装置であって、
    　前記コントローラは、表示する前記ＡＲオブジェクトがこれに近接する前記現実物体よりも奥に配置されるときは、前記ＡＲオブジェクトの隠れる部分を非表示とすることを特徴とする拡張現実表示装置。
  5. 　請求項１に記載の拡張現実表示装置であって、
    　前記コントローラは、複数の前記現実物体をグループ化し、共通の前記ＡＲオブジェクトを紐付けして前記メモリに記憶し、
    　前記グループ化された現実物体の１つが現在の前記背景映像内に存在しない場合、前記グループ化された他の現実物体に前記ＡＲオブジェクトを配置することを特徴とする拡張現実表示装置。
  6. 　請求項１に記載の拡張現実表示装置であって、
    　前記コントローラは、前記背景映像から前記現実物体を認識する際、特有の物体形状を有する領域を撮影物体とし、平面以外の特有の物体形状を有せず最遠距離を含む領域、あるいは距離測定が不可能な領域を背景物体として、前記メモリに記憶することを特徴とする拡張現実表示装置。
  7. 　請求項１に記載の拡張現実表示装置であって、
    　前記表示部は、前記ＡＲオブジェクトの映像を透過型スクリーンに投射する３Ｄプロジェクタで構成され、
    　ユーザは、前記透過型スクリーン越しに前記背景映像を視認すると同時に、前記透過型スクリーン上の前記ＡＲオブジェクトを視認可能であることを特徴とする拡張現実表示装置。
  8. 　請求項１に記載の拡張現実表示装置であって、
    　前記カメラと前記測距センサは、前記背景映像を撮影するとともに、前記背景映像内の前記現実物体までの距離を測定可能な３Ｄカメラであり、
    　前記表示部は、前記３Ｄカメラで撮影した前記背景映像に、前記ＡＲオブジェクトの映像を合成して表示する平面ディスプレイであることを特徴とする拡張現実表示装置。
  9. 　ユーザが視認する背景映像に重ねて拡張現実オブジェクト（以下、ＡＲオブジェクト）を表示する拡張現実表示方法であって、
    　前記背景映像を撮影し、撮影した前記背景映像から現実物体を認識するステップと、
    　前記背景映像内の前記現実物体までの距離を測定するステップと、
    　前記背景映像の撮影位置と撮影方向を検知するステップと、
    　認識した前記現実物体に所定の前記ＡＲオブジェクトを紐付けするステップと、
    　前記現実物体が移動したことを検知することにより、その物体が移動可能な物体であると認識するステップと、
    　紐付けされた前記ＡＲオブジェクトの映像を表示するステップと、を備え、
    　前記ＡＲオブジェクトの映像を表示するステップでは、前記ＡＲオブジェクトが紐付けされた前記現実物体の位置が移動した場合には、前記現実物体の現在の位置に合わせて前記ＡＲオブジェクトを配置することを特徴とする拡張現実表示方法。
  10. 　請求項９に記載の拡張現実表示方法であって、
    　前記現実物体に前記ＡＲオブジェクトを紐付けするステップでは、先に前記現実物体を選択して次にこれに紐付けする前記ＡＲオブジェクトを選択する第１の手順と、先に前記ＡＲオブジェクトを選択して次にこれを紐付けする前記現実物体を選択する第２の手順とがあり、
    　前記第１の手順と前記第２の手順は、ユーザにより選択可能であることを特徴とする拡張現実表示方法。
PCT/JP2018/044358 2018-12-03 2018-12-03 拡張現実表示装置及び拡張現実表示方法 WO2020115784A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201880099967.6A CN113168732A (zh) 2018-12-03 2018-12-03 增强现实显示装置和增强现实显示方法
US17/298,688 US11508134B2 (en) 2018-12-03 2018-12-03 Augmented reality display device and augmented reality display method
PCT/JP2018/044358 WO2020115784A1 (ja) 2018-12-03 2018-12-03 拡張現実表示装置及び拡張現実表示方法
JP2020558687A JP7244541B2 (ja) 2018-12-03 2018-12-03 拡張現実表示装置及び拡張現実表示方法
US17/967,934 US20230045016A1 (en) 2018-12-03 2022-10-18 Augmented reality display device and augmented reality display method
JP2023036556A JP2023078241A (ja) 2018-12-03 2023-03-09 拡張現実表示装置及び拡張現実表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/044358 WO2020115784A1 (ja) 2018-12-03 2018-12-03 拡張現実表示装置及び拡張現実表示方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/298,688 A-371-Of-International US11508134B2 (en) 2018-12-03 2018-12-03 Augmented reality display device and augmented reality display method
US17/967,934 Continuation US20230045016A1 (en) 2018-12-03 2022-10-18 Augmented reality display device and augmented reality display method

Publications (1)

Publication Number Publication Date
WO2020115784A1 true WO2020115784A1 (ja) 2020-06-11

Family

ID=70973453

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/044358 WO2020115784A1 (ja) 2018-12-03 2018-12-03 拡張現実表示装置及び拡張現実表示方法

Country Status (4)

Country Link
US (2) US11508134B2 (ja)
JP (2) JP7244541B2 (ja)
CN (1) CN113168732A (ja)
WO (1) WO2020115784A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112672057A (zh) * 2020-12-25 2021-04-16 维沃移动通信有限公司 拍摄方法及装置
WO2022239206A1 (ja) * 2021-05-13 2022-11-17 マクセル株式会社 画像表示装置および画像表示システム
JP2023000858A (ja) * 2021-06-18 2023-01-04 ヤフー株式会社 表示制御装置、表示制御方法および表示制御プログラム
JP2023000947A (ja) * 2021-06-18 2023-01-04 ヤフー株式会社 表示制御装置、表示制御方法および表示制御プログラム
WO2023037626A1 (ja) * 2021-09-10 2023-03-16 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10984599B1 (en) * 2018-12-17 2021-04-20 Chi Fai Ho Augmented reality system with display of object with real world dimensions
EP4339873A4 (en) * 2021-11-09 2024-05-01 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR PROVIDING CONTENT RELATED TO AN AUGMENTED REALITY SERVICE BETWEEN AN ELECTRONIC DEVICE AND A PORTABLE ELECTRONIC DEVICE

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141574A (ja) * 2001-11-02 2003-05-16 National Institute Of Advanced Industrial & Technology 画像表示方法及びシステム
JP2008046750A (ja) * 2006-08-11 2008-02-28 Canon Inc 画像処理装置および方法
JP2014131094A (ja) * 2012-12-28 2014-07-10 Seiko Epson Corp 表示装置、および、表示装置の制御方法
JP2018147151A (ja) * 2017-03-03 2018-09-20 Kddi株式会社 端末装置およびその制御方法、並びにプログラム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6167353A (en) * 1996-07-03 2000-12-26 Interval Research Corporation Computer method and apparatus for interacting with a physical system
JP4683639B2 (ja) 2006-01-13 2011-05-18 キヤノン株式会社 画像処理方法、画像処理装置
CN101636745A (zh) * 2006-12-29 2010-01-27 格斯图尔泰克股份有限公司 使用增强型交互系统操纵虚拟对象
DE102007033486B4 (de) * 2007-07-18 2010-06-17 Metaio Gmbh Verfahren und System zur Vermischung eines virtuellen Datenmodells mit einem von einer Kamera oder einer Darstellungsvorrichtung generierten Abbild
US8189864B2 (en) * 2007-08-29 2012-05-29 Casio Computer Co., Ltd. Composite image generating apparatus, composite image generating method, and storage medium
DE102007045835B4 (de) * 2007-09-25 2012-12-20 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
CN101562682A (zh) * 2008-04-14 2009-10-21 鸿富锦精密工业（深圳）有限公司 视频图像处理系统及其服务器、用户端和视频图像处理方法
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US20130278633A1 (en) * 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Method and system for generating augmented reality scene
KR102387314B1 (ko) * 2013-03-11 2022-04-14 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US20150123966A1 (en) * 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform
JP6618681B2 (ja) 2013-12-25 2019-12-11 キヤノンマーケティングジャパン株式会社 情報処理装置及びその制御方法及びプログラム、並びに、情報処理システム
US10002208B2 (en) * 2014-05-13 2018-06-19 Atheer, Inc. Method for interactive catalog for 3D objects within the 2D environment
US10587834B2 (en) * 2016-03-07 2020-03-10 Disney Enterprises, Inc. Systems and methods for tracking objects for augmented reality
US10037465B2 (en) * 2016-03-18 2018-07-31 Disney Enterprises, Inc. Systems and methods for generating augmented reality environments
US11327475B2 (en) * 2016-05-09 2022-05-10 Strong Force Iot Portfolio 2016, Llc Methods and systems for intelligent collection and analysis of vehicle data
US10191541B2 (en) * 2016-06-30 2019-01-29 Sony Interactive Entertainment Inc. Augmenting virtual reality content with real world content
US10573018B2 (en) * 2016-07-13 2020-02-25 Intel Corporation Three dimensional scene reconstruction based on contextual analysis
JP2018077644A (ja) * 2016-11-08 2018-05-17 富士ゼロックス株式会社 情報処理システム及びプログラム
EP3422147A1 (en) * 2017-06-28 2019-01-02 Koninklijke Philips N.V. Display apparatus for computer-mediated reality
DE112018006666T5 (de) * 2017-12-28 2020-09-24 Sony Corporation Informationsverarbeitungsgerät, informationsverarbeitungsverfahren und programm
KR20190093979A (ko) * 2018-02-02 2019-08-12 주식회사 팬스컴스 실제물체와 연동된 가상물체의 운동디스플레이방법
WO2020039933A1 (ja) * 2018-08-24 2020-02-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11450044B2 (en) * 2019-03-20 2022-09-20 Kt Corporation Creating and displaying multi-layered augemented reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141574A (ja) * 2001-11-02 2003-05-16 National Institute Of Advanced Industrial & Technology 画像表示方法及びシステム
JP2008046750A (ja) * 2006-08-11 2008-02-28 Canon Inc 画像処理装置および方法
JP2014131094A (ja) * 2012-12-28 2014-07-10 Seiko Epson Corp 表示装置、および、表示装置の制御方法
JP2018147151A (ja) * 2017-03-03 2018-09-20 Kddi株式会社 端末装置およびその制御方法、並びにプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112672057A (zh) * 2020-12-25 2021-04-16 维沃移动通信有限公司 拍摄方法及装置
WO2022239206A1 (ja) * 2021-05-13 2022-11-17 マクセル株式会社 画像表示装置および画像表示システム
JP2023000858A (ja) * 2021-06-18 2023-01-04 ヤフー株式会社 表示制御装置、表示制御方法および表示制御プログラム
JP2023000947A (ja) * 2021-06-18 2023-01-04 ヤフー株式会社 表示制御装置、表示制御方法および表示制御プログラム
JP7354185B2 (ja) 2021-06-18 2023-10-02 ヤフー株式会社 表示制御装置、表示制御方法および表示制御プログラム
WO2023037626A1 (ja) * 2021-09-10 2023-03-16 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム

Also Published As

Publication number Publication date
JPWO2020115784A1 (ja) 2021-10-14
US11508134B2 (en) 2022-11-22
CN113168732A (zh) 2021-07-23
US20220044482A1 (en) 2022-02-10
JP7244541B2 (ja) 2023-03-22
US20230045016A1 (en) 2023-02-09
JP2023078241A (ja) 2023-06-06

Similar Documents

Publication Publication Date Title
WO2020115784A1 (ja) 拡張現実表示装置及び拡張現実表示方法
AU2021203688B2 (en) Volumetric depth video recording and playback
JP6340017B2 (ja) 被写体と３次元仮想空間をリアルタイムに合成する撮影システム
JP4739002B2 (ja) 画像処理方法、画像処理装置
US20200302688A1 (en) Method and system for generating an image
KR20170095834A (ko) 몰입식 및 대화식 멀티미디어 생성을 위한 시스템 및 방법
JP2014238731A (ja) 画像処理装置、画像処理システム、および画像処理方法
KR101763636B1 (ko) 헤드 마운트 디스플레이를 이용한 협업 방법
JP2018113616A (ja) 情報処理装置、情報処理方法、およびプログラム
JP7456034B2 (ja) 複合現実表示装置および複合現実表示方法
CN110050295B (zh) 用于增强和虚拟现实系统的减性绘制
JP2022183213A (ja) ヘッドマウントディスプレイ
JPWO2019123547A1 (ja) 画像生成装置、基準画像データ生成装置、画像生成方法、および基準画像データ生成方法
KR102009400B1 (ko) 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버
WO2020262261A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6775669B2 (ja) 情報処理装置
JP6694514B2 (ja) 情報処理装置
WO2018173206A1 (ja) 情報処理装置
JP6473872B2 (ja) 映像構築装置、擬似視覚体験システム、および映像構築プログラム
JP2021002402A (ja) 情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18942149

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020558687

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18942149

Country of ref document: EP

Kind code of ref document: A1