WO2023120217A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2023120217A1
WO2023120217A1 PCT/JP2022/045326 JP2022045326W WO2023120217A1 WO 2023120217 A1 WO2023120217 A1 WO 2023120217A1 JP 2022045326 W JP2022045326 W JP 2022045326W WO 2023120217 A1 WO2023120217 A1 WO 2023120217A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
viewpoint
virtual
image
information
Prior art date
Application number
PCT/JP2022/045326
Other languages
English (en)
French (fr)
Inventor
貴文 渡辺
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2023120217A1 publication Critical patent/WO2023120217A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to an information processing device, an information processing method, and a program.
  • VR virtual reality
  • MR mixed reality
  • AR augmented reality
  • a virtual viewpoint only the viewpoint for drawing a virtual 3D model (hereafter referred to as a virtual viewpoint) can be moved by user operation for a building or a huge building represented by a virtual 3D model.
  • a walkthrough function There is a function that can Such a function that allows the user to move the virtual viewpoint.
  • the walkthrough function allows the user to observe various locations without moving. In order to smoothly use the walk-through function, it is preferable to be able to grasp the positional relationship between the virtual three-dimensional model to be observed and the user himself.
  • Patent Literature 1 discloses a virtual reality presentation device that has a full-scale observation mode for immersed observation in a virtual three-dimensional space of the actual size and a reduced observation mode for observing a reduced virtual three-dimensional space CG. .
  • the virtual reality presentation device of Patent Document 1 presents a CG map to which the user's position and orientation information is added in a reduced observation mode, thereby allowing the user to grasp where he/she is in the virtual three-dimensional space.
  • the use of the walk-through function allows the virtual viewpoint to move, resulting in a positional shift between the real space and the virtual three-dimensional model. Inconsistency occurs.
  • the viewpoint of the actual head of the user during the walk-through as seen from other users hereinafter referred to as the real viewpoint
  • the three-dimensional model displayed to the user during the walk-through are displayed.
  • the real viewpoint the viewpoint of the actual head of the user during the walk-through as seen from other users
  • the three-dimensional model displayed to the user during the walk-through are displayed.
  • the present invention has been made in view of the problems described above, and aims to eliminate the inconsistency in the relationship between the virtual viewpoint and the real viewpoint of other users.
  • the present invention is an information processing apparatus for sharing a space in which a virtual three-dimensional model is presented with other users, comprising: acquisition means for acquiring information of the real viewpoint of the other user; and virtual viewpoint of the other user. is different from the real viewpoint of the other user, a generating means for generating a video effect based on the information of the real viewpoint of the other user.
  • FIG. 10 is a schematic diagram showing a case where a specific user uses the walkthrough function; It is a figure which shows the functional structure of the information processing system of 1st Embodiment. It is a figure which shows the hardware constitutions of an information processing apparatus.
  • FIG. 4 is a diagram schematically showing a mixed reality image viewed by the user; It is a figure which shows the functional structure of the information processing system of 2nd Embodiment. 4 is a flowchart showing processing of an information processing device;
  • FIG. 11 is a plan view schematically showing the situation of the third embodiment;
  • FIG. 4 is a diagram schematically showing a mixed reality image viewed by the user; 4 is a flowchart showing processing of an information processing device;
  • FIG. 1 is a plan view schematically showing the positional relationship when a specific user uses the walkthrough function when observing a virtual 3D model with a plurality of people.
  • user A101 and user B102 share a space in which a virtual three-dimensional model is presented.
  • User A101 is the own user, and user B102 is another user.
  • the real viewpoint 104 and the virtual viewpoint 105 of the user A 101 are at the same position.
  • the real viewpoint 106 and the virtual viewpoint 107 are different from each other because the user B 102 uses the walk-through function.
  • User B's avatar 103 is displayed at the position of user B 102's virtual viewpoint 107 .
  • the virtual viewpoint 107 of the user B 102 exists on the left side of the virtual model 108 even though the real viewpoint 106 of the user B 102 exists on the right side of the virtual model 108. become. This makes it difficult for the user A101 to grasp the position of the user B102.
  • the relationship between the other user's virtual viewpoint and the real viewpoint is generated by generating a video effect based on the information of the other user's real viewpoint. to eliminate inconsistencies.
  • a video effect is generated based on information about the real viewpoint of other users during the walkthrough. Specifically, an image indicating that the other user's virtual viewpoint does not exist at the position corresponding to the other user's real viewpoint is presented.
  • the user can recognize an image indicating that the other user's virtual viewpoint does not exist, so the own user's virtual viewpoint is not the position of the real viewpoint of the other user. can be easily grasped.
  • FIG. 4 is a diagram schematically showing a mixed reality image viewed from the real viewpoint of user A101. Note that the positional relationship of each object such as the avatar 103 and the virtual model 108 corresponds to FIG.
  • the user B102 is walking through, and the avatar 103 of the user B102 is displayed at the position and orientation of the virtual viewpoint of the user B102.
  • the position and orientation refer to the position and orientation (orientation).
  • the color of the area 401 surrounding the body of the user B102 is changed.
  • Character information 402 indicating that the walk-through is in progress is displayed near the area 401 .
  • FIG. 2 is a diagram showing an example of the functional configuration of the information processing system.
  • An information processing system is a mixed reality or augmented reality in which a plurality of people observe a virtual 3D model by cooperating with each other through a transmitting unit and a receiving unit that are installed in each device used by each user. feeling can be realized.
  • the information processing system shown in FIG. 2 assumes that there are two users, and has a configuration in which two devices, the device 201 and the device 221, cooperate with each other. When three or more persons observe the virtual three-dimensional model, three or more persons cooperate with each other. An embodiment in which there are two users will be described below.
  • the device 201 includes a terminal 202 , an operation input unit 205 and an information processing device 217 .
  • the terminal 202 captures images of the surrounding real environment and presents mixed reality images to the user.
  • the terminal 202 has an imaging unit 203 and a display unit 204 .
  • the imaging unit 203 captures images of the surrounding real environment.
  • a display unit 204 presents a mixed reality image to the user.
  • the terminal 202 of this embodiment uses a head-mounted display (hereinafter referred to as HMD) in which the imaging unit 203 and the display unit 204 are mounted on a head-mounted housing. By wearing the HMD on the head of the user, the HMD moves in conjunction with the movement of the user and the movement of the head.
  • the terminal 202 may be a tablet terminal, a smartphone terminal, or the like.
  • the terminal 202 of the present embodiment is a video see-through type in which a virtual three-dimensional model is superimposed on a real image captured by the imaging unit 203 and displayed on the display unit 204, but it may be an optical see-through type. .
  • the imaging unit 203 has a camera that captures an image to be presented to the user and a camera that acquires an image necessary for estimating the position and orientation of the terminal 202 .
  • the imaging unit 203 may have a function of capturing an image and a function of acquiring an image necessary for estimating the position and orientation with the same camera. Also, the imaging unit 203 can omit one or both of the two cameras depending on the method of acquiring the position and orientation of the terminal 202 and the method of superimposing the virtual three-dimensional model.
  • a camera that captures an image to be presented to the user in order to achieve stereoscopic vision and a display device that presents a mixed reality image are individually mounted for the right eye and the left eye.
  • the configuration of the camera and display device mounted on the terminal 202 can be changed according to the form of the terminal 202, the method of acquiring the position and orientation of the terminal 202, and the method of superimposing the virtual three-dimensional model.
  • the operation input unit 205 accepts an operation for enabling the user to use the walkthrough function, and an operation for moving the virtual viewpoint input for walkthrough. Specifically, the operation input unit 205 accepts one or more of button input from a controller device or the like, gesture input, voice input, and the like. The operation input unit 205 may be provided in the terminal 202 or configured as a separate device.
  • the information processing device 217 is a device for sharing the space in which the virtual three-dimensional model is presented with other users.
  • the information processing device 217 estimates the position and orientation of the terminal 202 and generates a mixed reality image.
  • the information processing device 217 includes an operation information acquisition unit 206, a captured image acquisition unit 207, a real viewpoint position/orientation acquisition unit 208, a virtual viewpoint position/orientation generation unit 209, a transmission unit 210, a reception unit 211, a virtual image generation unit 212, and a synthesis unit. 213.
  • the operation information acquisition unit 206 acquires operation information received by the operation input unit 205 .
  • the captured image acquisition unit 207 acquires a captured image of the real environment, which is transmitted from the terminal 202 to the information processing device 217 .
  • the real viewpoint position/posture acquisition unit 208 acquires information on the user's real viewpoint. Specifically, the real viewpoint position/orientation acquisition unit 208 acquires the real viewpoint information of the user by calculating the position and orientation of the user's real viewpoint from the captured image.
  • the virtual viewpoint position/orientation generation unit 209 generates information on the user's virtual viewpoint. Specifically, the virtual viewpoint position/posture generation unit 209 calculates the position/posture of the virtual viewpoint based on the information of the real viewpoint and the operation information acquired by the operation information acquisition unit 206, thereby determining the position and orientation of the user's virtual viewpoint. Generate information.
  • the transmitting unit 210 transmits to the device 221 information about the position and orientation of the user's real viewpoint and information about the position and orientation of the user's virtual viewpoint.
  • the receiving unit 211 receives, from the device 221, information on the position and orientation of the real viewpoint of the other user and information on the position and orientation of the virtual viewpoint of the other user.
  • the virtual image generation unit 212 generates information on the position and orientation of the virtual viewpoint of the user, information on the position and orientation of the real viewpoint of the user, information on the position and orientation of the virtual viewpoints of other users, and information on the position and orientation of the real viewpoints of the other users. generates a virtual three-dimensional model based on Also, when the other user is walking through, that is, when the other user's virtual viewpoint is different from the real viewpoint, the virtual image generation unit 212 generates a video effect based on the other user's real viewpoint information.
  • the synthesizing unit 213 synthesizes the virtual image and the image of the real environment to generate a mixed reality image.
  • the device 221 has the same configuration as the device 201. Therefore, the device 221 has an HMD as the terminal 202 worn on the head of another user. Further, the device 221 has an information processing device having the same configuration as the information processing device 217 of the device 201 . In FIG. 2, only the transmitting section 230 and the receiving section 231, which constitute the information processing device of the device 221, are illustrated.
  • FIG. 3 is a diagram showing an example of the hardware configuration of the information processing device 217. As shown in FIG.
  • the information processing device 217 has a CPU 301 , a ROM 302 , a RAM 303 , an input I/F 304 and an output I/F 305 . Each part of the hardware configuration of the information processing device 217 is connected by a bus 306 .
  • the CPU 301 controls the entire information processing device 217 . Further, the CPU 301 implements the functional configuration of the information processing device 217 described above by expanding the program stored in the ROM 302 into the RAM 303 and executing the program.
  • the ROM 302 stores programs executed by the CPU 301 and various data.
  • the RAM 303 temporarily stores the program when the CPU 301 executes the program stored in the ROM 302, and temporarily stores the execution result.
  • the input I/F 304 is an interface for inputting various data from the components within the device 201 or from the device 221 .
  • the information processing device 217 receives operation information from the operation input unit 205 , captured images captured by the imaging unit 203 , and information from the transmission unit 230 of the device 221 via the input I/F 304 .
  • the output I/F 305 is an interface for outputting various data to the components within the device 201 or the device 221 . Specifically, the information processing device 217 outputs images to the terminal 202 and outputs information to the receiving unit 231 of the device 221 via the output I/F 305 .
  • the information processing device 217 may be a stationary computer such as a personal computer or workstation, or a portable computing device. Also, the information processing device 217 may be integrated with the terminal 202 .
  • Each flowchart including FIG. 5 is implemented by the CPU 301 of the information processing device 217 developing a program stored in the ROM 302 in the RAM 303 and executing the program.
  • the own user and other users have set to use the walk-through function via the operation input unit 205 .
  • the real viewpoint position/posture acquisition unit 208 acquires information on the position/posture of the user's real viewpoint in world coordinates as the information on the user's real viewpoint.
  • the position and orientation of the real viewpoint can be estimated from the arrangement of the feature points of the markers in the image, based on the captured image of the markers arranged in space. There is a way.
  • SLAM Simultaneous Localization and Mapping
  • information on the position and orientation of the real viewpoint may be obtained by using an external measurement device such as motion capture.
  • the origin and orientation of the world coordinate system are determined in advance using markers or specific real objects. Also, the origin and direction of the world coordinate system are set so as to be common among a plurality of users.
  • the virtual viewpoint position/orientation generation unit 209 generates information on the position and orientation of the user's virtual viewpoint in the world coordinates as the information on the user's virtual viewpoint. Specifically, the virtual viewpoint position/orientation generation unit 209 calculates the viewpoint movement amount based on the operation information acquired by the operation information acquisition unit 206 . Next, the virtual viewpoint position/posture generation unit 209 adds the calculated viewpoint movement amount to the position/posture of the user's real viewpoint in the world coordinates, thereby calculating information about the position/posture of the user's virtual viewpoint in the world coordinates. .
  • the method of associating the amount of viewpoint movement from the operation information is not particularly limited.
  • the device that configures the operation input unit 205 or the device that configures the real viewpoint position/orientation acquisition unit 208 can acquire the positions and orientations of body parts such as the user's hands, the viewpoint can also be moved to the positions and orientations of the body parts. By adding the amount, it can be used for generating an avatar, which will be described later.
  • the transmission unit 210 transmits the real viewpoint information and the virtual viewpoint information of the user to the device 221 .
  • the transmitting unit 210 transmits the information on the position and orientation of the user's body part and the information obtained by adding the amount of viewpoint movement to the position and orientation of the body part. do.
  • the receiving unit 211 receives real viewpoint information and virtual viewpoint information of other users from the device 221 .
  • the receiving unit 211 adds the viewpoint movement amount to the information on the position and orientation of the other user's body parts and the position and orientation of the body parts. received information.
  • the device 201 and the device 221 can share information such as the user's real viewpoint with each other.
  • the virtual image generation unit 212 generates an avatar based on information on the position and orientation of the virtual viewpoint of the other user.
  • the virtual image generation unit 212 may generate an avatar of only the head, or may generate an avatar in which body parts such as the torso and legs are added to positions analogized from the position of the head. Further, when receiving information obtained by adding the amount of viewpoint movement to the position and orientation of the other user's body part, the virtual image generation unit 212 generates a virtual image of the other user who has moved through the walk-through based on the received information. An avatar with representations of body parts may be generated.
  • identification information may be added to the avatar in order to identify the user, in the vicinity of the avatar or superimposed on the avatar.
  • the identification information includes, for example, a user name, a user ID, a texture that indicates the characteristics of the user, and the like.
  • the virtual image generation unit 212 estimates the area where the other user's body exists based on the information on the position and orientation of the real viewpoint of the other user. Specifically, the virtual image generation unit 212 estimates the area including the head in the shape of an elliptical sphere based on the information about the position and orientation of the real viewpoint of the other user in the world coordinate system. In addition, for the whole body area other than the head, the feet are present at a predetermined distance vertically downward from the viewpoint position based on the vertical or floor surface information obtained by stipulating the vertical direction or estimating the floor surface. We estimate that Next, a cylinder existing with a predetermined radius around the vertical axis connecting the feet and the head is determined as the whole body area including the whole body of the other user.
  • the terminal 202 may be equipped with a posture sensor to estimate the vertical direction, or another method may be used.
  • the virtual image generation unit 212 appropriately corrects or adds areas where the other users' bodies exist, based on the received information. You may
  • the body region may be estimated by combining three-dimensional polyhedrons in the world coordinate system, or may be performed on a two-dimensional image presented to the user.
  • the position of the viewpoint on the world coordinates, the position of the other user's feet estimated by the above-described method, and the position and orientation of the other user's body parts have been received, based on the received information, An image to be presented to the user is projected onto the two-dimensional image.
  • the virtual image generator 212 may generate a polygon including the other user's body region on the projected two-dimensional coordinates.
  • the shape of the other user's area is not limited, and may be any shape.
  • the virtual image generation unit 212 generates an image showing that the virtual viewpoint of the other user is different from the real viewpoint of the other user at the position corresponding to the real viewpoint of the other user. In this embodiment, the virtual image generation unit 212 generates an image that presents that the other user's virtual viewpoint does not exist in the area where the other user's body exists.
  • the virtual image generation unit 212 generates an image in which the color of the region estimated in S505 is changed to a different color.
  • the color of the area can be changed by adding color to the estimated area and drawing it.
  • the virtual image generation unit 212 may be realized by drawing the three-dimensional polyhedron generated in S505 as it is, or may be realized by superimposing a specific texture image within the estimated area or within the area of the three-dimensional polyhedron. good.
  • the estimated area can be used to generate a mask, and the color of the area can be changed by changing the color of the corresponding real image within the mask area. This can be achieved by synthesizing the real image whose color has been changed by the virtual image generating unit 212 with the image of the real environment by the synthesizing unit 213 .
  • At least one of the saturation and brightness of the estimated area may be reduced to produce the absence of virtual viewpoints of other users.
  • a method for changing the color of the estimated area is not particularly limited, and any method may be used.
  • the virtual image generation unit 212 generates character information near the area where the other user's body exists or superimposed on the area to indicate that the other user does not exist, specifically that the user is walking through. .
  • the information indicating that the walkthrough is in progress is not limited to character information, and may be symbol information, an image such as an icon, or the like.
  • the synthesizing unit 213 synthesizes the virtual image generated by the virtual image generating unit 212 and the image of the real environment to generate a mixed reality image. Note that the synthesizing unit 213 also synthesizes the avatar image at the position of the virtual viewpoint of the other user during the walkthrough. The synthesizing unit 213 outputs the generated mixed reality image to the terminal 202 .
  • the terminal 202 presents the output mixed reality image to its own user.
  • the display unit 204 of the terminal 202 presents the mixed reality image to the user. Since the mixed reality image displayed on the display unit 204 includes an image showing that the virtual viewpoint of the other user is different from the real viewpoint of the other user at the position corresponding to the real viewpoint of the other user, the user can It is possible to easily grasp that the user's virtual viewpoint is not the position of the real viewpoint. Therefore, in mixed reality or augmented reality, it is possible to eliminate inconsistency in the relationship between the real and virtual viewpoints of the other users during the walkthrough.
  • the virtual image generation unit 212 when the other user's real viewpoint information and the other user's virtual viewpoint information are the same or substantially the same, the virtual image generation unit 212 generates a video effect based on the other user's real viewpoint information. processing can be omitted.
  • a so-called diminished reality is applied as a video effect based on the real viewpoint information of the other user, in which the area where the other user exists is changed to a background image.
  • the other user's body appears to have disappeared, so the own user can easily grasp that the virtual viewpoint of the other user is not the position of the real viewpoint.
  • FIG. 6 is a plan view schematically showing the situation of mixed reality or augmented reality to which this embodiment is applied. 1 are given the same reference numerals, and description thereof will be omitted as appropriate.
  • a background object 601 is placed behind the body of the user B102 who is walking through as viewed from the user A101.
  • a background object 601 is a real object placed in or around the mixed reality experience space.
  • FIG. 7 is a diagram schematically showing a mixed reality image viewed from the real viewpoint of user A101.
  • An image 701 of a background object 601 that can be observed when the body of the user B102 does not exist is displayed in the area where the body of the user B102 exists.
  • the avatar 103 of the user B102 is displayed at the position and orientation of the virtual viewpoint of the user B102.
  • FIG. 8 is a diagram showing an example of the functional configuration of the information processing system. It should be noted that the same reference numerals are given to the same configurations as in the first embodiment, and the description thereof will be omitted as appropriate. Also, the hardware configuration of the information processing device 217 is the same as that of the first embodiment, and description thereof will be omitted as appropriate.
  • a background information generation unit 801 is added to the information processing device 217 of the device 201 .
  • the background information generation unit 801 generates a captured image captured by the imaging unit 203, information on the position and orientation of the real viewpoint acquired by the real viewpoint position and orientation acquisition unit 208, and information on natural feature points when SLAM is used. Based on this, the background information when there is no other user is reconstructed.
  • the flowchart in FIG. 9 is, for example, a flowchart following the process of S504 in the flowchart in FIG.
  • the background information generation unit 801 generates background information by performing textured three-dimensional reconstruction of the real background space. For example, as a method of three-dimensional reconstruction, a method using structure from motion (SfM) based on information on the position and orientation of the real viewpoint and a real image, or using natural feature points obtained in the process of using SLAM There is a way. Also, if the imaging unit 203 is a stereo camera, the background information may be generated based on the information of the stereo camera. Specifically, the depth information in the image is generated from the stereo camera information, and the point cloud information generated from the depth information is combined by applying the ICP (Interactive Closest Point) algorithm between frames. Combine using the position and orientation.
  • ICP Interactive Closest Point
  • the background information generation unit 801 converts the three-dimensional reconstruction information into a mesh, and generates background information by associating the vertices of the mesh with the actual image captured during the three-dimensional reconstruction to form a texture.
  • the method of three-dimensional reconstruction is not limited, and any method may be used.
  • background information may be generated by a simplified method that does not perform three-dimensional reconstruction.
  • the background space as a polyhedron such as a sphere or a cube.
  • an image of the background space captured in advance using a fish-eye camera is attached as a texture to the inside of the polyhedron.
  • an image that can be obtained when the imaging unit 203 looks around is mapped inside the polyhedron according to the direction of the imaging unit 203 .
  • a simplified method that does not perform three-dimensional reconstruction lacks accuracy, but is useful when computational resources for performing three-dimensional reconstruction are insufficient.
  • the virtual image generation unit 212 estimates the area where the other user's body exists based on the information on the position and orientation of the real viewpoint of the other user.
  • the estimated area is calculated as the two-dimensional coordinates of the vertices of the contours of the other users on the image presented to the user. Specifically, first, if the position of the other user's real viewpoint during the walkthrough, the position of the other user's feet, and the position and orientation of the other user's body part have been acquired, the position and orientation of the other user's body part are obtained. A position information group in the added three-dimensional world coordinate system is acquired.
  • the method of estimating the presence of the foot described in S506 of the first embodiment can be used.
  • the acquired position information group is projected onto a two-dimensional image on the image presented to the user, and a region including the other user's body is generated from the projected position information group.
  • the distance information to the position of the real viewpoint of the other user is used to determine the margin amount on the two-dimensional image, and based on the determined margin amount, the upper right and upper left of the position of the real viewpoint, and the lower right of the foot position. Calculate the lower left four vertices.
  • the shape of the other user's area is not limited, and any shape may be used.
  • the calculation process and method are not limited as long as a result similar to the region estimation described above can be obtained.
  • the background information generation unit 801 generates a background image generated from the three-dimensional reconstruction information in the estimated area where the other user's body exists. Specifically, the background information generating unit 801 generates a background image by drawing the background information generated in S901 in the area estimated in S902 from the viewpoint of the user observing the background information.
  • the virtual image generation unit 212 generates a synthetic image of the real space by superimposing the generated background image on the real image. Therefore, a composite image is generated in which the estimated area where the other user's body exists is changed to a background image.
  • the body of the other user during the walkthrough is represented as if it does not exist. It is assumed that Therefore, the virtual image generator 212 changes the background image according to the positional relationship between the position of the user's real viewpoint and the position of the other user's real viewpoint during the walkthrough. Specifically, the virtual image generation unit 212 makes the background image transparent when the distance between the real viewpoints is equal to or less than a predetermined distance, or changes the background image continuously or stepwise according to the distance between the real viewpoints.
  • the synthesizing unit 213 may instruct the terminal 202 to sound a warning sound when the distance between the real viewpoints is equal to or less than a predetermined distance or when the distance between the real viewpoints is increased.
  • the composition unit 213 draws a virtual three-dimensional model on the composite image generated by the virtual image generation unit 212 to generate a mixed reality image.
  • the synthesizing unit 213 also synthesizes the avatar image at the position of the virtual viewpoint of the other user during the walkthrough.
  • the synthesizing unit 213 outputs the generated mixed reality image to the terminal 202 .
  • the terminal 202 presents the output mixed reality image to its own user. Specifically, the display unit 204 of the terminal 202 presents the mixed reality image to the user. In the mixed reality image displayed on the display unit 204, the background image is displayed at a position corresponding to the real viewpoint of the other user. can be grasped. Therefore, in mixed reality or augmented reality, it is possible to eliminate inconsistency in the relationship between the real and virtual viewpoints of the other users during the walkthrough.
  • a virtual space or a virtual three-dimensional model is deformed or processed as a visual effect based on information of another user's real viewpoint.
  • a part of the 3D model is displayed as a virtual 3D model viewed from the other user's virtual viewpoint. It can be easily grasped that the viewpoint is not the position of the actual viewpoint.
  • FIG. 10 is a plan view schematically showing the situation of mixed reality or augmented reality to which this embodiment is applied. 1 are given the same reference numerals, and description thereof will be omitted as appropriate.
  • FIG. 11 is a diagram schematically showing a mixed reality image viewed from the real viewpoint of user A101.
  • the virtual space itself or the virtual 3D model is transformed or processed. Specifically, a boundary surface 1003 is set between the position of the real viewpoint 104 of the user A 101 and the position of the real viewpoint 106 of the user B 102, and the virtual space is divided across this boundary. Then, in the virtual spaces of the user A 101 and the user B 102, respectively, coordinate systems are set in which the relative positions and orientations of the virtual viewpoints 105 and 1001 and the virtual model are maintained. As a result, the virtual model 1004 is divided and displayed in the virtual space on the side of the user B102, and the positions of the virtual viewpoint 1002 and the real viewpoint 106 of the user B102 match.
  • the flowchart in FIG. 12 is, for example, a flowchart following the process of S503 in the flowchart in FIG. Note that the functional configuration of the information processing system and the hardware configuration of the information processing device 217 are the same as those in the first embodiment, and description thereof will be omitted as appropriate.
  • the virtual image generation unit 212 obtains an inverse transformation matrix corresponding to the change from the position and orientation of the real viewpoint to the position and orientation of the virtual viewpoint, which change due to the walkthrough of other users.
  • the virtual image generator 212 applies the calculated inverse transformation matrix to the virtual space to generate a virtual space to which the inverse transformation is applied.
  • the virtual image generation unit 212 may generate a virtual three-dimensional model to which the inverse transformation is applied by applying the calculated inverse transformation matrix to the virtual three-dimensional model in the virtual space.
  • the virtual image generation unit 212 uses the information about the position and orientation of the real viewpoint of the user and the information about the position and orientation of the real viewpoint of the other user to set a boundary surface between the positions of the two real viewpoints.
  • the floor surface described in the first embodiment is estimated, the floor surface is set as the work surface. If there is no information about the floor surface, the average of the vectors in the upward direction of each user's field of vision, or the X, Y, or Z axis of the world coordinate system that forms the smallest angle with the average vector is taken as the normal, Let the plane passing through the appropriate coordinates be the working plane. Next, the foot of the perpendicular to the work plane of each user's real viewpoint is calculated. If there are two users, the boundary plane is a plane that passes through the perpendicular bisector of the foot of the perpendicular and is perpendicular to the work plane.
  • a Voronoi boundary for each user's perpendicular foot is generated on the work plane, and a plane passing through the Voronoi boundary and perpendicular to the work plane is defined as the boundary plane.
  • the user's real viewpoint and the other user's real viewpoint can be projected onto a work surface as a predetermined plane, and the Voronoi boundary can be calculated based on the projected points.
  • the virtual image generation unit 212 clips (cuts out) the virtual space based on the set boundary surface.
  • a case of clipping a virtual three-dimensional model included in the virtual space will be described with reference to FIG.
  • the virtual model 108 on the side of the user A101 clips the side of the user B102 at the boundary plane 1003.
  • the virtual model 1004 on the user B 102 side after inverse transformation is applied clips the user A 101 side at the boundary surface 1003 .
  • the virtual image generation unit 212 generates a virtual image drawn from the viewpoint of the user observing the clipped virtual space.
  • the generated virtual image is an image in which the position of the other user's virtual viewpoint matches the position of the other user's real viewpoint when the other user is viewed from the own user's real viewpoint.
  • a boundary surface is added to the virtual image, or the intersection of the boundary surface and the work surface is added.
  • a line may be added as a boundary line.
  • the virtual image generation unit 212 generates character information near the boundary surface or boundary line indicating that the other user's virtual viewpoint is different from the other user's real viewpoint, specifically, that the walk-through shown in FIG. 11 is in progress. 1101 is generated.
  • the information indicating that the walkthrough is in progress is not limited to character information, and may be symbol information, an image such as an icon, or the like.
  • the synthesizing unit 213 outputs the virtual image generated by the virtual image generating unit 212 to the terminal 202 . As necessary, the synthesizing unit 213 synthesizes the virtual image generated by the virtual image generating unit 212 and the image of the real environment to generate a mixed reality image, and outputs the generated mixed reality image to the terminal 202.
  • the terminal 202 presents the output virtual image or mixed reality image to its own user.
  • the display unit 204 of the terminal 202 presents the virtual image or the mixed reality image to the user. Since the image displayed on the display unit 204 displays a virtual three-dimensional model divided by the boundary plane, the own user can easily grasp that the virtual viewpoint of the other user is not the position of the real viewpoint. be able to. Therefore, in mixed reality or augmented reality, it is possible to eliminate inconsistency in the relationship between the real and virtual viewpoints of the other users during the walkthrough.
  • the case where the virtual space is clipped at the boundary surface has been described. may be used to generate a mixed reality image.
  • the boundary surface it is not limited to the case of clipping the virtual 3D model on the boundary surface, and an offset may be set for the boundary surface to provide a gap between the boundaries.
  • the virtual 3D model overlaps You may make it Alternatively, the side surface of a cylinder having a predetermined radius around the vertical axis passing through the real viewpoint of the user or another user may be used as the boundary surface.
  • transparency may be added to the boundary surface continuously or stepwise, or the color of the boundary surface may be changed.
  • the entire boundary surface may be blocked by the virtual 3D model, making it impossible to see what the user is doing.
  • the other user's body region is estimated by the method described in the first embodiment. Then, when the virtual three-dimensional model intersects with the region connecting the estimated region and the real viewpoint of the own user who observes other users, a virtual three-dimensional model including the intersecting portion or the periphery of the intersecting portion is generated. Regions of the dimensional model may be transparent or translucent.
  • the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a recording medium, and one or more processors in the computer of the system or apparatus reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.
  • a circuit for example, ASIC
  • device 201 and the device 221 have the same configuration
  • the configuration is not limited to this and may be different.
  • device 201 may not have walkthrough functionality and device 221 may have walkthrough functionality.

Abstract

仮想の３次元モデルが提示される空間を他ユーザと共有するための情報処理装置２１７は、前記他ユーザの実視点の情報を取得する取得手段と、前記他ユーザの仮想視点が前記他ユーザの実視点と異なる場合に、前記他ユーザの実視点の情報に基づいた映像効果を生成する生成手段と、を有する。

Description

情報処理装置、情報処理方法およびプログラム
　本発明は、情報処理装置、情報処理方法およびプログラムに関する。
　近年、人工現実感（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ：ＶＲ）、複合現実感（Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ：ＭＲ）、拡張現実感（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ：ＡＲ）が広く利用されている。ＶＲ、ＭＲ、ＡＲでは、例えば、仮想の３次元モデルで表現された建築物や巨大な建造物に対して、仮想の３次元モデルを描画する視点（以下、仮想視点）のみをユーザ操作によって移動できる機能がある。このような、ユーザ操作によって仮想視点を移動できる機能をウォークスルー機能という。ウォークスルー機能によれば、ユーザ自身が移動することなく様々な場所を観察することができる。ウォークスルー機能を円滑に利用するためには、観察対象となる仮想の３次元モデルと自身の位置関係を把握できることが好ましい。
　特許文献１には、実寸の仮想３次元空間に没入して観察する実寸観察モードと、仮想３次元空間ＣＧを縮小して観察する縮小観察モードとを備える仮想現実感提示装置が開示されている。特許文献１の仮想現実感提示装置は、ユーザの位置姿勢情報を付加したＣＧマップを縮小観察モードにて提示することで、自分が仮想３次元空間内のどの位置にいるかを把握できる。
特開２００６－７９１７４号公報
　現実空間に対して仮想の３次元モデルを重畳して表示するＭＲやＡＲでは、ウォークスルー機能を使用すると、仮想視点が移動するために、現実空間と仮想の３次元モデルとの間で位置の不整合が発生する。ここで、仮想の３次元モデルを複数人で観察する場合を想定する。このとき、特定のユーザがウォークスルー機能を使用すると、他ユーザから見たウォークスルー中のユーザの実際の頭部の視点（以下、実視点）と、ウォークスルー中のユーザに表示する３次元モデルを描画する仮想視点との間でずれが生じてしまう。したがって、ウォークスルー中のユーザの仮想の３次元モデルに対する注視点を他ユーザが理解できず、コミュニケーションが取りにくくなるという問題が生じる。
　本発明は、上述したような問題点に鑑みてなされたものであり、他ユーザの仮想視点と実視点との関係性の不整合を解消することを目的とする。
　本発明は、仮想の３次元モデルが提示される空間を他ユーザと共有するための情報処理装置であって、前記他ユーザの実視点の情報を取得する取得手段と、前記他ユーザの仮想視点が前記他ユーザの実視点と異なる場合に、前記他ユーザの実視点の情報に基づいた映像効果を生成する生成手段と、を有する。
　本発明によれば、他ユーザの仮想視点と実視点との関係性の不整合を解消することができる。
特定のユーザがウォークスルー機能を使用した場合を示す模式図である。 第１の実施形態の情報処理システムの機能構成を示す図である。 情報処理装置のハードウェア構成を示す図である。 自ユーザから見た複合現実画像を模式的に示した図である。 情報処理装置の処理を示すフローチャートである。 第２の実施形態の状況を模式的に示した平面図である。 自ユーザから見た複合現実画像を模式的に示した図である。 第２の実施形態の情報処理システムの機能構成を示す図である。 情報処理装置の処理を示すフローチャートである。 第３の実施形態の状況を模式的に示した平面図である。 自ユーザから見た複合現実画像を模式的に示した図である。 情報処理装置の処理を示すフローチャートである。
　以下、添付図面を参照して、本発明の好適な実施形態について説明する。
　図１は、仮想の３次元モデルを複数人で観察する場合、特定のユーザがウォークスルー機能を使用した場合の位置関係を模式的に示した平面図である。ここでは、ユーザＡ１０１とユーザＢ１０２が仮想の３次元モデルが提示された空間を共有している。ユーザＡ１０１が自ユーザであり、ユーザＢ１０２が他ユーザである。ユーザＡ１０１は実視点１０４と仮想視点１０５とが同じ位置である。一方、ユーザＢ１０２はウォークスルー機能を使用していることで、実視点１０６と仮想視点１０７とが異なっている。ユーザＢ１０２の仮想視点１０７の位置には、ユーザＢのアバタ１０３が表示されている。この状況をユーザＡ１０１が実視点１０４から見た場合、ユーザＢ１０２の実視点１０６は仮想モデル１０８の右側に存在するにも関わらず、ユーザＢ１０２の仮想視点１０７は仮想モデル１０８の左側に存在することになる。これによって、ユーザＡ１０１はユーザＢ１０２の位置を把握しにくくなる。
　以下の各実施形態では、他ユーザの仮想視点が実視点と異なる場合に、他ユーザの実視点の情報に基づいた映像効果を生成することにより、他ユーザの仮想視点と実視点との関係性の不整合を解消する。
　［第１の実施形態］
　本実施形態では、ウォークスルー中の他ユーザの実視点の情報に基づいた映像効果を生成する。具体的には、他ユーザの実視点に対応した位置に、他ユーザの仮想視点が存在しないことを示す画像を提示する。自ユーザが他ユーザの実視点に対応した位置を見たときに、他ユーザの仮想視点が存在しないことを示す画像を認識できることから、自ユーザは他ユーザの仮想視点が実視点の位置ではないことを容易に把握することができる。
　図４は、ユーザＡ１０１の実視点から見た複合現実画像を模式的に示した図である。なお、アバタ１０３、仮想モデル１０８等の各オブジェクトの位置関係は図１に対応している。
　ユーザＢ１０２はウォークスルー中であり、ユーザＢ１０２の仮想視点の位置姿勢にユーザＢ１０２のアバタ１０３が表示されている。ここで、位置姿勢とは、位置および姿勢（向き）をいう。また、ユーザＢ１０２の身体を囲む領域４０１の色が変更されている。領域４０１の近傍にはウォークスルー中であることを示す文字情報４０２が表示されている。
　図２は、情報処理システムの機能構成の一例を示す図である。
　情報処理システムは、ユーザごとに利用する装置が各装置内に実装されている送信部と受信部を介して連携することで、仮想の３次元モデルを複数人で観察する複合現実感または拡張現実感を実現できる。図２に示す情報処理システムでは、ユーザが２人であることを想定し、装置２０１と装置２２１との２台が連携する構成である。なお、仮想の３次元モデルを３人以上で観察する場合には３台以上で連携する。以下では、ユーザが２人である場合の実施形態について説明する。
　装置２０１は、端末２０２、操作入力部２０５、情報処理装置２１７を備える。
　端末２０２は、周囲の実環境を撮像したり、ユーザに対して複合現実画像を提示したりする。端末２０２は、撮像部２０３と、表示部２０４とを有する。
　撮像部２０３は、周囲の実環境の撮像を行う。表示部２０４は、ユーザに対して複合現実画像を提示する。
　本実施形態の端末２０２は、撮像部２０３と表示部２０４とが頭部搭載型の筐体に実装されたヘッドマウントディスプレイ（以下、ＨＭＤ）を用いている。ユーザは頭部にＨＭＤを装着することで、ＨＭＤがユーザの動きおよび頭部の動きに連動して移動する。なお、端末２０２はタブレット端末やスマートフォン端末等であってもよい。また、本実施形態の端末２０２は、撮像部２０３によって撮像された実画像に仮想の３次元モデルを重畳して表示部２０４に表示するビデオシースルー型であるが、光学シースルー型であってもよい。
　撮像部２０３は、ユーザに提示するための画像を撮像するカメラと、端末２０２の位置姿勢を推定するために必要な画像を取得するカメラを有する。
　なお、撮像部２０３は、同一のカメラで、画像を撮像する機能と位置姿勢を推定するために必要な画像を取得する機能とを兼ねてもよい。また、撮像部２０３は、端末２０２の位置姿勢を取得する方式や仮想の３次元モデルを重畳する方式に応じて、２つのカメラのうち一方または両方を省略することができる。
　また、本実施形態の端末２０２は、立体視を実現するためにユーザに提示するための画像を撮像するカメラと、複合現実画像を提示する表示デバイスとが、右目、左目でそれぞれ個別に実装される。ただし、端末２０２に実装されるカメラおよび表示デバイスの構成は、端末２０２の形態、端末２０２の位置姿勢を取得する方式、仮想の３次元モデルを重畳する方式に応じて変更することができる。
　操作入力部２０５は、ユーザがウォークスルー機能を使用できるように設定する操作を受け付けたり、ウォークスルーするために入力した仮想視点を移動させる操作を受け付けたりする。具体的には、操作入力部２０５は、コントローラデバイス等のボタン入力、ジェスチャ入力、音声入力等のうち一つあるいは複数を受け付ける。操作入力部２０５は、端末２０２に設けてもよく、個別のデバイスとして構成してもよい。
　情報処理装置２１７は、仮想の３次元モデルが提示される空間を他ユーザと共有するための装置である。情報処理装置２１７は、端末２０２の位置姿勢を推定したり、複合現実画像を生成したりする。
　情報処理装置２１７は、操作情報取得部２０６、撮像画像取得部２０７、実視点位置姿勢取得部２０８、仮想視点位置姿勢生成部２０９、送信部２１０、受信部２１１、仮想画像生成部２１２、合成部２１３を有する。
　操作情報取得部２０６は、操作入力部２０５が受け付けた操作情報を取得する。
　撮像画像取得部２０７は、端末２０２が情報処理装置２１７に送信した、実環境を撮像した撮像画像を取得する。
　実視点位置姿勢取得部２０８は、自ユーザの実視点の情報を取得する。具体的に、実視点位置姿勢取得部２０８は、撮像画像から自ユーザの実視点の位置姿勢を算出することにより自ユーザの実視点の情報を取得する。
　仮想視点位置姿勢生成部２０９は、自ユーザの仮想視点の情報を生成する。具体的に、仮想視点位置姿勢生成部２０９は、実視点の情報と、操作情報取得部２０６によって取得した操作情報とに基づいて、仮想視点の位置姿勢を算出することにより自ユーザの仮想視点の情報を生成する。
　送信部２１０は、装置２２１に対して、自ユーザの実視点の位置姿勢の情報、自ユーザの仮想視点の位置姿勢の情報を送信する。
　受信部２１１は、装置２２１から、他ユーザの実視点の位置姿勢の情報、他ユーザの仮想視点の位置姿勢の情報を受信する。
　仮想画像生成部２１２は、自ユーザの仮想視点の位置姿勢の情報、自ユーザの実視点の位置姿勢の情報、他ユーザの仮想視点の位置姿勢の情報、他ユーザの実視点の位置姿勢の情報に基づいて仮想の３次元モデルを生成する。また、仮想画像生成部２１２は、他ユーザがウォークスルー中である場合、すなわち他ユーザの仮想視点と実視点とが異なる場合に、他ユーザの実視点の情報に基づいた映像効果を生成する。
　合成部２１３は、仮想画像と実環境の画像とを合成して、複合現実画像を生成する。
　なお、装置２２１は、装置２０１と同一の構成である。したがって、装置２２１は、他ユーザの頭部に装着される端末２０２としてのＨＭＤを有している。また、装置２２１は、装置２０１の情報処理装置２１７と同一の構成の情報処理装置を有している。図２では、装置２２１の情報処理装置を構成する、送信部２３０および受信部２３１のみを図示している。
　図３は、情報処理装置２１７のハードウェア構成の一例を示す図である。
　情報処理装置２１７は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、入力Ｉ／Ｆ３０４、出力Ｉ／Ｆ３０５を有する。情報処理装置２１７のハードウェア構成の各部は、バス３０６によって接続される。
　ＣＰＵ３０１は、情報処理装置２１７の全体を制御する。また、ＣＰＵ３０１は、ＲＯＭ３０２に記憶されたプログラムをＲＡＭ３０３に展開して実行することにより、上述した情報処理装置２１７の機能構成を実現する。
　ＲＯＭ３０２は、ＣＰＵ３０１が実行するプログラムおよび各種データが記憶される。
　ＲＡＭ３０３は、ＣＰＵ３０１がＲＯＭ３０２に記憶されたプログラムを実行するときにプログラムを一時的に記憶したり、実行した結果を一時的に記憶したりする。
　入力Ｉ／Ｆ３０４は、装置２０１内の構成部または装置２２１から各種データを入力するためのインタフェースである。具体的に、情報処理装置２１７は入力Ｉ／Ｆ３０４を介して、操作入力部２０５からの操作情報、撮像部２０３により撮像された撮像画像、装置２２１の送信部２３０からの情報が入力される。
　出力Ｉ／Ｆ３０５は、装置２０１内の構成部または装置２２１に各種データを出力するためのインタフェースである。具体的に、情報処理装置２１７は出力Ｉ／Ｆ３０５を介して、端末２０２に画像を出力したり、装置２２１の受信部２３１に情報を出力したりする。
　なお、情報処理装置２１７は、パーソナルコンピュータやワークステーション等の据え置き型のコンピュータであってもよく、持ち運び可能なコンピューティングデバイスであってもよい。また、情報処理装置２１７は、端末２０２と一体であってもよい。
　次に、情報処理装置２１７による処理の一例について図５のフローチャートを参照して説明する。図５を含む各フローチャートは、情報処理装置２１７のＣＰＵ３０１がＲＯＭ３０２に記憶されたプログラムをＲＡＭ３０３に展開して実行することにより実現する。ここでは、自ユーザおよび他ユーザが操作入力部２０５を介してウォークスルー機能を使用するように設定しているものとする。
　Ｓ５０１では、実視点位置姿勢取得部２０８は、自ユーザの実視点の情報として、世界座標における自ユーザの実視点の位置姿勢の情報を取得する。ここで、実視点の位置姿勢の情報を取得する方法としては、空間中に配置されたマーカを撮像した撮像画像に基づいて、画像中のマーカの特徴点の配置から実視点の位置姿勢を推定する方法がある。また、実画像中の自然特徴点を利用して自己位置の推定と環境地図の作成を同時に行うＳｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ（ＳＬＡＭ）を利用する方法がある。また、モーションキャプチャ等の外部計測装置を利用することで実視点の位置姿勢の情報を取得してもよい。
　なお、世界座標系の原点および向きは、事前にマーカあるいは特定の実物体を用いて決定しておく。また、世界座標系の原点および向きは、複数のユーザ間において共通の設定となるようにしておく。
　Ｓ５０２では、仮想視点位置姿勢生成部２０９は、自ユーザの仮想視点の情報として、世界座標における自ユーザの仮想視点の位置姿勢の情報を生成する。具体的に、仮想視点位置姿勢生成部２０９は、操作情報取得部２０６が取得した操作情報に基づいて視点移動量を算出する。次に、仮想視点位置姿勢生成部２０９は、世界座標における自ユーザの実視点の位置姿勢に算出した視点移動量を加えることで、世界座標における自ユーザの仮想視点の位置姿勢の情報を算出する。
　なお、操作情報から視点移動量を対応付ける方法については特に限定しない。また、操作入力部２０５を構成する装置または実視点位置姿勢取得部２０８を構成する装置が自ユーザの手等の身体部位の位置姿勢を取得できる場合には、身体部位の位置姿勢にも視点移動量を加えることで、後述するアバタの生成に活用することができる。
　Ｓ５０３では、送信部２１０は、自ユーザの実視点の情報および仮想視点の情報を装置２２１に送信する。また、Ｓ５０２において身体部位の位置姿勢の情報を取得している場合には、送信部２１０は自ユーザの身体部位の位置姿勢の情報および身体部位の位置姿勢に視点移動量を加えた情報を送信する。
　また、受信部２１１は、装置２２１から他ユーザの実視点の情報および仮想視点の情報を受信する。また、装置２２１が他ユーザの身体部位の位置姿勢の情報を取得している場合には、受信部２１１は他ユーザの身体部位の位置姿勢の情報および身体部位の位置姿勢に視点移動量を加えた情報を受信する。
　したがって、装置２０１および装置２２１は互いにユーザの実視点等の情報を共有することができる。
　Ｓ５０４では、仮想画像生成部２１２は、他ユーザの仮想視点の位置姿勢の情報に基づいてアバタを生成する。仮想画像生成部２１２は、頭部のみのアバタを生成してもよく、頭部位置から類推される位置に胴や脚等の身体部位の表現を加えたアバタを生成してもよい。また、他ユーザの身体部位の位置姿勢に視点移動量を加えた情報を受信している場合には、仮想画像生成部２１２は受信した情報に基づいて、ウォークスルーによって移動した他ユーザの仮想の身体部位の表現を加えたアバタを生成してもよい。なお、アバタにはユーザを識別するために識別情報を、アバタの近傍またはアバタに重畳して付加してもよい。識別情報には、例えば、ユーザ名、ユーザＩＤ、ユーザの特徴を示すテクスチャ等が含まれる。
　Ｓ５０５では、仮想画像生成部２１２は、他ユーザの実視点の位置姿勢の情報に基づいて、他ユーザの身体が存在する領域を推定する。具体的には、仮想画像生成部２１２は、世界座標系において他ユーザの実視点の位置姿勢の情報に基づいて、頭部を含む領域を楕円球状の形状によって推定する。また、頭部以外の全身領域については鉛直方向を規定したり、床面を推定したりすることによって得られる鉛直あるいは床面情報に基づいて、視点位置から鉛直下向きの所定の距離に足が存在すると推定する。次に、足と頭部を結んだ鉛直軸回りに所定の半径で存在する円柱を他ユーザの全身が含まれる全身領域として決定する。なお、鉛直方向の規定や床面を推定するには、Ｓ５０１において世界座標系の原点を床面に設定して鉛直方向を所定の向きに合わせる方法、ＳＬＡＭの自然特徴点を利用して床面を推定する方法がある。また、端末２０２に姿勢センサを搭載して鉛直方向を推定してもよく、他の方法を用いてもよい。また、他ユーザの身体部位の位置姿勢の情報を受信している場合には、仮想画像生成部２１２は、受信した情報に基づいて、他ユーザの身体が存在する領域を適宜、修正したり追加したりしてもよい。
　また、身体領域の推定は、世界座標系における３次元多面体を組み合わせることで推定してもよく、自ユーザに提示する２次元画像上で行ってもよい。この場合、世界座標上の視点の位置と、上述の方法で推定した他ユーザの足の位置、他ユーザの身体部位の位置姿勢の情報を受信している場合には受信した情報に基づいて、自ユーザに提示する画像を２次元画像上に射影する。仮想画像生成部２１２は、射影された２次元座標上に他ユーザの身体領域を含む多角形を生成してもよい。ただし、他ユーザの領域の形状は限定されず、どのような形状であってもよい。
　Ｓ５０６では、仮想画像生成部２１２は、他ユーザの実視点に対応した位置に、他ユーザの仮想視点が他ユーザの実視点と異なることを示す映像を生成する。本実施形態では、仮想画像生成部２１２は、他ユーザの身体が存在する領域に他ユーザの仮想視点が存在しないことを提示する映像を生成する。
　具体的には、仮想画像生成部２１２はＳ５０５において推定した領域の色を異なる色に変更した画像を生成する。
　例えば、推定した領域に色を付加して描画することにより領域の色を変更することができる。仮想画像生成部２１２は、Ｓ５０５で生成した３次元多面体をそのまま描画することで実現してもよく、推定した領域内あるいは３次元多面体の領域内に特定のテクスチャ画像を重ねることで実現してもよい。
　また、例えば、推定した領域を利用してマスクを生成し、マスク領域内に対応する実画像の色を変更することにより領域の色を変更することができる。仮想画像生成部２１２により色が変更された実画像を、合成部２１３が実環境の画像と合成することで実現することができる。
　また、推定した領域の色を変更するには、推定した領域の彩度および明度の少なくとも何れか一方を低下させることにより、他ユーザの仮想視点が存在しないことを演出してもよい。推定した領域の色を変更する方法は特に限定されず、どのような方法であってもよい。
　また、仮想画像生成部２１２は、他ユーザの身体が存在する領域の近傍または当該領域に重畳して他ユーザが存在しないこと、具体的にはウォークスルー中であることを示す文字情報を生成する。なお、ウォークスルー中であることを示す情報は、文字情報に限られず、記号情報、アイコン等の画像であってもよい。
　Ｓ５０７では、合成部２１３は、仮想画像生成部２１２が生成した仮想画像と、実環境の画像とを合成して複合現実画像を生成する。なお、合成部２１３は、ウォークスルー中の他ユーザの仮想視点の位置にアバタの画像も合成する。合成部２１３は、生成した複合現実画像を端末２０２に出力する。
　端末２０２は、出力された複合現実画像を自ユーザに提示する。具体的には、端末２０２の表示部２０４が複合現実画像を表示することにより自ユーザに提示する。表示部２０４に表示された複合現実画像には、他ユーザの実視点に対応した位置に他ユーザの仮想視点が他ユーザの実視点と異なることを示す画像が含まれることから、自ユーザは他ユーザの仮想視点が実視点の位置ではないことを容易に把握することができる。したがって、複合現実感または拡張現実感においてウォークスルー中の他ユーザの実視点と仮想視点との関係性の不整合を解消することができる。
　なお、他ユーザの実視点の情報と他ユーザの仮想視点の情報とが同一または略同一である場合には、仮想画像生成部２１２は他ユーザの実視点の情報に基づいた映像効果を生成する処理を省略することができる。
　［第２の実施形態］
　本実施形態では、他ユーザの実視点の情報に基づいた映像効果として、他ユーザが存在する領域を背景画像に変更する、いわゆる隠消現実感（Ｄｉｍｉｎｉｓｈｅｄ　Ｒｅａｌｉｔｙ）を適用する。自ユーザが他ユーザを観察したときに、他ユーザの身体が消えたように見えることから、自ユーザは他ユーザの仮想視点が実視点の位置ではないことを容易に把握することができる。
　図６は、本実施形態が適用される複合現実感または拡張現実感の状況を模式的に示した平面図である。なお、図１と同様の構成は、同一符号を付して適宜、説明を省略する。ここでは、ユーザＡ１０１から見てウォークスルー中のユーザＢ１０２の身体の背後に、背景物体６０１が配置されている。背景物体６０１は、複合現実感の体験空間内あるいは体験空間の周囲に配置された実物の物体である。
　図７は、ユーザＡ１０１の実視点から見た複合現実画像を模式的に示した図である。ユーザＢ１０２の身体が存在する領域には、ユーザＢ１０２の身体が存在しない場合に観察することができる背景物体６０１の画像７０１が表示されている。また、ユーザＢ１０２の仮想視点の位置姿勢にユーザＢ１０２のアバタ１０３が表示されている。
　図８は、情報処理システムの機能構成の一例を示す図である。なお、第１の実施形態と同様の構成については同一符号を付して適宜、説明を省略する。また、情報処理装置２１７のハードウェア構成は、第１の実施形態と同様であり適宜、説明を省略する。
　装置２０１の情報処理装置２１７は、背景情報生成部８０１が追加されている。
　背景情報生成部８０１は、撮像部２０３により撮像された撮像画像と、実視点位置姿勢取得部２０８により取得された実視点の位置姿勢の情報と、ＳＬＡＭを利用した場合の自然特徴点の情報とに基づいて、他ユーザが存在しない場合の背景情報を再構成する。
　次に、情報処理装置２１７による処理の一例について図９のフローチャートを参照して説明する。図９のフローチャートは、例えば、図５のフローチャートのＳ５０４の処理後に続くフローチャートである。
　Ｓ９０１では、背景情報生成部８０１は、背景実空間のテクスチャ付きの三次元再構成を実施することで背景情報を生成する。例えば、三次元再構成の方法として、実視点の位置姿勢の情報と実画像とに基づいたＳｔｒｕｃｔｕｒｅ　ｆｒｏｍ　Ｍｏｔｉｏｎ（ＳｆＭ）による方法や、ＳＬＡＭを利用した場合の過程で得られる自然特徴点を利用する方法がある。また、撮像部２０３がステレオカメラである場合には、ステレオカメラの情報に基づいて背景情報を生成してもよい。具体的には、ステレオカメラの情報から画像中の深度情報を生成し、深度情報から生成する点群情報を、フレーム間でＩＣＰ（Ｉｎｔｅｒａｔｉｖｅ　Ｃｌｏｓｅｓｔ　Ｐｏｉｎｔ）アルゴリズムを適用して結合したり、実視点の位置姿勢を利用して結合したりする。背景情報生成部８０１は、三次元再構成情報をメッシュに変換すると共に、メッシュの頂点と三次元再構成中に撮影した実画像を対応付けてテクスチャとすることで背景情報を生成する。ただし、三次元再構成の方法は限定されず、どのような方法であってもよい。
　なお、三次元再構成を実施しない簡略化した方法で背景情報を生成してもよい。例えば、背景空間を球状あるいは立方体等の多面体であるとみなす方法がある。具体的には、多面体の内側に、魚眼カメラを用いて事前に撮影した背景空間の画像をテクスチャとして貼付する。または、撮像部２０３と実視点の位置姿勢を利用して、撮像部２０３で周囲を見回した際に取得できる画像を、撮像部２０３の方向に応じて多面体の内側にマッピングする方法である。三次元再構成を実施しない簡略化した方法は正確性には欠けるものの、三次元再構成を実施する計算リソースが不足している場合等には有用である。
　Ｓ９０２では、仮想画像生成部２１２は、他ユーザの実視点の位置姿勢の情報に基づいて、他ユーザの身体が存在する領域を推定する。本実施形態では、推定された領域に対して背景画像を貼付するため、推定する領域は他ユーザの輪郭の頂点を自ユーザに提示する画像上の２次元座標として算出する。具体的には、まず、ウォークスルー中の他ユーザの実視点の位置、他ユーザの足元位置、他ユーザの身体部位の位置姿勢を取得している場合には他ユーザの身体部位の位置姿勢を加えた３次元世界座標系における位置情報群を取得する。なお、足元位置の推定方法については、第１の実施形態のＳ５０６において説明した足の存在を推定する方法を用いることができる。次に、取得した位置情報群を、ユーザに提示する画像上の２次元画像上に射影して、射影された位置情報群から、他ユーザの身体を包含する領域を生成する。例えば、他ユーザの実視点の位置までの距離情報を利用して２次元画像上のマージン量を決定し、決定したマージン量に基づいて実視点の位置の右上と左上、足元位置の右下と左下の４頂点を算出する。そして、算出した頂点情報を用いて他ユーザの身体を包含する矩形の領域を生成することで、他ユーザの身体が存在する領域を推定することができる。ただし、他ユーザの領域の形状は限定されず、どのような形状を用いてもよい。また、上述した領域の推定と同様の結果が得られるのであれば、計算の過程や方法は限定されない。
　Ｓ９０３では、背景情報生成部８０１は、推定された他ユーザの身体が存在する領域に、三次元再構成の情報から生成した背景画像を生成する。具体的には、背景情報生成部８０１は、Ｓ９０２において推定された領域内にＳ９０１において生成した背景情報を観察する自ユーザの視点から描画することで背景画像を生成する。
　Ｓ９０４では、仮想画像生成部２１２は、生成された背景画像を実画像上に重畳することで現実空間の合成画像を生成する。したがって、推定された他ユーザの身体が存在する領域が背景画像に変更されたような合成画像が生成される。なお、本実施形態では、ウォークスルー中の他ユーザの身体が存在しないかのように表現されるため、観察中の自ユーザとウォークスルー中の他ユーザの身体が近接した際に、両者が接触してしまう場合が想定される。したがって、仮想画像生成部２１２は、自ユーザの実視点の位置とウォークスルー中の他ユーザの実視点の位置との位置関係に応じて背景画像を変化させる。具体的には、仮想画像生成部２１２は、実視点間の距離が所定の距離以下である場合には背景画像を透明にしたり、実視点間の距離に応じて連続的あるいは段階的に背景画像の透明度を大きくしたりするように変化させる。また、実視点間の距離が所定の距離以下である場合には背景画像の色を変化させたり、実視点間の距離に応じて連続的あるいは段階的に背景画像の色を変化させたりしてもよい。また、背景画像の全体の色に限られず、背景画像の輪郭の色を変化させてもよい。また、合成部２１３は実視点間の距離が所定の距離以下あるいは実視点間の距離に応じて警告音を鳴らすように端末２０２に指示してもよい。
　Ｓ９０５では、合成部２１３は、仮想画像生成部２１２が生成した合成画像に仮想の３次元モデルを描画して複合現実画像を生成する。なお、合成部２１３は、ウォークスルー中の他ユーザの仮想視点の位置にアバタの画像も合成する。合成部２１３は、生成した複合現実画像を端末２０２に出力する。
　端末２０２は、出力された複合現実画像を自ユーザに提示する。具体的には、端末２０２の表示部２０４が複合現実画像を表示することにより自ユーザに提示する。表示部２０４に表示された複合現実画像には、他ユーザの実視点に対応した位置に背景画像を表示されることから、自ユーザは他ユーザの仮想視点が実視点の位置ではないことを容易に把握することができる。したがって、複合現実感または拡張現実感においてウォークスルー中の他ユーザの実視点と仮想視点との関係性の不整合を解消することができる。
　［第３の実施形態］
　本実施形態では、他ユーザの実視点の情報に基づいた映像効果として、仮想空間または仮想の３次元モデルを変形したり加工したりする。自ユーザが仮想の３次元モデルを観察したときに、３次元モデルの一部が他ユーザの仮想視点から見た状態の仮想の３次元モデルで表示されることから、自ユーザは他ユーザの仮想視点が実視点の位置ではないことを容易に把握することができる。
　図１０は、本実施形態が適用される複合現実感または拡張現実感の状況を模式的に示した平面図である。なお、図１と同様の構成は、同一符号を付して適宜、説明を省略する。
　図１１は、ユーザＡ１０１の実視点から見た複合現実画像を模式的に示した図である。
　ユーザＢ１０２はウォークスルーによって仮想視点１００１に移動しているものとする。このとき、ユーザＢ１０２は仮想視点１００１の位置姿勢から仮想モデル１０８を見ていることになる。ここで、仮想視点１００１と仮想モデル１０８との相対的な位置関係を維持したまま、仮想視点１００１がユーザＢ１０２の実視点１０６の位置姿勢、すなわち仮想視点１００２の位置姿勢に戻ることができれば、実視点と仮想視点との位置の不整合が解消される。しかしながら、このような仮想モデルは幾何的な矛盾が生じてしまう。
　本実施形態では、仮想空間自体または仮想の３次元モデルを変形したり加工したりする。具体的には、ユーザＡ１０１の実視点１０４の位置とユーザＢ１０２の実視点１０６の位置との間に境界面１００３を設定し、この境界を挟んで、仮想空間を分断する。そして、ユーザＡ１０１、ユーザＢ１０２の仮想空間のそれぞれにおいて、仮想視点１０５、１００１と仮想モデルとの相対的な位置姿勢の関係が維持される座標系を設定する。その結果、ユーザＢ１０２側の仮想空間では仮想モデル１００４が分断されて表示されると共に、ユーザＢ１０２の仮想視点１００２と実視点１０６との位置が一致する。
　次に、情報処理装置２１７による処理の一例について図１２のフローチャートを参照して説明する。図１２のフローチャートは、例えば、図５のフローチャートのＳ５０３の処理後に続くフローチャートである。なお、情報処理システムの機能構成および情報処理装置２１７のハードウェア構成は、第１の実施形態と同様であり適宜、説明を省略する。
　Ｓ１２０１では、仮想画像生成部２１２は、他ユーザのウォークスルーによって変化する実視点の位置姿勢から仮想視点の位置姿勢への変化に対応する逆変換行列を求める。次に、仮想画像生成部２１２は、算出した逆変換行列を仮想空間に適用して、逆変換を適用した仮想空間を生成する。なお、仮想画像生成部２１２は、算出した逆変換行列を仮想空間内の仮想の３次元モデルに適用することで、逆変換を適用した仮想の３次元モデルを生成してもよい。
　Ｓ１２０２では、仮想画像生成部２１２は、自ユーザの実視点の位置姿勢の情報と、他ユーザの実視点の位置姿勢の情報を用いて、両者の実視点位置の間に境界面を設定する。
　具体的には、まず鉛直方向を法線とした作業面を定義する。第１の実施形態で説明した床面が推定されている場合は床面を作業面とする。床面の情報がない場合には、各ユーザの視野の上方向のベクトルの平均、あるいは前記平均ベクトルと最もなす角が小さい世界座標系のＸ，Ｙ，Ｚ軸の何れかを法線とし、適当な座標を通る面を作業面とする。次に、各ユーザの実視点の作業面に対する垂線の足を算出する。ユーザが２名の場合は、垂線の足の垂直２等分線を通り、作業面に垂直な面を境界面とする。ユーザが３名以上の場合は、各ユーザの垂線の足に対するボロノイ境界を作業面上に生成し、このボロノイ境界を通り作業面に垂直な面を境界面とする。ボロノイ境界を生成するには、自ユーザの実視点と、他ユーザの実視点とを所定の平面としての作業面に投影して、投影された点に基づいてボロノイ境界を算出することができる。
　Ｓ１２０３では、仮想画像生成部２１２は、設定した境界面に基づいて仮想空間をクリップする（切り取る）。ここで、図１０を参照して仮想空間に含まれる仮想の３次元モデルをクリップする場合について説明する。まず、ユーザＡ１０１とユーザＢ１０２の間に生成された境界面１００３に対して、ユーザＡ１０１側の仮想モデル１０８は境界面１００３でユーザＢ１０２側をクリップする。一方、ユーザＢ１０２側の逆変換適用後の仮想モデル１００４は境界面１００３でユーザＡ１０１側をクリップする。
　Ｓ１２０４では、仮想画像生成部２１２は、クリップされた仮想空間を観察する自ユーザの視点から描画した仮想画像を生成する。生成される仮想画像は、自ユーザの実視点から他ユーザを見たときに、他ユーザの仮想視点の位置が他ユーザの実視点の位置と一致して見えるような画像になる。このとき、自ユーザが境界面に基づいて、仮想空間あるいは仮想の３次元モデルがクリップされていることを認識できるように、仮想画像には境界面を付加したり、境界面と作業面の交線を境界線として付加したりしてもよい。
　また、仮想画像生成部２１２は、境界面あるいは境界線の付近に他ユーザの仮想視点が他ユーザの実視点と異なること、具体的には図１１に示すウォークスルー中であることを示す文字情報１１０１を生成する。なお、ウォークスルー中であることを示す情報は、文字情報に限られず、記号情報、アイコン等の画像であってもよい。
　合成部２１３は、仮想画像生成部２１２が生成した仮想画像を端末２０２に出力する。なお、必要に応じて、合成部２１３は、仮想画像生成部２１２が生成した仮想画像と実環境の画像とを合成して複合現実画像を生成し、生成した複合現実画像を端末２０２に出力してもよい。
　端末２０２は、出力された仮想画像あるいは複合現実画像を自ユーザに提示する。具体的には、端末２０２の表示部２０４が仮想画像あるいは複合現実画像を表示することにより自ユーザに提示する。表示部２０４に表示された画像には、境界面で分断された仮想の３次元モデルが表示されることから、自ユーザは他ユーザの仮想視点が実視点の位置ではないことを容易に把握することができる。したがって、複合現実感または拡張現実感においてウォークスルー中の他ユーザの実視点と仮想視点との関係性の不整合を解消することができる。
　なお、本実施形態では、境界面で仮想空間をクリップする場合について説明したが、境界面で仮想の３次元モデルをクリップして、クリップした仮想の３次元モデルと実環境の画像とを合成して複合現実画像を生成してもよい。
　また、境界面上で仮想の３次元モデルをクリップする場合に限られず、境界面に対してオフセットを設定して境界の間に隙間を設けてもよく、逆に仮想の３次元モデルがオーバーラップするようにしてもよい。また、自ユーザまたは他ユーザの実視点を通る鉛直軸回りに所定の半径をもつ円柱の側面を境界面としてもよい。
　また、自ユーザと境界面との間の距離に応じて、連続的または段階的に境界面に透明度を付加するようにしたり、境界面の色を変化させたりしてもよい。
　また、ウォークスルーにより移動した位置や姿勢によっては、境界面全体が仮想の３次元モデルで遮られてしまい、ユーザがどのような行動をしているか視認できなくなることがある。この場合、第１の実施形態で説明した方法で他ユーザの身体の領域を推定する。そして、推定した領域と他ユーザを観察する自ユーザの実視点を結んだ領域に対して仮想の３次元モデルが交差する場合には、交差する部分あるいは交差する部分の周辺を含めた仮想の３次元モデルの領域を透明や半透明にしてもよい。
　［その他の実施形態］
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、本発明の範囲内で変更したり、各実施形態の構成の一部または処理の一部を、他の実施形態に組み合わせたりすることができる。
　なお、上述した各実施形態において、自ユーザにステレオ画像を提示する場合には、各実施形態のフローチャートの処理を適宜、左右の画像に対してそれぞれ実施する。
　上述した各実施形態では、装置２０１と装置２２１とが同一の構成である場合について説明したが、この場合に限られず、異なる構成であってもよい。例えば、装置２０１はウォークスルー機能を有しておらず、装置２２１がウォークスルー機能を有していてもよい。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０２１年１２月２０日提出の日本国特許出願特願２０２１－２０６２５１を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。
　２１１　受信部
　２１２　仮想画像生成部
　２１７　情報処理装置

Claims (14)

  1. 　仮想の３次元モデルが提示される空間を他ユーザと共有するための情報処理装置であって、
    　前記他ユーザの実視点の情報を取得する取得手段と、
    　前記他ユーザの仮想視点が前記他ユーザの実視点と異なる場合に、前記他ユーザの実視点の情報に基づいた映像効果を生成する生成手段と、を有する
    　情報処理装置。
  2. 　前記生成手段は、
    　前記映像効果として、前記他ユーザの実視点に対応した位置に、前記他ユーザの仮想視点が存在しないことを示す画像を生成する
    　請求項１に記載の情報処理装置。
  3. 　前記生成手段は、
    　前記他ユーザの実視点の情報に基づいて前記他ユーザが存在する領域を推定し、
    　前記映像効果として、前記推定した領域の実画像を加工した画像を生成する
    　請求項２に記載の情報処理装置。
  4. 　前記生成手段は、
    　前記映像効果として、前記推定した領域の色を異なる色に変更した画像を生成する
    　請求項３に記載の情報処理装置。
  5. 　前記生成手段は、
    　前記映像効果として、前記推定した領域を背景画像に変更した画像を生成する
    　請求項３に記載の情報処理装置。
  6. 　前記生成手段は、
    　自ユーザの実視点の位置と前記他ユーザの実視点の位置との関係に応じて変化させる画像を生成する
    　請求項１に記載の情報処理装置。
  7. 　前記生成手段は、
    　自ユーザの実視点の位置と前記他ユーザの実視点の位置との関係に応じて、前記推定した領域に重畳する背景画像の透明度を変更した画像を生成する
    　請求項５に記載の情報処理装置。
  8. 　前記生成手段は、
    　前記映像効果として、前記他ユーザの実視点の情報および前記他ユーザの仮想視点の情報に基づいて前記空間または前記仮想の３次元モデルを変形した画像を生成する
    　請求項１に記載の情報処理装置。
  9. 　前記生成手段は、
    　自ユーザの実視点から前記他ユーザを見たときに、前記他ユーザの仮想視点の位置が前記他ユーザの実視点の位置と一致して見えるように、前記空間または前記仮想の３次元モデルを変形した画像を生成する
    　請求項８に記載の情報処理装置。
  10. 　前記生成手段は、
    　前記空間または前記仮想の３次元モデルのうち、自ユーザの実視点と前記他ユーザの実視点との間に設定された境界を挟んで前記他ユーザの側を変形した画像を生成する
    　請求項８に記載の情報処理装置。
  11. 　前記生成手段は、
    　前記自ユーザの実視点と前記他ユーザの実視点を所定の平面にそれぞれ投影し、投影した点に基づいて算出されるボロノイ境界を挟んで前記他ユーザの側を変形した画像を生成する
    　請求項１０に記載の情報処理装置。
  12. 　前記生成手段は、
    　前記他ユーザの仮想視点と前記他ユーザの実視点とが一致する場合には、前記映像効果を生成しない
    　請求項１に記載の情報処理装置。
  13. 　仮想の３次元モデルが提示される空間を他ユーザと共有するための情報処理方法であって、
    　前記他ユーザの実視点の情報を取得する取得ステップと、
    　前記他ユーザの仮想視点が前記他ユーザの実視点と異なる場合に、前記他ユーザの実視点の情報に基づいた映像効果を生成する生成ステップと、を有する
    　情報処理方法。
  14. 　請求項１３に記載の情報処理方法の各ステップをコンピュータに実行させるためのプログラム。
PCT/JP2022/045326 2021-12-20 2022-12-08 情報処理装置、情報処理方法およびプログラム WO2023120217A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-206251 2021-12-20
JP2021206251A JP2023091481A (ja) 2021-12-20 2021-12-20 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2023120217A1 true WO2023120217A1 (ja) 2023-06-29

Family

ID=86902328

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/045326 WO2023120217A1 (ja) 2021-12-20 2022-12-08 情報処理装置、情報処理方法およびプログラム

Country Status (2)

Country Link
JP (1) JP2023091481A (ja)
WO (1) WO2023120217A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018106298A (ja) * 2016-12-22 2018-07-05 キヤノンマーケティングジャパン株式会社 画像処理装置、画像処理方法、コンピュータプログラム
JP2018147377A (ja) * 2017-03-08 2018-09-20 株式会社コロプラ 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018106298A (ja) * 2016-12-22 2018-07-05 キヤノンマーケティングジャパン株式会社 画像処理装置、画像処理方法、コンピュータプログラム
JP2018147377A (ja) * 2017-03-08 2018-09-20 株式会社コロプラ 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム

Also Published As

Publication number Publication date
JP2023091481A (ja) 2023-06-30

Similar Documents

Publication Publication Date Title
JP5818773B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN109598798B (zh) 虚拟物拟合方法及虚拟物拟合服务系统
KR101687017B1 (ko) 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
US11887234B2 (en) Avatar display device, avatar generating device, and program
JP5871345B2 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
CA2550512A1 (en) 3d videogame system
US20130063560A1 (en) Combined stereo camera and stereo display interaction
JP2008210276A (ja) 三次元モデル情報の生成方法及び装置
JP5709440B2 (ja) 情報処理装置、情報処理方法
TW201401224A (zh) 二維角色表現三維動作之系統及方法
JP2019008623A (ja) 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
KR20200138349A (ko) 화상 처리 방법 및 장치, 전자 디바이스, 및 저장 매체
JP2017016577A (ja) 情報処理装置、その制御方法及びプログラム
JP2009169622A (ja) 画像処理装置、画像処理方法
JP2020052790A (ja) 情報処理装置、情報処理方法、およびプログラム
JP6723743B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2023532285A (ja) アモーダル中心予測のためのオブジェクト認識ニューラルネットワーク
JP7262973B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2023120217A1 (ja) 情報処理装置、情報処理方法およびプログラム
US10798360B2 (en) Information processing system, method for controlling same, and program
WO2020036114A1 (ja) 画像処理装置、画像処理方法、およびプログラム
JP7175715B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2022112228A (ja) 情報処理装置、情報処理方法及びプログラム
EP4336459A1 (en) Information processing device, information processing method, and program
JP7321029B2 (ja) キャリブレーション装置及びその制御方法及びプログラム及び記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22910928

Country of ref document: EP

Kind code of ref document: A1