WO2018173207A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
WO2018173207A1
WO2018173207A1 PCT/JP2017/011778 JP2017011778W WO2018173207A1 WO 2018173207 A1 WO2018173207 A1 WO 2018173207A1 JP 2017011778 W JP2017011778 W JP 2017011778W WO 2018173207 A1 WO2018173207 A1 WO 2018173207A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
volume element
virtual space
user
data
Prior art date
Application number
PCT/JP2017/011778
Other languages
English (en)
French (fr)
Inventor
順 広井
攻 太田
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to EP17902112.6A priority Critical patent/EP3605469A4/en
Priority to CN201780088446.6A priority patent/CN110431601A/zh
Priority to US16/482,529 priority patent/US11107276B2/en
Priority to JP2019506843A priority patent/JP6775669B2/ja
Priority to PCT/JP2017/011778 priority patent/WO2018173207A1/ja
Publication of WO2018173207A1 publication Critical patent/WO2018173207A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/36—Level of detail
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Definitions

  • the present invention relates to an information processing apparatus, an information processing method, and a program for drawing a state of a virtual space in which unit volume elements are arranged.
  • various objects may be expressed by stacking unit volume elements called voxels or point clouds in a virtual space.
  • unit volume element By using the unit volume element, various objects can be reproduced in the virtual space without preparing information such as the overall color and shape of the object.
  • the smaller the size of the unit volume element the more accurately the target object can be reproduced in detail.
  • the size of the unit volume element is reduced, the number of unit volume elements necessary for reproducing an object having the same volume increases, which increases the amount of data to be processed and the calculation load.
  • the optimal size and number of unit volume elements vary depending on how the object to be reproduced is viewed, depending on the size of the unit volume element, there may be a gap in the object to be reproduced, May appear bumpy.
  • the present invention has been made in consideration of the above circumstances, and one of its purposes is to make the size of the unit volume element suitable for the appearance of the object to be reproduced.
  • An information processing apparatus, an information processing method, and a program are provided.
  • the information processing apparatus acquires, for each of a plurality of unit parts constituting an object, volume element data for acquiring volume element data indicating a position in a virtual space where a unit volume element corresponding to the unit part is to be arranged Based on the acquisition unit, the volume element data, a volume element arrangement unit that arranges the plurality of unit volume elements in the virtual space, and a space that draws a spatial image showing a state of the virtual space in which the unit volume elements are arranged An image drawing unit, wherein the volume element arrangement unit changes the size of the unit volume element based on an arrangement mode of the unit volume element in the spatial image.
  • volume element data for acquiring volume element data indicating a position in a virtual space where a unit volume element corresponding to the unit part should be arranged
  • An image drawing step wherein in the volume element arrangement step, the size of the unit volume element is changed based on an arrangement mode of the unit volume element in the spatial image.
  • a program according to the present invention is a volume element data acquisition unit that acquires, for each of a plurality of unit parts constituting an object, volume element data indicating a position in a virtual space where a unit volume element corresponding to the unit part is to be arranged Based on the volume element data, a volume element arrangement unit that arranges a plurality of unit volume elements in a virtual space, and a spatial image drawing that draws a spatial image showing a state of the virtual space in which the unit volume elements are arranged
  • the volume element arrangement unit is a program that changes the size of the unit volume element based on the arrangement mode of the unit volume element in the spatial image. This program may be provided by being stored in a computer-readable non-transitory information storage medium.
  • FIG. 1 is an overall schematic diagram of an information processing system including an information processing apparatus according to an embodiment of the present invention. It is a figure which shows the mode of the user who uses an information processing system. It is a figure which shows an example of the mode of virtual space. It is a functional block diagram which shows the function of the information processing apparatus which concerns on embodiment of this invention. It is a flowchart which shows an example of the flow of the process which the information processing apparatus which concerns on embodiment of this invention performs. It is a figure which shows an example of an occupied area.
  • FIG. 1 is an overall schematic diagram of an information processing system 1 including an information processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of a state of a user who uses the information processing system 1.
  • the information processing system 1 is used to construct a virtual space in which a plurality of users participate. According to the information processing system 1, a plurality of users can play a game together and communicate with each other in a virtual space.
  • the information processing system 1 includes a plurality of information acquisition devices 10, a plurality of image output devices 20, and a server device 30.
  • the image output device 20 functions as an information processing device according to the embodiment of the present invention.
  • the information processing system 1 includes two information acquisition devices 10 and two image output devices 20. More specifically, the information processing system 1 includes an information acquisition device 10a and an image output device 20a used by the first user. Further, the information acquisition device 10b and the image output device 20b used by the second user are included.
  • Each information acquisition device 10 is an information processing device such as a personal computer or a home game machine, and is connected to a distance image sensor 11 and a part recognition sensor 12.
  • the distance image sensor 11 observes the state of the real space including the user of the information acquisition device 10 and acquires information necessary for generating a distance image (depth map).
  • the distance image sensor 11 may be a stereo camera constituted by a plurality of cameras arranged side by side.
  • the information acquisition apparatus 10 acquires images captured by the plurality of cameras, and generates a distance image based on the captured images. Specifically, the information acquisition apparatus 10 can calculate the distance from the shooting position (observation point) of the distance image sensor 11 to the subject shown in the shot image by using the parallax of a plurality of cameras.
  • the distance image sensor 11 is not limited to a stereo camera, and may be a sensor that can measure the distance to the subject by other methods such as the TOF method.
  • the distance image is an image including information indicating the distance to the subject in the unit area for each of the unit areas included in the visual field range.
  • the distance image sensor 11 is installed toward a person (user). Therefore, the information acquisition apparatus 10 can calculate the position coordinates in the real space for each of a plurality of unit parts shown in the distance image in the user's body using the detection result of the distance image sensor 11.
  • the unit part refers to a part of the user's body included in each space area obtained by dividing the real space into a grid having a predetermined size.
  • the information acquisition device 10 specifies the position in the real space of the unit part constituting the user's body based on the information on the distance to the subject included in the distance image. Further, the color of the unit portion is specified from the pixel value of the captured image corresponding to the distance image. Thereby, the information acquisition apparatus 10 can obtain data indicating the position and color of the unit portion constituting the user's body.
  • the data specifying the unit part constituting the user's body is referred to as unit part data.
  • the user can be reproduced in the virtual space with the same posture and appearance as the real space. Note that the smaller the size of the unit portion, the higher the resolution when reproducing the user in the virtual space, and the closer to the real person.
  • the part recognition sensor 12 observes the user in the same manner as the distance image sensor 11 and acquires information necessary for specifying the position of the body part of the user.
  • the part recognition sensor 12 may be a camera or the like used for a known bone tracking technique.
  • the site recognition sensor 12 may include a member worn by the user on the body, a sensor for tracking the position of the display device 24 described later, and the like.
  • the information acquisition device 10 acquires data on the position of each part constituting the user's body.
  • the data regarding the position of the part constituting the user's body is referred to as body part data.
  • the body part data may be data that specifies the position and orientation of each bone when the posture of the user is expressed by a skeleton model (bone model).
  • the body part data may be data that specifies the position and orientation of only a part of the user's body, such as the user's head or hand.
  • the information acquisition device 10 calculates unit partial data and body part data based on detection results of the distance image sensor 11 and the part recognition sensor 12 at predetermined time intervals, and transmits these data to the server device 30. It should be noted that the coordinate systems used for specifying the position of the unit part or body part in these data need to match each other. Therefore, it is assumed that the information acquisition device 10 acquires in advance information indicating the positions of the observation points of the distance image sensor 11 and the part recognition sensor 12 in real space. By performing coordinate conversion using the position information of such observation points, the information acquisition device 10 can express unit position data that represents the positions of the user's unit part and body part using coordinate systems that match each other, And body part data can be calculated.
  • one distance image sensor 11 and one part recognition sensor 12 are connected to one information acquisition device 10.
  • the present invention is not limited to this, and a plurality of sensors may be connected to the information acquisition device 10.
  • a plurality of sensors may be connected to the information acquisition device 10.
  • the information acquisition device 10 can obtain a wider range of the user's body surface.
  • Unit partial data can be acquired.
  • more accurate body part data can be acquired by combining the detection results of the plurality of part recognition sensors 12.
  • the distance image sensor 11 and the part recognition sensor 12 may be realized by one device. In this case, the information acquisition apparatus 10 generates unit part data and body part data by analyzing the detection result of the one device.
  • Each image output device 20 is an information processing device such as a personal computer or a home game machine, and includes a control unit 21, a storage unit 22, and an interface unit 23 as shown in FIG. Has been.
  • the image output device 20 is connected to the display device 24.
  • the control unit 21 includes at least one processor, and executes various kinds of information processing by executing programs stored in the storage unit 22. A specific example of processing executed by the control unit 21 in the present embodiment will be described later.
  • the storage unit 22 includes at least one memory device such as a RAM, and stores a program executed by the control unit 21 and data processed by the program.
  • the interface unit 23 is an interface for the image output device 20 to supply a video signal to the display device 24.
  • the display device 24 displays video according to the video signal supplied from the image output device 20.
  • the display device 24 is a head-mounted display device such as a head-mounted display that a user wears on the head. It is assumed that the display device 24 allows the user to browse different left-eye images and right-eye images in front of the left and right eyes of the user. Thereby, the display device 24 can display a stereoscopic image using parallax.
  • the server device 30 arranges a unit volume element representing a user, other objects, and the like in the virtual space based on the data received from each of the plurality of information acquisition devices 10. Further, the behavior of the object arranged in the virtual space is calculated by a calculation process such as a physical calculation. Then, information such as the position and shape of the object arranged in the virtual space obtained as a result is transmitted to each of the plurality of image output devices 20.
  • the server device 30 arranges the unit volume elements corresponding to each of the plurality of unit parts included in the unit part data in the virtual space.
  • the unit volume element is a kind of object arranged in the virtual space, and has the same size.
  • the shape of the unit volume element may be a predetermined shape such as a cube.
  • the color of each unit volume element is determined according to the color of the unit portion. Below, this unit volume element is described as a voxel.
  • the arrangement position of each voxel is determined according to the position of the corresponding unit part in the real space and the reference position of the user.
  • the reference position of the user is a position serving as a reference for arranging the user, and may be a position in a predetermined virtual space.
  • the voxels arranged in this way the posture and appearance of the first user existing in the real space are reproduced as they are in the virtual space.
  • data specifying a voxel group that reproduces the first user in the virtual space is referred to as first voxel data.
  • the first voxel data is data indicating the position and color in the virtual space for each voxel.
  • an object representing a first user configured by a set of voxels included in the first voxel data is referred to as a first user object U1.
  • the server device 30 may refer to the body part data when determining the arrangement position of each voxel in the virtual space.
  • the position of the user's foot assumed to be in contact with the floor can be specified.
  • the height of the voxel arrangement position in the virtual space from the ground can be made to coincide with the height of the corresponding unit portion from the floor in the real space.
  • the reference position of the user is set on the ground in the virtual space.
  • the server device 30 uses the unit part data received from the information acquisition device 10b, based on the unit part data, the virtual voxel corresponding to each of the plurality of unit parts included in the unit part data. The arrangement position in the space is determined. By these voxels, the posture and appearance of the second user are reproduced in the virtual space.
  • the data specifying the voxel group that reproduces the second user in the virtual space is referred to as second voxel data.
  • an object representing a second user constituted by a set of voxels included in the second voxel data is referred to as a second user object U2.
  • the server device 30 places an object to be operated by the user in the virtual space, and calculates its behavior. As a specific example, it is assumed here that a game in which two users hit a ball is performed.
  • the server device 30 determines the reference position in the virtual space of each user so that the two users face each other, and based on this reference position, the arrangement position of the voxel group constituting each user's body is determined as described above. decide.
  • the server apparatus 30 arrange
  • the server device 30 calculates the behavior of the ball in the virtual space by physical calculation. Further, using the body part data received from each information acquisition device 10, a hit determination between each user's body and the ball is performed. Specifically, the server device 30 determines that the ball has hit the user when the position in the virtual space where the user's body exists and the position of the ball object B overlap, and the behavior when the ball is reflected by the user Is calculated. The movement of the ball in the virtual space calculated in this way is displayed on the display device 24 by each image output device 20 as described later. Each user can hit the flying ball with his / her hand by moving his / her body while viewing the display content.
  • FIG. 3 shows the state of the ball object B arranged in the virtual space and the user object representing each user in this example. In the example of this figure, distance images are taken not only on the front side but also on the back side of each user, and voxels representing the back side of each user are arranged accordingly.
  • the server device 30 transmits voxel data of each user determined by the processing described above and object data indicating the position and shape of other objects to each image output device 20 every predetermined time.
  • the server device 30 may reduce the number of voxels included in the voxel data of each user or reduce the frequency of voxel data transmission in order to reduce the amount of communication with the image output device 20.
  • the server device 30 thins out some voxels so that the number of voxels constituting a body part with low importance is reduced per unit volume.
  • the server apparatus 30 lowers the transmission interval for voxels constituting a less important body part than voxels constituting other parts.
  • the less important body part may be determined according to the processing content.
  • the head may be a highly important part, and the other parts may be low importance parts.
  • the image output device 20 functionally includes an object data acquisition unit 41, a body part data acquisition unit 42, a virtual space construction unit 43, and a spatial image drawing unit 44. It is configured. These functions are realized when the control unit 21 executes a program stored in the storage unit 22. This program may be provided to the image output apparatus 20 via a communication network such as the Internet, or may be provided by being stored in a computer-readable information storage medium such as an optical disk.
  • the function realized by the image output device 20a used by the first user will be described, but the image output device 20b also realizes the same function although the target user is different. And
  • the object data acquisition unit 41 acquires data indicating the position and shape of each object to be arranged in the virtual space by receiving from the server device 30.
  • the data acquired by the object data acquisition unit 41 includes voxel data of each user and object data of the ball object B. These object data include information such as the shape of each object, the position in the virtual space, and the color of the surface.
  • voxel data may not include information indicating which user each voxel represents. That is, the first voxel data and the second voxel data may be transmitted from the server device 30 to each image output device 20 as voxel data indicating the contents of the voxels arranged in the virtual space in a manner indistinguishable from each other. .
  • the object data acquisition unit 41 may acquire a background image representing the background of the virtual space from the server device 30.
  • the background image in this case may be a panoramic image representing a wide range of scenery by a format such as equirectangular projection.
  • the body part data acquisition unit 42 acquires the body part data of each user transmitted from the server device 30. Specifically, the body part data acquisition unit 42 receives the body part data of the first user and the body part data of the second user from the server device 30.
  • the virtual space construction unit 43 constructs the contents of the virtual space presented to the user. Specifically, the virtual space construction unit 43 constructs a virtual space by arranging each object included in the object data acquired by the object data acquisition unit 41 at a specified position in the virtual space.
  • the objects arranged by the virtual space construction unit 43 include voxels included in each of the first voxel data and the second voxel data.
  • the position of these voxels in the virtual space is determined by the server device 30 based on the position of the corresponding unit part of the user's body in the real space. Therefore, the actual posture and appearance of each user are reproduced by a set of voxels arranged in the virtual space.
  • the virtual space construction unit 43 may arrange an object pasted with a background image as a texture around the user object in the virtual space. As a result, the scenery included in the background image is included in the later-described spatial image.
  • the virtual space construction unit 43 changes the size of the voxel to be arranged according to a given condition. This is because the optimal voxel size changes depending on the appearance of the user object reproduced by the voxel when the spatial image drawing unit 44 described later draws the spatial image. Specifically, the apparent size changes when the other user is close or far in the virtual space. Therefore, if the size of the voxel is constant, the voxel may be too large and the contour of the opponent user's body may appear to be bumpy, or conversely, it may be too small and appear to have a gap.
  • the space image drawing unit 44 draws a space image representing the state of the virtual space constructed by the virtual space construction unit 43. Specifically, the space image drawing unit 44 sets a viewpoint at a position in the virtual space corresponding to the eye position of the user (in this case, the first user) who is an object of image presentation, and moves from the viewpoint to the inside of the virtual space. Draw what you see.
  • the spatial image drawn by the spatial image drawing unit 44 is displayed on the display device 24 worn by the first user. Thereby, the first user can view the state in the virtual space in which the first user object U1 representing his / her body, the second user object U2 representing the body of the second user, and the ball object B are arranged.
  • the processes of the information acquisition device 10, the server device 30, and the image output device 20 described above are repeatedly executed every predetermined time.
  • the predetermined time in this case may be a time corresponding to the frame rate of the video displayed on the display device 24, for example.
  • each user can view the state of the user object updated in real time by reflecting the movement of the user or the other user in the virtual space.
  • the virtual space construction unit 43 When the virtual space construction unit 43 first arranges voxels, it arranges each voxel with a predetermined standard size. Then, the space image drawing unit 44 draws the state of the virtual space where the voxels are arranged. At this time, the virtual space construction unit 43 acquires information related to the arrangement mode of voxels in the rendered spatial image. Then, when the voxel is placed next time, the size of the voxel is changed based on the acquired information.
  • the object data acquisition unit 41 acquires object data from the server device 30 (step S1). Furthermore, the body part data acquisition unit 42 acquires body part data from the server device 30 (step S2).
  • the virtual space construction unit 43 arranges various objects in the virtual space based on the object data received in step S1 (step S3).
  • the objects arranged at this time include voxels representing the first user and the second user.
  • each voxel has a predetermined standard size. Note that when the transmission frequency of some voxels is lowered as described above, the virtual space construction unit 43 may arrange voxels using previously received voxel information. Even when all voxel data is received from the server device 30, the virtual space construction unit 43 thins out voxels for a less important body part, and only a part of the voxels is obtained. It may be a placement target in the virtual space.
  • the space image drawing unit 44 draws a space image representing the state in the virtual space where various objects are arranged in step S3 and displays the space image on the display device 24 (step S4).
  • the virtual space construction unit 43 defines an area occupied by the user object in the space image (hereinafter referred to as an occupied area A) (step S5).
  • the virtual space construction unit 43 may define an area occupied by the user object in the spatial image based on the position and size of the user determined by the body part data acquired in step S2.
  • an area including the voxels may be defined as the occupied area A based on the position of each actually arranged voxel in the spatial image.
  • FIG. 6 shows a specific example of the occupied area A in the spatial image.
  • the virtual space construction unit 43 acquires information related to the arrangement mode of the voxels included in the occupied area A defined in step S5 (step S6). Specifically, for example, the virtual space construction unit 43 calculates the density of voxels in the occupied area A (that is, the number of voxels per unit area). And the virtual space construction part 43 changes the magnitude
  • step S3 when step S3 is executed, voxels are arranged with the size changed in the previous step S7.
  • the virtual space construction unit 43 does not change the voxel size at a large change amount at a time according to the current voxel density, but in steps. It may be changed little by little. As a result, the appearance of the user object can be prevented from changing abruptly.
  • the virtual space construction unit 43 may specify not the voxel density but the presence / absence and / or the size of the gap area in which the voxel is not arranged in the occupied area A in step S6. If the voxel is too small with respect to the size of the occupied area A, a gap may be generated in the occupied area A, and the other side of the user object that should not be seen can be seen. In order to prevent such a gap from being generated, the virtual space construction unit 43 increases the size of the voxel in step S7 when it is determined in step S6 that a gap area exists. Further, the size of the voxel may be increased according to the size of the existing gap region. Thus, the next time a spatial image is drawn, a voxel gap is less likely to occur in the occupied area A.
  • the virtual space construction unit 43 may use a Z buffer that stores depth information when drawing a spatial image in order to specify the arrangement mode of voxels in the occupied area A. By specifying the drawing position of the voxel when storing the depth information in the Z buffer, it is possible to easily specify the gap area in the occupied area A where the voxel is not drawn.
  • the virtual space construction unit 43 may define an occupied area A occupied by the user object in the space image for each user in which the voxel is arranged in the virtual space.
  • the virtual space construction unit 43 of the image output device 20a the distance from the viewpoint position differs greatly between the user object U1 representing the first user who views the space image and the user object U2 representing the second user, Therefore, how it looks is also different. Therefore, the virtual space construction unit 43 demarcates the occupied area A for each user, and acquires information regarding the arrangement mode of the voxels included therein for each defined occupied area A. Then, for each user, the size of the voxel in the next placement is changed. By doing this, it is possible to adjust the voxels that represent the body of the user that appears nearby and the voxels that represent the body of the other user who is viewed at a relatively distant position, to appropriate sizes.
  • the virtual space construction unit 43 may change the size of the voxel representing the part for each part constituting the body of each user.
  • the virtual space constructing unit 43 refers to the body part data and demarcates the occupied area A that the part occupies in the space image for each body part such as the head, the torso, and the limbs. Then, for each occupied area A of each part, the size of the voxel is changed in accordance with the arrangement mode of the voxels included therein. Thereby, a voxel can be made into the suitable magnitude
  • the voxel size is appropriately adjusted by changing the voxel size according to the arrangement mode of the voxel in the spatial image. Can do.
  • the embodiments of the present invention are not limited to those described above.
  • two users are reproduced in the virtual space as voxels as a specific example, but one or three or more users may be targeted.
  • voxels representing a plurality of users are arranged in the virtual space at the same time, if the information acquisition device 10 and the image output device 20 used by each user are connected to the server device 30 via a network. Each user may be physically located away from each other. Further, not only a person but also various objects existing in the real space may be set as reproduction targets by voxels.
  • voxel data is generated in real time based on information obtained by observing the real space with the distance image sensor 11.
  • the present invention is not limited to this, and the voxel data may be prepared in advance based on the shape and color of the object to be reproduced.
  • a user other than a user who is a target to be reproduced in the virtual space may be able to view the state of the virtual space.
  • the server device 30 draws a spatial image showing a state in which the virtual space is viewed from a predetermined viewpoint, separately from the data to be transmitted to each image output device 20, and distributes it as a streaming video. By browsing this video, other users who are not reproduced in the virtual space can also browse the state in the virtual space.
  • various objects such as a user object that reproduces the user and an object that constitutes a background may be arranged in addition to an object to be operated by the user object.
  • a photographed image obtained by photographing the state of the real space may be pasted on an object (such as a screen) in the virtual space. In this way, each user who is browsing the state in the virtual space using the display device 24 can simultaneously view the state of the real world.
  • the server device 30 may construct a virtual space based on each user's body part data and unit part data, and generate a spatial image in which the internal state is drawn.
  • the server device 30 individually controls the arrangement of the voxels for each user to whom the spatial image is to be distributed, and draws the spatial image individually. That is, for the first user, a virtual space in which no voxels are arranged in the head area of the first user is constructed, and a spatial image representing the inside is drawn. Further, when generating a spatial image for the second user, a virtual space is constructed in which no voxels are arranged in the head area of the second user. Then, each spatial image is distributed to the corresponding image output device 20.
  • the information acquisition device 10 and the image output device 20 are devices independent from each other, but one information processing device realizes the functions of both the information acquisition device 10 and the image output device 20. It is good.
  • 1 information processing system 10 information acquisition device, 11 distance image sensor, 12 part recognition sensor, 20 image output device, 21 display device, 22 control unit, 22 storage unit, 23 interface unit, 30 server device, 41 object data acquisition unit , 42 body part data acquisition unit, 43 virtual space construction unit, 44 space image drawing unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

物体を構成する複数の単位部分のそれぞれについて、当該単位部分に対応する単位体積要素を配置すべき仮想空間内の位置を示す体積要素データを取得し、当該体積要素データに基づいて、仮想空間に複数の単位体積要素を配置し、単位体積要素が配置された仮想空間の様子を示す空間画像を描画する情報処理装置であって、空間画像内における単位体積要素の配置態様に基づいて、単位体積要素の大きさを変化させる情報処理装置である。

Description

情報処理装置
　本発明は、単位体積要素が配置された仮想空間の様子を描画する情報処理装置、情報処理方法、及びプログラムに関する。
　近年、拡張現実や仮想現実といった技術が研究されている。このような技術の一例として、カメラで撮影した画像などの現実空間から得られる情報に基づいて仮想空間を構築して、ユーザーにその仮想空間内にいるかのような体験をさせるものがある。このような技術によれば、ユーザーは仮想空間内で現実世界では体験できないような体験をすることができる。
　上記例などにおいては、ボクセルやポイントクラウドなどと呼ばれる単位体積要素を仮想空間に積み重ねることによって、各種の物体を表現することがある。単位体積要素を用いることで、物体の全体的な色や形状などの情報を準備せずとも、様々な物体を仮想空間内に再現することができる。
　上述した技術では、単位体積要素の大きさを小さくすればするほど、目的の物体を細部まで正確に再現することができる。しかしながら、単位体積要素の大きさを小さくすると、同じ体積の物体を再現するために必要な単位体積要素の数が増えるので、処理対象となるデータ量や演算負荷の増大を招くことになる。また、最適な単位体積要素の大きさ、及び数は、再現対象となる物体の見え方などによって異なるため、単位体積要素の大きさによっては、再現対象の物体に隙間が生じてしまったり、輪郭がでこぼこして見えたりすることがある。
　本発明は上記実情を考慮してなされたものであって、その目的の一つは、単位体積要素の大きさを再現対象となる物体の見え方に応じて適した大きさにすることのできる情報処理装置、情報処理方法、及びプログラムを提供することにある。
　本発明に係る情報処理装置は、物体を構成する複数の単位部分のそれぞれについて、当該単位部分に対応する単位体積要素を配置すべき仮想空間内の位置を示す体積要素データを取得する体積要素データ取得部と、前記体積要素データに基づいて、仮想空間に複数の前記単位体積要素を配置する体積要素配置部と、前記単位体積要素が配置された仮想空間の様子を示す空間画像を描画する空間画像描画部と、を含み、前記体積要素配置部は、前記空間画像内における前記単位体積要素の配置態様に基づいて、前記単位体積要素の大きさを変化させることを特徴とする。
　本発明に係る情報処理方法は、物体を構成する複数の単位部分のそれぞれについて、当該単位部分に対応する単位体積要素を配置すべき仮想空間内の位置を示す体積要素データを取得する体積要素データ取得ステップと、前記体積要素データに基づいて、仮想空間に複数の前記単位体積要素を配置する体積要素配置ステップと、前記単位体積要素が配置された仮想空間の様子を示す空間画像を描画する空間画像描画ステップと、を含み、前記体積要素配置ステップでは、前記空間画像内における前記単位体積要素の配置態様に基づいて、前記単位体積要素の大きさを変化させることを特徴とする。
　本発明に係るプログラムは、物体を構成する複数の単位部分のそれぞれについて、当該単位部分に対応する単位体積要素を配置すべき仮想空間内の位置を示す体積要素データを取得する体積要素データ取得部、前記体積要素データに基づいて、仮想空間に複数の前記単位体積要素を配置する体積要素配置部、及び、前記単位体積要素が配置された仮想空間の様子を示す空間画像を描画する空間画像描画部、としてコンピュータを機能させ、前記体積要素配置部は、前記空間画像内における前記単位体積要素の配置態様に基づいて、前記単位体積要素の大きさを変化させるプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
本発明の実施形態に係る情報処理装置を含む情報処理システムの全体概要図である。 情報処理システムを利用するユーザーの様子を示す図である。 仮想空間の様子の一例を示す図である。 本発明の実施の形態に係る情報処理装置の機能を示す機能ブロック図である。 本発明の実施の形態に係る情報処理装置が実行する処理の流れの一例を示すフロー図である。 占有領域の一例を示す図である。
　以下、本発明の実施形態について、図面に基づき詳細に説明する。
　図１は、本発明の一実施形態に係る情報処理装置を含む情報処理システム１の全体概要図である。また、図２は、本情報処理システム１を利用するユーザーの様子の一例を示す図である。情報処理システム１は、複数のユーザーが参加する仮想空間を構築するために用いられる。この情報処理システム１によれば、複数のユーザーが、仮想空間内で一緒にゲームをプレイしたり相互にコミュニケーションを取ったりすることができる。
　情報処理システム１は、図１に示すように、複数の情報取得装置１０と、複数の画像出力装置２０と、サーバ装置３０と、を含んで構成されている。これらの装置のうち、画像出力装置２０が、本発明の実施の形態に係る情報処理装置として機能する。以下では具体例として、情報処理システム１には、情報取得装置１０、及び画像出力装置２０がそれぞれ２台ずつ含まれるものとする。より具体的に、情報処理システム１は、第１ユーザーが使用する情報取得装置１０ａ、及び画像出力装置２０ａを含む。また、第２ユーザーが使用する情報取得装置１０ｂ、及び画像出力装置２０ｂを含む。
　各情報取得装置１０は、パーソナルコンピュータや家庭用ゲーム機などの情報処理装置であって、距離画像センサー１１、及び部位認識センサー１２と接続されている。
　距離画像センサー１１は、情報取得装置１０のユーザーを含む現実空間の様子を観測して、距離画像（デプスマップ）の生成に必要な情報を取得する。例えば距離画像センサー１１は、左右に並んだ複数のカメラによって構成されるステレオカメラであってよい。情報取得装置１０は、これら複数のカメラによる撮影画像を取得して、その撮影画像に基づいて距離画像を生成する。具体的に情報取得装置１０は、複数のカメラの視差を利用することで、距離画像センサー１１の撮影位置（観測点）から撮影画像内に写っている被写体までの距離を算出することができる。なお、距離画像センサー１１は、ステレオカメラに限らず、例えばＴＯＦ方式など、その他の方式で被写体までの距離を計測可能なセンサーであってもよい。
　距離画像は、視野範囲内に含まれる単位領域のそれぞれについて、当該単位領域内に写っている被写体までの距離を示す情報を含んだ画像である。図２に示すように、本実施形態では、距離画像センサー１１は人物（ユーザー）に向けて設置されている。そのため情報取得装置１０は、距離画像センサー１１の検出結果を用いて、ユーザーの身体のうち、距離画像に写っている複数の単位部分のそれぞれについて、その実空間内における位置座標を算出できる。
　ここで単位部分とは、実空間を予め定められた大きさの格子状に区切って得られる個々の空間領域に含まれるユーザーの身体の一部分を指す。情報取得装置１０は、距離画像に含まれる被写体までの距離の情報に基づいて、ユーザーの身体を構成する単位部分の実空間内における位置を特定する。また、その単位部分の色を、距離画像に対応する撮影画像の画素値から特定する。これにより情報取得装置１０は、ユーザーの身体を構成する単位部分の位置、及び色を示すデータを得ることができる。以下、このユーザーの身体を構成する単位部分を特定するデータのことを、単位部分データという。後述するように、複数の単位部分のそれぞれに対応する単位体積要素を仮想空間内に配置することで、ユーザーを実空間と同じ姿勢や外観で仮想空間内に再現することができる。なお、単位部分の大きさを小さくすればするほど、ユーザーを仮想空間に再現する際の解像度を向上させ、より現実の人物に近づけることができる。
　部位認識センサー１２は、距離画像センサー１１と同様にユーザーを観測して、そのユーザーの身体部位の位置を特定するために必要な情報を取得する。具体的に、部位認識センサー１２は、公知のボーントラッキング技術に利用されるカメラなどであってよい。また、部位認識センサー１２は、ユーザーが身体に装着している部材や、後述する表示装置２４の位置をトラッキングするセンサーなどを含んでもよい。
　部位認識センサー１２の検出結果を解析することによって、情報取得装置１０は、ユーザーの身体を構成する各部位の位置に関するデータを取得する。以下、このユーザーの身体を構成する部位の位置に関するデータのことを、身体部位データという。例えば身体部位データは、ユーザーの姿勢を骨格モデル（ボーンモデル）によって表現する際の、各ボーンの位置、及び向きを特定するデータであってよい。また、身体部位データは、ユーザーの頭部、手など、ユーザーの身体の一部分のみの位置や向きを特定するデータであってもよい。
　情報取得装置１０は、所定時間おきに、距離画像センサー１１、及び部位認識センサー１２の検出結果に基づいて単位部分データ、及び身体部位データを算出し、これらのデータをサーバ装置３０に送信する。なお、これらのデータ内で単位部分や身体部位の位置を特定するために用いられる座標系は、互いに一致している必要がある。そのため、情報取得装置１０は、距離画像センサー１１、及び部位認識センサー１２それぞれの観測点の実空間内における位置を示す情報を、予め取得しているものとする。このような観測点の位置情報を用いて座標変換を行うことにより、情報取得装置１０は、ユーザーの単位部分及び身体部位それぞれの位置を、互いに一致する座標系を用いて表現する単位部分データ、及び身体部位データを算出できる。
　なお、以上の説明では、一つの情報取得装置１０に対して、一つの距離画像センサー１１と一つの部位認識センサー１２が接続されているものとしている。しかしながらこれに限らず、情報取得装置１０には、それぞれのセンサーが複数個接続されることとしてもよい。例えば２個以上の距離画像センサー１１がユーザーを囲むように配置されていれば、それらのセンサーから得られる情報を統合することで、情報取得装置１０は、ユーザーの身体表面のより広い範囲について、単位部分データを取得することができる。また、複数の部位認識センサー１２の検出結果を組み合わせることで、より精度のよい身体部位データを取得することができる。また、距離画像センサー１１と部位認識センサー１２とは、一つのデバイスによって実現されてもよい。この場合情報取得装置１０は、この一つのデバイスによる検出結果を解析することによって、単位部分データ、及び身体部位データのそれぞれを生成する。
　各画像出力装置２０は、パーソナルコンピュータや家庭用ゲーム機などの情報処理装置であって、図１に示されるように、制御部２１と、記憶部２２と、インタフェース部２３と、を含んで構成されている。また、画像出力装置２０は、表示装置２４と接続されている。
　制御部２１は少なくとも一つのプロセッサーを含んで構成され、記憶部２２に記憶されているプログラムを実行して各種の情報処理を実行する。本実施形態において制御部２１が実行する処理の具体例については、後述する。記憶部２２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部２１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。インタフェース部２３は、画像出力装置２０が表示装置２４に対して映像信号を供給するためのインタフェースである。
　表示装置２４は、画像出力装置２０から供給される映像信号に応じて映像を表示する。本実施形態において表示装置２４は、ヘッドマウントディスプレイ等、ユーザーが頭部に装着して使用する頭部装着型の表示装置であるものとする。表示装置２４はユーザーの左右それぞれの目の前に、互いに異なる左目用画像、右目用画像を閲覧させるものとする。これにより表示装置２４は、視差を利用した立体映像を表示することができる。
　サーバ装置３０は、複数の情報取得装置１０のそれぞれから受信したデータに基づいて、仮想空間内にユーザーを表す単位体積要素や、その他のオブジェクト等を配置する。また、物理演算等の演算処理により、仮想空間内に配置されたオブジェクトの挙動を計算する。そして、その結果として得られる仮想空間内に配置されるオブジェクトの位置や形状などの情報を、複数の画像出力装置２０のそれぞれに対して送信する。
　より具体的に、サーバ装置３０は、情報取得装置１０ａから受信した単位部分データに基づいて、当該単位部分データに含まれる複数の単位部分のそれぞれに対応する単位体積要素の、仮想空間における配置位置を決定する。ここで単位体積要素は、仮想空間内に配置されるオブジェクトの一種であって、互いに同じ大きさを有している。単位体積要素の形状は、立方体など、予め定められた形状であってよい。また、各単位体積要素の色は、単位部分の色に応じて決定される。以下では、この単位体積要素をボクセルと表記する。
　各ボクセルの配置位置は、対応する単位部分の実空間内における位置と、ユーザーの基準位置と、に応じて決定される。ここでユーザーの基準位置は、ユーザーを配置する基準となる位置であって、予め定められた仮想空間内の位置であってよい。このようにして配置されたボクセルによって、実空間に存在する第１ユーザーの姿勢や外観が、そのまま仮想空間内に再現される。以下では、仮想空間内において第１ユーザーを再現するボクセル群を特定するデータを、第１ボクセルデータという。この第１ボクセルデータは、ボクセルのそれぞれについて、その仮想空間内における位置、及び色を示すデータである。また、以下では、第１ボクセルデータに含まれるボクセルの集合によって構成される第１ユーザーを表すオブジェクトを、第１ユーザーオブジェクトＵ１と表記する。
　なお、サーバ装置３０は、各ボクセルの仮想空間内における配置位置を決定する際に、身体部位データを参照してもよい。身体部位データに含まれるボーンモデルのデータを参照することで、床に接していると想定されるユーザーの足先の位置が特定できる。この位置を前述したユーザーの基準位置に合わせることで、仮想空間におけるボクセルの配置位置の地面からの高さを、実空間における対応する単位部分の床からの高さと一致させることができる。なお、ここではユーザーの基準位置は仮想空間内の地面上に設定されているものとしている。
　第１ユーザーについての処理と同様にして、サーバ装置３０は、情報取得装置１０ｂから受信した単位部分データに基づいて、当該単位部分データに含まれる複数の単位部分のそれぞれに対応するボクセルの、仮想空間における配置位置を決定する。これらのボクセルによって、第２ユーザーの姿勢や外観が仮想空間内に再現される。以下では、仮想空間内において第２ユーザーを再現するボクセル群を特定するデータを、第２ボクセルデータという。また、以下では、第２ボクセルデータに含まれるボクセルの集合によって構成される第２ユーザーを表すオブジェクトを、第２ユーザーオブジェクトＵ２と表記する。
　また、サーバ装置３０は、ユーザーによる操作の対象となるオブジェクトを仮想空間内に配置し、その挙動を演算する。具体例として、ここでは２人のユーザーがボールを打ち合うゲームを行うこととする。サーバ装置３０は、２人のユーザーが対面するように各ユーザーの仮想空間内における基準位置を決定し、この基準位置に基づいて前述したように各ユーザーの身体を構成するボクセル群の配置位置を決定する。また、サーバ装置３０は、２人のユーザーによる操作の対象となるボールオブジェクトＢを仮想空間内に配置する。
　さらにサーバ装置３０は、物理演算によって、仮想空間内におけるボールの挙動を演算する。また、各情報取得装置１０から受信した身体部位データを用いて、各ユーザーの身体とボールとの間の当たり判定を行う。具体的に、サーバ装置３０は、ユーザーの身体が存在する仮想空間内の位置と、ボールオブジェクトＢの位置が重なる場合に、ボールがユーザーに当たったと判定し、ボールがユーザーによって反射した際の挙動を演算する。このようにして算出された仮想空間内におけるボールの動きは、後述するように各画像出力装置２０によって表示装置２４に表示される。各ユーザーは、この表示内容を閲覧しながら自分の身体を動かすことによって、飛んできたボールを手で打ち返したりすることができる。図３は、この例における仮想空間内に配置されたボールオブジェクトＢや各ユーザーを表すユーザーオブジェクトの様子を示している。なお、この図の例では、各ユーザーの前面だけでなく背面側についても距離画像が撮影され、これに応じて各ユーザーの背面を表すボクセルが配置されていることとしている。
　サーバ装置３０は、以上説明した処理によって決定された各ユーザーのボクセルデータやその他のオブジェクトの位置や形状を示すオブジェクトデータを、所定時間おきに各画像出力装置２０に対して送信する。なお、サーバ装置３０は、画像出力装置２０との間の通信量を抑えるために、各ユーザーのボクセルデータに含まれるボクセルの数を減らしたり、ボクセルデータの送信頻度を減らしたりしてもよい。具体的に、例えばサーバ装置３０は、重要度の低い身体部位を構成するボクセルについて、単位体積あたりの数が少なくなるように一部のボクセルを間引くこととする。あるいは、サーバ装置３０は、重要度の低い身体部位を構成するボクセルについて、送信間隔をその他の部位を構成するボクセルよりも下げることとする。ここで、重要度の低い身体部位は、処理内容に応じて決定されてよい。例えば各ユーザーが身体を動かして仮想空間内でスポーツなどを行う場合、手や足など動きの大きな部位が重要となり、顔や胴体は相対的に重要度が低くなる。一方、ユーザー同士がコミュニケーションを行うアプリケーションなどでは、頭部を重要度の高い部位とし、それ以外の部位を重要度の低い部位としてもよい。
　以下、本実施形態において各画像出力装置２０が実現する機能について、図４に基づいて説明する。図４に示されるように、画像出力装置２０は、機能的に、オブジェクトデータ取得部４１と、身体部位データ取得部４２と、仮想空間構築部４３と、空間画像描画部４４と、を含んで構成されている。これらの機能は、制御部２１が記憶部２２に格納されているプログラムを実行することにより、実現される。このプログラムは、インターネット等の通信ネットワークを介して画像出力装置２０に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。なお、以下では具体例として、第１ユーザーが使用する画像出力装置２０ａが実現する機能について説明するが、画像出力装置２０ｂについても、対象とするユーザーが相違するものの、同様の機能を実現することとする。
　オブジェクトデータ取得部４１は、仮想空間内に配置されるべき各オブジェクトの位置や形状を示すデータを、サーバ装置３０から受信することによって取得する。オブジェクトデータ取得部４１が取得するデータには、各ユーザーのボクセルデータ、及びボールオブジェクトＢのオブジェクトデータが含まれる。これらのオブジェクトデータは、各オブジェクトの形状、仮想空間内における位置、表面の色などの情報を含んでいる。なお、ボクセルデータに関しては、それぞれのボクセルがどのユーザーを表現するものかを示す情報を含んでおらずともよい。つまり、第１ボクセルデータと第２ボクセルデータは、互いに区別できない態様で、まとめて仮想空間内に配置されるボクセルの内容を示すボクセルデータとしてサーバ装置３０から各画像出力装置２０に送信されてよい。
　また、オブジェクトデータ取得部４１は、仮想空間の背景を表す背景画像をサーバ装置３０から取得してもよい。この場合の背景画像は、例えば正距円筒図法などのフォーマットによって広範囲の景色を表すパノラマ画像であってよい。
　身体部位データ取得部４２は、サーバ装置３０から送信される各ユーザーの身体部位データを取得する。具体的に、身体部位データ取得部４２は、第１ユーザーの身体部位データ、及び第２ユーザーの身体部位データのそれぞれをサーバ装置３０から受信する。
　仮想空間構築部４３は、ユーザーに提示する仮想空間の内容を構築する。具体的に仮想空間構築部４３は、オブジェクトデータ取得部４１が取得したオブジェクトデータに含まれる各オブジェクトを仮想空間内の指定された位置に配置することによって、仮想空間を構築する。
　ここで、仮想空間構築部４３が配置するオブジェクトの中には、第１ボクセルデータ、及び第２ボクセルデータのそれぞれに含まれるボクセルが含まれる。前述の通り、これらのボクセルの仮想空間内における位置は、対応するユーザーの身体の単位部分の実空間内における位置に基づいて、サーバ装置３０によって決定されている。そのため、仮想空間内に配置されたボクセルの集合によって、各ユーザーの現実の姿勢や外観が再現される。また、仮想空間構築部４３は、仮想空間におけるユーザーオブジェクトの周囲に背景画像をテクスチャーとして貼り付けたオブジェクトを配置してもよい。これにより、背景画像に含まれる景色が後述の空間画像内に含まれるようになる。
　さらに仮想空間構築部４３は、配置するボクセルの大きさを、所与の条件に応じて変化させることとする。これは、後述する空間画像描画部４４が空間画像を描画する際に、ボクセルによって再現されるユーザーオブジェクトの見え方によって、最適なボクセルの大きさが変わるためである。具体的に、相手ユーザーが仮想空間内において近くにいるときと遠くにいるときでは、その見かけの大きさが変化する。そのため、ボクセルの大きさが一定だと、ボクセルが大きすぎて相手ユーザーの身体の輪郭がでこぼこして見えたり、逆に小さすぎて隙間があるように見えたりすることがあり得る。また、前述したように相手ユーザーの身体の特定の部位を構成するボクセルの数が間引かれている場合にも、そのままでは、ボクセルの密度が低くなり、ユーザーの身体に隙間があるように見えてしまうことがある。ボクセルの大きさを適切に調整することで、このような不自然な見え方を避けることができる。ボクセルの大きさを変化させる処理の具体例については、後述する。
　空間画像描画部４４は、仮想空間構築部４３によって構築された仮想空間の様子を表す空間画像を描画する。具体的に、空間画像描画部４４は、画像提示の対象となるユーザー（ここでは第１ユーザー）の目の位置に対応する仮想空間内の位置に視点を設定し、その視点から仮想空間内を見た様子を描画する。空間画像描画部４４によって描画された空間画像は、第１ユーザーが装着する表示装置２４に表示される。これにより第１ユーザーは、自分自身の身体を表す第１ユーザーオブジェクトＵ１、第２ユーザーの身体を表す第２ユーザーオブジェクトＵ２、及びボールオブジェクトＢが配置された仮想空間内の様子を閲覧できる。
　以上説明した情報取得装置１０、サーバ装置３０、及び画像出力装置２０それぞれの処理は、所定時間おきに繰り返し実行される。この場合の所定時間は、例えば表示装置２４が表示する映像のフレームレートに対応する時間であってよい。これにより、各ユーザーは、仮想空間内において自分や相手ユーザーの動きをリアルタイムで反映して更新されるユーザーオブジェクトの様子を閲覧することができる。
　以下、仮想空間構築部４３が配置するボクセルの大きさを変化させる処理の具体例について、説明する。仮想空間構築部４３は、最初にボクセルを配置する際には、予め定められた標準の大きさで各ボクセルを配置する。そして、空間画像描画部４４が、ボクセルが配置された仮想空間の様子を描画する。このとき仮想空間構築部４３は、描画される空間画像内におけるボクセルの配置態様に関する情報を取得する。そして、次にボクセルを配置する際には、取得した情報に基づいてボクセルの大きさを変化させる。
　この処理の流れについて、図５のフロー図を用いて説明する。まずオブジェクトデータ取得部４１が、サーバ装置３０からオブジェクトデータを取得する（ステップＳ１）。さらに、身体部位データ取得部４２が、サーバ装置３０から身体部位データを取得する（ステップＳ２）。
　その後、仮想空間構築部４３は、ステップＳ１で受信したオブジェクトデータに基づいて、仮想空間内に各種のオブジェクトを配置する（ステップＳ３）。このとき配置されるオブジェクトには、第１ユーザー及び第２ユーザーのそれぞれを表すボクセルが含まれる。ここでは、各ボクセルは予め定められた標準の大きさとする。なお、前述したように一部のボクセルの送信頻度が下げられている場合、仮想空間構築部４３は、以前に受信されたボクセルの情報を用いてボクセルを配置してもよい。また、サーバ装置３０から全てのボクセルのデータを受信している場合であっても、仮想空間構築部４３は、重要度の低い身体部位については、ボクセルを間引くこととし、一部のボクセルのみを仮想空間への配置対象としてもよい。
　その後、空間画像描画部４４は、ステップＳ３で各種のオブジェクトが配置された仮想空間内の様子を表す空間画像を描画し、表示装置２４に表示させる（ステップＳ４）。
　そして、仮想空間構築部４３が、空間画像内においてユーザーオブジェクトが占める領域（以下、占有領域Ａという）を画定する（ステップＳ５）。具体的に、仮想空間構築部４３は、ステップＳ２で取得した身体部位データによって定められるユーザーの位置、及び大きさに基づいて、空間画像内でユーザーオブジェクトが占める領域を画定してもよい。あるいは、実際に配置されている各ボクセルの空間画像内における位置に基づいて、それらのボクセルを包含する領域を占有領域Ａとして画定してもよい。図６は、空間画像内における占有領域Ａの具体例を示している。
　さらに仮想空間構築部４３は、ステップＳ５で画定された占有領域Ａ内に含まれるボクセルの配置態様に関する情報を取得する（ステップＳ６）。具体的に、例えば仮想空間構築部４３は、占有領域Ａ内におけるボクセルの密度（すなわち、単位面積あたりのボクセルの数）を算出する。そして、仮想空間構築部４３は、取得した情報に基づいて、ボクセルの大きさを変更する（ステップＳ７）。具体的に、占有領域Ａ内のボクセルの密度が大きい場合には、ボクセルの大きさを小さくする。逆に密度が小さい場合には、ボクセルの大きさを大きくする。これにより、空間画像内におけるユーザーオブジェクトの大きさに合わせて、ボクセルの大きさを適切に調整することができる。
　その後、ステップＳ１に戻って、次の空間画像の描画が行われる。次にステップＳ３が実行される際には、前回のステップＳ７で変更された大きさでボクセルが配置される。
　なお、仮想空間構築部４３は、ステップＳ７でボクセルの大きさを変更する際には、現在のボクセル密度に合わせてボクセルの大きさを大きな変化量で一度に変更するのではなく、段階的に少しずつ変更することとしてもよい。これにより、ユーザーオブジェクトの見た目が急激に変化しないようにすることができる。
　また、仮想空間構築部４３は、ステップＳ６においてボクセル密度ではなく、占有領域Ａ内においてボクセルが配置されていない隙間領域の有無、及び／又はその大きさを特定してもよい。占有領域Ａの大きさに対してボクセルが小さすぎる場合、占有領域Ａ内に隙間が生じて、本来見えないはずのユーザーオブジェクトの向こう側が見えてしまう可能性がある。このような隙間が生じないように、仮想空間構築部４３は、ステップＳ６で隙間領域が存在すると判定された場合には、ステップＳ７でボクセルの大きさを大きくする。また、存在する隙間領域の大きさに応じて、ボクセルの大きさを大きくしてもよい。これにより、次に空間画像が描画される際には、占有領域Ａ内にボクセルの隙間が生じにくくなる。
　仮想空間構築部４３は、占有領域Ａ内のボクセルの配置態様を特定するために、空間画像の描画時に深度情報を格納するＺバッファを利用してもよい。Ｚバッファへの深度情報格納時にボクセルの描画箇所を特定することで、占有領域Ａ内でボクセルが描画されない隙間領域を容易に特定することができる。
　なお、仮想空間構築部４３は、ステップＳ５において、仮想空間内にボクセルが配置されるユーザー毎に、空間画像内でそのユーザーオブジェクトが占める占有領域Ａを画定してもよい。例えば画像出力装置２０ａの仮想空間構築部４３においては、空間画像を閲覧する第１ユーザー本人を表すユーザーオブジェクトＵ１と、第２ユーザーを表すユーザーオブジェクトＵ２とでは、視点位置からの距離が大きく異なり、そのため見え方も異なっている。そこで仮想空間構築部４３は、それぞれのユーザー毎に占有領域Ａを画定し、画定された占有領域Ａごとに、その内部に含まれるボクセルの配置態様に関する情報を取得する。そして、ユーザー毎に、次に配置する際のボクセルの大きさを変更する。こうすれば、近くに見える自分自身の身体を表すボクセルと、相対的に離れた位置に見える相手ユーザーの身体を表すボクセルを、それぞれ適した大きさに調整することができる。
　さらに仮想空間構築部４３は、各ユーザーの身体を構成する部位毎に、その部位を表すボクセルの大きさを変化させてもよい。この場合、仮想空間構築部４３は、身体部位データを参照して、頭部、胴体、手足などの身体部位ごとにその部位が空間画像内で占める占有領域Ａを画定する。そして、各部位の占有領域Ａごとに、その内部に含まれるボクセルの配置態様に応じて、ボクセルの大きさを変化させる。これにより、頭部や胴体などの部位毎にボクセルを適した大きさにすることができる。
　以上説明したように、本実施形態に係る画像出力装置２０によれば、空間画像内におけるボクセルの配置態様に応じてボクセルの大きさを変更することで、ボクセルの大きさを適切に調整することができる。
　なお、本発明の実施の形態は、以上説明したものに限られない。例えば以上の説明では具体例として２人のユーザーをボクセルで仮想空間内に再現することとしたが、１人、又は３人以上のユーザーを対象としてもよい。また、複数のユーザーを表すボクセルを同時期に仮想空間内に配置する場合、それぞれのユーザーが使用する情報取得装置１０、及び画像出力装置２０がネットワークを介してサーバ装置３０と接続されていれば、各ユーザーは互いに物理的に離れた位置に存在してもよい。また、人物に限らず、実空間内に存在する各種の物体を、ボクセルによる再現対象としてもよい。さらに、以上の説明では実空間を距離画像センサー１１で観測して得られる情報に基づいて、リアルタイムにボクセルデータを生成することとした。しかしながらこれに限らず、ボクセルデータは再現対象となる物体の形状や色に基づいて予め用意されてもよい。
　また、仮想空間内に再現する対象となるユーザー以外のユーザーが、仮想空間の様子を視聴できるようにしてもよい。この場合、サーバ装置３０は、各画像出力装置２０に送信するデータとは別に、仮想空間内を所定の視点から見た様子を示す空間画像を描画し、ストリーミング映像として配信する。この映像を閲覧することで、仮想空間内に再現されない他のユーザーも、仮想空間内の様子を閲覧できる。
　また、仮想空間内には、ユーザーを再現するユーザーオブジェクトや、ユーザーオブジェクトによる操作の対象となるオブジェクト以外にも、背景を構成するオブジェクトなど、各種のオブジェクトが配置されてよい。また、実空間の様子を撮影して得られる撮影画像を、仮想空間内のオブジェクト（スクリーン等）に貼り付けてもよい。こうすれば、表示装置２４を用いて仮想空間内の様子を閲覧中の各ユーザーは、同時に現実世界の様子を閲覧することができる。
　また、以上の説明において画像出力装置２０が実行することとした処理の少なくとも一部は、サーバ装置３０など他の装置によって実現されてもよい。具体例として、サーバ装置３０が各ユーザーの身体部位データ、及び単位部分データに基づいて仮想空間を構築し、その内部の様子を描画する空間画像を生成してもよい。この場合サーバ装置３０は、空間画像を配信する対象となるユーザー毎に、個別にボクセルの配置を制御し、個別に空間画像を描画することとする。すなわち、第１ユーザー向けには、第１ユーザーの頭部領域にボクセルを配置しない仮想空間を構築し、その内部の様子を表す空間画像を描画する。また、第２ユーザー向けの空間画像を生成する際には、第２ユーザーの頭部領域にボクセルを配置しない仮想空間を構築する。そして、それぞれの空間画像を、対応する画像出力装置２０に対して配信する。
　また、以上の説明では情報取得装置１０と画像出力装置２０とは互いに独立した装置であることとしたが、一つの情報処理装置が情報取得装置１０と画像出力装置２０双方の機能を実現することとしてもよい。
　１　情報処理システム、１０　情報取得装置、１１　距離画像センサー、１２　部位認識センサー、２０　画像出力装置、２１　表示装置、２２　制御部、２２　記憶部、２３　インタフェース部、３０　サーバ装置、４１　オブジェクトデータ取得部、４２　身体部位データ取得部、４３　仮想空間構築部、４４　空間画像描画部。

Claims (7)

  1. 　物体を構成する複数の単位部分のそれぞれについて、当該単位部分に対応する単位体積要素を配置すべき仮想空間内の位置を示す体積要素データを取得する体積要素データ取得部と、
    　前記体積要素データに基づいて、仮想空間に複数の前記単位体積要素を配置する体積要素配置部と、
    　前記単位体積要素が配置された仮想空間の様子を示す空間画像を描画する空間画像描画部と、
    　を含み、
    　前記体積要素配置部は、前記空間画像内における前記単位体積要素の配置態様に基づいて、前記単位体積要素の大きさを変化させる
    　ことを特徴とする情報処理装置。
  2. 　請求項１に記載の情報処理装置において、
    　前記体積要素配置部は、前記空間画像内において前記物体が占める占有領域を特定し、当該占有領域内における前記単位体積要素の配置態様に基づいて、前記単位体積要素の大きさを変化させる
    　ことを特徴とする情報処理装置。
  3. 　請求項２に記載の情報処理装置において、
    　前記体積要素配置部は、前記占有領域内に配置される前記単位体積要素の密度に応じて、前記単位体積要素の大きさを変化させる
    　ことを特徴とする情報処理装置。
  4. 　請求項２に記載の情報処理装置において、
    　前記体積要素配置部は、前記占有領域内において前記単位体積要素が配置されていない隙間領域があるか否かに応じて、前記単位体積要素の大きさを変化させる
    　ことを特徴とする情報処理装置。
  5. 　請求項２に記載の情報処理装置において、
    　前記物体は人物であって、
    　前記情報処理装置は、前記人物を構成する身体部位の位置を示す身体部位データを取得する身体部位データ取得部をさらに含み、
    　前記体積要素配置部は、前記身体部位データに基づいて、前記空間画像内において前記人物が占める占有領域を特定する
    　ことを特徴とする情報処理装置。
  6. 　物体を構成する複数の単位部分のそれぞれについて、当該単位部分に対応する単位体積要素を配置すべき仮想空間内の位置を示す体積要素データを取得する体積要素データ取得ステップと、
    　前記体積要素データに基づいて、仮想空間に複数の前記単位体積要素を配置する体積要素配置ステップと、
    　前記単位体積要素が配置された仮想空間の様子を示す空間画像を描画する空間画像描画ステップと、
    　を含み、
    　前記体積要素配置ステップでは、前記空間画像内における前記単位体積要素の配置態様に基づいて、前記単位体積要素の大きさを変化させる
    　ことを特徴とする情報処理方法。
  7. 　物体を構成する複数の単位部分のそれぞれについて、当該単位部分に対応する単位体積要素を配置すべき仮想空間内の位置を示す体積要素データを取得する体積要素データ取得部、
    　前記体積要素データに基づいて、仮想空間に複数の前記単位体積要素を配置する体積要素配置部、及び、
    　前記単位体積要素が配置された仮想空間の様子を示す空間画像を描画する空間画像描画部、
    　としてコンピュータを機能させ、
    　前記体積要素配置部は、前記空間画像内における前記単位体積要素の配置態様に基づいて、前記単位体積要素の大きさを変化させる
    　プログラム。
PCT/JP2017/011778 2017-03-23 2017-03-23 情報処理装置 WO2018173207A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP17902112.6A EP3605469A4 (en) 2017-03-23 2017-03-23 INFORMATION PROCESSING DEVICE
CN201780088446.6A CN110431601A (zh) 2017-03-23 2017-03-23 信息处理装置
US16/482,529 US11107276B2 (en) 2017-03-23 2017-03-23 Scaling voxels in a virtual space
JP2019506843A JP6775669B2 (ja) 2017-03-23 2017-03-23 情報処理装置
PCT/JP2017/011778 WO2018173207A1 (ja) 2017-03-23 2017-03-23 情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/011778 WO2018173207A1 (ja) 2017-03-23 2017-03-23 情報処理装置

Publications (1)

Publication Number Publication Date
WO2018173207A1 true WO2018173207A1 (ja) 2018-09-27

Family

ID=63585229

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/011778 WO2018173207A1 (ja) 2017-03-23 2017-03-23 情報処理装置

Country Status (5)

Country Link
US (1) US11107276B2 (ja)
EP (1) EP3605469A4 (ja)
JP (1) JP6775669B2 (ja)
CN (1) CN110431601A (ja)
WO (1) WO2018173207A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021077173A (ja) * 2019-11-11 2021-05-20 株式会社ソニー・インタラクティブエンタテインメント 端末装置、サーバ装置、情報処理システム、及びプログラム
KR20210126318A (ko) * 2020-04-10 2021-10-20 주식회사 엘지유플러스 3차원 입체 콘텐츠 서비스 제공 시스템 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3676653B1 (en) * 2017-09-01 2023-02-15 Magic Leap, Inc. Generating a new frame using rendered content and non-rendered content from a previous perspective

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010165344A (ja) * 2008-12-20 2010-07-29 Univ Of Tokyo ボリュームデータの実時間レンダリング方法及び装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7538764B2 (en) * 2001-01-05 2009-05-26 Interuniversitair Micro-Elektronica Centrum (Imec) System and method to obtain surface structures of multi-dimensional objects, and to represent those surface structures for animation, transmission and display
US6894688B2 (en) * 2002-07-30 2005-05-17 Koei Co., Ltd. Program, recording medium, rendering method and rendering apparatus
US6658080B1 (en) 2002-08-05 2003-12-02 Voxar Limited Displaying image data using automatic presets
JP3984149B2 (ja) 2002-10-31 2007-10-03 株式会社東芝 画像処理システム及び画像処理方法
US8287373B2 (en) 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US8150113B2 (en) * 2008-01-23 2012-04-03 Carestream Health, Inc. Method for lung lesion location identification
US8655033B2 (en) * 2009-10-28 2014-02-18 General Electric Company Iterative reconstruction
US9684928B2 (en) * 2014-01-15 2017-06-20 Holition Limited Foot tracking
US10943395B1 (en) 2014-10-03 2021-03-09 Virtex Apps, Llc Dynamic integration of a virtual environment with a physical environment
US9600929B1 (en) * 2014-12-01 2017-03-21 Ngrain (Canada) Corporation System, computer-readable medium and method for 3D-differencing of 3D voxel models
US9792531B2 (en) * 2015-09-16 2017-10-17 Siemens Healthcare Gmbh Intelligent multi-scale medical image landmark detection
US10088896B2 (en) 2016-03-29 2018-10-02 Dolby Laboratories Licensing Corporation Queasiness management for virtual reality systems
US10109059B1 (en) * 2016-06-29 2018-10-23 Google Llc Methods and systems for background subtraction re-initialization
US10013798B2 (en) * 2016-08-30 2018-07-03 The Boeing Company 3D vehicle localizing using geoarcs
US20190279428A1 (en) 2016-11-14 2019-09-12 Lightcraft Technology Llc Team augmented reality system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010165344A (ja) * 2008-12-20 2010-07-29 Univ Of Tokyo ボリュームデータの実時間レンダリング方法及び装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021077173A (ja) * 2019-11-11 2021-05-20 株式会社ソニー・インタラクティブエンタテインメント 端末装置、サーバ装置、情報処理システム、及びプログラム
JP7458749B2 (ja) 2019-11-11 2024-04-01 株式会社ソニー・インタラクティブエンタテインメント 端末装置、サーバ装置、情報処理システム、及びプログラム
KR20210126318A (ko) * 2020-04-10 2021-10-20 주식회사 엘지유플러스 3차원 입체 콘텐츠 서비스 제공 시스템 및 방법
KR102407729B1 (ko) * 2020-04-10 2022-06-13 주식회사 엘지유플러스 3차원 입체 콘텐츠 서비스 제공 시스템 및 방법
KR20220080060A (ko) * 2020-04-10 2022-06-14 주식회사 엘지유플러스 3차원 입체 콘텐츠 서비스 제공 시스템 및 방법
KR102575567B1 (ko) * 2020-04-10 2023-09-07 주식회사 엘지유플러스 3차원 입체 콘텐츠 서비스 제공 시스템 및 방법

Also Published As

Publication number Publication date
EP3605469A4 (en) 2021-03-03
US11107276B2 (en) 2021-08-31
CN110431601A (zh) 2019-11-08
JP6775669B2 (ja) 2020-10-28
JPWO2018173207A1 (ja) 2019-11-07
EP3605469A1 (en) 2020-02-05
US20200265640A1 (en) 2020-08-20

Similar Documents

Publication Publication Date Title
US11663778B2 (en) Method and system for generating an image of a subject from a viewpoint of a virtual camera for a head-mountable display
US11443478B2 (en) Generation apparatus, system and method for generating virtual viewpoint image
KR20210154814A (ko) 패스 쓰루 이미징을 갖는 헤드 마운트 디스플레이
JP7119425B2 (ja) 画像処理装置、符号化装置、復号化装置、画像処理方法、プログラム、符号化方法及び復号化方法
KR20180113576A (ko) 정보 처리 장치, 정보 처리 시스템, 정보 처리 방법 및 컴퓨터 프로그램
JP5762600B1 (ja) 情報処理装置及び情報処理方法
CN109598796A (zh) 将真实场景与虚拟物体进行3d融合显示的方法和装置
WO2022199260A1 (zh) 静态对象的立体显示方法、装置、介质及电子设备
US9773350B1 (en) Systems and methods for greater than 360 degree capture for virtual reality
WO2018173207A1 (ja) 情報処理装置
KR20200057484A (ko) 입체 스트라이크 존 표시 방법 및 장치
JP6695997B2 (ja) 情報処理装置
KR20200128661A (ko) 뷰 이미지를 생성하기 위한 장치 및 방법
JP2022028091A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP6739539B2 (ja) 情報処理装置
JP6694514B2 (ja) 情報処理装置
WO2018173206A1 (ja) 情報処理装置
JP7044846B2 (ja) 情報処理装置
KR20210090180A (ko) 화상 처리 디바이스, 화상 처리 방법, 프로그램, 및 표시 디바이스
JP5037713B1 (ja) 立体画像表示装置および立体画像表示方法
US20240078767A1 (en) Information processing apparatus and information processing method
WO2012169220A1 (ja) 立体画像表示装置および立体画像表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17902112

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019506843

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017902112

Country of ref document: EP

Effective date: 20191023