WO2018062251A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
WO2018062251A1
WO2018062251A1 PCT/JP2017/034907 JP2017034907W WO2018062251A1 WO 2018062251 A1 WO2018062251 A1 WO 2018062251A1 JP 2017034907 W JP2017034907 W JP 2017034907W WO 2018062251 A1 WO2018062251 A1 WO 2018062251A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance image
distance
virtual space
information processing
information
Prior art date
Application number
PCT/JP2017/034907
Other languages
English (en)
French (fr)
Inventor
掛　智一
中島　聡
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to JP2018542629A priority Critical patent/JP6694514B2/ja
Publication of WO2018062251A1 publication Critical patent/WO2018062251A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to an information processing apparatus, an information processing method, a program, and an information storage medium for constructing a virtual space based on information obtained from a real space.
  • One of such techniques is to construct a virtual space based on information obtained from a real space such as an image taken by a camera, and to make the user experience as if in the virtual space. According to such a technique, the user can have an experience that cannot be experienced in the real world in a virtual space associated with the real world.
  • the present invention has been made in consideration of the above circumstances, and one of its purposes is information processing that can effectively acquire information on a real space and construct a virtual space corresponding to the real space.
  • An apparatus, an information processing method, a program, and an information storage medium are provided.
  • An information processing apparatus is a distance image obtained by observing a real space where one or a plurality of subjects exist, up to a subject portion reflected in each of a plurality of unit regions in the distance image.
  • Distance image acquisition for acquiring a first distance image including distance information from the first observation point and a second distance image including distance information from a second observation point different from the first observation point
  • a virtual space construction unit that constructs a virtual space that expresses the subject based on distance information included in each of the first distance image and the second distance image.
  • An information processing method is a distance image obtained by observing a real space in which one or more subjects exist, up to a subject portion reflected in each of a plurality of unit regions in the distance image. Obtaining a first distance image including information on a distance from the first observation point and a second distance image including information on a distance from a second observation point different from the first observation point; And constructing a virtual space expressing the subject based on distance information included in each of the first distance image and the second distance image.
  • the program according to the present invention is a distance image obtained by observing a real space in which one or a plurality of subjects are present, and includes a first portion up to a subject portion reflected in each of a plurality of unit regions in the distance image.
  • a distance image acquisition unit for acquiring a first distance image including information on a distance from an observation point and a second distance image including information on a distance from a second observation point different from the first observation point;
  • This program may be provided by being stored in a computer-readable non-transitory information storage medium.
  • FIG. 1 is a configuration block diagram showing a configuration of an information processing apparatus according to an embodiment of the present invention. It is a functional block diagram which shows the function of the information processing apparatus which concerns on embodiment of this invention. It is a figure which shows an example of a mode that a voxel is arrange
  • FIG. 1 is a diagram illustrating a state in which a user uses an information processing apparatus 1 according to an embodiment of the present invention.
  • FIG. 2 is a configuration block diagram showing the configuration of the information processing apparatus 1.
  • the information processing apparatus 1 is, for example, a home game machine, a portable game machine, a personal computer, a smart phone, or the like, and includes a control unit 11, a storage unit 12, and an interface unit 13, as shown in FIG. It is configured to include. Further, as illustrated in FIG. 1, the information processing apparatus 1 is connected to a display device 14, a first stereo camera 15, and a second stereo camera 16.
  • the control unit 11 includes at least one processor, and executes various kinds of information processing by executing programs stored in the storage unit 12. A specific example of processing executed by the control unit 11 in the present embodiment will be described later.
  • the storage unit 12 includes at least one memory device such as a RAM, and stores a program executed by the control unit 11 and data processed by the program.
  • the interface unit 13 is an interface for the information processing apparatus 1 to exchange various information with the display device 14, the first stereo camera 15, and the second stereo camera 16.
  • the display device 14 is a head-mounted display device such as a head-mounted display that the user wears on the head.
  • the display device 14 displays an image corresponding to the video signal output from the information processing device 1 in front of the user's eyes.
  • the display device 14 allows the user's left and right eyes to browse different left-eye images and right-eye images. Accordingly, the display device 14 can display a stereoscopic video using parallax.
  • the first stereo camera 15 is composed of a plurality of cameras arranged side by side and is used for observing a real space where one or a plurality of subjects are present.
  • the information processing apparatus 1 can calculate the distance from the shooting position (observation point) of the first stereo camera 15 to the subject shown in the shot image by using the parallax of the shot images obtained by the plurality of cameras. it can. Captured images captured by the cameras constituting the first stereo camera 15 are input to the information processing apparatus 1 via the interface unit 13.
  • the second stereo camera 16 is also composed of a plurality of cameras arranged side by side and is used to calculate the distance to the subject within the visual field range.
  • the first stereo camera 15 is installed in front of the user, and is fixed at a position and orientation directed toward the user.
  • the second stereo camera 16 is attached to the display device 14, and the shooting direction thereof is directed to the front surface of the display device 14. That is, the observation point of the first stereo camera 15 is fixed in the real space.
  • the observation point of the second stereo camera 16 is fixed with respect to the user, and when the user moves the head, the observation point of the second stereo camera 16 moves in conjunction therewith.
  • the first stereo camera 15 and the second stereo camera 16 face each other, and the visual field range of the first stereo camera 15 includes the user's head, the display device 14, and the second stereo camera 16. Will be.
  • the first stereo camera 15 is included in the visual field range of the second stereo camera 16.
  • the second stereo camera 16 is a separate device attached to the display device 14 here, the second stereo camera 16 may be configured integrally with the display device 14.
  • the first stereo camera 15 may be configured integrally with the information processing apparatus 1.
  • the information processing apparatus 1 is functionally configured to include a distance image acquisition unit 21, a virtual space construction unit 22, and a display control unit 23. These functions are realized by the control unit 11 operating according to a program stored in the storage unit 12. This program may be provided to the information processing apparatus 1 via a communication network such as the Internet, or may be provided by being stored in a computer-readable information storage medium such as an optical disk.
  • the distance image acquisition unit 21 acquires a distance image (depth map) obtained by each of the first stereo camera 15 and the second stereo camera 16 shooting a real space.
  • a distance image DM1 the distance image generated based on the captured image of the first stereo camera 15
  • the distance image generated based on the captured image of the second stereo camera 16 is referred to as the second distance image.
  • DM2 the distance image generated based on the captured image of the second stereo camera 16
  • DM2 the distance image generated based on the captured image of the second stereo camera 16
  • DM2 the distance image generated based on the captured image of the second stereo camera 16
  • DM2 the second distance image.
  • These two types of distance images are collectively referred to as a distance image DM.
  • the distance image DM is an image including information on the distance D to at least a part of the object (subject portion) shown in the unit area for each of the plurality of unit areas in the image.
  • the unit area may be an individual pixel in the image, or a pixel block
  • the distance image acquisition unit 21 acquires information on the position and orientation of the stereo camera at the time when the image used for generating the distance image DM is taken together with the distance image DM.
  • the position and orientation information of the stereo camera when an image used for generating the distance image DM is captured is referred to as observation point information.
  • the position and orientation of the second stereo camera 16 change according to the movement of the user's head. Therefore, in order to specify the position of the object shown in the second distance image DM2 in the real space, corresponding observation point information is required.
  • the position of the subject shown in each unit area in the distance image DM is specified in the real space. Can do.
  • the distance image acquisition unit 21 specifies the position and orientation of the second stereo camera 16 that is captured in the image captured by the first stereo camera 15, thereby allowing the second stereo camera 16 to move within the real space. You may specify the position and direction in.
  • a light emitting element may be attached to the second stereo camera 16 or a predetermined position of the display device 14 so that the light emitting element emits light.
  • the distance image acquisition unit 21 specifies the observation point information of the second stereo camera 16 by specifying the position where the light from the light emitting element is reflected in the captured image of the first stereo camera 15. Can do.
  • a change in the tilt of the second stereo camera 16 viewed from the first stereo camera 15 is specified. You can also
  • the distance image acquisition unit 21 may specify a change in the position and orientation of the second stereo camera 16 using the detection result of the motion sensor included in the second stereo camera 16 or the display device 14. Specifically, the distance image acquisition unit 21 uses the detection result of the second stereo camera 16 or a motion sensor such as an acceleration sensor, a gyroscope, or a geomagnetic sensor built in the display device 14, thereby Observation point information can be specified.
  • a motion sensor such as an acceleration sensor, a gyroscope, or a geomagnetic sensor built in the display device 14, thereby Observation point information can be specified.
  • the distance image acquisition unit 21 may specify a change in the position and orientation of the second stereo camera 16 using a time change of the captured image by the second stereo camera 16.
  • Such position estimation based on a time change of the captured image can be realized by a known stereo SLAM (Simultaneous Localization and Mapping) technique or the like.
  • SLAM Simultaneous Localization and Mapping
  • the second stereo camera 16 at an arbitrary time point is used with reference to the position and orientation of the second stereo camera 16 at the start of monitoring.
  • observation point information can be specified from only the captured image of the second stereo camera 16 without a device such as a light emitting element or a motion sensor.
  • the distance image acquisition unit 21 may use a combination of a plurality of methods for specifying the observation point information described above. Thereby, observation point information can be specified more accurately. Further, observation point information may be specified by a method other than the method described above.
  • the virtual space construction unit 22 constructs a virtual space based on the first distance image DM1 and the second distance image DM2 acquired by the distance image acquisition unit 21. Specifically, the virtual space construction unit 22 generates an object corresponding to a subject (that is, an object existing in the real space) shown in each distance image DM, and arranges the object in the virtual three-dimensional space. In particular, in the present embodiment, the real virtual space construction unit 22 arranges voxels corresponding to each unit area in each distance image DM in the virtual space, and thereby an object shown in the distance image DM is displayed. Reproduce in the virtual space.
  • a voxel is a unit volume element corresponding to each lattice when a three-dimensional space is divided into a lattice, and has a predetermined size.
  • the size of the voxel may be a size corresponding to the unit area of the distance image DM.
  • the shape of the voxel may be a cube. Objects of various shapes existing in the real space are represented by a set of a plurality of voxels in the virtual space.
  • the virtual space construction unit 22 generates voxels corresponding to each of the unit areas included in the first distance image DM1 and the second distance image DM2 acquired by the distance image acquisition unit 21, and stores them in the virtual space. Deploy.
  • the arrangement position of the voxel is determined based on the distance D from the stereo camera to the object shown in the corresponding unit area, the position of the unit area in the distance image DM, and observation point information of the stereo camera. Further, the color of the surface of the voxel may be determined based on the color (pixel value) of the corresponding unit area.
  • the second distance image DM2 includes a landscape viewed from a position close to the user's viewpoint. Therefore, it is considered that the voxel generated based on the second distance image DM2 corresponds to an object existing around the user, such as a wall, a floor, or furniture in a room where the user is present. That is, by generating and arranging voxels based on the second distance image DM2, the virtual space construction unit 22 can reproduce the state of the room where the user is in the virtual space.
  • the distance image acquisition unit 21 may acquire the second distance image DM2 a plurality of times, and the virtual space construction unit 22 may generate voxels based on each of the plurality of second distance images DM2.
  • the user looks around the user with the display device 14 to which the second stereo camera 16 is attached.
  • the virtual space construction unit 22 can reproduce the state of the real space over a wide range equal to or larger than the viewing angle of the second stereo camera 16.
  • the virtual space construction unit 22 can construct a virtual space that reproduces both the user himself and the surrounding space. it can.
  • the virtual space construction unit 22 arranges the voxels based on the first distance image DM1
  • voxels are arranged based on the second distance image DM2
  • only a subject portion existing outside a predetermined range centering on the position where the second stereo camera 16 exists in the real space may be processed. Good.
  • the virtual space construction unit 22 reproduces an object shown in the first distance image DM1 in the virtual space and reproduces an object shown in the second distance image DM2 in the virtual space.
  • Different processing is executed depending on the case. Thereby, according to the difference in the acquisition conditions (observation points etc.) of each distance image DM, the roles and properties of the voxels arranged in the virtual space can be varied. A specific example of such processing will be described later in detail.
  • the display control unit 23 generates a spatial image showing a state in the virtual space constructed by the virtual space construction unit 22 and displays it on the display device 14. For example, the display control unit 23 arranges a viewpoint at a position in the virtual space corresponding to the current position of the display device 14 in the real space, and generates a spatial image showing a state of viewing the virtual space from the viewpoint. At this time, the display control unit 23 arranges two viewpoints corresponding to the left and right eyes of the user side by side in the virtual space, and generates two spatial images showing how the virtual space is viewed from each of the two viewpoints. To do. By displaying the two spatial images on the display device 14 as the left-eye image and the right-eye image, the user can recognize the state in the virtual space in a three-dimensional manner.
  • the display control unit 23 specifies the position of the user's eyes and the line-of-sight direction using the observation point information of the second stereo camera 16. Then, a viewpoint for drawing a spatial image is set at a position and orientation in the virtual space corresponding to the position and orientation of the user's eyes. Thereby, it is possible to display on the display device 14 a state in which an object in the virtual space is viewed in the same manner as when the user views the real space.
  • the display control unit 23 may set the viewpoint at a position different from the actual eye position of the user. For example, the display control unit 23 may move the viewpoint position in the virtual space in accordance with a direction instruction from the user to the operation device. As a result, the user can view the state of the space where he / she is, including his / her own body, from any position within the space away from his / her body.
  • the virtual space construction unit 22 constructs a virtual space composed of two types of voxels having different properties using two types of distance images DM.
  • the update frequency of voxels arranged in the virtual space is changed according to which of the first distance image DM1 and the second distance image DM2 is input.
  • voxels generated based on the first distance image DM1 are referred to as person voxels
  • voxels generated based on the second distance image DM2 are referred to as background voxels.
  • the second distance image DM2 is repeatedly acquired over a predetermined time by the distance image acquisition unit 21 when the virtual space is initialized, and the virtual space construction unit 22 is based on the plurality of second distance images DM2.
  • the generated background voxel is placed in the virtual space. Until the next initialization is performed, the background voxel generated once is not updated and continues to exist in the virtual space.
  • the distance image acquisition unit 21 repeatedly acquires the first distance image DM1 at relatively short time intervals while the user is browsing the state in the virtual space.
  • the first distance image DM1 is newly acquired, the previously placed person voxel is deleted from the virtual space, and the person voxel is generated based on the newly acquired first distance image DM1, and is arranged in the virtual space.
  • the processing load can be reduced by fixing the background voxels while updating the person voxels representing the user's body in real time in accordance with the actual movement of the user.
  • the virtual space construction unit 22 arranges voxels in the virtual space based on the acquired distance image DM, the voxels in the virtual space gradually increase rather than arranging all the voxels at once. You may arrange
  • the virtual space construction unit 22 may determine the arrangement timing of the voxels according to the color of the unit area in the corresponding distance image DM. As a specific example, the virtual space construction unit 22 arranges corresponding voxels for unit regions whose color component values belong to a predetermined color range among a plurality of unit regions in the distance image DM. After the state of the virtual space in this state is displayed on the display device 14 by the display control unit 23, the virtual space construction unit 22 arranges corresponding voxels for the unit regions belonging to the next color range. By sequentially repeating such processing for all color ranges, it is possible to display a state in which voxels are gradually arranged in the virtual space.
  • the virtual space construction unit 22 regards each candidate position as a candidate for placing a voxel at the timing when it is determined that the subject portion exists for a predetermined time at a position in the real space corresponding to the candidate position. It is good also as arrange
  • the candidate position in this example is a position obtained by dividing the virtual space into a lattice shape.
  • the virtual space construction unit 22 sets a counter for each of these candidate positions.
  • the distance image acquisition unit 21 When the virtual space is initialized, the distance image acquisition unit 21 repeatedly acquires the second distance image DM2, and every time the distance image acquisition unit 21 acquires the virtual image, the virtual space construction unit 22 is estimated to have an object shown in the second distance image DM2. For each candidate position in the virtual space, the value of the counter set at that candidate position is incremented. As a result, when the value of the counter reaches a predetermined threshold value, a background voxel is arranged at the candidate position. On the other hand, for a candidate position estimated that no object exists based on the second distance image DM2 acquired at a certain timing, the value of the counter of the candidate position is reset. Thereby, the voxels can be arranged in order from the position where the object is detected over a certain period of time.
  • FIG. 4 shows an example of how voxels are gradually arranged in the virtual space with time by such a method.
  • the virtual space construction unit 22 executes a virtual space initialization process (S1).
  • S1 a virtual space initialization process
  • all voxels existing in the virtual space are erased, and counters are set with an initial value of 0 for all candidate positions where voxels in the virtual space may be placed.
  • the distance image acquisition unit 21 acquires the second distance image DM2 generated using the captured image of the second stereo camera 16 at that time (S2).
  • the virtual space construction unit 22 identifies the position in the real space of the subject portion reflected in the unit area (S3), and the corresponding virtual area
  • the counter value set at the candidate position in the space is incremented (S4).
  • the virtual space construction unit 22 determines whether the counter value incremented at this stage is equal to or greater than a predetermined threshold (S5), and if it is equal to or greater than the threshold, places a background voxel at the candidate position (S6). .
  • the virtual space construction unit 22 next sets the counter value to 0 for the candidate position where the counter value was not incremented in S4 during this series of loops. Reset (S7).
  • the virtual space construction unit 22 updates the viewpoint position and the line-of-sight direction in the virtual space based on the position and orientation of the second stereo camera 16 at that time (S8). Then, the display control unit 23 draws a spatial image showing a state in which the virtual space is viewed from the viewpoint position updated in S8 toward the line of sight, and displays the image on the display device 14 (S9).
  • the virtual space construction unit 22 determines whether a predetermined time has elapsed after the initialization (S10). If the predetermined time has not elapsed, the process returns to S2, and the background voxel arrangement process based on the new second distance image DM2 is executed. When the predetermined time elapses, the background voxel arrangement process ends, and the next process is executed.
  • the virtual space construction unit 22 erases all the human voxels that are arranged in the virtual space at that time (S11).
  • the distance image acquisition unit 21 acquires the first distance image DM1 (S12).
  • the virtual space construction unit 22 identifies the position in the real space of the subject portion shown in each unit area in the first distance image DM1 acquired in S12 (S13), and the person is positioned as a candidate position in the corresponding virtual space.
  • a voxel is arranged (S14).
  • the virtual space construction unit 22 updates the viewpoint position and the line-of-sight direction in the virtual space based on the position and orientation of the second stereo camera 16 at that time (S15). Then, the display control unit 23 draws a spatial image showing a state in which the virtual space is viewed from the viewpoint position updated in S15 toward the line-of-sight direction, and displays it on the display device 14 (S16). Thereafter, until the end of the process is instructed by the user, the process returns to S11 and the person voxel update process is repeatedly executed.
  • the movement of the user in real time is changed. Can be reflected in the virtual space, and the processing load can be reduced by suppressing the update frequency for objects around the user that are assumed not to change so much.
  • the background voxels arranged based on the second distance image DM2 are not deleted but kept in the virtual space, so Background voxels obtained from a wide range exceeding the range that can be captured by the stereo camera 16 can be arranged in the virtual space.
  • the background voxel deletion is not performed based on the second distance image DM2, but may be performed based on another distance image obtained by a stereo camera arranged at a different fixed position.
  • the presence of the subject portion detected by the second distance image DM2 is monitored using an image obtained from a stereo camera placed at a fixed position, and it is determined whether or not the subject portion has movement. If there is a movement, the frequency of updating the subject portion is increased.
  • a stereo camera arranged at a fixed position it can be expected that whether or not there is a movement in the subject portion is determined more accurately than the second stereo camera 16.
  • the virtual space construction unit 22 may arrange voxels corresponding to the subject portion existing in the real space at a position different from the position in the real space. For example, for a subject portion that exists in a predetermined spatial region around the user, voxels corresponding to the subject portion are arranged in a remote spatial region in the virtual space. In this case, when determining the arrangement position of the voxel, the virtual space construction unit 22 determines the position coordinate of the voxel by converting the position coordinate in the real space by a predetermined conversion matrix. According to such control, for example, when the user enters his / her hand into a predetermined area in the real space, it is possible to realize an effect as if the hand in the predetermined area warps to another place. FIG.
  • FIG. 6 is a diagram schematically showing the state of the virtual space constructed by the virtual space construction unit 22 in such an example.
  • the viewpoint position that is a reference when drawing the spatial image may be arranged at a position different from the actual eye position of the user by the same method.
  • the voxel whose position is changed may be limited to one of the two types of voxels.
  • the virtual space construction unit 22 arranges the background voxel corresponding to the position as it is even when it is calculated that the object shown in the second distance image DM2 exists in the predetermined area.
  • the person voxel is arranged at the position converted according to the predetermined rule.
  • the virtual space construction unit 22 arranges only the voxels corresponding to the subject portion shown in the distance image DM in the virtual space. Therefore, for an object that exists in a blind spot area that cannot be seen from the shooting position of the stereo camera, the corresponding voxel cannot be arranged in the virtual space. Therefore, the virtual space construction unit 22 estimates what the subject is shown on the basis of the position and arrangement of the subject portion detected from the distance image DM, and determines the voxel representing the subject based on the estimation result. You may arrange. According to such a method, when a part of the subject is hidden behind the shadow of another object, voxels representing the part hidden behind the shadow can also be arranged in the virtual space.
  • the virtual space construction unit 22 estimates that the object is a chair from the subject portion appearing on the desk using an estimator prepared in advance. If such an estimation can be performed, the voxel representing the chair having a standard shape can be arranged at a corresponding position, so that the voxel can be arranged also in a portion hidden in the shadow of the desk.
  • the estimator in this example can be generated by known machine learning techniques.
  • the virtual space construction unit 22 may identify the user and the background from the subjects shown in the first distance image DM1 using the estimator as described above. If such identification can be performed, the voxels arranged based on the first distance image DM1 are not person voxels that are updated in real time, but only voxels that are estimated to represent the user are used as person voxels, and the other voxels are used. May be fixed in the virtual space as a background voxel.
  • the virtual space construction unit 22 preferentially selects a subject portion that is located farther from the shooting position of the stereo camera as a target for object estimation
  • the voxel representing the estimated object may be arranged in the virtual space before the voxel representing the near object.
  • voxels that represent the entire chair, including the part hidden in the shadow of the desk are placed in the virtual space before the voxels that represent the desk, and a spatial image showing the state is displayed. Then, the voxel representing the desk is placed in the virtual space. According to such control, it becomes easy for the user to grasp the front-rear relationship of the object and the hidden part that cannot be seen.
  • the distance image DM is acquired by the first stereo camera 15 fixed to the front of the user and the second stereo camera 16 fixed to the display device 14. You may arrange a voxel based on the distance image DM acquired using the stereo camera installed in the place other than this.
  • another stereo camera whose shooting range is not only in front of the user but also on the side or rear of the user may be disposed on the display device 14. Accordingly, it is possible to acquire information on objects existing in a wide range around the user at once, without the user moving around looking around the user.
  • the second stereo camera 16 is fixed to the display device 14.
  • the second stereo camera 16 may not be fixed to the display device 14, and the head movement of the user is not limited. It is not necessary to change the shooting direction in conjunction with.
  • the information processing apparatus 1 can acquire information on an object existing around the user.
  • the display device 14 does not have to be of a type that the user wears on the head, and may be a stationary display device or the like.
  • the information processing apparatus 1 exists near the user and is directly connected to each stereo camera and the display device 14. However, the information processing apparatus 1 is installed at a position away from the user and communicates. It is good also as connecting with each stereo camera and the display apparatus 14 via a network.
  • the information processing apparatus 1 may be a server apparatus connected to a client apparatus via a communication network.
  • the client device is connected to the stereo camera or the display device 14, and relays information exchange between these input / output devices and the information processing device 1.
  • the information processing apparatus 1 itself generates the distance image DM using the captured image of the stereo camera.
  • the information processing apparatus 1 receives the distance image DM generated by the client apparatus via the network. You may acquire by.
  • the information processing apparatus 1 may be connected to a plurality of client apparatuses.
  • one client device is connected to the first stereo camera 15 to generate the first distance image DM and transmit it to the information processing device 1.
  • another client device is connected to the second stereo camera 16 and the display device 14, generates the second distance image DM and transmits the second distance image DM to the information processing device 1. The image is displayed on the display device 14.
  • the display control unit 23 of the information processing apparatus 1 draws a spatial image.
  • a client device connected to the display device 14 may draw a spatial image.
  • the client device receives voxel information in the virtual space transmitted from the information processing device 1, draws a spatial image using the received information, and causes the display device 14 to display the space image.
  • the stereo camera and the display device 14 may be installed in different places. Thereby, for example, the state of a room where a certain user is present and the movement of the user can be viewed by another user in another location.
  • the distance image DM is generated using a plurality of captured images obtained by a stereo camera.
  • the present invention is not limited to this, and the distance image DM may be generated by any method as long as it includes information on the distance D to the subject for each unit region within the distance image DM.
  • the information processing apparatus 1 may construct a virtual space using a distance image DM generated by, for example, the TOF method.
  • 1 Information processing device 11 Control unit, 12 Storage unit, 13 Interface unit, 14 Display device, 15 First stereo camera, 16 Second stereo camera, 21 Distance image acquisition unit, 22 Virtual space construction unit, 23 Display control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

１又は複数の被写体が存在する現実空間を観測して得られる距離画像であって、当該距離画像内の複数の単位領域のそれぞれに写っている被写体部分までの第１観測点からの距離の情報を含んだ第１距離画像と、第１観測点とは異なる第２観測点からの距離の情報を含んだ第２距離画像と、を取得し、第１距離画像、及び第２距離画像のそれぞれに含まれる距離の情報に基づいて、被写体を表現する仮想空間を構築する情報処理装置である。

Description

情報処理装置
　本発明は、現実空間から得られる情報に基づいて仮想空間を構築する情報処理装置、情報処理方法、プログラム、及び情報記憶媒体に関する。
　近年、拡張現実や仮想現実といった技術が研究されている。このような技術の一つとして、カメラで撮影した画像などの現実空間から得られる情報に基づいて仮想空間を構築して、ユーザーにその仮想空間内にいるかのような体験をさせるものがある。このような技術によれば、ユーザーは現実世界と関連する仮想空間内で現実世界では体験できないような体験をすることができる。
　上述した技術において、現実空間についての情報をどのように取得したらよいかについては、いまだ十分に検討されていない。
　本発明は上記実情を考慮してなされたものであって、その目的の一つは、効果的に現実空間の情報を取得して、現実空間に対応する仮想空間を構築することのできる情報処理装置、情報処理方法、プログラム、及び情報記憶媒体を提供することにある。
　本発明に係る情報処理装置は、１又は複数の被写体が存在する現実空間を観測して得られる距離画像であって、当該距離画像内の複数の単位領域のそれぞれに写っている被写体部分までの第１観測点からの距離の情報を含んだ第１距離画像と、前記第１観測点とは異なる第２観測点からの距離の情報を含んだ第２距離画像と、を取得する距離画像取得部と、前記第１距離画像、及び前記第２距離画像のそれぞれに含まれる距離の情報に基づいて、前記被写体を表現する仮想空間を構築する仮想空間構築部と、を含むことを特徴とする。
　本発明に係る情報処理方法は、１又は複数の被写体が存在する現実空間を観測して得られる距離画像であって、当該距離画像内の複数の単位領域のそれぞれに写っている被写体部分までの第１観測点からの距離の情報を含んだ第１距離画像と、前記第１観測点とは異なる第２観測点からの距離の情報を含んだ第２距離画像と、を取得するステップと、前記第１距離画像、及び前記第２距離画像のそれぞれに含まれる距離の情報に基づいて、前記被写体を表現する仮想空間を構築するステップと、を含むことを特徴とする。
　本発明に係るプログラムは、１又は複数の被写体が存在する現実空間を観測して得られる距離画像であって、当該距離画像内の複数の単位領域のそれぞれに写っている被写体部分までの第１観測点からの距離の情報を含んだ第１距離画像と、前記第１観測点とは異なる第２観測点からの距離の情報を含んだ第２距離画像と、を取得する距離画像取得部、及び、前記第１距離画像、及び前記第２距離画像のそれぞれに含まれる距離の情報に基づいて、前記被写体を表現する仮想空間を構築する仮想空間構築部、としてコンピュータを機能させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
本発明の実施の形態に係る情報処理装置をユーザーが使用する様子を示す図である。 本発明の実施の形態に係る情報処理装置の構成を示す構成ブロック図である。 本発明の実施の形態に係る情報処理装置の機能を示す機能ブロック図である。 仮想空間内に徐々にボクセルが配置されていく様子の一例を示す図である。 本発明の実施の形態に係る情報処理装置が実行する処理の流れの一例を示す図である。 本発明の実施の形態に係る情報処理装置が実行する処理の流れの一例を示す図である。 仮想空間の様子の一例を模式的に示す図である。
　以下、本発明の実施形態について、図面に基づき詳細に説明する。
　図１は、本発明の一実施形態に係る情報処理装置１をユーザーが使用する様子を示す図である。また、図２は情報処理装置１の構成を示す構成ブロック図である。情報処理装置１は、例えば家庭用ゲーム機や携帯型ゲーム機、パーソナルコンピュータ、スマートホン等であって、図２に示すように、制御部１１と、記憶部１２と、インタフェース部１３と、を含んで構成されている。また、情報処理装置１は、図１に示すように、表示装置１４、第１ステレオカメラ１５、及び第２ステレオカメラ１６と接続されている。
　制御部１１は少なくとも一つのプロセッサーを含んで構成され、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。本実施形態において制御部１１が実行する処理の具体例については、後述する。記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。インタフェース部１３は、情報処理装置１が表示装置１４、第１ステレオカメラ１５、及び第２ステレオカメラ１６との間で各種の情報を授受するためのインタフェースである。
　表示装置１４は、ヘッドマウントディスプレイ等、ユーザーが頭部に装着して使用する頭部装着型の表示装置である。表示装置１４は、情報処理装置１が出力する映像信号に応じた画像をユーザーの眼前に表示する。特に本実施形態では、表示装置１４はユーザーの左右の目に互いに異なる左目用画像、右目用画像を閲覧させるものとする。これにより表示装置１４は、視差を利用した立体映像を表示することができる。
　第１ステレオカメラ１５は、左右に並んで配置された複数のカメラによって構成されており、１又は複数の被写体が存在する現実空間を観測するために用いられる。情報処理装置１は、これら複数のカメラによる撮影画像の視差を利用することで、第１ステレオカメラ１５の撮影位置（観測点）から撮影画像内に写っている被写体までの距離を算出することができる。第1ステレオカメラ１５を構成する各カメラによって撮影された撮影画像は、インタフェース部１３経由で情報処理装置１に入力される。同様に、第２ステレオカメラ１６も左右に並んで配置された複数のカメラから構成され、視野範囲内の被写体までの距離の算出に用いられる。
　本実施形態において第１ステレオカメラ１５は、ユーザーの前方に設置されており、ユーザー側に向けられた位置及び向きで固定されている。一方、第２ステレオカメラ１６は、表示装置１４に取り付けられており、その撮影方向は表示装置１４の前面に向けられている。すなわち、第１ステレオカメラ１５の観測点は現実空間内で固定されている。これに対して、第２ステレオカメラ１６の観測点はユーザーに対して固定されており、ユーザーが頭部を動かすとこれに連動して動くことになる。通常の使用状態では、第１ステレオカメラ１５と第２ステレオカメラ１６は互いに向き合う状態となり、第１ステレオカメラ１５の視野範囲にはユーザーの頭部、表示装置１４、及び第２ステレオカメラ１６が含まれることになる。また、ユーザーが正面を向いている際には、第２ステレオカメラ１６の視野範囲に第１ステレオカメラ１５が含まれることになる。
　なお、ここでは第２ステレオカメラ１６は表示装置１４に取り付けられた別の装置であることとしたが、第２ステレオカメラ１６は表示装置１４と一体に構成されてもよい。また、第１ステレオカメラ１５は情報処理装置１と一体に構成されてもよい。
　以下、情報処理装置１が実現する機能について、図３を用いて説明する。図３に示すように、情報処理装置１は、機能的に、距離画像取得部２１と、仮想空間構築部２２と、表示制御部２３と、を含んで構成されている。これらの機能は、制御部１１が記憶部１２に記憶されたプログラムに従って動作することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して情報処理装置１に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
　距離画像取得部２１は、第１ステレオカメラ１５、及び第２ステレオカメラ１６のそれぞれが現実空間を撮影することで得られる距離画像（デプスマップ）を取得する。以下では、第１ステレオカメラ１５の撮影画像に基づいて生成された距離画像を第１距離画像ＤＭ１と表記し、第２ステレオカメラ１６の撮影画像に基づいて生成された距離画像を第２距離画像ＤＭ２と表記する。また、これら２種類の距離画像を距離画像ＤＭと総称する。本実施形態において距離画像ＤＭは、画像内の複数の単位領域ごとに、少なくとも当該単位領域内に写っている物体の一部分（被写体部分）までの距離Ｄの情報を含んだ画像である。ここで単位領域は、画像内の一つ一つの画素であってもよいし、互いに隣接する複数の画素からなる画素ブロックであってもよい。距離画像ＤＭは、単位領域に写っている被写体の色成分の情報を含んでもよい。
　また、距離画像取得部２１は、距離画像ＤＭの生成に用いる画像を撮影した時点におけるステレオカメラの位置、及び向きの情報を距離画像ＤＭとともに取得する。以下、距離画像ＤＭの生成に用いる画像を撮影した際のステレオカメラの位置、及び向きの情報を、観測点情報という。特に第２ステレオカメラ１６は、ユーザーの頭部の動きに合わせてその位置、及び向きが変化する。そのため、第２距離画像ＤＭ２内に写っている物体の現実空間内における位置を特定するためには、対応する観測点情報が必要となる。距離画像ＤＭのデータと、距離画像ＤＭの生成に用いられた画像の観測点情報を用いることにより、距離画像ＤＭ内の各単位領域に写っている被写体の、現実空間内における位置を特定することができる。
　具体的に、例えば距離画像取得部２１は、第１ステレオカメラ１５による撮影画像内に写っている第２ステレオカメラ１６の位置、及び向きを特定することによって、第２ステレオカメラ１６の現実空間内における位置、及び向きを特定してもよい。この場合、精度よく第２ステレオカメラ１６の位置を特定するために、第２ステレオカメラ１６，又は表示装置１４の所定位置に発光素子を取り付け、この発光素子を発光させてもよい。こうすれば、距離画像取得部２１は、第１ステレオカメラ１５の撮影画像内において発光素子からの光が写っている位置を特定することによって、第２ステレオカメラ１６の観測点情報を特定することができる。また、第２ステレオカメラ１６又は表示装置１４に複数の発光素子を配置し、その光の位置パターンを検出することによって、第１ステレオカメラ１５から見た第２ステレオカメラ１６の傾きの変化を特定することもできる。
　また、距離画像取得部２１は、第２ステレオカメラ１６、又は表示装置１４が備えるモーションセンサーの検出結果を用いて、第２ステレオカメラ１６の位置、及び向きの変化を特定してもよい。具体的に距離画像取得部２１は、第２ステレオカメラ１６、又は表示装置１４が内蔵する加速度センサーやジャイロスコープ、地磁気センサー等のモーションセンサーの検出結果を利用することで、第２ステレオカメラ１６の観測点情報を特定できる。
　また、距離画像取得部２１は、第２ステレオカメラ１６による撮影画像の時間変化を用いて、第２ステレオカメラ１６の位置、及び向きの変化を特定してもよい。このような撮影画像の時間変化に基づく位置推定は、公知のステレオＳＬＡＭ（Simultaneous Localization and Mapping）技術等により実現できる。このような技術によって第２ステレオカメラ１６の位置、及び向きの変化をモニタし続けることで、モニタ開始時点の第２ステレオカメラ１６の位置及び向きを基準として、任意の時点における第２ステレオカメラ１６の観測点情報を特定することができる。この方法によれば、発光素子やモーションセンサー等のデバイスがなくとも、第２ステレオカメラ１６の撮影画像だけから観測点情報を特定できる。
　なお、距離画像取得部２１は、以上説明した観測点情報を特定するための複数の方法を組み合わせて用いてもよい。これにより、より精度よく観測点情報を特定できる。また、以上説明したもの以外の方法で観測点情報を特定してもよい。
　仮想空間構築部２２は、距離画像取得部２１が取得した第１距離画像ＤＭ１及び第２距離画像ＤＭ２に基づいて、仮想空間を構築する。具体的に仮想空間構築部２２は、各距離画像ＤＭに写っている被写体（すなわち、現実空間に存在している物体）に対応するオブジェクトを生成し、仮想３次元空間内に配置する。特に本実施形態では、現実仮想空間構築部２２は、各距離画像ＤＭ内の各単位領域に対応するボクセルを仮想空間内に配置していくことによって、当該距離画像ＤＭ内に写っている物体を仮想空間内に再現する。ボクセルは、３次元空間を格子状に分割した際の各格子に対応する単位体積要素であって、所定のサイズを有する。ボクセルのサイズは、距離画像ＤＭの単位領域と対応するサイズであってよい。また、ボクセルの形状は立方体であってよい。現実空間に存在する様々な形状の物体は、仮想空間内において複数のボクセルの集合によって表現される。
　具体的に、仮想空間構築部２２は、距離画像取得部２１が取得した第１距離画像ＤＭ１、及び第２距離画像ＤＭ２に含まれる単位領域のそれぞれに対応するボクセルを生成し、仮想空間内に配置する。ボクセルの配置位置は、対応する単位領域に写っている物体までのステレオカメラからの距離Ｄ、距離画像ＤＭ内における当該単位領域の位置、及びステレオカメラの観測点情報に基づいて決定される。また、ボクセルの表面の色は、対応する単位領域の色（画素値）に基づいて決定されてよい。
　第２距離画像ＤＭ２は、ユーザーの視点に近い位置から見た景色を含んでいる。そのため、第２距離画像ＤＭ２に基づいて生成されるボクセルは、ユーザーのいる部屋の中の壁や床、家具など、ユーザーの周囲に存在する物体に対応すると考えられる。すなわち、第２距離画像ＤＭ２に基づいてボクセルを生成、配置することによって、仮想空間構築部２２は、ユーザーがいる部屋の様子を仮想空間内に再現することができる。なお、距離画像取得部２１は複数回にわたって第２距離画像ＤＭ２を取得し、仮想空間構築部２２はこれら複数の第２距離画像ＤＭ２のそれぞれに基づいてボクセルを生成してもよい。第２ステレオカメラ１６が取り付けられた表示装置１４を装着した状態でユーザーに自分の周囲を見渡してもらい、その間に撮影された複数の撮影画像に基づいて生成された第２距離画像ＤＭ２を用いてボクセルを配置することによって、仮想空間構築部２２は第２ステレオカメラ１６の視野角以上の広い範囲にわたって現実空間の様子を再現することができる。
　一方、第１距離画像ＤＭ１には、ユーザー自身が写っていると想定される。そのため、第１距離画像ＤＭ１に基づいて生成されるボクセルにより、ユーザー自身の体が再現される。二つの距離画像ＤＭに基づいて生成されたボクセルを一つの仮想空間内に配置することによって、仮想空間構築部２２は、ユーザー自身とその周囲の空間の双方を再現した仮想空間を構築することができる。なお、仮想空間構築部２２は、第１距離画像ＤＭ１に基づいてボクセルを配置する際には、現実空間において第２ステレオカメラ１６の存在する位置を中心とした所定範囲内に存在する被写体部分のみを処理対象としてもよい。第２ステレオカメラ１６から離れた位置に存在する被写体は、ユーザー自身ではないと考えられるためである。逆に、第２距離画像ＤＭ２に基づいてボクセルを配置する際には、現実空間において第２ステレオカメラ１６の存在する位置を中心とした所定範囲の外に存在する被写体部分のみを処理対象としてもよい。
　さらに本実施形態では、仮想空間構築部２２は、第１距離画像ＤＭ１に写っている物体を仮想空間内に再現する場合と、第２距離画像ＤＭ２に写っている物体を仮想空間内に再現する場合とで、異なる処理を実行することとする。これにより、各距離画像ＤＭの取得条件（観測点等）の違いに応じて、仮想空間内に配置されるボクセルの役割や性質を異ならせることができる。このような処理の具体例については、後に詳しく説明する。
　表示制御部２３は、仮想空間構築部２２が構築した仮想空間内の様子を示す空間画像を生成し、表示装置１４に表示させる。例えば表示制御部２３は、現実空間内における表示装置１４の現在位置に対応する仮想空間内の位置に視点を配置し、その視点から仮想空間内を見た様子を示す空間画像を生成する。このとき表示制御部２３は、ユーザーの左右の目に対応する２つの視点を仮想空間内に並べて配置し、この２つの視点のそれぞれから仮想空間内を見た様子を示す２つの空間画像を生成する。この２つの空間画像を左目用画像、右目用画像として表示装置１４に表示させることにより、ユーザーは仮想空間内の様子を立体的に認識することができる。
　ここで、表示制御部２３は、第２ステレオカメラ１６の観測点情報を用いて、ユーザーの目の位置、及び視線方向を特定する。そして、このユーザーの目の位置と向きに対応する仮想空間内の位置及び向きに、空間画像を描画するための視点を設定する。これにより、ユーザーが現実空間を見るのと同じように仮想空間内のオブジェクトを見た様子を表示装置１４に表示させることができる。
　また、表示制御部２３は、ユーザーの実際の目の位置とは異なる位置に視点を設定してもよい。例えば表示制御部２３は、ユーザーの操作デバイスに対する方向指示に応じて、視点の位置を仮想空間内で移動させてもよい。これによりユーザーは、自分の体を離れた空間内の任意の位置から、自分自身の体を含め自分がいる空間の様子を閲覧することができる。
　以下、仮想空間構築部２２が２種類の距離画像ＤＭを用いて異なる性質を持った２種類のボクセルからなる仮想空間を構築する処理の具体例について、説明する。以下の例では、第１距離画像ＤＭ１と第２距離画像ＤＭ２のどちらを入力とするかに応じて、仮想空間内に配置するボクセルの更新頻度を変化させる例について、説明する。なお、以下では説明の便宜のために、第１距離画像ＤＭ１に基づいて生成されるボクセルを人物ボクセルと表記し、第２距離画像ＤＭ２に基づいて生成されるボクセルを背景ボクセルと表記する。
　具体的に、第２距離画像ＤＭ２については、距離画像取得部２１が仮想空間の初期化時に所定時間にわたって繰り返し取得することとし、仮想空間構築部２２は、これら複数の第２距離画像ＤＭ２に基づいて生成した背景ボクセルを仮想空間内に配置する。そして、次に初期化が行われるまでは、一度生成した背景ボクセルを更新せずにそのまま仮想空間内に存在させ続けることとする。
　これに対して第１距離画像ＤＭ１については、ユーザーが仮想空間内の様子を閲覧している間、距離画像取得部２１が比較的短い時間間隔で繰り返し取得することとし、仮想空間構築部２２は、第１距離画像ＤＭ１が新たに取得されるつど、前回配置した人物ボクセルを仮想空間から消去し、新たに取得された第１距離画像ＤＭ１に基づいて人物ボクセルを生成し、仮想空間内に配置する。これにより、ユーザーの体を表す人物ボクセルについては実際のユーザーの動きに合わせてリアルタイムに更新しつつ、背景ボクセルを固定とすることで処理負荷を軽減することができる。
　さらに、仮想空間構築部２２は、取得された距離画像ＤＭに基づいてボクセルを仮想空間内に配置する場合、全てのボクセルを一度に配置するのではなく、仮想空間内のボクセルが徐々に増えていくように各ボクセルの配置タイミングをずらしながら配置していってもよい。特に背景ボクセルを配置する際にこのような処理を適用することにより、徐々に仮想世界が構築されていくように演出することができる。この例における各ボクセルの配置タイミングの決定例について、以下に説明する。
　例えば仮想空間構築部２２は、対応する距離画像ＤＭ内の単位領域の色に応じて、ボクセルの配置タイミングを決定してもよい。具体例として、仮想空間構築部２２は、距離画像ＤＭ内の複数の単位領域のうち、色成分値が所定の色範囲に属する単位領域について、対応するボクセルを配置する。この状態の仮想空間の様子が表示制御部２３によって表示装置１４に表示された後、仮想空間構築部２２は次の色範囲に属する単位領域について、対応するボクセルを配置する。このような処理を全ての色範囲について順次繰り返すことにより、仮想空間内に徐々にボクセルが配置されていく様子を表示できる。
　また、仮想空間構築部２２は、ボクセルを配置する候補となる候補位置のそれぞれについて、当該候補位置に対応する現実空間内の位置に被写体部分が所定時間にわたって存在すると判定されたタイミングで、当該候補位置にボクセルを配置することとしてもよい。このような手法によれば、所定時間にわたって継続的に物体の存在が検出された位置から、順にボクセルが配置されていくことになる。この例における候補位置は、仮想空間内を格子状に分割して得られる位置である。仮想空間構築部２２は、これらの候補位置のそれぞれに対して、カウンタを設定する。そして、仮想空間の初期化時には、距離画像取得部２１が第２距離画像ＤＭ２を繰り返し取得し、取得するごとに仮想空間構築部２２は第２距離画像ＤＭ２に写っている物体が存在すると推定される仮想空間内の各候補位置について、その候補位置に設定されたカウンタの値をインクリメントする。その結果、カウンタの値が所定の閾値に達した場合、その候補位置に背景ボクセルを配置する。一方、あるタイミングで取得された第２距離画像ＤＭ２に基づいて物体が存在しないと推定された候補位置については、当該候補位置のカウンタの値をリセットする。これにより、一定時間にわたって物体が存在すると検出された位置から、順にボクセルを配置していくことができる。
　このような手法によれば、ノイズや誤検出を回避して物体が確かに存在すると判定される候補位置にボクセルを配置することができる。しかも、カウンタの値が閾値に到達するタイミングは、仮想空間内の候補位置ごとにずれると想定されるため、同じ条件で各候補位置にボクセルを配置するにもかかわらず、ボクセルが仮想空間内に配置されるタイミングをずらすことができる。図４は、このような手法によりボクセルが時間とともに徐々に仮想空間内に配置されていく様子の一例を示している。
　ここで、以上説明したようにカウンタを用いて徐々に背景ボクセルを仮想空間内に配置し、その後人物ボクセルをリアルタイムで生成、配置していく場合に情報処理装置１が実行する処理の流れの一例について、図５Ａ及び図５Ｂのフロー図を用いて説明する。
　まず、仮想空間構築部２２が、仮想空間の初期化処理を実行する（Ｓ１）。この初期化処理では、仮想空間内に存在する全てのボクセルが消去され、仮想空間内のボクセルが配置される可能性がある全ての候補位置に対して、初期値０でカウンタが設定される。
　続いて距離画像取得部２１が、その時点での第２ステレオカメラ１６の撮像画像を用いて生成された第２距離画像ＤＭ２を取得する（Ｓ２）。仮想空間構築部２２は、Ｓ３で取得された第２距離画像ＤＭ２内の注目する単位領域について、当該単位領域に写っている被写体部分の現実空間内における位置を特定し（Ｓ３）、対応する仮想空間内の候補位置に設定されたカウンタの値をインクリメントする（Ｓ４）。仮想空間構築部２２は、この段階でインクリメントされたカウンタの値が所定の閾値以上になったか判定し（Ｓ５）、閾値以上になった場合にはその候補位置に背景ボクセルを配置する（Ｓ６）。Ｓ３～Ｓ６の処理を全ての単位領域について実行すると、次に仮想空間構築部２２は、この一連のループ中にＳ４でカウンタの値がインクリメントされなかった候補位置について、そのカウンタの値を０にリセットする（Ｓ７）。
　その後、仮想空間構築部２２は、その時点での第２ステレオカメラ１６の位置及び向きに基づいて、仮想空間内の視点位置及び視線方向を更新する（Ｓ８）。そして表示制御部２３が、Ｓ８で更新された視点位置から視線方向に向けて仮想空間を見た様子を示す空間画像を描画し、表示装置１４に表示させる（Ｓ９）。
　次に仮想空間構築部２２は、初期化が行われた後、所定の時間が経過したか判定する（Ｓ１０）。所定時間が経過していなければ、Ｓ２に戻って新たな第２距離画像ＤＭ２に基づく背景ボクセルの配置処理が実行される。所定時間が経過すると、背景ボクセルの配置処理は終了し、次の処理が実行される。
　背景ボクセルの配置処理が終了すると、それ以降、Ｓ６で配置された背景ボクセルは更新されなくなる。次に仮想空間構築部２２は、その時点で仮想空間内に配置されている全ての人物ボクセルを消去する（Ｓ１１）。そして、今度は距離画像取得部２１が第１距離画像ＤＭ１を取得する（Ｓ１２）。仮想空間構築部２２は、Ｓ１２で取得した第１距離画像ＤＭ１内の各単位領域に写っている被写体部分の現実空間内における位置を特定し（Ｓ１３）、対応する仮想空間内の候補位置に人物ボクセルを配置する（Ｓ１４）。
　その後、仮想空間構築部２２は、その時点での第２ステレオカメラ１６の位置及び向きに基づいて、仮想空間内の視点位置及び視線方向を更新する（Ｓ１５）。そして表示制御部２３が、Ｓ１５で更新された視点位置から視線方向に向けて仮想空間を見た様子を示す空間画像を描画し、表示装置１４に表示させる（Ｓ１６）。その後、処理の終了がユーザーから指示されるまで、Ｓ１１に戻って人物ボクセルの更新処理が繰り返し実行される。
　このように第１距離画像ＤＭ１に基づいて配置される人物ボクセルと第２距離画像ＤＭ２に基づいて配置される背景ボクセルとで更新タイミングや更新頻度を変化させることで、ユーザーについてはリアルタイムでその動きを仮想空間に反映させつつ、それほど変化しないと想定されるユーザー周囲の物体については更新頻度を抑えて処理負荷を軽減することができる。また、第２ステレオカメラ１６の撮影位置はユーザーの動きとともに変化するため、第２距離画像ＤＭ２に基づいて配置される背景ボクセルを消去せずに仮想空間内に残し続けることで、一度に第２ステレオカメラ１６で撮影可能な範囲を超える広い範囲から得られた背景ボクセルを仮想空間内に配置することができる。
　なお、上記の例では背景ボクセルが一度配置されるとその後一切消去されないこととしたが、その後も人物ボクセルの更新処理よりも低い更新頻度で背景ボクセルに対応する被写体部分の存在をチェックし、被写体部分の存在が検出されなくなった候補位置に配置されている背景ボクセルは消去することとしてもよい。これにより、ユーザーの周囲に存在する動きのある物体が背景ボクセルとして固定され続けることを回避できる。
　なお、背景ボクセルの消去は、第２距離画像ＤＭ２に基づいて実行するのではなく、これとは別の固定位置に配置されたステレオカメラによって得られる別の距離画像に基づいて実行してもよい。この場合、第２距離画像ＤＭ２により検出された被写体部分の存在を、固定位置に配置されたステレオカメラから得られる画像を用いてモニタし、その被写体部分に動きがあるか否かを判定する。そして、動きがあればその被写体部分の更新頻度を上げることとする。固定位置に配置されたステレオカメラを用いることで、被写体部分に動きがあるか否かを第２ステレオカメラ１６よりも精度よく判定することが期待できる。
　また、仮想空間構築部２２は、現実空間に存在する被写体部分に対応するボクセルを、現実空間における位置とは異なる位置に配置してもよい。例えば、ユーザーの周囲の予め定められた一部の空間領域内に存在する被写体部分については、その被写体部分に対応するボクセルを、仮想空間内における離れた空間領域に配置することとする。この場合、仮想空間構築部２２は、ボクセルの配置位置を決定する際に、その現実空間内における位置座標を予め定められた変換行列によって変換することで、ボクセルの位置座標を決定する。このような制御によれば、例えばユーザーが現実空間内の所定領域に自分の手を進入させた場合に、その所定領域内の手が別の場所にワープするかのような演出を実現できる。図６は、このような例において仮想空間構築部２２が構築する仮想空間の様子を模式的に示した図である。また、空間画像を描画する際の基準となる視点位置についても、同様の手法でユーザーの現実の目の位置とは異なる位置に配置させてもよい。
　なお、この例においても、位置を変化させるボクセルを、２種類のボクセルのうちの一方に限定してもよい。具体的に、仮想空間構築部２２は、第２距離画像ＤＭ２に写っている物体については、所定領域内に存在すると算定された場合であってもそのままの位置に対応する背景ボクセルを配置する。一方、第１距離画像ＤＭ１に写っている物体については、所定領域内に存在すると算定された場合、所定のルールに従って変換された位置に人物ボクセルを配置する。
　また、以上の説明では、仮想空間構築部２２は、距離画像ＤＭに写っている被写体部分に対応するボクセルだけを仮想空間内に配置することとした。そのため、ステレオカメラの撮影位置から見えない死角の領域に存在する物体については、対応するボクセルを仮想空間内に配置することはできない。そこで仮想空間構築部２２は、距離画像ＤＭから検出された被写体部分の位置、及び配列に基づいて、そこに写っている被写体が何なのかを推定し、推定結果に基づいて被写体を表すボクセルを配置してもよい。このような手法によれば、被写体の一部が他の物体の影に隠れているなどの場合に、その影に隠れた部分を表すボクセルも仮想空間内に配置することができる。
　具体例として、第２ステレオカメラ１６から見て椅子の上部だけが机の上に現れており、椅子の下部は机の影に隠れているものとする。この場合、仮想空間構築部２２は、予め用意された推定器を用いて、机の上に現れている被写体部分からその物体が椅子であると推定する。このような推定ができれば、標準的な形状の椅子を表すボクセルを対応する位置に配置することで、机の影に隠れた部分にもボクセルを配置することができる。この例における推定器は、公知の機械学習技術によって生成することができる。
　また、仮想空間構築部２２は、上述したような推定器を用いて、第１距離画像ＤＭ１に写っている被写体の中から、ユーザーと背景とを識別してもよい。このような識別ができれば、第１距離画像ＤＭ１に基づいて配置するボクセルを全てリアルタイムで更新する人物ボクセルとするのではなく、ユーザーを表すと推定されたボクセルのみを人物ボクセルとし、それ以外のボクセルは背景ボクセルとして仮想空間内に固定してもよい。
　さらに、以上説明した被写体部分から物体を推定する技術を適用する場合、仮想空間構築部２２は、ステレオカメラの撮影位置から見てより遠くに存在する被写体部分を優先的に物体推定の対象とし、推定された物体を表すボクセルを、手前側の物体を表すボクセルよりも先に仮想空間内に配置することとしてもよい。前述した椅子と机の例では、机の影に隠れた部分も含めた椅子の全体を表すボクセルを、机を表すボクセルよりも先に仮想空間内に配置し、その様子を示す空間画像が表示されてから、机を表すボクセルを仮想空間内に配置する。このような制御によれば、ユーザーは物体の前後関係や隠れて見えない部分を把握しやすくなる。
　なお、本発明の実施の形態は以上説明したものに限られない。例えば、以上の説明ではユーザーの前方に固定した第１ステレオカメラ１５、及び表示装置１４に固定された第２ステレオカメラ１６によって距離画像ＤＭを取得することとしたが、ユーザーの後方や天井など、これ以外の場所に設置したステレオカメラを用いて取得した距離画像ＤＭに基づいてボクセルを配置してもよい。また、表示装置１４に対しても、ユーザーの前方だけでなく、ユーザーの側方や後方などを撮影範囲とする別のステレオカメラを配置してもよい。これにより、ユーザーが自分の周囲を見渡す動きをせずとも、ユーザーの周囲の広い範囲に存在する物体の情報を一度に取得することができる。
　また、以上の説明では第２ステレオカメラ１６は表示装置１４に固定されていることとしたが、第２ステレオカメラ１６は表示装置１４に固定されておらずともよく、またユーザーの頭部の動きに連動して撮影方向を変化させなくともよい。例えばユーザーが第２ステレオカメラ１６を手で持って動かすことにより、情報処理装置１はユーザーの周囲に存在する物体の情報を取得することができる。さらにこの場合、表示装置１４はユーザーが頭部に装着するタイプのものでなくともよく、据え置き型の表示装置などであってもよい。
　また、以上の説明では情報処理装置１はユーザーの近くに存在し、各ステレオカメラや表示装置１４と直接接続されるものとしたが、情報処理装置１はユーザーと離れた位置に設置され、通信ネットワークを介して各ステレオカメラや表示装置１４と接続されることとしてもよい。
　また、情報処理装置１は通信ネットワークを介してクライアント装置と接続されるサーバ装置であってもよい。この場合、クライアント装置がステレオカメラや表示装置１４と接続され、これらの入出力装置と情報処理装置１との間の情報の授受を中継する。また、以上の説明では情報処理装置１自身がステレオカメラの撮影画像を用いて距離画像ＤＭを生成することとしたが、情報処理装置１はクライアント装置が生成した距離画像ＤＭをネットワーク経由で受信することにより取得してもよい。
　また、情報処理装置１は、複数のクライアント装置と接続されてもよい。例えばこの場合、１台のクライアント装置が第１ステレオカメラ１５と接続され、第１距離画像ＤＭを生成して情報処理装置１に送信する。一方、別のクライアント装置は第２ステレオカメラ１６、及び表示装置１４と接続され、第２距離画像ＤＭを生成して情報処理装置１に送信するとともに、情報処理装置１からの指示に応じて空間画像を表示装置１４に表示させる。
　また、以上の説明では情報処理装置１の表示制御部２３が空間画像の描画を行うこととしたが、これに限らず表示装置１４と接続されるクライアント装置が空間画像を描画してもよい。この場合、情報処理装置１から送信される仮想空間内のボクセルの情報をクライアント装置が受信し、受信した情報を用いて空間画像を描画し、表示装置１４に表示させる。
　また、ステレオカメラと表示装置１４とは別の場所に設置されてもよい。これにより、例えばあるユーザーがいる部屋の様子や当該ユーザーの動きを、別の場所にいる別のユーザーに閲覧させることができる。
　また、以上の説明では距離画像ＤＭは、ステレオカメラによって得られる複数の撮影画像を用いて生成されるものとした。しかしながらこれに限らず、距離画像ＤＭは、その内部の単位領域ごとに被写体までの距離Ｄの情報を含むものであれば、どのような方式で生成されたものであってもよい。具体的に情報処理装置１は、例えばＴＯＦ方式などで生成された距離画像ＤＭを用いて仮想空間を構築してもよい。
　１　情報処理装置、１１　制御部、１２　記憶部、１３　インタフェース部、１４　表示装置、１５　第１ステレオカメラ、１６　第２ステレオカメラ、２１　距離画像取得部、２２　仮想空間構築部、２３　表示制御部。

Claims (9)

  1. 　１又は複数の被写体が存在する現実空間を観測して得られる距離画像であって、当該距離画像内の複数の単位領域のそれぞれに写っている被写体部分までの第１観測点からの距離の情報を含んだ第１距離画像と、前記第１観測点とは異なる第２観測点からの距離の情報を含んだ第２距離画像と、を取得する距離画像取得部と、
    　前記第１距離画像、及び前記第２距離画像のそれぞれに含まれる距離の情報に基づいて、前記被写体を表現する仮想空間を構築する仮想空間構築部と、
    　を含むことを特徴とする情報処理装置。
  2. 　請求項１に記載の情報処理装置において、
    　前記仮想空間構築部は、前記第１距離画像、及び前記第２距離画像のそれぞれに含まれる距離の情報に応じて決まる位置に複数の単位体積要素を配置することによって、前記被写体を表現する仮想空間を構築する
    　ことを特徴とする情報処理装置。
  3. 　請求項２に記載の情報処理装置において、
    　前記仮想空間構築部は、前記第１距離画像に応じて配置される単位体積要素と、前記第２距離画像に応じて配置される単位体積要素とを、互いに異なるタイミングで更新する
    　ことを特徴とする情報処理装置。
  4. 　請求項３に記載の情報処理装置において、
    　前記仮想空間構築部は、前記第１距離画像に応じて配置される単位体積要素については、一度配置した後は更新せず、前記第２距離画像に応じて配置される単位体積要素については、所定時間おきに新たに取得される前記第２距離画像に基づいて更新する
    　ことを特徴とする情報処理装置。
  5. 　請求項２に記載の情報処理装置において、
    　前記仮想空間構築部は、前記複数の単位体積要素を、互いに異なるタイミングで前記仮想空間内に配置する
    　ことを特徴とする情報処理装置。
  6. 　請求項５に記載の情報処理装置において、
    　前記仮想空間構築部は、前記単位体積要素を配置する候補となる候補位置のそれぞれについて、当該候補位置に対応する現実空間内の位置に被写体部分が所定時間にわたって存在すると判定されたタイミングで、当該候補位置に単位体積要素を配置する
    　ことを特徴とする情報処理装置。
  7. 　請求項１に記載の情報処理装置において、
    　前記第１距離画像は、前記被写体としてユーザーを含み、現実空間内に固定された前記第１観測点からの距離の情報を含む画像であって、
    　前記第２距離画像は、前記ユーザーに対して固定され、当該ユーザーの動きに連動して動く前記第２観測点からの距離の情報を含む画像である
    　ことを特徴とする情報処理装置。
  8. 　１又は複数の被写体が存在する現実空間を観測して得られる距離画像であって、当該距離画像内の複数の単位領域のそれぞれに写っている被写体部分までの第１観測点からの距離の情報を含んだ第１距離画像と、前記第１観測点とは異なる第２観測点からの距離の情報を含んだ第２距離画像と、を取得するステップと、
    　前記第１距離画像、及び前記第２距離画像のそれぞれに含まれる距離の情報に基づいて、前記被写体を表現する仮想空間を構築するステップと、
    　を含むことを特徴とする情報処理方法。
  9. 　１又は複数の被写体が存在する現実空間を観測して得られる距離画像であって、当該距離画像内の複数の単位領域のそれぞれに写っている被写体部分までの第１観測点からの距離の情報を含んだ第１距離画像と、前記第１観測点とは異なる第２観測点からの距離の情報を含んだ第２距離画像と、を取得する距離画像取得部、及び、
    　前記第１距離画像、及び前記第２距離画像のそれぞれに含まれる距離の情報に基づいて、前記被写体を表現する仮想空間を構築する仮想空間構築部、
    　としてコンピュータを機能させるためのプログラム。
PCT/JP2017/034907 2016-09-30 2017-09-27 情報処理装置 WO2018062251A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018542629A JP6694514B2 (ja) 2016-09-30 2017-09-27 情報処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016194092 2016-09-30
JP2016-194092 2016-09-30

Publications (1)

Publication Number Publication Date
WO2018062251A1 true WO2018062251A1 (ja) 2018-04-05

Family

ID=61762792

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/034907 WO2018062251A1 (ja) 2016-09-30 2017-09-27 情報処理装置

Country Status (2)

Country Link
JP (1) JP6694514B2 (ja)
WO (1) WO2018062251A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021081235A (ja) * 2019-11-15 2021-05-27 日本信号株式会社 物体検知装置及び物体検知プログラム
JPWO2020049619A1 (ja) * 2018-09-03 2021-06-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011095858A (ja) * 2009-10-27 2011-05-12 Panasonic Electric Works Co Ltd ３次元デジタイザ
JP2014507723A (ja) * 2011-01-31 2014-03-27 マイクロソフト コーポレーション 三次元環境の再現
JP2014513822A (ja) * 2011-01-31 2014-06-05 マイクロソフト コーポレーション ゲーム・プレイにおける三次元環境モデルの使用

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011095858A (ja) * 2009-10-27 2011-05-12 Panasonic Electric Works Co Ltd ３次元デジタイザ
JP2014507723A (ja) * 2011-01-31 2014-03-27 マイクロソフト コーポレーション 三次元環境の再現
JP2014513822A (ja) * 2011-01-31 2014-06-05 マイクロソフト コーポレーション ゲーム・プレイにおける三次元環境モデルの使用

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020049619A1 (ja) * 2018-09-03 2021-06-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム
JP6990777B2 (ja) 2018-09-03 2022-01-12 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム
US11461957B2 (en) 2018-09-03 2022-10-04 Sony Interactive Entertainment Inc. Information processing device, information processing method, and program
JP2021081235A (ja) * 2019-11-15 2021-05-27 日本信号株式会社 物体検知装置及び物体検知プログラム
JP7406350B2 (ja) 2019-11-15 2023-12-27 日本信号株式会社 物体検知装置及び物体検知プログラム

Also Published As

Publication number Publication date
JP6694514B2 (ja) 2020-05-13
JPWO2018062251A1 (ja) 2019-06-24

Similar Documents

Publication Publication Date Title
US10600253B2 (en) Information processing apparatus, information processing method, and program
JP7349793B2 (ja) 画像処理装置および画像処理方法、プログラム
JP7073481B2 (ja) 画像表示システム
US20150265922A1 (en) Information processing system, information processing apparatus, storage medium having stored therein information processing program, and information processing method
CN108304063A (zh) 信息处理装置、信息处理方法和计算机可读介质
CN106873300B (zh) 面向智能机器人的虚拟空间投影方法和装置
CN113168732A (zh) 增强现实显示装置和增强现实显示方法
JP6695997B2 (ja) 情報処理装置
JP6694514B2 (ja) 情報処理装置
JP6775669B2 (ja) 情報処理装置
US20200211275A1 (en) Information processing device, information processing method, and recording medium
JP7341736B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN112774183A (zh) 鉴赏系统、模型构成装置、控制方法以及记录介质
US20200267365A1 (en) Information processing system, method for controlling same, and program
JP6739539B2 (ja) 情報処理装置
KR102287939B1 (ko) 동영상을 이용하여 3차원 이미지를 렌더링하는 장치 및 방법
WO2016185634A1 (ja) 情報処理装置
WO2018173206A1 (ja) 情報処理装置
JP7044846B2 (ja) 情報処理装置
EP4365887A1 (en) Image display system and image display method
US11310472B2 (en) Information processing device and image generation method for projecting a subject image onto a virtual screen
JP2024506299A (ja) 占有率グリッドを使用した場面理解
JP2024033849A (ja) 情報処理装置および情報処理方法
EP4150519A1 (en) Computationally efficient method for computing a composite representation of a 3d environment
KR20220083166A (ko) 인체 추정 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17856200

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018542629

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17856200

Country of ref document: EP

Kind code of ref document: A1