WO2018216341A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2018216341A1
WO2018216341A1 PCT/JP2018/012015 JP2018012015W WO2018216341A1 WO 2018216341 A1 WO2018216341 A1 WO 2018216341A1 JP 2018012015 W JP2018012015 W JP 2018012015W WO 2018216341 A1 WO2018216341 A1 WO 2018216341A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
information processing
processing apparatus
estimation result
normal
Prior art date
Application number
PCT/JP2018/012015
Other languages
English (en)
French (fr)
Inventor
太記 山中
江島　公志
貝野　彰彦
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP18806471.1A priority Critical patent/EP3633606B1/en
Priority to US16/490,151 priority patent/US11488354B2/en
Publication of WO2018216341A1 publication Critical patent/WO2018216341A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 discloses an example of a technique for reproducing a three-dimensional shape model of an object in real space based on an image captured by an imaging unit.
  • the part corresponding to the edge or corner of the object tends to be less accurate in estimating the shape than other parts (for example, flat parts), and the reproducibility of the three-dimensional shape model is reduced.
  • the reproducibility can be improved by further improving the resolution related to the estimation and reproduction of the shape of the object, but the amount of data tends to increase as the resolution improves. .
  • the present disclosure proposes an information processing apparatus, an information processing method, and a program capable of achieving both improvement in reproducibility related to reproduction of the shape of an object and suppression of an increase in data amount.
  • the acquisition unit that acquires first information related to an estimation result of the shape of an object in real space and second information related to an estimation result of a geometric feature of the object; And a correction unit that corrects the first information based on the information.
  • the computer acquires first information related to an estimation result of the shape of an object in real space and second information related to an estimation result of a geometric feature of the object; And correcting the first information based on the second information, an information processing method is provided.
  • the computer acquires first information related to an estimation result of the shape of an object in real space and second information related to an estimation result of the geometric feature of the object; A program for executing correction of the first information based on the second information is provided.
  • an information processing apparatus capable of achieving both improvement in reproducibility related to reproduction of an object shape and suppression of increase in data amount. Provided.
  • FIG. 2 is an explanatory diagram for describing an example of a schematic system configuration of an information processing system according to an embodiment of the present disclosure.
  • FIG. It is explanatory drawing for demonstrating the outline
  • 5 is an explanatory diagram for describing an example of data used for estimation of an object shape in the information processing system according to the embodiment.
  • FIG. It is explanatory drawing for demonstrating the outline
  • FIG. 10 is an explanatory diagram for explaining an example of a polygon mesh correction method according to Modification 2;
  • FIG. 10 is an explanatory diagram for explaining an example of a polygon mesh correction method according to Modification 2;
  • It is a functional block diagram which shows one structural example of the hardware constitutions of the information processing apparatus which comprises the information processing system which concerns on the embodiment.
  • FIG. 1 is an explanatory diagram for explaining an example of a schematic system configuration of an information processing system 1 according to the present embodiment.
  • the information processing system 1 includes a depth sensor 210, a polarization sensor 230, and an information processing apparatus 100.
  • Each of the depth sensor 210 and the polarization sensor 230 is connected to the information processing apparatus 100 via, for example, a predetermined network.
  • the type of network connecting the depth sensor 210 and the polarization sensor 230 to the information processing apparatus 100 is not particularly limited.
  • the network may be configured by a so-called wireless network such as a network based on a standard such as LTE or Wi-Fi (registered trademark).
  • the network may be configured by the Internet, a dedicated line, a LAN (Local Area Network), a WAN (Wide Area Network), or the like.
  • the network may include a plurality of networks, and at least a part of the network may be configured as a wired network.
  • reference numerals m111 to m114 schematically indicate objects (real objects) located in the real space.
  • the depth sensor 210 acquires information for estimating a distance between a predetermined viewpoint and an object located in the real space, and transmits the acquired information to the information processing apparatus 100.
  • the information obtained by the depth sensor 210 for estimating the distance between a predetermined viewpoint and an object located in the real space is also referred to as “depth information”.
  • the depth sensor 210 is configured as a so-called stereo camera including a plurality of imaging units 210a and 210b, and is located in real space from different viewpoints by the imaging units 210a and 210b. Take an image of the object.
  • the depth sensor 210 transmits images captured by the imaging units 210 a and 210 b to the information processing apparatus 100.
  • a predetermined viewpoint for example, the position of the depth sensor 210
  • a subject that is, in the image
  • the configuration of the portion corresponding to the depth sensor 210 and the method for estimating the distance are not particularly limited as long as the distance between the predetermined viewpoint and the object in the real space (real object) can be estimated.
  • the distance between a predetermined viewpoint and a real object may be measured based on a method such as multi-camera stereo, moving parallax, TOF (Time Of Flight), or Structured Light.
  • TOF refers to projecting light such as infrared rays onto a subject (that is, a real object) and measuring the time until the projected light is reflected and returned by the subject for each pixel.
  • an image including the distance (depth) to the subject (that is, a depth map) is obtained based on the measurement result.
  • Structured Light is a depth map that includes the distance (depth) to the subject based on the change in the pattern obtained from the imaging result by irradiating the subject with light such as infrared rays and imaging it. It is a method to obtain.
  • the moving parallax is a method of measuring the distance to the subject based on the parallax even in a so-called monocular camera. Specifically, the subject is imaged from different viewpoints by moving the camera, and the distance to the subject is measured based on the parallax between the captured images.
  • the distance to the subject can be measured with higher accuracy by recognizing the moving distance and moving direction of the camera using various sensors.
  • the configuration of the depth sensor 210 for example, a monocular camera, a stereo camera, or the like
  • the polarization sensor 230 detects light polarized in a predetermined polarization direction (hereinafter, also simply referred to as “polarized light”) out of the light reflected by an object located in real space, and according to the detection result of the polarization. Information is transmitted to the information processing apparatus 100.
  • the polarization sensor 230 is configured to be able to detect a plurality of polarized lights (more preferably, three or more polarized lights) having different polarization directions.
  • information corresponding to the detection result of polarization by the polarization sensor 230 is also referred to as “polarization information”.
  • the polarization sensor 230 is configured as a so-called polarization camera, and captures a polarization image based on light polarized in a predetermined polarization direction. In this case, the polarization sensor 230 transmits the captured polarization image to the information processing apparatus 100.
  • the polarization sensor 230 is polarized light that comes from a region (ideally, a region that approximately matches) that overlaps at least part of the region in the real space from which information for estimating the distance by the depth sensor 210 is acquired. Is preferably held so that it can be imaged.
  • information indicating the positions of the depth sensor 210 and the polarization sensor 230 in the real space is acquired in advance. It is possible to treat the position as known information.
  • the depth sensor 210 and the polarization sensor 230 may be held in a common device (for example, a wearable device). In this case, for example, by calculating in advance the relative positional relationship between the depth sensor 210 and the polarization sensor 230 with respect to the device, the positions and orientations of the depth sensor 210 and the polarization sensor 230 based on the position and orientation of the device. Can be estimated.
  • the device holding the depth sensor 210 and the polarization sensor 230 may be configured to be movable. In this case, for example, by applying a technique called self-position estimation, it is possible to estimate the position and orientation of the device in real space.
  • SLAM simultaneous localization and mapping
  • SLAM is a technology that performs self-position estimation and creation of an environment map in parallel by using an imaging unit such as a camera, various sensors, an encoder, and the like.
  • SLAM particularly Visual SLAM
  • the position and orientation of the image pickup unit for example, information indicating a relative change based on the detection result of the sensor by providing various sensors such as an acceleration sensor and an angular velocity sensor in the apparatus holding the image pickup unit.
  • various sensors such as an acceleration sensor and an angular velocity sensor in the apparatus holding the image pickup unit.
  • the method is not necessarily limited to a method based on detection results of various sensors such as an acceleration sensor and an angular velocity sensor.
  • At least one of the depth sensor 210 and the polarization sensor 230 may be configured to be movable independently of the other.
  • the position and posture of the sensor itself configured to be movable in real space may be estimated individually based on the self-position estimation technique described above.
  • the information processing apparatus 100 acquires depth information from the depth sensor 210, estimates the distance between the predetermined viewpoint and the real object based on the acquired depth information, and based on the estimation result, the three-dimensional information of the real object. Generate a model that reproduces the shape. Further, the information processing apparatus 100 acquires polarization information from the polarization sensor 230, and corrects the generated model based on the acquired polarization information. Note that the processing for generating the model, the processing for correcting the model, and details of each will be described later.
  • the configuration described above is merely an example, and the system configuration of the information processing system 1 according to the present embodiment is not necessarily limited to the example illustrated in FIG.
  • the depth sensor 210 and the polarization sensor 230 may be integrally configured as a part of a movable device. Further, the depth sensor 210 and the polarization sensor 230 and the information processing apparatus 100 may be configured integrally.
  • the depth map is generated by two-dimensionally mapping the distance in the depth direction between each real object located within the angle of view of the imaging unit and the imaging unit.
  • One or more depth maps generated in this way are integrated as a three-dimensional space model according to the imaging position of the imaging unit at the time of acquiring information for generating the depth map.
  • the three-dimensional space model is a model that three-dimensionally reproduces the position, posture, shape, and the like of a real object existing in the real space.
  • a method for integrating a depth map into a three-dimensional space model for example, a method of expressing a three-dimensional space as an isosurface of a distance field, as represented by so-called Kinect fusion, can be mentioned.
  • the space is divided into voxels and polyhedra, and each has a distance to the three-dimensional model.
  • This set of voxels is also referred to as volume data. That is, by updating the distance value of the voxel corresponding to each pixel on the depth map, the depth map is integrated into the voxel volume in time series.
  • the polygon mesh is shaped based on the method of marching cubes, dual contouring, etc. Is extracted as a three-dimensional model.
  • the polygon mesh is a model that reproduces the three-dimensional shape of an object as a set of vertices, sides, and faces.
  • a method of expressing a three-dimensional space by a point cloud of a distance estimation result there is a method of expressing a three-dimensional space by a point cloud of a distance estimation result.
  • a three-dimensional space is represented as a point group
  • a surface such as a polygon mesh
  • conversion from the point group to a mesh is required.
  • Examples of a method for converting a point cloud into a mesh include surface reconstruction.
  • the reproducibility of the polygon mesh depends on the fineness of the space division, and in order to obtain a polygon mesh with a higher reproducibility, the data amount tends to be larger.
  • the shape reproduced as a polygon mesh and the target due to errors and noise that occur in distance measurement, errors related to estimation of the orientation of the imaging unit, etc.
  • An error may occur between the actual shape of the object.
  • a portion corresponding to an edge that is, a side corresponding to a boundary between two surfaces
  • a corner that is, a point corresponding to a boundary between three or more surfaces
  • the accuracy of shape estimation tends to decrease, and the reproducibility of a polygon mesh (that is, a three-dimensional shape model) may decrease.
  • FIG. 2 is an explanatory diagram for explaining an overview of the information processing system 1 according to the present embodiment.
  • the diagram on the left shown as before correction is an example of a polygon mesh generated based on the above-described method, and is an example of a result of reproducing a three-dimensional shape of an object formed as a cube.
  • an edge or corner portion is not correctly reproduced, and a model in which information on the portion is missing is generated.
  • the information processing system 1 estimates the geometric characteristics of the object based on the polarization information acquired by the polarization sensor 230, thereby generating the three-dimensional generated based on the estimation result.
  • a shape model for example, a polygon mesh
  • the right diagram shown as corrected shows an example of the corrected polygon mesh when the polygon mesh shown in the left diagram is corrected based on the technique according to the present disclosure.
  • the information processing system 1 according to the present embodiment improves the reproducibility of a three-dimensional model (particularly, the reproducibility of edges and corners) and reproduces the three-dimensional shape. It is possible to achieve coexistence with suppression of increase in data volume.
  • technical features of the information processing system 1 according to the present embodiment will be described in more detail.
  • FIG. 3 is a functional block diagram illustrating an example of a functional configuration of the information processing system 1 according to the present embodiment.
  • the information processing system 1 includes a depth sensor 210, a polarization sensor 230, and an information processing apparatus 100.
  • the depth sensor 210 and the polarization sensor 230 are the same as the example described with reference to FIG.
  • the depth sensor 210 is described as being configured as a stereo camera. That is, the depth sensor 210 includes imaging units 210a and 210b that capture images of objects located in real space from different viewpoints.
  • the information processing apparatus 100 includes a depth estimation unit 101, a posture estimation unit 103, a three-dimensional space model integration unit 105, a storage unit 107, a normal estimation unit 109, a geometric feature extraction unit 111, and a correction unit 113. including.
  • the depth estimation unit 101 acquires depth information from the depth sensor 210, and estimates a distance between a predetermined viewpoint and an object located in the real space based on the acquired depth information.
  • the depth estimation unit 101 acquires images captured by the imaging units 210a and 210b from the depth sensor 210, and based on the acquired parallax between the images, the distance between the predetermined viewpoint and the subject A depth map in which the estimation result is mapped on the imaging plane is generated. Then, the depth estimation unit 101 outputs the generated depth map to the three-dimensional space model integration unit 105.
  • the posture estimation unit 103 estimates at least one of the position and posture of the depth sensor 210 in the real space when the depth sensor 210 is configured to be movable.
  • the posture estimation unit 103 may estimate the position and posture of the depth sensor 210 in real space based on a technology such as SLAM.
  • a configuration for realizing the method may be added as appropriate. For example, when estimating the position and orientation of the depth sensor 210 in real space based on SLAM, various sensors for detecting relative changes in the position and orientation of the depth sensor 210 may be provided. Then, the posture estimation unit 103 outputs the estimation result of the position and posture of the depth sensor 210 in the real space to the three-dimensional space model integration unit 105 and the correction unit 113.
  • the depth sensor 210 is fixed at a predetermined position in the real space. In this case, by acquiring in advance information indicating the position of the depth sensor 210 in real space, the position of the depth sensor 210 can be handled as known information. That is, in this case, the posture estimation unit 103 may not be provided.
  • the three-dimensional space model integration unit 105 acquires the generated depth map from the depth estimation unit 101. In addition, the three-dimensional space model integration unit 105 selects at least one of the position and orientation of the depth sensor 210 when acquiring depth information (for example, images captured by the imaging units 201a and 201b) from which the depth map is generated. Information indicating the estimation result is acquired from the posture estimation unit 103. Then, the three-dimensional space model integration unit 105 integrates the acquired depth map as a three-dimensional space model according to the position and orientation of the depth sensor 210 based on the acquired estimation result.
  • depth information for example, images captured by the imaging units 201a and 201b
  • a method for integrating the depth map into the three-dimensional space model As described above, as a method for integrating the depth map into the three-dimensional space model, as described above, a method of expressing the three-dimensional space as an isosurface of the distance field, or a three-dimensional space by a point group of distance estimation results. The method of expressing is mentioned.
  • a TSDF Truncated Signed Distance Function
  • a voxel volume can be used as the three-dimensional space model.
  • the data integrated as a three-dimensional space model is stored in a predetermined storage area.
  • the storage unit 107 is a storage area for storing various data temporarily or permanently. That is, data integrated as a three-dimensional space model may be stored in the storage unit 107.
  • the three-dimensional space model integration unit 105 estimates the three-dimensional shape of the real object based on the three-dimensional space model generated as described above, and causes the storage unit 107 to store information related to the shape estimation result. .
  • the 3D space model integration unit 105 extracts a polygon mesh of a real object that is a shape estimation target based on the 3D space model.
  • f represents a distance field
  • x represents a three-dimensional position.
  • a method such as Poisson Surface Reconstruction or Screened Poisson Surface Reconstruction may be used.
  • a point cloud of features is generated by using the boundary map described above for multiple frames, and a highly accurate polygon mesh is created by applying constraints that pass through the points. It is also possible to generate.
  • the generated polygon mesh corresponds to an example of information related to the estimation result of the three-dimensional shape of the real object.
  • the normal estimation unit 109 acquires the polarization information from the polarization sensor 230, and based on the acquired polarization information, the normal vector on the outer surface of the real object located in the space from which the polarization information is acquired (that is, the real space). Generate a normal map with the distribution mapped.
  • FIG. 4 is an explanatory diagram for explaining an example of data used for estimating the shape of an object in the information processing system 1 according to the present embodiment.
  • the diagram on the left corresponds to an example of a normal map.
  • the normal estimation unit 109 obtains the relationship between the luminance and the polarization angle according to the polarization direction and the luminance of the polarization image based on the polarization image having the polarization direction of three or more directions.
  • the normal estimation unit 109 obtains an azimuth angle by fitting polarization values of three or more polarized lights having different polarization directions to a cosine curve.
  • the normal estimation unit 109 calculates the degree of polarization based on the maximum luminance and the minimum luminance obtained from the relationship between the luminance and the polarization angle, and calculates the degree of polarization calculated based on the characteristic indicating the relationship between the degree of polarization and the zenith angle.
  • the zenith angle corresponding to is determined.
  • the normal estimation unit 109 obtains the maximum and minimum polarization values from the cosine curve, calculates the degree of polarization based on the maximum and minimum values, and calculates the zenith angle according to the degree of polarization. .
  • the normal estimation unit 109 calculates the normal information (that is, the azimuth angle and the zenith angle) of an object in real space (that is, the azimuth angle and the zenith angle) based on a polarization image having three or more polarization directions. A normal map is generated by obtaining each. Then, the normal estimation unit 109 outputs the generated normal map to the geometric feature extraction unit 111.
  • the geometric feature extraction unit 111 acquires the normal map from the normal estimation unit 109, and extracts the portion indicating the geometric feature from the acquired normal map, thereby obtaining the geometric feature of the real object.
  • the geometric feature extraction unit 111 calculates an inner product of a normal at a certain pixel on the normal map and a normal at a pixel located in the vicinity, and determines a pixel whose minimum value is equal to or less than a threshold value. , And extracted as a boundary pixel corresponding to a boundary (for example, an edge or a corner) between the surfaces.
  • the geometric feature extraction unit 111 extracts a boundary pixel from the normal map, thereby generating a boundary map in which the distribution of the boundary pixel is mapped.
  • the diagram shown in the center of FIG. 4 shows an example of a boundary map generated based on the normal map shown as the diagram on the left side of FIG. That is, in the boundary map shown as the center diagram in FIG. 4, the portion of the outer surface of the real object that is assumed to be the boundary between the surfaces (that is, the certainty of the boundary). Is a part that is distinguishable from other parts.
  • the geometric feature extraction unit 111 generates a geometric feature map by extracting boundary segment information from the generated boundary map.
  • a method such as an LCD (line Segment Detector) can be used for extracting the segment information of the boundary.
  • the geometric feature extraction unit 111 may extract a portion corresponding to an edge by approximating the boundary pixel indicated in the boundary map with a line segment.
  • the geometric feature extraction unit 111 recognizes one end point by combining a plurality of end points whose distances are equal to or less than a threshold among end points of line segments corresponding to the edges of the object extracted from the boundary map. To do.
  • FIG. 5 is an explanatory diagram for explaining an outline of processing related to estimation of geometric features of a real object.
  • reference numerals E11 to E13 each schematically indicate a line segment corresponding to an edge extracted from the boundary map.
  • Reference numerals P11 to P13 schematically indicate end points of line segments E11 to E13, respectively. That is, the diagram shown on the left side of FIG. 5 shows an example in which the end points P11 to P13 of the line segments E11 to E13 are located in the vicinity of each other.
  • the geometric feature extraction unit 111 combines the end points P11 to P13 located in the vicinity of each other and recognizes it as one end point P10. As a result, a portion estimated to be the corner of the object is extracted.
  • the geometric feature extraction unit 111 generates a geometric feature map.
  • the diagram on the right side of FIG. 4 corresponds to an example of a geometric feature map generated based on the boundary map shown in the center diagram of FIG. Then, the geometric feature extraction unit 111 outputs the generated geometric feature map and the normal map that is the generation source of the geometric feature map to the correction unit 113.
  • the correction unit 113 acquires information related to the above-described estimation result of the three-dimensional shape of the real object, and corrects the acquired information based on the above-described geometric feature map and normal map.
  • the correction unit 113 extracts information on the estimation result of the three-dimensional shape of the target real object from the storage unit 107.
  • a polygon mesh that reproduces the shape of the real object is extracted as information related to the estimation result of the three-dimensional shape of the real object.
  • the correction unit 113 acquires a geometric feature map and a normal map from the geometric feature extraction unit 111.
  • the correcting unit 113 estimates the boundary between the surfaces of the actual outer surface of the target real object based on the acquired geometric feature map.
  • FIG. 6 is an explanatory diagram for explaining an example of processing for estimating a boundary between surfaces based on a geometric feature map and a normal map.
  • the correction unit 113 projects the end points of the line segment shown on the geometric feature map onto the polygon mesh in accordance with the shooting position corresponding to the geometric feature map.
  • the end point of the feature line corresponding to the line segment is extracted.
  • reference numeral 200 indicates the shooting position, that is, corresponds to the position and orientation of the polarization sensor 230 in real space when a polarization image from which the geometric feature map is generated is shot.
  • Reference numeral D21 indicates a geometric feature map
  • reference numeral D20 indicates a polygon mesh (that is, a shape estimation result) of a target real object.
  • the reference symbol E24 corresponds to the line segment shown in the geometric feature map D21
  • the reference symbols P25 and P26 correspond to the end points of the line segment E24.
  • the correcting unit 113 extends straight lines connecting the photographing position 200 and the end points P25 and P26 toward the polygon mesh D20, and points P28 and P29 at which the straight line and the polygon mesh D20 intersect. Is calculated. That is, the line segment E27 connecting the point P28 and the point P29 on the polygon mesh D20 corresponds to the line segment E24 shown in the geometric feature map D21.
  • the correcting unit 113 uses, as the end points of the feature line corresponding to the line segment E24 on the geometric feature map D21, the vertices that are located closer to the points P28 and P29 among the vertices constituting the polygon mesh D20. Extract. For example, in the example shown in FIG. 6, vertices P21 and P24 are extracted as end points of the feature line.
  • the correcting unit 113 extracts a polyline (that is, one or more sides) connecting the vertices P21 and P24 on the polygon mesh D20, and extracts vertices on the polyline as feature line candidate points.
  • a polyline that is, one or more sides
  • vertices on the polyline For example, in the example shown in FIG. 6, a series of sides E21, E22, and vertices P22 and P23 on E23 connecting the vertices P21 and P24 are extracted as feature line candidate points.
  • each segment of the feature line (for example, sides E21, E22, and E23 shown in FIG. 6) corresponds to a boundary between adjacent surfaces among the actual outer surfaces of the target real object. Can be estimated.
  • the correcting unit 113 corrects the polygon mesh D20 based on the acquired normal map and the estimation result of the boundary between adjacent surfaces of the actual outer surface of the target real object.
  • FIGS. 7 and 8 are explanatory diagrams for explaining an example of processing related to the correction of the polygon mesh D20.
  • the correction unit 113 first projects the center of gravity of each surface including at least a part of the feature line on the normal map in the polygon mesh D20.
  • reference symbol ck indicates the center of gravity of the surface including the side E22 that is at least part of the feature line.
  • Reference symbol D23 indicates a normal map
  • reference symbol u indicates a point on the normal map on which the center of gravity kk is projected (hereinafter also referred to as a “projection point”).
  • the projection point u on the normal map is based on the center of gravity ck and the matrix K corresponding to the positional relationship between the shooting position 200, the normal map D23, and the polygon mesh D20 (Equation 1). ) Is calculated based on the relational expression shown as).
  • the correction unit 113 estimates the normal vector at the projection point u calculated on the normal map as the ideal normal of the surface in the polygon mesh D20 corresponding to the center of gravity kk that is the projection source of the projection point u.
  • reference symbol nk schematically shows an ideal normal of a surface corresponding to the center of gravity ck .
  • the correction unit 113 estimates the ideal normal nk for each surface including at least a part of the feature line in the polygon mesh D20.
  • the correction unit 113 causes the polygon mesh D20 so that the normal of the surface in the polygon mesh D20 approaches the ideal normal nk estimated for the surface. Correct.
  • the correcting unit 113 moves the position of the vertex on the feature line in the polygon mesh D20 to the position p calculated by minimizing an expression shown as (Expression 2) below, thereby the polygon The mesh D20 is corrected.
  • T represents a set of faces including at least a part of the feature line
  • P represents a set of vertices included in the set T.
  • N (i) represents a set of adjacent vertices of p i .
  • P is a subset of P 'is the set of vertices that gives the position constraint
  • v i indicates a constraint position.
  • t k represents an element of T
  • ⁇ represents a weight.
  • W ij represents a weight for calculating the discrete Laplacian.
  • An example of a method for calculating w ij is a cotangent formula.
  • the polygon mesh D20a shown on the left side of FIG. 8 indicates the polygon mesh D20 before correction. Further, the polygon mesh D20b shown in the right side of FIG. 8 shows the corrected polygon mesh D20.
  • a series of sides E21, E22, and E23 correspond to feature lines
  • vertices P22 and P23 correspond to vertices on the feature lines. Therefore, in the example shown in FIG. 8, the correction unit 113 corrects the polygon mesh D20 by moving the positions of the vertices P22 and P23.
  • the vertices P41 to P44 in the polygon mesh D20b correspond to the vertices P21 to P24 in the polygon mesh D20a, respectively.
  • the sides E31, E32, and E33 in the polygon mesh D20b correspond to the sides E21, E22, and E23 in the polygon mesh D20a, respectively.
  • correction unit 113 does not have to perform position correction on vertices other than those on the feature line among the vertices included in the set P.
  • the correction unit 113 corrects information (for example, a polygon mesh) on the estimation result of the three-dimensional shape of the real object based on the acquired geometric feature map and normal map, and the corrected post-correction Information is output as output data to a predetermined output destination.
  • information for example, a polygon mesh
  • a part that acquires various types of information such as information on the estimation result of the three-dimensional shape of the real object, a geometric feature map, and a normal map corresponds to an example of the “acquisition unit”.
  • information (for example, a polygon mesh) regarding the estimation result of the three-dimensional shape of the real object corresponds to an example of “first information”
  • the geometric feature map corresponds to an example of “second information”.
  • the functional configuration of the information processing system 1 described above is merely an example, and the functional configuration of the information processing system 1 according to the present embodiment is not necessarily illustrated in the example illustrated in FIG. 3 as long as each function described above can be realized. It is not limited to.
  • a part of the configuration of the information processing apparatus 100 may be provided outside the information processing apparatus 100. More specifically, in each configuration of the information processing apparatus 100, a part related to integration of a depth map into a three-dimensional space model or a part related to generation of a polygon mesh based on the three-dimensional space model is the information processing apparatus. 100 may be provided outside.
  • each function of the information processing apparatus 100 may be realized by a plurality of apparatuses operating in cooperation.
  • the information processing apparatus 100, the depth sensor 210, and the polarization sensor 230 may be integrally configured.
  • the three-dimensional space model integration unit 105 may directly output information on the estimation result of the three-dimensional shape of the real object to the correction unit 113 without using the storage unit 107. With such a configuration, for example, estimation of a three-dimensional shape of a target real object and correction of the shape estimation result can be executed in real time.
  • FIG. 9 is a flowchart illustrating an example of a flow of a series of processes of the information processing system 1 according to the present embodiment.
  • the information processing apparatus 100 acquires depth information from the depth sensor 210, and based on the acquired depth information, a predetermined viewpoint and an object located in the real space. A depth map in which the estimation result of the distance between them is mapped to the imaging plane is generated.
  • the information processing apparatus 100 (posture estimation unit 103) estimates the position and posture of the depth sensor 210 in real space based on a technology such as SLAM.
  • the information processing apparatus 100 (three-dimensional space model integration unit 105) integrates the generated depth map as a three-dimensional space model according to the position and orientation of the depth sensor 210. Further, the information processing apparatus 100 (three-dimensional space model integration unit 105) extracts a polygon mesh of a real object that is a shape estimation target based on the three-dimensional space model (S101).
  • the information processing apparatus 100 acquires polarization information from the polarization sensor 230, and generates a normal map based on the acquired polarization information (S103).
  • the information processing apparatus 100 (geometric feature extraction unit 111) generates a boundary map by extracting boundary pixels corresponding to a boundary (for example, an edge or a corner) between the surfaces from the normal map. .
  • the information processing apparatus 100 generates a geometric feature map by extracting boundary segment information from the generated boundary map (S103). The details of the processing related to the generation of the normal map, the boundary map, and the geometric feature map are as described above.
  • the information processing apparatus 100 corrects the polygon mesh of the real object that is the target of shape estimation extracted based on the three-dimensional space model based on the generated normal map and geometric feature map (S107). .
  • the details of the processing related to the correction of the polygon mesh are as described above.
  • the information processing apparatus 100 outputs the corrected polygon mesh as output data to a predetermined output destination.
  • an example of a flow of a series of processes of the information processing system 1 according to the present embodiment is particularly related to the estimation of the shape of the real object by the information processing apparatus 100 and the correction of the estimation result.
  • the explanation has been given focusing on the flow of processing.
  • Modification 1 Example of polygon mesh correction method
  • Modification 1 an example of a method of calculating an approximate plane based on the estimation result of the feature line and correcting the position of the vertex on the feature line by using the approximate plane will be described.
  • FIG. 10 is an explanatory diagram for explaining an example of a polygon mesh correction method according to the first modification.
  • the information processing apparatus 100 identifies a feature line by extracting feature line candidate points from a polygon mesh based on a geometric feature map.
  • a series of sides E21, E22, and E23 correspond to feature lines in the polygon mesh D20.
  • the information processing apparatus 100 has a position separated from the midpoint of the line segment E24 corresponding to the feature line on the geometric feature map D21 by a predetermined distance ⁇ in a direction orthogonal to the line segment E24.
  • a circle with a predetermined radius r at the center is calculated.
  • the information processing apparatus 100 calculates a normal vector in each pixel in the calculated circle (that is, a pixel of the geometric feature map D21).
  • the information processing apparatus 100 projects the calculated pixels in the circle onto the polygon mesh D20, and calculates the vertices in the circle projected onto the polygon mesh D20.
  • the information processing apparatus 100 calculates an approximate plane based on the calculated normal and vertex. Two approximate planes are calculated for one feature line.
  • reference signs D41 and D43 schematically indicate approximate planes calculated for feature lines corresponding to a series of sides E21, E22, and E23.
  • the information processing apparatus 100 projects each vertex on the feature line in the polygon mesh D20 onto each of the approximate planes D41 and D43, and corrects the position of each vertex based on the projection result.
  • the information processing apparatus 100 corrects the polygon mesh D20 by executing the above process for each approximate plane calculated for each feature line.
  • the boundary between two approximate planes calculated for one feature line is the distance between two surfaces adjacent to each other on the actual outer surface of the real object that is the shape estimation target. It is estimated that it corresponds to the boundary.
  • Modification 2 Example of polygon mesh correction method
  • Modification 2 Example of polygon mesh correction method
  • FIGS. 11 and 12 are explanatory diagrams for explaining an example of a polygon mesh correction method according to the second modification.
  • the information processing apparatus 100 extracts the feature points by projecting the end points of the line segments shown on the geometric feature map onto the polygon mesh according to the shooting position corresponding to the geometric feature map. To do.
  • the reference symbol P53 indicates the end points of the sides E51, E52, and E53 on the geometric feature map D21.
  • the information processing apparatus 100 extends a straight line connecting the photographing position 200 and the end point P53 toward the polygon mesh D20, and calculates a point P55 where the straight line and the polygon mesh D20 intersect.
  • the information processing apparatus 100 extracts, as the feature point P51, a vertex located closer to the point P55 among the vertices constituting the polygon mesh D20.
  • the information processing apparatus 100 identifies a surface including the extracted feature point among the surfaces constituting the polygon mesh, and projects the center of gravity of the identified surface on the normal map.
  • reference symbol ck indicates the center of gravity of the surface including the feature point P51.
  • Reference symbol P57 indicates a projection point on the normal map D23 on which the center of gravity kk is projected. Since the calculation method of the projection point P57 is the same as the example described above with reference to (Equation 1), detailed description thereof is omitted.
  • the information processing apparatus 100 uses the normal vector at the projection point u calculated on the normal map as the ideal normal of the surface in the polygon mesh D20 corresponding to the center of gravity kk that is the projection source of the projection point u.
  • reference symbol nk schematically shows an ideal normal of the surface corresponding to the center of gravity ck .
  • the information processing apparatus 100 calculates the ideal normal for each surface including the feature point P51 and, based on the calculation result of the ideal normal, at least some of the vertices of the polygon mesh D20.
  • the polygon mesh D20 is corrected by moving the position.
  • the information processing apparatus 100 may move the feature point to the position p calculated by minimizing the above (Equation 2).
  • T represents a set of surfaces including feature points.
  • FIG. 13 is a functional block diagram illustrating a configuration example of the hardware configuration of the information processing apparatus configuring the information processing system according to an embodiment of the present disclosure.
  • the information processing apparatus 900 constituting the information processing system according to the present embodiment mainly includes a CPU 901, a ROM 902, and a RAM 903.
  • the information processing apparatus 900 further includes a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, and a connection port 923. And a communication device 925.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls all or a part of the operation in the information processing apparatus 900 according to various programs recorded in the ROM 902, the RAM 903, the storage apparatus 919, or the removable recording medium 927.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 primarily stores programs used by the CPU 901, parameters that change as appropriate during execution of the programs, and the like. These are connected to each other by a host bus 907 constituted by an internal bus such as a CPU bus.
  • a host bus 907 constituted by an internal bus such as a CPU bus.
  • the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925 are connected to the external bus 911 via an interface 913.
  • the input device 915 is an operation means operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, a lever, and a pedal. Further, the input device 915 may be, for example, remote control means (so-called remote control) using infrared rays or other radio waves, or an external connection device such as a mobile phone or a PDA corresponding to the operation of the information processing device 900. 929 may be used. Furthermore, the input device 915 includes an input control circuit that generates an input signal based on information input by a user using the above-described operation means and outputs the input signal to the CPU 901, for example. A user of the information processing apparatus 900 can input various data and instruct a processing operation to the information processing apparatus 900 by operating the input device 915.
  • the output device 917 is a device that can notify the user of the acquired information visually or audibly. Examples of such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, display devices such as lamps, audio output devices such as speakers and headphones, printer devices, and the like.
  • the output device 917 outputs results obtained by various processes performed by the information processing apparatus 900. Specifically, the display device displays results obtained by various processes performed by the information processing device 900 as text or images.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs the analog signal.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 900.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores programs executed by the CPU 901 and various data.
  • the storage unit 107 illustrated in FIG. 3 can be configured by the storage device 919.
  • the drive 921 is a reader / writer for a recording medium, and is built in or externally attached to the information processing apparatus 900.
  • the drive 921 reads information recorded on a removable recording medium 927 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 903.
  • the drive 921 can also write a record to a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory that is mounted.
  • the removable recording medium 927 is, for example, a DVD medium, an HD-DVD medium, a Blu-ray (registered trademark) medium, or the like.
  • the removable recording medium 927 may be a compact flash (registered trademark) (CF: CompactFlash), a flash memory, an SD memory card (Secure Digital memory card), or the like. Further, the removable recording medium 927 may be, for example, an IC card (Integrated Circuit card) on which a non-contact IC chip is mounted, an electronic device, or the like.
  • CF CompactFlash
  • SD memory card Secure Digital memory card
  • the connection port 923 is a port for directly connecting to the information processing apparatus 900.
  • Examples of the connection port 923 include a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, and the like.
  • As another example of the connection port 923 there are an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, and the like.
  • the communication device 925 is a communication interface configured with, for example, a communication device for connecting to a communication network (network) 931.
  • the communication device 925 is, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communication, or the like.
  • the communication device 925 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet or other communication devices.
  • the communication network 931 connected to the communication device 925 is configured by a wired or wireless network, and may be, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like. .
  • a computer program for realizing each function of the information processing apparatus 900 constituting the information processing system according to the present embodiment as described above can be produced and mounted on a personal computer or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • the number of computers that execute the computer program is not particularly limited.
  • the computer program may be executed by a plurality of computers (for example, a plurality of servers) in cooperation with each other.
  • the information processing apparatus 100 includes information on the estimation result of the shape of an object (real object) in real space (for example, three-dimensional information such as a polygon mesh).
  • the shape model) is corrected based on information (for example, a geometric feature map) regarding the estimation result of the geometric feature of the object.
  • the information processing apparatus 100 converts a polarization image into a geometric feature of a portion that is greatly affected by errors, noise, and the like that occur in distance measurement, such as a portion corresponding to an edge or a corner of the object. Estimated separately by using. Then, the information processing apparatus 100 determines the estimation result of the portion corresponding to the edge or the corner among the estimation results of the shape of the object according to the estimation result of the geometric feature of the portion corresponding to the edge or the corner. Correct.
  • the reproducibility of the shape can be further improved.
  • the information processing system 1 according to the present embodiment it is possible to estimate the geometric feature of the object without depending on the fineness of the space division related to the estimation of the shape of the object. Therefore, according to the information processing system 1 according to the present embodiment, the reproducibility of the three-dimensional shape model (particularly, the reproducibility of the edges and corners) and the data amount for reproducing the three-dimensional shape are improved. It is possible to achieve both the suppression of the increase of.
  • An acquisition unit that acquires first information related to an estimation result of the shape of an object in real space and second information related to an estimation result of a geometric feature of the object;
  • a correction unit that corrects the first information based on the second information;
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the second information includes an estimation result of a boundary between adjacent surfaces of the outer surface of the object. (3) The information processing apparatus according to (2), wherein the boundary is estimated based on a normal map in which a distribution of normal vectors on the outer surface is mapped.
  • the information processing apparatus (4) The information processing apparatus according to (3), wherein the normal map is generated based on a polarization image of the object based on a detection result of each of a plurality of polarizations having different polarization directions.
  • the information processing apparatus (2), wherein the first information includes information related to an estimation result of at least a part of the outer surface.
  • the information on the estimation result of the surface is the information processing apparatus according to (5), including mesh data that defines a surface by a plurality of vertices and sides connecting the plurality of vertices.
  • the information processing unit according to (6), wherein the correction unit corrects the first information by correcting positions of at least some of the plurality of vertices based on the second information. apparatus.
  • the correction unit is Based on the second information, each estimation result of the boundary and two or more end points of the boundary is projected onto the first information, thereby corresponding to each of the two or more end points of the plurality of vertices. Identify one or more sides connecting between the two or more vertices, Correcting the positions of the vertices existing on the one or more specified sides; The information processing apparatus according to (7).
  • the correction unit is By projecting the centroid of each of one or more surfaces including at least some of the specified one or more sides onto a normal map to which the distribution of normal vectors on the outer surface is mapped, Estimating an ideal normal of each of the one or more surfaces according to the normal vector at the point at which the center of gravity is projected, Correcting the positions of the vertices existing on the one or more specified sides based on the normal estimation result;
  • the information processing apparatus according to (8).
  • the correction unit is Based on the second information, an approximate plane including the boundary is estimated, and the approximate plane is projected onto the first information. Correcting the positions of at least some of the plurality of vertices based on the projection result of the approximate plane;
  • the information processing apparatus according to (7).
  • the correction unit is Based on the second information, by projecting the estimation result of the end point of the boundary onto the first information, the vertex corresponding to the point at which the end point is projected among the plurality of vertices is specified, By projecting the centroid of each of the one or more surfaces including the identified vertex to the normal map to which the distribution of normal vectors on the outer surface is mapped, the point at which the centroid on the normal map is projected Estimating an ideal normal of each of the one or more faces according to the normal vector; Correcting the positions of at least some of the plurality of vertices based on the normal estimation result; The information processing apparatus according to (7).

Abstract

【課題】物体の形状の再現に係る再現性の向上と、データ量の増加の抑制とを両立する。 【解決手段】実空間上における物体の形状の推定結果に関する第１の情報と、前記物体の幾何学的特徴の推定結果に関する第２の情報と、を取得する取得部と、前記第２の情報に基づき、前記第１の情報を補正する補正部と、を備える、情報処理装置。

Description

情報処理装置、情報処理方法、及びプログラム
　本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
　近年、画像認識技術の高度化に伴い、デジタルカメラ等のような撮像部により撮像された画像に基づき、実空間上の物体（以降では、「実オブジェクト」とも称する）の位置、姿勢、及び形状等を３次元的に推定（または計測）し、３次元形状のモデルとして再現（再構成）することが可能となってきている。例えば、特許文献１には、撮像部により撮像された画像に基づき実空間上の物体の３次元形状モデルを再現する技術の一例が開示されている。
特開２０１６－７５６３７号公報
　一方で、物体の形状によっては推定が困難なものがある。例えば、物体のエッジや角に相当する部分については、他の部分（例えば、平坦な部分）に比べて形状の推定に係る精度が低下する傾向にあり、３次元形状のモデルの再現性が低下する場合がある。このような場合には、例えば、物体の形状の推定や再現に係る分解能をより向上させることで再現性を向上させることも可能であるが、分解能の向上に伴いデータ量が増大する傾向にある。
　そこで、本開示では、物体の形状の再現に係る再現性の向上と、データ量の増加の抑制とを両立することが可能な、情報処理装置、情報処理方法、及びプログラムを提案する。
　本開示によれば、実空間上における物体の形状の推定結果に関する第１の情報と、前記物体の幾何学的特徴の推定結果に関する第２の情報と、を取得する取得部と、前記第２の情報に基づき、前記第１の情報を補正する補正部と、を備える、情報処理装置が提供される。
　また、本開示によれば、コンピュータが、実空間上における物体の形状の推定結果に関する第１の情報と、前記物体の幾何学的特徴の推定結果に関する第２の情報と、を取得することと、前記第２の情報に基づき、前記第１の情報を補正することと、を含む、情報処理方法が提供される。
　また、本開示によれば、コンピュータに、実空間上における物体の形状の推定結果に関する第１の情報と、前記物体の幾何学的特徴の推定結果に関する第２の情報と、を取得することと、前記第２の情報に基づき、前記第１の情報を補正することと、を実行させる、プログラムが提供される。
　以上説明したように本開示によれば、物体の形状の再現に係る再現性の向上と、データ量の増加の抑制とを両立することが可能な、情報処理装置、情報処理方法、及びプログラムが提供される。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システムの概略的なシステム構成の一例について説明するための説明図である。 同実施形態に係る情報処理システムの概要について説明するための説明図である。 同実施形態に係る情報処理システムの機能構成の一例を示した機能ブロック図である。 同実施形態に係る情報処理システムにおいて、物体の形状の推定に利用されるデータの一例ついて説明するための説明図である。 実オブジェクトの幾何学的な特徴の推定に係る処理の概要について説明するための説明図である。 幾何特徴マップ及び法線マップに基づき面と面との間の境界を推定する処理の一例について説明するための説明図である。 ポリゴンメッシュの補正に係る処理の一例について説明するための説明図である。 ポリゴンメッシュの補正に係る処理の一例について説明するための説明図である。 同実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。 変形例１に係るポリゴンメッシュの補正方法の一例について説明するための説明図である。 変形例２に係るポリゴンメッシュの補正方法の一例について説明するための説明図である。 変形例２に係るポリゴンメッシュの補正方法の一例について説明するための説明図である。 同実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．概略構成
　２．３次元形状のモデルの再現に関する検討
　３．技術的特徴
　　３．１．機能構成
　　３．２．処理
　　３．３．変形例
　４．ハードウェア構成
　５．むすび
　＜＜１．概略構成＞＞
　まず、図１を参照して、本実施形態に係る情報処理システム１の概略的なシステム構成の一例について説明する。図１は、本実施形態に係る情報処理システム１の概略的なシステム構成の一例について説明するための説明図である。
　図１に示すように、本実施形態に係る情報処理システム１は、デプスセンサ２１０と、偏光センサ２３０と、情報処理装置１００とを含む。デプスセンサ２１０及び偏光センサ２３０のそれぞれと、情報処理装置１００とは、例えば、所定のネットワークを介して接続されている。なお、デプスセンサ２１０及び偏光センサ２３０のそれぞれと、情報処理装置１００とを接続するネットワークの種別は特に限定されない。具体的な一例として、当該ネットワークは、ＬＴＥ、Ｗｉ－Ｆｉ（登録商標）等の規格に基づくネットワークのような、所謂無線のネットワークにより構成されていてもよい。また、当該ネットワークは、インターネット、専用線、ＬＡＮ（Local　Area　Network）、または、ＷＡＮ（Wide　Area　Network）等により構成されていてもよい。また、当該ネットワークは、複数のネットワークを含んでもよく、少なくとも一部が有線のネットワークとして構成されていてもよい。
　また、図１において、参照符号ｍ１１１～ｍ１１４は、実空間上に位置する物体（実オブジェクト）を模式的に示している。
　デプスセンサ２１０は、所定の視点と実空間上に位置する物体との間の距離を推定するための情報を取得し、取得した当該情報を情報処理装置１００に送信する。なお、以降の説明では、デプスセンサ２１０により取得される、所定の視点と実空間上に位置する物体との間の距離を推定するための情報を、「深度情報」とも称する。
　例えば、図１に示す例では、デプスセンサ２１０は、複数の撮像部２１０ａ及び２１０ｂを備えた所謂ステレオカメラとして構成されており、当該撮像部２１０ａ及び２１０ｂにより、互いに異なる視点から実空間上に位置する物体の画像を撮像する。この場合には、デプスセンサ２１０は、撮像部２１０ａ及び２１０ｂそれぞれにより撮像された画像を情報処理装置１００に送信することとなる。
　このようにして互いに異なる視点から撮像された複数の画像を利用することで、例えば、当該複数の画像間の視差に基づき、所定の視点（例えば、デプスセンサ２１０の位置）と被写体（即ち、画像中に撮像された実オブジェクト）との間の距離を推定（算出）することが可能となる。そのため、例えば、所定の視点と被写体との間の距離の推定結果が撮像平面にマッピングされた所謂デプスマップを生成することも可能となる。
　なお、所定の視点と実空間上の物体（実オブジェクト）との間の距離を推定すること可能であれば、デプスセンサ２１０に相当する部分の構成や、当該距離の推定に係る方法は特に限定されない。具体的な一例として、マルチカメラステレオ、移動視差、ＴＯＦ（Time　Of　Flight）、Structured　Light等の方式に基づき、所定の視点と実オブジェクトとの間の距離が測定されてもよい。ここで、ＴＯＦとは、被写体（即ち、実オブジェクト）に対して赤外線等の光を投光し、投光した光が当該被写体で反射して戻るまでの時間を画素ごとに測定することで、当該測定結果に基づき被写体までの距離（深度）を含めた画像（即ち、デプスマップ）を得る方式である。また、Structured　Lightは、被写体に対して赤外線等の光によりパターンを照射しそれを撮像することで、撮像結果から得られる当該パターンの変化に基づき、被写体までの距離（深度）を含めたデプスマップを得る方式である。また、移動視差とは、所謂単眼カメラにおいても、視差に基づき被写体までの距離を測定する方法である。具体的には、カメラを移動させることで、被写体を互いに異なる視点から撮像し、撮像された画像間の視差に基づき被写体までの距離を測定する。なお、このとき各種センサによりカメラの移動距離及び移動方向を認識することで、被写体までの距離をより精度良く測定することが可能となる。なお、距離の測定方法に応じて、デプスセンサ２１０の構成（例えば、単眼カメラ、ステレオカメラ等）を変更してもよい。
　偏光センサ２３０は、実空間上に位置する物体で反射した光のうち、所定の偏光方向に偏光された光（以下、単に「偏光」とも称する）を検知し、当該偏光の検知結果に応じた情報を情報処理装置１００に送信する。なお、本実施形態に係る情報処理システム１においては、偏光センサ２３０は、偏光方向が互いに異なる複数の偏光（より好ましくは、３偏光以上）を検知可能に構成されている。また、以降の説明においては、偏光センサ２３０による偏光の検知結果に応じた情報を「偏光情報」とも称する。
　具体的な一例として、偏光センサ２３０は、所謂偏光カメラとして構成されており、所定の偏光方向に偏光された光に基づく偏光画像を撮像する。この場合には、偏光センサ２３０は、撮像した偏光画像を情報処理装置１００に送信することとなる。
　また、偏光センサ２３０は、デプスセンサ２１０による距離を推定するための情報の取得対象となる実空間上の領域と少なくとも一部が重畳する領域（理想的には、略一致する領域）から到来する偏光を撮像可能に保持されるとよい。なお、デプスセンサ２１０及び偏光センサ２３０のそれぞれが所定の位置に固定されている場合には、デプスセンサ２１０及び偏光センサ２３０それぞれの実空間上の位置を示す情報をあらかじめ取得しておくことで、それぞれの位置を既知の情報として扱うことが可能である。
　また、デプスセンサ２１０及び偏光センサ２３０が共通の装置（例えば、ウェアラブルデバイス）に保持されていてもよい。この場合には、例えば、当該装置に対するデプスセンサ２１０及び偏光センサ２３０の相対的な位置関係をあらかじめ算出しておくことで、当該装置の位置及び姿勢に基づきデプスセンサ２１０及び偏光センサ２３０それぞれの位置及び姿勢を推定することが可能となる。
　また、デプスセンサ２１０及び偏光センサ２３０が保持された装置が移動可能に構成されていてもよい。この場合には、例えば、自己位置推定と呼ばれる技術を応用することで、当該装置の実空間上における位置及び姿勢を推定することが可能となる。
　ここで、所定の装置の実空間上における位置及び姿勢を推定する技術のより具体的な一例として、ＳＬＡＭ（simultaneous　localization　and　mapping）と称される技術について説明する。ＳＬＡＭとは、カメラ等の撮像部、各種センサ、エンコーダ等を利用することにより、自己位置推定と環境地図の作成とを並行して行う技術である。より具体的な一例として、ＳＬＡＭ（特に、Ｖｉｓｕａｌ　ＳＬＡＭ）では、撮像部により撮像された動画像に基づき、撮像されたシーン（または、被写体）の３次元形状を逐次的に復元する。そして、撮像されたシーンの復元結果を、撮像部の位置及び姿勢の検出結果と関連付けることで、周囲の環境の地図の作成と、当該環境における撮像部の位置及び姿勢の推定とが行われる。なお、撮像部の位置及び姿勢については、例えば、当該撮像部が保持された装置に加速度センサや角速度センサ等の各種センサを設けることで、当該センサの検出結果に基づき相対的な変化を示す情報として推定することが可能である。もちろん、撮像部の位置及び姿勢を推定可能であれば、その方法は、必ずしも加速度センサや角速度センサ等の各種センサの検知結果に基づく方法のみには限定されない。
　また、デプスセンサ２１０及び偏光センサ２３０のうち少なくとも一方が、他方とは独立して移動可能に構成されていてもよい。この場合には、移動可能に構成されたセンサ自体の実空間上における位置及び姿勢が、上述した自己位置推定の技術等に基づき個別に推定されればよい。
　情報処理装置１００は、デプスセンサ２１０から深度情報を取得し、取得した深度情報に基づき、所定の視点と実オブジェクトとの間の距離を推定し、当該推定結果に基づき当該実オブジェクトの３次元的な形状を再現したモデルを生成する。また、情報処理装置１００は、偏光センサ２３０から偏光情報を取得し、取得した偏光情報に基づき、生成した上記モデルを補正する。なお、当該モデルの生成に係る処理と、当該モデルの補正に係る処理と、それぞれの詳細については別途後述する。
　なお、上述した構成はあくまで一例であり、本実施形態に係る情報処理システム１のシステム構成は、必ずしも図１に示す例のみには限定されない。例えば、前述したように、デプスセンサ２１０及び偏光センサ２３０が、移動可能に構成された装置の一部として一体的に構成されていてもよい。また、デプスセンサ２１０及び偏光センサ２３０と、情報処理装置１００とが一体的に構成されていてもよい。
　以上、図１を参照して、本実施形態に係る情報処理システム１の概略的なシステム構成の一例について説明した。
　＜＜２．３次元形状のモデルの再現に関する検討＞＞
　続いて、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、３次元形状のモデルの再現に係る処理の一例について概要を説明したうえで、本実施形態に係る情報処理システムの課題について整理する。
　まず、実空間上に位置する物体（実オブジェクト）の形状を推定し、当該形状を３次元的に再現したモデルの生成に係る処理の一例について、デプスマップを利用する場合の一例について概要を説明する。
　まず、デプスマップは、撮像部の画角内に位置する実オブジェクトそれぞれと、当該撮像部との間の奥行き方向の距離が、画像平面状に２次元的にマッピングされることで生成される。このようにして生成された１以上のデプスマップが、当該デプスマップを生成するための情報の取得時における撮像部の撮像位置に応じて、３次元空間モデルとして統合される。ここで、３次元空間モデルは、実空間に存在する実オブジェクトの位置、姿勢、及び形状等を３次元的に再現したモデルである。
　デプスマップを３次元空間モデルに統合する手法としては、例えば、所謂Kinect　fusionに代表されるように、距離場の等値面として３次元空間を表現する方法が挙げられる。距離場により３次元空間を表現する手法では、空間がボクセルや多面体に分割されており、それぞれが３次元モデルまでの距離を有している。このボクセルの集合は、ボリュームデータとも称される。即ち、デプスマップ上の各ピクセルと対応するボクセルが有する距離の値を更新していくことにより、時系列に沿ってデプスマップがボクセルボリュームに統合される。なお、このようにして統合された距離場（即ち、３次元空間モデル）から、marching　cubesや、dual　contouring等の手法に基づき、ポリゴンメッシュが、実空間上の物体（即ち、実オブジェクト）の形状を３次元的に再現したモデルとして抽出される。なお、ポリゴンメッシュとは、物体の３次元的な形状を、頂点、辺、及び面の集合として再現したモデルである。
　また、他の一例として、距離の推定結果の点群により３次元空間を表現する方法が挙げられる。なお、点群として３次元空間が表現されている状況下で、実空間の環境をポリゴンメッシュのような面により表現する場合には、点群からメッシュへの変換が必要となる。点群からメッシュへの変換する手法としては、例えば、surface　reconstruction等が挙げられる。
　ポリゴンメッシュの再現度は、空間の分割の細かさに依存し、より再現度の高いポリゴンメッシュを得るためには、データ量がより大きくなる傾向にある。また、複数の視点からのデプスマップが統合される場合には、距離の計測において生じる誤差やノイズ、撮像部の姿勢の推定に係る誤差等により、ポリゴンメッシュとして再現された形状と、対象となる物体の実際の形状との間に誤差が生じる場合がある。特に、エッジ（即ち、２つの面の境界に相当する辺）や角（即ち、３以上の面の境界に相当する点）に相当する部分は、平坦な部分に比べて、上記誤差やノイズ等の影響が大きく、形状の推定に係る精度が低下する傾向にあり、ポリゴンメッシュ（即ち、３次元形状のモデル）の再現性が低下する場合がある。
　例えば、図２は、本実施形態に係る情報処理システム１の概要について説明するための説明図である。図２において、補正前として示した左側の図は、上記手法に基づき生成されたポリゴンメッシュの一例であり、立方体として形成された物体の３次元的な形状の再現結果の一例である。図２の左側の図に示す例では、エッジや角の部分が正しく再現されておらず、当該部分の情報が欠落したモデルが生成されている。
　上述した状況を鑑み、本実施形態に係る情報処理システム１では、偏光センサ２３０により取得された偏光情報に基づき物体の幾何学的な特徴を推定することで、当該推定結果に基づき生成した３次元形状のモデル（例えば、ポリゴンメッシュ）を補正する。例えば、図２において、補正後として示した右側の図は、本開示に係る技術に基づき、左側の図に示したポリゴンメッシュを補正した場合における、補正後の当該ポリゴンメッシュの一例を示している。上述したような構成により、本実施形態に係る情報処理システム１では、３次元形状のモデルの再現性（特に、エッジや角の部分の再現性）の向上と、３次元形状を再現するためのデータ量の増加の抑制との両立を可能とする。以降では、本実施形態に係る情報処理システム１の技術的特徴についてより詳しく説明する。
　＜＜３．技術的特徴＞＞
　以下に、本実施形態に係る情報処理システム１の技術的特徴について説明する。
　　＜３．１．機能構成＞
　まず、図３を参照して、本実施形態に係る情報処理システム１の機能構成の一例について説明する。図３は、本実施形態に係る情報処理システム１の機能構成の一例を示した機能ブロック図である。
　図３に示すように、本実施形態に係る情報処理システム１は、デプスセンサ２１０と、偏光センサ２３０と、情報処理装置１００とを含む。なお、デプスセンサ２１０及び偏光センサ２３０については、図１を参照して説明した例と同様のため、詳細な説明は省略する。また、本説明では、デプスセンサ２１０は、ステレオカメラとして構成されているものとして説明する。即ち、デプスセンサ２１０は、互いに異なる視点から実空間上に位置する物体の画像を撮像する撮像部２１０ａ及び２１０ｂを含む。
　情報処理装置１００は、デプス推定部１０１と、姿勢推定部１０３と、３次元空間モデル統合部１０５と、記憶部１０７と、法線推定部１０９と、幾何特徴抽出部１１１と、補正部１１３とを含む。
　デプス推定部１０１は、デプスセンサ２１０から深度情報を取得し、取得した深度情報に基づき、所定の視点と実空間上に位置する物体との間の距離を推定する。具体的な一例として、デプス推定部１０１は、撮像部２１０ａ及び２１０ｂそれぞれにより撮像された画像をデプスセンサ２１０から取得し、取得した当該画像間の視差に基づき、所定の視点と被写体との間の距離の推定結果が撮像平面にマッピングされたデプスマップを生成する。そして、デプス推定部１０１は、生成したデプスマップを３次元空間モデル統合部１０５に出力する。
　姿勢推定部１０３は、デプスセンサ２１０が移動可能に構成されている場合に、当該デプスセンサ２１０の実空間上における位置及び姿勢のうち少なくともいずれかを推定する。具体的な一例として、姿勢推定部１０３は、ＳＬＡＭ等の技術に基づき、デプスセンサ２１０の実空間上における位置及び姿勢を推定してもよい。なお、デプスセンサ２１０の位置及び姿勢を推定する手法に応じて、当該手法を実現するための構成が適宜追加されてもよい。例えば、ＳＬＡＭに基づきデプスセンサ２１０の実空間上における位置及び姿勢を推定する場合には、当該デプスセンサ２１０の位置や姿勢の相対的な変化を検出するための各種センサが設けられていてもよい。そして、姿勢推定部１０３は、デプスセンサ２１０の実空間上における位置や姿勢の推定結果を３次元空間モデル統合部１０５及び補正部１１３に出力する。
　なお、デプスセンサ２１０が実空間上の所定の位置に固定されている場合も想定され得る。この場合には、デプスセンサ２１０の実空間上の位置を示す情報をあらかじめ取得しておくことで、当該デプスセンサ２１０の位置を既知の情報として扱うことが可能である。即ち、この場合においては、姿勢推定部１０３が設けられていなくてもよい。
　３次元空間モデル統合部１０５は、生成されたデプスマップをデプス推定部１０１から取得する。また、３次元空間モデル統合部１０５は、デプスマップの生成元となる深度情報（例えば、撮像部２０１ａ及び２０１ｂにより撮像された画像）の取得時におけるデプスセンサ２１０の位置及び姿勢のうち少なくともいずれかの推定結果を示す情報を、姿勢推定部１０３から取得する。そして、３次元空間モデル統合部１０５は、取得したデプスマップを、取得した上記推定結果に基づくデプスセンサ２１０の位置や姿勢に応じて、３次元空間モデルとして統合する。なお、デプスマップを３次元空間モデルに統合するための手法としては、前述したように、距離場の等値面として３次元空間を表現する方法や、距離の推定結果の点群により３次元空間を表現する方法が挙げられる。３次元空間モデルとしては、例えば、ボクセルボリューム上のＴＳＤＦ（Truncated　Signed　Distance　Function）を用いることが可能である。
　３次元空間モデルとして統合されたデータは、所定の記憶領域に記憶される。例えば、記憶部１０７は、各種データを、一時的または恒常的に記憶するための記憶領域である。即ち、記憶部１０７に、３次元空間モデルとして統合されたデータが記憶されてもよい。
　また、３次元空間モデル統合部１０５は、上述の通り生成された３次元空間モデルに基づき、実オブジェクトの３次元的な形状を推定し、当該形状の推定結果に関する情報を記憶部１０７に記憶させる。
　具体的には、３次元空間モデル統合部１０５は、３次元空間モデルに基づき、形状推定の対象となる実オブジェクトのポリゴンメッシュを抽出する。より具体的な一例として、３次元空間モデルとしてＴＳＤＦが用いられる場合には、例えば、Marching　Cubesや、Dual　Contouring等の手法を用いて、ｆ（ｘ）＝０の面を抽出することによりポリゴンメッシュを抽出することが可能である。なお、上記関係式において、ｆは距離場、ｘは３次元位置を表す。また、３次元空間モデルが点群の場合には、Poisson　Surface　Reconstructionや、Screened　Poisson　Surface　Reconstruction等の手法が用いられてもよい。ここで、Screened　Poisson　Surface　Reconstructionが用いられる場合には、上述した境界マップを複数フレーム分使うことにより特徴の点群を生成し、当該点を通るような制約をつけることで高精度なポリゴンメッシュを生成することも可能である。なお、生成されたポリゴンメッシュが、実オブジェクトの３次元的な形状の推定結果に関する情報の一例に相当する。
　法線推定部１０９は、偏光センサ２３０から偏光情報を取得し、取得した偏光情報に基づき、偏光情報の取得対象となる空間（即ち、実空間）に位置する実オブジェクトの外面における法線ベクトルの分布がマッピングされた法線マップを生成する。
　例えば、図４は、本実施形態に係る情報処理システム１において、物体の形状の推定に利用されるデータの一例ついて説明するための説明図である。図４に示す各種データのうち、左側に示す図が法線マップの一例に相当する。
　具体的な一例として、法線推定部１０９は、偏光方向が３方向以上の偏光画像を基に、偏光方向と偏光画像の輝度とに応じて輝度と偏光角との関係を求め、最大輝度となる方位角を判別する。具体的には、法線推定部１０９は、偏光方向が互いに異なる３以上の偏光それぞれの偏光値をコサインカーブにフィッティングすることで方位角を求める。次いで、法線推定部１０９は、輝度と偏光角との関係から得られる最大輝度と最小輝度とに基づき偏光度を算出し、偏光度と天頂角の関係を示す特性に基づき、算出した偏光度に対応する天頂角を判別する。具体的には、法線推定部１０９は、コサインカーブから偏光の最大値及び最小値を求め、当該最大値及び最小値に基づき偏光度を算出し、当該偏光度に応じて天頂角を算出する。
　以上のようにして、法線推定部１０９は、偏光方向が３方向以上の偏光画像に基づき、実空間上の物体（実オブジェクト）の法線情報（即ち、方位角及び天頂角）を画素位置ごとに求めることで法線マップを生成する。そして、法線推定部１０９は、生成した法線マップを幾何特徴抽出部１１１に出力する。
　幾何特徴抽出部１１１は、法線推定部１０９から法線マップを取得し、取得した当該法線マップから幾何学的な特徴を示す部分を抽出することで、実オブジェクトの幾何学的な特徴を推定する。具体的な一例として、幾何特徴抽出部１１１は、法線マップ上のあるピクセルにおける法線と、近傍に位置するピクセルにおける法線との内積を計算し、その最小値が閾値以下となるピクセルを、面と面との間の境界（例えば、エッジや角等）に対応する境界ピクセルとして抽出する。このように、幾何特徴抽出部１１１は、法線マップから境界ピクセルを抽出することで、当該境界ピクセルの分布がマッピングされた境界マップを生成する。
　例えば、図４の中央に示す図は、図４の左側の図として示した法線マップに基づき生成された境界マップの一例を示している。即ち、図４の中央の図として示した境界マップには、実オブジェクトの外面のうち、面と面との間の境界であることが推測される部分（即ち、当該境界であることの確からしさが閾値以上の部分）が、他の部分と識別可能に提示されている。
　次いで、幾何特徴抽出部１１１は、生成した境界マップから境界のセグメント情報を抽出することで幾何特徴マップを生成する。なお、境界のセグメント情報の抽出には、例えば、ＬＣＤ（line　Segment　Detector）等の手法を利用することが可能である。これにより、境界マップから、オブジェクトのエッジに相当する部分（線分）を抽出することが可能となる。また、他の一例として、幾何特徴抽出部１１１は、境界マップに示された境界ピクセルを線分で近似することで、エッジに相当する部分を抽出してもよい。
　また、幾何特徴抽出部１１１は、境界マップから抽出したオブジェクトのエッジに相当する線分それぞれの端点のうち、互いの距離が閾値以下となる複数の端点を結合することで、１つの端点として認識する。
　例えば、図５は、実オブジェクトの幾何学的な特徴の推定に係る処理の概要について説明するための説明図である。図５の左側に示す図において、参照符号Ｅ１１～Ｅ１３のそれぞれは、境界マップから抽出されたエッジに相当する線分を模式的に示している。また、参照符号Ｐ１１～Ｐ１３のそれぞれは、線分Ｅ１１～Ｅ１３それぞれの端点を模式的に示している。即ち、図５の左側に示す図は、線分Ｅ１１～Ｅ１３それぞれの端点Ｐ１１～Ｐ１３が、互いに近傍に位置している場合の一例を示している。このような場合には、幾何特徴抽出部１１１は、図５の右側の図に示すように、互いに近傍に位置する端点Ｐ１１～Ｐ１３を結合することで、１つの端点Ｐ１０として認識する。これにより、オブジェクトの角であることが推測される部分が抽出される。
　以上のようにして、幾何特徴抽出部１１１は、幾何特徴マップを生成する。例えば、図４の右側の図は、図４の中央の図に示した境界マップに基づき生成される幾何特徴マップの一例に相当する。そして、幾何特徴抽出部１１１は、生成した幾何特徴マップと、当該幾何特徴マップの生成元となる法線マップとを、補正部１１３に出力する。
　補正部１１３は、上述した実オブジェクトの３次元的な形状の推定結果に関する情報を取得し、取得した当該情報を、上述した幾何特徴マップ及び法線マップに基づき補正する。
　具体的には、補正部１１３は、対象となる実オブジェクトの３次元的な形状の推定結果に関する情報を記憶部１０７から抽出する。なお、以降の説明では、当該実オブジェクトの３次元的な形状の推定結果に関する情報として、当該実オブジェクトの形状を再現したポリゴンメッシュが抽出されるものとして説明する。また、補正部１１３は、幾何特徴抽出部１１１から幾何特徴マップ及び法線マップを取得する。
　次いで、補正部１１３は、取得した幾何特徴マップに基づき、対象となる実オブジェクトの実際の外面における面と面との間の境界を推定する。例えば、図６は、幾何特徴マップ及び法線マップに基づき面と面との間の境界を推定する処理の一例について説明するための説明図である。
　具体的には、まず補正部１１３は、図６に示すように、幾何特徴マップ上に示された線分の端点を、当該幾何特徴マップに対応する撮影位置に応じてポリゴンメッシュ上に投影することで、当該線分に対応する特徴線の端点を抽出する。
　例えば、図６において、参照符号２００は、上記撮影位置を示しており、即ち、幾何特徴マップの生成元となる偏光画像が撮影されたときの偏光センサ２３０の実空間上における位置及び姿勢に相当する。また、参照符号Ｄ２１は、幾何特徴マップを示しており、参照符号Ｄ２０は、対象となる実オブジェクトのポリゴンメッシュ（即ち、形状の推定結果）を示している。また、参照符号Ｅ２４は、幾何特徴マップＤ２１に示された線分に相当し、参照符号Ｐ２５及びＰ２６は、当該線分Ｅ２４の端点に相当する。
　図６に示す例では、補正部１１３は、撮影位置２００と、端点Ｐ２５及びＰ２６それぞれとを結ぶ直線をポリゴンメッシュＤ２０に向けて延伸させ、当該直線とポリゴンメッシュＤ２０とが交差する点Ｐ２８及びＰ２９を算出する。即ち、ポリゴンメッシュＤ２０上の点Ｐ２８と点Ｐ２９とを結ぶ線分Ｅ２７が、幾何特徴マップＤ２１に示された線分Ｅ２４に対応していることとなる。
　次いで、補正部１１３は、ポリゴンメッシュＤ２０を構成する各頂点のうち、上記点Ｐ２８及びＰ２９それぞれのより近傍に位置する頂点を、幾何特徴マップＤ２１上の線分Ｅ２４に対応する特徴線の端点として抽出する。例えば、図６に示す例では、頂点Ｐ２１及びＰ２４が、特徴線の端点として抽出されることとなる。
　次いで、補正部１１３は、ポリゴンメッシュＤ２０上において、頂点Ｐ２１及びＰ２４間を結ぶポリライン（即ち、１以上の辺）を抽出し、当該ポリライン上の頂点を、特徴線の候補点として抽出する。例えば、図６に示す例では、頂点Ｐ２１及びＰ２４間を結ぶ一連の辺Ｅ２１、Ｅ２２、及びＥ２３上の頂点Ｐ２２及びＰ２３が、特徴線の候補点として抽出されることとなる。なお、特徴線の各セグメント（例えば、図６に示す辺Ｅ２１、Ｅ２２、及びＥ２３）は、対象となる実オブジェクトの実際の外面のうち互いに隣接する面と面との間の境界に相当する部分であると推定することが可能である。
　次いで、補正部１１３は、取得した法線マップと、対象となる実オブジェクトの実際の外面のうち互いに隣接する面と面との間の境界の推定結果と、に基づき、ポリゴンメッシュＤ２０を補正する。例えば、図７及び図８は、ポリゴンメッシュＤ２０の補正に係る処理の一例について説明するための説明図である。
　具体的には、補正部１１３は、まず図７に示すように、ポリゴンメッシュＤ２０において、特徴線の少なくとも一部を含む面それぞれについて、当該面の重心を法線マップ上に投影する。
　例えば、図７において、参照符号ｃｋは、特徴線の少なくとも一部である辺Ｅ２２を含む面の重心を示している。参照符号Ｄ２３は、法線マップを示しており、参照符号ｕは、重心ｃｋが投影された当該法線マップ上の点（以下、「投影点」とも称する）を示している。なお、法線マップ上の投影点ｕは、上記重心ｃｋと、撮影位置２００、法線マップＤ２３、及びポリゴンメッシュＤ２０間の位置関係に応じた行列Ｋと、に基づき、以下に（式１）として示す関係式に基づき算出される。
Figure JPOXMLDOC01-appb-M000001
　次いで、補正部１１３は、法線マップ上において算出した投影点ｕにおける法線ベクトルを、当該投影点ｕの投影元となる重心ｃｋに対応するポリゴンメッシュＤ２０中の面の理想法線として推定する。例えば、図７において、参照符号ｎｋは、重心ｃｋに対応する面の理想法線を模式的に示している。
　以上のようにして、補正部１１３は、ポリゴンメッシュＤ２０において、特徴線の少なくとも一部を含む面それぞれについて理想法線ｎｋを推定する。
　次いで、補正部１１３は、特徴線の少なくとも一部を含む面それぞれについて、ポリゴンメッシュＤ２０における当該面の法線が、当該面について推定された理想法線ｎｋにより近づくように、当該ポリゴンメッシュＤ２０を補正する。
　具体的には、補正部１１３は、ポリゴンメッシュＤ２０における特徴線上の頂点の位置を、以下に（式２）として示す式を最小化することで算出される位置pへ移動させることで、当該ポリゴンメッシュＤ２０を補正する。
Figure JPOXMLDOC01-appb-M000002
　なお、上述した（式２）において、Ｔは、特徴線の少なくとも一部を含む面の集合を示しており、Ｐは、当該集合Ｔに含まれる頂点の集合を示している。また、Ｎ（ｉ）はｐｉの隣接頂点の集合を示す。Ｐの部分集合であるＰ’は、位置制約を与える頂点の集合であり、ｖｉは制約位置を示す。また、ｔｋは、Ｔの要素を示しており、λは重みを示している。また、ｗｉｊは、離散ラプラシアンを計算するための重みを示している。ｗｉｊの算出方法としては、例えば、cotangent　formulaが挙げられる。
　例えば、図８の左側の図に示したポリゴンメッシュＤ２０ａは、補正前のポリゴンメッシュＤ２０を示している。また、図８の右側の図に示したポリゴンメッシュＤ２０ｂは、補正後のポリゴンメッシュＤ２０を示している。
　図８に示す例では、一連の辺Ｅ２１、Ｅ２２、及びＥ２３が特徴線に相当し、頂点Ｐ２２及びＰ２３が当該特徴線上の頂点に相当する。そのため、図８に示す例では、補正部１１３は、頂点Ｐ２２及びＰ２３の位置を移動させることでポリゴンメッシュＤ２０を補正する。例えば、ポリゴンメッシュＤ２０ｂにおける頂点Ｐ４１～Ｐ４４は、ポリゴンメッシュＤ２０ａにおける頂点Ｐ２１～Ｐ２４にそれぞれ対応している。また、ポリゴンメッシュＤ２０ｂにおける辺Ｅ３１、Ｅ３２、及びＥ３３は、ポリゴンメッシュＤ２０ａにおける辺Ｅ２１、Ｅ２２、及びＥ２３にそれぞれ対応している。
　なお、補正部１１３は、上記集合Ｐに含まれる頂点のうち、特徴線上の頂点以外の他の頂点については、位置の補正を行わなくてもよい。
　以上のようにして、補正部１１３は、実オブジェクトの３次元的な形状の推定結果に関する情報（例えば、ポリゴンメッシュ）を、取得した幾何特徴マップ及び法線マップに基づき補正し、補正後の当該情報を出力データとして所定の出力先に出力する。
　なお、補正部１１３のうち、実オブジェクトの３次元的な形状の推定結果に関する情報、幾何特徴マップ、及び法線マップ等の各種情報を取得する部分が「取得部」の一例に相当する。また、実オブジェクトの３次元的な形状の推定結果に関する情報（例えば、ポリゴンメッシュ）が「第１の情報」の一例に相当し、幾何特徴マップが「第２の情報」の一例に相当する。
　また、上述した情報処理システム１の機能構成はあくまで一例であり、上述した各機能を実現することが可能であれば、本実施形態に係る情報処理システム１の機能構成は必ずしも図３に示す例には限定されない。例えば、情報処理装置１００の各構成のうち、一部の構成が当該情報処理装置１００の外部に設けられていてもよい。より具体的には、情報処理装置１００の各構成のうち、デプスマップを３次元空間モデルに統合に係る部分や、当該３次元空間モデルに基づきポリゴンメッシュの生成に係る部分が、当該情報処理装置１００の外部に設けられていてもよい。また、他の一例として、情報処理装置１００の各機能が、複数の装置が連携して動作することで実現されてもよい。また、他の一例として、情報処理装置１００、デプスセンサ２１０、及び偏光センサ２３０が一体的に構成されていてもよい。また、他の一例として、３次元空間モデル統合部１０５は、実オブジェクトの３次元的な形状の推定結果に関する情報を、記憶部１０７を介さずに、補正部１１３に直接出力してもよい。このような構成により、例えば、対象となる実オブジェクトの３次元的な形状の推定と、当該形状の推定結果の補正と、をリアルタイムで実行させることも可能となる。
　以上、図３を参照して、本実施形態に係る情報処理システム１の機能構成の一例について説明した。
　　＜３．２．処理＞
　続いて、図９を参照して、本実施形態に係る情報処理システム１の一連の処理の流れの一例について、特に、情報処理装置１００による実オブジェクトの形状の推定と当該推定結果の補正とに係る処理の流れに着目して説明する。図９は、本実施形態に係る情報処理システム１の一連の処理の流れの一例を示したフローチャートである。
　図９に示すように、まず、情報処理装置１００（デプス推定部１０１）は、デプスセンサ２１０から深度情報を取得し、取得した深度情報に基づき、所定の視点と実空間上に位置する物体との間の距離の推定結果が撮像平面にマッピングされたデプスマップを生成する。また、情報処理装置１００（姿勢推定部１０３）は、ＳＬＡＭ等の技術に基づき、デプスセンサ２１０の実空間上における位置及び姿勢を推定する。情報処理装置１００（３次元空間モデル統合部１０５）は、生成したデプスマップを、デプスセンサ２１０の位置や姿勢に応じて３次元空間モデルとして統合する。また、情報処理装置１００（３次元空間モデル統合部１０５）は、３次元空間モデルに基づき、形状推定の対象となる実オブジェクトのポリゴンメッシュを抽出する（Ｓ１０１）。
　また、情報処理装置１００（法線推定部１０９）は、偏光センサ２３０から偏光情報を取得し、取得した当該偏光情報に基づき法線マップを生成する（Ｓ１０３）。次いで、情報処理装置１００（幾何特徴抽出部１１１）は、法線マップから面と面との間の境界（例えば、エッジや角等）に対応する境界ピクセルを抽出することで境界マップを生成する。そして、情報処理装置１００は、生成した境界マップから境界のセグメント情報を抽出することで幾何特徴マップを生成する（Ｓ１０３）。なお、法線マップ、境界マップ、及び幾何特徴マップの生成に係る処理の詳細については前述したとおりである。
　次いで、情報処理装置１００（補正部１１３）は、３次元空間モデルに基づき抽出した形状推定の対象となる実オブジェクトのポリゴンメッシュを、生成した法線マップ及び幾何特徴マップに基づき補正する（Ｓ１０７）。なお、ポリゴンメッシュの補正に係る処理の詳細については前述したとおりである。そして、情報処理装置１００は、補正後のポリゴンメッシュを出力データとして所定の出力先に出力する。
　以上、図９を参照して、本実施形態に係る情報処理システム１の一連の処理の流れの一例について、特に、情報処理装置１００による実オブジェクトの形状の推定と当該推定結果の補正とに係る処理の流れに着目して説明した。
　　＜３．３．変形例＞
　続いて、本実施形態に係る情報処理システム１の変形例について説明する。
　　（変形例１：ポリゴンメッシュの補正方法の一例）
　まず、変形例１として、ポリゴンメッシュの補正方法の他の一例について説明する。変形例１では、特徴線の推定結果に基づき近似平面を算出し、当該近似平面を利用することで当該特徴線上の頂点の位置を補正する方法の一例について説明する。例えば、図１０は、変形例１に係るポリゴンメッシュの補正方法の一例について説明するための説明図である。
　まず、前提として、前述した実施形態と同様に、情報処理装置１００は、幾何特徴マップに基づきポリゴンメッシュから特徴線の候補点を抽出することで、当該特徴線を特定する。なお、図１０に示す例では、一連の辺Ｅ２１、Ｅ２２、及びＥ２３が、ポリゴンメッシュＤ２０における特徴線に相当する。
　次いで、本変形例に係る情報処理装置１００は、幾何特徴マップＤ２１上の特徴線に対応する線分Ｅ２４の中点から、当該線分Ｅ２４に直交する方向に所定の距離εだけ離間した位置を中心とする所定の半径ｒの円を算出する。また、情報処理装置１００は、算出した当該円内のピクセル（即ち、幾何特徴マップＤ２１のピクセル）それぞれにおける法線ベクトルを算出する。次いで、情報処理装置１００は、算出した当該円内のピクセルをポリゴンメッシュＤ２０に投影し、ポリゴンメッシュＤ２０に投影された円内の頂点を算出する。
　情報処理装置１００は、算出した法線及び頂点に基づき近似平面を算出する。なお、１つの特徴線に対して２つの近似平面が算出されることとなる。例えば、図１０に示す例において、参照符号Ｄ４１及びＤ４３は、一連の辺Ｅ２１、Ｅ２２、及びＥ２３に対応する特徴線について算出された近似平面を模式的に示している。
　そして、情報処理装置１００は、ポリゴンメッシュＤ２０における特徴線上の各頂点を、近似平面Ｄ４１及びＤ４３それぞれに投影し、当該投影結果に基づき当該各頂点の位置を補正する。情報処理装置１００は、以上のような処理を、特徴線ごとに算出された近似平面それぞれについて実行することで、ポリゴンメッシュＤ２０を補正する。
　以上のように、本変形例においては、１つの特徴線に対して算出される２つの近似平面間の境界が、形状の推定対象となる実オブジェクトの実際の外面において互いに隣接する２つの面の境界に相当するものと推定されることとなる。
　以上、変形例１として、図１０を参照して、ポリゴンメッシュの補正方法の他の一例について説明した。
　　（変形例２：ポリゴンメッシュの補正方法の一例）
　続いて、変形例２として、ポリゴンメッシュの補正方法の他の一例について説明する。前述した実施形態や変形例では、幾何特徴マップ上の辺に対応するポリゴンメッシュ上の特徴線を特定し、当該特徴線を利用することでポリゴンメッシュを補正する方法の一例について説明した。これに対して、変形例２では、幾何特徴マップ上の辺の端点に対応するポリゴンメッシュ上の頂点を特徴点として特定し、当該特徴点を利用することでポリゴンメッシュを補正する方法の一例について説明する。例えば、図１１及び図１２は、変形例２に係るポリゴンメッシュの補正方法の一例について説明するための説明図である。
　具体的には、情報処理装置１００は、幾何特徴マップ上に示された線分の端点を、当該幾何特徴マップに対応する撮影位置に応じてポリゴンメッシュ上に投影することで、特徴点を抽出する。
　例えば、図１１において、参照符号Ｐ５３は、幾何特徴マップＤ２１上において、辺Ｅ５１、Ｅ５２、及びＥ５３の端点を示している。情報処理装置１００は、撮影位置２００と端点Ｐ５３とを結ぶ直線をポリゴンメッシュＤ２０に向けて延伸させ、当該直線とポリゴンメッシュＤ２０とが交差する点Ｐ５５を算出する。次いで、情報処理装置１００は、ポリゴンメッシュＤ２０を構成する各頂点のうち、上記点Ｐ５５のより近傍に位置する頂点を特徴点Ｐ５１として抽出する。
　次いで、情報処理装置１００は、ポリゴンメッシュを構成する各面のうち、抽出した特徴点を含む面を特定し、特定した当該面の重心を法線マップ上に投影する。
　例えば、図１２において、参照符号ｃｋは、特徴点Ｐ５１を含む面の重心を示している。また、参照符号Ｐ５７は、重心ｃｋが投影された法線マップＤ２３上の投影点を示している。なお、投影点Ｐ５７の算出方法については、（式１）を参照して前述した例と同様のため詳細な説明は省略する。
　次いで、情報処理装置１００は、法線マップ上において算出した投影点ｕにおける法線ベクトルを、当該投影点ｕの投影元となる重心ｃｋに対応するポリゴンメッシュＤ２０中の面の理想法線として推定する。例えば、図１２において、参照符号ｎｋは、重心ｃｋに対応する面の理想法線を模式的に示している。
　以上のようにして、情報処理装置１００は、特徴点Ｐ５１を含む各面について理想法線を算出し、当該理想法線の算出結果に基づき、ポリゴンメッシュＤ２０の頂点のうち少なくとも一部の頂点の位置を移動させることで、当該ポリゴンメッシュＤ２０を補正する。より具体的な一例として、情報処理装置１００は、特徴点を、前述した（式２）を最小化することで算出される位置ｐへ移動させてもよい。ここで、Ｔは、特徴点を含む面の集合を示している。
　以上、変形例２として、図１１及び図１２を参照して、ポリゴンメッシュの補正方法の他の一例について説明した。
　＜＜４．ハードウェア構成＞＞
　続いて、図１３を参照しながら、前述した情報処理装置１００のように、本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一例について、詳細に説明する。図１３は、本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
　本実施形態に係る情報処理システムを構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
　ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。例えば、図３に示すデプス推定部１０１、姿勢推定部１０３、３次元空間モデル統合部１０５、法線推定部１０９、幾何特徴抽出部１１１、及び補正部１１３は、ＣＰＵ９０１により構成され得る。
　ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
　ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。例えば、図３に示す記憶部１０７は、ストレージ装置９１９により構成され得る。
　ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ－ＤＶＤメディア又はＢｌｕ－ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ　ｍｅｍｏｒｙ　ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ　ｃａｒｄ）又は電子機器等であってもよい。
　接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。
　通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
　以上、本開示の実施形態に係る情報処理システムを構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図１３では図示しないが、情報処理システムを構成する情報処理装置９００に対応する各種の構成を当然備える。
　なお、上述のような本実施形態に係る情報処理システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。
　＜＜５．むすび＞＞
　以上説明したように、本実施形態に係る情報処理システム１では、情報処理装置１００は、実空間上における物体（実オブジェクト）の形状の推定結果に関する情報（例えば、ポリゴンメッシュ等のような３次元形状のモデル）を、当該物体の幾何学的特徴の推定結果に関する情報（例えば、幾何特徴マップ）に基づき補正する。具体的には、情報処理装置１００は、当該物体のエッジや角に相当する部分のように、距離の計測において生じる誤差やノイズ等の影響が大きい部分の幾何学的な特徴を、偏光画像を利用することで別途推定する。そして、情報処理装置１００は、エッジや角に相当する部分の幾何学的な特徴の推定結果に応じて、上記物体の形状の推定結果のうち、当該エッジや当該角に相当する部分の推定結果を補正する。
　このような構成により、本実施形態に係る情報処理システム１に依れば、物体の形状を３次元形状のモデル等として再現する場合において、当該形状の再現性をより向上させることが可能となる。また、本実施形態に係る情報処理システム１においては、物体の形状の推定に係る空間の分割の細かさに依存せずに、当該物体の幾何学的特徴を推定することが可能である。そのため、本実施形態に係る情報処理システム１に依れば、３次元形状のモデルの再現性（特に、エッジや角の部分の再現性）の向上と、３次元形状を再現するためのデータ量の増加の抑制と、を両立することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　実空間上における物体の形状の推定結果に関する第１の情報と、前記物体の幾何学的特徴の推定結果に関する第２の情報と、を取得する取得部と、
　前記第２の情報に基づき、前記第１の情報を補正する補正部と、
　を備える、情報処理装置。
（２）
　前記第２の情報は、前記物体の外面のうち隣接する面の境界の推定結果を含む、前記（１）に記載の情報処理装置。
（３）
　前記境界は、前記外面における法線ベクトルの分布がマッピングされた法線マップに基づき推定される、前記（２）に記載の情報処理装置。
（４）
　前記法線マップは、偏光方向が互いに異なる複数の偏光それぞれの検出結果に基づく前記物体の偏光画像に基づき生成される、前記（３）に記載の情報処理装置。
（５）
　前記第１の情報は、前記外面のうち少なくとも一部の面の推定結果に関する情報を含む、前記（２）に記載の情報処理装置。
（６）
　前記面の推定結果に関する情報は、複数の頂点と、当該複数の頂点間を結ぶ辺と、により面を規定するメッシュデータを含む、前記（５）に記載の情報処理装置。
（７）
　前記補正部は、前記第２の情報に基づき、前記複数の頂点のうち少なくとも一部の頂点の位置を補正することで、前記第１の情報を補正する、前記（６）に記載の情報処理装置。
（８）
　前記補正部は、
　前記第２の情報に基づき、前記境界と当該境界の２以上の端点とのそれぞれの推定結果を前記第１の情報に投影することで、前記複数の頂点のうち前記２以上の端点それぞれに対応する２以上の前記頂点間を結ぶ１以上の前記辺を特定し、
　特定した１以上の前記辺上に存在する前記頂点の位置を補正する、
　前記（７）に記載の情報処理装置。
（９）
　前記補正部は、
　特定した１以上の前記辺のうち少なくとも一部の辺を含む１以上の面それぞれ重心を、前記外面における法線ベクトルの分布がマッピングされた法線マップに投影することで、前記法線マップ上の前記重心が投影された点における前記法線ベクトルに応じて当該１以上の面それぞれの理想的な法線を推定し、
　前記法線の推定結果に基づき、特定した１以上の前記辺上に存在する前記頂点の位置を補正する、
　前記（８）に記載の情報処理装置。
（１０）
　前記補正部は、
　前記第２の情報に基づき、前記境界を含む近似平面を推定して、当該近似平面を前記第１の情報に投影し、
　前記近似平面の投影結果に基づき、前記複数の頂点のうち少なくとも一部の頂点の位置を補正する、
　前記（７）に記載の情報処理装置。
（１１）
　前記補正部は、
　前記第２の情報に基づき、前記境界の端点の推定結果を前記第１の情報に投影することで、前記複数の頂点のうち前記端点が投影される点に対応する前記頂点を特定し、
　特定した前記頂点を含む１以上の面それぞれの重心を、前記外面における法線ベクトルの分布がマッピングされた法線マップに投影することで、前記法線マップ上の前記重心が投影された点における前記法線ベクトルに応じて前記１以上の面それぞれの理想的な法線を推定し、
　前記法線の推定結果に基づき、前記複数の頂点のうち少なくとも一部の頂点の位置を補正する、
　前記（７）に記載の情報処理装置。
（１２）
　コンピュータが、
　実空間上における物体の形状の推定結果に関する第１の情報と、前記物体の幾何学的特徴の推定結果に関する第２の情報と、を取得することと、
　前記第２の情報に基づき、前記第１の情報を補正することと、
　を含む、情報処理方法。
（１３）
　コンピュータに、
　実空間上における物体の形状の推定結果に関する第１の情報と、前記物体の幾何学的特徴の推定結果に関する第２の情報と、を取得することと、
　前記第２の情報に基づき、前記第１の情報を補正することと、
　を実行させる、プログラム。
　１　　　情報処理システム
　１００　情報処理装置
　１０１　デプス推定部
　１０３　姿勢推定部
　１０５　次元空間モデル統合部
　１０７　記憶部
　１０９　法線推定部
　１１１　幾何特徴抽出部
　１１３　補正部
　２００　撮影位置
　２００　参照符号
　２１０　デプスセンサ
　２１０ａ、２１０ｂ　撮像部
　２３０　偏光センサ

Claims (13)

  1. 　実空間上における物体の形状の推定結果に関する第１の情報と、前記物体の幾何学的特徴の推定結果に関する第２の情報と、を取得する取得部と、
    　前記第２の情報に基づき、前記第１の情報を補正する補正部と、
    　を備える、情報処理装置。
  2. 　前記第２の情報は、前記物体の外面のうち隣接する面の境界の推定結果を含む、請求項１に記載の情報処理装置。
  3. 　前記境界は、前記外面における法線ベクトルの分布がマッピングされた法線マップに基づき推定される、請求項２に記載の情報処理装置。
  4. 　前記法線マップは、偏光方向が互いに異なる複数の偏光それぞれの検出結果に基づく前記物体の偏光画像に基づき生成される、請求項３に記載の情報処理装置。
  5. 　前記第１の情報は、前記外面のうち少なくとも一部の面の推定結果に関する情報を含む、請求項２に記載の情報処理装置。
  6. 　前記面の推定結果に関する情報は、複数の頂点と、当該複数の頂点間を結ぶ辺と、により面を規定するメッシュデータを含む、請求項５に記載の情報処理装置。
  7. 　前記補正部は、前記第２の情報に基づき、前記複数の頂点のうち少なくとも一部の頂点の位置を補正することで、前記第１の情報を補正する、請求項６に記載の情報処理装置。
  8. 　前記補正部は、
    　前記第２の情報に基づき、前記境界と当該境界の２以上の端点とのそれぞれの推定結果を前記第１の情報に投影することで、前記複数の頂点のうち前記２以上の端点それぞれに対応する２以上の前記頂点間を結ぶ１以上の前記辺を特定し、
    　特定した１以上の前記辺上に存在する前記頂点の位置を補正する、
    　請求項７に記載の情報処理装置。
  9. 　前記補正部は、
    　特定した１以上の前記辺のうち少なくとも一部の辺を含む１以上の面それぞれ重心を、前記外面における法線ベクトルの分布がマッピングされた法線マップに投影することで、前記法線マップ上の前記重心が投影された点における前記法線ベクトルに応じて当該１以上の面それぞれの理想的な法線を推定し、
    　前記法線の推定結果に基づき、特定した１以上の前記辺上に存在する前記頂点の位置を補正する、
    　請求項８に記載の情報処理装置。
  10. 　前記補正部は、
    　前記第２の情報に基づき、前記境界を含む近似平面を推定して、当該近似平面を前記第１の情報に投影し、
    　前記近似平面の投影結果に基づき、前記複数の頂点のうち少なくとも一部の頂点の位置を補正する、
    　請求項７に記載の情報処理装置。
  11. 　前記補正部は、
    　前記第２の情報に基づき、前記境界の端点の推定結果を前記第１の情報に投影することで、前記複数の頂点のうち前記端点が投影される点に対応する前記頂点を特定し、
    　特定した前記頂点を含む１以上の面それぞれの重心を、前記外面における法線ベクトルの分布がマッピングされた法線マップに投影することで、前記法線マップ上の前記重心が投影された点における前記法線ベクトルに応じて前記１以上の面それぞれの理想的な法線を推定し、
    　前記法線の推定結果に基づき、前記複数の頂点のうち少なくとも一部の頂点の位置を補正する、
    　請求項７に記載の情報処理装置。
  12. 　コンピュータが、
    　実空間上における物体の形状の推定結果に関する第１の情報と、前記物体の幾何学的特徴の推定結果に関する第２の情報と、を取得することと、
    　前記第２の情報に基づき、前記第１の情報を補正することと、
    　を含む、情報処理方法。
  13. 　コンピュータに、
    　実空間上における物体の形状の推定結果に関する第１の情報と、前記物体の幾何学的特徴の推定結果に関する第２の情報と、を取得することと、
    　前記第２の情報に基づき、前記第１の情報を補正することと、
    　を実行させる、プログラム。
PCT/JP2018/012015 2017-05-22 2018-03-26 情報処理装置、情報処理方法、及びプログラム WO2018216341A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP18806471.1A EP3633606B1 (en) 2017-05-22 2018-03-26 Information processing device, information processing method, and program
US16/490,151 US11488354B2 (en) 2017-05-22 2018-03-26 Information processing apparatus and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-100739 2017-05-22
JP2017100739A JP2018195241A (ja) 2017-05-22 2017-05-22 情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2018216341A1 true WO2018216341A1 (ja) 2018-11-29

Family

ID=64396659

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/012015 WO2018216341A1 (ja) 2017-05-22 2018-03-26 情報処理装置、情報処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US11488354B2 (ja)
EP (1) EP3633606B1 (ja)
JP (1) JP2018195241A (ja)
WO (1) WO2018216341A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020208976A1 (ja) * 2019-04-08 2020-10-15 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2022019128A1 (ja) * 2020-07-21 2022-01-27 ソニーグループ株式会社 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7241546B2 (ja) * 2019-01-16 2023-03-17 三菱電機株式会社 三次元再構成装置、三次元再構成システム、三次元再構成方法、及び三次元再構成プログラム
JP7439006B2 (ja) * 2021-03-18 2024-02-27 株式会社東芝 距離推定装置及び距離推定方法
JP2023038826A (ja) * 2021-09-07 2023-03-17 トヨタ自動車株式会社 傷害推定システム、傷害推定方法、及び傷害推定プログラム
CN117980959A (zh) * 2021-09-27 2024-05-03 索尼半导体解决方案公司 信息处理装置和信息处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06176107A (ja) * 1992-12-04 1994-06-24 Canon Inc 距離画像処理方法及び装置
JP2015114307A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
JP2016075637A (ja) 2014-10-08 2016-05-12 キヤノン株式会社 情報処理装置およびその方法
WO2017002716A1 (ja) * 2015-07-01 2017-01-05 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理システム、多視点カメラ、および画像処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0600709B1 (en) 1992-12-01 2000-03-29 Canon Kabushiki Kaisha Range-image processing apparatus and method
GB2381429B (en) * 2001-09-28 2005-07-27 Canon Europa Nv 3D computer model processing apparatus
US8737721B2 (en) * 2008-05-07 2014-05-27 Microsoft Corporation Procedural authoring
US8760517B2 (en) * 2010-09-27 2014-06-24 Apple Inc. Polarized images for security
WO2015006224A1 (en) * 2013-07-08 2015-01-15 Vangogh Imaging, Inc. Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis
US10260866B2 (en) * 2015-03-06 2019-04-16 Massachusetts Institute Of Technology Methods and apparatus for enhancing depth maps with polarization cues
CN110168608B (zh) * 2016-11-22 2023-08-29 乐高公司 用于获取物理对象的3维数字表示的系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06176107A (ja) * 1992-12-04 1994-06-24 Canon Inc 距離画像処理方法及び装置
JP2015114307A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
JP2016075637A (ja) 2014-10-08 2016-05-12 キヤノン株式会社 情報処理装置およびその方法
WO2017002716A1 (ja) * 2015-07-01 2017-01-05 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理システム、多視点カメラ、および画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3633606A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020208976A1 (ja) * 2019-04-08 2020-10-15 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US11816854B2 (en) 2019-04-08 2023-11-14 Sony Group Corporation Image processing apparatus and image processing method
WO2022019128A1 (ja) * 2020-07-21 2022-01-27 ソニーグループ株式会社 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体

Also Published As

Publication number Publication date
US11488354B2 (en) 2022-11-01
JP2018195241A (ja) 2018-12-06
US20210407189A1 (en) 2021-12-30
EP3633606B1 (en) 2021-08-25
EP3633606A1 (en) 2020-04-08
EP3633606A4 (en) 2020-05-27

Similar Documents

Publication Publication Date Title
WO2018216341A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US10573018B2 (en) Three dimensional scene reconstruction based on contextual analysis
EP2992508B1 (en) Diminished and mediated reality effects from reconstruction
EP3251090B1 (en) Occlusion handling for computer vision
JP5660648B2 (ja) マルチユーザ拡張現実におけるオンライン参照生成および追跡
US10789765B2 (en) Three-dimensional reconstruction method
US20180218507A1 (en) 3d reconstruction of a human ear from a point cloud
CN110568447A (zh) 视觉定位的方法、装置及计算机可读介质
JP7103357B2 (ja) 情報処理装置、情報処理方法、及びプログラム
TW201118791A (en) System and method for obtaining camera parameters from a plurality of images, and computer program products thereof
JP2011253376A (ja) 画像処理装置、および画像処理方法、並びにプログラム
EP2766875A1 (en) Generating free viewpoint video using stereo imaging
JPWO2016181687A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2020119467A1 (zh) 高精度稠密深度图像的生成方法和装置
CN111480342B (zh) 编码装置、编码方法、解码装置、解码方法和存储介质
WO2015108996A1 (en) Object tracking using occluding contours
CN109247068A (zh) 用于滚动快门补偿的方法和设备
JP2020042772A (ja) 深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム
CN114761997A (zh) 目标检测方法、终端设备和介质
WO2016208404A1 (ja) 情報処理装置および方法、並びにプログラム
CN111882655A (zh) 三维重建的方法、装置、系统、计算机设备和存储介质
KR20230049969A (ko) 글로벌 측위 장치 및 방법
JP6476629B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
TWI785332B (zh) 基於光標籤的場景重建系統
US20210348915A1 (en) Camera information calculation device and system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18806471

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018806471

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018806471

Country of ref document: EP

Effective date: 20200102