WO2018229812A1 - 三次元計測装置、および方法 - Google Patents

三次元計測装置、および方法 Download PDF

Info

Publication number
WO2018229812A1
WO2018229812A1 PCT/JP2017/021587 JP2017021587W WO2018229812A1 WO 2018229812 A1 WO2018229812 A1 WO 2018229812A1 JP 2017021587 W JP2017021587 W JP 2017021587W WO 2018229812 A1 WO2018229812 A1 WO 2018229812A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional
information
point cloud
point group
shape model
Prior art date
Application number
PCT/JP2017/021587
Other languages
English (en)
French (fr)
Inventor
聡 笹谷
誠也 伊藤
亮祐 三木
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to PCT/JP2017/021587 priority Critical patent/WO2018229812A1/ja
Priority to JP2019524550A priority patent/JP6845929B2/ja
Publication of WO2018229812A1 publication Critical patent/WO2018229812A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images

Definitions

  • the present invention relates to a three-dimensional measurement apparatus and method for detecting a target object from point cloud information acquired by a measurement apparatus such as a camera.
  • a measuring device As a measuring device, surveillance cameras, stereo cameras, distance sensors, laser radars, infrared tags, etc. are often used. Among these measuring devices, in particular, the introduction cost for installing a new device is low, and if an existing device can be used, the object detection technology can be applied at a low cost.
  • a method is used to compare the input image with a large amount of sample data (sample image) stored in advance in the database. There is a problem that it is difficult to detect an object when it is significantly different from the sample data.
  • An example of such a technique is an object detection technique using a stereo camera.
  • the object detection is performed by measuring the three-dimensional shape of the object by acquiring the three-dimensional point cloud information within the imaging range using the parallax calculated by comparing the pair of left and right camera images captured by the stereo camera. Execute.
  • the accuracy of the calibration work for obtaining the positional relationship between the left and right cameras is increased.
  • the former method leads to an increase in product development costs, and the latter method leads to an increase in processing load. Therefore, it is difficult to apply an advanced algorithm having a large processing load when detecting an object after parallax calculation. .
  • Patent Document 1 Although an object having a certain straight line or curve such as a floor can correct three-dimensional point cloud information, an object having a complicated shape such as a walking person cannot be corrected and is necessary for object detection. Cannot get 3D point cloud information.
  • an object of the present invention is to provide a three-dimensional measuring apparatus, method, and program capable of acquiring three-dimensional point cloud information necessary for object detection of a complex object such as a walking person. To do.
  • a 3D sensor that obtains a captured image including an object to be measured as 3D information, and 3D point cloud information acquisition that acquires 3D information from the 3D sensor as point cloud information
  • An object point cloud information extraction unit that extracts point cloud information of the measurement target object from the captured image
  • an object shape model database that stores the shape of the target object as an object shape model, the object shape model, and the measurement target
  • Correction parameter calculating means for calculating correction parameters for correcting the coordinates of the point cloud of the object from the point cloud information of the object
  • point cloud information correcting means for correcting the point cloud information of the object to be measured by the correction parameter Is a three-dimensional measuring device characterized by.
  • the present invention also obtains “3D information from a 3D sensor that obtains a captured image including an object to be measured as 3D information as point cloud information, and extracts point cloud information of the object to be measured from the captured image.
  • the shape of the object to be measured is stored as an object shape model, and a correction parameter for correcting the coordinates of the point cloud of the object is calculated from the object shape model and the point cloud information of the object to be measured.
  • the point cloud information of the object to be measured is extracted from the three-dimensional point cloud information of the entire measurement range, and the object shape model and By comparing, the correction parameter of the point cloud information is obtained, and the newly input three-dimensional point cloud information is corrected by the parameter, thereby obtaining the three-dimensional point cloud information with the accuracy required for object detection. Can do.
  • FIG. The figure which shows the view of a process of the object point cloud information extraction part 5 which concerns on Example 1 of this invention.
  • the figure which shows an example of the object shape model data 300 memorize
  • FIG. 10 is a diagram illustrating an example of correction parameters output according to Embodiment 2 of the present invention.
  • FIG. 10 is a diagram illustrating a processing flow of a camera parameter correction unit 112 according to the third embodiment.
  • FIG. 1 is a block diagram showing an example of a three-dimensional measuring apparatus according to Embodiment 1 of the present invention.
  • the three-dimensional measuring apparatus 1 shown in FIG. 1 uses a three-dimensional point group information acquired by using a stereo camera 2 configured by adjoining two cameras 2R and 2L (imaging apparatuses) as an object shape model to be measured. It is an apparatus which correct
  • the image acquisition unit 3 is a function of acquiring an image from the stereo camera 2, and the three-dimensional point group information acquisition unit 4 calculates a three-dimensional point of the measurement range from the information of the image.
  • the object point group information extracting unit 5 is a function for extracting only three-dimensional point group information corresponding to an object to be measured from the three-dimensional point group information
  • a correction parameter calculating unit 6 Is a function of calculating a correction parameter of the point cloud information by comparing the 3D point cloud information of the extracted object and the object shape model, and the point cloud information correction unit 7 uses the calculated correction parameter to This is a function for correcting the point cloud information newly acquired by the point cloud information acquisition unit 4. Details of each function will be described below.
  • the image acquisition unit 3 includes a right image acquisition unit 3R and a left image acquisition unit 3L, and acquires digital image data D2R and D2L from the left and right cameras 2R and 2L constituting the stereo camera 2.
  • the digital image data D2R and D2L acquired by the image acquisition unit 3 from the camera 2 are simply referred to as “captured images”.
  • the digital image data D3R and D3L output from the image acquisition unit 3 are also referred to as “captured images”.
  • the configuration including the stereo camera 2 or the image acquisition unit 3 for obtaining the digital image data D3R and D3L in this way obtains a captured image including the object to be measured within the field of view.
  • the captured image is information that can be grasped as three-dimensional information. From this, it can be said that this functional part constitutes a three-dimensional sensor.
  • this functional part constitutes a three-dimensional sensor.
  • there are various mechanisms and means capable of grasping a captured image including an object to be measured as three-dimensional information and the present invention is not limited to these.
  • FIG. 2 is a diagram illustrating a configuration example of the three-dimensional point cloud information acquisition unit 4 according to the first embodiment of the present invention.
  • the function of the three-dimensional point cloud information acquisition unit 4 using the stereo camera 2 will be described with reference to FIG.
  • the three-dimensional point group information acquisition unit 4 includes a parallax calculation unit 10 that is a function of calculating parallax using the captured images D3R and D3L acquired from the left and right image acquisition units 3R and 3L, and a measurement range based on the calculated parallax. It has a three-dimensional point group coordinate calculation unit 11 that is a function for calculating coordinate values of three-dimensional point group information.
  • FIG. 3 shows examples of images D2R and D2L (D3R and D3L) captured by the stereo camera 2.
  • a person M walking in the field of view of the stereo camera 2 and a tree T as a background that does not basically move are photographed.
  • the captured image D3R of the right image acquisition unit 3R and the captured image D3L of the left image acquisition unit 3L both have the person M and the background tree T in the field of view, but the areas and angles to be viewed are different. .
  • the parallax calculation unit 10 calculates the parallax between the left and right captured images using, for example, a general technique called block matching.
  • a general technique called block matching First, using the captured image D3R acquired from one camera 2R by the image acquisition unit 3R as a reference image, and the captured image D3L acquired from the other camera 2L by the image acquisition unit 3L as a comparison image, the two images D3R and D3L are The parallelization processing is performed so that the objects in the image have the same height when arranged in a row. Next, a small region having a size of, for example, 32 ⁇ 32 images is selected from the reference image D3R.
  • a small area having the same size and the smallest difference from the small area of the reference image D3R is searched in the horizontal direction pixel by pixel from the same position as the small area of the reference image D3R.
  • This horizontal search width is determined as the parallax of a specific pixel (for example, the pixel at the upper left position) in the small area selected in the reference image D3R, and the same processing is performed in all ranges in the reference image D3R.
  • the parallax of all pixels is calculated.
  • a method of calculating the degree of difference between the small regions there is a method such as SAD (sum of squared difference) shown in Equation (1), and the method is not particularly limited. In addition to this example, there is no particular limitation as long as it is a method capable of calculating parallax in two images.
  • T1 is the luminance value of the small region (reference image D3R)
  • T2 is the luminance value of the small region (comparison image D3L)
  • M is the horizontal width of the small region
  • N is the vertical width of the small region
  • (i , J) are coordinates where the lower right is (M-1, N-1) and the upper left is (0, 0).
  • the three-dimensional point group coordinate calculation unit 11 calculates the coordinate value of the point group in the three-dimensional space using the parallax of each pixel obtained by the parallax calculation unit 10 and the camera parameter data 200 stored in the camera parameter database DB1. .
  • the camera coordinates Xc are obtained by equation (2).
  • the camera coordinates Xc indicate coordinates in a three-dimensional space centered on the position of the camera.
  • the equation (2) is used to calculate from the image coordinates. It can be calculated.
  • (u, v) is the image coordinate
  • (u 0 , v 0 ) is the image center
  • b is the baseline length
  • f is the focal length
  • pit is the pixel pitch, of which the baseline length b, It is assumed that the focal length f and the pixel pitch pit are known and are included in the camera parameter 200.
  • the camera coordinates Xc are converted into world coordinates xw by the expression (3).
  • t is a translation vector representing the camera position
  • R is a rotation matrix representing the camera installation angle (posture), and can be calculated from the camera parameters 200.
  • the world coordinate xw obtained by the expression (3) is used as the coordinate value of the three-dimensional point group coordinates acquired by the three-dimensional point group information acquisition unit 4.
  • FIG. 4 is a diagram illustrating the concept of processing of the object point cloud information extraction unit 5 according to the first embodiment of the present invention.
  • an example of coordinate values of the three-dimensional point group coordinates acquired by the three-dimensional point group information acquisition unit 4 of FIG. 2 is shown in accordance with the example of FIG.
  • the person M and the background tree T in FIG. 3 are positioned in the region indicated by the three-dimensional reference image 30.
  • a region including only the background tree T is a three-dimensional background image 32
  • the measurement target is shown here.
  • a three-dimensional image 33 of only the person M is obtained.
  • the object point cloud information extraction unit 5 extracts the three-dimensional point cloud coordinates 33 of only the measurement target (person) not included in the background by the processing of FIG. Specifically, the object point cloud information extraction unit 5 extracts point cloud information corresponding to the measurement target object M from the point cloud information of the entire measurement range of the stereo camera 3 acquired by the three-dimensional point cloud information acquisition unit 4. To do. As a method for selecting an area including the measurement target, as shown in FIG. 4, the difference between the reference image 30 in which the object M to be measured exists and the background image 32 held in advance is taken, and the obtained background difference image 33 is obtained. There is a general method such as a background subtraction method.
  • the point cloud information of the object can be acquired.
  • the object point group information extraction unit 5 is not limited to the background subtraction method.
  • a method of acquiring necessary point cloud information by directly comparing the point cloud information in the three-dimensional space may be used.
  • FIG. 5 is a diagram illustrating a configuration example of the correction parameter calculation unit 6 according to the first embodiment of the present invention.
  • the correction parameter calculation unit 6 will be described with reference to FIG.
  • the correction parameter calculation unit 6 includes a viewpoint conversion image generation unit 40 that generates a viewpoint conversion image from the point group information of the object acquired from the object point group information extraction unit 5, and the generated viewpoint conversion image and the object shape model database DB2.
  • An object shape model comparison unit 41 that compares the acquired object shape model 300 to calculate a correction parameter, and a correction parameter output unit 42 that outputs the calculated correction parameter and passes it to the point group information correction unit 7 are provided.
  • the viewpoint converted image creation unit 40, the object shape model database DB2, and the object shape model comparison unit 41 will be described.
  • the viewpoint conversion image creation unit 40 creates a viewpoint conversion image from the three-dimensional information of the measurement target object M.
  • the three-dimensional information of the measurement target object M is an image of an area including the image area 34 where the measurement target M exists obtained by the object point cloud information extraction unit 5, and this is used as the three-dimensional information of the object. it's shown.
  • FIG. 6 shows an example of a viewpoint conversion image created from the three-dimensional information of the object
  • 51 is a front viewpoint image obtained by viewing the three-dimensional information 50 of the object from the viewpoint Z directly in front of the object
  • 52 is the image of the object.
  • the right side view image 53 is a right side view image viewed from the right view point X
  • 53 is a top view image viewed from the view point Y directly above the object.
  • the viewpoint image is obtained by converting the coordinate values of the three-dimensional point group into two-dimensional image information.
  • the horizontal axis is the x value
  • the vertical axis is the y value
  • the right side viewpoint image 52 In the figure, the horizontal axis represents the z value, the vertical axis represents the y value, and in the directly-upper viewpoint image 53, the horizontal axis represents the x value and the vertical axis represents the z value.
  • a viewpoint conversion image is created from the three-dimensional point cloud coordinates (world coordinates) xw using the expressions (4) to (7).
  • the three-dimensional point group coordinates (world coordinates) xw for the three-dimensional information 50 of the object are expressed by the equation (4)
  • the front viewpoint image 51 is the equation (5)
  • the right side viewpoint image 52 is
  • the expression (6) and the overhead viewpoint image 53 can be expressed by the expression (7), but are not particularly limited to this method.
  • FIG. 7 shows an example of the object shape model data 300 stored in the object shape model database DB2 when the object to be measured is a person.
  • 60 is a list of stored contents of the object shape model database DB2
  • 61, 62, and 63 are a frontal viewpoint point group, right side viewpoint point group of the person M when the three-dimensional point group is dense, Directly above viewpoint point groups are respectively indicated, and 61a, 62a, and 63a respectively indicate a frontal viewpoint point group, a right side viewpoint point group, and an immediately above viewpoint point group of the person M when the three-dimensional point group has a low density.
  • the stereo camera 2 acquires the 3D point cloud information from the parallax value corresponding to each pixel of the reference image, the resolution of the object can be acquired depending on the resolution of the reference image itself and the distance between the stereo camera 2 and the object.
  • the density of point cloud information changes.
  • high-density point cloud information such as 61, 62, and 63 that can clearly distinguish a person's silhouette can be acquired.
  • low-density point cloud information such as 61a, 62a, and 63a where the silhouette of a person becomes coarse can be acquired.
  • an index value of point cloud information for example, there is a method of using equation (8).
  • ⁇ is a normalization constant
  • W is the horizontal width of the captured image
  • H is the vertical width of the captured image
  • D is the distance between the object and the stereo camera 2.
  • Other methods for obtaining the index value of the point cloud information include a method of using the number of point clouds such as measuring the number of point clouds and grouping them according to the total number, but is not particularly limited.
  • the density of the three-dimensional point group is divided into 10 stages from (1) to (10), and the true front viewpoint point group, right side viewpoint point group, and upper right viewpoint point group of the person M are prepared in advance.
  • the number of divisions is not particularly limited, and the number of viewpoints of the point cloud information to be used is not limited to three, and viewpoints other than the front, right side, and directly above are used. Also good.
  • FIG. 7 shows a database when the object to be measured is a person, but the object to be measured is not particularly limited as long as the object shape model can be prepared in advance.
  • FIG. 7 shows a processing flow of the object shape model comparison unit 41.
  • the object shape model comparison unit 41 first, in processing step S1, the position of the object in the three-dimensional space is calculated from the viewpoint conversion image of the object generated by the viewpoint conversion image generation unit 40, and the object calculated in processing step S2 is calculated.
  • the position of the object shape model 300 acquired from the object shape model database DB2 is determined according to the position information.
  • the correction amount is calculated by comparing and fitting the three-dimensional point cloud information of the object and the point cloud information of the object shape model in the viewpoint conversion image, and in processing step S4, the correction amount is most suitable from the correction amount information. Determine the correction parameters.
  • FIG. 9 shows an example of the three-dimensional information of the object and the object shape model in the viewpoint image directly above.
  • a region 53 on the left side in the xZ coordinate shows an example of the viewpoint image 53 directly above in FIG. 6, and an object to be measured is formed by a plurality of point groups positioned by the xZ coordinate.
  • the point group 72 on the xZ coordinate on the right side shows an example of the object shape model 300 acquired from the object shape model database DB2 of FIG.
  • the position information (x1, z1) of the object is calculated from the point group in the overhead viewpoint image 53 for the overhead viewpoint image 53 on the xZ coordinate on the left side of FIG.
  • the point cloud information of the object in the directly above viewpoint image 53 is used to set the average value of each x value and z value to x1, z1, and each x value.
  • the average value of x1 is x1, the z value is close to the average value, and the z value is z1, the x value of the point where the z value is minimum, the z value is x1, z1, etc.
  • the average value of x1 is x1
  • the z value is close to the average value
  • the z value is z1
  • the z value is x1, z1, etc.
  • the object shape model data 300 optimum for the position information of the object obtained in the processing step S1 is acquired from the object shape model database DB2.
  • a corresponding object shape model can be selected by obtaining the distance between the camera and the object from the position information of the object and calculating the point cloud density according to equation (5).
  • a point cloud showing an example of an object shape model extracted in consideration of the point cloud density is 72 on the right side of FIG.
  • each x value of the point cloud information, the average value of the z values, or the average value of each x value and the x value is close to the average value, or the z value that minimizes the value, or z
  • the object shape model 300 is arranged so that the x value and z value of the point having the smallest value coincide with (x1, z1) obtained in the processing step S1.
  • the method of determining the position of the object shape model 300 may be either the same method as in the processing step S1 or a different method, and is not particularly limited.
  • FIG. 9 shows the position information of the object and the position of the object shape model obtained in the processing steps S1 and S2.
  • 53 is an immediately above viewpoint image
  • 71 is an example of position information (x1, z1) of an object on the immediately above viewpoint image 53 obtained in the processing step S1
  • 72 is an example of an object shape model 300
  • 73 is a processing step. It is an example of the point which shows the position of the object shape model calculated
  • the object shape model is arranged so that the points 71 and 73 coincide.
  • FIG. 10 is a diagram for explaining the processing content of the processing step S3 of the object shape model 41 according to the first embodiment of the present invention.
  • Processing step S3 will be described with reference to FIG.
  • FIG. 10 shows some points extracted from the point cloud information of the object and the point cloud information of the object shape model in the viewpoint image 80 immediately above, and 81a, 81b, 81c, 81d, 81e are the point cloud information of the object M. , 82a, 82b, 82c, 82d, and 82e are point group information of the object shape model, and 83 is the direction of the stereo camera 2 viewed from the object M.
  • the accuracy of the parallax decreases as the distance from the camera increases, and the calculation accuracy of the three-dimensional point cloud information calculated from the parallax also decreases. Therefore, in the processing step S3, when fitting the point group information 81a, 81b, 81c, 81d, 81e of the object and the point groups 82a, 82b, 82c, 82d, 82e of the object shape model, the order from the point close to the camera is performed in order. Applying the fitting method to calculate the correction amount.
  • the point cloud information of the object and the object shape model are fitted.
  • Equations (9) and (10) the respective correction amounts in the x-axis direction and the z-axis direction are calculated by the equations (9) and (10) between the associated points 82e and 81e.
  • P x and P z are the x value and the correction amount of the z value
  • xt and zt are the x value of the point of the object shape model
  • z value, xm, and zm are the three-dimensional objects.
  • the x value and z value of the information are shown.
  • a final correction parameter is determined from the correction amount between the points obtained in process step S3.
  • the determination method is particularly limited, such as a method using an average value of the correction amounts P x and P z in the x-axis and z-axis directions as a correction parameter, and a method using the maximum correction amount in each direction as a correction parameter. do not do.
  • the object shape model comparison unit 41 can calculate the correction parameter according to the process flow described above.
  • the same processing steps S1 to S4 are performed on the right-side viewpoint image. This can be done by adapting the processing.
  • processing step S3 there is a method of fitting the point groups by the nearest neighbor search method and optimizing so that the difference in the correction amount between the points in the output x-axis and z-axis directions is minimized.
  • a method for determining the correction parameter in the process step S4 a method of assigning different parameters according to the distance may be used instead of always assigning one parameter to each direction.
  • FIG. 11 is a diagram for supplementarily explaining the processing content of the object shape model 41.
  • the point group information 82a, 82b, 82c, 82d, 82e of the object shape model is the most.
  • Spaces 85a, 85b, and 85c are created by straight lines 84a, 84b, and 84c having equal distances from the point 82e with the point 82e having a small z value as a reference.
  • the correction amounts P x and P z corresponding to each space may be obtained from the point group information in each space in S3, and the correction amount for each space approximated to a quadratic function may be used as the correction parameter.
  • a method of selecting an appropriate object shape model after performing a downsampling process on the point cloud information of the object to reduce the number of point clouds may be used.
  • an object shape model with the same orientation is used.
  • an object shape model with a plurality of orientations is prepared, and the optimal shape is determined by the positional relationship between the object and the 3D measurement device in the 3D space.
  • a method of selecting and using an object shape model with a proper orientation may be used.
  • the point group information correction unit 7 corrects the coordinate value of the three-dimensional point group acquired by the three-dimensional point group information acquisition unit 4 using the correction parameter calculated by the object shape model comparison unit 41 using the equation (11).
  • xw is a three-dimensional point cloud coordinates before correction (world coordinates)
  • X'w is a three-dimensional point group coordinates after correction (world coordinates)
  • P is, x, y, z-axis It is a three-dimensional correction parameter for the component.
  • a viewpoint image is created from point cloud information of an object extracted from a measurement range by the functional configuration described above, and the point cloud information of the object is compared with a previously prepared object shape model on the viewpoint image.
  • the correction parameter is obtained, and the newly input three-dimensional point group information is corrected with the parameter value, whereby the three-dimensional point group information with the accuracy required for object detection can be calculated.
  • parameters for correction in the three directions of the x-axis, y-axis, and z-axis are output as correction parameters for the three-dimensional point group information.
  • a method of correcting only the direction may be used.
  • the object point cloud information extraction unit 5 extracts the 3D point cloud information of the person's head, and compares it with the object shape model of only the person's head prepared in advance.
  • a method of using only part of the information of the object, such as calculating a correction parameter, may be used.
  • FIG. 12 is a block diagram showing an example of the three-dimensional measuring apparatus according to the second embodiment of the present invention.
  • the three-dimensional measurement apparatus 1 shown in FIG. 12 uses the stereo camera 2 adjacent to the two cameras 2R and 2L as in the first embodiment to obtain three-dimensional point group information based on the object shape model to be measured. This is a device that corrects each parameter in the original space using parameters obtained in advance.
  • the point shape information of the measurement target existing in each three-dimensional space is compared with the object shape model, so that each three-dimensional space Correction parameters can be calculated and corrected using the parameters calculated for each space into which the newly input 3D point cloud information is divided.
  • the three-dimensional space division unit 91 has a function of dividing the three-dimensional space in the measurement range into a plurality of regions, and is a function newly added in the second embodiment.
  • the functions of the object point group information extraction unit 5 ′, the correction parameter calculation unit 6 ′, and the point group information correction unit 7 ′ are the same as the object point group information extraction unit 5, the correction parameter calculation unit 6, and the point group information correction unit of the first embodiment.
  • the three-dimensional space dividing unit 91 is divided into a plurality of regions, and is different in that the processing is performed for each of the plurality of divided regions. Yes.
  • the object point group information extraction unit 5 ′ is a function that extracts a point group of an object for each region divided by the three-dimensional space division unit 91
  • the correction parameter calculation unit 6 ′ is a function that calculates a correction parameter for each divided region.
  • the point group information correction unit 7 ′ has a function of correcting the point group information by using the correction parameter calculated by the correction parameter calculation unit 6 ′ for each divided region.
  • FIG. 13 is a diagram for explaining the processing contents of the three-dimensional space division unit 91.
  • FIG. 13 shows an example of a three-dimensional space where a person is present in the upper part, and shows an example of a viewpoint image immediately above the xZ coordinate in the lower part.
  • FIG. 13 shows an example in which the three-dimensional space division unit 91 divides the three-dimensional space in the measurement range into nine regions.
  • 100 indicates a three-dimensional space in the measurement range
  • 101 indicates a person to be measured
  • 102 indicates a floor plane in the three-dimensional space 100
  • 103 indicates a viewpoint image directly above the three-dimensional space 100.
  • the three-dimensional space division unit 91 includes a method of equally dividing a region with reference to the floor plane 102 of the three-dimensional space and a method of equally dividing a region with reference to the overhead viewpoint image 103.
  • a method for dividing a three-dimensional space There is no particular limitation as long as it is a method for dividing a three-dimensional space.
  • the upper-right viewpoint image 103 may be displayed on the display, and the user may divide the region by drawing a straight line or the like using a GUI or the like. Further, when the area is divided, it is not necessary that all the areas have the same size, and the area may be divided into a shape other than a square.
  • FIG. 14 is a diagram illustrating an example of correction parameters output according to the second embodiment of the present invention.
  • the object point group information extracting unit 5 'and the correction parameter calculating unit 6' output correction parameters.
  • the point group information correction unit 7 ′ corrects the three-dimensional point group information newly acquired from the three-dimensional point group information acquisition unit 4 with the correction parameter of each region.
  • a method of extracting point cloud information of an object for each area for example, after installing a camera, a person moves within the measurement range and stops at each center position of the area.
  • a viewpoint image is created from the point group information of the object extracted for each area, and the object point is displayed on the viewpoint image.
  • a correction parameter is obtained by comparing the group information with the object shape model prepared in advance, and it is necessary for object detection by correcting the newly input 3D point group information for each divided area. Accurate 3D point cloud information can be calculated.
  • FIG. 15 is a diagram illustrating a block configuration example of the three-dimensional measurement apparatus according to the third embodiment of the present invention.
  • the three-dimensional measuring apparatus 1 shown in FIG. 15 corrects the camera parameters based on the object shape model to be measured, based on the three-dimensional point group information acquired using the stereo camera 2 adjacent to the two cameras 2R and 2L. Device.
  • it is possible to correct newly input 3D point group information by comparing the object shape model with the point group information of the measurement target existing within the measurement range and correcting the camera parameters acquired in advance. .
  • the camera information extraction unit 111 is a configuration newly added in the third embodiment, and the three-dimensional measuring device 1 such as the focal length and distortion correction coefficient of the camera from the information of the stereo camera 2 adjacent to the two cameras 2R and 2L. This is a function for acquiring a parameter to be corrected by.
  • the camera parameter correction unit 112 is also newly added in the third embodiment, and has a function of correcting the parameter by comparing the point cloud information to be measured with the object shape model.
  • the function of the camera parameter correction unit 112 will be described in detail.
  • FIG. 16 shows a flow of the camera parameter correction unit 112.
  • the camera parameter selected by the camera information extraction unit 111 in the first processing step S10 is acquired, and after performing the processing step S1 and the processing step S2 that are processing of the object shape model comparison unit 41,
  • the processing step S11 the coincidence rate between the object three-dimensional point cloud information and the object shape model point cloud information is calculated.
  • processing step S12 it is determined whether or not the matching rate is equal to or higher than the threshold value. If the matching rate is lower than the threshold value, the process proceeds to processing step S13 to update the camera parameter to create a viewpoint conversion image.
  • the process proceeds to S14 and the latest camera parameters are output.
  • processing step S11 and processing step S13 will be described in detail.
  • the coincidence rate between the object three-dimensional point cloud information and the object shape model point cloud information in the viewpoint conversion image is calculated.
  • the method of calculating the coincidence rate in the case of using the directly-upper viewpoint image as the viewpoint-converted image, the point cloud information of the object and the point cloud information of the object shape model in the immediately-upper viewpoint image are fitted as in the processing step S3. Later, there is a method of calculating by the equations (12) and (13). In addition, there is a method of using the right side viewpoint image and using the y value of the point group for the coincidence rate, and there is no particular limitation as long as the two point groups can be compared with each other.
  • processing step S13 the camera parameters are updated and the coordinate values of the three-dimensional point group are calculated again, and then the viewpoint conversion image used in processing step S1 is created.
  • the parameter to be corrected is a focal length
  • the value of the focal length is updated
  • the camera coordinate Xc is calculated by equation (2)
  • the world coordinate xw of the three-dimensional point group coordinate is obtained from the camera coordinate Xc. is there.
  • the parallax is calculated using block matching.
  • a distortion correction process for correcting lens distortion peculiar to the camera is performed with the reference image and the comparison image.
  • the image coordinates (v, u) are corrected in accordance with the above.
  • camera parameters called camera-specific distortion coefficients are used, and the three-dimensional measuring apparatus 1 can be used as means for correcting the distortion coefficient parameters.
  • the image coordinates (v, u) are corrected by the general distortion correction formula (14), since there are five camera distortion correction parameters, these five parameters are updated and three-dimensional.
  • the display of the image coordinates (v, u) after distortion correction is distinguished by attaching a wave shape symbol above the symbols v, u.
  • k 1 , k 2 , k 3 , p 1 and p 2 are distortion correction parameters.
  • the update width of the camera parameter is not particularly limited, and may be determined based on camera characteristics, empirical rules, or the like.
  • the type of camera parameter to be updated is not particularly limited as long as it is a parameter used when calculating the coordinate value of the three-dimensional point group in the measurement range.
  • the point group information of the object calculated by updating the camera parameters is compared with the point group information of the object shape model prepared in advance, and the degree of coincidence between the point groups is compared.
  • the camera parameters By updating the camera parameters as needed so that the maximum is obtained, it is possible to estimate the camera parameters that can calculate the three-dimensional point cloud information with the accuracy required for object detection.
  • the measurement range is divided into a plurality of three-dimensional spaces in advance, and optimal camera parameters are calculated for each space, so that new three-dimensional point group information is obtained.
  • a method of recalculating the coordinate values of the three-dimensional point group using the optimal camera parameters in each space may be used.
  • the object detection is performed.
  • 3D point cloud information can be acquired with the accuracy required for the processing, so that processing can be performed with high accuracy even in a situation where processing such as object recognition and object tracking is added later.
  • the processing is performed at regular intervals to update the correction parameter of the three-dimensional point group information. It is possible to solve problems such as aging of the measuring device that may occur due to long-time measurement such as monitoring applications.
  • any one of the first, second, and third embodiments is used, not all three-dimensional point group information in the measurement range is corrected, but, for example, a tertiary that exists in a distant measurement range that is a fixed distance away from the measurement device.
  • a means of correcting only the original point cloud information may be used.
  • Example 1 Example 2, and Example 3 demonstrated the case where a stereo camera was utilized as an apparatus which measures three-dimensional information, it is an apparatus which can acquire three-dimensional point cloud information in a measurement range, such as a distance sensor. If there is, it does not specifically limit.

Abstract

歩行する人物のように形状が複雑な物体の物体検出に必要な三次元点群情報を取得できる三次元計測装置、および方法を提供することを目的とする。計測対象の物体を含む撮像画像を三次元情報として得る三次元センサと、三次元センサからの三次元情報を点群情報として取得する三次元点群情報取得部と、撮像画像について計測対象の物体の点群情報を抽出する物体点群情報抽出部と、対象の物体の形状を物体形状モデルとして記憶する物体形状モデルデータベースと、前記物体形状モデルと計測対象の物体の点群情報から、物体の点群の座標を補正する補正パラメータを算出する補正パラメータ算出手段と、補正パラメータにより計測対象の物体の点群情報を補正する点群情報補正手段を有することを特徴とする三次元計測装置。

Description

三次元計測装置、および方法
　本発明は、カメラなどの計測装置が取得した点群情報から対象の物体を検出する三次元計測装置、および方法に関する。
　近年、計測装置が計測した情報を用いて、物体を検出する物体検出技術へのニーズが高まっている。
　計測装置としては、監視カメラ、ステレオカメラ、距離センサ、レーザレーダ、赤外線タグなどが多く活用されている。これらの計測装置のなかでも特に、装置を新設するための導入コストが安く、かつ既設の装置を利用できればコストを抑えて物体検出技術を適用できることから、監視カメラへの期待が高い。しかし、監視カメラからの一般的な画像による物体検出技術では、入力画像と予めデータベースに保存した大量のサンプルデータ（サンプル画像）を比較する手法を採用するため、照明条件などにより物体の見え方がサンプルデータと大きく異なる場合に、物体を検出することが困難となるという問題がある。
　そこで、物体の三次元形状を計測することで、物体を高精度に検出する技術に注目が集まっている。このような技術として、例えば、ステレオカメラを用いた物体検出技術が挙げられる。この技術では、ステレオカメラが撮像した左右一対のカメラ画像を比較して算出した視差により、撮像範囲内の三次元の点群情報を取得することで、物体の三次元形状を計測して物体検出を実行する。この場合に正確な三次元の点群情報を取得するためには、視差を高精度に算出する必要があり、具体的には、左右のカメラ間の位置関係を求めるキャリブレーション作業の精度を上げる、あるいは視差を高密度に算出するといった方法がある。
　しかし、前者の方法では製品の開発コスト増大に繋がり、後者の方法では処理負荷の増大に繋がるため、視差算出後に物体を検出する場合に処理負荷が大きい高度なアルゴリズムを適用することが困難となる。
　そのため、視差の算出精度は上げず三次元の点群情報を直接補正する技術が求められる。例えば、特許文献１では、床などの平面モデルを利用して三次元点群を直線や曲線に当てはめることで、三次元の点群情報を補正している。
特開２００３－２４８８１４号公報
　特許文献１では、床などの一定の直線や曲線を持つ物体であれば三次元点群情報を補正できるものの、歩行する人物のように形状が複雑な物体を補正できず、物体検出に必要な三次元点群情報を取得できない。
　以上のことから本発明においては、歩行する人物のように形状が複雑な物体の物体検出に必要な三次元点群情報を取得できる三次元計測装置、方法、およびプログラムを提供することを目的とする。
　以上のことから本発明においては、「計測対象の物体を含む撮像画像を三次元情報として得る三次元センサと、三次元センサからの三次元情報を点群情報として取得する三次元点群情報取得部と、撮像画像について計測対象の物体の点群情報を抽出する物体点群情報抽出部と、対象の物体の形状を物体形状モデルとして記憶する物体形状モデルデータベースと、前記物体形状モデルと計測対象の物体の点群情報から、物体の点群の座標を補正する補正パラメータを算出する補正パラメータ算出手段と、補正パラメータにより計測対象の物体の点群情報を補正する点群情報補正手段を有することを特徴とする三次元計測装置。」としたものである。
　また本発明は、「計測対象の物体を含む撮像画像を三次元情報として得る三次元センサからの三次元情報を点群情報として取得し、撮像画像について計測対象の物体の点群情報を抽出し、計測対象の物体の形状を物体形状モデルとして記憶し、物体形状モデルと計測対象の物体の点群情報から、物体の点群の座標を補正する補正パラメータを算出し、補正パラメータにより計測対象の物体の点群情報を補正することを特徴とする三次元計測方法。」としたものである。
　以上述べた特徴により本発明の三次元計測装置を適用することで、物体の検出に必要な精度の三次元点群情報を算出できる。
　また本発明の実施例によれば、ステレオカメラのような三次元情報の計測装置において、計測範囲全体の三次元点群情報から計測対象である物体の点群情報を抽出し、物体形状モデルと比較することで、点群情報の補正パラメータを求め、新たに入力された三次元点群情報を前記パラメータにて補正することで、物体の検出に必要な精度の三次元点群情報を取得するができる。
本発明の実施例１に係る三次元計測装置のブロック構成例を示す図。 本発明の実施例１に係る三次元点群情報取得部４の構成例を示す図。 ステレオカメラ２による撮像画像Ｄ２Ｒ、Ｄ２Ｌ（Ｄ３Ｒ、Ｄ３Ｌ）の例を示す図。 本発明の実施例１に係る物体点群情報抽出部５の処理の考え方を示す図。 本発明の実施例１に係る補正パラメータ算出部６の構成例を示す図。 視点変換画像作成部４０により作成された視点変換画像の一例を示す図。 物体形状モデルデータベースＤＢ２に記憶された物体形状モデルデータ３００の一例を示す図。 本発明の実施例１に係る物体形状モデル比較部４１の処理フローを示す図。 物体形状モデル比較部４１の処理ステップＳ１、Ｓ２により求めた物体の位置情報と物体形状モデルの位置の一例を示す図。 本発明の実施例１に係る物体形状モデル４１の処理ステップＳ３の処理内容を説明する図。 物体形状モデル４１の処理内容を補足説明するための図。 本発明の実施例２に係る三次元計測装置のブロック構成例を示す図。 三次元空間分割部９１の処理内容を説明する図。 本発明の実施例２により出力される補正パラメータの一例を示す図。 本発明の実施例３に係る三次元計測装置のブロック構成例を示す図。 実施例３に係るカメラパラメータ補正部１１２の処理フローを示す図。
　以下、本発明の具体的な実施形態について、図面を参照しながら説明する。
　図１は本発明の実施例１に係る三次元計測装置のブロック構成例図である。図１に示す三次元計測装置１は、２台のカメラ２Ｒ、２Ｌ（撮像装置）を隣接して構成されたステレオカメラ２を用いて取得した三次元点群情報を、計測対象の物体形状モデルに基づき事前に求めたパラメータによって補正する装置である。なお、図１の三次元計測装置１における、画像取得部３、三次元点群情報取得部４、物体点群情報抽出部５、補正パラメータ算出部６、点群情報補正部７の各機能は、演算装置、主記憶装置、外部記憶装置を有するカメラ、あるいはカメラとは別に用意した計算機において実現される。
　図１に示す各機能の概要をまず説明すると、画像取得部３はステレオカメラ２から画像を取得する機能であり、三次元点群情報取得部４は前記画像の情報から計測範囲の三次元点群情報を算出する機能であり、物体点群情報抽出部５は前記三次元点群情報から計測対象となる物体に対応する三次元点群情報のみを抽出する機能であり、補正パラメータ算出部６は前記抽出した物体の三次元点群情報と物体形状モデルを比較することで点群情報の補正パラメータを算出する機能であり、点群情報補正部７は算出した補正パラメータを用いて、三次元点群情報取得部４により新たに取得された点群情報を補正する機能である。以下、各機能の詳細について説明する。
　画像取得部３は、右画像取得部３Ｒと左画像取得部３Ｌから構成され、ステレオカメラ２を構成する左右のカメラ２Ｒ、２Ｌからデジタル画像データＤ２Ｒ、Ｄ２Ｌを取得する。以下の説明では、画像取得部３がカメラ２から取得するデジタル画像データＤ２Ｒ、Ｄ２Ｌを単に「撮像画像」と呼ぶ。また画像取得部３が出力するデジタル画像データＤ３Ｒ、Ｄ３Ｌも「撮像画像」と呼ぶものとする。
　このようにしてデジタル画像データＤ３Ｒ、Ｄ３Ｌを得るためのステレオカメラ２、あるいはさらには画像取得部３を含む構成は、その視野内に計測対象の物体を含む撮像画像を得るものであり、得られた撮像画像は三次元情報として把握可能な情報である。このことから、この機能部分は三次元センサを構成したものということができる。なお、計測対象の物体を含む撮像画像を三次元情報として把握可能な機構、手段は、上記以外に種々のものがあり、本発明はこれらに限定されるものではない。
　図２は、本発明の実施例１に係る三次元点群情報取得部４の構成例を示す図である。図２を用いて、ステレオカメラ２を利用した三次元点群情報取得部４の機能について説明する。三次元点群情報取得部４は、左右の画像取得部３Ｒ、３Ｌからそれぞれ取得した撮像画像Ｄ３Ｒ、Ｄ３Ｌを用いて視差を算出する機能である視差算出部１０と、算出した視差から計測範囲の三次元点群情報の座標値を計算する機能である三次元点群座標算出部１１を持つ。
　図３は、ステレオカメラ２による撮像画像Ｄ２Ｒ、Ｄ２Ｌ（Ｄ３Ｒ、Ｄ３Ｌ）の例を示している。この撮影事例では、ステレオカメラ２の視野内に歩行する人物Ｍと基本的に移動しない背景としての木Ｔが撮影されている。また右画像取得部３Ｒの撮像画像Ｄ３Ｒと左画像取得部３Ｌの撮像画像Ｄ３Ｌは、いずれも人物Ｍと背景の木Ｔを視野内に入れているものの、視認する領域や角度は相違している。
　視差算出部１０では、例えばブロックマッチングという一般的な手法を利用して左右の撮影画像間の視差を算出する。まず、画像取得部３Ｒにより一方のカメラ２Ｒから取得した撮像画像Ｄ３Ｒを基準画像、画像取得部３Ｌにより他方のカメラ２Ｌから取得した撮像画像Ｄ３Ｌを比較画像として、２枚の画像Ｄ３Ｒ、Ｄ３Ｌを左右に並べた場合に画像内の物体が同じ高さになるよう平行化処理を実施する。次に、基準画像Ｄ３Ｒから例えば３２×３２画像の大きさの小領域を選定する。そして、比較画像Ｄ３Ｌにおいて、基準画像Ｄ３Ｒの小領域と相違度が最小となる同一の大きさの小領域を、基準画像Ｄ３Ｒの小領域と同じ位置から１画素ずつ水平方向に探索する。この水平方向の探索幅を、基準画像Ｄ３Ｒにて選定した小領域内の特定の画素（例えば左上の位置にある画素）の視差として決定し、基準画像Ｄ３Ｒ内の全ての範囲で同一の処理を適応することで、全画素の視差を算出する。なお、小領域の相違度を計算する方法としては、（１）式に示すＳＡＤ（ｓｕｍ　ｏｆ　ｓｑｕａｒｅｄ　ｄｉｆｆｅｒｅｎｃｅ）などの方法があり、特に限定しない。また、本例以外にも２枚の画像における視差を算出可能な方法であれば、特に限定しない。
Figure JPOXMLDOC01-appb-M000001
 　なお（１）式において、Ｔ１は小領域（基準画像Ｄ３Ｒ）の輝度値、Ｔ２は小領域（比較画像Ｄ３Ｌ）の輝度値、Ｍは小領域の横幅、Ｎは小領域の縦幅、（ｉ、ｊ）は右下を（Ｍ－１、Ｎ－１）とし、左上を（０、０）とする座標である。
　三次元点群座標算出部１１は、視差算出部１０により求めた各画素の視差とカメラパラメータデータベースＤＢ１に記憶されたカメラパラメータデータ２００を用いて三次元空間内の点群の座標値を計算する。まず、算出した視差ｄと、カメラの撮影した画像上に設置した座標である画像座標（ｖ、ｕ）を用いて、（２）式によりカメラ座標Ｘｃを求める。ここでカメラ座標Ｘｃとは、カメラの位置を中心とした三次元空間内の座標を示しており、スキューがなく、アスペクト比を１と仮定した場合では（２）式を用いて画像座標から算出できる。
Figure JPOXMLDOC01-appb-M000002
 　なお（２）式において、（ｕ、ｖ）は画像座標、（ｕ０、ｖ０）は画像中心、ｂは基線長、ｆは焦点距離、ｐｉｔは画素ピッチであり、このうち基線長ｂ、焦点距離ｆ、画素ピッチｐｉｔは、既知でありカメラパラメータ２００に含まれているものとする。
　次に、（３）式によりカメラ座標Ｘｃを世界座標ｘｗに変換する。
Figure JPOXMLDOC01-appb-M000003
 　なお（３）式において、ｔはカメラ位置を表す並進ベクトル、Ｒはカメラの設置角度（姿勢）を表す回転行列であり、カメラパラメータ２００から算出可能である。本実施例では、（３）式によって求めた世界座標ｘｗを三次元点群情報取得部４により取得される三次元点群座標の座標値とする。
　図４は本発明の実施例１に係る物体点群情報抽出部５の処理の考え方を示す図である。ここでは図２の三次元点群情報取得部４により取得される三次元点群座標の座標値の例が、図３の例に則して示されている。図３の人物Ｍと背景の木Ｔは、三次元の基準画像３０が示す領域内に位置付けられている。これに対し、背景の木Ｔのみを含む領域を想定したものが三次元の背景画像３２であり、三次元の基準画像３０から三次元の背景画像３２を除外したとすると、ここには計測対象である人物Ｍのみの三次元の画像３３が得られることになる。
　物体点群情報抽出部５においては、図４の処理により背景に含まれない計測対象（人物）のみの三次元点群座標３３を抽出する。具体的には物体点群情報抽出部５は、三次元点群情報取得部４によって取得したステレオカメラ３の計測範囲全体の点群情報から、計測対象の物体Ｍに対応する点群情報を抽出する。計測対象が含まれる領域の選定方法としては、図４のように、計測対象である物体Ｍが存在する基準画像３０と予め保持した背景画像３２の差分を取り、求めた背景差分の画像３３を活用するといった背景差分法などの一般的な手法がある。背景差分法などにより求めた背景差分の画像３３について、計測対象Ｍが存在する画像領域３４を求め、画像領域３４内の各画素の視差から計算した三次元点群情報のみを抽出することで、物体の点群情報を取得できる。
　なお、物体点群情報抽出部５は背景差分法のみに限らず、例えば画像の特徴量抽出や視差の値などにより基準画像内から物体の領域を決定する方法、物体が存在する場合と存在しない場合の三次元空間の点群情報を直接比較することで必要な点群情報を取得する方法などでも良い。
　図５は、本発明の実施例１に係る補正パラメータ算出部６の構成例を示す図である。図５を用いて補正パラメータ算出部６について説明する。
　補正パラメータ算出部６は、物体点群情報抽出部５から取得した物体の点群情報から視点変換画像を作成する視点変換画像作成部４０と、作成した前記視点変換画像と物体形状モデルデータベースＤＢ２より取得した物体形状モデル３００を比較して補正パラメータを計算する物体形状モデル比較部４１と、計算した前記補正パラメータを出力して点群情報補正部７に受け渡す補正パラメータ出力部４２を備える。以下、視点変換画像作成部４０、物体形状モデルデータベースＤＢ２、物体形状モデル比較部４１について説明する。
　視点変換画像作成部４０は計測対象の物体Ｍの三次元情報から視点変換画像を作成する。ここで、計測対象の物体Ｍの三次元情報とは、物体点群情報抽出部５において求めた計測対象Ｍが存在する画像領域３４を含む領域の画像であり、これを物体の三次元情報として表示している。
　図６は物体の三次元情報から作成した視点変換画像の一例を示しており、５１は物体の三次元情報５０を物体に対して真正面の視点Ｚから見た正面視点画像、５２は物体に対して右側面の視点Ｘから見た右側面視点画像、５３は物体に対して真上の視点Ｙから見た直上視点画像である。図６のように、視点画像は三次元点群の座標値を二次元の画像情報に変換しており、正面視点画像５１では横軸がｘ値、縦軸がｙ値、右側面視点画像５２では横軸がｚ値、縦軸がｙ値、直上視点画像５３では横軸がｘ値、縦軸がｚ値を示している。
　本実施例では、（４）式から（７）式を利用して、三次元点群座標（世界座標）ｘｗから視点変換画像を作成する。なお物体の三次元情報５０についての三次元点群座標（世界座標）ｘｗは（４）式で表現され、視点変換画像のうち、正面視点画像５１は（５）式、右側面視点画像５２は（６）式、直上視点画像５３は（７）式により表現することができるが、特に本手法に限定されるものでは無い。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
 　図７は計測対象の物体が人物の場合における、物体形状モデルデータベースＤＢ２に記憶された物体形状モデルデータ３００の一例を示している。
　図７において、６０は物体形状モデルデータベースＤＢ２の記憶内容の一覧表であり、６１、６２、６３は三次元点群が高密度な場合における人物Ｍの真正面視点点群、右側面視点点群、直上視点点群をそれぞれ示し、６１ａ、６２ａ、６３ａは三次元点群が低密度な場合における人物Ｍの真正面視点点群、右側面視点点群、直上視点点群をそれぞれ示している。
　ステレオカメラ２では基準画像の各画素に対応する視差の値から三次元点群情報を取得するため、基準画像自体の解像度やステレオカメラ２と物体の距離によって、物体の解像度が変化し取得可能な点群情報の密度が変化する。
　例えば、基準画像の解像度が高い場合やステレオカメラ２と物体Ｍとの距離が短い場合は、６１、６２、６３のような人のシルエットがはっきり判別できる高密度な点群情報を取得でき、基準画像の解像度が低い場合やステレオカメラ２と物体との距離が長い場合は、６１ａ、６２ａ、６３ａのような人のシルエットが粗くなる低密度な点群情報を取得できる。
　点群情報の指標値としては例えば（８）式を利用する方法がある。なお（８）式においてαは正規化定数、Ｗは撮影画像の横幅、Ｈは撮影画像の縦幅、Ｄは物体とステレオカメラ２との間の距離である。その他点群情報の指標値を得る手法としては、点群の数を計測しその合計数に応じてグループ化するなどの点群数を利用する方法などがあるが、特に限定するものではない。
Figure JPOXMLDOC01-appb-M000008
 　なお図７では、三次元点群の密度を（１）から（１０）までの１０段階に分割して、人物Ｍの真正面視点点群、右側面視点点群、直上視点点群を予め準備した例を示しているが、特に分割数などは限定しないものとし、使用する点群情報の視点数についても３つに限定されるものでなく、真正面、右側面、直上以外の視点を使用しても良い。また、図７では計測対象の物体を人物とした場合のデータベースについて示したが、物体形状モデルを予め用意できる物体であれば計測対象の物体は特に限定されない。
　図７に物体形状モデル比較部４１の処理フローを示す。物体形状モデル比較部４１では、まず処理ステップＳ１において、視点変換画像作成部４０により作成した物体の視点変換画像から物体の三次元空間上での位置を算出し、処理ステップＳ２において算出した物体の位置情報に応じて物体形状モデルデータベースＤＢ２から取得した物体形状モデル３００の位置を決定する。そして処理ステップＳ３において、視点変換画像における物体の三次元点群情報と物体形状モデルの点群情報を比較してフィッティングすることで補正量を算出し、処理ステップＳ４において補正量の情報から最も適した補正パラメータを決定する。
　以下、上記の各処理ステップＳ１からＳ４によって、直上視点画像における物体の三次元情報と物体形状モデルをフィッティングさせて補正パラメータを出力する例について説明する。図９は、直上視点画像における物体の三次元情報と物体形状モデルの例を示している。図９において左側のｘ－Ｚ座標上の領域５３は図６の直上視点画像５３の一例を示しており、ｘ－Ｚ座標により位置づけられた複数の点群により計測対象の物体が形成されている。図９において右側のｘ－Ｚ座標上の点群７２は、図５の物体形状モデルデータベースＤＢ２から取得した物体形状モデル３００の一例を示している。
　図８の処理ステップＳ１では、図９左側のｘ－Ｚ座標上の直上視点画像５３について、直上視点画像５３内の点群から物体の位置情報（ｘ１、ｚ１）を計算する。物体の位置情報（ｘ１、ｚ１）の計算方法としては、直上視点画像５３の物体の点群情報を活用して、各ｘ値、ｚ値の平均値をｘ１、ｚ１とする方法、各ｘ値の平均値をｘ１としｘ値が平均値に近く値が最小となるｚ値をｚ１とする方法、ｚ値が最小となる点のｘ値、ｚ値をｘ１、ｚ１とする方法などがあり、特に限定するものではない。
　図８の処理ステップＳ２では、まず処理ステップＳ１によって求めた物体の位置情報に対して最適な物体形状モデルデータ３００を物体形状モデルデータベースＤＢ２より取得する。取得方法としては、物体の位置情報からカメラと物体の距離を求めて（５）式により点群密度を算出することで、該当する物体形状モデルを選定できる。点群密度を考慮して抽出された物体形状モデルの一例を示す点群が図９右側の７２である。
　そして、選定した物体形状モデル３００において、例えば点群情報の各ｘ値、ｚ値の平均値、あるいは各ｘ値の平均値かつｘ値が平均値に近く値が最小となるｚ値、あるいはｚ値が最小となる点のｘ値、ｚ値を処理ステップＳ１で求めた（ｘ１、ｚ１）と一致するよう物体形状モデル３００を配置する。なお、物体形状モデル３００の位置を決める方法としては、処理ステップＳ１と同様の手法あるいは異なる手法のどちらでも良く、特に限定しない。
　図９では処理ステップＳ１、Ｓ２により求めた物体の位置情報と物体形状モデルの位置を示している。図９において、５３は直上視点画像、７１は処理ステップＳ１により求めた直上視点画像５３上での物体の位置情報（ｘ１、ｚ１）の一例、７２は物体形状モデル３００の一例、７３は処理ステップＳ２により求めた物体形状モデルの位置を示す点の一例である。処理ステップＳ２では、点７１と点７３が一致するように物体形状モデルを配置する。
　図１０は、本発明の実施例１に係る物体形状モデル４１の処理ステップＳ３の処理内容を説明する図である。図１０を用いて処理ステップＳ３について説明する。図１０は直上視点画像８０において、物体の点群情報と物体形状モデルの各点群情報からいくつか抜粋した点を示しており、８１ａ、８１ｂ、８１ｃ、８１ｄ、８１ｅは物体Ｍの点群情報、８２ａ、８２ｂ、８２ｃ、８２ｄ、８２ｅは物体形状モデルの点群情報、８３は物体Ｍから見たステレオカメラ２の方向である。
　ステレオカメラ２では性質上、カメラより遠方になるほど視差の精度が下がり、視差から計算される三次元点群情報の算出精度も低下する。そのため、処理ステップＳ３では、物体の点群情報８１ａ、８１ｂ、８１ｃ、８１ｄ、８１ｅと物体形状モデルの点群８２ａ、８２ｂ、８２ｃ、８２ｄ、８２ｅ同士をフィッティングさせる際に、カメラに近い点から順番にフィッティングする手法を適応し、補正量を算出する。
　具体的には、まず物体の点群情報８１ａ、８１ｂ、８１ｃ、８１ｄ、８１ｅの内最もカメラと最近傍の位置にある８１ｅに対して、カメラ方向８３の向きにフィッティングされていない物体形状モデルの点が存在するかを探索する。存在する場合は該当の点と８１ｅを対応付けることとし、存在しない場合は、ｚ値が小さい点の中でｘ値における相対距離が最も小さい点と８１ｅを対応付ける。これを全ての物体の点群に適応することで、物体の点群情報と物体形状モデルをフィッティングさせる。図１０の図示例では、カメラと最近傍の位置にある８１ｅに対して、カメラ方向８３の向きにフィッティングされていない物体形状モデルの点が存在していないが、ｚ値が小さい点の中でｘ値における相対距離が最も小さい点である８２ｅを８１ｅと対応付けたことを示している。
　最後に、対応付けた各点８２ｅ、８１ｅ同士において（９）（１０）式によりｘ軸、ｚ軸方向のそれぞれの補正量を算出する。なお（９）（１０）式において、Ｐｘ、Ｐｚは、ｘ値、ｚ値の補正量、ｘｔ、ｚｔは物体形状モデルの点のｘ値、ｚ値、ｘｍ、ｚｍは物体の三次元情報のｘ値、ｚ値を示している。
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
 　処理ステップＳ４では、処理ステップＳ３により求めた各点同士の補正量から最終的な補正パラメータを決定する。決定方法としては、ｘ軸、ｚ軸方向に対する各補正量Ｐｘ、Ｐｚの平均値を補正パラメータとする方法や、各方向に対して最大の補正量を補正パラメータとする方法など、特に限定しない。
　物体形状モデル比較部４１では、以上説明した処理の流れにより補正パラメータを算出でき、ｙ軸方向に対する補正パラメータを求める場合には、右側面視点画像に対して処理ステップＳ１から処理ステップＳ４の同様の処理を適応することで対応できる。なお、処理ステップＳ３、処理ステップＳ４において、補正パラメータを算出する手段として、カメラに近い点から順番にフィッティングして求めた補正量から補正パラメータを算出する方法以外に、最適化を利用する方法でも良い。
　例えば、処理ステップＳ３において最近傍探索手法などにより点群同士をフィッティングさせ、出力したｘ軸、ｚ軸方向における各点同士の補正量の差が最小となるように最適化する手法などがあり、特に限定しない。また、処理ステップＳ４の補正パラメータの決定方法として、必ず各方向に対して１つのパラメータを割り当てるのではなく、距離に応じて異なるパラメータを割り当てる方法を利用しても良い。
　図１１は、物体形状モデル４１の処理内容を補足説明するための図であり、例えば、図１１に示すように、物体形状モデルの点群情報８２ａ、８２ｂ、８２ｃ、８２ｄ、８２ｅの中で最もｚ値が小さい点８２ｅを基準として、点８２ｅからの距離が等間隔となる直線８４ａ、８４ｂ、８４ｃにより空間８５ａ、８５ｂ、８５ｃを作成する。そして、各空間にある点群情報からＳ３により各空間に対応する補正量Ｐｘ、Ｐｚを求め、空間ごとの補正量を二次関数に近似したものを補正パラメータとして使用しても良い。
　また、本実施例では、物体の点群情報８１ａ、８１ｂ、８１ｃ、８１ｄ、８１ｅを全て使用し、点群数などを用いて物体の点群情報に対して適切な物体形状モデルを選定する方法を採用したが、物体の点群情報に対してダウンサンプリング処理などを実施して点群数を減らした後で、適切な物体形状モデルを選定する方法を利用しても良い。また、本実施例では、同一の向きの物体形状モデルを利用したが、複数の向きの物体形状モデルを用意しておき、物体と三次元計測装置との三次元空間上の位置関係によって、最適な向きの物体形状モデルを選定して使用するなどの方法でも良い。
　点群情報補正部７では、三次元点群情報取得部４によって取得した三次元点群の座標値を、物体形状モデル比較部４１により算出した補正パラメータを用いて（１１）式により補正する。なお（１１）式において、ｘｗは補正前の三次元点群座標（世界座標）、Ｘ´ｗは補正後の三次元点群座標（世界座標）であり、Ｐは、ｘ、ｙ、ｚ軸成分についての三次元の補正パラメータである。
Figure JPOXMLDOC01-appb-M000011
 　本発明の実施例１では以上説明した機能構成により、計測範囲から抽出した物体の点群情報から視点画像を作成し、視点画像上にて物体の点群情報と予め用意した物体形状モデルを比較することで補正パラメータを求め、そのパラメータ値にて新規に入力される三次元点群情報を補正することで、物体検出に必要な精度の三次元点群情報を算出できる。
　なお、実施例１では、三次元点群情報の補正パラメータとしてｘ軸、ｙ軸、ｚ軸の３方向に補正するパラメータを出力したが、必要に応じて、３方向の内、１方向または２方向のみ補正するという方法を用いても良い。
　また、実施例１において、計測対象である物体の全体の点群情報を用いて補正パラメータを出力する必要は無い。例えば、計測対象を人物とした場合、物体点群情報抽出部５により人物の頭部の三次元点群情報を抽出して、予め用意した人物の頭部のみの物体形状モデルと比較することで補正パラメータを算出するなどといった、物体の一部の情報のみを利用する方法でも良い。
　図１２は本発明の実施例２に係る三次元計測装置のブロック構成例図である。図１２に示す三次元計測装置１は、実施例１と同じく２台のカメラ２Ｒ、２Ｌを隣接したステレオカメラ２を用いて取得した三次元点群情報を、計測対象の物体形状モデルに基づき三次元空間の位置ごとに事前に求めたパラメータにより補正する装置である。
　実施例２では、三次元計測装置の計測範囲を複数の三次元空間に分割した後、各三次元空間に存在する計測対象の点群情報と物体形状モデルを比較することで三次元空間ごとの補正パラメータを算出し、新規に入力された三次元点群情報を分割した空間ごとに算出したパラメータによって補正できる。
　図１２において、画像取得部３、三次元点群情報取得部４の機能については実施例１と同一である。三次元空間分割部９１は、計測範囲における三次元空間を複数の領域に分割する機能であり、実施例２において新たに追加された機能である。物体点群情報抽出部５’、補正パラメータ算出部６’、点群情報補正部７’の機能は、実施例１の物体点群情報抽出部５、補正パラメータ算出部６、点群情報補正部７の機能をほぼ踏襲しているが、三次元空間分割部９１において計測範囲における三次元空間を複数の領域に分割したことに関連して、複数の分割領域ごとに処理する点で相違している。物体点群情報抽出部５’は三次元空間分割部９１によって分割された領域ごとに物体の点群を抽出する機能であり、補正パラメータ算出部６’は分割領域ごとに補正パラメータを算出する機能であり、点群情報補正部７’は分割領域ごとに補正パラメータ算出部６’によって算出された補正パラメータを用いて点群情報を補正する機能である。以下、三次元空間分割部９１の具体的な機能について説明する。
　図１３は、三次元空間分割部９１の処理内容を説明する図である。図１３では、上部に人物が存在する三次元空間の例を示し、下部にｘ－Ｚ座標上の直上視点画像の例を示している。図１３は、三次元空間分割部９１によって計測範囲における三次元空間を９つの領域に分割する一例を示している。
　図１３において、１００は計測範囲の三次元空間、１０１は計測対象の人物、１０２は三次元空間１００にある床平面、１０３は三次元空間１００の直上視点画像を示している。
　三次元空間分割部９１では、図１３のように、三次元空間の床平面１０２を基準として領域を等分割する方法や、直上視点画像１０３を基準として領域を等分割する方法があるが、特に三次元の空間を分割する方法であれば特に限定しない。例えば、直上視点画像１０３をディスプレイに表示して、ＧＵＩなどによりユーザが直線などを引いて領域を分割しても良い。また、領域を分割する際に、必ずしも全ての領域が等しい大きさになる必要は無く、正方形以外の形状に分割しても良い。
　図１４は、本発明の実施例２により出力される補正パラメータの一例を示す図である。三次元計測装置１では、図１４のように、三次元空間分割部９１により分割された各領域上において、物体点群情報抽出部５’、補正パラメータ算出部６’により補正パラメータを出力する。そして、点群情報補正部７’によって、三次元点群情報取得部４から新規に取得した三次元点群情報を各領域の補正パラメータにより補正する。領域ごとに物体の点群情報を抽出する方法としては、例えば、カメラを設置後、計測範囲内を人物に移動してもらい、領域の中心位置ごとに停止してもらい停止中の点群情報を抽出する方法や、画像処理などにより領域への出入りを自動で判定して抽出する方法などがあり、特に限定しない。
　本発明の実施例２では以上説明した機能構成により、計測範囲を複数の領域に分割した後、領域ごとに抽出した物体の点群情報から視点画像を作成し、視点画像上にて物体の点群情報と予め用意した物体形状モデルを比較することで補正パラメータを求め、そのパラメータ値にて新規に入力される三次元点群情報を分割した領域ごとに補正することで、物体検出に必要な精度の三次元点群情報を算出できる。
　図１５は本発明の実施例３に係る三次元計測装置のブロック構成例を示す図である。図１５に示す三次元計測装置１は、２台のカメラ２Ｒ、２Ｌを隣接したステレオカメラ２を用いて取得した三次元点群情報を、計測対象の物体形状モデルに基づきカメラのパラメータを補正する装置である。実施例３では、計測範囲内に存在する計測対象の点群情報と物体形状モデルを比較し、予め取得したカメラのパラメータを補正することで、新規に入力された三次元点群情報を補正できる。
　図１５において、画像取得部３、三次元点群情報取得部４、物体点群情報抽出部５の機能については実施例１と同一である。カメラ情報抽出部１１１は、実施例３において新規に追加された構成であり、２台のカメラ２Ｒ、２Ｌを隣接したステレオカメラ２の情報からカメラの焦点距離や歪み補正係数といった三次元計測装置１によって補正するパラメータを取得する機能である。カメラパラメータ補正部１１２も実施例３において新規に追加された構成であり、計測対象の点群情報と物体形状モデルを比較することで前記パラメータを補正する機能である。以下、カメラパラメータ補正部１１２の機能について詳細に説明する。
　図１６はカメラパラメータ補正部１１２のフローを示している。カメラパラメータ補正部１１２では、最初の処理ステップＳ１０においてカメラ情報抽出部１１１により選定されたカメラパラメータを取得し、物体形状モデル比較部４１の処理である処理ステップＳ１と処理ステップＳ２を実施した後、処理ステップＳ１１において物体の三次元点群情報と物体形状モデルの点群情報の一致率を算出する。そして、処理ステップＳ１２において一致率が閾値以上か否かを判定し、閾値未満である場合は処理ステップＳ１３に移りカメラパラメータを更新して視点変換画像を作成し、閾値以上である場合は処理ステップＳ１４に移り最新のカメラパラメータを出力する。以下、処理ステップＳ１１、処理ステップＳ１３について詳細に説明する。
　処理ステップＳ１１では、視点変換画像における物体の三次元点群情報と物体形状モデルの点群情報との一致率を算出する。一致率の算出方法としては、視点変換画像に直上視点画像を用いる場合を例にすると、処理ステップＳ３と同様に直上視点画像における物体の点群情報と物体形状モデルの点群情報をフィッティングさせた後、（１２）（１３）式により算出する方法がある。また、右側面視点画像も活用して点群のｙ値も一致率に利用する方法などもあり、２つの点群同士を比較可能な方法であれば、特に限定しない。
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
 　処理ステップＳ１３では、カメラパラメータを更新して再度三次元点群の座標値を計算した後、処理ステップＳ１にて使用する視点変換画像を作成する。例えば、修正するパラメータが焦点距離の場合は、焦点距離の値を更新し、（２）式によりカメラ座標Ｘｃを算出し、カメラ座標Ｘｃより三次元点群座標の世界座標ｘｗを求める方法などがある。
　また、実施例１でも述べた通り、ステレオカメラでは、ブロックマッチングを用いて視差を算出するが、算出の精度を向上させるためにカメラ特有のレンズ歪みを補正する歪み補正処理を基準画像と比較画像に適応して、画像座標（ｖ、ｕ）を修正する場合が多い。歪み補正処理のためにはカメラ独自の歪み係数と呼ばれるカメラパラメータを利用し、三次元計測装置１ではこの歪み係数パラメータを補正する手段としても使用できる。例えば、画像座標（ｖ、ｕ）を一般的な歪み補正の数式である（１４）式により補正する場合、カメラの歪み補正パラメータが５つ存在するため、これら５つのパラメータを更新し、三次元点群の座標値を再度計算することで、新たな視点変換画像を作成できる。なお（１４）式において、ひずみ補正後の画像座標（ｖ、ｕ）の表示について、記号ｖ、ｕの上部に波の形の記号を付して区別している。また（１４）式において、ｋ１、ｋ２、ｋ３、ｐ１、ｐ２は、ひずみ補正パラメータである。
Figure JPOXMLDOC01-appb-M000014
 　さらに、カメラパラメータの更新幅としては、特に限定せず、カメラの特性や経験則などにより決定しても良い。また、更新するカメラパラメータの種類としては、計測範囲における三次元点群の座標値を算出する際に使用するパラメータであれば、特に限定しない。
　本発明の実施例３では以上説明した機能構成により、カメラパラメータを更新して算出した物体の点群情報と、予め用意した物体形状モデルの点群情報を比較して、点群同士の一致度合が最大となるようカメラパラメータを随時更新することで、物体検出に必要な精度の三次元点群情報を算出可能なカメラパラメータを推定できる。
　なお、実施例３では、実施例２のように、予め計測範囲を複数の三次元空間に分割しておき、空間ごとに最適なカメラパラメータを算出することで、新規に三次元点群情報が取得された際に、各空間における最適なカメラパラメータを用いて三次元点群の座標値を再度計算し直すという方法を用いても良い。
　本発明においては、実施例１、実施例２、実施例３のいずれか、またはその組み合わせ事例を用いることで、例えば、カメラの焦点距離やレンズ歪み係数の推定精度が低い場合においても、物体検出に必要な精度の三次元点群情報を取得できるため、後段に物体認識や物体追跡といった処理が追加された状況においても、高精度に処理を実施することが可能である。
　また、カメラを設置した時のみ本実施例１、２、３のいずれかの処理を実施するだけでなく、一定間隔ごとに処理を実施して三次元点群情報の補正パラメータを更新することで、監視用途などのような長時間の計測により発生し得る計測装置の経年劣化などの問題を解決できる。
　また、本実施例１、２、３のいずれかを用いる場合、計測範囲の全ての三次元点群情報を補正するのではなく、例えば計測装置から一定距離離れた遠方の計測範囲に存在する三次元点群情報のみを補正するという手段を利用しても良い。
　なお、実施例１、実施例２、実施例３では三次元情報を計測する装置としてステレオカメラを利用する場合について説明したが、距離センサなどの計測範囲における三次元点群情報を取得できる装置であれば、特に限定しない。
１：三次元計測装置，２：ステレオカメラ，２Ｒ、２Ｌ：カメラ（撮像装置），３：画像取得部，４：三次元点群情報取得部，５：物体点群情報抽出部，６：補正パラメータ算出部，７：点群情報補正部，１０：視差算出部，１１：三次元点群座標算出部

Claims (17)

  1. 　計測対象の物体を含む撮像画像を三次元情報として得る三次元センサと、該三次元センサからの三次元情報を点群情報として取得する三次元点群情報取得部と、前記撮像画像について前記計測対象の物体の点群情報を抽出する物体点群情報抽出部と、前記計測対象の物体の形状を物体形状モデルとして記憶する物体形状モデルデータベースと、前記物体形状モデルと前記計測対象の物体の点群情報から、物体の点群の座標を補正する補正パラメータを算出する補正パラメータ算出手段と、前記補正パラメータにより前記計測対象の物体の点群情報を補正する点群情報補正手段を有することを特徴とする三次元計測装置。
  2. 　請求項１に記載の三次元計測装置であって、
    　前記三次元センサは、２つのカメラを備えたステレオカメラであり、前記物体形状モデルと前記計測対象の物体の点群情報の比較結果を用いて前記２つのカメラの内部パラメータを補正することを特徴とする三次元計測装置。
  3. 　請求項１または請求項２に記載の三次元計測装置であって、
    　前記計測対象の物体の形状を表す物体形状モデルは、前記計測対象の物体の形状を３次元の各方向から見た時の形状として記憶していることを特徴とする三次元計測装置。
  4. 　請求項１から請求項３のいずれか１項に記載の三次元計測装置であって、
    　前記補正パラメータ算出手段は、前記物体形状モデルと前記計測対象の物体の点群情報を比較することで、３次元空間の位置毎に前記計測対象の物体の点群情報の補正パラメータを推定することを特徴とする三次元計測装置。
  5. 　請求項１から請求項４のいずれか１項に記載の三次元計測装置であって、
    　前記補正パラメータ算出手段により得られた前記補正パラメータにより、前記物体点群情報抽出部で得られた点群情報を補正することを特徴とする三次元計測装置。
  6. 　請求項１から請求項５のいずれか１項に記載の三次元計測装置であって、
    　前記補正パラメータ算出手段は、位置情報、物体の三次元点群情報の密度情報、三次元センサと物体の距離情報、物体から三次元センサへの方向情報の少なくとも１つ以上を用いて、物体の点群情報と物体形状モデルを対応付けることを特徴とする三次元計測装置。
  7. 　請求項１から請求項６のいずれか１項に記載の三次元計測装置であって、
    　予め計測範囲を複数の三次元空間に分割した後、前記三次元空間ごとに補正パラメータ算出手段によって点群情報を補正可能な補正パラメータを算出することを特徴とする三次元計測装置。
  8. 　請求項７に記載の三次元計測装置であって、
    　分割された三次元空間ごとに前記パラメータにより点群情報を補正することを特徴とする三次元計測装置。
  9. 　請求項１から請求項８のいずれか１項に記載の三次元計測装置であって、
    　前記三次元センサの情報を抽出する計測装置情報抽出手段と、抽出した前記三次元センサの情報と物体の点群情報と物体形状モデルから前記三次元センサのパラメータを補正する三次元センサパラメータ補正部を有することを特徴とする三次元計測装置。
  10. 　請求項９に記載の三次元計測装置であって、
    　前記点群情報補正手段は、前記三次元センサパラメータ補正部によって補正された三次元センサのパラメータによって点群情報を補正することを特徴とする三次元計測装置。
  11. 　請求項９または請求項１０に記載の三次元計測装置であって、
    　前記三次元センサは２台以上の撮像装置を使用したステレオカメラであることを特徴とする三次元計測装置。
  12. 　請求項１１に記載の三次元計測装置であって、
    　前記三次元センサパラメータ補正部によって補正されるパラメータが、歪み補正係数、焦点距離の少なくとも１つ以上であることを特徴とする三次元計測装置。
  13. 　計測対象の物体を含む撮像画像を三次元情報として得る三次元センサからの三次元情報を点群情報として取得し、前記撮像画像について前記計測対象の物体の点群情報を抽出し、前記計測対象の物体の形状を物体形状モデルとして記憶し、前記物体形状モデルと前記計測対象の物体の点群情報から、物体の点群の座標を補正する補正パラメータを算出し、前記補正パラメータにより前記計測対象の物体の点群情報を補正することを特徴とする三次元計測方法。
  14. 　請求項１３に記載の三次元計測方法であって、
    　前記三次元センサは、２つのカメラを備えたステレオカメラであり、前記物体形状モデルと前記計測対象の物体の点群情報の比較結果を用いて前記２つのカメラの内部パラメータを補正することを特徴とする三次元計測方法。
  15. 　請求項１３または請求項１４に記載の三次元計測方法であって、
    　前記計測対象の物体の形状を表す物体形状モデルは、前記計測対象の物体の形状を３次元の各方向から見た時の形状として記憶していることを特徴とする三次元計測方法。
  16. 　請求項１３から請求項１５のいずれか１項に記載の三次元計測方法であって、
    　前記物体形状モデルと前記計測対象の物体の点群情報を比較することで、３次元空間の位置毎に前記計測対象の物体の点群情報の補正パラメータを推定することを特徴とする三次元計測方法。
  17. 　請求項１３から請求項１６のいずれか１項に記載の三次元計測方法であって、
    　前記補正パラメータにより、前記点群情報を補正することを特徴とする三次元計測方法。
PCT/JP2017/021587 2017-06-12 2017-06-12 三次元計測装置、および方法 WO2018229812A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/021587 WO2018229812A1 (ja) 2017-06-12 2017-06-12 三次元計測装置、および方法
JP2019524550A JP6845929B2 (ja) 2017-06-12 2017-06-12 三次元計測装置、および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/021587 WO2018229812A1 (ja) 2017-06-12 2017-06-12 三次元計測装置、および方法

Publications (1)

Publication Number Publication Date
WO2018229812A1 true WO2018229812A1 (ja) 2018-12-20

Family

ID=64659013

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/021587 WO2018229812A1 (ja) 2017-06-12 2017-06-12 三次元計測装置、および方法

Country Status (2)

Country Link
JP (1) JP6845929B2 (ja)
WO (1) WO2018229812A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021039426A (ja) * 2019-08-30 2021-03-11 株式会社東芝 推定装置、推定方法及びプログラム
WO2022009602A1 (ja) * 2020-07-08 2022-01-13 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
WO2022196016A1 (ja) * 2021-03-17 2022-09-22 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および情報処理方法、ならびに、センシングシステム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003307466A (ja) * 2002-02-18 2003-10-31 Topcon Corp キャリブレーション装置、方法及び結果診断装置、並びにキャリブレーション用チャート
JP2013246490A (ja) * 2012-05-23 2013-12-09 Nippon Telegr & Teleph Corp <Ntt> 推定装置、推定方法及びコンピュータプログラム
JP2014063475A (ja) * 2012-08-28 2014-04-10 Canon Inc 情報処理装置、情報処理方法、及びコンピュータプログラム
JP2017040549A (ja) * 2015-08-19 2017-02-23 シャープ株式会社 画像処理装置および誤差判定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003307466A (ja) * 2002-02-18 2003-10-31 Topcon Corp キャリブレーション装置、方法及び結果診断装置、並びにキャリブレーション用チャート
JP2013246490A (ja) * 2012-05-23 2013-12-09 Nippon Telegr & Teleph Corp <Ntt> 推定装置、推定方法及びコンピュータプログラム
JP2014063475A (ja) * 2012-08-28 2014-04-10 Canon Inc 情報処理装置、情報処理方法、及びコンピュータプログラム
JP2017040549A (ja) * 2015-08-19 2017-02-23 シャープ株式会社 画像処理装置および誤差判定方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021039426A (ja) * 2019-08-30 2021-03-11 株式会社東芝 推定装置、推定方法及びプログラム
WO2022009602A1 (ja) * 2020-07-08 2022-01-13 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
WO2022196016A1 (ja) * 2021-03-17 2022-09-22 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および情報処理方法、ならびに、センシングシステム

Also Published As

Publication number Publication date
JP6845929B2 (ja) 2021-03-24
JPWO2018229812A1 (ja) 2020-02-27

Similar Documents

Publication Publication Date Title
TWI729995B (zh) 基於場景之拍攝圖像而產生合併、融合三維點雲
JP5671281B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム
JP7134012B2 (ja) 視差推定装置及び方法
KR102249769B1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
JP2016029564A (ja) 対象検出方法及び対象検出装置
CN106875435B (zh) 获取深度图像的方法及系统
JP2004340840A (ja) 距離測定装置、距離測定方法、及び距離測定プログラム
JP2017091079A (ja) 入力データから検出対象物の像を検出する画像処理装置および方法
US20120062749A1 (en) Human body identification method using range image camera and human body identification apparatus
WO2018229812A1 (ja) 三次元計測装置、および方法
JP7339316B2 (ja) ビジョンシステムにより画像特徴におけるエッジと法線を同時に考慮するためのシステム及び方法
CN112164117A (zh) 一种基于Kinect相机的V-SLAM位姿估算方法
US20200068185A1 (en) Rectifying a sequence of stereo images
WO2016135856A1 (ja) ３次元形状計測システムおよびその計測方法
JP6431404B2 (ja) 姿勢推定モデル生成装置及び姿勢推定装置
JP2015146526A (ja) 画像処理装置および方法、並びにプログラム
CN107679542B (zh) 一种双摄像头立体视觉识别方法及系统
WO2022218161A1 (zh) 用于目标匹配的方法、装置、设备及存储介质
JP5976089B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
JP6411188B2 (ja) ステレオマッチング装置とステレオマッチングプログラムとステレオマッチング方法
KR101538014B1 (ko) 3d 모델링을 통해 사진 이미지로부터 입체영상을 생성하는 방법
JP6198104B2 (ja) ３次元物体認識装置及び３次元物体認識方法
JP5727969B2 (ja) 位置推定装置、方法、及びプログラム
Nakazato et al. FPGA-based stereo vision system using census transform for autonomous mobile robot
WO2019116518A1 (ja) 物体検出装置及び物体検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17913373

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019524550

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17913373

Country of ref document: EP

Kind code of ref document: A1