WO2014147863A1 - 三次元情報計測・表示装置、三次元情報計測・表示方法及びプログラム - Google Patents

三次元情報計測・表示装置、三次元情報計測・表示方法及びプログラム Download PDF

Info

Publication number
WO2014147863A1
WO2014147863A1 PCT/JP2013/073291 JP2013073291W WO2014147863A1 WO 2014147863 A1 WO2014147863 A1 WO 2014147863A1 JP 2013073291 W JP2013073291 W JP 2013073291W WO 2014147863 A1 WO2014147863 A1 WO 2014147863A1
Authority
WO
WIPO (PCT)
Prior art keywords
plane
contour
planar
dimensional
image
Prior art date
Application number
PCT/JP2013/073291
Other languages
English (en)
French (fr)
Inventor
佐藤　慶明
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2014147863A1 publication Critical patent/WO2014147863A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present invention relates to a three-dimensional information measurement / display device, a three-dimensional information measurement / display method, and a program. More specifically, the present invention relates to an apparatus that estimates the spatial position, posture, dimensions, and the like of an object in real space and provides information that matches the estimation result.
  • Non-Patent Document 1 a projector
  • Patent Document 1 An invention for accurately determining the three-dimensional position of an object was made in Patent Document 1.
  • the potential plane is calculated from the depth image and the target is tracked, but the type and three-dimensional posture of the target cannot be obtained.
  • Patent Document 2 an invention for obtaining a three-dimensional position and orientation of an object from an object or a pattern as shown in FIG. 20 was made.
  • printed markers and patterns are necessary, and the object needs to be in different colors from the background and the object, so the conditions are severe, and the lighting conditions are also vulnerable to changes.
  • Patent Document 3 and Non-Patent Document 2 the three-dimensional position and posture of an object without a pattern are obtained.
  • a retroreflective marker that reflects light at a specific position of an object as shown in FIG. 21 is required. is there.
  • optical identification information such as surface color and pattern, printed AR marker, and retroreflective marker is required. These need to be placed on the surface or the periphery of the object, which impairs the aesthetics and increases costs, which may limit industrial applications.
  • An object of the present invention is to provide a technique for measuring the size, position, orientation, and shape of a rectangular plane such as a rectangle or a square on an object without requiring an optical mark, color, pattern, or markers on the object. There is to do.
  • a depth image capturing means for capturing an object and obtaining a depth image having depth information for each pixel of the two-dimensional image;
  • Plane detection means for extracting a plane area from the depth image acquired by the depth image imaging means and calculating an equation of a plane including the extracted plane area;
  • a plane contour extracting means for extracting a contour approximating a quadrangle to an area obtained by projecting the planar area extracted by the plane detecting means onto the two-dimensional image;
  • the contour on the two-dimensional image extracted in the planar contour extraction step is converted into a contour on the plane specified by the equation by perspective projection conversion, and the vertical and horizontal directions of the region surrounded by the converted contour
  • a dimension / position / posture calculation step for detecting at least one of the length, position and posture of A method for measuring and displaying three-dimensional information is provided.
  • Computer A depth image capturing means for capturing an object and acquiring a depth image having depth information for each pixel of the two-dimensional image;
  • a plane detection means for extracting a plane area from the depth image acquired by the depth image imaging means and calculating an equation of a plane including the extracted plane area;
  • a plane contour extracting means for extracting a contour approximating a quadrangle to an area obtained by projecting the planar area extracted by the plane detecting means onto the two-dimensional image;
  • the contour on the two-dimensional image extracted by the planar contour extraction means is converted into a contour on the plane specified by the equation by perspective projection conversion, and the vertical and horizontal directions of the region surrounded by the converted contour
  • a dimension / position / orientation calculating means for detecting at least one of the length, position and orientation of the side of A program for functioning as a server is provided.
  • a technology for measuring the size, position, orientation, and shape of a rectangular plane such as a rectangle or a square on the object is realized without requiring any color, pattern, or markers to be optically marked on the object. Is done.
  • the apparatus of this embodiment includes a CPU (Central Processing Unit) of an arbitrary computer, a memory, a program loaded in the memory (a program stored in the memory from the stage of shipping the apparatus in advance, a CD (Compact Disc) and other storage media and programs downloaded from servers on the Internet), storage units such as hard disks for storing the programs, and any combination of hardware and software, centering on the network connection interface Is done.
  • a CPU Central Processing Unit
  • memory a program loaded in the memory
  • a CD Compact Disc
  • other storage media and programs downloaded from servers on the Internet storage units
  • storage units such as hard disks for storing the programs, and any combination of hardware and software, centering on the network connection interface Is done.
  • each device is described as being realized by one device, but the means for realizing it is not limited to this. That is, it may be a physically separated configuration or a logically separated configuration.
  • FIG. 1 shows the configuration of a three-dimensional information measurement / display apparatus according to the first embodiment of the present invention.
  • the present apparatus detects a depth camera 102 that captures a depth (depth) image of the measurement object 101 and processes the captured depth image to detect at least one of size, position, and orientation.
  • a size / position / attitude detection device 103 a size / position / attitude detection device 103.
  • FIG. 2 is a block diagram showing a functional configuration of the dimension / position / attitude detection device 103.
  • the dimension / position / orientation detection apparatus 103 includes a depth image imaging unit 201, a plane detection unit 202, a plane contour extraction unit 203, and a dimension / position / orientation calculation unit 204 as main functional components.
  • the depth image capturing unit 201 acquires depth image data from the depth camera 102.
  • the depth image is an image having a distance Zi from the camera as the value of each pixel of the coordinates (u i , v i ) of the two-dimensional image.
  • a point (X i , Y i , Z i ) on the three-dimensional space coordinates can be obtained from this value and the focal length which is a unique parameter of the depth image capturing unit 201 by using perspective projection transformation.
  • the depth image data includes two-dimensional image data and depth information (distance Zi from the camera) for each pixel of the two-dimensional image.
  • the depth image capturing unit 201 irradiates the object with pattern light and obtains a depth image from the distortion of the reflected light, or a depth image from parallax when two or more cameras are connected and photographed from different positions.
  • Stereo camera to acquire, time-of-flight (TOF) type depth camera to acquire depth image from the time from the time the reflected light reaches the camera and the reflected light reaches the camera, time-correlated image sensor A depth camera using a different light source may be used.
  • the depth image data obtained by the depth image capturing unit 201 is input to the plane detection unit 202.
  • the plane detection unit 202 detects a plane area in the three-dimensional space using depth image data. For each pixel in the depth image, a normal vector is calculated from the coordinate information of the surrounding point cloud. Also, the Euclidean distance or Manhattan distance between adjacent points is calculated. Clustering is performed from these two values, and a plane region formed by point groups belonging to the same plane can be divided (segmented) and detected. Further, the plane detection unit 202 calculates a set of pixels that specify the detected plane area, a normal vector, and a barycentric coordinate that is an average of the positions that constitute the plane area, and an equation of the plane expressed by the following equation: To decide.
  • the normal vector equation (1), the barycentric coordinate equation (2), and the plane equation (3) are respectively shown as follows.
  • the plane detection unit 202 can detect one or more areas such as a plurality of plane areas. If no plane area is detected, the processing for the depth image is terminated.
  • the pixel set for specifying the plane area obtained by the plane detection unit 202 and the plane equation plane outline extraction unit 203 are input. Each pixel included in the pixel set that specifies the planar region has coordinates on the two-dimensional image and depth information.
  • the planar contour extraction unit 203 projects the planar region detected by the planar detection unit 202 onto a two-dimensional image (two-dimensional image in which each pixel has depth information) included in the depth image.
  • Get data to identify For example, as shown in FIG. 3, coordinates (u i , v i ) on the two-dimensional image included in each pixel included in a pixel set that specifies a planar area in a three-dimensional space extracted from a depth image (three-dimensional image) are used.
  • a binary image is generated in which the pixels (u i , v i ) on the two-dimensional image are painted black and the other pixels are painted white. This corresponds to a projection of a plane area in the three-dimensional space onto an image plane perpendicular to the optical axis of the camera (a two-dimensional image included in the depth image).
  • the planar contour extraction unit 203 cuts out the contour of the black region from the binary image using a method such as Non-Patent Document 3 that scans the binary image sequentially (eg, sequentially from the upper left) and determines the contour.
  • the cut out contour is a set of many vertices.
  • the planar contour extraction unit 203 approximates the detected contour to a quadrangle represented by four vertices. Note that the quadrilateral in the present embodiment is not limited to a square having a right angle such as a square or a rectangle, but refers to an arbitrary figure surrounded by four line segments.
  • Approximation method takes two steps.
  • the Ramer-Douglas-Peucker algorithm described in Non-Patent Document 4 can be used.
  • the algorithm defines two points on the contour, a start point and an end point, and draws a straight line between them, and a point farthest from a certain threshold value ⁇ is determined as a contour point.
  • a straight line is drawn from that point to the start point or end point, and the contour point is determined in the same manner.
  • the same process is repeated, and if no point falls within the threshold ⁇ , the algorithm is terminated and the contour is determined.
  • ⁇ is preferably in the range of 0.5% to 40% of the total contour length.
  • the contour of the convex hull is calculated by the convex hull calculation algorithm such as Sklansky's algorithm (J.
  • FIG. 4 shows an example in the case of five vertices. There are vertices 1 to 5, and the lengths of the line segments 1-2, 2-3, 3-4, 4-5, and 5-1 are calculated.
  • the adjacent line segments 2-3 and 4-5 are extended as shown in FIG. 5, and the intersection is set as a new vertex 3 ′.
  • the number of vertices is reduced repeatedly to determine a quadrilateral contour having four vertices.
  • the contour can be detected.
  • a statistical technique such as a Hough transform that is robust against noise may be used.
  • a point (u, v) and the position (X, Y, Z) in the three-dimensional space are expressed by the following equation (4) using a homogeneous coordinate expression.
  • f x and f y are the transverse, focal length in the vertical direction, respectively. It has a pixel unit of depth image as length.
  • c x and c y are the center coordinates on the depth image, and are also units of pixels.
  • s is a proportional coefficient and is equal to Z. From the equation (4), the following relationship can be obtained.
  • Expressions (7) to (9) are expressed by a point (u, v) on the plane of the two-dimensional image in which each pixel has depth information, and a plane (Expression (3) where the point is detected by the plane detection unit 202. This represents the relationship with the point (X, Y, Z) projected on the plane shown).
  • the coordinates of the four vertices acquired by the plane contour extraction unit 203 (the coordinates of the four vertices of a quadrangle extracted on the plane of the two-dimensional image in which each pixel has depth information) and the plane obtained by the plane detection unit 202
  • the coefficient of the equation is input to the dimension / position / attitude calculation unit 204.
  • the coordinates of the four vertices acquired from the dimension / position / orientation calculation unit 204 and the plane contour extraction unit 203 are substituted into the equations (7) to (9), and the plane detected by the plane detection unit 202 as shown in FIG.
  • the coordinates of the four vertices on the plane (the plane indicated by Expression (3)) are calculated.
  • the coordinates of the four vertices acquired from the plane contour extracting unit 203 and the coordinates of the four vertices on the plane detected by the plane detecting unit 202 (the plane indicated by the formula (3)) are respectively represented by the following formulas ( 10) and equation (11).
  • the dimension / position / attitude calculation unit 204 determines whether or not the planar region surrounded by the four vertices represented by Expression (11) forms a rectangle. Specifically, the four interior angles ⁇ 1 to ⁇ 4 of the quadrangle are calculated by the equation (12) by using the coordinates of the four vertices represented by the calculated equation (11). Thereafter, when the angle formed by the determination formula of Expression (13) differs from the right angle by a certain threshold value ⁇ , it is determined that the planar area is not rectangular and the process proceeds to the next planar area.
  • the threshold value ⁇ is appropriately determined depending on the accuracy of the sensor and the dimensional accuracy of the object. For example, it can be between 0 ° and 30 °. In this way, the dimension / position / orientation calculation unit 204 determines whether or not the planar area is rectangular by determining the parallelism of the opposite sides of the planar area surrounded by the four vertices represented by Expression (11). Can be judged.
  • the dimension / position / orientation calculation unit 204 calculates the orientation of the plane using the coordinates of the four vertices indicated by the calculated expression (11).
  • Vector e n and e s shown in Figure 7 are each defined by the following equation (14) and (15).
  • Vector a and the vector e n from the definition, although orthogonal each vector a and the vector e s, for vector e n and the vector e s is not necessarily orthogonal, as the center axis vector a so that these direction vectors is perpendicular Rotate.
  • vectors n and s are obtained by rotating and correcting the vector en and the vector es, respectively.
  • the barycentric coordinates (vector G) of the surface are corrected as shown in the following equation (16).
  • the dimension / position / orientation calculation unit 204 can calculate and output the vertical / horizontal dimension, position, and orientation of the rectangular planar area. Note that the dimension / position / posture calculation unit 204 calculates and outputs at least one (for example, all) of the vertical, horizontal, vertical, and horizontal dimensions, positions, and orientations of a rectangular plane area.
  • FIG. 9 is a flowchart for explaining the processing method of the three-dimensional dimension / position / attitude detection apparatus 103.
  • the depth image capturing unit 201 captures a depth image of the object (step S301).
  • the plane detection unit 202 uses the depth image data (three-dimensional image data) output from the depth image imaging unit 201 to obtain one or a plurality of plane regions (planar regions in the three-dimensional space). It detects (step S302).
  • the plane detection unit 202 calculates a set of pixels that specify each plane area, the center of gravity of each plane area, a normal representing each plane, and a plane equation including each plane area.
  • the plane detection unit 202 determines whether one or more planes have been detected in step S302 (step S303). If no plane is detected (NO in step S303), the process for the depth image is terminated. On the other hand, if it is detected (YES in step S303), data indicating a set of pixels specifying each planar region and a plane equation including each planar region is output to the planar contour extracting unit 203.
  • the plane contour extraction unit 203 uses the data output from the plane detection unit 202 to convert a plane area (a plane area in the three-dimensional space) into a two-dimensional image (each pixel has a depth).
  • a binarized image in which a region projected on (a two-dimensional image having information) is distinguished is generated, a vertex representing the outline of the region is detected, and a process of approximating a quadrangle is performed (step S304).
  • the planar contour extraction unit 203 determines whether or not the contour is represented by a rectangle by the process of approximating the rectangle (step S305), and if the contour does not become a rectangle (NO in step S305), The process proceeds to processing (S310). If no other plane area remains (NO in S310), the processing for the depth image is terminated. On the other hand, if the outline is a square (YES in step S305), the process proceeds to step S306.
  • step S ⁇ b> 306 the dimension / position / orientation calculation unit 204 calculates the three-dimensional shape based on the coordinates of the four vertices representing the quadrangular contour output from the plane contour extraction unit 203 and the coefficient of the plane equation calculated by the plane detection unit 202.
  • a process of calculating four vertices of a simple plane (four vertices obtained by projecting the four vertices representing the quadrangular contour output from the plane contour extracting unit 203 onto the plane indicated by the plane equation calculated by the plane detecting unit 202) is performed. Step S306).
  • the dimension / position / attitude calculation unit 204 uses the four vertices of the three-dimensional plane calculated in step S306 to determine whether the inner angles of the four vertices are close to a right angle (the difference from 90 ° is within a predetermined range). Judgment is made (step S307), and if the inner angle is not close to a right angle (NO in step S307), the process proceeds to the next plane area process. If no other plane area remains (NO in S310), the processing for the depth image is terminated. On the other hand, if the interior angle is close to a right angle (YES in step S307), the process proceeds to step S308.
  • step S308 the dimension / position / orientation calculation unit 204 calculates at least one of the position, orientation, and dimension of the plane from the position of the vertex, and outputs the result (step S309). After that, when an unprocessed plane area remains, the process returns to the process of extracting the contour with respect to the remaining plane area (step S304). Thereafter, steps S304 to S310 are repeated until there is no unprocessed plane area. When the plane area is exhausted, the process is terminated.
  • the above is the processing method of the dimension / position / attitude detection apparatus in the present embodiment.
  • the size, position, and orientation of the rectangular surface on the object can be obtained without adding a color or pattern, a printed AR marker, or optical identification information to the object surface.
  • the outline of the plane seen from the normal direction is usually obtained. Tens of millions of floating-point multiply-accumulate operations were required. On the other hand, in this embodiment, there are four points that need coordinate conversion, and the processing is fast. Furthermore, because it does not use the design and color of the object surface, it is robust against changes in lighting, noise, and dirt.
  • the planar contour extraction unit 203 performs expansion processing that replaces the generated binary image with white if there is any white pixel around the target pixel, and conversely the peripheral processing. If even one pixel is black, a contraction (reduction) process for replacing it with black is performed a plurality of times, and after removing noise peculiar to the depth image, contour extraction processing such as contour approximation and convex hull generation processing is performed. In this respect, the planar contour extraction unit 203 is different from the first embodiment in which the contour is simply cut out from the projection.
  • the process repeats the process of expanding and contracting or the process of expanding and contracting one to 300 times. By doing so, the contour error due to noise can be reduced. According to the present embodiment, it is possible to achieve the same operational effects as the first embodiment.
  • the dimension / position / orientation calculation unit 204 is used for plane orientation recognition, so that the lengths of the horizontal and vertical sides of the plane area are always longer.
  • the posture vector vector n and vector s. Since other configurations and operations are the same as those in the first embodiment and the second embodiment, the description of the same configurations and operations is omitted.
  • Dimensions and position and orientation calculation unit 204 compares the magnitude of the length l h of the length l v and lateral sides of the longitudinal edges calculated by equation (17) and equation (18), l v> l h replacing the value of l v and l h if the direction of the orientation vector (vector n and a vector s), rotated 90 ° in the direction of the right-handed as an axis the vector a and a new posture vector.
  • the correspondence between the posture of the object in the real space and the posture vector of the planar area can be narrowed down to two combinations of vectors n and s having different signs.
  • the above-described processing for determining the vertical and horizontal sides is executed after extracting the contour from the pixel set for specifying the planar region input from the planar contour extracting unit 203 in the first frame.
  • the dimension / position / orientation calculation unit 204 stores the processing result of the past frame, and takes the sign of the vectors n and s so as to be close to the value of the past processing result in the processing of the latest frame. By doing so, it is possible to calculate a posture vector that uniquely corresponds to the target object even for a continuous posture change of the target object. According to the present embodiment, it is possible to achieve the same effects as the first and second embodiments.
  • the dimension / position / orientation calculation unit 204 calculates and compares the lengths of opposite sides using the four vertex coordinates of the planar area, and whether the area is rectangular. Judging. From the equation (19), the lengths of opposite sides of the rectangular planar area are calculated and compared.
  • r h and r v are small, close to the rectangle.
  • r h and r v is judged to be rectangular as long as 0.15 or less. According to the present embodiment, it is possible to achieve the same effects as the first to third embodiments.
  • the three-dimensional information measurement / display device uses the result of the length of the vertical and horizontal sides calculated by the dimension / position / attitude detection device 103 to obtain a planar region. It is different in that the type of the object from which is extracted is specified (ID (identification information) is specified). Specifically, a database in which an ID of each of a plurality of objects is associated with lengths of vertical and horizontal sides of a planar area of each object is stored in advance.
  • ID identification information
  • the dimension / position / attitude detection device 103 calculates the vertical / horizontal length of the planar region extracted from the depth image
  • the database is searched using the calculation result as a key, and the length of the vertical / horizontal side that matches the key, or The ID associated with the lengths of the vertical and horizontal sides whose difference from the key is within a predetermined range is extracted (output).
  • Other configurations and operations are the same as those of the first embodiment to the fourth embodiment, and thus the description of the same configurations and operations is omitted.
  • FIG. 10 is a block diagram showing a functional configuration of the dimension / position / attitude detection device 103 according to the present embodiment.
  • the dimension / position / orientation detection apparatus 103 of the present embodiment includes a collation unit 205 and a planar dimension database 206 in addition to the configurations of the first to fourth embodiments.
  • the planar dimension database 206 stores the ID of each of the plurality of objects in association with the lengths of the horizontal and vertical sides of the planar area of each object.
  • the collation unit 205 collates the dimensions (lengths of vertical and horizontal sides) input from the dimension / position / orientation calculation unit 204 with the dimensions registered in the plane dimension database 206 (the plane dimension database 206 using the input dimension as a key). Search). If the collation unit 205 determines that there is a dimension that matches the key as a result of collation, or if it is determined that there is a dimension whose difference from the key is within a predetermined range, the collation result corresponds to that dimension.
  • the attached ID is output.
  • the present embodiment it is possible to achieve the same operational effects as the first to fourth embodiments. Further, according to the three-dimensional information measurement / display apparatus of the present embodiment, it is possible to estimate the attribute (type, etc.) of the imaging target.
  • the three-dimensional information measurement / display apparatus extracts a plurality of plane regions from a depth image, and the dimension / position / orientation calculation unit 204 has a plurality of vertical and horizontal sides.
  • the depth image capturing unit 201 depth camera 102 is different in that the position and orientation in the real space are calculated and output.
  • a database in which an ID of each of a plurality of objects is associated with lengths of vertical and horizontal sides of a planar area of each object is stored in advance.
  • a database indicating the relationship between the position / posture of the plane area whose dimensions are recorded in the real space and the relative position / posture between the plane areas is stored in the database. Then, when the dimension / position / attitude detection device 103 calculates the vertical and horizontal lengths of each of the plurality of plane regions extracted from the depth image, the database is searched using the calculation result as a key, and the depth camera 102 is searched based on the search result. Is calculated in real space.
  • FIG. 19 is a block diagram showing a functional configuration of the dimension / position / attitude detection apparatus 103 according to this embodiment.
  • FIGS. 13 and 14 are diagrams for explaining information stored in the planar dimension / position / attitude database 210.
  • 15 and 16 are diagrams for explaining the operation according to the present embodiment.
  • the collation unit 205 when dimensions and positions / postures of a plurality of plane areas are input from the dimension / position / posture calculation unit 204, the collation unit 205 first stores a plane as shown in FIG. 13 stored in the plane dimension / position / posture database 210.
  • a dimension is collated from a table in which an ID, a dimension, and a position / posture in the real space are associated (the database shown in FIG. 13 is searched using the input dimension as a key).
  • IDs are obtained for all faces. If there is no corresponding ID, the surface is ignored, and if there are less than two surfaces with IDs, the process ends.
  • the dimension / position / orientation calculation unit 204 uses the rectangles that the objects 302 and 303 have.
  • the vertical and horizontal dimensions of the plane are calculated as shown in FIG.
  • the collation unit 205 searches the database of FIG. 13 from the dimensions and determines an ID corresponding to each rectangular plane.
  • the collation unit 205 creates a pair of two surfaces in order from the surface having the largest area with respect to the plurality of surfaces having unique IDs.
  • a surface having a large surface area is referred to as surface A
  • a small surface is referred to as surface B.
  • the collation unit 205 calculates the relative position and orientation of the surface B with reference to the position and orientation of the surface A.
  • the collation unit 205 searches the planar dimension / position / attitude database 210 as shown in FIG. 14 using the calculation result as a key, and extracts items that match or have similar values.
  • the planar dimension / position / attitude database 210 describes the relationship between the surface A and the surface B. If no matching or similar value is found, the process is terminated.
  • the collation unit 205 determines the position and orientation of the surface A in the coordinate system ⁇ cam fixed to the depth camera 102 and the position of the surface A in the reference coordinate system ⁇ 0 recorded in the table of FIG. From the posture, the position and posture of the depth image capturing unit coordinate ⁇ cam in the reference coordinate system ⁇ 0 are calculated backward and output.
  • the reference coordinate system ⁇ 0 is a coordinate system fixed in the real space. For example, one of the corner of the room in the room may be the origin of ⁇ 0.
  • the relative relationship between two surfaces is used in the database, but a format in which the relative relationship is described for three or more surfaces may be used. By using the relative relationship between two or more surfaces, the position and orientation of the depth camera 102 can be estimated more accurately.
  • an effect of acquiring the position and orientation of the depth image capturing unit 301 with reference to planes with known positions and orientations of two or more surfaces can be obtained.
  • an effect of acquiring the position and orientation of the depth image capturing unit 301 with reference to planes with known positions and orientations of two or more surfaces can be obtained.
  • the position and posture of the depth camera 102 can be obtained using two or more rectangular planes existing in these artifacts as clues.
  • the three-dimensional information measurement / display apparatus according to this embodiment is different from the first to sixth embodiments in that it has means for projecting the identification result as an image on the measurement object 101.
  • FIG. 11 is a block diagram illustrating a functional configuration of the dimension / position / attitude detection apparatus 103 according to the present embodiment.
  • the dimension / position / attitude detection apparatus 103 according to the present embodiment includes a projection source image database 208, a distortion correction unit 207, and a video projection unit 209 in addition to the configurations of the fifth and sixth embodiments.
  • FIG. 18 is a diagram showing the relationship between the projection position and size of a projected image on a plane. The image is projected with a width 405 and a height 406 at a relative position designated by the horizontal position 403 and the vertical position 404 with respect to the upper left of the plane 401.
  • the distortion correction unit 207 When the distortion correction unit 207 receives the plane identification result (ID) and dimensions / position / posture from the collation unit 205, the distortion correction unit 207 reads the original image from the projection source image database 208. The distortion correction unit 207 rotates or reduces the original image from the position and orientation output from the collation unit 205 so that the image is projected on the plane without distortion at the projection position on the object. An image to which translation and distortion correction are added is output to the image projection unit 209. The video projection unit 209 projects the input image toward the object.
  • the video projection unit 209 is configured by a projector, for example.
  • the distortion correction may be performed using computer graphics technology.
  • an image without distortion or the like can be projected at a predetermined position on the measurement object 101 with a predetermined size. That is, information with good visibility can be projected directly onto the measurement object 101.
  • a depth image capturing means for capturing an object and obtaining a depth image having depth information for each pixel of the two-dimensional image;
  • Plane detection means for extracting a plane area from the depth image acquired by the depth image imaging means and calculating an equation of a plane including the extracted plane area;
  • a plane contour extracting means for extracting a contour approximating a quadrangle to an area obtained by projecting the planar area extracted by the plane detecting means onto the two-dimensional image;
  • the contour on the two-dimensional image extracted by the planar contour extraction means is converted into a contour on the plane specified by the equation by perspective projection conversion, and the vertical and horizontal directions of the region surrounded by the converted contour
  • Dimension / position / posture calculating means for detecting at least one of the length, position and posture of
  • a three-dimensional information measuring / displaying device comprising: 2.
  • the planar contour extraction unit performs a reduction / expansion process on the planar region extracted by the planar detection unit to remove noise, and then approximates a region obtained by projecting the planar region onto the two-dimensional image as a quadrangle. 3D information measurement and display device to extract. 3.
  • the dimension / position / orientation calculation means is a three-dimensional information measurement / display device that detects the orientation of the region surrounded by the converted outline and then corrects the detected orientation of the plane. 4).
  • the planar contour extracting means is a three-dimensional information measuring / displaying device that determines whether or not a plane is rectangular by comparing parallelism and lengths of opposite sides according to the positional relationship of vertex coordinates. 5.
  • the IDs of the plurality of objects are associated with the lengths of the vertical and horizontal sides of the planar area of each of the objects.
  • a three-dimensional information measurement / display device having means for searching a database and outputting the ID associated with the key. 6).
  • the dimension / position / orientation calculation unit calculates the lengths of the plurality of vertical and horizontal sides, the mutual positions / postures of the plurality of planes existing in the real space
  • a three-dimensional information measuring / displaying device having means for calculating and outputting the position and orientation of the depth image capturing means in the real space using information associated with the relationship and the lengths of the plurality of vertical and horizontal sides. 7).
  • Image projection means In the three-dimensional information measurement / display device according to any one of 1 to 6, Image projection means; A database associating types of planes, images, and projection positions; A distortion correction control means for calculating a projection position of the image and distortion correction; A three-dimensional information measurement / display apparatus further comprising: a projection control unit that controls the video projection unit to project a video onto the object. 8).
  • the contour on the two-dimensional image extracted in the planar contour extraction step is converted into a contour on the plane specified by the equation by perspective projection conversion, and the vertical and horizontal directions of the region surrounded by the converted contour
  • the IDs of the plurality of objects are associated with the lengths of the vertical and horizontal sides of the planar area of each of the objects.
  • the computer has a database in which video projection means, plane types, videos, and projection positions are associated with each other.
  • a distortion correction control step for calculating a projection position of the image and distortion correction;
  • a three-dimensional information measurement / display method further comprising: a projection control step of controlling the image projection means to project an image onto the object.
  • a depth image capturing means for capturing an object and acquiring a depth image having depth information for each pixel of the two-dimensional image;
  • a plane detection means for extracting a plane area from the depth image acquired by the depth image imaging means and calculating an equation of a plane including the extracted plane area;
  • a plane contour extracting means for extracting a contour approximating a quadrangle to an area obtained by projecting the planar area extracted by the plane detecting means onto the two-dimensional image;
  • the contour on the two-dimensional image extracted by the planar contour extraction means is converted into a contour on the plane specified by the equation by perspective projection conversion, and the vertical and horizontal directions of the region surrounded by the converted contour
  • a dimension / position / orientation calculating means for detecting at least one of the length, position and orientation of the side of Program to function as.
  • Said computer further Using the lengths of the vertical and horizontal sides detected by the dimension / position / orientation calculation means as keys, the IDs of the plurality of objects are associated with the lengths of the vertical and horizontal sides of the planar area of each of the objects.
  • Said computer further When a plurality of the plane regions are extracted from the depth image, and the dimension / position / orientation calculation unit calculates the lengths of the plurality of vertical and horizontal sides, the mutual positions / postures of the plurality of planes existing in the real space
  • Said computer further Image projection means, A database that associates the type of plane, video, and projection position; Image projection position, distortion correction control means for calculating distortion correction, Projection control means for controlling the image projection means to project the image onto the object; Program to function as.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

　対象物を撮影し、二次元画像の画素ごとに深さ情報を備えたデプス画像を取得するデプス画像撮像部（２０１）と、デプス画像撮像部（２０１）により取得されたデプス画像から平面領域を抽出し、抽出した平面領域を含む平面の方程式を計算する平面検出部（２０２）と、平面検出部（２０２）により抽出された平面領域を上記二次元画像に射影した領域を四角形に近似した輪郭を抽出する平面輪郭抽出部（２０３）と、平面輪郭抽出部（２０３）により抽出された二次元画像上の輪郭を、透視投影変換により上記方程式で特定される平面上の輪郭に変換し、変換後の輪郭で囲まれた領域の縦横の辺の長さ、位置及び姿勢の中の少なくとも１つを検出する寸法・位置姿勢算出部（２０４）と、を備えることを特徴とする三次元情報計測・表示装置。

Description

三次元情報計測・表示装置、三次元情報計測・表示方法及びプログラム
　本発明は、三次元情報計測・表示装置、三次元情報計測・表示方法及びプログラムに関する。より詳細には、現実空間上の物体の空間的な位置、姿勢及び寸法等を推定し、その推定結果に合わせた情報を提供する装置に関する。
　ディスプレイの薄型化であらゆる場所に動的な情報が提示可能になってきた。しかしディスプレイの盗難や破壊の恐れがある。また、景観、コスト上から設置可能な箇所が一部に限られるという問題もある。
　そこで、プロジェクタを利用して、紙面や床、壁面などに映像投影により情報を提示しようとする試みがなされてきた（非特許文献１）。これらによれば上記の課題を解決可能だが、移動する対象物への投影は不可能である。
　対象物の三次元的な位置を正確に求めるための発明が特許文献１でなされた。デプス画像からポテンシャル面を計算し対象物を追跡するが、対象物の種類や三次元的な姿勢を求めることができなかった。
　特許文献２では、図２０のように物体もしくは図柄から物体の三次元的な位置と姿勢を取得する発明がなされた。しかし図柄に関しては印刷されたマーカや模様が必要で、物体では背景と物体が異なる色である必要があるなど条件が厳しく、照明条件の変化にも脆弱である。特許文献３や非特許文献２では図柄の無い物体の三次元的な位置、姿勢を求めているが、図２１のように対象物の特定の位置に光を反射する再帰性反射マーカが必要である。
特表２００７－５１４２１１号公報 特開２０１２－２１２４６０号公報 特開２００３－２５４７１６号公報
PINHANEZ, C. 2001. The Everywhere Displays Projector: A Device to Create Ubiquitous Graphical Interfaces. In Ubiquitous Computing 2001　(Ubicomp"01), 12-17. Khalilbeigi, M., Lissermann, R., Kleine, W., and Steimle, J. FoldMe: Interacting with Dual-sided Foldable Displays. Proc. TEI'12, ACM Press (2012). Suzuki, S. and Abe, K., Topological Structural Analysis of Digitized Binary Images by Border Following. CVGIP 301, pp 32-46 (1985) Urs Ramer, "An iterative procedure for the polygonal approximation of plane curves", Computer Graphics and Image Processing, 1(3), 244-256 (1972)
　上記文献に記載の技術により対象物の位置や姿勢を求める場合、表面の色や模様、印刷されたＡＲマーカ、再帰性反射マーカなど光学的識別情報が必要である。これらは対象物の表面や周辺に配置する必要があり、美観を損ねるとともにコスト増にもつながり産業上の応用が限られる可能性がある。
　本発明は上記課題を解決するためになされたものである。本発明の目的は、対象物に光学的に目印となる色、模様、マーカ類を必要とせず、対象物上の長方形や正方形など矩形平面の寸法や位置や姿勢、形状を計測する技術を提供することにある。
　本発明によれば、
　対象物を撮影し、二次元画像の画素ごとに深さ情報を備えたデプス画像を取得するデプス画像撮像手段と、
　前記デプス画像撮像手段により取得されたデプス画像から平面領域を抽出し、抽出した平面領域を含む平面の方程式を計算する平面検出手段と、
　前記平面検出手段により抽出された前記平面領域を前記二次元画像に射影した領域を四角形に近似した輪郭を抽出する平面輪郭抽出手段と、
　前記平面輪郭抽出手段により抽出された前記二次元画像上の前記輪郭を、透視投影変換により前記方程式で特定される前記平面上の輪郭に変換し、変換後の前記輪郭で囲まれた領域の縦横の辺の長さ、位置及び姿勢の中の少なくとも１つを検出する寸法・位置姿勢算出手段と、
を備えることを特徴とする三次元情報計測・表示装置が提供される。
　また、本発明によれば、
　コンピュータが、
　対象物を撮影し、二次元画像の画素ごとに深さ情報を備えたデプス画像を取得するデプス画像撮像ステップと、
　前記デプス画像撮像ステップで取得されたデプス画像から平面領域を抽出し、抽出した平面領域を含む平面の方程式を計算する平面検出ステップと、
　前記平面検出ステップで抽出された前記平面領域を前記二次元画像に射影した領域を四角形に近似した輪郭を抽出する平面輪郭抽出ステップと、
　前記平面輪郭抽出ステップで抽出された前記二次元画像上の前記輪郭を、透視投影変換により前記方程式で特定される前記平面上の輪郭に変換し、変換後の前記輪郭で囲まれた領域の縦横の辺の長さ、位置及び姿勢の中の少なくとも１つを検出する寸法・位置姿勢算出ステップと、
を実行する三次元情報計測・表示方法が提供される。
　また、本発明によれば、
　コンピュータを、
　対象物を撮影し、二次元画像の画素ごとに深さ情報を備えたデプス画像を取得するデプス画像撮像手段、
　前記デプス画像撮像手段により取得されたデプス画像から平面領域を抽出し、抽出した平面領域を含む平面の方程式を計算する平面検出手段、
　前記平面検出手段により抽出された前記平面領域を前記二次元画像に射影した領域を四角形に近似した輪郭を抽出する平面輪郭抽出手段、
　前記平面輪郭抽出手段により抽出された前記二次元画像上の前記輪郭を、透視投影変換により前記方程式で特定される前記平面上の輪郭に変換し、変換後の前記輪郭で囲まれた領域の縦横の辺の長さ、位置及び姿勢の中の少なくとも１つを検出する寸法・位置姿勢算出手段、
として機能させるためのプログラムが提供される。
　本発明によれば、対象物に光学的に目印となる色、模様、マーカ類を必要とせず、対象物上の長方形や正方形など矩形平面の寸法や位置や姿勢、形状を計測する技術が実現される。
　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
本実施形態に係る装置の構成を表す図である。 本実施形態の寸法・位置姿勢検出装置の機能構成を示すブロック図である。 デプス画像上の平面を二次元平面に写像するする処理を表す図である。 平面の輪郭処理を説明するための図である。 平面の輪郭処理を説明するための図である。 三次元的な矩形平面領域の頂点計算を説明するための図である。 平面の姿勢の算出方法を説明するための図である。 姿勢ベクトルを補正する様子を示した図である。 本実施形態の処理方法を説明するフローチャートである。 本実施形態の寸法・位置姿勢検出装置の機能構成を示すブロック図である。 本実施形態の寸法・位置姿勢検出装置の機能構成を示すブロック図である。 本実施形態の寸法・位置姿勢検出装置が保持するデータベースの一例を模式的に示す図である。 本実施形態の寸法・位置姿勢検出装置が保持するデータベースの一例を模式的に示す図である。 本実施形態の寸法・位置姿勢検出装置が保持するデータベースの一例を模式的に示す図である。 本実施形態の寸法・位置姿勢検出装置の作用効果を説明するための図である。 本実施形態の寸法・位置姿勢検出装置の作用効果を説明するための図である。 本実施形態の寸法・位置姿勢検出装置が保持するデータベースの一例を模式的に示す図である。 本実施形態の寸法・位置姿勢検出装置の作用効果を説明するための図である。 本実施形態の寸法・位置姿勢検出装置の機能構成を示すブロック図である。 参考例の位置・姿勢検出装置を説明する図である。 参考例の位置・姿勢検出装置を説明する図である。
　以下、本発明の実施の形態について図面を用いて説明する。
　なお、本実施形態の装置は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされたプログラム（あらかじめ装置を出荷する段階からメモリ内に格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムも含む）、そのプログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インタフェイスを中心にハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
　また、本実施形態の説明において利用する機能ブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの図においては、各装置は１つの機器により実現されるよう記載されているが、その実現手段はこれに限定されない。すなわち、物理的に分かれた構成であっても、論理的に分かれた構成であっても構わない。
＜第一実施形態＞
　図１は、本発明の第一実施形態に係る三次元情報計測・表示装置の構成である。同図に示すように、本装置は、測定対象物１０１のデプス（深度）画像を撮像するデプスカメラ１０２と、撮像したデプス画像を処理して寸法、位置及び姿勢の中の少なくとも１つを検出する寸法・位置姿勢検出装置１０３とで構成される。図２は寸法・位置姿勢検出装置１０３の機能構成を示すブロック図である。本発明による寸法・位置姿勢検出装置１０３は、主な機能構成として、デプス画像撮像部２０１、平面検出部２０２、平面輪郭抽出部２０３、寸法・位置姿勢算出部２０４を有する。
　デプス画像撮像部２０１はデプスカメラ１０２からデプス画像のデータを取得する。デプス画像とは二次元画像の座標（ｕｉ，ｖｉ）の各画素の値として、カメラからの距離Ｚｉを持つ画像のことである。この値とデプス画像撮像部２０１の固有のパラメータである焦点距離から、透視投影変換を利用して三次元空間座標上の点（Ｘｉ，Ｙｉ，Ｚｉ）を求めることができる。デプス画像のデータには、二次元画像のデータと、当該二次元画像の画素毎の深さ情報（カメラからの距離Ｚｉ）とが含まれる。デプス画像撮像部２０１にはパターン光を対象物に照射してその反射光の歪からデプス画像を取得するデプスカメラや、カメラを二台以上連結し異なる位置から撮影した時の視差からデプス画像を取得するステレオカメラ、光を対象物に照射しその反射光がカメラに到達するまでの時間からデプス画像を取得するＴＯＦ（Time Of Flight）方式のデプスカメラ、時間相関イメージセンサと時間的に変調された光源を利用したデプスカメラを利用してもよい。デプス画像撮像部２０１で得られたデプス画像のデータは平面検出部２０２へ入力される。
　平面検出部２０２は、デプス画像のデータを利用して、三次元空間上の平面領域を検出する。デプス画像の各画素に関して、周辺の点群の座標情報から法線ベクトルを計算する。また隣接する点間のユークリッド距離もしくはマンハッタン距離を計算する。この二つの値からクラスタリングを行い、同一の平面に属する点群が構成する平面領域を分割（セグメンテーション）し、検出することができる。さらに平面検出部２０２は検出した平面領域を特定する画素の集合と、法線ベクトルと、平面領域を構成する位置の平均をとった重心座標とを計算し、次式で表される平面の方程式を決定する。法線ベクトルの式（１）、重心座標の式（２）、及び平面の方程式（３）は、各々、以下の通り示される。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　平面検出部２０２は、１つ以上、例えば複数の平面の領域を検出することができる。なお、平面領域が１つも検出されなかった場合は、そのデプス画像に対する処理を終了する。平面検出部２０２で得られた平面領域を特定する画素集合と平面方程式平面輪郭抽出部２０３へ入力される。平面領域を特定する画素集合に含まれる画素各々は、二次元画像上の座標と、深さ情報とを有する。
　平面輪郭抽出部２０３は、図３のように、平面検出部２０２で検出された平面領域を、デプス画像に含まれる二次元画像（各画素が深さ情報を有する二次元画像）に射影した領域を特定するデータをえる。例えば、図３のようにデプス画像（三次元画像）から抽出した三次元空間上の平面領域を特定する画素集合に含まれる画素各々が有する二次元画像上の座標（ｕｉ，ｖｉ）を利用し、二次元画像上の画素（ｕｉ，ｖｉ）を黒に、それ以外の画素を白に塗った二値画像を生成する。これは三次元空間上の平面領域をカメラの光軸に垂直な画像平面（デプス画像に含まれる二次元画像）に射影したものに相当する。
　平面輪郭抽出部２０３は、二値画像を順に（例：左上から順に）走査して輪郭を決定する非特許文献３などの方法を用いて二値画像から黒い領域の輪郭を切り出す。切り出した輪郭は多数の頂点の集合である。平面輪郭抽出部２０３は四角形輪郭を切り出すため、検出した輪郭を４点の頂点で表される四角形に近似する。なお本実施形態における四角形とは、正方形もしくは長方形など角が直角である矩形に限らず、四つの線分で囲われた任意の図形を指す。
　近似手法は２段階の手順を踏む。まず、非特許文献４記載のRamer-Douglas-Peuckerアルゴリズムを利用することができる。同アルゴリズムは輪郭上に始点と終点の二点を定めその間に直線を引き、ある閾値εよりも一番遠く離れた点は輪郭点として確定する。その点から始点もしくは終点までまた直線を引き、同じ要領で輪郭点として確定する。同じ処理を繰り返して、どの点も閾値εに入ってなければアルゴリズムを終了させて輪郭を確定する。εは輪郭全長の０．５％～４０％の範囲が好ましい。
　Ramer-Douglas-Peuckerアルゴリズムにより、平面領域の輪郭の頂点の数が３点以下になれば、平面は四角ではないと判断して領域を破棄し、次の平面領域の輪郭抽出処理を開始する。頂点の数が４点であれば四角形の輪郭として確定し平面輪郭抽出部２０３へ出力する。５点以上の場合は次の２つの手順により外接四角形を計算する。まず５点以上の頂点に関して、Sklanskyのアルゴリズム（J. Sklansky, "Measuring concavity on a rectangular mosaic", IEEE Trans Comput.21,1974,pp.1355-1364）などの凸包計算アルゴリズムで凸包の輪郭へと変換する。次に、凸包の頂点が５点以上存在すれば、輪郭を構成する複数の線分のうち最も短い線分を探し、その線分に隣接する２つの線分を短い線分の方向へ伸ばした時の交点を、新たな輪郭の頂点として再構成する。図４は５点の頂点の場合の例を示す。頂点１～５まであり、それぞれ線分１－２、２－３、３－４、４－５、５－１の長さを計算する。その中で一番距離が短い線分３－４について、図５のように隣接する線分２－３、４－５を伸ばし交点を新たな頂点３´とする。６点以上の場合も同様にして繰り返し頂点を減らし４点の頂点を持つ四角形の輪郭を確定する。
　凸包への変換や頂点の再構成を実施することにより、平面領域の一部が検出できないような状況、たとえば対象物平面の表面がユーザの手や、その他立体物でおかれた状態でも正しく輪郭を検出することができる。ほかに二値画像から輪郭を抽出する手法としてノイズに頑強なハフ変換など統計的手法を利用してもよい。
　一般的にカメラの画像平面（各画素が深さ情報を有する二次元画像の平面）と、三次元空間上の位置の関係を示した透視投影変換によれば、画像平面上の点（ｕ，ｖ）と、三次元空間上の位置（Ｘ，Ｙ，Ｚ）は同次座標表現を用いて以下の式（４）で表わされる。
Figure JPOXMLDOC01-appb-M000004
　ここでｆｘとｆｙはそれぞれ横方向、縦方向の焦点距離である。長さとしてデプス画像のピクセルの単位を持つ。ｃｘとｃｙはデプス画像上の中心座標で同様にピクセルの単位である。ｓは比例係数でＺと等しい。式（４）から、以下の関係を求めることができる。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　式（３）乃至（６）から三次元空間上の位置（Ｘ，Ｙ，Ｚ）について解くと以下の式が得られる。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
　式（７）乃至（９）は、各画素が深さ情報を有する二次元画像の平面上の点（ｕ，ｖ）と、当該点を平面検出部２０２で検出した平面（式（３）で示される平面）上に射影した点（Ｘ，Ｙ，Ｚ）との関係を表す。
　平面輪郭抽出部２０３で取得された４頂点の座標（各画素が深さ情報を有する二次元画像の平面上で抽出された四角形の４頂点の座標）と、平面検出部２０２で得られた平面の方程式の係数は寸法・位置姿勢算出部２０４に入力される。
　寸法・位置姿勢算出部２０４、平面輪郭抽出部２０３から取得した上記４頂点の座標を上記式（７）乃至（９）に代入し、図６に示すように、平面検出部２０２で検出した平面（式（３）で示される平面）上の４頂点の座標を算出する。なお、平面輪郭抽出部２０３から取得した上記４頂点の座標、及び、平面検出部２０２で検出した平面（式（３）で示される平面）上の４頂点の座標は、各々、以下の式（１０）及び式（１１）で示される。
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000011
　寸法・位置姿勢算出部２０４は、式（１１）で示される４頂点で囲まれた平面領域が矩形を成すか判断する。具体的には、算出した式（１１）で示される４頂点の座標を利用して、四角形の４つの内角θ１～θ４を式（１２）により計算する。その後、式（１３）の判定式でなす角が直角からある閾値δだけ異なるとき、平面領域が矩形ではないと判断して、次の平面領域の処理へ移る。閾値δは、センサの精度や、対象物の寸法精度によって適宜定める。例えば０°から３０°の間とすることができる。寸法・位置姿勢算出部２０４は、このようにして、式（１１）で示される４頂点で囲まれた平面領域の向かい合う辺の平行度を判断することで、平面領域が矩形であるか否かを判断することができる。
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
　さらに寸法・位置姿勢算出部２０４は、算出した式（１１）で示される４頂点の座標を利用して、平面の姿勢を計算する。図７で示されるベクトルｅｎとｅｓは、各々、以下の式（１４）及び（１５）で定義する。
Figure JPOXMLDOC01-appb-M000014
Figure JPOXMLDOC01-appb-M000015
　定義からベクトルａとベクトルｅｎ、ベクトルａとベクトルｅｓはそれぞれ直交するが、ベクトルｅｎとベクトルｅｓは必ずしも直交しない為、これらの方向ベクトルが垂直となるようにベクトルａを中心軸として回転させる。図８のようにベクトルｅｎとベクトルｅｓを回転させて修正した結果のベクトルをそれぞれベクトルｎ及びベクトルｓとする。面の重心座標（ベクトルＧ）は以下の式（１６）の通り修正する。
Figure JPOXMLDOC01-appb-M000016
　矩形を成す平面領域の縦と横の辺の長さｌｖ、ｌｈを、各々、式（１７）及び（１８）の通り計算する。
Figure JPOXMLDOC01-appb-M000017
Figure JPOXMLDOC01-appb-M000018
　以上により、寸法・位置姿勢算出部２０４は矩形を成す平面領域の縦横の寸法や位置や姿勢を算出し、出力することができる。なお、寸法・位置姿勢算出部２０４は矩形を成す平面領域の縦横の寸法、位置及び姿勢の中の少なくとも１つ（例えば全部）を算出し、出力する。
　図９は上記の三次元の寸法・位置姿勢検出装置１０３の処理方法について説明するフローチャートである。
　まず、デプス画像撮像部２０１により対象物のデプス画像を撮影する（ステップＳ３０１）。次に、平面検出部２０２は、デプス画像撮像部２０１から出力されたデプス画像のデータ（三次元画像データ）を利用して、１つ又は複数の平面領域（三次元空間内における平面領域）を検出する（ステップＳ３０２）。平面検出部２０２は各平面領域を特定する画素の集合と、各平面領域の重心、各平面を表す法線、各平面領域を含む平面の方程式を算出する。平面検出部２０２は、ステップＳ３０２で平面が１つ以上検出されたかどうか判断し（ステップＳ３０３）、検出されなかった場合は（ステップＳ３０３のＮＯ）、そのデプス画像に対する処理を終了する。一方、検出された場合は（ステップＳ３０３のＹＥＳ）、各平面領域を特定する画素の集合及び各平面領域を含む平面の方程式を示すデータを平面輪郭抽出部２０３に向けて出力する。
　次に、平面輪郭抽出部２０３は、平面検出部２０２より出力されたデータを利用して、平面領域（三次元空間内における平面領域）をデプス画像に含まれる二次元画像（各画素が深さ情報を有する二次元画像）上に射影した領域を区別した二値化画像を生成し、当該領域の輪郭を表す頂点を検出し、四角形に近似させる処理を行う（ステップＳ３０４）。その後、平面輪郭抽出部２０３は、四角形に近似させる処理により輪郭が四角形で表されたかどうかを判断し（ステップＳ３０５）、輪郭が四角形とならない場合は（ステップＳ３０５のＮＯ）、次の平面領域の処理へ移行する（Ｓ３１０）。なお、他の平面領域が残っていない場合は（Ｓ３１０のＮＯ）、そのデプス画像に対する処理を終了する。一方、輪郭が四角形となった場合は（ステップＳ３０５のＹＥＳ）、ステップＳ３０６に進む。
　ステップＳ３０６では、寸法・位置姿勢算出部２０４は、平面輪郭抽出部２０３より出力された四角形の輪郭を表す４頂点の座標と、平面検出部２０２で算出した平面の方程式の係数から、三次元的な平面の４頂点（平面輪郭抽出部２０３より出力された四角形の輪郭を表す４頂点を平面検出部２０２で算出した平面の方程式で示される平面に射影した４頂点）を算出する処理を行なう（ステップＳ３０６）。
　その後、寸法・位置姿勢算出部２０４は、ステップＳ３０６で算出した三次元的な平面の４頂点を利用して、４頂点の内角が直角に近い（９０°からの差が所定範囲内）かどうか判断し（ステップＳ３０７）、内角が直角に近くない場合は（ステップＳ３０７のＮＯ）、次の平面領域の処理へ移行する。なお、他の平面領域が残っていない場合は（Ｓ３１０のＮＯ）、そのデプス画像に対する処理を終了する。一方、内角が直角に近い場合は（ステップＳ３０７のＹＥＳ）、ステップＳ３０８に進む。
　ステップＳ３０８では、寸法・位置姿勢算出部２０４は、頂点の位置から平面の位置、姿勢、寸法の中の少なくとも１つを算出し、結果を出力する（ステップＳ３０９）。その後未処理の平面領域が残っている場合には、再び残りの平面領域に関して輪郭を抽出する処理（ステップＳ３０４）へ戻る。その後未処理の平面領域がなくなるまでステップＳ３０４～ステップＳ３１０を繰り返す。平面領域がなくなったら処理を終了する。以上が本実施形態における寸法・位置姿勢検出装置の処理方法である。
　本実施形態によれば、対象物表面へ色や模様、印刷されたＡＲマーカ、光学的識別情報を追加することなく、対象物上の矩形表面の寸法や位置や姿勢を求めることができる。
　また三次元の点群データをそのまま利用して平面の輪郭を抽出する手法では、法線方向から見た平面の輪郭を得るため、通常、点群の回転・並進移動により１平面あたり数万～数千万回の浮動小数点数の積和演算が必要であった。これに対し、本実施形態であれば座標変換が必要な点は４点であり処理が高速である。さらに対象物表面の図柄や色を利用しない為、照明変化やノイズ、汚れに頑強である。
＜第二実施形態＞
　次に、本発明の第二実施形態に係る三次元情報計測・表示装置について説明する。本実施形態に係る三次元情報計測・表示装置では、平面輪郭抽出部２０３は、生成した二値画像に関して注目画素の周辺に１画素でも白い画素があれば白に置き換える膨張処理と、逆に周辺に１画素でも黒い画素があれば黒に置き換える収縮（縮小）処理を組み合わせて複数回実施し、デプス画像特有のノイズを除去した後に、輪郭近似および凸包生成処理等の輪郭抽出処理を行う。この点で、平面輪郭抽出部２０３において射影から輪郭を切り出すだけの第一実施形態とは異なる。その他の構成および動作は、第一実施形態と同様であるため、同じ構成および動作については説明を省略する。処理は膨張して収縮する処理、もしくは膨張して収縮する処理を１回以上３００回以下繰り返す。こうすることでノイズによる輪郭の誤差を軽減できる。本実施形態によれば、第一実施形態と同様の作用効果を実現することができる。
＜第三実施形態＞
　次に、本発明の第三実施形態に係る三次元情報計測・表示装置について説明する。本実施形態に係る三次元情報計測・表示装置では、寸法・位置姿勢算出部２０４は平面の姿勢認識に用いるため、平面領域の縦横の辺の長さを、常に横方向の辺が長くなるように姿勢ベクトル（ベクトルｎ及びベクトルｓ）を修正する。その他の構成および動作は、第一実施形態および第二実施形態と同様であるため、同じ構成および動作については説明を省略する。
　寸法・位置姿勢算出部２０４は、式（１７）及び式（１８）で計算した縦の辺の長さｌｖと横の辺の長さｌｈとの大小を比較し、ｌｖ＞ｌｈであればｌｖとｌｈの値を入れ替え、姿勢ベクトル（ベクトルｎ及びベクトルｓ）の方向を、ベクトルａを軸として右ねじの方向に９０°回転させ新しい姿勢ベクトルとする。以上の計算により実空間上の対象物の姿勢と、平面領域の姿勢ベクトルの対応づけは、ベクトルｎ及びベクトルｓそれぞれ符号が異なる２つの組み合わせに絞ることができる。
　動画など連続的に処理をする場合は、最初のフレームで平面輪郭抽出部２０３から入力された平面領域を特定する画素集合から輪郭を抽出した後に、上記の縦横の辺を決定する処理を実行する。寸法・位置姿勢算出部２０４は過去のフレームの処理結果を記憶しておき、最新のフレームの処理においてベクトルｎとベクトルｓの符号を過去の処理結果における値に近いように符号をとる。このようにすることで、対象物の連続的な姿勢変化に対しても対象物に一意に対応する姿勢ベクトルを計算することができる。本実施形態によれば、第一及び第二実施形態と同様の作用効果を実現することができる。
＜第四実施形態＞
　次に、本発明の第四実施形態に係る三次元情報計測・表示装置について説明する。本実施形態に係る三次元情報計測・表示装置では、寸法・位置姿勢算出部２０４は、平面領域の４つの頂点座標を用いて向かい合う辺の長さを計算・比較し、領域が矩形であるかを判断する。式（１９）より四角形の平面領域の向かい合う辺の長さを算出し、それらを比較する。
Figure JPOXMLDOC01-appb-M000019
　ｒｈ及びｒｖが小さければ、矩形に近い。たとえばｒｈ及びｒｖが０．１５以下であれば矩形であると判断する。本実施形態によれば、第一乃至第三実施形態と同様の作用効果を実現することができる。
＜第五実施形態＞
　次に、本発明の第五実施形態に係る三次元情報計測・表示装置について説明する。本実施形態に係る三次元情報計測・表示装置は、第一乃至第四実施形態と比べると、寸法・位置姿勢検出装置１０３が算出した縦横の辺の長さの結果を利用して、平面領域を抽出した対象物の種類を特定する（ＩＤ（識別情報）を特定する）点で異なる。具体的には、予め複数の対象物各々のＩＤと、各対象物が有する平面領域の縦横の辺の長さとを対応付けたデータベースを保持しておく。そして、デプス画像から抽出した平面領域の縦横の長さを寸法・位置姿勢検出装置１０３が算出すると、当該算出結果をキーとして上記データベースを検索し、キーと一致する縦横の辺の長さ、又は、キーとの差が所定の範囲内である縦横の辺の長さを対応付けられたＩＤを抽出（出力）する。その他の構成および動作は、第一実施形態乃至第四実施形態と同様であるため、同じ構成および動作については説明を省略する。
　図１０は、本実施形態における寸法・位置姿勢検出装置１０３の機能構成を示すブロック図である。本実施形態の寸法・位置姿勢検出装置１０３は、第一乃至第四実施形態の構成に加えて、照合部２０５と平面寸法データベース２０６を持つ。平面寸法データベース２０６は図１２で示すように、複数の対象物各々のＩＤと、各対象物が有する平面領域の縦横の辺の長さとを対応付けて記憶している。
　照合部２０５は、寸法・位置姿勢算出部２０４から入力された寸法（縦横の辺の長さ）と、平面寸法データベース２０６に登録された寸法を照合（入力された寸法をキーとして平面寸法データベース２０６を検索）する。照合部２０５は、照合の結果、キーと一致する寸法があると判定した場合、又は、キーとの差が所定の範囲内である寸法があると判定した場合、照合結果として、その寸法に対応付けられているＩＤを出力する。
　本実施形態によれば、第一乃至第四実施形態と同様の作用効果を実現することができる。また、本実施形態の三次元情報計測・表示装置によれば、撮像対象物の属性（種類等）を推定することができる。
＜第六実施形態＞
　次に、本発明の第六実施形態に係る三次元情報計測・表示装置について説明する。本実施形態に係る三次元情報計測・表示装置は、第一乃至第五実施形態と比べると、デプス画像から複数の平面領域が抽出され、寸法・位置姿勢算出部２０４が複数の縦横の辺の長さを算出した場合、現実空間上に存在する複数の平面の相互の位置・姿勢関係を関連付けた情報と、寸法・位置姿勢算出部２０４が算出した複数の縦横の辺の長さとを利用して、デプス画像撮像部２０１（デプスカメラ１０２）の現実空間上の位置と姿勢を算出し出力する点で異なる。具体的には、予め複数の対象物各々のＩＤと、各対象物が有する平面領域の縦横の辺の長さとを対応付けたデータベースを保持しておく。また、当該データベースに寸法を記録されている平面領域の現実空間上の位置・姿勢および平面領域間の相対的な位置・姿勢の関係を示すデータベースを保持しておく。そして、デプス画像から抽出した複数の平面領域各々の縦横の長さを寸法・位置姿勢検出装置１０３が算出すると、当該算出結果をキーとして上記データベースを検索し、検索結果に基づいて、デプスカメラ１０２の実空間における位置を算出する。
　図１９は本実施形態における寸法・位置姿勢検出装置１０３の機能構成を示すブロック図である。図１３、１４は平面寸法・位置姿勢データベース２１０に記憶されている情報を説明する図である。図１５、１６は本実施形態に係る動作を説明する図である。
　本実施形態において複数の平面領域の寸法と位置姿勢が寸法・位置姿勢算出部２０４から入力された場合、まず照合部２０５は平面寸法・位置姿勢データベース２１０に記憶された図１３のような平面のＩＤと寸法、実空間上の位置・姿勢を対応付けたテーブルから、寸法を照合（入力された寸法をキーとして図１３のデータベースを検索）する。入力された面が複数ある場合はすべての面についてＩＤを求める。対応するＩＤが存在しない場合はその面を無視し、ＩＤをもつ面が２面未満しか存在しない場合は処理を終了する。
　たとえば図１５のように実空間上で本実施形態を構成するデプスカメラ１０２の前に、矩形平面を有する物体３０２、３０３が存在すると、寸法・位置姿勢算出部２０４は物体３０２、３０３が有する矩形平面の縦横の寸法を図１６のように計算し照合部２０５へ出力する。照合部２０５は寸法から図１３のデータベースを検索し、各矩形平面に対応するＩＤを決定する。
　次に、照合部２０５は固有のＩＤを持つ複数の面に関して、面積が大きい面から順番に二面ずつのペアを作る。各ペアにおいて面の面積の大きい面を面Ａ、小さい面を面Ｂとする。照合部２０５は面Ａの位置と姿勢を基準とした面Ｂの相対的な位置と姿勢を計算する。その後、照合部２０５は計算結果をキーとして図１４のような平面寸法・位置姿勢データベース２１０を検索し、一致もしくは値が近い項目を抽出する。平面寸法・位置姿勢データベース２１０には、面Ａと面Ｂの関係が記載されている。一致もしくは値が近い項目が見つからなければ、処理を終了する。一致する項目が見つかれば、照合部２０５はデプスカメラ１０２に固定された座標系Σcamにおける面Ａの位置および姿勢と、図１３のテーブルに記録された基準座標系Σ0における面Ａの位置と姿勢から、基準座標系Σ0におけるデプス画像撮像部座標Σcamの位置と姿勢を逆算し出力する。基準座標系Σ0は現実空間に固定された座標系である。たとえば室内では部屋の隅の一つをΣ0の原点とすればよい。本実施形態ではデータベースに二面の相対関係を利用しているが、三つ以上の面に関して相対関係を記した形式としてもよい。二面以上の相対関係を利用することで、より正確なデプスカメラ１０２の位置姿勢推定が可能となる。
　本実施形態によれば、第一乃至第五実施形態と同様の作用効果を実現することができる。また、本実施形態の三次元情報計測・表示装置によれば、２面以上の位置および姿勢が既知な平面を基準として、デプス画像撮像部３０１の位置と姿勢を取得する効果が得られる。商業施設やオフィスなど人工物が多く存在する場所には机や看板、壁面、柱、ディスプレイ、箱、引出など矩形平面を持つ物体が多い。本実施形態によればこれらの人工物に存在する２面以上の矩形平面を手掛かりとして、デプスカメラ１０２の位置および姿勢を求めることができる。ＧＰＳの届かない場所で環境に無線測位装置やＱＲコード（登録商標）などを設置することなく、低コストに周辺環境にすでに存在する矩形平面を基準として高精度な位置・姿勢計測を実現できる。ＧＰＳを利用できる環境においてもＧＰＳの一般的な精度１０ｍより高精度な位置・姿勢の計測が可能である。
＜第七実施形態＞
　次に、本発明の第七実施形態に係る三次元情報計測・表示装置について説明する。本実施形態に係る三次元情報計測・表示装置は、第一乃至第六実施形態と比べると、測定対象物１０１に識別結果を映像として投影する手段を持つ点で異なる。
　図１１は、本実施形態における寸法・位置姿勢検出装置１０３の機能構成を示すブロック図である。本実施形態の寸法・位置姿勢検出装置１０３は、実施形態５及び６の構成に加えて、投影元画像データベース２０８と、歪補正部２０７と、映像投影部２０９を持つ。
　投影元画像データベース２０８には、投影元画像として静止画もしくは動画ファイルを決められた名前で保存しておく。投影元画像データベース２０８には、投影元画像に加えて図１７のように平面のＩＤと投影元画像の名前と平面上における投影位置、投影サイズを対応づけて登録しておく。図１８は平面上の投影画像の投影位置とサイズの関係を表した図である。画像は、平面４０１の左上を基準として、横位置４０３と縦位置４０４で指定される相対的な位置に幅４０５、高さ４０６で投影される。
　歪補正部２０７は、照合部２０５より平面の識別結果（ＩＤ）および寸法・位置姿勢を受け取ると、投影元画像データベース２０８から元画像を読み出す。歪補正部２０７は平面上に映像が投影されたときに対象物上の投影位置に歪がなく投影されるように、照合部２０５より出力された位置姿勢から元画像に対して回転、縮小、平行移動および歪補正を加えた映像を映像投影部２０９へ出力する。映像投影部２０９は入力された画像を対象物に向けて投影する。映像投影部２０９は、例えばプロジェクタなどにより構成される。歪補正はコンピュータグラフィックスの技術を利用すればよい。
　本実施形態によれば、第一乃至第六実施形態と同様の作用効果を実現することができる。また、本実施形態の三次元情報計測・表示装置によれば、歪み等がない画像を、所定の大きさで測定対象物１０１上の所定の位置に投影することができる。すなわち、測定対象物１０１上に直接良好な視認性を備えた情報を投影することができる。結果、ディスプレイや携帯端末等の装置を用意することなく、測定対象物１０１と直接結びついた理解しやすい形態で関連情報や識別結果をユーザに提供することが可能となる。
＜付記＞
　以下、参考形態の例を付記する。
１．　対象物を撮影し、二次元画像の画素ごとに深さ情報を備えたデプス画像を取得するデプス画像撮像手段と、
　前記デプス画像撮像手段により取得されたデプス画像から平面領域を抽出し、抽出した平面領域を含む平面の方程式を計算する平面検出手段と、
　前記平面検出手段により抽出された前記平面領域を前記二次元画像に射影した領域を四角形に近似した輪郭を抽出する平面輪郭抽出手段と、
　前記平面輪郭抽出手段により抽出された前記二次元画像上の前記輪郭を、透視投影変換により前記方程式で特定される前記平面上の輪郭に変換し、変換後の前記輪郭で囲まれた領域の縦横の辺の長さ、位置及び姿勢の中の少なくとも１つを検出する寸法・位置姿勢算出手段と、
を備えることを特徴とする三次元情報計測・表示装置。
２．　１に記載の三次元情報計測・表示装置において、
　前記平面輪郭抽出手段は、前記平面検出手段により抽出された前記平面領域に縮小・膨張処理を施しノイズを取り除いた後、前記平面領域を前記二次元画像に射影した領域を四角形に近似した輪郭を抽出する三次元情報計測・表示装置。
３．　１又は２に記載の三次元情報計測・表示装置において、
　前記寸法・位置姿勢算出手段は、変換後の前記輪郭で囲まれた領域の姿勢を検出した後、検出した平面の姿勢を修正する三次元情報計測・表示装置。
４．　１から３のいずれかに記載の三次元情報計測・表示装置において、
　前記平面輪郭抽出手段は、頂点座標の位置関係により平行度および向かい合う辺の長さを比較することで、平面が矩形であるか否かを判定する三次元情報計測・表示装置。
５．　１から４のいずれかに記載の三次元情報計測・表示装置において、
　前記寸法・位置姿勢算出手段が検出した前記縦横の辺の長さをキーとして、複数の前記対象物各々のＩＤと、前記対象物各々が有する平面領域の縦横の辺の長さとを対応付けたデータベースを検索し、前記キーに対応付けられている前記ＩＤを出力する手段を有する三次元情報計測・表示装置。
６．　５に記載の三次元情報計測・表示装置において、
　前記デプス画像から複数の前記平面領域が抽出され、前記寸法・位置姿勢算出手段が複数の前記縦横の辺の長さを算出した場合、現実空間上に存在する複数の平面の相互の位置・姿勢関係を関連付けた情報と、複数の前記縦横の辺の長さとを利用して、前記デプス画像撮像手段の現実空間上の位置と姿勢を算出し出力する手段を有する三次元情報計測・表示装置。
７．　１から６のいずれかに記載の三次元情報計測・表示装置において、
　映像投影手段と、
　平面の種類と、映像と、投影位置とを対応付けたデータベースと、
　映像の投影位置、ひずみ補正を計算する歪補正制御手段と、
　前記映像投影手段を制御して、前記対象物への映像投影を行う投影制御手段と、をさらに有する三次元情報計測・表示装置。
８．　コンピュータが、
　対象物を撮影し、二次元画像の画素ごとに深さ情報を備えたデプス画像を取得するデプス画像撮像ステップと、
　前記デプス画像撮像ステップで取得されたデプス画像から平面領域を抽出し、抽出した平面領域を含む平面の方程式を計算する平面検出ステップと、
　前記平面検出ステップで抽出された前記平面領域を前記二次元画像に射影した領域を四角形に近似した輪郭を抽出する平面輪郭抽出ステップと、
　前記平面輪郭抽出ステップで抽出された前記二次元画像上の前記輪郭を、透視投影変換により前記方程式で特定される前記平面上の輪郭に変換し、変換後の前記輪郭で囲まれた領域の縦横の辺の長さ、位置及び姿勢の中の少なくとも１つを検出する寸法・位置姿勢算出ステップと、
を実行する三次元情報計測・表示方法。
８－２．　８に記載の三次元情報計測・表示方法において、
　前記平面輪郭抽出ステップでは、前記平面検出ステップで抽出された前記平面領域に縮小・膨張処理を施しノイズを取り除いた後、前記平面領域を前記二次元画像に射影した領域を四角形に近似した輪郭を抽出する三次元情報計測・表示方法。
８－３．　８又は８－２に記載の三次元情報計測・表示方法において、
　前記寸法・位置姿勢算出ステップでは、変換後の前記輪郭で囲まれた領域の姿勢を検出した後、検出した平面の姿勢を修正する三次元情報計測・表示方法。
８－４．　８から８－３のいずれかに記載の三次元情報計測・表示方法において、
　前記平面輪郭抽出ステップでは、頂点座標の位置関係により平行度および向かい合う辺の長さを比較することで、平面が矩形であるか否かを判定する三次元情報計測・表示方法。
８－５．　８から８－４のいずれかに記載の三次元情報計測・表示方法において、
　前記寸法・位置姿勢算出ステップで検出した前記縦横の辺の長さをキーとして、複数の前記対象物各々のＩＤと、前記対象物各々が有する平面領域の縦横の辺の長さとを対応付けたデータベースを検索し、前記キーに対応付けられている前記ＩＤを出力する三次元情報計測・表示方法。
８－６．　８－５に記載の三次元情報計測・表示方法において、
　前記デプス画像から複数の前記平面領域が抽出され、前記寸法・位置姿勢算出ステップで複数の前記縦横の辺の長さが算出された場合、現実空間上に存在する複数の平面の相互の位置・姿勢関係を関連付けた情報と、複数の前記縦横の辺の長さとを利用して、前記デプス画像撮像ステップで前記デプス画像を撮像するデプスカメラの現実空間上の位置と姿勢を算出し出力する三次元情報計測・表示方法。
８－７．　８から８－６のいずれかに記載の三次元情報計測・表示方法において、
　前記コンピュータは、映像投影手段と、平面の種類と、映像と、投影位置とを対応付けたデータベースとを有し、
　映像の投影位置、ひずみ補正を計算する歪補正制御ステップと、
　前記映像投影手段を制御して、前記対象物への映像投影を行う投影制御ステップと、をさらに実行する三次元情報計測・表示方法。
９．　コンピュータを、
　対象物を撮影し、二次元画像の画素ごとに深さ情報を備えたデプス画像を取得するデプス画像撮像手段、
　前記デプス画像撮像手段により取得されたデプス画像から平面領域を抽出し、抽出した平面領域を含む平面の方程式を計算する平面検出手段、
　前記平面検出手段により抽出された前記平面領域を前記二次元画像に射影した領域を四角形に近似した輪郭を抽出する平面輪郭抽出手段、
　前記平面輪郭抽出手段により抽出された前記二次元画像上の前記輪郭を、透視投影変換により前記方程式で特定される前記平面上の輪郭に変換し、変換後の前記輪郭で囲まれた領域の縦横の辺の長さ、位置及び姿勢の中の少なくとも１つを検出する寸法・位置姿勢算出手段、
として機能させるためのプログラム。
９－２．　９に記載のプログラムにおいて、
　前記平面輪郭抽出手段に、前記平面検出手段により抽出された前記平面領域に縮小・膨張処理を施しノイズを取り除かせた後、前記平面領域を前記二次元画像に射影した領域を四角形に近似した輪郭を抽出させるプログラム。
９－３．　９又は９－２に記載のプログラムにおいて、
　前記寸法・位置姿勢算出手段に、変換後の前記輪郭で囲まれた領域の姿勢を検出させた後、検出した平面の姿勢を修正させるプログラム。
９－４．　９から９－３のいずれかに記載のプログラムにおいて、
　前記平面輪郭抽出手段に、頂点座標の位置関係により平行度および向かい合う辺の長さを比較することで、平面が矩形であるか否かを判定させるプログラム。
９－５．　９から９－４のいずれかに記載のプログラムにおいて、
　前記コンピュータを、さらに、
　前記寸法・位置姿勢算出手段が検出した前記縦横の辺の長さをキーとして、複数の前記対象物各々のＩＤと、前記対象物各々が有する平面領域の縦横の辺の長さとを対応付けたデータベースを検索し、前記キーに対応付けられている前記ＩＤを出力する手段として機能させるためのプログラム。
９－６．　９－５に記載のプログラムにおいて、
　前記コンピュータを、さらに、
　前記デプス画像から複数の前記平面領域が抽出され、前記寸法・位置姿勢算出手段が複数の前記縦横の辺の長さを算出した場合、現実空間上に存在する複数の平面の相互の位置・姿勢関係を関連付けた情報と、複数の前記縦横の辺の長さとを利用して、前記デプス画像撮像手段の現実空間上の位置と姿勢を算出し出力する手段として機能させるためのプログラム。
９－７．　９から９－６のいずれかに記載のプログラムにおいて、
　前記コンピュータを、さらに、
　映像投影手段、
　平面の種類と、映像と、投影位置とを対応付けたデータベース、
　映像の投影位置、ひずみ補正を計算する歪補正制御手段、
　前記映像投影手段を制御して、前記対象物への映像投影を行う投影制御手段、
として機能させるためのプログラム。
　この出願は、２０１３年３月２１日に出願された日本出願特願２０１３－０５８７０７号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (9)

  1. 　対象物を撮影し、二次元画像の画素ごとに深さ情報を備えたデプス画像を取得するデプス画像撮像手段と、
    　前記デプス画像撮像手段により取得されたデプス画像から平面領域を抽出し、抽出した平面領域を含む平面の方程式を計算する平面検出手段と、
    　前記平面検出手段により抽出された前記平面領域を前記二次元画像に射影した領域を四角形に近似した輪郭を抽出する平面輪郭抽出手段と、
    　前記平面輪郭抽出手段により抽出された前記二次元画像上の前記輪郭を、透視投影変換により前記方程式で特定される前記平面上の輪郭に変換し、変換後の前記輪郭で囲まれた領域の縦横の辺の長さ、位置及び姿勢の中の少なくとも１つを検出する寸法・位置姿勢算出手段と、
    を備えることを特徴とする三次元情報計測・表示装置。
  2. 　請求項１に記載の三次元情報計測・表示装置において、
    　前記平面輪郭抽出手段は、前記平面検出手段により抽出された前記平面領域に縮小・膨張処理を施しノイズを取り除いた後、前記平面領域を前記二次元画像に射影した領域を四角形に近似した輪郭を抽出する三次元情報計測・表示装置。
  3. 　請求項１又は２に記載の三次元情報計測・表示装置において、
    　前記寸法・位置姿勢算出手段は、変換後の前記輪郭で囲まれた領域の姿勢を検出した後、検出した平面の姿勢を修正する三次元情報計測・表示装置。
  4. 　請求項１から３のいずれか１項に記載の三次元情報計測・表示装置において、
    　前記平面輪郭抽出手段は、頂点座標の位置関係により平行度および向かい合う辺の長さを比較することで、平面が矩形であるか否かを判定する三次元情報計測・表示装置。
  5. 　請求項１から４のいずれか１項に記載の三次元情報計測・表示装置において、
    　前記寸法・位置姿勢算出手段が検出した前記縦横の辺の長さをキーとして、複数の前記対象物各々のＩＤと、前記対象物各々が有する平面領域の縦横の辺の長さとを対応付けたデータベースを検索し、前記キーに対応付けられている前記ＩＤを出力する三次元情報計測・表示装置。
  6. 　請求項５に記載の三次元情報計測・表示装置において、
    　前記デプス画像から複数の前記平面領域が抽出され、前記寸法・位置姿勢算出手段が複数の前記縦横の辺の長さを算出した場合、現実空間上に存在する複数の平面の相互の位置・姿勢関係を関連付けた情報と、複数の前記縦横の辺の長さとを利用して、前記デプス画像撮像手段の現実空間上の位置と姿勢を算出し出力する三次元情報計測・表示装置。
  7. 　請求項１から６のいずれか１項に記載の三次元情報計測・表示装置において、
    　映像投影手段と、
    　平面の種類と、映像と、投影位置とを対応付けたデータベースと、
    　映像の投影位置、ひずみ補正を計算する歪補正制御手段と、
    　前記映像投影手段を制御して、前記対象物への映像投影を行う投影制御手段と、をさらに有する三次元情報計測・表示装置。
  8. 　コンピュータが、
    　対象物を撮影し、二次元画像の画素ごとに深さ情報を備えたデプス画像を取得するデプス画像撮像ステップと、
    　前記デプス画像撮像ステップで取得されたデプス画像から平面領域を抽出し、抽出した平面領域を含む平面の方程式を計算する平面検出ステップと、
    　前記平面検出ステップで抽出された前記平面領域を前記二次元画像に射影した領域を四角形に近似した輪郭を抽出する平面輪郭抽出ステップと、
    　前記平面輪郭抽出ステップで抽出された前記二次元画像上の前記輪郭を、透視投影変換により前記方程式で特定される前記平面上の輪郭に変換し、変換後の前記輪郭で囲まれた領域の縦横の辺の長さ、位置及び姿勢の中の少なくとも１つを検出する寸法・位置姿勢算出ステップと、
    を実行する三次元情報計測・表示方法。
  9. 　コンピュータを、
    　対象物を撮影し、二次元画像の画素ごとに深さ情報を備えたデプス画像を取得するデプス画像撮像手段、
    　前記デプス画像撮像手段により取得されたデプス画像から平面領域を抽出し、抽出した平面領域を含む平面の方程式を計算する平面検出手段、
    　前記平面検出手段により抽出された前記平面領域を前記二次元画像に射影した領域を四角形に近似した輪郭を抽出する平面輪郭抽出手段、
    　前記平面輪郭抽出手段により抽出された前記二次元画像上の前記輪郭を、透視投影変換により前記方程式で特定される前記平面上の輪郭に変換し、変換後の前記輪郭で囲まれた領域の縦横の辺の長さ、位置及び姿勢の中の少なくとも１つを検出する寸法・位置姿勢算出手段、
    として機能させるためのプログラム。
PCT/JP2013/073291 2013-03-21 2013-08-30 三次元情報計測・表示装置、三次元情報計測・表示方法及びプログラム WO2014147863A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013058707 2013-03-21
JP2013-058707 2013-03-21

Publications (1)

Publication Number Publication Date
WO2014147863A1 true WO2014147863A1 (ja) 2014-09-25

Family

ID=51579580

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/073291 WO2014147863A1 (ja) 2013-03-21 2013-08-30 三次元情報計測・表示装置、三次元情報計測・表示方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2014147863A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015114762A (ja) * 2013-12-10 2015-06-22 国立大学法人 筑波大学 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム
JP2017091298A (ja) * 2015-11-12 2017-05-25 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
WO2017197988A1 (zh) * 2016-05-16 2017-11-23 杭州海康机器人技术有限公司 一种确定物体体积的方法及装置
CN108445476A (zh) * 2018-02-08 2018-08-24 广东伊雪松机器人设备有限公司 空间设定系统及空间设定方法
CN110210328A (zh) * 2019-05-13 2019-09-06 北京三快在线科技有限公司 在图像序列中标注物体的方法、装置及电子设备
CN110243390A (zh) * 2019-07-10 2019-09-17 北京华捷艾米科技有限公司 位姿的确定方法、装置及里程计
CN111322954A (zh) * 2020-03-19 2020-06-23 北京神工科技有限公司 一种装配工装位姿测量方法、装置、存储介质及电子设备
CN112184790A (zh) * 2020-09-02 2021-01-05 福建（泉州）哈工大工程技术研究院 基于深度相机的物体尺寸高精度测量方法
CN112668474A (zh) * 2020-12-28 2021-04-16 北京字节跳动网络技术有限公司 平面生成方法和装置、存储介质和电子设备
JPWO2021117390A1 (ja) * 2019-12-09 2021-06-17
US20220051372A1 (en) * 2020-08-12 2022-02-17 Niantic, Inc. Feature matching using features extracted from perspective corrected image
WO2022042304A1 (zh) * 2020-08-31 2022-03-03 腾讯科技（深圳）有限公司 识别场景轮廓的方法、装置、计算机可读介质及电子设备
CN114332243A (zh) * 2021-12-31 2022-04-12 北京航空航天大学 一种基于透视投影模型的火箭助推器分离姿态测量方法
CN114742853A (zh) * 2022-03-18 2022-07-12 华中科技大学 一种基于特征拟合的钣金件矩形轮廓三维测量方法及系统
JP7183372B1 (ja) 2021-11-05 2022-12-05 株式会社ダイヘン マーカ検出装置及びロボット教示システム
EP4075784A4 (en) * 2019-12-09 2023-01-25 FUJIFILM Corporation MOBILE UNIT, CONTROL DEVICE, AND IMAGING METHOD

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009028489A1 (ja) * 2007-08-30 2009-03-05 Kabushiki Kaisha Yaskawa Denki 物体検出方法と物体検出装置およびロボットシステム
JP2013034168A (ja) * 2011-08-01 2013-02-14 Fuji Xerox Co Ltd 画像投影装置ならびに画像投影制御装置およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009028489A1 (ja) * 2007-08-30 2009-03-05 Kabushiki Kaisha Yaskawa Denki 物体検出方法と物体検出装置およびロボットシステム
JP2013034168A (ja) * 2011-08-01 2013-02-14 Fuji Xerox Co Ltd 画像投影装置ならびに画像投影制御装置およびプログラム

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015114762A (ja) * 2013-12-10 2015-06-22 国立大学法人 筑波大学 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム
JP2017091298A (ja) * 2015-11-12 2017-05-25 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US10922834B2 (en) 2016-05-16 2021-02-16 Hangzhou Hikrobot Technology, Co., LTD Method and apparatus for determining volume of object
WO2017197988A1 (zh) * 2016-05-16 2017-11-23 杭州海康机器人技术有限公司 一种确定物体体积的方法及装置
CN107388960A (zh) * 2016-05-16 2017-11-24 杭州海康机器人技术有限公司 一种确定物体体积的方法及装置
CN107388960B (zh) * 2016-05-16 2019-10-22 杭州海康机器人技术有限公司 一种确定物体体积的方法及装置
CN108445476A (zh) * 2018-02-08 2018-08-24 广东伊雪松机器人设备有限公司 空间设定系统及空间设定方法
CN110210328A (zh) * 2019-05-13 2019-09-06 北京三快在线科技有限公司 在图像序列中标注物体的方法、装置及电子设备
CN110210328B (zh) * 2019-05-13 2020-08-07 北京三快在线科技有限公司 在图像序列中标注物体的方法、装置及电子设备
CN110243390A (zh) * 2019-07-10 2019-09-17 北京华捷艾米科技有限公司 位姿的确定方法、装置及里程计
CN110243390B (zh) * 2019-07-10 2021-07-27 北京华捷艾米科技有限公司 位姿的确定方法、装置及里程计
WO2021117390A1 (ja) * 2019-12-09 2021-06-17 富士フイルム株式会社 画像処理方法、画像処理装置、及び画像処理プログラム
CN114761995A (zh) * 2019-12-09 2022-07-15 富士胶片株式会社 图像处理方法、图像处理装置以及图像处理程序
JPWO2021117390A1 (ja) * 2019-12-09 2021-06-17
JP7254209B2 (ja) 2019-12-09 2023-04-07 富士フイルム株式会社 画像処理方法、画像処理装置、及び画像処理プログラム
EP4075784A4 (en) * 2019-12-09 2023-01-25 FUJIFILM Corporation MOBILE UNIT, CONTROL DEVICE, AND IMAGING METHOD
CN111322954B (zh) * 2020-03-19 2021-07-27 北京神工科技有限公司 一种装配工装位姿测量方法、装置、存储介质及电子设备
CN111322954A (zh) * 2020-03-19 2020-06-23 北京神工科技有限公司 一种装配工装位姿测量方法、装置、存储介质及电子设备
US20220051372A1 (en) * 2020-08-12 2022-02-17 Niantic, Inc. Feature matching using features extracted from perspective corrected image
US12008740B2 (en) * 2020-08-12 2024-06-11 Niantic, Inc. Feature matching using features extracted from perspective corrected image
WO2022042304A1 (zh) * 2020-08-31 2022-03-03 腾讯科技（深圳）有限公司 识别场景轮廓的方法、装置、计算机可读介质及电子设备
CN112184790B (zh) * 2020-09-02 2024-05-17 福建（泉州）哈工大工程技术研究院 基于深度相机的物体尺寸高精度测量方法
CN112184790A (zh) * 2020-09-02 2021-01-05 福建（泉州）哈工大工程技术研究院 基于深度相机的物体尺寸高精度测量方法
CN112668474A (zh) * 2020-12-28 2021-04-16 北京字节跳动网络技术有限公司 平面生成方法和装置、存储介质和电子设备
CN112668474B (zh) * 2020-12-28 2023-10-13 北京字节跳动网络技术有限公司 平面生成方法和装置、存储介质和电子设备
TWI806761B (zh) * 2021-11-05 2023-06-21 日商達誼恆股份有限公司 標誌檢測裝置以及機器人示教系統
JP2023069373A (ja) * 2021-11-05 2023-05-18 株式会社ダイヘン マーカ検出装置及びロボット教示システム
JP7183372B1 (ja) 2021-11-05 2022-12-05 株式会社ダイヘン マーカ検出装置及びロボット教示システム
CN114332243A (zh) * 2021-12-31 2022-04-12 北京航空航天大学 一种基于透视投影模型的火箭助推器分离姿态测量方法
CN114742853A (zh) * 2022-03-18 2022-07-12 华中科技大学 一种基于特征拟合的钣金件矩形轮廓三维测量方法及系统

Similar Documents

Publication Publication Date Title
WO2014147863A1 (ja) 三次元情報計測・表示装置、三次元情報計測・表示方法及びプログラム
US9940756B2 (en) Silhouette-based object and texture alignment, systems and methods
US9875424B2 (en) Method for determining correspondences between a first and a second image, and method for determining the pose of a camera
US10762386B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
EP3742113B1 (en) System and method for marking images for three-dimensional image generation
JP5713159B2 (ja) ステレオ画像による３次元位置姿勢計測装置、方法およびプログラム
US20200380229A1 (en) Systems and methods for text and barcode reading under perspective distortion
WO2012005140A1 (ja) 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム
US20120177283A1 (en) Forming 3d models using two images
US20120176478A1 (en) Forming range maps using periodic illumination patterns
CN107767456A (zh) 一种基于rgb‑d相机的物体三维重建方法
JP6172432B2 (ja) 被写体識別装置、被写体識別方法および被写体識別プログラム
US9213908B2 (en) Method for registering at least one part of a first and second image using a collineation warping function
EP3309743B1 (en) Registration of multiple laser scans
JP4701848B2 (ja) 画像マッチング装置、画像マッチング方法および画像マッチング用プログラム
Recky et al. Façade segmentation in a multi-view scenario
JP2008309595A (ja) オブジェクト認識装置及びそれに用いられるプログラム
KR101781515B1 (ko) 다면체를 이용한 카메라 칼리브레이션 시스템 및 방법
Kim et al. Wide-baseline stereo matching based on the line intersection context for real-time workspace modeling
JP6579659B2 (ja) 光源推定装置及びプログラム
KR101154436B1 (ko) 콘텍스트 교차에 근거한 라인 매칭 방법
JP5425045B2 (ja) オブジェクト検出方法、オブジェクト検出装置およびオブジェクト検出プログラム
JP2014032628A (ja) 対応点探索装置、そのプログラムおよびカメラパラメータ推定装置
JP6085160B2 (ja) 物体認識システム
KR101179969B1 (ko) 마커 검출 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13878842

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13878842

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP