WO2021166574A1 - 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体 - Google Patents

画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2021166574A1
WO2021166574A1 PCT/JP2021/002850 JP2021002850W WO2021166574A1 WO 2021166574 A1 WO2021166574 A1 WO 2021166574A1 JP 2021002850 W JP2021002850 W JP 2021002850W WO 2021166574 A1 WO2021166574 A1 WO 2021166574A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature points
point
points
image
extracted
Prior art date
Application number
PCT/JP2021/002850
Other languages
English (en)
French (fr)
Inventor
喜宏 山下
Original Assignee
Ｎｅｃソリューションイノベータ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃソリューションイノベータ株式会社 filed Critical Ｎｅｃソリューションイノベータ株式会社
Priority to JP2022501734A priority Critical patent/JP7276978B2/ja
Publication of WO2021166574A1 publication Critical patent/WO2021166574A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • the present invention relates to an image processing device and an image processing method for enabling the construction of a three-dimensional shape from a plurality of images, and further relates to a program for realizing these.
  • SfM Structure from Motion
  • the feature amount (for example, SIFT feature amount, SURF feature amount) is calculated for each image, and robustness feature points that are resistant to image enlargement / reduction, rotation, and illuminance change are extracted. Will be done.
  • matching of the extracted feature points is executed between the images, and a pair of matching feature points is extracted.
  • Robust Estimation calculates the geometrical relationship of feature point pairs and excludes erroneous feature point pairs.
  • Patent Document 1 discloses a technique for suppressing the extraction of an erroneous feature point pair.
  • a corresponding feature point pair is extracted from a plurality of images by using the above-mentioned conventional method, and the extracted feature point pair is used.
  • a temporary three-dimensional shape is constructed.
  • points or line segments corresponding to each other are designated in each image of the target.
  • the total number of points or line segments specified at this time is 2 or more.
  • the corresponding point or line segment is designated for each image, but the designation of the point or line segment is a point or a point corresponding to the operator with the naked eye. It is done by finding the line segment. Therefore, the designation of a point or a line segment imposes a heavy burden on the operator.
  • An example of an object of the present invention can solve the above problem and reduce the burden on the operator while improving the accuracy of the three-dimensional shape when constructing the three-dimensional shape of the object using a plurality of images.
  • An image processing apparatus, an image processing method, and a computer-readable recording medium can solve the above problem and reduce the burden on the operator while improving the accuracy of the three-dimensional shape when constructing the three-dimensional shape of the object using a plurality of images.
  • the image processing apparatus is A combination extraction unit that extracts a combination of corresponding feature points from a plurality of images of an object, A temporary three-dimensional shape construction unit that constructs a temporary three-dimensional shape of the object composed of a point cloud of the feature points by using the extracted combination of the feature points.
  • a feature point extraction unit that extracts feature points existing in a setting area based on the designated point, and a feature point extraction unit.
  • the temporary three-dimensional shape the three-dimensional coordinates of the extracted feature points are obtained, and based on the obtained three-dimensional coordinates, the points are designated in an image different from the designated image.
  • a corresponding point identification unit that specifies a corresponding point corresponding to the above point
  • a matrix calculation unit that obtains the geometrical relationship between the designated point and the corresponding point and calculates a numerical matrix expressing the obtained geometrical relationship.
  • the combination of the feature points whose geometric relationship between the feature points is inconsistent is specified from the extracted combinations of the feature points, and the features other than the specified combination of the feature points are specified.
  • a three-dimensional shape construction unit that constructs a three-dimensional shape of the object using a combination of points, It is characterized by having.
  • the image processing method in one aspect of the present invention is: A combination extraction step that extracts a combination of corresponding feature points from each of a plurality of images of an object, Using the extracted combination of the feature points, a tentative three-dimensional shape construction step for constructing a tentative three-dimensional shape of the object composed of the point cloud of the feature points, and a tentative three-dimensional shape construction step.
  • a feature point extraction step of extracting feature points existing in a setting area based on the designated point is used.
  • the three-dimensional coordinates of the extracted feature points are obtained, and based on the obtained three-dimensional coordinates, the points are designated in an image different from the designated image.
  • a corresponding point identification step for specifying a corresponding point corresponding to the above point
  • a matrix calculation step that obtains the geometrical relationship between the designated point and the corresponding point and calculates a numerical matrix that expresses the obtained geometrical relationship.
  • the combination of the feature points whose geometric relationship between the feature points is inconsistent is specified from the extracted combinations of the feature points, and the features other than the specified combination of the feature points are specified.
  • a three-dimensional shape construction step for constructing a three-dimensional shape of the object using a combination of points, and It is characterized by having.
  • the computer-readable recording medium in one aspect of the present invention is used.
  • a combination extraction step that extracts a combination of corresponding feature points from each of a plurality of images of an object, Using the extracted combination of the feature points, a temporary three-dimensional shape construction step for constructing a temporary three-dimensional shape of the object composed of the point cloud of the feature points, and a temporary three-dimensional shape construction step.
  • a feature point extraction step of extracting feature points existing in a setting area based on the designated point is used.
  • a three-dimensional shape construction step for constructing a three-dimensional shape of the object using a combination of points, and It is characterized by recording a program including an instruction to execute.
  • FIG. 1 is a block diagram showing a schematic configuration of an image processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a specific configuration of the image processing apparatus according to the embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of a plurality of images to be processed in the embodiment.
  • FIG. 4 is a diagram for explaining the process by the feature point extraction unit in the embodiment, and FIGS. 4 (a) and 4 (b) show a series of processes, respectively.
  • FIG. 5 is a diagram for explaining the process by the corresponding point specifying unit in the embodiment, and FIGS. 5 (a) and 5 (b) show a series of processes, respectively.
  • FIG. 5 is a diagram for explaining the process by the corresponding point specifying unit in the embodiment, and FIGS. 5 (a) and 5 (b) show a series of processes, respectively.
  • FIG. 5 is a diagram for explaining the process by the corresponding point specifying unit in the embodiment, and FIGS. 5 (a)
  • FIG. 6 is a diagram illustrating a process of specifying a combination of feature points having inconsistent geometric relationships by the three-dimensional shape construction unit according to the embodiment of the present invention.
  • FIG. 7 is a diagram showing an example of a pair image in which a combination of feature points is extracted.
  • FIG. 8 is a diagram showing an example of the three-dimensional coordinates of the camera of the initial pair image and the rotation matrix obtained from the camera matrix.
  • FIG. 9 is a diagram showing an example of a combination of a newly selected image after selection of an initial pair image and feature points extracted from the image.
  • FIG. 10 is a diagram illustrating a process of reprojecting the three-dimensional coordinates of the feature points in the object onto the two-dimensional image.
  • FIG. 11 is a flow chart showing the operation of the image processing apparatus according to the embodiment of the present invention.
  • FIG. 12 is a diagram for explaining the processing by the feature point extraction unit and the corresponding point identification unit in the modified example of the embodiment, and FIGS. 12A and 12B each show a series of processing. ..
  • FIG. 13 is a block diagram showing an example of a computer that realizes the image processing apparatus according to the embodiment of the present invention.
  • FIG. 1 is a block diagram showing a schematic configuration of an image processing apparatus according to an embodiment of the present invention.
  • the image processing device 10 in the embodiment shown in FIG. 1 is a device for enabling the construction of a three-dimensional shape from a plurality of images.
  • the image processing apparatus 10 includes a combination extraction unit 11, a temporary three-dimensional shape construction unit 12, a feature point extraction unit 13, a corresponding point identification unit 14, a matrix calculation unit 15, and three dimensions. It includes a shape building unit 16.
  • the combination extraction unit 11 extracts a combination of corresponding feature points from each of a plurality of images of the object.
  • the temporary three-dimensional shape construction unit 12 constructs a temporary three-dimensional shape of an object composed of a point cloud of feature points by using a combination of extracted feature points.
  • the feature point extraction unit 13 extracts the feature points existing in the setting area based on the designated point.
  • the corresponding point specifying unit 14 first obtains the three-dimensional coordinates of the extracted feature points using a temporary three-dimensional shape.
  • the corresponding point specifying unit 14 identifies the corresponding point corresponding to the specified point in the image different from the image in which the point is designated, based on the obtained three-dimensional coordinates.
  • the matrix calculation unit 15 obtains the geometric relationship between the designated point and the corresponding point, and calculates a numerical matrix expressing the obtained geometric relationship.
  • the three-dimensional shape construction unit 16 uses the calculated numerical matrix to identify the combination of feature points whose geometric relationships between the feature points are inconsistent from the extracted combinations of feature points.
  • the three-dimensional shape construction unit 16 reconstructs the three-dimensional shape by using a combination of feature points other than the specified combination of feature points.
  • only one point can be specified on one image to improve the accuracy of the three-dimensional shape, and only one point can be specified to automatically specify the corresponding point in another image. Be identified. Therefore, according to the embodiment, when constructing the target three-dimensional shape using a plurality of images, it is possible to reduce the burden on the operator while improving the accuracy of the three-dimensional shape.
  • FIG. 2 is a block diagram showing a specific configuration of the image processing apparatus according to the embodiment of the present invention.
  • the image processing apparatus 10 includes a combination extraction unit 11, a temporary three-dimensional shape construction unit 12, a feature point extraction unit 13, a corresponding point identification unit 14, a matrix calculation unit 15, and 3.
  • a three-dimensional shape construction unit 16 In addition to the three-dimensional shape construction unit 16, an image acquisition unit 17, a filtering unit 18, an input reception unit 19, and a display unit 20 are further provided.
  • reference numeral 21 denotes a display device.
  • the image acquisition unit 17 acquires image data of each of a plurality of images showing a three-dimensional shape construction target from an external device, for example, an image pickup device, a terminal device, a storage device that holds image data, and the like.
  • FIG. 3 is a diagram showing an example of a plurality of images to be processed in the embodiment. In the example of FIG. 3, a pair image is illustrated, but the number of target images in the present embodiment is not particularly limited.
  • the combination extraction unit 11 first calculates, for example, a SIFT feature amount or a SURF feature amount for each image to specify a feature point. Then, the combination extraction unit 11 extracts the corresponding feature points between the images as a combination of the corresponding feature points.
  • the combination of feature points is a feature point pair.
  • the circled portion indicates one of the feature points.
  • the two images from which the combination of the corresponding feature points is extracted are hereinafter referred to as "pair images".
  • the filtering unit 18 calculates the geometrical relationship between the feature points for each combination of the feature points, identifies an erroneous feature point combination based on the calculation result, and eliminates the specified feature point combination. ..
  • the filtering process by the filtering unit 18 is performed using robust estimation as in the conventional SfM.
  • the filtering process by the filtering unit 18 in addition to the filtering process by the three-dimensional shape construction unit 16 (hereinafter referred to as “second filtering process”) described later, the filtering process by the filtering unit 18 (hereinafter referred to as “first filtering process”). Notation.) Is also performed, so that the wrong combination of feature points is more reliably eliminated.
  • the temporary three-dimensional shape construction unit 12 calculates the temporary three-dimensional coordinates by using the combination of the extracted feature points, and further, using the calculated temporary three-dimensional coordinates, the feature points.
  • a temporary three-dimensional shape of an object composed of the point cloud of is constructed.
  • the three-dimensional coordinate calculation process and the three-dimensional shape construction process by the temporary three-dimensional shape construction unit 12 are the same as the three-dimensional coordinate calculation process and the three-dimensional shape construction process by the three-dimensional shape construction unit 16 described later. Will be done. The only difference between the two is whether or not the second filtering process is performed on the combination of feature points to be processed. Therefore, the details of the 3D coordinate calculation process and the 3D shape construction process by the temporary 3D shape construction unit 12 are described in the 3D coordinate calculation process and the 3D shape construction process by the 3D shape construction unit 16 described later. Instead of the detailed explanation of.
  • the input reception unit 19 accepts the designation of points on the image to be processed.
  • the point is designated, for example, by the user using an input device such as a touch panel or a mouse on the image displayed on the screen of the display device 21. Further, the point designation may be performed by the user via an external terminal device.
  • the feature point extraction unit 13 when the input reception unit 19 accepts the designation of a point on the image, the feature point extraction unit 13 has three or more feature points existing in the annular region centered on the designated point. Is extracted.
  • FIG. 4 is a diagram for explaining the process by the feature point extraction unit in the embodiment, and FIGS. 4 (a) and 4 (b) show a series of processes, respectively.
  • the input receiving unit 19 receives the designated point (hereinafter, "designated point”). It is written as.) Accepts the input.
  • the feature point extraction unit 13 is centered on the designated point from within the annular region in which the radius of the inner edge is r 1 or more and the radius of the outer edge is r 2 or less. Extract 3 or more feature points. Specifically, the feature points existing in the above region are specified from the feature points already extracted from the image by the combination extraction unit 11 and further filtered by the filtering unit 18, and the specified feature points are extracted. ..
  • a feature point A (x 0 , y 0 ), a feature point B (x 1 , y 1 ), and a feature point C (x 2 , y 2 ) are extracted. If three or more feature points are not extracted, the feature point extraction unit 13 expands the annular region and executes the extraction of the feature points again.
  • the corresponding point specifying unit 14 obtains the three-dimensional coordinates of each of the three or more feature points extracted by the feature point extracting unit 13 using a temporary three-dimensional shape, and is based on each of the obtained three-dimensional coordinates. Then, the coordinates of three or more feature points on another image are obtained. Further, the corresponding point specifying unit 14 obtains the positional relationship between the two from the coordinates of three or more feature points on the image on which the points are designated and the coordinates of the three or more feature points on another image. The corresponding point corresponding to the specified point is specified by using the obtained positional relationship.
  • FIG. 5 is a diagram for explaining the process by the corresponding point specifying unit in the embodiment, and FIGS. 5 (a) and 5 (b) show a series of processes, respectively.
  • the corresponding point identification unit 14 is provisionally The three-dimensional coordinates of the feature point A, the feature point B, and the feature point C are obtained from the three-dimensional shape of. Then, the corresponding point specifying unit 14 sets the corresponding feature points A'(x 0 ', y 0 ') and the feature point B'(x 1 ') in the image 2 based on the obtained three-dimensional coordinates. , Y 1 '), feature point C'(x 2 ', y 2 ') To ask.
  • the corresponding point identification unit 14 has feature points A, B, and C as a positional relationship between the feature points A, B, and C on the image 1 and the feature points A', B', and C'on the image 2.
  • the corresponding point specifying unit 14 obtains, for example, a rotation matrix R and a parallel traveling matrix t that satisfy the following equations 1 to 3.
  • the corresponding point specifying unit 14 applies the rotation matrix R and the parallel traveling matrix t to the point P, and is shown in FIG. 5 (b).
  • the corresponding point P'(x t ', y t ') corresponding to the point P is specified on the image 2.
  • the input reception unit 19, the feature point extraction unit 13, and the corresponding point identification unit 14 repeatedly execute such a process. In the embodiment, for example, at least five or more designated points are designated, and five or more corresponding points corresponding thereto are specified.
  • the matrix calculation unit 15 has the following number 4 as a geometric relationship between the five or more designated points P specified in the image 1 and the five or more corresponding points P'on the image 2.
  • a Fundamental matrix (reference) is calculated from the relational expression of, and this numerical matrix is defined as an absolute numerical matrix.
  • T is the transposed matrix.
  • F is a Fundamental matrix.
  • the numerical matrix is not limited to the Fundamental matrix, but may be a matrix capable of expressing a geometric relationship.
  • the three-dimensional shape construction unit 16 first uses a numerical matrix (Fundamental matrix) calculated by the matrix calculation unit 15 to combine feature points extracted by the combination extraction unit 11 (filtering unit 18). (Excluding those excluded in), identify the combination of feature points whose geometric relationships are inconsistent.
  • a numerical matrix Frundamental matrix
  • FIG. 6 is a diagram illustrating a process of specifying a combination of feature points having inconsistent geometric relationships by the three-dimensional shape construction unit according to the embodiment of the present invention.
  • the combination of the feature point p i and the feature point p 'i have a determination of whether the target is wrong.
  • E represents an epipolar plane
  • O i denotes the camera center position of one image
  • O 'i denotes the center position of the camera of the other image
  • e i represents the intersection between one image and the epipolar plane
  • e 'i represents the intersection of the other image and the epipolar plane.
  • the parallelograms shown on the left and right indicate the frame of the image, respectively.
  • the point P in one image is a designated point
  • the point P'in the other image is a corresponding point.
  • the epipolar line intersecting the designated point P is defined as the epipolar line l n
  • the epipolar line intersecting the corresponding point P' is defined as the epipolar line l'n.
  • the 3-dimensional shape constructing unit 16 using the relationship shown in Equation 5 below for epipolar line epipolar line l '1 corresponding to the epipolar lines l 1 to the feature point p i is present Is calculated.
  • F is the Fundamental matrix shown in Equation 4.
  • x is the coordinates of the epipolar line l.
  • the three-dimensional shape constructing unit 16 when the calculated epipolar line l '1 and the feature point p' the distance d between the i is judged whether equal to or greater than the threshold value, the distance d is equal to or greater than the threshold value , the combination of the feature point p i and the feature point p 'i is judged to be wrong.
  • 3-dimensional shape constructing unit 16 a combination of the feature point p i and the feature point p 'i, the geometric relationship is specified as a combination of feature points inconsistent.
  • the three-dimensional shape construction unit 16 specifies a combination of feature points whose geometric relationships are inconsistent, the three-dimensional shape construction unit 16 calculates the three-dimensional coordinates for constructing the three-dimensional shape by using the combination of the feature points not specified. do.
  • FIG. 7 is a diagram showing an example of a pair image in which a combination of feature points is extracted.
  • FIG. 8 is a diagram showing an example of the three-dimensional coordinates of the camera of the initial pair image and the rotation matrix obtained from the camera matrix.
  • FIG. 9 is a diagram showing an example of a combination of a newly selected image after selection of an initial pair image and feature points extracted from the image.
  • the three-dimensional shape construction unit 16 first selects an image 31 and an image 32 as a pair of images (initial pair images).
  • the feature points (m 1 to m 5 ) extracted from the image 31 correspond to the feature points (m ' 1 to m ' 5) extracted from the image 32.
  • m 1 and m '1, m 2 and m' 2, m 3 and m '3, m 4 and m' 4, m 5 and m '5 are each also referred to as a combination of feature points (hereinafter "feature point pair" To do).
  • the image 31 is photographed by the camera 41, and the image 32 is photographed by the camera 42.
  • M (M 1 to M 5 ) is a three-dimensional coordinate on the object corresponding to each feature point.
  • the three-dimensional shape constructing unit 16 using the initial pair images extracted feature point pair from each (m 1 ⁇ m 5, m '1 ⁇ m' 5), the camera 41 captures an image 31 Camera
  • the matrix Q and the camera matrix Q'of the camera 42 that captured the image 32 are calculated.
  • the camera matrix Q and the camera matrix Q' can be represented by the following equations 6 and 7, respectively, with the position of the camera 41 as the origin.
  • I is a rotation matrix of the camera 41.
  • the rotation matrix R and the parallel traveling matrix t can be calculated by back-calculating from the camera matrix Q and the camera matrix Q'.
  • the three-dimensional shape construction unit 16 calculates the rotation matrix R and the parallel traveling matrix t by solving the equations shown in the following equations 8 to 10 using the coordinates of each feature point.
  • the m hat is the coordinates on the image 31 obtained by normalizing m (m 1 to m 5).
  • m 'hat, m' is the coordinates on the image 31 obtained by normalizing the (m '1 ⁇ m' 5 ).
  • E is the Essential matrix
  • K is the camera calibration matrix.
  • the calibration matrix K can be obtained from the following equations 11 and 12. Note that c x and cy are the center coordinates of the camera.
  • the three-dimensional shape construction unit 16 calculates the three-dimensional coordinates M (M 1 to M 5 ) of the extracted feature points using the three-dimensional coordinates of the positions of each camera and the rotation matrix. Specifically, the three-dimensional shape construction unit 16 calculates the three-dimensional coordinates M by solving the following equation 13. Further, the matrix A in Equation 13 is represented by Equation 14. In Equation 14, q iT is the line of the camera matrix Q, q 'iT is the camera matrix Q' is a row of.
  • the three-dimensional shape construction unit 16 newly selects one image 33 from the images other than the initial pair image, which is the image from which the feature points are extracted.
  • the newly selected image 33 and one of the initial pair images are used as a new pair image.
  • the image 33 is taken by the camera 43.
  • the three-dimensional shape constructing unit 16 identifies characteristic points of the image 33 corresponding to the feature points of the image 32 (m '' 1 ⁇ m ' ' 3), feature points between the feature point and the image 33 of the image 32 And is a feature point pair. Then, the three-dimensional shape construction unit 16 calculates the camera matrix Qn of the camera 43 that captured the image 33.
  • the camera matrix Qn can be represented by the following equation 15.
  • the three-dimensional shape construction unit 16 calculates Rn and tun of the camera matrix Qn of the camera 43 by solving the equation shown in the following equation 16 using the specified feature points of the image 33. ..
  • M i is the 3-dimensional coordinates of the feature points in common with the image 32 in the newly selected image 33.
  • the mi hat is the normalized coordinates of the feature points in the newly selected image 33.
  • the di indicates the distance between the camera 43 that captured the image 33 and the mi hat, as shown in the following number 17.
  • the three-dimensional shape construction unit 16 uses a Qn and tn the camera matrix Qn camera 43 the calculated three-dimensional coordinates of the identified feature points of the image 33 (m '' 1 ⁇ m '' 3) to calculate the M i. In this case as well, the three-dimensional shape construction unit 16 calculates the three-dimensional coordinates M (M 1 to M 3) of the feature points by solving the above equation 13. Through the above processing, the three-dimensional shape construction unit 16 can calculate the three-dimensional coordinates of the object.
  • the three-dimensional shape construction unit 16 can determine the appropriateness of the feature points for which the three-dimensional coordinates have been calculated. For example, the three-dimensional shape construction unit 16 reprojects one of the combinations of feature points onto the original two-dimensional image by using the three-dimensional coordinates obtained from the combination and the camera matrix corresponding to the extraction source image. Is performed, and the two-dimensional coordinates of the projected position and the two-dimensional coordinates of the position at the time of extraction are compared. Then, in the embodiment, the three-dimensional shape construction unit 16 calculates the difference between the former two-dimensional coordinates and the latter two-dimensional coordinates as a comparison result, and when the calculated difference is equal to or less than the threshold value, it becomes a target. Judge that the feature points are appropriate. On the other hand, when the calculated difference exceeds the threshold value, the three-dimensional shape construction unit 16 determines that the target feature point is not appropriate.
  • the three-dimensional shape construction unit 16 selects all or one part of the feature points constituting this combination for each combination of the feature points for which the three-dimensional coordinates have been calculated, and the selected feature points It is also possible to determine whether or not they are appropriate one by one. For example, when the combination of feature points is composed of three feature points, the three-dimensional shape construction unit 16 may determine whether or not each of the three feature points is appropriate, and two of them may be determined. Only may be selected and it may be determined whether or not each of the two selected feature points is appropriate.
  • FIG. 10 is a diagram illustrating a process of reprojecting the three-dimensional coordinates of the feature points in the object onto the two-dimensional image. Further, in the example of FIG. 10, an example of reprojecting one of the feature points on the image 32 shown in FIG. 7 is shown. Further, in FIG. 10, the three-dimensional coordinates corresponding to the feature points, that is, the three-dimensional coordinates in the world coordinate system are set to (X W , Y W , Z W ), and the two-dimensional coordinates of the position at the time of extracting the feature points are set. Let (x f, y f ). Further, let the coordinates of the feature points in the camera coordinate system be (X C , Y C , Z C ).
  • the three-dimensional shape construction unit 16 normalizes the coordinates (X C , Y C , Z C ) of the feature points in the camera coordinate system using the following equation 19.
  • the three-dimensional shape construction unit 16 uses the coordinates normalized by the above equation 19 and the internal parameters of the camera (in the example of FIG. 10, the focal distance f of the camera 42 and the coordinates of the image center position (c x, c).
  • the two-dimensional coordinates (x p , y p ) when the feature points are reprojected on the image 32 are calculated.
  • the three-dimensional shape construction unit 16 uses the number 21 below, a two-dimensional two-dimensional coordinates (x p, y p) and the position at the time of the feature point extraction after re-projection calculated from the equation 20 The difference d from the coordinates (x f , y f) is calculated.
  • the three-dimensional shape construction unit 16 determines that the target feature point is appropriate when the calculated difference d is equal to or less than the threshold value G, and when the calculated difference d exceeds the threshold value G, the target is set as the target. It is judged that the feature points that have become are not appropriate.
  • the three-dimensional shape construction unit 16 excludes the three-dimensional coordinates corresponding to the feature points determined to be inappropriate and all the feature points corresponding to the three-dimensional coordinates. Further, in the embodiment, the three-dimensional shape construction unit 16 excludes only the feature points determined to be inappropriate, and sets the three-dimensional coordinates corresponding to the feature points determined to be inappropriate and the three-dimensional coordinates. Of the corresponding combinations of feature points, it is possible not to exclude feature points other than the feature points determined to be inappropriate. However, in this case, when the conformity determination of all the feature points is completed, the three-dimensional shape construction unit 16 determines the number of feature points corresponding to the three-dimensional coordinates for all the three-dimensional coordinates. Less than two 3D coordinates need to be excluded.
  • the three-dimensional shape construction unit 16 recalculates the three-dimensional coordinates using the remaining feature points, and constructs the point cloud data of the object by the three-dimensional coordinates of the finally obtained feature points. , Let this be the three-dimensional shape of the object.
  • the display unit 20 displays the three-dimensional shape constructed by the three-dimensional shape construction unit 16 on the screen of the display device 21 as a two-dimensional image. Specifically, the display unit 20 creates image data for displaying the constructed three-dimensional shape on the two-dimensional screen, and outputs the created image data to the display device 21.
  • the display unit 20 can display a plurality of images acquired by the image acquisition unit 17 on the screen of the display device 21 in order to assist the user in designating points. In this case, the user can specify a point on the image displayed on the screen. Further, when the temporary three-dimensional shape is constructed by the temporary three-dimensional shape construction unit 12, the display unit 20 also displays the constructed temporary three-dimensional shape as a two-dimensional image on the screen of the display device 21. be able to.
  • FIG. 11 is a flow chart showing the operation of the image processing apparatus according to the embodiment of the present invention.
  • FIGS. 1 to 10 will be referred to as appropriate.
  • the image processing method is implemented by operating the image processing device 10. Therefore, the description of the image processing method in the embodiment will be replaced with the following description of the operation of the image processing device 10.
  • the image acquisition unit 17 acquires image data of each of a plurality of images showing a three-dimensional shape construction target from an external device (step A1). Further, when step A1 is executed, the display unit 20 displays each acquired image on the display screen of the display device 21.
  • the combination extraction unit 11 identifies the feature points in the image for each image data acquired in step A1, and further extracts the feature points corresponding to each other as a combination of the corresponding feature points. (Step A2).
  • the filtering unit 18 calculates the geometrical relationship between the feature points for each combination of the feature points extracted in step A2, and identifies an erroneous feature point combination based on the calculation result.
  • the combination of the specified feature points is excluded (step A3).
  • the temporary three-dimensional shape construction unit 12 calculates the temporary three-dimensional coordinates using the combination of the feature points after the processing of step A3, and uses the calculated temporary three-dimensional coordinates to obtain the feature points.
  • a temporary three-dimensional shape of an object composed of point clouds is constructed (step A4).
  • the input receiving unit 19 accepts the designation of the point (step A5).
  • the feature point extraction unit 13 extracts three or more feature points existing in the annular region centered on the point designated in step A5 (step A6).
  • the corresponding point specifying unit 14 obtains the three-dimensional coordinates of the feature points extracted in step A6 using the temporary three-dimensional shape constructed in step A4, and designates them based on the obtained three-dimensional coordinates.
  • a corresponding point corresponding to the designated point in an image different from the point image is specified (step A7). Further, in the embodiment, steps A5 to A7 are repeatedly executed until the number of designated points and corresponding points reaches the required number (for example, 5).
  • the matrix calculation unit 15 obtains a geometric relationship between the designated point specified in step A5 and the corresponding point specified in step A7, and obtains a numerical matrix (Fundamental matrix) expressing the obtained geometric relationship. Calculate (step A8).
  • the three-dimensional shape construction unit 16 uses the numerical matrix calculated in step A8 to identify a combination of feature points having inconsistent geometric relationships from the combination of feature points after the processing in step A3. (Step A9).
  • the three-dimensional shape construction unit 16 calculates the three-dimensional coordinates for constructing the three-dimensional shape by using the combination of the feature points not specified in step A9 (step A10).
  • the three-dimensional shape construction unit 16 determines the suitability of the feature points for which the three-dimensional coordinates have been calculated in step A10, further eliminates the inappropriate feature points, and uses the proper feature points to obtain the three-dimensional coordinates. Recalculate. Then, the three-dimensional shape construction unit 16 constructs the point cloud data of the object based on the three-dimensional coordinates of each feature point finally obtained, and sets this as the three-dimensional shape of the object (step A11).
  • the display unit 20 displays the three-dimensional shape constructed in step A11 as a two-dimensional image on the screen of the display device 21 (step A12).
  • FIG. 12 is a diagram for explaining the processing by the feature point extraction unit and the corresponding point identification unit in the modified example of the embodiment, and FIGS. 12A and 12B each show a series of processing. ..
  • the distance between the specified designated point P is equal to or less than the threshold position, for example, the feature points are within a radius r 3 around the specified point.
  • the feature point extraction unit 13 extracts the feature points.
  • the corresponding point specifying unit 14 obtains the three-dimensional coordinates of the extracted feature points using the temporary three-dimensional shape, and is extracted on another image based on the obtained three-dimensional coordinates.
  • the coordinates of the feature points are obtained, and the points at the obtained coordinates are specified as the corresponding points P'corresponding to the specified points.
  • the corresponding point is obtained by approximating the very close feature point as the designated point.
  • the amount of calculation can be reduced as compared with the examples shown in FIGS. 4 and 5, so that the processing load on the image processing apparatus 10 is reduced.
  • the program in the embodiment may be any program that causes a computer to execute steps A1 to A12 shown in FIG. By installing this program on a computer and executing it, the image processing apparatus and the image processing method according to the present embodiment can be realized.
  • the computer processor includes a combination extraction unit 11, a temporary three-dimensional shape construction unit 12, a feature point extraction unit 13, a corresponding point identification unit 14, a matrix calculation unit 15, a three-dimensional shape construction unit 16, and an image acquisition unit 17. It functions as a filtering unit 18, an input receiving unit 19, and a display unit 20 to perform processing.
  • examples of computers include smartphones and tablet terminal devices.
  • the program in this embodiment may be executed by a computer system constructed by a plurality of computers.
  • each computer has a combination extraction unit 11, a temporary three-dimensional shape construction unit 12, a feature point extraction unit 13, a corresponding point identification unit 14, a matrix calculation unit 15, a three-dimensional shape construction unit 16, and an image. It may function as any of the acquisition unit 17, the filtering unit 18, the input reception unit 19, and the display unit 20.
  • FIG. 13 is a block diagram showing an example of a computer that realizes the image processing apparatus according to the embodiment of the present invention.
  • the computer 110 includes a CPU (Central Processing Unit) 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader / writer 116, and a communication interface 117. And. Each of these parts is connected to each other via a bus 121 so as to be capable of data communication.
  • CPU Central Processing Unit
  • the computer 110 may include a GPU (Graphics Processing Unit) or an FPGA (Field-Programmable Gate Array) in addition to the CPU 111 or in place of the CPU 111.
  • the GPU or FPGA can execute the program in the embodiment.
  • the CPU 111 executes various operations by expanding the program in the embodiment composed of the code group stored in the storage device 113 into the main memory 112 and executing each code in a predetermined order.
  • the main memory 112 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory).
  • the program in the embodiment is provided in a state of being stored in a computer-readable recording medium 120.
  • the program in the present embodiment may be distributed on the Internet connected via the communication interface 117.
  • the storage device 113 include a semiconductor storage device such as a flash memory in addition to a hard disk drive.
  • the input interface 114 mediates data transmission between the CPU 111 and an input device 118 such as a keyboard and mouse.
  • the display controller 115 is connected to the display device 119 and controls the display on the display device 119.
  • the data reader / writer 116 mediates the data transmission between the CPU 111 and the recording medium 120, reads the program from the recording medium 120, and writes the processing result in the computer 110 to the recording medium 120.
  • the communication interface 117 mediates data transmission between the CPU 111 and another computer.
  • the recording medium 120 include a general-purpose semiconductor storage device such as CF (Compact Flash (registered trademark)) and SD (Secure Digital), a magnetic recording medium such as a flexible disk, or a CD-.
  • CF Compact Flash
  • SD Secure Digital
  • a magnetic recording medium such as a flexible disk
  • CD- Compact Disk Read Only Memory
  • optical recording media such as ROM (Compact Disk Read Only Memory).
  • the image processing device 10 in the present embodiment can also be realized by using hardware corresponding to each part, for example, an electronic circuit, instead of the computer in which the program is installed. Further, the image processing device 10 may be partially realized by a program and the rest may be realized by hardware.
  • a combination extraction unit that extracts a combination of corresponding feature points from a plurality of images of an object
  • a temporary three-dimensional shape construction unit that constructs a temporary three-dimensional shape of the object composed of a point cloud of the feature points by using the extracted combination of the feature points.
  • a feature point extraction unit that extracts feature points existing in a setting area based on the designated point
  • a feature point extraction unit Using the temporary three-dimensional shape, the three-dimensional coordinates of the extracted feature points are obtained, and based on the obtained three-dimensional coordinates, the points are designated in an image different from the designated image.
  • a corresponding point identification unit that specifies a corresponding point corresponding to the above point
  • a matrix calculation unit that obtains the geometrical relationship between the designated point and the corresponding point and calculates a numerical matrix expressing the obtained geometrical relationship.
  • the combination of the feature points whose geometric relationship between the feature points is inconsistent is specified from the extracted combinations of the feature points, and the features other than the specified combination of the feature points are specified.
  • a three-dimensional shape construction unit that constructs a three-dimensional shape of the object using a combination of points, An image processing device characterized by being equipped with.
  • Appendix 2 The image processing apparatus according to Appendix 1.
  • the feature point extraction unit extracts three or more feature points existing in a ring-shaped region centered on the designated point.
  • the corresponding point identification part Using the temporary three-dimensional shape, the three-dimensional coordinates of each of the three or more feature points extracted are obtained, and based on each of the obtained three-dimensional coordinates, the three or more features on the other image. Find the coordinates of the point
  • the positional relationship between the three or more feature points on the image on which the points are designated is obtained from the coordinates of the three or more feature points and the coordinates of the three or more feature points on the other image. To identify the corresponding point corresponding to the specified point.
  • An image processing device characterized by this.
  • Appendix 3 The image processing apparatus according to Appendix 1.
  • the feature point extraction unit extracts the feature point.
  • the corresponding point identification unit obtains the three-dimensional coordinates of the extracted feature points using the temporary three-dimensional shape, and is extracted on the other image based on the obtained three-dimensional coordinates.
  • the coordinates of the feature points are obtained, and the points at the obtained coordinates are specified as the corresponding points corresponding to the designated points.
  • Appendix 4 The image processing apparatus according to any one of Appendix 1 to 3. It further includes a display unit that displays the three-dimensional shape constructed by the three-dimensional shape construction unit on the screen as a two-dimensional image. An image processing device characterized by this.
  • a combination extraction step that extracts a combination of corresponding feature points from each of a plurality of images of an object, Using the extracted combination of the feature points, a tentative three-dimensional shape construction step for constructing a tentative three-dimensional shape of the object composed of the point cloud of the feature points, and a tentative three-dimensional shape construction step.
  • a feature point extraction step of extracting feature points existing in a setting area based on the designated point is used.
  • the temporary three-dimensional shape the three-dimensional coordinates of the extracted feature points are obtained, and based on the obtained three-dimensional coordinates, the points are designated in an image different from the designated image.
  • a corresponding point identification step for specifying a corresponding point corresponding to the above point
  • a matrix calculation step that obtains the geometrical relationship between the designated point and the corresponding point and calculates a numerical matrix that expresses the obtained geometrical relationship.
  • the combination of the feature points whose geometric relationship between the feature points is inconsistent is specified from the extracted combinations of the feature points, and the features other than the specified combination of the feature points are specified.
  • a three-dimensional shape construction step for constructing a three-dimensional shape of the object using a combination of points, and An image processing method comprising.
  • Appendix 7 The image processing method described in Appendix 5
  • the feature point extraction step when the feature point exists at a position where the distance from the designated point is equal to or less than the threshold value, the feature point is extracted.
  • the corresponding point identification step the three-dimensional coordinates of the extracted feature points were obtained using the provisional three-dimensional shape, and the extracted three-dimensional coordinates were extracted on the other image based on the obtained three-dimensional coordinates.
  • the coordinates of the feature points are obtained, and the points at the obtained coordinates are specified as the corresponding points corresponding to the designated points.
  • Appendix 8 The image processing method according to any one of Appendix 5 to 7. It further has a display step of displaying the three-dimensional shape constructed by the three-dimensional shape construction step on the screen as a two-dimensional image. An image processing method characterized by that.
  • a combination extraction step that extracts a combination of corresponding feature points from each of a plurality of images of an object, Using the extracted combination of the feature points, a tentative three-dimensional shape construction step for constructing a tentative three-dimensional shape of the object composed of the point cloud of the feature points, and a tentative three-dimensional shape construction step.
  • a feature point extraction step of extracting feature points existing in a setting area based on the designated point is used.
  • the temporary three-dimensional shape the three-dimensional coordinates of the extracted feature points are obtained, and based on the obtained three-dimensional coordinates, the points are designated in an image different from the designated image.
  • a corresponding point identification step for specifying a corresponding point corresponding to the above point
  • a matrix calculation step that obtains the geometrical relationship between the designated point and the corresponding point and calculates a numerical matrix that expresses the obtained geometrical relationship.
  • the combination of the feature points whose geometric relationship between the feature points is inconsistent is specified from the extracted combinations of the feature points, and the features other than the specified combination of the feature points are specified.
  • a three-dimensional shape construction step for constructing a three-dimensional shape of the object using a combination of points, and A computer-readable recording medium recording a program that contains instructions to execute the program.
  • Appendix 10 The computer-readable recording medium according to Appendix 9, which is a computer-readable recording medium.
  • feature point extraction step three or more feature points existing in the ring-shaped region centered on the designated point are extracted.
  • corresponding point identification step Using the temporary three-dimensional shape, the three-dimensional coordinates of each of the three or more feature points extracted are obtained, and based on each of the obtained three-dimensional coordinates, the three or more features on the other image. Find the coordinates of the point
  • the positional relationship between the three or more feature points on the image on which the points are designated is obtained from the coordinates of the three or more feature points and the coordinates of the three or more feature points on the other image. To identify the corresponding point corresponding to the specified point.
  • a computer-readable recording medium characterized by that.
  • Appendix 11 The computer-readable recording medium according to Appendix 9, which is a computer-readable recording medium.
  • the feature point extraction step when the feature point exists at a position where the distance from the designated point is equal to or less than the threshold value, the feature point is extracted.
  • the corresponding point identification step the three-dimensional coordinates of the extracted feature points were obtained using the provisional three-dimensional shape, and the extracted three-dimensional coordinates were extracted on the other image based on the obtained three-dimensional coordinates. The coordinates of the feature points are obtained, and the points at the obtained coordinates are specified as the corresponding points corresponding to the designated points.
  • a computer-readable recording medium characterized by that.
  • Appendix 12 A computer-readable recording medium according to any one of Appendix 9 to 11.
  • the program is on the computer
  • the three-dimensional shape constructed by the three-dimensional shape construction step is displayed on the screen as a two-dimensional image, the display step is executed, and instructions are further included.
  • a computer-readable recording medium characterized by that.
  • the present invention when constructing a target three-dimensional shape using a plurality of images, it is possible to reduce the burden on the operator while improving the accuracy of the three-dimensional shape.
  • the present invention is useful in a technique for constructing a three-dimensional shape from a plurality of images such as SfM.
  • Image processing unit 11 Combination extraction unit 12 Temporary 3D shape construction unit 13 Feature point extraction unit 14 Corresponding point identification unit 15 Matrix calculation unit 16 3D shape construction unit 17 Image acquisition unit 18 Filtering unit 19 Input reception unit 20
  • Display unit 21 Display 110
  • Storage device 114 Input interface 115
  • Display controller 116 Data reader / writer 117
  • Communication interface 118 Input device 119
  • Display device 120 Recording medium 121 Bus

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

画像処理装置１０は、対象物の複数画像から特徴点の組合せを抽出する組合せ抽出部１１と、特徴点の組合せから対象物の仮の３次元形状を構築する仮３次元形状構築部１２と、１の画像で指定された指定点を基準にした設定領域内の特徴点を抽出する特徴点抽出部１３と、仮の３次元形状を用いて抽出済特徴点の３次元座標を求め、３次元座標に基づき別の画像で指定点に対応する対応点を特定する対応点特定部１４と、指定点と対応点との幾何学的関係を表現する数値行列を算出する行列算出部１５と、数値行列を用いて幾何学的関係が矛盾する特徴点の組合せを特定し、特定した特徴点の組合せ以外の特徴点の組合せを用いて、対象物の３次元形状を構築する、３次元形状構築部１６と、を備えている。

Description

画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体
　本発明は、複数の画像からの３次元形状の構築を可能にするための、画像処理装置、及び画像処理方法に関し、更には、これらを実現するためのプログラムに関する。
　近年、画像に写っている対象の３次元形状を構築する技術が注目されている。このような技術の代表例としては、ＳｆＭ（Structure from Motion）が知られている。ＳｆＭでは、特定の対象をカメラの視点を変えながら複数回撮影し、得られた複数枚の画像から、特定の対象の３次元形状が復元される。
　具体的には、まず、ＳｆＭでは、画像毎に、その特徴量（例えば、SIFT特徴量、SURF特徴量）が計算され、画像の拡大縮小、回転、及び照度変化に強いロバストネスな特徴点が抽出される。次に、画像間で、抽出した特徴点のマッチングが実行され、一致する特徴点のペアが抽出される。次に、例えば、ロバスト推定（Robust Estimation）によって、特徴点ペアの幾何学的な関係が計算され、誤った特徴点ペアが除外される。
　その後、幾つかの特徴点ペア毎に、これらの幾何学的な関係に基づいて、Fundamental行列が算出され、算出された各Fundamental行列間での差が最も少なくなるように、特徴点ペア毎の幾何学的な関係が調整される。そして、調整後の幾何学的な関係に基づいて、３次元形状（点群）が再構築される。なお、この時の誤差の調整方法としては、Bundle Adjustmentと呼ばれる処理手法が挙げられる。
　ところで、上述のＳｆＭでは、特徴点のマッチングに間違いが発生する場合がある。このような場合、対応しない特徴点同士が特徴点ペアとして抽出されてしまい、復元される３次元形状の精度が低下してしまう。このため、特許文献１は、間違った特徴点ペアの抽出を抑制する技術を開示している。
　具体的には、特許文献１に開示された技術では、まず、上述した従来からの手法を用いて、複数の画像から、対応する特徴点ペアが抽出され、抽出された特徴点ペアを用いて仮の３次元形状が構築される。続いて、対象を撮影した各画像において、互いに対応する点又は線分が指定される。このとき指定される点又は線分の合計は２以上となる。
　次に、指定された点間又は線分間の幾何学的関係を示す数値行列が算出され、算出された数値行列を用いて、先に抽出された特徴点ペアの中から間違った特徴点ペアが排除される。その後、排除されなかった特徴点ペアのみを用いて、再度、３次元形状が構築される。特許文献１に開示された技術を用いれば、復元される３次元形状の精度の向上が図られる。
国際公開第２０１９／０６５７８４号
　ところで、特許文献１に開示された技術では、上述したように、画像毎に、対応する点又は線分が指定されるが、点又は線分の指定は、作業者が肉眼で対応する点又は線分を見つけ出すことによって行われている。このため、点または線分の指定は、作業者にとって大きな負担になる。
　本発明の目的の一例は、上記問題を解消し、複数の画像を用いて対象の３次元形状を構築する際において、３次元形状の精度の向上を図りつつ、作業者の負担を軽減し得る、画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
　上記目的を達成するため、本発明の一側面における画像処理装置は、
　対象物の複数の画像からそれぞれから、対応する特徴点の組合せを抽出する、組合せ抽出部と、
　抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築する、仮３次元形状構築部と、
　前記複数の画像のうちの１の画像上において点が指定されると、指定された前記点を基準にした設定領域に存在する特徴点を抽出する、特徴点抽出部と、
　前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記点が指定された画像とは別の画像における、指定された前記点に対応する対応点を特定する、対応点特定部と、
　指定された前記点と前記対応点との幾何学的関係を求め、求めた前記幾何学的関係を表現する数値行列を算出する、行列算出部と、
　前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、３次元形状構築部と、
を備えている、ことを特徴とする。
　また、上記目的を達成するため、本発明の一側面における画像処理方法は、
　対象物の複数の画像からそれぞれから、対応する特徴点の組合せを抽出する、組合せ抽出ステップと、
　抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築する、仮３次元形状構築ステップと、
　前記複数の画像のうちの１の画像上において点が指定されると、指定された前記点を基準にした設定領域に存在する特徴点を抽出する、特徴点抽出ステップと、
　前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記点が指定された画像とは別の画像における、指定された前記点に対応する対応点を特定する、対応点特定ステップと、
　指定された前記点と前記対応点との幾何学的関係を求め、求めた前記幾何学的関係を表現する数値行列を算出する、行列算出ステップと、
　前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、３次元形状構築ステップと、
を有する、ことを特徴とする。
　更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、
コンピュータに、
　対象物の複数の画像からそれぞれから、対応する特徴点の組合せを抽出する、組合せ抽出ステップと、
　抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築する、仮３次元形状構築ステップと、
　前記複数の画像のうちの１の画像上において点が指定されると、指定された前記点を基準にした設定領域に存在する特徴点を抽出する、特徴点抽出ステップと、
　前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記点が指定された画像とは別の画像における、指定された前記点に対応する対応点を特定する、対応点特定ステップと、
　指定された前記点と前記対応点との幾何学的関係を求め、求めた前記幾何学的関係を表現する数値行列を算出する、行列算出ステップと、
　前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、３次元形状構築ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。
　以上のように本発明によれば、複数の画像を用いて対象の３次元形状を構築する際において、３次元形状の精度の向上を図りつつ、作業者の負担を軽減することができる。
図１は、本発明の実施の形態における画像処理装置の概略構成を示すブロック図である。 図２は、本発明の実施の形態における画像処理装置の具体的構成を示すブロック図である。 図３は、実施の形態で処理対象となる複数の画像の一例を示す図である。 図４は、実施の形態における特徴点抽出部による処理を説明する図であり、図４（ａ）及び図４（ｂ）はそれぞれ一連の処理を示している。 図５は、実施の形態における対応点特定部による処理を説明する図であり、図５（ａ）及び図５（ｂ）はそれぞれ一連の処理を示している。 図６は、本発明の実施の形態における３次元形状構築部による、幾何学的関係が矛盾する特徴点の組合せの特定処理を説明する図である。 図７は、特徴点の組合せが抽出されたペア画像の一例を示す図である。 図８は、カメラ行列から求められる、初期ペア画像のカメラの３次元座標と回転行列との一例を示す図である。 図９は、初期ペア画像の選択後に新たに選択された画像とそれから抽出された特徴点の組合せの一例を示す図である。 図１０は、対象物における特徴点の３次元座標を２次元画像に再投影する処理を説明する図である。 図１１は、本発明の実施の形態における画像処理装置の動作を示すフロー図である。 図１２は、実施の形態における変形例での特徴点抽出部及び対応点特定部による処理を説明する図であり、図１２（ａ）及び図１２（ｂ）はそれぞれ一連の処理を示している。 図１３は、本発明の実施の形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。
（実施の形態）
　以下、実施の形態における、画像処理装置、画像処理方法、及びプログラムについて、図１～図１３を参照しながら説明する。
［装置構成］
　最初に、実施の形態における画像処理装置の概略構成について図１を用いて説明する。図１は、本発明の実施の形態における画像処理装置の概略構成を示すブロック図である。
　図１に示す、実施の形態における画像処理装置１０は、複数の画像からの３次元形状の構築を可能にするための装置である。図１に示すように、画像処理装置１０は、組合せ抽出部１１と、仮３次元形状構築部１２と、特徴点抽出部１３と、対応点特定部１４と、行列算出部１５と、３次元形状構築部１６と、を備えている。
　このような構成において、組合せ抽出部１１は、対象物の複数の画像からそれぞれから、対応する特徴点の組合せを抽出する。仮３次元形状構築部１２は、抽出された特徴点の組合せを用いて、特徴点の点群で構成された、対象物の仮の３次元形状を構築する。
　特徴点抽出部１３は、対象物の複数の画像のうちの１の画像上において点が指定されると、指定された点を基準にした設定領域に存在する特徴点を抽出する。対応点特定部１４は、まず、仮の３次元形状を用いて、抽出された特徴点の３次元座標を求める。対応点特定部１４は、求めた３次元座標に基づいて、点が指定された画像とは別の画像における、指定された点に対応する対応点を特定する。
　行列算出部１５は、指定された点と対応点との幾何学的関係を求め、求めた幾何学的関係を表現する数値行列を算出する。３次元形状構築部１６は、まず、算出された数値行列を用いて、抽出された特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する特徴点の組合せを特定する。３次元形状構築部１６は、特定した特徴点の組合せ以外の特徴点の組合せを用いて３次元形状を再構築する。
　このように、実施の形態では、３次元形状の精度を高めるための点の指定が１の画像上での１点のみで良く、１点の指定だけで別の画像における対応点が自動的に特定される。このため、実施の形態によれば、複数の画像を用いて対象の３次元形状を構築する際において、３次元形状の精度の向上を図りつつ、作業者の負担を軽減することができる。
　続いて、図２～図１０を用いて、実施の形態における画像処理装置の構成及び機能について具体的に説明する。図２は、本発明の実施の形態における画像処理装置の具体的構成を示すブロック図である。
　図２に示すように、実施の形態では、画像処理装置１０は、組合せ抽出部１１、仮３次元形状構築部１２、特徴点抽出部１３、対応点特定部１４、行列算出部１５、及び３次元形状構築部１６に加えて、画像取得部１７と、フィルタリング部１８と、入力受付部１９と、表示部２０とを更に備えている。図２において、２１は、表示装置である。
　画像取得部１７は、外部の装置、例えば、撮像装置、端末装置、画像データを保持している記憶装置等から、３次元形状の構築対象が写った複数の画像それぞれの画像データを取得する。図３は、実施の形態で処理対象となる複数の画像の一例を示す図である。図３の例では、ペア画像が例示されているが、本実施の形態において対象となる画像の枚数は特に限定されるものではない。
　組合せ抽出部１１は、実施の形態では、まず、画像毎に、例えば、SIFT特徴量、又はSURF特徴量を計算して特徴点を特定する。そして、組合せ抽出部１１は、画像間で対応する特徴点同士を、対応する特徴点の組合せとして抽出する。図３の例では、画像が２枚であるため、特徴点の組合せは、特徴点ペアである。図３において、丸で囲まれた部分は特徴点の一つを示している。対応する特徴点の組合せが抽出された２枚の画像は、以降においては、「ペア画像」と表記する。
　フィルタリング部１８は、特徴点の組合せ毎に、特徴点間の幾何学的な関係を計算し、計算結果に基づいて、誤った特徴点の組合せを特定し、特定した特徴点の組合せを排除する。フィルタリング部１８によるフィルタリング処理は、従来からのＳｆＭと同様に、ロバスト推定を用いて行われる。実施の形態では、後述する３次元形状構築部１６によるフィルタリング処理（以下「第２のフィルタリング処理」と表記する。）に加えて、フィルタリング部１８によるフィルタリング処理（以下「第１のフィルタリング処理」と表記する。）も行われるので、より確実に間違った特徴点の組合せが排除される。
　仮３次元形状構築部１２は、実施の形態では、抽出された特徴点の組合せを用いて、仮の３次元座標を算出し、更に、算出された仮の３次元座標を用いて、特徴点の点群で構成された対象物の仮の３次元形状を構築する。
　なお、仮３次元形状構築部１２による３次元座標の算出処理及び３次元形状の構築処理は、後述する３次元形状構築部１６による３次元座標の算出処理及び３次元形状の構築処理と同様に行われる。両者の違いは、処理対象となる特徴点の組合せに対して第２のフィルタリング処理が行われているかどうかのみである。従って、仮３次元形状構築部１２による３次元座標の算出処理及び３次元形状の構築処理の詳細については、後述する３次元形状構築部１６による３次元座標の算出処理及び３次元形状の構築処理の詳細説明に代える。
　入力受付部１９は、処理対象となる画像上における点の指定を受け付ける。点の指定は、例えば、表示装置２１の画面上に表示された画像上で、ユーザによって、タッチパネル、マウスといった入力装置を用いて行われる。また、点の指定は、ユーザによって、外部の端末装置を介して行われていても良い。
　特徴点抽出部１３は、実施の形態では、入力受付部１９において画像上での点の指定が受け付けられると、指定が受け付けられた点を中心とする環状の領域に存在する３以上の特徴点を抽出する。
　図４を用いて、入力受付部１９及び特徴点抽出部１３による処理について具体的に説明する。図４は、実施の形態における特徴点抽出部による処理を説明する図であり、図４（ａ）及び図４（ｂ）はそれぞれ一連の処理を示している。
　まず、図４（ａ）に示すように、対象物の複数の画像のうちの１つの画像上で１点が指定されると、入力受付部１９は、指定された点（以下「指定点」と表記する。）の入力を受け付ける。続いて、図４（ｂ）に示すように、特徴点抽出部１３は、指定点を中心とした、内縁の半径がｒ１以上、外縁の半径がｒ２以下となる環状の領域内から、３以上の特徴点を抽出する。具体的には、組合せ抽出部１１によって既に画像から抽出され、更にフィルタリング部１８によってフィルタリングされた、特徴点の中から、上記領域内に存在する特徴点を特定し、特定した特徴点を抽出する。
　図４（ｂ）の例では、特徴点Ａ（ｘ０，ｙ０）、特徴点Ｂ（ｘ１，ｙ１）、特徴点Ｃ（ｘ２，ｙ２）の３点が抽出されている。なお、３以上の特徴点が抽出されなかった場合は、特徴点抽出部１３は、環状の領域を広げて再度特徴点の抽出を実行する。
　対応点特定部１４は、実施の形態では、仮の３次元形状を用いて、特徴点抽出部１３が抽出した３以上の特徴点それぞれの３次元座標を求め、求めた３次元座標それぞれに基づいて、別の画像上における、３以上の特徴点の座標を求める。更に、対応点特定部１４は、点が指定された画像上における、３以上の特徴点の座標と、別の画像上における、３以上の特徴点の座標とから、両者の位置関係を求め、求めた位置関係を用いて、指定点に対応する対応点を特定する。
　図５を用いて、対応点特定部１４による処理について具体的に説明する。図５は、実施の形態における対応点特定部による処理を説明する図であり、図５（ａ）及び図５（ｂ）はそれぞれ一連の処理を示している。
　図５（ａ）に示すように、特徴点抽出部１３が、画像１において、上述の特徴点Ａ、特徴点Ｂ、特徴点Ｃを抽出しているとすると、対応点特定部１４は、仮の３次元形状から、特徴点Ａ、特徴点Ｂ、特徴点Ｃの３次元座標を求める。そして、対応点特定部１４は、求めた３次元座標それぞれに基づき、画像２において、対応する特徴点として、特徴点Ａ’（ｘ０’，ｙ０’）、特徴点Ｂ’（ｘ１’，ｙ１’）、特徴点Ｃ’（ｘ２’，ｙ２’）
を求める。
　続いて、対応点特定部１４は、画像１上の特徴点Ａ、Ｂ、Ｃと、画像２上の特徴点Ａ’、Ｂ’、Ｃ’との位置関係として、特徴点Ａ、Ｂ、Ｃの位置関係を、特徴点Ａ’、Ｂ’、Ｃ’に相似変換するための行列を求める。具体的には、対応点特定部１４は、例えば、下記の数１～数３を満足する回転行列Ｒと並進行列ｔとを求める。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　そして、ユーザが画像１で指定した点をＰ（ｘｔ，ｙｔ）すると、対応点特定部１４は、点Ｐに回転行列Ｒと並進行列ｔと適用して、図５（ｂ）に示すように、画像２上において、点Ｐに対応する対応点Ｐ’（ｘｔ’，ｙｔ’）を特定する。入力受付部１９、特徴点抽出部１３、及び対応点特定部１４は、このような処理を繰り返し実行する。実施の形態では、例えば、少なくとも５個以上の指定点が指定され、それに対応する５個以上の対応点が特定される。
　行列算出部１５は、実施の形態では、画像１で指定された５個以上の指定点Ｐと、画像２上の５個以上の対応点Ｐ’との幾何学的関係として、下記の数４の関係式から、Fundamental行列（参照文献）を算出し、この数値行列を絶対的数値行列として定義する。下記の数４において、Ｔは転置行列である。また、ＦはFundamental行列である。実施の形態において数値行列は、Fundamental行列に限定されるものではなく、幾何学的関係を表現できる行列であれば良い。
Figure JPOXMLDOC01-appb-M000004
　参照文献：Richard Hartleyand Andrew Zisserman, “Multiple View Geometry in Computer Vision Second Edition”, Cambridge University Press, March 2004.
　３次元形状構築部１６は、本実施の形態では、まず、行列算出部１５によって算出された数値行列（Fundamental行列）を用いて、組合せ抽出部１１で抽出された特徴点の組合せ（フィルタリング部１８で除外されたものを除く）から、幾何学的関係が矛盾する特徴点の組合せを特定する。
　図６を用いて、３次元形状構築部１６による幾何学的関係が矛盾する特徴点の組合せの特定処理について具体的に説明する。図６は、本発明の実施の形態における３次元形状構築部による、幾何学的関係が矛盾する特徴点の組合せの特定処理を説明する図である。図６の例では、特徴点ｐｉと特徴点ｐ’ｉとの組合せが、間違っているかどうかの判断対象
となっている。
　また、図６において、Ｅはエピポーラ面を示し、Ｏｉは一方の画像のカメラの中心位置を示し、Ｏ’ｉは他方の画像のカメラの中心位置を示している。ｅｉは一方の画像とエピポーラ面との交点を示し、ｅ’ｉは他方の画像とエピポーラ面との交点を示している。更に、図６において、左右に示された並行四辺形はそれぞれ画像のフレームを示している。
　また、図６においては、一方の画像における点Ｐは指定点であり、他方の画像における点Ｐ’は対応点である。そして、指定点Ｐと交わるエピポーラ線を、エピポーラ線ｌｎと定義し、対応点Ｐ’と交わるエピポーラ線を、エピポーラ線ｌ’ｎと定義する。
　図６の例では、３次元形状構築部１６は、エピポーラ線についての下記の数５に示す関係を用いて、特徴点ｐｉが存在しているエピポーラ線ｌ１に対応するエピポーラ線ｌ’１を算出する。数５において、Ｆは、数４に示したFundamental行列である。ｘは、エピポーラ線ｌの座標である。
Figure JPOXMLDOC01-appb-M000005
　そして、３次元形状構築部１６は、算出したエピポーラ線ｌ’１と特徴点ｐ’ｉとの距離ｄが閾値以上となっているかどうかを判定し、距離ｄが閾値以上となっている場合は、特徴点ｐｉと特徴点ｐ’ｉとの組合せは間違っていると判定する。この場合、３次元形状構築部１６は、特徴点ｐｉと特徴点ｐ’ｉとの組合せを、幾何学的関係が矛盾する特徴点の組合せとして特定する。
　また、３次元形状構築部１６は、幾何学的関係が矛盾する特徴点の組合せを特定すると、特定しなかった特徴点の組合せを用いて、３次元形状を構築するための３次元座標を算出する。
　図７～図９を用いて、３次元形状構築部１６による３次元座標の算出処理について具体的に説明する。図７は、特徴点の組合せが抽出されたペア画像の一例を示す図である。図８は、カメラ行列から求められる、初期ペア画像のカメラの３次元座標と回転行列との一例を示す図である。図９は、初期ペア画像の選択後に新たに選択された画像とそれから抽出された特徴点の組合せの一例を示す図である。
　図７示すように、３次元形状構築部１６は、最初に、一組のペア画像（初期ペア画像）として画像３１と画像３２とを選択する。そして、この場合、画像３１から抽出されている特徴点（ｍ１～ｍ５）と、画像３２から抽出されている特徴点（ｍ’１～ｍ’５）とは対応している。ｍ１とｍ’１、ｍ２とｍ’２、ｍ３とｍ’３、ｍ４とｍ’４、ｍ５とｍ’５は、それぞれ特徴点の組合せ（以下「特徴点ペア」とも表記する）である。また、図７の例では、画像３１はカメラ４１によって撮影され、画像３２はカメラ４２によって撮影されている。図７において、Ｍ（Ｍ１～Ｍ５）は、各特徴点に対応する対象物上の３次元座標である。
　続いて、３次元形状構築部１６は、初期ペア画像それぞれから抽出された特徴点ペア（ｍ１～ｍ５、ｍ’１～ｍ’５）を用いて、画像３１を撮影したカメラ４１のカメラ行列Ｑと、画像３２を撮影したカメラ４２のカメラ行列Ｑ’とを算出する。また、カメラ行列Ｑ及びカメラ行列Ｑ’は、カメラ４１の位置を原点とすると、それぞれ下記の数６及び数７によって表すことができる。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
　上記数６において、Ｉは、カメラ４１の回転行列である。図８に示すように、カメラ４１の位置が原点となるので、Ｉ＝（１，１，１）となる。また、上記数４において、Ｒは、カメラ４２の回転行列である（Ｒ＝（Ｒｘ，Ｒｙ，Ｒｚ））。ｔは、並進行列であり、カメラ４２の位置の３次元座標に相当する（ｔ＝（ｔｘ，ｔｙ，ｔｚ））。
　従って、この場合は、カメラ行列Ｑ及びカメラ行列Ｑ’から逆算することによって、回転行列Ｒと並進行列ｔとを算出することが出来る。具体的には、３次元形状構築部１６は、各特徴点の座標を用いて、下記の数８～数１０に示す方程式を解くことによって、回転行列Ｒと並進行列ｔとを算出する。数８～数１０において、ｍハットは、ｍ（ｍ１～ｍ５）を正規化して得られた画像３１上の座標である。同様に、ｍ’ハットは、ｍ’（ｍ’１～ｍ’５）を正規化して得られた画像３１上の座標である。Ｅは、Ｅｓｓｅｎｔｉａｌ行列、Ｋはカメラのキャリブレーション行列である。
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
　また、キャリブレーション行列Ｋは、下記の数１１及び数１２から求めることができる。なお、ｃｘ、ｃｙは、カメラの中心座標である。
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
　次に、３次元形状構築部１６は、各カメラの位置の３次元座標と回転行列とを用いて、抽出された特徴点の３次元座標Ｍ（Ｍ１～Ｍ５）を算出する。具体的には、３次元形状構築部１６は、下記の数１３を解くことで３次元座標Ｍを算出する。また、数１３における行列Ａは、数１４で示される。数１４において、ｑｉＴは、カメラ行列Ｑの行であり、ｑ’ｉＴは、カメラ行列Ｑ’の行である。
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
　次に、図９に示すように、３次元形状構築部１６は、特徴点が抽出されている画像であって、初期ペア画像以外の画像の中から、１つの画像３３を新たに選択し、新たに選択した画像３３と初期ペア画像の１つとを新たなペア画像とする。画像３３は、カメラ４３によって撮影されている。
　そして、３次元形状構築部１６は、画像３２の特徴点に対応する画像３３の特徴点（ｍ’’１～ｍ’’３）を特定し、画像３２の特徴点と画像３３との特徴点とを特徴点ペアとする。そして、３次元形状構築部１６は、画像３３を撮影したカメラ４３のカメラ行列Ｑｎを算出する。カメラ行列Ｑｎは、下記の数１５によって表すことができる。
Figure JPOXMLDOC01-appb-M000015
　具体的には、３次元形状構築部１６は、画像３３の特定された特徴点を用いて、下記の
数１６に示す方程式を解くことによって、カメラ４３のカメラ行列ＱｎのＲｎ及びｔｎを
算出する。
Figure JPOXMLDOC01-appb-M000016
　数１６において、Ｍｉは、新たに選択された画像３３における画像３２と共通する特徴点の３次元座標である。ｍｉハットは、新たに選択された画像３３における特徴点の正規化された座標である。ｄｉは、下記の数１７に示すように、画像３３を撮影したカメラ４３とｍｉハットとの距離を示している。
Figure JPOXMLDOC01-appb-M000017
　次に、３次元形状構築部１６は、算出したカメラ４３のカメラ行列ＱｎのＱｎ及びｔｎを用いて、画像３３の特定された特徴点（ｍ’’１～ｍ’’３）の３次元座標Ｍｉを算出する。この場合も、３次元形状構築部１６は、上記数１３を解くことで、特徴点の３次元座標Ｍ（Ｍ１～Ｍ３）を算出する。以上の処理により、３次元形状構築部１６は、対象物の３次元座標を算出することができる。
　また、実施の形態では、３次元形状構築部１６は、３次元座標が算出された特徴点について適正を判定することができる。３次元形状構築部１６は、例えば、特徴点の組合せの一つについて、それから得られる３次元座標と、抽出元の画像に対応するカメラ行列とを用いて、元の２次元画像上に再投影を行い、投影された位置の２次元座標と、抽出時の位置の２次元座標とを比較する。そして、３次元形状構築部１６は、実施の形態では、比較結果として、前者の２次元座標と後者の２次元座標との差分を算出し、算出した差分が閾値以下の場合に、対象となった特徴点が適正であると判定する。一方、３次元形状構築部１６は、算出した差分が閾値を越える場合は、対象となった特徴点が適正でないと判定する。
　また、実施の形態では、３次元形状構築部１６は、３次元座標が算出された特徴点の組合せ毎に、この組合せを構成する特徴点の全部又は１部を選択し、選択した特徴点について１つずつ適正かどうかを判定することもできる。例えば、特徴点の組合せが３つの特徴点で構成されている場合は、３次元形状構築部１６は、３つの特徴点について１つずつ適正かどうかを判定しても良いし、このうち２つのみを選択し、選択した２つの特徴点について１つずつ適正かどうかを判定しても良い。
　図１０を用いて、３次元形状構築部１６による特徴点の適性の判定処理について具体的に説明する。図１０は、対象物における特徴点の３次元座標を２次元画像に再投影する処理を説明する図である。また、図１０の例では、図７に示した画像３２上の特徴点の一つを再投影する例について示している。更に、図１０において、特徴点に対応する３次元座標、即ち、世界座標系での３次元座標を（ＸＷ，ＹＷ，ＺＷ）とし、特徴点の抽出時の位置の２次元座標を（ｘｆ，ｙｆ）とする。また、特徴点のカメラ座標系での座標を（ＸＣ，ＹＣ，ＺＣ）とする。
　まず、３次元形状構築部１６は、下記の数１８を用いて、カメラ行列Ｑ’（＝［Ｒ｜ｔ］）と特徴点の３次元座標（ＸＷ，ＹＷ，ＺＷ）とから、特徴点のカメラ座標系での座標（ＸＣ，ＹＣ，ＺＣ）を算出する。
Figure JPOXMLDOC01-appb-M000018
　続いて、３次元形状構築部１６は、下記の数１９を用いて、特徴点のカメラ座標系での座標（ＸＣ，ＹＣ，ＺＣ）を正規化する。
Figure JPOXMLDOC01-appb-M000019
　続いて、３次元形状構築部１６は、上記数１９で正規化された座標と、カメラの内部パラメータ（図１０の例では、カメラ４２の焦点距離ｆ、画像中心位置の座標（ｃｘ，ｃｙ）とを、下記の数２０に適用して、特徴点を画像３２に再投影した時の２次元座標（ｘｐ，ｙｐ）を算出する。
Figure JPOXMLDOC01-appb-M000020
　次に、３次元形状構築部１６は、下記の数２１を用いて、上記数２０から算出した再投影後の２次元座標（ｘｐ，ｙｐ）と特徴点の抽出時の位置の２次元座標（ｘｆ，ｙｆ）との差分ｄを算出する。
Figure JPOXMLDOC01-appb-M000021
　その後、３次元形状構築部１６は、算出した差分ｄが閾値Ｇ以下の場合に、対象となった特徴点が適正であると判定し、算出した差分ｄが閾値Ｇを越える場合は、対象となった特徴点が適正でないと判定する。
　判定後、３次元形状構築部１６は、適正でないと判定された特徴点に対応する３次元座標、及び、この３次元座標に対応する全ての特徴点を除外する。また、３次元形状構築部１６は、実施の形態では、適正でないと判定された特徴点のみを除外し、適正でないと判定された特徴点に対応する３次元座標、及び、この３次元座標に対応する特徴点の組み合わせのうち、適正でないと判定された特徴点以外の特徴点は除外しないことも可能である。但し、この場合は、３次元形状構築部１６は、全ての特徴点の適合性判定が完了したときに、全ての３次元座標に対して、それぞれの３次元座標に対応する特徴点の数が２個未満の３次元座標は除外する必要がある。
　そして、３次元形状構築部１６は、残りの特徴点を用いて、３次元座標を再計算し、最終的に得られた各特徴点の３次元座標によって、対象物の点群データを構築し、これを対象物の３次元形状とする。
　また、表示部２０は、３次元形状構築部１６によって構築された３次元形状を、２次元画像として、表示装置２１の画面上に表示させる。具体的には、表示部２０は、構築された３次元形状を二次元画面上に表示するための画像データを作成し、作成した画像データを表示装置２１に出力する。
　また、本実施の形態では、表示部２０は、ユーザによる点の指定を支援するために、画像取得部１７で取得された複数の画像を、表示装置２１の画面上に表示させることができる。この場合、ユーザは、画面に表示された画像上で、点を指定することができる。更に、表示部２０は、仮３次元形状構築部１２によって仮の３次元形状が構築されると、構築された仮の３次元形状も、２次元画像として、表示装置２１の画面上に表示させることができる。
［装置動作］
　次に、実施の形態における画像処理装置の動作について図１１を用いて説明する。図１１は、本発明の実施の形態における画像処理装置の動作を示すフロー図である。以下の説明においては、適宜図１～図１０を参照する。また、実施の形態では、画像処理装置１０を動作させることによって、画像処理方法が実施される。よって、実施の形態における画像処理方法の説明は、以下の画像処理装置１０の動作説明に代える。
　図１０に示すように、最初に、画像取得部１７は、外部の装置から、３次元形状の構築対象が写った複数の画像それぞれの画像データを取得する（ステップＡ１）。また、ステップＡ１が実行されると、表示部２０は、取得された各画像を表示装置２１の表示画面に表示させる。
　次に、組合せ抽出部１１は、ステップＡ１で取得された画像データ毎に、その画像における特徴点を特定し、更に、画像間で対応する特徴点同士を、対応する特徴点の組合せとして抽出する（ステップＡ２）。
　次に、フィルタリング部１８は、ステップＡ２で抽出された特徴点の組合せ毎に、特徴点間の幾何学的な関係を計算し、計算結果に基づいて、誤った特徴点の組合せを特定し、特定した特徴点の組合せを排除する（ステップＡ３）。
　次に、仮３次元形状構築部１２は、ステップＡ３の処理後の特徴点の組合せを用いて、仮の３次元座標を算出し、算出された仮の３次元座標を用いて、特徴点の点群で構成された対象物の仮の３次元形状を構築する（ステップＡ４）。
　次に、表示装置２１の画面上に表示されている画像上で、ユーザが点を指定すると、入力受付部１９は、点の指定を受け付ける（ステップＡ５）。
　次に、特徴点抽出部１３は、ステップＡ５で指定が受け付けられた点を中心とする環状の領域に存在する３以上の特徴点を抽出する（ステップＡ６）。
　次に、対応点特定部１４は、ステップＡ４で構築された仮の３次元形状を用いて、ステップＡ６で抽出された特徴点の３次元座標を求め、求めた３次元座標に基づいて、指定点の画像とは別の画像における、指定点に対応する対応点を特定する（ステップＡ７）。また、実施の形態では、ステップＡ５～Ａ７は、指定点と対応点との数が必要数（例えば５個）となるまで繰り返し実行される。
　次に、行列算出部１５は、ステップＡ５で指定された指定点とステップＡ７特定された対応点との幾何学的関係を求め、求めた幾何学的関係を表現する数値行列（Fundamental行列）を算出する（ステップＡ８）。
　次に、３次元形状構築部１６は、ステップＡ８で算出された数値行列を用いて、ステップＡ３の処理後の特徴点の組合せの中から、幾何学的関係が矛盾する特徴点の組合せを特定する（ステップＡ９）。
　次に、３次元形状構築部１６は、ステップＡ９で特定しなかった特徴点の組合せを用いて、３次元形状を構築するための３次元座標を算出する（ステップＡ１０）。
　次に、３次元形状構築部１６は、ステップＡ１０で３次元座標が算出された特徴点について適性を判定し、更に、適正でない特徴点を排除し、適正な特徴点を用いて３次元座標を再計算する。そして、３次元形状構築部１６は、最終的に得られた各特徴点の３次元座標によって、対象物の点群データを構築し、これを対象物の３次元形状とする（ステップＡ１１）。
　その後、表示部２０は、ステップＡ１１で構築された３次元形状を、２次元画像として、表示装置２１の画面上に表示させる（ステップＡ１２）。
［実施の形態における効果］
　以上のように、実施の形態によれば、３次元形状の精度を高めるための点の指定が１の画像上での１点のみで良く、１点の指定だけで別の画像における対応点が自動的に特定される。この結果、複数の画像を用いて対象の３次元形状を構築する際において、作業者であるユーザは、肉眼で対応する複数の点を見つける必要がないため、ユーザにおける負担が軽減される。また、同時に、複数画像上で互いに対応する点が指定されることになるので、３次元形状の精度の向上が図られることになる。
［変形例］
　続いて、図１２を用いて実施の形態の変形例について説明する。本変形例は、特徴点抽出部１３及び対応点特定部１４における処理の点で、上述の例と異なっている。図１２は、実施の形態における変形例での特徴点抽出部及び対応点特定部による処理を説明する図であり、図１２（ａ）及び図１２（ｂ）はそれぞれ一連の処理を示している。
　図１２（ａ）に示すように、指定された指定点Ｐとの距離が閾値以下となる位置、例えば、指定点を中心に半径ｒ３以内に特徴点が存在するとする。この場合、本変形例では、特徴点抽出部１３は、この特徴点を抽出する。
　そして、この場合、対応点特定部１４は、仮の３次元形状を用いて、抽出された特徴点の３次元座標を求め、求めた３次元座標に基づいて、別の画像上における、抽出された特徴点の座標を求め、求めた座標にある点を、指定された点に対応する対応点Ｐ’として特定する、
　本変形例では、指定点が、抽出された特徴点に極めて近い場合に、この極めて近い特徴点を指定点として近似して、対応点が求められる。本変形例では、図４及び図５に示した例に比べて計算量を少なくできることから、画像処理装置１０における処理負担が軽減される。
［プログラム］
　実施の形態におけるプログラムは、コンピュータに、図１１に示すステップＡ１～Ａ１２を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における画像処理装置と画像処理方法とを実現することができる。この場合、コンピュータのプロセッサは、組合せ抽出部１１、仮３次元形状構築部１２、特徴点抽出部１３、対応点特定部１４、行列算出部１５、３次元形状構築部１６、画像取得部１７、フィルタリング部１８、入力受付部１９、及び表示部２０として機能し、処理を行なう。また、コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。
　本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、組合せ抽出部１１、仮３次元形状構築部１２、特徴点抽出部１３、対応点特定部１４、行列算出部１５、３次元形状構築部１６、画像取得部１７、フィルタリング部１８、入力受付部１９、及び表示部２０としてのいずれかとして機能しても良い。
［物理構成］
　ここで、実施の形態におけるプログラムを実行することによって、画像処理装置１０を実現するコンピュータについて図１３を用いて説明する。図１３は、本発明の実施の形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。
　図１３に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
　また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。この態様では、ＧＰＵ又はＦＰＧＡが、実施の形態におけるプログラムを実行することができる。
　ＣＰＵ１１１は、記憶装置１１３に格納された、コード群で構成された実施の形態におけるプログラムをメインメモリ１１２に展開し、各コードを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。
　また、実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
　また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
　データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
　また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）など
の光学記録媒体が挙げられる。
　なお、本実施の形態における画像処理装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェア、例えば電子回路を用いることによっても実現可能である。更に、画像処理装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
　上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１２）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
　対象物の複数の画像からそれぞれから、対応する特徴点の組合せを抽出する、組合せ抽出部と、
　抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築する、仮３次元形状構築部と、
　前記複数の画像のうちの１の画像上において点が指定されると、指定された前記点を基準にした設定領域に存在する特徴点を抽出する、特徴点抽出部と、
　前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記点が指定された画像とは別の画像における、指定された前記点に対応する対応点を特定する、対応点特定部と、
　指定された前記点と前記対応点との幾何学的関係を求め、求めた前記幾何学的関係を表現する数値行列を算出する、行列算出部と、
　前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、３次元形状構築部と、
を備えている、ことを特徴とする画像処理装置。
（付記２）
付記１に記載の画像処理装置であって、
　前記特徴点抽出部が、指定された前記点を中心とする環状の領域に存在する３以上の特徴点を抽出し、
　前記対応点特定部が、
前記仮の３次元形状を用いて、抽出された前記３以上の特徴点それぞれの３次元座標を求め、求めた前記３次元座標それぞれに基づいて、前記別の画像上における、前記３以上の特徴点の座標を求め、
前記点が指定された前記画像上における、前記３以上の特徴点の座標と、前記別の画像上における、前記３以上の特徴点の座標とから、両者の位置関係を求め、求めた位置関係を用いて、指定された前記点に対応する前記対応点を特定する、
ことを特徴とする画像処理装置。
（付記３）
付記１に記載の画像処理装置であって、
　前記特徴点抽出部が、指定された前記点との距離が閾値以下となる位置に前記特徴点が存在する場合に、当該特徴点を抽出し、
　前記対応点特定部が、前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記別の画像上における、抽出された前記特徴点の座標を求め、求めた座標にある点を、指定された前記点に対応する前記対応点として特定する、
ことを特徴とする画像処理装置。
（付記４）
付記１から３のいずれかに記載の画像処理装置であって、
　前記３次元形状構築部によって構築された前記３次元形状を、２次元画像として画面上に表示する、表示部を更に備えている、
ことを特徴とする画像処理装置。
（付記５）
　対象物の複数の画像からそれぞれから、対応する特徴点の組合せを抽出する、組合せ抽出ステップと、
　抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築する、仮３次元形状構築ステップと、
　前記複数の画像のうちの１の画像上において点が指定されると、指定された前記点を基準にした設定領域に存在する特徴点を抽出する、特徴点抽出ステップと、
　前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記点が指定された画像とは別の画像における、指定された前記点に対応する対応点を特定する、対応点特定ステップと、
　指定された前記点と前記対応点との幾何学的関係を求め、求めた前記幾何学的関係を表現する数値行列を算出する、行列算出ステップと、
　前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、３次元形状構築ステップと、
を有する、ことを特徴とする画像処理方法。
（付記６）
付記５に記載の画像処理方法であって、
　前記特徴点抽出ステップにおいて、指定された前記点を中心とする環状の領域に存在する３以上の特徴点を抽出し、
　前記対応点特定ステップにおいて、
前記仮の３次元形状を用いて、抽出された前記３以上の特徴点それぞれの３次元座標を求め、求めた前記３次元座標それぞれに基づいて、前記別の画像上における、前記３以上の特徴点の座標を求め、
前記点が指定された前記画像上における、前記３以上の特徴点の座標と、前記別の画像上における、前記３以上の特徴点の座標とから、両者の位置関係を求め、求めた位置関係を用いて、指定された前記点に対応する前記対応点を特定する、
ことを特徴とする画像処理方法。
（付記７）
付記５に記載の画像処理方法であって、
　前記特徴点抽出ステップにおいて、指定された前記点との距離が閾値以下となる位置に前記特徴点が存在する場合に、当該特徴点を抽出し、
　前記対応点特定ステップにおいて、前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記別の画像上における、抽出された前記特徴点の座標を求め、求めた座標にある点を、指定された前記点に対応する前記対応点として特定する、
ことを特徴とする画像処理方法。
（付記８）
付記５から７のいずれかに記載の画像処理方法であって、
　前記３次元形状構築ステップによって構築された前記３次元形状を、２次元画像として画面上に表示する、表示ステップを更に有する、
ことを特徴とする画像処理方法。
（付記９）
コンピュータに、
　対象物の複数の画像からそれぞれから、対応する特徴点の組合せを抽出する、組合せ抽出ステップと、
　抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築する、仮３次元形状構築ステップと、
　前記複数の画像のうちの１の画像上において点が指定されると、指定された前記点を基準にした設定領域に存在する特徴点を抽出する、特徴点抽出ステップと、
　前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記点が指定された画像とは別の画像における、指定された前記点に対応する対応点を特定する、対応点特定ステップと、
　指定された前記点と前記対応点との幾何学的関係を求め、求めた前記幾何学的関係を表現する数値行列を算出する、行列算出ステップと、
　前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、３次元形状構築ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
（付記１０）
付記９に記載のコンピュータ読み取り可能な記録媒体であって、
　前記特徴点抽出ステップにおいて、指定された前記点を中心とする環状の領域に存在する３以上の特徴点を抽出し、
　前記対応点特定ステップにおいて、
前記仮の３次元形状を用いて、抽出された前記３以上の特徴点それぞれの３次元座標を求め、求めた前記３次元座標それぞれに基づいて、前記別の画像上における、前記３以上の特徴点の座標を求め、
前記点が指定された前記画像上における、前記３以上の特徴点の座標と、前記別の画像上における、前記３以上の特徴点の座標とから、両者の位置関係を求め、求めた位置関係を用いて、指定された前記点に対応する前記対応点を特定する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記１１）
付記９に記載のコンピュータ読み取り可能な記録媒体であって、
　前記特徴点抽出ステップにおいて、指定された前記点との距離が閾値以下となる位置に前記特徴点が存在する場合に、当該特徴点を抽出し、
　前記対応点特定ステップにおいて、前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記別の画像上における、抽出された前記特徴点の座標を求め、求めた座標にある点を、指定された前記点に対応する前記対応点として特定する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記１２）
付記９から１１のいずれかに記載のコンピュータ読み取り可能な記録媒体であって、
前記プログラムが、前記コンピュータに、
　前記３次元形状構築ステップによって構築された前記３次元形状を、２次元画像として画面上に表示する、表示ステップを実行させる、命令を更に含む、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０２０年２月１７日に出願された日本出願特願２０２０－２４７４８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　以上のように本発明によれば、複数の画像を用いて対象の３次元形状を構築する際において、３次元形状の精度の向上を図りつつ、作業者の負担を軽減することができる。本発明は、ＳｆＭといった複数の画像から３次元形状を構築する技術に有用である。
　１０　画像処理装置
　１１　組合せ抽出部
　１２　仮３次元形状構築部
　１３　特徴点抽出部
　１４　対応点特定部
　１５　行列算出部
　１６　３次元形状構築部
　１７　画像取得部
　１８　フィルタリング部
　１９　入力受付部
　２０　表示部
　２１　表示装置
　１１０　コンピュータ
　１１１　ＣＰＵ
　１１２　メインメモリ
　１１３　記憶装置
　１１４　入力インターフェイス
　１１５　表示コントローラ
　１１６　データリーダ／ライタ
　１１７　通信インターフェイス
　１１８　入力機器
　１１９　ディスプレイ装置
　１２０　記録媒体
　１２１　バス

Claims (12)

  1. 　対象物の複数の画像からそれぞれから、対応する特徴点の組合せを抽出する、組合せ抽出手段と、
    　抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築する、仮３次元形状構築手段と、
    　前記複数の画像のうちの１の画像上において点が指定されると、指定された前記点を基準にした設定領域に存在する特徴点を抽出する、特徴点抽出手段と、
    　前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記点が指定された画像とは別の画像における、指定された前記点に対応する対応点を特定する、対応点特定手段と、
    　指定された前記点と前記対応点との幾何学的関係を求め、求めた前記幾何学的関係を表現する数値行列を算出する、行列算出手段と、
    　前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、３次元形状構築手段と、
    を備えている、ことを特徴とする画像処理装置。
  2. 請求項１に記載の画像処理装置であって、
    　前記特徴点抽出手段が、指定された前記点を中心とする環状の領域に存在する３以上の特徴点を抽出し、
    　前記対応点特定手段が、
    前記仮の３次元形状を用いて、抽出された前記３以上の特徴点それぞれの３次元座標を求め、求めた前記３次元座標それぞれに基づいて、前記別の画像上における、前記３以上の特徴点の座標を求め、
    前記点が指定された前記画像上における、前記３以上の特徴点の座標と、前記別の画像上における、前記３以上の特徴点の座標とから、両者の位置関係を求め、求めた位置関係を用いて、指定された前記点に対応する前記対応点を特定する、
    ことを特徴とする画像処理装置。
  3. 請求項１に記載の画像処理装置であって、
    　前記特徴点抽出手段が、指定された前記点との距離が閾値以下となる位置に前記特徴点が存在する場合に、当該特徴点を抽出し、
    　前記対応点特定手段が、前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記別の画像上における、抽出された前記特徴点の座標を求め、求めた座標にある点を、指定された前記点に対応する前記対応点として特定する、
    ことを特徴とする画像処理装置。
  4. 請求項１から３のいずれかに記載の画像処理装置であって、
    　前記３次元形状構築手段によって構築された前記３次元形状を、２次元画像として画面上に表示する、表示手段を更に備えている、
    ことを特徴とする画像処理装置。
  5. 　対象物の複数の画像からそれぞれから、対応する特徴点の組合せを抽出し、
    　抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築し、
    　前記複数の画像のうちの１の画像上において点が指定されると、指定された前記点を基準にした設定領域に存在する特徴点を抽出し、
    　前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記点が指定された画像とは別の画像における、指定された前記点に対応する対応点を特定し、
    　指定された前記点と前記対応点との幾何学的関係を求め、求めた前記幾何学的関係を表現する数値行列を算出し、
    　前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、
    ことを特徴とする画像処理方法。
  6. 請求項５に記載の画像処理方法であって、
    　前記特徴点の抽出において、指定された前記点を中心とする環状の領域に存在する３以上の特徴点を抽出し、
    　前記対応点の特定において、
    前記仮の３次元形状を用いて、抽出された前記３以上の特徴点それぞれの３次元座標を求め、求めた前記３次元座標それぞれに基づいて、前記別の画像上における、前記３以上の特徴点の座標を求め、
    前記点が指定された前記画像上における、前記３以上の特徴点の座標と、前記別の画像上における、前記３以上の特徴点の座標とから、両者の位置関係を求め、求めた位置関係を用いて、指定された前記点に対応する前記対応点を特定する、
    ことを特徴とする画像処理方法。
  7. 請求項５に記載の画像処理方法であって、
    　前記特徴点の抽出において、指定された前記点との距離が閾値以下となる位置に前記特徴点が存在する場合に、当該特徴点を抽出し、
    　前記対応点の特定において、前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記別の画像上における、抽出された前記特徴点の座標を求め、求めた座標にある点を、指定された前記点に対応する前記対応点として特定する、
    ことを特徴とする画像処理方法。
  8. 請求項５から７のいずれかに記載の画像処理方法であって、
    　更に、構築された前記３次元形状を、２次元画像として画面上に表示する、
    ことを特徴とする画像処理方法。
  9. コンピュータに、
    　対象物の複数の画像からそれぞれから、対応する特徴点の組合せを抽出させ、
    　抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築させ、
    　前記複数の画像のうちの１の画像上において点が指定されると、指定された前記点を基準にした設定領域に存在する特徴点を抽出させ、
    　前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記点が指定された画像とは別の画像における、指定された前記点に対応する対応点を特定させ、
    　指定された前記点と前記対応点との幾何学的関係を求め、求めた前記幾何学的関係を表現する数値行列を算出させ、
    　前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定させ、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築させる、
    命令を含むプログラムを記録しているコンピュータ読み取り可能な記録媒体。
  10. 請求項９に記載のコンピュータ読み取り可能な記録媒体であって、
    前記プログラムが、前記コンピュータに、
    　前記特徴点の抽出において、指定された前記点を中心とする環状の領域に存在する３以上の特徴点を抽出させ、
    　前記対応点の特定において、
    前記仮の３次元形状を用いて、抽出された前記３以上の特徴点それぞれの３次元座標を求め、求めた前記３次元座標それぞれに基づいて、前記別の画像上における、前記３以上の特徴点の座標を求めさせ、
    前記点が指定された前記画像上における、前記３以上の特徴点の座標と、前記別の画像上における、前記３以上の特徴点の座標とから、両者の位置関係を求め、求めた位置関係を用いて、指定された前記点に対応する前記対応点を特定させる、
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
  11. 請求項９に記載のコンピュータ読み取り可能な記録媒体であって、
    前記プログラムが、前記コンピュータに、
    　前記特徴点の抽出において、指定された前記点との距離が閾値以下となる位置に前記特徴点が存在する場合に、当該特徴点を抽出させ、
    　前記対応点の特定において、前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記別の画像上における、抽出された前記特徴点の座標を求め、求めた座標にある点を、指定された前記点に対応する前記対応点として特定させる、
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
  12. 請求項９から１１のいずれかに記載のコンピュータ読み取り可能な記録媒体であって、
    前記プログラムが、前記コンピュータに、
    　構築された前記３次元形状を、２次元画像として画面上に表示させる、命令を更に含む、
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
PCT/JP2021/002850 2020-02-17 2021-01-27 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体 WO2021166574A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022501734A JP7276978B2 (ja) 2020-02-17 2021-01-27 画像処理装置、画像処理方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020024748 2020-02-17
JP2020-024748 2020-02-17

Publications (1)

Publication Number Publication Date
WO2021166574A1 true WO2021166574A1 (ja) 2021-08-26

Family

ID=77390951

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/002850 WO2021166574A1 (ja) 2020-02-17 2021-01-27 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体

Country Status (2)

Country Link
JP (1) JP7276978B2 (ja)
WO (1) WO2021166574A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002230527A (ja) * 2001-01-31 2002-08-16 Olympus Optical Co Ltd 立体情報取得装置および立体情報取得方法ならびに立体情報取得プログラムを記録したコンピュータリーダブル記録媒体
WO2019065784A1 (ja) * 2017-09-29 2019-04-04 Ｎｅｃソリューションイノベータ株式会社 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002230527A (ja) * 2001-01-31 2002-08-16 Olympus Optical Co Ltd 立体情報取得装置および立体情報取得方法ならびに立体情報取得プログラムを記録したコンピュータリーダブル記録媒体
WO2019065784A1 (ja) * 2017-09-29 2019-04-04 Ｎｅｃソリューションイノベータ株式会社 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
JPWO2021166574A1 (ja) 2021-08-26
JP7276978B2 (ja) 2023-05-18

Similar Documents

Publication Publication Date Title
US8467596B2 (en) Method and apparatus for object pose estimation
JP5538617B2 (ja) 複数カメラのキャリブレーション用の方法および構成
JP6716996B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
CN110070564B (zh) 一种特征点匹配方法、装置、设备及存储介质
JP6160290B2 (ja) 情報処理装置、判定方法および判定プログラム
CN109919971B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
JP6880618B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
EP3998576A2 (en) Image stitching method and apparatus, device, and medium
TW201616451A (zh) 點雲套索選取系統及方法
TW201616450A (zh) 點雲畫筆選取系統及方法
US20230237777A1 (en) Information processing apparatus, learning apparatus, image recognition apparatus, information processing method, learning method, image recognition method, and non-transitory-computer-readable storage medium
US20190371001A1 (en) Information processing apparatus, method of controlling information processing apparatus, and non-transitory computer-readable storage medium
JP7003617B2 (ja) 推定装置、推定方法、及び推定プログラム
US20120038785A1 (en) Method for producing high resolution image
JP6989153B2 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2021166574A1 (ja) 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体
JP3276949B2 (ja) ３次元有向体の定位方法及び画像処理装置
JP2006113832A (ja) ステレオ画像処理装置およびプログラム
JP2022064506A (ja) 画像処理装置、画像処理方法、及びプログラム
CN113167568B (zh) 坐标计算装置、坐标计算方法和计算机可读记录介质
WO2021075314A1 (ja) 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体
WO2021093276A1 (zh) 人群计数系统中基于可变形高斯核的训练数据生成方法
JP7239050B2 (ja) 画像処理装置、画像処理システム、画像処理方法、および画像処理プログラム
JP6894398B2 (ja) オブジェクト追跡装置、オブジェクト追跡方法、及びオブジェクト追跡プログラム
JP2017027363A (ja) 映像処理装置、映像処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21757911

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022501734

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21757911

Country of ref document: EP

Kind code of ref document: A1