WO2019065784A1 - 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体 - Google Patents

画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2019065784A1
WO2019065784A1 PCT/JP2018/035805 JP2018035805W WO2019065784A1 WO 2019065784 A1 WO2019065784 A1 WO 2019065784A1 JP 2018035805 W JP2018035805 W JP 2018035805W WO 2019065784 A1 WO2019065784 A1 WO 2019065784A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature points
combination
dimensional shape
points
specified
Prior art date
Application number
PCT/JP2018/035805
Other languages
English (en)
French (fr)
Inventor
喜宏 山下
Original Assignee
Ｎｅｃソリューションイノベータ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃソリューションイノベータ株式会社 filed Critical Ｎｅｃソリューションイノベータ株式会社
Priority to SG11202001487XA priority Critical patent/SG11202001487XA/en
Priority to CN201880062269.9A priority patent/CN111133474B/zh
Priority to JP2019545589A priority patent/JP6989153B2/ja
Publication of WO2019065784A1 publication Critical patent/WO2019065784A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images

Definitions

  • the present invention relates to an image processing apparatus and an image processing method for enabling construction of a three-dimensional shape from a plurality of images, and further, a computer readable recording medium storing a program for realizing the same. About.
  • SfM Structure from Motion
  • feature quantities for example, SIFT feature quantities, SURF feature quantities
  • robust feature points resistant to image scaling, rotation, and illumination change are extracted Be done.
  • matching of the extracted feature points is performed between the images, and pairs of matching feature points are extracted.
  • the geometrical relationship of feature point pairs is calculated, and erroneous feature point pairs are excluded.
  • Patent Document 1 discloses a system for correcting the position of the corresponding feature point. Specifically, the system disclosed in Patent Document 1 first arranges two images so that each epipolar line is parallel to the scanning line, and for each scanning line, the corresponding feature points from each image are Extract.
  • the system then accepts the user's input of a line segment that specifies the corresponding location on each image. The system then determines whether each corresponding feature point on the scan line matches the intersection of this scan line and the input line segment, and if not, the position of each feature point is Correct to the position of the intersection point. The system then performs a three-dimensional shape reconstruction using the position corrected feature points.
  • Patent No. 5311465 gazette
  • An example of an object of the present invention is an image processing apparatus and an image processing method that can solve the above problems and can suppress extraction of a combination of wrong feature points when extracting a combination of corresponding feature points from a plurality of images. And providing a computer readable recording medium.
  • an image processing apparatus is an apparatus for constructing a three-dimensional shape from a plurality of images, A feature point extraction unit that extracts a combination of corresponding feature points from each of the plurality of images; When two or more corresponding line segments or two or more points are specified on at least two of the plurality of images, the geometrical relationship between the two or more corresponding lines, or each other A matrix calculation unit which identifies a geometrical relationship between corresponding two or more points and calculates a numerical matrix representing the identified geometric relation; Among the combinations of the extracted feature points using the numerical matrix, the combination of the feature points in which the geometrical relationship between the feature points contradicts is identified, and the feature points other than the identified combination of the feature points A shape construction unit that constructs the three-dimensional shape using a combination of It is characterized by having.
  • an image processing method is a method for constructing a three-dimensional shape from a plurality of images, (A) extracting a combination of corresponding feature points from each of the plurality of images; (B) Geometrical relationship between two or more corresponding lines when two or more corresponding line segments or two or more points are specified on at least two of the plurality of images. Or identifying a geometrical relationship between two or more points corresponding to each other, and calculating a numerical matrix representing the specified geometrical relationship.
  • a computer readable recording medium is a computer readable recording medium recording a program for constructing a three-dimensional shape from a plurality of images by a computer.
  • On the computer (A) extracting a combination of corresponding feature points from each of the plurality of images; (B) Geometrical relationship between two or more corresponding lines when two or more corresponding line segments or two or more points are specified on at least two of the plurality of images. Or identifying a geometrical relationship between two or more points corresponding to each other, and calculating a numerical matrix representing the specified geometrical relationship.
  • FIG. 1 is a block diagram showing a schematic configuration of an image processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a specific configuration of the image processing apparatus according to the embodiment of the present invention.
  • FIG. 3 is a view showing an example of a plurality of images to be processed in the present embodiment.
  • FIG. 4 is a diagram for explaining processing by the matrix calculation unit in the embodiment of the present invention.
  • FIG. 5 is a diagram for explaining processing by the shape construction unit in the embodiment of the present invention.
  • FIG. 6 is a flowchart showing the operation of the image processing apparatus according to the embodiment of the present invention.
  • FIG. 7 is a block diagram showing an example of a computer for realizing the image processing apparatus according to the embodiment of the present invention.
  • FIG. 1 is a block diagram showing a schematic configuration of an image processing apparatus according to an embodiment of the present invention.
  • the image processing apparatus 10 in the present embodiment is an apparatus for constructing a three-dimensional shape from a plurality of images.
  • Image data of a plurality of images to be processed is input to the image processing apparatus 10.
  • the image processing apparatus 10 includes a feature point extraction unit 11, a matrix calculation unit 12, and a shape construction unit 13. Among these, the feature point extraction unit 11 extracts a combination of corresponding feature points from each of the plurality of images.
  • the matrix calculation unit 12 determines the geometry of the two or more corresponding lines. Identifying a geometric relationship or a geometric relationship between two or more points that correspond to each other. Then, the matrix calculation unit 12 calculates a numerical matrix representing the specified geometrical relationship.
  • the shape construction unit 13 uses the numerical matrix calculated by the matrix calculation unit 12 to specify, among the combinations of extracted feature points, a combination of feature points whose geometric relationship between feature points contradicts. Then, the shape construction unit 13 constructs a three-dimensional shape using a combination of feature points other than the combination of the specified feature points.
  • a combination of wrong feature points is specified from a geometrical relationship specified from two or more specified line segments or points, the wrong scan line is not on the same scan line.
  • Combinations of feature points can also be excluded. According to the present embodiment, when extracting a combination of corresponding feature points from a plurality of images, it is possible to suppress extraction of a combination of wrong feature points, and it is possible to improve the accuracy of the three-dimensional shape to be restored.
  • FIG. 2 is a block diagram showing a specific configuration of the image processing apparatus according to the embodiment of the present invention.
  • the image processing apparatus 10 includes an image acquisition unit 14, a filtering unit 15 in addition to the feature point extraction unit 11, the matrix calculation unit 12, and the shape construction unit 13.
  • An input receiving unit 16 and a display unit 17 are further provided.
  • the image acquisition unit 14 acquires image data of each of a plurality of images in which a construction target of a three-dimensional shape is captured, from an external device such as an imaging device, a terminal device, a storage device holding image data.
  • FIG. 3 is a view showing an example of a plurality of images to be processed in the present embodiment. Although a pair image is illustrated in the example of FIG. 3, the number of images to be a target in the present embodiment is not particularly limited.
  • the feature point extraction unit 11 calculates, for example, SIFT feature amounts or SURF feature amounts for each image to specify feature points, and further, corresponding feature points between the images correspond to each other. Extracted as a combination of feature points.
  • the combination of feature points is a feature point pair. Further, in FIG. 3, a circled portion is one of the feature points.
  • the filtering unit 15 calculates, for each combination of feature points, a geometrical relationship between the feature points, identifies an incorrect combination of feature points based on the calculation result, and excludes the identified combination of feature points. .
  • the filtering process by the filtering unit 15 is performed using robust estimation, as in the prior art.
  • the filtering by the filtering unit 15 is also performed, so the wrong combination of feature points is more reliably excluded.
  • the input accepting unit 16 accepts an input of the designated line segment or point. Further, the input reception unit 16 receives the information of the line segments (coordinates of the start point and the end point) when the input of the corresponding line segments is received on each image, and the point when the input of the corresponding points is received.
  • the matrix calculation unit 12 is notified of the information (coordinates) of The designation of the line segment or point may be performed by the user of the image processing apparatus 10 or may be performed by another computer.
  • the matrix calculation unit 12 When notified of information on line segments or points on each image from the input reception unit 16, the matrix calculation unit 12 specifies the geometrical relationship between line minutes or points based on the notified information, and specifies the same. Calculate a numerical matrix representing the geometrical relationship, and define this numerical matrix as an absolute numerical matrix. If the matrix calculation unit 12 can not calculate the numerical matrix from the line segment or point information on each image notified from the input reception unit 16 or if there is no line segment or point information depending on the image, It is also possible to calculate a numerical matrix from the combination of feature points extracted by the point extracting unit 11 and remaining in the filtering unit 15 with a small error. However, the numerical matrix calculated in this case is a numerical matrix similar to the conventional one and is not an absolute numerical matrix.
  • FIG. 4 is a diagram for explaining processing by the matrix calculation unit in the embodiment of the present invention.
  • E indicates an epipolar surface
  • O i indicates the center position of the camera of one image
  • O ′ i indicates the center position of the camera of the other image.
  • parallel rectangles shown on the left and right respectively indicate frames of the image.
  • the line segment L is specified in one image
  • the line segment L ′ is specified in the other image
  • both line segments correspond to each other.
  • the epipolar line l n intersecting the start point and the epipolar line l n + m intersecting at the end point are defined as absolute epipolar lines
  • the epipolar line l intersecting the start point We define ' n and the epipolar line l' n + m that intersects at the end point as an absolute epipolar line.
  • intersection x i between the line segment L and the absolute epipolar line l n, the i 'intersection x of the n' segment L and absolute epipolar line l defined as a combination of absolute feature points.
  • intersection x j of the line segment L and the absolute epipolar line l n + m also the intersection x 'j' and absolute epipolar line l 'segment L and n + m, is defined as a combination of absolute feature points.
  • any epipolar lines l n + 1 and l n + 2 may be set between the epipolar line l n and the epipolar line l n + m .
  • any epipolar lines l ′ n + 1 and l ′ n + 2 are set between the epipolar line l ′ n and the epipolar line l ′ n + m .
  • the intersection point of the line segment L and the newly set epipolar lines l n + 1 and l n + 2 is the intersection point of the line segment L ′ and the newly set epipolar lines l ′ n + 1 and l ′ n + 2.
  • the spacing between the epipolar lines is set to an arbitrary value.
  • the matrix calculation unit 12 obtains an absolute combination of feature points as a geometrical relationship between lines, and uses the obtained combination of feature points to obtain the relationship of Equation 1 below.
  • the Fundamental matrix (reference document) is calculated as an absolute numerical matrix.
  • x is a two-dimensional point obtained by projecting the point X in the three-dimensional space onto one image.
  • X ′ is a two-dimensional point obtained by projecting the point X in the three-dimensional space onto the other image.
  • T is a transposed matrix.
  • F is a Fundamental matrix.
  • the numerical matrix is not limited to the Fundamental matrix, but may be a matrix that can express a geometrical relationship.
  • the shape construction unit 13 first uses the numerical matrix (Fundamental matrix) calculated by the matrix calculation unit 12 to combine the feature points extracted by the feature point extraction unit 11 (filtering unit 15 Excludes combinations of feature points that conflict with geometric relationships from those excluded). After that, the shape construction unit 13 constructs a three-dimensional shape using a combination of feature points from which a combination of feature points contradicting the geometrical relationship is eliminated, at which time the input reception unit 16 receives the three-dimensional shape. Corresponding points or points on corresponding line segments can also be used as a combination of feature points.
  • the shape construction unit 13 specifies a feature point overlapping a designated line segment or point from among combinations of feature points extracted by the feature point extraction unit 11 (except those excluded by the filtering unit 15). And combinations of feature points including the specified feature points can also be excluded. This is because when the feature point corresponding to the feature point overlapping one line segment or point is not on the other line segment or point, the combination of the feature points is likely to be wrong. Thereafter, the shape construction unit 13 constructs a three-dimensional shape using the combination of the remaining feature points.
  • FIG. 5 is a diagram for explaining processing by the shape construction unit in the embodiment of the present invention.
  • the ones given the reference numerals shown in FIG. 4 indicate the ones given the same reference numerals in FIG.
  • FIG. 5 it is assumed that it is an object to be judged whether the combination of the feature point p i and the feature point p ′ i is incorrect.
  • the shape construction unit 13 calculates the epipolar line l ′ 1 corresponding to the epipolar line l 1 in which the feature point p i is present, using the relationship shown in the following Equation 2 for the epipolar line Do.
  • the shape construction unit 13 determines whether the calculated distance d between the epipolar line l ′ 1 and the feature point p ′ i is equal to or greater than the threshold. If the distance d is equal to or greater than the threshold, It is determined that the combination of the feature point p i and the feature point p ′ i is incorrect. In this case, the shape construction unit 13 constructs a three-dimensional shape by excluding the combination of the feature point p i and the feature point p ′ i .
  • the shape construction unit 13 may temporarily construct a temporary three-dimensional shape using a combination of feature points filtered by the filtering unit 15.
  • the user can specify an appropriate line segment or point because the user can specify a portion where the three-dimensional shape is not sufficiently restored based on the temporary three-dimensional shape. Thereafter, the shape construction unit 13 reconstructs a three-dimensional shape.
  • the display unit 17 causes the three-dimensional shape constructed by the shape construction unit 13 to be displayed on the screen of the display device 20. Specifically, the display unit 17 creates image data for displaying the constructed three-dimensional shape on the two-dimensional screen, and outputs the created image data to the display device 20. Furthermore, the display unit 17 causes this temporary three-dimensional shape to be displayed on the screen of the display device 20 even when the shape construction unit 13 constructs a temporary three-dimensional shape.
  • FIG. 6 is a flowchart showing the operation of the image processing apparatus according to the embodiment of the present invention.
  • FIGS. 1 to 5 will be referred to as appropriate.
  • the image processing method is implemented by operating the image processing apparatus 10. Therefore, the description of the image processing method in the present embodiment is replaced with the following description of the operation of the image processing apparatus 10.
  • the image acquisition unit 14 acquires, from an external device, image data of each of a plurality of images in which a construction target of a three-dimensional shape is captured (step A1).
  • the feature point extraction unit 11 calculates feature amounts for each image of the image data acquired in step A1 to specify feature points, and the corresponding feature points between the images are the corresponding feature points. Extract as a combination (step A2).
  • the filtering unit 15 calculates a geometrical relationship between the feature points, and specifies an incorrect combination of feature points based on the calculation result, The combination of the identified feature points is excluded (step A3).
  • step A4 the shape construction unit 13 constructs a temporary three-dimensional shape using the combination of feature points after the filtering process in step A3 is performed (step A4).
  • step A4 the display unit 17 causes the temporary three-dimensional shape constructed in step A4 to be displayed on the screen of the display device 20.
  • step A4 When step A4 is executed and the temporary three-dimensional shape is displayed on the screen of the display device 20, the user can use the input device (not shown in FIG. 2) to set corresponding line segments on each image. Or specify a point. Thereby, the input reception unit 16 receives the input of the designated line segment or point (step A5). Further, the input reception unit 16 notifies the matrix calculation unit 12 of the information of each designated line segment or the information of each point.
  • step A5 when step A5 is executed, the matrix calculation unit 12 identifies the geometrical relationship between line segments or points based on the information of each line segment or the information of each point, and identifies the identified geometric relationship. Are calculated (step A6).
  • step A6 using the numerical matrix calculated in step A6, the shape construction unit 13 eliminates the combination of feature points whose geometrical relationship contradicts from the combination of feature points after application of the process of step A3 (FIG. Step A7).
  • the shape construction unit 13 constructs a three-dimensional shape again using the combination of the remaining feature points (step A8). Thereafter, the display unit 17 displays the three-dimensional shape constructed in step A8 on the screen of the display device 20 (step A9).
  • the program in the present embodiment may be a program that causes a computer to execute steps A1 to A9 shown in FIG.
  • the processor of the computer functions as the feature point extraction unit 11, the matrix calculation unit 12, the shape construction unit 13, the image acquisition unit 14, the filtering unit 15, the input reception unit 16, and the display unit 17 to perform processing.
  • each computer is any of the feature point extraction unit 11, the matrix calculation unit 12, the shape construction unit 13, the image acquisition unit 14, the filtering unit 15, the input reception unit 16, and the display unit 17. It may work.
  • FIG. 7 is a block diagram showing an example of a computer for realizing the image processing apparatus according to the embodiment of the present invention.
  • the computer 110 includes a CPU 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader / writer 116, and a communication interface 117. These units are communicably connected to each other via a bus 121.
  • the computer 110 may include a graphics processing unit (GPU) or a field-programmable gate array (FPGA) in addition to or instead of the CPU 111.
  • GPU graphics processing unit
  • FPGA field-programmable gate array
  • the CPU 111 develops the program (code) in the present embodiment stored in the storage device 113 in the main memory 112 and executes various operations by executing these in a predetermined order.
  • the main memory 112 is typically a volatile storage device such as a dynamic random access memory (DRAM).
  • DRAM dynamic random access memory
  • the program in the present embodiment is provided in the state of being stored in computer readable recording medium 120.
  • the program in the present embodiment may be distributed on the Internet connected via communication interface 117.
  • the storage device 113 besides a hard disk drive, a semiconductor storage device such as a flash memory may be mentioned.
  • the input interface 114 mediates data transmission between the CPU 111 and an input device 118 such as a keyboard and a mouse.
  • the display controller 115 is connected to the display device 119 and controls the display on the display device 119.
  • the data reader / writer 116 mediates data transmission between the CPU 111 and the recording medium 120, and executes reading of a program from the recording medium 120 and writing of the processing result in the computer 110 to the recording medium 120.
  • the communication interface 117 mediates data transmission between the CPU 111 and another computer.
  • the recording medium 120 include general-purpose semiconductor storage devices such as CF (Compact Flash (registered trademark)) and SD (Secure Digital), magnetic recording media such as flexible disk (Flexible Disk), or CD- An optical recording medium such as a ROM (Compact Disk Read Only Memory) may be mentioned.
  • CF Compact Flash
  • SD Secure Digital
  • magnetic recording media such as flexible disk (Flexible Disk)
  • CD- An optical recording medium such as a ROM (Compact Disk Read Only Memory) may be mentioned.
  • the image processing apparatus 10 can also be realized by using hardware corresponding to each unit, not a computer on which a program is installed. Furthermore, the image processing apparatus 10 may be partially realized by a program, and the remaining portion may be realized by hardware.
  • An apparatus for constructing a three-dimensional shape from a plurality of images A feature point extraction unit that extracts a combination of corresponding feature points from each of the plurality of images; When two or more corresponding line segments or two or more points are specified on at least two of the plurality of images, the geometrical relationship between the two or more corresponding lines, or each other
  • a matrix calculation unit which identifies a geometrical relationship between corresponding two or more points and calculates a numerical matrix representing the identified geometric relation; Among the combinations of the extracted feature points using the numerical matrix, the combination of the feature points in which the geometrical relationship between the feature points contradicts is identified, and the feature points other than the identified combination of the feature points
  • a shape construction unit that constructs the three-dimensional shape using a combination of An image processing apparatus comprising:
  • the shape construction unit specifies and specifies, among the feature points constituting the combination of the extracted feature points, a specified feature point overlapping with two or more corresponding line segments or two or more points corresponding to each other. Construct the three-dimensional shape excluding the combination of the feature points including the feature points.
  • the display device further includes a display unit that displays the three-dimensional shape constructed by the shape construction unit on a screen.
  • the image processing apparatus according to Appendix 1 or 2.
  • the shape construction unit constructs a temporary three-dimensional shape using the combination of the feature points extracted by the feature point extraction unit,
  • the display unit further displays the temporary three-dimensional shape on a screen.
  • the image processing device according to appendix 3.
  • a method for constructing a three-dimensional shape from a plurality of images comprising: (A) extracting a combination of corresponding feature points from each of the plurality of images; (B) Geometrical relationship between two or more corresponding lines when two or more corresponding line segments or two or more points are specified on at least two of the plurality of images. Or identifying a geometrical relationship between two or more points corresponding to each other, and calculating a numerical matrix representing the specified geometrical relationship.
  • step (c) Among the feature points constituting the combination of the feature points extracted in the step (a), the specified feature points overlapping with two or more corresponding line segments or two or more points are specified and specified Construct the three-dimensional shape excluding the combination of the feature points including the feature points.
  • a computer readable recording medium storing a program for constructing a three-dimensional shape from a plurality of images by a computer, comprising: On the computer (A) extracting a combination of corresponding feature points from each of the plurality of images; (B) Geometrical relationship between two or more corresponding lines when two or more corresponding line segments or two or more points are specified on at least two of the plurality of images. Or identifying a geometrical relationship between two or more points corresponding to each other, and calculating a numerical matrix representing the specified geometrical relationship.
  • (C) Among the combinations of the extracted feature points using the numerical matrix, the combination of the feature points in which the geometrical relationship between the feature points contradicts is specified, and the combination other than the specified combination of the characteristic points Constructing the three-dimensional shape using the combination of the feature points;
  • a computer readable storage medium storing a program, comprising: instructions for executing the program.
  • step (c) Among the feature points constituting the combination of the feature points extracted in the step (a), the specified feature points overlapping with two or more corresponding line segments or two or more points are specified and specified Construct the three-dimensional shape excluding the combination of the feature points including the feature points.
  • the program is stored in the computer (D) displaying on the screen the three-dimensional shape constructed by the step of (c), further including an instruction to execute the step;
  • the program is stored in the computer (E) constructing a temporary three-dimensional shape by using the combination of the feature points extracted in the step (a); (F) displaying on the screen the temporary three-dimensional shape constructed in the step (e); Further include instructions to execute The computer-readable recording medium according to appendix 11.
  • the present invention when extracting a combination of corresponding feature points from a plurality of images, it is possible to suppress the extraction of an incorrect combination of feature points.
  • the present invention is useful for a technique for constructing a three-dimensional shape from a plurality of images such as SfM.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)

Abstract

画像処理装置１０は、複数の画像から三次元形状を構築するための装置である。画像処理装置１０は、画像それぞれから、対応する特徴点の組合せを抽出する、特徴点抽出部１１と、少なくとも２つの画像上に、互いに対応する２以上の線分又は２以上の点が指定された場合に、互いに対応する２以上の線分間の幾何学的関係、又は互いに対応する２以上の点間の幾何学的関係を特定し、幾何学的関係を表現する数値行列を算出する、行列算出部１２と、数値行列を用いて、抽出された特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する特徴点の組合せを特定し、特定した特徴点の組合せ以外の特徴点の組合せを用いて、三次元形状を構築する、形状構築部１３と、を備えている。

Description

画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体
　本発明は、複数の画像からの三次元形状の構築を可能にするための、画像処理装置、及び画像処理方法に関し、更には、これらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
　近年、画像に写っている対象の三次元形状を構築する技術が注目されている。このような技術の代表例としては、ＳｆＭ（Structure from Motion）が知られている。ＳｆＭでは、特定の対象をカメラの視点を変えながら複数回撮影し、得られた複数枚の画像から、特定の対象の三次元形状が復元される。
　具体的には、まず、ＳｆＭでは、画像毎に、その特徴量（例えば、SIFT特徴量、SURF特徴量）が計算され、画像の拡大縮小、回転、及び照度変化に強いロバストネスな特徴点が抽出される。次に、画像間で、抽出した特徴点のマッチングが実行され、一致する特徴点のペアが抽出される。次に、例えば、ロバスト推定（Robust Estimation）によって、特徴点ペアの幾何学的な関係が計算され、誤った特徴点ペアが除外される。
　その後、幾つかの特徴点ペア毎に、これらの幾何学的な関係に基づいて、Fundamental行列が算出され、算出された各Fundamental行列間での差が最も少なくなるように、特徴点ペア毎の幾何学的な関係が調整される。そして、調整後の幾何学的な関係に基づいて、三次元形状（点群）が再構築される。なお、この時の誤差の調整方法としては、Bundle Adjustmentと呼ばれる処理手法が挙げられる。
　ところで、上述のＳｆＭでは、マッチングに間違いが発生する場合があり、この場合、異なる特徴点間でペアが抽出されてしまい、復元される三次元形状の精度が低下してしまう。また、抽出された特徴点のペアが少なかったり、マッチングがうまく行かなかったりして、特徴点ペアが少ない領域が発生する場合がある。この場合も、復元される三次元形状の精度が低下してしまう。
　これに対して、特許文献１は、対応する特徴点の位置を補正するシステムを開示している。具体的には、特許文献１に開示されたシステムは、まず、２枚の画像をそれぞれのエピポーラ線が走査線に平行となるよう配置し、走査線毎に、各画像から対応する特徴点を抽出する。
　次に、このシステムは、ユーザーによる各画像上への対応する箇所を指定する線分の入力を受け付ける。そして、システムは、走査線上の対応する各特徴点が、この走査線と入力された線分との交点に一致しているかどうかを判定し、一致していない場合は、各特徴点の位置を交点の位置に補正する。その後、システムは、位置が補正された特徴点を用いて、三次元形状の再構築を実行する。
　このように、特許文献１に開示されたシステムによれば、間違った特徴点ペアが抽出されてしまうという問題、及び特徴点ペアが少ない領域が発生するという問題が解消されるので、復元される三次元形状の精度が低下するという問題が解消される。
特許第５３１１４６５号公報
　しかしながら、特許文献１に開示されたシステムでは、特徴点の位置の補正は、２枚の画像のエピポーラ線に沿った走査線上でしか行われないので、同一の走査線上にない間違った特徴点ペアについて補正されることはない。このため、特許文献１に開示されたシステムでは、間違った特徴点ペアの修正が不十分であり、復元される三次元形状の精度の低下を抑制することが困難となる。
　本発明の目的の一例は、上記問題を解消し、複数の画像から対応する特徴点の組合せを抽出するに際して、間違った特徴点の組合せの抽出を抑制しうる、画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
　上記目的を達成するため、本発明の一側面における画像処理装置は、複数の画像から三次元形状を構築するための装置であって、
　前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、特徴点抽出部と、
　前記複数の画像のうちの少なくとも２つの画像上に、互いに対応する２以上の線分又は２以上の点が指定された場合に、互いに対応する２以上の線分間の幾何学的関係、又は互いに対応する２以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、行列算出部と、
　前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記三次元形状を構築する、形状構築部と、
を備えている、ことを特徴とする。
　また、上記目的を達成するため、本発明の一側面における画像処理方法は、複数の画像から三次元形状を構築するための方法であって、
（ａ）前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、ステップと、
（ｂ）前記複数の画像のうちの少なくとも２つの画像上に、互いに対応する２以上の線分又は２以上の点が指定された場合に、互いに対応する２以上の線分間の幾何学的関係、又は互いに対応する２以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、ステップと、
（ｃ）前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記三次元形状を構築する、ステップと、
を有する、ことを特徴とする。
　更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、コンピュータによって、複数の画像から三次元形状を構築するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
（ａ）前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、ステップと、
（ｂ）前記複数の画像のうちの少なくとも２つの画像上に、互いに対応する２以上の線分又は２以上の点が指定された場合に、互いに対応する２以上の線分間の幾何学的関係、又は互いに対応する２以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、ステップと、
（ｃ）前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記三次元形状を構築する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。
　以上のように、本発明によれば、複数の画像から対応する特徴点の組合せを抽出するに際して、間違った特徴点の組合せの抽出を抑制することができる。
図１は、本発明の実施の形態における画像処理装置の概略構成を示すブロック図である。 図２は、本発明の実施の形態における画像処理装置の具体的構成を示すブロック図である。 図３は、本実施の形態で処理対象となる複数の画像の一例を示す図である。 図４は、本発明の実施の形態における行列算出部による処理を説明する図である。 図５は、本発明の実施の形態における形状構築部による処理を説明する図である。 図６は、本発明の実施の形態における画像処理装置動作を示すフロー図である。 図７は、本発明の実施の形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。
（実施の形態）
　以下、本発明の実施の形態における、画像処理装置、画像処理方法、及びプログラムについて、図１～図７を参照しながら説明する。
［装置構成］
　最初に、図１を用いて、本実施の形態における画像処理装置の概略構成について説明する。図１は、本発明の実施の形態における画像処理装置の概略構成を示すブロック図である。
　図１に示すように、本実施の形態における画像処理装置１０は、複数の画像から三次元形状を構築する装置である。画像処理装置１０には、処理対象となる複数枚の画像の画像データが入力される。
　また、図１に示すように、画像処理装置１０は、特徴点抽出部１１と、行列算出部１２と、形状構築部１３とを備えている。このうち、特徴点抽出部１１は、複数の画像それぞれから、対応する特徴点の組合せを抽出する。
　行列算出部１２は、複数の画像のうちの少なくとも２つの画像上に、互いに対応する２以上の線分又は２以上の点が指定された場合に、互いに対応する２以上の線分間の幾何学的関係、又は互いに対応する２以上の点間の幾何学的関係を特定する。そして、行列算出部１２は、特定した幾何学的関係を表現する数値行列を算出する。
　形状構築部１３は、行列算出部１２によって算出された数値行列を用いて、抽出された特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する特徴点の組合せを特定する。そして、形状構築部１３は、特定した特徴点の組合せ以外の特徴点の組合せを用いて、三次元形状を構築する。
　このように、本実施の形態では、指定された２以上の線分又は点から特定された幾何学的関係から、間違った特徴点の組合せが特定されるので、同一の走査線上にない間違った特徴点の組合せも排除できる。本実施の形態によれば、複数の画像から対応する特徴点の組合せを抽出するに際して、間違った特徴点の組合せの抽出を抑制でき、復元される三次元形状の精度を向上させることができる。
　続いて、図２～図５を用いて、本実施の形態における画像処理装置１０の構成についてより具体的に説明する。図２は、本発明の実施の形態における画像処理装置の具体的構成を示すブロック図である。
　図２に示すように、画像処理装置１０は、本実施の形態では、特徴点抽出部１１、行列算出部１２、及び形状構築部１３に加えて、画像取得部１４と、フィルタリング部１５と、入力受付部１６と、表示部１７とを更に備えている。
　画像取得部１４は、外部の装置、例えば、撮像装置、端末装置、画像データを保持している記憶装置等から、三次元形状の構築対象が写った複数の画像それぞれの画像データを取得する。図３は、本実施の形態で処理対象となる複数の画像の一例を示す図である。図３の例では、ペア画像が例示されているが、本実施の形態において対象となる画像の枚数は特に限定されるものではない。
　特徴点抽出部１１は、本実施の形態では、画像毎に、例えば、SIFT特徴量、又はSURF特徴量を計算して特徴点を特定し、更に、画像間で対応する特徴点同士を、対応する特徴点の組合せとして抽出する。なお、図３の例では、画像が２枚であるため、特徴点の組合せは、特徴点ペアである。また、図３において、丸で囲まれた部分が特徴点の一つである。
　フィルタリング部１５は、特徴点の組合せ毎に、特徴点間の幾何学的な関係を計算し、計算結果に基づいて、誤った特徴点の組合せを特定し、特定した特徴点の組合せを排除する。フィルタリング部１５によるフィルタリング処理は、従来と同様に、ロバスト推定を用いて行われる。本実施の形態では、後述する形状構築部１３によるフィルタリングに加えて、フィルタリング部１５によるフィルタリングも行われるので、より確実に間違った特徴点の組合せが排除される。
　入力受付部１６は、処理対象となる各画像上において互いに対応する線分又は点が指定されると、指定された線分又は点の入力を受け付ける。また、入力受付部１６は、各画像上で互いに対応する線分の入力を受け付けた場合は各線分の情報（始点及び終点の座標）を、互いに対応する点の入力を受け付けた場合は各点の情報（座標）を、行列算出部１２に通知する。なお、線分又は点の指定は、画像処理装置１０のユーザーによって行われても良いし、別の計算機によって行われても良い。
　行列算出部１２は、入力受付部１６から各画像上の線分又は点の情報が通知されると、通知された情報に基づいて、線分間又は点間の幾何学的関係を特定し、特定した幾何学的関係を表現する数値行列を算出し、この数値行列を絶対的数値行列として定義する。行列算出部１２は、入力受付部１６から通知された各画像上の線分又は点の情報から数値行列が算出出来ない、または画像によっては線分又は点の情報が存在しない場合には、特徴点抽出部１１で抽出されフィルタリング部１５で残った誤差の少ない特徴点の組み合わせから数値行列を算出することも出来る。ただし、この場合算出される数値行列は従来と同様の数値行列であり、絶対的数値行列ではない。
　ここで、図４を用いて、行列算出部１２における処理についてより具体的に説明する。図４は、本発明の実施の形態における行列算出部による処理を説明する図である。図４において、Ｅはエピポーラ面を示し、Ｏｉは一方の画像のカメラの中心位置を示し、Ｏ’ｉは他方の画像のカメラの中心位置を示している。また、図４において、左右に示された並行四辺形はそれぞれ画像のフレームを示している。
　また、図４の例では、一方の画像において線分Ｌが指定され、他方の画像において線分Ｌ’が指定されており、両線分は対応している。この場合において、線分Ｌにおいて、その始点と交わるエピポーラ線ｌｎと、終点で交わるエピポーラ線ｌｎ＋ｍとを絶対的エピポーラ線として定義し、線分Ｌ‘においても、その始点と交わるエピポーラ線ｌ’ｎと、終点で交わるエピポーラ線ｌ’ｎ＋ｍとを絶対的エピポーラ線として定義する。
　更に、線分Ｌと絶対的エピポーラ線ｌｎとの交点ｘｉと、線分Ｌと絶対的エピポーラ線ｌ’ｎとの交点ｘ’ｉとは、絶対的な特徴点の組合せとして定義する。また、線分Ｌと絶対的エピポーラ線ｌｎ＋ｍとの交点ｘｊと、線分Ｌ’と絶対的エピポーラ線ｌ’ｎ＋ｍとの交点ｘ’ｊも、絶対的な特徴点の組合せとして定義する。
　なお、図４に示すように、エピポーラ線ｌｎとエピポーラ線ｌｎ＋ｍとの間に、任意のエピポーラ線ｌｎ＋１及びｌｎ＋２が設定されていても良い。この場合、同様に、エピポーラ線ｌ’ｎとエピポーラ線ｌ’ｎ＋ｍとの間にも、任意のエピポーラ線ｌ’ｎ＋１及びｌ’ｎ＋２が設定される。また、この場合、線分Ｌと新たに設定されたエピポーラ線ｌｎ＋１及びｌｎ＋２それぞれとの交点は、線分Ｌ’と新たに設定されたエピポーラ線ｌ’ｎ＋１及びｌ’ｎ＋２それぞれとの交点との間で、絶対的な特徴点の組合せとなる。なお、エピポーラ線間の間隔は任意の値に設定される。
　従って、図４の例においては、行列算出部１２は、線分間の幾何学的関係として、絶対的な特徴点の組合せを求め、求めた特徴点の組合せを用いて、下記の数１の関係式から、絶対的数値行列として、Fundamental行列（参照文献）を算出する。なお、下記の数１において、「ｘ」は、三次元空間における点Ｘを一方の画像上に射影することによって得られた二次元上の点である。「ｘ’」は、三次元空間における点Ｘを他方の画像上に射影することによって得られた二次元上の点である。Ｔは転置行列である。また、ＦはFundamental行列である。また、本実施の形態において数値行列は、Fundamental行列に限定されるものではなく、幾何学的関係を表現できる行列であれば良い。
（数１）
　ｘ’ＴＦｘ＝０
　参照文献：Richard Hartley and Andrew Zisserman, “Multiple View Geometry in Computer Vision Second Edition”,Cambridge University Press, March 2004.
　形状構築部１３は、本実施の形態では、まず、行列算出部１２によって算出された数値行列（Fundamental行列）を用いて、特徴点抽出部１１で抽出された特徴点の組合せ（フィルタリング部１５で除外されたものを除く）から、幾何学的関係が矛盾する特徴点の組合せを排除する。その後、形状構築部１３は、幾何学的関係が矛盾する特徴点の組合せが排除された特徴点の組合せを用いて、三次元形状を構築するが、その際、入力受付部１６によって受け付けられた、対応する点、又は対応する線分上の点も、特徴点の組合せとして用いることができる。
　また、形状構築部１３は、特徴点抽出部１１で抽出された特徴点の組合せ（フィルタリング部１５で除外されたものを除く）の中から、指定された線分又は点に重なる特徴点を特定し、特定した特徴点を含む特徴点の組合せも排除することができる。これは、一方の線分又は点に重なる特徴点に対応する特徴点が、他方の線分又は点の上にないときは、この特徴点の組合せは間違っている可能性が高いからである。その後、形状構築部１３は、残った特徴点の組合せを用いて、三次元形状を構築する。
　ここで、図５を用いて、形状構築部１３における処理についてより具体的に説明する。図５は、本発明の実施の形態における形状構築部による処理を説明する図である。図５において、図４示された符号が付されたものは、図４で同じ記号が付与されたものを示している。そして、図５においては、特徴点ｐｉと特徴点ｐ’ｉとの組合せが間違っているかどうかの判断対象であるとする。
　図５の例において、形状構築部１３は、エピポーラ線についての下記の数２に示す関係を用いて、特徴点ｐｉが存在しているエピポーラ線ｌ１に対応するエピポーラ線ｌ’１を算出する。
（数２）
　ｌ’＝Ｆｘ
　そして、形状構築部１３は、算出したエピポーラ線ｌ’１と特徴点ｐ’ｉとの距離ｄが、閾値以上となっているかどうかを判定し、距離ｄが閾値以上となっている場合は、特徴点ｐｉと特徴点ｐ’ｉとの組合せは間違っていると判定する。この場合、形状構築部１３は、特徴点ｐｉと特徴点ｐ’ｉとの組合せを排除して、三次元形状を構築する。
　また、本実施の形態においては、形状構築部１３は、フィルタリング部１５によるフィルタリングが済んだ特徴点の組合せを用いて、一旦、仮の三次元形状を構築しても良い。この場合は、ユーザーは、仮の三次元形状に基づいて、三次元形状の復元が不十分な箇所を特定できるので、適切な線分又は点を指定することが可能となる。その後、形状構築部１３は、三次元形状を再構築する。
　また、表示部１７は、形状構築部１３によって構築された三次元形状を、表示装置２０の画面上に表示させる。具体的には、表示部１７は、構築された三次元形状を二次元画面上に表示するための画像データを作成し、作成した画像データを表示装置２０に出力する。更に、表示部１７は、形状構築部１３が仮の三次元形状を構築した場合も、この仮の三次元形状を表示装置２０の画面上に表示させる。
［装置動作］
　次に、本発明の実施の形態における画像処理装置１０の動作について図６を用いて説明する。図６は、本発明の実施の形態における画像処理装置動作を示すフロー図である。以下の説明においては、適宜図１～図５を参酌する。また、本実施の形態では、画像処理装置１０を動作させることによって、画像処理方法が実施される。よって、本実施の形態における画像処理方法の説明は、以下の画像処理装置１０の動作説明に代える。
　図６に示すように、最初に、画像取得部１４は、外部の装置から、三次元形状の構築対象が写った複数の画像それぞれの画像データを取得する（ステップＡ１）
　次に、特徴点抽出部１１は、ステップＡ１で取得された画像データの画像毎に、特徴量を計算して特徴点を特定し、画像間で対応する特徴点同士を、対応する特徴点の組合せとして抽出する（ステップＡ２）。
　次に、フィルタリング部１５は、ステップＡ２で抽出された特徴点の組合せ毎に、特徴点間の幾何学的な関係を計算し、計算結果に基づいて、誤った特徴点の組合せを特定し、特定した特徴点の組合せを排除する（ステップＡ３）。
　次に、形状構築部１３は、ステップＡ３によるフィルタリング処理が行われた後の特徴点の組合せを用いて、仮の三次元形状を構築する（ステップＡ４）。また、ステップＡ４が実行されると、表示部１７は、ステップＡ４で構築された仮の三次元形状を表示装置２０の画面上に表示させる。
　ステップＡ４が実行され、仮の三次元形状が表示装置２０の画面上に表示されると、ユーザーは、入力装置（図２において図示せず）を介して、各画像上において互いに対応する線分又は点を指定する。これにより、入力受付部１６は、指定された線分又は点の入力を受け付ける（ステップＡ５）。また、入力受付部１６は、指定された各線分の情報又は各点の情報を、行列算出部１２に通知する。
　次に、行列算出部１２は、ステップＡ５が実行されると、各線分の情報又は各点の情報に基づいて、線分間又は点間の幾何学的関係を特定し、特定した幾何学的関係を表現する数値行列を算出する（ステップＡ６）。
　次に、形状構築部１３は、ステップＡ６で算出された数値行列を用いて、ステップＡ３の処理の適用後の特徴点の組合せから、幾何学的関係が矛盾する特徴点の組合せを排除する（ステップＡ７）。
　次に、形状構築部１３は、残った特徴点の組合せを用いて、再度、三次元形状を構築する（ステップＡ８）。その後、表示部１７は、ステップＡ８で構築された三次元形状を表示装置２０の画面上に表示させる（ステップＡ９）。
［実施の形態の効果］
　以上のように本実施の形態によれば、同一の走査線上にない間違った特徴点の組合せも排除して、三次元形状を構築することができる。このため、本実施の形態によれば、複数の画像から対応する特徴点の組合せを抽出するに際して、間違った特徴点の組合せの抽出を抑制できる。また、その結果、復元される三次元形状の精度が向上することになる。
［プログラム］
　本実施の形態におけるプログラムは、コンピュータに、図６に示すステップＡ１～Ａ９を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における画像処理装置１０と画像処理方法とを実現することができる。この場合、コンピュータのプロセッサは、特徴点抽出部１１、行列算出部１２、形状構築部１３、画像取得部１４、フィルタリング部１５、入力受付部１６、及び表示部１７として機能し、処理を行なう。
　また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、特徴点抽出部１１、行列算出部１２、形状構築部１３、画像取得部１４、フィルタリング部１５、入力受付部１６、及び表示部１７のいずれかとして機能しても良い。
　ここで、本実施の形態におけるプログラムを実行することによって、画像処理装置１０を実現するコンピュータについて図７を用いて説明する。図７は、本発明の実施の形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。
　図７に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。
　ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
　また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
　データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
　また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。
　なお、本実施の形態における画像処理装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、画像処理装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
　上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１２）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
　複数の画像から三次元形状を構築するための装置であって、
　前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、特徴点抽出部と、
　前記複数の画像のうちの少なくとも２つの画像上に、互いに対応する２以上の線分又は２以上の点が指定された場合に、互いに対応する２以上の線分間の幾何学的関係、又は互いに対応する２以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、行列算出部と、
　前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記三次元形状を構築する、形状構築部と、
を備えている、ことを特徴とする画像処理装置。
（付記２）
　前記形状構築部が、抽出された前記特徴点の組合せを構成している特徴点のうち、指定された、互いに対応する２以上の線分又は２以上の点に重なる特徴点を特定し、特定した特徴点を含む前記特徴点の組合せを排除して、前記三次元形状を構築する、
付記１に記載の画像処理装置。
（付記３）
　前記形状構築部によって構築された前記三次元形状を画面上に表示する、表示部を更に備えている、
付記１または２に記載の画像処理装置。
（付記４）
　前記形状構築部が、前記特徴点抽出部によって抽出された前記特徴点の組合せを用いて、仮の三次元形状を構築し、
　前記表示部が、更に、前記仮の三次元形状を画面上に表示する、
付記３に記載の画像処理装置。
（付記５）
　複数の画像から三次元形状を構築するための方法であって、
（ａ）前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、ステップと、
（ｂ）前記複数の画像のうちの少なくとも２つの画像上に、互いに対応する２以上の線分又は２以上の点が指定された場合に、互いに対応する２以上の線分間の幾何学的関係、又は互いに対応する２以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、ステップと、
（ｃ）前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記三次元形状を構築する、ステップと、
を有する、ことを特徴とする画像処理方法。
（付記６）
前記（ｃ）のステップにおいて、
前記ステップ（ａ）で抽出された前記特徴点の組合せを構成している特徴点のうち、指定された、互いに対応する２以上の線分又は２以上の点に重なる特徴点を特定し、特定した特徴点を含む前記特徴点の組合せを排除して、前記三次元形状を構築する、
付記５に記載の画像処理方法。
（付記７）
（ｄ）前記（ｃ）のステップによって構築された前記三次元形状を画面上に表示する、ステップを更に有する、
付記５または６に記載の画像処理方法。
（付記８）
（ｅ）前記（ａ）のステップによって抽出された前記特徴点の組合せを用いて、仮の三次元形状を構築する、ステップと、
（ｆ）前記（ｅ）のステップで構築された前記仮の三次元形状を画面上に表示する、ステップと、
を更に有する付記７に記載の画像処理方法。
（付記９）
　コンピュータによって、複数の画像から三次元形状を構築するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
（ａ）前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、ステップと、
（ｂ）前記複数の画像のうちの少なくとも２つの画像上に、互いに対応する２以上の線分又は２以上の点が指定された場合に、互いに対応する２以上の線分間の幾何学的関係、又は互いに対応する２以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、ステップと、
（ｃ）前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記三次元形状を構築する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
（付記１０）
前記（ｃ）のステップにおいて、
前記ステップ（ａ）で抽出された前記特徴点の組合せを構成している特徴点のうち、指定された、互いに対応する２以上の線分又は２以上の点に重なる特徴点を特定し、特定した特徴点を含む前記特徴点の組合せを排除して、前記三次元形状を構築する、
付記９に記載のコンピュータ読み取り可能な記録媒体。
（付記１１）
前記プログラムが、前記コンピュータに、
（ｄ）前記（ｃ）のステップによって構築された前記三次元形状を画面上に表示する、ステップを実行させる命令を更に含む、
付記９または１０に記載のコンピュータ読み取り可能な記録媒体。
（付記１２）
前記プログラムが、前記コンピュータに、
（ｅ）前記（ａ）のステップによって抽出された前記特徴点の組合せを用いて、仮の三次元形状を構築する、ステップと、
（ｆ）前記（ｅ）のステップで構築された前記仮の三次元形状を画面上に表示する、ステップと、
を実行させる命令を更に含む、
付記１１に記載のコンピュータ読み取り可能な記録媒体。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１７年９月２９日に出願された日本出願特願２０１７－１９０３７７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　以上のように、本発明によれば、複数の画像から対応する特徴点の組合せを抽出するに際して、間違った特徴点の組合せの抽出を抑制することができる。本発明は、ＳｆＭといった複数の画像から三次元形状を構築する技術に有用である。
　１０　画像処理装置
　１１　特徴点抽出部
　１２　行列算出部
　１３　形状構築部
　１４　画像取得部
　１５　フィルタリング部
　１６　入力受付部
　１７　表示部
　１１０　コンピュータ
　１１１　ＣＰＵ
　１１２　メインメモリ
　１１３　記憶装置
　１１４　入力インターフェイス
　１１５　表示コントローラ
　１１６　データリーダ／ライタ
　１１７　通信インターフェイス
　１１８　入力機器
　１１９　ディスプレイ装置
　１２０　記録媒体
　１２１　バス

Claims (12)

  1. 　複数の画像から三次元形状を構築するための装置であって、
    　前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、特徴点抽出部と、
    　前記複数の画像のうちの少なくとも２つの画像上に、互いに対応する２以上の線分又は２以上の点が指定された場合に、互いに対応する２以上の線分間の幾何学的関係、又は互いに対応する２以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、行列算出部と、
    　前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記三次元形状を構築する、形状構築部と、
    を備えている、ことを特徴とする画像処理装置。
  2. 　前記形状構築部が、抽出された前記特徴点の組合せを構成している特徴点のうち、指定された、互いに対応する２以上の線分又は２以上の点に重なる特徴点を特定し、特定した特徴点を含む前記特徴点の組合せを排除して、前記三次元形状を構築する、
    請求項１に記載の画像処理装置。
  3. 　前記形状構築部によって構築された前記三次元形状を画面上に表示する、表示部を更に備えている、
    請求項１または２に記載の画像処理装置。
  4. 　前記形状構築部が、前記特徴点抽出部によって抽出された前記特徴点の組合せを用いて、仮の三次元形状を構築し、
    　前記表示部が、更に、前記仮の三次元形状を画面上に表示する、
    請求項３に記載の画像処理装置。
  5. 　複数の画像から三次元形状を構築するための方法であって、
    （ａ）前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、ステップと、
    （ｂ）前記複数の画像のうちの少なくとも２つの画像上に、互いに対応する２以上の線分又は２以上の点が指定された場合に、互いに対応する２以上の線分間の幾何学的関係、又は互いに対応する２以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、ステップと、
    （ｃ）前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記三次元形状を構築する、ステップと、
    を有する、ことを特徴とする画像処理方法。
  6. 前記（ｃ）のステップにおいて、
    前記ステップ（ａ）で抽出された前記特徴点の組合せを構成している特徴点のうち、指定された、互いに対応する２以上の線分又は２以上の点に重なる特徴点を特定し、特定した特徴点を含む前記特徴点の組合せを排除して、前記三次元形状を構築する、
    請求項５に記載の画像処理方法。
  7. （ｄ）前記（ｃ）のステップによって構築された前記三次元形状を画面上に表示する、ステップを更に有する、
    請求項５または６に記載の画像処理方法。
  8. （ｅ）前記（ａ）のステップによって抽出された前記特徴点の組合せを用いて、仮の三次元形状を構築する、ステップと、
    （ｆ）前記（ｅ）のステップで構築された前記仮の三次元形状を画面上に表示する、ステップと、
    を更に有する請求項７に記載の画像処理方法。
  9. 　コンピュータによって、複数の画像から三次元形状を構築するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記コンピュータに、
    （ａ）前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、ステップと、
    （ｂ）前記複数の画像のうちの少なくとも２つの画像上に、互いに対応する２以上の線分又は２以上の点が指定された場合に、互いに対応する２以上の線分間の幾何学的関係、又は互いに対応する２以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、ステップと、
    （ｃ）前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記三次元形状を構築する、ステップと、
    を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
  10. 前記（ｃ）のステップにおいて、
    前記ステップ（ａ）で抽出された前記特徴点の組合せを構成している特徴点のうち、指定された、互いに対応する２以上の線分又は２以上の点に重なる特徴点を特定し、特定した特徴点を含む前記特徴点の組合せを排除して、前記三次元形状を構築する、
    請求項９に記載のコンピュータ読み取り可能な記録媒体。
  11. 前記プログラムが、前記コンピュータに、
    （ｄ）前記（ｃ）のステップによって構築された前記三次元形状を画面上に表示する、ステップを実行させる命令を更に含む、
    請求項９または１０に記載のコンピュータ読み取り可能な記録媒体。
  12. 前記プログラムが、前記コンピュータに、
    （ｅ）前記（ａ）のステップによって抽出された前記特徴点の組合せを用いて、仮の三次元形状を構築する、ステップと、
    （ｆ）前記（ｅ）のステップで構築された前記仮の三次元形状を画面上に表示する、ステップと、
    を実行させる命令を更に含む、
    請求項１１に記載のコンピュータ読み取り可能な記録媒体。
PCT/JP2018/035805 2017-09-29 2018-09-26 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体 WO2019065784A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
SG11202001487XA SG11202001487XA (en) 2017-09-29 2018-09-26 Image processing apparatus, image processing method, and computer-readable recording medium
CN201880062269.9A CN111133474B (zh) 2017-09-29 2018-09-26 图像处理设备、图像处理方法和计算机可读记录介质
JP2019545589A JP6989153B2 (ja) 2017-09-29 2018-09-26 画像処理装置、画像処理方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-190377 2017-09-29
JP2017190377 2017-09-29

Publications (1)

Publication Number Publication Date
WO2019065784A1 true WO2019065784A1 (ja) 2019-04-04

Family

ID=65901927

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/035805 WO2019065784A1 (ja) 2017-09-29 2018-09-26 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体

Country Status (4)

Country Link
JP (1) JP6989153B2 (ja)
CN (1) CN111133474B (ja)
SG (1) SG11202001487XA (ja)
WO (1) WO2019065784A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021075314A1 (ja) * 2019-10-16 2021-04-22
JPWO2021166574A1 (ja) * 2020-02-17 2021-08-26

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008199658A (ja) * 2008-04-04 2008-08-28 Olympus Corp 画像処理装置及びその画像処理方法
JP2012043472A (ja) * 2005-11-01 2012-03-01 Hitachi Solutions Ltd 地理画像処理システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4136044B2 (ja) * 1997-12-24 2008-08-20 オリンパス株式会社 画像処理装置及びその画像処理方法
JP4908867B2 (ja) * 2005-11-01 2012-04-04 株式会社日立ソリューションズ 地理画像処理システム
EP1959391A1 (de) * 2007-02-13 2008-08-20 BrainLAB AG Bestimmung des dreidimensionalen Verlaufs des Randes einer anatomischen Struktur
JP6331517B2 (ja) * 2014-03-13 2018-05-30 オムロン株式会社 画像処理装置、システム、画像処理方法、および画像処理プログラム
US10163257B2 (en) * 2014-06-06 2018-12-25 Tata Consultancy Services Limited Constructing a 3D structure
US10198865B2 (en) * 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
JP6435750B2 (ja) * 2014-09-26 2018-12-12 富士通株式会社 ３次元座標算出装置、３次元座標算出方法および３次元座標算出プログラム
JP6426968B2 (ja) * 2014-10-08 2018-11-21 キヤノン株式会社 情報処理装置およびその方法
CN104992441B (zh) * 2015-07-08 2017-11-17 华中科技大学 一种面向个性化虚拟试衣的真实人体三维建模方法
CN105844696B (zh) * 2015-12-31 2019-02-05 清华大学 基于射线模型三维重构的图像定位方法以及装置
JP6482130B2 (ja) * 2016-02-25 2019-03-13 Kddi株式会社 幾何検証装置、プログラム及び方法
JP6558803B2 (ja) * 2016-03-23 2019-08-14 Kddi株式会社 幾何検証装置及びプログラム
CN105894574B (zh) * 2016-03-30 2018-09-25 清华大学深圳研究生院 一种双目三维重建方法
CN106023307B (zh) * 2016-07-12 2018-08-14 深圳市海达唯赢科技有限公司 基于现场环境的快速重建三维模型方法及系统
CN106815824B (zh) * 2016-12-08 2019-07-05 华中科技大学 一种提高大规模三维重建效率的图像近邻优化方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012043472A (ja) * 2005-11-01 2012-03-01 Hitachi Solutions Ltd 地理画像処理システム
JP2008199658A (ja) * 2008-04-04 2008-08-28 Olympus Corp 画像処理装置及びその画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NAJAFI ET AL.: "Model-based Tracking with Stereovision for AR", PROCEEDINGS OF THE SECOND IEEE AND ACM INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY (ISMAR '03, 10 October 2003 (2003-10-10), XP010662844 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021075314A1 (ja) * 2019-10-16 2021-04-22
WO2021075314A1 (ja) * 2019-10-16 2021-04-22 Ｎｅｃソリューションイノベータ株式会社 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体
JP7294702B2 (ja) 2019-10-16 2023-06-20 Ｎｅｃソリューションイノベータ株式会社 画像処理装置、画像処理方法、及びプログラム
JPWO2021166574A1 (ja) * 2020-02-17 2021-08-26
WO2021166574A1 (ja) * 2020-02-17 2021-08-26 Ｎｅｃソリューションイノベータ株式会社 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体
JP7276978B2 (ja) 2020-02-17 2023-05-18 Ｎｅｃソリューションイノベータ株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
JP6989153B2 (ja) 2022-01-05
CN111133474A (zh) 2020-05-08
JPWO2019065784A1 (ja) 2020-08-06
SG11202001487XA (en) 2020-03-30
CN111133474B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
KR102385256B1 (ko) 디지털 잉크의 스무딩 및 gpu-구동 렌더링
US20170358100A1 (en) Image processing apparatus and image processing method
EP3528206A1 (en) Image processing apparatus, image processing method, and storage medium
US10970845B2 (en) Image processing apparatus, image processing method, and storage medium
US9280830B2 (en) Image processing apparatus and segmentation method
JP2006295606A (ja) 画像処理装置及びその方法、プログラム並びに記憶媒体
JP2019101686A (ja) 画像処理装置、画像処理方法およびプログラム
US20120014453A1 (en) Image processing apparatus and image processing method
JP7135473B2 (ja) 医用画像処理装置、医用画像処理方法、プログラム及び医用画像処理システム
US20170004122A1 (en) Handwritten character correction apparatus, handwritten character correction method, and non-transitory computer-readable recording medium
US20210304471A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP6989153B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6937782B2 (ja) 画像処理方法及びデバイス
US10885629B2 (en) Medical image processing apparatus, medical image processing method, medium, and medical image processing system
JP7294702B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2022064506A (ja) 画像処理装置、画像処理方法、及びプログラム
JP7276978B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20230237687A1 (en) Product identification apparatus, product identification method, and non-transitory computer-readable medium
JP7443965B2 (ja) 情報処理装置、補正方法、プログラム
WO2023007730A1 (ja) 情報処理システム、情報処理装置、情報処理方法、及び記録媒体
JP5636966B2 (ja) 誤差検出装置及び誤差検出プログラム
JP7218812B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JPWO2017090705A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6922690B2 (ja) 文字領域抽出プログラム、文字領域抽出装置及び文字領域抽出方法
KR100988431B1 (ko) 영상 특징 추출 방법, 이를 기록한 기록매체 및 이를 수행하는 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18862237

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019545589

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18862237

Country of ref document: EP

Kind code of ref document: A1