JP5262705B2 - Motion estimation apparatus and program - Google Patents
Motion estimation apparatus and program Download PDFInfo
- Publication number
- JP5262705B2 JP5262705B2 JP2008334950A JP2008334950A JP5262705B2 JP 5262705 B2 JP5262705 B2 JP 5262705B2 JP 2008334950 A JP2008334950 A JP 2008334950A JP 2008334950 A JP2008334950 A JP 2008334950A JP 5262705 B2 JP5262705 B2 JP 5262705B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- feature points
- motion estimation
- feature point
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、運動推定装置及びプログラムに係り、特に、移動体の運動を推定する運動推定装置及びプログラムに関する。 The present invention relates to a motion estimation device and program, and more particularly, to a motion estimation device and program for estimating motion of a moving object.
従来より、撮像手段の相対的な位置および姿勢を特定する移動体周辺監視装置が知られている（特許文献１）。この移動体周辺監視装置では、画像から特定平面上にある４点以上の特徴点を抽出し、それらの特徴点を追跡して、２枚の画像平面での特徴点の座標値に基づき、位置姿勢を計算している。 2. Description of the Related Art Conventionally, a moving object periphery monitoring device that identifies a relative position and posture of an imaging unit is known (Patent Document 1). In this moving object periphery monitoring device, four or more feature points on a specific plane are extracted from an image, the feature points are tracked, and the position is determined based on the coordinate values of the feature points on two image planes. The posture is calculated.
また、撮像装置の位置姿勢を算出する位置姿勢計測装置が知られている（特許文献２）。この位置姿勢計測装置における位置姿勢の算出は、物体上に配置または設定された指標を撮像画像から検出することにより行っている。このとき、誤検出や精度の低い指標の影響を軽減するため、連続的に検出されている指標の信頼度が高くなるよう設定し、その信頼度を用いて位置姿勢の算出を行っている。
しかしながら、上記の特許文献１に記載の技術では、同一平面上にある４点の対応点を検出することで撮像装置の位置関係を計算しているが、撮像した画像についての知識がない場合、同一平面上にある４点を検出することが困難である、という問題がある。 However, in the technique described in Patent Document 1 described above, the positional relationship of the imaging device is calculated by detecting four corresponding points on the same plane, but when there is no knowledge about the captured image, There is a problem that it is difficult to detect four points on the same plane.
また、上記の特許文献２に記載の技術では、誤検出の影響を軽減するように信頼度を設定しているが、信頼度は検出の時間的連続性に基づいているため、指標が移動物体上に存在するような場合には対応することができない、という問題がある。 In the technique described in Patent Document 2, the reliability is set so as to reduce the influence of false detection. However, since the reliability is based on temporal continuity of detection, the index is a moving object. There is a problem that it is not possible to deal with such cases.
本発明は、上記の問題点を解決するためになされたもので、安定して移動体の運動を精度よく推定することができる運動推定装置及びプログラムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a motion estimation device and a program that can stably estimate the motion of a moving object with high accuracy.
上記の目的を達成するために第１の発明に係る運動推定装置は、移動体の外部を撮像した複数の画像の各々から、複数の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段によって抽出された前記特徴点の各々について、該特徴点の周辺画素に基づく特徴量を算出する特徴量算出手段と、前記特徴量算出手段によって算出された前記特徴点の各々の特徴量に基づいて、前記複数の画像間で対応した特徴点を検索する検索手段と、前記特徴点の各々について、該特徴点の周辺に存在する特徴点の特徴量の分布に基づいて、該特徴点が信頼できるか否か、又は該特徴点がどれだけ信頼できるかを示す信頼度を判定する判定手段と、前記検索手段によって検索された前記対応した特徴点のうち、前記判定手段による判定結果に基づいて信頼できる前記対応した特徴点に基づいて、前記複数の画像を撮像したときの前記移動体の運動を推定する運動推定手段とを含んで構成されている。 In order to achieve the above object, a motion estimation apparatus according to a first invention includes a feature point extracting means for extracting a plurality of feature points from each of a plurality of images obtained by imaging the outside of a moving body, and the feature point extraction. For each of the feature points extracted by the means, a feature amount calculation unit that calculates a feature amount based on neighboring pixels of the feature point, and a feature amount of each of the feature points calculated by the feature amount calculation unit Search means for searching for corresponding feature points between the plurality of images, and for each of the feature points, the feature points are trusted based on a distribution of feature quantities of feature points existing around the feature points. whether it is possible, or a determination unit configured to determine reliability indicating whether the feature point is how much reliable, among the found the corresponding feature point by the previous SL search means, based on a determination result by the determining means And trust On the basis of the corresponding feature point, and is configured to include a motion estimation means for estimating a motion of the moving object when capturing the plurality of images that.
第２の発明に係るプログラムは、コンピュータを、移動体の外部を撮像した複数の画像の各々から、複数の特徴点を抽出する特徴点抽出手段、前記特徴点抽出手段によって抽出された前記特徴点の各々について、該特徴点の周辺画素に基づく特徴量を算出する特徴量算出手段、前記特徴量算出手段によって算出された前記特徴点の各々の特徴量に基づいて、前記複数の画像間で対応した特徴点を検索する検索手段、前記特徴点の各々について、該特徴点の周辺に存在する特徴点の特徴量の分布に基づいて、該特徴点が信頼できるか否か、又は該特徴点がどれだけ信頼できるかを示す信頼度を判定する判定手段、及び前記検索手段によって検索された前記対応した特徴点のうち、前記判定手段による判定結果に基づいて信頼できる前記対応した特徴点に基づいて、前記複数の画像を撮像したときの前記移動体の運動を推定する運動推定手段として機能させるためのプログラムである。 According to a second aspect of the invention, there is provided a program for extracting a plurality of feature points from each of a plurality of images obtained by imaging the outside of a moving body, and the feature points extracted by the feature point extraction unit. A feature amount calculation unit that calculates a feature amount based on neighboring pixels of the feature point, and a correspondence between the plurality of images based on the feature amount of each of the feature points calculated by the feature amount calculation unit Search means for searching for the feature points, for each of the feature points, whether or not the feature points are reliable based on the distribution of feature quantities of the feature points existing around the feature points, how judging means for judging reliability indicating how reliable, and of the previous SL search unit said corresponding feature points that have been retrieved by, and the corresponding trusted based on a determination result by the determining means Based on the feature points is a program for functioning as the motion estimation means for estimating the movement of the movable body when capturing a plurality of images.
第１の発明及び第２の発明によれば、特徴点抽出手段によって、移動体の外部を撮像した複数の画像の各々から、複数の特徴点を抽出し、特徴量算出手段によって、特徴点抽出手段によって抽出された前記特徴点の各々について、該特徴点の周辺画素に基づく特徴量を算出する。検索手段によって、特徴量算出手段によって算出された特徴点の各々の特徴量に基づいて、複数の画像間で対応した特徴点を検索する。 According to the first and second inventions, the feature point extracting unit extracts a plurality of feature points from each of a plurality of images obtained by imaging the outside of the moving object, and the feature amount calculating unit extracts the feature points. For each of the feature points extracted by the means, a feature amount based on the surrounding pixels of the feature point is calculated. The search unit searches for feature points corresponding to each other among a plurality of images based on the feature amounts of the feature points calculated by the feature amount calculation unit.
そして、判定手段によって、特徴点の各々について、該特徴点の周辺に存在する特徴点の特徴量の分布に基づいて、該特徴点が信頼できるか否か、又は該特徴点がどれだけ信頼できるかを示す信頼度を判定する。運動推定手段によって、検索手段によって検索された対応した特徴点のうち、判定手段による判定結果に基づいて信頼できる対応した特徴点に基づいて、複数の画像を撮像したときの移動体の運動を推定する。 Then, for each feature point, whether or not the feature point is reliable or how reliable the feature point is based on the distribution of the feature amount of the feature point existing around the feature point by the determination unit. The reliability indicating whether or not is determined. The motion estimation unit estimates the motion of the moving body when a plurality of images are captured based on the corresponding feature points that are reliable based on the determination result by the determination unit among the corresponding feature points searched by the search unit. To do.
このように、抽出された特徴点の各々が信頼できるか否か又は信頼度を判定し、判定結果を用いて、移動体の運動を推定することにより、安定して移動体の運動を精度よく推定することができる。 In this way, it is determined whether each of the extracted feature points is reliable or reliability, and by using the determination result to estimate the movement of the moving body, the movement of the moving body can be stably and accurately performed. Can be estimated.
第１の発明に係る判定手段は、特徴点の各々について、該特徴点の周辺に存在する特徴点の特徴量の分布に基づいて、該特徴点が信頼できるか否か、又は該特徴点の信頼度を判定することができる。 The determining means according to the first aspect of the present invention relates to whether or not each feature point is reliable based on the feature quantity distribution of the feature points existing around the feature point, Reliability can be determined.
また、第１の発明に係る判定手段は、予め用意された複数の学習用画像から得られる、複数の学習用画像間で対応した複数の特徴点、複数の特徴点の各々の特徴量、及び複数の特徴点の各々の周辺に存在する特徴点の特徴量の分布と、複数の特徴点の各々について予め求められた信頼できるか否か又は信頼度とに基づいて、特徴量の分布と、信頼できるか否か又は信頼度との関係を予め学習した学習結果に基づいて、特徴点の各々について、該特徴点が信頼できるか否か、又は該特徴点の信頼度を判定することができる。 Further, the determination means according to the first invention includes a plurality of feature points corresponding to a plurality of learning images obtained from a plurality of learning images prepared in advance, each feature amount of the plurality of feature points, and Based on the distribution of the feature amount of the feature points existing around each of the plurality of feature points, and whether or not the reliability can be obtained in advance for each of the plurality of feature points, or the reliability, Whether or not the feature point can be trusted or the reliability of the feature point can be determined for each feature point based on a learning result obtained by learning in advance whether the feature point is reliable or the relationship with the reliability. .
第１の発明に係る判定手段は、特徴点の各々について、該特徴点の周辺に存在する特徴点の特徴量の分布と、該特徴点の位置、周辺に存在する特徴点の数、又は対応する特徴点との位置関係とに基づいて、該特徴点が信頼できるか否か、又は該特徴点の信頼度を判定することができる。 The determining means according to the first invention provides, for each feature point, a distribution of feature amounts of feature points existing around the feature point, a position of the feature point, the number of feature points existing around, or a correspondence Whether the feature point is reliable or the reliability of the feature point can be determined based on the positional relationship with the feature point.
また、第１の発明に係る判定手段は、予め用意された複数の学習用画像から得られる、複数の学習用画像間で対応した複数の特徴点、複数の特徴点の各々の特徴量、及び複数の特徴点の各々の周辺に存在する特徴点の特徴量の分布と、複数の特徴点の各々について予め求められた信頼できるか否か又は信頼度とに基づいて、特徴量の分布、及び特徴点の位置、周辺に存在する特徴点の数、又は対応する特徴点との位置関係と、信頼できるか否か又は信頼度との関係を予め学習した学習結果に基づいて、特徴点の各々について、該特徴点が信頼できるか否か、又は該特徴点の信頼度を判定することができる。 Further, the determination means according to the first invention includes a plurality of feature points corresponding to a plurality of learning images obtained from a plurality of learning images prepared in advance, each feature amount of the plurality of feature points, and Based on the distribution of the feature amount of the feature points existing around each of the plurality of feature points, and whether or not the reliability can be obtained in advance for each of the plurality of feature points, or the reliability, and Each of the feature points is based on a learning result obtained by learning in advance the relationship between the position of the feature point, the number of feature points existing in the vicinity, or the positional relationship with the corresponding feature point and whether or not the feature point is reliable. , Whether or not the feature point is reliable or the reliability of the feature point can be determined.
第３の発明に係る運動推定装置は、移動体の外部を撮像した複数の画像の各々から、複数の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段によって抽出された前記特徴点の各々について、該特徴点の周辺画素に基づく特徴量を算出する特徴量算出手段と、前記特徴量算出手段によって算出された前記特徴点の各々の特徴量に基づいて、前記複数の画像間で対応した特徴点を検索する検索手段と、前記検索手段によって検索された対応した特徴点に基づいて、前記移動体の運動の推定候補を複数算出する候補算出手段と、前記運動の推定候補の各々について、該運動の推定候補に従う前記対応した特徴点の特徴量の分布、及び該運動の推定候補に従わない前記対応した特徴点の特徴量の分布に基づいて、該運動の推定候補がどれだけ信頼できるかを示す信頼度を判定する判定手段と、前記判定手段によって判定された前記運動の推定候補の各々の信頼度に基づいて、前記複数の画像を撮像したときの前記移動体の運動を推定する運動推定手段とを含んで構成されている。 According to a third aspect of the present invention, there is provided a motion estimation apparatus comprising: a feature point extracting unit that extracts a plurality of feature points from each of a plurality of images obtained by imaging the outside of a moving body; and the feature points extracted by the feature point extracting unit. Between each of the plurality of images based on the feature amount of each of the feature points calculated by the feature amount calculation unit, and a feature amount calculation unit that calculates a feature amount based on neighboring pixels of the feature point. Search means for searching for corresponding feature points, candidate calculation means for calculating a plurality of motion estimation candidates for the moving body based on the corresponding feature points searched by the search means, and each of the motion estimation candidates for, the distribution of the feature quantity of the corresponding feature points in accordance with the estimated candidates of the exercise, and based on the feature quantity distribution of the estimated candidate obey not the corresponding feature points of the motion estimation candidate of the motion how A determination unit that determines reliability indicating whether the image can be relied on; and a motion of the moving body when the plurality of images are captured based on the reliability of each of the motion estimation candidates determined by the determination unit. Motion estimation means for estimation.
第４の発明に係るプログラムは、コンピュータを、移動体の外部を撮像した複数の画像の各々から、複数の特徴点を抽出する特徴点抽出手段、前記特徴点抽出手段によって抽出された前記特徴点の各々について、該特徴点の周辺画素に基づく特徴量を算出する特徴量算出手段、前記特徴量算出手段によって算出された前記特徴点の各々の特徴量に基づいて、前記複数の画像間で対応した特徴点を検索する検索手段、前記検索手段によって検索された対応した特徴点に基づいて、前記移動体の運動の推定候補を複数算出する候補算出手段、前記運動の推定候補の各々について、該運動の推定候補に従う前記対応した特徴点の特徴量の分布、及び該運動の推定候補に従わない前記対応した特徴点の特徴量の分布に基づいて、該運動の推定候補がどれだけ信頼できるかを示す信頼度を判定する判定手段、及び前記判定手段によって判定された前記運動の推定候補の各々の信頼度に基づいて、前記複数の画像を撮像したときの前記移動体の運動を推定する運動推定手段として機能させるためのプログラムである。 According to a fourth aspect of the present invention, there is provided a program for extracting a plurality of feature points from each of a plurality of images obtained by imaging the outside of a moving body, and the feature points extracted by the feature point extraction unit. A feature amount calculation unit that calculates a feature amount based on neighboring pixels of the feature point, and a correspondence between the plurality of images based on the feature amount of each of the feature points calculated by the feature amount calculation unit For each of the search means for searching for feature points, candidate calculation means for calculating a plurality of motion estimation candidates for the moving object based on the corresponding feature points searched by the search means, the feature quantity of the corresponding feature points distributed in accordance estimated candidate motion, and on the basis of the characteristic amount distribution of the corresponding feature points does not follow the estimated candidates said motion estimation candidate of the motion etc. A determination means for determining reliability indicating whether only the image is reliable, and the motion of the moving body when the plurality of images are captured based on the reliability of each of the motion estimation candidates determined by the determination means It is a program for functioning as a motion estimation means for estimating.
第３の発明及び第４の発明によれば、特徴点抽出手段によって、移動体の外部を撮像した複数の画像の各々から、複数の特徴点を抽出し、特徴量算出手段によって、特徴点抽出手段によって抽出された特徴点の各々について、該特徴点の周辺画素に基づく特徴量を算出する。検索手段によって、特徴量算出手段によって算出された特徴点の各々の特徴量に基づいて、複数の画像間で対応した特徴点を検索する。 According to the third and fourth aspects, the feature point extracting unit extracts a plurality of feature points from each of a plurality of images obtained by imaging the outside of the moving object, and the feature amount calculating unit extracts the feature points. For each feature point extracted by the means, a feature amount based on the surrounding pixels of the feature point is calculated. The search unit searches for feature points corresponding to each other among a plurality of images based on the feature amounts of the feature points calculated by the feature amount calculation unit.
そして、候補算出手段によって、検索手段によって検索された対応した特徴点に基づいて、移動体の運動の推定候補を複数算出する。判定手段によって、運動の推定候補の各々について、該運動の推定候補に従う対応した特徴点の特徴量の分布、及び該運動の推定候補に従わない対応した特徴点の特徴量の分布に基づいて、該運動の推定候補がどれだけ信頼できるかを示す信頼度を判定する。運動推定手段によって、判定手段によって判定された運動の推定候補の各々の信頼度に基づいて、複数の画像を撮像したときの移動体の運動を推定する。 Then, a plurality of candidate motion estimation candidates are calculated by the candidate calculation means based on the corresponding feature points searched by the search means. For each of the motion estimation candidates by the determination means, based on the distribution of the feature amount of the corresponding feature point according to the motion estimation candidate and the distribution of the feature amount of the corresponding feature point not following the motion estimation candidate, A degree of reliability indicating how reliable the motion estimation candidate is determined. Based on the reliability of each of the motion estimation candidates determined by the determination unit, the motion estimation unit estimates the motion of the moving body when a plurality of images are captured.
このように、複数の運動推定候補の信頼度を判定し、判定された信頼度を用いて、移動体の運動を推定することにより、安定して移動体の運動を精度よく推定することができる。 As described above, the reliability of a plurality of motion estimation candidates is determined, and the motion of the moving body is estimated using the determined reliability, so that the motion of the moving body can be stably and accurately estimated. .
第３の発明に係る判定手段は、運動の推定候補の各々について、該運動の推定候補に従う対応した特徴点の特徴量の分布、及び該運動の推定候補に従わない対応した特徴点の特徴量の分布に基づいて、該運動の推定候補の信頼度を判定することができる。 For each of the motion estimation candidates, the determination means according to the third invention distributes the feature amount distribution of the corresponding feature point according to the motion estimation candidate, and the feature amount of the corresponding feature point not according to the motion estimation candidate The reliability of the motion estimation candidate can be determined based on the distribution of.
また、第３の発明に係る判定手段は、予め用意された複数の学習用画像から得られる、複数の学習用画像間で対応した複数の特徴点、複数の特徴点の各々の特徴量、及び移動体の複数の運動の推定候補と、複数の運動の推定候補の各々について予め求められた信頼できるか否かとに基づいて、運動の推定候補に従う対応した特徴点の特徴量の分布、及び運動の推定候補に従わない対応した特徴点の特徴量の分布と、信頼度との関係を学習した学習結果に基づいて、複数の運動の推定候補の各々について、該運動の推定候補の信頼度を判定することができる。 In addition, the determination means according to the third invention includes a plurality of feature points corresponding to a plurality of learning images obtained from a plurality of learning images prepared in advance, each feature amount of the plurality of feature points, and The distribution of feature quantities of corresponding feature points according to the motion estimation candidates, and the motion based on the plurality of motion estimation candidates of the moving object and whether or not each of the plurality of motion estimation candidates is reliable. For each of a plurality of motion estimation candidates, the reliability of the motion estimation candidate is determined for each of the motion estimation candidates based on the learning result obtained by learning the relationship between the feature quantity distribution of the corresponding feature points that do not follow the estimation candidate and the reliability. Can be determined.
上記の特徴量算出手段は、特徴点の各々について、該特徴点の特徴量として、該特徴点の周辺画素の輝度情報から算出されるベクトル値を量子化した値を算出することができる。また、上記の特徴量算出手段は、特徴点の各々について、該特徴点の特徴量として、該特徴点の周辺画素の輝度情報から算出されるエッジ方向ヒストグラムを量子化した値を算出することができる。 The feature amount calculating means can calculate, as the feature amount of each feature point, a value obtained by quantizing a vector value calculated from luminance information of pixels around the feature point. Further, the feature amount calculation means may calculate, as the feature amount of each feature point, a value obtained by quantizing the edge direction histogram calculated from the luminance information of the surrounding pixels of the feature point. it can.
以上説明したように、本発明の運動推定装置及びプログラムによれば、移動体の運動を推定することにより、安定して移動体の運動を精度よく推定することができる、という効果が得られる。 As described above, according to the motion estimation device and the program of the present invention, it is possible to obtain the effect that the motion of the mobile body can be stably estimated with high accuracy by estimating the motion of the mobile body.
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、車両に搭載された運動推定装置に本発明を適用した場合を例に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. The case where the present invention is applied to a motion estimation device mounted on a vehicle will be described as an example.
図１に示すように、第１の実施の形態に係る運動推定装置１０は、車両（図示省略）に取り付けられ、かつ、自車両の前方の画像を撮像する単眼のカメラで構成される撮像装置１２と、撮像装置１２によって撮像された複数の画像に基づいて、自車両の運動を推定して外部装置（図示省略）に出力するコンピュータ１４とを備えている。 As shown in FIG. 1, a motion estimation apparatus 10 according to the first embodiment is attached to a vehicle (not shown), and is configured by a monocular camera that captures an image in front of the host vehicle. 12 and a computer 14 that estimates the motion of the host vehicle based on a plurality of images captured by the imaging device 12 and outputs the estimated motion to an external device (not shown).
撮像装置１２は、車両の前方を撮像し、画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。 The imaging device 12 images the front of the vehicle and generates an image signal of the image (not shown), and an A / D conversion unit (not shown) that A / D converts the image signal generated by the imaging unit. And an image memory (not shown) for temporarily storing the A / D converted image signal.
コンピュータ１４は、ＣＰＵと、ＲＡＭと、後述する学習処理ルーチン及び運動推定処理ルーチンの各々を実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。 The computer 14 includes a CPU, a RAM, and a ROM that stores programs for executing a learning process routine and an exercise estimation process routine, which will be described later, and is functionally configured as follows.
コンピュータ１４は、撮像装置１２から撮像された画像を取得する画像取得部２０と、画像取得部２０により取得した撮像画像から、画像上で追跡しやすい特徴点を複数抽出する特徴点抽出部２２と、抽出された特徴点の各々について、特徴点の周辺画素における各エッジ方向のヒストグラムを算出して、各エッジ方向のヒストグラムを示すベクトルを生成すると共に、ベクトルがどの分類に属するかを特定して、特定されたベクトルに関する分類を、特徴点の特徴量として求める特徴点特徴量算出部２４と、特徴点の特徴量に基づいて、特徴点抽出部２２により得られた２つの画像の各々における特徴点から、２つの画像の間で対応する特徴点（以下、対応点とも称する）を検索する対応点検索部２６と、抽出された特徴点の各々について、当該特徴点の周辺に存在する周辺特徴点の特徴量を用いて、当該特徴点の特徴ベクトルを生成する特徴ベクトル生成部２８と、後述する学習処理によって予め得られた特徴ベクトルとインライア、アウトライアを示すラベルとの関係の学習結果を記憶した学習結果記憶部３０と、算出された各特徴点の特徴ベクトル、及び記憶した特徴ベクトルとラベルとの関係の学習結果に基づいて、各特徴点がインライア及びアウトライアの何れであるかを判定する判定部３２と、インライアと判定された、対応する特徴点の組み合わせに基づいて、自車両の運動を推定する運動推定部３４とを備えている。 The computer 14 includes an image acquisition unit 20 that acquires an image captured from the imaging device 12, and a feature point extraction unit 22 that extracts a plurality of feature points that are easy to track on the image from the captured image acquired by the image acquisition unit 20. For each of the extracted feature points, calculate a histogram of each edge direction in the surrounding pixels of the feature point, generate a vector indicating the histogram of each edge direction, and specify which class the vector belongs to The feature point feature amount calculation unit 24 that obtains the classification of the identified vector as the feature amount of the feature point, and the feature in each of the two images obtained by the feature point extraction unit 22 based on the feature amount of the feature point A corresponding point search unit 26 that searches for corresponding feature points (hereinafter also referred to as corresponding points) between two images, and each of the extracted feature points A feature vector generation unit 28 that generates a feature vector of the feature point using the feature amount of the peripheral feature point existing around the feature point, a feature vector, an inlier, and an outlier that are obtained in advance by a learning process to be described later Based on the learning result storage unit 30 that stores the learning result of the relationship with the label indicating, the feature vector of each calculated feature point, and the learning result of the relationship between the stored feature vector and the label, A determination unit 32 that determines whether the inlier or the outlier is used, and a motion estimation unit 34 that estimates the motion of the host vehicle based on a combination of corresponding feature points determined to be inliers.
特徴点抽出部２２は、撮像装置１２から得られる複数の撮像画像の各々から、特徴点を複数抽出する。特徴点とは、周囲の点と区別でき、異なる画像間で対応関係を求めることが容易な点のことを指す。特徴点は、２次元的に濃淡変化の勾配値が大きくなる画素を検出する方法（例えば、ＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ）、Ｈａｒｒｉｓ−Ｌａｐｌａｃｅなど）を用いて、自動的に抽出される。ＤｏＧでは、以下のように特徴点を抽出する。 The feature point extraction unit 22 extracts a plurality of feature points from each of a plurality of captured images obtained from the imaging device 12. A feature point refers to a point that can be distinguished from surrounding points and that makes it easy to obtain a correspondence between different images. The feature points are automatically extracted using a method (for example, DoG (Difference of Gaussian), Harris-Laplace, etc.) that detects pixels in which the gradient value of the gradation change is two-dimensionally large. In DoG, feature points are extracted as follows.
まず、画像Ｉ（ｘ，ｙ）に対して標準偏差σの異なるガウシアンフィルタＧ（ｘ，ｙ，σ）をかけた、複数の平滑化画像Ｌ（ｘ，ｙ，σ）を生成する。それぞれ、以下の（１）式、（２）式で表される。 First, a plurality of smoothed images L (x, y, σ) are generated by applying a Gaussian filter G (x, y, σ) having a different standard deviation σ to the image I (x, y). They are represented by the following formulas (1) and (2), respectively.
ただし、Ｉ（ｘ，ｙ）は画像Ｉの座標（ｘ，ｙ）の輝度値を表わし、＊は畳み込みを表す。 However, I (x, y) represents the luminance value of the coordinates (x, y) of the image I, and * represents convolution.
次に、標準偏差の異なる２つの平滑化画像の差分をとって、Ｄｉｆｆｅｒｅｎｃｅ−ｏｆ−Ｇａｕｓｓｉａｎ（ＤｏＧ）画像Ｄ（ｘ，ｙ，σ）を以下の（３）式に従って計算する。 Next, a difference-of-Gaussian (DoG) image D (x, y, σ) is calculated according to the following equation (3) by taking the difference between two smoothed images having different standard deviations.
ここで、ｋは定数のパラメータである。このようにして、複数のスケールσのＤｏＧ画像を生成する。そして、生成したＤｏＧ画像から極値を探索することで、特徴点の抽出を行う。極値の探索は、ＤｏＧ画像の注目画像及び上下の隣接スケールの画像の各々における、注目画素及び隣接する画素の画素値と比較することにより行う。つまり、スケールσｉのＤｏＧ画像Ｄ（ｘ，ｙ，σｉ）の点（ｘｉ，ｙｉ）に対して特徴点か否かの判定を行うときには、以下の２６点と比較を行い、最小値又は最大値であれば、極値であると判断し、注目画素を特徴点として抽出する。 Here, k is a constant parameter. In this way, DoG images having a plurality of scales σ are generated. Then, feature points are extracted by searching for extreme values from the generated DoG image. The search for the extreme value is performed by comparing the pixel value of the target pixel and the adjacent pixel in each of the target image of the DoG image and the upper and lower adjacent scale images. That is, when determining whether or not the point (x i , y i ) of the DoG image D (x, y, σ i ) of the scale σ i is a feature point, it is compared with the following 26 points, and the minimum If it is a value or a maximum value, it is determined as an extreme value, and the target pixel is extracted as a feature point.
特徴点抽出部２２は、以上の処理で得られる特徴点の画像座標とスケールとを特徴点の情報として保持する。 The feature point extraction unit 22 holds the image coordinates and scales of feature points obtained by the above processing as feature point information.
特徴点特徴量算出部２４は、以下に説明するように、各特徴点の特徴量を算出する。まず、図２（Ａ）、図３（Ａ）に示すように特徴点抽出部２２で抽出された特徴点の各々に対して、エッジ方向ヒストグラムを計算する。エッジ方向ヒストグラムを計算するためには、まず特徴点の周囲に、特徴点のスケールが大きいほど大きなサイズのウィンドウを設定し、設定したウィンドウ内の各画素に対して勾配の大きさ、方向を計算する。画像Ｉ（ｘ，ｙ）の勾配の大きさｍ（ｘ，ｙ）、方向θ（ｘ，ｙ）は以下の（４）式、（５）式に従って計算される。 The feature point feature amount calculation unit 24 calculates the feature amount of each feature point as described below. First, as shown in FIGS. 2A and 3A, an edge direction histogram is calculated for each feature point extracted by the feature point extraction unit 22. In order to calculate the edge direction histogram, first, a larger size window is set around the feature point, and the size and direction of the gradient are calculated for each pixel in the set window. To do. The magnitude m (x, y) and the direction θ (x, y) of the gradient of the image I (x, y) are calculated according to the following equations (4) and (5).
そして、特徴点の周囲に設定したウィンドウを複数の小領域に分割し、各小領域について、図２（Ｂ）や図３（Ｂ）に示すようなエッジ方向のヒストグラムを作成する。エッジ方向のヒストグラムは、エッジ方向を所定の数に分割したヒストグラムであり、小領域内の各画素の勾配方向を勾配の大きさで重み付けして投票することにより、エッジ方向のヒストグラムを生成する。そして、全ての小領域のエッジ方向のヒストグラムを連結したベクトルを、特徴点のベクトル値として生成する。 Then, the window set around the feature point is divided into a plurality of small regions, and edge direction histograms as shown in FIGS. 2B and 3B are created for each small region. The edge direction histogram is a histogram in which the edge direction is divided into a predetermined number, and the edge direction histogram is generated by voting by assigning the gradient direction of each pixel in the small region with the gradient size. And the vector which connected the histogram of the edge direction of all the small area | regions is produced | generated as a vector value of a feature point.
そして、図４（Ｂ）、（Ｃ）に示すような、学習画像から得られたベクトル値に関する複数の分類に基づいて、各特徴点のベクトル値が、どの分類に属するかを特定することにより、ベクトル値の量子化を行い、特定された分類を示す値を、特徴点の特徴量とする。 Then, by identifying which class the vector value of each feature point belongs to based on a plurality of classifications related to vector values obtained from the learning image as shown in FIGS. Then, the vector value is quantized, and the value indicating the specified classification is set as the feature amount of the feature point.
対応点検索部２６は、特徴点特徴量算出部２４から得られる各特徴点の特徴量を用いて、以下に説明するように、複数の画像間での特徴点の対応付けを行って、一つの画像の特徴点に対応する特徴点を他の画像から検索する。 The corresponding point search unit 26 uses the feature amount of each feature point obtained from the feature point feature amount calculation unit 24 to perform feature point association between a plurality of images as described below. A feature point corresponding to a feature point of one image is searched from other images.
特徴点の抽出と特徴量の算出が行われた２枚の画像Ｉ，Ｉ’において、画像Ｉの特徴点ｆｉに対する画像Ｉ’の特徴点を求めるとき、画像Ｉ’から抽出された特徴点から、その特徴量が特徴点ｆｉの特微量と最も近い特徴点ｆｊ’ を求める。このとき、特徴点ｆｉの特徴量と特徴点ｆｊ’の特徴量との距離ｄ１及び、特徴点ｆｉの特徴量と２番目に近い特徴量ｆｋ’との距離ｄ２の比ｄ１／ｄ２が、ある所定のしきい値より小さい場合に、画像Ｉの特徴点ｆｉと画像Ｉ’の特徴点ｆｊ’を対応付ける。 When obtaining the feature point of the image I ′ with respect to the feature point f i of the image I in the two images I and I ′ that have undergone feature point extraction and feature amount calculation, the feature points extracted from the image I ′ Then, the feature point f j ′ whose feature amount is closest to the feature amount of the feature point f i is obtained. In this case, the ratio of the distance d 2 between the 'distance d 1 and the feature quantity of the feature point f i and the feature amount f k second closest to the feature amount of' the feature quantity of the feature point f i and the feature point f j When d 1 / d 2 is smaller than a predetermined threshold value, the feature point f i of the image I is associated with the feature point f j ′ of the image I ′.
特徴ベクトル生成部２８は、特徴点抽出部２２により抽出された特徴点の各々について、注目特徴点とその周辺に存在する特徴点の特徴量の個数分布であるヒストグラムを用いて、特徴ベクトルを生成する。例えば、図５（Ａ）に示すように、注目特徴点に対して、注目特徴点を中心とする所定の大きさの矩形領域を設け、図５（Ｂ）に示すように、その矩形領域内に存在する特徴点の特徴量（分類番号）の個数分布である特徴量ヒストグラムを生成し、各特徴量の値（個数）を並べたベクトルを特徴ベクトルとして生成する。なお、特徴量ヒストグラムの値を並べたベクトルに、矩形領域内の特徴点の個数、注目特徴点の画像座標、注目特徴点の画像間での位置関係（オプティカルフロー）を更に加えて並べたものを、特徴ベクトルとして生成してもよい。さらに、時系列画像を用いる場合には、注目特徴点の追跡時間を更に加えて並べた特徴ベクトルを生成するようにしてもよい。 The feature vector generation unit 28 generates a feature vector for each of the feature points extracted by the feature point extraction unit 22 by using a histogram that is the number distribution of feature quantities of the feature point of interest and the feature points existing around the feature point. To do. For example, as shown in FIG. 5A, a rectangular area having a predetermined size centered on the target feature point is provided for the target feature point, and as shown in FIG. A feature amount histogram which is a number distribution of feature amounts (classification numbers) of feature points existing in the feature points is generated, and a vector in which the values (numbers) of the feature amounts are arranged is generated as a feature vector. A vector in which the values of the feature amount histogram are arranged, and the number of feature points in the rectangular area, the image coordinates of the feature point of interest, and the positional relationship (optical flow) between the features of the feature point of interest are further arranged. May be generated as a feature vector. Furthermore, when using a time-series image, feature vectors arranged by adding the tracking time of the feature point of interest may be generated.
学習結果記憶部３０には、以下に説明する学習処理により学習結果として得られた特徴ベクトルとインライア、アウトライアを示すラベルとの関係を記憶する。 The learning result storage unit 30 stores a relationship between a feature vector obtained as a learning result by a learning process described below and labels indicating inliers and outliers.
学習処理では、まず、予め用意された複数の学習用画像に対して、上述した方法と同様に、特徴点の抽出、特徴点の特徴量の算出、及び対応する特徴点の検索を行い、特徴点、特徴量、および画像間での特徴点の対応関係を求める。そして、オペレータの操作によって、学習用画像から抽出された特徴点のうち、画像間での特徴点の対応関係に誤りがある特徴点、および移動物体上に存在する特徴点をアウトライアとラベル付けし、そうでない特徴点をインライアとラベル付けする。次に、ラベル付けされた特徴点に対して、特徴ベクトル生成部２８と同様に特徴ベクトルを生成し、そして、ラベル付けされた特徴点、特徴点の特徴ベクトル、およびラベルを入力として、特徴ベクトルに対してインライア、アウトライアを判定する学習処理を行い、特徴ベクトルとインライア、アウトライアを示すラベルとの関係を学習する。なお、特徴点に対してラベル付けされるインライア又はアウトライアは、運動推定の際に特徴点の対応が信頼できるか否かを表わし、本発明の特徴点を信頼できるか否かに対応している。 In the learning process, first, feature points are extracted, feature points are calculated, and corresponding feature points are searched for a plurality of learning images prepared in the same manner as described above. Correspondences between points, feature amounts, and feature points between images are obtained. Then, out of the feature points extracted from the learning image by the operator's operation, feature points that have an incorrect correspondence between the feature points between the images and feature points that exist on the moving object are labeled as outliers. And label feature points that are not so as inliers. Next, a feature vector is generated for the labeled feature point in the same manner as the feature vector generation unit 28, and the feature vector, the feature vector of the feature point, and the label are input as inputs. A learning process for determining inliers and outliers is performed on the images, and the relationship between the feature vectors and labels indicating the inliers and outliers is learned. It should be noted that the inlier or outlier labeled for the feature point indicates whether or not the feature point correspondence is reliable at the time of motion estimation, and corresponds to whether or not the feature point of the present invention is reliable. Yes.
判定部３２は、特徴ベクトル生成部２８によって生成された各特徴点の特徴ベクトル、及び学習結果記憶部３０に記憶された学習結果としての特徴ベクトルとラベルとの関係に基づいて、各特徴点に対してインライア、アウトライアの判定を行う。 Based on the feature vector of each feature point generated by the feature vector generation unit 28 and the relationship between the feature vector as a learning result stored in the learning result storage unit 30 and the label, the determination unit 32 determines each feature point. The inlier and outlier are judged.
運動推定部３４は、判定部３２によりインライアと判定された特徴点の画像間での対応関係を用いて、複数の画像間の相対的な位置及び姿勢を、複数の画像を撮像したときの自車両の運動として推定する。 The motion estimation unit 34 uses the correspondence between the feature points determined as inliers by the determination unit 32 to determine the relative positions and postures of the plurality of images when the plurality of images are captured. Estimated as vehicle motion.
２枚の画像で対応する特徴点の座標から、２つの画像が撮像されたときの位置、姿勢の変化（３次元空間での移動量および回転量）を計算するとき、計算する位置姿勢の変化は、図６に示すような第１の画像から第２の画像への回転行列Ｒと並進ベクトルｔから構成される６自由度の運動である。 When calculating changes in position and orientation (movement amount and rotation amount in three-dimensional space) when two images are captured from the coordinates of corresponding feature points in the two images, changes in the position and orientation to be calculated Is a six-degree-of-freedom motion composed of a rotation matrix R and a translation vector t from the first image to the second image as shown in FIG.
ここで、第１の画像から第２の画像への回転行列Ｒと並進ベクトルｔとの計算方法について説明する。第１の画像におけるｎ点の対応点の画像座標Ｉｉと第２の画像におけるｎ点の対応点の画像座標Ｉｉ’とについて（ｎ≧８）、対応点の対応関係が正しくて誤差がなければ、位置及び姿勢の変化を示す行列として、以下の（６）式を満たす３×３行列Ｆが存在する。 Here, a calculation method of the rotation matrix R and the translation vector t from the first image to the second image will be described. For the first image coordinates of the corresponding point of the n points in the image I i and image coordinates I i of the corresponding point of n points in the second image '(n ≧ 8), correspondence is correct errors of corresponding points Otherwise, there is a 3 × 3 matrix F that satisfies the following expression (6) as a matrix indicating changes in position and orientation.
ただし、Ｉｉ＝(ｕｉ，ｖｉ，１)Ｔ、Ｉｉ’＝(ｕｉ’，ｖｉ’，１)Ｔであり、第１の画像での画像座標（ｕｉ，ｖｉ）の点に対応する第２の画像での点の画像座標が（ｕｉ’，ｖｉ’）である。 However, I i = (u i , v i , 1) T , I i ′ = (u i ′, v i ′, 1) T , and the image coordinates (u i , v i ) in the first image The image coordinates of the point in the second image corresponding to the point are (u i ′, v i ′).
ここで、上記（６）式を満たす行列Ｆは、定数倍の不定性を持っている。すなわち、Ｆｓが上記（６）式を満たす場合には、αＦｓも上記（６）式を満たす（ただし、αは実数）。よって、行列Ｆを以下の（７）式のように表すことができる。 Here, the matrix F satisfying the above equation (6) has a constant multiple indefiniteness. That is, when F s satisfies the above equation (6), αF s also satisfies the above equation (6) (where α is a real number). Therefore, the matrix F can be expressed as the following equation (7).
また、上記（６）式、（７）式より、以下の（８）式が得られる。 Further, from the above formulas (6) and (7), the following formula (8) is obtained.
ここで、８組以上の対応点Ｉｉ、Ｉｉ’があれば、上記（８）式が少なくとも８つ得られるため、８つの変数ｆ１１〜ｆ３２を求めることができる。つまり、判定部３２によりインライアと判定された特徴点が８点以上あれば、行列Ｆを計算できる。 Here, if there are eight or more pairs of corresponding points I i and I i ′, at least eight of the above equations (8) are obtained, so that eight variables f 11 to f 32 can be obtained. That is, the matrix F can be calculated if there are eight or more feature points determined as inliers by the determination unit 32.
また、誤対応した特徴点や移動物体上の特徴点の中にも、インライアと誤判定された点が含まれることがあるため、インライアと判定された特徴点のうち、その対応関係が上記（６）式を満たす特徴点の数が最も多くなる行列Ｆを求める。 In addition, since mis-corresponding feature points and feature points on moving objects may include points that are erroneously determined as inliers, among the feature points determined as inliers, the correspondence relationship is 6) A matrix F having the largest number of feature points satisfying the equation is obtained.
実画像で特徴点の対応を求めた場合には、対応する画像座標には誤差が含まれるため、正しい対応関係であっても上記（６）式を厳密には満たさない。そこで、行列Ｆが与えられたとき、特徴点の対応関係が上記（６）式を満たすか否かは以下の（９）式に示す条件を満たすか否かにより判断する。 When the correspondence between feature points is obtained in an actual image, the corresponding image coordinates include an error, and therefore the above equation (6) is not strictly satisfied even with a correct correspondence. Therefore, when the matrix F is given, whether or not the correspondence between the feature points satisfies the above equation (6) is determined by whether or not the following equation (9) is satisfied.
ただし、ｄ（ａ，ｂ）はａとｂの距離を表し、τはあらかじめ設定するしきい値である。 However, d (a, b) represents the distance between a and b, and τ is a preset threshold value.
また、撮像装置１２のキャリブレーション行列Ｋが既知である場合には、上述したように特定された行列Ｆに基づいて、以下の（１０）式、（１１）式に従って、回転行列Ｒと並進ベクトルｔとを計算し、第１の画像及び第２の画像の各々が撮像されたときの撮像装置１２の運動（位置及び姿勢の変化）として出力する。 Further, when the calibration matrix K of the imaging device 12 is known, based on the matrix F specified as described above, the rotation matrix R and the translation vector according to the following expressions (10) and (11): t is calculated and output as a motion (change in position and orientation) of the imaging device 12 when each of the first image and the second image is captured.
上記の方法により、運動推定部３４は、第１の画像及び第２の画像における複数組の対応する特徴点の画像座標と、各特徴点のインライア、アウトライアの判定結果とに基づいて、第１の画像及び第２の画像を撮像したときの撮像装置１２の位置及び姿勢の変化を計算する。 By the above method, the motion estimation unit 34 performs the first operation based on the image coordinates of the plurality of corresponding feature points in the first image and the second image, and the inlier and outlier determination results of each feature point. Changes in the position and orientation of the imaging device 12 when the first image and the second image are captured are calculated.
次に、第１の実施の形態に係る運動推定装置１０の作用について説明する。 Next, the operation of the motion estimation apparatus 10 according to the first embodiment will be described.
まず、運動推定装置１０のコンピュータ１４において、図７に示す学習処理ルーチンが実行される。 First, the learning process routine shown in FIG. 7 is executed in the computer 14 of the motion estimation apparatus 10.
ステップ１００において、異なるタイミングで撮像装置１２によって自車両前方を予め撮像した第１の学習用画像及び第２の学習用画像を取得する。そして、ステップ１０２において、上記ステップ１００で取得した第１の学習用画像及び第２の学習用画像から特徴点を複数抽出する。そして、ステップ１０４において、上記ステップ１０２で第１の学習用画像及び第２の学習用画像から抽出された複数の特徴点の各々について、特徴量を算出する。 In step 100, a first learning image and a second learning image obtained by imaging the front of the host vehicle with the imaging device 12 at different timings are acquired. In step 102, a plurality of feature points are extracted from the first learning image and the second learning image acquired in step 100. In step 104, a feature amount is calculated for each of the plurality of feature points extracted from the first learning image and the second learning image in step 102.
次のステップ１０６では、上記ステップ１０４で算出された特徴量に基づいて、上記ステップ１０２で抽出された第１の学習用画像上の複数の特徴点の各々に対応する特徴点を、第２の学習用画像上で検索して追跡する。 In the next step 106, a feature point corresponding to each of the plurality of feature points on the first learning image extracted in the step 102 is obtained based on the feature amount calculated in the step 104. Search and track on learning images.
そして、ステップ１０８において、第１の学習用画像上の特徴点の各々について、特徴ベクトルを生成し、ステップ１１０で、第１の学習用画像及び第２の学習用画像の特徴点の対応関係を表わすと共に、第１の学習用画像上の複数の特徴点の各々にラベル付けするためのラベル入力用画面を、ディスプレイ（図示省略）に表示する。これによって、オペレータは、各特徴点の位置や、第１の学習用画像及び第２の学習用画像の特徴点の対応関係を参照しながら、キーボードやマウスなどを操作して、第１の学習用画像上の複数の特徴点の各々に対して、インライア、アウトライアのラベル付けを行う。 In step 108, a feature vector is generated for each feature point on the first learning image, and in step 110, the correspondence between the feature points of the first learning image and the second learning image is determined. In addition, a label input screen for labeling each of the plurality of feature points on the first learning image is displayed on a display (not shown). As a result, the operator operates the keyboard, mouse, and the like while referring to the positions of the feature points and the correspondence between the feature points of the first learning image and the second learning image to perform the first learning. Inliers and outliers are labeled for each of a plurality of feature points on the image.
次のステップ１１２において、オペレータによるラベル入力が終了したか否かを判定し、オペレータの操作により、ラベル入力の終了が入力されると、ステップ１１４へ進む。 In the next step 112, it is determined whether or not the label input by the operator is finished. When the end of the label input is inputted by the operator's operation, the process proceeds to step 114.
ステップ１１４では、上記ステップ１０８で生成された各特徴点の特徴ベクトルと、各特徴点にラベル付けされたラベルとに基づいて、特徴ベクトルとラベルとの関係を学習し、得られた特徴ベクトルとラベルとの関係をメモリ（図示省略）に記憶して、学習処理ルーチンを終了する。 In step 114, the relationship between the feature vector and the label is learned based on the feature vector of each feature point generated in step 108 and the label labeled on each feature point. The relationship with the label is stored in a memory (not shown), and the learning processing routine is terminated.
また、運動推定装置１０を搭載した自車両が走行しているときに、撮像装置１２によって連続して自車両前方の画像が複数撮像されると共に、運動推定装置１０のコンピュータ１４において、図８に示す運動推定処理ルーチンが繰り返し実行される。 Further, when the host vehicle on which the motion estimation device 10 is mounted is traveling, a plurality of images ahead of the host vehicle are continuously captured by the imaging device 12, and the computer 14 of the motion estimation device 10 is shown in FIG. The motion estimation processing routine shown is repeatedly executed.
まず、ステップ１２０において、異なるタイミングで撮像装置１２によって自車両前方を撮像した第１の画像及び第２の画像を取得する。そして、ステップ１２２において、上記ステップ１２０で取得した第１の画像及び第２の画像から特徴点を複数抽出する。そして、ステップ１２４において、上記ステップ１２２で第１の画像及び第２の画像から抽出された複数の特徴点の各々について、特徴量を算出する。 First, in step 120, a first image and a second image obtained by imaging the front of the host vehicle with the imaging device 12 at different timings are acquired. In step 122, a plurality of feature points are extracted from the first image and the second image acquired in step 120. In step 124, a feature amount is calculated for each of the plurality of feature points extracted from the first image and the second image in step 122.
次のステップ１２６では、上記ステップ１２４で算出された特徴量に基づいて、上記ステップ１２２で抽出された第１の画像上の複数の特徴点の各々に対応する特徴点を、第２の画像上で検索して追跡する。 In the next step 126, feature points corresponding to each of the plurality of feature points on the first image extracted in step 122 are added to the second image on the basis of the feature amount calculated in step 124. Search and track with.
そして、ステップ１２８において、第１の画像上の特徴点の各々について、特徴ベクトルを生成し、ステップ１３０において、学習された特徴ベクトルとラベルとの関係、及び上記ステップ１２８で生成された各特徴点の特徴ベクトルに基づいて、第１の画像上の特徴点の各々について、インライアかアウトライアかを判定する。 In step 128, a feature vector is generated for each feature point on the first image. In step 130, the relationship between the learned feature vector and the label, and each feature point generated in step 128 above. On the basis of the feature vector, it is determined whether each feature point on the first image is an inlier or an outlier.
次のステップ１３２では、上記ステップ１３０でインライアと判定された特徴点と対応する特徴点との対応関係の任意の組み合わせに基づいて、行列Ｆを計算し、また、対応関係が上記（９）式を満たす特徴点の数が最も多い行列Ｆを求める。そして、求められた行列Ｆに基づいて、上記（１０）式及び（１１）式に従って、第１の画像を撮像したときの撮像装置１２の第１の位置及び第１の姿勢と、第２の画像を撮像したときの撮像装置１２の第２の位置及び第２の姿勢との変化として、撮像装置１２の運動のＸＹＺ軸方向の移動量及びＸＹＺ軸を基準とする回転量を算出し、撮像装置１２を搭載した自車両のその２時刻間における運動の推定結果として外部装置に出力して、運動推定処理ルーチンを終了する。 In the next step 132, the matrix F is calculated based on an arbitrary combination of the correspondences between the feature points determined to be inliers in step 130 and the corresponding feature points, and the correspondence relationship is expressed by the above equation (9). A matrix F having the largest number of feature points satisfying is obtained. Then, based on the obtained matrix F, the first position and the first posture of the imaging device 12 when the first image is captured according to the above formulas (10) and (11), and the second As the change in the second position and the second posture of the image pickup device 12 when the image is picked up, the movement amount of the movement of the image pickup device 12 in the XYZ-axis direction and the rotation amount based on the XYZ axes are calculated, The motion estimation processing routine of the host vehicle equipped with the device 12 is output to the external device as the motion estimation result between the two times, and the motion estimation processing routine is terminated.
以上説明したように、第１の実施の形態に係る運動推定装置によれば、抽出された特徴点の各々がインライアであるか否かを判定し、インライアであると判定された特徴点の対応関係を用いて、自車両の運動を推定することにより、周囲に移動物体が存在する場合や背景が複雑な場合においても、安定して自車両の運動を精度よく推定することができる。 As described above, according to the motion estimation device according to the first embodiment, it is determined whether or not each extracted feature point is an inlier, and the correspondence of the feature point determined to be an inlier. By estimating the motion of the host vehicle using the relationship, the motion of the host vehicle can be stably and accurately estimated even when there are moving objects in the surroundings or when the background is complicated.
複数枚の画像を用いて画像の撮影時刻間に発生した運動を推定するとき、画像からコーナーなどの特徴的な点である特徴点を抽出し、それらの特徴点を画像間で対応付け、その対応関係から画像間の相対的な位置及び姿勢の変化を求めるが、対応付けを誤った特徴点や画像中に存在する他の移動物体上の特徴点が多くなると、相対的な位置及び姿勢の変化を精度よく計算することが難しい。これに対して、本実施の形態では、各特徴点周辺のエッジ分布などのパターン情報を特徴量として抽出し、各特徴点とその周辺に存在する特徴点の特徴量から、誤対応しやすい特徴点または車両などの移動物体上の特徴点であるか否かを判定し、誤対応しやすい特徴点および移動物体上らしい特徴点を除いて、運動を推定することにより、背景が複雑で誤対応点が多く発生する場合や、周囲に移動物体が多く存在する場合にも、安定して精度よく運動を推定することができる。 When using multiple images to estimate the motion that occurred between image capture times, extract feature points that are characteristic points such as corners from the images, associate these feature points between images, and The relative position and orientation change between images is obtained from the correspondence relationship, but if there are many feature points that are mis-matched or feature points on other moving objects in the image, the relative position and orientation changes. It is difficult to calculate changes accurately. On the other hand, in the present embodiment, pattern information such as edge distribution around each feature point is extracted as a feature amount, and a feature that tends to be erroneously handled from the feature amount of each feature point and the feature point existing around it Judging whether the point is a point or a feature point on a moving object such as a vehicle, and excluding feature points that are likely to be mishandled and feature points that are likely to be on the moving object, the motion is estimated and the background is complicated and mishandled Even when many points are generated or when there are many moving objects around, the motion can be estimated stably and accurately.
次に、第２の実施の形態について説明する。なお、第２の実施の形態に係る運動推定装置は、第１の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。 Next, a second embodiment will be described. In addition, since the motion estimation apparatus according to the second embodiment has the same configuration as that of the first embodiment, the same reference numerals are given and description thereof is omitted.
第２の実施の形態では、各特徴点について、インライアらしさを表わす連続値である信頼度を判定している点が、第１の実施の形態と主に異なっている。 The second embodiment is mainly different from the first embodiment in that the reliability is determined as a continuous value representing the inlier-likeness for each feature point.
第２の実施の形態に係る運動推定装置では、学習用画像を用いて得られた、ラベル付けされた特徴点、特徴点の特徴ベクトル、およびラベルに基づいて、学習処理を行って、学習結果として、特徴ベクトルとインライアらしさを表す信頼度との関係を得る。なお、インライアらしさを表わす信頼度は、運動推定の際に特徴点の対応がどれだけ信頼できるかを表わし、本発明の特徴点がどれだけ信頼できるかを示す信頼度に対応している。 In the motion estimation apparatus according to the second embodiment, the learning process is performed based on the labeled feature points, the feature vectors of the feature points, and the labels obtained using the learning image, and the learning result As a result, the relationship between the feature vector and the reliability indicating the inlier-likeness is obtained. Note that the reliability indicating inlier-likeness indicates how reliable the correspondence of the feature point is in the motion estimation, and corresponds to the reliability indicating how reliable the feature point of the present invention is.
また、学習結果記憶部３０に、学習処理により得られた特徴ベクトルと信頼度との関係を記憶する。 Further, the learning result storage unit 30 stores the relationship between the feature vector obtained by the learning process and the reliability.
判定部３２によって、特徴ベクトル生成部２８によって生成された各特徴点の特徴ベクトル、及び学習結果記憶部３０に記憶された学習結果に基づいて、各特徴点に対して、信頼度を判定する。特徴点のインライアらしさが強いほど、当該特徴点に対して高い信頼度が判定される。 The determination unit 32 determines the reliability of each feature point based on the feature vector of each feature point generated by the feature vector generation unit 28 and the learning result stored in the learning result storage unit 30. The stronger the inlier-likeness of a feature point, the higher the reliability is determined for that feature point.
運動推定部３４は、対応する特徴点の任意の組み合わせに基づいて、行列Ｆを計算する。また、運動推定部３４は、判定部３２により判定された各特徴点の信頼度に基づいて、信頼度が大きいほど特徴点の重み係数ｗを大きく設定して、行列Ｆを計算する際に用いられた、対応する特徴点の複数の組の画像座標、及び設定された各特徴点の重み係数に基づいて、以下の（１２）式で表される重み係数の総和Ｚが最大となるような行列Ｆを特定する。 The motion estimation unit 34 calculates the matrix F based on an arbitrary combination of corresponding feature points. The motion estimation unit 34 is used when calculating the matrix F by setting the feature point weighting coefficient w to be larger as the reliability is higher, based on the reliability of each feature point determined by the determination unit 32. Based on the plurality of sets of image coordinates of the corresponding feature points and the set weighting factors of the respective feature points, the total sum Z of the weighting factors represented by the following expression (12) is maximized. The matrix F is specified.
ただし、ｎは特徴点の数、ｗｉはｉ番目の特徴点の重み係数、δ（ｘ）はｘが真なら１、そうでないなら０をとる関数である。 Here, n is the number of feature points, w i is a weighting coefficient of the i-th feature point, and δ (x) is a function that takes 1 if x is true and 0 otherwise.
そして、上述したように特定された行列Ｆに基づいて、上記の（１０）式、（１１）式に従って、回転行列Ｒと並進ベクトルｔとを計算し、第１の画像及び第２の画像が撮像されたときの撮像装置１２の運動（位置及び姿勢の変化）として出力する。 Then, based on the matrix F specified as described above, the rotation matrix R and the translation vector t are calculated according to the above equations (10) and (11), and the first image and the second image are calculated. The image is output as a motion (change in position and orientation) of the imaging device 12 when the image is taken.
なお、第２の実施の形態に係る運動推定装置の他の構成及び処理については、第１の実施の形態と同様であるため、説明を省略する。 In addition, about the other structure and process of the motion estimation apparatus which concern on 2nd Embodiment, since it is the same as that of 1st Embodiment, description is abbreviate | omitted.
このように、第２の実施の形態に係る運動推定装置によれば、抽出された特徴点の各々について信頼度を判定し、判定された信頼度に応じた重み係数を用いて、自車両の運動を推定することにより、周囲に移動物体が存在する場合や背景が複雑な場合においても、安定して自車両の運動を精度よく推定することができる。 Thus, according to the motion estimation device according to the second embodiment, the reliability of each of the extracted feature points is determined, and the weighting coefficient according to the determined reliability is used. By estimating the motion, it is possible to accurately estimate the motion of the host vehicle stably even when a moving object is present in the surroundings or when the background is complicated.
次に、第３の実施の形態について説明する。なお、第１の実施の形態と同様の構成となっている部分については、同一符号を付して説明を省略する。 Next, a third embodiment will be described. In addition, about the part which becomes the structure similar to 1st Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.
第３の実施の形態では、運動推定候補を複数算出し、各運動推定候補の各々について信頼度を判定している点が、主に第１の実施の形態と異なっている。 The third embodiment is mainly different from the first embodiment in that a plurality of motion estimation candidates are calculated and the reliability is determined for each motion estimation candidate.
図９に示すように、第３の実施の形態に係る運動推定装置３１０のコンピュータ３１４は、画像取得部２０と、特徴点抽出部２２と、特徴点特徴量算出部２４と、対応点検索部２６と、検索された対応する特徴点の複数種類の組み合わせに基づいて、自車両の運動の推定候補を複数算出する運動推定候補算出部３２７と、算出された運動推定候補の各々について、対応関係が当該運動推定候補に従う対応する特徴点の特徴量、及び対応関係が当該運動推定候補に従わない対応する特徴点の特徴量を用いて、当該運動推定候補の特徴ベクトルを生成する特徴ベクトル生成部３２８と、後述する学習処理によって予め得られた、特徴ベクトルと信頼度との関係である学習結果を記憶した学習結果記憶部３３０と、生成された各運動推定候補の特徴ベクトル、及び記憶した特徴ベクトルと信頼度との関係の学習結果に基づいて、各運動推定候補の正しさの信頼度を判定する判定部３３２と、判定された各運動推定候補の信頼度に基づいて、自車両の運動を推定する運動推定部３３４とを備えている。 As shown in FIG. 9, the computer 314 of the motion estimation apparatus 310 according to the third embodiment includes an image acquisition unit 20, a feature point extraction unit 22, a feature point feature amount calculation unit 24, and a corresponding point search unit. 26, a motion estimation candidate calculation unit 327 that calculates a plurality of motion estimation candidates of the host vehicle based on a plurality of types of combinations of corresponding feature points that have been searched, and each of the calculated motion estimation candidates A feature vector generation unit that generates a feature vector of the motion estimation candidate using the feature amount of the corresponding feature point that follows the motion estimation candidate and the feature amount of the corresponding feature point whose correspondence does not follow the motion estimation candidate 328, a learning result storage unit 330 that stores a learning result that is a relationship between a feature vector and a reliability obtained in advance by a learning process that will be described later, and features of each generated motion estimation candidate Based on the learning result of the relationship between the vector and the stored feature vector and the reliability, the determination unit 332 that determines the reliability of the correctness of each motion estimation candidate, and the reliability of each determined motion estimation candidate And a motion estimation unit 334 that estimates the motion of the host vehicle.
運動推定候補算出部３２７は、対応点検索部２６で検索された対応する特徴点から、対応する特徴点をランダムに８組選択し、選択された対応する特徴点の複数種類の組み合わせから、行列Ｆを繰り返し計算して、複数の運動推定候補（位置・姿勢パラメータ）を算出する。なお、画像間で発生する可能性のある運動推定候補（位置・姿勢パラメータ）を複数算出するようにしてもよい。 The motion estimation candidate calculation unit 327 randomly selects eight sets of corresponding feature points from the corresponding feature points searched by the corresponding point search unit 26, and selects a matrix from a plurality of combinations of the selected corresponding feature points. F is repeatedly calculated to calculate a plurality of motion estimation candidates (position / posture parameters). A plurality of motion estimation candidates (position / posture parameters) that may occur between images may be calculated.
特徴ベクトル生成部３２８は、各運動推定候補に対して、以下のようにして特徴ベクトルを生成する。 The feature vector generation unit 328 generates a feature vector for each motion estimation candidate as follows.
まず、画像間で対応する特徴点の対応関係の各々について、対象となる運動推定候補に対応関係が従っているか否かを判定する。特徴点の対応関係が運動推定候補に従うか否かは、運動推定候補から計算される行列Ｆが、上記（９）式を満たすか否かにより判断する。 First, it is determined whether or not the correspondence between the feature points corresponding to the images follows the target motion estimation candidate. Whether or not the correspondence between the feature points follows the motion estimation candidate is determined by whether or not the matrix F calculated from the motion estimation candidate satisfies the above equation (9).
次に、図１０（Ｂ）に示すように、対象の運動推定候補に対応関係が従う特徴点の特徴量のヒストグラム、および対応関係が従わない特徴点の特徴量のヒストグラムを生成し、この２つのヒストグラムの要素の値を並べたベクトルを、対象の運動推定候補の特徴ベクトルとして生成する。 Next, as shown in FIG. 10B, a histogram of feature amounts of feature points that follow the correspondence relationship with the target motion estimation candidate and a feature amount histogram of feature points that do not follow the correspondence relationship are generated. A vector in which the values of two histogram elements are arranged is generated as a feature vector of a target motion estimation candidate.
学習結果記憶部３３０は、以下に説明する学習処理により得られた特徴ベクトルと信頼度との関係を記憶する。 The learning result storage unit 330 stores the relationship between the feature vector and the reliability obtained by the learning process described below.
学習処理では、まず、予め用意された図１０（Ａ）に示すような複数の学習用画像に対して、上述した方法と同様に、特徴点の抽出、特徴点の特徴量の算出、対応する特徴点の検索、及び運動推定候補の算出を行い、特徴点、特徴量、画像間で対応する特徴点の対応関係、及び複数の運動推定候補を求める。また、各運動推定候補に対して、特徴ベクトル生成部２８と同様に特徴ベクトルを生成する。 In the learning process, first, feature points are extracted and feature points are calculated for a plurality of learning images as shown in FIG. 10A in the same manner as described above. A feature point search and a motion estimation candidate are calculated to obtain a feature point, a feature amount, a correspondence relationship of corresponding feature points between images, and a plurality of motion estimation candidates. Further, a feature vector is generated for each motion estimation candidate in the same manner as the feature vector generation unit 28.
そして、オペレータの操作によって、学習用画像から算出された複数の運動推定候補に対して、正しい運動であることを示すラベル、又は誤った運動であることを示すラベルを付す。次に、ラベル付けされた運動推定候補、運動推定候補の特徴ベクトル、および運動推定候補のラベルを入力として、特徴ベクトルと、運動推定候補の正しさを表す信頼度との関係を学習する。 Then, a label indicating that the motion is correct or a label indicating that the motion is incorrect is attached to the plurality of motion estimation candidates calculated from the learning image by the operation of the operator. Next, using the labeled motion estimation candidate, the motion estimation candidate feature vector, and the motion estimation candidate label as inputs, the relationship between the feature vector and the reliability indicating the correctness of the motion estimation candidate is learned.
判定部３３２は、特徴ベクトル生成部３２８によって生成された各運動推定候補の特徴ベクトル、及び学習結果記憶部３３０に記憶された学習結果に基づいて、各運動推定候補に対して信頼度の判定を行う。 The determination unit 332 determines the reliability of each motion estimation candidate based on the feature vector of each motion estimation candidate generated by the feature vector generation unit 328 and the learning result stored in the learning result storage unit 330. Do.
運動推定部３３４は、判定部３３２によって判定された各運動推定候補の信頼度に基づいて、最も信頼度の高い運動推定候補を、自車両の運動の推定値として求め、外部装置に出力する。 Based on the reliability of each motion estimation candidate determined by the determination unit 332, the motion estimation unit 334 obtains the motion estimation candidate having the highest reliability as an estimated value of the motion of the host vehicle, and outputs the motion estimation candidate to the external device.
次に、第３の実施の形態に係る運動推定装置３１０の作用について説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。 Next, the operation of the motion estimation device 310 according to the third embodiment will be described. In addition, about the process similar to 1st Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.
まず、運動推定装置３１０のコンピュータ３１４において、図１１に示す学習処理ルーチンが実行される。 First, a learning process routine shown in FIG. 11 is executed in the computer 314 of the motion estimation apparatus 310.
ステップ１００において、撮像装置１２によって予め撮像した第１の学習用画像及び第２の学習用画像を取得し、ステップ１０２において、第１の学習用画像及び第２の学習用画像から特徴点を複数抽出する。そして、ステップ１０４において、第１の学習用画像及び第２の学習用画像から抽出された複数の特徴点の各々について、特徴量を算出する。 In step 100, the first learning image and the second learning image captured in advance by the imaging device 12 are acquired. In step 102, a plurality of feature points are obtained from the first learning image and the second learning image. Extract. In step 104, a feature amount is calculated for each of a plurality of feature points extracted from the first learning image and the second learning image.
次のステップ１０６では、抽出された第１の学習用画像上の複数の特徴点の各々に対応する特徴点を、第２の学習用画像上で検索して追跡する。 In the next step 106, feature points corresponding to each of the plurality of feature points on the extracted first learning image are searched and tracked on the second learning image.
そして、ステップ２５０において、上記ステップ１０６で検索された、対応する特徴点の複数種類の組み合わせの各々に基づいて、自車両の複数の運動推定候補を算出する。次のステップ２５２では、上記ステップ２５０で算出された複数の運動推定候補の各々について、特徴ベクトルを生成する。 In step 250, a plurality of motion estimation candidates for the host vehicle are calculated based on each of a plurality of combinations of corresponding feature points searched in step 106. In the next step 252, a feature vector is generated for each of the plurality of motion estimation candidates calculated in step 250.
そして、ステップ２５４において、算出された複数の運動推定候補の各々に対してラベル付けするためのラベル入力用画面をディスプレイ（図示省略）に表示する。これによって、オペレータは、運動推定候補のパラメータを参照しながら、キーボードやマウスなどを操作して、複数の運動推定候補の各々に対して、運動推定候補が正しいか否かのラベル付けを行う。 In step 254, a label input screen for labeling each of the calculated plurality of motion estimation candidates is displayed on a display (not shown). Thus, the operator operates the keyboard and mouse while referring to the parameters of the motion estimation candidate to label each of the plurality of motion estimation candidates as to whether or not the motion estimation candidate is correct.
次のステップ２５６において、オペレータによるラベル入力が終了したか否かを判定し、オペレータの操作により、ラベル入力の終了が入力されると、ステップ２５８へ進む。 In the next step 256, it is determined whether or not the label input by the operator is finished. When the end of the label input is inputted by the operator's operation, the process proceeds to step 258.
ステップ２５８では、上記ステップ２５２で生成された各運動推定候補の特徴ベクトルと、各運動推定候補にラベル付けされたラベルとに基づいて、特徴ベクトルと信頼度との関係を学習し、学習結果として得られた特徴ベクトルと信頼度との関係をメモリ（図示省略）に記憶して、学習処理ルーチンを終了する。 In step 258, the relationship between the feature vector and the reliability is learned based on the feature vector of each motion estimation candidate generated in step 252 and the label labeled on each motion estimation candidate. The relationship between the obtained feature vector and reliability is stored in a memory (not shown), and the learning processing routine is terminated.
また、運動推定装置３１０を搭載した自車両が走行しているときに、撮像装置１２によって連続して自車両前方の画像が複数撮像されると共に、運動推定装置３１０のコンピュータ３１４において、図１２に示す運動推定処理ルーチンが繰り返し実行される。 In addition, when the host vehicle on which the motion estimation device 310 is mounted is traveling, a plurality of images ahead of the host vehicle are continuously captured by the imaging device 12, and the computer 314 of the motion estimation device 310 uses FIG. The motion estimation processing routine shown is repeatedly executed.
まず、ステップ１２０において、撮像装置１２によって撮像した第１の画像及び第２の画像を取得し、ステップ１２２において、第１の画像及び第２の画像から特徴点を複数抽出する。そして、ステップ１２４において、第１の画像及び第２の画像から抽出された複数の特徴点の各々について、特徴量を算出し、次のステップ１２６で、算出された特徴量に基づいて、抽出された第１の画像上の複数の特徴点の各々に対応する特徴点を、第２の画像上で検索して追跡する。 First, in step 120, a first image and a second image captured by the imaging device 12 are acquired, and in step 122, a plurality of feature points are extracted from the first image and the second image. Then, in step 124, a feature amount is calculated for each of the plurality of feature points extracted from the first image and the second image, and in the next step 126, the feature amount is extracted based on the calculated feature amount. A feature point corresponding to each of the plurality of feature points on the first image is searched and tracked on the second image.
そして、ステップ２７０において、上記ステップ１２６で検索された、対応する特徴点の複数種類の組み合わせの各々に基づいて、自車両の複数の運動推定候補を算出する。次のステップ２７２では、上記ステップ２７０で算出された複数の運動推定候補の各々について、特徴ベクトルを生成する。 In step 270, a plurality of motion estimation candidates for the host vehicle are calculated based on each of a plurality of combinations of corresponding feature points searched in step 126. In the next step 272, a feature vector is generated for each of the plurality of motion estimation candidates calculated in step 270.
そして、ステップ２７４において、学習された特徴ベクトルと信頼度との関係、及び上記ステップ２７２で生成された各運動推定候補の特徴ベクトルに基づいて、複数の運動推定候補の各々について、正しさの信頼度を判定する。 In step 274, the reliability of the correctness of each of the plurality of motion estimation candidates is determined based on the relationship between the learned feature vector and the reliability and the feature vector of each motion estimation candidate generated in step 272. Determine the degree.
次のステップ２７６では、上記ステップ２７４で判定された信頼度が最も高い運動推定候補を、撮像装置１２を搭載した自車両の第１の画像及び第２画像の撮像時の２時刻間における運動の推定結果として求め、外部装置に出力して、運動推定処理ルーチンを終了する。 In the next step 276, the motion estimation candidate having the highest reliability determined in step 274 is selected as the motion estimation between the two times at the time of capturing the first image and the second image of the host vehicle on which the imaging device 12 is mounted. Obtained as an estimation result and output to an external device, and the motion estimation processing routine is terminated.
以上説明したように、第３の実施の形態に係る運動推定装置によれば、複数の運動推定候補の各々に対して信頼度を判定し、判定された信頼度に基づいて、自車両の運動を推定することにより、周囲に移動物体が存在する場合や背景が複雑な場合においても、安定して自車両の運動を精度よく推定することができる。 As described above, according to the motion estimation device according to the third embodiment, the reliability of each of the plurality of motion estimation candidates is determined, and the motion of the host vehicle is determined based on the determined reliability. Thus, even when there is a moving object around or when the background is complicated, it is possible to stably estimate the motion of the host vehicle stably.
次に、第４の実施の形態について説明する。なお、第４の実施の形態に係る運動推定装置は、第３の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。 Next, a fourth embodiment will be described. In addition, since the motion estimation apparatus according to the fourth embodiment has the same configuration as that of the third embodiment, the same reference numerals are given and description thereof is omitted.
第４の実施の形態では、画像を分割した分割領域毎に、運動推定候補に従う特徴点の特徴量のヒストグラム及び従わない特徴点の特徴量のヒストグラムを計算して、特徴ベクトルを生成している点が、第３の実施の形態と主に異なっている。 In the fourth embodiment, a feature vector is generated by calculating a feature quantity histogram of feature points according to motion estimation candidates and a feature quantity histogram of non-compliant feature points for each divided region obtained by dividing the image. The point is mainly different from the third embodiment.
第４の実施の形態に係る運動推定装置では、特徴ベクトル生成部３２８によって、各運動推定候補に対して、以下のようにして特徴ベクトルを生成する。 In the motion estimation apparatus according to the fourth embodiment, the feature vector generation unit 328 generates a feature vector for each motion estimation candidate as follows.
まず、図１３に示すように、画像を複数の領域に分割する。また、画像間で対応する特徴点の各々について、対象となる運動推定候補に対応関係が従うか否かを判定する。次に、分割領域毎に、当該分割領域内の特徴点を参照して、対象の運動推定候補に対応関係が従う特徴点の特徴量のヒストグラム、および対応関係が従わない特徴点の特徴量のヒストグラムを生成する。そして、全ての分割領域について２つのヒストグラムの要素の値を並べたベクトルを、対象の運動推定候補の特徴ベクトルとして生成する。 First, as shown in FIG. 13, the image is divided into a plurality of regions. Also, for each feature point corresponding between images, it is determined whether or not the correspondence relationship follows the target motion estimation candidate. Next, for each divided region, referring to the feature points in the divided region, the feature amount histogram of the feature points that follow the correspondence relationship with the target motion estimation candidate, and the feature point feature amounts that do not follow the correspondence relationship Generate a histogram. And the vector which arranged the value of the element of two histograms about all the division areas is produced | generated as a feature vector of the motion estimation candidate of object.
また、運動推定候補の特徴ベクトルと信頼度との関係を学習するための学習処理においても、上記と同様の特徴ベクトルを生成する。 In the learning process for learning the relationship between the feature vector of the motion estimation candidate and the reliability, a feature vector similar to the above is generated.
なお、第４の実施の形態に係る運動推定装置の他の構成及び処理については、第３の実施の形態と同様であるため、説明を省略する。 In addition, about the other structure and process of the motion estimation apparatus which concerns on 4th Embodiment, since it is the same as that of 3rd Embodiment, description is abbreviate | omitted.
このように、分割領域毎に求めた特徴量のヒストグラムに基づいて生成した特徴ベクトルを用いて、複数の運動推定候補の各々に対して信頼度を判定し、判定された信頼度に基づいて、自車両の運動を推定することにより、周囲に移動物体が存在する場合や背景が複雑な場合においても、安定して自車両の運動を精度よく推定することができる。 In this manner, using the feature vector generated based on the histogram of the feature amount obtained for each divided region, the reliability is determined for each of the plurality of motion estimation candidates, and based on the determined reliability, By estimating the motion of the host vehicle, the motion of the host vehicle can be stably and accurately estimated even when there are moving objects in the surroundings or when the background is complicated.
なお、上記の第３の実施の形態及び第４の実施の形態では、学習処理において、オペレータの操作によって、運動推定候補の各々に対してラベル付けを行う場合を例に説明したが、これに限定されるものではなく、自動的に運動推定候補に対してラベル付けを行うようにしてもよい。例えば、学習用画像間の運動を予め求めておき、予め求められた運動と、各運動推定候補との差分に基づいて、各運動推定候補に対して正しいか否かのラベル付けを自動的に行うようにしてもよい。 In the third embodiment and the fourth embodiment described above, in the learning process, the case where each of the motion estimation candidates is labeled by an operator's operation has been described as an example. However, the present invention is not limited, and labeling may be automatically performed on the motion estimation candidates. For example, the motion between the images for learning is obtained in advance, and based on the difference between the motion obtained in advance and each motion estimation candidate, automatically labeling whether or not each motion estimation candidate is correct You may make it perform.
また、最も信頼度が高い運動推定候補を、運動の推定結果とする場合を例に説明したが、これに限定されるものではなく、信頼度に応じた重み係数を用いて運動推定候補を重み付き平均した運動を、推定結果としてもよい。この場合には、信頼度が閾値以上の運動推定候補のみを用いて、重み付き平均するようにすることが好ましい。 Moreover, although the case where the motion estimation candidate with the highest reliability is used as the motion estimation result has been described as an example, the present invention is not limited to this, and the motion estimation candidate is weighted using a weighting factor according to the reliability. The averaged motion may be used as the estimation result. In this case, it is preferable to perform weighted averaging using only motion estimation candidates whose reliability is equal to or greater than a threshold value.
また、上記の第１の実施の形態〜第４の実施の形態では、特徴点の特徴量として、特徴点の周辺画素の輝度情報から得られるエッジ方向ヒストグラムを量子化した値を算出する場合を例に説明したが、これに限定されるものではなく、特徴点の周辺画素の輝度情報を用いて算出される特徴量であれば、他の特徴量であってもよい。 In the first to fourth embodiments described above, a case where the value obtained by quantizing the edge direction histogram obtained from the luminance information of the surrounding pixels of the feature point is calculated as the feature amount of the feature point. Although described as an example, the present invention is not limited to this, and any other feature amount may be used as long as it is a feature amount calculated using luminance information of pixels around the feature point.
本発明のプログラムは、記憶媒体に格納して提供するようにしてもよい。 The program of the present invention may be provided by being stored in a storage medium.
１０、３１０ 運動推定装置
１２ 撮像装置
１４、３１４ コンピュータ
２２ 特徴点抽出部
２４ 特徴点特徴量算出部
２６ 対応点検索部
２８、３２８ 特徴ベクトル生成部
３０、３３０ 学習結果記憶部
３２、３３２ 判定部
３４、３３４ 運動推定部
３２７ 運動推定候補算出部
DESCRIPTION OF SYMBOLS 10,310 Motion estimation device 12 Imaging device 14, 314 Computer 22 Feature point extraction unit 24 Feature point feature amount calculation unit 26 Corresponding point search unit 28, 328 Feature vector generation unit 30, 330 Learning result storage unit 32, 332 Determination unit 34 334 Motion estimation unit 327 Motion estimation candidate calculation unit
Claims (10)
前記特徴点抽出手段によって抽出された前記特徴点の各々について、該特徴点の周辺画素に基づく特徴量を算出する特徴量算出手段と、
前記特徴量算出手段によって算出された前記特徴点の各々の特徴量に基づいて、前記複数の画像間で対応した特徴点を検索する検索手段と、
前記特徴点の各々について、該特徴点の周辺に存在する特徴点の特徴量の分布に基づいて、該特徴点が信頼できるか否か、又は該特徴点がどれだけ信頼できるかを示す信頼度を判定する判定手段と、
前記検索手段によって検索された前記対応した特徴点のうち、前記判定手段による判定結果に基づいて信頼できる前記対応した特徴点に基づいて、前記複数の画像を撮像したときの前記移動体の運動を推定する運動推定手段と、
を含む運動推定装置。 Feature point extraction means for extracting a plurality of feature points from each of a plurality of images obtained by imaging the outside of the moving body;
For each of the feature points extracted by the feature point extraction unit, a feature amount calculation unit that calculates a feature amount based on surrounding pixels of the feature point;
Search means for searching for corresponding feature points between the plurality of images based on the feature quantities of the feature points calculated by the feature quantity calculation means;
For each of the feature points, the reliability indicating whether or not the feature point is reliable or how reliable the feature point is based on the distribution of the feature quantity of the feature point existing around the feature point Determining means for determining
Among pre-Symbol search unit said corresponding feature points that have been retrieved by, on the basis of the said corresponding feature points reliable based on the determination result by the determination means, movement of the movable body when capturing a plurality of images Motion estimation means for estimating
A motion estimation device including:
前記特徴点抽出手段によって抽出された前記特徴点の各々について、該特徴点の周辺画素に基づく特徴量を算出する特徴量算出手段と、
前記特徴量算出手段によって算出された前記特徴点の各々の特徴量に基づいて、前記複数の画像間で対応した特徴点を検索する検索手段と、
前記検索手段によって検索された対応した特徴点に基づいて、前記移動体の運動の推定候補を複数算出する候補算出手段と、
前記運動の推定候補の各々について、該運動の推定候補に従う前記対応した特徴点の特徴量の分布、及び該運動の推定候補に従わない前記対応した特徴点の特徴量の分布に基づいて、該運動の推定候補がどれだけ信頼できるかを示す信頼度を判定する判定手段と、
前記判定手段によって判定された前記運動の推定候補の各々の信頼度に基づいて、前記複数の画像を撮像したときの前記移動体の運動を推定する運動推定手段と、
を含む運動推定装置。 Feature point extraction means for extracting a plurality of feature points from each of a plurality of images obtained by imaging the outside of the moving body;
For each of the feature points extracted by the feature point extraction unit, a feature amount calculation unit that calculates a feature amount based on surrounding pixels of the feature point;
Search means for searching for corresponding feature points between the plurality of images based on the feature quantities of the feature points calculated by the feature quantity calculation means;
Candidate calculation means for calculating a plurality of motion estimation candidates for the moving body based on the corresponding feature points searched by the search means;
Wherein for each of the estimated candidates of motion, based on the estimated characteristic quantity of the distribution of the corresponding feature points in accordance with the candidate, and the feature distribution of said corresponding feature points of not according to the estimated candidates said movement of said movement, said A determination means for determining a degree of reliability indicating how reliable the motion estimation candidate is;
Based on the reliability of each of the motion estimation candidates determined by the determination means, motion estimation means for estimating motion of the moving body when the plurality of images are captured;
A motion estimation device including:
移動体の外部を撮像した複数の画像の各々から、複数の特徴点を抽出する特徴点抽出手段、
前記特徴点抽出手段によって抽出された前記特徴点の各々について、該特徴点の周辺画素に基づく特徴量を算出する特徴量算出手段、
前記特徴量算出手段によって算出された前記特徴点の各々の特徴量に基づいて、前記複数の画像間で対応した特徴点を検索する検索手段、
前記特徴点の各々について、該特徴点の周辺に存在する特徴点の特徴量の分布に基づいて、該特徴点が信頼できるか否か、又は該特徴点がどれだけ信頼できるかを示す信頼度を判定する判定手段、及び
前記検索手段によって検索された前記対応した特徴点のうち、前記判定手段による判定結果に基づいて信頼できる前記対応した特徴点に基づいて、前記複数の画像を撮像したときの前記移動体の運動を推定する運動推定手段
として機能させるためのプログラム。 Computer
Feature point extracting means for extracting a plurality of feature points from each of a plurality of images obtained by imaging the outside of the moving body;
For each of the feature points extracted by the feature point extraction unit, a feature amount calculation unit that calculates a feature amount based on surrounding pixels of the feature point;
Search means for searching for corresponding feature points between the plurality of images based on the feature quantities of the feature points calculated by the feature quantity calculation means;
For each of the feature points, the reliability indicating whether or not the feature point is reliable or how reliable the feature point is based on the distribution of the feature quantity of the feature point existing around the feature point Determining means for determining
Among pre-Symbol search unit said corresponding feature points that have been retrieved by, on the basis of the said corresponding feature points reliable based on the determination result by the determination means, movement of the movable body when capturing a plurality of images A program for functioning as a motion estimation means for estimating the motion.
移動体の外部を撮像した複数の画像の各々から、複数の特徴点を抽出する特徴点抽出手段、
前記特徴点抽出手段によって抽出された前記特徴点の各々について、該特徴点の周辺画素に基づく特徴量を算出する特徴量算出手段、
前記特徴量算出手段によって算出された前記特徴点の各々の特徴量に基づいて、前記複数の画像間で対応した特徴点を検索する検索手段、
前記検索手段によって検索された対応した特徴点に基づいて、前記移動体の運動の推定候補を複数算出する候補算出手段、
前記運動の推定候補の各々について、該運動の推定候補に従う前記対応した特徴点の特徴量の分布、及び該運動の推定候補に従わない前記対応した特徴点の特徴量の分布に基づいて、該運動の推定候補がどれだけ信頼できるかを示す信頼度を判定する判定手段、及び
前記判定手段によって判定された前記運動の推定候補の各々の信頼度に基づいて、前記複数の画像を撮像したときの前記移動体の運動を推定する運動推定手段
として機能させるためのプログラム。 Computer
Feature point extracting means for extracting a plurality of feature points from each of a plurality of images obtained by imaging the outside of the moving body;
For each of the feature points extracted by the feature point extraction unit, a feature amount calculation unit that calculates a feature amount based on surrounding pixels of the feature point;
Search means for searching for corresponding feature points between the plurality of images based on the feature quantities of the feature points calculated by the feature quantity calculation means;
Candidate calculation means for calculating a plurality of motion estimation candidates for the moving body based on the corresponding feature points searched by the search means;
Wherein for each of the estimated candidates of motion, based on the estimated characteristic quantity of the distribution of the corresponding feature points in accordance with the candidate, and the feature distribution of said corresponding feature points of not according to the estimated candidates said movement of said movement, said A determination unit that determines how reliable the motion estimation candidate is, and when the plurality of images are captured based on the reliability of each of the motion estimation candidates determined by the determination unit A program for functioning as motion estimation means for estimating the motion of the mobile body.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008334950A JP5262705B2 (en) | 2008-12-26 | 2008-12-26 | Motion estimation apparatus and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008334950A JP5262705B2 (en) | 2008-12-26 | 2008-12-26 | Motion estimation apparatus and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010157093A JP2010157093A (en) | 2010-07-15 |
| JP5262705B2 true JP5262705B2 (en) | 2013-08-14 |
Family
ID=42574988
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008334950A Expired - Fee Related JP5262705B2 (en) | 2008-12-26 | 2008-12-26 | Motion estimation apparatus and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5262705B2 (en) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5652239B2 (en) * | 2011-02-15 | 2015-01-14 | 株式会社豊田中央研究所 | Motion estimation apparatus and program |
| JP5457606B2 (en) * | 2011-04-07 | 2014-04-02 | 富士フイルム株式会社 | Image processing method and apparatus |
| JP5914046B2 (en) * | 2012-02-29 | 2016-05-11 | キヤノン株式会社 | Image processing apparatus and image processing method |
| CN103903434B (en) * | 2012-12-28 | 2015-11-04 | 重庆凯泽科技有限公司 | Based on the intelligent transportation system of image procossing |
| WO2016103651A1 (en) * | 2014-12-22 | 2016-06-30 | 日本電気株式会社 | Information processing system, information processing method and recording medium |
| JPWO2018235219A1 (en) * | 2017-06-22 | 2020-03-19 | 日本電気株式会社 | Self-location estimation method, self-location estimation device, and self-location estimation program |
| JP6826010B2 (en) | 2017-08-09 | 2021-02-03 | 株式会社東芝 | Camera motion estimation device, camera motion estimation method and program |
| JP2020085850A (en) * | 2018-11-30 | 2020-06-04 | 株式会社ゼンリンデータコム | Information providing apparatus, information providing method and program |
| WO2022064641A1 (en) * | 2020-09-25 | 2022-03-31 | 日本電気株式会社 | Vehicle behavior estimation device, unsafe driving detection device, method, and computer-readable medium |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006350897A (en) * | 2005-06-20 | 2006-12-28 | Toyota Central Res & Dev Lab Inc | Motion measurement device |
| JP4793120B2 (en) * | 2006-06-21 | 2011-10-12 | ソニー株式会社 | Camera shake correction method, camera shake correction method program, recording medium storing camera shake correction method program, and camera shake correction apparatus |
-
2008
- 2008-12-26 JP JP2008334950A patent/JP5262705B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010157093A (en) | 2010-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5262705B2 (en) | Motion estimation apparatus and program | |
| WO2021000664A1 (en) | Method, system, and device for automatic calibration of differences in cross-modal target detection | |
| JP6305171B2 (en) | How to detect objects in a scene | |
| US10216979B2 (en) | Image processing apparatus, image processing method, and storage medium to detect parts of an object | |
| US9208395B2 (en) | Position and orientation measurement apparatus, position and orientation measurement method, and storage medium | |
| JP2010176380A (en) | Information processing device and method, program, and recording medium | |
| EP3376433B1 (en) | Image processing apparatus, image processing method, and image processing program | |
| CN110084830B (en) | Video moving object detection and tracking method | |
| CN104574401A (en) | Image registration method based on parallel line matching | |
| JP2009163682A (en) | Image discrimination device and program | |
| JP5976089B2 (en) | Position / orientation measuring apparatus, position / orientation measuring method, and program | |
| JP2006090957A (en) | Surrounding object detecting device for moving body, and surrounding object detection method for moving body | |
| JP4935769B2 (en) | Plane region estimation apparatus and program | |
| US20230326251A1 (en) | Work estimation device, work estimation method, and non-transitory computer readable medium | |
| KR101528757B1 (en) | Texture-less object recognition using contour fragment-based features with bisected local regions | |
| JP4918615B2 (en) | Object number detection device and object number detection method | |
| CN109685002B (en) | Data set acquisition method and system and electronic device | |
| CN114846513A (en) | Motion analysis system and motion analysis program | |
| KR100996209B1 (en) | Object Modeling Method using Gradient Template, and The System thereof | |
| JP5032415B2 (en) | Motion estimation apparatus and program | |
| CN108985216A (en) | A kind of pedestrian head detection method based on multiple logistic regression Fusion Features | |
| JP4894747B2 (en) | Partial region detection device, object identification device, and program | |
| KR101175751B1 (en) | Bayesian rule-based target decision method of strapdown dual mode imaging seeker | |
| JP2007257489A (en) | Image processor and image processing method | |
| JP2009205695A (en) | Apparatus and method for detecting the number of objects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111104 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120822 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120904 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121009 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130402 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130415 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5262705 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |