JP5267100B2 - Motion estimation apparatus and program - Google Patents

Motion estimation apparatus and program Download PDF

Info

Publication number
JP5267100B2
JP5267100B2 JP2008322283A JP2008322283A JP5267100B2 JP 5267100 B2 JP5267100 B2 JP 5267100B2 JP 2008322283 A JP2008322283 A JP 2008322283A JP 2008322283 A JP2008322283 A JP 2008322283A JP 5267100 B2 JP5267100 B2 JP 5267100B2
Authority
JP
Japan
Prior art keywords
motion
motion estimation
moving body
reliability
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008322283A
Other languages
Japanese (ja)
Other versions
JP2010145219A (en
Inventor
洪二郎 武山
祥子 小島
芳樹 二宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Original Assignee
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Central R&D Labs Inc filed Critical Toyota Central R&D Labs Inc
Priority to JP2008322283A priority Critical patent/JP5267100B2/en
Publication of JP2010145219A publication Critical patent/JP2010145219A/en
Application granted granted Critical
Publication of JP5267100B2 publication Critical patent/JP5267100B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、運動推定装置及びプログラムに係り、特に、移動体の運動を推定する運動推定装置及びプログラムに関する。   The present invention relates to a motion estimation device and program, and more particularly, to a motion estimation device and program for estimating motion of a moving object.

従来より、画像のオプティカルフローを検出して、移動体の運動及び移動量を推定する自己位置認識システムが知られている（例えば、特許文献１）。このシステムでは、ステレオカメラを用いて、移動体の運動と移動量とを推定する。また、遠方用のステレオカメラと近傍用のステレオカメラとを用意し、遠方用のステレオカメラを用いて回転を求め、近傍用のステレオカメラを用いて並進を求める。また、２枚の画像間のオプティカルフローに基づいて、移動体の運動を検出する。
特開２００３−２４７８２４号公報 2. Description of the Related Art Conventionally, a self-position recognition system that detects an optical flow of an image and estimates movement and movement amount of a moving body is known (for example, Patent Document 1). In this system, the motion and amount of movement of a moving object are estimated using a stereo camera. In addition, a remote stereo camera and a near stereo camera are prepared, rotation is obtained using the far stereo camera, and translation is obtained using the near stereo camera. Further, the movement of the moving body is detected based on the optical flow between the two images.
JP 2003-247824 A

しかしながら、上記の特許文献１に記載の技術では、４台のカメラが必要になるため、装置にコストがかかると共に、画像処理に時間がかかる、という問題がある。また、通常のカメラを用いている限りは、周辺の照明環境の影響を受けやすいため、安定して運動を推定することができない、という問題がある。   However, since the technique described in Patent Document 1 requires four cameras, there is a problem that the apparatus is expensive and the image processing takes time. In addition, as long as a normal camera is used, there is a problem that the movement cannot be stably estimated because it is easily affected by the surrounding lighting environment.

本発明は、上記の問題点を解決するためになされたもので、簡易な構成で、安定して移動体の運動を精度よく推定することができる運動推定装置及びプログラムを提供することを目的とする。   The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a motion estimation device and a program capable of accurately estimating the motion of a moving object with a simple configuration and stably. To do.

上記の目的を達成するために本発明に係る運動推定装置は、移動体の外部を撮像した複数の画像に基づいて、前記移動体の運動の推定候補を複数算出する候補算出手段と、前記移動体の運動を計測する運動計測手段と、前記候補算出手段によって算出された複数の運動の推定候補の各々について、該運動の推定候補がどれだけ信頼できるかを示す信頼度を算出する信頼度算出手段と、前記運動計測手段によって計測された前記移動体の運動、及び前記信頼度算出手段によって算出された前記複数の運動の推定候補の各々の信頼度に基づいて、前記複数の運動の推定候補のうちの何れか１つを、前記移動体の運動の推定結果として選択する運動推定手段とを含んで構成されている。   In order to achieve the above object, a motion estimation apparatus according to the present invention includes a candidate calculation unit that calculates a plurality of motion estimation candidates of the moving body based on a plurality of images obtained by imaging the outside of the moving body, and the movement A motion measurement unit that measures body motion, and a reliability calculation that calculates a reliability indicating how reliable the motion estimation candidate is for each of a plurality of motion estimation candidates calculated by the candidate calculation unit And a plurality of motion estimation candidates based on the reliability of each of the plurality of motion estimation candidates calculated by the motion of the moving object measured by the motion measurement means and the reliability calculation means Motion estimation means for selecting any one of them as a motion estimation result of the moving body.

本発明に係るプログラムは、コンピュータを、移動体の外部を撮像した複数の画像に基づいて、前記移動体の運動の推定候補を複数算出する候補算出手段、前記候補算出手段によって算出された複数の運動の推定候補の各々について、該運動の推定候補がどれだけ信頼できるかを示す信頼度を算出する信頼度算出手段、及び前記移動体の運動を計測する運動計測手段によって計測された前記移動体の運動、及び前記信頼度算出手段によって算出された前記複数の運動の推定候補の各々の信頼度に基づいて、前記複数の運動の推定候補のうちの何れか１つを、前記移動体の運動の推定結果として選択する運動推定手段として機能させるためのプログラムである。   The program according to the present invention includes a candidate calculation unit that calculates a plurality of motion estimation candidates of the moving body based on a plurality of images obtained by imaging the outside of the moving body, and a plurality of calculated by the candidate calculation unit. For each of the motion estimation candidates, reliability calculation means for calculating the reliability indicating how reliable the motion estimation candidate is, and the mobile body measured by the motion measurement means for measuring the motion of the mobile body , And the reliability of each of the plurality of motion estimation candidates calculated by the reliability calculation means, one of the plurality of motion estimation candidates is determined as the motion of the mobile object. It is a program for functioning as a motion estimation means to select as an estimation result.

本発明によれば、候補算出手段によって、移動体の外部を撮像した複数の画像に基づいて、移動体の運動の推定候補を複数算出する。また、運動計測手段によって、移動体の運動を計測する。   According to the present invention, the candidate calculation unit calculates a plurality of motion estimation candidates of the moving body based on a plurality of images obtained by imaging the outside of the moving body. Moreover, the movement of the moving body is measured by the movement measuring means.

そして、信頼度算出手段によって、候補算出手段によって算出された複数の運動の推定候補の各々について、該運動の推定候補がどれだけ信頼できるかを示す信頼度を算出する。運動推定手段によって、運動計測手段によって計測された移動体の運動、及び信頼度算出手段によって算出された複数の運動の推定候補の各々の信頼度に基づいて、複数の運動の推定候補のうちの何れか１つを、移動体の運動の推定結果として選択する。   Then, the reliability calculation means calculates, for each of a plurality of motion estimation candidates calculated by the candidate calculation means, a reliability indicating how reliable the motion estimation candidate is. Based on the motion of the moving body measured by the motion measuring means and the reliability of each of the plurality of motion estimation candidates calculated by the reliability calculating means by the motion estimating means, Either one is selected as the estimation result of the motion of the moving object.

このように、複数の運動の推定候補の各々の信頼度と計測された移動体の運動とに基づいて、移動体の運動を推定することにより、簡易な構成で、安定して移動体の運動を精度よく推定することができる。   As described above, by estimating the motion of the moving body based on the reliability of each of the plurality of motion estimation candidates and the measured motion of the moving body, the motion of the moving body can be stably performed with a simple configuration. Can be estimated with high accuracy.

本発明に係る運動推定手段は、運動計測手段によって計測された移動体の運動との差分の絶対値が閾値未満となる運動の推定候補のうち、算出された信頼度が最も高い運動の推定候補を選択する。これによって、移動体の運動を精度よく推定することができる。   The motion estimation unit according to the present invention is a motion estimation candidate having the highest calculated reliability among motion estimation candidates in which the absolute value of the difference from the motion of the moving body measured by the motion measurement unit is less than a threshold. Select. This makes it possible to accurately estimate the movement of the moving body.

本発明に係る運動推定手段は、複数の運動の推定候補の全てについて、計測された移動体の運動との差分の絶対値が閾値以上となる場合、又は、算出された信頼度が信頼度に関する閾値未満である場合、計測された移動体の運動を、移動体の運動の推定結果とすることができる。これによって、安定して移動体の運動を推定することができる。   The motion estimation unit according to the present invention relates to the reliability when the absolute value of the difference from the measured motion of the moving body is greater than or equal to the threshold for all of the plurality of motion estimation candidates. When it is less than the threshold value, the measured movement of the moving body can be used as the estimation result of the movement of the moving body. As a result, the motion of the moving body can be estimated stably.

上記の運動計測手段は、ジャイロセンサを用いて移動体の運動を計測することができる。また、本発明の運動推定装置は、ジャイロセンサを用いて計測される移動体の運動の計測値のオフセット量を補正するオフセット補正手段を更に含むことができる。これによって、移動体の運動を精度よく計測することができ、移動体の運動をより精度よく推定することができる。   The motion measurement means can measure the motion of the moving body using a gyro sensor. In addition, the motion estimation apparatus of the present invention may further include an offset correction unit that corrects the offset amount of the measurement value of the motion of the moving object measured using the gyro sensor. Thereby, the movement of the moving body can be measured with high accuracy, and the movement of the moving body can be estimated with higher accuracy.

上記のオフセット補正手段は、運動計測手段による移動体の運動の計測値と、運動推定手段による移動体の運動の推定結果との差分に基づいて、オフセット量を補正することができる。   The offset correction unit can correct the offset amount based on the difference between the measured value of the movement of the moving body by the movement measuring unit and the estimation result of the movement of the moving body by the movement estimation unit.

上記の候補算出手段は、複数の画像の各々から、複数の画像間で対応した特徴点を検索する検索手段と、検索された対応した特徴点の組み合わせを繰り返し選択し、繰り返し選択された対応した特徴点の組み合わせに基づいて、複数の画像の各々を撮像したときの移動体の位置及び姿勢の相対関係を表わす運動を繰り返し算出する運動算出手段を備え、運動算出手段によって繰り返し算出された運動を、複数の運動の推定候補とすることができる。   The candidate calculating means repeatedly selects a search means for searching for a corresponding feature point between a plurality of images from each of the plurality of images, and repeatedly selects a combination of the searched corresponding feature points. Based on the combination of feature points, it is provided with motion calculation means for repeatedly calculating a motion representing the relative relationship between the position and orientation of the moving body when each of the plurality of images is captured, and the motion repeatedly calculated by the motion calculation means A plurality of motion estimation candidates can be used.

以上説明したように、本発明の運動推定装置及びプログラムによれば、複数の運動の推定候補の各々の信頼度と計測された移動体の運動とに基づいて、移動体の運動を推定することにより、簡易な構成で、安定して移動体の運動を精度よく推定することができる、という効果が得られる。   As described above, according to the motion estimation apparatus and program of the present invention, the motion of the moving body is estimated based on the reliability of each of a plurality of motion estimation candidates and the measured motion of the mobile body. Thus, an effect is obtained that the movement of the moving body can be accurately estimated with a simple configuration.

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、車両に搭載された運動推定装置に本発明を適用した場合を例に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. The case where the present invention is applied to a motion estimation device mounted on a vehicle will be described as an example.

図１に示すように、第１の実施の形態に係る運動推定装置１０は、自車両の前方の画像を撮像する単眼のカメラで構成される画像撮像部１２と、自車両の運動として、ヨー角速度を計測するジャイロセンサ１４と、画像撮像部１２によって撮像された画像、及びジャイロセンサ１４によって計測されたヨー角速度に基づいて、自車両の運動を推定して外部装置（図示省略）に出力するコンピュータ１６とを備えている。なお、ジャイロセンサ１４が、運動計測手段の一例である。   As shown in FIG. 1, the motion estimation apparatus 10 according to the first embodiment includes an image capturing unit 12 including a monocular camera that captures an image ahead of the host vehicle, and yaw motion as the host vehicle. Based on the gyro sensor 14 that measures the angular velocity, the image captured by the image capturing unit 12, and the yaw angular velocity measured by the gyro sensor 14, the motion of the host vehicle is estimated and output to an external device (not shown). And a computer 16. The gyro sensor 14 is an example of a motion measuring unit.

本実施の形態では、単眼のカメラを自車両の前方に設置して、自車両の前方の画像を取得する場合を例に説明するが、自車両の外部の画像を撮像すればよく、例えば、単眼のカメラを自車両の後方に設置し、自車両の後方を撮像してもよい。また、単眼のカメラは、通常の画角４０度程度のカメラでもよいし、広角のカメラでもよいし、全方位カメラでもよい。また、撮像する画像の波長について、種類は問わない。運動量を適切に推定できる場所であれば、設置場所、画角、波長、及び設置個数について問わない。   In the present embodiment, a case where a monocular camera is installed in front of the host vehicle and an image in front of the host vehicle is acquired will be described as an example, but an image outside the host vehicle may be captured. A monocular camera may be installed behind the host vehicle to capture the rear of the host vehicle. The monocular camera may be a normal camera with a field angle of about 40 degrees, a wide-angle camera, or an omnidirectional camera. Further, the type of the wavelength of the image to be captured is not limited. There is no limitation on the installation location, the angle of view, the wavelength, and the number of installations as long as the momentum can be estimated appropriately.

コンピュータ１６では、自車両の運動として、自車両の３軸角速度と並進方向を示す成分とを推定する。コンピュータ１６は、ＣＰＵと、ＲＡＭと、後述する運動推定処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ１６は、画像撮像部１２によって撮像された複数の画像を取得する画像入力部１８と、複数の画像に基づいて、自車両の運動推定候補を複数算出する運動推定候補算出部２０と、算出された複数の運動推定候補の各々について信頼度を判定する信頼度判定部２２と、ジャイロセンサ１４によって計測された計測値のオフセット量を補正するオフセット補正部２４と、算出された複数の運動推定候補の各々に対する信頼度、及びオフセット補正されたヨー角速度の計測値に基づいて、複数の運動推定候補を検証して、自車両の運動を推定する運動検証部２６とを備えている。なお、運動検証部２６が、運動推定手段の一例である。   The computer 16 estimates the three-axis angular velocity of the host vehicle and a component indicating the translation direction as the motion of the host vehicle. The computer 16 includes a CPU, a RAM, and a ROM that stores a program for executing a motion estimation processing routine described later, and is functionally configured as follows. The computer 16 includes an image input unit 18 that acquires a plurality of images captured by the image capturing unit 12, a motion estimation candidate calculation unit 20 that calculates a plurality of motion estimation candidates for the host vehicle based on the plurality of images, and a calculation. A reliability determination unit 22 that determines the reliability of each of the plurality of motion estimation candidates, an offset correction unit 24 that corrects an offset amount of a measurement value measured by the gyro sensor 14, and a plurality of calculated motion estimations A motion verification unit 26 that verifies a plurality of motion estimation candidates based on the reliability of each candidate and the offset-corrected yaw angular velocity measurement value and estimates the motion of the host vehicle. The exercise verification unit 26 is an example of an exercise estimation unit.

運動推定候補算出部２０は、図２に示すように、画像撮像部１２により得られた複数の画像の各々から、画像上で追跡しやすい特徴点を複数抽出する特徴点抽出部３０と、特徴点抽出部３０により得られた２つの画像の各々における特徴点から、２つの画像の間で対応する特徴点（以下、対応点と称する）を検索する対応点検索部３２と、対応点検索部３２で得られた対応点から、８組の対応点を複数種類の組み合わせで選択する特徴点選択部３４と、選択された８組の対応点の各種組み合わせについて、当該組み合わせの各対応点における各画像の画像座標を入力として、対応点が検索された一方の画像を撮像したときの画像撮像部１２の位置姿勢を基準とした、対応点が検索された他方の画像を撮像したときの画像撮像部１２の位置姿勢への変化（位置姿勢の相対関係）を、画像撮像部１２の運動のＸＹＺ軸方向の移動量及びＸＹＺ軸を基準とする回転量として算出する運動算出部３６とを備えている。   As shown in FIG. 2, the motion estimation candidate calculation unit 20 extracts a feature point extraction unit 30 that extracts a plurality of feature points that can be easily traced on an image from each of a plurality of images obtained by the image capturing unit 12, and a feature. A corresponding point search unit 32 for searching for a corresponding feature point between the two images (hereinafter referred to as a corresponding point) from the feature points in each of the two images obtained by the point extraction unit 30; and a corresponding point search unit 32, a feature point selection unit 34 that selects eight sets of corresponding points from a plurality of combinations, and various combinations of the selected eight sets of corresponding points. Image capturing when the other image from which the corresponding point is retrieved is captured with reference to the position and orientation of the image capturing unit 12 when the image from which the corresponding point is retrieved is captured using the image coordinates of the image as an input. Position and orientation of unit 12 Change (relative relationship between the position and orientation), and a motion calculation unit 36 for calculating a rotation amount relative to the amount of movement and XYZ axes of the XYZ-axis direction of the movement of the imaging unit 12.

特徴点抽出部３０は、画像撮像部１２から得られる異なる時刻に撮像した２枚の画像から、それぞれ特徴点を抽出する。特徴点とは、周囲の点と区別でき、異なる画像間で対応関係を求めることが容易な点のことを指す。特徴点は、２次元的に濃淡変化の勾配値が大きくなる画素を検出する方法（例えばＴｏｍａｓｉ−Ｋａｎａｄｅの方法や、Ｈａｒｒｉｓオペレータなど）を用いて、自動的に抽出される。特徴点の数としては、全画像に対して３０〜５００点程度を想定すると良いが、状況に応じて、固定であってもよいし、可変であってもよい。   The feature point extraction unit 30 extracts feature points from two images captured at different times obtained from the image capturing unit 12. A feature point refers to a point that can be distinguished from surrounding points and that makes it easy to obtain a correspondence between different images. The feature points are automatically extracted by using a method (for example, the Tomasi-Kanade method or the Harris operator) that detects pixels in which the gradient value of the change in shading increases two-dimensionally. The number of feature points may be approximately 30 to 500 points for all images, but may be fixed or variable depending on the situation.

Ｈａｒｒｉｓオペレータを用いる方法では、以下に説明するように、特徴点を抽出する。まず、画像の点（ｕ，ｖ）の輝度をＩ（ｕ，ｖ）として、以下の（１）式によって、行列Ｍを計算する。   In the method using the Harris operator, feature points are extracted as described below. First, the matrix M is calculated by the following equation (1), where the luminance of the point (u, v) of the image is I (u, v).

Figure 0005267100
Figure 0005267100

ただし、Ｉｕ，Ｉｖはそれぞれ水平方向、垂直方向の微分、Ｇσは標準偏差σのガウス分布による平滑化を表す。 However, I u and I v represent horizontal and vertical differentiation, respectively, and G σ represents smoothing by a Gaussian distribution with a standard deviation σ.

そして、上記（１）式で計算された行列Ｍの固有値λ１、λ２を用いて、以下の（２）式によりコーナー強度を計算する。 Then, using the eigenvalues λ 1 and λ 2 of the matrix M calculated by the above equation (1), the corner strength is calculated by the following equation (2).

Figure 0005267100
Figure 0005267100

ただし、ｋは予め設定される定数であって、０．０４〜０．０６の値が一般に用いられる。Ｈａｒｒｉｓオペレータを用いる方法では、このコーナー強度がしきい値以上でかつ極大となる点を選択し、選択された点を特徴点として抽出する。   However, k is a preset constant, and a value of 0.04 to 0.06 is generally used. In the method using the Harris operator, a point at which the corner intensity is equal to or greater than a threshold value is selected, and the selected point is extracted as a feature point.

対応点検索部３２は、特徴点抽出部３０において２つの画像の各々から抽出された特徴点について、２つの画像間での対応付けを行って、２つの画像間の対応点を検索する。画像間での特徴点の対応付けでは、対応する点が同一ならば、画像１と画像２で対応する点とその周囲の点の輝度は殆ど変化しないと仮定し、この仮定に基づいて各特徴点の対応付けを行う。例えば、特徴点周辺に設定した小領域での輝度分布が似ている点の組を選択し、選択された点の組を対応点とする。特徴点の対応付け（特徴点追跡）の周知の手法として、ルーカスカナデ法（Ｌｕｃａｓ−Ｋａｎａｄｅ法）などが挙げられる。   The corresponding point search unit 32 searches the corresponding points between the two images by associating the two points of the feature points extracted from each of the two images by the feature point extracting unit 30. In the association of feature points between images, if the corresponding points are the same, it is assumed that the luminance of the corresponding points in image 1 and image 2 and the surrounding points hardly change, and based on this assumption, each feature Do point association. For example, a set of points having similar brightness distributions in a small area set around a feature point is selected, and the selected set of points is set as a corresponding point. A well-known technique for feature point association (feature point tracking) includes the Lucas-Kanade method (Lucas-Kanade method).

特徴点選択部３４は、特徴点の対応付け（追跡）が完了した全対応点の中から、運動推定に用いる対応点の組を任意に選択する。ここで選択した対応点の組み合わせによって、運動算出部３６で算出される運動推定候補が決定される。なお、各種組み合わせについて、対応点は８組以上選択するものとする。   The feature point selection unit 34 arbitrarily selects a set of corresponding points used for motion estimation from all the corresponding points for which feature point association (tracking) has been completed. The motion estimation candidate calculated by the motion calculation unit 36 is determined by the combination of the corresponding points selected here. For various combinations, eight or more corresponding points are selected.

運動算出部３６は、特徴点選択部３４より選択された対応点の複数種類の組み合わせの各々について、当該組み合わせにおける少なくとも８組の対応点の画像座標から、２つの画像の各々が撮像されたときの画像撮像部１２の位置及び姿勢の変化（ＸＹＺ軸方向の移動量及びＸＹＺ軸を基準とする回転量）を計算する。位置姿勢の変化は、図３に示すように、第１の画像から第２の画像への回転行列Ｒ（Ｘ軸を基準とする回転量、Ｙ軸を基準とする回転量、Ｚ軸を基準とする回転量）と、並進ベクトルｔ（Ｘ軸方向の移動量ｔｘ、Ｙ軸方向の移動量ｔｙ、Ｚ軸方向の移動量ｔｚ）との６要素から構成される運動である。なお、回転行列Ｒ及び並進ベクトルｔの要素は、２つの画像間の画像座標の変換を表す物理量である。 For each of a plurality of types of combinations of corresponding points selected by the feature point selection unit 34, the motion calculation unit 36 captures each of two images from the image coordinates of at least eight sets of corresponding points in the combination. Changes in the position and orientation of the image capturing unit 12 (the amount of movement in the XYZ-axis directions and the amount of rotation based on the XYZ-axis) are calculated. As shown in FIG. 3, the change of the position and orientation is based on the rotation matrix R from the first image to the second image (the rotation amount based on the X axis, the rotation amount based on the Y axis, and the Z axis based on And a translation vector t (a movement amount t x in the X-axis direction, a movement amount t y in the Y-axis direction, and a movement amount t z in the Z-axis direction). Note that the elements of the rotation matrix R and the translation vector t are physical quantities representing conversion of image coordinates between two images.

ここで、第１の画像から第２の画像への回転行列Ｒと並進ベクトルｔとの計算方法について説明する。第１の画像におけるｎ点の対応点の画像座標ｘ１と第２の画像におけるｎ点の対応点の画像座標ｘ２とについて（ｎ≧８）、対応点が正しくて誤差がなければ、以下の（３）式を満たす３×３行列Ｆが存在する。 Here, a calculation method of the rotation matrix R and the translation vector t from the first image to the second image will be described. For the image coordinates x 2 of the corresponding point of n points in the first of the image and the image coordinates x 1 of the corresponding point of the n points second image (n ≧ 8), if there is a corresponding point is correct errors, the following There exists a 3 × 3 matrix F satisfying the expression (3).

Figure 0005267100
Figure 0005267100

ここで、８組以上の対応点ｘ１、ｘ２があれば、上記の基礎行列Ｆを算出することができる。 Here, if there are eight or more pairs of corresponding points x 1 and x 2 , the basic matrix F can be calculated.

上述したように基礎行列Ｆが計算でき、また、画像撮像部１２のキャリブレーション行列Ｋが既知である場合には、カメラの撮像特性に依る画像の歪みを補正するキャリブレーション行列Ｋ、及び基礎行列Ｆを用いて、以下の（４）式、（５）式より、回転行列Ｒと並進ベクトルｔとを計算することができる．   As described above, when the basic matrix F can be calculated and the calibration matrix K of the image capturing unit 12 is known, the calibration matrix K for correcting image distortion due to the imaging characteristics of the camera, and the basic matrix Using F, the rotation matrix R and the translation vector t can be calculated from the following equations (4) and (5).

Figure 0005267100
Figure 0005267100

ここで算出した運動を運動推定候補とする。特徴点選択部３４による特徴点の選択と運動算出部３６による算出とをＮ回繰り返すことにより、Ｎ個の運動推定候補が得られる。   The motion calculated here is set as a motion estimation candidate. By repeating the feature point selection by the feature point selection unit 34 and the calculation by the motion calculation unit 36 N times, N motion estimation candidates are obtained.

また、信頼度判定部２２は、図４に示すように、複数の運動推定候補の各々について、当該運動推定候補に対し動きが整合する特徴点を選別する特徴点選別部４０と、各運動推定候補について選別された特徴点の数から運動推定候補の信頼度を算出する信頼度評価部４２と、運動推定候補の信頼度に基づいて、運動推定候補を並び替えると共に選定する運動推定候補選定部４４とを備えている。   Further, as shown in FIG. 4, the reliability determination unit 22 selects, for each of a plurality of motion estimation candidates, a feature point selection unit 40 that selects a feature point whose motion matches the motion estimation candidate, and each motion estimation. A reliability evaluation unit 42 that calculates the reliability of the motion estimation candidate from the number of feature points selected for the candidate, and a motion estimation candidate selection unit that rearranges and selects the motion estimation candidates based on the reliability of the motion estimation candidates 44.

特徴点選別部４０は、複数の運動推定候補の各々について、当該運動推定候補を算出する際に用いられた複数の特徴点のうち、当該運動推定候補に対し動きが整合する特徴点を選別する。   The feature point selection unit 40 selects, for each of a plurality of motion estimation candidates, a feature point whose motion matches the motion estimation candidate from among a plurality of feature points used when calculating the motion estimation candidate. .

例えば、図５に示すように、画像１で座標ｘ１に位置する特徴点Ｐが、基礎行列Ｆで表わされる運動に従って動く時、画像２での特徴点Ｐの座標はＦｘ１で表わされる線（エピポーラ線）上に位置する。すなわち、画像２における対応する特徴点の位置とエピポーラ線の距離が近い程、その特徴点の動きは運動推定候補に対する整合性が高いと言える。この性質を利用して、当該運動推定候補を算出する際に用いられた複数の特徴点のうち、対応するエピポーラ線との距離が閾値以下となる特徴点を選別する。 For example, as shown in FIG. 5, when the feature point P located at the coordinate x 1 in the image 1 moves according to the motion represented by the basic matrix F, the coordinate of the feature point P in the image 2 is a line represented by Fx 1. Located on (epipolar line). That is, it can be said that the closer the distance between the corresponding feature point in the image 2 and the epipolar line is, the higher the movement of the feature point is with the motion estimation candidate. Using this property, among the feature points used when calculating the motion estimation candidate, the feature point whose distance from the corresponding epipolar line is equal to or less than the threshold is selected.

信頼度評価部４２は、複数の運動推定候補の各々について、特徴点選別部４０で選別された、当該運動推定候補に対し動きが整合する特徴点の数から、当該運動推定候補の信頼度を算出する。特徴点の数が大きいほど、高い信頼度が算出される。また、信頼度の指標として、選別された特徴点の数をそのまま用いてもよいし、特徴点の数に任意の関数を適用した結果を用いてもよい。   For each of the plurality of motion estimation candidates, the reliability evaluation unit 42 determines the reliability of the motion estimation candidate from the number of feature points selected by the feature point selection unit 40 and having motion matching with the motion estimation candidate. calculate. The greater the number of feature points, the higher the reliability. As the reliability index, the number of selected feature points may be used as it is, or a result obtained by applying an arbitrary function to the number of feature points may be used.

運動推定候補選定部４４は、Ｎ個の運動推定候補について、算出された信頼度が高い順に並び替えると共に、信頼度が高い方から順にＭ個選定する。これによって、信頼度によって順位付けされた運動推定候補Ｃ１〜ＣＭが出力される。なお、Ｎ個全ての運動推定候補を出力するようにしてもよいし、任意に設定した閾値よりも信頼度が高い運動推定候補だけを出力するようにしてもよい。 The motion estimation candidate selection unit 44 sorts the N motion estimation candidates in descending order of the calculated reliability, and selects M in descending order of reliability. Thereby, the motion estimation candidates C 1 to C M ranked according to the reliability are output. Note that all N motion estimation candidates may be output, or only motion estimation candidates with higher reliability than an arbitrarily set threshold may be output.

オフセット補正部２４は、ジャイロセンサ１４によって計測されたヨー角速度の計測値を取得し、ジャイロセンサ１４の計測値のオフセット（定常的な偏差）を補正した値を、運動計測結果Ｙｇとして出力する。運動検証部２６の出力値とジャイロセンサ１４の計測値とについて、現時刻から過去一定期間の平均値の差を算出し、オフセット補正値として設定する。また、オフセット補正値はタイムステップ毎に算出される。ただし、運動検証部２６において、運動推定候補算出部２０により算出された運動推定候補が全て不採用であった場合、その時刻の入力を除いて平均値を算出する。 Offset correction unit 24 obtains the measured value of the yaw angular velocity measured by the gyro sensor 14, a value obtained by correcting an offset (steady deviation) of the measurement values of the gyro sensor 14, and outputs as the motion measurement result Y g . For the output value of the motion verification unit 26 and the measured value of the gyro sensor 14, the difference between the average values of the past fixed period from the current time is calculated and set as the offset correction value. The offset correction value is calculated for each time step. However, when all the motion estimation candidates calculated by the motion estimation candidate calculation unit 20 are not adopted in the motion verification unit 26, the average value is calculated except for the input of the time.

運動検証部２６は、信頼度判定部２２から信頼度と共に出力された運動推定候補Ｃ１〜ＣＭを、オフセット補正部２４からの出力値Ｙｇと比較すると共に、信頼度を参照して、適切な運動推定候補を決定する。 The motion verification unit 26 compares the motion estimation candidates C 1 to C M output together with the reliability from the reliability determination unit 22 with the output value Y g from the offset correction unit 24 and refers to the reliability. Determine appropriate motion estimation candidates.

比較項目は、運動推定候補に含まれる運動の回転３成分（ｐｉｔｃｈ、ｙａｗ、ｒｏｌｌ）のうちのヨー角速度とし、まず、運動推定候補Ｃ１から得られたヨー角速度Ｙ１と、オフセット補正部２４から得られたヨー角速度Ｙｇとを比較する。ヨー角速度に関する閾値をＹｔｈとして、｜Ｙ１−Ｙｇ｜＜ＹｔｈであればＣ１を運動推定結果として出力する。｜Ｙ１−Ｙｇ｜≧Ｙｔｈである場合には、Ｃ１と同様の方法でＣ２について検証を行う。以下同様に、出力値が得られるまで検証を繰り返し、ＣＭまで全て検証が終わった時点で出力値が得られない場合は、Ｙｇを運動の推定結果として出力する。 Comparison item, a yaw angular velocity of the rotating three components of motion contained in the motion estimation candidate (pitch, yaw, roll), first, the yaw rate Y 1 obtained from the motion estimation candidates C 1, the offset correction unit 24 comparing the yaw rate Y g obtained from. The threshold value for the yaw rate as a Y th, | Y 1 -Y g | < a C 1 if Y th output as motion estimation result. When | Y 1 −Y g | ≧ Y th , C 2 is verified in the same manner as C 1 . Similarly, until the output value is obtained repeatedly verification, if not the output value at all when the verification is finished obtained to C M, and outputs the Y g as estimation results of the exercise.

次に、第１の実施の形態に係る運動推定装置１０の作用について説明する。なお、運動推定装置１０を搭載した自車両が走行しているときに、自車両の運動を推定する場合を例に説明する。   Next, the operation of the motion estimation apparatus 10 according to the first embodiment will be described. In addition, the case where the motion of the own vehicle is estimated when the own vehicle carrying the motion estimation device 10 is traveling will be described as an example.

まず、運動推定装置１０において、図６に示す運動推定処理ルーチンが実行される。ステップ１００において、異なるタイミングで画像撮像部１２によって自車両前方を撮像した第１の画像及び第２の画像を取得すると共に、第１の画像及び第２の画像を撮像する間にジャイロセンサ１４によって計測されたヨー角速度を取得する。そして、ステップ１０２において、上記ステップ１００で取得された第１の画像及び第２の画像に基づいて、複数の運動推定候補を算出する。   First, in the motion estimation apparatus 10, a motion estimation processing routine shown in FIG. 6 is executed. In step 100, the first image and the second image obtained by imaging the front of the host vehicle at different timings are acquired, and the gyro sensor 14 captures the first image and the second image. Get the measured yaw angular velocity. In step 102, a plurality of motion estimation candidates are calculated based on the first image and the second image acquired in step 100.

上記ステップ１０２は、図７に示す運動推定候補算出処理ルーチンによって実現される。まず、ステップ１２０において、第１の画像及び第２の画像から、それぞれ所定の数だけ特徴点を抽出する。そして、ステップ１２２において、上記ステップ１２０で抽出された第１の画像における特徴点の各々を、第２の画像において追跡し、第２の画像から、対応する各特徴点をそれぞれ検索する。   Step 102 is realized by a motion estimation candidate calculation processing routine shown in FIG. First, in step 120, a predetermined number of feature points are extracted from each of the first image and the second image. In step 122, each feature point in the first image extracted in step 120 is tracked in the second image, and each corresponding feature point is searched from the second image.

そして、ステップ１２４において、算出された運動推定候補の数を示す変数ｎを初期値の１に設定し、ステップ１２６において、上記ステップ１２２で検索された複数組の対応点から、８組の対応点をランダムに選択する。ステップ１２８では、上記ステップ１２６で選択された８組の対応点（２時刻間で互いに対応する特徴点の組）から、２つの撮像時刻間における画像撮像部１２の相対的な位置関係、即ち、画像撮像部１２を搭載した自車両のその２時刻間における運動を推定する。   In step 124, a variable n indicating the calculated number of motion estimation candidates is set to an initial value of 1. In step 126, eight sets of corresponding points are selected from the plurality of sets of corresponding points searched in step 122. Select at random. In step 128, from the eight sets of corresponding points selected in step 126 (a set of feature points corresponding to each other between two times), the relative positional relationship of the image capturing unit 12 between the two image capturing times, that is, The movement between the two times of the own vehicle carrying the image pickup unit 12 is estimated.

そして、ステップ１３０では、変数ｎが、算出する運動推定候補の数を表わす定数Ｎ未満であるか否かを判定し、Ｎ個の運動推定候補を算出していない場合には、ステップ１３２において、変数ｎをインクリメントしてステップ１２６へ戻るが、一方、変数ｎがＮに達した場合には、運動推定候補算出処理ルーチンを終了する。以上のように、運動推定候補算出処理ルーチンが実行されると、Ｎ個の運動推定候補が出力される。   In step 130, it is determined whether the variable n is less than a constant N representing the number of motion estimation candidates to be calculated. If N motion estimation candidates are not calculated, in step 132, The variable n is incremented and the process returns to step 126. On the other hand, if the variable n reaches N, the motion estimation candidate calculation processing routine is terminated. As described above, when the motion estimation candidate calculation processing routine is executed, N motion estimation candidates are output.

そして、運動推定処理ルーチンのステップ１０４では、上記ステップ１０２で算出されたＮ個の運動推定候補の各々について、信頼度を判定する。上記ステップ１０４は、図８に示す信頼度判定処理ルーチンによって実現される。   In step 104 of the motion estimation processing routine, the reliability is determined for each of the N motion estimation candidates calculated in step 102. Step 104 is realized by a reliability determination processing routine shown in FIG.

まず、ステップ１４０において、判定対象の運動推定候補を設定し、ステップ１４２において、判定対象の運動推定候補を算出する際に用いられた複数の特徴点の各々について、第２の画像におけるエピポーラ線を求める。   First, in step 140, a motion estimation candidate to be determined is set, and in step 142, an epipolar line in the second image is obtained for each of a plurality of feature points used when calculating the motion estimation candidate to be determined. Ask.

そして、ステップ１４４において、判定対象の運動推定候補を算出する際に用いられた複数の特徴点から、第２の画像における対応する特徴点とエピポーラ線との距離が閾値以下となる特徴点を選別する。次のステップ１４６では、上記ステップ１４４で選別された特徴点の数に基づいて、判定対象の運動推定候補の信頼度を判定する。   In step 144, a feature point in which the distance between the corresponding feature point in the second image and the epipolar line is equal to or less than a threshold is selected from the plurality of feature points used in calculating the motion estimation candidate to be determined. To do. In the next step 146, the reliability of the motion estimation candidate to be determined is determined based on the number of feature points selected in step 144.

そして、ステップ１４８では、全ての運動推定候補について信頼度の判定が行われたか否かを判定し、信頼度が判定されていない運動推定候補がある場合には、ステップ１４０へ戻るが、一方、全ての運動推定候補について信頼度の判定が行われた場合には、ステップ１５０へ移行する。   In step 148, it is determined whether or not reliability determination has been performed for all motion estimation candidates. If there is a motion estimation candidate for which reliability has not been determined, the process returns to step 140. When the reliability determination is performed for all the motion estimation candidates, the process proceeds to step 150.

ステップ１５０では、各運動推定候補について判定された信頼度に基づいて、Ｎ個の運動推定候補を、信頼度の高い順に並び替えると共に、信頼度の高い方から順にＭ個の運動推定候補を選定して、信頼度判定処理ルーチンを終了する。   In step 150, based on the reliability determined for each motion estimation candidate, the N motion estimation candidates are rearranged in descending order of reliability, and M motion estimation candidates are selected in descending order of reliability. Then, the reliability determination processing routine ends.

そして、運動推定処理ルーチンのステップ１０６では、後述するステップ１１２で前回算出されたオフセット補正値を用いて、上記ステップ１００で取得したヨー角速度のオフセット量を補正する。次のステップ１０８では、上記ステップ１０４で選定された運動推定候補のヨー角速度を、信頼度の高い方から順に、上記ステップ１０６で補正されたヨー角速度と比較して検証し、補正されたヨー角速度との差分の絶対値が閾値未満となる運動推定候補のうち、最も信頼度が高い運動推定候補を、自車両の運動の推定結果として出力する。また、全ての運動推定候補のヨー角速度について、補正されたヨー角速度との差分の絶対値が閾値以上であった場合には、補正されたヨー角速度を、自車両の運動の推定結果として出力する。   In step 106 of the motion estimation processing routine, the offset amount of the yaw angular velocity acquired in step 100 is corrected using the offset correction value previously calculated in step 112 described later. In the next step 108, the yaw angular velocity of the motion estimation candidate selected in the above step 104 is verified in order from the higher reliability in comparison with the yaw angular velocity corrected in the above step 106, and the corrected yaw angular velocity is corrected. Among the motion estimation candidates whose absolute value of the difference between and is less than the threshold value, the motion estimation candidate with the highest reliability is output as the motion estimation result of the host vehicle. If the absolute value of the difference from the corrected yaw angular velocity is equal to or greater than the threshold value for all the motion estimation candidate yaw angular velocities, the corrected yaw angular velocity is output as the motion estimation result of the host vehicle. .

そして、ステップ１１０において、過去一定期間で推定された運動のヨー角速度の平均値と、過去一定期間でジャイロセンサ１４より計測されたヨー角速度の平均値とを算出し、ステップ１１２において、上記ステップ１１０で算出されたヨー角速度の平均値の差分を、オフセット補正値として算出して、上記ステップ１００へ戻る。   Then, in step 110, the average value of the yaw angular velocity of the motion estimated in the past certain period and the average value of the yaw angular velocity measured by the gyro sensor 14 in the past certain period are calculated. The difference between the average values of the yaw angular velocities calculated in step 1 is calculated as an offset correction value, and the process returns to step 100.

上記のように、運動推定処理ルーチンが実行されると、撮像画像による運動推定によって、図９に示すように、複数の運動推定候補が算出され、ジャイロセンサ１４の計測値を用いた運動検証によって最適な運動推定候補が選択される。また、図１０に示すように、複数の運動推定候補に対して運動検証を行うため、いくつかの運動推定候補が不採用と判断されても、適切な運動推定候補が選択され、適切な運動推定結果が安定して得られる。   As described above, when the motion estimation processing routine is executed, a plurality of motion estimation candidates are calculated by motion estimation based on captured images, and by motion verification using the measurement values of the gyro sensor 14, as shown in FIG. An optimal motion estimation candidate is selected. Further, as shown in FIG. 10, since motion verification is performed on a plurality of motion estimation candidates, even if some motion estimation candidates are determined not to be adopted, an appropriate motion estimation candidate is selected and an appropriate motion estimation is performed. The estimation result can be obtained stably.

以上説明したように、第１の実施の形態に係る運動推定装置によれば、複数の運動推定候補の各々の信頼度と、ジャイロセンサによって計測されたヨー角速度とに基づいて、自車両の運動を推定することにより、簡易な構成で、安定して自車両の運動を精度よく推定することができる。   As described above, according to the motion estimation apparatus according to the first embodiment, the motion of the host vehicle is based on the reliability of each of the plurality of motion estimation candidates and the yaw angular velocity measured by the gyro sensor. By estimating this, it is possible to accurately estimate the motion of the host vehicle stably with a simple configuration.

また、ジャイロセンサによる計測値のオフセット量を補正することにより、自車両のヨー角速度を精度よく計測することができ、これにより、自車両の運動をより精度よく推定することができる。   Further, by correcting the offset amount of the measurement value by the gyro sensor, it is possible to accurately measure the yaw angular velocity of the own vehicle, and thereby it is possible to estimate the motion of the own vehicle more accurately.

また、撮像画像に基づく運動推定において、複数の運動推定候補を算出し、ジャイロセンサの計測値を用いた運動検証によって最適な運動推定候補を選択することで、適切な運動推定結果を安定的に取得することができる。   In motion estimation based on captured images, multiple motion estimation candidates are calculated, and the optimal motion estimation candidate is selected by motion verification using the measured value of the gyro sensor. Can be acquired.

また、適切な運動推定結果を安定的に得ることで、時刻と共に変動するジャイロセンサのオフセット量を適時補正することが可能となり、ジャイロセンサのオフセット補正後の計測値の精度が安定する。更に、ジャイロセンサの計測値を用いた運動検証の妥当性が向上する。   Further, by stably obtaining an appropriate motion estimation result, it becomes possible to correct the offset amount of the gyro sensor that fluctuates with time, and the accuracy of the measurement value after the offset correction of the gyro sensor is stabilized. Furthermore, the validity of the motion verification using the measurement value of the gyro sensor is improved.

なお、上記の実施の形態では、全ての運動推定候補のヨー角速度について、計測されたヨー角速度との差の絶対値が閾値以上である場合に、計測されたヨー角速度を、自車両の２時刻間の運動の推定結果として出力する場合を例に説明したが、これに限定されるものではなく、全ての運動推定候補の信頼度が、信頼度に関する閾値未満である場合に、計測されたヨー角速度を、運動の推定結果として出力するようにしてもよい。   In the above embodiment, when the absolute value of the difference from the measured yaw angular velocity is greater than or equal to the threshold for all the motion estimation candidate yaw angular velocities, However, the present invention is not limited to this, and the measured yaw is measured when the reliability of all the motion estimation candidates is less than the reliability threshold value. The angular velocity may be output as a motion estimation result.

次に、第２の実施の形態について説明する。なお、第２の実施の形態に係る運動推定装置は、第１の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。   Next, a second embodiment will be described. In addition, since the motion estimation apparatus according to the second embodiment has the same configuration as that of the first embodiment, the same reference numerals are given and description thereof is omitted.

第２の実施の形態では、運動推定候補の算出と信頼度の判定とを行う順序が、第１の実施の形態と異なっている。   In the second embodiment, the order in which the motion estimation candidate is calculated and the reliability is determined is different from that in the first embodiment.

第２の実施の形態に係る運動推定装置では、運動推定候補算出部２０によって、運動推定候補を１つ算出すると、信頼度判定部２２によって、算出された運動推定候補の信頼度を判定する。また、上記の運動推定候補算出部２０による算出及び信頼度判定部２２による判定が、逐次的に繰り返され、複数の運動推定候補と、各運動推定候補の信頼度とが得られる。   In the motion estimation apparatus according to the second embodiment, when one motion estimation candidate is calculated by the motion estimation candidate calculation unit 20, the reliability determination unit 22 determines the reliability of the calculated motion estimation candidate. Further, the calculation by the motion estimation candidate calculation unit 20 and the determination by the reliability determination unit 22 are sequentially repeated, and a plurality of motion estimation candidates and the reliability of each motion estimation candidate are obtained.

なお、第２の実施の形態に係る運動推定装置の他の構成及び処理については、第１の実施の形態と同様であるため、説明を省略する。   In addition, about the other structure and process of the motion estimation apparatus which concern on 2nd Embodiment, since it is the same as that of 1st Embodiment, description is abbreviate | omitted.

次に、第３の実施の形態について説明する。なお、第３の実施の形態に係る運動推定装置は、第１の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。   Next, a third embodiment will be described. In addition, since the motion estimation apparatus according to the third embodiment has the same configuration as that of the first embodiment, the same reference numerals are given and description thereof is omitted.

第３の実施の形態では、運動推定候補を算出する毎に、運動検証を行っている点が、主に第１の実施の形態と異なっている。   The third embodiment is mainly different from the first embodiment in that exercise verification is performed each time a motion estimation candidate is calculated.

第３の実施の形態に係る運動推定装置の運動推定候補算出部２０では、運動推定候補を１つ算出し、信頼度判定部２２によって、算出された運動推定候補の信頼度を判定し、信頼度が閾値以上である運動推定候補を算出する。   In the motion estimation candidate calculation unit 20 of the motion estimation apparatus according to the third embodiment, one motion estimation candidate is calculated, the reliability determination unit 22 determines the reliability of the calculated motion estimation candidate, and the reliability A motion estimation candidate whose degree is equal to or greater than a threshold is calculated.

また、運動検証部２６では、信頼度判定部２２によって出力された運動推定候補Ｃ１のヨー角速度Ｙ１と、オフセット補正部２４から出力されたヨー角速度Ｙｇとを比較し、｜Ｙ１−Ｙｇ｜＜Ｙｔｈとなった場合、運動推定候補Ｃ１を、運動の推定結果として出力する。一方、｜Ｙ１−Ｙｇ｜≧Ｙｔｈとなった場合に、運動推定候補算出部２０で新たに運動推定候補を１つ算出し、信頼度判定部２２によって、算出された運動推定候補の信頼度を判定する。 Also, the motion verification unit 26 compares the yaw rate Y1 of the reliability determination unit motion estimation candidates C1 output by 22, and a yaw rate Y g outputted from the offset correction block 24, | Y 1 -Y g When | <Y th , the motion estimation candidate C1 is output as the motion estimation result. On the other hand, if | Y 1 −Y g | ≧ Y th , the motion estimation candidate calculation unit 20 newly calculates one motion estimation candidate, and the reliability determination unit 22 calculates the calculated motion estimation candidate. Determine reliability.

このように、オフセット補正部２４から出力されたヨー角速度Ｙｇとの差の絶対値が閾値未満となるヨー角速度を含む運動推定候補が得られるまで、運動推定候補算出部２０による算出、信頼度判定部２２による判定、及び運動検証部２６による運動検証を逐次的に繰り返し行う。 Thus, until the motion estimation candidates including the yaw angular velocity that the absolute value of the difference between the yaw rate Y g outputted from the offset correction block 24 is less than the threshold is obtained, calculation by the motion estimation candidate calculation unit 20, the reliability The determination by the determination unit 22 and the exercise verification by the exercise verification unit 26 are sequentially repeated.

なお、第３の実施の形態に係る運動推定装置の他の構成及び処理については、第１の実施の形態と同様であるため、説明を省略する。   In addition, about the other structure and process of the motion estimation apparatus which concern on 3rd Embodiment, since it is the same as that of 1st Embodiment, description is abbreviate | omitted.

また、上記の第１の実施の形態〜第３の実施の形態では、ジャイロセンサによってヨー角速度を計測する場合を例に説明したが、これに限定されるものではなく、ジャイロセンサによって３軸角速度を計測するように構成してもよく、ヨー角速度、ピッチ角速度、及びロール角速度の少なくとも１つを計測するように構成してもよい。この場合、運動推定候補との比較項目は、運動の回転３成分（ｐｉｔｃｈ、ｙａｗ、ｒｏｌｌ）のうち、１成分でもよいし、複数成分でもよいし、複数成分の組み合わせでもよい。また、センサによって並進３成分（ｔｘ，ｔｙ，ｔｚ）の少なくとも１つを計測するようにしてもよく、この場合に、運動推定候補の並進成分と比較するようにすればよい。 In the first to third embodiments, the case where the yaw angular velocity is measured by the gyro sensor has been described as an example. However, the present invention is not limited to this, and the triaxial angular velocity is measured by the gyro sensor. May be configured, and at least one of a yaw angular velocity, a pitch angular velocity, and a roll angular velocity may be measured. In this case, the comparison item with the motion estimation candidate may be one component, a plurality of components, or a combination of a plurality of components among the three rotation components (pitch, yaw, roll) of the motion. Further, at least one of the three translational components (t x , t y , t z ) may be measured by a sensor, and in this case, it may be compared with the translation component of the motion estimation candidate.

また、運動推定候補のヨー角速度とジャイロセンサによって計測されたヨー角速度との差分の絶対値に対する閾値判定で用いる閾値Ｙｔｈが、一定値である場合を例に説明したが、これに限定されるものではなく、例えば、ジャイロセンサの誤差変動が大きければ、閾値Ｙｔｈを高めの値に設定するなど、ジャイロセンサの誤差の特性に合わせて可変の値を設定するようにしてもよい。 Moreover, although the threshold value Yth used by the threshold value determination with respect to the absolute value of the difference between the yaw angular velocity of the motion estimation candidate and the yaw angular velocity measured by the gyro sensor has been described as an example, it is limited to this. For example, if the error fluctuation of the gyro sensor is large, a variable value may be set in accordance with the error characteristic of the gyro sensor, such as setting the threshold value Yth to a higher value.

本発明のプログラムは、記憶媒体に格納して提供するようにしてもよい。   The program of the present invention may be provided by being stored in a storage medium.

本発明の第１の実施の形態に係る運動推定装置を示すブロック図である。It is a block diagram which shows the motion estimation apparatus which concerns on the 1st Embodiment of this invention. 本発明の第１の実施の形態に係る運動推定装置の運動推定候補算出部の構成を示すブロック図である。It is a block diagram which shows the structure of the motion estimation candidate calculation part of the motion estimation apparatus which concerns on the 1st Embodiment of this invention. 抽出された特徴点と移動体の運動との関係を説明するための図である。It is a figure for demonstrating the relationship between the extracted feature point and a motion of a moving body. 本発明の第１の実施の形態に係る運動推定装置の信頼度判定部の構成を示すブロック図である。It is a block diagram which shows the structure of the reliability determination part of the motion estimation apparatus which concerns on the 1st Embodiment of this invention. エピポーラ線を説明するためのイメージ図である。It is an image figure for demonstrating an epipolar line. 本発明の第１の実施の形態に係る運動推定装置における運動推定処理ルーチンの内容を示すフローチャートである。It is a flowchart which shows the content of the motion estimation process routine in the motion estimation apparatus which concerns on the 1st Embodiment of this invention. 本発明の第１の実施の形態に係る運動推定装置における運動推定候補算出処理ルーチンの内容を示すフローチャートである。It is a flowchart which shows the content of the motion estimation candidate calculation processing routine in the motion estimation apparatus which concerns on the 1st Embodiment of this invention. 本発明の第１の実施の形態に係る運動推定装置における信頼度判定処理ルーチンの内容を示すフローチャートである。It is a flowchart which shows the content of the reliability determination processing routine in the motion estimation apparatus which concerns on the 1st Embodiment of this invention. 本発明の第１の実施の形態に係る運動推定装置の処理の流れを示すイメージ図である。It is an image figure which shows the flow of a process of the movement estimation apparatus which concerns on the 1st Embodiment of this invention. 複数の運動推定候補から、適切な運動推定候補を選択する処理を示すイメージ図である。It is an image figure which shows the process which selects an appropriate motion estimation candidate from several motion estimation candidates.

符号の説明Explanation of symbols

１０ 運動推定装置
１２ 画像撮像部
１４ ジャイロセンサ
１６ コンピュータ
２０ 運動推定候補算出部
２２ 信頼度判定部
２４ オフセット補正部
２６ 運動検証部
３０ 特徴点抽出部
３２ 対応点検索部
３４ 特徴点選択部
３６ 運動算出部
４０ 特徴点選別部
４２ 信頼度評価部
４４ 運動推定候補選定部 DESCRIPTION OF SYMBOLS 10 Motion estimation apparatus 12 Image pick-up part 14 Gyro sensor 16 Computer 20 Motion estimation candidate calculation part 22 Reliability determination part 24 Offset correction part 26 Motion verification part 30 Feature point extraction part 32 Corresponding point search part 34 Feature point selection part 36 Motion calculation Unit 40 feature point selection unit 42 reliability evaluation unit 44 motion estimation candidate selection unit

Claims (9)

移動体の外部を撮像した複数の画像に基づいて、前記移動体の運動の推定候補を複数算出する候補算出手段と、
前記移動体の運動を計測する運動計測手段と、
前記候補算出手段によって算出された複数の運動の推定候補の各々について、該運動の推定候補がどれだけ信頼できるかを示す信頼度を算出する信頼度算出手段と、
前記運動計測手段によって計測された前記移動体の運動、及び前記信頼度算出手段によって算出された前記複数の運動の推定候補の各々の信頼度に基づいて、前記複数の運動の推定候補のうちの何れか１つを、前記移動体の運動の推定結果として選択する運動推定手段と、
を含み、
前記運動推定手段は、前記運動計測手段によって計測された前記移動体の運動との差分の絶対値が閾値未満となる前記運動の推定候補のうち、算出された信頼度が最も高い運動の推定候補を選択する運動推定装置。 Candidate calculation means for calculating a plurality of motion estimation candidates of the moving body based on a plurality of images obtained by imaging the outside of the moving body;
Motion measuring means for measuring the motion of the moving body;
For each of a plurality of motion estimation candidates calculated by the candidate calculation unit, a reliability calculation unit that calculates a reliability indicating how reliable the motion estimation candidate is,
Based on the motion of the moving body measured by the motion measurement means and the reliability of each of the plurality of motion estimation candidates calculated by the reliability calculation means, Motion estimation means for selecting any one as the motion estimation result of the moving body;
Only including,
The motion estimation unit is a motion estimation candidate having the highest calculated reliability among the motion estimation candidates in which an absolute value of a difference from the motion of the moving body measured by the motion measurement unit is less than a threshold value. Motion estimation device for selecting . 移動体の外部を撮像した複数の画像に基づいて、前記移動体の運動の推定候補を複数算出する候補算出手段と、
前記移動体の運動を計測する運動計測手段と、
前記候補算出手段によって算出された複数の運動の推定候補の各々について、該運動の推定候補がどれだけ信頼できるかを示す信頼度を算出する信頼度算出手段と、
前記運動計測手段によって計測された前記移動体の運動、及び前記信頼度算出手段によって算出された前記複数の運動の推定候補の各々の信頼度に基づいて、前記複数の運動の推定候補のうちの何れか１つを、前記移動体の運動の推定結果として選択する運動推定手段と、
を含み、
前記運動推定手段は、前記複数の運動の推定候補の全てについて、計測された前記移動体の運動との差分の絶対値が閾値以上となる場合、又は、算出された信頼度が信頼度に関する閾値未満である場合、計測された前記移動体の運動を、前記移動体の運動の推定結果とする運動推定装置。 Candidate calculation means for calculating a plurality of motion estimation candidates of the moving body based on a plurality of images obtained by imaging the outside of the moving body;
Motion measuring means for measuring the motion of the moving body;
For each of a plurality of motion estimation candidates calculated by the candidate calculation unit, a reliability calculation unit that calculates a reliability indicating how reliable the motion estimation candidate is,
Based on the motion of the moving body measured by the motion measurement means and the reliability of each of the plurality of motion estimation candidates calculated by the reliability calculation means, Motion estimation means for selecting any one as the motion estimation result of the moving body;
Only including,
The motion estimation means is configured such that, for all of the plurality of motion estimation candidates, the absolute value of the difference from the measured motion of the moving body is equal to or greater than a threshold value, or the calculated reliability is a threshold value related to reliability. When it is less than this, the motion estimation apparatus which makes the measured motion of the said mobile body the estimation result of the motion of the said mobile body . 前記運動計測手段は、ジャイロセンサを用いて前記移動体の運動を計測する請求項１又は２記載の運動推定装置。 It said movement measuring means, the motion estimation apparatus according to claim 1 or 2, wherein measuring the movement of the movable body by using a gyro sensor. 前記ジャイロセンサを用いて計測される前記移動体の運動の計測値のオフセット量を補正するオフセット補正手段を更に含む請求項３記載の運動推定装置。 The motion estimation apparatus according to claim 3 , further comprising an offset correction unit that corrects an offset amount of a measurement value of the motion of the moving body measured using the gyro sensor. 前記オフセット補正手段は、前記運動計測手段による前記移動体の運動の計測値と、前記運動推定手段による前記移動体の運動の推定結果との差分に基づいて、前記オフセット量を補正する請求項４記載の運動推定装置。 It said offset correction means, the measured value of motion of the moving body by the movement measuring means, on the basis of the difference between the motion estimation result of estimation of movement of the moving body by means according to claim 4 to correct the offset amount The motion estimation apparatus described. 移動体の外部を撮像した複数の画像に基づいて、前記移動体の運動の推定候補を複数算出する候補算出手段と、
前記移動体の運動を計測する運動計測手段と、
前記候補算出手段によって算出された複数の運動の推定候補の各々について、該運動の推定候補がどれだけ信頼できるかを示す信頼度を算出する信頼度算出手段と、
前記運動計測手段によって計測された前記移動体の運動、及び前記信頼度算出手段によって算出された前記複数の運動の推定候補の各々の信頼度に基づいて、前記複数の運動の推定候補のうちの何れか１つを、前記移動体の運動の推定結果として選択する運動推定手段と、
を含み、
前記候補算出手段は、前記複数の画像の各々から、前記複数の画像間で対応した特徴点を検索する検索手段と、前記検索された対応した特徴点の組み合わせを繰り返し選択し、前記繰り返し選択された前記対応した特徴点の組み合わせに基づいて、前記複数の画像の各々を撮像したときの前記移動体の位置及び姿勢の相対関係を表わす運動を繰り返し算出する運動算出手段を備え、前記運動算出手段によって繰り返し算出された前記運動を、前記複数の運動の推定候補とする運動推定装置。 Candidate calculation means for calculating a plurality of motion estimation candidates of the moving body based on a plurality of images obtained by imaging the outside of the moving body;
Motion measuring means for measuring the motion of the moving body;
For each of a plurality of motion estimation candidates calculated by the candidate calculation unit, a reliability calculation unit that calculates a reliability indicating how reliable the motion estimation candidate is,
Based on the motion of the moving body measured by the motion measurement means and the reliability of each of the plurality of motion estimation candidates calculated by the reliability calculation means, Motion estimation means for selecting any one as the motion estimation result of the moving body;
Only including,
The candidate calculation means repeatedly selects, from each of the plurality of images, a search means for searching for a corresponding feature point between the plurality of images, and a combination of the searched corresponding feature points, and is repeatedly selected. And a motion calculation means for repeatedly calculating a motion representing a relative relationship between a position and a posture of the moving body when each of the plurality of images is captured based on the combination of the corresponding feature points. The motion estimation apparatus that uses the motion calculated repeatedly by the motion estimation candidates as the plurality of motions . コンピュータを、
移動体の外部を撮像した複数の画像に基づいて、前記移動体の運動の推定候補を複数算出する候補算出手段、
前記候補算出手段によって算出された複数の運動の推定候補の各々について、該運動の推定候補がどれだけ信頼できるかを示す信頼度を算出する信頼度算出手段、及び
前記移動体の運動を計測する運動計測手段によって計測された前記移動体の運動、及び前記信頼度算出手段によって算出された前記複数の運動の推定候補の各々の信頼度に基づいて、前記複数の運動の推定候補のうちの何れか１つを、前記移動体の運動の推定結果として選択する運動推定手段
として機能させるためのプログラムであって、
前記運動推定手段は、前記運動計測手段によって計測された前記移動体の運動との差分の絶対値が閾値未満となる前記運動の推定候補のうち、算出された信頼度が最も高い運動の推定候補を選択するプログラム。 Computer
Candidate calculation means for calculating a plurality of motion estimation candidates of the moving body based on a plurality of images obtained by imaging the outside of the moving body,
For each of a plurality of motion estimation candidates calculated by the candidate calculation means, reliability calculation means for calculating the reliability indicating how reliable the motion estimation candidate is, and measuring the motion of the moving object Which of the plurality of motion estimation candidates is based on the motion of the moving body measured by the motion measurement means and the reliability of each of the plurality of motion estimation candidates calculated by the reliability calculation means. A program for functioning as one of motion estimation means for selecting one of them as the motion estimation result of the moving body ,
The motion estimation unit is a motion estimation candidate having the highest calculated reliability among the motion estimation candidates in which an absolute value of a difference from the motion of the moving body measured by the motion measurement unit is less than a threshold value. Select the program . コンピュータを、
移動体の外部を撮像した複数の画像に基づいて、前記移動体の運動の推定候補を複数算出する候補算出手段、
前記候補算出手段によって算出された複数の運動の推定候補の各々について、該運動の推定候補がどれだけ信頼できるかを示す信頼度を算出する信頼度算出手段、及び
前記移動体の運動を計測する運動計測手段によって計測された前記移動体の運動、及び前記信頼度算出手段によって算出された前記複数の運動の推定候補の各々の信頼度に基づいて、前記複数の運動の推定候補のうちの何れか１つを、前記移動体の運動の推定結果として選択する運動推定手段
として機能させるためのプログラムであって、
前記運動推定手段は、前記複数の運動の推定候補の全てについて、計測された前記移動体の運動との差分の絶対値が閾値以上となる場合、又は、算出された信頼度が信頼度に関する閾値未満である場合、計測された前記移動体の運動を、前記移動体の運動の推定結果とするプログラム。 Computer
Candidate calculation means for calculating a plurality of motion estimation candidates of the moving body based on a plurality of images obtained by imaging the outside of the moving body,
For each of a plurality of motion estimation candidates calculated by the candidate calculation means, reliability calculation means for calculating the reliability indicating how reliable the motion estimation candidate is, and measuring the motion of the moving object Which of the plurality of motion estimation candidates is based on the motion of the moving body measured by the motion measurement means and the reliability of each of the plurality of motion estimation candidates calculated by the reliability calculation means. A program for functioning as one of motion estimation means for selecting one of them as the motion estimation result of the moving body ,
The motion estimation means is configured such that, for all of the plurality of motion estimation candidates, the absolute value of the difference from the measured motion of the moving body is equal to or greater than a threshold value, or the calculated reliability is a threshold value related to reliability. When it is less than this, the program which makes the measured motion of the said mobile body the estimation result of the motion of the said mobile body . コンピュータを、
移動体の外部を撮像した複数の画像に基づいて、前記移動体の運動の推定候補を複数算出する候補算出手段、
前記候補算出手段によって算出された複数の運動の推定候補の各々について、該運動の推定候補がどれだけ信頼できるかを示す信頼度を算出する信頼度算出手段、及び
前記移動体の運動を計測する運動計測手段によって計測された前記移動体の運動、及び前記信頼度算出手段によって算出された前記複数の運動の推定候補の各々の信頼度に基づいて、前記複数の運動の推定候補のうちの何れか１つを、前記移動体の運動の推定結果として選択する運動推定手段
として機能させるためのプログラムであって、
前記候補算出手段は、前記複数の画像の各々から、前記複数の画像間で対応した特徴点を検索する検索手段と、前記検索された対応した特徴点の組み合わせを繰り返し選択し、前記繰り返し選択された前記対応した特徴点の組み合わせに基づいて、前記複数の画像の各々を撮像したときの前記移動体の位置及び姿勢の相対関係を表わす運動を繰り返し算出する運動算出手段を備え、前記運動算出手段によって繰り返し算出された前記運動を、前記複数の運動の推定候補とするプログラム。 Computer
Candidate calculation means for calculating a plurality of motion estimation candidates of the moving body based on a plurality of images obtained by imaging the outside of the moving body,
For each of a plurality of motion estimation candidates calculated by the candidate calculation means, reliability calculation means for calculating the reliability indicating how reliable the motion estimation candidate is, and measuring the motion of the moving object Which of the plurality of motion estimation candidates is based on the motion of the moving body measured by the motion measurement means and the reliability of each of the plurality of motion estimation candidates calculated by the reliability calculation means. A program for functioning as one of motion estimation means for selecting one of them as the motion estimation result of the moving body ,
The candidate calculation means repeatedly selects, from each of the plurality of images, a search means for searching for a corresponding feature point between the plurality of images, and a combination of the searched corresponding feature points, and is repeatedly selected. And a motion calculation means for repeatedly calculating a motion representing a relative relationship between a position and a posture of the moving body when each of the plurality of images is captured based on the combination of the corresponding feature points. The program which makes the said exercise | movement calculated repeatedly by the estimation candidate of these some exercise | movement .
JP2008322283A 2008-12-18 2008-12-18 Motion estimation apparatus and program Expired - Fee Related JP5267100B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008322283A JP5267100B2 (en) 2008-12-18 2008-12-18 Motion estimation apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008322283A JP5267100B2 (en) 2008-12-18 2008-12-18 Motion estimation apparatus and program

Publications (2)

Publication Number Publication Date
JP2010145219A JP2010145219A (en) 2010-07-01
JP5267100B2 true JP5267100B2 (en) 2013-08-21

Family

ID=42565813

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008322283A Expired - Fee Related JP5267100B2 (en) 2008-12-18 2008-12-18 Motion estimation apparatus and program

Country Status (1)

Country Link
JP (1) JP5267100B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5609667B2 (en) * 2011-01-19 2014-10-22 株式会社豊田中央研究所 Motion estimation apparatus and program
JP5772321B2 (en) * 2011-07-12 2015-09-02 アイシン精機株式会社 Vehicle detection device, vehicle detection method, and program
JP2016045874A (en) 2014-08-26 2016-04-04 ソニー株式会社 Information processor, method for information processing, and program
EP3447442A4 (en) * 2016-06-01 2019-05-01 Mitsubishi Electric Corporation Positioning device, positioning method, and positioning program
CN110728710B (en) * 2018-07-16 2023-10-27 株式会社理光 Visual mileage calculation method, device and computer readable storage medium

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4425383B2 (en) * 1999-09-17 2010-03-03 株式会社データ・テック Sensor unit
JP2006350897A (en) * 2005-06-20 2006-12-28 Toyota Central Res & Dev Lab Inc Motion measurement device
JP4943034B2 (en) * 2006-03-23 2012-05-30 株式会社デンソーアイティーラボラトリ Stereo image processing device
JP4800163B2 (en) * 2006-09-29 2011-10-26 株式会社トプコン Position measuring apparatus and method
JP2009074861A (en) * 2007-09-19 2009-04-09 Toyota Central R&D Labs Inc Travel measuring device and position measuring device
JP4985420B2 (en) * 2008-01-18 2012-07-25 トヨタ自動車株式会社 Floor surface detection system, mobile robot, and floor surface detection method

Also Published As

Publication number Publication date
JP2010145219A (en) 2010-07-01

Similar Documents

Publication Publication Date Title
JP4809291B2 (en) Measuring device and program
JP5992184B2 (en) Image data processing apparatus, image data processing method, and image data processing program
US9163940B2 (en) Position/orientation measurement apparatus, measurement processing method thereof, and non-transitory computer-readable storage medium
US11830216B2 (en) Information processing apparatus, information processing method, and storage medium
US8059887B2 (en) System and method for providing mobile range sensing
JP5027747B2 (en) POSITION MEASUREMENT METHOD, POSITION MEASUREMENT DEVICE, AND PROGRAM
KR100855657B1 (en) System for estimating self-position of the mobile robot using monocular zoom-camara and method therefor
JP6584208B2 (en) Information processing apparatus, information processing method, and program
CN110942470B (en) Image processing apparatus and method
US9914222B2 (en) Information processing apparatus, control method thereof, and computer readable storage medium that calculate an accuracy of correspondence between a model feature and a measurement data feature and collate, based on the accuracy, a geometric model and an object in an image
JP4810893B2 (en) Distance measuring device
CN107941212B (en) Vision and inertia combined positioning method
KR101737950B1 (en) Vision-based navigation solution estimation system and method in terrain referenced navigation
JP5267100B2 (en) Motion estimation apparatus and program
CN103900473A (en) Intelligent mobile device six-degree-of-freedom fused pose estimation method based on camera and gravity inductor
JP6626338B2 (en) Information processing apparatus, control method for information processing apparatus, and program
JP6410231B2 (en) Alignment apparatus, alignment method, and computer program for alignment
JP6922348B2 (en) Information processing equipment, methods, and programs
CN107945166B (en) Binocular vision-based method for measuring three-dimensional vibration track of object to be measured
JP4935769B2 (en) Plane region estimation apparatus and program
KR101340555B1 (en) Apparatus and method for generating base view image
US9245343B1 (en) Real-time image geo-registration processing
JP6734994B2 (en) Stereo measuring device and system
JP5609667B2 (en) Motion estimation apparatus and program
JP5152144B2 (en) Image processing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130115

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130422

R151 Written notification of patent or utility model registration

Ref document number: 5267100

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees