JP4810893B2 - Distance measuring device - Google Patents
Distance measuring device Download PDFInfo
- Publication number
- JP4810893B2 JP4810893B2 JP2005179087A JP2005179087A JP4810893B2 JP 4810893 B2 JP4810893 B2 JP 4810893B2 JP 2005179087 A JP2005179087 A JP 2005179087A JP 2005179087 A JP2005179087 A JP 2005179087A JP 4810893 B2 JP4810893 B2 JP 4810893B2
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- plane
- points
- point
- moving body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、路面上を走行する移動体に搭載して該移動体の外界に位置する物体までの距離を計測する距離計測装置に関する。
本発明は、単眼の画像撮像手段を備えた移動体から外界に位置する物体までの距離を走行中の外乱などに対してロバストに測定する際に大いに有用なものである。
The present invention relates to a distance measuring device that is mounted on a moving body that travels on a road surface and measures a distance to an object that is located outside the moving body.
INDUSTRIAL APPLICABILITY The present invention is very useful for robustly measuring the distance from a moving body equipped with a monocular imaging device to an object located in the outside world against disturbances during traveling.
移動体に搭載された単眼の画像撮像手段を用いてその移動体の移動量を測ることを可能とする従来技術としては、例えば下記の特許文献１に開示されているものがあるが、この従来技術においては、走行中の移動体のピッチ角の動的な変動に対する考慮がなされていないので、走行中にその移動体のピッチ角が動的に変動した場合や、或いは、路面の勾配又は曲率が大きな場合などには、その移動量や外界の物体までの距離を正確に求めることはできない。 As a conventional technique that makes it possible to measure the amount of movement of a moving body using a monocular imaging device mounted on the moving body, for example, there is one disclosed in Patent Document 1 below. In the technology, no consideration is given to the dynamic fluctuation of the pitch angle of the moving body while traveling, and the case where the pitch angle of the moving body dynamically varies during traveling, or the gradient or curvature of the road surface. When is large, the amount of movement and the distance to the object in the outside world cannot be obtained accurately.
この様な問題を解決するために提案されたその他の従来装置としては、例えば下記の特許文献２に開示されているものがある。この従来装置は、車両に搭載された単眼の撮像手段と、自車両の車速を検出する車速センサと、撮像手段によって得られた画像内で、道路近傍に固定された構造体を検出する構造体検出手段と、その構造体の画像変化の状態と自車両の車速とに基づいて、撮像手段からその構造体までの距離を推定する構造体距離推定手段と、画像上で走行路上に存在する計測対象の物体と上記の構造体との画像上の位置関係に基づいて撮像手段からその計測対象の物体までの距離を推定する物体距離推定手段とを備える点に特徴がある。 As another conventional apparatus proposed for solving such a problem, for example, there is one disclosed in Patent Document 2 below. This conventional apparatus includes a monocular imaging unit mounted on a vehicle, a vehicle speed sensor that detects the vehicle speed of the host vehicle, and a structure that detects a structure fixed in the vicinity of the road in an image obtained by the imaging unit. Detection means, structure distance estimation means for estimating the distance from the imaging means to the structure based on the state of image change of the structure and the vehicle speed of the host vehicle, and measurement existing on the road on the image It is characterized by comprising object distance estimating means for estimating the distance from the imaging means to the object to be measured based on the positional relationship on the image between the target object and the structure.
この従来装置では、移動体の移動中に相異なる位置姿勢で撮像された２枚の画像を用いてそれら２時刻間における該移動体の相対的な位置姿勢を求めるが、その際に、その位置関係における並進成分の絶対値、即ち、その２点間の距離をもこの２枚の画像から求めることは困難であるので、車速センサとタイマーを使った距離演算処理によってその２点間の距離を補足している。
しかしながら、上記の特許文献２に記載されている従来装置では、車速センサを必須の構成要素としているので、車速センサとのインターフェイスを具備しなければ、この様な従来装置を有効に動作させることはできない。
また、このため、車速センサを備えていない例えばロボットなどの様な各種の移動体へのこの従来装置の応用を期待することはできない。
However, since the vehicle speed sensor is an indispensable constituent element in the conventional device described in Patent Document 2 described above, such a conventional device cannot be effectively operated unless an interface with the vehicle speed sensor is provided. Can not.
For this reason, the application of this conventional apparatus to various moving bodies such as robots that do not include a vehicle speed sensor cannot be expected.
本発明は、上記の課題を解決するために成されたものであり、その目的は、単眼の画像撮像手段を外界情報取得手段とし、車速センサとのインターフェイス又は車速センサ自身、或いはＧＰＳなどを利用した測位装置等を装置構成の必須要件としない、距離計測装置を実現することである。 The present invention has been made to solve the above-mentioned problems, and its purpose is to use a monocular image capturing means as external information acquisition means, and use an interface with the vehicle speed sensor, the vehicle speed sensor itself, or GPS. It is to realize a distance measuring device that does not make the positioning device etc. an essential requirement of the device configuration.
上記の課題を解決するためには、以下の手段が有効である。
即ち、本発明の第１の手段は、路面上を走行する移動体に搭載して該移動体の外界に位置する物体までの距離を計測する距離計測装置において、外界の画像を撮像する単眼の画像撮像手段と、撮像時刻が相異なる２つの画像間で特徴が一致する外界の不動点であって、２点１組から成る不動点の組を少なくとも８組以上求める対応点検出手段と、対応点検出手段により求められた画像上における不動点のうち８組の不動点の平面座標に基づいて、相異なる２つの撮像時刻の間における移動体の相対的な位置姿勢を求める位置姿勢検出手段と、位置姿勢検出手段により求められた位置姿勢に基づいて、対応点検出手段により求められた不動点の平面座標に対応する三次元空間上における空間座標Ｑを任意のスケールで暫定的に求める空間座標算出手段と、空間座標算出手段により求められた不動点の空間座標Ｑの集合から、走行中の路面が存在する可能性の高い路面候補領域に位置する不動点を路面候補点として選択して、路面候補点の空間座標Ｑ G の集合を求める路面候補点選抜手段と、路面候補点選抜手段により求められた路面候補点の空間座標Ｑ G の集合から、走行中の路面を近似的に表す近似平面の平面方程式を求める路面平面推定手段と、移動体における画像撮像手段の路面からの取り付け高さｈと路面平面推定手段により求められた平面方程式に基づいて、スケールを求めるスケール決定手段と、スケールに基づいて、空間座標算出手段により求められた不動点の空間座標Ｑを修正して、不動点の修正空間座標を求める空間座標修正手段とを有し、空間座標修正手段により求められた不動点の修正空間座標に基づいて、移動体から物体までの距離を求めることを特徴とする。
In order to solve the above problems, the following means are effective.
That is, the first means of the present invention is a monocular that captures an image of the outside world in a distance measurement device that is mounted on a mobile body that travels on a road surface and measures the distance to an object located in the outside world of the mobile body. Corresponding to image pick-up means and corresponding point detecting means for obtaining at least eight sets of fixed points of the external world having the same characteristics between two images having different pick-up times , and comprising two sets of fixed points Position and orientation detection means for obtaining a relative position and orientation of the moving body between two different imaging times based on the plane coordinates of the eight fixed points of the fixed points on the image obtained by the point detection means; Based on the position / orientation obtained by the position / orientation detection means, spatial coordinates for provisionally obtaining the spatial coordinate Q on the three-dimensional space corresponding to the plane coordinates of the fixed point obtained by the corresponding point detection means at an arbitrary scale Calculation And a fixed point located in a road surface candidate area where a traveling road surface is likely to exist is selected as a road surface candidate point from a set of spatial coordinates Q of the fixed points obtained by the space coordinate calculating unit, and a road surface and the road candidate point selection means for determining a set of spatial coordinates Q G of the candidate points, from a set of spatial coordinates Q G of the road candidate points determined by the road surface candidate point selection means, an approximate plane representing a road surface during running at approximately A road plane estimation means for obtaining a plane equation of the vehicle, a scale determining means for obtaining a scale based on a plane equation obtained by the height h of the moving body from the road surface of the image pickup means and the plane surface estimation means, and a scale based on, to fix the spatial coordinates Q of fixed point determined by the spatial coordinate calculating means, possess a spatial coordinate correcting means for obtaining a corrected spatial coordinates of the fixed point, the spatial coordinate correcting means Based on the order it was corrected spatial coordinates of the fixed point, and obtains the distance to the object from the moving body.
ただし、上記の空間座標暫定手段は、不動点の三次元空間上における上記の空間座標Ｑを求めるものであるが、上記の不動点に対する各種の取り扱いは、同時または並行に略同様に実施し得るその他の動点の取り扱いを特段妨げるものではない。その様な動点に係わる実施形態は、付加的または付随的なもので有り得、任意で良い。 However, although the spatial coordinate provisional means obtains the spatial coordinates Q in the three-dimensional space of the fixed points, various kinds of handling for the fixed points can be performed in substantially the same manner simultaneously or in parallel. It does not interfere with the handling of other moving points. Embodiments involving such moving points may be additional or incidental and may be arbitrary.
また、本発明において、路面方程式暫定手段として、上記の不動点の空間座標Ｑの集合から走行中の路面上に位置する可能性が高い路面候補点の空間座標ＱG の集合を選り抜く路面候補点選抜手段を設け、この路面候補点選抜手段によって、画像上で定義される所定の路面候補領域上に撮像された不動点を路面候補点として選抜するようにしても良い。 Further, in the present invention, as the road surface equation provisional means, spatial coordinates Q G set the cull road candidates of likely road candidate points located on the road surface during running from the set of spatial coordinates Q of the fixed point Point selection means may be provided, and by this road surface candidate point selection means, a fixed point imaged on a predetermined road surface candidate area defined on the image may be selected as a road surface candidate point .
また、本発明の第２の手段は、上記の第１の手段において、路面候補点選抜手段によって選抜される路面候補点が上記の近似平面上又はその近傍に多く集中する様に、上記の路面候補領域の範囲を随時動的に再定義する候補領域最適化手段を設けることである。 Further, the second means of the present invention is the above-mentioned road surface so that the road surface candidate points selected by the road surface candidate point selection means in the first means are concentrated on the approximate plane or in the vicinity thereof. It is to provide candidate area optimization means for dynamically redefining the range of the candidate area as needed.
ただし、この様な最適化の方式としては、例えば、撮像された画像の各部の濃淡によってその路面候補領域を再定義（最適化）する方式や、路面上に描かれた白線などを検出してそれらを利用することによってその路面候補領域を再定義する方式や、例外値を継続的に与え続ける画像上の部分領域を随時除外しつつその路面候補領域を再定義する方式などが考えられる。勿論、これらの方式は、任意に適当に組み合わせても良い。 However, as such an optimization method, for example, a method of redefining (optimizing) the road surface candidate area based on the density of each part of the captured image, a white line drawn on the road surface, or the like is detected. A method of redefining the road surface candidate region by using them, a method of redefining the road surface candidate region while excluding a partial region on the image that continuously gives an exceptional value, and the like can be considered. Of course, these methods may be arbitrarily combined appropriately.
また、本発明の第３の手段は、上記の第１又は第２の手段において、路面平面推定手段を、周知のＬＭｅｄＳ法（The Least Median Squares method ）を用いて上記の平面方程式を求める手段としたことである。 According to a third means of the present invention, in the first or second means, the road surface plane estimating means is a means for obtaining the plane equation using the well-known LMedS method (The Least Median Squares method). It is that.
ただし、本発明に適用可能なロバストな推定方法は、ＬＭｅｄＳ法に限定されるものではなく、周知または任意のロバスト推定方法を適用することができる。その様なロバスト推定方法としては例えば、誤差に適当な重み付けをするＭ-estimator等の各種の推定方法が存在する。
以上の本発明の手段により、前記の課題を効果的、或いは合理的に解決することができる。
However, the robust estimation method applicable to the present invention is not limited to the LMedS method, and a known or arbitrary robust estimation method can be applied. As such a robust estimation method, for example, there are various estimation methods such as an M-estimator that appropriately weights errors.
By the above means of the present invention, the above-mentioned problem can be effectively or rationally solved.
以上の本発明の手段によって得られる効果は以下の通りである。
即ち、本発明の第１の手段によれば、移動体が走行中の路面に対する近似平面の傾きを動的に随時正確に求めることができるので、画像撮像手段のカメラ視点の路面に対する高さｈが既知定数であることを利用して上記の空間座標Ｑのスケールを正しく算出することができる。したがって、本発明の第１の手段によれば、走行中にその移動体のピッチ角が動的に変動した場合や、或いは、路面の勾配又は曲率が大きな場合であっても、走行中の該移動体の外界に位置する物体までの距離を、車速センサを用いなくても正確に計測することができる。
The effects obtained by the above-described means of the present invention are as follows.
That is, according to the first means of the present invention, the inclination of the approximate plane with respect to the road surface on which the moving body is traveling can be obtained dynamically and accurately at any time. Is a known constant, and the scale of the spatial coordinate Q can be calculated correctly. Therefore, according to the first means of the present invention, even when the pitch angle of the moving body fluctuates dynamically during traveling or when the road surface has a large gradient or curvature, It is possible to accurately measure the distance to an object located outside the moving body without using a vehicle speed sensor.
また、路面の傾きを推定するために用いる不動点の座標データを、走行中の路面上に位置する可能性が高い不動点（路面候補点）の座標データだけに簡単に絞り込むことができる。このため、路面の傾きを推定する処理のオーバーヘッドを効果的に削減することができると同時に、その推定精度を効果的に高めることができる。 Further, it is possible to narrow down the coordinate data of the fixed point to be used to estimate the inclination of the road surface, only the easily coordinate data of the road surface is likely to be located on the fixed point of the traveling (the road candidate points). For this reason, when it is possible to reduce the processing overhead for estimating the inclination of the road surface effectively at the same time, it is possible to enhance the estimation accuracy effectively.
また、本発明の第２の手段によれば、上記の路面候補領域が随時動的に最適化されるので、路面の傾きを推定するために用いる不動点の座標データを、走行中の路面上に位置する可能性がより高い不動点（路面候補点）の座標データだけに、更に効果的に絞り込むことができる。このため、本発明の第２の手段によれば、路面の傾きを推定する処理のオーバーヘッドを更に効果的に削減することができると同時に、その推定精度を更に効果的に高めることができる。 Further, according to the second means of the present invention, the above road surface candidate area is dynamically optimized as needed, so that the coordinate data of the fixed point used for estimating the inclination of the road surface is obtained on the road surface being traveled. It is possible to more effectively narrow down only to the coordinate data of a fixed point (road surface candidate point) that is more likely to be located in For this reason, according to the second means of the present invention, it is possible to further effectively reduce the overhead of the process of estimating the slope of the road surface, and at the same time, it is possible to further increase the estimation accuracy.
また、本発明によれば、キャリブレーション行列や基礎行列などを用いた周知の数学的手法に準拠して、上記の空間座標を最も簡単かつ合理的に構成することができる。したがって、本発明によれば、オーバーヘッドの少ない手段を簡潔に構成することができる。 Further , according to the present invention, the spatial coordinates can be configured most simply and rationally in accordance with a well-known mathematical method using a calibration matrix, a basic matrix, or the like. Therefore, according to this onset bright, it can be briefly constituting the small iterator stage overhead.
また、本発明の第３の手段によれば、路面の傾きをロバストに推定することが容易となる。即ち、例えば最小二乗法を用いた場合には、例外値を与えるデータが多い時や、例外値の外れ方が大きい時などに、所望の推定値（路面の傾き）に対してそれらの例外値が大きな影響を及ぼすことがあるが、本発明の第３の手段は、ロバストな推定方法に準拠するものであるので、本発明の第３の手段によれば、所望の推定値が例外値から大きな影響を受けることがない。 Further, according to the third means of the present invention, it is easy to robustly estimate the slope of the road surface. That is, for example, when the least square method is used, when there is a lot of data that gives an exceptional value, or when the deviation of the exceptional value is large, those exceptional values with respect to the desired estimated value (road slope) However, since the third means of the present invention complies with the robust estimation method, according to the third means of the present invention, the desired estimated value is obtained from the exceptional value. There is no significant influence.
以下、本発明を具体的な実施例に基づいて説明する。
ただし、本発明の実施形態は、以下に示す個々の実施例に限定されるものではない。
Hereinafter, the present invention will be described based on specific examples.
However, the embodiments of the present invention are not limited to the following examples.
図１に、本実施例１の距離計測装置１００の論理的な基本構造を示す。この距離計測装置１００は、路面上を走行する移動体に搭載して該移動体の外界に位置する物体までの距離を計測するための装置である。この距離計測装置１００の主要構成は、外界の画像を撮像する単眼の画像撮像手段１と、撮像時刻が相異なる複数の画像に基づいてそれらの画像上に撮像された外界の不動点の三次元空間上における空間座標Ｑを任意のスケールで暫定的に求める空間座標暫定手段２と、この暫定された不動点の空間座標Ｑに基づいて、走行中の路面を近似的に表す近似平面の平面方程式を暫定的に求める路面方程式暫定手段３と、該移動体における画像撮像手段１の路面からの取り付け高さｈと上記の平面方程式に基づいて、上記のスケールを求めるスケール決定手段４と、このスケールに基づいて上記の空間座標Ｑを修正する空間座標修正手段５から成っている。 FIG. 1 shows a logical basic structure of the distance measuring apparatus 100 according to the first embodiment. The distance measuring device 100 is a device that is mounted on a moving body that travels on a road surface and measures the distance to an object that is located outside the moving body. The main configuration of the distance measuring apparatus 100 includes a monocular image capturing unit 1 that captures an image of the outside world, and a three-dimensional fixed point of the outside world that is captured on the images based on a plurality of images having different imaging times. A spatial coordinate provisional means 2 that provisionally obtains a spatial coordinate Q on an arbitrary scale, and a plane equation of an approximate plane that approximately represents the road surface being traveled based on the provisional spatial coordinate Q of the fixed point. Tentatively obtaining road surface equation 3, scale determining means 4 for obtaining the scale based on the mounting height h of the image pickup means 1 from the road surface on the moving body and the plane equation, and the scale The spatial coordinate correcting means 5 corrects the spatial coordinate Q based on the above.
また、上記の空間座標暫定手段２は、相異なる２つの画像間で特徴が一致する２点１組から成る特徴点の組を少なくとも８組以上求める対応点検出手段２１と、それらの画像上における各特徴点の組の各特徴点の平面座標（ｘ１，ｘ２）に基づいて相異なる２つの撮像時刻の間における上記の移動体の相対的な位置姿勢を求める位置姿勢検出手段２２を備えている。以下、この２点１組の平面座標（ｘ１，ｘ２）のことを対応点と言う。更にこの空間座標暫定手段２は、これらの各手段（対応点検出手段２１、位置姿勢検出手段２２）の出力結果に基づいて、それらの各対応点の三次元空間上における空間座標Ｑを算出する空間座標算出手段２３を備えている。 In addition, the spatial coordinate provisional means 2 described above includes corresponding point detection means 21 that obtains at least eight sets of feature points each consisting of a set of two points whose features match between two different images, and on the images. Position / orientation detection means 22 for obtaining the relative position / orientation of the moving body between two different imaging times based on the plane coordinates (x1, x2) of each feature point of each feature point set is provided. . Hereinafter, the two-point set of plane coordinates (x1, x2) is referred to as a corresponding point. Furthermore, the spatial coordinate provisional means 2 calculates the spatial coordinates Q in the three-dimensional space of these corresponding points based on the output results of these respective means (corresponding point detecting means 21 and position / orientation detecting means 22). Spatial coordinate calculation means 23 is provided.
また、上記の路面方程式暫定手段３は、検出された不動点の空間座標Ｑの集合から、走行中の路面上に位置する可能性が高い路面候補点の空間座標ＱG の集合を選り抜く路面候補点選抜手段３１を備えている。更に、この路面方程式暫定手段３には、周知のＬＭｅｄＳ法（The Least Median Squares method ）を用いて上記の平面方程式を求める路面平面推定手段３２が備えられている。 Also, the road surface equation provisional means 3 selects a set of spatial coordinates Q G of road surface candidate points that are likely to be located on the traveling road surface from a set of detected spatial coordinates Q of fixed points. Candidate point selection means 31 is provided. Further, the road surface equation provisional means 3 is provided with road surface plane estimation means 32 for obtaining the above plane equation using the well-known LMedS method (The Least Median Squares method).
図２のハードウェア構成図は、上記の距離計測装置１００のシステム構成を具体的な物理的構成に対応させて書いたものである。上記の距離計測装置１００は、物理的には図中の電子制御ユニット１００Ａと、上記の画像撮像手段１に対応する単眼のカメラ１００Ｂから構成されている。一方、上記の各演算処理手段（２，３，４，５などの各手段）は、図中の電子制御ユニット１００Ａによって実現されている。
例えば、ＲＯＭ１０２には、これらの各手段（２，３，４，５）を実現する制御プログラムが格納されている。ＣＰＵ１０１はＲＡＭ１０３が供する記憶領域を制御プログラムのロード領域や作業領域などとして用いる。インターフェイス部１０４は、入出力チャネルなどから成り、例えばカメラ１００Ｂ等との入出力処理に介在する。
The hardware configuration diagram of FIG. 2 is a diagram illustrating the system configuration of the distance measuring apparatus 100 described above corresponding to a specific physical configuration. The distance measuring apparatus 100 is physically composed of an electronic control unit 100A in the figure and a monocular camera 100B corresponding to the image capturing means 1. On the other hand, each arithmetic processing means (each means such as 2, 3, 4, 5) is realized by an electronic control unit 100A in the figure.
For example, the ROM 102 stores a control program for realizing each of these means (2, 3, 4, 5). The CPU 101 uses the storage area provided by the RAM 103 as a load area or work area for the control program. The interface unit 104 includes input / output channels and the like, and is interposed in input / output processing with the camera 100B, for example.
以下、図３のゼネラルフローチャートを用いて、上記の距離計測装置１００の制御手順を説明する。上記の距離計測装置１００は、以下に説明するステップ３１０〜ステップ３５０をそれぞれ順次所定の撮像周期にしたがって、周期的に繰り返し実行する装置である。
まず最初に、ステップ３１０では、図１の画像撮像手段１により、互いに相異なる位置で撮像された複数の画像を、空間座標暫定手段２の初段を構成する対応点検出手段２１と、路面方程式暫定手段３の初段を構成する路面候補点選抜手段３１に出力する。
Hereinafter, the control procedure of the distance measuring apparatus 100 will be described with reference to the general flowchart of FIG. The distance measuring apparatus 100 is an apparatus that repeatedly executes steps 310 to 350 described below periodically in accordance with a predetermined imaging cycle.
First, in step 310, a plurality of images captured at different positions by the image capturing unit 1 of FIG. 1, the corresponding point detection unit 21 constituting the first stage of the spatial coordinate provisional unit 2, and the road surface equation provisional It outputs to the road surface candidate point selection means 31 which comprises the first stage of the means 3.
次に、ステップ３２０では、図１の空間座標暫定手段２によって、微分処理などによる特徴点の抽出処理やその特徴点に対する追跡処理などを実行して、各画像が撮像された２時刻間で対応する特徴点の組（即ち、上記の対応点（ｘ１，ｘ２））を求め、各対応点の３次元空間における空間座標Ｑを任意のスケールＳで暫定的に算出する。 Next, at step 320, the spatial coordinate provisional means 2 in FIG. 1 executes a feature point extraction process such as a differentiation process or a tracking process for the feature point, and responds between two times when each image is captured. A pair of feature points (that is, the corresponding points (x1, x2) described above) is obtained, and spatial coordinates Q in the three-dimensional space of each corresponding point are provisionally calculated with an arbitrary scale S.
この時、まず最初に、上記の対応点検出手段２１では、入力された複数の画像から特徴点を抽出する。ただし、ここで特徴点とは、周囲のその他の点とは区別できる追跡の容易な点のことを言う。これらの特徴点は２次元的に濃淡変化の勾配値が大きくなる画素を検出する方法（例えばTomasi-Kanade の方法やHarrisオペレータ）などを用いて上記の抽出処理を実行する。この時、各特徴点に対して、撮像時刻の異なる複数の画像間で対応する点とその周囲の点の輝度は変化しないという仮定を用いると、画像間で同定すべき特徴点、即ち、同一の不動点であることが期待される点の画像間での対応を容易に検出することができる。画像間で対応する点（即ち、上記の対応点（ｘ１，ｘ２））が求まると、それらの各平面座標（ｘ１，ｘ２）は、位置姿勢検出手段２２に出力される。 At this time, first, the corresponding point detection means 21 extracts feature points from a plurality of inputted images. However, the feature point here refers to an easily traceable point that can be distinguished from other surrounding points. For these feature points, the above-described extraction process is executed using a method (for example, the Tomasi-Kanade method or the Harris operator) that detects pixels in which the gradient value of the gradation change is two-dimensionally large. At this time, for each feature point, using the assumption that the brightness of a point corresponding to a plurality of images having different imaging times and the brightness of surrounding points does not change, the feature point to be identified between images, that is, the same It is possible to easily detect the correspondence between images that are expected to be fixed points. When the corresponding points between the images (that is, the corresponding points (x1, x2)) are obtained, the respective plane coordinates (x1, x2) are output to the position / orientation detection means 22.
以下、図４を用いて、抽出された特徴点（不動点）と移動体の運動との関係を説明する。位置姿勢検出手段２２は、対応点検出手段２１により検出された対応点から、画像が撮像されたときの撮像装置の相対的な位置姿勢を計算する。この画像間の位置姿勢は図４に示すように、回転行列Ｒと並進ベクトルｔで構成される。例えば、第一の画像上の特徴点の平面座標ｘ１に対応する第二の画像上の特徴点の平面座標をｘ２とする。これらは同一の不動点を示す点である。この時、カメラの撮像特性に依る画像の歪みを補正するキャリブレーション行列Ｋを用いれば、それらの関係は次式の様に表すことができる。ただし、ここで、行列Ｆは周知の基礎行列を表すものである。
以上の構成に従えば、上記の２時刻間における８組以上の互いに対応する特徴点の組（即ち、同一の不動点）が求まっていれば、それに基づいて上記の基礎行列Ｆを算出することができ、更に、この時、カメラのキャリブレーション行列Ｋが既知であれば、上記の式からも分かる様に、その２時刻間における移動体の運動（＝その２時刻間における該移動体の回転行列Ｒと並進ベクトルｔ）を求めることができる。
言い換えれば、２枚の画像間に８点以上の対応点（不動点）があれば、上記の位置姿勢検出手段２２によって、回転行列Ｒと並進ベクトルｔを計算することができる。
According to the above configuration, if eight or more pairs of feature points corresponding to each other (that is, the same fixed point) between the two times are obtained, the basic matrix F is calculated based on that. Furthermore, if the camera calibration matrix K is known at this time, as can be seen from the above formula, the movement of the moving body between the two times (= the rotation of the moving body between the two times) The matrix R and the translation vector t) can be determined.
In other words, if there are 8 or more corresponding points (fixed points) between two images, the position and orientation detection means 22 can calculate the rotation matrix R and the translation vector t.
ただし、実際には、求めた対応点が不動点を表していない場合も有り得るので、対応点検出手段２１によって、２０点〜２００点程度の対応点を求めておくことが望ましい。また、より望ましくは１００点前後の対応点を検出しておくと良い。この値を適当に定めておけば、処理の高速化と高い推定精度の確保を両立させることができる。
また、空間座標暫定手段２を実行する段階では、並進ベクトルｔの実際の大きさ（即ち、撮像実行の２時刻間における該移動体の移動距離）や、空間座標Ｑが定義されるべき座標系のスケールＳについては未知のままで良い。
However, in reality, there may be a case where the obtained corresponding point does not represent a fixed point. Therefore, it is desirable that the corresponding point detecting means 21 obtains about 20 to 200 corresponding points. It is more preferable to detect corresponding points of around 100 points. If this value is appropriately determined, it is possible to achieve both high-speed processing and high estimation accuracy.
Further, at the stage of executing the spatial coordinate provisional means 2, the actual size of the translation vector t (that is, the moving distance of the moving body between two times of execution of imaging) and the coordinate system in which the spatial coordinates Q are to be defined. The scale S may remain unknown.
その後、空間座標算出手段２３では、対応点検出手段２１により検出された対応点と、位置姿勢検出手段２２で検出された画像間の位置姿勢から、３角測量の原理により対応点の空間座標Ｑを計算する。このとき、撮像実行時の２時刻間における該移動体の移動距離は未知であるため、並進ベクトルｔの大きさをある適当な定数に暫定して、対応点の空間座標Ｑの計算を行う。 Thereafter, the spatial coordinate calculation means 23 calculates the spatial coordinates Q of the corresponding points based on the principle of triangulation from the corresponding points detected by the corresponding point detection means 21 and the position and orientation between the images detected by the position and orientation detection means 22. Calculate At this time, since the moving distance of the moving body between two times at the time of execution of imaging is unknown, the spatial coordinate Q of the corresponding point is calculated by provisionally setting the translation vector t to a certain appropriate constant.
次に、図３のステップ３３０では、図１の路面方程式暫定手段３によって、走行中の路面を平面近似して、その近似平面の方程式を暫定的に求める。言い換えれば、走行中の路面の３次元空間における傾きを表すパラメータ（ａ，ｂ，ｃ）を求める。
この時、まず最初に、前述の路面候補点選抜手段３１では、画像上で定義される所定の路面候補領域上に撮像されていた不動点の空間座標Ｑを路面候補点の空間座標ＱG として選抜する。画像上に定義される路面候補領域の定義形態を図５に例示する。例えばこの様に、画像上の路面候補領域は、予め画像平面領域の下部に適当な大きさで定義しておく。ただし、この路面候補領域は、随時動的に再定義しても良い（本発明の第３の手段）。その様な再定義の実現方式としては、例えば、画像の濃淡情報により路面候補領域を再定義（最適化）する方式や、路面上に描かれた白線を検出して路面候補領域を再定義する方式などが考えられる。
Next, in step 330 of FIG. 3, the road surface equation provisional means 3 of FIG. 1 approximates the running road surface in a plane and tentatively obtains an equation of the approximate plane. In other words, parameters (a, b, c) representing the inclination in the three-dimensional space of the traveling road surface are obtained.
At this time, first, in the road surface candidate point selection means 31 described above, the spatial coordinate Q of the fixed point imaged on the predetermined road surface candidate area defined on the image is used as the spatial coordinate Q G of the road surface candidate point. Select. FIG. 5 illustrates a definition form of the road surface candidate area defined on the image. For example, in this way, the road surface candidate area on the image is defined in advance with an appropriate size below the image plane area. However, this road surface candidate area may be dynamically redefined at any time (third means of the present invention). As a method for realizing such redefinition, for example, a method for redefining (optimizing) a road surface candidate region based on image density information, or a method for redefining a road surface candidate region by detecting a white line drawn on the road surface. Possible methods.
次に、次段の路面平面推定手段３２では、路面候補点選抜手段３１から得られた路面候補点の空間座標ＱG を用いて、該移動体が走行中の路面に対する近似平面を推定する。図６は、この時に実行される制御手順を表すフローチャートである。ここで推定すべき近似平面の方程式は、直交座標系（Ｘ，Ｙ，Ｚ）において、次式（１）の様に暫定することができる。
（近似平面の方程式）
ａＸ＋ｂＹ＋ｃＺ＝１ …（１）
Next, the road surface plane estimation means 32 in the next stage uses the spatial coordinates Q G of the road surface candidate points obtained from the road surface candidate point selection means 31 to estimate an approximate plane for the road surface on which the moving body is traveling. FIG. 6 is a flowchart showing a control procedure executed at this time. The equation of the approximate plane to be estimated here can be provisionally given by the following equation (1) in the orthogonal coordinate system (X, Y, Z).
(Equation of approximate plane)
aX + bY + cZ = 1 (1)
即ち、図１の路面平面推定手段３２では、この近似平面の傾きを示すパラメータａ，ｂ，ｃを求める。路面候補点の空間座標ＱG の集合には、路面上には無い空間座標も含まれ得るが、例えば図６の様にして、ＬＭｅｄＳ推定（ロバストな推定方法）を導入することによって、これらのパラメータａ，ｂ，ｃを正確に決定することができる。 That is, the road surface plane estimating means 32 in FIG. 1 obtains parameters a, b, and c indicating the inclination of the approximate plane. The set of spatial coordinates Q G of the road surface candidate points may include spatial coordinates that do not exist on the road surface. For example, by introducing LMedS estimation (robust estimation method) as shown in FIG. The parameters a, b and c can be determined accurately.
以下、図６を用いて、路面平面推定手段３２を実現するための制御手順を詳細に例示的に説明する。
まず最初にステップ５０５及びステップ５０８では、この路面平面推定処理の初期化、即ち変数ｎ，ｅ，ｉの初期設定を行う。例えば、実数Ｅ（＞０）は後述の中央値ｅＭとして許容可能な誤差の最大値である。また、自然数Ｉは上記の処理によって求められた路面候補点の数である。
Hereinafter, the control procedure for realizing the road plane estimation means 32 will be described in detail by way of example with reference to FIG.
First, in step 505 and step 508, initialization of the road surface plane estimation process, that is, initial setting of variables n, e, and i is performed. For example, the real number E (> 0) is the maximum allowable error as a median value eM described later. The natural number I is the number of road surface candidate points obtained by the above processing.
次に、ステップ５１０では、路面候補点選抜手段３１によって求められた路面候補点の空間座標ＱG の集合から、ランダムサンプリングによって３点をランダムに選択する。そして、この３点によって、次のステップ５１５では、所望の近似平面としてより相応しいか否かが評価されるべき平面が特定される。即ち、次のステップ５１５では、この３点を通る平面の傾き、即ち式（１）を満たす各係数ａ，ｂ，ｃを求める。
例えばこの様に、特にＬＭｅｄＳ法などを用いる場合には、最終的に求めるべきパラメータに対する推定処理は非線形の最適化問題に帰着するので、その最適化演算の高速化のためには準最適解を、例えば上記のステップ５１０の様なランダムサンプリングによって探索するRandom Sample Consensus 法が有効となる。
Next, in step 510, three points are randomly selected by random sampling from the set of spatial coordinates Q G of the road surface candidate points obtained by the road surface candidate point selection means 31. Then, by these three points, in the next step 515, a plane to be evaluated as to whether or not it is more suitable as a desired approximate plane is specified. That is, in the next step 515, the inclination of the plane passing through these three points, that is, the coefficients a, b, and c satisfying the equation (1) are obtained.
For example, in this way, particularly when using the LmedS method or the like, the estimation process for the parameter to be finally obtained results in a non-linear optimization problem. Therefore, in order to speed up the optimization operation, a sub-optimal solution is used. For example, the Random Sample Consensus method for searching by random sampling as in step 510 is effective.
次に、ステップ５２０〜５３０では、全ての路面候補点の各空間座標ＱG ＝（ｘi ，ｙi ，ｚi ）（１≦ｉ≦Ｉ）について、次式（２）を満たす誤差評価関数ｅ（ｉ）をそれぞれ求める。ただし、この時、これらの算出結果はその値の上昇順に配列して退避しておくものとする。
（誤差評価関数ｅ（ｉ））
ｅ（ｉ）＝（ａｘi ＋ｂｙi ＋ｃｚi −１）2 …（２）
Next, in steps 520 to 530, for each spatial coordinate Q G = (x i , y i , z i ) (1 ≦ i ≦ I) of all road surface candidate points, an error evaluation function that satisfies the following equation (2): Each e (i) is obtained. However, at this time, these calculation results are arranged and saved in the ascending order of the values.
(Error evaluation function e (i))
e (i) = (ax i + by i + cz i −1) 2 (2)
次に、ステップ５４０では、上昇順に退避された上記の算出結果（：Ｉ個のｅ（ｉ））の中央値を変数ｅＭに格納する。ただし、ここで言う中央値とは、上昇順に配列されたＩ／２番目または（Ｉ＋１）／２番目の誤差評価関数ｅ（ｉ）のことを言う。
次に、ステップ５４５では、変数ｅと変数ｅＭとの大小関係を判定し、ｅＭ＜ｅならばステップ５５０に、そうでなければステップ５７０に処理を移す。
Next, in step 540, the median of the above calculation results (: e (i)) saved in the ascending order is stored in the variable eM. However, the median here refers to the I / 2th or (I + 1) / 2th error evaluation function e (i) arranged in ascending order.
Next, in step 545, the magnitude relationship between the variable e and the variable eM is determined. If eM <e, the process proceeds to step 550, and if not, the process proceeds to step 570.
ステップ５５０では、以下に示す代入操作によって、各変数の内容を更新する。
（代入操作）
ｅ＝ｅＭ，Ａ＝ａ，Ｂ＝ｂ，Ｃ＝ｃ …（３）
ただし、上記の各退避領域Ａ，Ｂ，Ｃは、所望の近似平面の傾きを表す前述のパラメータ（ａ，ｂ，ｃ）の各値を該サブルーチンの呼出元に引き渡すための各引数領域を表している。
In step 550, the contents of each variable are updated by the following substitution operation.
(Assignment operation)
e = eM, A = a, B = b, C = c (3)
However, each of the save areas A, B, and C represents an argument area for transferring each value of the aforementioned parameter (a, b, c) indicating the inclination of a desired approximate plane to the caller of the subroutine. ing.
ステップ５６０では、このサブルーチンの終了条件を判定する。即ち、所定の正定数εよりも、上記の変数ｅの値が小さければ、本サブルーチンの呼出元に復帰し、そうでなければステップ５７０に処理を移す。また、ステップ５７０とステップ５７５によっても、終了条件が確認される。即ち、定数Ｎは、以上の処理の最大繰り返し回数を規定する自然数であり、この終了条件が成立しない場合には、再度ステップ５０８に戻って、もう一度次の平面の特定処理などからそれ以下の処理を繰り返す。そして、これらの繰り返しによって、最適なパラメータ（ａ，ｂ，ｃ）が最終的に選別される。即ち、以上の路面平面推定処理（路面平面推定手段３２）によって、所望の近似平面の傾き（ａ，ｂ，ｃ）が、ステップ５５０の出力領域（Ａ，Ｂ，Ｃ）に書き込まれる。 In step 560, the end condition of this subroutine is determined. That is, if the value of the variable e is smaller than the predetermined positive constant ε, the process returns to the calling source of this subroutine, and if not, the process proceeds to step 570. Further, the end condition is also confirmed in steps 570 and 575. That is, the constant N is a natural number that defines the maximum number of repetitions of the above process. If this end condition is not satisfied, the process returns to step 508 again, and the process below the next plane is specified again. repeat. Then, by repeating these steps, the optimum parameters (a, b, c) are finally selected. That is, the desired slope (a, b, c) of the approximate plane is written to the output area (A, B, C) in step 550 by the above road plane estimation process (road plane estimation means 32).
ただし、撮像状況や撮像状態などの各種の不測の事情によって、何れの中央値ｅＭも許容可能な誤差の最大値Ｅを下回ることがなかった場合には、上記の出力領域（Ａ，Ｂ，Ｃ）は更新されない。したがって、この様な場合には、前回の撮像周期で求めたパラメータ（ａ，ｂ，ｃ）の値が継続的に採用される。
例えば以上の様にして、ロバストな推定演算を実行することができる。また、上記のパラメータＩ，Ｎ，Ｅ，εや、このサブルーチンの実行周期（即ち、撮像周期）などを最適化することにより、本サブルーチンの推定処理における演算処理オーバーヘッドの削減と推定精度の向上とを同時に合理的に両立することができる。
However, if any median eM does not fall below the maximum allowable error E due to various unforeseen circumstances such as the imaging situation or imaging status, the above output areas (A, B, C ) Is not updated. Therefore, in such a case, the values of the parameters (a, b, c) obtained in the previous imaging cycle are continuously adopted.
For example, a robust estimation operation can be executed as described above. In addition, by optimizing the parameters I, N, E, and ε and the execution period (that is, the imaging period) of the subroutine, the calculation processing overhead in the estimation process of the subroutine is reduced and the estimation accuracy is improved. Can be rationalized at the same time.
次に、図３のステップ３４０では、図１のスケール決定手段４によって、路面平面推定手段３２により推定した路面平面から、空間座標算出手段２３により計算された空間座標ＱのスケールＳを求める。この時、例えば、走行中の路面を近似する近似平面の傾きを図７のグラフに例示した様に、画像撮像手段１のカメラ視点を原点、光軸方向をＺ、画像の上向きの方向をＹとした座標系における、その近似平面のＹ軸切片の絶対値、即ち、暫定された空間座標Ｑの座標系におけるカメラ視点の該近似平面からの高さをＨとする。
この時、実際の撮像装置の設置高さをｈとすると、空間座標算出手段２３により計算された、即ち、空間座標暫定手段２によって暫定された空間座標ＱのスケールＳは、Ｓ＝Ｈ／ｈとして計算することができる。
Next, in step 340 of FIG. 3, the scale S of the spatial coordinate Q calculated by the spatial coordinate calculation means 23 is obtained from the road plane estimated by the road plane estimation means 32 by the scale determination means 4 of FIG. At this time, for example, as illustrated in the graph of FIG. 7, the inclination of the approximate plane that approximates the running road surface is illustrated by the camera viewpoint of the image pickup means 1 as the origin, the optical axis direction as Z, and the upward direction of the image as Y. Is the absolute value of the Y-axis intercept of the approximate plane, that is, the height of the camera viewpoint from the approximate plane in the coordinate system of the provisional spatial coordinate Q.
At this time, if the actual installation height of the imaging device is h, the scale S of the spatial coordinates Q calculated by the spatial coordinate calculating means 23, that is, provisional by the spatial coordinate provisioning means 2, is S = H / h. Can be calculated as
次に、図３のステップ３５０では、空間座標算出手段２３により計算された空間座標Ｑを修正対象として、図１の空間座標修正手段５によって、上記の様にして求めたスケールＳを用いて、各座標値を修正する。即ち、暫定された上記の空間座標ＱのスケールＳを用いれば、上記の各空間座標Ｑ：（Ｘ，Ｙ，Ｚ）＝ (ｘi ，ｙi ，ｚi ) をそのスケールＳに基づいて修正することができ、その結果、画像撮像手段１のカメラ視点を原点とした、移動体の外界における実際の３次元空間に対応する所望の直交座標（ｘ，ｙ，ｚ）を改めて、次式（４）の様にして得ることができる。
（修正後の空間座標Ｑ′）
Ｑ′：（ｘ，ｙ，ｚ）＝（ｘi ／Ｓ，ｙi ／Ｓ，ｚi ／Ｓ） …（４）
Next, in step 350 of FIG. 3, using the scale S obtained as described above by the spatial coordinate correcting unit 5 of FIG. Correct each coordinate value. That is, when the provisional scale S of the spatial coordinates Q is used, the spatial coordinates Q: (X, Y, Z) = (x i , y i , z i ) are corrected based on the scale S. As a result, the desired orthogonal coordinates (x, y, z) corresponding to the actual three-dimensional space in the external world of the moving object with the camera viewpoint of the image pickup means 1 as the origin are rewritten as It can be obtained as in 4).
(Spatial coordinate Q 'after correction)
Q ′: (x, y, z) = (x i / S, y i / S, z i / S) (4)
以上の手段を用いることにより、上記の距離計測装置１００を移動体に搭載すれば、走行中に路面の傾斜が動的に変化したり、移動体のピッチ角が動揺したりした場合にも、画像撮像手段１のカメラ視点からの、該移動体の外界にある、例えば電柱やガードレールや道路標識などの物体までの距離ｒを、次式（５）に従って正確に求めることができる。
（物体までの距離ｒ）
ｒ＝（ｘ2 ＋ｙ2 ＋ｚ2 ）1/2 ＝（ｘi 2 ＋ｙi 2 ＋ｚi 2 ）1/2 ／Ｓ …（５）
By using the above-described means, if the distance measuring device 100 is mounted on a moving body, even when the slope of the road surface changes dynamically during running or the pitch angle of the moving body fluctuates, The distance r from the camera viewpoint of the image pickup means 1 to an object such as a utility pole, guardrail, or road sign in the outside of the moving body can be accurately obtained according to the following equation (5).
(Distance r to object)
r = (x 2 + y 2 + z 2 ) 1/2 = (x i 2 + y i 2 + z i 2 ) 1/2 / S (5)
〔その他の変形例〕
本発明の実施形態は、上記の形態に限定されるものではなく、その他にも以下に例示される様な変形を行っても良い。この様な変形や応用によっても、本発明の作用に基づいて本発明の効果を得ることができる。
[Other variations]
The embodiment of the present invention is not limited to the above-described embodiment, and other modifications as exemplified below may be made. Even with such modifications and applications, the effects of the present invention can be obtained based on the functions of the present invention.
（変形例１）
例えば、上記の実施例１では、路面候補領域を画像平面上の固定領域としたが、路面候補領域は、随時動的に再定義することがより望ましい。その様な最適化技法を用いた構成（本発明の第３の手段）によれば、演算時間の短縮や近似平面の推定精度の向上を同時に効果的に図ることができる。その様な最適化の方式としては、例えば、撮像された画像の各部の濃淡によってその路面候補領域を再定義（最適化）する方式や、路面上に描かれた白線などを検出してそれらを利用することによってその路面候補領域を再定義する方式や、或いは、画像上に既に定義されている路面候補領域の中から、例外値を継続的に与え続ける部分領域を随時除外しつつその路面候補領域を再定義する方式などが考えられる。勿論、これらの方式は、任意に適当に組み合わせても良い。
(Modification 1)
For example, in the first embodiment, the road surface candidate area is a fixed area on the image plane. However, it is more preferable that the road surface candidate area is dynamically redefined as needed. According to the configuration using such an optimization technique (third means of the present invention), it is possible to effectively reduce the calculation time and improve the estimation accuracy of the approximate plane at the same time. As such an optimization method, for example, a method for redefining (optimizing) the road surface candidate area based on the density of each part of the captured image, or detecting a white line drawn on the road surface, etc. Can be used to redefine the road surface candidate area, or from among the road surface candidate areas already defined on the image, the road surface candidates while excluding any partial areas that continue to give exceptional values continuously A method of redefining the area can be considered. Of course, these methods may be arbitrarily combined appropriately.
本発明の適用対象は、道路上を走行する移動体に限定されるものではなく、例えば床面上を移動するロボットなどにも適用することができる。また、路面の代わりに水面を考えることにより、船舶などにも応用することが可能である。 The application target of the present invention is not limited to a moving body that travels on a road, and can be applied to, for example, a robot that moves on a floor surface. Moreover, it can be applied to ships and the like by considering the water surface instead of the road surface.
１００ ： 距離計測装置
１００Ａ： 電子制御ユニット
１００Ｂ： カメラ
Ｒ ： 回転行列
ｔ ： 並進ベクトル
100: Distance measuring device 100A: Electronic control unit 100B: Camera R: Rotation matrix t: Translation vector
Claims (3)
前記外界の画像を撮像する単眼の画像撮像手段と、
撮像時刻が相異なる２つの前記画像間で特徴が一致する前記外界の不動点であって、２点１組から成る不動点の組を少なくとも８組以上求める対応点検出手段と、
前記対応点検出手段により求められた前記画像上における前記不動点のうち８組の不動点の平面座標に基づいて、相異なる２つの前記撮像時刻の間における前記移動体の相対的な位置姿勢を求める位置姿勢検出手段と、
前記位置姿勢検出手段により求められた前記位置姿勢に基づいて、前記対応点検出手段により求められた前記不動点の前記平面座標に対応する三次元空間上における空間座標Ｑを任意のスケールで暫定的に求める空間座標算出手段と、
前記空間座標算出手段により求められた前記不動点の前記空間座標Ｑの集合から、走行中の路面が存在する可能性の高い路面候補領域に位置する前記不動点を路面候補点として選択して、路面候補点の空間座標Ｑ G の集合を求める路面候補点選抜手段と、
前記路面候補点選抜手段により求められた前記路面候補点の空間座標Ｑ G の集合から、走行中の路面を近似的に表す近似平面の平面方程式を求める路面平面推定手段と、
前記移動体における前記画像撮像手段の路面からの取り付け高さｈと前記路面平面推定手段により求められた前記平面方程式に基づいて、前記スケールを求めるスケール決定手段と、
前記スケールに基づいて、空間座標算出手段により求められた前記不動点の前記空間座標Ｑを修正して、前記不動点の修正空間座標を求める空間座標修正手段と
を有し、
前記空間座標修正手段により求められた前記不動点の前記修正空間座標に基づいて、前記移動体から前記物体までの距離を求める
ことを特徴とする距離計測装置。 In a distance measuring device that is mounted on a moving body that travels on a road surface and measures the distance to an object located in the outside of the moving body,
Monocular image capturing means for capturing an image of the outside world;
Corresponding point detection means for obtaining at least eight sets of fixed points of the external world whose features match between two images having different imaging times, and each set of two fixed points;
Based on the plane coordinates of the eight fixed points among the fixed points on the image obtained by the corresponding point detection means, the relative position and orientation of the moving body between the two different imaging times are calculated. A position and orientation detection means to be obtained;
Based on the position and orientation obtained by the position and orientation detection means, the spatial coordinates Q on the three-dimensional space corresponding to the planar coordinates of the fixed point obtained by the corresponding point detection means are provisionally calculated at an arbitrary scale. Spatial coordinate calculation means to obtain
From the set of the spatial coordinates Q of the fixed point obtained by the spatial coordinate calculating means, select the fixed point located in a road surface candidate area where there is a high possibility that a traveling road surface exists as a road surface candidate point, Road surface candidate point selection means for obtaining a set of spatial coordinates Q G of road surface candidate points;
Road surface plane estimation means for obtaining a plane equation of an approximate plane that approximately represents the road surface being traveled from a set of spatial coordinates Q G of the road surface candidate points obtained by the road surface candidate point selection means ;
Scale determining means for obtaining the scale based on the mounting height h from the road surface of the image pickup means in the moving body and the plane equation obtained by the road surface plane estimating means ;
On the basis of the scale, by modifying the spatial coordinates Q of the fixed point determined by the spatial coordinate calculating means, possess a spatial coordinate correcting means for obtaining a corrected spatial coordinates of the fixed point,
A distance measuring apparatus , wherein a distance from the moving body to the object is obtained based on the corrected space coordinates of the fixed point obtained by the space coordinate correcting means .
ことを特徴とする請求項１に記載の距離計測装置。 Candidate area optimization that dynamically redefines the range of the road surface candidate area as needed so that the road surface candidate points selected by the road surface candidate point selection means are concentrated on the approximate plane or in the vicinity of the approximate plane. The distance measuring device according to claim 1 , further comprising: a converting unit.
ことを特徴とする請求項１又は請求項２に記載の距離計測装置。 The road surface plane estimating means, the distance measuring apparatus according to claim 1 or claim 2, characterized in that a means for obtaining the plane equation using LMedS method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005179087A JP4810893B2 (en) | 2005-06-20 | 2005-06-20 | Distance measuring device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005179087A JP4810893B2 (en) | 2005-06-20 | 2005-06-20 | Distance measuring device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006349607A JP2006349607A (en) | 2006-12-28 |
| JP4810893B2 true JP4810893B2 (en) | 2011-11-09 |
Family
ID=37645616
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005179087A Expired - Fee Related JP4810893B2 (en) | 2005-06-20 | 2005-06-20 | Distance measuring device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4810893B2 (en) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4702569B2 (en) * | 2008-09-30 | 2011-06-15 | マツダ株式会社 | Image processing apparatus for vehicle |
| WO2013035612A1 (en) * | 2011-09-09 | 2013-03-14 | 日本電気株式会社 | Obstacle sensing device, obstacle sensing method, and obstacle sensing program |
| JP6194610B2 (en) * | 2013-03-28 | 2017-09-13 | 富士通株式会社 | Moving distance estimation apparatus, moving distance estimation method, and program |
| US9189689B2 (en) * | 2013-10-30 | 2015-11-17 | Nec Laboratories America, Inc. | Robust scale estimation in real-time monocular SFM for autonomous driving |
| DE112014006493T5 (en) | 2014-05-27 | 2017-01-19 | Application Solutions (Electronics and Vision) Ltd. | Determine a scale of three-dimensional information |
| CN104236478B (en) * | 2014-09-19 | 2017-01-18 | 山东交通学院 | Automatic vehicle overall size measuring system and method based on vision |
| DE102015013427A1 (en) * | 2015-10-15 | 2017-04-20 | Man Truck & Bus Ag | Method and device for adjusting the damping force of adjustable dampers in motor vehicles |
| CN108981672A (en) * | 2018-07-19 | 2018-12-11 | 华南师范大学 | Hatch door real-time location method based on monocular robot in conjunction with distance measuring sensor |
| WO2023190072A1 (en) * | 2022-03-29 | 2023-10-05 | 京セラ株式会社 | Measurement device and measurement method |
| CN115143930B (en) * | 2022-06-27 | 2024-05-24 | 徐州徐工挖掘机械有限公司 | Monocular camera ranging method, monocular camera ranging system and excavator |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3296055B2 (en) * | 1993-10-28 | 2002-06-24 | 三菱自動車工業株式会社 | Distance detection device using in-vehicle camera |
| JP3503543B2 (en) * | 1999-10-13 | 2004-03-08 | 松下電器産業株式会社 | Road structure recognition method, distance measurement method and distance measurement device |
| JP2002372417A (en) * | 2001-06-15 | 2002-12-26 | Mitsubishi Electric Corp | Object position and velocity measuring and processing equipment |
| JP3747863B2 (en) * | 2002-02-22 | 2006-02-22 | 日産自動車株式会社 | In-vehicle distance measuring device |
| JP2003322522A (en) * | 2002-05-07 | 2003-11-14 | Daihatsu Motor Co Ltd | Inter-vehicle distance detection device and detection method |
-
2005
- 2005-06-20 JP JP2005179087A patent/JP4810893B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006349607A (en) | 2006-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4810893B2 (en) | Distance measuring device | |
| JP5671281B2 (en) | Position / orientation measuring apparatus, control method and program for position / orientation measuring apparatus | |
| JP5612916B2 (en) | Position / orientation measuring apparatus, processing method thereof, program, robot system | |
| US8711214B2 (en) | Position and orientation measurement apparatus, position and orientation measurement method, and storage medium | |
| JP4809291B2 (en) | Measuring device and program | |
| JP5804185B2 (en) | Moving object position / orientation estimation apparatus and moving object position / orientation estimation method | |
| CN102788572B (en) | Method, device and system for measuring attitude of engineering machinery lifting hook | |
| US20130230235A1 (en) | Information processing apparatus and information processing method | |
| CN111263142B (en) | Method, device, equipment and medium for testing optical anti-shake of camera module | |
| CN102798456B (en) | Method, device and system for measuring working amplitude of engineering mechanical arm support system | |
| JP4694624B2 (en) | Image correction apparatus and method, and computer program | |
| JP2006350897A (en) | Motion measurement device | |
| CN101901502A (en) | Global optimal registration method of multi-viewpoint cloud data during optical three-dimensional measurement | |
| JP5976089B2 (en) | Position / orientation measuring apparatus, position / orientation measuring method, and program | |
| KR20140120282A (en) | Optical detection of bending motions of a flexible display | |
| JP5267100B2 (en) | Motion estimation apparatus and program | |
| JP2011203148A (en) | Estimation device, estimation method and estimation program | |
| JP4935769B2 (en) | Plane region estimation apparatus and program | |
| JP2009186244A (en) | Tilt angle estimation system, relative angle estimation system, and angular velocity estimation system | |
| JP2008009916A (en) | Measuring device and measuring method | |
| Ogata et al. | A robust position and posture measurement system using visual markers and an inertia measurement unit | |
| JP2010038753A (en) | Device and program for estimating motion | |
| JP5609667B2 (en) | Motion estimation apparatus and program | |
| JP6670712B2 (en) | Self-position estimation device, moving object and self-position estimation method | |
| JP5359477B2 (en) | Road area estimation apparatus and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080611 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110201 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110401 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110726 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110808 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140902 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140902 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140902 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |