JP6119225B2 - Intersection road boundary detection device and program - Google Patents
Intersection road boundary detection device and program Download PDFInfo
- Publication number
- JP6119225B2 JP6119225B2 JP2012270610A JP2012270610A JP6119225B2 JP 6119225 B2 JP6119225 B2 JP 6119225B2 JP 2012270610 A JP2012270610 A JP 2012270610A JP 2012270610 A JP2012270610 A JP 2012270610A JP 6119225 B2 JP6119225 B2 JP 6119225B2
- Authority
- JP
- Japan
- Prior art keywords
- intersection
- line segment
- hyperbola
- point cloud
- road boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、交差点道路境界検出装置及びプログラムに係り、特に、交差点における道路境界を検出する交差点道路境界検出装置及びプログラムに関する。 The present invention relates to an intersection road boundary detection apparatus and program, and more particularly to an intersection road boundary detection apparatus and program for detecting a road boundary at an intersection.
従来より、交差点進入前と進入後の経路が与えられたとき、交差点内の経路を所定の曲率の円弧で補間する道路網データ生成装置が知られている（特許文献１）。 2. Description of the Related Art Conventionally, a road network data generation device that interpolates a route in an intersection with an arc having a predetermined curvature when a route before and after entering the intersection is given (Patent Document 1).
また、スプライン表現により、位置や曲率などを含めた道路形状を表現する方法が知られている(特許文献２)。 Further, a method for expressing a road shape including a position, a curvature and the like by spline expression is known (Patent Document 2).
また、レーザ等により得た点群データから道路形状を認識する道路形状認識装置が知られている(特許文献３)。この道路形状認識装置では、道路形状を円弧としてモデル化し、最小二乗法を用いたフィッティングにより道路形状を特定している。 Further, a road shape recognition device that recognizes a road shape from point cloud data obtained by a laser or the like is known (Patent Document 3). In this road shape recognition device, the road shape is modeled as an arc, and the road shape is specified by fitting using the least square method.
また、道路上のカーブの形状を粗い点群データから認識する道路形状認識方法が知られている（特許文献４）。この道路形状認識方法では、カーブの開始点、終了点を求め、その間の点群に円弧をあてはめることでカーブ形状を認識している。 Further, a road shape recognition method for recognizing the shape of a curve on a road from rough point cloud data is known (Patent Document 4). In this road shape recognition method, the start and end points of a curve are obtained, and a curve shape is recognized by applying an arc to a point group between them.
上記の特許文献２に記載の表現方法では、単路における曲率を表現することができ、自由度が高いが、交差点の道路境界の曲率推定には適さない、という問題がある。 The expression method described in Patent Document 2 described above can express the curvature of a single road and has a high degree of freedom, but is not suitable for estimating the curvature of the road boundary at an intersection.
また、上記の特許文献３に記載の技術では、道路が円弧状の場合に道路形状を特定することができるが、交差点では、曲率半径が小さく死角が大きくなること、及び円弧に当てはまる点群が少ないことから、交差点の道路境界を検出する目的で利用することができない。 In the technique described in Patent Document 3 described above, the road shape can be specified when the road has an arc shape. However, at the intersection, the curvature radius is small and the blind spot is large, and the point group applied to the arc is Since it is small, it cannot be used for the purpose of detecting the road boundary of the intersection.
また、上記の特許文献４に記載の技術では、直線状領域、円弧状領域のつなぎあわせによって形状を記述しているため、カーブの開始点、終了点を求める処理が必要になる。 In the technique described in Patent Document 4 described above, since the shape is described by joining the linear region and the arcuate region, it is necessary to obtain a curve start point and end point.
このように、従来技術では、単路のカーブであって、曲率が大きく穏やかなカーブを対象としたものが多いが、交差点の道路境界の検出では、（１）曲率が小さい、（２）形状が複雑、（３）車両などの物体物が多く検出の妨げになる、など課題が多い。 As described above, in the prior art, there are many simple road curves that are curved with a large curvature and are gentle. However, in detecting the road boundary of an intersection, (1) the curvature is small, (2) the shape Are complicated, and (3) many objects such as vehicles obstruct detection.
本発明は、上記の問題点を解決するためになされたもので、交差点における道路境界を精度よく検出することができる交差点道路境界検出装置及びプログラムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and an object of the present invention is to provide an intersection road boundary detection apparatus and program capable of accurately detecting a road boundary at an intersection.
上記の目的を達成するために本発明に係る交差点道路境界検出装置は、車両が交差点を走行したときに前記車両に搭載されたデータ取得手段によって取得された前記交差点における物体データと、前記車両の測位情報とに基づいて、実座標系の３次元座標を持つ、前記交差点における物体上の複数の点からなる点群データを取得する点群取得手段と、前記点群取得手段によって取得された前記点群データから、線分を各々検出する線分検出手段と、同一の交差点の異なる走行方向の前記車両の走行に対して得られた前記点群データから前記線分検出手段によって検出された線分から、２つの線分からなる線分ペアを複数選択する線分選択手段と、前記線分選択手段によって選択された線分ペア毎に、前記線分ペアの２つの線分を漸近線とする双曲線を算出する双曲線算出手段と、前記双曲線算出手段によって前記線分ペア毎に算出された双曲線のうち、前記点群取得手段によって前記同一の交差点の異なる走行方向の前記車両の走行に対して取得された前記点群データに最も適合する双曲線の片側曲線を、前記交差点における道路境界として検出する道路境界検出手段と、を含んで構成されている。 In order to achieve the above object, an intersection road boundary detection device according to the present invention includes object data at the intersection acquired by data acquisition means mounted on the vehicle when the vehicle travels an intersection, Point cloud acquisition means for acquiring point cloud data comprising a plurality of points on the object at the intersection having the three-dimensional coordinates of the real coordinate system based on the positioning information; and the point cloud acquisition means acquired by the point cloud acquisition means Line segment detection means for detecting each line segment from the point cloud data, and lines detected by the line segment detection means from the point cloud data obtained for the traveling of the vehicle in the different traveling directions at the same intersection. The line segment selection means for selecting a plurality of line segment pairs consisting of two line segments and the two line segments of the line segment pair as asymptotic lines for each line segment pair selected by the line segment selection means. Hyperbolic curve calculating means for calculating a curve, and hyperbolic curves calculated for each pair of line segments by the hyperbolic curve calculating means, acquired by the point group acquiring means for traveling of the vehicle in the different traveling directions at the same intersection. Road boundary detecting means for detecting, as a road boundary at the intersection, a hyperbolic one-sided curve that best fits the point cloud data.
本発明に係るプログラムは、コンピュータを、車両が交差点を走行したときに前記車両に搭載されたデータ取得手段によって取得された前記交差点における物体データと、前記車両の測位情報とに基づいて、実座標系の３次元座標を持つ、前記交差点における物体上の複数の点からなる点群データを取得する点群取得手段、前記点群取得手段によって取得された前記点群データから、線分を各々検出する線分検出手段、同一の交差点の異なる走行方向の前記車両の走行に対して得られた前記点群データから前記線分検出手段によって検出された線分から、２つの線分からなる線分ペアを複数選択する線分選択手段、前記線分選択手段によって選択された線分ペア毎に、前記線分ペアの２つの線分を漸近線とする双曲線を算出する双曲線算出手段、及び前記双曲線算出手段によって前記線分ペア毎に算出された双曲線のうち、前記点群取得手段によって前記同一の交差点の異なる走行方向の前記車両の走行に対して取得された前記点群データに最も適合する双曲線の片側曲線を、前記交差点における道路境界として検出する道路境界検出手段として機能させるためのプログラムである。 The program according to the present invention is based on object data at the intersection acquired by the data acquisition means mounted on the vehicle when the vehicle travels the intersection, and the actual coordinates based on the positioning information of the vehicle. Point group acquisition means for acquiring point cloud data consisting of a plurality of points on the object at the intersection having a three-dimensional coordinate of the system, and each line segment is detected from the point cloud data acquired by the point cloud acquisition means A line segment pair consisting of two line segments from the line segments detected by the line segment detection means from the point cloud data obtained for the traveling of the vehicle in the different traveling directions at the same intersection. A plurality of line segment selecting means for selecting, and for each line segment pair selected by the line segment selecting means, a hyperbola calculating hand for calculating a hyperbola having two line segments of the line segment pair as asymptotic lines Among the hyperbolic curves calculated for each pair of line segments by the hyperbolic calculating means, the point cloud data acquired by the point cloud acquiring means for the traveling of the vehicle in different traveling directions at the same intersection. This is a program for functioning as a road boundary detecting means for detecting the most suitable hyperbolic one-side curve as a road boundary at the intersection.
本発明によれば、点群取得手段によって、車両が交差点を走行したときに前記車両に搭載されたデータ取得手段によって取得された前記交差点における物体データと、前記車両の測位情報とに基づいて、実座標系の３次元座標を持つ、前記交差点における物体上の複数の点からなる点群データを取得する。線分検出手段によって、前記点群取得手段によって取得された前記点群データから、線分を各々検出する。 According to the present invention, based on the object data at the intersection acquired by the data acquisition means mounted on the vehicle when the vehicle travels the intersection by the point group acquisition means, and the positioning information of the vehicle, Point cloud data including a plurality of points on the object at the intersection having three-dimensional coordinates in the real coordinate system is acquired. Each line segment is detected from the point cloud data acquired by the point cloud acquisition unit by the line segment detection unit.
そして、線分選択手段によって、同一の交差点の異なる走行方向の前記車両の走行に対して得られた前記点群データから前記線分検出手段によって検出された線分から、２つの線分からなる線分ペアを複数選択する。双曲線算出手段によって、前記線分選択手段によって選択された線分ペア毎に、前記線分ペアの２つの線分を漸近線とする双曲線を算出する。 Then, a line segment composed of two line segments is detected from the line segment detected by the line segment detection unit from the point cloud data obtained for the traveling of the vehicle in the different traveling directions at the same intersection by the line segment selection unit. Select multiple pairs. A hyperbola is calculated by the hyperbola calculation means for each line segment pair selected by the line segment selection means, with the two line segments of the line segment pair asymptotic lines.
そして、道路境界検出手段によって、前記双曲線算出手段によって前記線分ペア毎に算出された双曲線のうち、前記点群取得手段によって前記同一の交差点の異なる走行方向の前記車両の走行に対して取得された前記点群データに最も適合する双曲線の片側曲線を、前記交差点における道路境界として検出する。 Of the hyperbola calculated for each line segment pair by the hyperbola calculating unit by the road boundary detecting unit, the point group acquiring unit acquires the traveling of the vehicle in the different traveling directions at the same intersection. A hyperbolic one-sided curve that best fits the point cloud data is detected as a road boundary at the intersection.
このように、同一の交差点の異なる走行方向の車両の走行に対して得られた点群データから線分を検出し、線分ペア毎に、線分ペアの２つの線分を漸近線とする双曲線を算出し、点群データに最も適合する双曲線の片側曲線を、交差点における道路境界として検出することにより、交差点における道路境界を精度よく検出することができる。 In this way, line segments are detected from the point cloud data obtained for the traveling of the vehicle in the same traveling direction at the same intersection, and for each line segment pair, the two line segments of the line segment pair are made asymptotic lines. By calculating the hyperbola and detecting the one-sided curve of the hyperbola that best matches the point cloud data as the road boundary at the intersection, the road boundary at the intersection can be accurately detected.
本発明に係る線分検出手段は、前記交差点の走行方向毎に、前記点群取得手段によって取得された前記点群データのうち、前記交差点の前記走行方向の前記車両の走行に対する前記点群データから、線分を各々検出するようにすることができる。 The line segment detection means according to the present invention includes the point cloud data for the travel of the vehicle in the travel direction of the intersection among the point cloud data acquired by the point cloud acquisition means for each travel direction of the intersection. Thus, each line segment can be detected.
本発明に係る双曲線算出手段は、前記点群取得手段によって取得された前記点群データから、前記線分ペアの各線分の周辺の点を所定個選択し、前記選択された所定個の点と、双曲線との誤差が最小となるように、前記双曲線のパラメータを算出するようにすることができる。また、上記の双曲線算出手段は、前記点群取得手段によって取得された前記点群データから、前記線分ペアの２つの線分の交点まで各線分を延長した各延長線の周辺の点を、前記延長線との距離が近い点ほど優先して選択することにより、前記所定個の点を選択し、前記選択された所定個の点と、双曲線との誤差が最小となるように、前記双曲線のパラメータを算出するようにすることができる。 The hyperbola calculation means according to the present invention selects a predetermined number of points around each line segment of the line segment pair from the point cloud data acquired by the point cloud acquisition means, and the selected predetermined points and The parameter of the hyperbola can be calculated so that the error from the hyperbola is minimized. In addition, the hyperbola calculation means described above, the points around each extension line obtained by extending each line segment from the point cloud data acquired by the point cloud acquisition means to the intersection of the two line segments of the line segment pair, By selecting the points closer to the extension line with priority, the predetermined number of points are selected, and the hyperbola so that the error between the selected predetermined number of points and the hyperbola is minimized. The parameters can be calculated.
また、上記の双曲線算出手段は、前記点群取得手段によって取得された前記点群データから、前記線分ペアの各線分の周辺の点を所定個選択することを反復して行い、反復毎に、前記選択された所定個の点と、双曲線との誤差が最小となるように、前記双曲線のパラメータを算出するようにすることができる。 Further, the hyperbola calculating means repeatedly performs a predetermined number of points around each line segment of the line segment pair from the point cloud data acquired by the point cloud acquiring means, The parameters of the hyperbola can be calculated so that the error between the selected predetermined number of points and the hyperbola is minimized.
本発明に係る双曲線算出手段は、前記線分選択手段によって選択された線分ペア毎に、前記線分ペアの２つの線分を漸近線とする片側双曲線を算出し、前記道路境界検出手段は、前記交差点における複数の角に対して、前記双曲線算出手段によって算出された片側双曲線を振り分け、前記交差点の角毎に、前記角に振り分けられた片側双曲線のうち、前記点群取得手段によって取得された前記点群データに最も適合する片側曲線を、前記交差点における前記角の道路境界として検出するようにすることができる。 The hyperbola calculation means according to the present invention calculates, for each line segment pair selected by the line segment selection means, a one-sided hyperbola having asymptotic lines of two line segments of the line segment pair, and the road boundary detection means The one-sided hyperbola calculated by the hyperbola calculating unit is distributed to a plurality of corners at the intersection, and the one-sided hyperbola distributed to the corner is acquired by the point group acquiring unit for each corner of the intersection. The one-sided curve that best fits the point cloud data can be detected as the road boundary of the corner at the intersection.
上記のデータ取得手段は、前記車両の周辺を撮像してステレオ画像を生成する撮像手段であって、前記点群取得手段は、前記車両が交差点を走行したときに撮像された前記ステレオ画像から抽出される相対座標系の３次元座標を持つ複数の点と、前記車両の測位情報とに基づいて、前記点群データを取得するようにすることができる。 The data acquisition unit is an imaging unit that captures the periphery of the vehicle to generate a stereo image, and the point cloud acquisition unit extracts the stereo image captured when the vehicle travels an intersection. The point cloud data can be acquired based on a plurality of points having the three-dimensional coordinates of the relative coordinate system and the positioning information of the vehicle.
上記のデータ取得手段は、前記車両の周辺に存在する物体上の点を検出するレーザレーダであって、前記点群取得手段は、前記車両が交差点を走行したときに検出された前記交差点における物体上の点と、前記車両の測位情報とに基づいて、前記点群データを取得するようにすることができる。 The data acquisition means is a laser radar that detects points on an object existing around the vehicle, and the point group acquisition means is an object at the intersection detected when the vehicle travels an intersection. The point cloud data can be acquired based on the upper point and the positioning information of the vehicle.
以上説明したように、本発明の交差点道路境界検出装置及びプログラムによれば、同一の交差点の異なる走行方向の車両の走行に対して得られた点群データから線分を検出し、線分ペア毎に、線分ペアの２つの線分を漸近線とする双曲線を算出し、点群データに最も適合する双曲線の片側曲線を、交差点における道路境界として検出することにより、交差点における道路境界を精度よく検出することができる、という効果が得られる。 As described above, according to the intersection road boundary detection device and program of the present invention, a line segment is detected from point cloud data obtained for the traveling of vehicles in the same traveling direction at the same intersection, and a line segment pair is detected. Each time a hyperbola with two line segments of a line segment pair asymptotic is calculated, and the hyperbola one-sided curve that best fits the point cloud data is detected as the road boundary at the intersection, thereby accurately determining the road boundary at the intersection. The effect that it can detect well is acquired.
以下、図面を参照して本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図１に示すように、本発明の実施の形態に係る交差点道路境界検出装置１０は、道路領域を含む自車両前方を撮像してステレオ画像を出力する撮像装置１２と、自車両位置を測定するＧＰＳを含む測位装置１４と、撮像装置１２から得られるステレオ画像及び測位装置１４による測位情報に基づいて、交差点における道路境界を検出する処理を実行するコンピュータ１６と、コンピュータ１６による検出結果を出力する出力部１８とを含んで構成されている。なお、撮像装置１２が、データ取得手段の一例であり、ステレオ画像が、物体データの一例である。 As shown in FIG. 1, an intersection road boundary detection device 10 according to an embodiment of the present invention measures the position of the host vehicle, and an imaging device 12 that images the front of the host vehicle including a road region and outputs a stereo image. Based on a positioning device 14 including GPS, a stereo image obtained from the imaging device 12 and positioning information by the positioning device 14, a computer 16 that executes a process of detecting a road boundary at an intersection, and a detection result by the computer 16 are output. And an output unit 18. Note that the imaging device 12 is an example of a data acquisition unit, and a stereo image is an example of object data.
撮像装置１２は、車両に搭載され、道路領域を含む自車両前方を撮像してステレオ画像を出力する。撮像装置１２は、自車両前方を撮像し、画像の画像信号を生成する２つの撮像部（図示省略）と、２つの撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。撮像装置１２は、撮像した２枚の画像を、ステレオ画像としてコンピュータ１６に出力する。 The imaging device 12 is mounted on a vehicle, images the front of the host vehicle including a road area, and outputs a stereo image. The imaging device 12 captures the front of the host vehicle, generates two image signals (not shown), and an A / D conversion unit that A / D converts the image signals generated by the two imaging units. (Not shown) and an image memory (not shown) for temporarily storing the A / D converted image signal. The imaging device 12 outputs the two captured images to the computer 16 as stereo images.
測位装置１４は、自車両に搭載されたＧＰＳ装置を用いて、実座標系における自車両の位置を測定し、測定結果をコンピュータ１６に出力する。 The positioning device 14 measures the position of the host vehicle in the real coordinate system using a GPS device mounted on the host vehicle, and outputs the measurement result to the computer 16.
コンピュータ１６は、ＣＰＵと、ＲＡＭと、後述する交差点道路境界検出処理ルーチンを実行するためのプログラムを記憶したＲＯＭと、これらを接続するバスとを含んで構成されている。このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、実座標系の道路平面及び交差点を表わす地図データを記憶する地図データベース２０と、データ取得部２２と、データ記憶部２４と、点群取得部２６と、線分検出部２８と、点群線分記憶部３０と、線分ペア選択部３２と、部分点群選択部３４と、双曲線パラメータ算出部３６と、最適化部３８と、を含んだ構成で表すことができる。なお、最適化部３８は、道路境界検出手段の一例である。 The computer 16 includes a CPU, a RAM, a ROM that stores a program for executing an intersection road boundary detection processing routine described later, and a bus that connects these. The computer 16 will be described with function blocks divided for each function realizing means determined based on hardware and software. A map database 20 for storing map data representing road planes and intersections in the real coordinate system, and a data acquisition unit 22, a data storage unit 24, a point group acquisition unit 26, a line segment detection unit 28, a point group line segment storage unit 30, a line segment pair selection unit 32, a partial point group selection unit 34, and a hyperbola parameter. The calculation unit 36 and the optimization unit 38 can be used in the configuration. The optimization unit 38 is an example of a road boundary detection unit.
データ取得部２２は、測位装置１４により得られた測位情報と、地図データベース２０の地図データとに基づいて、自車両が交差点を走行しているか否かを判定し、自車両が交差点を走行していると判定している間、撮像装置１２によって撮像された複数フレームのステレオ画像を取得して、複数のフレームの各々に対応して測位装置１４により得られた測位情報と共にデータ記憶部２４に格納すると共に、測位装置１４により得られた測位情報と、地図データベース２０の地図データとに基づいて、自車両が走行している交差点を識別するための情報、及び交差点における走行方向（方角）を示す情報を取得して、上記のステレオ画像と対応付けてデータ記憶部２４に格納する。 Based on the positioning information obtained by the positioning device 14 and the map data in the map database 20, the data acquisition unit 22 determines whether or not the host vehicle is traveling through an intersection, and the host vehicle travels through the intersection. A plurality of frames of stereo images captured by the imaging device 12 are acquired, and the positioning information obtained by the positioning device 14 corresponding to each of the plurality of frames is stored in the data storage unit 24. The information for identifying the intersection where the host vehicle is traveling, and the traveling direction (direction) at the intersection, based on the positioning information obtained by the positioning device 14 and the map data of the map database 20, are stored. The information shown is acquired and stored in the data storage unit 24 in association with the stereo image.
データ記憶部２４には、自車両が走行している間に取得したステレオ画像が多数記憶されており、各ステレオ画像には、測位情報、交差点識別情報、及び走行方向情報が対応付けられて記憶されている。 The data storage unit 24 stores a large number of stereo images acquired while the host vehicle is traveling. Each stereo image is associated with positioning information, intersection identification information, and travel direction information. Has been.
点群取得部２６は、検出対象の交差点についてデータ記憶部２４に記憶されたステレオ画像のうち、走行方向情報が同一である複数のステレオ画像の各々から、エッジ点を抽出し、ステレオマッチングにより得られた視差から、撮像装置１２を基準としたエッジ点の３次元位置を求める。また、点群取得部２６は、検出対象の交差点について走行方向情報が同一となる複数のフレームのステレオ画像について求められた複数の３次元点を、複数のフレームの各々に対応して測位装置１４により得られた測位情報を用いて統合することにより、実空間上の３次元座標を持つ３次元点群を求める（図２参照）。 The point cloud acquisition unit 26 extracts edge points from each of a plurality of stereo images having the same traveling direction information among the stereo images stored in the data storage unit 24 for the detection target intersection, and is obtained by stereo matching. From the parallax obtained, the three-dimensional position of the edge point with respect to the imaging device 12 is obtained. In addition, the point group acquisition unit 26 corresponds to each of the plurality of frames, the positioning device 14 for the plurality of three-dimensional points obtained for the stereo images of the plurality of frames having the same traveling direction information at the intersection to be detected. The three-dimensional point group having the three-dimensional coordinates in the real space is obtained by integrating using the positioning information obtained by (see FIG. 2).
上記のように３次元点群を求める処理を、検出対象の交差点における走行方向情報毎に行い、検出対象の交差点における走行方向毎に、３次元点群を求め、点群線分記憶部３０に格納する。 As described above, the process for obtaining the three-dimensional point group is performed for each traveling direction information at the detection target intersection, the three-dimensional point group is obtained for each traveling direction at the detection target intersection, and stored in the point group line storage unit 30. Store.
なお、画像中のエッジ点は従来既知の手法を用いて抽出すればよく、例えば、Cannyのアルゴリズム等により抽出する。 Note that the edge points in the image may be extracted using a conventionally known method, for example, by the Canny algorithm.
また、撮像装置１２を基準とした３次元点の位置は、キャリブレーションされたカメラを用い、以下の文献の方法により求めることができる。 Further, the position of the three-dimensional point with reference to the imaging device 12 can be obtained by a method described in the following document using a calibrated camera.
参考文献：Ｍ Ｂｅｒｔｏｚｚ，Ａ Ｂｒｏｇｇｉ，“Ｓｔｅｒｅｏ ｉｎｖｅｒｓｅ ｐｅｒｓｐｅｃｔｉｖｅ ｍａｐｐｉｎｇ：ｔｈｅｏｒｙ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ”，ｉｍａｇｅ Ｖｉｓ．Ｃｏｍｐｕｔ．，ｖｏｌ．８，ｎｏ．１６，ｐｐ．５８５−５９０，１９９８． References: M Bertozz, A Broggi, “Stereo Inverse Perspective Mapping: theory and applications”, image Vis. Comput. , Vol. 8, no. 16, pp. 585-590, 1998.
線分検出部２８は、検出対象の交差点について走行方向情報が同一となる複数のフレームのステレオ画像から取得した３次元点群から、ガードレール等を表す道路境界の平面を検出し、検出した平面の高さ成分を無視することにより、道路境界候補となる線分を検出する。なお、ガードレール等を表わす道路境界の平面の検出には一般的な直線のハフ変換、または参考文献（石田皓之、目黒淳一、小島祥子、内藤貴志、“Ｃｏｎｆｏｒｍａｌ Ｇｅｏｍｅｔｒｉｃ Ａｌｇｅｂｒａを用いた道路物理境界検出”、信学技報ＰＲＭＵ２０１２−３６，ｐｐ．４３−４８，２０１２．）に記載された手法を用いればよい。 The line segment detection unit 28 detects a road boundary plane representing a guardrail or the like from a three-dimensional point group acquired from a stereo image of a plurality of frames having the same traveling direction information about the intersection to be detected, and detects the detected plane. By ignoring the height component, a line segment as a road boundary candidate is detected. It should be noted that for the detection of a road boundary plane representing a guardrail or the like, a general straight-line Hough transform or reference literature (Atsuyuki Ishida, Junichi Meguro, Shoko Kojima, Takashi Naito, “Road Physical Boundary Detection Using Conformal Geometric Algebra” , IEICE Technical Report PRMU2012-36, pp. 43-48, 2012.) may be used.
線分検出部２８は、検出対象の交差点について走行方向情報が同一となる複数のフレームのステレオ画像から取得した３次元点群から、道路境界候補となる複数の線分を検出して、点群線分記憶部３０に格納する（図３Ａ参照）。 The line segment detection unit 28 detects a plurality of line segments as road boundary candidates from a three-dimensional point group acquired from a stereo image of a plurality of frames having the same traveling direction information for the intersection to be detected, and the point group It stores in the line segment memory | storage part 30 (refer FIG. 3A).
上記のように道路境界候補となる線分を検出する処理を、検出対象の交差点における走行方向情報毎に行い、検出対象の交差点における走行方向毎に、線分を検出し、点群線分記憶部３０に格納する（図３Ａ、図３Ｂ参照）。 The process of detecting line segments that are road boundary candidates as described above is performed for each traveling direction information at the detection target intersection, and the line segment is detected for each traveling direction at the detection target intersection, and the point group line segment is stored. It stores in the part 30 (refer FIG. 3A and FIG. 3B).
なお、本実施の形態では、上記の線分検出処理を、検出対象の交差点について、当該交差点を通過する各回の走行ごとに独立に行い、複数の線分を検出する。 In the present embodiment, the above-described line segment detection process is performed independently for each detection time of the intersection that passes through the intersection, and a plurality of line segments are detected.
線分ペア選択部３２は、点群線分記憶部３０に記憶された、検出対象の交差点における複数の走行方向の各々に対する線分から、２つの線分を、処理対象の線分ペアとして複数選択する。検出対象の交差点における線分ペアは、検出された線分がｎ本であるとすると、ｎ（ｎ−１）／２組存在する。 The line segment pair selection unit 32 selects a plurality of two line segments as processing target line segment pairs from the line segments stored in the point cloud line segment storage unit 30 for each of the plurality of travel directions at the intersection to be detected. To do. There are n (n−1) / 2 pairs of line segment pairs at intersections to be detected, assuming that the number of detected line segments is n.
選択された全ての線分ペアについて、後述する部分点群選択部３４及び双曲線パラメータ算出部３６の処理で、線分ペアの２つの線分を漸近線とする片側双曲線を算出する処理を行い、各回の走行を統合する。 With respect to all selected line segment pairs, a process of calculating a one-sided hyperbola with two line segments of the line segment pair asymptotic lines is performed by the processing of the partial point group selection unit 34 and the hyperbola parameter calculation unit 36 described later, Integrate each run.
部分点群選択部３４は、まず、選択された線分ペアについて、当該線分ペアの２つの線分の交点まで、２つの線分の各々を延長した２つの延長線から、所定範囲内にある点群を部分点群の候補として選択する（図４参照）。このときの範囲は２ｍ以内と設定すると有効である。また、交点より遠方にある点群は他車両などを表す可能性が高いので候補としない。 First, the partial point group selection unit 34 sets a selected line segment pair within a predetermined range from two extended lines obtained by extending each of the two line segments to the intersection of the two line segments of the line segment pair. A point group is selected as a partial point group candidate (see FIG. 4). It is effective to set the range at this time to be within 2 m. In addition, a point group far from the intersection is not a candidate because it is highly likely to represent another vehicle.
部分点群選択部３４は、上記のように選択された部分点群の候補から、ルーレット選択により所定数の点を選択し部分点群とする。線分ペアの２線分との最小距離の逆数（上限あり：Ｍｍａｘ）をルーレットのマスの大きさとし、乱数を用いて部分点群を選択する。この処理により、道路境界付近に分布する点を選択されやすくすることが可能となる（図５参照）。 The partial point group selection unit 34 selects a predetermined number of points by roulette selection from the partial point group candidates selected as described above, and sets them as the partial point group. The reciprocal of the minimum distance from the two line segments of the line segment pair (with an upper limit: M max ) is set as the size of the roulette cell, and a partial point group is selected using a random number. By this processing, it is possible to easily select points distributed near the road boundary (see FIG. 5).
ここで、部分点群選択のアルゴリズムの一例について説明する。ただし、点の選択されやすさをＭ、選択される点の数をＮとする。 Here, an example of a partial point group selection algorithm will be described. However, let M be the ease of selecting a point, and N be the number of selected points.
ステップ１：全候補点に対し、以下の処理を実行する。
（１−１）２線分との最小距離ｄを計算する。
（１−２）Ｍ←ｍｉｎ（１／ｄ、Ｍｍａｘ）
（１−３）ルーレット上にＭ個のマスを追加し、当該候補点のインデクスをＭ個のマスに格納する。
Step 1: The following processing is executed for all candidate points.
(1-1) The minimum distance d with two line segments is calculated.
(1-2) M ← min (1 / d, M max )
(1-3) M cells are added on the roulette, and the index of the candidate point is stored in the M cells.
ステップ２：Ｎ回、以下の処理を実行する。
（２−１）ルーレットからランダムでマスを１つ選択し、選択されたマスにインデックスが格納されている候補点を部分点群に追加する。
Step 2: The following process is executed N times.
(2-1) One square is selected at random from the roulette, and a candidate point whose index is stored in the selected square is added to the partial point group.
また、上記のステップ１、２からなる部分点群選択のアルゴリズムの実行を反復し、反復毎に、候補点群から、部分点群が選択される。すなわち、複数の部分点群が選択される。 Further, the execution of the algorithm for selecting a partial point group consisting of the above steps 1 and 2 is repeated, and a partial point group is selected from the candidate point group at each iteration. That is, a plurality of partial point groups are selected.
双曲線パラメータ算出部３６は、部分点群選択部３４によって選択された部分点群に対して、最小二乗法により、部分点群との誤差が最小となる双曲線を当てはめて、双曲線パラメータを算出する。このとき、２線分の交点が双曲線の中心（ｕ、ｖ）であるという制約を与える。ここで、線分（ｘ１、ｙ１）−（ｘ２、ｙ２）と線分（ｘ３、ｙ３）−（ｘ４、ｙ４）の交点（ｕ、ｖ）は、以下の（１）式、（２）式で求められる。 The hyperbola parameter calculation unit 36 calculates a hyperbola parameter by applying, to the partial point group selected by the partial point group selection unit 34, a hyperbola that minimizes an error from the partial point group by the least square method. At this time, there is a constraint that the intersection of the two line segments is the center (u, v) of the hyperbola. Here, the intersection (u, v) of the line segment (x 1 , y 1 ) − (x 2 , y 2 ) and the line segment (x 3 , y 3 ) − (x 4 , y 4 ) is expressed by the following ( It is calculated | required by Formula 1 and Formula (2).
また、求める双曲線の式は以下の（３）式となる。 The hyperbolic equation to be obtained is the following equation (3).
双曲線パラメータ算出部３６は、以下の（４）式により、直接、双曲線のパラメータ（ａ、ｂ、ｄ）を算出する。 The hyperbola parameter calculation unit 36 directly calculates the hyperbola parameters (a, b, d) according to the following equation (4).
双曲線パラメータ算出部３６は、軸の回転角θおよび漸近線の角度φを、以下の（５）式、（６）式により算出する（図６参照）。 The hyperbola parameter calculation unit 36 calculates the rotation angle θ of the shaft and the angle φ of the asymptote according to the following expressions (5) and (6) (see FIG. 6).
双曲線パラメータ算出部３６は、以下の（７）式で求められる４方向の双曲線の媒介変数表示ｔに基づいて、４方向の片側双曲線のなかで部分点群と片側双曲線の最短距離の和が最小となる方向１つを選択する（図７参照）。 The hyperbola parameter calculation unit 36 minimizes the sum of the shortest distances of the partial point group and the one-sided hyperbola among the four-sided one-sided hyperbola based on the parabolic parameter display t of the four directions obtained by the following equation (7). One direction is selected (see FIG. 7).
双曲線パラメータ算出部３６は、上記のように算出された双曲線パラメータ（ａ、ｂ、ｄ、θ、φ）及び選択された片側双曲線の方向を、線分ペアの２線分を漸近線とし、部分点群に対して当てはめた片側双曲線のパラメータとして出力する。また、双曲線パラメータ算出部３６は、部分点群選択部３４によって選択された部分点群毎に、片側双曲線のパラメータを算出して出力する。 The hyperbola parameter calculation unit 36 uses the hyperbola parameters (a, b, d, θ, φ) calculated as described above and the direction of the selected one-sided hyperbola as the asymptotic lines of the two line segments of the line segment pair. Output as a one-sided hyperbolic parameter fitted to a point cloud. The hyperbola parameter calculation unit 36 calculates and outputs a one-sided hyperbola parameter for each partial point group selected by the partial point group selection unit 34.
最適化部３８は、双曲線パラメータ算出部３６によって求められた片側双曲線のパラメータと、点群線分記憶部３０に記憶された、検出対象の交差点についての３次元点群とに基づいて、双曲線パラメータ算出部３６によって求められたパラメータが表わす片側双曲線の３次元点群への適合度を算出する。ここで、適合度は、３次元点群の全体集合のなかで、片側双曲線と所定の距離内にある点の数とする（図８、図９参照）。なお、場所ごとに点の数に偏りがある場合、所定範囲内（たとえば１ｍ以内）の点群をまとめて１つとして扱ってもよい。 Based on the one-sided hyperbolic parameter obtained by the hyperbolic parameter calculating unit 36 and the three-dimensional point cloud for the detection target intersection stored in the point cloud line segment storage unit 30, the optimization unit 38 The degree of fit of the one-sided hyperbola represented by the parameter obtained by the calculation unit 36 to the three-dimensional point group is calculated. Here, the fitness is the number of points within a predetermined distance from the one-sided hyperbola in the entire set of three-dimensional point groups (see FIGS. 8 and 9). In addition, when there is a deviation in the number of points for each place, a group of points within a predetermined range (for example, within 1 m) may be collectively handled as one.
なお、点と片側双曲線との距離を求めるには、双曲線を所定の小間隔で線分に細分し、点群中の点とサンプリングされた線分との最小距離を求める。この距離が所定の閾値を下回る点の数を数え、適合度とする。閾値はたとえば１０ｃｍとすると有効である。 In order to obtain the distance between the point and the one-sided hyperbola, the hyperbola is subdivided into line segments at predetermined small intervals, and the minimum distance between the points in the point group and the sampled line segments is obtained. The number of points where this distance falls below a predetermined threshold is counted as the fitness. For example, it is effective that the threshold is 10 cm.
また、最適化部３８は、双曲線パラメータ算出部３６によって部分点群毎に求められた片側双曲線のパラメータの各々に対して、適合度を算出する。 In addition, the optimization unit 38 calculates the fitness for each of the one-sided hyperbolic parameters obtained for each partial point group by the hyperbolic parameter calculation unit 36.
最適化部３８は、全ての線分ペア、全ての部分点群に対して算出した片側双曲線のパラメータの各々の適合度のうち、適合度最大となる片側双曲線のパラメータが示す片側双曲線を、検出対象の交差点の道路境界として採用し、検出対象の交差点の道路境界の検出結果とする。 The optimization unit 38 detects the one-sided hyperbola indicated by the parameter of the one-sided hyperbola having the maximum degree of fitness among the degree of matching of the parameters of the one-sided hyperbola calculated for all the line segment pairs and all the partial points. Adopted as the road boundary of the target intersection, and the detection result of the road boundary of the target intersection.
ここで、上記の処理は、交差点の一角の境界を求める処理であるが、実際は１つの交差点につき、複数の角が存在し、複数の境界が存在しうる。たとえば十字交差の交差点であれば、最大４つの境界が検出される。そこで、本実施の形態では、自車位置の測位結果を用いて交差点の中心位置を算出し、それを基準として、算出された片側双曲線のパラメータを、片側双曲線のパラメータに基づいて、複数の角（例えば４つの角）に振り分け、交差点の角ごとに、当該角に振り分けられた片側双曲線のうち、適合度最大となる片側双曲線を、検出対象の交差点の当該方角の道路境界として検出する。 Here, the above-described processing is processing for obtaining a corner boundary of an intersection, but actually, there may be a plurality of corners per intersection and a plurality of boundaries may exist. For example, in the case of a cross intersection, a maximum of four boundaries are detected. Therefore, in the present embodiment, the center position of the intersection is calculated using the positioning result of the vehicle position, and the calculated one-sided hyperbolic parameter is calculated based on the calculated one-sided hyperbolic parameter based on the one-sided hyperbolic parameter. For each corner of the intersection (for example, four corners), the one-sided hyperbola having the maximum fitness among the one-sided hyperbola distributed to the corner is detected as the road boundary of the direction of the intersection of the detection target.
次に、本発明の実施の形態に係る交差点道路境界検出装置１０の作用について説明する。まず、撮像装置１２によって、自車両前方の撮像が開始されると共に、測位装置１４によって、自車両の位置が随時測定されると、コンピュータ１６において、図１０に示す交差点データ取得処理ルーチンが繰り返し実行される。 Next, the operation of the intersection road boundary detection apparatus 10 according to the embodiment of the present invention will be described. First, when imaging of the front of the host vehicle is started by the imaging device 12 and the position of the host vehicle is measured at any time by the positioning device 14, the intersection data acquisition processing routine shown in FIG. Is done.
ステップ１００で、測位装置１４で得られた測位情報と、地図データベース２０の地図データとに基づいて、交差点を走行しているか否かを判定する。交差点を走行していると判定されると、ステップ１０２へ進む。 In step 100, based on the positioning information obtained by the positioning device 14 and the map data in the map database 20, it is determined whether or not the vehicle is traveling at an intersection. If it is determined that the vehicle is traveling at the intersection, the process proceeds to step 102.
ステップ１０２では、測位装置１４で得られた所定の距離範囲分の測位情報、及び撮像装置１２で撮像された同一の距離範囲分の複数のフレームのステレオ画像を取得する。 In step 102, the positioning information for a predetermined distance range obtained by the positioning device 14 and the stereo images of a plurality of frames for the same distance range imaged by the imaging device 12 are acquired.
次に、ステップ１０４で、上記ステップ１０２で取得した複数のフレームのステレオ画像及び測位情報を、測位装置１４で得られた測位情報と地図データベース２０の地図データとに基づいて得られる交差点識別情報及び交差点方向情報と共に、データ記憶部２４に格納し、交差点データ取得処理ルーチンを終了する。 Next, in step 104, the intersection identification information obtained based on the positioning information obtained by the positioning device 14 and the map data of the map database 20, and the stereo images and positioning information of the plurality of frames acquired in step 102, and The data is stored in the data storage unit 24 together with the intersection direction information, and the intersection data acquisition processing routine is terminated.
自車両の走行中に、上記の交差点データ取得処理ルーチンが繰り返し実行されると、各交差点における複数の走行方向に対するデータが、データ記憶部２４に蓄積される。 When the above intersection data acquisition processing routine is repeatedly executed while the host vehicle is traveling, data for a plurality of traveling directions at each intersection is accumulated in the data storage unit 24.
そして、コンピュータ１６において、図１１に示す道路境界検出処理ルーチンが、各交差点を検出対象として実行される。 In the computer 16, the road boundary detection processing routine shown in FIG. 11 is executed with each intersection as a detection target.
まず、ステップ１１０において、検出対象の交差点についてデータ記憶部２４に記憶されたステレオ画像及び測位情報を取得する。ステップ１１２では、上記ステップ１１０で取得した各フレームのステレオ画像から、エッジ点を抽出する。ステップ１１４では、上記ステップ１１２で抽出した各フレームのステレオ画像のエッジ点群の各点について３次元位置を求めると共に、上記ステップ１１０で取得した測位情報を用いて、各フレームのエッジ点群を統合して、３次元点群とする。 First, in step 110, a stereo image and positioning information stored in the data storage unit 24 for an intersection to be detected are acquired. In step 112, edge points are extracted from the stereo image of each frame acquired in step 110. In step 114, a three-dimensional position is obtained for each point of the edge point group of the stereo image of each frame extracted in step 112, and the edge point group of each frame is integrated using the positioning information acquired in step 110. A three-dimensional point group is obtained.
そして、ステップ１１６において、上記ステップ１１４で得られた３次元点群のうち、各走行に対する３次元点群から、線分を各々検出し、ステップ１１８において、上記ステップ１１４で得られた３次元点群及び上記ステップ１１６で検出された各線分を、点群線分記憶部３０に格納する。 Then, in step 116, line segments are detected from the three-dimensional point group for each run out of the three-dimensional point group obtained in step 114. In step 118, the three-dimensional point obtained in step 114 is detected. The group and each line segment detected in step 116 are stored in the point group line segment storage unit 30.
次のステップ１２０では、上記ステップ１１８で点群線分記憶部３０に格納された線分のうち、２つの線分からなる線分ペアを選択し、処理対象の線分ペアとして設定する。ステップ１２２において、上記ステップ１１８で点群線分記憶部３０に格納された３次元点群から、上記ステップ１２０で設定された処理対象の線分ペアの２つの線分の延長線の周辺の点を、部分点群として選択する。ここで、複数の部分点群が選択される。 In the next step 120, a line segment pair composed of two line segments is selected from the line segments stored in the point cloud line segment storage unit 30 in step 118 and set as a line segment pair to be processed. In step 122, the points around the extension lines of the two line segments of the line segment pair to be processed set in step 120 from the three-dimensional point group stored in the point cloud line storage unit 30 in step 118. Are selected as a partial point group. Here, a plurality of partial point groups are selected.
そして、ステップ１２４において、上記ステップ１２２で選択された部分点群に基づいて、片側双曲線を示すパラメータを算出し、ステップ１２６で、上記ステップ１２４で算出された片側双曲線パラメータの適合度を算出する。ここで、上記ステップ１２４、１２６の処理は、選択された複数の部分点群の各々について行われる。 In step 124, a parameter indicating a one-sided hyperbola is calculated based on the partial point group selected in step 122, and in step 126, the fitness of the one-sided hyperbola parameter calculated in step 124 is calculated. Here, the processing of steps 124 and 126 is performed for each of the selected plurality of partial point groups.
ステップ１２８では、上記ステップ１１８で点群線分記憶部３０に格納された線分における全ての線分ペアについて上記ステップ１２０〜ステップ１２６の処理が実行されたか否かを判定し、全ての線分ペアについて上記ステップ１２０〜ステップ１２６の処理が実行されたと判定された場合には、ステップ１３０へ進む。一方、上記ステップ１２０〜ステップ１２６の処理が実行されていない線分ペアが存在する場合には、上記ステップ１２０へ戻り、当該線分ペアを処理対象の線分ペアとして設定する。 In step 128, it is determined whether or not the processing in steps 120 to 126 has been executed for all line segment pairs in the line segment stored in the point cloud line segment storage unit 30 in step 118, and all line segments are determined. If it is determined that the processing from step 120 to step 126 has been executed for the pair, the process proceeds to step 130. On the other hand, if there is a line segment pair for which the processing of step 120 to step 126 has not been executed, the process returns to step 120, and the line segment pair is set as a line segment pair to be processed.
ステップ１３０では、上記ステップ１１０で取得した測位情報に基づいて、交差点の中心位置を算出し、算出された中心位置を基準として、上記ステップ１２４で算出された片側双曲線パラメータを、複数の角（例えば４つの角）に分類し、片側双曲線パラメータの各々を、複数の角の何れかに振り分ける。 In step 130, the center position of the intersection is calculated based on the positioning information acquired in step 110, and the one-sided hyperbola parameter calculated in step 124 is converted into a plurality of angles (for example, based on the calculated center position). 4 corners), and each one-sided hyperbolic parameter is assigned to one of a plurality of corners.
そして、ステップ１３２では、交差点の角毎に、当該角に振り分けられた片側双曲線パラメータのうち、上記ステップ１２６で算出された適合度が最大となる、片側双曲線パラメータを選択する。次のステップ１３４では、上記ステップ１３２で交差点の角毎に選択された片側双曲線パラメータが示す片側双曲線を、交差点における角毎の道路境界の検出結果として出力し、道路境界検出処理ルーチンを終了する。 In step 132, for each corner of the intersection, a one-sided hyperbola parameter that maximizes the fitness calculated in step 126 is selected from the one-sided hyperbola parameters distributed to the corner. In the next step 134, the one-sided hyperbola indicated by the one-sided hyperbolic parameter selected for each corner of the intersection in step 132 is output as the road boundary detection result for each corner at the intersection, and the road boundary detection processing routine is terminated.
道路境界検出処理ルーチンによって検出された交差点における角毎の道路境界は、例えば、地図上に登録される。 The road boundary for each corner at the intersection detected by the road boundary detection processing routine is registered on a map, for example.
たとえば、図１２（Ａ）に示すような入力画像を含むステレオ画像が入力された場合には、図１３に示すような、点群データが取得され、図１２（Ｂ）に示すように、交差点における道路境界であるガードレールが検出される。なお、図１２（Ａ）の画像中の丸印が示すガードレールと、図１２（Ｂ）の丸印が示すガードレールとは対応しており、図１２（Ａ）の画像を撮像したときの車両の位置及び撮像方向が、図１２（Ｂ）中に示されている。 For example, when a stereo image including an input image as shown in FIG. 12A is input, point cloud data as shown in FIG. 13 is acquired, and as shown in FIG. A guardrail which is a road boundary at is detected. Note that the guardrail indicated by the circle in the image of FIG. 12A corresponds to the guardrail indicated by the circle in FIG. 12B, and the vehicle when the image of FIG. The position and imaging direction are shown in FIG.
以上説明したように、本発明の実施の形態の交差点道路境界検出装置によれば、同一の交差点の異なる走行方向の車両の走行にわたって得られた３次元点群から線分を検出し、線分ペア毎に、線分ペアの２つの線分を漸近線とする片側双曲線のパラメータを算出し、３次元点群に最も適合する片側双曲線パラメータが示す片側双曲線を、交差点における道路境界として検出することにより、交差点における道路境界を精度よく検出することができる。また、交差点における道路境界を検出して、地図に登録することにより、図１４に示すような高精度な地図を生成することができる。 As described above, according to the intersection road boundary detection device of the embodiment of the present invention, a line segment is detected from a three-dimensional point group obtained over the traveling of a vehicle in the same traveling direction at the same intersection. For each pair, calculate the parameters of the one-sided hyperbola with the two line segments of the line segment pair asymptotic, and detect the one-sided hyperbola indicated by the one-sided hyperbola parameter that best fits the 3D point cloud as the road boundary at the intersection Thus, the road boundary at the intersection can be detected with high accuracy. Further, by detecting the road boundary at the intersection and registering it on the map, a highly accurate map as shown in FIG. 14 can be generated.
カメラを搭載した車両で交差点を複数方向に走行し、複数方向に走行して得られた点群を統合利用することで、交差点の道路境界を検出できる。単一方向に走行するだけでは死角が多いため全体を検出できないが、複数方向にわたって取得したデータを統合することで交差点の道路境界の形状を認識できる。また、交差点付近は人、車、バイクなどが停留しやすく、道路境界以外の物体を誤検出しやすいが、本実施の形態に係る交差点道路境界検出装置により、誤検出を抑制でき、静止物の境界のみ検出可能となる。 The road boundary of the intersection can be detected by running the intersection in a plurality of directions with a vehicle equipped with a camera and integrating and using the point cloud obtained by traveling in the plurality of directions. It is not possible to detect the whole because the number of blind spots is large only by traveling in a single direction, but the shape of the road boundary at the intersection can be recognized by integrating data acquired in a plurality of directions. In addition, people, cars, motorcycles, etc. are likely to stop near the intersection, and it is easy to misdetect objects other than road boundaries.However, the intersection road boundary detection device according to the present embodiment can suppress false detection and Only the boundary can be detected.
また、交差点周囲の道路境界を個別の線分として扱うのではなく、交差する道路の線分をそれぞれ漸近線とする単一の片側双曲線として、交差点の道路境界を表現するため、交差する両方の道路境界、および角の形状を併せてモデル化し最適化することができる。 In addition, instead of treating the road boundary around the intersection as individual line segments, both intersections are represented to represent the road boundary at the intersection as a single one-sided hyperbola with each of the intersecting road segments as asymptotic lines. Road boundaries and corner shapes can be modeled and optimized together.
また、本実施の形態では、交差点周囲の道路の直線状領域、円弧状領域をまとめて扱うことのできる双曲線モデルで近似するため、モデルの当てはめが容易になる。また、曲率の小さい直角状の交差点境界も併せて同様の枠組で検出することができる。 Further, in the present embodiment, since approximation is performed with a hyperbola model that can collectively handle a linear area and an arc-shaped area of a road around an intersection, it is easy to fit the model. Further, a right-angle intersection boundary with a small curvature can also be detected with the same frame.
また、もともと、双曲線近似はノイズの影響を受けやすく多くの課題がある。本実施の形態では、複数の走行で得られた点群のうち、漸近線となる線分ペアに近い点群を統合して用いることで、車載カメラによって得たノイズを多く含む点群であっても比較的安定して双曲線フィッティング可能である。また、他物体の影響を受けにくいため誤検出を抑制できる。 Originally, hyperbolic approximation is susceptible to noise and has many problems. In the present embodiment, among point groups obtained by a plurality of runs, a point group that is close to a pair of line segments that are asymptotic lines is used in an integrated manner, so that it is a point group that contains a lot of noise obtained by an in-vehicle camera. However, the hyperbola fitting can be performed relatively stably. Moreover, since it is difficult to be influenced by other objects, erroneous detection can be suppressed.
また、交差点の角ごとに、適合度が最大となる片側双曲線を求めることで、交差点の角ごとの道路境界が得られる。 Moreover, the road boundary for every corner of an intersection is obtained by calculating | requiring the one-sided hyperbola which has the maximum fitness for every corner of an intersection.
なお、上記の実施の形態では、車両走行時に、交差点のステレオ画像及び測位情報の取得及び記憶のみを行い、後で、３次元点群を求める場合を例に説明したが、これに限定されるものではない。例えば、車両走行時に、ステレオ画像及び測位情報の取得及び記憶を行うと共に、エッジ点の抽出及び実座標系の３次元座標の算出を行うようにしてもよい。 In the above-described embodiment, the case where only a stereo image of an intersection and positioning information are acquired and stored and the 3D point group is obtained later is described when the vehicle travels. However, the present invention is not limited thereto. It is not a thing. For example, stereo images and positioning information may be acquired and stored while the vehicle is traveling, and edge points may be extracted and the three-dimensional coordinates of the real coordinate system may be calculated.
また、交差点道路境界検出装置が車両に搭載されている場合を例に説明したが、撮像装置、測位装置、データ取得部、地図データベース、及びデータ記憶部を含む車載器とは別の装置で、交差点道路境界検出装置を構成してもよい。この場合には、車載器のデータ記憶部に記憶されたデータを、ネットワーク等を介して、交差点道路境界検出装置に入力するようにすればよい。 Moreover, although the case where the intersection road boundary detection device is mounted on a vehicle has been described as an example, in an apparatus different from the vehicle-mounted device including the imaging device, the positioning device, the data acquisition unit, the map database, and the data storage unit, You may comprise an intersection road boundary detection apparatus. In this case, what is necessary is just to input the data memorize | stored in the data storage part of the onboard equipment to the intersection road boundary detection apparatus via a network etc.
また、ステレオカメラである撮像装置の代わりに、レーザレーダを用いて、点群を取得してもよい。この場合には、レーザレーダを用いて、道路領域を含む自車両前方に存在する物体上の３次元点を各々検出し、コンピュータに出力するようにすればよい。また、レーザレーダが、データ取得手段の一例であり、検出される物体上の３次元点が、物体データの一例である。 Moreover, you may acquire a point cloud using a laser radar instead of the imaging device which is a stereo camera. In this case, the laser radar may be used to detect each three-dimensional point on the object existing in front of the host vehicle including the road area and output it to the computer. Laser radar is an example of data acquisition means, and a three-dimensional point on the detected object is an example of object data.
本発明のプログラムは、記憶媒体に格納して提供するようにしてもよい。 The program of the present invention may be provided by being stored in a storage medium.
１０ 交差点道路境界検出装置
１２ 撮像装置
１４ 測位装置
１６ コンピュータ
２０ 地図データベース
２２ データ取得部
２４ データ記憶部
２６ 点群取得部
２８ 線分検出部
３０ 点群線分記憶部
３２ 線分ペア選択部
３４ 部分点群選択部
３６ 双曲線パラメータ算出部
３８ 最適化部
DESCRIPTION OF SYMBOLS 10 Intersection road boundary detection apparatus 12 Imaging apparatus 14 Positioning apparatus 16 Computer 20 Map database 22 Data acquisition part 24 Data storage part 26 Point group acquisition part 28 Line segment detection part 30 Point group line segment storage part 32 Line segment pair selection part 34 Part Point cloud selection unit 36 hyperbolic parameter calculation unit 38 optimization unit
Claims (9)
前記点群取得手段によって前記走行する毎に取得された前記点群データから、線分を各々検出する線分検出手段と、
同一の交差点の異なる２つの走行方向の前記車両の走行に対して得られた前記点群データから前記線分検出手段によって検出された線分に基づいて、一方の走行方向に対する複数の線分のうちの何れか１つの線分と、他方の走行方向に対する複数の線分のうちの何れか１つの線分とからなる線分ペアを複数選択する線分選択手段と、
前記線分選択手段によって選択された線分ペア毎に、前記線分ペアの２つの線分を漸近線とする双曲線を算出する双曲線算出手段と、
前記双曲線算出手段によって前記線分ペア毎に算出された双曲線の各々について、前記点群取得手段によって前記同一の交差点の異なる走行方向の前記車両の走行に対して取得された前記点群データとの適合度を算出し、適合度が最大となる双曲線の片側曲線を、前記交差点における道路境界として検出する道路境界検出手段と、
を含む交差点道路境界検出装置。 Each time the vehicle travels an intersection, the three-dimensional real coordinate system is based on the object data at the intersection acquired by the data acquisition means mounted on the vehicle when traveling and the positioning information of the vehicle. Point cloud acquisition means for acquiring point cloud data comprising a plurality of points on the object at the intersection having coordinates;
Line segment detection means for detecting each line segment from the point cloud data acquired each time the traveling is performed by the point group acquisition means;
Based on the line segment detected by the line segment detection means from the point cloud data obtained for the traveling of the vehicle in two different traveling directions at the same intersection, a plurality of line segments in one traveling direction Line segment selection means for selecting a plurality of line segment pairs consisting of any one of the line segments and any one of a plurality of line segments in the other traveling direction ;
Hyperbola calculation means for calculating a hyperbola having asymptotic lines for two line segments of the line segment pair for each line segment pair selected by the line segment selection means;
For each hyperbola calculated for each pair of line segments by the hyperbola calculation means, the point group data acquired by the point group acquisition means for the traveling of the vehicle in the different traveling directions of the same intersection Road boundary detection means for calculating a fitness and detecting a one-sided curve of the hyperbola that maximizes the fitness as a road boundary at the intersection;
Intersection road boundary detection device including
前記道路境界検出手段は、前記交差点における複数の角に対して、前記双曲線算出手段によって算出された片側双曲線を振り分け、前記交差点の角毎に、前記角に振り分けられた片側双曲線のうち、前記点群取得手段によって取得された前記点群データに最も適合する片側曲線を、前記交差点における前記角の道路境界として検出する請求項１〜請求項５の何れか１項記載の交差点道路境界検出装置。 The hyperbola calculation means calculates, for each line segment pair selected by the line segment selection means, a one-sided hyperbola with two line segments of the line segment pair as asymptotic lines,
The road boundary detection unit distributes the one-sided hyperbola calculated by the hyperbola calculation unit to a plurality of corners at the intersection, and the point of the one-sided hyperbola distributed to the corners for each corner of the intersection The intersection road boundary detection device according to any one of claims 1 to 5, wherein a one-sided curve that best matches the point cloud data acquired by the group acquisition means is detected as a road boundary of the corner at the intersection.
前記点群取得手段は、前記車両が交差点を走行したときに撮像された前記ステレオ画像から抽出される相対座標系の３次元座標を持つ複数の点と、前記車両の測位情報とに基づいて、前記点群データを取得する請求項１〜請求項６の何れか１項記載の交差点道路境界検出装置。 The data acquisition means is an imaging means for imaging a periphery of the vehicle to generate a stereo image,
The point cloud acquisition means is based on a plurality of points having a three-dimensional coordinate of a relative coordinate system extracted from the stereo image captured when the vehicle travels an intersection, and positioning information of the vehicle, The intersection road boundary detection device according to any one of claims 1 to 6, wherein the point cloud data is acquired.
前記点群取得手段は、前記車両が交差点を走行したときに検出された前記交差点における物体上の点と、前記車両の測位情報とに基づいて、前記点群データを取得する請求項１〜請求項６の何れか１項記載の交差点道路境界検出装置。 The data acquisition means is a laser radar that detects points on an object existing around the vehicle,
The point cloud acquisition unit acquires the point cloud data based on a point on the object at the intersection detected when the vehicle travels an intersection and positioning information of the vehicle. The intersection road boundary detection device according to any one of items 6.
車両が交差点を走行する毎に、前記走行したときに前記車両に搭載されたデータ取得手段によって取得された前記交差点における物体データと、前記車両の測位情報とに基づいて、実座標系の３次元座標を持つ、前記交差点における物体上の複数の点からなる点群データを取得する点群取得手段、
前記点群取得手段によって前記走行する毎に取得された前記点群データから、線分を各々検出する線分検出手段、
同一の交差点の異なる２つの走行方向の前記車両の走行に対して得られた前記点群データから前記線分検出手段によって検出された線分に基づいて、一方の走行方向に対する複数の線分のうちの何れか１つの線分と、他方の走行方向に対する複数の線分のうちの何れか１つの線分とからなる線分ペアを複数選択する線分選択手段、
前記線分選択手段によって選択された線分ペア毎に、前記線分ペアの２つの線分を漸近線とする双曲線を算出する双曲線算出手段、及び
前記双曲線算出手段によって前記線分ペア毎に算出された双曲線の各々について、前記点群取得手段によって前記同一の交差点の異なる走行方向の前記車両の走行に対して取得された前記点群データとの適合度を算出し、適合度が最大となる双曲線の片側曲線を、前記交差点における道路境界として検出する道路境界検出手段
として機能させるためのプログラム。 Computer
Each time the vehicle travels an intersection, the three-dimensional real coordinate system is based on the object data at the intersection acquired by the data acquisition means mounted on the vehicle when traveling and the positioning information of the vehicle. Point cloud acquisition means for acquiring point cloud data comprising a plurality of points on the object at the intersection having coordinates;
Line segment detection means for detecting each line segment from the point cloud data acquired each time the traveling is performed by the point group acquisition means;
Based on the line segment detected by the line segment detection means from the point cloud data obtained for the traveling of the vehicle in two different traveling directions at the same intersection, a plurality of line segments in one traveling direction Line segment selection means for selecting a plurality of line segment pairs consisting of any one of the line segments and any one of the plurality of line segments in the other traveling direction ;
For each line segment pair selected by the line segment selection means, a hyperbola calculation means for calculating a hyperbola with two line segments of the line segment pair as asymptotic lines, and for each line segment pair calculated by the hyperbola calculation means For each of the obtained hyperbolic curves, the degree of conformity with the point cloud data obtained for the traveling of the vehicle in a different traveling direction at the same intersection by the point group obtaining means is calculated, and the degree of conformity is maximized. A program for causing a hyperbolic one-sided curve to function as road boundary detection means for detecting a road boundary at the intersection.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012270610A JP6119225B2 (en) | 2012-12-11 | 2012-12-11 | Intersection road boundary detection device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012270610A JP6119225B2 (en) | 2012-12-11 | 2012-12-11 | Intersection road boundary detection device and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014115904A JP2014115904A (en) | 2014-06-26 |
| JP6119225B2 true JP6119225B2 (en) | 2017-04-26 |
Family
ID=51171812
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012270610A Active JP6119225B2 (en) | 2012-12-11 | 2012-12-11 | Intersection road boundary detection device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6119225B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6847712B2 (en) * | 2017-03-03 | 2021-03-24 | 三菱航空機株式会社 | 3D position measurement system and method |
| CN108319895B (en) * | 2017-12-29 | 2021-09-17 | 百度在线网络技术（北京）有限公司 | Method and device for identifying intersection in electronic map |
| JP7140577B2 (en) * | 2018-07-12 | 2022-09-21 | 株式会社Soken | Intersecting road estimator |
| JP2020017199A (en) * | 2018-07-27 | 2020-01-30 | パイオニア株式会社 | Information processing device |
| WO2020071416A1 (en) * | 2018-10-02 | 2020-04-09 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Three-dimensional data coding method, three-dimensional data decoding method, three-dimensional data coding device, and three-dimensional data decoding device |
| WO2020071414A1 (en) * | 2018-10-02 | 2020-04-09 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device |
| US20230192131A1 (en) * | 2021-12-22 | 2023-06-22 | Joseph Burtch | Automated driving collision prediction |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08159716A (en) * | 1994-12-09 | 1996-06-21 | Sumitomo Electric Ind Ltd | Calculation method of vanishing point of road, and position/attitude measuring apparatus for vehicle |
| JP5286653B2 (en) * | 2006-09-07 | 2013-09-11 | 株式会社豊田中央研究所 | Stationary object map generator |
| JP5531474B2 (en) * | 2008-12-12 | 2014-06-25 | 株式会社豊田中央研究所 | Map generation device, runway estimation device, movable region estimation device, and program |
-
2012
- 2012-12-11 JP JP2012270610A patent/JP6119225B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014115904A (en) | 2014-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6119225B2 (en) | Intersection road boundary detection device and program | |
| US11320833B2 (en) | Data processing method, apparatus and terminal | |
| US11086016B2 (en) | Method and apparatus for tracking obstacle | |
| US10217007B2 (en) | Detecting method and device of obstacles based on disparity map and automobile driving assistance system | |
| US9736460B2 (en) | Distance measuring apparatus and distance measuring method | |
| JP5804185B2 (en) | Moving object position / orientation estimation apparatus and moving object position / orientation estimation method | |
| CN103424112B (en) | A kind of motion carrier vision navigation method auxiliary based on laser plane | |
| CN111612728B (en) | 3D point cloud densification method and device based on binocular RGB image | |
| JP2017223511A (en) | Road structuring device, road structuring method and road structuring program | |
| JP5385105B2 (en) | Image search method and system | |
| JP2015148601A (en) | System and method for mapping, localization and pose correction | |
| TWI504858B (en) | A vehicle specification measuring and processing device, a vehicle specification measuring method, and a recording medium | |
| JP6381137B2 (en) | Label detection apparatus, method, and program | |
| KR102233260B1 (en) | Apparatus and method for updating high definition map | |
| CN110597249A (en) | Robot and recharging positioning method and device thereof | |
| KR20200093271A (en) | Apparatus and method for estimating location of landmark and computer recordable medium storing computer program thereof | |
| US20230251097A1 (en) | Efficient map matching method for autonomous driving and apparatus thereof | |
| Takai et al. | Accurate registration of MMS point clouds of urban areas using trajectory | |
| JP6673504B2 (en) | Information processing device, database generation device, method, program, and storage medium | |
| JP6397386B2 (en) | Region division processing apparatus, method, and program | |
| CN106240454A (en) | System and the mobile unit of vehicle collision prewarning are provided | |
| JP4618506B2 (en) | Object recognition device | |
| JP2020015419A (en) | Information processor and point group correction method, and program | |
| JP4876676B2 (en) | POSITION MEASURING DEVICE, METHOD, AND PROGRAM, AND MOVEMENT DETECTION DETECTING DEVICE, METHOD, AND PROGRAM | |
| CN118379705B (en) | Vehicle information detection method and device based on 2D vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150916 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160803 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160809 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161011 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20161115 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170202 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20170210 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170228 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170313 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6119225 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |