JP4462533B2 - Road lane detection device - Google Patents
Road lane detection device Download PDFInfo
- Publication number
- JP4462533B2 JP4462533B2 JP2003380657A JP2003380657A JP4462533B2 JP 4462533 B2 JP4462533 B2 JP 4462533B2 JP 2003380657 A JP2003380657 A JP 2003380657A JP 2003380657 A JP2003380657 A JP 2003380657A JP 4462533 B2 JP4462533 B2 JP 4462533B2
- Authority
- JP
- Japan
- Prior art keywords
- lane
- straight line
- data
- image
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims description 116
- 230000009466 transformation Effects 0.000 claims description 55
- 238000004364 calculation method Methods 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 31
- 238000003384 imaging method Methods 0.000 claims description 30
- 238000013178 mathematical model Methods 0.000 claims description 24
- 238000005070 sampling Methods 0.000 claims description 9
- 230000006978 adaptation Effects 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 30
- 230000008569 process Effects 0.000 description 22
- 230000008859 change Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 5
- 239000013256 coordination polymer Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000012821 model calculation Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、移動体の路面走行レーン検出装置に関し、特に、走行する車両前方の路面を連続して撮像した画像から当該車両(自車)の走行レーンを検出する路面走行レーン検出装置に係る。 The present invention relates to a road surface traveling lane detection device for a moving body, and more particularly to a road surface traveling lane detection device that detects a traveling lane of the vehicle (own vehicle) from images obtained by continuously capturing road surfaces ahead of the traveling vehicle.
例えば、自動車の自動走行制御や運転者の支援制御等においては、カメラで撮像した画像から路面上の自車(カメラ装着車)の走行レーンを適切且つ安定的に検出することが重要となる。通常、路面上には、走行レーン(車線)の境界を識別するレーン境界線(白線等)が塗装されている。従って、左右両側のレーン境界線を検出することによって走行レーンを検出し、あるいは左右一方側のレーン境界線を検出し、これに一定のレーン間隔を加算して他方側のレーン境界線を特定することによって、走行レーンを特定することができる。 For example, in automatic driving control of automobiles, driver assistance control, and the like, it is important to appropriately and stably detect the traveling lane of the vehicle (camera-equipped vehicle) on the road surface from an image captured by a camera. Usually, on the road surface, a lane boundary line (white line or the like) for identifying the boundary of the traveling lane (lane) is painted. Therefore, it detects the driving lane by detecting the left and right lane boundary lines, or detects the left and right lane boundary lines, and adds a certain lane interval to this to identify the other lane boundary line. Thus, the traveling lane can be specified.
このような路面走行レーン検出装置に関連し、特許文献1には、二次元画像から三次元物体を識別するため、障害物を含む走路を撮影した画像の中から、消点(無限遠点で、通常、消失点と呼ばれる)を検出する消点検出装置が開示されている。ここでは、消失点候補位置と検出エッジ点を結ぶ直線の(傾斜)角度と、エッジ点でのエッジ傾斜(角度)の差が所定の閾値よりも小さいときに、その直線の角度に対応する角度頻度をヒストグラム化し、最も大きな頻度をとる直線の本数を直線本数累積画像として累積し、この画像から消失点の位置を検出することとしている。
In relation to such a road surface lane detection device,
更に、特許文献2及び特許文献3にも、特許文献1と同様の消点検出装置が開示されている。前者の特許文献2では、検出したエッジ画像の中から、予め消失点に無関係な縦横エッジ成分(水平・垂直な直線成分)をマスキング手段によって取り除いた後に、Hough 変換などの直線検出手段を適用することとしている。また、後者の特許文献3では、ノイズや無関係なエッジ成分を排除するために、エッジ画像に対してウインドウ領域を設定し、この位置を可変として、消失点検出に有用なエッジ点を多く検出する装置が開示されている。
Further,
一方、特許文献4には、移動車に搭載した画像入力手段たるカメラが、自重や走行中の振動等により移動車に対する設置位置のズレを画像に基づいて検出し、入力画像の位置ズレを補正する補正手段を備えた移動体の画像処理装置が開示されている。この特許文献4では、車体(具体的にはボンネット)上に基準点(具体的にはマーカ)を配置し、撮影した画像中のマーカの位置が基準位置とずれている場合に、雲台を制御し機械的にイメージセンサ(カメラ)を駆動して画像中のマーカの位置を合わせる方法と、ソフトウエア的に画像データそのものの座標をシフトさせる方法が開示されている。 On the other hand, in Patent Document 4, a camera as an image input means mounted on a moving vehicle detects a displacement of the installation position with respect to the moving vehicle based on its own weight or vibration during traveling, and corrects the displacement of the input image. A moving body image processing apparatus including a correcting unit is disclosed. In Patent Document 4, when a reference point (specifically, a marker) is arranged on a vehicle body (specifically, a bonnet) and the position of the marker in the photographed image is shifted from the reference position, the pan head is A method of controlling and mechanically driving an image sensor (camera) to align the position of a marker in an image and a method of shifting the coordinates of image data itself by software are disclosed.
また、特許文献5には、画像処理による走行路推定において、誤った白線候補点(外乱)の影響を低減させることを目的とした走行路推定装置が提案されている。この特許文献5には、仮想候補点設定手段によって自車両の後方における白線部1本に対し少なくとも2個の仮想白線候補点を設定し、走行路推定手段により推定された走行路の白線部についての推定値に応じて、条件変更手段によって仮想候補点の設定条件を変更するようにしたので、推定される走行路の白線部に直線化の影響を強く与えることなく、推定に影響を及ぼす外乱の影響を低減することができる旨記載されている。 Further, Patent Document 5 proposes a traveling path estimation device for reducing the influence of an erroneous white line candidate point (disturbance) in traveling path estimation by image processing. In Patent Document 5, at least two virtual white line candidate points are set for one white line portion behind the host vehicle by the virtual candidate point setting means, and the white line portion of the travel path estimated by the travel path estimation means is described. Since the setting condition of the virtual candidate point is changed by the condition changing means according to the estimated value of the above, the disturbance that affects the estimation without strongly affecting the white line portion of the estimated road It is described that the influence of can be reduced.
更に、特許文献6には、走行路をカメラで撮像して得られた画像データから走行路の形状を判別する走行路判別方法において、画像処理により得られた多数の直線の中から一方の走行路端に対応するものを決定し、地平線および走行路(道路)幅との対応関係から他方の走行路端に対応する直線を予測し、その予測にもとづいて上記他方の走行路端に対応する直線を抽出する方法が開示されている。この特許文献6では、画像中の水平線位置は車両へのカメラの設置条件から計算しており、走行路(道路)幅に相当した左右端の直線候補のうち、二直線の交点がこの水平線上に検出されたものを、走行路端に対応する一対の直線として検出することとしている。
Furthermore, in
一方、画像処理技術に関し、直線検出方法としてHough変換が広く知られており、例えば、下記の非特許文献1に解説されている。このようなHough変換はノイズにロバストな直線検出方法として知られ、(x,y)座標系の点を(ρ,θ)極座標系上の曲線に変換する過程で、(x,y)座標系で同一の直線上にあった特徴点による(ρ,θ)座標系上の曲線は1点で交差することを特徴としている。更に、近年コンピュータビジョンにおいて、ロバスト法の一種であるRANSAC(Random Sample Consensus)が注目されており、下記の非特許文献2に詳細に解説されている。また、下記の非特許文献3にも、RANSACが解説されている。
On the other hand, with regard to image processing technology, Hough transformation is widely known as a straight line detection method, and is described, for example, in Non-Patent
そして、下記の非特許文献4には、上記の消失点をはじめ、無限遠と射影空間について解説されており、本願発明で用いる射影変換についても説明されている。 The following non-patent document 4 describes the vanishing point, the infinity and the projective space, and the projective transformation used in the present invention.
前掲の特許文献1においては、消失点候補位置は予め正しい値が確認できているときには成立するが、それが未知であるときは解決できない。これに対し、消失点位置を特定することなく結果的に集中している位置を採用することとした場合には、走行路の方向には存在しない直線成分が強く、走行路の直線成分が小さいと、本来の消失点位置とは異なる位置に交点が集中してしまい、正しい消失点位置を検出できないことになる。特に、実際の自然環境下では、路面の汚れ、建物や他の車両の影等の影響により消失点位置を検出することは至難である。
In the above-mentioned
また、特許文献2におけるマスキング処理では3×3サイズのオペレータを用いたエッジ検出と同様のオペレータが用いられているため、処理時間が長くなり、実用に供し得ない。更に、特許文献3では、直線として検出されるべきエッジ構成点は密度高く並び、まばらに散在するエッジ点は直線として検出されるべきでないということを前提としており、ウインドウ内のエッジ点数が少ない場合は直線として検出されないので、路面の汚れや白線の剥がれ等でエッジ点の欠落が生じている場合は、本来の検出対象の白線等を検出することができなくなる。特許文献4によっても、移動車が走行中に路面の継ぎ目や凹凸を乗り越えたときに振動する場合や、乗員や積載状態が変化した場合には、路面とカメラの位置関係が定まらず、所期の目的を達成し得なくなる。
Further, in the masking process in
前掲の特許文献5に記載の装置においても同様に、移動車が走行中に継ぎ目や凹凸を乗り越えたときの振動あるいは乗員や積載状態の変化によって、白線とは無関係なエッジがスキャンウインドウ中に混入したり、画像中の白線がスキャンウインドウから外れてしまい、検出精度が不安定になる。そして、特許文献6では、水平線の位置はカメラの車両への設置条件によって定められているので、上記のように車両が走行中に継目や凹凸を乗り越えたときに振動する場合や、乗員や積載状態が変化した場合には、水平線の位置が変化してしまい、正しい結果が得られなくなる。
Similarly, in the apparatus described in Patent Document 5 mentioned above, an edge that is not related to the white line is mixed in the scan window due to vibration or movement of the occupant or the loading state when the moving vehicle gets over the seam or unevenness during traveling. Or the white line in the image falls out of the scan window, and the detection accuracy becomes unstable. In
以上のように、実際に車両が道路上を走行している場合には、路面の補修箇所や陸橋の継ぎ目等において僅かではあるが段差がある。また、道路の供用開始からある期間が経過すると路面には微妙ではあるが凹凸が生ずる。車両がこれらの箇所を高速で通過すると車体の振動が大きくなり、車両に搭載されたカメラの地上からの高さが変化し、光軸の向きも変化することになる。 As described above, when the vehicle is actually traveling on the road, there are slight steps in the repaired portion of the road surface, the seam of the overpass, and the like. In addition, when a certain period has elapsed since the start of service on the road, the road surface is subtle but uneven. When the vehicle passes through these places at high speed, the vibration of the vehicle body increases, the height of the camera mounted on the vehicle changes from the ground, and the direction of the optical axis also changes.
しかし、前掲の特許文献を含み従来の画像処理方式によれば、カメラの高さが一定であることが前提とされているので、上記の振動によって白線の位置や方向の計測時には誤差が生ずる。特に、カメラの光軸の向きを一定であると仮定したシステムでは、その誤差が更に大きくなる。このため、走行レーンの幅や位置が予め設定した範囲から外れてしまった場合には、レーン境界線(白線)が未検知であるとして処理せざるを得ず、走行レーンを安定的に検出することができなくなる。 However, according to the conventional image processing system including the above-mentioned patent documents, it is assumed that the height of the camera is constant, so that an error occurs when measuring the position and direction of the white line due to the above vibration. In particular, in a system that assumes that the direction of the optical axis of the camera is constant, the error becomes even larger. For this reason, when the width or position of the travel lane deviates from the preset range, the lane boundary line (white line) must be processed as undetected, and the travel lane is stably detected. I can't do that.
これに対し、3次元の走行環境中には走行レーン境界線をはじめ種々の平行線の組が存在するので、これらの平行線に対する撮像手段の位置関係を特定することができれば、撮像手段が搭載された移動体の走行レーンにおける位置を適切に特定することができる。 On the other hand, in a three-dimensional driving environment, there are various sets of parallel lines including a driving lane boundary line. If the positional relationship of the imaging means with respect to these parallel lines can be specified, the imaging means is installed. It is possible to appropriately specify the position of the moving body in the travel lane.
更に、レーンチェンジ(車線変更)前後では自車がレーン境界線を跨ぐことから、走行レーンの検出が不安定になり、自車の位置特定が不正確になりやすい。また、前述のように、路面の汚れや白線の剥がれによってレーンチェンジ後の走行レーンの検出も安定的に検出し得るとは限らない。従って、自車の走行レーンのみでなく、その両側に隣接する二つの走行レーンを自車の走行レーン情報に基づき安定的に特定することができれば、レーンチェンジ時においても自車の位置を安定的に特定することができる。 Furthermore, before and after the lane change (lane change), the own vehicle straddles the lane boundary line, so detection of the traveling lane becomes unstable and the position of the own vehicle tends to be inaccurate. In addition, as described above, detection of a traveling lane after a lane change may not be detected stably due to dirt on the road surface or peeling of a white line. Therefore, if it is possible to stably identify not only the traveling lane of the own vehicle but also two adjacent traveling lanes on both sides based on the traveling lane information of the own vehicle, the position of the own vehicle can be stably maintained even during a lane change. Can be specified.
そこで、本発明は、移動体が走行する路面上の走行レーンを検出する路面走行レーン検出装置において、当該移動体に搭載された撮像手段の位置及び姿勢の影響を受けることなく、路面の走行レーンの境界線を適切に検出すると共に、走行レーンにおける当該移動体の位置を的確に特定し、走行レーンを安定的に検出し得る路面走行レーン検出装置を提供することを課題とする。 Accordingly, the present invention provides a road lane detection device that detects a travel lane on a road surface on which a mobile body travels, and is not affected by the position and orientation of an imaging means mounted on the mobile body. It is an object of the present invention to provide a road surface traveling lane detection device that can appropriately detect the boundary line and accurately identify the position of the moving body in the traveling lane and stably detect the traveling lane.
また、本発明は、移動体が走行する路面上の走行レーンを検出する路面走行レーン検出装置において、当該移動体に搭載された撮像手段の位置及び姿勢の影響を受けることなく、当該移動体の走行レーンの両側に隣接する走行レーンを、安定的に検出し得るように構成することを別の課題とする。 Further, the present invention provides a road surface lane detection device that detects a travel lane on a road surface on which the mobile body travels, without being affected by the position and orientation of the imaging means mounted on the mobile body. Another object is to configure the traveling lanes adjacent to both sides of the traveling lane so as to be stably detected.
上記の課題を達成するため、本発明は、請求項1に記載のように、移動体に装着された撮像手段によって路面を連続して撮像した画像から前記移動体の走行レーンを検出する路面走行レーン検出装置において、前記画像から直線データを検出すると共に、該直線データに基づき前記移動体の走行レーンを検出する走行レーン検出手段と、該走行レーン検出手段が検出した前記直線データに基づき、前記移動体の走行方向に延出する平行な前記路面上の直線の組に対応した前記画像上の直線の組と、前記画像を構成する画像面の上下端の直線の組を用い、前記画像面の上下端の直線の組を前記路面上に投影したときの直線の組が、前記移動体の走行方向に延出する平行な前記路面上の直線の組に対して直交しているとして射影変換を演算する射影変換演算手段と、該射影変換演算手段の演算結果に基づき、前記路面上に存在する前記路面に垂直な直線の組の前記路面への投影像の直線を延長した交点の位置を、前記走行レーンに対する、前記走行レーンの境界線と直交する方向の前記撮像手段の位置として特定する撮像手段位置特定手段とを備えることとしたものである。
To achieve the above object, the present invention is, as described in
上記の撮像手段は、倍率や光軸位置等の内部パラメータ、及び/又は、地上高や光軸方向等の外部パラメータが未知であっても、あるいは、外部パラメータが初期設定時の状態から変動するものであってもよい。 In the above imaging means, internal parameters such as magnification and optical axis position and / or external parameters such as ground height and optical axis direction are unknown, or the external parameters vary from the initial setting state. It may be a thing.
また、本発明は、請求項2に記載のように、移動体に略水平に装着された撮像手段によって路面を連続して撮像した画像から移動体の走行レーンを検出する路面走行レーン検出装置において、前記画像から直線データを検出すると共に、該直線データに基づき前記移動体の走行レーンを検出する走行レーン検出手段と、該走行レーン検出手段が検出した前記直線データに基づき、前記移動体の走行方向に延出する平行な前記路面上の直線の組に対応した前記画像上の直線の組と、前記画像を構成する画像面の上下端の直線の組を用い、前記画像面の上下端の直線の組を前記路面上に投影したときの直線の組が、前記移動体の走行方向に延出する平行な前記路面上の直線の組に対して直交しているとして射影変換を演算する射影変換演算手段と、該射影変換演算手段の演算結果に基づき、前記画像面の左右端の直線の組の前記路面への投影像の直線を延長した交点の位置を、前記走行レーンに対する、前記走行レーンの境界線と直交する方向の前記撮像手段の位置として特定する撮像手段位置特定手段とを備えたものとしてもよい。 According to another aspect of the present invention, there is provided a road surface traveling lane detection device for detecting a traveling lane of a moving body from an image obtained by continuously capturing an image of the road surface by an imaging unit mounted substantially horizontally on the moving body. A travel lane detecting means for detecting straight line data from the image and detecting a travel lane of the moving body based on the straight line data; and a travel of the mobile body based on the straight line data detected by the travel lane detecting means. using a set of straight line on the image corresponding to the straight line set on the road parallel extending in a direction, a linear set of upper and lower ends of the image plane constituting the image, the upper and lower ends of the image plane linear set of when a set of straight lines projected onto the road surface, and calculates a projective transformation as is orthogonal to the straight line set on said parallel road which extends in the running direction of the moving body projection Conversion operation means Based on the calculation results of projective transformation calculating means, a position of an intersection of extended straight lines projected onto the set of the road surface of the straight left and right ends of the image plane, with respect to the traveling lane, and a boundary line of the traveling lane An imaging unit position specifying unit that specifies the position of the imaging unit in an orthogonal direction may be provided.
更に、本発明は、請求項3に記載のように、移動体に装着された撮像手段によって路面を連続して撮像した画像から移動体の走行レーンを検出する路面走行レーン検出装置において、前記画像から直線データを検出すると共に、該直線データに基づき前記移動体の走行レーンを検出する走行レーン検出手段と、該走行レーン検出手段が検出した前記直線データに基づき、前記移動体の走行方向に延出する平行な前記路面上の直線の組に対応した前記画像上の直線の組を用い、前記画像を構成する画像面の上下端の直線の組と、前記画像面の上下端の直線の組を前記路面上に投影したときの直線の組が、前記移動体の走行方向に延出する平行な前記路面上の直線の組に対して直交しているとして射影変換を演算する射影変換演算手段と、該射影変換演算手段の演算結果に基づき、前記路面上に存在する直線の組に対し平行で等間隔の直線を逆変換し、前記画像上に隣接レーンとして特定する隣接レーン特定手段とを備えたものとしてもよい。
Further, according to the present invention, as described in
上記請求項1、2又は3記載の路面走行レーン検出装置において、請求項4に記載のように、前記走行レーン検出手段が、今回撮像した画像の所定領域から特徴点データを検出する特徴点検出手段と、該特徴点検出手段で検出した今回の特徴点データに最も適合する直線を表わす今回の直線データを検出する直線検出手段と、該直線検出手段で検出した今回の直線データに基づき今回のレーン境界線を検出するレーン境界線検出手段とを備え、該レーン境界線検出手段が検出した今回のレーン境界線及び前記直線検出手段が検出した今回の直線データを前記特徴点検出手段に供給し、前記特徴点検出手段が、前記今回のレーン境界線及び前記今回の直線データに基づき所定の特性を設定すると共に、次回撮像する画像から検出する特徴点データのうち、前記所定の特性を充足する特徴点データを、次回の特徴点データとして検出するようにするように構成するとよい。
4. The road surface traveling lane detection device according to
前記特徴点検出手段は、請求項5に記載のように、前記直線検出手段及び前記レーン検出手段の検出結果に基づき前記特徴点データを順序化する順序化手段を有し、前記直線検出手段が、所定の数式モデルの適合に必要な最小限の数のデータを、前記順序化手段の特徴点データの中から所定の間隔で取り出すデータ検出手段と、該データ検出手段が検出したデータに基づき数式モデルを求める数式モデル演算手段と、該数式モデル演算手段で求めた数式モデルに適合する特徴点データの数を求めるデータ数計数手段と、前記順序化手段が設定した前記特徴点データの順序に従って前記特徴点データの一部若しくは全てを順にサンプルして前記データ検出手段乃至前記データ数計数手段の処理を繰り返した結果、最も適合する特徴点データの数が多い数式モデルを真の数式モデルとして設定する数式モデル設定手段とを備えたものとするとよい。 The feature point detection means includes an ordering means for ordering the feature point data based on detection results of the straight line detection means and the lane detection means, as defined in claim 5, wherein the straight line detection means A data detecting means for extracting a minimum number of data necessary for adaptation of the predetermined mathematical model from the feature point data of the ordering means at predetermined intervals, and a mathematical formula based on the data detected by the data detecting means Formula model calculation means for obtaining a model, data number counting means for obtaining the number of feature point data matching the formula model obtained by the formula model calculation means, and the order of the feature point data set by the ordering means The number of feature point data that is most suitable as a result of repeating part of or all of the feature point data in order and repeating the processing of the data detecting means to the data number counting means Or equal to those with a mathematical model setting means for setting a more mathematical model as a true mathematical model.
更に、上記請求項3記載の路面走行レーン検出装置において、請求項6に記載のように、前記隣接レーン特定手段が、相互のレーン間隔が一定の距離である複数の走行レーンのうちの、前記走行レーン検出手段で検出した走行レーンに隣接する走行レーンを隣接レーンとして設定し、該隣接レーンの境界線位置を前記射影変換演算手段によって推定する隣接レーン境界位置推定手段と、該隣接レーン境界位置推定手段が推定した位置に前記隣接レーンの境界線に係る特徴点データを検出するための検出領域を設定する特徴点検出領域設定手段と、該特徴点検出領域設定手段が設定した特徴点検出領域内の特徴点を検出する特徴点検出手段と、該特徴点検出領域内で検出した特徴点内の任意の特徴点を1点とすると共に無限遠点座標を他の1点として演算し両点を含む直線を検出する直線検出手段と、該直線検出手段が検出した少なくとも一つの直線に対して、該直線から所定の範囲内に最も多くの特徴点が存在する直線を前記隣接レーンの境界線として特定する隣接レーン境界線特定手段とを備えたものとしてもよい。
Furthermore, in the road surface traveling lane detection device according to
本発明は上述のように構成されているので以下の効果を奏する。即ち、請求項1及び2に記載の装置においては、撮像手段によって路面を連続して撮像した画像から直線データを検出すると共に、この直線データに基づき移動体の走行レーンを検出すると共に、直線データに基づき射影変換を演算し、その演算結果に基づき路面上の撮像手段の位置を特定するように構成されているので、路面上における撮像手段の位置ひいては移動体の位置を的確に特定することができる。特に、例えば撮像手段たるカメラが未校正でも、あるいはカメラの内部パラメータや外部パラメータを事前に明らかとなっていない場合でも、走行レーン内でのカメラの位置ひいては移動体たる車両の位置を的確に特定し、走行レーンを適切且つ安定的に検出することができる。
Since this invention is comprised as mentioned above, there exist the following effects. That is, in the apparatus according to
請求項3に記載のように構成することにより、自車の走行レーンのみでなく、その両側に隣接する二つの走行レーンを安定的に特定することができるので、レーンチェンジ時においても自車の位置を安定的に特定することができる。
By configuring as described in
また、請求項4に記載のように構成すれば、前述のCONSACとして機能し、車両の影、防音壁の影、路面表示等の外乱が存在する状況下においても、安定してレーン検出を行うことができる。また、前記特徴点検出手段を、請求項5に記載のように構成すれば、事前情報が存在しない場合にも、画像における特徴点の検出領域を狭めることができるので、特徴点の検出を迅速に行うことができる。 Further, if configured as described in claim 4, it functions as the above-mentioned CONSAC and stably detects lanes even in the presence of disturbances such as vehicle shadows, noise barrier shadows, road surface indications, etc. be able to. Further, if the feature point detecting means is configured as described in claim 5, the feature point detection area in the image can be narrowed even when there is no prior information, so that the feature point can be detected quickly. Can be done.
更に、請求項6に記載のように構成することにより、自車の走行レーンに隣接する二つの走行レーンを、自車の走行レーン情報に基づき迅速且つ適切に特定することができる。
Further, by configuring as described in
上記の構成になる本発明の路面走行レーン検出装置の具体的一態様について、以下に図面を参照して説明する。図1乃至図3は路面走行レーン検出装置の一実施形態を示すもので、本実施形態は、図1に示すように、撮像手段VDによって路面を連続して撮像した画像から直線データを検出すると共に、この直線データに基づき移動体(例えば車両)の走行レーン(図示せず)を検出する走行レーン検出手段LDと、この走行レーン検出手段LDが検出した直線データに基づき射影変換を演算する射影変換演算手段PTと、この射影変換演算手段PTの演算結果に基づき路面上の撮像手段VDの位置を特定する撮像手段位置特定手段IDを備えており、路面上における撮像手段VDの位置ひいては移動体(車両)の位置を特定し得るものである。 A specific aspect of the road surface traveling lane detection device of the present invention having the above-described configuration will be described below with reference to the drawings. FIGS. 1 to 3 show an embodiment of a road surface lane detection apparatus. In this embodiment, as shown in FIG. 1, linear data is detected from images obtained by continuously imaging a road surface by an imaging means VD. A travel lane detection means LD for detecting a travel lane (not shown) of a moving body (for example, a vehicle) based on the straight line data, and a projection for calculating projective transformation based on the straight line data detected by the travel lane detection means LD. A conversion calculation means PT and an image pickup means position specifying means ID for specifying the position of the image pickup means VD on the road surface based on the calculation result of the projective conversion calculation means PT are provided. The position of (vehicle) can be specified.
走行レーン検出手段LDは、図1に示すように、特徴点検出手段CR、直線検出手段SD及びレーン境界線特定手段LBによって構成されており、これらについては後述する。また、射影変換演算手段PTは、走行レーン検出手段LDが検出した直線データに基づき、移動体(車両)の走行方向に延出する平行な路面上の直線の組に対応した撮像手段VDの画像上の直線の組と、その画像を構成する画像面の上下端の直線の組を用い、画像面の上下端の直線の組を路面上に投影したときの直線の組が、移動体の走行方向に延出する平行な路面上の直線の組に対して直交しているとして射影変換を演算するように構成されている。そして、撮像手段位置特定手段IDにおいて、射影変換演算手段PTの演算結果に基づき、路面上に存在する路面に垂直な直線の組の路面への投影像の直線を延長した交点の位置を、走行レーンに対する、走行レーンの境界線と直交する方向の撮像手段VDの位置として特定するように構成されている。尚、これらについても後述する。 As shown in FIG. 1, the traveling lane detecting means LD is composed of characteristic point detecting means CR, straight line detecting means SD, and lane boundary line specifying means LB, which will be described later. Further, the projective transformation calculation means PT is based on the straight line data detected by the travel lane detection means LD, and the image of the imaging means VD corresponding to a set of straight lines on the parallel road surface extending in the travel direction of the moving body (vehicle). a set of straight above using a set of linear upper and lower ends of the image plane constituting the image, the linear set of upper and lower ends of the image plane of the straight line when projected onto the road set of traveling of the moving body Projection transformation is calculated as orthogonal to a set of straight lines on parallel road surfaces extending in the direction . Then, in the imaging unit position specifying unit ID, based on the calculation result of the projective transformation calculation unit PT, the position of the intersection obtained by extending the straight line of the projected image on the road surface of a set of straight lines perpendicular to the road surface on the road surface is traveled. The position of the imaging means VD in the direction perpendicular to the boundary line of the traveling lane with respect to the lane is specified. These will also be described later.
上記図1の路面走行レーン検出装置は、図2に示すハード構成を有する。即ち、図示しない車両の前方に、撮像手段VDとして例えばCCDカメラ(以下、単にカメラという)CMが装着されており、路面を含む車両前方の視界が連続して撮像される。カメラCMの映像信号は、ビデオ入力バッファ回路VB、同期分離回路SYを経てA/D変換されフレームメモリFMに格納される。このフレームメモリFMに格納された画像データは、画像処理部VCで処理される。画像処理部VCは、画像データ制御部VP、特徴点検出部CP、直線検出部SP、レーン境界線特定部LP、射影変換演算部PP、カメラ位置特定部IP及び自車位置特定部JPで構成されている。尚、特徴点検出部CP、直線検出部SP及びレーン境界線特定部LP、射影変換演算部PP、及びカメラ位置特定部IP部は、夫々、図1の特徴点検出手段CR、直線検出手段SD、レーン境界線特定手段LB、射影変換演算手段PT及び撮像手段位置特定手段IDに対応している。 The road surface traveling lane detection apparatus of FIG. 1 has the hardware configuration shown in FIG. That is, for example, a CCD camera (hereinafter simply referred to as a camera) CM is mounted as an imaging means VD in front of a vehicle (not shown), and the field of view in front of the vehicle including the road surface is continuously imaged. The video signal of the camera CM is A / D converted through the video input buffer circuit VB and the sync separation circuit SY and stored in the frame memory FM. The image data stored in the frame memory FM is processed by the image processing unit VC. The image processing unit VC includes an image data control unit VP, a feature point detection unit CP, a straight line detection unit SP, a lane boundary line specifying unit LP, a projective transformation calculation unit PP, a camera position specifying unit IP, and an own vehicle position specifying unit JP. Has been. The feature point detection unit CP, the straight line detection unit SP, the lane boundary line specifying unit LP, the projective transformation calculation unit PP, and the camera position specifying unit IP unit are respectively the feature point detection unit CR and the straight line detection unit SD of FIG. This corresponds to the lane boundary line specifying means LB, the projective transformation calculating means PT, and the imaging means position specifying means ID.
画像処理部VCにおいては、フレームメモリFM内の画像データから、画像データ制御部VPでアドレス指定されたデータが呼び出されて特徴点検出部CPに送られ、ここで複数の特徴点が検出される。このように検出された特徴点データに対し、本実施形態では、直線検出部SPにて後述する「直線の当てはめ」によって直線データが検出され、この直線データに基づき、レーン境界線特定部LPにて、走行レーンの境界線が特定される。また、射影変換演算部PPにて、車両の走行方向に延出する平行な路面上の直線の組(即ち、走行レーン境界線)に対応したカメラCMの画像上の直線の組と、その画像を構成する画像面の上下端の直線の組を用い、画像面の上下端の直線の組を路面上に投影したときの直線の組が、車両の走行方向に延出する平行な路面上の直線の組に対して直交しているとして射影変換が行われる。そして、カメラ位置特定部IP部にて、路面上に存在する路面に垂直な直線の組の路面への投影像の直線を延長した交点の位置がカメラCMの位置として特定される。而して、路面上の走行レーンの境界線に対するカメラCMの位置が特定される。尚、走行レーンの境界線としては、所謂白線のほか、ガードレール等も包含される。 In the image processing unit VC, data addressed by the image data control unit VP is called from the image data in the frame memory FM and sent to the feature point detection unit CP, where a plurality of feature points are detected. . In the present embodiment, for the feature point data detected in this way, in the present embodiment, the straight line detection unit SP detects straight line data by “straight line fitting” described later, and based on this straight line data, the lane boundary line specifying unit LP Thus, the boundary line of the driving lane is specified. In addition, in the projective transformation calculation unit PP, a set of straight lines on the image of the camera CM corresponding to a set of straight lines on the parallel road surface extending in the traveling direction of the vehicle (that is, a travel lane boundary line), and the image using a linear combination of the upper and lower ends of the image plane constituting a set of straight line when a set of straight lines of the upper and lower ends of the image plane is projected onto the road surface, on the parallel road which extends in the traveling direction of the vehicle Projective transformation is performed assuming that the pair is orthogonal to the set of straight lines . Then, the position of the intersection obtained by extending the straight line of the projected image on the road surface of a set of straight lines perpendicular to the road surface existing on the road surface is specified as the position of the camera CM by the camera position specifying unit IP unit. Thus, the position of the camera CM with respect to the boundary line of the traveling lane on the road surface is specified. In addition, as a boundary line of a driving | running lane, a guard rail etc. are included besides what is called a white line.
そして、カメラ位置特定部IPによって特定されたカメラCMの位置に基づき、自車位置特定部JPにて、路面上の走行レーンの境界線に対するカメラCM搭載車両(自車)が特定され、更に必要に応じて、走行レーンの幅、道路の曲率、姿勢角等の検出結果と共に、システム制御部SC(コンピュータ)に供給され、出力インターフェース回路OUを介して外部のシステム機器(図示せず)に出力される。尚、図2におけるCL、PW、INは夫々クロック回路、電源回路及び入力インターフェース回路である。 Based on the position of the camera CM specified by the camera position specifying unit IP, the vehicle position specifying unit JP specifies the vehicle (vehicle) equipped with the camera CM with respect to the boundary line of the traveling lane on the road surface. In response to the detection result of the driving lane width, road curvature, posture angle, etc., it is supplied to the system controller SC (computer) and output to an external system device (not shown) via the output interface circuit OU. Is done. Note that CL, PW, and IN in FIG. 2 are a clock circuit, a power supply circuit, and an input interface circuit, respectively.
以下、上記画像処理部VCの各部における処理を詳細に説明する。先ず、レーン境界線特定部LPの検出結果に応じて射影変換を演算する射影変換演算部PPと、その演算結果に基づきカメラCMの位置を特定するカメラ位置特定部IPにおける処理について説明し、その後に、レーン境界線特定部LPにおける処理について説明する。 Hereinafter, processing in each part of the image processing unit VC will be described in detail. First, a description will be given of a process in the projective transformation calculation unit PP that calculates the projection transformation according to the detection result of the lane boundary line specifying unit LP, and the camera position specifying unit IP that specifies the position of the camera CM based on the calculation result. Next, processing in the lane boundary line specifying unit LP will be described.
射影変換演算部PPにおいては、前掲の非特許文献4に記載の射影変換を基本とした以下の基本概念に従い、カメラCMの内部パラメータ及び外部パラメータに依存することなく、また、カメラCMが未校正であっても、カメラCMの位置(ひいては自車の位置)を特定し得るように構成されている。具体的には、平行線の画像中での投影像を用いることにより、カメラCMの画像と路面(平面)との間の射影変換を求め、カメラCMの視点の路面上での位置が、路面に垂直な直線上の無限遠点の像として求まることを用いて、走行レーンに対するカメラCMの水平位置を計算し得るものである。 In the projective transformation calculation unit PP, according to the following basic concept based on the projective transformation described in Non-Patent Document 4 described above, the camera CM is not calibrated without depending on the internal parameters and external parameters of the camera CM. Even so, it is configured so that the position of the camera CM (and consequently the position of the vehicle) can be specified. Specifically, by using the projection image in the parallel line image, the projective transformation between the image of the camera CM and the road surface (plane) is obtained, and the position of the viewpoint of the camera CM on the road surface is determined as the road surface. The horizontal position of the camera CM with respect to the travel lane can be calculated using the image obtained as an image of an infinite point on a straight line perpendicular to the lane.
一般的に、ある平面π上の点x=[x1, x2, x3]Tをこれとは異なる平面π’上の点x’=[x'1, x'2, x'3]Tに変換する射影変換をHpとすると、π上の直線l=[l1, l2, l3]Tをπ’上の直線l'=[l'1, l'2, l'3]Tに変換する射影変換は、Hl=Hp -Tと表すことができる。例えば、図3に示す路面と、これに略直行するカメラ画像が存在する場合において、画像中の二つの走行レーン境界線を表す直線l1及びl2と画像の上端及び下端を表す二直線l3及びl4を路面上の四つの直線l'i(i=1,2,3,4)に対応しているとする。このとき、路面上では直線l'1と直線l'2は平行であり、l'3とl'4は共にl'1に直交しているとすると、これらの直線の斉次座標は以下の数1式となる。
そして、直線li(i=1,2,3,4)を直線l'i(i=1,2,3,4)に変換する射影変換Hlは、次式のようになる。即ち、l'i〜Hlli (i=1,2,3,4)となる(ここで、〜は定数倍の不定性を除いて等しいことを表す)。 The projective transformation H l for converting the straight line l i (i = 1, 2, 3, 4) into the straight line l ′ i (i = 1, 2, 3, 4) is expressed by the following equation. That is, l ′ i to H l l i (i = 1, 2, 3, 4) (where “−” represents equality except for indefiniteness of a constant multiple).
一方、仮に3次元の走行環境中において路面に対して垂直な直線が複数存在し、これらのうちの2つの直線の投影像l5 及びl6がカメラCMによる画面(2次元画像)中に表れているとすると、これらの直線を上記の射影変換Hlに基づいて変換した像l'5及びl'6が路面上で得られる。投影像l5及びl6は3次元空間中においては路面に垂直な直線であるから、これらを射影変換した像l'5及びl'6を延長したときの交点XCは、視点Cから路面に対して垂直に降ろした直線と路面との交点(カメラCMの路面上の位置)に一致する。この交点は、XC=l'5×l'6として求めることができる。従って、このようにて求めた交点XCの、走行レーン境界線を表す直線l'1及びl'2に対する位置に基づき、走行レーンにおけるカメラCMの位置を特定することができる。 On the other hand, there are a plurality of straight lines perpendicular to the road surface in a three-dimensional traveling environment, and two projected images l 5 and l 6 of these appear on the screen (two-dimensional image) by the camera CM. If so, images l ′ 5 and l ′ 6 obtained by converting these straight lines based on the above-described projective transformation H 1 are obtained on the road surface. Since the projected images l 5 and l 6 are straight lines perpendicular to the road surface in the three-dimensional space, the intersection X C when the images l ′ 5 and l ′ 6 obtained by projective transformation are extended from the viewpoint C to the road surface Coincides with the intersection (position on the road surface of the camera CM) of the straight line and the road surface. This intersection can be obtained as X C = l ′ 5 × l ′ 6 . Accordingly, the position of the camera CM in the travel lane can be specified based on the position of the intersection point X C thus obtained with respect to the straight lines l ′ 1 and l ′ 2 representing the travel lane boundary line.
上記の関係を、前述の画像処理部VCにおける処理と対比させると以下のようになる。即ち、射影変換演算部PPにて、車両の走行方向に延出する平行な路面上の直線の組(l'1及びl'2)に対応したカメラCMの画像上の直線の組(l1及びl2)と、その画像を構成する画像面の上下端の直線の組(l3及びl4)を用い、画像面の上下端の直線の組(l 3 及びl 4 )を路面上に投影したときの直線の組(l'3 及びl'4)が、車両の走行方向に延出する平行な路面上の直線の組(l' 1 及びl' 2 )に対して直交しているとして射影変換が行われる。そして、カメラ位置特定部IP部にて、路面上に存在する路面に垂直な直線の組の路面への投影像の直線(l'5及びl'6)を延長した交点の位置(XC)がカメラCMの位置として特定される。而して、路面上の走行レーンの境界線に対するカメラCMの位置(XC)が特定され、ひいては、自車位置特定部JPにて、走行レーン(即ち、二つの走行レーン境界線間の路面)における自車の位置を特定することができる。 When the above relationship is compared with the processing in the image processing unit VC described above, the following is obtained. That is, in the projective transformation calculation unit PP, a set of straight lines (l 1 on the image of the camera CM) corresponding to a set of straight lines (l ′ 1 and l ′ 2 ) on the parallel road surface extending in the traveling direction of the vehicle. and the l 2), using a set of upper and lower ends of the linear image surface constituting the image (l 3 and l 4), the straight upper and lower ends of the image plane set to (l 3 and l 4) on the road surface The set of straight lines (l ′ 3 and l ′ 4 ) when projected is orthogonal to the set of straight lines (l ′ 1 and l ′ 2 ) on the parallel road surface extending in the traveling direction of the vehicle . projective transformation is performed as. Then, the position (X C ) of the intersection obtained by extending the straight lines (l ′ 5 and l ′ 6 ) of the projected image onto the road surface of a set of straight lines perpendicular to the road surface existing on the road surface in the camera position specifying unit IP unit Is specified as the position of the camera CM. Thus, the position (X C ) of the camera CM with respect to the boundary line of the traveling lane on the road surface is specified. As a result, the own vehicle position specifying unit JP determines the traveling lane (that is, the road surface between the two traveling lane boundary lines). ) Can identify the position of the vehicle.
上記の態様では、3次元走行環境中において路面に垂直な直線が少なくとも2本必要となるが、このような直線が得られない場合には、次のように構成し、近似的に走行レーンにおけるカメラCMの位置を特定することができる。例えば、カメラCMを略水平に配置すると、カメラCMの画像面は路面に対し略垂直となり、画像の左右端の直線l7及びl8は3次元空間中では路面に対し略垂直となる。従って、上記の射影変換Hlにより直線l7及びl8を変換した像l'7及びl'8を求めると、像l'7及びl'8の交点X'Cは近似的に交点XC(カメラCMの走行レーン路面上の位置)と等しくなる。走行レーンに対するカメラCMの位置を特定する計算においては、走行レーン境界線と直交する方向の位置のみが意味を有するので、この近似計算においては、画像面の上下端の直線l3及びl4が路面に対して十分に平行でありさえすれば、カメラCMが傾斜しチルト角がある程度存在する場合でも、十分適切な近似を与え得る。 In the above aspect, at least two straight lines perpendicular to the road surface are required in the three-dimensional traveling environment. If such straight lines cannot be obtained, the following configuration is used, and the approximate shape of the driving lane is as follows. The position of the camera CM can be specified. For example, when the camera CM is arranged substantially horizontally, the image plane of the camera CM is substantially perpendicular to the road surface, and the straight lines l 7 and l 8 at the left and right ends of the image are substantially perpendicular to the road surface in the three-dimensional space. Accordingly, when the images l ′ 7 and l ′ 8 obtained by converting the straight lines l 7 and l 8 by the projective transformation H l are obtained, the intersection X ′ C of the images l ′ 7 and l ′ 8 is approximately the intersection X C. It is equal to (position on the traveling lane road surface of the camera CM). In the calculation for specifying the position of the camera CM with respect to the traveling lane, only the position in the direction orthogonal to the traveling lane boundary line has a meaning. Therefore, in this approximate calculation, the straight lines l 3 and l 4 at the upper and lower ends of the image plane are As long as it is sufficiently parallel to the road surface, a sufficiently adequate approximation can be given even when the camera CM is inclined and a tilt angle exists to some extent.
上記の関係を、前述の画像処理部VCにおける処理と対比させると以下のようになる。即ち、射影変換演算部PPにて、車両の走行方向に延出する平行な路面上の直線の組(l'1及びl'2)に対応したカメラCMの画像上の直線の組(l1及びl2)と、その画像を構成する画像面の上下端の直線の組(l3及びl4)を用い、画像面の上下端の直線の組(l 3 及びl 4 )を路面上に投影したときの直線の組(l'3 及びl'4)が、車両の走行方向に延出する平行な路面上の直線の組(l' 1 及びl' 2 )に対して直交しているとして射影変換が行われる。そして、カメラ位置特定部IP部にて、画像面の左右端の直線の組(l7及びl8)の路面への投影像の直線(l'7及びl'8)を延長した交点(X'C)の位置がカメラCMの位置として特定される。 When the above relationship is compared with the processing in the image processing unit VC described above, the following is obtained. That is, in the projective transformation calculation unit PP, a set of straight lines (l 1 on the image of the camera CM) corresponding to a set of straight lines (l ′ 1 and l ′ 2 ) on the parallel road surface extending in the traveling direction of the vehicle. and the l 2), using a set of upper and lower ends of the linear image surface constituting the image (l 3 and l 4), the straight upper and lower ends of the image plane set to (l 3 and l 4) on the road surface The set of straight lines (l ′ 3 and l ′ 4 ) when projected is orthogonal to the set of straight lines (l ′ 1 and l ′ 2 ) on the parallel road surface extending in the traveling direction of the vehicle . projective transformation is performed as. Then, in the camera position specifying unit IP unit, the intersection (X ′ 7 and l ′ 8 ) obtained by extending the straight line (l ′ 7 and l ′ 8 ) of the projected image on the road surface of the set of straight lines (l 7 and l 8 ) at the left and right ends of the image plane The position of ' C ) is specified as the position of the camera CM.
以上のように、本実施形態によれば、カメラCMの内部パラメータや外部パラメータを必要とすることなくカメラCMの位置を特定することができる。従って、事前にカメラCMを校正しておく必要がないばかりでなく、走行中に焦点距離等のカメラCMの内部パラメータが変化し、あるいはカメラCMの車両への装着高さや傾きが変動してもその影響を受けることはないので、外乱に対しロバスト的に自車(カメラ装着車両)の位置を計算し特定することができる。 As described above, according to the present embodiment, the position of the camera CM can be specified without requiring an internal parameter or an external parameter of the camera CM. Therefore, not only does the camera CM need not be calibrated in advance, but the internal parameters of the camera CM such as the focal length change during traveling, or the mounting height and inclination of the camera CM on the vehicle fluctuate. Since it is not affected, the position of the own vehicle (camera-equipped vehicle) can be calculated and specified in a robust manner against disturbance.
次に、上記のレーン境界線特定部LPにおける走行レーンの検出、具体的には、走行レーンの両側のレーン境界線の特定について説明する。このレーン境界線の特定には、一般的な最小自乗法のほか、前掲の非特許文献2及び3等に開示されているRANSACによって「直線の当てはめ」(直線フィッティング)を行なうことができる。このRANSAC(Random Sample Consensus)は文字通りランダムに取り出したサンプルと最もコンセンサスがとれる数式モデルを見出す方法である。このRANSACではデータ中に誤ったデータが含まれている状態で、正しいデータのみを検出して数式モデルを当てはめることができる。前述のように、画像ノイズなどの外乱に影響されることなく安定的に数式モデルが当てはめられることから、近年、コンピュータビジョンの様々なタスクに用いられている。
Next, detection of a traveling lane in the lane boundary line specifying unit LP, specifically, identification of lane boundary lines on both sides of the traveling lane will be described. In order to specify the lane boundary line, in addition to a general least square method, “straight line fitting” (straight line fitting) can be performed by RANSAC disclosed in
ここで、RANSACのアルゴリズムを説明すると、先ず、当てはめたい数式モデルを計算するのに必要最小限の数のデータをランダムに取り出す。例えば、直線を当てはめる場合には、直線は2点で決まるので、多くの特徴点の中から2点のデータをランダムに取り出す。次に、取り出したデータをもとに数式モデルを計算する。直線当てはめの場合には、図17に示すように、取り出した2点のデータを使って直線の方程式を計算する。尚、図17において、破線はしきい値範囲を示し、Dxは直線と特徴点の距離を示す。そして、求めた数式モデルに当てはまるデータの数を求める。直線当てはめの場合には、求めた直線に当てはまる特徴点の数を求める。このとき、当てはまるかどうかは数式モデル近傍領域にデータが入っているか否かで判断する。直線当てはめの場合には、図17に示すように、求めた直線と特定の特徴点との距離がしきい値以下であればその特徴点は求めた直線に当てはまっていると判断する。最後に、全データからランダムにNセットのデータを取り出し、それぞれにおいて上記のように当てはまるデータ数を求め、最も当てはまるデータ数が多い数式モデルを真のモデルとする。直線当てはめの場合には、最も当てはまる特徴点数が多い直線を求める。 Here, the RANSAC algorithm will be described. First, the minimum number of data necessary for calculating the mathematical model to be applied is randomly extracted. For example, when applying a straight line, since the straight line is determined by two points, data of two points are randomly extracted from many feature points. Next, a mathematical model is calculated based on the extracted data. In the case of straight line fitting, as shown in FIG. 17, a straight line equation is calculated using the extracted two points of data. In FIG. 17, the broken line indicates the threshold range, and Dx indicates the distance between the straight line and the feature point. Then, the number of data applicable to the obtained mathematical model is obtained. In the case of straight line fitting, the number of feature points that apply to the obtained straight line is obtained. At this time, whether it is true or not is determined by whether or not data is included in the area near the mathematical model. In the case of straight line fitting, as shown in FIG. 17, if the distance between the obtained straight line and the specific feature point is equal to or less than a threshold value, it is determined that the feature point is applied to the obtained straight line. Finally, N sets of data are extracted from all data at random, the number of applicable data is obtained for each of them as described above, and the mathematical model having the largest number of applicable data is set as a true model. In the case of straight line fitting, a straight line having the largest number of feature points to be applied is obtained.
上記のように、RANSACでは、間違った(偽の)データが存在する状況下において、全数探索をすることなく、サブセット探索を行うだけでかなり高い確率で、正しい数式モデルを求めることができるのが大きな特徴である。しかし、正しい解を得る確率をある一定値以上に保証しようとすると、全データ中における間違ったデータの割合が増加するに従い、取り出すサンプルの数を増す必要がある。一般的に、モデルの自由度をd,間違ったデータの割合をe,正しい解が得られる確率をpとすると、RANSACにおいて確率pを保証するためには、サンプリング回数Nは、N=log(1-p)/log(1-(1-e)d)に基づいて求められる値以上にする必要がある。 As described above, RANSAC can obtain a correct mathematical model with a fairly high probability by performing a subset search without performing an exhaustive search in a situation where erroneous (false) data exists. It is a big feature. However, in order to guarantee the probability of obtaining a correct solution above a certain value, it is necessary to increase the number of samples to be extracted as the proportion of incorrect data in all data increases. In general, assuming that the degree of freedom of the model is d, the proportion of wrong data is e, and the probability that a correct solution is obtained is p, in order to guarantee the probability p in RANSAC, the number of sampling times N is N = log ( 1-p) / log (1- (1-e) d ), which is required to be greater than or equal to the value obtained.
本発明が対象とするレーン検出においては、路面上の影などの影響で正しいレーンを表す特徴点数が極端に少なくなり、代わりに偽の特徴点が増えた場合には、正しい解を得る確率を保証するために非常に多くの回数のサンプリングとモデルフィッティングを必要とすることになる。逆に、サンプリングとモデルフィッティングの回数を一定値に固定すると、偽の特徴点の割合に応じて正しい解が得られる確率が変動し、偽の特徴点数が多い場合には誤検出の確率が極めて高くなる。 In the lane detection targeted by the present invention, if the number of feature points representing the correct lane is extremely reduced due to the influence of shadows on the road surface, and the number of false feature points increases instead, the probability of obtaining a correct solution is obtained. A very large number of samplings and model fittings will be required to ensure. Conversely, if the number of sampling and model fitting is fixed to a fixed value, the probability of obtaining a correct solution varies depending on the ratio of false feature points, and the probability of false detection is extremely high when the number of false feature points is large. Get higher.
図18は、直線検出の問題(d=2)において、99.99%の確率で正しい解を得るのに必要なサンプリング回数Nと、間違ったデータの割合eとの関係を示す。同図から、間違ったデータの割合が増加するに従って、必要なサンプリング数が急激に増加することが分かる。また図19は、サンプリング数を100に固定した場合における、間違ったデータの割合eと正しい直線が得られる確率pとの関係を示す。同図から、eが増加するに従い、正しい直線が得られる確率pが急激に低下することが分かる。 FIG. 18 shows the relationship between the number of samplings N required to obtain a correct solution with a probability of 99.99% and the ratio e of incorrect data in the straight line detection problem (d = 2). From the figure, it can be seen that the required number of samples increases rapidly as the ratio of wrong data increases. FIG. 19 shows the relationship between the incorrect data ratio e and the probability p of obtaining a correct straight line when the number of samplings is fixed at 100. From the figure, it can be seen that the probability p that a correct straight line is obtained decreases rapidly as e increases.
上記のような走行レーン検出におけるRANSACの問題点に鑑み、本願発明者は、これを改良し、少ない計算回数で正しい解が得られる確率を高く保つアルゴリズム、Connected Sample Consensus(CONSACと呼ぶ)を開発し、平成14年9月30日に特許出願している(特願2002−284678)。前述のように、RANSACでは、全く情報のない状態で、サンプルをランダムに抜き出して当てはめ度をチェックすることが行われるが、多くのタスクでは、そのタスク固有の事前情報を用いることにより、データを予めグループ化あるいは順序化できる場合が多い。CONSACでは、このような事前情報を用いることにより、全くランダムにデータをサンプルするのではなく、グループ分けや順序付けに従ってデータをサンプルし計算することにより、場合の数を減らし、少ない探索回数で正しい解が得られる確率を高く維持するものである。このように、CONSACではデータの継りを利用することから、RANSACの「Random」に代えて「Connected」としたものであり、そのアルゴリズムは以下のとおりである。 In view of the above-mentioned problems of RANSAC in lane detection, the present inventors have improved this and developed an algorithm, Connected Sample Consensus (referred to as CONSAC), that maintains a high probability of obtaining a correct solution with a small number of calculations. A patent application was filed on September 30, 2002 (Japanese Patent Application No. 2002-284678). As described above, in RANSAC, a sample is randomly extracted and the degree of fitting is checked without any information. In many tasks, data is obtained by using prior information unique to the task. In many cases, grouping or ordering can be performed in advance. CONSAC does not sample data at random by using such prior information, but samples and calculates data according to grouping and ordering to reduce the number of cases and correct solution with fewer searches. Maintains a high probability of being obtained. In this way, since CONSAC uses data succession, it is set to “Connected” instead of “Random” of RANSAC, and the algorithm is as follows.
先ず、事前情報を用いてある程度意味のあるようにデータをグループ化、順序化する。次に、当てはめたい数式モデルの計算に必要な最小限の数のデータをこの順序化されたデータの中から所定の間隔で取り出す。この検出したデータにより数式モデル計算をする。このように求めた数式モデルに当てはまるデータの数を求める。そして、データの順序付けに従って全てのデータを順にサンプルしながら以上の処理を繰り返して行い、最も当てはまるデータ数が多い数式モデルを真のモデルとする。 First, the prior information is used to group and order data so that it is meaningful to some extent. Next, a minimum number of data necessary for calculation of the mathematical model to be applied is extracted from the ordered data at predetermined intervals. A mathematical model calculation is performed based on the detected data. The number of data applicable to the mathematical model thus obtained is obtained. Then, the above processing is repeated while sampling all the data in order according to the data ordering, and the mathematical model having the largest number of applicable data is set as a true model.
本実施形態の特徴点検出部CPで検出される特徴点は、図20に1乃至12とデータ番号を付したように、実線で示す直線(レーン境界線)に沿って概ね順番に並ぶという性質がある。このような状態では、データ番号が近い点同士は同一直線上に乗っている確率が極めて高い。そこで本実施形態においては、走査によって得られた順に特徴点データに対し順序付けが行われ、直線検出部SPにおいて、この特徴点データ順に従ってある程度小さな間隔で2点がサンプルされ直線の方程式が計算される。次に、この直線に当てはまるデータの数がカウント(計数)される。所定のデータ順に従って全特徴点データに関してこの処理が繰り返して行なわれ、当てはまるデータの数が最大となる直線が真の直線として検出される。
The feature points detected by the feature point detection unit CP of the present embodiment are arranged approximately in order along a straight line (lane boundary line) indicated by a solid line, as indicated by
而して、上記のCONSACによれば、従来のHough変換における、検出したい対象物の特徴点の数よりも偽の特徴点の方が多い場合は正しい結果が得られないという問題を解決すると共に、RANSACでは偽の特徴点の割合が増加すると安定的に検出することができないという問題を解決することができる。更に、偽の特徴点が多い場合でも非常に少ない探索回数で確実に正しい解を得ることができる。 Thus, according to the above-mentioned CONSAC, the conventional Hough transform solves the problem that a correct result cannot be obtained when there are more false feature points than the number of feature points of an object to be detected. , RANSAC can solve the problem that it cannot be detected stably when the ratio of false feature points increases. Furthermore, even when there are many false feature points, a correct solution can be obtained reliably with a very small number of searches.
次に、本発明の他の実施形態として、上記のように射影変換によって検出された自車の走行レーンに基づき、これに隣接する二つの走行レーンの境界線を、消失点を用いて特定する構成について説明する。図4乃至図6は路面走行レーン検出装置の他の実施形態を示すもので、そのハード構成は図5に示すように、基本的には図2と同様である。例えば図14に示すように、自車の走行レーンに対して左右に隣接する隣接走行レーンを検出する場合には、その隣接走行レーン中を他の車両が走行していてレーン境界線(白線)が部分的に隠れていたり、画角の関係や日照状態によりレーン境界線の識別が困難となっていると、自車の走行レーンに比べ検出安定度が低くなる。そこで、本実施形態は、前述の実施形態と同様に自車の走行レーンを安定的に検出した後、この結果を用いて隣接走行レーンを安定的に特定するものである。 Next, as another embodiment of the present invention, based on the traveling lane of the vehicle detected by the projective transformation as described above, the boundary line between the two traveling lanes adjacent thereto is specified using the vanishing point. The configuration will be described. 4 to 6 show another embodiment of the road lane detection device, and its hardware configuration is basically the same as that shown in FIG. 2 as shown in FIG. For example, as shown in FIG. 14, in the case of detecting adjacent traveling lanes adjacent to the left and right with respect to the traveling lane of the own vehicle, other vehicles are traveling in the adjacent traveling lane and the lane boundary line (white line) If the vehicle is partially hidden or the lane boundary line is difficult to identify due to the relationship between the angle of view and the sunshine condition, the detection stability is lower than the traveling lane of the vehicle. Therefore, in the present embodiment, after detecting the traveling lane of the own vehicle stably as in the above-described embodiment, the adjacent traveling lane is stably specified using this result.
本実施形態は、図4に示すように、撮像手段VDによって路面を連続して撮像した画像から直線データを検出すると共に、この直線データに基づき移動体(例えば車両)の走行レーン(図示せず)を検出する走行レーン検出手段LDと、この走行レーン検出手段LDが検出した直線データに基づき射影変換を演算する射影変換演算手段PTと、この射影変換演算手段PTの演算結果に基づき、路面上に存在する直線の組に対し平行で等間隔の直線を逆変換し、画像上に隣接レーンとして特定する隣接レーン特定手段NDを備えている。 In the present embodiment, as shown in FIG. 4, straight line data is detected from images obtained by continuously imaging the road surface by the image pickup means VD, and a traveling lane (not shown) of a moving body (for example, a vehicle) based on the straight line data. ) Detecting lane detecting means LD, projective transformation calculating means PT for calculating projective transformation based on the straight line data detected by the running lane detecting means LD, and on the road surface based on the calculation result of the projective transformation calculating means PT. In addition, an adjacent lane specifying unit ND that reversely converts straight lines that are parallel to and equidistant from the set of straight lines and specifies the adjacent lanes on the image is provided.
走行レーン検出手段LD及び射影変換演算手段PTは図1と同様に構成されており、隣接レーン特定手段NDは、図4に示すように、相互のレーン間隔が一定の距離である複数の走行レーンのうちの、走行レーン検出手段LDで検出した走行レーンに隣接する走行レーンを隣接レーンとして設定し、この隣接レーンの境界線位置を射影変換演算手段PTによって推定する隣接レーン境界位置推定手段N1と、この隣接レーン境界位置推定手段N1が推定した位置に隣接レーンの境界線に係る特徴点データを検出するための検出領域を設定する特徴点検出領域設定手段N2と、この特徴点検出領域設定手段N2が設定した特徴点検出領域内の特徴点を検出する特徴点検出手段N3と、この特徴点検出領域内で検出した特徴点内の任意の特徴点を1点とすると共に無限遠点座標を他の1点として演算し両点を含む直線を検出する直線検出手段N4と、この直線検出手段N4が検出した少なくとも一つの直線に対して、この直線から所定の範囲内に最も多くの特徴点が存在する直線を隣接レーンの境界線として特定する隣接レーン境界線特定手段N5とを備えている。 The traveling lane detecting means LD and the projective transformation calculating means PT are configured in the same manner as in FIG. 1, and the adjacent lane specifying means ND includes a plurality of traveling lanes whose mutual lane intervals are constant as shown in FIG. Of these, a lane adjacent to the lane detected by the lane detection means LD is set as an adjacent lane, and an adjacent lane boundary position estimation means N1 for estimating the boundary line position of this adjacent lane by the projective transformation calculation means PT; The feature point detection area setting means N2 for setting a detection area for detecting feature point data related to the boundary line of the adjacent lane at the position estimated by the adjacent lane boundary position estimation means N1, and the feature point detection area setting means Feature point detection means N3 for detecting a feature point in the feature point detection region set by N2, and an arbitrary feature point in the feature point detected in the feature point detection region A straight line detecting means N4 for calculating a point and calculating the infinity point coordinates as one other point and detecting a straight line including both points, and at least one straight line detected by the straight line detecting means N4 from the straight line. And an adjacent lane boundary line specifying means N5 for specifying, as a boundary line between adjacent lanes, a straight line having the largest number of feature points within the range.
上記図4の路面走行レーン検出装置は、図5に示すハード構成を有するが、図2と同様の構成については同一の符合を付しているので説明は省略する。図5の画像処理部VCには、図2の構成に加え、隣接レーン特定手段NDを構成し、図4の各手段に対応する隣接レーン境界位置推定部NP1、特徴点検出領域設定部NP2、特徴点検出部NP3、直線検出部NP4、及び隣接レーン境界線特定部NP5が設けられている。 The road surface lane detection device of FIG. 4 has the hardware configuration shown in FIG. 5, but the same components as those in FIG. In the image processing unit VC of FIG. 5, in addition to the configuration of FIG. 2, an adjacent lane specifying unit ND is configured, and an adjacent lane boundary position estimation unit NP1, a feature point detection region setting unit NP2, corresponding to each unit of FIG. A feature point detection unit NP3, a straight line detection unit NP4, and an adjacent lane boundary line specifying unit NP5 are provided.
図5のレーン境界線特定部LPにおいては、例えば、前述と同様にCONSACによる自車の走行レーン境界線の特定が行われる。次に、走行レーンの間隔(二本のレーン境界線の間の距離)が一定であるという前提で、レーン境界線特定部LPで特定された走行レーンの境界線に基づき、隣接する走行レーンの境界線に関し、画像中での出現位置を予測計算する。これは、図6に示すように、前述の射影変換Hlにより直線l1及びl2より路面上での平行な直線の組(l'1及びl'2)を求め、これらと平行で且つ等間隔の位置にある直線l'9及びl'10を計算し、これらをHl -1により逆変換して画像中における像l9及びl10を求めることによって、隣接レーン境界位置推定部NP1にて、隣接する走行レーンを特定することができる。そして、特徴点検出領域設定部NP2にて、この予測出現位置(像l9及びl10)の近傍に特徴点検出領域を設けることにより、特徴点検出部NP3において、隣接する走行レーンの境界線の画像中での特徴点xi (i=1乃至N)を検出することができる。 In the lane boundary line specifying unit LP of FIG. 5, for example, the traveling lane boundary line of the own vehicle is specified by CONSAC as described above. Next, on the premise that the distance between the driving lanes (the distance between the two lane boundary lines) is constant, based on the boundary line of the driving lane specified by the lane boundary specifying unit LP, Predicting the appearance position in the image with respect to the boundary line. As shown in FIG. 6, a set of parallel straight lines (l ′ 1 and l ′ 2 ) on the road surface is obtained from the straight lines l 1 and l 2 by the above-described projective transformation H l , and is parallel to these. By calculating straight lines l ′ 9 and l ′ 10 located at equally spaced positions and inversely transforming them by H l −1 to obtain images l 9 and l 10 in the image, the adjacent lane boundary position estimation unit NP1 The adjacent driving lane can be specified. The feature point detection region setting unit NP2 provides a feature point detection region in the vicinity of the predicted appearance position (images l 9 and l 10 ), so that the feature point detection unit NP3 has a boundary line between adjacent lanes. Feature points x i (i = 1 to N) can be detected.
次に、これらの特徴点xi (i=1乃至N)最も良く適合する(あてはまる)直線が隣接走行レーンの境界線として求められる。この場合においては、隣接走行レーンの境界線は自車の走行レーンの境界線と平行であることを前提としているので、画像中において、隣接走行レーンの境界線は自車の走行レーンの境界線(l1及びl2)の交点である消失点Vp(無限遠点座標)を必ず通ることになる。そこで、本実施形態では、消失点Vpを通る直線のうちで、隣接走行レーンを表す特徴点xi (i=1乃至N)に最も良く適合する直線をRANSACによって求めることとしている。 Next, a straight line that best fits (applies) these feature points x i (i = 1 to N) is obtained as a boundary line between adjacent traveling lanes. In this case, since it is assumed that the boundary line of the adjacent traveling lane is parallel to the boundary line of the own vehicle's traveling lane, the boundary line of the adjacent traveling lane is the boundary line of the own vehicle's traveling lane in the image. The vanishing point V p (infinite point coordinates) that is the intersection of (l 1 and l 2 ) must be passed. Therefore, in the present embodiment, among the straight lines passing through the vanishing point V p , a straight line that best matches the feature points x i (i = 1 to N) representing the adjacent traveling lane is obtained by RANSAC.
このようにRANSACを用いることにより、隣接走行レーンを表す特徴点に走行車両等に起因して大きな外れが含まれていても正しいレーン境界線を特定することができる。また、通常、RANSACにより直線を求めるには、特徴点から2点をランダムに選んで直線を求め、その「当てはめ度」を計算することになるが、この場合には、直線は必ず消失点vpを通ることから、残りの1点のみを特徴点xi (i=1乃至N)からランダムに選択して最も良く当てはまる直線を求めることができるため、通常のRANSACによる直線検出に比べて遥かに高速に処理することができる。このため、特徴点全数に対してチェックを行い、最も良く当てはまる直線を求めることができる。 By using RANSAC in this way, it is possible to specify a correct lane boundary line even if a feature point representing an adjacent traveling lane includes a large deviation due to a traveling vehicle or the like. Usually, in order to obtain a straight line by RANSAC, two points are randomly selected from the feature points to obtain a straight line, and the “degree of fitting” is calculated. In this case, the straight line is always a vanishing point v. Since it passes through p , only the remaining one point can be selected at random from the feature points x i (i = 1 to N) and the straight line that best fits can be obtained, which is far more than the normal line detection by RANSAC. Can be processed at high speed. For this reason, it is possible to check the total number of feature points and obtain a straight line that best fits.
以上の処理を自車の走行レーンの左右に隣接する走行レーンに対して行うことにより、自車を中心に三つの走行レーンを特定することができる。特に、比較的安定的に特定される自車の走行レーンの情報と消失点の拘束を用いることにより、隣接走行レーンを非常に安定的、且つ高速で特定することができる。 By performing the above processing on the traveling lanes adjacent to the left and right of the traveling lane of the own vehicle, three traveling lanes can be specified centering on the own vehicle. In particular, it is possible to specify adjacent driving lanes very stably and at high speed by using the information on the driving lanes of the vehicle and the vanishing point constraint that are specified relatively stably.
上記の図4及び図5の実施形態による実験結果に関し、複数の走行レーン検出における安定性について図14及び図15を参照して説明し、次に走行レーンにおける自車の位置の安定性について図16を参照して説明する。 Regarding the experimental results according to the embodiment of FIGS. 4 and 5 described above, the stability in detection of a plurality of travel lanes will be described with reference to FIGS. 14 and 15, and then the stability of the position of the vehicle in the travel lanes Reference is made to FIG.
図14は、隣接走行レーン中で大型トラックが走行しており、そのレーン境界線の大部分が隠蔽され、且つ紛らわしい車両の影(図14に点描で示す)が路面に落ちていてレーン境界線の特定が非常に困難な場合の画像例である。この画像に対し、上記の図1乃至図3並びに図4乃至図6に示す実施形態によって検出した特徴点(図14の黒点)に基づき、直線(l1及びl2)を当てはめて特定した自車の走行レーンの境界線を実線で示し、図4乃至図6に示す実施形態によって特定した隣接走行レーンの境界線を破線で示している。図14から明らかなように、隣接走行レーンのレーン境界線(l9及びl10)の大部分が大型トラックによって隠され、逆にその荷台の輪郭が特徴点として検出されているにも関わらず、非常に安定的に隣接走行レーンの境界線が特定されている。これは、自車の走行レーンの情報に基づき隣接走行レーンの位置を予測して特徴点を検出していることに加え、検出した特徴点中の外れ点(アウトライヤ)を前述のRANSAC(消失点固定型RANSACと定義することができる)によって効率よく求めているためである。 FIG. 14 shows that a large truck is traveling in an adjacent lane, the majority of the lane boundary is hidden, and a confusing shadow of the vehicle (shown in stipple in FIG. 14) falls on the road surface. It is an example of an image when it is very difficult to specify. This image is identified by applying straight lines (l 1 and l 2 ) based on the feature points (black dots in FIG. 14) detected by the embodiments shown in FIGS. 1 to 3 and FIGS. 4 to 6. The boundary line of the driving lane of the car is indicated by a solid line, and the boundary line of the adjacent driving lane specified by the embodiment shown in FIGS. 4 to 6 is indicated by a broken line. As apparent from FIG. 14, the lane boundary lines (l 9 and l 10 ) of the adjacent traveling lanes are largely hidden by the large truck, and conversely, the outline of the loading platform is detected as a feature point. The borderline between adjacent lanes is identified very stably. This is because the feature points are detected by predicting the positions of adjacent lanes based on the information of the vehicle's travel lanes, and the outliers in the detected feature points are converted to the aforementioned RANSAC (vanishing points). This can be defined as fixed type RANSAC).
また、図15はトンネル出口付近における例であり、路面が光っているためにレーン境界線の検出が非常に困難で、特徴点が非常に少ない状態で走行レーンを検出しなければならない過酷な例である。しかし、上記の図4乃至図6の実施形態によれば自車の走行レーン(レーン境界線l1及びl2)から隣接走行レーン(レーン境界線l9及びl10)まで安定的に検出することができる。 FIG. 15 shows an example in the vicinity of the tunnel exit, which is a harsh example in which it is very difficult to detect the lane boundary because the road surface is shining, and the traveling lane must be detected with very few feature points. It is. However, according to the embodiment of FIGS. 4 to 6 described above, stable detection is performed from the traveling lane (lane boundary lines l 1 and l 2 ) to the adjacent traveling lane (lane boundary lines l 9 and l 10 ). be able to.
図16は、図1乃至図3並びに図4乃至図6の実施形態における走行レーン検出に関し、供試ビデオ映像より複数レーン中での自車の位置をリアルタイムに計測した結果をグラフにプロットしたもので、約10分間のビデオ映像中での自車の位置を示すものである。図中の一点鎖線はレーン境界を示し、横軸に時間をとり、縦軸に3つのレーン中での自車の位置をとっている(軸線は省略)。図16において実線は自車の位置変動を示しており(自車の位置はレーン幅を1としたときの相対的な位置として求まる)、レーンチェンジ前後においてもスムーズに自車の位置が変化し、レーンチェンジでレーンを見失うことなく正しく自車の位置を特定することができる。而して、本願の上記何れの実施形態においても、レーン境界線の位置を的確に特定することができ、走行レーンを安定的に検出することができる。 FIG. 16 is a graph plotting the results of real-time measurement of the position of the vehicle in a plurality of lanes from the test video image regarding the detection of the traveling lane in the embodiments of FIGS. 1 to 3 and FIGS. 4 to 6. The position of the vehicle in the video image of about 10 minutes is shown. A one-dot chain line in the figure indicates a lane boundary, the horizontal axis indicates time, and the vertical axis indicates the position of the vehicle in the three lanes (the axis is omitted). In FIG. 16, the solid line indicates the position change of the own vehicle (the position of the own vehicle is obtained as a relative position when the lane width is 1), and the position of the own vehicle changes smoothly before and after the lane change. The vehicle position can be correctly identified without losing sight of the lane by lane change. Thus, in any of the above embodiments of the present application, the position of the lane boundary line can be accurately specified, and the traveling lane can be detected stably.
図7乃至図13のフローチャートは、前述の図4乃至図6に示す実施形態における自車の走行レーン検出(これは図1乃至図3に示す実施形態と同じ)及び隣接レーンの特定を含む一連の処理例を示すもので、図7はメインルーチンを示し、図8乃至図13はサブルーチンを示す。これらは主として図5の画像処理部VCで処理される。先ず、図7のステップ101において走行レーンの特徴点が検出され、ステップ102にて特徴点に対する直線の当てはめが行われる。次に、ステップ103において消失点が計算され、ステップ104において消失点の座標が適正か否かが判定され、適正であればステップ105に進み、走行レーン間隔(一対の走行レーン境界線の間の距離)の計算が行われるが、消失点の座標が基準から外れ、適正でなければそのまま終了する。
The flowcharts of FIGS. 7 to 13 are a series of steps including the detection of the driving lane of the own vehicle in the embodiment shown in FIGS. 4 to 6 (this is the same as the embodiment shown in FIGS. FIG. 7 shows a main routine, and FIGS. 8 to 13 show a subroutine. These are mainly processed by the image processing unit VC of FIG. First, in
そして、ステップ106に進み、ステップ105で計算された走行レーンの間隔が例えば2.6mと4.4mの間の値であればステップ107に進み、走行レーンに対する自車位置が特定されるが、この範囲外の間隔である場合には走行レーン検出の対象外として終了する。ステップ107にて自車位置が特定され、ステップ108にて自車が走行レーン内にあると判定されると、ステップ109以降に進むが、自車が走行レーン外と判定された場合にはそのまま終了する。而して、ステップ109において走行レーンの左右外側の直線が推定され、ステップ110にて走行レーンの左右外側の特徴点が検出された後、ステップ111において、これらの特徴点に対し直線の当てはめが行われ、隣接レーンの境界線が特定される。このようにして隣接レーンが特定された後、ステップ112に進み、必要に応じて適宜、車線変更(レーンチェンジ)の処理が行われる。
Then, the process proceeds to step 106, and if the distance between the travel lanes calculated in
図8は、上記のステップ101における走行レーンの特徴点検出のサブルーチンを示すもので、先ずステップ201において直線の検出状態を表すフラグFsの状態が判定されるが、検出開始時にはセット(1)されていないのでステップ203に進み、微分フィルタによって特徴点が検出される。そして、ステップ204において検出結果の特徴点の数が所定の閾値と比較され、これを越えておれば、ステップ205にてフラグFsがセット(1)された後にメインルーチンに戻るが、特徴点数が閾値以下である場合にはフラグFsがクリア(0)された後(初回はそのまま)メインルーチンに戻る。尚、次回以降の演算サイクルでは、ステップ201においてフラグFsがセットされていると判定されると、ステップ202に進み、特徴点の検索範囲が、後述する処理で検出された直線の回りに限定されるので、ステップ202における特徴点の検出を迅速に行うことができる。
FIG. 8 shows a subroutine for detecting feature points of the driving lane in the
図9は、図7のステップ102における特徴点に対する直線当てはめのサブルーチンを示すもので、先ずステップ301にて、上記のように検出された特徴点から任意の2点が選択され、ステップ302に進む。ステップ302においては、上記の2点を結ぶ直線と他の特徴点との距離が計算され、この距離がステップ303にて所定の閾値と比較される。この距離が閾値を下回っておればステップ304にて投票により特徴点がメモリに格納された後ステップ305に進み、一方、距離が閾値以上であるときはそのままステップ305に進み、全特徴点の距離計算が終了したか否かが判定され、終了するまで上記の処理が繰り返される。
FIG. 9 shows a subroutine for straight line fitting to the feature points in
そして、ステップ306に進み、投票数が所定の最多得票数Mvと比較され、投票数が最多得票数Mvを越えたときにはその投票数が最多得票数Mvとされた後に、また、投票数が最多得票数Mv以下のときはそのままステップ308に進み、全特徴点の検索終了判定が行われ、ここで全特徴点の検索終了と判定されるまで、ステップ301乃至307の処理が繰り返される。この結果、最多得票数Mvが所定の閾値と比較され、これを越えておれば、ステップ310にてフラグFsがセット(1)された後にステップ312に進むが、最多得票数Mvが閾値以下である場合にはフラグFsがクリア(0)された後にステップ312に進む。而して、ステップ312において、メモリ内の特徴点に対し最小自乗法、あるいは前述のRANSACやCONSACによって直線が算出される。
In step 306, the number of votes is compared with a predetermined maximum number of votes Mv. When the number of votes exceeds the maximum number of votes Mv, the number of votes is set to the maximum number of votes Mv, and then the number of votes is also the largest. When the number of votes is less than Mv, the process proceeds to step 308 as it is, and the search end determination of all feature points is performed. The processes of
図10は、図7のステップ105における走行レーン間隔の計算のサブルーチンを示すもので、ステップ401にてカメラCMの内部パラメータが設定されると共に、ステップ402にてカメラCMの高さが設定され、ステップ403において、消失点からカメラCMの回転角が計算される。そして、ステップ404において、回転角からカメラCMを真下に回転させる平面射影変換が計算され、ステップ405にて走行レーンの左右の境界線が平面射影変換される。而して、ステップ406にて、この変換後の直線間の距離から走行レーン間隔が計算される。尚、カメラCMの内部パラメータ等は、この走行レーン間隔の計算に供されるが、例えば走行レーン間隔の絶対値を知ることが不要であれば、内部パラメータ等を設定する必要はない。
FIG. 10 shows a subroutine for calculating the travel lane interval in
図11は、図7のステップ107の走行レーンに対する自車位置の特定に係るサブルーチンを示すもので、ステップ501にて画像面上の直線群が定義されると共に、ステップ502にて路面上の直線群が定義される。そして、図3を参照して説明した前述の処理と同様に、ステップ503にて画像面―路面間の平面射影変換が計算され、ステップ504にて画像の両端が平面射影変換された後、ステップ505において、射影変換後の直線の交点が計算される。また、図12は、図7のステップ108における左右外側の直線を推定するサブルーチンを示すもので、図6を参照して説明した前述の処理と同様に、ステップ601にて路面から画像面への平面射影変換が計算された後、ステップ602において路面上の直線が平面射影変換される。尚、図7のステップ109における左右外側の特徴点を検出するサブルーチンは図8と実質的に同じであるので、説明は省略する。
FIG. 11 shows a subroutine for specifying the vehicle position with respect to the travel lane in
そして、図13は、図7のステップ111の左右外側の特徴点に対する直線当てはめに係るサブルーチンを示すもので、図9の直線当てはめに係るサブルーチンに比べ、隣接レーンの特定に特有の処理に係るステップ702(選択した点と消失点を結ぶ直線と他の特徴点との距離が計算される)とステップ712(最小自乗法適用時に消失点を含むように条件付としている)が異なるほかは、前述のステップ301乃至312の処理と同様であるので説明は省略する。
FIG. 13 shows a subroutine related to straight line fitting for the left and right feature points in
VD 撮像手段
LD 走行レーン検出手段
CR 特徴点検出手段SD
SD 直線検出手段
LB レーン境界線特定手段
PT 射影変換演算手段
ID 撮像手段位置特定手段
ND 隣接レーン特定手段ND
N1 隣接レーン境界位置推定手段
N2 特徴点検出領域設定手段
N3 特徴点検出手段
N4 直線検出手段
N5 隣接レーン境界線特定手段
CM カメラ
VB ビデオ入力バッファ回路
SY 同期分離回路
FM フレームメモリ
VC 画像処理部
VD imaging means LD travel lane detection means CR feature point detection means SD
SD Straight line detection means LB Lane boundary line specifying means PT Projection transformation calculating means ID Imaging means position specifying means ND Adjacent lane specifying means ND
N1 Adjacent lane boundary position estimation means N2 Feature point detection area setting means N3 Feature point detection means N4 Straight line detection means N5 Adjacent lane boundary line specifying means CM camera VB Video input buffer circuit SY Sync separation circuit FM Frame memory VC Image processing section
Claims (6)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003380657A JP4462533B2 (en) | 2003-11-11 | 2003-11-11 | Road lane detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003380657A JP4462533B2 (en) | 2003-11-11 | 2003-11-11 | Road lane detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005148784A JP2005148784A (en) | 2005-06-09 |
JP4462533B2 true JP4462533B2 (en) | 2010-05-12 |
Family
ID=34690265
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003380657A Expired - Fee Related JP4462533B2 (en) | 2003-11-11 | 2003-11-11 | Road lane detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4462533B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4086060B2 (en) * | 2005-08-17 | 2008-05-14 | トヨタ自動車株式会社 | Point sequence approximation method and point sequence approximation apparatus |
JP5042794B2 (en) * | 2007-12-04 | 2012-10-03 | アルパイン株式会社 | Vehicle periphery image providing apparatus and vehicle periphery image display method |
KR101333459B1 (en) * | 2012-02-21 | 2013-11-26 | 영남대학교 산학협력단 | Lane detecting method and apparatus thereof |
KR102145574B1 (en) * | 2013-11-29 | 2020-08-18 | (주)문화유산기술연구소 | System for displaying virtual image matched with real street figure |
JP7095559B2 (en) * | 2018-11-09 | 2022-07-05 | トヨタ自動車株式会社 | Bound line detection device and lane marking method |
CN111611830A (en) * | 2019-02-26 | 2020-09-01 | 阿里巴巴集团控股有限公司 | Lane line identification method, device and system and vehicle |
CN112560680B (en) * | 2020-12-16 | 2024-09-03 | 阿波罗智联(北京)科技有限公司 | Lane line processing method and device, electronic equipment and storage medium |
-
2003
- 2003-11-11 JP JP2003380657A patent/JP4462533B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005148784A (en) | 2005-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7461720B2 (en) | Vehicle position determination method and vehicle position determination device | |
JP6670071B2 (en) | Vehicle image recognition system and corresponding method | |
CN108692719B (en) | Object detection device | |
JP4899424B2 (en) | Object detection device | |
JP5293815B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP4363295B2 (en) | Plane estimation method using stereo images | |
JP2018124787A (en) | Information processing device, data managing device, data managing system, method, and program | |
JP4793324B2 (en) | Vehicle monitoring apparatus and vehicle monitoring method | |
KR100816377B1 (en) | Method and Apparatus for Recognizing Parking Slot Marking by Using Hough Transformation and Parking Assist System Using Same | |
JP2009041972A (en) | Image processing device and method therefor | |
JP2002352225A (en) | Obstacle detector and its method | |
JP6552448B2 (en) | Vehicle position detection device, vehicle position detection method, and computer program for vehicle position detection | |
EP3324359B1 (en) | Image processing device and image processing method | |
CN108645375B (en) | Rapid vehicle distance measurement optimization method for vehicle-mounted binocular system | |
JP4344860B2 (en) | Road plan area and obstacle detection method using stereo image | |
JP4052291B2 (en) | Image processing apparatus for vehicle | |
JP2003281700A (en) | Cutting-in vehicle detecting device and method | |
KR102003387B1 (en) | Method for detecting and locating traffic participants using bird's-eye view image, computer-readerble recording medium storing traffic participants detecting and locating program | |
JP7095559B2 (en) | Bound line detection device and lane marking method | |
JP5974923B2 (en) | Road edge detection system, method and program | |
JP4462533B2 (en) | Road lane detection device | |
JP2018073275A (en) | Image recognition device | |
US11904843B2 (en) | Autonomous parking systems and methods for vehicles | |
KR20160125803A (en) | Apparatus for defining an area in interest, apparatus for detecting object in an area in interest and method for defining an area in interest | |
CN110570680A (en) | Method and system for determining position of object using map information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061025 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091208 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20091208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20091208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100209 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100212 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130226 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130226 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140226 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |