JP3977505B2 - Road shape recognition device - Google Patents
Road shape recognition device Download PDFInfo
- Publication number
- JP3977505B2 JP3977505B2 JP02889498A JP2889498A JP3977505B2 JP 3977505 B2 JP3977505 B2 JP 3977505B2 JP 02889498 A JP02889498 A JP 02889498A JP 2889498 A JP2889498 A JP 2889498A JP 3977505 B2 JP3977505 B2 JP 3977505B2
- Authority
- JP
- Japan
- Prior art keywords
- edge point
- road
- line segment
- real space
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術の分野】
本発明は、画像処理により道路上の区分線の実空間位置を検出する道路形状認識装置に関し、特に遠方における区分線の実空間位置の検出精度を向上させた道路形状認識装置に関する。
【０００２】
【従来の技術】
従来より、カメラにより撮像した車両前方の画像から、道路上に描かれた車両の左右の区分線（道路区分線）の実空間位置を検出する道路形状認識装置が広く知られている。
【０００３】
かかる道路形状認識装置により道路の登坂や片勾配といった高さの変化のデータを得るためには、２台のカメラを使用し、それぞれの撮像画像データから、道路区分線の３次元座標（地表面の座標と地表からの高さの座標）を検出する必要がある。
【０００４】
しかし、このように２台のカメラを用いて道路区分線の３次元座標を検出するには、２台のカメラのそれぞれに対して画像データの入力回路やメモリが必要となるために装置構成が複雑になって装置コストが高くなると共に、２台のカメラによる撮像画像データから道路区分線の３次元座標を得るための複雑な演算処理が必要となり、処理時間が長くなってしまう。
【０００５】
そのため、一般には、図９ａに示すように、１台のカメラによる撮像画像から道路区分線のエッジ点ｅを抽出し、抽出したエッジ点の画像データｇを用いて道路区分線の実空間位置を検出することが行われている。具体的には、道路は平坦であると仮定して、各エッジ点ｅをカメラの視点Ｐから平坦な平面Ｈに逆射影変換した位置ｌ、ｒを実空間における道路区分線の位置であると推定して、白線の実空間位置を検出している。
【０００６】
しかし、図９ｂに示すように実際には登坂である道路ｃに対して、このように道路は平坦であると仮定して道路区分線の実空間位置を検出したときには、実際の道路区分線の実空間位置と検出された道路区分線の実空間位置との間に大きなずれが生じるという不都合があった。
【０００７】
【発明が解決しようとする課題】
本発明は上記不都合を解消し、１台のカメラを用いた道路形状認識装置において、道路区分線の実空間位置の検出精度を向上させた道路形状認識装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、上記目的を達成するためになされたものであり、１台のカメラにより撮像され、水平方向及び垂直方向の２次元座標にマッピングされた車両前方の画像データから、道路の左側区分線のエッジ点である左エッジ点と右側区分線のエッジ点である右エッジ点を抽出するエッジ点抽出手段と、該エッジ点抽出手段により抽出された左エッジ点と右エッジ点の実空間位置を推定することで、道路の左側区分線と右側区分線の実空間位置を検出する実空間位置検出手段とを備えた道路形状認識装置の改良に関する。
【０００９】
本発明における前記実空間位置検出手段は、前記２次元座標の垂直方向の座標が同一である左エッジ点と右エッジ点とを結ぶ線分である複数の道路線分を生成する道路線分生成手段と、該道路線分生成手段により生成された複数の道路線分の中から、前記２次元座標の下方にある１本の道路線分を基準道路線分として選択し、前記カメラの視点から平坦で高さ０であると仮定した前記車両の走行平面に、該基準道路線分を逆射影変換して生成した線分の長さを実空間における道路幅と推定する道路幅推定手段とを備える。
【００１０】
そして、前記実空間位置検出手段は、前記車両の前方の所定距離までの範囲においては、前記基準道路線分よりも上側にある各道路線分ごとに、前記カメラの視点から前記走行平面への逆射影変換を行い、逆射影変換された道路線分と平行な線分であって、その左端が逆射影変換により生成された線分の左端と前記カメラの視点とを結ぶ線分上にあると共にその右端が逆射影変換により生成された線分の右端と前記カメラの視点とを結ぶ線分上にあり、且つその長さが前記道路幅推定手段により推定された道路幅と一致する線分を決定し、決定した線分の左端の位置を逆射影変換された道路線分を生成した左エッジ点の実空間位置と推定し、決定した線分の右端の位置を逆射影変換された道路線分を生成した右エッジ点の実空間位置と推定する近傍エッジ点位置推定手段を備える。
【００１１】
更に、前記実空間位置検出手段は、前記所定距離よりも遠方の範囲において、前記近傍エッジ点位置推定手段により推定された各道路線分の左エッジ点及び前記右エッジ点の実空間位置に基づいて近似した放物線によって決定した前記車両前方の曲面に、前記エッジ点抽出手段により抽出された左エッジ点及び右エッジ点を前記カメラの視点から逆射影変換した位置を該左エッジ点及び右エッジ点の実空間位置と推定する遠方エッジ点位置推定手段とを備える。
【００１２】
本発明者らは、上記目的を達成するために各種検討を重ねた結果、前記実空間位置検出手段に、前記道路線分生成手段と前記道路幅推定手段と前記近傍エッジ点位置推定手段と前記遠方エッジ点位置推定手段とを備え、該近傍エッジ点位置推定手段及び該遠方エッジ点位置推定手段により推定された左エッジ点及び右エッジ点の実空間位置から道路区分線の位置を認識することで、道路区分線の実空間位置の検出精度が向上することを知見した。
【００１３】
そして、本発明によれば、上述した従来の２台のカメラを用いて道路区分線の実空間位置を検出する場合と比べて、簡易な演算処理で精度良く道路区分線の実空間位置を検出することができる。
【００１４】
【発明の実施の形態】
本発明の実施の形態の一例を図１〜図９を参照して説明する。図１は本発明の道路形状認識装置を用いたレーンキープアシストシステムの全体構成図、図２は本発明の道路形状認識装置において使用する座標系の説明図、図３，図４は本発明の道路区分線の実空間位置推定処理のフローチャート、図５は道路幅推定処理の説明図、図６は車両近傍におけるエッジ点の実空間位置推定処理の説明図、図７は車両遠方におけるエッジ点の実空間位置推定処理の説明図、図８は本発明の道路形状認識装置と従来の道路形状認識装置による、道路区分線の実空間位置の検出結果の比較図、図９は従来の道路形状認識装置によるエッジ点の実空間位置推定処理の説明図である。
【００１５】
尚、本発明は主として高速道路の走行を想定し、道路幅は一定であり、道路の水平曲線及び縦断（垂直）曲線は緩やかに変化することを前提として道路区分線の実空間位置を検出する。
【００１６】
図１を参照して、本発明の道路形状認識装置１は、エッジ点抽出手段２と実空間位置検出手段３とを有し、カメラ４、前処理部５、行動計画作成部６、及びアクチュエータ７と共に車両に搭載されて、該車両が走行車線内を走行するようにステアリング角度の補正を行うレーンキープアシストシステムを構成する。
【００１７】
カメラ４により取り込まれ、水平方向（ｘi ）と垂直方向（ｙi ）の２次元座標系にマッピングされた原画像データａに対しては、前処理部５によりノイズ除去等の前処理が行われる。
【００１８】
そして、前処理がなされた原画像データａから、エッジ点抽出手段２により右側の道路区分線のエッジ点（右エッジ点）と、左側の道路区分線のエッジ点（左エッジ点）とが抽出される。尚、エッジ点の抽出は前処理後の原画像データａに対して、各水平ライン毎に各画素の明度データを水平方向に走査し、明度データが明から暗、或いは暗から明に急激に変化する点を検出することで行われる。
【００１９】
実空間位置検出手段３は、道路線分生成手段８と、道路幅推定手段９と、近傍エッジ点位置推定手段１０と、遠方エッジ点位置推定手段１１とを備え、エッジ点抽出手段２によって得られたエッジ点データｇから、左エッジ点の実空間位置と右エッジ点の実空間位置とを推定することで、道路区分線の実空間位置を検出する。
【００２０】
そして、行動計画作成部６は、道路形状認識装置１によって検出された道路区分線の実空間位置に基づいて、実空間における車両の走行パターンを作成し、該走行パターンに応じてアクチュエータ７を介してステアリング角度を調節する。これにより、左側の道路区分線と右側の道路区分線の間を走行するように、車両の位置が制御される。
【００２１】
次に、図２は実空間位置検出手段３において使用される座標系の説明図である。図２ａを参照して、実空間における道路区分線の位置は、車両２０の中心真下（高さ０）の点を原点とし、車両２０の進行方向を正とするＸm 軸と、Ｘm 軸と直交し、車両２０の進行方向に向かって左手を正とするＹm 軸と、Ｘm −Ｙm 平面と直交して上空方向を正とするＺm 軸からなる、Ｘm −Ｙm −Ｚm の３次元座標系（以下、実空間座標系という）によって特定される。
【００２２】
また、図２ｂはカメラ４の座標系とエッジ点データｇの座標系との関係を示したものである。カメラ４の座標系は、カメラ４の視点Ｐを原点とし、カメラ４の視線方向に対して右手方向を正とするｘc 軸と、視線方向及びｘc 軸と直交して上方向を正とするｙc 軸と、視線軸であって視線方向を正とするｚc 軸とからなるｘc −ｙc −ｚc の３次元座標系（以下、カメラ座標系という）である。また、エッジ点データｇの座標系は、カメラ４からみたエッジ点画像ｇの左上を原点とし、右方向を正とするｘi 軸と、下方向を正とするｙi 軸とからなるｘi −ｙi の２次元座標系（以下、エッジ座標系という）である。
【００２３】
カメラ４の焦点距離ｆは既知であるので、エッジ点データｇにおける１画素の長さ（ｍｍ／ｄｏｔ）が定まる。そして、カメラ４の視点Ｐの実空間座標系における座標と、カメラ４の前後左右の傾きも既知であるため、カメラ座標系から実空間座標系への座標変換を行うことができる。
【００２４】
実空間位置検出手段３は、エッジ点データｇにおける各左エッジ点及び右エッジ点のエッジ座標系における座標をカメラ座標系の座標に変換し、変換した左エッジ点及び右エッジ点のカメラ座標系の座標を用いて、該左エッジ点及び右エッジ点をカメラ４の視点Ｐからエッジ点データｇの前方に逆射影変換することで、実空間における左エッジ点及び右エッジ点のカメラ座標系の座標を推定する。
【００２５】
そして、実空間位置検出手段３は、このようにして推定した実空間におけるカメラ座標系の左エッジ点と右エッジ点の座標を実空間座標系の座標に変換することで、実空間における道路の左側区分線と右側区分線の実空間座標系の座標を検出する。
【００２６】
以下、図３，図４に示したフローチャートに従って、実空間位置検出手段３によるエッジ点データｇの左エッジ点及び右エッジ点の実空間位置の検出処理について説明する。
【００２７】
図３を参照して、ＳＴＥＰ１で、実空間位置検出手段３に備えられた道路線分生成手段８は、図５ａに示すように、エッジ点データｇより、ｙi 座標が同一である左エッジ点と右エッジ点とを結んだ線分である道路線分Ｓ0 ，Ｓ1 , ・・・，Ｓn を生成する。
【００２８】
続くＳＴＥＰ２で、実空間位置検出手段３に備えられた道路幅推定手段９は、図５ａに示した道路線分Ｓ0 ，Ｓ1 ，・・・，Ｓn の中から、最も下側（車両側）にある道路線分Ｓ0 （図５ａのｙi ＝４００のライン上にある）を基準道路線分として選択する。尚、基準道路線分として選択するのは、必ずしも最も下側にある道路線分に限られず、場合によっては下から２番目の道路線分（Ｓ1 ）や、３番目の道路線分（Ｓ2 ）を基準道路線分としてもよい。
【００２９】
そして、ＳＴＥＰ３で、道路幅推定手段９は、図５ｂに示すように、カメラ４の視点Ｐから平坦で高さ０（Ｚm ＝０）であると想定した車両前方の平面Ｈに基準道路線分Ｓ0 を逆射影変換し、ＳＴＥＰ４で、該逆射影変換によって生成された線分ｕ0 の長さｗを、実空間における道路幅と推定する。
【００３０】
次のＳＴＥＰ５からＳＴＥＰ１０は、実空間位置検出手段３に備えられた近傍エッジ点位置推定手段１０による、車両近傍におけるエッジ点データｇの左エッジ点及び右エッジ点の実空間位置の推定処理である。
【００３１】
近傍エッジ点位置推定手段１０は、ＳＴＥＰ５でカウンタ変数ｉに１を代入し、ＳＴＥＰ６で道路線分Ｓi （ここではｉ＝１）を、図６に示すように、車両前方の平坦で高さ０（Ｚm ＝０）であると仮定した平面Ｈに逆射影変換する。そして、近傍エッジ点位置推定手段１０は、逆射影変換により生成された平面Ｈ上の線分ｕ1 と平行な線分であって、その左端がカメラ４の視点Ｐと線分ｕ1 の左端を結んだ線分ＪL 上にあると共にその右端がカメラ４の視点Ｐと線分ｕ1 の右端を結んだ線分ＪR 上にあり、且つその長さが道路幅推定手段９によって推定された道路幅ｗと等しい線分Ｕ1 を決定する。
【００３２】
近傍エッジ点位置推定手段１０は、このようにして決定した線分Ｕ1 の右端Ｒ1 を道路線分Ｓ1 の右エッジ点の実空間位置と推定し、線分Ｕ1 の左端Ｌ1 を道路線分Ｓ1 の左エッジ点の実空間位置と推定する。
【００３３】
近傍エッジ点位置推定手段１０は、続くＳＴＥＰ９でカウンタ変数ｉに１を加え、ＳＴＥＰ１０で、ＳＴＥＰ８で推定した左エッジ点及び右エッジ点の実空間位置が、実空間座標系のＹm 軸から車両前方（Ｘm 軸正方向）に４０ｍ（本発明の所定距離に相当）以上離れているか否かを判定する。そして、ＳＴＥＰ８で推定した左エッジ点及び右エッジ点の実空間位置が、実空間座標系のＹm 軸から４０ｍ以上離れていないときは、ＳＴＥＰ６に分岐して次の道路線分に対してＳＴＥＰ６〜ＳＴＥＰ８の処理を行う。
【００３４】
このように、近傍エッジ点位置推定手段１０によりＳＴＥＰ６〜ＳＴＥＰ１０のループを実行することで、実空間座標系のＹm 軸から車両前方４０ｍまでの範囲でのエッジ点データｇの左エッジ点の実空間位置Ｌ1 ，Ｌ2 ，・・・と、右エッジ点の実空間位置Ｒ1 ，Ｒ2 ，・・・とが推定される。
【００３５】
一方、ＳＴＥＰ１０で、ＳＴＥＰ８で推定した左エッジ点及び右エッジ点の実空間位置が、実空間座標系のＹm 軸から車両前方（Ｘm 軸正方向）に４０ｍ（本発明の所定距離に相当）以上離れていたときには、ＳＴＥＰ１１に進む。
【００３６】
ＳＴＥＰ１１〜ＳＴＥＰ１４は、遠方エッジ点位置推定手段１１によるエッジ点データｇの左エッジ点及び右エッジ点の実空間位置の推定処理である。遠方エッジ点位置推定手段１１は、ＳＴＥＰ１１で、図６に示すように、道路幅推定手段９と近傍エッジ点位置推定手段１０とにより推定されたエッジ点データｇの左エッジ点の実空間位置Ｌ0 ，Ｌ1 ，Ｌ2 ，・・・から高さ方向（Ｘm −Ｚm 平面）で放物線ｆ1 を近似し、エッジ点データｇの右エッジ点の実空間位置Ｒ0 , Ｒ1 ，Ｒ2,・・・から高さ方向（Ｘm −Ｚm 平面）で放物線ｆ2 を近似する。そして、図７に示すように左端の形状をｆ1 で近似し、右端の形状をｆ2 で近似した曲面Ｋを決定する。
【００３７】
次に、遠方エッジ点位置推定手段１１は、ＳＴＥＰ１２〜ＳＴＥＰ１４で、図７に示すように、近傍エッジ点位置推定手段１０により実空間位置の推定がなされた、エッジ点データｇにおける道路線分よりも上側（エッジ点座標系のｙi 軸の原点側）にある各道路線分Ｓi の左エッジ点及び右エッジ点に対して、カメラ４の視点Ｐから曲面Ｋへの逆射影変換を行い、逆射影された点ｌi とｒi を道路線分Ｓi の左エッジ点及び右エッジ点の実空間位置と推定する。
【００３８】
このようにして、エッジ点画像ｇの各左エッジ点及び右エッジ点の実空間位置を推定し、推定結果から道路区分線の実空間位置を検出したところ、図９ａに示した、走行面が平坦であると仮定して逆射影変換を行ってエッジ点の実空間位置を推定した従来の道路形状認識装置に比べて、図８に示すように、道路区分線の実空間位置の検出精度が著しく向上することが確認できた。
【００３９】
図８は、車両が、水平方向が２３０Ｒの右カーブ、垂直方向が２０００Ｒの上り坂、片勾配が１０％の右下がりである高速道路を走行中であることを想定して、図９ａに示した従来の道路形状認識装置と本発明の道路形状認識装置とにより、道路区分線の実空間位置を検出したときの、上空から見た（Ｘm −Ｙm 平面）道路区分線の位置を比較したものである。図中、▲１▼，▲２▼が実際の左右の道路区分線の位置、▲３▼，▲４▼が本発明の道路形状認識装置による左右の道路区分線の検出位置、▲５▼，▲６▼が従来の道路形状認識装置による左右の道路区分線の検出位置である。
【００４０】
図８から明らかなように、従来の道路形状認識装置では、前方３０ｍ付近から実際の道路区分線の実空間位置に対して検出位置がずれ始め、４０ｍより遠方になるにつれてずれ量が急激に増大している。これに対して、本発明の道路形状認識装置によれば、４０ｍ地点でのずれはほとんどなく、遠方においても実際の道路区分線の位置と、検出位置とのずれ量は微量に留まっている。
【００４１】
以上説明したように、本発明の道路形状認識装置によれば、１台のカメラを用いた道路区分線の実空間位置の検出精度を向上することができ、本発明の道路形状認識装置を用いることで、レーンキープアシストシステムの信頼性を向上させることができる。
【００４２】
また、本発明の道路形状認識装置における道路区分線検出の演算処理は、従来、道路区分線の３次元座標を検出するために行われていた、２台のカメラを用いた道路区分線検出の演算処理よりも簡単であるので、２台のカメラを用いた場合よりも短い処理時間で精度良く道路区分線の実空間位置を検出することができる。
【図面の簡単な説明】
【図１】本発明の道路形状認識装置を用いたレーンキープアシストシステムの全体構成図。
【図２】道路形状認識装置において使用する座標系の説明図。
【図３】道路区分線の実空間位置推定処理のフローチャート。
【図４】道路区分線の実空間位置推定処理のフローチャート。
【図５】道路幅推定方法の説明図。
【図６】車両近傍におけるエッジ点の実空間位置推定処理の説明図。
【図７】車両遠方におけるエッジ点の実空間位置推定処理の説明図。
【図８】本発明の道路形状認識装置と従来の道路形状認識装置による道路区分線の検出結果の比較図。
【図９】従来の道路形状認識装置によるエッジ点の実空間位置推定処理の説明図。
【符号の説明】
１…道路形状認識装置、２…エッジ点抽出手段、３…実空間位置検出手段、４…カメラ、５…前処理部、６…行動計画作成部、７…アクチュエータ、８…道路線分生成手段、９…道路幅推定手段、１０…近傍エッジ点位置推定手段、１１…遠方エッジ点位置推定手段[0001]
[Field of the Invention]
The present invention relates to a road shape recognition device that detects the real space position of a lane marking on a road by image processing, and more particularly to a road shape recognition device that improves the detection accuracy of the real space position of a lane marking at a distance.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a road shape recognition device that detects a real space position of a left and right division line (road division line) of a vehicle drawn on a road from an image in front of the vehicle captured by a camera is widely known.
[0003]
In order to obtain height change data such as a climbing slope or a single slope of a road by such a road shape recognition device, two cameras are used, and the three-dimensional coordinates (the ground surface) of the road dividing line are obtained from each captured image data. And the coordinates of the height from the ground surface) need to be detected.
[0004]
However, in order to detect the three-dimensional coordinates of the road marking line using two cameras in this way, an image data input circuit and a memory are required for each of the two cameras, so that the apparatus configuration is reduced. The apparatus becomes complicated and the cost of the apparatus increases, and complicated calculation processing is required to obtain the three-dimensional coordinates of the road marking lines from the image data captured by the two cameras, which increases the processing time.
[0005]
Therefore, in general, as shown in FIG. 9a, an edge point e of a road marking line is extracted from an image captured by one camera, and the real space position of the road marking line is determined using the extracted edge point image data g. It is done to detect. Specifically, assuming that the road is flat, the positions l and r obtained by subjecting each edge point e to back-projection conversion from the camera viewpoint P to the flat plane H are the positions of road dividing lines in real space. By estimating, the real space position of the white line is detected.
[0006]
However, as shown in FIG. 9b, when the actual space position of the road dividing line is detected on the assumption that the road is flat with respect to the road c that is actually uphill, the actual road dividing line There is a disadvantage that a large shift occurs between the real space position and the detected real space position of the road dividing line.
[0007]
[Problems to be solved by the invention]
An object of the present invention is to solve the above inconveniences and to provide a road shape recognition apparatus using a single camera in which the detection accuracy of the actual space position of the road marking line is improved.
[0008]
[Means for Solving the Problems]
The present invention has been made to achieve the above object, and is based on the left side dividing line of the road from the image data in front of the vehicle imaged by one camera and mapped to the two-dimensional coordinates in the horizontal direction and the vertical direction. Edge point extraction means for extracting the left edge point, which is the edge point of the right edge, and the right edge point, which is the edge point of the right parting line, and the real space positions of the left edge point and the right edge point extracted by the edge point extraction means The present invention relates to an improvement of a road shape recognition device including a real space position detecting unit that detects a real space position of a left partition line and a right partition line of a road by estimation.
[0009]
In the present invention, the real space position detection means generates a road line segment that generates a plurality of road line segments that connect a left edge point and a right edge point with the same vertical coordinate of the two-dimensional coordinates. And a single road line below the two-dimensional coordinates is selected as a reference road line segment from a plurality of road line segments generated by the road segment generation unit, and from the viewpoint of the camera Road width estimating means for estimating the length of a line segment generated by back-projecting the reference road line segment on the travel plane of the vehicle assumed to be flat and having a height of 0 as a road width in real space; Prepare.
[0010]
Then, the real space position detection means, from a point of view of the camera, to the travel plane for each road line segment above the reference road line segment in a range up to a predetermined distance ahead of the vehicle. Performs reverse projection transformation, and is a line segment parallel to the reverse projection transformation road segment, the left end of which is on the line segment connecting the left end of the line segment generated by the reverse projection transformation and the viewpoint of the camera And a line segment whose right end is on a line segment connecting the right end of the line segment generated by the reverse projection transformation and the viewpoint of the camera, and whose length matches the road width estimated by the road width estimating means The left edge position of the determined line segment is estimated as the real space position of the left edge point that generated the road line segment subjected to the reverse projection transformation, and the right edge position of the determined line segment is subjected to the reverse projection transformation. Estimate the real space position of the right edge point that generated the line segment Comprising a vicinity of the edge point position estimating means.
[0011]
Further, the real space position detection means is based on the real space positions of the left edge point and the right edge point of each road line estimated by the neighboring edge point position estimation means in a range farther than the predetermined distance. The left edge point and the right edge point are the positions of the left edge point and the right edge point extracted by the edge point extraction means that are reverse-projected from the viewpoint of the camera on the curved surface in front of the vehicle determined by the parabola approximated by And a far edge point position estimating means for estimating the real space position.
[0012]
As a result of repeating various studies in order to achieve the above object, the present inventors have determined that the real space position detection means includes the road line generation means, the road width estimation means, the neighboring edge point position estimation means, A far edge point position estimating means, and recognizing the position of the road marking line from the real space positions of the left edge point and the right edge point estimated by the neighboring edge point position estimating means and the far edge point position estimating means. Thus, it was found that the detection accuracy of the real space position of the road marking line is improved.
[0013]
According to the present invention, the actual space position of the road segment line can be detected with a simple calculation process more accurately than when the two conventional cameras described above are used to detect the actual space position of the road segment line. can do.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
An example of an embodiment of the present invention will be described with reference to FIGS. FIG. 1 is an overall configuration diagram of a lane keep assist system using the road shape recognition device of the present invention, FIG. 2 is an explanatory diagram of a coordinate system used in the road shape recognition device of the present invention, and FIGS. FIG. 5 is an explanatory diagram of road width estimation processing, FIG. 6 is an explanatory diagram of edge space real space position estimation processing in the vicinity of the vehicle, and FIG. FIG. 8 is a diagram for explaining the real space position estimation process, FIG. 8 is a comparison diagram of the detection results of the real space position of the road lane markings by the road shape recognition device of the present invention and the conventional road shape recognition device, and FIG. It is explanatory drawing of the real space position estimation process of the edge point by an apparatus.
[0015]
Note that the present invention mainly detects highway driving, the road width is constant, and the actual space position of the road dividing line is detected on the assumption that the horizontal and vertical (vertical) curves of the road change gently. .
[0016]
Referring to FIG. 1, a road
[0017]
For the original image data a captured by the camera 4 and mapped to the two-dimensional coordinate system in the horizontal direction (x i ) and the vertical direction (y i ), pre-processing such as noise removal is performed by the
[0018]
Then, from the preprocessed original image data a, the edge point extraction means 2 extracts the edge point (right edge point) of the right road partition line and the edge point (left edge point) of the left road partition line. Is done. Note that the edge point is extracted by scanning the brightness data of each pixel in the horizontal direction for each horizontal line with respect to the preprocessed original image data a, and the brightness data is rapidly changed from light to dark or from dark to bright. This is done by detecting changing points.
[0019]
The real space
[0020]
Then, the action
[0021]
Next, FIG. 2 is an explanatory diagram of a coordinate system used in the real space
[0022]
FIG. 2b shows the relationship between the coordinate system of the camera 4 and the coordinate system of the edge point data g. Coordinate system of the camera 4, a view point P of the camera 4 as an origin, a x c axis of the right hand direction is positive with respect to line-of-sight direction of the camera 4, the upward positive and perpendicular to the viewing direction and x c-axis This is a three-dimensional coordinate system (hereinafter referred to as a camera coordinate system) of x c -y c -z c consisting of a y c axis that is a visual axis and a z c axis that is positive in the visual axis direction. The coordinate system of the edge point data g is the upper left of the camera 4 viewed from the edge point image g is the origin, consisting of the x i axis rightward and positive, and y i axes to the downward direction is positive x i This is a two-dimensional coordinate system (hereinafter referred to as an edge coordinate system) of −y i .
[0023]
Since the focal length f of the camera 4 is known, the length (mm / dot) of one pixel in the edge point data g is determined. Since the coordinates of the viewpoint P of the camera 4 in the real space coordinate system and the tilt of the camera 4 in the front, rear, left, and right directions are known, coordinate conversion from the camera coordinate system to the real space coordinate system can be performed.
[0024]
The real space position detection means 3 converts the coordinates in the edge coordinate system of each left edge point and right edge point in the edge point data g into the coordinates of the camera coordinate system, and the camera coordinate system of the converted left edge point and right edge point The left edge point and the right edge point are back-projected from the viewpoint P of the camera 4 to the front of the edge point data g by using the coordinates of the left and right edge points in the real space. Estimate the coordinates.
[0025]
Then, the real space position detecting means 3 converts the coordinates of the left edge point and the right edge point of the camera coordinate system in the real space estimated in this way into the coordinates of the real space coordinate system. The coordinates of the real space coordinate system of the left parting line and the right parting line are detected.
[0026]
The real space position detection processing of the left edge point and the right edge point of the edge point data g by the real space position detection means 3 will be described below with reference to the flowcharts shown in FIGS.
[0027]
Referring to FIG. 3, in
[0028]
In subsequent STEP2, road width estimation means 9 provided in the real space
[0029]
In
[0030]
The
[0031]
The neighboring edge point position estimating means 10
[0032]
The neighboring edge point position estimating means 10 estimates the right end R 1 of the line segment U 1 thus determined as the real space position of the right edge point of the road line segment S 1 , and uses the left end L 1 of the line segment U 1 as the left end L 1 . The real space position of the left edge point of the road line segment S 1 is estimated.
[0033]
The neighboring edge point position estimating means 10 adds 1 to the counter variable i in the
[0034]
As described above, the loop of
[0035]
On the other hand, in
[0036]
STEP 11 to STEP 14 are processing for estimating the real space positions of the left edge point and the right edge point of the edge point data g by the far edge point position estimating means 11. As shown in FIG. 6, the far edge point position estimating means 11 is the real space position L of the left edge point of the edge point data g estimated by the road width estimating means 9 and the neighboring edge point position estimating means 10 as shown in FIG. The parabola f 1 is approximated in the height direction (X m -Z m plane) from 0 , L 1 , L 2 ,..., And the real space position R 0, R 1 , R of the right edge point of the edge point data g A parabola f 2 is approximated in the height direction (X m -Z m plane) from 2 ,. Then, as shown in FIG. 7, a curved surface K is determined by approximating the left end shape by f 1 and approximating the right end shape by f 2 .
[0037]
Next, as shown in FIG. 7, the far edge point position estimating means 11 is based on the road line segment in the edge point data g in which the real space position is estimated by the neighboring edge point position estimating means 10, as shown in FIG. The back projection transformation from the viewpoint P of the camera 4 to the curved surface K is performed on the left edge point and the right edge point of each road line segment S i on the upper side (the origin side of the y i axis of the edge point coordinate system). Then, the back-projected points l i and r i are estimated as the real space positions of the left edge point and the right edge point of the road segment S i .
[0038]
In this way, the real space positions of the left edge point and the right edge point of the edge point image g are estimated, and when the real space position of the road lane marking is detected from the estimation result, the traveling plane shown in FIG. Compared to a conventional road shape recognition device that estimates the real space position of the edge point by performing reverse projection transformation on the assumption that it is flat, as shown in FIG. It was confirmed that it was remarkably improved.
[0039]
FIG. 8 shows in FIG. 9a, assuming that the vehicle is driving on a highway with a horizontal curve of 230R on the right, a vertical direction of 2000R uphill, and a single slope of 10% to the right. Compared the position of road segmentation line as viewed from above (X m -Y m plane) when the actual space position of the road segmentation line is detected by the conventional road shape recognition device and the road shape recognition device of the present invention. It is a thing. In the figure, (1) and (2) are the actual positions of the left and right road dividing lines, (3) and (4) are the detected positions of the left and right road dividing lines by the road shape recognition device of the present invention, (5), (6) is the detection position of the left and right road marking lines by the conventional road shape recognition device.
[0040]
As is apparent from FIG. 8, in the conventional road shape recognition device, the detection position starts to deviate from the actual space position of the actual road marking line from the vicinity of 30 m ahead, and the deviation increases rapidly as the distance from 40 m increases. is doing. On the other hand, according to the road shape recognition apparatus of the present invention, there is almost no deviation at the point of 40 m, and the deviation amount between the actual road division line position and the detection position remains very small even in the distance.
[0041]
As described above, according to the road shape recognition device of the present invention, the detection accuracy of the real space position of the road lane marking using one camera can be improved, and the road shape recognition device of the present invention is used. Thus, the reliability of the lane keep assist system can be improved.
[0042]
In addition, the calculation processing of road lane marking detection in the road shape recognition apparatus of the present invention is conventionally performed for detecting road lane markings using two cameras, which has been performed to detect the three-dimensional coordinates of road lane markings. Since it is simpler than the arithmetic processing, the real space position of the road marking line can be detected with high accuracy in a shorter processing time than when two cameras are used.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram of a lane keep assist system using a road shape recognition device of the present invention.
FIG. 2 is an explanatory diagram of a coordinate system used in a road shape recognition device.
FIG. 3 is a flowchart of a real space position estimation process for road marking lines.
FIG. 4 is a flowchart of a real space position estimation process for road marking lines.
FIG. 5 is an explanatory diagram of a road width estimation method.
FIG. 6 is an explanatory diagram of real space position estimation processing of edge points in the vicinity of the vehicle.
FIG. 7 is an explanatory diagram of real space position estimation processing of an edge point at a distance from the vehicle.
FIG. 8 is a comparison diagram of road segment line detection results by the road shape recognition device of the present invention and the conventional road shape recognition device.
FIG. 9 is an explanatory diagram of edge space real space position estimation processing by a conventional road shape recognition apparatus;
[Explanation of symbols]
DESCRIPTION OF
Claims (1)
前記実空間位置検出手段は、前記２次元座標の垂直方向の座標が同一である左エッジ点と右エッジ点とを結ぶ線分である複数の道路線分を生成する道路線分生成手段と、
該道路線分生成手段により生成された複数の道路線分の中から、前記２次元座標の下方にある１本の道路線分を基準道路線分として選択し、前記カメラの視点から平坦で高さ０であると仮定した前記車両の走行平面に、該基準道路線分を逆射影変換して生成した線分の長さを実空間における道路幅と推定する道路幅推定手段と、
前記車両の前方の所定距離までの範囲において、前記基準道路線分よりも上側にある各道路線分ごとに、前記カメラの視点から前記走行平面への逆射影変換を行い、逆射影変換された道路線分と平行な線分であって、その左端が逆射影変換により生成された線分の左端と前記カメラの視点とを結ぶ線分上にあると共にその右端が逆射影変換により生成された線分の右端と前記カメラの視点とを結ぶ線分上にあり、且つその長さが前記道路幅推定手段により推定された道路幅と一致する線分を決定し、決定した線分の左端の位置を逆射影変換された道路線分を生成した左エッジ点の実空間位置と推定し、決定した線分の右端の位置を逆射影変換された道路線分を生成した右エッジ点の実空間位置と推定する近傍エッジ点位置推定手段と、
前記所定距離よりも遠方の範囲において、前記近傍エッジ点位置推定手段により推定された各道路線分の左エッジ点及び右エッジ点の実空間位置に基づいて近似した放物線によって決定した前記車両前方の曲面に、前記エッジ点抽出手段により抽出された左エッジ点及び右エッジ点を前記カメラの視点から逆射影変換した位置を該左エッジ点及び右エッジ点の実空間位置と推定する遠方エッジ点位置推定手段とを備えたことを特徴とする道路形状認識装置。From the image data in front of the vehicle imaged by one camera and mapped to the two-dimensional coordinates in the horizontal direction and the vertical direction, the left edge point and the edge point of the right dividing line are the edge points of the left dividing line of the road. Edge point extraction means for extracting right edge points, and real space positions of the left and right division lines of the road by estimating the real space positions of the left and right edge points extracted by the edge point extraction means In a road shape recognition device comprising real space position detection means for detecting a position,
The real space position detecting means includes a road line segment generating means for generating a plurality of road line segments that are line segments connecting a left edge point and a right edge point having the same vertical coordinate of the two-dimensional coordinates ;
One road line segment below the two-dimensional coordinates is selected as a reference road line segment from the plurality of road line segments generated by the road segment generation unit, and is flat and high from the viewpoint of the camera. Road width estimating means for estimating the length of a line segment generated by performing reverse projection transformation of the reference road line segment on the travel plane of the vehicle assumed to be zero;
In a range up to a predetermined distance in front of the vehicle, for each road line segment above the reference road line segment, reverse projection conversion is performed from the viewpoint of the camera to the travel plane, and the reverse projection conversion is performed. A line segment parallel to the road line segment, the left end of which is on the line connecting the left end of the line segment generated by the reverse projection transformation and the viewpoint of the camera, and the right end of the segment is generated by the reverse projection transformation A line segment that is on the line segment connecting the right end of the line segment and the viewpoint of the camera and whose length matches the road width estimated by the road width estimating means is determined, and the left end of the determined line segment is determined. Estimate the position of the left edge point that generated the road line segment that has undergone reverse projection transformation as the real space position of the left edge point, and determine the right edge position of the determined line segment as the real space of the right edge point that produced the road line segment that has undergone reverse projection transformation A neighboring edge point position estimating means for estimating a position;
In the range farther than the predetermined distance, the vehicle front side determined by the parabola approximated based on the real space position of the left edge point and the right edge point of each road line estimated by the neighboring edge point position estimation means Distant edge point position for estimating the position of the left edge point and the right edge point extracted by the edge point extracting means on the curved surface from the viewpoint of the camera as a back space and the real space position of the left edge point and the right edge point A road shape recognition device comprising an estimation means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02889498A JP3977505B2 (en) | 1998-02-10 | 1998-02-10 | Road shape recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02889498A JP3977505B2 (en) | 1998-02-10 | 1998-02-10 | Road shape recognition device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11232466A JPH11232466A (en) | 1999-08-27 |
| JP3977505B2 true JP3977505B2 (en) | 2007-09-19 |
Family
ID=12261116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02889498A Expired - Fee Related JP3977505B2 (en) | 1998-02-10 | 1998-02-10 | Road shape recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3977505B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105426380A (en) * | 2015-08-26 | 2016-03-23 | 中国人民解放军装甲兵工程学院 | Road network regional cropping method and apparatus |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002170102A (en) * | 2000-12-04 | 2002-06-14 | Nippon Telegr & Teleph Corp <Ntt> | Method and apparatus for automatically obtaining and restoring subject of photography |
| FR2848935B1 (en) * | 2002-12-20 | 2005-04-29 | Valeo Vision | METHOD FOR DETECTING TURNS ON A ROAD AND SYSTEM FOR IMPLEMENTING SAME |
| JP2006146760A (en) * | 2004-11-24 | 2006-06-08 | Aisin Seiki Co Ltd | Image transformation method and image transformation system |
-
1998
- 1998-02-10 JP JP02889498A patent/JP3977505B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105426380A (en) * | 2015-08-26 | 2016-03-23 | 中国人民解放军装甲兵工程学院 | Road network regional cropping method and apparatus |
| CN105426380B (en) * | 2015-08-26 | 2018-12-21 | 中国人民解放军装甲兵工程学院 | The region method of cutting out and device of road network |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11232466A (en) | 1999-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11240471B2 (en) | Road vertical contour detection | |
| JP3868876B2 (en) | Obstacle detection apparatus and method | |
| JP5870273B2 (en) | Object detection apparatus, object detection method, and program | |
| US9256791B2 (en) | Road vertical contour detection | |
| US10129521B2 (en) | Depth sensing method and system for autonomous vehicles | |
| EP1403615B1 (en) | Apparatus and method for processing stereoscopic images | |
| WO2001080068A1 (en) | Generating a model of the path of a roadway from an image recorded by a camera | |
| US10984555B2 (en) | Object detection device and vehicle | |
| JP3765862B2 (en) | Vehicle environment recognition device | |
| CN110717445A (en) | Front vehicle distance tracking system and method for automatic driving | |
| JP3786618B2 (en) | Image processing apparatus and method | |
| JP2008309519A (en) | Object detection device using image processing | |
| CN113221739B (en) | Monocular vision-based vehicle distance measuring method | |
| JP3977505B2 (en) | Road shape recognition device | |
| JP2002175534A (en) | Method for detecting road white line | |
| JP3516118B2 (en) | Object recognition method and object recognition device | |
| JP3945919B2 (en) | Traveling path detection device, vehicle travel control device, and recording medium | |
| CN111260538B (en) | Positioning and vehicle-mounted terminal based on long-baseline binocular fisheye camera | |
| JP4754434B2 (en) | Road surface estimation device | |
| JP3995782B2 (en) | Road shape recognition device | |
| CN112241979A (en) | Image processing apparatus | |
| JPH07220194A (en) | Road environment recognizing device | |
| Aladem et al. | Image Preprocessing for Stereoscopic Visual Odometry at Night | |
| Uchiyama et al. | 3-D line segment reconstruction using an in-vehicle camera for free space detection | |
| CN112241980A (en) | Image processing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070313 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070510 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070619 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070621 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110629 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110629 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130629 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130629 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140629 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |