JP3995782B2

JP3995782B2 - Road shape recognition device

Info

Publication number: JP3995782B2
Application number: JP02889598A
Authority: JP
Inventors: 慎一松永
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 1998-02-10
Filing date: 1998-02-10
Publication date: 2007-10-24
Anticipated expiration: 2018-02-10
Also published as: JPH11232426A

Description

【０００１】
【発明の属する技術の分野】
本発明は、カメラにより撮像した車両前方の画像から道路区分線の実空間位置を検出する道路形状認識装置に関する。
【０００２】
【従来の技術】
従来より、カメラにより撮像した車両前方の画像から、道路上に描かれた車両の左右の区分線（道路区分線）の実空間位置を検出する道路形状認識装置が広く知られている。
【０００３】
かかる道路形状認識装置により道路の登坂や片勾配といった高さの変化のデータを得るためには、２台のカメラを使用し、それぞれの撮像画像データから、道路区分線の３次元座標（地表面の座標と地表からの高さの座標）を検出する必要がある。
【０００４】
しかし、このように２台のカメラを用いて道路区分線の３次元座標を検出するには、２台のカメラのそれぞれに対して画像データの入力回路やメモリが必要となるために装置構成が複雑になって装置コストが高くなると共に、２台のカメラによる撮像画像データから白線の３次元座標を得るための複雑な演算処理が必要となり、処理時間が長くなってしまう。
【０００５】
そのため、一般には、図９ａに示すように、１台のカメラによる撮像画像から道路区分線のエッジ点ｅを抽出し、抽出したエッジ点の画像データｇを用いて道路区分線の実空間位置を検出することが行われている。具体的には、道路は平坦で高さ０であると仮定して、各エッジ点ｅをカメラの視点Ｐから平坦で高さ０の平面Ｈに逆射影変換した位置ｌ、ｒを実空間における道路区分線の位置であると推定して、白線の実空間位置を検出している。
【０００６】
しかし、図９ｂに示すように実際には登坂である道路ｃに対して、このように道路は平坦で高さ０であると仮定して道路区分線の実空間位置を検出したときには、実際の道路区分線の実空間位置と検出された道路区分線の実空間位置との間に大きなずれが生じるという不都合があった。
【０００７】
【発明が解決しようとする課題】
本発明は上記不都合を解消し、１台のカメラを用いた道路形状認識装置において、道路区分線の実空間位置の検出精度を向上させた道路形状認識装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、上記目的を達成するためになされたものであり、１台のカメラにより撮像され、水平方向及び垂直方向の２次元座標にマッピングされた車両前方の画像データから、道路の左側区分線のエッジ点である左エッジ点と右側区分線のエッジ点である右エッジ点を抽出するエッジ点抽出手段と、該エッジ点抽出手段により抽出された左エッジ点と右エッジ点の実空間位置を推定することで、道路の左側区分線と右側区分線の実空間位置を認識する実空間位置認識手段とを備えた道路形状認識装置の改良に関する。
【０００９】
本発明における前記実空間位置検出手段は、前記２次元座標の垂直方向の座標が同一である左エッジ点と右エッジ点とを結ぶ線分である複数の道路線分を生成する道路線分生成手段と、該道路線分生成手段により生成された複数の道路線分の中から、前記２次元座標の下方にある１本の道路線分を基準道路線分として選択し、前記カメラの視点から平坦で高さ０であると仮定した前記車両の走行平面に、該基準道路線分を逆射影変換して生成した線分の長さを実空間における道路幅と推定する道路幅推定手段とを備える。
【００１０】
そして、前記実空間位置検出手段は、前記基準道路線分よりも上側にある各道路線分ごとに、前記カメラの視点から前記走行平面への逆射影変換を行い、逆射影変換された道路線分と平行な線分であって、その左端が逆射影変換により生成された線分の左端と前記カメラの視点とを結ぶ線分上にあると共にその右端が逆射影変換により生成された線分の右端と前記カメラの視点とを結ぶ線分上にあり、且つその長さが前記道路幅推定手段により推定された道路幅と一致する線分を決定し、決定した線分の左端の位置を逆射影変換された道路線分を生成した左エッジ点の実空間位置と推定し、決定した線分の右端の位置を逆射影変換された道路線分を生成した右エッジ点の実空間位置と推定するエッジ点位置推定手段とを備えたことを特徴とする。
【００１１】
本発明者らは、上記目的を達成するために各種検討を重ねた結果、前記実空間位置検出手段に、前記道路線分生成手段と前記道路幅推定手段と前記エッジ点位置推定手段とを備え、該エッジ点位置推定手段により推された左エッジ点及び右エッジ点の実空間位置から道路区分線の位置を認識することで、道路区分線の実空間位置の検出精度が向上することを知見した。
【００１２】
また、前記実空間位置検出手段は、前記車両前方の所定距離までの範囲においては、前記エッジ点位置推定手段により前記左エッジ点と前記右エッジ点の実空間位置を推定し、該所定距離より遠方の範囲においては、前記エッジ点位置推定手段により各道路線分から推定された、複数の左エッジ点の実空間位置を上空からみたときの地表面位置に基づいて近似した放物線を、上空からみた道路の左側区分線の実空間位置と推定し、また、前記エッジ点位置推定手段により各道路線分から推定された、複数の右エッジ点の実空間位置を上空からみたときの地表面位置に基づいて近似した放物線を上空からみた道路の右側区分線の実空間位置と推定することを特徴とする。
【００１３】
本発明者らは、車両前方の遠方における道路区分線の実空間位置の検出精度を向上させるべく各種検討を重ねた結果、前記エッジ点位置推定手段により推定された、複数の左エッジ点の実空間位置を上空からみたときの地表面位置に基づいて近似した放物線を上空からみた道路の左側区分線の実空間位置と推定し、また、前記エッジ点位置推定手段により各道路線分から推定された、複数の右エッジ点の実空間位置を上空からみたときの地表面位置に基づいて近似した放物線を上空からみた道路の右側区分線の実空間位置と推定することで、遠方における道路区分線の検出精度が向上することを知見した。
【００１４】
そして、本発明によれば、上述した従来の２台のカメラを用いて道路区分線の実空間位置を検出する場合と比べて、簡易な演算処理で精度良く道路区分線の実空間位置を検出することができる。
【００１５】
【発明の実施の形態】
本発明の実施の形態の一例を図１〜図９を参照して説明する。図１は本発明の道路形状認識装置を用いたレーンキープアシストシステムの全体構成図、図２は本発明の道路形状認識装置において使用する座標系の説明図、図３，図４は本発明の道路区分線の実空間位置推定処理のフローチャート、図５は道路幅推定処理の説明図、図６は車両近傍におけるエッジ点の実空間位置推定処理の説明図、図７は車両遠方における道路区分線の実空間位置推定処理の説明図、図８は本発明の道路形状認識装置と従来の道路形状認識装置による、道路区分線の実空間位置の検出結果の比較図、図９は従来の道路形状認識装置によるエッジ点の実空間位置推定処理の説明図である。
【００１６】
尚、本発明の道路形状認識装置は、主として高速道路の走行を想定し、道路幅は一定であり、道路の水平曲線及び縦断（垂直）曲線は緩やかに変化することを前提として道路区分線の実空間位置を検出する。
【００１７】
図１を参照して、本発明の道路形状認識装置１は、エッジ点抽出手段２と実空間位置検出手段３とを有し、カメラ４、前処理部５、行動計画作成部６、及びアクチュエータ７と共に車両に搭載されて、該車両が走行車線内を走行するようにステアリング角度の補正を行うレーンキープアシストシステムを構成する。
【００１８】
カメラ４により取り込まれ、水平方向（ｘ_i）と垂直方向（ｙ_i）の２次元座標系にマッピングされた原画像データａに対しては、前処理部５によりノイズ除去等の前処理が行われる。
【００１９】
そして、前処理がなされた原画像データａから、エッジ点抽出手段２により右側の道路区分線のエッジ点（右エッジ点）と、左側の道路区分線のエッジ点（左エッジ点）とが抽出される。尚、エッジ点の抽出は前処理後の原画像データａに対して、各水平ライン毎に各画素の明度データを水平方向に走査し、明度データが明から暗、或いは暗から明に急激に変化する点を検出することで行われる。
【００２０】
実空間位置検出手段３は、道路線分生成手段８と、道路幅推定手段９と、エッジ点位置推定手段１０とを備え、エッジ点抽出手段２によって得られたエッジ点データｇから、左エッジ点の実空間位置と右エッジ点の実空間位置とを推定し、推定した左エッジ点の実空間位置と右エッジ点の実空間位置とに基づいて、道路区分線の実空間位置を検出する。
【００２１】
そして、行動計画作成部６は、道路形状認識装置１によって検出された道路区分線の実空間位置に基づいて、実空間における車両の走行パターンを作成し、該走行パターンに応じてアクチュエータ７を介してステアリング角度を調節する。これにより、左側の道路区分線と右側の道路区分線の間を走行するように、車両の位置が制御される。
【００２２】
次に、図２は実空間位置検出手段３において使用される座標系の説明図である。図２ａを参照して、実空間における道路区分線の位置は、車両２０の中心真下（高さ０）の点を原点とし、車両２０の進行方向を正とするＸ_m軸と、Ｘ_m軸と直交し、車両２０の進行方向に向かって左手を正とするＹ_m軸と、Ｘ_m−Ｙ_m平面と直交して上空方向を正とするＺ_m軸からなる、Ｘ_m−Ｙ_m−Ｚ_mの３次元座標系（以下、実空間座標系という）によって特定される。
【００２３】
また、図２ｂはカメラ４の座標系とエッジ点データｇの座標系との関係を示したものである。カメラ４の座標系は、カメラ４の視点Ｐを原点とし、カメラ４の視線方向に対して右手方向を正とするｘ_c軸と、視線方向及びｘ_c軸と直交して上方向を正とするｙ_c軸と、視線軸であって視線方向を正とするｚ_c軸とからなるｘ_c−ｙ_c−ｚ_cの３次元座標系（以下、カメラ座標系という）である。また、エッジ点データｇの座標系は、カメラ４からみたエッジ点画像ｇの左上を原点とし、右方向を正とするｘ_i軸と、下方向を正とするｙ_i軸とからなるｘ_i−ｙ_iの２次元座標系（以下、エッジ点座標系という）である。
【００２４】
カメラ４の焦点距離ｆは既知であるので、エッジ点データｇにおける１画素の長さ（ｍｍ／ｄｏｔ）が定まる。そして、カメラ４の視点Ｐの実空間座標系における座標と、カメラ４の前後左右の傾きも既知であるため、カメラ座標系から実空間座標系への座標変換を行うことができる。
【００２５】
実空間位置検出手段３は、エッジ点データｇにおける各左エッジ点及び右エッジ点のエッジ座標系における座標をカメラ座標系の座標に変換し、変換した左エッジ点及び右エッジ点のカメラ座標系の座標を用いて、該左エッジ点及び右エッジ点をカメラ４の視点Ｐからエッジ点データｇの前方に逆射影変換することで、実空間における左エッジ点及び右エッジ点のカメラ座標系の座標を推定する。
【００２６】
そして、実空間位置検出手段３は、このようにして推定した実空間におけるカメラ座標系の左エッジ点と右エッジ点の座標を実空間座標系の座標に変換し、該左エッジ点及び右エッジ点の実空間座標系の座標に基づいて、左右の道路側区分線の実空間位置を検出する。
【００２７】
以下、図３，図４に示したフローチャートに従って、実空間位置検出手段３による道路区分線の実空間位置の検出処理について説明する。
【００２８】
図３を参照して、ＳＴＥＰ１で、実空間位置検出手段３に備えられた道路線分生成手段８は、図５ａに示すように、エッジ点データｇより、ｙ_i座標が同一である左エッジ点と右エッジ点とを結んだ線分である道路線分Ｓ₀，Ｓ_{1 ,}・・・，Ｓ_nを生成する。
【００２９】
続くＳＴＥＰ２で、実空間位置検出手段３に備えられた道路幅推定手段９は、図５ａに示した道路線分Ｓ₀，Ｓ₁，・・・，Ｓ_nの中から、最も下側（車両側）にある道路線分Ｓ₀（図５ａのｙ_i＝４００のライン上にある）を基準道路線分として選択する。尚、基準道路線分として選択するのは、必ずしも最も下側にある道路線分に限られず、場合によっては下から２番目の道路線分（Ｓ₁）や、３番目の道路線分（Ｓ₂）を基準道路線分としてもよい。
【００３０】
そして、ＳＴＥＰ３で、道路幅推定手段９は、図５ｂに示すように、カメラ４の視点Ｐから平坦で高さ０（Ｚ_m＝０）であると想定した車両前方の平面Ｈに基準道路線分Ｓ₀を逆射影変換し、ＳＴＥＰ４で、該逆射影変換によって生成された線分ｕ₀の長さｗを、実空間における道路幅と推定する。
【００３１】
次のＳＴＥＰ５からＳＴＥＰ１０は、実空間位置検出手段３に備えられたエッジ点位置推定手段１０による、車両近傍におけるエッジ点データｇの左エッジ点及び右エッジ点の実空間位置の推定処理である。
【００３２】
エッジ点位置推定手段１０は、ＳＴＥＰ５でカウンタ変数ｉに１を代入し、ＳＴＥＰ６で道路線分Ｓ_i（ここではｉ＝１）を、図６に示すように、車両前方の平坦で高さ０（Ｚ_m＝０）であると仮定した平面Ｈに逆射影変換する。そして、エッジ点位置推定手段１０は、逆射影変換により生成された平面Ｈ上の線分ｕ₁と平行な線分であって、その左端がカメラ４の視点Ｐと線分ｕ₁の左端を結んだ線分Ｊ_L上にあると共にその右端がカメラ４の視点Ｐと線分ｕ₁の右端を結んだ線分Ｊ_R上にあり、且つその長さが道路幅推定手段９によって推定された道路幅ｗと等しい線分Ｕ₁を決定する。
【００３３】
エッジ点位置推定手段１０は、このようにして決定した線分Ｕ₁の右端Ｒ₁を道路線分Ｓ₁の右エッジ点の実空間位置と推定し、線分Ｕ₁の左端Ｌ₁を道路線分Ｓ₁の左エッジ点の実空間位置と推定する。
【００３４】
エッジ点位置推定手段１０は、続くＳＴＥＰ９でカウンタ変数ｉに１を加え、ＳＴＥＰ１０で、ＳＴＥＰ８で推定した左エッジ点及び右エッジ点の実空間位置が、実空間座標系のＹ_m軸から車両前方（Ｘ_m軸正方向）に４０ｍ（本発明の所定距離に相当）以上離れているか否かを判定する。そして、ＳＴＥＰ８で推定した左エッジ点及び右エッジ点の実空間位置が、実空間座標系のＹ_m軸から４０ｍ以上離れていないときは、ＳＴＥＰ６に分岐して次の道路線分に対してＳＴＥＰ６〜ＳＴＥＰ８の処理を行う。
【００３５】
このように、エッジ点位置推定手段１０によりＳＴＥＰ６〜ＳＴＥＰ１０のループを実行することで、実空間座標系のＹ_m軸から車両前方４０ｍまでの範囲でのエッジ点データｇの左エッジ点の実空間位置Ｌ₁，Ｌ₂，・・・と、右エッジ点の実空間位置Ｒ₁，Ｒ₂，・・・とが推定される。
【００３６】
一方、ＳＴＥＰ１０で、ＳＴＥＰ８で推定した左エッジ点及び右エッジ点の実空間位置が、実空間座標系のＹ_m軸から車両前方（Ｘ_m軸正方向）に４０ｍ（本発明の所定距離に相当）以上離れていたときには、ＳＴＥＰ１１に進む。
【００３７】
ＳＴＥＰ１１〜ＳＴＥＰ１２は、実空間位置検出手段３による、車両前方４０ｍ以上先の道路区分線の実空間位置の推定処理である。実空間位置検出手段３は、ＳＴＥＰ１１で、図７に示すように、上空から見た地表面（Ｘ_m−Ｙ_m平面）において、道路幅推定手段９と近傍エッジ点位置推定手段１０とにより推定されたエッジ点データｇの左エッジ点の実空間位置Ｌ₀，Ｌ₁，Ｌ₂，・・・から放物線ｆ₁を近似し、エッジ点データｇの右エッジ点の実空間位置Ｒ_{0 ,}Ｒ₁，Ｒ_2,・・・から放物線ｆ₂を近似する。
【００３８】
そして、実空間位置検出手段３は、ＳＴＥＰ１２で、ＳＴＥＰ１１で近似した放物線ｆ₁を上空からみた地表面（Ｘ_m−Ｙ_m平面）における左側の道路区分線の実空間位置と推定し、ｆ₂を上空からみた地表面（Ｘ_m−Ｙ_m平面）における右側の道路区分線の実空間位置と推定する。
【００３９】
このようにして、実空間位置検出手段３により、車両２０の前方４０ｍまでの範囲では、エッジ点位置推定手段１０により推定した左エッジ及び右エッジ点の実空間位置から、また、車両２０の前方４０ｍから遠方の範囲では、前記放物線ｆ₁及びｆ₂の実空間位置から、左右の道路区分線の実空間位置を推定したところ、図９ａに示した、走行面が平坦であると仮定して逆射影変換を行ってエッジ点の実空間位置を推定した従来の道路形状認識装置に比べて、図８に示すように、道路区分線の実空間位置の検出精度が著しく向上することが確認できた。
【００４０】
図８は、車両が、水平方向が２３０Ｒの右カーブ、垂直方向が２０００Ｒの上り坂、片勾配が１０％の右下がりである高速道路を走行中であることを想定して、図９ａに示した従来の道路形状認識装置と本発明の道路形状認識装置とにより、道路区分線の実空間位置を検出したときの、上空から見た（Ｘ_m−Ｙ_m平面）道路区分線の位置を比較したものである。図中、▲１▼，▲２▼が実際の左右の道路区分線の位置、▲３▼，▲４▼が本発明の道路形状認識装置による左右の道路区分線の検出位置、▲５▼，▲６▼が従来の道路形状認識装置による左右の道路区分線の検出位置である。
【００４１】
図８から明らかなように、従来の道路形状認識装置では、前方２０ｍ付近から実際の道路区分線の実空間位置に対して検出位置がずれ始め、４０ｍより遠方になるにつれてずれ量が急激に増大している。これに対して、本発明の道路形状認識装置によれば、４０ｍ地点でのずれはほとんどなく、遠方においても実際の道路区分線の位置と、検出位置とのずれ量は微量に留まっている。
【００４２】
以上説明したように、本発明の道路形状認識装置によれば、１台のカメラを用いた道路区分線の実空間位置の検出精度を向上することができ、本発明の道路形状認識装置を用いることで、レーンキープアシストシステムの信頼性を向上させることができる。
【００４３】
尚、本実施形態において、実空間位置検出手段３は、車両前方４０ｍよりも遠方では、放物線近似により道路区分線の実空間位置を推定することで、特に遠方の道路区分線の実空間位置の検出精度を向上させたが、車両前方の全範囲について、エッジ点位置推定手段１０により推定した左右のエッジ点の実空間位置から道路区分線の実空間を推定した場合でも、従来の道路形状認識装置よりも道路区分線の実空間位置の検出精度を向上させることができる。
【図面の簡単な説明】
【図１】本発明の道路形状認識装置を用いたレーンキープアシストシステムの全体構成図。
【図２】道路形状認識装置において使用する座標系の説明図。
【図３】道路区分線の実空間位置推定処理のフローチャート。
【図４】道路区分線の実空間位置推定処理のフローチャート。
【図５】道路幅推定方法の説明図。
【図６】車両近傍におけるエッジ点の実空間位置推定処理の説明図。
【図７】車両遠方におけるエッジ点の実空間位置推定処理の説明図。
【図８】本発明の道路形状認識装置と従来の道路形状認識装置による道路区分線の検出結果の比較図。
【図９】従来の道路形状認識装置によるエッジ点の実空間位置推定処理の説明図。
【符号の説明】
１…道路形状認識装置、２…エッジ点抽出手段、３…実空間位置検出手段、４…カメラ、５…前処理部、６…行動計画作成部、７…アクチュエータ、８…道路線分生成手段、９…道路幅推定手段、１０…エッジ点位置推定手段[0001]
[Field of the Invention]
The present invention relates to a road shape recognition device that detects a real space position of a road marking line from an image in front of a vehicle imaged by a camera.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a road shape recognition device that detects a real space position of a left and right division line (road division line) of a vehicle drawn on a road from an image in front of the vehicle captured by a camera is widely known.
[0003]
In order to obtain height change data such as a climbing slope or a single slope of a road by such a road shape recognition device, two cameras are used, and the three-dimensional coordinates (the ground surface) of the road dividing line are obtained from each captured image data. And the coordinates of the height from the ground surface) need to be detected.
[0004]
However, in order to detect the three-dimensional coordinates of the road marking line using two cameras in this way, an image data input circuit and a memory are required for each of the two cameras, so that the apparatus configuration is reduced. The complexity increases and the cost of the apparatus increases, and complicated calculation processing is required to obtain the three-dimensional coordinates of the white line from the image data captured by the two cameras, which increases the processing time.
[0005]
Therefore, in general, as shown in FIG. 9a, an edge point e of a road marking line is extracted from an image captured by one camera, and the real space position of the road marking line is determined using the extracted edge point image data g. It is done to detect. Specifically, assuming that the road is flat and has a height of 0, the positions l and r obtained by subjecting each edge point e to a plane H having a flat height of 0 from the camera viewpoint P are converted into real space. The real space position of the white line is detected by assuming that the position is a road marking line.
[0006]
However, as shown in FIG. 9b, when the actual space position of the road dividing line is detected on the assumption that the road is flat and has a height of 0 with respect to the road c that is actually uphill, There is a disadvantage that a large deviation occurs between the real space position of the road marking line and the detected real space position of the road marking line.
[0007]
[Problems to be solved by the invention]
An object of the present invention is to solve the above inconveniences and to provide a road shape recognition apparatus using a single camera in which the detection accuracy of the actual space position of the road marking line is improved.
[0008]
[Means for Solving the Problems]
The present invention has been made to achieve the above object, and is based on the left side dividing line of the road from the image data in front of the vehicle imaged by one camera and mapped to the two-dimensional coordinates in the horizontal direction and the vertical direction. Edge point extraction means for extracting the left edge point, which is the edge point of the right edge, and the right edge point, which is the edge point of the right parting line, and the real space positions of the left edge point and the right edge point extracted by the edge point extraction means The present invention relates to an improvement of a road shape recognition apparatus including real space position recognition means for recognizing real space positions of a left partition line and a right partition line of a road by estimation.
[0009]
In the present invention, the real space position detection means generates a road line segment that generates a plurality of road line segments that connect a left edge point and a right edge point with the same vertical coordinate of the two-dimensional coordinates. And a single road line below the two-dimensional coordinates is selected as a reference road line segment from a plurality of road line segments generated by the road segment generation unit, and from the viewpoint of the camera Road width estimating means for estimating the length of a line segment generated by back-projecting the reference road line segment on the travel plane of the vehicle assumed to be flat and having a height of 0 as a road width in real space; Prepare.
[0010]
Then, the real space position detection means performs a reverse projection conversion from the viewpoint of the camera to the travel plane for each road line segment above the reference road line segment, and the road line subjected to the reverse projection conversion A line segment that is parallel to the line, the left end of which is on the line connecting the left end of the line segment generated by the reverse projection transformation and the viewpoint of the camera, and the right end of the line segment generated by the reverse projection conversion Is determined on the line segment connecting the right end of the camera and the viewpoint of the camera and the length of the line segment matches the road width estimated by the road width estimating means. Estimate the real space position of the left edge point that generated the back-projected road line segment, and determine the right edge position of the determined line segment as the real space position of the right edge point that generated the back-projected road line segment. And an edge point position estimation means for estimation. .
[0011]
As a result of various studies to achieve the above object, the present inventors include the road segment generation means, the road width estimation means, and the edge point position estimation means in the real space position detection means. The recognition of the position of the road marking line from the real space position of the left edge point and the right edge point estimated by the edge point position estimation means, the detection accuracy of the real space position of the road marking line is improved did.
[0012]
Further, the real space position detecting means estimates the real space positions of the left edge point and the right edge point by the edge point position estimating means within a range up to a predetermined distance ahead of the vehicle, and from the predetermined distance In the far range, a parabola approximated based on the ground surface position when the real space position of the plurality of left edge points estimated from the road line segment by the edge point position estimation means is viewed from above. Based on the ground surface position when the real space position of the plurality of right edge points estimated from the road line segment is estimated from the road line segment by the edge point position estimation means. The parabola approximated by the above is estimated as the real space position of the right dividing line of the road viewed from above.
[0013]
As a result of various studies to improve the detection accuracy of the real space position of the road lane marking far away in front of the vehicle, the present inventors have determined the actual number of left edge points estimated by the edge point position estimating means. The parabola approximated based on the ground surface position when the spatial position is viewed from the sky is estimated as the real space position of the left partition line of the road viewed from the sky, and is estimated from each road line segment by the edge point position estimating means. By estimating the parabolic line approximated based on the ground surface position when viewing the real space position of the multiple right edge points from the sky as the real space position of the right partition line of the road viewed from the sky, It was found that the detection accuracy was improved.
[0014]
According to the present invention, the actual space position of the road segment line can be detected with a simple calculation process more accurately than when the two conventional cameras described above are used to detect the actual space position of the road segment line. can do.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
An example of an embodiment of the present invention will be described with reference to FIGS. FIG. 1 is an overall configuration diagram of a lane keep assist system using the road shape recognition device of the present invention, FIG. 2 is an explanatory diagram of a coordinate system used in the road shape recognition device of the present invention, and FIGS. FIG. 5 is an explanatory diagram of road width estimation processing, FIG. 6 is an explanatory diagram of edge space real space position estimation processing in the vicinity of the vehicle, and FIG. FIG. 8 is a comparison diagram of the detection result of the real space position of the road dividing line by the road shape recognition device of the present invention and the conventional road shape recognition device, and FIG. 9 is a conventional road shape. It is explanatory drawing of the real space position estimation process of the edge point by a recognition apparatus.
[0016]
Note that the road shape recognition device of the present invention mainly assumes highway driving, the road width is constant, and the horizontal curve and vertical (vertical) curve of the road change slowly. Detect real space position.
[0017]
Referring to FIG. 1, a road shape recognition apparatus 1 according to the present invention includes an edge point extraction unit 2 and a real space position detection unit 3, and includes a camera 4, a preprocessing unit 5, an action plan creation unit 6, and an actuator. 7 and a lane keep assist system that corrects the steering angle so that the vehicle travels in the travel lane.
[0018]
For the original image data a captured by the camera 4 and mapped to the two-dimensional coordinate system in the horizontal direction (x _i ) and the vertical direction (y _i ), pre-processing such as noise removal is performed by the pre-processing unit 5. Is called.
[0019]
Then, from the preprocessed original image data a, the edge point extraction means 2 extracts the edge point (right edge point) of the right road partition line and the edge point (left edge point) of the left road partition line. Is done. Note that the edge point is extracted by scanning the brightness data of each pixel in the horizontal direction for each horizontal line with respect to the preprocessed original image data a, and the brightness data is rapidly changed from light to dark or from dark to bright. This is done by detecting changing points.
[0020]
The real space position detection means 3 comprises a road line segment generation means 8, a road width estimation means 9, and an edge point position estimation means 10, and from the edge point data g obtained by the edge point extraction means 2, a left edge Estimate the real space position of the point and the real space position of the right edge point, and detect the real space position of the road marking line based on the estimated real space position of the left edge point and the real space position of the right edge point .
[0021]
Then, the action plan creation unit 6 creates a travel pattern of the vehicle in the real space based on the real space position of the road lane marking detected by the road shape recognition device 1, and via the actuator 7 according to the travel pattern. Adjust the steering angle. Accordingly, the position of the vehicle is controlled so as to travel between the left road dividing line and the right road dividing line.
[0022]
Next, FIG. 2 is an explanatory diagram of a coordinate system used in the real space position detecting means 3. Referring to Figure 2a, the position of the road lane marking in the real space, the point directly below the center of the vehicle 20 (height 0) is the origin, and X _m-axis to the traveling direction of the vehicle 20 and the positive, X _m-axis and orthogonal consists Z _m axis and Y _m axis to correct the left hand in the traveling direction of the vehicle 20, the sky direction as positive and perpendicular to the X _m -Y _m plane, X _m -Y _m - It is specified by a three-dimensional coordinate system of Z _m (hereinafter referred to as a real space coordinate system).
[0023]
FIG. 2b shows the relationship between the coordinate system of the camera 4 and the coordinate system of the edge point data g. Coordinate system of the camera 4, a view point P of the camera 4 as an origin, a x _c axis of the right hand direction is positive with respect to line-of-sight direction of the camera 4, the upward positive and perpendicular to the viewing direction and x _c-axis This is a three-dimensional coordinate system (hereinafter referred to as a camera coordinate system) of x _c -y _c -z _c consisting of a y _c axis that is a visual axis and a z _c axis that is positive in the visual axis direction. The coordinate system of the edge point data g is the upper left of the camera 4 viewed from the edge point image g is the origin, consisting of the x _i axis rightward and positive, and y _i axes to the downward direction is positive x _i -Y _i two-dimensional coordinate system (hereinafter referred to as edge point coordinate system).
[0024]
Since the focal length f of the camera 4 is known, the length (mm / dot) of one pixel in the edge point data g is determined. Since the coordinates of the viewpoint P of the camera 4 in the real space coordinate system and the tilt of the camera 4 in the front, rear, left, and right directions are known, coordinate conversion from the camera coordinate system to the real space coordinate system can be performed.
[0025]
The real space position detection means 3 converts the coordinates in the edge coordinate system of each left edge point and right edge point in the edge point data g into the coordinates of the camera coordinate system, and the camera coordinate system of the converted left edge point and right edge point The left edge point and the right edge point are back-projected from the viewpoint P of the camera 4 to the front of the edge point data g by using the coordinates of the left and right edge points in the real space. Estimate the coordinates.
[0026]
Then, the real space position detection means 3 converts the coordinates of the left edge point and the right edge point of the camera coordinate system in the real space estimated in this way into the coordinates of the real space coordinate system, and the left edge point and the right edge Based on the coordinates of the real space coordinate system of the points, the real space positions of the left and right road side dividing lines are detected.
[0027]
Hereinafter, the real space position detection processing of the road lane marking by the real space position detection means 3 will be described with reference to the flowcharts shown in FIGS.
[0028]
Referring to FIG. 3, in STEP 1, the road line segment generation means 8 provided in the real space position detection means 3 has a left edge whose y _i coordinates are the same from the edge point data g, as shown in FIG. 5A. road line segment S _0, S ₁ is a line segment connecting the point and the right edge _point,..., to produce a S _n.
[0029]
In subsequent STEP2, road width estimation means 9 provided in the real space position detecting unit 3, the road segment S ₀ shown in FIG. 5a, S _1, · · ·, from among S _n, the lowermost (vehicle Side road segment S ₀ (on the line y _i = 400 in FIG. 5a) is selected as the reference road line segment. Note that the selection of the reference road line segment is not necessarily limited to the lowermost road line segment. In some cases, the second road line segment (S ₁ ) or the third road line segment (S ₂ ) may be used as a reference road segment.
[0030]
In STEP 3, the road width estimation means 9, as shown in FIG. 5B, moves to the reference road line on the plane H in front of the vehicle that is assumed to be flat from the viewpoint P of the camera 4 and has a height of 0 (Z _m = 0). The segment S ₀ is subjected to reverse projection transformation, and in STEP 4, the length w of the line segment u ₀ generated by the reverse projection transformation is estimated as the road width in the real space.
[0031]
The next STEP 5 to STEP 10 are processing for estimating the real space positions of the left edge point and the right edge point of the edge point data g in the vicinity of the vehicle by the edge point position estimating means 10 provided in the real space position detecting means 3.
[0032]
The edge point position estimating means 10 assigns 1 to the counter variable i in STEP 5, and in STEP 6, the road line segment S _i (here, i = 1) is flat and has a height of 0 in front of the vehicle as shown in FIG. Back projection transformation is performed on the plane H that is assumed to be (Z _m = 0). Then, the edge point position estimating means 10 is a line segment parallel to the line segment u ₁ on the plane H generated by the reverse projection transformation, and its left end is the viewpoint P of the camera 4 and the left end of the line segment u ₁ . It is on the connected line J _L and its right end is on the line J _R connecting the viewpoint P of the camera 4 and the right end of the line u ₁ , and its length is estimated by the road width estimating means 9. A line segment U ₁ equal to the road width w is determined.
[0033]
Edge point position estimating portion 10 estimates the rightmost R ₁ of the line segment U ₁ determined in this way and the actual spatial position of the right edge points of the road segments S _1, the road to the left end L ₁ of the segment U ₁ The real space position of the left edge point of the line segment S ₁ is estimated.
[0034]
The edge point position estimating means 10 adds 1 to the counter variable i in the subsequent STEP 9, and in STEP 10, the real space positions of the left edge point and the right edge point estimated in STEP 8 are determined from the Y _m axis of the real space coordinate system in front of the vehicle. It is determined whether the distance is 40 m (corresponding to a predetermined distance of the present invention) or more in the (X _m- axis positive direction). When the real space positions of the left edge point and the right edge point estimated in STEP 8 are not more than 40 m away from the Y _m axis of the real space coordinate system, the process branches to STEP 6 and STEP 6 is performed with respect to the next road line segment. Processes of ~ STEP8 are performed.
[0035]
In this way, by executing the loop of STEP 6 to STEP 10 by the edge point position estimating means 10, the real space of the left edge point of the edge point data g in the range from the Y _m axis of the real space coordinate system to 40 m ahead of the vehicle. The positions L ₁ , L ₂ ,... And the real space positions R ₁ , R ₂ ,.
[0036]
On the other hand, in STEP 10, the real space positions of the left edge point and the right edge point estimated in STEP 8 are 40 m (corresponding to the predetermined distance of the present invention) from the Y _m axis of the real space coordinate system to the front of the vehicle (X _m axis positive direction). ) If it is more than that, go to STEP11.
[0037]
STEP 11 to STEP 12 are processing for estimating the real space position of the road marking line 40 m or more ahead of the vehicle by the real space position detection means 3. As shown in FIG. 7, the real space position detection means 3 is estimated by the road width estimation means 9 and the neighboring edge point position estimation means 10 on the ground surface (X _m -Y _m plane) viewed from above, as shown in FIG. The parabola f ₁ is approximated from the real space positions L ₀ , L ₁ , L ₂ ,... Of the left edge point of the edge point data g, and the real space positions R _0, R of the right edge point of the edge point data g _The parabola f ₂ is approximated from ₁ , R ₂ ,.
[0038]
Then, the real space position detection means 3 estimates in STEP 12 the real space position of the left road dividing line on the ground surface (X _m -Y _m plane) viewed from above the parabola f ₁ approximated in STEP 11, and f ₂ Is estimated as the real space position of the right road dividing line on the ground surface (X _m -Y _m plane) viewed from above.
[0039]
In this way, in the range up to 40 m ahead of the vehicle 20 by the real space position detection means 3, from the real space positions of the left edge and the right edge point estimated by the edge point position estimation means 10, In the range far from 40 m, when the real space positions of the left and right road dividing lines are estimated from the real space positions of the parabolas f ₁ and f ₂ , it is assumed that the traveling surface shown in FIG. 9a is flat. As shown in FIG. 8, it can be confirmed that the detection accuracy of the real space position of the road dividing line is remarkably improved as compared with the conventional road shape recognition device that performs the inverse projection transformation and estimates the real space position of the edge point. It was.
[0040]
FIG. 8 shows in FIG. 9a, assuming that the vehicle is driving on a highway with a horizontal curve of 230R on the right, a vertical direction of 2000R uphill, and a single slope of 10% to the right. Compared the position of road segmentation line as viewed from above (X _m -Y _m plane) when the actual space position of the road segmentation line is detected by the conventional road shape recognition device and the road shape recognition device of the present invention. It is a thing. In the figure, (1) and (2) are the actual positions of the left and right road dividing lines, (3) and (4) are the detected positions of the left and right road dividing lines by the road shape recognition device of the present invention, (5), (6) is the detection position of the left and right road marking lines by the conventional road shape recognition device.
[0041]
As is apparent from FIG. 8, in the conventional road shape recognition device, the detection position starts to deviate from the actual space position of the actual road marking line from the vicinity of 20 m ahead, and the deviation amount increases rapidly as the distance from 40 m increases. is doing. On the other hand, according to the road shape recognition apparatus of the present invention, there is almost no deviation at the point of 40 m, and the deviation amount between the actual road division line position and the detection position remains very small even in the distance.
[0042]
As described above, according to the road shape recognition device of the present invention, the detection accuracy of the real space position of the road lane marking using one camera can be improved, and the road shape recognition device of the present invention is used. Thus, the reliability of the lane keep assist system can be improved.
[0043]
In the present embodiment, the real space position detection means 3 estimates the real space position of the road segment line by parabolic approximation at a position farther than 40 m ahead of the vehicle, and in particular the real space position of the far road segment line. Although the detection accuracy is improved, the conventional road shape recognition is performed even when the real space of the road lane marking is estimated from the real space positions of the left and right edge points estimated by the edge point position estimating means 10 for the entire range in front of the vehicle. The detection accuracy of the real space position of the road lane marking can be improved as compared with the device.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram of a lane keep assist system using a road shape recognition device of the present invention.
FIG. 2 is an explanatory diagram of a coordinate system used in a road shape recognition device.
FIG. 3 is a flowchart of a real space position estimation process for road marking lines.
FIG. 4 is a flowchart of a real space position estimation process for road marking lines.
FIG. 5 is an explanatory diagram of a road width estimation method.
FIG. 6 is an explanatory diagram of real space position estimation processing of edge points in the vicinity of the vehicle.
FIG. 7 is an explanatory diagram of real space position estimation processing of an edge point at a distance from the vehicle.
FIG. 8 is a comparison diagram of road segment line detection results by the road shape recognition device of the present invention and the conventional road shape recognition device.
FIG. 9 is an explanatory diagram of edge space real space position estimation processing by a conventional road shape recognition apparatus;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Road shape recognition apparatus, 2 ... Edge point extraction means, 3 ... Real space position detection means, 4 ... Camera, 5 ... Pre-processing part, 6 ... Action plan creation part, 7 ... Actuator, 8 ... Road line segment generation means , 9 ... road width estimation means, 10 ... edge point position estimation means

Claims

From the image data in front of the vehicle imaged by one camera and mapped to the two-dimensional coordinates in the horizontal direction and the vertical direction, the left edge point and the edge point of the right dividing line are the edge points of the left dividing line of the road. Edge point extraction means for extracting right edge points, and real space positions of the left and right division lines of the road by estimating the real space positions of the left and right edge points extracted by the edge point extraction means In a road shape recognition device comprising real space position detection means for detecting a position,
The real space position detecting means includes a road line segment generating means for generating a plurality of road line segments that are line segments connecting a left edge point and a right edge point having the same vertical coordinate of the two-dimensional coordinates ;
One road line segment below the two-dimensional coordinates is selected as a reference road line segment from the plurality of road line segments generated by the road segment generation unit, and is flat and high from the viewpoint of the camera. Road width estimating means for estimating the length of a line segment generated by performing reverse projection transformation of the reference road line segment on the travel plane of the vehicle assumed to be zero;
For each road line segment above the reference road line segment, performing a reverse projection transformation from the camera viewpoint to the travel plane, a line segment parallel to the reverse projection transformed road segment, Its left end is on the line connecting the left end of the line segment generated by the reverse projection transformation and the viewpoint of the camera, and its right end connects the right end of the line segment generated by the reverse projection conversion and the viewpoint of the camera. A line segment that is on the line segment and whose length matches the road width estimated by the road width estimation unit is determined, and a road line segment in which the position of the left end of the determined line segment is reverse-projected is generated. And an edge point position estimating means for estimating the position of the right edge of the right edge point generated by the back-projection transformation of the position of the right end of the determined line segment. A road shape recognition device characterized by that.

The real space position detection means estimates the real space position of the left edge point and the right edge point by the edge point position estimation means in a range up to a predetermined distance ahead of the vehicle,
In a range farther than the predetermined distance, a parabola approximated based on the ground surface position when the real space positions of the plurality of left edge points estimated from each road line segment by the edge point position estimation means are viewed from above. , Estimated as the real space position of the left section line of the road viewed from above, and the ground position when the real space positions of the plurality of right edge points estimated from each road line segment by the edge point position estimation means are viewed from above. 2. The road shape recognition apparatus according to claim 1, wherein a parabola approximated based on a surface position is estimated as a real space position of a right side dividing line of the road viewed from above.