JPH11232466A - 道路形状認識装置 - Google Patents
道路形状認識装置Info
- Publication number
- JPH11232466A JPH11232466A JP10028894A JP2889498A JPH11232466A JP H11232466 A JPH11232466 A JP H11232466A JP 10028894 A JP10028894 A JP 10028894A JP 2889498 A JP2889498 A JP 2889498A JP H11232466 A JPH11232466 A JP H11232466A
- Authority
- JP
- Japan
- Prior art keywords
- edge point
- road
- real space
- segment
- line segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】１台のカメラを用いた道路形状認識装置におい
て、道路区分線の実空間位置の検出精度を向上させた道
路形状認識装置を提供する。 【解決手段】車両前方の所定距離までの範囲において、
カメラの視点Ｐから平坦であると推定した平面に道路線
分Ｓi を逆射影変換して生成した線分の左端と右端を、
線分Ｓi の左エッジ点と右エッジ点のそれぞれの実空間
位置と推定する近傍エッジ点位置推定手段と、前記所定
距離よりも遠方の範囲において、前記近傍エッジ点位置
推定手段により推定された前記左右エッジ点の実空間位
置に基づいて近似した放物線ｆ1 、ｆ2 により決定した
前記車両前方の曲面Ｋに、左エッジ点及び右エッジ点を
カメラの視点Ｐから逆射影変換した位置を該左エッジ点
及び右エッジ点の実空間位置と推定する遠方エッジ点位
置推定手段とを設ける。
て、道路区分線の実空間位置の検出精度を向上させた道
路形状認識装置を提供する。 【解決手段】車両前方の所定距離までの範囲において、
カメラの視点Ｐから平坦であると推定した平面に道路線
分Ｓi を逆射影変換して生成した線分の左端と右端を、
線分Ｓi の左エッジ点と右エッジ点のそれぞれの実空間
位置と推定する近傍エッジ点位置推定手段と、前記所定
距離よりも遠方の範囲において、前記近傍エッジ点位置
推定手段により推定された前記左右エッジ点の実空間位
置に基づいて近似した放物線ｆ1 、ｆ2 により決定した
前記車両前方の曲面Ｋに、左エッジ点及び右エッジ点を
カメラの視点Ｐから逆射影変換した位置を該左エッジ点
及び右エッジ点の実空間位置と推定する遠方エッジ点位
置推定手段とを設ける。
Description
【０００１】
【発明の属する技術の分野】本発明は、画像処理により
道路上の区分線の実空間位置を検出する道路形状認識装
置に関し、特に遠方における区分線の実空間位置の検出
精度を向上させた道路形状認識装置に関する。
道路上の区分線の実空間位置を検出する道路形状認識装
置に関し、特に遠方における区分線の実空間位置の検出
精度を向上させた道路形状認識装置に関する。
【０００２】
【従来の技術】従来より、カメラにより撮像した車両前
方の画像から、道路上に描かれた車両の左右の区分線
（道路区分線）の実空間位置を検出する道路形状認識装
置が広く知られている。
方の画像から、道路上に描かれた車両の左右の区分線
（道路区分線）の実空間位置を検出する道路形状認識装
置が広く知られている。
【０００３】かかる道路形状認識装置により道路の登坂
や片勾配といった高さの変化のデータを得るためには、
２台のカメラを使用し、それぞれの撮像画像データか
ら、道路区分線の３次元座標（地表面の座標と地表から
の高さの座標）を検出する必要がある。
や片勾配といった高さの変化のデータを得るためには、
２台のカメラを使用し、それぞれの撮像画像データか
ら、道路区分線の３次元座標（地表面の座標と地表から
の高さの座標）を検出する必要がある。
【０００４】しかし、このように２台のカメラを用いて
道路区分線の３次元座標を検出するには、２台のカメラ
のそれぞれに対して画像データの入力回路やメモリが必
要となるために装置構成が複雑になって装置コストが高
くなると共に、２台のカメラによる撮像画像データから
道路区分線の３次元座標を得るための複雑な演算処理が
必要となり、処理時間が長くなってしまう。
道路区分線の３次元座標を検出するには、２台のカメラ
のそれぞれに対して画像データの入力回路やメモリが必
要となるために装置構成が複雑になって装置コストが高
くなると共に、２台のカメラによる撮像画像データから
道路区分線の３次元座標を得るための複雑な演算処理が
必要となり、処理時間が長くなってしまう。
【０００５】そのため、一般には、図９ａに示すよう
に、１台のカメラによる撮像画像から道路区分線のエッ
ジ点ｅを抽出し、抽出したエッジ点の画像データｇを用
いて道路区分線の実空間位置を検出することが行われて
いる。具体的には、道路は平坦であると仮定して、各エ
ッジ点ｅをカメラの視点Ｐから平坦な平面Ｈに逆射影変
換した位置ｌ、ｒを実空間における道路区分線の位置で
あると推定して、白線の実空間位置を検出している。
に、１台のカメラによる撮像画像から道路区分線のエッ
ジ点ｅを抽出し、抽出したエッジ点の画像データｇを用
いて道路区分線の実空間位置を検出することが行われて
いる。具体的には、道路は平坦であると仮定して、各エ
ッジ点ｅをカメラの視点Ｐから平坦な平面Ｈに逆射影変
換した位置ｌ、ｒを実空間における道路区分線の位置で
あると推定して、白線の実空間位置を検出している。
【０００６】しかし、図９ｂに示すように実際には登坂
である道路ｃに対して、このように道路は平坦であると
仮定して道路区分線の実空間位置を検出したときには、
実際の道路区分線の実空間位置と検出された道路区分線
の実空間位置との間に大きなずれが生じるという不都合
があった。
である道路ｃに対して、このように道路は平坦であると
仮定して道路区分線の実空間位置を検出したときには、
実際の道路区分線の実空間位置と検出された道路区分線
の実空間位置との間に大きなずれが生じるという不都合
があった。
【０００７】
【発明が解決しようとする課題】本発明は上記不都合を
解消し、１台のカメラを用いた道路形状認識装置におい
て、道路区分線の実空間位置の検出精度を向上させた道
路形状認識装置を提供することを目的とする。
解消し、１台のカメラを用いた道路形状認識装置におい
て、道路区分線の実空間位置の検出精度を向上させた道
路形状認識装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】本発明は、上記目的を達
成するためになされたものであり、１台のカメラにより
撮像され、水平方向及び垂直方向の２次元座標にマッピ
ングされた車両前方の画像データから、道路の左側区分
線のエッジ点である左エッジ点と右側区分線のエッジ点
である右エッジ点を抽出するエッジ点抽出手段と、該エ
ッジ点抽出手段により抽出された左エッジ点と右エッジ
点の実空間位置を推定することで、道路の左側区分線と
右側区分線の実空間位置を検出する実空間位置検出手段
とを備えた道路形状認識装置の改良に関する。
成するためになされたものであり、１台のカメラにより
撮像され、水平方向及び垂直方向の２次元座標にマッピ
ングされた車両前方の画像データから、道路の左側区分
線のエッジ点である左エッジ点と右側区分線のエッジ点
である右エッジ点を抽出するエッジ点抽出手段と、該エ
ッジ点抽出手段により抽出された左エッジ点と右エッジ
点の実空間位置を推定することで、道路の左側区分線と
右側区分線の実空間位置を検出する実空間位置検出手段
とを備えた道路形状認識装置の改良に関する。
【０００９】本発明における前記実空間位置検出手段
は、垂直方向の座標が同一である左エッジ点と右エッジ
点とを結ぶ線分である複数の道路線分を生成する道路線
分生成手段と、該道路線分生成手段により生成された複
数の道路線分の中から、前記２次元座標の下方にある１
本の道路線分を基準道路線分として選択し、前記カメラ
の視点から平坦で高さ０であると仮定した前記車両の走
行平面に、該基準道路線分を逆射影変換して生成した線
分の長さを実空間における道路幅と推定する道路幅推定
手段とを備える。
は、垂直方向の座標が同一である左エッジ点と右エッジ
点とを結ぶ線分である複数の道路線分を生成する道路線
分生成手段と、該道路線分生成手段により生成された複
数の道路線分の中から、前記２次元座標の下方にある１
本の道路線分を基準道路線分として選択し、前記カメラ
の視点から平坦で高さ０であると仮定した前記車両の走
行平面に、該基準道路線分を逆射影変換して生成した線
分の長さを実空間における道路幅と推定する道路幅推定
手段とを備える。
【００１０】そして、前記実空間位置検出手段は、前記
車両の前方の所定距離までの範囲においては、前記基準
道路線分よりも上側にある各道路線分ごとに、前記カメ
ラの視点から前記走行平面への逆射影変換を行い、逆射
影変換された道路線分と平行な線分であって、その左端
が逆射影変換により生成された線分の左端と前記カメラ
の視点とを結ぶ線分上にあると共にその右端が逆射影変
換により生成された線分の右端と前記カメラの視点とを
結ぶ線分上にあり、且つその長さが前記道路幅推定手段
により推定された道路幅と一致する線分を決定し、決定
した線分の左端の位置を逆射影変換された道路線分を生
成した左エッジ点の実空間位置と推定し、決定した線分
の右端の位置を逆射影変換された道路線分を生成した右
エッジ点の実空間位置と推定する近傍エッジ点位置推定
手段を備える。
車両の前方の所定距離までの範囲においては、前記基準
道路線分よりも上側にある各道路線分ごとに、前記カメ
ラの視点から前記走行平面への逆射影変換を行い、逆射
影変換された道路線分と平行な線分であって、その左端
が逆射影変換により生成された線分の左端と前記カメラ
の視点とを結ぶ線分上にあると共にその右端が逆射影変
換により生成された線分の右端と前記カメラの視点とを
結ぶ線分上にあり、且つその長さが前記道路幅推定手段
により推定された道路幅と一致する線分を決定し、決定
した線分の左端の位置を逆射影変換された道路線分を生
成した左エッジ点の実空間位置と推定し、決定した線分
の右端の位置を逆射影変換された道路線分を生成した右
エッジ点の実空間位置と推定する近傍エッジ点位置推定
手段を備える。
【００１１】更に、前記実空間位置検出手段は、前記所
定距離よりも遠方の範囲において、前記近傍エッジ点位
置推定手段により推定された各道路線分の左エッジ点及
び前記右エッジ点の実空間位置に基づいて近似した放物
線によって決定した前記車両前方の曲面に、前記エッジ
点抽出手段により抽出された左エッジ点及び右エッジ点
を前記カメラの視点から逆射影変換した位置を該左エッ
ジ点及び右エッジ点の実空間位置と推定する遠方エッジ
点位置推定手段とを備える。
定距離よりも遠方の範囲において、前記近傍エッジ点位
置推定手段により推定された各道路線分の左エッジ点及
び前記右エッジ点の実空間位置に基づいて近似した放物
線によって決定した前記車両前方の曲面に、前記エッジ
点抽出手段により抽出された左エッジ点及び右エッジ点
を前記カメラの視点から逆射影変換した位置を該左エッ
ジ点及び右エッジ点の実空間位置と推定する遠方エッジ
点位置推定手段とを備える。
【００１２】本発明者らは、上記目的を達成するために
各種検討を重ねた結果、前記実空間位置検出手段に、前
記道路線分生成手段と前記道路幅推定手段と前記近傍エ
ッジ点位置推定手段と前記遠方エッジ点位置推定手段と
を備え、該近傍エッジ点位置推定手段及び該遠方エッジ
点位置推定手段により推定された左エッジ点及び右エッ
ジ点の実空間位置から道路区分線の位置を認識すること
で、道路区分線の実空間位置の検出精度が向上すること
を知見した。
各種検討を重ねた結果、前記実空間位置検出手段に、前
記道路線分生成手段と前記道路幅推定手段と前記近傍エ
ッジ点位置推定手段と前記遠方エッジ点位置推定手段と
を備え、該近傍エッジ点位置推定手段及び該遠方エッジ
点位置推定手段により推定された左エッジ点及び右エッ
ジ点の実空間位置から道路区分線の位置を認識すること
で、道路区分線の実空間位置の検出精度が向上すること
を知見した。
【００１３】そして、本発明によれば、上述した従来の
２台のカメラを用いて道路区分線の実空間位置を検出す
る場合と比べて、簡易な演算処理で精度良く道路区分線
の実空間位置を検出することができる。
２台のカメラを用いて道路区分線の実空間位置を検出す
る場合と比べて、簡易な演算処理で精度良く道路区分線
の実空間位置を検出することができる。
【００１４】
【発明の実施の形態】本発明の実施の形態の一例を図１
〜図９を参照して説明する。図１は本発明の道路形状認
識装置を用いたレーンキープアシストシステムの全体構
成図、図２は本発明の道路形状認識装置において使用す
る座標系の説明図、図３，図４は本発明の道路区分線の
実空間位置推定処理のフローチャート、図５は道路幅推
定処理の説明図、図６は車両近傍におけるエッジ点の実
空間位置推定処理の説明図、図７は車両遠方におけるエ
ッジ点の実空間位置推定処理の説明図、図８は本発明の
道路形状認識装置と従来の道路形状認識装置による、道
路区分線の実空間位置の検出結果の比較図、図９は従来
の道路形状認識装置によるエッジ点の実空間位置推定処
理の説明図である。
〜図９を参照して説明する。図１は本発明の道路形状認
識装置を用いたレーンキープアシストシステムの全体構
成図、図２は本発明の道路形状認識装置において使用す
る座標系の説明図、図３，図４は本発明の道路区分線の
実空間位置推定処理のフローチャート、図５は道路幅推
定処理の説明図、図６は車両近傍におけるエッジ点の実
空間位置推定処理の説明図、図７は車両遠方におけるエ
ッジ点の実空間位置推定処理の説明図、図８は本発明の
道路形状認識装置と従来の道路形状認識装置による、道
路区分線の実空間位置の検出結果の比較図、図９は従来
の道路形状認識装置によるエッジ点の実空間位置推定処
理の説明図である。
【００１５】尚、本発明は主として高速道路の走行を想
定し、道路幅は一定であり、道路の水平曲線及び縦断
（垂直）曲線は緩やかに変化することを前提として道路
区分線の実空間位置を検出する。
定し、道路幅は一定であり、道路の水平曲線及び縦断
（垂直）曲線は緩やかに変化することを前提として道路
区分線の実空間位置を検出する。
【００１６】図１を参照して、本発明の道路形状認識装
置１は、エッジ点抽出手段２と実空間位置検出手段３と
を有し、カメラ４、前処理部５、行動計画作成部６、及
びアクチュエータ７と共に車両に搭載されて、該車両が
走行車線内を走行するようにステアリング角度の補正を
行うレーンキープアシストシステムを構成する。
置１は、エッジ点抽出手段２と実空間位置検出手段３と
を有し、カメラ４、前処理部５、行動計画作成部６、及
びアクチュエータ７と共に車両に搭載されて、該車両が
走行車線内を走行するようにステアリング角度の補正を
行うレーンキープアシストシステムを構成する。
【００１７】カメラ４により取り込まれ、水平方向（ｘ
i ）と垂直方向（ｙi ）の２次元座標系にマッピングさ
れた原画像データａに対しては、前処理部５によりノイ
ズ除去等の前処理が行われる。
i ）と垂直方向（ｙi ）の２次元座標系にマッピングさ
れた原画像データａに対しては、前処理部５によりノイ
ズ除去等の前処理が行われる。
【００１８】そして、前処理がなされた原画像データａ
から、エッジ点抽出手段２により右側の道路区分線のエ
ッジ点（右エッジ点）と、左側の道路区分線のエッジ点
（左エッジ点）とが抽出される。尚、エッジ点の抽出は
前処理後の原画像データａに対して、各水平ライン毎に
各画素の明度データを水平方向に走査し、明度データが
明から暗、或いは暗から明に急激に変化する点を検出す
ることで行われる。
から、エッジ点抽出手段２により右側の道路区分線のエ
ッジ点（右エッジ点）と、左側の道路区分線のエッジ点
（左エッジ点）とが抽出される。尚、エッジ点の抽出は
前処理後の原画像データａに対して、各水平ライン毎に
各画素の明度データを水平方向に走査し、明度データが
明から暗、或いは暗から明に急激に変化する点を検出す
ることで行われる。
【００１９】実空間位置検出手段３は、道路線分生成手
段８と、道路幅推定手段９と、近傍エッジ点位置推定手
段１０と、遠方エッジ点位置推定手段１１とを備え、エ
ッジ点抽出手段２によって得られたエッジ点データｇか
ら、左エッジ点の実空間位置と右エッジ点の実空間位置
とを推定することで、道路区分線の実空間位置を検出す
る。
段８と、道路幅推定手段９と、近傍エッジ点位置推定手
段１０と、遠方エッジ点位置推定手段１１とを備え、エ
ッジ点抽出手段２によって得られたエッジ点データｇか
ら、左エッジ点の実空間位置と右エッジ点の実空間位置
とを推定することで、道路区分線の実空間位置を検出す
る。
【００２０】そして、行動計画作成部６は、道路形状認
識装置１によって検出された道路区分線の実空間位置に
基づいて、実空間における車両の走行パターンを作成
し、該走行パターンに応じてアクチュエータ７を介して
ステアリング角度を調節する。これにより、左側の道路
区分線と右側の道路区分線の間を走行するように、車両
の位置が制御される。
識装置１によって検出された道路区分線の実空間位置に
基づいて、実空間における車両の走行パターンを作成
し、該走行パターンに応じてアクチュエータ７を介して
ステアリング角度を調節する。これにより、左側の道路
区分線と右側の道路区分線の間を走行するように、車両
の位置が制御される。
【００２１】次に、図２は実空間位置検出手段３におい
て使用される座標系の説明図である。図２ａを参照し
て、実空間における道路区分線の位置は、車両２０の中
心真下（高さ０）の点を原点とし、車両２０の進行方向
を正とするＸm 軸と、Ｘm 軸と直交し、車両２０の進行
方向に向かって左手を正とするＹm 軸と、Ｘm −Ｙm 平
面と直交して上空方向を正とするＺm 軸からなる、Ｘm
−Ｙm −Ｚm の３次元座標系（以下、実空間座標系とい
う）によって特定される。
て使用される座標系の説明図である。図２ａを参照し
て、実空間における道路区分線の位置は、車両２０の中
心真下（高さ０）の点を原点とし、車両２０の進行方向
を正とするＸm 軸と、Ｘm 軸と直交し、車両２０の進行
方向に向かって左手を正とするＹm 軸と、Ｘm −Ｙm 平
面と直交して上空方向を正とするＺm 軸からなる、Ｘm
−Ｙm −Ｚm の３次元座標系（以下、実空間座標系とい
う）によって特定される。
【００２２】また、図２ｂはカメラ４の座標系とエッジ
点データｇの座標系との関係を示したものである。カメ
ラ４の座標系は、カメラ４の視点Ｐを原点とし、カメラ
４の視線方向に対して右手方向を正とするｘc 軸と、視
線方向及びｘc 軸と直交して上方向を正とするｙc 軸
と、視線軸であって視線方向を正とするｚc 軸とからな
るｘc −ｙc −ｚc の３次元座標系（以下、カメラ座標
系という）である。また、エッジ点データｇの座標系
は、カメラ４からみたエッジ点画像ｇの左上を原点と
し、右方向を正とするｘi 軸と、下方向を正とするｙi
軸とからなるｘi −ｙ i の２次元座標系（以下、エッジ
座標系という）である。
点データｇの座標系との関係を示したものである。カメ
ラ４の座標系は、カメラ４の視点Ｐを原点とし、カメラ
４の視線方向に対して右手方向を正とするｘc 軸と、視
線方向及びｘc 軸と直交して上方向を正とするｙc 軸
と、視線軸であって視線方向を正とするｚc 軸とからな
るｘc −ｙc −ｚc の３次元座標系（以下、カメラ座標
系という）である。また、エッジ点データｇの座標系
は、カメラ４からみたエッジ点画像ｇの左上を原点と
し、右方向を正とするｘi 軸と、下方向を正とするｙi
軸とからなるｘi −ｙ i の２次元座標系（以下、エッジ
座標系という）である。
【００２３】カメラ４の焦点距離ｆは既知であるので、
エッジ点データｇにおける１画素の長さ（ｍｍ／ｄｏ
ｔ）が定まる。そして、カメラ４の視点Ｐの実空間座標
系における座標と、カメラ４の前後左右の傾きも既知で
あるため、カメラ座標系から実空間座標系への座標変換
を行うことができる。
エッジ点データｇにおける１画素の長さ（ｍｍ／ｄｏ
ｔ）が定まる。そして、カメラ４の視点Ｐの実空間座標
系における座標と、カメラ４の前後左右の傾きも既知で
あるため、カメラ座標系から実空間座標系への座標変換
を行うことができる。
【００２４】実空間位置検出手段３は、エッジ点データ
ｇにおける各左エッジ点及び右エッジ点のエッジ座標系
における座標をカメラ座標系の座標に変換し、変換した
左エッジ点及び右エッジ点のカメラ座標系の座標を用い
て、該左エッジ点及び右エッジ点をカメラ４の視点Ｐか
らエッジ点データｇの前方に逆射影変換することで、実
空間における左エッジ点及び右エッジ点のカメラ座標系
の座標を推定する。
ｇにおける各左エッジ点及び右エッジ点のエッジ座標系
における座標をカメラ座標系の座標に変換し、変換した
左エッジ点及び右エッジ点のカメラ座標系の座標を用い
て、該左エッジ点及び右エッジ点をカメラ４の視点Ｐか
らエッジ点データｇの前方に逆射影変換することで、実
空間における左エッジ点及び右エッジ点のカメラ座標系
の座標を推定する。
【００２５】そして、実空間位置検出手段３は、このよ
うにして推定した実空間におけるカメラ座標系の左エッ
ジ点と右エッジ点の座標を実空間座標系の座標に変換す
ることで、実空間における道路の左側区分線と右側区分
線の実空間座標系の座標を検出する。
うにして推定した実空間におけるカメラ座標系の左エッ
ジ点と右エッジ点の座標を実空間座標系の座標に変換す
ることで、実空間における道路の左側区分線と右側区分
線の実空間座標系の座標を検出する。
【００２６】以下、図３，図４に示したフローチャート
に従って、実空間位置検出手段３によるエッジ点データ
ｇの左エッジ点及び右エッジ点の実空間位置の検出処理
について説明する。
に従って、実空間位置検出手段３によるエッジ点データ
ｇの左エッジ点及び右エッジ点の実空間位置の検出処理
について説明する。
【００２７】図３を参照して、ＳＴＥＰ１で、実空間位
置検出手段３に備えられた道路線分生成手段８は、図５
ａに示すように、エッジ点データｇより、ｙi 座標が同
一である左エッジ点と右エッジ点とを結んだ線分である
道路線分Ｓ0 ，Ｓ1 , ・・・，Ｓn を生成する。
置検出手段３に備えられた道路線分生成手段８は、図５
ａに示すように、エッジ点データｇより、ｙi 座標が同
一である左エッジ点と右エッジ点とを結んだ線分である
道路線分Ｓ0 ，Ｓ1 , ・・・，Ｓn を生成する。
【００２８】続くＳＴＥＰ２で、実空間位置検出手段３
に備えられた道路幅推定手段９は、図５ａに示した道路
線分Ｓ0 ，Ｓ1 ，・・・，Ｓn の中から、最も下側（車
両側）にある道路線分Ｓ0 （図５ａのｙi ＝４００のラ
イン上にある）を基準道路線分として選択する。尚、基
準道路線分として選択するのは、必ずしも最も下側にあ
る道路線分に限られず、場合によっては下から２番目の
道路線分（Ｓ1 ）や、３番目の道路線分（Ｓ2 ）を基準
道路線分としてもよい。
に備えられた道路幅推定手段９は、図５ａに示した道路
線分Ｓ0 ，Ｓ1 ，・・・，Ｓn の中から、最も下側（車
両側）にある道路線分Ｓ0 （図５ａのｙi ＝４００のラ
イン上にある）を基準道路線分として選択する。尚、基
準道路線分として選択するのは、必ずしも最も下側にあ
る道路線分に限られず、場合によっては下から２番目の
道路線分（Ｓ1 ）や、３番目の道路線分（Ｓ2 ）を基準
道路線分としてもよい。
【００２９】そして、ＳＴＥＰ３で、道路幅推定手段９
は、図５ｂに示すように、カメラ４の視点Ｐから平坦で
高さ０（Ｚm ＝０）であると想定した車両前方の平面Ｈ
に基準道路線分Ｓ0 を逆射影変換し、ＳＴＥＰ４で、該
逆射影変換によって生成された線分ｕ0 の長さｗを、実
空間における道路幅と推定する。
は、図５ｂに示すように、カメラ４の視点Ｐから平坦で
高さ０（Ｚm ＝０）であると想定した車両前方の平面Ｈ
に基準道路線分Ｓ0 を逆射影変換し、ＳＴＥＰ４で、該
逆射影変換によって生成された線分ｕ0 の長さｗを、実
空間における道路幅と推定する。
【００３０】次のＳＴＥＰ５からＳＴＥＰ１０は、実空
間位置検出手段３に備えられた近傍エッジ点位置推定手
段１０による、車両近傍におけるエッジ点データｇの左
エッジ点及び右エッジ点の実空間位置の推定処理であ
る。
間位置検出手段３に備えられた近傍エッジ点位置推定手
段１０による、車両近傍におけるエッジ点データｇの左
エッジ点及び右エッジ点の実空間位置の推定処理であ
る。
【００３１】近傍エッジ点位置推定手段１０は、ＳＴＥ
Ｐ５でカウンタ変数ｉに１を代入し、ＳＴＥＰ６で道路
線分Ｓi （ここではｉ＝１）を、図６に示すように、車
両前方の平坦で高さ０（Ｚm ＝０）であると仮定した平
面Ｈに逆射影変換する。そして、近傍エッジ点位置推定
手段１０は、逆射影変換により生成された平面Ｈ上の線
分ｕ1 と平行な線分であって、その左端がカメラ４の視
点Ｐと線分ｕ1 の左端を結んだ線分ＪL 上にあると共に
その右端がカメラ４の視点Ｐと線分ｕ1 の右端を結んだ
線分ＪR 上にあり、且つその長さが道路幅推定手段９に
よって推定された道路幅ｗと等しい線分Ｕ1 を決定す
る。
Ｐ５でカウンタ変数ｉに１を代入し、ＳＴＥＰ６で道路
線分Ｓi （ここではｉ＝１）を、図６に示すように、車
両前方の平坦で高さ０（Ｚm ＝０）であると仮定した平
面Ｈに逆射影変換する。そして、近傍エッジ点位置推定
手段１０は、逆射影変換により生成された平面Ｈ上の線
分ｕ1 と平行な線分であって、その左端がカメラ４の視
点Ｐと線分ｕ1 の左端を結んだ線分ＪL 上にあると共に
その右端がカメラ４の視点Ｐと線分ｕ1 の右端を結んだ
線分ＪR 上にあり、且つその長さが道路幅推定手段９に
よって推定された道路幅ｗと等しい線分Ｕ1 を決定す
る。
【００３２】近傍エッジ点位置推定手段１０は、このよ
うにして決定した線分Ｕ1 の右端Ｒ 1 を道路線分Ｓ1 の
右エッジ点の実空間位置と推定し、線分Ｕ1 の左端Ｌ1
を道路線分Ｓ1 の左エッジ点の実空間位置と推定する。
うにして決定した線分Ｕ1 の右端Ｒ 1 を道路線分Ｓ1 の
右エッジ点の実空間位置と推定し、線分Ｕ1 の左端Ｌ1
を道路線分Ｓ1 の左エッジ点の実空間位置と推定する。
【００３３】近傍エッジ点位置推定手段１０は、続くＳ
ＴＥＰ９でカウンタ変数ｉに１を加え、ＳＴＥＰ１０
で、ＳＴＥＰ８で推定した左エッジ点及び右エッジ点の
実空間位置が、実空間座標系のＹm 軸から車両前方（Ｘ
m 軸正方向）に４０ｍ（本発明の所定距離に相当）以上
離れているか否かを判定する。そして、ＳＴＥＰ８で推
定した左エッジ点及び右エッジ点の実空間位置が、実空
間座標系のＹm 軸から４０ｍ以上離れていないときは、
ＳＴＥＰ６に分岐して次の道路線分に対してＳＴＥＰ６
〜ＳＴＥＰ８の処理を行う。
ＴＥＰ９でカウンタ変数ｉに１を加え、ＳＴＥＰ１０
で、ＳＴＥＰ８で推定した左エッジ点及び右エッジ点の
実空間位置が、実空間座標系のＹm 軸から車両前方（Ｘ
m 軸正方向）に４０ｍ（本発明の所定距離に相当）以上
離れているか否かを判定する。そして、ＳＴＥＰ８で推
定した左エッジ点及び右エッジ点の実空間位置が、実空
間座標系のＹm 軸から４０ｍ以上離れていないときは、
ＳＴＥＰ６に分岐して次の道路線分に対してＳＴＥＰ６
〜ＳＴＥＰ８の処理を行う。
【００３４】このように、近傍エッジ点位置推定手段１
０によりＳＴＥＰ６〜ＳＴＥＰ１０のループを実行する
ことで、実空間座標系のＹm 軸から車両前方４０ｍまで
の範囲でのエッジ点データｇの左エッジ点の実空間位置
Ｌ1 ，Ｌ2 ，・・・と、右エッジ点の実空間位置Ｒ1 ，
Ｒ2 ，・・・とが推定される。
０によりＳＴＥＰ６〜ＳＴＥＰ１０のループを実行する
ことで、実空間座標系のＹm 軸から車両前方４０ｍまで
の範囲でのエッジ点データｇの左エッジ点の実空間位置
Ｌ1 ，Ｌ2 ，・・・と、右エッジ点の実空間位置Ｒ1 ，
Ｒ2 ，・・・とが推定される。
【００３５】一方、ＳＴＥＰ１０で、ＳＴＥＰ８で推定
した左エッジ点及び右エッジ点の実空間位置が、実空間
座標系のＹm 軸から車両前方（Ｘm 軸正方向）に４０ｍ
（本発明の所定距離に相当）以上離れていたときには、
ＳＴＥＰ１１に進む。
した左エッジ点及び右エッジ点の実空間位置が、実空間
座標系のＹm 軸から車両前方（Ｘm 軸正方向）に４０ｍ
（本発明の所定距離に相当）以上離れていたときには、
ＳＴＥＰ１１に進む。
【００３６】ＳＴＥＰ１１〜ＳＴＥＰ１４は、遠方エッ
ジ点位置推定手段１１によるエッジ点データｇの左エッ
ジ点及び右エッジ点の実空間位置の推定処理である。遠
方エッジ点位置推定手段１１は、ＳＴＥＰ１１で、図６
に示すように、道路幅推定手段９と近傍エッジ点位置推
定手段１０とにより推定されたエッジ点データｇの左エ
ッジ点の実空間位置Ｌ0 ，Ｌ1 ，Ｌ2 ，・・・から高さ
方向（Ｘm −Ｚm 平面）で放物線ｆ1 を近似し、エッジ
点データｇの右エッジ点の実空間位置Ｒ0 , Ｒ 1 ，Ｒ2,
・・・から高さ方向（Ｘm −Ｚm 平面）で放物線ｆ2 を
近似する。そして、図７に示すように左端の形状をｆ1
で近似し、右端の形状をｆ2 で近似した曲面Ｋを決定す
る。
ジ点位置推定手段１１によるエッジ点データｇの左エッ
ジ点及び右エッジ点の実空間位置の推定処理である。遠
方エッジ点位置推定手段１１は、ＳＴＥＰ１１で、図６
に示すように、道路幅推定手段９と近傍エッジ点位置推
定手段１０とにより推定されたエッジ点データｇの左エ
ッジ点の実空間位置Ｌ0 ，Ｌ1 ，Ｌ2 ，・・・から高さ
方向（Ｘm −Ｚm 平面）で放物線ｆ1 を近似し、エッジ
点データｇの右エッジ点の実空間位置Ｒ0 , Ｒ 1 ，Ｒ2,
・・・から高さ方向（Ｘm −Ｚm 平面）で放物線ｆ2 を
近似する。そして、図７に示すように左端の形状をｆ1
で近似し、右端の形状をｆ2 で近似した曲面Ｋを決定す
る。
【００３７】次に、遠方エッジ点位置推定手段１１は、
ＳＴＥＰ１２〜ＳＴＥＰ１４で、図７に示すように、近
傍エッジ点位置推定手段１０により実空間位置の推定が
なされた、エッジ点データｇにおける道路線分よりも上
側（エッジ点座標系のｙi 軸の原点側）にある各道路線
分Ｓi の左エッジ点及び右エッジ点に対して、カメラ４
の視点Ｐから曲面Ｋへの逆射影変換を行い、逆射影され
た点ｌi とｒi を道路線分Ｓi の左エッジ点及び右エッ
ジ点の実空間位置と推定する。
ＳＴＥＰ１２〜ＳＴＥＰ１４で、図７に示すように、近
傍エッジ点位置推定手段１０により実空間位置の推定が
なされた、エッジ点データｇにおける道路線分よりも上
側（エッジ点座標系のｙi 軸の原点側）にある各道路線
分Ｓi の左エッジ点及び右エッジ点に対して、カメラ４
の視点Ｐから曲面Ｋへの逆射影変換を行い、逆射影され
た点ｌi とｒi を道路線分Ｓi の左エッジ点及び右エッ
ジ点の実空間位置と推定する。
【００３８】このようにして、エッジ点画像ｇの各左エ
ッジ点及び右エッジ点の実空間位置を推定し、推定結果
から道路区分線の実空間位置を検出したところ、図９ａ
に示した、走行面が平坦であると仮定して逆射影変換を
行ってエッジ点の実空間位置を推定した従来の道路形状
認識装置に比べて、図８に示すように、道路区分線の実
空間位置の検出精度が著しく向上することが確認でき
た。
ッジ点及び右エッジ点の実空間位置を推定し、推定結果
から道路区分線の実空間位置を検出したところ、図９ａ
に示した、走行面が平坦であると仮定して逆射影変換を
行ってエッジ点の実空間位置を推定した従来の道路形状
認識装置に比べて、図８に示すように、道路区分線の実
空間位置の検出精度が著しく向上することが確認でき
た。
【００３９】図８は、車両が、水平方向が２３０Ｒの右
カーブ、垂直方向が２０００Ｒの上り坂、片勾配が１０
％の右下がりである高速道路を走行中であることを想定
して、図９ａに示した従来の道路形状認識装置と本発明
の道路形状認識装置とにより、道路区分線の実空間位置
を検出したときの、上空から見た（Ｘm −Ｙm 平面）道
路区分線の位置を比較したものである。図中、，が
実際の左右の道路区分線の位置、，が本発明の道路
形状認識装置による左右の道路区分線の検出位置、，
が従来の道路形状認識装置による左右の道路区分線の
検出位置である。
カーブ、垂直方向が２０００Ｒの上り坂、片勾配が１０
％の右下がりである高速道路を走行中であることを想定
して、図９ａに示した従来の道路形状認識装置と本発明
の道路形状認識装置とにより、道路区分線の実空間位置
を検出したときの、上空から見た（Ｘm −Ｙm 平面）道
路区分線の位置を比較したものである。図中、，が
実際の左右の道路区分線の位置、，が本発明の道路
形状認識装置による左右の道路区分線の検出位置、，
が従来の道路形状認識装置による左右の道路区分線の
検出位置である。
【００４０】図８から明らかなように、従来の道路形状
認識装置では、前方３０ｍ付近から実際の道路区分線の
実空間位置に対して検出位置がずれ始め、４０ｍより遠
方になるにつれてずれ量が急激に増大している。これに
対して、本発明の道路形状認識装置によれば、４０ｍ地
点でのずれはほとんどなく、遠方においても実際の道路
区分線の位置と、検出位置とのずれ量は微量に留まって
いる。
認識装置では、前方３０ｍ付近から実際の道路区分線の
実空間位置に対して検出位置がずれ始め、４０ｍより遠
方になるにつれてずれ量が急激に増大している。これに
対して、本発明の道路形状認識装置によれば、４０ｍ地
点でのずれはほとんどなく、遠方においても実際の道路
区分線の位置と、検出位置とのずれ量は微量に留まって
いる。
【００４１】以上説明したように、本発明の道路形状認
識装置によれば、１台のカメラを用いた道路区分線の実
空間位置の検出精度を向上することができ、本発明の道
路形状認識装置を用いることで、レーンキープアシスト
システムの信頼性を向上させることができる。
識装置によれば、１台のカメラを用いた道路区分線の実
空間位置の検出精度を向上することができ、本発明の道
路形状認識装置を用いることで、レーンキープアシスト
システムの信頼性を向上させることができる。
【００４２】また、本発明の道路形状認識装置における
道路区分線検出の演算処理は、従来、道路区分線の３次
元座標を検出するために行われていた、２台のカメラを
用いた道路区分線検出の演算処理よりも簡単であるの
で、２台のカメラを用いた場合よりも短い処理時間で精
度良く道路区分線の実空間位置を検出することができ
る。
道路区分線検出の演算処理は、従来、道路区分線の３次
元座標を検出するために行われていた、２台のカメラを
用いた道路区分線検出の演算処理よりも簡単であるの
で、２台のカメラを用いた場合よりも短い処理時間で精
度良く道路区分線の実空間位置を検出することができ
る。
【図１】本発明の道路形状認識装置を用いたレーンキー
プアシストシステムの全体構成図。
プアシストシステムの全体構成図。
【図２】道路形状認識装置において使用する座標系の説
明図。
明図。
【図３】道路区分線の実空間位置推定処理のフローチャ
ート。
ート。
【図４】道路区分線の実空間位置推定処理のフローチャ
ート。
ート。
【図５】道路幅推定方法の説明図。
【図６】車両近傍におけるエッジ点の実空間位置推定処
理の説明図。
理の説明図。
【図７】車両遠方におけるエッジ点の実空間位置推定処
理の説明図。
理の説明図。
【図８】本発明の道路形状認識装置と従来の道路形状認
識装置による道路区分線の検出結果の比較図。
識装置による道路区分線の検出結果の比較図。
【図９】従来の道路形状認識装置によるエッジ点の実空
間位置推定処理の説明図。
間位置推定処理の説明図。
１…道路形状認識装置、２…エッジ点抽出手段、３…実
空間位置検出手段、４…カメラ、５…前処理部、６…行
動計画作成部、７…アクチュエータ、８…道路線分生成
手段、９…道路幅推定手段、１０…近傍エッジ点位置推
定手段、１１…遠方エッジ点位置推定手段
空間位置検出手段、４…カメラ、５…前処理部、６…行
動計画作成部、７…アクチュエータ、８…道路線分生成
手段、９…道路幅推定手段、１０…近傍エッジ点位置推
定手段、１１…遠方エッジ点位置推定手段
フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ // Ｂ６０Ｒ 16/02 ６６０ Ｇ０６Ｆ 15/70
Claims (1)
- 【請求項１】１台のカメラにより撮像され、水平方向及
び垂直方向の２次元座標にマッピングされた車両前方の
画像データから、道路の左側区分線のエッジ点である左
エッジ点と右側区分線のエッジ点である右エッジ点を抽
出するエッジ点抽出手段と、該エッジ点抽出手段により
抽出された左エッジ点と右エッジ点の実空間位置を推定
することで、道路の左側区分線と右側区分線の実空間位
置を検出する実空間位置検出手段とを備えた道路形状認
識装置において、 前記実空間位置検出手段は、垂直方向の座標が同一であ
る左エッジ点と右エッジ点とを結ぶ線分である複数の道
路線分を生成する道路線分生成手段と、 該道路線分生成手段により生成された複数の道路線分の
中から、前記２次元座標の下方にある１本の道路線分を
基準道路線分として選択し、前記カメラの視点から平坦
で高さ０であると仮定した前記車両の走行平面に、該基
準道路線分を逆射影変換して生成した線分の長さを実空
間における道路幅と推定する道路幅推定手段と、 前記車両の前方の所定距離までの範囲において、前記基
準道路線分よりも上側にある各道路線分ごとに、前記カ
メラの視点から前記走行平面への逆射影変換を行い、逆
射影変換された道路線分と平行な線分であって、その左
端が逆射影変換により生成された線分の左端と前記カメ
ラの視点とを結ぶ線分上にあると共にその右端が逆射影
変換により生成された線分の右端と前記カメラの視点と
を結ぶ線分上にあり、且つその長さが前記道路幅推定手
段により推定された道路幅と一致する線分を決定し、決
定した線分の左端の位置を逆射影変換された道路線分を
生成した左エッジ点の実空間位置と推定し、決定した線
分の右端の位置を逆射影変換された道路線分を生成した
右エッジ点の実空間位置と推定する近傍エッジ点位置推
定手段と、 前記所定距離よりも遠方の範囲において、前記近傍エッ
ジ点位置推定手段により推定された各道路線分の左エッ
ジ点及び右エッジ点の実空間位置に基づいて近似した放
物線によって決定した前記車両前方の曲面に、前記エッ
ジ点抽出手段により抽出された左エッジ点及び右エッジ
点を前記カメラの視点から逆射影変換した位置を該左エ
ッジ点及び右エッジ点の実空間位置と推定する遠方エッ
ジ点位置推定手段とを備えたことを特徴とする道路形状
認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02889498A JP3977505B2 (ja) | 1998-02-10 | 1998-02-10 | 道路形状認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02889498A JP3977505B2 (ja) | 1998-02-10 | 1998-02-10 | 道路形状認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11232466A true JPH11232466A (ja) | 1999-08-27 |
| JP3977505B2 JP3977505B2 (ja) | 2007-09-19 |
Family
ID=12261116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02889498A Expired - Fee Related JP3977505B2 (ja) | 1998-02-10 | 1998-02-10 | 道路形状認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3977505B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002170102A (ja) * | 2000-12-04 | 2002-06-14 | Nippon Telegr & Teleph Corp <Ntt> | 撮影対象物の自動獲得・復元方法及び装置 |
| JP2004206714A (ja) * | 2002-12-20 | 2004-07-22 | Valeo Vision | 道路の屈曲部を検出するための方法およびこの方法を実施するためのシステム |
| JP2006146760A (ja) * | 2004-11-24 | 2006-06-08 | Aisin Seiki Co Ltd | 画像変換方法及び画像変換装置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105426380B (zh) * | 2015-08-26 | 2018-12-21 | 中国人民解放军装甲兵工程学院 | 道路网络的区域裁剪方法及装置 |
-
1998
- 1998-02-10 JP JP02889498A patent/JP3977505B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002170102A (ja) * | 2000-12-04 | 2002-06-14 | Nippon Telegr & Teleph Corp <Ntt> | 撮影対象物の自動獲得・復元方法及び装置 |
| JP2004206714A (ja) * | 2002-12-20 | 2004-07-22 | Valeo Vision | 道路の屈曲部を検出するための方法およびこの方法を実施するためのシステム |
| JP2006146760A (ja) * | 2004-11-24 | 2006-06-08 | Aisin Seiki Co Ltd | 画像変換方法及び画像変換装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3977505B2 (ja) | 2007-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3868876B2 (ja) | 障害物検出装置及び方法 | |
| JP3711405B2 (ja) | カメラを利用した車両の道路情報抽出方法及びシステム | |
| JP3759429B2 (ja) | 障害物検出装置及びその方法 | |
| US10129521B2 (en) | Depth sensing method and system for autonomous vehicles | |
| US7132933B2 (en) | Obstacle detection device and method therefor | |
| Broggi et al. | Self-calibration of a stereo vision system for automotive applications | |
| JP2004032460A (ja) | 画像処理装置およびその方法 | |
| WO2001080068A1 (en) | Generating a model of the path of a roadway from an image recorded by a camera | |
| JPH10208047A (ja) | 車載用走行環境認識装置 | |
| US20090052742A1 (en) | Image processing apparatus and method thereof | |
| KR102569437B1 (ko) | 3차원 영상정보 기반 객체 추적 장치 및 방법 | |
| WO2018179281A1 (ja) | 物体検出装置及び車両 | |
| CN111046719A (zh) | 用于转换图像的设备和方法 | |
| JP3656056B2 (ja) | 割り込み車両検出装置及びその方法 | |
| WO2019065970A1 (ja) | 車両用外界認識装置 | |
| Jung et al. | 3D vision system for the recognition of free parking site location | |
| JP3629935B2 (ja) | 移動体の速度計測方法およびその方法を用いた速度計測装置 | |
| JP2004280194A (ja) | 前方監視装置及びその方法 | |
| JP3945919B2 (ja) | 走行路検出装置、車両走行制御装置および記録媒体 | |
| KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
| JPH11232466A (ja) | 道路形状認識装置 | |
| JP5746996B2 (ja) | 道路環境認識装置 | |
| JP4106163B2 (ja) | 障害物検出装置及びその方法 | |
| JP7134780B2 (ja) | ステレオカメラ装置 | |
| JPH07220194A (ja) | 道路環境認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070313 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070510 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070619 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070621 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110629 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110629 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130629 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130629 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140629 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |