JP3945494B2

JP3945494B2 - 走行レーン認識装置

Info

Publication number: JP3945494B2
Application number: JP2004141536A
Authority: JP
Inventors: 亨裕宮下; 誠西田
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2004-05-11
Filing date: 2004-05-11
Publication date: 2007-07-18
Anticipated expiration: 2024-05-11
Also published as: JP2005322166A; US7403219B2; EP1596322A2; EP1596322A3; EP1596322B1; US20050256636A1

Description

本発明は、車両の走行路のレーンマーカを検出する走行レーン認識装置に関するものである。

従来、走行路のレーンマーカを検出する装置として、特開２０００−１４５９５号公報に記載されるように、車両の前部に設置されたビデオカメラにより走行路の状態を撮像し、その撮像画像に基づいて走行路の白線の種類を検知する車両用走行レーン検知装置が知られている。この装置は、撮像画像を画像処理して白線候補点を検出し、その白線候補点データと過去の白線候補点の検出率データに基づいて白線が実線であるか破線であるかを判別するものである。
特開２０００−１４５９５号公報

しかしながら、この装置にあっては、白線の種類を判別する際に、過去の白線候補点の検出率データを蓄積している必要があり、その過去の白線候補点の検出率データがないと白線の種類を判別することができない。また、車両が低速走行時には白線の種類の判別に時間がかかってしまう。

そこで本発明は、過去のデータを用いることなくレーンマーカの種類の判別が行える走行レーン認識装置を提供することを目的とする。

すなわち、本発明に係る走行レーン認識装置は、走行路を撮影した撮影画像に基づいて前記走行路に設けられるレーンマーカを検出する走行レーン認識装置において、前記撮影画像において車両進行方向に沿って隣接して設定される近側領域及び遠側領域についてそれぞれレーンマーカの長さを検出するレーンマーカ検出手段と、前記レーンマーカ検出手段により検出される前記近側領域におけるレーンマーカの長さと前記遠側領域におけるレーンマーカの長さに基づいて前記レーンマーカの種類を判別する判別手段とを備えたことを特徴とする。

この発明によれば、撮影画像の近側領域と遠側領域についてそれぞれレーンマーカの長さを検出しその検出されたレーンマーカの長さに基づいてレーンマーカの種類を判別することにより、一つの撮影画像に基づいてレーンマーカの種類を判別することができ、過去の検出データなどを用いることなくレーンマーカの種類の判別が行える。

また本発明に係る走行レーン認識装置は、前記判別手段が、前記近側領域及び前記遠側領域の双方で前記レーンマーカの長さが所定値より長く検出された場合に、前記レーンマーカが実線であると判断することを特徴とする。

また本発明に係る走行レーン認識装置は、前記判別手段が、前記近側領域及び前記遠側領域の一方において前記レーンマーカの長さが前記所定値より長く検出され、他方において前記レーンマーカの長さが前記所定値以下として検出された場合に、前記レーンマーカが破線であると判断することを特徴とする。

これらの発明によれば、近側領域と遠側領域におけるレーンマーカの長さを所定値と対比することにより、レーンマーカが実線であるか破線であるかを精度よく判別することができる。

また本発明に係る走行レーン認識装置は、前記近側領域及び前記遠側領域の車両進行方向に対する長さが、前記破線の有線部より長く前記破線の無線部より短く設定されていることを特徴とする。ここで、破線の有線部の長さ及び無線部の長さは車両進行方向に対する長さを意味する。

また本発明に係る走行レーン認識装置は、前記近側領域及び前記遠側領域の車両進行方向に対する長さが、前記破線の無線部より長く前記破線の有線部と無線部の和の長さより短く設定されていることを特徴とする。ここで、破線の無線部の長さ及び破線の有線部と無線部の和の長さは車両進行方向に対する長さを意味する。

これらの発明によれば、レーンマーカが破線である場合に、近側領域と遠側領域の一方に無線部だけがあり他方に有線部だけがある状態になりやすい。このため、近側領域と遠側領域に検出される白線の長さが所定値を上回る状態又は下回る状態となりやすく、破線の検出精度の向上が図れる。

本発明によれば、過去のデータを用いることなくレーンマーカの種類の判別を行うことができる。

以下、添付図面を参照して本発明の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

図１は本発明の実施形態に係る走行レーン認識装置の構成概要図である。

図１に示すように、本実施形態に係る走行レーン認識装置１は、車両５に搭載される装置であって、車両５が走行する走行路２０のレーンマーカである白線を検出して走行レーンを認識するものである。なお、「レーンマーカ」とは、道路標示における車線境界線を意味し、白線のほか、他の色彩の線、例えば黄色の線も含むものである。

図１に示すように、走行レーン認識装置１には、撮像部２が設けられている。撮像部２は、車両の周囲を撮像する撮像手段として機能するものであり、例えば車両５の前方を撮影するように設置される。この撮像部２としては、例えばＣ−ＭＯＳカメラが用いられる。

撮像部２は、ＥＣＵ（Electronic Control Unit）３に接続されている。ＥＣＵ３は、装置全体の制御を行うものであり、例えばＣＰＵ、ＲＯＭ、ＲＡＭ、入力信号回路、出力信号回路、電源回路などにより構成されている。ＥＣＵ３は、撮像部２から撮像画像を入力して画像処理し、車両の走行路に設けられる白線の検出を行うものである。

次に本実施形態に係る走行レーン認識装置の動作について説明する。

図２は、本実施形態に係る走行レーン認識装置の動作を示すフローチャートである。図３〜４は、図２の制御処理における撮像画像のイメージ図である。図２における制御処理は、ＥＣＵ３により実行される。

まず、図２のＳ１０に示すように、撮像画像の読み込みが行われる。この撮像画像の読み込みは、撮像部２により撮影された撮像画像をＥＣＵ３に入力し、その撮像画像信号をデジタル画像データとして読み込むことによって行われる。その際、図３に示すように、撮像画像１１は、車両が走行路２０に沿って走行する場合、走行路２０が上下方向に向くように表示される。走行路２０には、白線３０が設けられている。

そして、図２のＳ１２に移行し、近側領域４１、遠側領域４２ごとに白線検出処理が行われる。図３に示すように、近側領域４１及び遠側領域４２は、一つの撮影画像１１において個別のウインドウとして車両進行方向に沿って隣接した状態でそれぞれ設定されている。白線検出処理は、撮影画像１１の画像処理により、近側領域４１及び遠側領域４２についてそれぞれ白線３０の長さを検出する処理である。

この白線検出処理として、例えばエッジ点の抽出、座標変換、白線検出、白線長さ検出の画像処理が順次行われる。エッジ点の抽出は、微分フィルタなどを用い撮影画像１１においてエッジ点を抽出する処理である。座標変換は、撮影画像１１が走行路２０の真上から見た画像になるように座標変換する処理である。例えば、走行路２０の幅方向をＸ軸、走行路２０の車両進行方向をＹ軸として設定することにより行われる。この座標変換処理により、図４に示すように、撮影画像１１は走行路２０を真上から見た平面視の変換画像１２に変換される。

白線検出は、抽出されたエッジ点を直線近似し、近側領域４１及び遠側領域４２についてそれぞれ白線３０を検出する処理である。直線近似の手法としては、ハフ変換のように、例えば、直線上にのるエッジ点の数を算出し、点の数を多い直線を直線近似の結果として出力する方法を用いればよい。

白線長さ検出は、近側領域４１及び遠側領域４２について、白線３０の長さを検出する処理である。この白線長さ検出は、例えば白線検出で検出した直線上にあるエッジ点の数とその直線の画面上における点の数との比をとること、すなわち、その画面における直線の長さと白線の長さの比を求めることで行うことができる。図４の場合、白線検出処理の結果、近側領域４１では白線３０の長さはゼロ、遠側領域４２では白線３０の長さはＬ１と検出される。

そして、図２のＳ１４に移行し、白線種類判別処理が行われる。白線種類判別処理は、白線３０の種類を判別する処理であり、近側領域４１における白線３０の長さと遠側領域４２における白線３０の長さに基づいて白線３０の種類を判別し、例えば白線３０が実線か破線であるかを判別する。この白線種類判別処理は、例えば以下のように行われる。

図５に示すように、近側領域４１及び遠側領域４２の双方で白線３０の長さが所定値より長く検出されたか否かが判断され、近側領域４１及び遠側領域４２の双方で白線３０の長さが所定値より長く検出された場合、近側領域４１及び遠側領域４２のいずれか一方で白線３０の長さが所定値より長く検出された場合、近側領域４１及び遠側領域４２の双方で白線３０の長さが所定値以下として検出された場合に応じて白線３０が実線であるか破線であるかが判断される。

近側領域４１及び遠側領域４２の双方で白線３０の長さが所定値より長く検出された場合には、白線３０が実線であると判断される。このとき、所定値としては、例えば有線部３０ａの半分の長さ（Ｌ１／２）に相当する長さが設定される。高速道路では４ｍ、一般道では３ｍである。

また、この所定値は、ナビゲーションシステムの地図情報に基づいて設定することが好ましい。すなわち、地図情報に基づいて現在車両が走行する道路の種類を検出し、その道路の種類に応じて所定値を設定する。これにより、適切な白線の種類判別処理が可能となる。なお、この所定値の設定は、ナビゲーションシステムの地図情報に基づいて設定する以外にも、後述する道路種類判別処理によって検出した白線３０の長さから高速道路または一般道路を走行中であるか判定した結果を用いて設定してもよい。また、高速道路、一般道路を識別せずに同一の所定値を用いてもよい。

また、白線種類判別処理において、近側領域４１及び遠側領域４２の一方において白線３０の長さが所定値より長く検出され、他方において白線３０の長さが所定値以下として検出された場合には、白線３０が破線であると判断される。

また、白線種類判別処理において、近側領域４１及び遠側領域４２の双方で白線３０の長さが所定値以下として検出された場合には、例えば白線３０の種類の検出結果なしとされる。この場合、今回以前の検出結果、例えば前回の検出結果を今回の検出結果として用いることが好ましい。

このように、近側領域４１と遠側領域４２における白線３０の長さを所定値と対比することにより、白線３０が実線であるか破線であるかを精度よく判別することができる。

なお、このＳ１４の白線種類判別処理としては、上述した判別手法に限られるものではなく、白線３０が破線であるか実線であるかを判別できれば、他の判別手法を用いる場合もある。例えば、近側領域４１と遠側領域４２で検出された白線３０の長さの和に基づいて白線３０が実線であるか破線であるかを判別してもよい。この場合、白線３０の長さの和が所定の長さ以上であるときには実線、所定の長さより短いときには破線と判別すればよい。

この白線種類判別処理において、白線種類判別精度を高めるためには、近側領域４１及び遠側領域４２の車両進行方向に対する長さＨを破線の有線部３０ａより長く破線の無線部３０ｂより短く設定することが好ましい。また、近側領域４１及び遠側領域４２の車両進行方向に対する長さＨを破線の無線部３０ｂより長く破線の有線部３０ａと無線部３０ｂの和（Ｌ１＋Ｌ２）の長さより短く設定することが好ましい。ここで、破線の有線部３０ａの長さ、破線の無線部３０ｂの長さ及び破線の有線部３０ａと無線部３０ｂの和の長さは、車両進行方向に対する長さを意味する。

このように近側領域４１及び遠側領域４２の長さＨを設定することにより、白線３０が破線である場合に、近側領域４１と遠側領域４２の一方に無線部３０ｂだけがあり他方に有線部３０ａだけがある状態を作りやすい。このため、近側領域４１と遠側領域４２に検出される白線３０の長さが所定値を上回る状態又は下回る状態となりやすく、破線の検出精度の向上が図れる。

そして、図２のＳ１６に移行し、道路種類判別処理が行われる。この道路種類判別処理は、Ｓ１２の白線検出処理により検出された白線３０の長さに基づいて走行路２０の種類を判別する処理である。例えば、白線３０が破線であり、その破線における有線部３０ａの長さが６ｍに相当する長さである場合には走行路２０が一般道路であると判断し、有線部３０ａの長さが８ｍに相当する長さである場合には走行路２０が高速道路であると判断する。なお、この道路種類判別処理で判別される道路の種類の結果とナビゲーションシステムにより検出される道路の種類の結果とを比較することによって、道路の種類の判別精度を向上させてもよい。

そして、図２のＳ１８に移行し、白線検出結果に基づいて、走行レーン認識処理が行われ、制御処理を終了する。走行レーン認識処理として、例えば走行レーンの幅やカーブＲなど道路の形状を表す値が計算される。また、Ｓ１６にて検出された道路の種類に応じて、道路の形状を表す値の計算に用いるパラメータ値を切り替えることにより、より正確に走行レーンの認識が可能となる。

以上のように、本実施形態に係る走行レーン認識装置１によれば、撮影画像に近側領域４１と遠側領域４２を設定し、これらの近側領域４１と遠側領域４２についてそれぞれ白線３０の長さを検出し、その検出された白線３０の長さに基づいて白線３０の種類を判別することにより、一つの撮影画像に基づいて白線３０の種類を判別することができ、過去の検出データなどを用いることなく白線３０の種類の判別が行える。１フレームの画像データに基づいて白線３０の種類の判別が可能であり、複数の画像データを取り込む必要がないため、判別処理が迅速に行える。

また、近側領域４１及び遠側領域４２にて検出された白線３０の長さを所定値と対比して白線３０の種類を判別することにより、白線３０が実線であるか破線であるかを精度よく判別することができる。

また、本実施形態に係る走行レーン認識装置１によれば、白線３０の検出結果に基づいて高速道路を走行中であると認識しているときに、走行レーンの左右のレーンマーカが実線である場合には、暫定共用部（高速道路で対向走行を行う部分）であると認識することができる。また、走行レーンの左側のレーンマーカが実線であり右側が破線である場合は、左側の走行レーンを走行中であると認識することができる。逆に、走行レーンの左側のレーンマーカが破線であり右側が実線である場合は、右側の走行レーンを走行中であると認識することができる。このように破線、実線を正確に認識することにより、車両運転システムによる制御をより適切に行うことができる。

特に、本実施形態に係る走行レーン認識装置１を車両運転支援システムの一部として用いると有効である。例えば、本実施形態に係る走行レーン認識装置１による白線３０の検出結果に基づいて走行路２０に対する車両の走行位置を検出することができる。このため、車両の走行位置が左右のいずれかに片寄る場合には、それを修正するように操舵制御を行って操舵支援することにより、安全な車両走行を確保することができる。

なお、本実施形態では、Ｓ１２の白線検出処理において、撮影画像１１の座標変換の後に白線長さ検出を行う場合について説明したが、座標変換する前に白線長さ検出を行ってもよい。また、座標変換せずに白線長さ検出を行ってもよい。

また、本実施形態では、白線３０の長さを検出しその種類を判別する場合について説明したが、レーンマーカであれば白線３０以外の他の色彩の線について長さを検出しその種類を判別するものであってもよい。

本発明の実施形態に係る走行レーン認識装置の構成概略図である。図１の走行レーン認識装置の動作を示すフローチャートである。図２のフローチャートの制御処理における撮影画像の説明図である。図２のフローチャートの制御処理における変換後の撮影画像の説明図である。図２のフローチャートにおける白線種類判別処理の説明図である。

符号の説明

１…走行レーン認識装置、２…撮像部、３…ＥＣＵ、５…車両、１１…撮影画像、１２…変換画像、２０…走行路、３０…白線、３０ａ…有線部、３０ｂ…無線部、４１…近側領域、４２…遠側領域。

Claims

走行路を撮影した撮影画像に基づいて前記走行路に設けられるレーンマーカを検出する走行レーン認識装置において、
前記撮影画像において車両進行方向に沿って隣接して設定される近側領域及び遠側領域についてそれぞれレーンマーカの長さを検出するレーンマーカ検出手段と、
前記レーンマーカ検出手段により検出される前記近側領域におけるレーンマーカの長さと前記遠側領域におけるレーンマーカの長さに基づいて前記レーンマーカの種類を判別する判別手段と、
を備えたことを特徴とする走行レーン認識装置。
前記判別手段は、前記近側領域及び前記遠側領域の双方で前記レーンマーカの長さが所定値より長く検出された場合に、前記レーンマーカが実線であると判断すること、
を特徴とする請求項１に記載の走行レーン認識装置。
前記判別手段は、前記近側領域及び前記遠側領域の一方において前記レーンマーカの長さが前記所定値より長く検出され、他方において前記レーンマーカの長さが前記所定値以下として検出された場合に、前記レーンマーカが破線であると判断すること、
を特徴とする請求項１又は２に記載の走行レーン認識装置。
前記近側領域及び前記遠側領域の車両進行方向に対する長さは、前記破線の有線部より長く前記破線の無線部より短く設定されていること、
を特徴とする請求項１〜３のいずれかに記載の走行レーン認識装置。
前記近側領域及び前記遠側領域の車両進行方向に対する長さは、前記破線の無線部より長く前記破線の有線部と無線部の和の長さより短く設定されていること、
を特徴とする請求項１〜３のいずれかに記載の走行レーン認識装置。