JP3930366B2 - 白線認識装置 - Google Patents
白線認識装置 Download PDFInfo
- Publication number
- JP3930366B2 JP3930366B2 JP2002116012A JP2002116012A JP3930366B2 JP 3930366 B2 JP3930366 B2 JP 3930366B2 JP 2002116012 A JP2002116012 A JP 2002116012A JP 2002116012 A JP2002116012 A JP 2002116012A JP 3930366 B2 JP3930366 B2 JP 3930366B2
- Authority
- JP
- Japan
- Prior art keywords
- edge
- white line
- pair
- position candidate
- line position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は車両前方の路面画像から白線を認識する白線認識装置に関する。
【０００２】
【従来の技術】
道路の路面には、レーンの側縁部を明確にする白線が描かれており、自己車両の走行位置を把握する最も基本的な情報となっている。近年、白線を、車両を自動操舵により走行せしめる際の案内用の標識として利用する技術が提案されている。この技術では、車両に搭載された白線認識装置が、ＣＣＤカメラ等の撮像手段により車両前方の路面画像を取り込み、白線位置で明度が高いことを利用して白線による明部を抽出することで白線を認識するようになっている。かかる方式のものにおいて、特開平７−２８２２６８号公報には、路面画像を、縦方向の各位置において横方向に走査し、画素の明度が相対的に所定以上高く変化するアップエッジと、画素の明度が相対的に所定以上低く変化するダウンエッジとを検出して白線による明部を抽出し、アップエッジとダウンエッジとからなるペアエッジに基づいて、レーンの側縁部を代表する白線位置候補点を決定している。
【０００３】
この白線位置候補点の群に基づいてハフ変換やフィルタリング処理が行われて、自己車両が走行するレーンについて、その側縁の位置および形状を記述する線が推定されることになる。前記ハフ変換では、路面画像中の各白線位置候補点を通る線（例えば直線）を特定する複数のパラメータとして頻出するものを求め、頻出するパラメータにより特定される線を、推定の基本となる線としている。
【０００４】
レーンの側縁の位置および形状の演算において、精度や応答性を向上するには、白線位置候補点がある程度正しく求められていることが必要となる。前記特開平７−２８２２６８号公報記載の技術では、アップエッジとダウンエッジとの間隔を、画像の縦方向の各位置においてとるはずの白線の幅を基準に評価することで、白線以外に写る像等に基因した不要ペアエッジを除去している。
【０００５】
【発明が解決しようとする課題】
しかしながら、レーンの側縁部を規定する白線は、レーンの側縁部を、所定幅の白線が単純に１本連続して伸びているだけのもの以外に、種々の態様のもの、例えば、複数本の白線がレーンの幅方向に配列するものがある。これらは、それぞれ意味を有しており、道路の情報を運転者に提供している。車両を走行させていくと、白線が１本の道路部分から白線が複数本配列する道路部分に切り換わったり、複数の白線の配列が切り換わっていくことになる。
【０００６】
前記特開平７−２８２２６８号公報記載の技術では、演算負荷をあまり高くすることなく不要ペアエッジを除去するが、白線による明部を適正に抽出できたとしても、前記ハフ変換において得られるレーン側縁部の位置および形状を記述する線と、実際のレーンの側縁部に沿った線とが乖離するおそれがあり、精度や応答性が必ずしも十分ではなかった。
【０００７】
本発明はかかる実情に鑑みなされたもので、レーンの側縁部の形状や位置を記述するのに適正な白線位置候補点を正確にかつ応答性よく得ることのできる白線認識装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
請求項１記載の発明では、車両に搭載されて、走行するレーンを含む前方の路面画像を撮る撮像手段と、撮られた路面画像を横方向へ走査して、画像の明度が相対的に所定以上高く変化するアップエッジと、画像の明度が相対的に所定以上低く変化するダウンエッジとを検出して路面の白線による明部を抽出し、路面画像の縦方向の各位置で前記レーンの側縁部を代表する白線位置候補点を決定する白線位置候補点決定手段とを有する白線認識装置において、前記白線位置候補点決定手段を、前記路面画像の縦方向の同じ位置で、前記明部に対応する前記アップエッジと前記ダウンエッジとからなるペアエッジが複数検出されたときには、該複数のペアエッジの間の間隔に基づいて、前記複数のペアエッジの配列を判定し、前記複数のペアエッジに対して前記配列ごとに予め設定した所定の相対位置をとる点を白線位置候補点とするように設定する。
【０００９】
複数の白線が形成された道路部分が、単一の白線が形成された道路部分に連なるとき、前記複数の白線と前記単一の白線とのレーン幅方向の相対位置は一定している。すなわち、複数の白線が形成された道路部分に単一の白線が形成されていたとしたときの、その単一の白線の仮想の形成位置は、前記複数の白線の配列により決まる。複数のペアエッジの配列から前記複数の白線の配列が特定できるから、複数の白線が形成された道路部分において、当該道路部分が単一の白線が形成された道路部分であったならば得られたであろう白線位置候補点と同等の白線位置候補点を得ることができる。したがって、前記ハフ変換において得られるレーンの側縁部の位置や形状を記述する線と、実際のレーンの側縁部に沿った線とが乖離することがない。
【００１０】
請求項２の構成では、請求項１の発明の構成において、請求項１記載の白線位置決定装置において、前記白線位置候補点決定手段を、前記複数のペアエッジとして、路面画像の横方向の中央側から第１のペアエッジおよび第２のペアエッジが配列し、第１のペアエッジのダウンエッジと第２のペアエッジのアップエッジとの間隔が予め設定した基準値よりも小さいときには、前記白線位置候補点を、第２のペアエッジが１つのみ検出されたとしたときの白線位置候補点とするように設定する。
【００１１】
道路には、路肩側で単一の白線が続く道路部分の他、前記単一の白線に連なる白線と、該白線よりも道路の中央側で前記白線と近接並行する別の白線とが形成された道路部分がある。この道路部分ではまた、両白線の間隔が比較的近接している。かかる道路部分に対応する路面画像では、路面画像横方向の中央側すなわちレーンの中央側から第１のペアエッジおよび第２のペアエッジが存在し、第１のペアエッジのダウンエッジと第２のペアエッジのアップエッジとの間隔が比較的小さい間隔で配列している。したがって、複数のペアエッジが前記のごとく配列しているときには、前記白線位置候補点を、第２のペアエッジが１つのみ検出されたとしたときの白線位置候補点とすることで、前記第１、第２のペアエッジが検出された道路部分が単一の白線が形成された道路部分であったならば得られたであろう白線位置候補点と同等の白線位置候補点が得られる。
【００１２】
請求項３の構成では、請求項１の発明の構成において、前記白線位置候補点決定手段を、前記複数のペアエッジとして、路面画像の横方向の中央側から第１のペアエッジおよび第２のペアエッジが配列し、第１のペアエッジのダウンエッジと第２のペアエッジのアップエッジとの間隔が予め設定した基準値よりも大きいときには、前記白線位置候補点を、第１のペアエッジのダウンエッジと第２のペアエッジのアップエッジとで挟まれた暗部にペアエッジが１つのみ検出されたとしたときの白線位置候補点とするように設定する。
【００１３】
道路には、隣接レーンとの境界部で単一の白線が続く道路部分の他、２本の白線が並行する道路部分がある。隣接レーンとの境界はこの２本の白線の中間位置であり、両白線で挟まれた白線非形成の帯状部が前記単一の白線に連なる。この道路部分ではまた、両白線の間隔が比較的空いている。かかる道路部分に対応する路面画像では、路面画像横方向の中央側すなわちレーンの中央側から第１のペアエッジおよび第２のペアエッジが存在し、第１のペアエッジのダウンエッジと第２のペアエッジのアップエッジとの間隔が比較的大きい間隔で配列している。したがって、複数のペアエッジが前記のごとく配列しているときには、前記白線位置候補点を、第１のペアエッジのダウンエッジと第２のペアエッジのアップエッジとで挟まれた暗部にペアエッジが１つのみ検出されたとしたときの白線位置候補点とすることで、前記第１、第２のペアエッジが検出された道路部分が単一の白線が形成された道路部分であったならば得られたであろう白線位置候補点と同等の白線位置候補点が得られる。
【００１６】
請求項４の構成では、車両に搭載されて、走行するレーンを含む前方の路面画像を撮る撮像手段と、撮られた路面画像を横方向へ走査して、画像の明度が相対的に所定以上高く変化するアップエッジと、画像の明度が相対的に所定以上低く変化するダウンエッジとを検出して路面の白線による明部を抽出し、路面画像の縦方向の各位置で前記レーンの側縁部を代表する白線位置候補点を決定する白線位置候補点決定手段とを有する白線認識装置において、
前記白線位置候補点決定手段を、前記路面画像の縦方向の同じ位置で、前記明部に対応する前記アップエッジから予め設定した上限値を越えてダウンエッジが検出されないときは、前記アップエッジから予め設定した所定の基準値離れた位置に仮想のダウンエッジがあるものとみなして、前記アップエッジと前記仮想のダウンエッジとからなるペアエッジに対して前記所定の相対位置をとる点を白線位置候補点とするように設定する。
【００１７】
２つの道路の合流部には、両道路で挟まれて鋭角の三角状の領域が作られている。その、各道路のレーンの側縁を規定する白線は、三角状の領域を縁取って形成されて、両白線がＶ字状をなしている。そして、前記三角状領域には、両白線を橋渡しするように別の白線が形成され、該白線は両道路が合流するまで縞状に複数形成される。縞状白線位置で路面画像を走査したときアップエッジのみが検出されることになる。前記白線位置候補点を、前記アップエッジから予め設定した所定の基準値離れた位置に仮想のダウンエッジがあるものとみなして、前記アップエッジと前記仮想のダウンエッジとからなるペアエッジに対して前記所定の相対位置をとる点を白線位置候補点とすることで、アップエッジのみが検出された道路部分において、当該道路部分が単一の白線が形成された道路部分であったならば得られたであろう白線位置候補点と同等の白線位置候補点を得ることができる。したがって、前記ハフ変換において得られるレーンの側縁部の位置や形状を記述する線と、実際のレーンの側縁部に沿った線とが乖離することがない。
【００１８】
【発明の実施の形態】
図１に高速道路や自動車専用道路等での自動走行システムを構成する本発明の白線認識装置の構成を示す。白線認識装置は撮像部１と白線認識部２とを有し、車両に搭載されている。撮像部１はＣＣＤカメラやＣＭＯＳカメラであり、ルームミラーにレンズを前方に向けて設けられ、車両前方の路面画像を撮るようになっている。白線認識部２はマイクロコンピュータを中心に、入出力回路、通信回路等から構成されている。撮像部１で得られた車両前方の画像（適宜、路面画像という）のデータは、白線認識部２の入力バッファ２１に入力し、入力バッファ２１で路面画像データを白線位置演算部（ＣＰＵ）２２で取り込み可能な形式に変換し、ＣＰＵ２２に出力する。ＣＰＵ２２では自己車両が走行しているレーンの側縁部の位置や形状を規定する線（白線位置）を演算する。
【００１９】
白線認識部２は、車両のステアリングを自動操舵するレーンキープＥＣＵ３、車両が白線から逸脱しそうになると運転者に警報を発するレーン逸脱ＥＣＵ４と通信ネットワークを構成している。白線認識部２には、レーンキープＥＣＵ３、レーン逸脱ＥＣＵ４とのデータの送受信を行うための送受信バッファ２３を備えており、前記白線位置の演算結果は送受信バッファ２３に転送されて、レーンキープＥＣＵ３やレーン逸脱ＥＣＵ４に送信される。
【００２０】
図２にＣＰＵ２２で実行される演算のフローを示す。本フローは例えば垂直同期信号から一定のオフセットをもってタイマ割り込みにより所定周期で起動する。先ず、ステップＳ１１では、路面画像を取り込み、各画素の明度を参照できるようにする。
【００２１】
ステップＳ１２では、白線位置候補点を決定する。白線位置候補点の決定は先ず道路幅方向すなわち路面画像の横方向に走査して明部を抽出する。図３に示すように、白線の側縁では、明度がステップ状に立ち上がるか立ち下がるので、走査方向に隣接する画素で、明度が＋方向に変化したら（アップエッジ）、明部の開始すなわち白線の幅方向の一方の側縁部の可能性があり、その後、明度が−方向に変化したら（ダウンエッジ）、明部の終了すなわち白線の幅方向の他方の側縁部の可能性があることになる。走査では、相隣れるアップエッジとダウンエッジとよりなるペアエッジを検出することになる。走査は図４に示すように６０回走査する。図中の番号（▲１▼〜）は走査順序を示しており、３０箇所の縦方向の位置で走査を行う。路面画像には、レーンの左側の側縁を規定する白線Ｌ０１とレーンの右側の側縁を規定する白線Ｌ０２とがハ字状に映じている。図例では、左側の白線Ｌ０１は路肩側の白線を、右側の白線Ｌ０２は隣接レーンとの境界となる白線を示している。
【００２２】
第１回目走査は、路面画像横方向中央から右方向に走査していき、隣接画素よりも明度が予め設定した基準値を越えて高ければアップエッジ、低ければ、ダウンエッジとする。走査を開始する前記路面画像横方向中央は、通常、レーンの中央である。そして、ペアエッジをなすアップエッジとダウンエッジとの間隔（以下、適宜、ペアエッジの幅という）が所定範囲にあるか否かに基づいて、白線による明部である蓋然性の高いペアエッジのみを得ることができる。ここで、白線による明部か否かをふるい分ける前記所定範囲は、路面画像の縦方向の位置に応じて（したがって何回目の走査かに応じて）可変とし、前記特開平７−２８２２６８号公報にあるように、車両と近く白線が幅広に映じる路面画像下側ほど大きな値が与えるようにする。これにより、縦方向の位置によらず、鳥瞰図換算で例えば白線とみなし得る幅が幅の下限のしきい値以上に収まるペアエッジのみを得ることができる。走査が路面画像の右端の画素まできたら、第１回目走査は終了となる。なお、走査では詳しくは後述するように、この、白線による明部である蓋然性の高いペアエッジのデータに基づいて、自己車両が走行するレーンの側縁位置である白線位置候補点を決定する。
【００２３】
同様にして、第２回目は縦方向位置は同じ位置で逆に画像横方向中央から左方向に走査し、隣接画像よりも明度が高ければアップエッジ、低ければ、ダウンエッジとする。走査が路面画像の左端の画素まできたら、第２回目走査は終了となる。当該走査においても白線位置候補点を決定する。
【００２４】
次に、縦方向に座標を下方にずらし、第３回目、第４回目の走査を行う。第３回目の走査は、第１回目と同様に、画像横方向中央から右方向に走査し、アップエッジおよびダウンエッジを検出する。第４回目の走査は、第２回目と同様に、画像横方向中央から左方向に走査することになる。このように、縦方向の３０か所について、横方向に左右交互に走査して、アップエッジおよびダウンエッジを検出する。これにより、路面画像全体の、白線による明部である蓋然性の高いペアエッジのみのデータが集められ、各走査において白線位置候補点が決定される。
【００２５】
各縦方向位置の走査において、図５に示すように、アップエッジＥ１１の後、これと対をなすダウンエッジＥ１２がきて（ペアエッジＥ１検出）、ダウンエッジＥ１２から予め設定したしきい値を越えてアップエッジが検出されなければ、当該走査範囲では、白線Ｌ１が１本のみの「１本線」と判定する。この場合は、アップエッジとダウンエッジとの中間位置を、白線位置候補点とする。
【００２６】
また、各縦方向位置の走査において、図６に示すように、アップエッジＥ２１１の後、これと対をなすダウンエッジＥ２１２がきて（第１のペアエッジＥ２１検出）、さらに、アップエッジＥ２２１の後、これと対をなすダウンエッジＥ２２２がきた（第２のペアエッジＥ２２検出）場合で、ダウンエッジＥ２２２からペアエッジの間隔のしきい値を越えてアップエッジが検出されなければ、当該走査範囲では、白線Ｌ２１，Ｌ２２が２本の「２本線」と判定する。
【００２７】
また、図７は白線が２本の別の態様を示している。各縦方向位置の走査において、アップエッジＥ３１１の後、これと対をなすダウンエッジＥ３１２がきて（第１のペアエッジＥ３１検出）、さらに、アップエッジＥ３２１の後、これと対をなすダウンエッジＥ３２２がきた（第２のペアエッジＥ３２検出）場合で、ダウンエッジＥ３２２から前記しきい値を越えてアップエッジが検出されなければ、当該走査範囲では、白線Ｌ３１，Ｌ３２が２本の「２本線」と判定する。
【００２８】
ここで、第１のペアエッジＥ２１（Ｅ３１）のダウンエッジＥ２１２（Ｅ３１２）と第２のペアエッジＥ２２（Ｅ３２）のアップエッジＥ２２１（Ｅ３２１）との間隔が前記しきい値よりも小さいときには、白線の配列が図６に示す配列であると判定することができる。この配列は、道路の路肩との境界部に現れる配列であり、道路の路肩側が連続した白線Ｌ２１で、道路の中央側が破線状の白線Ｌ２２となっているものと判断できる。この配列では、路肩側の白線Ｌ２１が図５のような「１本線」の白線に連なる。したがって、この場合は、第２のペアエッジＥ２２のアップエッジＥ２２１とダウンエッジＥ２２２との中間位置を、白線位置候補点とする（投票）。
【００２９】
また、「２本線」の場合で、第１のペアエッジＥ２１（Ｅ３１）のダウンエッジＥ２１２（Ｅ３１２）と第２のペアエッジＥ２２（Ｅ３２）のアップエッジＥ２２１（Ｅ３２１）との間隔が前記しきい値よりも大きいときには、白線の配列が図７に示す配列であると判定することができる。この配列は、隣接レーンとの境界部に現れる配列であり、隣接レーンとの境界はこの２本の白線Ｌ３１，Ｌ３２の中間位置である。この配列では、第１のペアエッジＥ３１のダウンエッジＥ３１２と第２のペアエッジＥ３２のアップエッジＥ３２１とで挟まれた帯状の暗部が図５のような「１本線」の白線に連なる。したがって、この場合は、前記暗部に白線があるものとみなして、第１のペアエッジＥ３１のダウンエッジＥ３１２と第２のペアエッジＥ３２のアップエッジＥ３２１との中間位置を、白線位置候補点とする（投票）。図例では並行する２本の白線Ｌ３１，Ｌ３２のところと、１本の白線Ｌ３３のところとが交互に現れるものを示しているが、必ずしもこれに限定されるものではない。
【００３０】
あるいは、第１のペアエッジＥ３１のアップエッジＥ３１１と第２のペアエッジＥ３２のダウンエッジＥ３２２との中間位置を白線位置候補点とする。
【００３１】
なお、前記間隔のしきい値は、前記幅下限しきい値と同様に路面画像の縦方向位置に応じて可変とし、図６の場合と図７の場合とを区別し得るように白線の仕様に基づいて設定される。鳥瞰図換算で例えば３０ｃｍとする。
【００３２】
また、各縦方向位置の走査において、図８に示すように、アップエッジＥ４１１の後、これと対をなすダウンエッジＥ４１２がきて（第１のペアエッジＥ４１検出）、さらに、アップエッジＥ４２１の後、これと対をなすダウンエッジＥ４２２がきて（第２のペアエッジＥ４２検出）、さらに、アップエッジＥ４３１の後、これと対をなすダウンエッジＥ４３２がきた（第３のペアエッジＥ４３検出）場合は、当該走査範囲では、白線Ｌ４１，Ｌ４２，Ｌ４３が３本の「３本線」と判定する。この配列は隣接レーンとの境界部に現れる配列であり、隣接レーンとの境界は真ん中の第２の白線Ｌ４２の中間位置である。この配列では、第２のペアエッジＥ４２が図５のような「１本線」の白線に連なる。ここで、３本の白線Ｌ４１〜Ｌ４３は同じ幅の等価なもので、等間隔に配列しているから、第１のペアエッジＥ４１のアップエッジＥ４１１と第３のペアエッジＥ４３のダウンエッジＥ４３２との中間位置を、白線位置候補点とする（投票）。
【００３３】
あるいは、第２のペアエッジＥ４２の中間位置を白線位置候補点とする。
【００３４】
また、各縦方向位置の走査において、図９に示すように、アップエッジＥ５１１が検出された後、予め設定したしきい値を越えてダウンエッジが検出されないときは、当該走査範囲では、通常の白線とは異なる白塗りパターンＬ５１，Ｌ５２，Ｌ５３でレーンの側縁部が規定されているものと判定する。ここで、前記しきい値はレーンの側縁部に沿う前記白線Ｌ１，Ｌ２１等とみなせる白線の幅の上限のしきい値に設定する。幅上限しきい値も路面画像の縦方向の位置に応じて可変とするのは勿論であり、例えば、鳥瞰図換算で４０ｃｍとする。
【００３５】
このような状況は例えば２つの道路の合流部で現れる。２つの道路の合流部には、両道路で挟まれて鋭角の三角状の領域Ａが作られている。その、２つの道路のレーンの側縁を規定する白塗りパターンＬ５１〜Ｌ５３は、第１の道路の側縁を規定する白線Ｌ５１、第２の道路の側縁を規定する白線Ｌ５２が、三角状領域Ａを縁取って形成されて、両白線Ｌ５１，Ｌ５２でＶ字状をなしている。そして、前記三角状領域Ａには、両白線Ｌ５１，Ｌ５２を橋渡しするように別の白線Ｌ５３が形成され、該白線Ｌ５３は両道路が合流するまで縞状に複数形成される。縞状白線Ｌ５３位置で路面画像を走査したときアップエッジＥ５１１のみが検出されることになる。
【００３６】
この場合は、白線位置候補点を、前記アップエッジＥ５１１から予め設定した所定の距離の位置とする（投票）。ここで、所定の距離は前記白線Ｌ１，Ｌ２１等の標準の幅の１／２に設定する。すなわち、前記アップエッジＥ５１１から前記標準の幅離れた位置に仮想のダウンエッジがあるものとみなして白線位置候補点を決定することになる。なお、前記標準の幅も路面画像の縦方向の位置に応じて可変とするのは勿論であり、例えば、鳥瞰図換算で２０ｃｍとする。
【００３７】
続くステップＳ１３では、路面画像中の白線位置候補点が投票されてハフ変換がなされ、仮白線位置を決定する。ハフ変換は、投票された白線位置候補点を通る直線を特定する２つのパラメータで特定される二次元空間で、路面画像中のすべての白線位置候補点が投票されたときに、頻出するものを求めることにより行う。この直線は、レーンの側縁の位置や形状を記述する仮の線となる。
【００３８】
前記ステップＳ１２において、路面画像に現れた道路部分で白線の態様が単純な「１本線」でなくとも、当該道路部分が単一の白線が形成された道路部分であったならば得られたであろう白線位置候補点と同等の白線位置候補点を得ることができるので、ステップＳ１３で得られる直線は車両直前ではレーンの側縁の位置や方向を良好に示している。この直線上の点が仮白線位置となる。
【００３９】
続くステップＳ１４では、前記仮白線位置から左右に走査してペアエッジを探索し、ペアエッジが存在したら、これを記憶する。なお、このペアエッジに、前記仮白線位置上に存在しているペアエッジも含まれる。
【００４０】
ステップＳ１５では、探索されたペアエッジに基づいて前記白線位置候補点と同様にレーンの側縁部を代表する点を求め、これらの点群について最小自乗近似し、この曲線が、レーンの側縁の位置や形状を記述する線となる。この曲線上の点が最終的な白線位置となる。
【００４１】
白線位置についての情報は、送受信バッファ２３を介してレーンキープＥＣＵ３に送信され、自動操舵の制御量に反映される。また、レーン逸脱警報ＥＣＵ４に送信され、自己車両がレーンを逸脱していないか否かの判断に供される。
【００４２】
このように、本実施形態によれば、白線位置候補点として、図６〜図９に示すような道路部分が単一の白線が形成された道路部分であったならば得られたであろう白線位置候補点と同等の白線位置候補点を求めるようにしているので、レーンの側縁の位置や形状を記述する線と、実際のレーンの側縁に沿った線とが乖離することがなく、応答性よく正確に白線の位置を求めていくことができる。
【００４３】
また、複数の白線の配列として図６〜図８を示しているが、これに限られるものではなく、道路標識として使用されているものがあれば、その複数の白線の配列に対応した複数のペアエッジが検出されたときに、当該複数のペアエッジに対して予め設定した所定の相対位置をとる点を白線位置候補点とする。これにより、複数のペアエッジが検出された道路部分が単一の白線が形成された道路部分であったならば得られたであろう白線位置候補点と同等の白線位置候補点が得られる。
【００４４】
なお、本実施形態では、白線の位置を白線のレーン幅方向の中間位置で代表させているが、中間位置に限定されるものではなく任意である。例えば、自動走行の制御やレーンの逸脱の警報を発するか否かの判定において、レーンのうち、その幅方向のどの範囲を車両が走行すべきかは適宜、設定し得るものであるからである。
【００４５】
また、車両前方の路面画像を撮る撮像部はデジタル信号を出力する構成として、画像信号を入力バッファで受けているが、撮像部を、画像信号をアナログ信号で出力する撮像部としてもよく、この場合、図１０に示すように、撮像部１Ａからの画像信号をアナログデジタル変換器２４でデジタル信号に変換して入力バッファ２１に出力する。
【００４６】
また、図１１に示すように、撮像部１やアナログデジタル変換器２４からのデジタルの画像信号は、路面画像各画素の明度について一時に蓄積する画像メモリ２５に格納して、ここから適宜、ＣＰＵ２２に取り込むようにしてもよい。また、入力バッファ２１や画像メモリ２５のような外部メモリを有する構成ではなく、近年のＣＰＵの高速化に鑑み、デジタル画像信号がＣＰＵに直接入力するようにしてもよい。
【図面の簡単な説明】
【図１】本発明の白線認識装置の構成図である。
【図２】前記白線認識装置における、白線位置の演算処理手順を説明するフローチャートである。
【図３】前記白線認識装置における、路面画像から白線による明部を抽出する手順を説明する第１の図である。
【図４】前記白線認識装置における、路面画像から白線による明部を抽出する手順を説明する第２の図である。
【図５】路面に形成される白線の種類を示す第１の図である。
【図６】路面に形成される白線の種類を示す第２の図である。
【図７】路面に形成される白線の種類を示す第３の図である。
【図８】路面に形成される白線の種類を示す第４の図である。
【図９】路面に形成される白線の種類を示す第５の図である。
【図１０】前記白線認識装置の変形例を示す第１の図である。
【図１１】前記白線認識装置の変形例を示す第２の図である。
【符号の説明】
１，１Ａ 撮像部（撮像手段）
２ 白線認識部
２１ 入力バッファ
２２ 白線位置演算部（白線位置候補点決定手段）
２３ 送受信バッファ
３ レーンキープＥＣＵ
４ レーン逸脱ＥＣＵ
Ｌ０１，Ｌ０２，Ｌ１，Ｌ２１，Ｌ２２，Ｌ３１，Ｌ３２，Ｌ３３，Ｌ４１，Ｌ４２，Ｌ４３，Ｌ５１，Ｌ５２，Ｌ５３ 白線
Ｅ１，Ｅ２１，Ｅ２２，Ｅ３１，Ｅ３２，Ｅ４１，Ｅ４２，Ｅ４３ ペアエッジ
Ｅ１１，Ｅ２１１，Ｅ２２１，Ｅ３１１，Ｅ３２１，Ｅ４１１，Ｅ４２１，Ｅ４３１，Ｅ５１１ アップエッジ
Ｅ１２，Ｅ２１２，Ｅ２２２，Ｅ３１２，Ｅ３２２，Ｅ４１２，Ｅ４２２，Ｅ４３２ ダウンエッジ
【発明の属する技術分野】
本発明は車両前方の路面画像から白線を認識する白線認識装置に関する。
【０００２】
【従来の技術】
道路の路面には、レーンの側縁部を明確にする白線が描かれており、自己車両の走行位置を把握する最も基本的な情報となっている。近年、白線を、車両を自動操舵により走行せしめる際の案内用の標識として利用する技術が提案されている。この技術では、車両に搭載された白線認識装置が、ＣＣＤカメラ等の撮像手段により車両前方の路面画像を取り込み、白線位置で明度が高いことを利用して白線による明部を抽出することで白線を認識するようになっている。かかる方式のものにおいて、特開平７−２８２２６８号公報には、路面画像を、縦方向の各位置において横方向に走査し、画素の明度が相対的に所定以上高く変化するアップエッジと、画素の明度が相対的に所定以上低く変化するダウンエッジとを検出して白線による明部を抽出し、アップエッジとダウンエッジとからなるペアエッジに基づいて、レーンの側縁部を代表する白線位置候補点を決定している。
【０００３】
この白線位置候補点の群に基づいてハフ変換やフィルタリング処理が行われて、自己車両が走行するレーンについて、その側縁の位置および形状を記述する線が推定されることになる。前記ハフ変換では、路面画像中の各白線位置候補点を通る線（例えば直線）を特定する複数のパラメータとして頻出するものを求め、頻出するパラメータにより特定される線を、推定の基本となる線としている。
【０００４】
レーンの側縁の位置および形状の演算において、精度や応答性を向上するには、白線位置候補点がある程度正しく求められていることが必要となる。前記特開平７−２８２２６８号公報記載の技術では、アップエッジとダウンエッジとの間隔を、画像の縦方向の各位置においてとるはずの白線の幅を基準に評価することで、白線以外に写る像等に基因した不要ペアエッジを除去している。
【０００５】
【発明が解決しようとする課題】
しかしながら、レーンの側縁部を規定する白線は、レーンの側縁部を、所定幅の白線が単純に１本連続して伸びているだけのもの以外に、種々の態様のもの、例えば、複数本の白線がレーンの幅方向に配列するものがある。これらは、それぞれ意味を有しており、道路の情報を運転者に提供している。車両を走行させていくと、白線が１本の道路部分から白線が複数本配列する道路部分に切り換わったり、複数の白線の配列が切り換わっていくことになる。
【０００６】
前記特開平７−２８２２６８号公報記載の技術では、演算負荷をあまり高くすることなく不要ペアエッジを除去するが、白線による明部を適正に抽出できたとしても、前記ハフ変換において得られるレーン側縁部の位置および形状を記述する線と、実際のレーンの側縁部に沿った線とが乖離するおそれがあり、精度や応答性が必ずしも十分ではなかった。
【０００７】
本発明はかかる実情に鑑みなされたもので、レーンの側縁部の形状や位置を記述するのに適正な白線位置候補点を正確にかつ応答性よく得ることのできる白線認識装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
請求項１記載の発明では、車両に搭載されて、走行するレーンを含む前方の路面画像を撮る撮像手段と、撮られた路面画像を横方向へ走査して、画像の明度が相対的に所定以上高く変化するアップエッジと、画像の明度が相対的に所定以上低く変化するダウンエッジとを検出して路面の白線による明部を抽出し、路面画像の縦方向の各位置で前記レーンの側縁部を代表する白線位置候補点を決定する白線位置候補点決定手段とを有する白線認識装置において、前記白線位置候補点決定手段を、前記路面画像の縦方向の同じ位置で、前記明部に対応する前記アップエッジと前記ダウンエッジとからなるペアエッジが複数検出されたときには、該複数のペアエッジの間の間隔に基づいて、前記複数のペアエッジの配列を判定し、前記複数のペアエッジに対して前記配列ごとに予め設定した所定の相対位置をとる点を白線位置候補点とするように設定する。
【０００９】
複数の白線が形成された道路部分が、単一の白線が形成された道路部分に連なるとき、前記複数の白線と前記単一の白線とのレーン幅方向の相対位置は一定している。すなわち、複数の白線が形成された道路部分に単一の白線が形成されていたとしたときの、その単一の白線の仮想の形成位置は、前記複数の白線の配列により決まる。複数のペアエッジの配列から前記複数の白線の配列が特定できるから、複数の白線が形成された道路部分において、当該道路部分が単一の白線が形成された道路部分であったならば得られたであろう白線位置候補点と同等の白線位置候補点を得ることができる。したがって、前記ハフ変換において得られるレーンの側縁部の位置や形状を記述する線と、実際のレーンの側縁部に沿った線とが乖離することがない。
【００１０】
請求項２の構成では、請求項１の発明の構成において、請求項１記載の白線位置決定装置において、前記白線位置候補点決定手段を、前記複数のペアエッジとして、路面画像の横方向の中央側から第１のペアエッジおよび第２のペアエッジが配列し、第１のペアエッジのダウンエッジと第２のペアエッジのアップエッジとの間隔が予め設定した基準値よりも小さいときには、前記白線位置候補点を、第２のペアエッジが１つのみ検出されたとしたときの白線位置候補点とするように設定する。
【００１１】
道路には、路肩側で単一の白線が続く道路部分の他、前記単一の白線に連なる白線と、該白線よりも道路の中央側で前記白線と近接並行する別の白線とが形成された道路部分がある。この道路部分ではまた、両白線の間隔が比較的近接している。かかる道路部分に対応する路面画像では、路面画像横方向の中央側すなわちレーンの中央側から第１のペアエッジおよび第２のペアエッジが存在し、第１のペアエッジのダウンエッジと第２のペアエッジのアップエッジとの間隔が比較的小さい間隔で配列している。したがって、複数のペアエッジが前記のごとく配列しているときには、前記白線位置候補点を、第２のペアエッジが１つのみ検出されたとしたときの白線位置候補点とすることで、前記第１、第２のペアエッジが検出された道路部分が単一の白線が形成された道路部分であったならば得られたであろう白線位置候補点と同等の白線位置候補点が得られる。
【００１２】
請求項３の構成では、請求項１の発明の構成において、前記白線位置候補点決定手段を、前記複数のペアエッジとして、路面画像の横方向の中央側から第１のペアエッジおよび第２のペアエッジが配列し、第１のペアエッジのダウンエッジと第２のペアエッジのアップエッジとの間隔が予め設定した基準値よりも大きいときには、前記白線位置候補点を、第１のペアエッジのダウンエッジと第２のペアエッジのアップエッジとで挟まれた暗部にペアエッジが１つのみ検出されたとしたときの白線位置候補点とするように設定する。
【００１３】
道路には、隣接レーンとの境界部で単一の白線が続く道路部分の他、２本の白線が並行する道路部分がある。隣接レーンとの境界はこの２本の白線の中間位置であり、両白線で挟まれた白線非形成の帯状部が前記単一の白線に連なる。この道路部分ではまた、両白線の間隔が比較的空いている。かかる道路部分に対応する路面画像では、路面画像横方向の中央側すなわちレーンの中央側から第１のペアエッジおよび第２のペアエッジが存在し、第１のペアエッジのダウンエッジと第２のペアエッジのアップエッジとの間隔が比較的大きい間隔で配列している。したがって、複数のペアエッジが前記のごとく配列しているときには、前記白線位置候補点を、第１のペアエッジのダウンエッジと第２のペアエッジのアップエッジとで挟まれた暗部にペアエッジが１つのみ検出されたとしたときの白線位置候補点とすることで、前記第１、第２のペアエッジが検出された道路部分が単一の白線が形成された道路部分であったならば得られたであろう白線位置候補点と同等の白線位置候補点が得られる。
【００１６】
請求項４の構成では、車両に搭載されて、走行するレーンを含む前方の路面画像を撮る撮像手段と、撮られた路面画像を横方向へ走査して、画像の明度が相対的に所定以上高く変化するアップエッジと、画像の明度が相対的に所定以上低く変化するダウンエッジとを検出して路面の白線による明部を抽出し、路面画像の縦方向の各位置で前記レーンの側縁部を代表する白線位置候補点を決定する白線位置候補点決定手段とを有する白線認識装置において、
前記白線位置候補点決定手段を、前記路面画像の縦方向の同じ位置で、前記明部に対応する前記アップエッジから予め設定した上限値を越えてダウンエッジが検出されないときは、前記アップエッジから予め設定した所定の基準値離れた位置に仮想のダウンエッジがあるものとみなして、前記アップエッジと前記仮想のダウンエッジとからなるペアエッジに対して前記所定の相対位置をとる点を白線位置候補点とするように設定する。
【００１７】
２つの道路の合流部には、両道路で挟まれて鋭角の三角状の領域が作られている。その、各道路のレーンの側縁を規定する白線は、三角状の領域を縁取って形成されて、両白線がＶ字状をなしている。そして、前記三角状領域には、両白線を橋渡しするように別の白線が形成され、該白線は両道路が合流するまで縞状に複数形成される。縞状白線位置で路面画像を走査したときアップエッジのみが検出されることになる。前記白線位置候補点を、前記アップエッジから予め設定した所定の基準値離れた位置に仮想のダウンエッジがあるものとみなして、前記アップエッジと前記仮想のダウンエッジとからなるペアエッジに対して前記所定の相対位置をとる点を白線位置候補点とすることで、アップエッジのみが検出された道路部分において、当該道路部分が単一の白線が形成された道路部分であったならば得られたであろう白線位置候補点と同等の白線位置候補点を得ることができる。したがって、前記ハフ変換において得られるレーンの側縁部の位置や形状を記述する線と、実際のレーンの側縁部に沿った線とが乖離することがない。
【００１８】
【発明の実施の形態】
図１に高速道路や自動車専用道路等での自動走行システムを構成する本発明の白線認識装置の構成を示す。白線認識装置は撮像部１と白線認識部２とを有し、車両に搭載されている。撮像部１はＣＣＤカメラやＣＭＯＳカメラであり、ルームミラーにレンズを前方に向けて設けられ、車両前方の路面画像を撮るようになっている。白線認識部２はマイクロコンピュータを中心に、入出力回路、通信回路等から構成されている。撮像部１で得られた車両前方の画像（適宜、路面画像という）のデータは、白線認識部２の入力バッファ２１に入力し、入力バッファ２１で路面画像データを白線位置演算部（ＣＰＵ）２２で取り込み可能な形式に変換し、ＣＰＵ２２に出力する。ＣＰＵ２２では自己車両が走行しているレーンの側縁部の位置や形状を規定する線（白線位置）を演算する。
【００１９】
白線認識部２は、車両のステアリングを自動操舵するレーンキープＥＣＵ３、車両が白線から逸脱しそうになると運転者に警報を発するレーン逸脱ＥＣＵ４と通信ネットワークを構成している。白線認識部２には、レーンキープＥＣＵ３、レーン逸脱ＥＣＵ４とのデータの送受信を行うための送受信バッファ２３を備えており、前記白線位置の演算結果は送受信バッファ２３に転送されて、レーンキープＥＣＵ３やレーン逸脱ＥＣＵ４に送信される。
【００２０】
図２にＣＰＵ２２で実行される演算のフローを示す。本フローは例えば垂直同期信号から一定のオフセットをもってタイマ割り込みにより所定周期で起動する。先ず、ステップＳ１１では、路面画像を取り込み、各画素の明度を参照できるようにする。
【００２１】
ステップＳ１２では、白線位置候補点を決定する。白線位置候補点の決定は先ず道路幅方向すなわち路面画像の横方向に走査して明部を抽出する。図３に示すように、白線の側縁では、明度がステップ状に立ち上がるか立ち下がるので、走査方向に隣接する画素で、明度が＋方向に変化したら（アップエッジ）、明部の開始すなわち白線の幅方向の一方の側縁部の可能性があり、その後、明度が−方向に変化したら（ダウンエッジ）、明部の終了すなわち白線の幅方向の他方の側縁部の可能性があることになる。走査では、相隣れるアップエッジとダウンエッジとよりなるペアエッジを検出することになる。走査は図４に示すように６０回走査する。図中の番号（▲１▼〜）は走査順序を示しており、３０箇所の縦方向の位置で走査を行う。路面画像には、レーンの左側の側縁を規定する白線Ｌ０１とレーンの右側の側縁を規定する白線Ｌ０２とがハ字状に映じている。図例では、左側の白線Ｌ０１は路肩側の白線を、右側の白線Ｌ０２は隣接レーンとの境界となる白線を示している。
【００２２】
第１回目走査は、路面画像横方向中央から右方向に走査していき、隣接画素よりも明度が予め設定した基準値を越えて高ければアップエッジ、低ければ、ダウンエッジとする。走査を開始する前記路面画像横方向中央は、通常、レーンの中央である。そして、ペアエッジをなすアップエッジとダウンエッジとの間隔（以下、適宜、ペアエッジの幅という）が所定範囲にあるか否かに基づいて、白線による明部である蓋然性の高いペアエッジのみを得ることができる。ここで、白線による明部か否かをふるい分ける前記所定範囲は、路面画像の縦方向の位置に応じて（したがって何回目の走査かに応じて）可変とし、前記特開平７−２８２２６８号公報にあるように、車両と近く白線が幅広に映じる路面画像下側ほど大きな値が与えるようにする。これにより、縦方向の位置によらず、鳥瞰図換算で例えば白線とみなし得る幅が幅の下限のしきい値以上に収まるペアエッジのみを得ることができる。走査が路面画像の右端の画素まできたら、第１回目走査は終了となる。なお、走査では詳しくは後述するように、この、白線による明部である蓋然性の高いペアエッジのデータに基づいて、自己車両が走行するレーンの側縁位置である白線位置候補点を決定する。
【００２３】
同様にして、第２回目は縦方向位置は同じ位置で逆に画像横方向中央から左方向に走査し、隣接画像よりも明度が高ければアップエッジ、低ければ、ダウンエッジとする。走査が路面画像の左端の画素まできたら、第２回目走査は終了となる。当該走査においても白線位置候補点を決定する。
【００２４】
次に、縦方向に座標を下方にずらし、第３回目、第４回目の走査を行う。第３回目の走査は、第１回目と同様に、画像横方向中央から右方向に走査し、アップエッジおよびダウンエッジを検出する。第４回目の走査は、第２回目と同様に、画像横方向中央から左方向に走査することになる。このように、縦方向の３０か所について、横方向に左右交互に走査して、アップエッジおよびダウンエッジを検出する。これにより、路面画像全体の、白線による明部である蓋然性の高いペアエッジのみのデータが集められ、各走査において白線位置候補点が決定される。
【００２５】
各縦方向位置の走査において、図５に示すように、アップエッジＥ１１の後、これと対をなすダウンエッジＥ１２がきて（ペアエッジＥ１検出）、ダウンエッジＥ１２から予め設定したしきい値を越えてアップエッジが検出されなければ、当該走査範囲では、白線Ｌ１が１本のみの「１本線」と判定する。この場合は、アップエッジとダウンエッジとの中間位置を、白線位置候補点とする。
【００２６】
また、各縦方向位置の走査において、図６に示すように、アップエッジＥ２１１の後、これと対をなすダウンエッジＥ２１２がきて（第１のペアエッジＥ２１検出）、さらに、アップエッジＥ２２１の後、これと対をなすダウンエッジＥ２２２がきた（第２のペアエッジＥ２２検出）場合で、ダウンエッジＥ２２２からペアエッジの間隔のしきい値を越えてアップエッジが検出されなければ、当該走査範囲では、白線Ｌ２１，Ｌ２２が２本の「２本線」と判定する。
【００２７】
また、図７は白線が２本の別の態様を示している。各縦方向位置の走査において、アップエッジＥ３１１の後、これと対をなすダウンエッジＥ３１２がきて（第１のペアエッジＥ３１検出）、さらに、アップエッジＥ３２１の後、これと対をなすダウンエッジＥ３２２がきた（第２のペアエッジＥ３２検出）場合で、ダウンエッジＥ３２２から前記しきい値を越えてアップエッジが検出されなければ、当該走査範囲では、白線Ｌ３１，Ｌ３２が２本の「２本線」と判定する。
【００２８】
ここで、第１のペアエッジＥ２１（Ｅ３１）のダウンエッジＥ２１２（Ｅ３１２）と第２のペアエッジＥ２２（Ｅ３２）のアップエッジＥ２２１（Ｅ３２１）との間隔が前記しきい値よりも小さいときには、白線の配列が図６に示す配列であると判定することができる。この配列は、道路の路肩との境界部に現れる配列であり、道路の路肩側が連続した白線Ｌ２１で、道路の中央側が破線状の白線Ｌ２２となっているものと判断できる。この配列では、路肩側の白線Ｌ２１が図５のような「１本線」の白線に連なる。したがって、この場合は、第２のペアエッジＥ２２のアップエッジＥ２２１とダウンエッジＥ２２２との中間位置を、白線位置候補点とする（投票）。
【００２９】
また、「２本線」の場合で、第１のペアエッジＥ２１（Ｅ３１）のダウンエッジＥ２１２（Ｅ３１２）と第２のペアエッジＥ２２（Ｅ３２）のアップエッジＥ２２１（Ｅ３２１）との間隔が前記しきい値よりも大きいときには、白線の配列が図７に示す配列であると判定することができる。この配列は、隣接レーンとの境界部に現れる配列であり、隣接レーンとの境界はこの２本の白線Ｌ３１，Ｌ３２の中間位置である。この配列では、第１のペアエッジＥ３１のダウンエッジＥ３１２と第２のペアエッジＥ３２のアップエッジＥ３２１とで挟まれた帯状の暗部が図５のような「１本線」の白線に連なる。したがって、この場合は、前記暗部に白線があるものとみなして、第１のペアエッジＥ３１のダウンエッジＥ３１２と第２のペアエッジＥ３２のアップエッジＥ３２１との中間位置を、白線位置候補点とする（投票）。図例では並行する２本の白線Ｌ３１，Ｌ３２のところと、１本の白線Ｌ３３のところとが交互に現れるものを示しているが、必ずしもこれに限定されるものではない。
【００３０】
あるいは、第１のペアエッジＥ３１のアップエッジＥ３１１と第２のペアエッジＥ３２のダウンエッジＥ３２２との中間位置を白線位置候補点とする。
【００３１】
なお、前記間隔のしきい値は、前記幅下限しきい値と同様に路面画像の縦方向位置に応じて可変とし、図６の場合と図７の場合とを区別し得るように白線の仕様に基づいて設定される。鳥瞰図換算で例えば３０ｃｍとする。
【００３２】
また、各縦方向位置の走査において、図８に示すように、アップエッジＥ４１１の後、これと対をなすダウンエッジＥ４１２がきて（第１のペアエッジＥ４１検出）、さらに、アップエッジＥ４２１の後、これと対をなすダウンエッジＥ４２２がきて（第２のペアエッジＥ４２検出）、さらに、アップエッジＥ４３１の後、これと対をなすダウンエッジＥ４３２がきた（第３のペアエッジＥ４３検出）場合は、当該走査範囲では、白線Ｌ４１，Ｌ４２，Ｌ４３が３本の「３本線」と判定する。この配列は隣接レーンとの境界部に現れる配列であり、隣接レーンとの境界は真ん中の第２の白線Ｌ４２の中間位置である。この配列では、第２のペアエッジＥ４２が図５のような「１本線」の白線に連なる。ここで、３本の白線Ｌ４１〜Ｌ４３は同じ幅の等価なもので、等間隔に配列しているから、第１のペアエッジＥ４１のアップエッジＥ４１１と第３のペアエッジＥ４３のダウンエッジＥ４３２との中間位置を、白線位置候補点とする（投票）。
【００３３】
あるいは、第２のペアエッジＥ４２の中間位置を白線位置候補点とする。
【００３４】
また、各縦方向位置の走査において、図９に示すように、アップエッジＥ５１１が検出された後、予め設定したしきい値を越えてダウンエッジが検出されないときは、当該走査範囲では、通常の白線とは異なる白塗りパターンＬ５１，Ｌ５２，Ｌ５３でレーンの側縁部が規定されているものと判定する。ここで、前記しきい値はレーンの側縁部に沿う前記白線Ｌ１，Ｌ２１等とみなせる白線の幅の上限のしきい値に設定する。幅上限しきい値も路面画像の縦方向の位置に応じて可変とするのは勿論であり、例えば、鳥瞰図換算で４０ｃｍとする。
【００３５】
このような状況は例えば２つの道路の合流部で現れる。２つの道路の合流部には、両道路で挟まれて鋭角の三角状の領域Ａが作られている。その、２つの道路のレーンの側縁を規定する白塗りパターンＬ５１〜Ｌ５３は、第１の道路の側縁を規定する白線Ｌ５１、第２の道路の側縁を規定する白線Ｌ５２が、三角状領域Ａを縁取って形成されて、両白線Ｌ５１，Ｌ５２でＶ字状をなしている。そして、前記三角状領域Ａには、両白線Ｌ５１，Ｌ５２を橋渡しするように別の白線Ｌ５３が形成され、該白線Ｌ５３は両道路が合流するまで縞状に複数形成される。縞状白線Ｌ５３位置で路面画像を走査したときアップエッジＥ５１１のみが検出されることになる。
【００３６】
この場合は、白線位置候補点を、前記アップエッジＥ５１１から予め設定した所定の距離の位置とする（投票）。ここで、所定の距離は前記白線Ｌ１，Ｌ２１等の標準の幅の１／２に設定する。すなわち、前記アップエッジＥ５１１から前記標準の幅離れた位置に仮想のダウンエッジがあるものとみなして白線位置候補点を決定することになる。なお、前記標準の幅も路面画像の縦方向の位置に応じて可変とするのは勿論であり、例えば、鳥瞰図換算で２０ｃｍとする。
【００３７】
続くステップＳ１３では、路面画像中の白線位置候補点が投票されてハフ変換がなされ、仮白線位置を決定する。ハフ変換は、投票された白線位置候補点を通る直線を特定する２つのパラメータで特定される二次元空間で、路面画像中のすべての白線位置候補点が投票されたときに、頻出するものを求めることにより行う。この直線は、レーンの側縁の位置や形状を記述する仮の線となる。
【００３８】
前記ステップＳ１２において、路面画像に現れた道路部分で白線の態様が単純な「１本線」でなくとも、当該道路部分が単一の白線が形成された道路部分であったならば得られたであろう白線位置候補点と同等の白線位置候補点を得ることができるので、ステップＳ１３で得られる直線は車両直前ではレーンの側縁の位置や方向を良好に示している。この直線上の点が仮白線位置となる。
【００３９】
続くステップＳ１４では、前記仮白線位置から左右に走査してペアエッジを探索し、ペアエッジが存在したら、これを記憶する。なお、このペアエッジに、前記仮白線位置上に存在しているペアエッジも含まれる。
【００４０】
ステップＳ１５では、探索されたペアエッジに基づいて前記白線位置候補点と同様にレーンの側縁部を代表する点を求め、これらの点群について最小自乗近似し、この曲線が、レーンの側縁の位置や形状を記述する線となる。この曲線上の点が最終的な白線位置となる。
【００４１】
白線位置についての情報は、送受信バッファ２３を介してレーンキープＥＣＵ３に送信され、自動操舵の制御量に反映される。また、レーン逸脱警報ＥＣＵ４に送信され、自己車両がレーンを逸脱していないか否かの判断に供される。
【００４２】
このように、本実施形態によれば、白線位置候補点として、図６〜図９に示すような道路部分が単一の白線が形成された道路部分であったならば得られたであろう白線位置候補点と同等の白線位置候補点を求めるようにしているので、レーンの側縁の位置や形状を記述する線と、実際のレーンの側縁に沿った線とが乖離することがなく、応答性よく正確に白線の位置を求めていくことができる。
【００４３】
また、複数の白線の配列として図６〜図８を示しているが、これに限られるものではなく、道路標識として使用されているものがあれば、その複数の白線の配列に対応した複数のペアエッジが検出されたときに、当該複数のペアエッジに対して予め設定した所定の相対位置をとる点を白線位置候補点とする。これにより、複数のペアエッジが検出された道路部分が単一の白線が形成された道路部分であったならば得られたであろう白線位置候補点と同等の白線位置候補点が得られる。
【００４４】
なお、本実施形態では、白線の位置を白線のレーン幅方向の中間位置で代表させているが、中間位置に限定されるものではなく任意である。例えば、自動走行の制御やレーンの逸脱の警報を発するか否かの判定において、レーンのうち、その幅方向のどの範囲を車両が走行すべきかは適宜、設定し得るものであるからである。
【００４５】
また、車両前方の路面画像を撮る撮像部はデジタル信号を出力する構成として、画像信号を入力バッファで受けているが、撮像部を、画像信号をアナログ信号で出力する撮像部としてもよく、この場合、図１０に示すように、撮像部１Ａからの画像信号をアナログデジタル変換器２４でデジタル信号に変換して入力バッファ２１に出力する。
【００４６】
また、図１１に示すように、撮像部１やアナログデジタル変換器２４からのデジタルの画像信号は、路面画像各画素の明度について一時に蓄積する画像メモリ２５に格納して、ここから適宜、ＣＰＵ２２に取り込むようにしてもよい。また、入力バッファ２１や画像メモリ２５のような外部メモリを有する構成ではなく、近年のＣＰＵの高速化に鑑み、デジタル画像信号がＣＰＵに直接入力するようにしてもよい。
【図面の簡単な説明】
【図１】本発明の白線認識装置の構成図である。
【図２】前記白線認識装置における、白線位置の演算処理手順を説明するフローチャートである。
【図３】前記白線認識装置における、路面画像から白線による明部を抽出する手順を説明する第１の図である。
【図４】前記白線認識装置における、路面画像から白線による明部を抽出する手順を説明する第２の図である。
【図５】路面に形成される白線の種類を示す第１の図である。
【図６】路面に形成される白線の種類を示す第２の図である。
【図７】路面に形成される白線の種類を示す第３の図である。
【図８】路面に形成される白線の種類を示す第４の図である。
【図９】路面に形成される白線の種類を示す第５の図である。
【図１０】前記白線認識装置の変形例を示す第１の図である。
【図１１】前記白線認識装置の変形例を示す第２の図である。
【符号の説明】
１，１Ａ 撮像部（撮像手段）
２ 白線認識部
２１ 入力バッファ
２２ 白線位置演算部（白線位置候補点決定手段）
２３ 送受信バッファ
３ レーンキープＥＣＵ
４ レーン逸脱ＥＣＵ
Ｌ０１，Ｌ０２，Ｌ１，Ｌ２１，Ｌ２２，Ｌ３１，Ｌ３２，Ｌ３３，Ｌ４１，Ｌ４２，Ｌ４３，Ｌ５１，Ｌ５２，Ｌ５３ 白線
Ｅ１，Ｅ２１，Ｅ２２，Ｅ３１，Ｅ３２，Ｅ４１，Ｅ４２，Ｅ４３ ペアエッジ
Ｅ１１，Ｅ２１１，Ｅ２２１，Ｅ３１１，Ｅ３２１，Ｅ４１１，Ｅ４２１，Ｅ４３１，Ｅ５１１ アップエッジ
Ｅ１２，Ｅ２１２，Ｅ２２２，Ｅ３１２，Ｅ３２２，Ｅ４１２，Ｅ４２２，Ｅ４３２ ダウンエッジ
Claims (4)
- 車両に搭載されて、走行するレーンを含む前方の路面画像を撮る撮像手段と、撮られた路面画像を横方向へ走査して、画像の明度が相対的に所定以上高く変化するアップエッジと、画像の明度が相対的に所定以上低く変化するダウンエッジとを検出して路面の白線による明部を抽出し、路面画像の縦方向の各位置で前記レーンの側縁部を代表する白線位置候補点を決定する白線位置候補点決定手段とを有する白線認識装置において、
前記白線位置候補点決定手段を、前記路面画像の縦方向の同じ位置で、前記明部に対応する前記アップエッジと前記ダウンエッジとからなるペアエッジが複数検出されたときには、該複数のペアエッジの間の間隔に基づいて、前記複数のペアエッジの配列を判定し、前記複数のペアエッジに対して前記配列ごとに予め設定した所定の相対位置をとる点を白線位置候補点とするように設定したことを特徴とする白線認識装置。 - 請求項１記載の白線認識装置において、前記白線位置候補点決定手段を、前記複数のペアエッジとして、路面画像の横方向の中央側から第１のペアエッジおよび第２のペアエッジが配列し、第１のペアエッジのダウンエッジと第２のペアエッジのアップエッジとの間隔が予め設定した基準値よりも小さいときには、前記白線位置候補点を、第２のペアエッジが１つのみ検出されたとしたときの白線位置候補点とするように設定した白線認識装置。
- 請求項１記載の白線認識装置において、前記白線位置候補点決定手段を、前記複数のペアエッジとして、路面画像の横方向の中央側から第１のペアエッジおよび第２のペアエッジが配列し、第１のペアエッジのダウンエッジと第２のペアエッジのアップエッジとの間隔が予め設定した基準値よりも大きいときには、前記白線位置候補点を、第１のペアエッジのダウンエッジと第２のペアエッジのアップエッジとで挟まれた暗部にペアエッジが１つのみ検出されたとしたときの白線位置候補点とするように設定した白線認識装置。
- 車両に搭載されて、走行するレーンを含む前方の路面画像を撮る撮像手段と、撮られた路面画像を横方向へ走査して、画像の明度が相対的に所定以上高く変化するアップエッジと、画像の明度が相対的に所定以上低く変化するダウンエッジとを検出して路面の白線による明部を抽出し、路面画像の縦方向の各位置で前記レーンの側縁部を代表する白線位置候補点を決定する白線位置候補点決定手段とを有する白線認識装置において、
前記白線位置候補点決定手段を、前記路面画像の縦方向の同じ位置で、前記明部に対応する前記アップエッジから予め設定した上限値を越えてダウンエッジが検出されないときは、前記アップエッジから予め設定した所定の基準値離れた位置に仮想のダウンエッジがあるものとみなして、前記アップエッジと前記仮想のダウンエッジとからなるペアエッジに対して前記所定の相対位置をとる点を白線位置候補点とするように設定したことを特徴とする白線認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002116012A JP3930366B2 (ja) | 2002-04-18 | 2002-04-18 | 白線認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002116012A JP3930366B2 (ja) | 2002-04-18 | 2002-04-18 | 白線認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003308534A JP2003308534A (ja) | 2003-10-31 |
| JP3930366B2 true JP3930366B2 (ja) | 2007-06-13 |
Family
ID=29397040
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002116012A Expired - Fee Related JP3930366B2 (ja) | 2002-04-18 | 2002-04-18 | 白線認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3930366B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4957021B2 (ja) * | 2006-03-08 | 2012-06-20 | トヨタ自動車株式会社 | 車両用地図データ作成装置、及び、車両用地図データ更新装置 |
| JP4937030B2 (ja) | 2007-07-24 | 2012-05-23 | ルネサスエレクトロニクス株式会社 | 車両用画像処理装置 |
| JP5035284B2 (ja) | 2009-03-25 | 2012-09-26 | 株式会社日本自動車部品総合研究所 | 車両周辺表示装置 |
| JP5293815B2 (ja) * | 2009-06-02 | 2013-09-18 | 日本電気株式会社 | 画像処理装置、画像処理方法、及び画像処理用プログラム |
| JP5402828B2 (ja) * | 2010-05-21 | 2014-01-29 | 株式会社デンソー | 車線境界検出装置、車線境界検出プログラム |
| US8977005B2 (en) * | 2010-09-17 | 2015-03-10 | Nec Corporation | Carried item region extraction device, carried item region extraction method, and computer readable medium |
| JP5716443B2 (ja) * | 2011-02-16 | 2015-05-13 | 日産自動車株式会社 | 車線境界検出装置及び車線境界検出方法 |
| JP6367725B2 (ja) * | 2015-01-30 | 2018-08-01 | 株式会社Ｓｏｋｅｎ | ゼブラゾーン認識装置及び走行区画線認識装置 |
| JP7095559B2 (ja) | 2018-11-09 | 2022-07-05 | トヨタ自動車株式会社 | 区画線検出装置及び区画線検出方法 |
| CN110378854B (zh) * | 2019-07-17 | 2021-10-26 | 上海商汤智能科技有限公司 | 机器人图像增强方法及装置 |
-
2002
- 2002-04-18 JP JP2002116012A patent/JP3930366B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003308534A (ja) | 2003-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20100110193A1 (en) | Lane recognition device, vehicle, lane recognition method, and lane recognition program | |
| US7403219B2 (en) | Driving lane recognizer and driving lane recognizing method | |
| US8340866B2 (en) | Vehicle and steering control device for vehicle | |
| JP4992990B2 (ja) | 区画線検出装置 | |
| JP5679461B2 (ja) | 有効車線区分線を確定する方法及び装置 | |
| JP4603970B2 (ja) | 道路区画線検出装置 | |
| WO2007111220A1 (ja) | 道路区画線検出装置 | |
| JP5561064B2 (ja) | 車両用対象物認識装置 | |
| JP2011180982A (ja) | 区画線検出装置 | |
| JP3930366B2 (ja) | 白線認識装置 | |
| US9830518B2 (en) | Lane mark recognition device | |
| KR101406316B1 (ko) | 차선 인식 장치 및 그 방법 | |
| JP2009187169A (ja) | 走行レーン検出装置 | |
| JP4939137B2 (ja) | 車線認識装置 | |
| JP3807583B2 (ja) | 道路領域判定装置 | |
| JP2008030619A (ja) | 道路区画線種別判定装置、及び、道路区画線認識装置 | |
| JP2008165610A (ja) | 道路区画線認識装置 | |
| US7933434B2 (en) | Vehicle and lane mark recognizes | |
| JP3807651B2 (ja) | 白線認識装置 | |
| JP4532372B2 (ja) | 道路区画線検出装置 | |
| JP4821348B2 (ja) | 道路区間線検出装置及び方法並びにプログラム | |
| JP2007018451A (ja) | 道路区画線検出装置 | |
| JPH08172620A (ja) | 車両用画像入力手段 | |
| JP4572826B2 (ja) | 道路区画線検出装置 | |
| JPH07244717A (ja) | 車両用走行環境認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040608 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061212 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070306 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070308 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3930366 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110316 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120316 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120316 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130316 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140316 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |