JP6093314B2 - 境界線認識装置 - Google Patents

Description

本発明は境界線認識装置に関する。

自車両の前方をカメラで撮像した画像においてエッジ点を抽出し、そのエッジ点に基づき車線の境界線を認識する技術が知られている（特許文献１参照）。

特開平５−１６４５６９号公報

境界線の１種として、図９に示すような破線Ｐ１がある。破線Ｐ１は、単位線分Ｐ３と、欠落区間Ｐ５とが、道路の走行方向（図９における上下方向）に沿って、交互に並んだ構造を有する。ここで、単位線分Ｐ３は、一定の幅と、長手方向における有限の長さとを有し、境界線以外の路面とは異なる色（例えば、白色、黄色等）を有する領域である。また、欠落区間Ｐ５は、境界線以外の路面と同様の色を有する部分である。

破線Ｐ１を含む画像においてエッジ点を抽出すると、単位線分Ｐ３の長手方向に沿った端部上のエッジ点Ｐ７に加えて、欠落区間Ｐ５に面する端部上のエッジ点Ｐ９も抽出される。エッジ点Ｐ９の横方向（道路の走行方向に直交する方向）における位置は、エッジ点Ｐ７からずれている。

破線Ｐ１について認識される境界線は、本来、エッジ点Ｐ７を通る線Ｐ１１となるべきであるが、エッジ点Ｐ９が存在すると、破線について境界線を正確に認識することが困難となる。本発明は以上の点に鑑みなされたものであり、破線を含む境界線を正確に認識できる境界線認識装置を提供することを目的とする。

本発明の境界線認識装置は、自車両の前方の道路を含む範囲の画像を取得する画像取得手段と、画像においてエッジ点を水平ライン毎に抽出するエッジ点抽出手段と、エッジ点抽出手段で抽出した水平ライン毎のエッジ点のうち、破線の欠落区間に面するエッジ点Ａを検出するエッジ点Ａ検出手段と、エッジ点抽出手段で抽出したエッジ点のうち、エッジ点Ａの少なくとも一部を除いたエッジ点を用いて境界線を認識する境界線認識手段とを備えることを特徴とする。

本発明の境界線認識装置は、エッジ点抽出手段で抽出したエッジ点のうち、エッジ点Ａの少なくとも一部（一部のエッジ点Ａ又は全部のエッジ点Ａ）を除いたエッジ点を用いて境界線を認識することにより、境界線を正確に認識できる。

境界線認識装置１の構成を表すブロック図である。 カメラ３の配置を表す側面図である。 境界線認識装置１が実行する処理を表すフローチャートである。 図４Ａは連続した境界線１０７について抽出したエッジ点１０９を表す説明図であり、図４Ｂは破線１１３について抽出したエッジ点１１５を表す説明図である。 境界線認識装置１が実行する欠落区間補間処理を表すフローチャートである。 欠落区間１１７が仮想エッジ点１２３により補間された破線１１３を表す説明図である。 境界線認識装置１が実行する欠落区間補間処理を表すフローチャートである。 欠落区間１１７が仮想エッジ点１２７により補間された破線１１３を表す説明図である。 破線Ｐ１と、抽出したエッジ点Ｐ７、Ｐ９を表す説明図である。

本発明の実施形態を図面に基づき説明する。
＜第１の実施形態＞
１．境界線認識装置１の構成
境界線認識装置１の構成を図１、図２に基づき説明する。境界線認識装置１は、車両に搭載され、車線の境界線（連続した白線、破線等）を認識する車載装置である。境界線認識装置１は、図１に示すように、カメラ３、及び制御部５を備える。

カメラ３は、図２に示すように、境界線認識装置１を搭載する車両（以下、自車両とする）１０１の車室内のうち、フロントガラス１０３の上端付近に設置されている。カメラ３は、自車両１０１の前方の道路１０５を含む範囲の画像を撮影し、取得することができる。カメラ３は、撮影した画像のデータを制御部５に出力する。

制御部５は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備えた周知のコンピュータであり、カメラ３で撮影した画像を用いて、後述する処理を実行し、車線の境界線を認識する。制御部５は、認識した境界線の情報を、警報生成部１０６に出力する。

なお、警報生成部１０６は、自車両１０１に搭載された車載装置であり、境界線認識装置１から入力した境界線の情報を用いて、各種処理を実行する。例えば、自車両１０１と境界線との距離、境界線の長手方向と自車両１０１の走行方向との角度、自車両１０１の速度等に基づき、自車両１０１が境界線から逸脱する危険の有無を判断する。逸脱する危険があると判断した場合は、自車両１０１のドライバに対し、音声出力、画像表示等から成る警報を行う。また、境界線からの逸脱を防止するための自動操舵を行う。

カメラ３は画像取得手段の一例である。制御部５はエッジ点抽出手段、エッジ点Ａ検出手段、エッジ点Ｂ検出手段、補間手段、及び境界線認識手段の一例である。
２．境界線認識装置１が実行する処理
境界線認識装置１が実行する処理を図３〜図６に基づき説明する。境界線認識装置１は、図３のフローチャートに示す処理を、所定時間ごとに繰り返し実行し、境界線を認識する。図３のステップ１では、カメラ３を用いて、自車両１０１の前方の道路を含む範囲の画像を取得する。

ステップ２では、まず、前記ステップ１で取得した画像において、水平ライン（縦方向の座標値が全て等しい全ての画素）毎に、微分フィルタを使用して微分値を算出する。つまり、水平ラインを構成する複数の画素において、隣接する画素間における輝度値の変化率を算出する。次に、算出した微分値が、所定の閾値以上であるか否かを判定し、微分値が閾値以上であれば隣接する画素間で輝度値が大きく変化したものとして、その画素の座標値をエッジ点として抽出し、登録する。画像中の全ての画素について上記の処理を実行する。

図４Ａに、連続する（欠落区間がない）境界線１０７が画像中に存在する場合に抽出されたエッジ点１０９を示す。エッジ点１０９は、境界線１０７の端部１０７Ａ上に抽出される。

また、図４Ｂに、破線１１３が画像中に存在する場合に抽出されたエッジ点１１５を示す。破線１１３は、単位線分１１４と、欠落区間１１７とから成る。単位線分１１４は、一定の幅と、長手方向における有限の長さとを有し、境界線以外の路面とは異なる色（例えば、白色、黄色等）を有する領域である。また、欠落区間１１７とは、境界線以外の路面と同様の色を有する部分である。破線１１３において、単位線分１１４と、欠落区間１１７とは、道路の走行方向に沿って、交互に並んでいる。

エッジ点１１５は、単位線分１１４の外周の端部に沿って抽出される。エッジ点１１５は、２種類に分類できる。一つは、欠落区間１１７に面する端部１２０上のエッジ点１１５Ａである。もう一つは、単位線分１１４の長手方向（図４Ｂにおける上下方向であって、車線の走行方向）に沿った端部１１９上のエッジ点１１５Ｂである。

なお、欠落区間１１７に面する端部１２０は、必ずしも、エッジ点の抽出に用いる水平ラインと平行ではなく、端部１２０と水平ラインとが交差することがある。この場合、この交差点で輝度値が大きく変化し、エッジ点１１５Ａが抽出される。エッジ点１１５Ａは、図４Ｂに示すように、エッジ点１１５Ｂ上を通る曲線からは外れた位置に存在する。

ステップ３では、画像中に破線が存在するか否かを判断する。具体的には、前記ステップ２で抽出したエッジ点の配列に、破線に特有のパターンがあれば、破線が存在すると判断し、そのパターンが無ければ、破線が存在しないと判断する。ここで、破線に特有のパターンとは、図４Ｂに示すように、車線の走行方向に沿う曲線上で、エッジ点が小さい間隔で並んでいる区間（一つの単位線分１１４における端部１１９に相当する区間）と、所定の長さ以上にわたってエッジ点が存在しない区間（欠落区間１１７に相当する区間）とが交互に並んでいるパターンである。破線が存在する場合はステップ４に進み、破線が存在しない場合はステップ８に進む。

ステップ４では、前記ステップ２で抽出したエッジ点のうち、上述した特有のパターンを構成するエッジ点を、エッジ点１１５Ｂとして検出する。
ステップ５では、前記ステップ２で抽出したエッジ点のうち、エッジ点１１５Ａを検出する。具体的には、まず、エッジ点１１５Ｂが所定の長さ以上にわたって存在しないことを手がかりとして、欠落区間１１７の位置を特定する。次に、欠落区間１１７に面しているエッジ点を、エッジ点１１５Ａとして検出する。

ステップ６では、欠落区間１１７の両側に位置するエッジ点１１５Ｂの間を、仮想エッジ点により補間する処理を実行する。この処理を図５、図６に基づき説明する。図５のステップ１１では、まず、図６に示すように、最も多くのエッジ点１１５Ｂを通る近似曲線１２１を作成する。

ステップ１２では、図６に示すように、近似曲線１２１のうち、欠落区間１１７を通る部分上に、所定の間隔で仮想エッジ点１２３を作成する。
図３に戻り、ステップ７では、エッジ点１１５Ｂ及び仮想エッジ点１２３を用いて境界線を認識する。具体的には、エッジ点１１５Ｂ及び仮想エッジ点１２３をハフ変換し、最も多くのエッジ点１１５Ｂ及び仮想エッジ点１２３を通る線を、境界線として認識する。よって、本ステップ７では、前記ステップ２で抽出したエッジ点のうち、エッジ点１１５Ａを除いたエッジ点を用いて境界線を認識する。

一方、前記ステップ３で否定判断した場合はステップ８に進む。ステップ８では、前記ステップ２で抽出した全てのエッジ点を用いて境界線を認識する。すなわち、前記ステップ２で認識した全エッジ点をハフ変換し、最も多くのエッジ点を通る線を、境界線として認識する。

３．境界線認識装置１が奏する効果
（１）境界線認識装置１は、破線である境界線を認識するとき、抽出したエッジ点のうち、エッジ点１１５Ａを除いたエッジ点を用いて境界線を認識する。エッジ点１１５Ａは、図４Ｂに示すとおり、エッジ点１１５Ｂ上を通る曲線から外れた位置にあるので、仮に、エッジ点１１５Ａを含むエッジ点を用いて境界線を認識すれば、その認識が不正確になってしまうおそれがあるが、上記のように、エッジ点１１５Ａを除くことにより、境界線を正確に認識できる。

（２）境界線認識装置１は、破線である境界線を認識するとき、欠落区間１１７の両側に位置するエッジ点１１５Ｂの間を、仮想エッジ点１２３により補間し、エッジ点１１５Ｂ及び仮想エッジ点１２３を用いて境界線を認識する。そのことにより、境界線を一層正確に認識できる。

特に、自車両から遠く、エッジ点１１５Ｂの数が少ない場所や、道路がカーブしている場所においても、境界線を一層正確に認識できる。
＜第２の実施形態＞
１．境界線認識装置１の構成
本実施形態の境界線認識装置１は、前記第１の実施形態と同様の構成を有する。

２．境界線認識装置１が実行する処理
本実施形態の境界線認識装置１は、基本的には、前記第１の実施形態と同様の処理を実行する。ただし、欠落区間補間処理（前記ステップ６参照）において相違する。以下では、この相違点を中心に図７及び図８を用いて説明する。境界線認識装置１は、図７のフローチャートに示す欠落区間補間処理を実行する。

図７のステップ２１では、まず、図８に示すように、前回認識された境界線と平行な曲線１２５により欠落区間１１７の両側に位置するエッジ点１１５Ｂの間を結ぶ。
ステップ２２では、図８に示すように、前回認識された境界線と平行な曲線１２５上に、所定の間隔で仮想エッジ点１２７を作成する。

本実施形態では、欠落区間補間処理において、エッジ点１１５Ｂ及び仮想エッジ点１２７を用いて境界線を認識する。具体的には、エッジ点１１５Ｂ及び仮想エッジ点１２７をハフ変換し、最も多くのエッジ点１１５Ｂ及び仮想エッジ点１２７を通る線を、境界線として認識する。

３．境界線認識装置１が奏する効果
（１）本実施形態の境界線認識装置１は、前記第１の実施形態と同様の効果を奏する。
（２）本実施形態の境界線認識装置１は、仮想エッジ点１２７を作成する処理において、前回認識された境界線と平行な曲線１２５を用いる。そのため、近似曲線１２１を作成する必要がない。その結果、制御部５の処理負担を軽減できる。
＜第３の実施形態＞
１．境界線認識装置１の構成
本実施形態の境界線認識装置１は、前記第１の実施形態と同様の構成を有する。

２．境界線認識装置１が実行する処理
本実施形態の境界線認識装置１は、基本的には、前記第１の実施形態と同様の処理を実行する。ただし、本実施形態では、破線である境界線を認識するとき、仮想エッジ点１２３による補間を行わず、エッジ点１１５Ｂを用いて境界線を認識する。すなわち、エッジ点１１５Ｂをハフ変換し、最も多くのエッジ点１１５Ｂを通る線を、境界線として認識する。

３．境界線認識装置１が奏する効果
（１）本実施形態の境界線認識装置１は、前記第１の実施形態と略同様の効果を奏する。

（２）本実施形態の境界線認識装置１は、仮想エッジ点１２３を作成する処理を行わないので、制御部５の処理負担を軽減できる。
＜その他の実施形態＞
（１）前記第１〜第３の実施形態において、破線の境界線を認識するとき、エッジ点１１５Ａの一部（例えば、エッジ点１１５Ｂに近いもの）を、境界線の認識に用いてもよい。

（２）前記第２の実施形態において仮想エッジ点１２７の作成のために使用する平行な曲線１２５は、過去に認識された境界線であればよく、前回よりもさらに前に認識された境界線（例えば、ｎ回前の処理で認識された境界線（ｎは２、３、４・・・））であってもよい。

（３）前記第１〜第３の実施形態において、エッジ点に基づき境界線を認識する処理には、カルマンフィルタを用いてもよい。また、前記第１の実施形態において、近似曲線１２１を作成する処理には、カルマンフィルタを用いてもよい。

（４）前記第１〜第３の実施形態において、各エッジ点の尤度（境界線らしさの確信度）を算出し、尤度が所定の閾値以上であるエッジ点を用いて境界線を認識してもよい。この場合、エッジ点１１５Ａの尤度が低くなるようにして、境界線の認識にはエッジ点１１５Ａが使用されないようにすることができる。

（５）前記第１〜第３の実施形態における構成の全部又は一部を適宜組み合わせてもよい。

１…境界線認識装置、３…カメラ、５…制御部、１０１…自車両、１０３…フロントガラス、１０５…道路、１０６…警報生成部、１０７…境界線、１０７Ａ…端部、１０９…エッジ点、１１３…破線、１１４…単位線分、１１５、１１５Ａ、１１５Ｂ…エッジ点、１１７…欠落区間、１１９、１２０…端部、１２１…近似曲線、１２３、１２７…仮想エッジ点、１２５…前回認識された境界線と平行な曲線

Claims (4)

1. 自車両（１０１）の前方の道路（１０５）を含む範囲の画像を取得する画像取得手段（３）と、
   前記画像においてエッジ点を水平ライン毎に抽出するエッジ点抽出手段（５）と、
   前記エッジ点抽出手段で抽出した水平ライン毎の前記エッジ点のうち、破線（１１３）の欠落区間（１１７）に面するエッジ点Ａ（１１５Ａ）を検出するエッジ点Ａ検出手段（５）と、
   前記エッジ点抽出手段で抽出した前記エッジ点のうち、前記エッジ点Ａを除いた前記エッジ点を用いて境界線を認識する境界線認識手段（５）と、
   を備えることを特徴とする境界線認識装置（１）。
2. 前記エッジ点抽出手段で抽出した前記エッジ点のうち、破線の長手方向に沿った端部上のエッジ点Ｂ（１１５Ｂ）を検出するエッジ点Ｂ検出手段（５）と、
   前記欠落区間の両側に位置する前記エッジ点Ｂの間を、仮想エッジ点（１２３、１２７）により補間する補間手段（５）と、
   を備え、
   前記境界線認識手段は、前記エッジ点Ｂ及び前記仮想エッジ点を用いて前記境界線を認識することを特徴とする請求項１に記載の境界線認識装置。
3. 前記補間手段は、前記エッジ点Ｂに関する近似曲線（１２１）を作成し、その近似曲線上に前記仮想エッジ点を作成することを特徴とする請求項２に記載の境界線認識装置。
4. 前記補間手段は、過去に認識された境界線と平行な曲線（１２５）で前記欠落区間の両側に位置する前記エッジ点Ｂの間を結び、その平行な曲線上に前記仮想エッジ点を作成することを特徴とする請求項２に記載の境界線認識装置。