JP5215236B2 - 車線境界線種別推定装置及び車線境界線種別推定方法 - Google Patents

Description

本発明は、道路上に描かれている車線境界線の種別を推定する技術に関する。

従来、車線逸脱警報システム等の走行支援システムに利用するため、車両前方に向けて搭載したカメラで前方風景を撮影し、道路上に描かれた車線境界線（白線等）のパラメータ（自車との相対位置、角度あるいは車線の曲率等）を推定する装置が知られている。

これらの車線境界線推定装置では、通常、取得画像からエッジ点を検出し、ハフ変換によって投票数が最多の直線を車線境界線として特定し、車線境界線パラメータを算出している。

しかし、この方法では、車線境界線の種別を推定することができない。例えば、車線境界線が実線であるのか破線であるのか、また、破線の場合には、ペイント部とギャップ部の長さを推定することができない。

これに対し、エッジ点情報を利用して車線境界線の長さを計測する方法があり、（例えば、特許文献１参照）、継続した車線境界線の長さから車線境界線の種別を推定することが可能である。

特開２００７−２５４９５５号公報

ところが、上記方法では、エッジ点情報を利用して長さを計測すると処理負荷が大きくなってしまうという問題がある。つまり、カメラで取得した連続画像の画像毎にエッジ点検出処理を行い、得られたエッジ点画像から車線境界線を抽出する。そして、抽出した車線境界線が直線であるのか、破線であるのか、或いはその他の車線境界線であるのを判定する判定処理を行うという一連の処理を行う必要があるため、処理負荷が大きくなってしまうのである。
本発明は、こうした問題に鑑みなされたもので、処理負荷の少ない車線境界線種別推定装置及び車線境界線種別推定方法を提供することを目的とする。

かかる問題を解決するためになされた請求項１に記載の車線境界線種別推定装置（１：この欄においては、発明に対する理解を容易にするため、必要に応じて「発明を実施するための形態」欄において用いた符号を付すが、この符号によって請求の範囲を限定することを意味するものではない。）は、画像取得手段（１０）、特性抽出手段（２２）、種別推定手段（２４）を備えている。

画像取得手段（１０）は、車両（３０）に搭載され、車両（３０）周辺の画像を連続的に取得し、特性抽出手段（２２）は、画像取得手段（１０）で取得した連続画像の各画像から道路上の車線境界線を示す特性値を抽出し、種別推定手段（２４）は、特性抽出手段（２２）で抽出した道路の車線境界線を示す特性値の時間的増減パターンに基づいて、車線境界線の種別を推定する。

このような車線境界線種別推定装置（１）では、車線境界線を示す特性値が画像取得手段（１０）で取得した連続画像から抽出される。したがって、抽出される特性値は、車線境界線の種類によって時間的に変化したり変化しなかったりすることになる。

例えば、車線境界線が直線かつ実線である場合、車線境界線を示す特性値は、連続的に取得された各画像中で一定の値を示すので、時間的に変化しない。一方、車線境界線が直線であっても破線の場合には、連続的に取得された各画像において特性値が異なる値となるので、時間的に変化する。

さらに、車線境界線の特性値の時間的な変化は、車線境界線の種類によって、あるパターンで増減したり、変化しなかったりする。例えば、車線境界線が直線で実線の場合、特性値は変化しないし、直線で破線の場合には、特性値は一定の間隔で増減する。したがって、道路の車線境界線を示す特性値の時間的な増減パターンに基づいて、車線境界線の種別を推定することができる。

このように、画像取得手段（１０）で連続的に取得された画像の特性値を抽出し、その時間的な増減パターンによって車線境界線の種別を推定するので、連続画像の一つ一つ対し、画像中の車線境界線を抽出する必要がない。つまり、連続画像の一つ一つに対して車線境界線の抽出処理を行う必要がないので、処理負荷の少ない車線境界線種別推定装置（１）とすることができる。

特性抽出手段（２２）で抽出する特性値を求める方法としては、画像取得手段（１０）で取得した連続画像の各画像からエッジ点を検出し、検出したエッジ点から道路上の車線境界線を示す特性値を求めるようにする。すると、従来の実績のある公知手法により容易かつ正確にエッジ点を検出することができるので、車線境界線の特性値を容易かつ正確に求めることができる。

また、検出したエッジ点から車線境界線の特性値を求めるために、特性抽出手段（２２）は、特性値として、各画像のエッジ点をハフ変換することによって得られた各画像の投票数を算出し、種別推定手段（２４）は、特性値として、ハフ変換により算出された投票数の時間的増減パターンに基づいて、車線境界線の種別を推定するようにする。このようにすると、ハフ変換における投票数の時間的増減パターンから車線境界線の種別を推定することができる。

例えば、車線境界線が実線の場合、連続的な画像の一つ一つの画像にハフ変換を行うと、各画像の車線境界線の部分の投票数が一定であるので、投票数は時間的に変化しない。それに対し、車線境界線が破線の場合、連続的な画像の一つ一つの画像にハフ変換を行うと、各画像中で破線のうちの実線部分の投票数が変化するので、投票数が時間的に増減を繰り返す。したがって、投票数の時間的増減パターンから、車線境界線の種別を推定することができるのである。

請求項２に記載の車線境界線種別推定方法は、車両（３０）に搭載され、その車両（３０）周辺の画像を連続的に取得する画像取得手段（１０）で取得した連続画像の各画像から道路上の車線境界線を示す特性値を抽出する特性抽出工程（Ｓ１００〜Ｓ１１０）と、特性抽出工程（Ｓ１００〜Ｓ１１０）で抽出した道路の車線境界線を示す特性値の時間的増減パターンに基づいて、車線境界線の種別を推定する種別推定工程と、により、車線境界線の種別を推定することを特徴とする。

このような、車線境界線種別推定方法では、請求項１に記載の車線境界線種別推定装置（１）と同様に、画像取得手段（１０）で連続的に取得された画像の特性値を抽出し、その時間的な変化によって車線境界線の種別を推定するので、連続画像の一つ一つ対し、画像中の車線境界線を抽出する必要がない。つまり、連続画像の一つ一つに対して車線境界線の抽出処理を行う必要がないので、処理負荷の少ない車線境界線種別推定方法とすることができる。

また、特性抽出工程（Ｓ１００〜Ｓ１１０）では、画像取得手段（１０）で取得した連続画像の各画像からエッジ点を検出し、検出したエッジ点から道路上の車線境界線を示す特性値を求めるようにする。すると、請求項１に記載の車線境界線種別推定装置（１）と同様に、従来の実績のある公知手法により容易かつ正確にエッジ点を検出することができるので、車線境界線の特性値を容易かつ正確に求めることができる。

また、特性抽出工程（Ｓ１００〜Ｓ１１０）では、特性値として、各画像のエッジ点をハフ変換することによって得られた前記各画像の投票数を算出し、種別推定工程は、特性値として、ハフ変換により算出された投票数の時間的増減パターンに基づいて、車線境界線の種別を推定するようにする。すると、請求項１に記載の車線境界線種別推定装置（１）と同様に、ハフ変換における投票数の時間的増減パターンから車線境界線の種別を推定することができる。

車線境界線種別推定装置１の概略の構成を示すブロック図である。 道路上の車線境界線の種別の差異による特性の違いを模式的に示す図である。 ハフ変換を行った際の投票数の時間変化を示す図である。 制御装置２０で実行される制御処理の流れを示すフローチャートである。

以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。

［第１実施形態］
図１は、本発明が適用された車線境界線種別推定装置１の概略の構成を示すブロック図である。車線境界線種別推定装置１は、図１に示すように、車載カメラ１０及び制御装置２０を備えている。また、制御装置２０は、特性抽出用ＤＳＰ２２及び種別推定用ＤＳＰ２４を備えている。

車載カメラ１０は、車両３０に搭載され、車両３０周辺の画像を連続的に取得するものであり、可視画像を取得することができるＣＣＤカメラや撮像管を用いたカメラ又は赤外線画像を取得することができる赤外線カメラである。

特性抽出用ＤＳＰ２２は、車載カメラ１０で取得した連続画像の各画像から道路上の車線境界線を示す特性値を抽出するためのＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略）であり、以下の（ア）、（イ）に示す処理を実行する。

（ア）車載カメラ１０で取得した連続画像の各画像からエッジ点を検出する。エッジ点の検出は、各画像からキャニー法や微分エッジ検出法などの手法により行う。
（イ）検出したエッジ点をハフ変換し、道路上の車線境界線を示す特性値としてハフ変換における投票数を算出する。

種別推定用ＤＳＰ２４は、特性抽出用ＤＳＰ２２で抽出した道路の車線境界線を示す特性値の時間的増減パターンに基づいて、車線境界線の種別を推定するためのＤＳＰであり、以下の（ウ）に示す処理を実行する。

（ウ）特性値として、ハフ変換により算出された投票数の時間的増減パターンに基づいて、車線境界線の種別を推定する。車線種別による推定方法は後述する。
（車線境界線種別推定装置１の作動）
次に図２及び図３に基づき、車線境界線種別推定装置１の作動について説明する。図２は、道路上の車線境界線の種別の差異による特性の違いを模式的に示す図であり、図３は、車載カメラ１０で取得した連続画像に対してエッジ点検出とハフ変換を行った際の投票数の時間変化を示す図である。

車線境界線には、図２（ａ）に示すように、破線（図２（ａ）中「α」で示す部分）や直線（図２（ａ）中「β」で示す部分）がある。
図２（ａ）中「α」で示す破線の車載境界線部分（以下、破線αとも呼ぶ）を車載カメラ１０で連続的に撮影した画像を時間軸に沿って並べると図２（ｂ）に示すようになる。

すなわち、車載カメラ１０を搭載した車両３０が一定速度で走行すると、破線αの１つ１つが遠方から次々に車両３０に近づいてくる。
したがって、車載カメラ１０で車両前方から側方近傍にかけての画像を連続的に取得すると、連続画像のそれぞれの画像には、車両３０に近づいて、車両３０の側方近傍に流れていく破線αが映ることになる。

したがって、車載カメラ１０で取得した連続画像、つまり、車両３０に近づいてくる破線αが映っている連続画像の処理領域Ａと処理領域Ｂの部分を、時系列に並べたもの、すなわち、横軸に時間をとり、連続画像の処理領域Ａと処理領域Ｂに存在する破線αを時間軸上に配置すると図２（ｂ）に示すようになる。

したがって、特性抽出用ＤＳＰ２２において、（ア）に記載したように、車載カメラ１０で取得した連続画像の各画像からエッジ点を検出し、（イ）に記載したように、（ア）において検出した検出したエッジ点のうち、画像中の処理領域Ａ及び処理領域Ｂのエッジ点ついてハフ変換を行いそれぞれの処理領域Ａ、Ｂの投票数を算出する。

そして、種別推定用ＤＳＰ２４において、（ウ）に記載したように、（イ）において算出された処理領域Ａ，Ｂの投票数をそれぞれ時系列に並べ、その時間変化に基づいて車線境界線の種別を推定する。

具体的には、車線境界線が破線αの場合には、図３中に■で示すように、処理領域Ａの投票数は、０からまで増加し、その後０まで減少し、再び増加するという投票数の増減のパターンとなる。

このように投票数が増減するのは、車線境界線が破線αであるために、車線境界線が存在するペイント部分では投票数が高く、車線境界線が存在しないギャップ部分では投票数が０となり、車両３０の走行にしたがって、投票数が高い部分と低い部分とが画像中で交互に現れるからである。

逆に、処理領域Ｂでは、図３中に▲で示すように、投票数が８から０に減少した後、０から１０へと増加し、その後減少するという処理領域Ａとは逆の増減パターンとなる。これは、処理領域Ａと同じ理由によるのであるが、処理領域Ａと異なり、最初処理領域Ｂに存在していた車線境界線が車両Ｂの走行にしたがって、処理領域Ｂ外へ移動していくためである。

また、車線境界線が破線ではなく、実線（ギャップ部分がなく線のすべてがペイントされている線）である場合には、車両３０が走行しても、処理領域Ａ，Ｂの領域において投票数には変化が生じない。

さらに、追越し禁止表示のように、道路上に破線と実線とが近接して並列に描かれている場合には、車両３０の進行にしたがって投票数は増減するが、投票数は０まで減少せず、投票数の最大値も破線の場合に比較して大きくなる。

このように、車線境界線の種類によって投票数の時間的増減のパターンが異なるので、投票数の時間的変化に基づいて車線境界線の種別を推定するのである。
（車線境界線種別推定装置１の特徴）
以上のような車線境界線種別推定装置１は、車載カメラ１０で連続的に取得された画像の特性値として算出したハフ変換による投票数の時間的な変化によって車線境界線の種別を推定するので、連続画像の一つ一つ対し、画像中の車線境界線を抽出する必要がない。つまり、連続画像の一つ一つに対して車線境界線の抽出処理を行う必要がないので、処理負荷の少ない車線境界線種別推定装置１とすることができる。

［第２実施形態］
次に、第１実施形態の制御装置２０をＤＳＰの代わりにＣＰＵで構成した第２実施形態について説明する。

第２実施形態では、制御装置２０をＲＯＭ、ＲαＭ及びＩ／Ｏにより構成し、ＲＯＭに格納した制御プログラムにより、以下の（エ）〜（カ）に示す制御処理を実行する。
（エ）車載カメラ１０で取得した連続画像の各画像からエッジ点を検出する。

（オ）検出したエッジ点をハフ変換することによって得られた各画像の投票数を算出する。
（カ）（オ）において算出した投票数の時間的増減パターンに基づいて、車線境界線の種別を推定する。

（制御処理）
具体的に、制御装置２０で実行される制御処理について図４に基づき説明する。図４は、制御装置２０で実行される制御処理の流れを示すフローチャートである。制御処理は、図４に示すように、Ｓ１００において車載カメラ１０から画像を取得する。

続くＳ１０５では、Ｓ１００において取得した画像からエッジ点を検出する。つまり、Ｓ１００において取得した画像からキャニー法や微分エッジ検出法などの手法によりエッジ点を検出するのである。

続くＳ１１０では、Ｓ１０５において検出したエッジ点のうち、画像中の処理領域Ａ及び処理領域Ｂのエッジ点ついてハフ変換を行いそれぞれの処理領域Ａ、Ｂの投票数を算出する。

続くＳ１１５において所定時間が経過したか否かが判定され、所定時間が経過したと判定された場合（Ｓ１１５：Ｙｅｓ）、処理がＳ１２０へ移行され、所定時間が経過していないと判定された場合（Ｓ１１５：Ｎｏ）、処理がＳ１００へ戻され、次の画像に対して処理が繰り返される。

Ｓ１２０では、Ｓ１１０において算出した各処理領域Ａ，Ｂの投票数に基づき、車線境界線の種別を推定する。つまり、Ｓ１１０において算出された処理領域Ａ，Ｂの投票数をそれぞれ時系列に並べる。

そして、第１実施形態における種別推定用ＤＳＰ２４の処理（上記（ウ）及び車線境界線種別推定装置１の作動において説明した処理）と同じ処理により、ハフ変換により算出された投票数の時間的変化に基づいて車線境界線の種別を推定するのである。

このように、車載カメラ１０で得られた連続画像をＣＰＵによって処理することによっても、第１実施形態における車線境界線種別推定装置１と同様な効果が得られる。
以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではなく、種々の態様を採ることができる。

例えば、上記実施形態では、車載カメラ１０に可視カメラを用いたが、赤外線カメラを用いれば、夜間において車線境界線の種別を推定できるようになる。

１…車線境界線種別推定装置、１０…車載カメラ、２０…制御装置、２２…特性抽出用ＤＳＰ、２４…種別推定用ＤＳＰ、３０…車両。

Claims (2)

1. 車両に搭載され、前記車両周辺の画像を連続的に取得する画像取得手段と、
   前記画像取得手段で取得した連続画像の各画像から道路上の車線境界線を示す特性値を抽出する特性抽出手段と、
   前記特性抽出手段で抽出した道路の車線境界線を示す特性値の時間的増減パターンに基づいて、車線境界線の種別を推定する種別推定手段と、
   を備え、
   前記特性抽出手段は、
   前記画像取得手段で取得した連続画像の各画像からエッジ点を検出し、該検出したエッジ点をハフ変換することによって得られた前記各画像の投票数を算出し、該算出した前記各画像の投票数を前記道路上の車線境界線を示す特性値として抽出し、
   前記種別推定手段は、
   前記特性値として、前記ハフ変換により算出された投票数の時間的増減パターンに基づいて、車線境界線の種別を推定することを特徴とする車線境界線種別推定装置。
   
2. 車両に搭載され、前記車両周辺の画像を連続的に取得する画像取得手段で取得した連続画像の各画像からエッジ点を検出し、該検出したエッジ点をハフ変換することによって得られた前記各画像の投票数を算出して、道路上の車線境界線を示す特性値を抽出する特性抽出工程と、
   前記特性抽出工程で抽出した道路の車線境界線を示す特性値として、前記ハフ変換により算出された投票数の時間的増減パターンに基づいて、車線境界線の種別を推定する種別推定工程と、
   により、車線境界線の種別を推定することを特徴とする車線境界線種別推定方法。