JP5430232B2 - 道路方向認識方法及び装置 - Google Patents

Description

本発明は道路方向認識方法及び装置に係り、特に、車載撮像装置で撮像された画像より走行道路の方向を検出する道路方向認識方法及び装置に関する。

走行車線や走行道路の方向(図１参照)を検出してドライバーの安全運転を支援するシステムが要望されている。このため、道路に敷設された白線１，１′等のレーンマークを画像処理により認識し、ドライバーに対して走行車線を逸脱している場合の警報を行い、あるいは、レーンマークの認識結果を用いて走行道路の方向を検出して車両のステアリング制御を行う手法が提案されている(特許文献１参照)。この従来技術では、例えば、図２に示すように、撮影画像よりレーンマークの可能性がある画像部分（候補レーンマークという)を検出し(ステップS51)、ついで、画像処理により候補レーンマークの中から真のレーンマークを検出し(ステップS52)、検出したレーンマークに基づいて道路方向を検出する(ステップS53)。すなわち、撮影画像における輝度変化部分(エッジ)を抽出し、該抽出したエッジを用いてレーンマークの位置推定を行い、該レーンマークの位置と道路の消失点を結ぶ方向を道路方向として推定する。
かかる従来技術の道路方向検出方法は、レーンマークを正確に認識する必要があるため、大量の計算処理を必要とし、高速高価な処理装置が必要となり、しかも、高速の道路方向検出ができない問題がある。

特開２００３−２２８７１１号公報

以上から、本発明の目的は、従来技術の上記欠陥を考慮して、レーンマークを正確に認識しなくても、候補レーンマークに基づき走行道路の方向を検出することができる道路方向認識方法及び装置を提供することである。

本発明は、車載撮像装置で撮像された画像より走行道路の方向を検出する道路方向認識方法及び道路方向認識装置である。
・道路方向認識方法
本発明の道路方向認識方法は、車両前方の撮影角度範囲を複数に分割して複数の方向領域を設定するステップ、前記撮像画像例えば消失線以下の画像部分からレーンマークの候補としての候補レーンマークを抽出するステップ、該抽出した各候補レーンマークが所属する前記方向領域を決定するステップ、前記方向領域毎に、該方向領域に所属する候補レーンマークの合計長さを算出するステップ、前記複数の方向領域のうち前記算出された候補レーンマークの合計長さが最も大きい方向領域の方向を、走行道路の方向として確定するステップ、を備えている。
前記方向領域を決定するステップは、前記候補レーンマークの二つの端点の座標をそれぞれ算出するステップ、前記座標に基づいて該候補レーンマークの傾きを算出するステップ、前記傾きに基づいて前記候補レーンマークが所属する前記方向領域を決定するステップ、を備えている。

・道路方向認識装置
本発明の道路方向認識装置は、車両前方の撮影角度範囲を複数に分割して複数の方向領域を設定する方向領域設定部、前記撮像画像例えば消失線以下の画像部分からレーンマークの候補としての候補レーンマークを抽出する候補レーンマーク抽出部、各候補レーンマークが所属する前記方向領域を決定して各候補レーンマークの方向を決定する方向決定部、前記方向領域毎に、方向領域に所属する候補レーンマークの合計長さを算出する合計長さ算出部、前記複数の方向領域のうち前記算出された候補レーンマークの合計長さが最も大きい方向領域の方向を、走行道路の方向として決定する道路方向決定部、を備えている。
前記候補レーンマークの方向を決定する方向決定部は、候補レーンマークの二つの端点の座標をそれぞれ算出する座標算出部、前記座標に基づいて前記候補レーンマークの傾きを算出する傾きを算出部、前記傾きに基づいて前記候補レーンマークが所属する前記方向領域を決定する方向領域決定部を備えている。

本発明によれば、車両前方の撮影角度範囲を複数に分割して複数の方向領域を設定し、前記撮像画像例えば消失線以下の画像部分からレーンマークの候補としての候補レーンマークを抽出し、該抽出した各候補レーンマークが所属する前記方向領域を決定し、前記方向領域毎に、該方向領域に所属する候補レーンマークの合計長さを算出し、前記複数の方向領域のうち前記算出された候補レーンマークの合計長さが最も大きい方向領域の方向を、走行道路の方向として確定するようにしたから、レーンマークを正確に認識しなくても、候補レーンマークに基づき道路の方向を検出することができる。
又、本発明によれば、レーンマークを正確に認識する必要がないため、計算量を低減し、道路方向の認識速度を向上することができる。

従来の道路方向検出の説明図である。 従来技術の道路方向検出処理の概略図である。 本発明の概略処理フローである。 本発明の一実施例に係る道路方向認識方法の処理フローである。 本発明の一実施例に係る方向領域および候補レーンマークの説明図である。 本発明に係る候補レーンマークの方向決定処理フローである。 本発明の実施例に係る道路方向認識装置の構成図である。

（A）本発明の原理
本発明は、図３に示すように、車両に搭載された撮像装置（以下、車載撮像装置という）で撮像された画像中の消失線以下の部分から候補レーンマークを抽出し(ステップS61)、抽出された候補レーンマークに基づき道路方向を算出する(ステップS62)。消失線は、従来のアルゴリズム（例えば、平行線交点などの方法）を利用して画像中の路面と背景の交線を計算したとき、該計算された交線あるいは該交線より若干上の水平線である。
なお、処理量は増えるが撮像画像の全体から候補レーンマークを抽出することもできる。
撮像された画像中の消失線より下の画像部分が主に道路を含む画像領域(道路領域)であり、該道路領域における道路の方向を代表するラインとして、例えばレーンマーク、路肩、ガードレールなどがあり、これらは、道路の全体に沿って設置され、それ自身の長さが非常に大きいという特徴を有している。本発明はこの特徴を用いて、道路領域から候補レーンマーク（レーンマーク、路肩、ガードレールなど）を抽出し、ある方向領域内に存在する候補レーンマークの合計長さが最も長ければ、この方向領域の方向が道路方向を代表するものとする。

（B）実施例
以下、図面を参照しながら本発明の実施例を詳しく説明する。
図４は本発明の一実施例に係る道路方向認識方法のフローチャートである。図４に示すように、まず、車両に搭載された撮像機で撮像された画像中の方向を例えば３つの方向領域に区画する。すなわち、車両前方１８０^０の撮影角度範囲を複数例えば３つに分割して３つの方向領域を設定する（ステップＳ１００）。本実施例では、図５（A）に示すように、３つの方向領域は、それぞれ画像中の左前側方向領域LFA、正面前方向領域CFA、右前側方向領域RFAであり、左前側方向領域LFAは、方向角０〜６０°の方向を含み、正面前方向領域CFAは、方向角６０〜１２０°の方向を含み、右前側方向領域RFAは、方向角１２０〜１８０°の方向を含んでいる。

次に、前記撮像された画像中の消失線以下の部分から各候補レーンマークを抽出し、該抽出した各候補レーンマークの方向を算出する（ステップＳ１１０）。この実施例では、従来技術と同様の方法で画像中の消失線以下の部分から候補レーンマーク（又は、擬似レーンマークという）を抽出する。例えば、特開2007−179386号公報に開示されている白線認識方法及び白線認識装置と同様の方法で画像から候補レーンマークを抽出することができる。すなわち、まず、レーンマーク（白線）の輝度が通常、両側の地面より高いとの特徴に基づき画像を２値化し、次に、エッジ検出及びハフ（Hough）直線抽出法で候補レーンマーク（擬似レーンマーク）を得ることができる。また、例えば、特開2004−240636号公報に開示されている白線検出方法と同一方法により画像から候補レーンマークを抽出することができる。この方法では、まず、画像に対してエッジ処理を行ってエッジ部を抽出し、次に、抽出されたエッジ部から白線の候補点を抽出し、これら白線候補点に対してノイズを除去し、最後に、これら白線候補点に基づき候補レーンマークを形成する。
図５（B）は、本発明の一実施例に係る候補レーンマークを示す概略図で、図１の撮影画像に対してエッジ抽出処理を施して得られた図形であり、Ａ，Ａを結ぶ直線位置が消失線の位置となる。図５（B）に示す丸付き数字１，２，３の矢印で示す線分は、レーンマーク、路肩、ガードレールなどの候補レーンマークであり、丸付き数字４，５，６の矢印が示す線分は、候補レーンマークではなく、背景妨害線に属する。なお、候補レーンマークの方向を算出の具体方法については図６を用いて後述する。

次に、方向領域LFA,CFA,RFAのそれぞれに所属する候補レーンマークを確定する（ステップＳ１２０）。即ち、方向が左前側方向領域LFAに位置している候補レーンマーク、方向が正面前方向領域CFAに位置している候補レーンマーク、方向が右前側方向領域RFAに位置している候補レーンマークを確定する。例えば、図示しないが候補レーンマークＣ１０、Ｃ２０およびＣ３０の方向がそれぞれ３０°、１００°及び１５０°であると仮定すれば、候補レーンマークＣ１０は左前側方向領域LFAに位置し、候補レーンマークＣ２０は正面前方向領域CFAに位置し、候補レーンマークＣ３０は右前側方向領域RFAに位置している。

次に、方向領域毎に方向領域に位置する候補レーンマークの合計長さを算出する（ステップＳ１３０）。即ち、方向が左前側方向領域LFAに位置する候補レーンマークの長さの合計を左前側方向領域の候補レーンマークの合計長さとして算出し、方向が正面前方向領域CFAに位置する候補レーンマークの長さの合計を正面前方向領域の候補レーンマークの合計長さとして算出し、方向が右前側方向領域RFAに位置する候補レーンマークの長さの合計を右前側方向領域の候補レーンマークの合計長さとして算出する。
例えば、図示しないが候補レーンマークＣ１０、Ｃ１４及びＣ１８が左前側方向領域LFAに位置し、候補レーンマークＣ２０、Ｃ２４及びＣ２８が正面前方向領域CFAに位置し、候補レーンマークＣ３０、Ｃ３４及びＣ３８が右前側方向領域RFAに位置すると仮定すれば、左前側方向領域LFAの候補レーンマークの合計長さは３つの候補レーンマークＣ１０、Ｃ１４及びＣ１８の長さの合計と等しく、正面前方向領域CFAの候補レーンマークの合計長さは３つの候補レーンマークＣ２０、Ｃ２４及びＣ２８の長さの合計と等しく、右前側方向領域RFAの候補レーンマークの合計長さは３つの候補レーンマークＣ３０、Ｃ３４及びＣ３８の長さと等しい。

最後に、算出された候補レーンマークの合計長さが最も大きい方向領域の方向を走行道路の方向として確定する（ステップＳ１４０）。例えば、左前側方向領域LFAの候補レーンマークの合計長さが３０、正面前方向領域CFAの候補レーンマークの合計長さが４５、右前側方向領域RFAの候補レーンマークの合計長さが３８であると仮定すれば、他の２つの方向領域の候補レーンマークの合計長さと比べて、正面前方向領域の候補レーンマークの合計長さは最も大きい。よって、正面前方向領域の方向（方向角６０〜１２０°の方向）を、画像中の道路方向として決定する。
上述の実施例では画像中の方向は３つの方向領域LFA、CFA、RFAに区画されているが、本発明はこれに限られないことは、当業者にとって自明である。本発明の他の実施例では、画像中の方向は、２つ又は４つ以上の方向領域に区画することができる。

図６は、本発明に係る候補レーンマークの方向算出方法を示すフローチャートである。図６に示すように、まず、撮像機キャリブレーション（Calibration）方法で画像中の各々の候補レーンマークの２つの端点の座標をそれぞれ算出する（ステップＳ３１０）。撮像機キャリブレーショ法は本分野で周知の技術であり、当業者にとって自明である（人民郵電出版社で出版した書号711511496Xである「画像処理分析及びマシンマシンビジョン（第２版）」を参照）。よって、ここでその詳細説明を省略する。
次に、算出された各候補レーンマークの座標に基づき、各候補レーンマークの傾きを算出する（ステップＳ３２０）。
最後に、算出された各候補レーンマークの傾きに基づいて各候補レーンマークが所属する方向領域を決定し、該方向領域の方向を候補レーンマークの方向とする（ステップＳ３３０）。
なお、以上の実施例では撮像機を車載撮像装置として車両前方の画像を取得しているが、本発明はこれに限られないことは、当業者にとって自明である。本発明の他の実施例では、車載撮像装置は、カメラなどであってもよい。

上述の実施例では、レーンマークを正確に認識しなくても、候補レーンマークに基づき道路の方向を検出することができる。
また、候補レーンマークに基づき道路方向を認識するので、レーンマークを正確に認識する必要がなく、計算量を低減し、道路方向の認識速度を向上することが可能となる。
上述の各実施例に係る方法は、ソフトウエア、ハードウエア、又はソフトウエアとハードウエアを組合わせた方法で実現することができる。

図７は本発明の実施例に係る道路方向認識装置の構成図である。図７に示すように、道路方向認識装置７０は、車両前方の風景を撮影する車載撮像装置７０１、車載撮像装置の撮影画像より候補レーンマークを抽出する候補レーンマーク抽出部７０２、前方１８０^０を複数の角度範囲に区分して複数の方向領域(例えば図５のLFA、CFA、RFA)を設定する方向領域設定部７０３、各候補レーンマークが所属する方向領域を決定する、すなわち、各候補レーンマークの方向を算出する方向算出モジュール７０４、方向領域毎にそれぞれに所属する候補レーンマークの合計長さを算出する合計長さ算出モジュール７０５及び最大合計長さに基づいて走行道路の方向を確定する道路方向確定モジュール７０９を有している。
方向算出モジュール７０４は、車載撮像装置７０１で撮像された画像中の消失線以下の部分から抽出された各候補レーンマークの方向(方向領域)を算出する。合計長さ算出モジュール７０５は、複数の方向領域LFA,CFA,RFAのそれぞれに属する候補レーンマークの合計長さを方向領域毎に算出する。道路確定モジュール７０９は、上記複数の方向領域のうち算出された候補レーンマークの合計長さが最も大きい方向領域を、走行道路の方向として確定する。

方向算出モジュール７０４は、座標算出モジュール７０４１、傾き算出モジュール７０４３、方向角算出モジュール７０４５を備えている。座標算出モジュール７０４１は、撮像機キャリブレーション法で各候補レーンマークの二つの端点の座標をそれぞれ算出する。傾き算出モジュール７０４３は、各候補レーンマークの二つの端点の座標に基づいて、各候補レーンマークの傾きを算出する。方向角算出モジュール７０４５は、各候補レーンマークの傾きに基づいて、該候補レーンマークが所属する方向領域を決定し、該方向領域の方向を候補レーンマークの方向とする。
以上、本発明を実施例に従って説明したが、本発明は実施例に限定されるものではなく、特許請求の範囲内において種々の変形が可能であり、本発明はこれら変形例にも及ぶものである。

７０ 道路方向認識装置
７０１ 車載撮像装置
７０２ 候補レーンマーク抽出部
７０３ 方向領域設定部
７０４ 方向算出モジュール
７０５ 合計長さ算出モジュール
７０９ 道路方向確定モジュール
７０４１ 座標算出モジュール
７０４３ 傾き算出モジュール
７０４５ 方向角算出モジュール

Claims (8)

1. 車載撮像装置で撮像された画像より走行道路の方向を検出する道路方向認識方法において、
   車両前方の撮影角度範囲を複数に分割して複数の方向領域を設定するステップ、
   前記撮像画像からレーンマークの候補としての候補レーンマークを抽出するステップ、
   該抽出した各候補レーンマークが所属する前記方向領域を決定するステップ、
   前記方向領域毎に、該方向領域に所属する候補レーンマークの合計長さを算出するステップ、
   前記複数の方向領域のうち前記算出された候補レーンマークの合計長さが最も大きい方向領域の方向を、走行道路の方向として確定するステップ、
   を備えたことを特徴とする道路方向認識方法。
2. 消失線以下の画像部分から前記レーンマークの候補を抽出する、
   ことを特徴とする請求項１記載の道路方向認識方法。
3. 前記方向領域を決定するステップは、
   前記候補レーンマークの二つの端点の座標をそれぞれ算出するステップ、
   前記座標に基づいて前記候補レーンマークの傾きを算出するステップ、
   前記傾きに基づいて前記候補レーンマークが所属する前記方向領域を決定するステップ、
   を備えることを特徴とする請求項１または請求項２記載の道路方向認識方法。
4. 前記方向領域は、前記画像中の左前側の方向領域、正面前方の方向領域、右前側の方向領域である、
   ことを特徴とする請求項３記載の道路方向認識方法。
5. 車載撮像装置で撮像された画像より走行道路の方向を検出する道路方向認識装置において、
   車両前方の撮影角度範囲を複数に分割して複数の方向領域を設定する方向領域設定部、
   前記撮像画像からレーンマークの候補としての候補レーンマークを抽出する候補レーンマーク抽出部、
   各候補レーンマークが所属する前記方向領域を決定して各候補レーンマークの方向を決定する方向決定部、
   前記方向領域毎に、方向領域に所属する候補レーンマークの合計長さを算出する合計長さ算出部、
   前記複数の方向領域のうち前記算出された候補レーンマークの合計長さが最も大きい方向領域の方向を、走行道路の方向として決定する道路方向決定部、
   を備えたことを特徴とする道路方向認識装置。
6. 前記候補レーンマーク抽出部は、消失線以下の画像部分から前記レーンマークの候補を抽出する、
   ことを特徴とする請求項５記載の道路方向認識装置。
7. 前記候補レーンマークの方向を決定する方向決定部は、
   前記候補レーンマークの二つの端点の座標をそれぞれ算出する座標算出部、
   前記座標に基づいて前記候補レーンマークの傾きを算出する傾きを算出部、
   前記傾きに基づいて前記候補レーンマークが所属する前記方向領域を決定する方向領域決定部、
   を備えることを特徴とする請求項５または請求項６記載の道路方向認識装置。
8. 前記方向領域設定部は、前記方向領域として、前記画像中の左前側の方向領域、正面前方の方向領域、右前側の方向領域の３つの領域を設定する、
   ことを特徴とする請求項７記載の道路方向認識装置。

Images