JP5434277B2 - 走行支援装置および走行支援方法 - Google Patents

Description

本発明は、走行支援装置および走行支援方法に関するものである。

車両前方を撮像した画像データから路側帯領域を特定し、路側帯領域内で検出されたエッジの強度に基づいて、物体が飛び出す可能性を算出する技術が知られている（特許文献１）。

特開２００７−２３３４７０号公報

しかしながら、路面の状態、エッジ強度が検出される対象物または該対象物の背景の明度の状態、およびエッジ強度を検出する時間帯が昼間であるか夜間であるかなどにより、対象物から検出されるエッジ強度が変化するため、従来技術では、物体が飛び出す可能性を適切に判断できない場合があった。

本発明が解決しようとする課題は、自車両が走行する走路に、物体が飛び出す可能性を適切に算出することができる走行支援装置を提供することである。

本発明は、路側帯領域に存在する構造物の特徴点に基づいて、自車両の進行方向の空間と交差する交差空間を検出し、この交差空間に基づいて、自車両が走行する走路に、物体が飛び出す可能性を算出することにより、上記課題を解決する。

本発明によれば、路面の状態、エッジ強度が検出される対象物または対象物の背景の明度、およびエッジ強度を検出する時間帯が昼間であるか夜間であるかなどに影響されることなく、物体が飛び出す可能性を適切に判断することができる。

本実施形態に係る走行支援システムの構成図である。 カメラの設置例を示す側面図および平面図である。 ディスプレイの画面上に表示される車両前方の画像の一例を示す図である。 エッジの移動情報を算出する方法例を説明するための図である。 横速度情報を有する画素を説明するための図である。 縦速度情報を有する画素を説明するための図である。 最下点位置を検出する手法例を説明するための図である。 境界線領域を抽出する手法例を説明するための図である。 境界線を検出する手法例を説明するための図である。 境界線に基づいて検出されるレーンマークと走路境界線とを説明するための図である。 第１画素列を説明するための図である。 第２画素列を説明するための図である。 対象領域を説明するための図である。 対象領域の幅ｗと交差空間の幅Ｗとの関係を説明するための図である。 対象領域の幅ｗと交差空間の幅Ｗとの関係を説明するための図である。 対象領域に接する第２画素列と交差空間の高さＨとの関係を説明するための図である。 属性情報を説明するための図であり、ディスプレイの画面上に表示される画像の一例である。 属性情報を説明するための図であり、ディスプレイの画面上に表示される画像の一例である。 本実施形態に係る走行支援処理のフローチャートを示す図（その１）である。 本実施形態に係る走行支援処理のフローチャートを示す図（その２）である。 本実施形態の交差空間検出処理のフローチャートを示す図（その１）である。 本実施形態の交差空間検出処理のフローチャートを示す図（その２）である。 本実施形態の飛び出し可能性算出処理のフローチャートを示す図である。

本実施形態に係る走行支援システムは、車両に搭載され、車両が走行する走路に、物体が飛び出す可能性を算出し、算出した飛び出し可能性に応じて、ユーザの運転支援を行うためのシステムである。以下、本発明の実施形態を図面に基づいて説明する。

図１は、走行支援システムの構成図を示す図である。

走行支援システムは、図１に示すように、カメラ１０、制御装置２０、車両コントローラ３０、スピーカ４０、およびディスプレイ５０から構成される。これらの構成は、ＣＡＮ（Controller Area Network）などの車載ＬＡＮにより接続され、互いにデータの授受を行うことができる。

以下、各構成について説明する。

カメラ１０は、撮像素子上に複数の画素を備え、輝度画像を撮像するものであり、例えば、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが挙げられる。カメラ１０は、車両前方の道路状況を連続的に撮像し、撮像された画像データは、制御装置２０に送信される。なお、カメラ１０としては、カラーの画像を撮像するものであっても、白黒の画像を撮像するものであってもよい。

図２は、カメラ１０の設置例を示す。図２（ａ）はカメラ１０を搭載する車両を側面から見た図であり、また図２（ｂ）はカメラ１０を搭載する車両を上方から見た図である。図２に示すように、本実施形態では、カメラ１０を車両室内のフロントウィンドウ上部に、車両前方に向けて設置する。

Ｘ，Ｙ，Ｚ軸からなる車両座標系において、カメラ１０の光軸ＬＳは、図２に示すように、車両の走行方向（ドライバ正面方向）であるＺ軸方向に向くように調整され、また車両の走行方向と直交するＸ軸方向が路面と平行となるように調整され、さらにＹ軸方向が路面と垂直になるように調整される。

図３は、ディスプレイ５０の画面上に表示される車両前方の画像の一例を示す図である。図３に示すように、カメラ１０により撮像された撮像画像は、画像左上の頂点を原点Ｏとするｘｙ座標系（カメラ座標系）によって表され、原点Ｏから右方向へ延在する軸をｘ軸とし、原点から下へ延在する軸をｙ軸とする。図３に示すように、撮像画像には、立体の静止物である外壁などの構造物と、静止物であるレーンマークなどが含まれる。

図１に示すように、走行支援システムの制御装置２０は、本実施形態に係る走行支援処理を実行するためのプログラムを格納したＲＯＭ（Read Only Memory）２１と、このＲＯＭ２１に格納されたプログラムを実行するＣＰＵ（Central Processing Unit）２２と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）２３と、を備える。なお、動作回路としては、ＣＰＵ（Central Processing Unit）２２に代えて又はこれとともに、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを用いることができる。

次に、走行支援システムの制御装置２０が備える処理機能について説明する。制御装置２０は、画像取得機能、エッジ抽出機能、移動情報算出機能、最下点位置検出機能、境界線検出機能、交差空間検出機能、飛び出し可能性算出機能、属性情報付加機能、および出力機能を有する。

以下、上述した制御装置２０が実現する機能についてそれぞれ説明する。

画像取得機能は、図３に示すような車両前方の画像データを、カメラ１０から受信し、制御装置２０のＲＡＭ２３に格納する。なお、上述したように、カメラ１０は車両前方の道路状況を連続的に撮像するため、画像取得機能は、カメラ１０により連続的に撮像された車両前方の画像データを、フレームごとにＲＡＭ２３に格納する。

エッジ抽出機能は、画像取得機能により取得された画像データから、物体の外延（輪郭）であるエッジを抽出する。エッジを抽出するための手法は、特に限定されず、本実施形態では、図３に示すように、構造物の左右両端などから、ｙ軸方向に連続するエッジ成分を検出するＳｏｂｅｌオペレータと、車両の進行方向と交差する方向の構造物の下端（構造物と路面との境界）などから、ｘ軸方向に連続するエッジ成分を検出するＳｏｂｅｌオペレータとを用いて、画像データ内に存在する物体のエッジ（ｙ軸方向に連続するエッジ成分とｘ軸方向に連続するエッジ成分と）を抽出する。

移動情報算出機能は、エッジ抽出機能により抽出されたエッジ成分の移動速度および移動方向を算出する。さらに、移動情報算出機能は、ｘ軸方向に移動するエッジ成分に対応する画素を、横速度情報を有する画素として検出し、またｙ軸方向に移動するエッジ成分に対応する画素を、縦速度情報を有する画素として検出する。

ここで、図４に基づいて、移動情報算出機能によるエッジ成分の移動情報を算出する手法例を説明する。図４は、エッジ成分の移動情報を算出する手法例を説明するための図である。図４に示すように、図中の右方向をｘ軸の正方向、図中の上方向をｙ軸の正方向とする。説明の便宜のため、図４においては、エッジ成分がｘ軸の正方向（右方向）に移動する場合を例にして説明する。なお、エッジ成分がｘ軸の負方向やｙ軸方向、あるいは２次元的（斜め方向）に移動する場合においても、基本的な処理手法は共通する。また、ｘ軸方向へ移動するエッジ成分の移動速度を算出する際には、ｙ軸方向に連続するエッジ成分を用い、またｙ軸方向へ移動するエッジ成分の移動速度を算出する際には、ｘ軸方向に連続するエッジ成分を用いることが好適である。

まず、移動情報算出機能は、エッジ画像に対して２値化処理を行う。２値化処理とは、エッジの検出された位置の画素を１とし、エッジの検出されなかった位置の画素を０とする処理である。図４（ａ）は、抽出されたｙ軸方向に連続するエッジ成分を２値化した画像の一例を示す。次に、図４（ｂ）に示すように、生成された２値化画像に対して、細線化処理を行い、検出されたエッジ成分のエッジ幅を所定画素幅になるまで縮小する。本実施形態では、図４（ｂ）に示すように、所定画素幅として１画素になるまでエッジのエッジ幅を細線化する。このようにエッジを所定の画素幅になるまで細線化することによって、エッジの中心となる中心位置が設定される。なお、本実施形態では、１画素に細線化する例を示すが、細線化する画素数は特に限定されない。

次に、細線化されたエッジのエッジ幅が一定の幅となるよう、エッジをｘ軸方向に膨張させる。本実施形態では、図４（ｃ）に示すように、エッジの中心位置ｘ０からエッジの移動方向（ｘ軸の正方向）に１画素膨張させるとともに、エッジの中心位置ｘ０からエッジの移動方向と反対方向（ｘ軸の負方向）に１画素膨張させて、エッジ幅を３画素に膨張させる。これにより、抽出されたエッジを正規化し、各エッジの幅が均一なエッジ画像を得ることができる。

次に、移動情報算出機能は、カウントアップ処理を行う。ここで、カウントアップ処理とは、エッジが検出された画素の位置に対応するメモリアドレスの値をカウントアップし、エッジが検出されなかった画素の位置に対応するメモリアドレスの値を初期化する処理である。以下、図４（ｃ）〜（ｆ）に基づいて移動情報算出機能によるエッジのカウントアップ処理について説明する。

図４（ｃ）に示すように、エッジはあるフレームにおいて位置ｘ０にエッジの中心位置がある。そして、その中心位置からエッジの移動方向に１画素の位置ｘ０＋１に膨張され、同様に、中心位置からエッジの移動方向と反対方向に１画素の位置ｘ０−１に膨張されている。このようなエッジが検出された位置「ｘ０−１」、「ｘ０」、「ｘ０＋１」に対応するメモリアドレスのカウント値は「＋１」カウントアップされる。他方、エッジが検出されなかった位置に対応するメモリアドレスのカウント値は、リセットされる。

例えば、図４（ｄ）では、時刻ｔにおいて、位置「ｘ０−１」、「ｘ０」、「ｘ０＋１」にエッジが検出されている。このため、それぞれの位置に対応するメモリアドレスのカウント値が各「１」カウントアップされる。その結果、位置「ｘ０＋１」のカウント値は「１」、位置「ｘ０」のカウント値は「３」、位置「ｘ０−１」のカウント値は「５」である。

次に、図４（ｅ）に示すように、時刻ｔ＋１になってもエッジが移動していないので、位置「ｘ０−１」、「ｘ０」、「ｘ０＋１」の各位置でエッジが検出される。このため、位置「ｘ０−１」、「ｘ０」、「ｘ０＋１」のカウント値をさらに１ずつカウントアップする。その結果、位置「ｘ０＋１」のカウント値は２、位置「ｘ０」のカウント値は４、位置「ｘ０−１」のカウント値は６となる。

さらに、図４（ｆ）に示すように、時刻ｔ＋２では、エッジがｘ軸の正方向に１画素シフトして位置「ｘ０」、「ｘ０＋１」、「ｘ０＋２」の位置でエッジが検出される。このため、エッジが検出された位置「ｘ０」、「ｘ０＋１」、「ｘ０＋２」に対応するメモリアドレスのカウント値はカウントアップされる。他方、エッジが検出されなかった位置「ｘ０−１」のカウント値はリセットされ、「ゼロ」となる。その結果、図４（ｆ）に示すように位置「ｘ０＋２」のカウント値は１、位置「ｘ０＋１」のカウント値は３、位置「ｘ０」のカウント値は５となる。さらに、エッジが検出されなかった位置「ｘ０−１」のカウント値はリセットされ、「０」になる。

このように、移動情報算出機能は、エッジが検出された位置に対応するメモリアドレスのカウント値をカウントアップし、エッジの検出されなかった位置に対応するメモリアドレスのカウント値をリセットする。

物体が自車両に対して一定角度で近づく場合、連続するフレーム間において、エッジは同じ位置で複数回検出される場合がある。例えば、図４に示す例では、連続する時刻ｔのフレームと時刻ｔ＋１のフレームにおいて、エッジは位置ｘ０において２回検出される。したがって、エッジが検出された位置に対応するメモリアドレスのカウント値をカウントアップしていくと、そのカウント値はその位置においてエッジが検出されている時間（フレーム数、滞留時間）と相関する。

次に、移動情報算出機能は、各画素においてカウントしたカウント値の傾きを算出し、この傾きに基づいて、エッジの移動速度および移動方向を算出する。

例えば、図４（ｅ）の場合では、位置「ｘ０−１」、「ｘ０」、「ｘ０＋１」のカウント値がそれぞれ「６」、「４」、「２」である。位置「ｘ０−１」のカウント値「６」から「ｘ０＋１」のカウント値「２」を引くと、カウント値の傾きＨは、Ｈ＝（６−２）／２＝２と算出される。

これは、Ｈ＝｛（エッジが位置ｘ０−１に移動してから現在までの時間）−（エッジが位置ｘ０＋１に移動した後の時間）｝／（２画素）を意味するので、これによりエッジが位置ｘ０のある１画素を通過するのに要する時間（フレーム数）を算出することができる。

したがって、カウント値の傾きＨは、エッジが１画素移動するために何フレームを要したかに相当し、このカウント値の傾きＨに基づいて、エッジの移動速度１／Ｈを算出できる。例えば、図４（ｅ）では１画素移動するのに２フレームを要することになるので、エッジの移動速度は１／２（画素／フレーム）と算出される。

続いて、移動情報算出機能は、カウント値の大小に基づいて、エッジの移動方向を判断する。エッジの無い位置にエッジが移動し、新たにエッジが検出された位置のカウント値は１となるから、各位置のカウント値の中では最も小さな値となる。したがって、エッジが移動する方向のカウント値は小さく、エッジが移動する方向と反対方向のカウント値は大きくなる。この傾向を利用して、エッジの移動方向を判断することができる。

以上のように、エッジが検出された位置に対応するメモリアドレスのカウント値をカウントアップすることにより、カウントアップされたカウント値の傾きに基づいてエッジの移動速度および移動方向を算出することができる。

さらに、移動情報算出機能は、算出したエッジの移動速度および移動方向に基づいて、時間の経過とともにｘ軸方向に移動したエッジに対応する画素を、横速度情報を有する画素として検出し、また、時間の経過とともにｙ軸方向に移動したエッジに対応する画素を、縦速度情報を有する画素として検出する。

図５は、横速度情報を有する画素を説明するための図である。また、図６は、縦速度情報を有する画素を説明するための図である。図５においては、自車両の進行方向の中央位置から見て、画像データ内をｘ軸の負方向（左方向）に移動するエッジに対応する画素を白丸で、自車両の進行方向の中央位置から見て、画像データ内をｘ軸の正方向（右方向）に移動するエッジに対応する画素を黒丸で表わす。また、図６においては、画像データ内をｙ軸方向の正方向（自車両進行方向の遠方から手前）へ移動するエッジに対応する画素を白丸で表わし、ｙ軸方向の負方向に移動するエッジに対応する画素の記載は省略する。

図５に示す横速度情報を有する画素は、ｘ軸方向に移動するエッジに対応する画素であり、横速度情報を有する画素がｙ軸方向に沿って連続した画素列である第２画素列が検出される。例えば、図５に示す場面例では、横速度情報を有する画素がｙ軸方向に連続した第２画素列ＶＬ１,ＶＬ２が検出される。一方、図６に示す縦速度情報を有する画素は、ｙ軸方向に移動するエッジに対応する画素であり、縦速度情報を有する画素がｘ軸方向に沿って連続した画素列である第１画素列が検出される。例えば、図６に示すように、縦速度情報を有する画素がｙ軸方向に連続した第１画素列ＨＬ１，ＨＬ２が検出される。なお、自車両の進行方向に延伸するレーンマークや、自車両の進行方向に延伸する構造物と路面との走路境界線から検出されるエッジは、斜め方向に移動するエッジであり、このようなエッジに対応する画素は、横速度情報と縦速度情報とを有する。そのため、レーンマークや、自車両の進行方向に延伸する構造物と路面との走路境界線から検出されるエッジに対応する画素は、横速度情報を有する画素を示す図５および縦速度情報を有する画素を示す図６の両方において検出される。このように、横速度情報を有する画素からはｙ軸方向に連続する第２画素列を、縦速度情報を有する画素からはｘ軸方向に連続する第１画素列をそれぞれ検出することができる。

最下点位置検出機能は、画像データ中の所定領域において、横速度情報を有する画素が複数連続してなる画素列を構成する各画素のうち、ｙ軸方向において最も下側に位置する画素の位置を最下点位置として検出する。最下点位置を検出する手法は特に限定されないが、本実施形態では、以下に説明する手法で最下点位置を検出する。なお、最下点位置が検出される画素列は、第２画素列のようにｙ軸方向に沿って連続する画素列に限られず、斜め方向（二次元方向）に連続する画素列も含まれる。

図７は、図５と同様に横速度情報を有する画素を示しており、最下点位置の検出する手法例を説明するための図である。なお、図７においては、横速度情報を有する画素のうち、最下点位置に位置する画素を実線の黒丸で示し、最下点位置に位置する画素以外の画素を破線の白丸で示している。まず、最下点位置検出機能は、図７に示すように、画像データ上に短冊状の複数の領域である短冊領域１〜１２を設定する。

そして、最下点位置検出機能は、画像の下側から上側に向かって各短冊領域を走査し、横速度情報を有する画素が所定数以上連続してなる画素列を構成する画素のうち、ｙ軸方向において最も下側に位置する画素の位置を最下点位置として検出する。また、各短冊領域において検出された横速度情報を有する複数の画素のうち、所定閾値内の移動速度で移動するエッジに対応する画素が複数連続してなる画素列を構成する各画素および／または所定閾値内の方向に移動するエッジに対応する画素が複数連続してなる画素列を構成する各画素をグループ化し、グループ化された画素列のうち、最も下側に位置する画素を最下点位置として検出する。また、例えば、図５に示す横速度情報を有する画素の情報と、図６に示す縦速度情報を有する画素の情報から、図５に示す縦速度情報を有する画素のみから構成される第２画素列を検出し、第２画素列のうち最も下側に位置する画素を最下点位置として検出する。このように最下点位置を検出することで、図７に示す例では、最下点位置ＢＰ１−１〜ＢＰ１２−２が検出される。なお、図７において、各短冊領域１〜１２において検出された最下点位置はＢＰｉ−ｊのように表される。ここで、ｉは、最下点位置が検出された短冊領域の番号を示しており、ｊは１つの短冊領域において検出された最下点位置の数を下側から数えた番号を示している。例えば、短冊領域１の下側から３つ目に検出された最下点位置は、最下点位置ＢＰ１−３と表示され、短冊領域２の下側から４つ目に検出された最下点位置は、最下点位置ＢＰ２−４と表示される。なお、図７においては、構造物と路面との境界線において検出された最下点位置であるＢＰ１−３，ＢＰ２−３，ＢＰ２−４，ＢＰ３−３，ＢＰ４−３，ＢＰ４−４，およびＢＰ５−３についてのみ番号を記載し、それ以外の最下点位置については番号の記載を省略している。

次に、境界線検出機能について説明する。境界線検出機能は、車両の進行方向（実空間上のＺ軸方向）に沿って、最下点位置検出機能により検出された最下点位置同士を結び、最下点位置同士を結んでできた直線を、自車両が走行する走路における境界線として検出する。検出される境界線としては、例えば、レーンマーク、ガードレール、縁石、外壁と路面との設定を結ぶ直線、立体物と路面との接点を結ぶ直線、および路面とそれ以外の領域との直線などが含まれる。

以下において、境界線検出機能による境界線の検出方法の一例について説明する。図８は、境界線領域を抽出する手法例を説明するための図である。

境界線検出機能は、例えば、図８に示すように、Ｘ軸方向に−５.２５ｍ 未満、−５．２５以上−３．５ｍ未満、−３．５ｍ以上−１．７５ｍ未満、−１．７５ｍ以上０ｍ未満、０ｍ以上１．７５ｍ未満、１．７５ｍ以上３．５ｍ未満、３．５ｍ以上５．２５ｍ未満、および５．２５ｍ以上の８つの領域を設定する。また、Ｚ軸方向に０ｍ〜１０ｍ、１０ｍ〜２０ｍ、２０ｍ〜３０ｍ、３０ｍ〜４０ｍ、および４０ｍ〜５０ｍの５つの領域を設定する。そして、Ｘ軸方向、およびＺ軸方向に設定した各領域で区切られる８×５の２次元領域を設定する。

設定した８×５の２次元領域は、それぞれの領域を識別するための名称が付与され、各領域は列（Ｚ軸領域）ｉと行（Ｘ軸領域）ｊとを用いて領域ｉｊのように表される。例えば、図８に示すように、１列目の１行目に存在する領域は領域１１と表し、１列目の２行目に存在する領域は領域１２と表し、２列目の１行目に存在する領域は領域２１のように表す。また、各列によって構成される領域を領域ｉ０と表し、各行によって表される領域を領域０ｊと表すようにする。例えば図８に示す例では、４列目の１列全体によって構成される領域は領域４０と表される。

続いて、境界線検出機能は、ｘｙ平面上において抽出された最下点位置の位置座標を、ＺＸ平面における３次元位置座標に変換する。例えば、境界線検出機能は、図７に示す最下点位置ＢＰ１−１を、図８に示す３次元座標値ＲＢ１−１に変換する。また、同様に、最下点位置ＢＰ１−２〜ＢＰ１２−２を、それぞれ３次元座標値ＲＢ１−２〜ＲＢ１２−２に変換する。なお、検出された最下点位置が路面上に存在しない場合、ｘｙ平面上において抽出された最下点位置の位置座標は、ＺＸ座標の領域外に投影されることとなり、図８に示すＺＸ平面における３次元位置座標に変換されない。

そして、境界線検出機能は、変換した３次元座標値ＲＢ１−１〜ＲＢ１２−２が、図８に示すようなＸ軸範囲とＺ軸範囲とを規定した２次元領域のどの領域に該当するかを判定する。すなわち、境界線検出機能は、最下点位置の３次元座標がこの８×５の領域のいずれかに含まれる場合には、最下点位置が含まれる領域のカウント値に１加算し、最下点位置の３次元位置分布を算出する。例えば、座標値ＲＢ１−１は、領域３５に含まれることから、領域３５のカウント値に１を加算する。

そして、境界線検出機能は、最下点位置の３次元位置分布に基づいて、境界線が存在する可能性が高い領域を境界線領域として抽出する。すなわち、３次元位置分布において、同じＸ軸領域で複数のＺ軸領域にカウント値が存在する列を、境界線が存在している境界線領域として抽出する。例えば、図８に示す例では、領域１０、領域２０、領域３０、領域５０、領域６０、領域７０、および領域８０の複数のＺ軸領域にカウント値が存在するため、境界線検出機能は、これらの領域１０、領域２０、領域３０、領域５０、領域６０、領域７０、および領域８０を境界線領域として抽出する。

次に、境界線検出機能は、抽出した各境界線領域内において、境界線を示す直線を直線近似により求める。図９は、境界線を検出する手法例を説明するための図である。境界線検出機能により、図８に示す領域１０から、図９に示すように境界線Ｌ１が検出される。また同様に、領域２０から境界線Ｌ２が、領域３０から境界線Ｌ３が、領域５０から境界線Ｌ４が、領域６０から境界線Ｌ５が、領域７０から境界線Ｌ６が、領域８０から境界線Ｌ７が検出される。すなわち、図９に示す例では、構造物の最下点位置から境界線Ｌ１が、およびレーンマークの両端から境界線Ｌ２、Ｌ３、Ｌ４、Ｌ５、Ｌ６、Ｌ７が順次検出される。

さらに、境界線検出機能は、検出した境界線が、構造物と走路との境界線である走路境界線を示す境界線であるか、あるいはレーンマークを示す境界線であるかを判定する。例えば、境界線検出機能は、自車両が走行する走路の中心位置から右側の領域または左側の領域において、自車両が走行する走路の中心位置から近い２つの境界線（さらにその２つの境界線よりも遠い位置に２つの境界線がある場合は、その２つの境界線も含む）はレーンマークの両端を示す直線であると判断し、これら一対の境界線をレーンマークとして検出する。例えば、図９に示す場面例においては、自車両の走行する走路の中心位置よりも左側の領域において、走路の中心位置から１番目に近い境界線Ｌ２と２番目に近い境界線Ｌ３はレーンマークであると判定される。一方、走路の中心位置から３番目に近い境界線Ｌ１は、境界線Ｌ１と対になる境界線が存在しないため、レーンマークではなく、構造物と走路との境界を示す走路境界線であると判定される。また、自車両の走行する走路の中心位置よりも右側の領域において、走路の中心位置から１番目に近い境界線Ｌ４と２番目に近い境界線Ｌ５、および走路の中心位置から３番目に近い境界線Ｌ６と４番目に近い境界線Ｌ７はレーンマークであると判定される。

そして、境界線検出機能は、レーンマークと判定された境界線を統合し、レーンマークと走路境界線とを検出する。図１０は、境界線に基づいて検出されるレーンマークと走路境界線とを説明するための図である。図１０に示す場面例において、境界線検出機能は、境界線Ｌ２と境界線Ｌ３とをレーンマークＬＬ１として、また境界線Ｌ４と境界線Ｌ５はレーンマークＲＬ１として、そして境界線Ｌ６と境界線Ｌ７はレーンマークＲＬ２として、それぞれ統合する。一方、レーンマークとして統合されなかった境界線Ｌ１は、構造物と走路との境界線を表わす走路境界線ＬＢ１とする。なお、境界線検出機能は、統合されたレーンマークの位置を、各両端の境界線の中央位置とする。

続いて、交差空間検出機能について説明する。交差空間検出機能は、最下点位置に基づいて、自車両の進行方向の空間と交差する空間である交差空間を検出する。

以下において、交差空間を検出するための方法について説明する。

交差空間検出機能は、縦速度情報を有する複数の画素がｘ軸方向に沿って連続する第１画素列を検出する。図１１は、第１画素列を説明するための図である。図１１において、縦速度情報を有する複数の画素のうち、第１画素列を構成する画素を実線で、第１画素列を構成しない画素を破線で示す。例えば、図１１に示す場面例では、縦速度情報を有する複数の画素がｘ軸方向に沿って連続した第１画素列ＨＬ１が検出され、同様に、縦速度情報を有する複数の画素がｘ軸方向に沿って連続した第１画素列ＨＬ２が検出される。

また、交差空間検出機能は、横速度情報を有する複数の画素がｙ軸方向に沿って連続する画素列であって、最下点位置を含む画素列である第２画素列を検出する。図１２は、第２画素列を説明するための図である。図１２では、横速度情報を有する複数の画素のうち、第２画素列を構成する画素を実線の白丸で、第２画素列を構成しない画素を破線の白丸で示す。さらに、図１２では、最下点位置に位置する画素を実線の黒丸で示す。例えば、図１２に示す場面例では、最下点位置ＢＰ１から横速度情報を有する複数の画素がｙ軸方向に沿って連続した第２画素列ＶＬ１が検出され、同様に、最下点位置ＢＰ２から横速度情報を有する複数の画素がｙ軸方向に沿って連続した第２画素列ＶＬ２が検出される。

そして、交差空間検出機能は、互いに交わる第１画素列および第２画素列を２辺とし、第１画素列と第２画素列との交点Ｐを１の角とする矩形状の領域を対象領域として設定する。また対象領域は、対象領域のｘ軸方向の長さを対象領域の幅ｗとし、また対象領域のｙ軸方向の長さを対象領域の高さｈとして設定される。ここで、図１３は、第１画素列と第２画素列とにより設定された対象領域を説明するための図である。図１３において、第１画素列と第２画素列との交点Ｐを黒丸で示している。

例えば、図１３に示す場面例において、交差空間検出機能は、第１画素列ＨＬ１と第２画素列ＶＬ１とを２辺とし、第１画素列ＨＬ１と第２画素列ＶＬ１との交点Ｐを１つの角とする領域である対象領域１および対象領域２を設定する。対象領域１は、第２画素列ＶＬ１の最下点位置から交点Ｐまでの長さを高さｈとし、第１画素列ＨＬ１の長さを幅ｗとする対象領域として設定される。一方、対象領域２は、交点Ｐから第２画素列ＶＬ１の最も上側に位置する画素の位置までの長さを高さｈとし、第１画素列ＨＬ１の長さを幅ｗとする対象領域として設定される。

また、図１３に示す例において、対象領域２は構造物の壁に対応する領域であり、一方、対象領域１は構造物と構造物との間の交差空間に対応する領域である。図１３に示すように、構造物に対応する対象領域２は、縦速度情報または横速度情報を有する画素列で３辺を囲まれており、対象領域に対応する画素のうち縦速度情報または横速度情報を有する画素の割合が大きくなる。一方、交差空間に対応する対象領域１は、縦速度情報または横速度情報を有する画素列で２辺だけで囲まれており、対象領域に対応する画素のうち縦速度情報または横速度情報を有する画素の割合が小さくなる。そこで、交差空間検出機能は、対象領域に対応する画素のうち、縦速度情報または横速度情報を有する画素の割合が所定の割合以下であるかを判定することで、設定された対象領域が、壁などの構造物に対応するものであるか、それとも、交差空間に対応するものであるかを判断する。具体的に、交差空間検出機能は、対象領域に対応する画素のうち縦速度情報または横速度情報を有する画素の割合が所定の割合以下である対象領域は、交差空間に対応する対象領域であると判定し、一方、対象領域に対応する画素のうち縦速度情報または横速度情報を有する画素の割合が所定の割合よりも大きい対象領域は、壁などの構造物に対応する対象領域であると判定する。

対象領域に対応する画素のうち、縦速度情報または横速度情報を有する画素の割合が所定の割合以下であるかを判定する手法は特に限定されないが、本実施形態において、交差空間検出機能は、対象領域に対応する画素のうち速度情報または横速度情報を有する画素の数である画素数ｎを検出し、画素数ｎが、画素数ｎ≦（対象領域の高さｈ×対象領域の幅ｗ）×所定割合の関係となるか判断することで、対象領域に対応する画素のうち縦速度情報または横速度情報を有する画素の割合が所定の割合以下であるかを判断する。そして、画素数ｎ≦（対象領域の高さｈ×対象領域の幅ｗ）×所定割合の関係となる場合には、その対象領域は、交差空間に対応する対象領域であると判断する。

そして、交差空間検出機能は、交差空間に対応する対象領域の位置において、自車両の進行方向の空間と交差する空間があるものとして、交差空間を検出する。そして、交差空間検出機能は、検出された交差空間の幅Ｗおよび高さＨを決定する。以下において、交差空間の幅Ｗおよび高さＨを決定する手法例について説明する。

まず、交差空間検出機能は、対象領域の幅ｗに基づいて、交差空間の幅Ｗを決定する。ここで、交差空間に対応する対象領域の幅ｗと、交差空間の幅Ｗとの関係を図１４および図１５を用いて説明する。図１４は、交差空間に対応する対象領域の幅ｗが、ｗ１の場合において、交差空間に対応する対象領域の幅ｗと、交差空間の幅Ｗとの関係を説明するための図である。また、図１５は、交差空間に対応する対象領域の幅ｗが、図１４のｗ１よりも小さいｗ２の場合において、交差空間に対応する対象領域の幅ｗと、交差空間の幅Ｗとの関係を説明するための図である。図１４（ａ）に示すように、対象領域の幅ｗがｗ１として検出された場合、図１４（ｂ）に示すように、構造物Ａと構造物Ｂとの間の交差空間の幅ＷはＳＷ１として検出される。一方、図１５（ａ）に示すように、対象領域の幅ｗがｗ２として検出されている場合、図１５（ｂ）に示すように、構造物Ｃと構造物Ｄとの間の交差空間の幅ＷはＳＷ２として検出される。

このように、図１４と図１５とを比較すると、図１４（ａ）の対象領域の幅ｗであるｗ１は、図１５（ａ）の対象領域の幅ｗであるｗ２よりも大きく、図１４（ｂ）の交差空間の幅ＷであるＳＷ１は、図１５（ｂ）の交差空間の幅ＷであるＳＷ２よりも大きい。このように、対象領域の幅ｗが大きくなるほど、交差空間の幅Ｗは大きくなる。すなわち、対象領域の幅ｗと交差空間の幅Ｗとは相関し、対象領域の幅ｗの大きさに応じて、交差空間の幅Ｗを決定することができる。そこで、交差空間検出機能は、対象領域の幅ｗに基づいて、交差空間の幅Ｗを決定する。

また、交差空間検出機能は、対象領域に接する第２画素列の長さから、交差空間の高さＨを決定する。ここで、交差空間の高さＨは、交差空間に隣接する構造物の高さを意味する。図１６は、対象領域に接する第２画素列と交差空間の高さＨとの関係を説明するための図である。図１６に示すように、対象領域に接する第２画素列ＶＬ２は、該対象領域１に対応する交差空間に隣接する構造物Ｂの右端から検出されたエッジに基づくものであり、第２画素列ＶＬ２の長さは、交差空間が隣接する構造物Ｂの高さ、すなわち、交差空間の高さＨに対応する。そこで、交差空間検出機能は、対象領域１に接する第２画素列ＶＬ２の長さから、交差空間の高さＨを決定することができる。なお、例えば、図１６に示すように、交差空間に接する第２画素列がＶＬ１，ＶＬ２のように複数ある場合には、進行方向手前の第２画素列ＶＬ１を用いてもよいし、進行方向遠方の第２画素列ＶＬ２を用いてもよい。本実施形態では、進行方向遠方の第２画素列ＶＬ２を用いて、交差空間の高さＨを決定するものとする。

このように、交差空間検出機能は、対象領域に基づいて、交差空間を検出し、かつ検出した交差空間の幅Ｗと高さＨとを決定する。例えば、図１３に示す例では、交差空間検出機能は、対象領域１の位置において交差空間を検出し、対象領域１の幅ｗから交差空間の幅Ｗを決定し、対象領域１に接する第２画素列ＶＬ２の長さから交差空間の高さＨを決定する。

次に、飛び出し可能性算出機能について説明する。飛び出し可能性算出機能は、交差空間検出機能により検出された交差空間に基づいて、自車両が走行する走路上に、物体が飛び出す可能性を算出する。

飛び出し可能性算出機能は、交差空間検出機能により検出された交差空間の高さＨおよび幅Ｗに基づいて、物体が走路に飛び出す可能性を算出する。例えば、交差空間の幅Ｗが大きい場合は、高速で走行する自動車などが交差空間から飛び出す可能性が高いため、物体が走路に飛び出す可能性を高く算出する。また、交差空間の高さＨが低い場合は、交差空間に隣接する構造物を飛び越えて人や動物などが飛び出してくる可能性が高いため、物体が走路に飛び出す可能性を高く算出する。なお、交差空間の幅Ｗと、交差空間の高さＨとに重み付けを設定してよく、例えば、重み付けを設定した交差空間の幅ＷをＷ’と、重み付けを設定した交差空間の高さＨをＨ’とした場合、飛び出し可能性Ｐを、飛び出し可能性Ｐ＝Ｗ’×Ｈ’として算出してよい。

さらに、飛び出し可能性算出機能は、自車両の車速、ヘッドライトの点灯信号、ワイパーの作動信号などの車両情報に基づいて、物体の飛び出し可能性を算出する。物体の走路への飛び出しに対する対処が困難な状況において、飛び出し可能性を高く算出することで、物体の飛び出し可能性に基づく運転支援を適切に行うことができる。例えば、自車両の車速が高速の場合は、車速が低速の場合と比べて、物体の走路への飛び出しに対応することが困難となるため、飛び出し可能性を高く算出する。また、ヘッドライトが点灯している場合には、夜間などによりユーザの視界が悪いと判断できるため、飛び出し可能性を高く算出する。さらに、ワイパーが作動している場合にも、雨などによりユーザの視界が悪くなると判断できるため、飛び出し可能性を高く算出する。

次に、属性情報付加機能について説明する。属性情報付加機能は、境界線検出機能により検出された境界線に、境界線の属性を示す属性情報を付加する。境界線に付加される属性情報としては、例えば、検出したレーンマークの種類（例えば、実線であるか、または破線であるか）や、飛び出し可能性算出機能により算出された飛び出し可能性などが挙げられる。

図１７および図１８は、属性情報付加機能により付加された属性情報を説明するための図であり、ディスプレイ５０の画面上に表示される画像の一例である。例えば、属性情報付加機能は、走路と構造物との境界線となる走路境界線に対して、飛び出し可能性の情報を付加する。これにより、ディスプレイ５０は、属性情報を付加された境界線の情報に基づいて、図１７に示すように、自車両が走行する走路と構造物との間の走路境界線を画面上に表示する。特に、図１７に示す場面例では、走路境界線に交差空間における飛び出し可能性が付加されているため、ディスプレイ５０の画面上に表示される走路境界線は、交差空間が検出された位置において、飛び出し可能性に応じて、通常の走路境界線の位置よりも車両走路側の位置になるように表示される。これにより、物体が飛び出す可能性が高い位置をユーザに伝達することができる。また、図１８は、図１７に示す場面例と比べて交差空間における飛び出し可能性が高い場合において、ディスプレイ５０の画面上に表示される画像の一例である。例えば、図１８に示す場面例では、図１７に示す場面例と比べて、交差空間に対応する対象領域の幅ｗが大きいため、その対象領域に基づく交差空間の幅Ｗも大きいものと判断され、交差空間における飛び出し可能性は高く算出される。このように、図１８に示す場面例では、図１７に示す場面例と比べて交差空間における飛び出し可能性が高いため、交差空間の位置において、図１７に示す場面例と比べて、走路境界線が車両走路側の位置になるように、走路境界線が表示される。

出力機能は、飛び出し可能性算出機能により算出された飛び出し可能性に基づいて、車両を制御するための制御信号、運転者に警報するための警報信号、飛び出し可能性が高い位置を表示するための画像信号などの各種信号を生成する。そして、出力機能は、生成された信号を車両コントローラ３０、スピーカ４０、ディスプレイ５０に送信する。

車両コントローラ３０は、図示しないステアリング、アクセル、およびブレーキなどの各種装置に接続しており、制御装置２０から送信された制御信号に基づいて、これら装置の制御を行うものである。また、車両コントローラ３０は、図示しない車速センサ、ヘッドライト、ワイパーと接続しており、車速センサから車速、ヘッドライトからヘッドライトの点灯情報、ワイパーからワイパーの作動情報を取得する。

スピーカ４０は、制御装置２０から送信された警報信号に基づいて、自車両が走行する走路に、歩行者や車などの飛び出し警報を音声で出力する。また、ディスプレイ５０は、制御装置２０から送信された画像信号に基づいて、図１７または図１８に示すように、自車両が走行する走路に歩行者や車などの飛び出す可能性が高い領域の位置を、ディスプレイ５０に備える画面上に表示する。

次に、図１９および図２０に基づき本実施形態に係る走行支援処理について説明する。図１９および図２０は、本実施形態に係る走行支援処理を示すフローチャートである。以下に説明する走行支援処理は、制御装置２０により実行される。

まず、ステップＳ１では、本走行支援処理に必要なパラメータの初期設定が行われる。

次に、ステップＳ２では、画像取得機能により、カメラ１０により撮像された自車両の進行方向前方の画像データが取得される。

ステップＳ３では、エッジ抽出機能により、ステップＳ２で取得された画像データについて、エッジが抽出される。本実施形態では、Ｓｏｂｅｌオペレータを用いて、ｙ軸方向に連続するエッジ成分およびｘ軸方向に連続するエッジ成分が抽出される。

次に、ステップＳ４では、移動情報算出機能により、エッジの速度情報が算出される。なお、ステップＳ４では、ステップＳ３で抽出されたｙ軸方向に連続するエッジ成分を用いて、ｘ軸方向に移動するエッジの移動情報が、ステップＳ３で抽出されたｘ軸方向に連続するエッジ成分を用いて、ｙ軸方向に移動するエッジの移動情報が算出される。

ステップＳ５では、移動情報算出機能により、算出されたエッジの移動速度および移動方向に基づいて、図５に示すように、ｘ軸方向に移動したエッジに対応する画素が横速度情報を有する画素として検出され、また図６に示すように、ｙ軸方向に移動したエッジに対応する画素が縦速度情報を有する画素として検出される。

次に、ステップＳ６では、最下点位置検出機能により、最下点位置が検出される。すなわち、画像データを複数の短冊状の領域に分割し、各領域において、ステップＳ５で算出された横速度情報を有する複数の画素が連続してなる画素列を検出する。そして、画素列を構成する各画素のうち、ｙ軸方向において最も下側に位置する画素の位置を最下点位置として検出する。例えば、図７に示す場面例において、ＢＰ１−１〜ＢＰ１２−２が最下点位置として算出される。検出された最下点位置は、制御装置２０のＲＡＭに記憶される。

ステップＳ７では、境界線検出機能により、カメラ座標系のｘｙ平面上において抽出された最下点位置の位置座標を、車両座標系のＺＸ平面上の点として３次元の位置座標に変換する。例えば、図７に示す最下点位置ＢＰ１−１〜ＢＰ１２−２は、図８に示す３次元座標値ＲＢ１−１〜ＲＢ１２−２に変換される。

ステップＳ８では、ステップＳ７で変換された３次元座標が、同じＸ軸領域であり、複数のＺ軸領域に存在する境界線領域が存在するか判断される。境界線領域が存在する場合にはステップＳ９に進み、一方、境界線領域が存在しない場合には、ステップＳ１３へ進む。

ステップＳ９では、境界線領域に存在する最下点位置を直線近似により結び、検出した直線を境界線として検出する。例えば、図８に示す３次元座標値ＲＢ１−１〜ＲＢ１２−２から、図９に示す境界線Ｌ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５、Ｌ６、Ｌ７が検出される。

次に、ステップＳ１０では、全ての境界線領域について、ステップＳ９の境界線検出処理が行われたか判断される。全ての境界線領域について境界線検出処理が行われた場合には、ステップＳ１１に進み、一方、全ての境界線領域について境界線検出処理が行われていない場合には、ステップＳ９へ戻り、境界線検出処理が行われていない境界線領域について、境界線が検出される。

ステップＳ１１では、境界線検出機能により、検出された境界線が、レーンマークに基づくものであるか、あるいは走路と構造物との走路境界線に基づくものであるか判定される。例えば、図９および図１０に示す場面例においては、自車両の走行する走路の中心位置よりも左側の領域において、走路の中心位置から１番目に近い境界線Ｌ２と２番目に近い境界線Ｌ３はレーンマークＬＬ１として検出され、一方、走路の中心位置から３番目に近い境界線Ｌ１は、構造物と走路との境界を示す走路境界線ＬＢ１として検出される。また、自車両が走行する走路の中心位置よりも右側の領域において、走路の中心位置から１番目に近い境界線Ｌ４と２番目に近い境界線Ｌ５はレーンマークＲＬ１、および走路の中心位置から３番目に近い境界線Ｌ６と４番目に近い境界線Ｌ７はレーンマークＲＬ２として検出される。

次にステップＳ１２では、ステップＳ１１で全ての境界線について、境界線がレーンマークであるか走路境界線であるかの判断がされたか判定される。全ての境界線について、レーンマークであるか走路境界線であるかの判断がされた場合は、図２０のステップＳ１４に進む。一方、全ての境界線について、レーンマークであるか走路境界線であるかの判断がされていない場合は、判断がされていない境界線について、ステップＳ１１の処理が行われる。

ステップＳ８で、境界線を検出することができない場合は、ステップＳ１３に進む。ステップＳ１３では、画像データ内に境界線はないものと判断され、図２０のステップＳ１９へ進む。

次に、図２０に示す走行支援処理について説明する。

まず、ステップＳ１４では、交差空間検出処理により、ステップＳ６で検出された最下点位置に基づいて、自車両の進行方向と交差する空間である交差空間が検出される。図２１および図２２は、ステップＳ１４の交差空間検出処理を示すフローチャートである。以下において、図２１および図２２を参照して、交差空間検出処理について説明する。

まず、ステップＳ１４０１において、交差空間を検出するための処理領域が設定される。具体的には、自車両の走行する走路の中心位置から見て、ステップＳ１１で検出されたレーンマーク（複数のレーンマークが検出されている場合には、走路中央位置から最も外側に位置するレーンマーク）よりも外側の領域が処理領域として設定される。例えば、図１０に示す場面例では、自車両の左側の領域については、ステップＳ１１で検出したレーンマークＬＬ１よりも左側の領域が処理領域として設定され、また自車両の右側の領域については、ステップＳ１１で検出された自車両右側の２つのレーンマークＲＬ１、ＲＬ２のうち、自車両から遠い位置にあるレーンマークＲＬ２よりも右側の領域が処理領域として設定される。

次にステップＳ１４０２では、ステップＳ１４０１で設定された処理領域中において、横速度情報を有する画素が、最下点位置からｙ軸方向に沿って連続した第２画素列と、縦速度情報を有する画素が、ｘ軸方向に沿って連続した第１画素列とが検出される。例えば、図１１に示す場面例では、第１画素列ＨＬ１と第１画素列ＨＬ２が検出される。また、図１２に場面例では、最下点位置ＢＰ１から横速度情報を有する複数の画素が連続した第２画素列ＶＬ１が検出され、同様に、最下点位置ＢＰ２から横速度情報を有する複数の画素が連続した第２画素列ＶＬ２が検出される。

ステップＳ１４０３では、第１画素列および第２画素列を検出できたか判断される。第１画素列または第２画素列を検出できない場合には、ステップＳ１４０９に進み、交差空間は存在しないものと判断して、ステップＳ１４の交差空間検出処理を終了する。一方、第１画素列および第２画素列を検出できた場合は、ステップＳ１４０４へ進む。

ステップＳ１４０４では、ｘ軸方向に沿って連続する第１画素列の長さ、およびｙ軸方向に沿って連続する第２画素列の長さが算出される。

続くステップＳ１４０５では、ステップＳ１４０４で求めた第１画素列が、誤検出されたエッジ成分に基づくノイズであるか判断するため、第１画素列の長さが所定値ＴＷ０、例えば車両座標系で０．３ｍ以上であるか判断される。ここで、カメラ１０により撮像された構造物や構造物以外の背景により、１つの画像データ内に複数の第１画素列が検出される場合がある。そのため、ステップＳ１４０５では、１つの画像データ内に複数の第１画素列が存在する場合には、それぞれの第１画素列の長さが所定値ＴＷＯ以上であるか判断される。

そして、長さが所定値ＴＷ０以上となる第１画素列がある場合は、ステップＳ１４０６に進み、一方、長さが所定値ＴＷ０以上となる第１画素列がない場合には、検出された第１画素列は誤検出されたエッジ成分に基づくノイズであると判断され、ステップＳ１４０９に進み、画像データ内に交差空間はないものと判断し、ステップＳ１４の交差空間検出処理を終了する。

ステップＳ１４０６では、第２画素列が誤検出されたエッジ成分に基づくノイズであるかを判断するため、第２画素列の長さが所定値ＴＨ０、例えば、車両座標系で０．１５ｍ以上であるか判断される。なお、ステップＳ１４０６においても、ステップＳ１４０５と同様に、１つの画像データ内に複数の第２画素列が存在する場合には、それぞれの第２画素列の長さについて所定値ＴＨＯ以上であるか判断される。

そして、長さが所定値ＴＨ０以上となる第２画素列がある場合は、ステップＳ１４０７に進み、一方、長さが所定値ＴＨ０以上となる第２画素列がない場合には、検出された第２画素列は誤検出されたエッジ成分に基づくノイズであると判断され、ステップＳ１４０９に進み、画像データ内に交差空間はないものと判断し、ステップＳ１４の交差空間検出処理を終了する。

次に、ステップＳ１４０７では、互いに交わる第１画素列および第２画素列を２辺とし、第１画素列と第２画素列との交点を１の角とする矩形状の領域を対象領域として設定する。例えば、図１３に示すように、第１画素列ＨＬ１と第２画素列ＶＬ１とを２辺とし、第１画素列ＨＬ１と第２画素列ＶＬ１との交点Ｐを１つの角とする対象領域１と、同様に、第１画素列ＨＬ１と第２画素列ＶＬ１とを２辺とし、第１画素列ＨＬ１と第２画素列ＶＬ１との交点Ｐを１つの角とする対象領域２とが設定される。

ステップＳ１４０８では、ステップＳ１４０７において、対象領域が設定されたか判断される。対象領域が設定された場合は、ステップＳ１４１０に進む。一方、対象領域が１つも設定されなかった場合は、ステップＳ１４０９に進み、画像データ内に交差空間はないものと判断し、ステップＳ１４の交差空間検出処理を終了する。

次に、ステップＳ１４１０では、ステップＳ１４０７で設定された対象領域に対応する画素のうち、縦速度情報または横速度情報を有する画素の画素数ｎが検出される。

そして、ステップＳ１４１１では、対象領域に対応する画素のうち、ステップＳ１４１０で検出された縦速度情報または横速度情報を有する画素の割合が、所定の割合以下であるか判断される。本実施形態では、縦速度情報または横速度情報を有する画素の画素数ｎが、画素数ｎ≦（対象領域の高さｈ×対象領域の幅ｗ）×所定割合の関係となるか判断することで、対象領域に対応する画素のうち縦速度情報または横速度情報を有する画素の割合が所定割合以下となるか判断する。対象領域に対応する画素のうち縦速度情報または横速度情報を有する画素の割合が所定割合以下となる場合は、ステップＳ１４１２に進み、検出した対象領域は交差空間に対応するものであると判断される。一方、対象領域に対応する画素のうち縦速度情報または横速度情報を有する画素の割合が所定の割合よりも大きい場合には、対象領域は壁などの構造物に対応するものと判断され、ステップＳ１４２４へ進む。

ステップＳ１４１３以降では、交差空間に対応する対象領域の幅ｗに基づいて、交差空間の幅Ｗが求められ（ステップＳ１４１３〜ステップＳ１４１７）、また交差空間に対応する対象領域に接する第２画素列の長さに基づいて、交差空間の高さＨが求められる（ステップＳ１４１８〜ステップＳ１４２２）。なお、本実施形態では、交差空間の幅Ｗは、『大』、『中』、『小』の３つのパラメータで決定され、交差空間の高さＨは、『高』、『中』、『低』の３つのパラメータで決定される。また、本実施形態では、図１６に示すように、交差空間に対応する対象領域に接する第２画素列が複数ある場合は、進行方向遠方の第２画素列の長さに基づいて、交差空間の高さを決定する。

まず、ステップＳ１４１３では、対象領域の幅ｗが、所定値ＴＷ１、例えば車両座標系で１ｍ以上であるか判断される。対象領域の幅ｗが、所定値ＴＷ１未満の場合はステップＳ１４１４に進み、一方、対象領域の幅ｗが、所定値ＴＷ１以上の場合にはステップＳ１４１５へ進む。

ステップＳ１４１４では、対象領域の幅ｗが、所定値ＴＷ１未満であると判定されているため、交差空間の幅Ｗが『小』に設定される。ステップＳ１４１４で、交差空間の幅Ｗを『小』に設定した後は、ステップＳ１４１８に進む。

一方、ステップＳ１４１３で、対象領域の幅ｗが、所定値ＴＷ１以上と判定された場合にはステップＳ１４１５に進み、対象領域の幅ｗが、所定値ＴＷ２、例えば車両座標系で３ｍ以上であるか判断される。対象領域の幅ｗが所定値ＴＷ２未満の場合には、ステップＳ１４１６に進み、一方、対象領域の幅ｗが所定値ＴＷ２以上の場合にはステップＳ１４１７へ進む。

ステップＳ１４１６では、対象領域の幅ｗが、所定値ＴＷ１以上であり、かつ所定値ＴＷ２未満であると判定されているため、交差空間の幅Ｗが『中』に設定される。ステップＳ１４１６で、交差空間の幅Ｗが『中』に設定された後は、ステップＳ１４１８に進む。

一方、ステップＳ１４１５で、対象領域の幅ｗが、所定値ＴＷ２以上と判定された場合には、ステップＳ１４１７に進み、交差空間の幅Ｗが『大』に設定される。ステップＳ１４１７で、交差空間の幅Ｗが『大』に設定された後は、ステップＳ１４１８に進む。

次に、ステップＳ１４１８〜ステップＳ１４２２では、対象領域に接する第２画素列の長さに基づいて、交差空間の幅Ｈが『高』、『中』、『低』の幅パラメータで求められる。

まず、ステップＳ１４１８では、対象領域に接する第２画素列の長さが、所定値ＴＨ１、例えば車両座標系で０．５ｍ以上であるか判断される。対象領域に接する第２画素列の長さが所定値ＴＨ１未満の場合は次のステップＳ１４１９に進み、一方、対象領域に接する第２画素列の長さが所定値ＴＨ１以上の場合にはステップＳ１４２０へ進む。

ステップＳ１４１９では、対象領域に接する第２画素列の長さが所定値ＴＨ１未満であると判定されているため、交差空間の高さＨが『低』に設定される。ステップＳ１４１９で、交差空間の高さＨが『低』に設定された後は、ステップＳ１４２３に進む。

一方、ステップＳ１４１８で、対象領域に接する第２画素列の長さが所定値ＴＨ１以上と判断された場合は、ステップＳ１４２０に進み、対象領域に接する第２画素列の長さが所定値ＴＨ２、例えば車両座標系で１．５ｍ以上であるか判断される。対象領域に接する第２画素列の長さが所定値ＴＨ２未満の場合には、ステップＳ１４２１に進み、一方、対象領域に接する第２画素列の長さが所定値ＴＨ２以上の場合にはステップＳ１４２２へ進む。

ステップＳ１４２１では、対象領域に接する第２画素列の長さが所定値ＴＨ１以上であり、かつ所定値ＴＨ２未満であると判定されているため、交差空間の高さＨが『中』に設定される。ステップＳ１４２１で、交差空間の高さＨが『中』に設定された後は、ステップＳ１４２３に進む。

一方、ステップＳ１４２０で、対象領域に接する第２画素列の長さが所定値ＴＨ２以上と判断された場合には、ステップＳ１４２２に進み、交差空間の高さＨが『高』に設定される。ステップＳ１４２２で、交差空間の高さＨが『高』に設定された後は、ステップＳ１４２３に進む。

ステップＳ１４２３では、対象領域に対応する全ての交差空間について幅Ｗおよび高さＨが設定されたか判断される。全ての交差空間について幅Ｗおよび高さＨが設定された場合は、ステップＳ１４の交差空間処理を終了する。一方、全ての交差空間について幅Ｗおよび高さＨが設定されていない場合は、ステップＳ１４１０に戻り、幅Ｗおよび高さＨが設定されていない交差空間について、幅Ｗおよび高さＨが設定される。

なお、ステップＳ１４１１で、対象領域に対応する画素のうち縦速度情報または横速度情報を有する画素の割合が所定割合よりも大きい場合には、ステップＳ１４２４に進む。ステップＳ１４２４では、第１画素列および第２画素列で構成される対象領域は、交差空間に対応するものではないと判断され、ステップＳ１４２３に進む。

続いて、図２０に示すステップＳ１５では、交差空間が検出されたか判断される。交差空間が検出されている場合は、ステップＳ１６に進み、一方、交差空間が存在しないと判断された場合には、ステップＳ１８に進む。

ステップＳ１６では、飛び出し可能性算出機能により、自車両が走行する走路に、物体が飛び出す可能性が算出される。以下において、図２３を参照して、飛び出し可能性算出処理について説明する。図２３は、飛び出し可能性算出処理を示すフローチャートである。

まず、ステップＳ１６０１では、ステップＳ１４の交差空間検出処理で検出された交差空間の幅Ｗおよび高さＨが取得される。

次にステップＳ１６０２では、取得された交差空間の幅Ｗおよび高さＨを用いて自車両が走行する走路に、物体が飛び出す可能性Ｐが算出される。本実施形態では、以下に説明するように、交差空間の幅Ｗと交差空間の高さＨとをポイント化し、ポイント化した交差空間の幅Ｗと交差空間の高さＨとに基づいて、飛び出し可能性Ｐを算出する。

例えば、ステップＳ１４の交差空間検出処理では、交差空間の幅Ｗには『大』、『中』、『小』のいずれかが設定されている。交差空間の幅が広いほど、自動車などの高速に移動する物体が走路に飛び出す可能性が高いものと想定される。そこで、本実施形態では、交差空間の幅Ｗが『大』であれば３ポイント、交差空間の幅Ｗが『中』であれば２ポイント、また交差空間の幅Ｗが『小』であれば１ポイントと、飛び出し可能性に応じて、交差空間の幅Ｗをポイント化する。

また同様に、ステップＳ１４の交差空間検出処理において、交差空間の高さＨには『高』、『中』、『低』のいずれかが設定されている。交差空間の高さは、交差空間に隣接する構造物の高さと推定され、交差空間の高さが低いほど、交差空間と隣接する構造物を越えて、物体が飛び出してくる可能性が高いと想定される。そこで、本実施形態では、交差空間の高さＨが『高』であれば１ポイント、交差空間の高さＨが『中』であれば２ポイント、交差空間の高さＨが『低』であれば３ポイントと、飛び出し可能性に応じて、交差空間の高さＨをポイント化する。

そして、ポイント化した交差空間の幅Ｗと交差空間の高さＨとに基づいて、飛び出し可能性Ｐを算出する。例えば、飛び出し可能性Ｐ＝交差空間の高さＨのポイント×交差空間の幅Ｗのポイントとして算出することができる。交差空間の幅Ｗが『大』であり、交差空間の高さＨが『低』の場合、幅Ｗは３ポイントであり、高さＨも３ポイントとなるため、飛び出し可能性Ｐは９ポイントとして算出される。一方、交差空間の幅Ｗが『小』であり、交差空間の高さＨが『高』の場合、幅Ｗは１ポイントであり、高さＨも１ポイントとなるため、飛び出し可能性Ｐは１ポイントとして算出される。なお、飛び出し可能性Ｐを算出する際に、交差空間の幅Ｗまたは交差空間の高さＨのポイントに重み付けをしてもよい。

次にステップＳ１６０３では、車両コントローラ３０から車両情報が取得される。本実施形態では、例えば、車速、ヘッドライトの点灯信号、またはワイパーの作動信号が取得される。

そして、ステップＳ１６０４では、取得された車速が所定値ＴＶ０、例えば、４０Ｋｍ／ｈ以上であるか判断される。車速が所定値ＴＶＯ以上であれば、ステップＳ１６０５に進み、一方、車速が所定値ＴＶ０未満であればステップＳ１６０６へ進む。

ステップＳ１６０５では、ステップＳ１６０４により車速が所定値ＴＶＯ以上であると判断されているため、ステップＳ１６０２で算出された飛び出し可能性Ｐを１段階上げる補正を行う。なお、飛び出し可能性を上げる方法として、ステップＳ１６０２で算出された飛び出し可能性に所定のポイント数を追加してもよいし、またステップＳ１６０２で算出された飛び出し可能性に所定のポイント数を乗じてもよい。

次に、ステップＳ１６０６では、ステップＳ１６０３で取得されたヘッドライトの点灯信号に基づいて、ヘッドライトが点灯しているか、それともヘッドライトが消灯しているか判断される。ヘッドライトが点灯している場合には、ステップＳ１６０７に進み、ヘッドライトが消灯している場合にはステップＳ１６０８に進む。

ステップＳ１６０７では、ステップＳ１６０６によりヘッドライトが点灯していると判断されているため、自車両の周囲が暗い状態であると判断し、ステップＳ１６０２で算出された飛び出し可能性に対して、飛び出し可能性を１段階上げる補正を行う。なお、飛び出し可能性を上げる方法は、ステップＳ１６０５と同様に行えばよい。

そして、ステップＳ１６０８では、ステップＳ１６０３で取得されたワイパーの作動信号に基づいて、ワイパーが動作しているか否かが判断される。ワイパーが動作している場合には、ステップＳ１６０９に進み、一方、ワイパーが動作していない場合には、ステップＳ１６の飛び出し可能性算出処理を終了する。

次に、ステップＳ１６０９では、ステップＳ１６０８でワイパーが動作していると判断されているため、自車両の走行環境が雨などであると判定し、ステップＳ１６０２で算出された飛び出し可能性に対して、飛び出し可能性を１段階上げる補正を行う。なお、飛び出し可能性を上げる方法は、ステップＳ１６０５と同様に行えばよい。

ステップＳ１６０９が終了した後は、ステップＳ１６の飛び出し可能性算出処理を終了する。

次に、ステップＳ１７では、検出された全ての交差空間について、ステップＳ１６の飛び出し可能性算出処理が行われたか判断される。全ての交差空間に対して、飛び出し可能性算出処理が行われた場合にはステップＳ１８に進み、一方、全ての交差空間について、飛び出し可能性算出処理が行われていない場合にはステップＳ１６に戻り、飛び出し可能性が算出されていない交差空間について、ステップＳ１６の飛び出し可能性算出処理が行われる。

ステップＳ１８では、属性情報付加機能により、検出された境界線に、レーンマークの種類や、飛び出し可能性などの属性情報が付加される。例えば、車両が走行する走路と構造物との境界線である走路境界線には、飛び出し可能性に応じた位置情報が付加される。これにより、図１７および図１８に示すように、ディスプレイ５０の画面上では、交差空間の位置において、走路境界線が車両走路側の位置になるよう表示され、ユーザに物体が飛び出す可能性のある交差空間の位置を伝達することができる。なお、ステップＳ１８は、ステップＳ１６の飛び出し可能性算出処理の直後に行ってもよい。

続くステップＳ１９では、出力機能により、飛び出し可能性または属性情報に基づいて、例えば、車両コントローラ３０を制御するための制御信号、スピーカ４０から警告を発信するための警告信号、および飛び出し可能性が高い領域をディスプレイ５０の画面上に表示するための画像信号が生成される。そして、生成された信号は、車両コントローラ３０、スピーカ４０、およびディスプレイ５０へと出力される。

これにより、車両コントローラ３０は、飛び出し可能性に応じて、図示しないステアリング、アクセル、およびブレーキなどの各種装置の制御を行い、またスピーカ４０は、飛び出し可能性に応じて、歩行者や車などの飛び出し警報を音声で発信し、またディスプレイ５０は、図１７または図１８に示すように、歩行者や車などの飛び出す可能性が高い領域の位置を、ディスプレイ５０に備える画面上に表示することができる。

ステップＳ２０では、イグニッションがＯＦＦであるか判断される。イグニッションがＯＦＦであれば、この走行支援処理を終了する。一方、イグニッションがＯＮの場合は、ステップＳ２に戻り、再度、この走行支援処理が行われる。

以上のように、本実施形態においては、自車両が走行する走路の外側領域に存在する構造物から抽出されたエッジ成分に基づいて、自車両の走行方向の空間と交差する空間である交差空間を検出し、検出された交差空間に基づいて、車両や人などが走路に飛び出す可能性を算出する。このように、構造物の特徴点に基づいて飛び出し可能性を算出することで、路面の状態、構造物および構造物の背景の明度、昼間か夜間かの違いに影響されることなく、物体が走路に飛び出す可能性を適切に算出することができる。その結果、算出した飛び出し可能性に基づいて、ユーザの運転を適切に支援することができる。例えば、飛び出し可能性が高い場合には、車両のブレーキ、アクセル、およびステアリングを制御し、またはスピーカ４０による警告を発することで、ユーザの運転を支援することができる。

加えて、本実施形態では、図１７および図１８に示すように、飛び出し可能性が高い位置をディスプレイ５０に表示することで、ユーザに、物体が走路に飛び出しに対する注意を促すことができる。特に、飛び出し可能性が高いほど、交差空間における走路境界線の位置情報を、自車両が走行する走路側の位置になるように補正することで、物体の飛び出しに対する注意をユーザに促すことができることに加えて、例えば、補正した走路境界線を用いて、物体の飛び出しに対する安全な回避経路を決定することができるため、ユーザの運転を適切に支援することができる。

また、本実施形態では、対象領域に基づいて交差空間を検出する際に、対象領域に対応する画素のうち、縦速度情報または横速度情報を有する画素の割合が、所定の割合以下であるか判断することで、対象領域が壁などの構造物に対応するものか、あるいは交差空間に対応するものかを判断する。これにより、交差空間の誤検出を抑制し、飛び出し可能性の算出精度を向上することができる。

さらに、本実施形態では、交差空間の幅Ｗが広いほど、飛び出し可能性を高く算出する。交差空間の幅Ｗが広い場合には、交差空間の幅Ｗが狭い場合と比べて、自動車など高速で移動する物体が走路に飛び出す可能性が高くなると想定される。そこで、交差空間の幅Ｗに応じて飛び出し可能性を算出することで、交差空間から自動車などが飛び出す場面に応じた運転支援を適切に行うことができる。

加えて、本実施形態では、交差空間の高さＨが低いほど、飛び出し可能性を高く算出する。交差空間の高さＨは交差空間に隣接する構造物の高さであり、交差空間の高さＨが低いほど、歩行者や動物が、交差空間に隣接する構造物を乗り越えて走路に飛び出す可能性が高くなると想定される。そこで、交差空間の高さＨに応じて飛び出し可能性を高く算出することで、歩行者や動物が構造物を乗り越えて走路に飛び出す場面に応じた運転支援を適切に行うことができる。

また、本実施形態では、交差空間を検出する際に、自車両が走行する走路の中心位置から見て、走路上のレーンマークよりも外側の領域を、交差空間を検出するための処理領域として設定する。交差空間は、自車両の進行方向の空間と交差する空間であり、自車両が走行する走路の外側領域において検出される。そのため、レーンマークよりも外側の領域を、交差空間を検出するための処理領域として設定することで、交差空間の検出処理を効率的に行うことができる。

さらに、本実施形態では、物体の走路への飛び出しに対する対処が困難となる状況において、飛び出し可能性を高く算出することで、物体の飛び出しに応じた運転支援を適切に行う。例えば、自車両の車速が速い場合に、飛び出し可能性を高く算出する。これにより、自車両が高速で走行している場合でも、物体の飛び出しに対する運転支援を適切に行うことができる。また、ヘッドライトが点灯している場合に、飛び出し可能性を高く算出することで、夜間の運転中においても、物体の飛び出しに対する運転支援を適切に行うことができる。加えて、ワイパーが動作している場合に飛び出し可能性を高く算出することで、走行環境が雨や雪などの状況においても、物体の飛び出しに対する運転支援を適切に行うことができる。

以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

なお、上述した実施形態のカメラ１０は本発明の撮像手段に、エッジ抽出機能は本発明の抽出手段に、最下点位置検出機能は本発明の最下点位置検出手段に、境界線検出機能は本発明の境界線検出手段に、交差空間検出機能は本発明の交差空間検出手段に、飛び出し可能性算出機能は本発明の算出手段に、属性情報付加機能は本発明の付加手段にそれぞれ相当する。

１０…カメラ
２０…制御装置
３０…車両コントローラ
４０…スピーカ
５０…ディスプレイ

Claims (12)

1. 車両前方を撮像する撮像手段と、
   前記撮像手段で撮像した画像の情報に基づいて、画像中で移動した物体のエッジ成分を抽出する抽出手段と、
   前記画像中の所定領域において、前記抽出手段により抽出された前記エッジ成分に対応する画素が複数連続してなる画素列を構成する各画素のうち、高さ方向において最も下側に位置する画素の位置を最下点位置として検出する最下点位置検出手段と、
   前記エッジ成分に対応する画素と前記最下点位置とに基づいて、前記最下点位置において自車両の進行方向の空間と交差する空間を、交差空間として検出する交差空間検出手段と、
   前記交差空間検出手段により検出された交差空間に基づいて、自車両が走行する走路上に、物体が飛び出す可能性を算出する算出手段と、を有することを特徴とする走行支援装置。
2. 請求項１に記載の走行支援装置であって、
   前記車両の進行方向に沿って、前記最下点位置検出手段により検出された前記最下点位置同士を結ぶ直線を、自車両が走行する走路の境界線として検出する境界線検出手段をさらに備え、
   前記境界線検出手段は、前記境界線からレーンマークを検出し、
   前記交差空間検出手段は、前記走路の中心から見た場合に、前記レーンマークよりも外側となる領域において前記交差空間を検出することを特徴とする走行支援装置。
3. 請求項１または２に記載の走行支援装置であって、
   前記交差空間検出手段は、前記エッジ成分に対応する複数の画素のうち、高さ方向に垂直な方向に連続する複数の画素からなる第１画素列と、前記最下点位置から高さ方向に沿って連続する複数の画素からなる第２画素列とが交わる交点を１つの角とし、かつ、互いに交わる前記第１画素列および前記第２画素列を２辺とする矩形状領域を検出し、前記矩形状領域に対応する全ての画素に対する前記エッジ成分に対応する画素の割合に基づいて、前記矩形状領域に対応する空間を、前記交差空間として検出することを特徴とする走行支援装置。
4. 請求項３に記載の走行支援装置であって、
   前記交差空間検出手段は、前記矩形状領域に対応する空間のうち、前記矩形状領域に対応する全ての画素に対する前記エッジ成分に対応する画素の割合が所定の割合以下である領域に対応する空間を、前記交差空間として検出することを特徴とする走行支援装置。
5. 請求項３または４に記載の走行支援装置であって、
   前記交差空間検出手段は、前記矩形状領域に対応する前記交差空間の幅を、該矩形状領域の１辺をなす前記第１画素列の長さに基づいて、検出することを特徴とする走行支援装置。
6. 請求項３〜５のいずれかに記載の走行支援装置であって、
   前記交差空間検出手段は、前記矩形状領域に対応する前記交差空間について、該交差空間の高さを、該矩形状領域の１辺をなす前記第２画素列の長さに基づいて、検出することを特徴とする走行支援装置。
7. 請求項５に記載の走行支援装置であって、
   前記算出手段は、前記交差空間の幅が広いほど、物体が飛び出す可能性を高く算出することを特徴とする走行支援装置。
8. 請求項６に記載の走行支援装置であって、
   前記算出手段は、前記第２画素列の長さが短いほど前記交差空間の高さを低く算出し、前記交差空間の高さが低いほど、物体が飛び出す可能性を高く算出することを特徴とする走行支援装置。
9. 請求項１〜８のいずれかに記載の走行支援装置であって、
   前記算出手段は、車速情報、ヘッドライトの動作情報、およびワイパーの動作情報のうち、さらに少なくとも一つの情報に基づいて、物体が飛び出す可能性を算出することを特徴とする走行支援装置。
10. 請求項２〜９のいずれかに記載の走行支援装置であって、
    前記物体が飛び出す可能性を含む前記境界線の属性情報を、前記境界線に付加する付加手段をさらに有することを特徴とする走行支援装置。
11. 請求項１０に記載の走行支援装置であって、
    前記付加手段は、前記物体が飛び出す可能性に応じて、前記属性情報を決定することを特徴とする走行支援装置。
12. 車両前方を撮像した画像の情報に基づいて、画像中で移動する物体のエッジ成分を抽出し、前記画像中の所定領域において、前記抽出されたエッジ成分に対応する画素が複数連続してなる画素列を構成する各画素のうち、高さ方向において最も下側に位置する画素の位置を最下点位置として検出し、前記エッジ成分に対応する画素および前記最下点位置に基づいて、前記最下点位置において自車両の進行方向の空間と交差する空間を、交差空間として検出し、前記交差空間に基づいて、自車両が走行する走路に、物体が飛び出す可能性を算出することを特徴とする走行支援方法。
    

Images