JP7044513B2

JP7044513B2 - 道路認識装置

Info

Publication number: JP7044513B2
Application number: JP2017204429A
Authority: JP
Inventors: 俊也熊野; 俊輔鈴木
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2017-10-23
Filing date: 2017-10-23
Publication date: 2022-03-30
Anticipated expiration: 2037-10-23
Also published as: US20190122054A1; JP2019079182A

Description

本開示は、道路認識装置に関する。

近年、車載カメラによって得られた撮像画像を用いて、道路の勾配変化を判定する道路認識装置が知られている。例えば、特許文献１には、撮像画像において上下方向に連なる複数の水平ライン領域を設定し、当該水平ライン領域ごとに検出された消失点の位置に基づいて道路の勾配変化を判定する画像処理装置が提案されている。消失点は、水平ライン領域で検出された、道路端や区画線などを表す方向成分に基づいて検出される。

特開２０１４－２３２４３９号公報

ところで、実際に車両が走行する状況下においては、車両と同じ車線を前方車両が走行している場合が多い。そうすると、撮像画像において道路端や区画線の一部が前方車両によって隠れてしまうことが生じ得る。

本開示の一局面は、撮像画像における前方車両の位置を利用して道路の勾配変化を判定する道路認識装置を提供することを目的としている。

本開示の一態様は、道路認識装置であって、検出部（Ｓ１０２，Ｓ２０２）と、算出部（Ｓ１０３，Ｓ２０３）と、判定部（Ｓ１０４，Ｓ１０５，Ｓ１０７，Ｓ２０４，Ｓ２０５，Ｓ２０７）と、を備える。検出部は、車両（１１）に搭載され道路を含む車両の前方を撮像するカメラ（１）によって得られた撮像画像において、前方車両の位置である第１の位置を検出するように構成されている。算出部は、撮像画像における、道路の勾配が一定であると仮定した場合の前方車両の位置の目安となる位置である第２の位置を算出するように構成されている。判定部は、撮像画像における第１の位置と第２の位置とを比較することにより、道路の勾配変化を判定するように構成されている。

このような構成によれば、撮像画像における前方車両の位置を利用して道路の勾配変化を判定することができる。

第１実施形態の車両の構成を示すブロック図である。第１実施形態のカメラの位置を示す図である。第１実施形態の判定処理のフローチャートである。第１実施形態の撮像画像の一例を示す図である。第１実施形態の車両と前方車両との位置関係の説明図である。第１実施形態の分岐かつ勾配がある道路の一例を示す図である。第２実施形態の判定処理のフローチャートである。第１変形例の判定処理のフローチャートである。第２変形例の下り勾配に変化する道路の画像を示す図である。第２変形例のカーブする道路の画像を示す図である。第２変形例の前方車両の軌跡及び道路形状を表す図である。第２変形例の判定処理のフローチャートである。第３変形例の下り勾配に変化する道路の消失点の図である。第３変形例の上り勾配に変化する道路の消失点の図である。

以下、本開示の例示的な実施形態について図面を参照しながら説明する。また、下記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、これは本開示の理解を容易にする目的で使用しており、特許請求の範囲の解釈を限定する意図ではない。
［１．第１実施形態］
［１－１．構成］
図１に示す車両１１は、カメラ１と、道路認識装置２と、報知ユニット３と、車両制御部４と、を備える。

カメラ１は、道路を含む車両１１の前方を撮像するカメラである。カメラ１は、一定の周期で撮像画像を撮像し、撮像画像のデータを道路認識装置２に入力する。図２に示すように、カメラ１は、車両１１における前方中央かつ上部、この例ではルームミラーの裏側、に取り付けられている。このため、道路の勾配が一定の場合、撮像画像において、車両１１の前方を走行する前方車両の上端と撮像画像における消失点とが上下方向においておおよそ同じ位置になる。

道路認識装置２は、車両に備えられた電子制御装置である。道路認識装置２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、及びフラッシュメモリ等の半導体メモリを備えた周知のマイクロコンピュータを中心に構成されている。道路認識装置２の機能は、ＣＰＵが非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、半導体メモリが、プログラムを格納した非遷移的実体的記録媒体に該当する。また、道路認識装置２によってプログラムが実行されることで、後述する認識処理及び判定処理が実行される。なお、道路認識装置２を構成するマイクロコンピュータの数は１つでも複数でもよい。

道路認識装置２は、カメラ１から入力された撮像画像を用いて、車両１１が走行する道路の勾配変化を判定する。勾配変化の詳細な判定方法については、後述する判定処理にて説明する。また、道路認識装置２は、車両１１が走行している車線の両側の区画線である車両区画線を認識する。具体的には、道路認識装置２は、撮像画像において、まず、道路上に描かれた道路ペイントを検出する。次に、道路認識装置２は、当該道路ペイントに基づいて車両区画線の形状を表すパラメータである区画線パラメータを算出することで、車両区画線を認識する。そして、道路認識装置２は、算出した区画線パラメータを報知ユニット３及び車両制御部４に入力する。なお、区画線は、例えば線の色が白や黄色であったり、また例えば線の形状が直線や破線であるなど、車両１１が走行する道路を区画する様々な線のことを指す。

ここで、道路認識装置２における、勾配変化の判定処理と車両区画線の認識処理との関係について説明する。道路認識装置２は、勾配が一定の道路を車両１１が走行している際、判定処理によって道路の勾配変化点が存在すると判定した場合、その結果を認識処理に反映させる。具体的には、道路認識装置２は、判定処理によって勾配が変化する勾配変化点が道路に存在すると判定した場合、撮像画像における勾配変化点よりも上側の領域を認識処理に用いない。換言すれば、道路認識装置２は、撮像画像における勾配変化点よりも下側の領域を用いて認識処理を行う。

報知ユニット３は、車室内に搭載されたスピーカーやディスプレイなど、車両１１の運転者に情報を報知する機器の集合体である。報知ユニット３は、道路認識装置２から入力される区画線パラメータに基づいて、車両１１が車両区画線から逸脱していると判定した場合、車両１１の運転者に車両区画線からの車両１１の逸脱を音や光などの方法によって報知する。

車両制御部４は、道路認識装置２から入力される区画線パラメータに基づいて、車線からの逸脱防止のためのステアリングの自動操作など、種々の車両１１の走行制御を行う。
［１－２．処理］
次に、道路認識装置２が実行する判定処理の手順について、図３のフローチャートを参照して説明する。判定処理は、カメラ１から撮像画像が入力される度に道路認識装置２が実行する処理である。図４に示す撮像画像２００は、カメラ１から道路認識装置２に入力された撮像画像の一例である。撮像画像２００には、前方車両２１及び車両区画線２２，２３を含む車両１１の前方の道路２４が撮像されている。

Ｓ１０１で、道路認識装置２は、まず、撮像画像に前方車両が存在するか否かを判定する。前方車両が存在するか否かの判定は、周知の画像処理、例えば、ＨＯＧ特徴量を用いた周知のテンプレートマッチングにより行われる。図４に示す例では、撮像画像２００に前方車両２１が存在すると判定される。

道路認識装置２は、Ｓ１０１で前方車両が存在すると判定した場合、処理をＳ１０２に移行する。一方、道路認識装置２は、Ｓ１０１で前方車両が存在しないと判定した場合、判定処理を終了する。

Ｓ１０２で、道路認識装置２は、撮像画像における前方車両の下端位置を検出する。図４に示す例では、前方車両２１の下端位置２５が検出される。
Ｓ１０３で、道路認識装置２は、道路の勾配が一定であると仮定した場合に前方車両の下端が位置すると予測される予測位置を算出する。本実施形態では、予測位置は、過去の撮像画像に基づいて算出された、前方車両との車間距離の予測値に基づいて算出される。

その前提として、道路認識装置２は、撮像画像に基づいて道路の勾配が一定であると仮定した場合の前方車両との車間距離である算出車間距離を算出する。算出車間距離は、撮像画像における消失点の位置及び前方車両の下端位置を特定することにより算出される。周知の透視投影変換から明らかなように、撮像画像における消失点の位置が特定されれば、撮像画像における前方車両の下端位置と、前方車両との車間距離と、の間の相関関係が特定されるからである。消失点は、左右の車両区画線における下端部分をそれぞれ直線状に延長した交点として特定される。つまり、道路の勾配が一定であると仮定した場合の消失点が用いられる。なお、障害物や分岐路などの理由によって左右の車両区画線の一部を用いることができず消失点が特定できない場合は、直前まで特定していた最新の消失点を用いる。

そして、道路認識装置２は、過去の撮像画像の撮像時点での算出車間距離に基づいて、最新の撮像画像の撮像時点での前方車両との車間距離の予測値である予測車間距離を算出する。予測車間距離は、例えば、直近の複数の撮像時点での算出車間距離の経時的変化に基づいて算出される。

ここで、図４に示す撮像画像２００が過去の撮像画像である場合における、算出車間距離及び予測車間距離の算出方法を説明する。まず、過去の撮像画像２００の道路２４における左右の車両区画線２２、２３の下端部分が直線状に延長された交点である消失点２６が特定される。次に、下端位置２５及び消失点２６から、車両１１と前方車両２１との算出車間距離が算出される。そして、撮像画像２００を含む直近の複数の撮像時点での算出車間距離の経時的変化に基づいて、予測車間距離が算出される。

次に、道路認識装置２は、予測車間距離に基づいて、最新の撮像画像における前方車両の予測位置を算出する。予測位置は、上述した相関関係に基づき、予測車間距離及び最新の撮像画像における消失点の位置に基づき算出される。図４に示す撮像画像２００が最新の撮像画像である場合、予測車間距離と消失点２６の位置とに基づいて予測位置が算出される。

Ｓ１０４で、道路認識装置２は、撮像画像における、Ｓ１０２で検出した前方車両の下端位置とＳ１０３で算出した予測位置との上下方向における差が、しきい値を超えるか否かを判定する。しきい値を超えると判定した場合、道路認識装置２は、Ｓ１０５で道路の勾配変化点が存在すると判定し、処理をＳ１０６に移行する。図４に示す例では、撮像画像２００における、前方車両２１の下端位置２５と予測位置との上下方向における差がしきい値を超えると判定される。

Ｓ１０６で、道路認識装置２は、勾配変化点が存在すると判定した結果を、車両区画線の認識処理に反映させる。具体的には、道路認識装置２は、撮像画像における前方車両の下端位置を勾配変化点とみなし、当該勾配変化点よりも上側の領域を認識処理に用いず、当該勾配変化点よりも下側の領域を用いて認識処理を行う。Ｓ１０６の処理の後、道路認識装置２は判定処理を終了する。図４に示す例では、下端位置２５よりも上側の領域が車両区画線の認識処理に用いられず、下端位置２５よりも下側の領域が認識処理に用いられる。

一方、Ｓ１０４で、前方車両の下端位置と予測位置との上下方向における差がしきい値を超えないと判定した場合、道路認識装置２は、処理をＳ１０７に移行する。Ｓ１０７で、道路認識装置２は、道路の勾配変化点が存在しないと判定し、その後判定処理を終了する。
［１－３．効果］
以上詳述した第１実施形態によれば、以下の効果が得られる。

（１ａ）道路認識装置２は、撮像画像における前方車両の下端位置と予測位置との上下方向における差に基づいて、道路の勾配変化点が存在するか否かを判定する。
例えば、図５に示すように、車両１１及び前方車両２１が道路２４を走行しているとする。車両１１及び前方車両２１がともに勾配が一定の平坦な領域Ａを走行している場合、撮像画像における前方車両２１の下端位置は、道路の勾配が一定であると仮定した場合に前方車両２１の下端が位置されると予測される予測位置と同じ又は近くなる。一方、車両１１はまだ領域Ａを走行しており、前方車両２１は勾配変化点Ｓ１を通過した後下り勾配の領域Ｂを走行している場合、撮像画像における前方車両２１の下端位置は、予測位置よりも下にずれる。また、車両１１はまだ領域Ａを走行しており、前方車両２１は勾配変化点Ｓ２を通過した後上り勾配の領域Ｃを走行している場合、撮像画像における前方車両２１の下端位置は、予測位置よりも上にずれる。

したがって、本実施形態の判定処理によって撮像画像における前方車両の下端位置と予測位置との差を算出することにより、道路の勾配変化を判定することができる。特に本実施形態の構成では、撮像画像のみに基づいて勾配変化を判定することができる。

また、本実施形態の構成によれば、左右の車両区画線のうちの一部を用いることができず消失点が特定できない道路状況においても、撮像画像のみに基づいて勾配変化の判定をすることができる。例えば、図６の撮像画像３００に示すように、右側の車両区画線３３の延長線上に分岐路があり、かつ勾配がある道路３４の勾配変化を判定する場合であって、右側の車両区画線３３を撮像画像３００における消失点の特定に用いない場合、消失点を特定することができない。このような場合、本実施形態の道路認識装置２は、直前まで特定していた最新の消失点を用いる。このため、本実施形態の構成によれば、分岐かつ勾配がある道路においても勾配変化の判定を行うことができる。

（１ｂ）道路認識装置２は、道路に勾配変化点が存在すると判定した場合、撮像画像における勾配変化点よりも下側の領域を用いて認識処理を行う。したがって、このような構成によれば、認識処理における車両区画線の誤判定を生じにくくすることができる。

なお、第１実施形態では、前方車両の下端位置が第１の位置に相当し、予測位置が第２の位置に相当する。また、Ｓ１０２が検出部としての処理に相当し、Ｓ１０３が算出部としての処理に相当し、Ｓ１０４，Ｓ１０５，Ｓ１０７が判定部としての処理に相当し、Ｓ１０６が認識部としての処理に相当する。
［２．第２実施形態］
［２－１．処理の概要］
第２実施形態は、第１実施形態と比較して、基本的な構成は同じであるが、判定処理が異なる。よって、以下、第１実施形態との相違点を中心に説明する。

上述したように、道路の勾配が一定の場合、撮像画像において、前方車両の上端と撮像画像における消失点とが上下方向においておおよそ同じ位置になるように、カメラ１が設置されている。したがって、例えば、図５に示すように、車両１１は領域Ａを、前方車両２１は勾配変化点Ｓ１を通過した後下り勾配の領域Ｂを走行している場合、撮像画像における前方車両の上端は消失点よりも下にずれる。この点に着目し、第２実施形態における判定処理では、撮像画像における前方車両の上端位置と消失点との比較に基づき、道路の勾配変化点が存在するか否かを判定する。
［２－２．処理］
第２実施形態の判定処理について、図７のフローチャートを用いて説明する。

Ｓ２０１の処理は、Ｓ１０１の処理と同様である。
Ｓ２０２で、道路認識装置２は、撮像画像における前方車両の上端位置を検出する。図４に示す例では、前方車両２１の上端位置２７が検出される。

Ｓ２０３で、道路認識装置２は、Ｓ１０３の処理と同様の方法によって、撮像画像における消失点を特定する。図４に示す例では、消失点２６が特定される。なお、Ｓ２０３の処理もＳ１０３の処理と同様、消失点が特定できない場合は、直前まで特定していた最新の消失点を用いる。

Ｓ２０４で、道路認識装置２は、撮像画像における、Ｓ２０２で算出した前方車両の上端位置とＳ２０３で算出した消失点との上下方向における差がしきい値を超えるか否かを判定する。図４に示す例では、撮像画像２００における、前方車両の上端位置２７と消失点２６との上下方向における差がしきい値を超えるか否かが判定される。しきい値を超えると判定した場合、道路認識装置２は、Ｓ２０５に処理を移行する。なお、Ｓ２０５，Ｓ２０６の処理は、Ｓ１０５，Ｓ１０６の処理と同様である。

一方、Ｓ２０４で、撮像画像における前方車両の上端位置と消失点との上下方向における差がしきい値を超えないと判定した場合、道路認識装置２は、処理をＳ２０７に移行する。Ｓ２０７の処理は、Ｓ１０７の処理と同様である。
［２－３．効果］
以上詳述した第２実施形態の判定処理によっても、第１実施形態の判定処理と同様、撮像画像のみに基づいて勾配変化を判定することができる。

なお、第２実施形態では、前方車両の上端位置が第１の位置に相当し、消失点が第２の位置に相当する。また、Ｓ２０２が検出部としての処理に相当し、Ｓ２０３が算出部としての処理に相当し、Ｓ２０４，Ｓ２０５，Ｓ２０７が判定部としての処理に相当し、Ｓ２０６が認識部としての処理に相当する。
［３．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。

（３ａ）上記実施形態では、道路認識装置によって勾配変化点が存在すると判定された後の処理として、撮像画像における勾配変化点よりも上側の領域を認識処理に用いない処理を例示した。しかしながら、当該処理はこれに限定されるものではない。

例えば、勾配変化点が存在すると判定された撮像画像全体を認識処理に用いないようにしてもよい。また例えば、道路の状況等に応じて、認識処理に用いない領域として、撮像画像における全体の領域及び勾配変化点よりも上側の領域のうちのいずれかを選択するようにしてもよい。また例えば、勾配変化点が存在する旨の情報を車両制御部に入力するようにしてもよい。この場合、当該情報が入力された車両制御部が、勾配変化点が存在する撮像画像を基に算出した区画線パラメータを車両１１の制御に用いるか否かを判定する構成としてもよい。

（３ｂ）判定処理では、複数の撮像画像において、前方車両の下端位置と予測位置との上下方向における差がしきい値を超えると連続して判定された場合に、勾配変化点が存在すると判定するようにしてもよい。

例えば、図８に示す第１変形例の判定処理は、第１実施形態の判定処理と比較して、当該上下方向における差がしきい値を連続して超えた回数をカウントする処理である、Ｓ３０５，Ｓ３０６，Ｓ３１０の処理を更に加えた点が異なる。すなわち、Ｓ３０１～Ｓ３０４、Ｓ３０７～Ｓ３０９の処理は、Ｓ１０１～Ｓ１０７と同様である。このため、Ｓ３０１～Ｓ３０４、Ｓ３０７～Ｓ３０９の処理については説明を省略する。

Ｓ３０４で当該上下方向における差がしきい値を超えると判定した場合、道路認識装置２は、Ｓ３０５で判定カウントをインクリメントし、処理をＳ３０６に移行する。
Ｓ３０６で、道路認識装置２は、判定カウントが所定のカウントしきい値を超えるか否かを判定する。ここでいうカウントしきい値は、勾配変化点が存在すると判定するための、当該上下方向における差が連続してしきい値を超える回数である。判定カウントがカウントしきい値を超えると判定した場合、道路認識装置２は、処理をＳ３０７に移行する。一方、判定カウントがカウントしきい値を超えないと判定した場合、道路認識装置２は、処理をＳ３０９に移行する。なお、判定カウントの数値は次の判定処理まで保持される。

一方、Ｓ３０４で当該上下方向における差がしきい値を超えないと判定した場合、道路認識装置２は、Ｓ３１０で判定カウントを０にリセットし、判定処理を終了する。
このような構成によれば、複数の撮像画像において勾配変化点が存在する可能性が高い場合に、勾配変化点が存在すると判定することができる。その結果、一定の確からしさをもって勾配変化の判定をすることができる。なお、Ｓ３０２～Ｓ３０４の処理では、前方車両の下端位置と予測位置との上下方向における差に代えて、前方車両の上端位置と消失点との上下方向における差がしきい値を超えるか否かを判定するようにしてもよい。

（３ｃ）判定処理では、トップビュー画像における車両区画線の形状と前方車両の軌跡とが異なるか否かを更に判定し、勾配変化の判定を行ってもよい。トップビュー画像は、撮像画像が車両の真上から見た画像に変換された画像である。具体的には、例えば、図９に示す撮像画像４００は、平坦かつ勾配が一定の領域から下り勾配の領域に変化する道路が撮像された画像である。図１０に示す撮像画像５００は、平坦かつ道路勾配が一定であって、正面に真っ直ぐ延びた領域から右にカーブする領域に変化する道路が撮像された画像である。トップビュー画像４０１は撮像画像４００を、トップビュー画像５０１は撮像画像５００を、それぞれ車両の真上からみた画像に変換した画像である。

撮像画像からトップビュー画像への変換は、平坦かつ勾配が一定の道路を前提として撮像画像の消失点に基づいて実行される。そうすると、撮像画像４００のように勾配が変化する領域が撮像された撮像画像を、トップビュー画像に変換すると、勾配が変化した領域の部分に歪みが生じる。その結果、本来は直線状になるはずの左右の車両区画線４２，４３はそれぞれ、トップビュー画像４０１では中心に向かってカーブした形状で表される。したがって、トップビュー画像４０１における左側の車両区画線４２の形状は、トップビュー画像５０１における、右にカーブした車両区画線５２，５３の形状と類似する。

この前提を踏まえると、例えば車両区画線４３が認識されず車両区画線４２のみがトップビュー画像４０１に表される場合、車両区画線４２の形状から、道路が平坦かつ勾配一定から下り勾配へ変化するか否かを判定することは困難である。しかし、このような場合でも、トップビュー画像における、車両区画線の形状と、前方車両との軌跡とを比較することにより、道路が勾配変化しているのかを判定することができる。例えば、図１１に示す仮想画像４０１Ａは、トップビュー画像４０１の車両区画線４２に、真上から見た場合の仮想の車両１１及び前方車両２１を重ねて表した、仮想上の画像である。前方車両２１は、実際の道路において、平坦かつ勾配一定の領域から、勾配変化点を通過し下り勾配の領域を正面に向かって真っ直ぐ走行しているとする。この場合、図１１に示すように、仮に前方車両２１の軌跡Ｌを仮想画像４０１Ａに描いた場合、軌跡Ｌは直線状となる。これに対し、車両区画線４２の形状、この例では車両区画線４２の内側のエッジＳ、は右にカーブした形状である。

この点に着目し、この例における判定処理では、前方車両の下端位置と予測位置との上下方向における差に加え、トップビュー画像における車両区画線と前方車両の軌跡との形状の差を算出することにより、勾配変化点が存在するか否かを判定する。

例えば、図１２に示す第２変形例の判定処理では、第１実施形態の判定処理と比較して、区画線の形状と前方車両の軌跡とを比較する処理であるＳ４０５の処理を更に加えた点が異なる。すなわち、Ｓ４０１～Ｓ４０４，Ｓ４０６～Ｓ４０８の処理は、Ｓ１０１～Ｓ１０７と同様である。このため、Ｓ４０１～Ｓ４０４，Ｓ４０６～Ｓ４０８の処理については説明を省略する。

Ｓ４０４で前方車両の下端位置と予測位置との上下方向における差がしきい値を超えると判定した場合、道路認識装置２は、Ｓ４０５に処理を移行する。
Ｓ４０５で、道路認識装置２は、撮像画像において車両１１の左右の車両区画線のうち片側の車両区画線のみが認識されている場合は当該片側の車両区画線を、両側の車両区画線が認識されている場合はいずれかの車両区画線を選択する。そして、道路認識装置２は、選択した車両区画線のトップビュー画像における形状、この例では選択した車両区画線の内側のエッジ、を算出する。次に、道路認識装置２は、カメラ１によって撮像された複数の撮像画像における前方車両の位置に基づいて、トップビュー画像における前方車両の軌跡を算出する。そして、道路認識装置２は、トップビュー画像における車両区画線の内側のエッジの曲率半径と前方車両の軌跡の曲率半径との差である曲率半径差が、所定の半径しきい値を超えるか否かを判定する。ここでいう半径しきい値は、トップビュー画像における車両区画線の形状と前方車両の軌跡とがおおよそ同じであると判定できる、曲率半径差の許容限界値である。曲率半径差が半径しきい値を超えると判定した場合、道路認識装置２は、処理をＳ４０６に移行する。一方、曲率半径差が半径しきい値を超えないと判定した場合、道路認識装置２は、処理をＳ４０８に移行する。

このような構成によれば、撮像画像における前方車両の下端位置と予測位置との上下方向における差に加え、トップビュー画像における車両区画線と前方車両の軌跡との形状の差によっても勾配の変化を判定するため、一定の確からしさをもって勾配変化の判定をすることができる。

なお、第２変形例の判定処理では、Ｓ４０４で算出した前方車両の下端と予測位置との上下方向における差、及びＳ４０５で算出した曲率半径差をそれぞれ信頼度として算出し、これら信頼度の統合値が所定のしきい値を超える場合に、勾配変化点が存在すると判定するようにしてもよい。

（３ｄ）判定処理では、撮像画像における、左右の車両区画線の下端部分に基づいて算出された消失点である第１消失点の位置と、左右の車両区画線の上端部分に基づいて算出された消失点である第２消失点の位置との上下方向における差を更に判定し、勾配変化の判定を行ってもよい。第１消失点は、撮像画像における左右の車両区画線の下端部分が交差した点、すなわち、道路が平坦かつ勾配が一定であるとの前提に基づき、車両１１付近の道路を表す車両区画線に基づいて特定された消失点である。一方、第２消失点は、撮像画像における左右の区画線の上端部分、すなわち実際に撮像画像に表された道路の遠方を表す車両区画線に基づいて特定された、第１消失点に対する補正された消失点である。第２消失点は、例えば、撮像画像内の所定の領域における複数の方向エッジ成分のうち垂直成分の方向成分を検出するなどの周知の方法により特定される。したがって、道路が平坦かつ勾配が一定である場合、第１消失点の位置と第２消失点との上下方向における位置は一致する。一方、道路が平坦かつ勾配が一定の領域から勾配が変化する場合、第１消失点の位置と第２消失点との上下方向における位置はずれる。

例えば、図１３に示す撮像画像６００は、平坦かつ勾配が一定の領域から下り勾配の領域に変化する道路が撮像された撮像画像である。図１４に示す撮像画像７００は、平坦かつ勾配が一定の領域から上り勾配に変化する道路が撮像された撮像画像である。撮像画像６００においては第１消失点６６が、撮像画像７００においては第１消失点７６が特定される。ここで、撮像画像６００においては勾配変化点から下り勾配に変化するため、車両区画線６２，６３の上端部分は第１消失点６６よりも低い位置で中心に向かって交差する形状となる。したがって、第１消失点６６よりも低い位置に第２消失点６６Ａが特定される。撮像画像７００においては勾配変化点から上り勾配に変化するため、車両区画線７２，７３の上端部分は第１消失点７６よりも高い位置で中心に向かって交差する形状となる。したがって、第１消失点７６よりも高い位置に第２消失点７６Ａが特定される。

この点に着目し、例えば、前方車両の下端位置と予測位置との上下方向における差、及び第１消失点と第２消失点との上下方向における差、がそれぞれ所定のしきい値を超える場合、勾配変化点が存在すると判定するようにしてもよい。

このような構成によれば、撮像画像における、前方車両の位置に加え、消失点と補正された消失点との位置のずれによっても勾配の変化を判定するため、一定の確からしさをもって勾配変化の判定をすることができる。

なお、第３変形例の判定処理でも、前方車両の下端と予測位置との上下方向における差、及び消失点と補正された消失点との位置の差をそれぞれ信頼度として算出し、これら信頼度の統合値が所定のしきい値を超える場合に、勾配変化点が存在すると判定するようにしてもよい。

（３ｅ）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

（３ｆ）本開示は、上述した道路認識装置の他、当該道路認識装置を構成要素とするシステム、当該道路認識装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、勾配変化点判定方法など、種々の形態で実現することができる。

１…カメラ、２…道路認識装置、３…報知ユニット、４…車両制御部、１１…車両、２１…前方車両、２２，２３，３３，４２，４３，５２，５３，６２，６３，７２，７３…車両区画線、２４，３４…道路、２６…消失点、６６，７６…第１消失点、６６Ａ，７６Ａ…第２消失点、２００，３００，４００，５００，６００，７００…撮像画像、４０１，５０１…トップビュー画像、４０１Ａ…仮想画像。

Claims

車両（１１）に搭載され道路を含む前記車両の前方を撮像するカメラ（１）によって得られた撮像画像において、前方車両の位置である第１の位置を検出するように構成された検出部（Ｓ１０２，Ｓ２０２）と、
前記撮像画像における、前記道路の勾配が一定であると仮定した場合の前記前方車両の位置の目安となる位置である第２の位置を算出するように構成された算出部（Ｓ１０３，Ｓ２０３）と、
前記撮像画像における前記第１の位置と前記第２の位置とを比較することにより、前記道路の勾配変化を判定するように構成された判定部（Ｓ１０４，Ｓ１０５，Ｓ１０７，Ｓ２０４，Ｓ２０５，Ｓ２０７）と、
を備え、
前記第１の位置は、前記撮像画像における前記前方車両の上端位置であって、
前記第２の位置は、前記撮像画像における、前記道路の勾配が一定であると仮定した場合の消失点の位置である、
道路認識装置。
車両（１１）に搭載され道路を含む前記車両の前方を撮像するカメラ（１）によって得られた撮像画像において、前方車両の位置である第１の位置を検出するように構成された検出部（Ｓ１０２，Ｓ２０２）と、
前記撮像画像における、前記道路の勾配が一定であると仮定した場合の前記前方車両の位置の目安となる位置である第２の位置を算出するように構成された算出部（Ｓ１０３，Ｓ２０３）と、
前記撮像画像における前記第１の位置と前記第２の位置とを比較することにより、前記道路の勾配変化を判定するように構成された判定部（Ｓ１０４，Ｓ１０５，Ｓ１０７，Ｓ２０４，Ｓ２０５，Ｓ２０７）と、
を備え、
前記撮像画像において区画線を認識するように構成された認識部（Ｓ１０６，Ｓ２０６）を更に備え、
前記判定部は、勾配が変化する勾配変化点が前記道路に存在するか否かを判定し、
前記認識部は、前記勾配変化点が存在すると前記判定部が判定した場合、前記撮像画像における前記勾配変化点よりも下側の領域に基づいて区画線を認識する、
道路認識装置。
車両（１１）に搭載され道路を含む前記車両の前方を撮像するカメラ（１）によって得られた撮像画像において、前方車両の位置である第１の位置を検出するように構成された検出部（Ｓ１０２，Ｓ２０２）と、
前記撮像画像における、前記道路の勾配が一定であると仮定した場合の前記前方車両の位置の目安となる位置である第２の位置を算出するように構成された算出部（Ｓ１０３，Ｓ２０３）と、
前記撮像画像における前記第１の位置と前記第２の位置とを比較することにより、前記道路の勾配変化を判定するように構成された判定部（Ｓ１０４，Ｓ１０５，Ｓ１０７，Ｓ２０４，Ｓ２０５，Ｓ２０７）と、
を備え、
前記撮像画像において区画線を認識するように構成された認識部（Ｓ１０６，Ｓ２０６）を更に備え、
前記判定部は、勾配が変化する勾配変化点が前記道路に存在するか否かを判定し、
前記認識部は、前記勾配変化点が存在すると前記判定部が判定した場合、前記撮像画像について区画線を認識しない、
道路認識装置。
請求項１から請求項３までのいずれか１項に記載の道路認識装置であって、
前記判定部は、前記撮像画像における、前記第１の位置と前記第２の位置との上下方向における相対位置に基づいて、前記道路の勾配変化を判定する、
道路認識装置。