JP7458940B2 - 画像処理装置 - Google Patents

Description

本発明は、車両に搭載されたセンサを活用して車両周囲環境を認識する画像処理装置に関する。

特許文献１には、センサを利用して路肩を検知し、予防安全や自動運転に利用する技術が記載されている。

特開２００９－０５３８１８号公報

近年、予防安全に関する警報、制御機能が普及期を迎えている。この予防安全の実現のために未然に事故を予測するためのセンシング機能の開発も加速している。現在、普及している機能は、高速道路における予防安全機能、もしくは運転支援、もしくは一般道においては、衝突を未然に防ぐ緊急ブレーキに関するものが多い。その中で、予防安全機能の一つである、路端検知による走行路逸脱防止機能については、路端のセンシングの難易度が高いことからもまだ普及期を迎えていない。

走行路の区画を示すために人工的にペイントされた車線と異なり、路端には、必ずしも人工物の壁や歩道の段差があるわけではない。例えば高速道路の場合、路端には、人工的に整備された壁が設けられている場合が大半であり、車線ほどではないにしても連続的できれいな曲線であることが多く、路端の認識は比較的容易である。一方、一般道の場合は、電柱や岩、草、などの障害物が走行路に飛び出している場合もあり、車両が走行しやすいような曲率形状を事前にモデル化することが困難であり、路端を検知するセンシングの難易度が高い。また、一般道では、路端の形状だけでなく、路端の途切れ、また、路端の種別も混在するような環境であることも多く、路端の認識が難しいシーンが多数存在する。

一般道においては、塀やガードレール、歩道などの構造物（オブジェクト）は、基本的に走行路に沿った方向の形状が多少なめらかな曲線でなかったとしても、連続につながっている場合が多い。ただし、これらの構造物であっても、店舗や自宅への入り口などでは、途切れが発生したり、他の障害物が遮っていたりするなど、不連続性があり、その路端の種別がすぐに変更されることもある。

また、走行路の側方には、非常に背が低く路面と高さの差がないような芝生や砂利、舗装のない土の領域や、または側溝、田んぼ、畑、などのように路面より高さの低い領域も存在し、これらの領域と走行路との間の境界も路端となる。そして、このように領域の種別がさまざまであるだけでなく、走行路の路端には、電柱や障害物、草や側溝の蓋、樹木などさまざまなものが不連続に存在し、これをより適切に認知することが重要な課題となる。

本発明は、上記課題に鑑みてなされたものであり、その目的は、より安全かつ快適に車両を制御するために、センサを利用して自車両の周囲環境をセンシングし、自車両の制御や警報に必要な情報を出力する画像処理装置を提供することにある。

本発明の画像処理装置は、車載カメラの撮像画像に基づいて走行路の路端を検知する画像処理装置であって、前記撮像画像から前記路端を構成するオブジェクトの種別を認識し、該オブジェクトの種別に応じて、前記路端を検知するためのパラメータを変更することを特徴とする。

本発明によれば、一般道などにおいて複数種類の路端が不連続に存在するような環境であっても、適切に同一種類の路端の特徴を優先的に連結して認識することで、安定的かつ正確に、路端の検知を可能とし、走行路逸脱防止機能の精度向上を図ることができる。

本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本実施形態に係わる画像処理装置の全体構成を説明する図。 センサ部の内部構成を説明する図。 路端種別特徴部の内部構成を説明する図。 路端特徴量抽出部の内部構成を説明する図。 路端種別の具体例を模式的に示す図。 撮像画像を模式的に示す図と路端累積特徴量を抽出した画像を示す図。 低段差路端とマイナス路端の特徴量抽出方法を説明する図。 段差なし路端と走行路区分路端の特徴量抽出方法を説明する図。 自車挙動推定部の内部構成を説明する図。 自車挙動推定例を説明する図。 自己位置推定例を説明する図。 路端特徴地図生成部の内部構成を説明する図。 路端特徴地図の一例を示す図。 図１３の路端特徴地図に内側特徴優先処理を施した地図を示す図。 種別に応じた走行路判定部の内部構成を説明する図。 連結路端候補生成条件を示す図。 図１４に示す内側特徴優先処理を施した地図から連結路端候補を生成した地図を示す図。 路端候補連結条件を示す図。 複数種の路端の連結例(１)を示す図。 車両を含む路端の連結例（２）を示す図。 走行路区分を含む路端の連結例（３）を示す図。 警報制御部の内部構成を説明する図。 路端種別に対する警報と制御マージンの情報を示す図。 画像処理装置により実行される処理を説明するフローチャート。

以下、本発明の実施例について図面を用いて説明する。

＜画像処理装置＞
図１は、本実施形態における画像処理装置の全体構成を示す図である。
画像処理装置１は、センサ部１００と、路端種別特徴部２００と、走行路判定部３００と、警報制御部４００を有している。

センサ部１００は、障害物や走行路周辺の形状など車両周囲の環境を検出するセンサを有している。センサ部１００は、車載フロントセンサを有する。本実施例では、図２上段（１）に示すように、左右カメラ部（ステレオカメラ）１１０を、車載フロントセンサの例として記載するが、センサ自体は、図２中段（２）に示すように、カメラ部１５０単体であっても、図２下段（３）に示すようにカメラ部１７０とＬｉｄａｒ部１８０のＦｕｓｉｏｎセンサであってもよい。また、センサ部１００は、必ずしもセンサを有している必要はなく、車両に設けられた各種センサからの検出信号を取得する構成であってもよい。

路端種別特徴部２００は、路端の種別に応じた特徴量（路端特徴量）の抽出を実施する。路端は、走行路とオブジェクトとの間に形成され、路端の種別は、オブジェクトによって異なる。路端種別特徴部２００は、オブジェクトの種別ごとに路端特徴量を抽出し、その抽出した路端特徴量を用いて路端の種別を判定する。自車両の走行可否を示す走行可能領域を区分する境界、つまり、走行路の路端には、さまざまな種別が存在するため、同一の探索方法で異なる種別の路端の特徴量を抽出すること自体が難しかった。例えば、走行路の路面と比較して背の高い障害物、あるいは走行路の路面より低い領域、あるいは３次元の高さの差分はないものの走行路の路面と異なる性質の路面（例えば走行路面がアスファルトに対して、芝や砂利、土など）などのオブジェクトと走行路との境界を、路端として同一の画像処理アルゴリズムで抽出することは困難であった。

これに対し、本実施形態では、路端種別特徴部２００は、図４に示すように複数種類の抽出手段を組み合わせて利用し、複数の路端特徴量抽出アルゴリズムを併用する方式を採用する。路端種別特徴部２００は、抽出した複数種別の路端の各特徴量を同一の空間（地図上）で統合する処理を実施し、ノイズ除去も併せて実施する。路端種別特徴部２００は、抽出した路端特徴量をベースにして路端特徴地図を作成する。

走行路判定部３００は、路端種別特徴部２００によって作成された路端特徴地図を利用して、路端の種別に応じた走行路判定を実施する。走行路判定部３００では、路端種別特徴部２００において路端の種別ごとに路端特徴量が抽出されるため、その路端特徴量を用いて路端特徴地図を作成する。そして、その路端特徴地図から路端候補を抽出し、それぞれの種別ごとに、路端候補の連結を実施し、連結された路端候補を利用して、互いに種別が異なる路端候補をさらに連結するかどうかを判定する。

基本的に同一種別の路端特徴量は並んでいる可能性が高いが、路端特徴量の種別に応じてもその連続性の発生頻度に違いが生じる。例えば、路端を示す道路脇のポールや、走行路を示す三角ポールなどの場合、互いに連結はされておらず、そもそもが連続して並ぶわけでもない。このため、走行路区分を示すマーカー自体が連続して並べることがほぼない上に、これらの場合には、互いに大きな間隔を有して走行路に並べられているため、これらの種別の特徴は、かなりの長い距離まで連結させて走行路区分を判断する必要がある。

警報制御部４００は、所定の状況下でドライバに警報を行い、状況が改善されない場合には、車両制御を行う。警報制御部４００は、走行路判定部３００の判定結果に応じて、車両が走行路の境界である路端に接近し、走行路から逸脱しそうな場合に、まず警報音の吹鳴や警報表示によりドライバに警報を行い、さらにそれでも、逸脱しそうな状況が継続される、もしくは、走行路境界との距離が著しく近い、もしくはこのまま操舵しなければ、ある一定時間後には走行路を逸脱すると判定された場合には、操舵とブレーキの車両制御を実施し、車両が走行路を逸脱するのを抑制する。

＜センサ部１００＞
図２は、センサ部の構成を説明する図である。
本実施例においては、先に示したように基本的には、ステレオカメラを前提とした実施例を記載する。ただし、先にも示したように、図２中段（２）、図２下段（３）にも示すように、センサ部１００は、カメラ部１５０を有する単眼カメラであってもよく、また、カメラ部１７０とＬｉｄａｒ部１８０を組み合わせたＦｕｓｉｏｎセンサであってもよいし、このほかのＴＯＦセンサや、ミリ波とカメラなどとのＦｕｓｉｏｎセンサなどであってもよい。

図２上段（１）のセンサ部１００がステレオカメラであると想定した本実施例においては、左右カメラ部１１０において左右カメラの撮像画像を取得し、これを幾何、感度の補正をして、左右カメラ部１１０の撮像画像がステレオマッチングするために必要な幾何的な補正である平行化を実施、左右カメラの色合い、輝度などが同じになるように設定する感度キャリブレーションを実施する。この感度と幾何のキャリブレーションを実施したのち、ステレオマッチング部１２０において左右の撮像画像のステレオマッチングを実施することで、視差画像を生成する。３Ｄ点群生成部１３０では、この視差画像からカメラ内部パラメータを利用して３次元点群を生成する。

＜路端種別特徴部２００＞
図３は、路端種別特徴部の構成を説明する図である。
路端種別特徴部２００は、路端特徴量抽出部２１０と、自車挙動推定部２２０と、路端特徴地図生成部２３０と、内側特徴優先部２４０と、内側特徴種別判定部２５０とを有している。

路端種別特徴部２００では、自車両が走行可能な領域を判定するために利用するための路端の特徴量を取得する。特に、路端特徴量抽出部２１０においては、走行可能な領域である道路と境界となる障害物や側溝、路肩ブロックなどのオブジェクトが存在する位置からステレオカメラの３次元情報、カメラからの撮像画像の情報を利用して路端特徴量を抽出する。抽出した路端特徴量には、路端の種別情報と位置情報が含まれている。

路端特徴量抽出部２１０では、これらの路端特徴量は、センサ部１００で撮像される単フレームの結果ごとに、つまり、毎フレームにおいてそれぞれ抽出される。しかしながら、走行路の区分線は、単フレームのみで判定するよりも、過去に抽出した路端特徴量も合わせて判定した方が、安定的かつなめらかな境界を抽出可能である。つまり、前進する車両からすれば、自車の後方の路端を含めて走行路区分の境界を判定したほうがよい。

このため、抽出した路端特徴量を時系列に並べて地図上の路端特徴量とするために、自車挙動推定部２２０では、自車両の挙動を推定し、路端特徴地図生成部２３０では、推定した結果に基づいて、毎フレーム得られた路端特徴量を地図上に並べて投票する処理を行う。これにより、毎フレームにおいてそれぞれ得られた路端特徴量が自車両の上から見る俯瞰図上で並べられ、あたかも走行路との境界を示す地図のように路端特徴量が並べられる。この際に、特徴量の種別に関する情報も含めて地図上に投票する。つまり、地図上で路端が位置する点に、路端特徴量の種別に関する情報も紐付けて記憶させる処理が行われる。

しかしながら、この時点では、ノイズとして得られた路端特徴量も含めて地図上に並べられる。このため、地図上において、まずは、自車が走行する位置から横方向（走行路の路幅方向）に最も近い、つまり最も内側となるオブジェクトの特徴量を優先的に保持し、それよりも外側（路幅方向外側）に重複して存在する他のオブジェクトの特徴量を、地図上から削減する処理を、内側特徴優先部２４０にて実施する。これは、路端領域において、路幅方向内側に存在する路肩ブロックもしくは側溝、壁などのオブジェクトよりも、路幅方向外側に存在するより背の高い壁や樹木、ビルなどから構成されたオブジェクトの路端特徴量を排除することで、路幅方向で最も内側にあるオブジェクト、つまり、車両に最も近いオブジェクトによって構成される路端を、より正しく、ノイズに影響をうけることなく判定できるようにする。

次に、地図上にある閾値以上に投票された路端特徴量の種別情報について、自車両の右路端と左路端を別々に処理し、自車両の左右に並ぶ路端特徴量の種別を、内側特徴種別判定部２５０にて特定する。この際に、奥行き別に複数種類の特徴が混ざるような場合もありうる。基本は主となる特徴種別を特定、もしくは混合する特徴種別を複数個特定し、極端に特徴量の少ない種別に関してはノイズとする。

＜路端特徴量抽出部２１０＞
図４は、路端特徴量抽出部の構成を説明する図である。路端特徴量抽出部２１０は、立体物累積部２１１、移動体部２１２、低段差部２１３、マイナス段差部２１４、段差なし路端部２１５、及び走行路区分立体物部２１６を備えている。

路端特徴量抽出部２１０では、オブジェクトの種類に応じて路端を検知するためのパラメータを変更する。ここでは、オブジェクトの種別に応じてさまざまな種類の路端特徴量を抽出する。図５は、路端の種類の例を断面で模式的に示す図である。図５（１）は、走行路（車道）５０１の路幅方向右側に側溝５０２が存在し、走行路５０１の中心よりも路幅方向左側の路端に背の高いフェンスが設けられた立体物累積領域５０３と、さらにその立体物累積領域５０３の路幅方向左側に歩道５０４がある例を示している。

図５（１）に示す例では、走行路５０１と側溝５０２との間の境界、及び、走行路５０１と立体物累積領域５０３との間の境界が、それぞれ路端となる。そして、図５（２）は、走行路５１１の路幅方向左側に比較的低い段差を介して歩道５１４が設けられ、走行路５１１の路幅方向右側に凸条の路肩ブロック５１２が配置され、さらにその右側に歩道５１３が配置されている例を示している。図５（２）に示す例では、走行路５１１と歩道５１４との間の境界、及び、走行路５１１と路肩ブロック５１２との間の境界が、それぞれ路端となる。

そして、図５（３）は、走行路５２１の路幅方向左側に芝、砂利、あるいは土などが走行路５２１の路面と同じ高さで連続する段差なし領域５２２が配置され、走行路５２１の路幅方向右側には、例えば田んぼ、畑、低地など、走行路５２１との間に段差を介して走行路５２１の路面よりも低いマイナス段差領域５２３が存在している例が示されている。図５（３）に示す例では、走行路５２１と段差なし領域５２２との間の境界、及び、走行路５２１とマイナス段差領域５２３との間の境界が、それぞれ路端となる。

例えば、図５（１）に示すように、立体物累積部２１１では、走行路５０１の路面と比較して背の高い立体物に対して特徴量を抽出する。立体物累積部２１１は、立体物の背が高いほど、つまり、路面高さが高いほど、より特徴量が累積して、安定した特徴量を抽出できる。図６（１）は、ステレオカメラで撮像した原画であり、図６（２）は、視差画像を利用して作成した累積特徴量抽出画像である。立体物累積部２１１では、左右一対の原画を用いて視差画像を生成し、走行路の視差画像に対する累積路端特徴量抽出処理を実施する。図６（１）に示す原画６０１には、先行車６０２が撮像されており、走行路６０３の左右には路肩ブロック６０４、６０５と壁６０６、６０７が配置されている。

路端特徴量抽出部２１０では、図６（２）に示すように、横方向に画像横座標、縦方向は奥行きを示す視差値とし、下側にあるほど視差値が大きな近距離、上側であるほど視差値が小さな遠距離とする画像を生成する。そして、視差画像のそれぞれ横座標１列ずつ、投票処理を実施する。例えば、自車両の存在する画像中心で考えると、視差画像の下側は路面上の視差値であるため、視差画像の下側から１視差値ずつ読み込めば少しずつ遠距離の視差値となり投票場所が少しずつ上側に移動する累積路端特徴量抽出結果となる。

しかしながら、視差画像が先行車の足元位置にたどりついたところで、先行車の足元位置から屋根位置までの視差値は奥行き距離が一定となる。したがって、累積路端特徴量抽出画像では、同じ視差値、同じ画像横座標に累積路端特徴量の投票が集まることになり、投票値が高い結果となる。これは同様に、路肩ブロックや壁も同じような結果となる。

視差画像上での路面は、視差画像の上側に行くほど、奥行きが遠くなるため、特徴量が累積されることなく分散した場所へ投票される。しかしながら、路肩ブロックや壁のように、高さのある物体の位置にさしかかると、視差画像上では上方向に連続して同じ視差値となるため、視差値と画像横座標とからなる投票空間上においては、視差値が累積される結果となる。このため、本実施例においては、この投票空間上において視差値が累積されるほど、壁や路肩ブロックなど路面よりも高い障害物が存在することを想定する。図６（２）に示す例では、左右の壁６１６、６１７の位置に、より多くの視差値が累積されており、明確に白く示されている。そして、路肩ブロック６１４、６１５の位置および先行車の足元位置にも、視差値が累積されて白く示されている。

上記、立体物累積部２１１において得られた特徴量の中には、移動体の側面に関するような特徴量も存在する。例えば、移動体として隣接車線を走行する車両が存在する場合、単フレームの処理で考えれば、壁と同様に特徴量が累積されるため、この移動体に対しても特徴量の抽出が可能である。この抽出された特徴量と、車両検知の結果を合わせて利用することで、移動体に対する特徴量であることを移動体部２１２で特定し、立体物累積部２１１とは異なる種別の特徴量として扱う。つまり、移動体部２１２では、先行車や対向車等の移動体の特徴量を抽出する処理を行う。

低段差部２１３では、立体物累積部２１１においては特徴量を抽出しづらい５ｃｍ程度の低段差の特徴量を主に抽出する処理を行う。図５（２）の左側に示すように、低段差の歩道５１４は、走行路５１１の路面と比較して高さの差が小さいことから、立体物累積部２１１において抽出される特徴量では累積量が少ない。したがって、低段差部２１３にて、専用に低段差の特徴量を抽出する処理を行う。

図７は、低段差路端とマイナス路端の特徴量抽出方法を説明する図である。例えば図７の左側に矢印７１１で示すように、視差画像７０１上を走行路７０３の中心位置７０２から左方向に探索する。視差値と画像位置から３次元位置を計算し、走行路７０３の路面の高さと比較して高い段差が生じるかを比較し、走行路７０３との間に閾値以上の高い特徴量が連続して抽出された箇所を、走行路７０３との間の路端特徴量として抽出する。

同様に、マイナス段差部２１４では、これまでの手法では特徴量を抽出することができなかった走行路７０３の路面より低い段差を抽出する。センサ部１００のステレオカメラでは、例えば側溝７０５などの走行路７０３の路面よりも低い段差を検出することができる。マイナス段差部２１４は、例えば図５（１）右に示す側溝５０２や、また、図５（３）右に示す田んぼや畑などの、走行路よりも低いマイナス段差領域５２３の特徴量を抽出する。例えば図７の右側に矢印７１２で示すように、視差画像上を走行路７０３の中心位置７０２から右方向に探索する。視差値と画像位置から３次元位置を計算し、路面の高さと比較して、路面よりも低い段差が生じるかを判断し、走行路７０３の路面よりも閾値以上に低い特徴量が連続して抽出された箇所を、走行路７０３との間の路端特徴量として抽出する。図７に示す例では、低段差部２１３によって路面よりは高いがその高さが低い歩道７０４の特徴量を抽出し、マイナス段差部２１４によって路面よりも低い側溝７０５の特徴量を抽出することができる。

図８は、段差なし路端と走行路区分路端の特徴量抽出方法を説明するイメージ図である。段差なし路端に関しては、図８の左側に示すように、舗装された道路の左側に走行路８０３Ａと同じ高さであるにもかかわらず、芝や砂利、土など、走行路８０３と異なる物質で構成され、走行に適さない段差なし領域８０５との境界を、段差なし路端の路端特徴量として抽出する。この段差なし領域８０５の識別のためには、基本的にＤｅｅｐＬｅａｒｎｉｎｇのような機械学習を利用して、走行可能な路面領域（走行路８０３Ａ）と走行不可な段差なし領域８０５とを抽出し、この境界を、路端特徴量として段差なし路端部２１５にて抽出する。

最後に、走行路区分立体物に関しては、図８の右側に示すように、工事中などの理由によって車両の走行を制限する目的で、三角ポールを臨時的な並べるような場合が存在する。また、車両移動方向を制限する目的などで駐車場や店舗に入る前の交差点など、ポールが常設されているような場合もある。特に工事の三角ポールなどは暫定できない目的であるため、三角ポール同士の距離が離れている、そもそも設置個数が少ないなど、走行可能領域と工事のため走行不可にしたい領域との分割が難しい。

ただし、ステレオカメラでは、走行路８０３Ｂに並べられている三角ポールを立体物として抽出可能である。このため、立体物として検知された後に、その大きさが一般的な三角ポールの範囲内であるとすると、識別機にてこれが車両の移動を制限するために利用されるような三角ポールであるかどうかの識別を実施する。車両の移動を制御する目的の走行路区分立体物であると識別された場合には、路端特徴量として走行路区分立体物部２１６にて抽出する。

路端特徴量抽出部２１０は、各抽出部２１１～２１６において抽出された種々の特徴量に対して、抽出された処理ごとに、種別情報を付加する。これにより、どの種別の特徴量が並んでいるかなどの判定に利用する。

＜自車挙動推定部２２０＞
図９は、自車挙動推定部の構成を説明する図である。
自車挙動推定部２２０では、自車の挙動をＣＡＮ情報である車速センサの結果や、ヨーレートもしくは操舵角度などの車両情報を活用し、図１０（１）に示すような４輪モデルによる自車両の挙動予測を挙動推定演算部２２１にて実施する。

この自車挙動推定結果に基づいて、図１３及び図１４に示すように、路端特徴量を自車両を上から俯瞰したような２次元の座標系において並べることで、自車両が走行したエリアにおける短期間の自車相対の地図を生成する。しかしながら、図１０（１）に示すようなＣＡＮ情報から自車挙動を推定する手法では、タイヤの空気圧や滑りなど、誤差が多い。このため、ＣＡＮ情報からの予測だけでなく、もっと高精度の予測を行うために、図１０（２）に示すように、時系列の対応点を活用して、自車の２フレーム間の挙動推定を相対位置姿勢推定部２２２にて実施する。つまり、本実施形態では、自車の車両情報とステレオカメラの撮像画像を用いて自車の挙動を認識する。図１０（２）には、タイミングＴ［frame］とＴ＋１［frame］において自車の右カメラで撮像された画像と、互いの画像において対応する点が示されている。

この手法の場合には、車のタイヤの滑りやタイヤの空気圧、サイズなどに影響されることなく、自車の挙動推定を実施することができる。より精度の高い自車挙動を利用したい場合には、挙動推定演算部２２１の結果を利用する。ただし、この相対位置姿勢推定部２２２は、撮影された画像によっては、対応点を必ずしも安定的に抽出できるかわからない。このため、実際には、基本的にはフレーム間の対応点が得られ相対位置を推定できた場合には相対位置姿勢推定部２２２の結果を利用し、反対に対応点が得られなかった、もしくは得られたとしても移動体などが多く安定した車両挙動が得られなかった場合には、挙動推定演算部２２１の結果を利用する併用方式を採用する。

さらに、計算負荷が高くなるもののＳＬＡＭを利用したような自己地図位置推定部２２３の結果を活用してもよい。このＳＬＡＭの結果が利用できなかった場合にのみ挙動推定演算部２２１の結果を利用してもよい。図１１（１）は、壁１１０２および１１０３で囲まれた道路１１０１の曲がり角を、車両Ｖ_０が通過する状態と、車両Ｖ_０が曲がり角を通過する際に埋め込んだ前回のセンシング結果（Ｔ［ｆｒｍ］）及び今回のセンシング結果（Ｔ＋１［ｆｒｍ］）を示す図である。図１１（１）に示すように自分で生成した地図の中に対応点の情報を埋め込んでおいて再度同じルートを通る際に、自己生成した地図内に保存された対応点の情報と、現フレームから抽出された対応点をマッチングさせることで、地図上での自己位置姿勢を推定し、時系列の移動量も求めるような方式でもよい。

図１１（２）は、高精度地図のイメージ図である。
本実施形態では、高精度地図位置推定部２２４の結果を活用しても良い。高精度地図１１１０は、例えば、走行車線１１１１と、走行車線１１１１から分岐する分岐車線１１１２と、分岐車線１１１２の路端１１１３と、分岐１１１４と、中央分離帯１１１５と、反対車線１１１６と、反対車線１１１６に合流する合流車線１１１７と、合流車線１１１７の路端１１１８の情報を含んでいる。図１１（２）に示すような自動運転のために高精度地図がもともと準備されているような場合には、この高精度地図と自車位置姿勢の推定を実施する手法であってもよい。もしくは高精度ＧＮＳＳを活用して、このような高精度地図上の位置を把握する手法であってもよい。これら自車挙動推定部２２０では、これら複数の手法で並列して自車挙動を推定し、その中から精度の高いものを採用する。

＜路端特徴地図生成部＞
図１２は、路端特徴地図生成部の構成を説明する図である。
路端特徴地図生成部２３０では、毎フレーム抽出された路端特徴量抽出部２１０で得られた路端の特徴量を、自車挙動推定部２２０で得られた結果を利用して、図１３に記載するように、自車両真上から見た俯瞰図である路端特徴地図において時系列に並べる。

更に、自己位置推定用地図生成部２３２においては、路端の地図だけでなく、フレーム間の移動量を抽出するために利用された対応点の位置、およびその際の対応点の特徴量などを地図上に３次元位置で保存する。一旦、自己位置推定用地図が完成してしまえば、次回、同じ道路を走行する際には、その正確な位置を復元するために、地図に保存された対応点の位置と、現フレームで検出された対応点とで対応関係を抽出することで、フレーム間だけでなく、地図上との対応点も得ることにより、地図上における位置を特定することが可能となる。

＜路端特徴地図＞
図１３は、路端特徴地図の一例を示す図である。
図１３に示すようなシーンにおいては、図１３の上側に示される走行路１３１１では、車両Ｖ_０が中央分離帯側の走行路１３１１Ａを走行し、ステレオカメラで検知範囲１３２０の検知を行う。そして、路端特徴量抽出部２１０によって車両Ｖ_０の進行方向左側の路端特徴量が抽出され、自車挙動推定部２２０の推定情報に基づき、路端特徴地図生成部２３０によって、その時系列の結果が俯瞰の地図上に示される。このシーンにおいては、側溝１３１３が走行路１３１１Ｂの白線よりも路幅方向外側（側方）にあり、さらにその外側に複数の建築物１３１５が並んで配置されている。このような場合には、側溝１３１３の特徴量と、その奥の建築物１３１５に対する立体物累積（路端特徴量）１３３１とが、それぞれ２種類とも抽出できる。なお、側溝１３１３は、走行路１３１１Ｂに沿って連続して設けられているが、一部に蓋１３１４が被せられて部分的に途切れた箇所があり、走行方向における特徴量の隙間となる。

図１３の下側に示される走行路１３１２に関しても同じように、車両Ｖ_１が路肩ブロック側の走行路１３１２Ｂを走行し、車両Ｖ_１の進行方向左側の路端特徴量を抽出し、その時系列の結果が俯瞰の地図上に示されている。走行路１３１２Ｂの白線よりも路幅方向外側には、背の低い１５ｃｍ程度の路肩ブロック１３１６と、さらにその外側に歩道１３１７を介して壁１３１８が配置されており、これらに関しても同様に立体物累積の特徴量抽出が可能となる。なお、路肩ブロック１３１６は、走行路１３１２Ｂに沿って連続して設けられているが、部分的に途切れた箇所があり、走行方向における特徴量の隙間となる。

このように走行路の路幅方向一方側と他方側にはそれぞれ複数の特徴量が２重に存在し、かつ走行方向に特徴量の隙間が存在するような場合には、その隙間が長くなるほど、どのように特徴量を連結して路端と判断すべきかが難しくなる。

高精度地図情報付加更新部２３３は、図１１（２）に示すような高精度地図に対して高精度地図と自己位置の関係を保存する対応点の保存を実施し、これを適宜更新する処理を行う。

＜内側特徴優先部＞
図１４は、内側特徴優先部による内側特徴優先処理を実行した後の路端特徴地図の一例を示す図である。
路端種別特徴部２００の内側特徴優先部２４０は、走行路の側方に複数の特徴量が重複して存在する場合に、重複する外側の特徴量を消去する処理を行う。本実施例においては、走行領域の内側に近い特徴量、つまり、路幅方向において自車両に近い方の路端特徴量を優先させるための処理として、自車両走行方向から見て内側の特徴量を路端特徴量として優先し、その外側に存在する特徴量を消去する処理を実装する。図１４に示すように、自車両から見て最も内側にある路端特徴量１３３１、１３３３、１３３４のみを残し、その外側にある重複した特徴量１４０１～１４０６を俯瞰の地図上から削除する。これによりまず内側に存在する路端の特徴量を優先して選定することが可能となる。

しかしながら、内側にある路端特徴量が、ほぼ連続して存在するような場合には、あまり問題にはならないが、実際の走行シーンにおいては、内側に存在する路端に関しても、歩道１３１７に車の出入りを考慮して途切れている区間や交差点の近くでは路端がなくなる区間も存在する。側溝１３１３に関しても車や歩行者が通行できるように舗装されている区間や蓋１３１４によって閉塞されている区間など、特徴量が途切れることはよくあるため、単純に路端特徴量を走行方向に沿って連結すると問題が生じるシーンは多々存在する。このために種別に応じて適切に路端候補を連結することを考慮する必要がある。

＜内側特徴種別判定部＞
本実施形態では、内側特徴種別判定部２５０により、まず、どのような路端種別の特徴量が現状存在するかを判定し、さらに、これらの種別ごとの特徴量の横位置の最頻値を算出する。例えば、図１４において上側に示される例の場合には、車両Ｖ_０から見て、路幅方向外側５ｍの位置（横位置）にマイナス段差の特徴量（側溝１３１３の特徴量）が存在し、この特徴量の半分くらいの量（走行方向に沿った長さ）ではあるものの、さらに路幅方向外側である８ｍの位置（横位置）に、建築物１３１５を抽出した立体物累積（路端特徴量）１３３１が存在する。このように図１４において残っている特徴量を車両の進行方向に対して投影するように累計する。つまり、横位置別にどのような種別の特徴量が、どの程度進行方向に並んでいるかを調査する。ある種別の累積結果が蓄積されることにより、内側路端候補の種別を特定する。このように種別と大まかな横位置を抽出することで、この後に適切に路端候補を連結するための判断材料に利用する情報とする。

＜走行路判定部＞
図１５は、走行路判定部の構成を説明する図、図１６は、連結路端候補生成条件を示す図である。
走行路判定部３００は、路端特徴量の種別に応じた走行路の判定を行う。この種別に応じた走行路判定部３００では、路端種別特徴部２００で抽出された複数種類の路端特徴量を地図上に投票し、内側優先でノイズ除去した地図上の路端特徴量とその種別情報を活用して、最終的な走行路判定を実施する。走行路判定部３００は、連結路端候補生成部３１０と、路端候補連結部３２０と、走行路区分判定部３３０を有している。

連結路端候補生成部３１０では、図１６（１）に示すように、地図上の路端特徴量を利用して、同一の特徴量種別の路端を路端候補として選別して連結するか否かの判断処理を行う。ただし、連結すべきか、また路端候補とすべきかの連結路端候補生成条件となる閾値を、図１６（２）に示すように、路端の種別に応じて変更する。これは、オブジェクトによって構成される路端の種別に応じて、特徴量の信頼度や、道路構造上連続して存在しやすい物体かどうかの条件を考慮することで、走行路区分判定部３３０においてより適切に走行路区分を判定することができる。

路端候補連結部３２０は、路端の種別を考慮して、同一種別の特徴量の路端候補を優先的に連結することにより、自車に対して路幅方向内側に存在する正確な路端を正しくトレースすることを可能とする。例えば種別を判断せず、単に路幅方向内側に存在する特徴量を優先して接続すると、特徴量の途切れごとに、異なる路幅方向外側の壁などにも、路端境界線が引かれてしまい、安定した路端境界線を引くことが難しい。同一種別の路端特徴量を優先して連結して路端境界線を引くことによって、より安定的に路幅方向内側の路端候補を連結することが可能となる。

＜連結路端候補生成＞
図１６（２）に示す表の見方としては、路面高は、地図１点における特徴量の投票量を意味しており、背の高い物体であるほど、ステレオカメラの視差画像上で多くの奥行き情報を得ることができるため投票量が多く、信頼度が高くなる。路面高は地図上の投票量の多さでこの閾値以上の投票量があれば路端候補として連結する。

図１６（３）に示すように、路端種別特徴部２００の立体物累積部２１１が走行路の路幅方向外側１６１２に存在する物体１３１６の路端特徴量を抽出し、走行路判定部３００の連結路端候補生成部３１０が、路端特徴量として連続する立体物累積１３３３を接続しつづけた結果、最小の走行方向長さＬ０が、図１６（２）の表において最小長と記された閾値未満であれば、路端候補としては短すぎるため、路端候補として認めないこととする。さらにこの特徴量に走行方向に隙間が空いた場合にも、この最大間隔Ｌ１が、図１６（２）の表に示される閾値未満であれば、同一の路端候補であるとし、この路端候補を連結して扱う。

例えば、壁や障害物であれば、基本的に背の高い立体物であるため、投票量が高く、また連続を考慮すると壁の連続性は高いものの、たとえば樹木や電柱などの障害物も考慮すると、走行方向への長さは短い可能性も十分にある。このため、高さ方向の投票量が多ければ、多少短い５０ｃｍ以上の奥行き方向でも路端候補として認めると考量する。さらに、最大間隔とは、走行路において隙間が空く場合を考慮して同一と扱うと判断する最大の奥行き幅の閾値とし、壁や障害物はよく隙間が空くことを考慮して最大５００ｃｍまでは同一路端候補の接続条件とし、連結して扱う。

次に、移動体（車）の場合には、ある程度の車高であることが特定されていることから高さは１００ｃｍ以上とし、また長さは５０ｃｍ以上で２輪なども対象とする。２輪車や４輪車においても途中で途切れることはないが、車体の途中で画像的な特徴が少ないためにステレオの視差が出にくい領域があることも考慮して隙間の最大間隔は１００ｃｍまでは認めるものとし、移動体の同一特徴量を連結する。つまり、最大間隔が１００ｃｍ未満のものについては、同一の移動体であるとして、路端候補を連結する。

次に、路肩ブロック１３１６の特徴量においては、歩道と車道を分離するブロックの高さが１０ｃｍ以上のものを対象とする。歩道は、壁や移動体と比較して高さが低いため、路端としての特徴の１点１点の投票量が少ない。したがって、走行方向に沿ってある程度の長さがあって初めて路肩ブロック１３１６の候補として認めるようにするために、最小長を１００ｃｍ以上とする。路肩ブロック１３１６の場合には、車の出入りする場所や、樹木が植えてあるような場合など含めてしばしば途切れる場合が多い。このため、最大間隔が５００ｃｍまでは路端候補を連結することとする。

路肩ブロック１３１６に関しては、それ以上に隙間が空くような場合もあるが、これ以上に伸ばしていくと交差点などで途切れた路肩ブロック１３１６も連結されてしまい、直交する交差点へ右左折できないような判定になると困る。したがって、基本的には最大間隔が５００ｃｍまでの路肩ブロック１３１６を連結する。これ以上に路肩ブロック１３１６の隙間が広い場合には、別の路肩ブロックとして扱うこととする。

マイナス路端に関しては、マイナス段差部２１４において、走行路面と比較して低くなる段差に対して特徴量を抽出している。走行路面より低い場所にある畑や田、側溝など、の境界に特徴量を抽出している。しかしながら、走行路面より低い場所の特徴量は、影の影響などを受けて特徴量が出にくい場合も多く、信頼度が低い。また、高さ方向に同じ奥行きの特徴量が累積されるなどのこともないために、信頼度が低い。このため、２００ｃｍ以上とある程度の長さの条件が整わない場合には、信頼度が低いため、路端候補連結部３２０では、そのようなマイナス段差を路端候補としては利用しない。マイナス段差も途切れる場合が多々あるが、あまりに長い距離を結ぶと誤検知の影響も気になるため、ここでは３００ｃｍまでの隙間は、同一の路端候補として連結するものとする。

段差なし路端に関しても同様に、路端特徴量抽出部２１０の段差なし路端部２１５において、撮像画像が有する路面上のテクスチャ情報を使用して、走行路と側方領域との区別を実施し、走行路と側方領域との間でテクスチャが異なると判定された境界領域に特徴量が投票されている。この地図上の得票を利用して、段差なし路端としての路端候補を接続する。テクスチャの判定にも不安定な場合が存在するため、２００ｃｍ以上連続した場合にのみ、路端候補とし、また隙間については３００ｃｍまでとする。

最後に、三角ポールなどの走行路区分立体物に関しては、高さ３０ｃｍ以上を対象とし、最小の走行方向の幅は１０ｃｍ以上とする。走行路区分立体物に関しては、かなりの大きな隙間が空いている場合やかなり短い物体を接続して路端として認識するために、この特徴量に関しては、識別機を利用している。このため１０ｃｍ以上の幅で路端候補として特定するだけでなく、８００ｃｍまでは離れた走行路区分立体物も接続して、路端候補とする。

走行路区分判定部３３０は、路端候補連結部３２０によって連結された路端候補の情報を用いて自車の走行路区分を判定する処理を行う。

＜連結路端候補の生成＞
図１７は、図１６の条件に基づいて、連結路端候補生成部３１０によって同一の特徴量種別の路端候補を連結した例を示す。
内側優先により外側の路端特徴量が削除されている状況において、図１７の上側に示される走行路１３１１Ａを走行する車両Ｖ_０の左側の路端について連結を説明する。

まず、立体物累積１３３１の特徴量については、路面高さ及び最小長が５０ｃｍ以上のものを路端候補とする。したがって、図１７に示す例では、建築物１３１５については、２つの路端候補１７０２、１７０３が発生する。これら２つの路端候補１７０２、１７０３は、最大間隔が５００ｃｍ以上離れているため、互いに連結されずに、別々の路端候補として生成される。図１７では、立体物累積１３３１の特徴量を示す黒丸を直線でつなぐことによって、連結したことを表現している。

次に、複数の互いに隣接するマイナス段差特徴量１３３４を連結する。図１７に示す例では、側溝１３１３のマイナス段差は、側溝１３１３を閉塞する蓋１３１４によって一部が途切れている。しかし、連結状態でマイナス段差の最小長が２００ｃｍ以上を路端候補として、マイナス段差の最大間隔が３００ｃｍ未満であればそのマイナス段差特徴量１３３４の連結を継続し、マイナス段差の最大間隔が３００ｃｍ以上に離れている場合には、別の路端候補として扱う。このため、図１７の上側に示される車両Ｖ_０の左側の路端としては、路幅方向内側にマイナス段差の２つの路端候補１７０１、１７０４ができることとなる。

マイナス段差は、蓋１３１４によって途切れている１つの部分の長さが３００ｃｍ以上途切れていることから、２つに分割されて一方がマイナス段差の路端候補１７０１となり、蓋１３１４で途切れている他方は、途切れた部分の長さが３００ｃｍ未満のため、連結された１つの路端候補１７０４とする。

次に、図１７の下側に示される走行路１３１２Ｂを走行する車両Ｖ_１にとっての進行方向左側の路端候補について考慮すると、路幅方向外側の壁１３１８は、内側優先の処理でノイズ除去されているため、比較的短い２つの路端候補１７１２、１７１３ができる。さらに、その内側に低段差の路肩ブロック１３１６が路端候補として連結されるが、路肩ブロック１３１６の途切れ部分が２つある。一方の途切れ部分が閾値の５００ｃｍ未満の長さであり、もう一方の途切れ部分が閾値の５００ｃｍ以上の長さであるため、一方の低段差１３３３どうしを連結した路端候補１７１４と、他方に低段差１３３３が分割された路端候補１７１１を生成する。

＜路端候補連結条件＞
次に、生成された路端候補を連結する条件を図１８に示す。特に複数種の路端候補に対する連結を実施するが、複数種の中に移動体を含むような場合と、走行路区分立体物が含まれる場合には条件が異なる。

特に、複数種の路端候補の中に移動体を含む場合には、路端横位置のずれが大きい場合であっても連結を実施する。これは、移動体の場合、路肩ブロックや壁と比較すると横位置が大きく変化することが予想されるためであり、本実施形態では、横位置（他の路端候補との路幅方向の距離）が±６００ｃｍ離れていても路端候補の連結先として認めることとする。反対に他の路端候補においては、それほど大きく横位置が変化することは少ないことから、±２００ｃｍ程度までを路端候補の連結先として認める。もちろん滑らかに広がっていく走行路のような場合には、そのまま接続する。また、走行路区分立体物の場合には、そもそも路肩ブロックや壁、側溝などから横位置を離して並べることで車両が入れないような区分線として利用することが多いため、横位置の分布を±３００ｃｍまでは路端候補の連結先として認めるものとする。

＜路端候補連結例（１）－（３）＞
図１９から図２１までに、上記の連結路端候補同士をさらに連結する路端候補連結部３２０において路端候補の連結例を示す。この路端連結結果を利用して、走行路区分判定部３３０において、最終路端位置と種別を確定する。図１９から図２１では、太い黒破線によって、路端候補の連結後の最終結果を示すこととする。

図１９は、複数種路端連結例(１)を説明する図である。
図１９の上側に示されている車両Ｖ_０にとっての左側路端を考慮すると、こちらの路端は、路端候補１７０１と１７０４との間のように側溝１３１３の路端が途切れている個所において、５００ｃｍ以上進行方向から離れた位置に再度側溝１３１３がでてきて、側溝１３１３を塞ぐ蓋１３１４が、５００ｃｍ以上続いている。このため、横位置の異なる方向に接続可能かを検討するが、進行方向に対する横位置を２００ｃｍよりも離れた図で上側に示された位置に建築物１３１５の路端候補１７０２がある。

しかし、連結条件より離れているため、今回の連結対象にならず、ここは単体の側溝１３１３の路端が２つ存在する最終結果となる。したがって、路端候補の連結結果は、黒破線１９０１と１９０２の２つになる。

反対に、図１９の下側に示される車両Ｖ_１にとっての左側路端は、最初は壁１３１８が存在し、その先に路肩ブロック１３１６が存在する。最初は壁側の立体物累積１３３１の路端を利用するが、その先には、路肩ブロックである低段差１３３３が存在する。壁１３１８と路肩ブロック１３１６との間の離間距離は２００ｃｍ未満であるため、ここでは壁と路肩ブロックを連結することとする。したがって、路端候補の連結結果は、１本の黒破線１９０３となる。

＜車両含む路端連結例＞
図２０は、車両含む路端連結例を説明する図である。
図２０では、移動体である車両を含む路端候補の連結結果を示す。図２０の上側に示される走行路１３１１の路端は、図１９と同様であるため、図２０の下側に示される走行路１３１２の路端についてのみ説明する。図２０の下側に示される走行路１３１２Ａを走行している後方車両にとっての路端連結結果を示す。

図２０に示される例の場合、走行路１３１２の路幅方向外側には、路肩ブロック１３１６の低段差(路端特徴量）１３３３が大半並んでおり、内側車線となる走行路１３１２Ａには、車両Ｖ_１が存在し、外側隣り車線となる走行路１３１２Ｂには、先行する移動体である車両Ｖ_２が存在する。移動体Ｖ_２の速度や車形状であることから特徴量が移動体であることが既知である。この状態では、車両Ｖ_１においては、路肩ブロック１３１６の特徴量１３３３と、移動体Ｖ_２の特徴量１３３２との２種類の特徴量が存在し、それぞれの特徴量種別で連結候補線１７１４と２００１を引いている。

この移動体Ｖ_２と路肩ブロック１３１６のそれぞれの連結候補線１７１４、２００１をさらに互いに連結するかを、図１８に示す連結条件と比較して判断する。図２０に示される例の場合、連結候補線１７１４と２００１との横位置（路幅方向の離間距離）が６００ｃｍ未満であるため、移動体Ｖ_２の連結候補線１７１４と、路肩ブロック１３１６の連結候補線２００１とを接続した黒破線を、最終結果の路端２００２として検知する。

＜走行路区分を含む路端連結例＞
図２１は、走行路区分を含む路端連結例を説明する図である。
図２１の上側に示される車両Ｖ_０の左側路端を連結する路端連結例について説明する。これまでと異なり、工事中の現場に一般車両が入らないように複数の三角ポール２１０１が走行路１３１１Ｂに並べられている。したがって、側溝１３１３の一部の路端候補１７０１と、走行路区分である三角ポール２１０１を連結した路端候補２１０２の２つが、路幅方向内側に存在するので、この２つの路端候補１７０１と２１０２とを接続し、最終結果の路端２１１１として検知する。走行路区分の連結成分より内側にできた路端候補についてはそもそも連結対象として取り扱わない。

次に、図２１の下側に示される走行路１３１２を走行する車両Ｖ_１に関しては、路肩ブロック１３１６と壁１３１８に２つの連結候補１７１１、１７１２とが存在する。この場合には、２つの連結候補１７１１、１７１２との横位置（路幅方向の離間距離）が２００ｃｍ以上離れているので、奥行き方向（車両進行方向）には、ほぼ離れていないものの連結対象外として２つの異なる路端のまま検知するものとする。

＜走行路区分判定＞
走行路判定部３００では、上記の路端連結結果が片側に複数存在するような場合において、より内側の路端を優先して採用するとともに、奥行き別に路端の種別を決定する。これを左右について実施することで、奥行き別の横位置を決定する。さらに、この結果を利用しながら、空間的に滑らかな走行路区分となるように、曲線フィッティングを実施する。時系列の情報も活用したうえで曲線フィッティングすることで、空間的に滑らかで、時間的に安定的な路端の位置を算出する。

＜警報制御部＞
図２２は、警報制御部の構成を説明する図、図２３は、路端種別に対する警報と制御マージンの情報を示す図である。
警報制御部４００は、種別に応じた走行路判定の結果を利用して、警報制御を実施するかどうかを判定し、最終的なドライバに対する警報や車両制御を実施する。警報制御部４００は、自車挙動予測部４１０と、路端種別接触逸脱判定部４２０と、警報部４３０と、制御部４４０とを有する。

自車挙動予測部４１０では、車両の操舵角や車速に応じて、自車が進行する方向や位置を予測する。路端種別接触逸脱判定部４２０は、自車挙動予測部４１０により予測した車両挙動上で路端と接触可能性があるかどうかを判定する。警報部４３０と制御部４４０は、路端種別に応じて、警報や制御の扱い方を変更することで、より適切な制御を実施する。例えば路端種別が壁や障害物の場合には接触、もしくは衝突すると、車両や乗員に対する影響が大きい。したがって、このような大きな影響を及ぼしそうな路端種別に対しては、早めの警報と制御を実施する。

例えば、図２３に示すように、路端種別が、壁、障害物、あるいはマイナス段差（側溝）など、車両が接触、逸脱すると大きな影響を与えそうな対象に対しては、走行路判定部３００にて認識した路端と車両との位置が１００ｃｍ未満の状態で、ドライバに警報を行う。そして、車両がさらに対象に接近した場合には、その離間距離が５０ｃｍ未満のときに、車両が路端に接触、または、走行路から逸脱しないように車両制御を実施する。

更に、障害物よりも接触時の影響が大きくなる移動体（車など）に関しては、１５０ｃｍ未満の距離となるとドライバへの警報を実施し、更に、７５ｃｍ未満で車両制御を実施する。ただし、これらの変数は車速に応じて、幅を削減するような動的な方法とすることができ、例えば低速時に意図的に接近するような運転を認めるような調整をしてもよい。特に、２０ｋｍ／ｈ未満の低速時において徐々に数値の距離を小さくし、ほぼ０ｋｍの場合には、図２３の表に示す値の半分程度になるような制御を実施することで、よりドライバの意図を優先する設定としてもよい。

障害物が路肩ブロック１３１６の場合には、軽い接触であればタイヤだけの接触となるなど、壁やマイナス段差、移動体との接触と比較すれば、車両や乗員に対する影響は比較的少なくなる場合が多い。また、車体から延びるミラーなどは接触対象外の高さであることも考慮し、警報は８０ｃｍ未満、車両制御は４０ｃｍ未満とする。

段差なし路端に関しては、路面の材質が異なることから高速状態で逸脱すると、車両の制御を失うような場合も発生する可能性があるが、低速であれば大きな問題とならない可能性が高い。このため、警報を５０ｃｍ未満、車両制御は２０ｃｍ未満とする。走行路区分立体物である三角ポールなども接触による被害などは比較的小さい。このため、警報は８０ｃｍ未満、車両制御は２０ｃｍ未満とする。

このように、路端種別に応じて警報や車両制御のマージン量を変更することで、ドライバにとってより自然で、ドライバの運転意図を妨げずに安全となるような警報、及び車両制御を実施する。これらの路端種別ごとに設定された横位置の距離に応じて、警報や制御を実施する。また、片側の路端が、複数種類の路端で構成される場合には、よりマージンの大きい種別の値を利用して、警報や制御を実施することで、より安全な警報と車両制御を実現する。

＜処理フローチャート＞
図２４は、画像処理装置により実行される認識処理の内容を説明するフローチャートである。本フローでは、ステレオカメラを利用して路端を検知し、さらに、警報制御を実施する処理を行う。

まず、ステレオカメラで左右画像を撮像する（Ｓ０１）。そして、左右画像の平行化、及び感度補正を実施した後に、ステレオマッチングを実施し、視差画像を生成する（Ｓ０２）。ステレオマッチングの結果と、カメラ幾何や基線長を利用して車両周辺の構造物の３次元座標上の点の集合体である３Ｄ点群を取得する。そして、視差画像と３Ｄ点群を併用しながら複数種の路端特徴量を取得する（Ｓ０３）。舵角、ヨーレート、車速を入力として、４輪モデルを利用した自車挙動推定を実施し、自車挙動を推定する（Ｓ０４）。その際、カメラから得られた特徴点を利用したカメラの相対位置を取得することで、自車挙動をさらに高精度に推定してもよい。この推定された自車挙動と、取得した路端特徴量を利用して、路端特徴量の地図を生成する（Ｓ０５）。

次に、上記の路端特徴地図上で、特徴量を連結する。特徴量の連結は、自車両の走行方向に対して行われる。そして、路端の種別ごとに連結条件を変更して、路端候補の生成を実施する（Ｓ０６）。次に、連結されて線状になった路端候補を、更に連結するかどうかを判定し、最終的な走行路となる路端を認知する（Ｓ０７）。上記の路端の認知結果をベースに、走行路を自車両が逸脱しそうな状況かどうかを判定する（Ｓ０８）。上記の判定結果をもとに、警報や制御を実施する（Ｓ０９）。

本実施形態の画像処理装置によれば、路端特徴量と自車挙動から路端特徴量の地図を作成し、路端の種別ごとに連結条件を変更して路端候補を生成し、路端候補同士を連結条件に基づいて連結し、走行路の路端として検知する。

従来の走行路を解析するような認識ロジックは、基本的に路端の種別を特定することなく走行路の形状を認知している。このため、複数種の路端が混在するような環境において適切に路端形状を検知することが困難であり、路端が点在して存在するような場合に接続すべきかどうかの判定が適切にできず不検知となるような課題がある。

本発明によれば、従来難しかった路肩ブロックや壁、側溝などの複数種類のオブジェクトが混在する複雑な路端環境において、同一種の路端特徴量を優先的に接続し、種別に応じて接続すべき路端かどうかを適切に判断することで、より適切な路端を安定的に検知することを可能とする。

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１００ センサ部
１１０ 左右カメラ部
１２０ ステレオマッチング部
１３０ ３Ｄ点群生成部
１５０ カメラ部
１７０ カメラ部
１８０ Ｌｉｄａｒ部
２００ 路端種別特徴部
２１０ 路端特徴量抽出部
２１１ 立体物累積部(壁、障害物)
２１２ 移動体部(車など)
２１３ 低段差部(路肩ブロック)
２１４ マイナス段差部
２１５ 段差なし路端部
２１６ 走行路区分立体物部
２２０ 自車挙動推定部
２２１ 挙動推定演算部
２２２ 相対位置姿勢推定部
２２３ 自己地図位置推定部
２２４ 高精度地図位置推定部
２３０ 路端特徴地図生成部
２３１ 路端認識用時系列地図生成部
２３２ 自己位置推定用地図生成部
２３３ 高精度地図情報付加更新部
２４０ 内側特徴優先部
２５０ 内側特徴種別判定部
３００ 走行路判定部
３１０ 連結路端候補生成部
３２０ 路端候補連結部
３３０ 走行路区分判定部
４００ 警報制御部
４１０ 自車挙動予測部
４２０ 路端種別接触逸脱判定部
４３０ 警報部
４４０ 制御部

Claims (11)

1. 車載カメラの撮像画像に基づいて走行路の路端を検知する画像処理装置であって、
   前記撮像画像から前記走行路と複数のオブジェクトとの間に形成される前記路端の路端特徴量を前記オブジェクトの種別ごとに抽出し、該抽出した前記路端の路端特徴量を用いて前記路端の種別を判定する路端種別特徴部と、
   前記路端の種別ごとの路端特徴量を用いて路端候補を抽出し、前記路端の種別毎に、前記路端候補の連結を実施し、該連結された前記路端候補の情報を用いて自車両の走行路の判定を行う走行路判定部と、を備え、
   前記路端種別特徴部は、
   前記撮像画像の情報を利用して前記路端の種別情報と位置情報を含む前記路端特徴量を抽出する路端特徴量抽出部と、
   前記自車両の挙動を推定する自車挙動推定部と、
   該推定した前記自車両の挙動の推定結果に基づいて前記路端の種別ごとに前記路端特徴量を時系列に並べた路端特徴地図を生成する路端特徴地図生成部と、
   前記路端特徴地図において前記自車両に最も近い路幅方向内側に位置する前記路端の路端特徴量を保持し、路幅方向外側に重複して存在する他の路端の路端特徴量を前記路端特徴地図から削除する内側特徴優先部と、を有し、
   前記走行路判定部は、
   前記路端特徴地図に保持されている前記路端の路端特徴量を利用して、同一の特徴量種別の前記路端候補を選別する連結路端候補生成部と、
   同一種別の前記路端候補の情報を利用して、互いに種別が異なる前記路端候補をさらに連結するかどうかを判定する路端候補連結部と、
   該路端候補連結部によって連結された前記路端候補の情報を利用して最終路端位置と種別を確定する走行路区分判定部と、
   を有することを特徴とする画像処理装置。
2. 前記撮像画像から前記走行路の路面よりも低い位置にある領域と前記走行路との間の段差を、前記オブジェクトの１つの種別として認識することを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像画像が有するテクスチャ情報を利用して前記走行路の路面と同じ高さ位置にある領域と前記走行路との間の境界を、前記オブジェクトの１つの種別として認識することを特徴とする請求項１に記載の画像処理装置。
4. 前記撮像画像から走行路区分を示す立体物を前記オブジェクトの１つの種別として認識し、
   前記オブジェクトの特徴量を連結可能な走行方向の間隔が、他の種別のオブジェクトと比較して長いことを特徴とする請求項１に記載の画像処理装置。
5. 前記撮像画像から移動体である立体物を前記オブジェクトの１つの種別として認識し、 前記オブジェクトの特徴量を連結可能な路幅方向の間隔が、他の種別のオブジェクトと比較して大きいことを特徴とする請求項１に記載の画像処理装置。
6. 前記自車両の挙動は、該自車両の車両情報と前記ステレオカメラの撮像画像を用いて認識されることを特徴とする請求項１に記載の画像処理装置。
7. 前記オブジェクトの種別に応じて、前記オブジェクトの特徴量の連結性を判断する際の路面高さの閾値を変更することを特徴とする請求項１に記載の画像処理装置。
8. 前記オブジェクトの種別に応じて、前記オブジェクトの特徴量を路端候補として選別するための最小長の閾値を変更することを特徴とする請求項１に記載の画像処理装置。
9. 前記オブジェクトの種別に応じて、前記オブジェクトの特徴量の連結性を判断する際のオブジェクト間の最大間隔の閾値を変更することを特徴とする請求項１に記載の画像処理装置。
10. 前記オブジェクトの種別に応じて、警報と車両制御の制御マージンを変更することを特徴とする請求項１に記載の画像処理装置。
11. 前記路端を構成するオブジェクトの種別が複数あると認識された場合に、前記警報及び車両制御の制御マージンには、前記複数のオブジェクトの種別の中で最も大きな制御マージンを使用することを特徴とする請求項１０に記載の画像処理装置。

Images