JP5949955B2 - 道路環境認識システム - Google Patents

Description

本発明は、撮像された自車の進行方向の画像情報に基づいて道路上の特徴物を検出する道路環境認識システムに関する。

従来、この種の道路環境認識システムが知られている。例えば、下記の特許文献１には、自車位置と地図データベースの道路地図情報とに基づき交通用表示器（道路上の特徴物）の位置を予測し、その位置情報と前方の画像データに基づいて当該画像データにおける矩形の画像処理領域を決定し、この画像処理領域から交通用表示器を検出する技術が開示されている。尚、下記の特許文献２には、道路側方の側壁に表示された文字標識（道路上の特徴物）を認識する技術であって、文字標識が限定されている場合、それに対応したテンプレートのみを用いて自車に最も近い文字からテンプレートマッチングを行うことで、その文字標識の認識を行うものが開示されている。この特許文献２の技術においては、その文字列を含む領域がテンプレートマッチングの対象の画像処理領域となる。但し、路面上に描かれた文字標識を認識する際には、手前側が広く、地平線を示す線上でカメラの真正面の点が頂点となる三角形を画像処理領域としている。また、下記の特許文献３には、撮像した画像から道路標識部分を矩形の画像処理領域として認識し、この道路標識部分と道路標識のテンプレートデータとのマッチングによって道路標識（道路上の特徴物）の認識を行う技術であって、テンプレートサイズを自車と道路標識との距離により段階的に変更し、その距離によってテンプレートマッチングによる道路標識の認識処理を段階的に行うものが開示されている。

特開２００７−２４１４６９号公報 特開２００７−２００００５号公報 特開２００６−００３９９４号公報

ところで、上記特許文献１の技術においては、自車位置の情報にずれが生じてしまった場合、決定した画像処理領域の中に特徴物の画像が含まれず、その特徴物を認識することができない可能性がある。特に、この技術では、画像データの一部が抜き出された矩形の画像処理領域を用いているので、進行方向における自車位置がずれていると、決定した画像処理領域の中に特徴物の画像が含まれなくなる可能性が高い。この為、この特許文献１の技術では、画像処理領域の拡大が必要になる。しかしながら、画像処理領域の拡大は、特徴物を認識する際の演算処理の負荷を高めてしまうので好ましくない。また、上記特許文献２及び３の技術においては、テンプレートマッチングの前に、撮像された画像情報の中から特徴物を検出しているので、その検出の際の演算処理の負荷が高く好ましくない。

そこで、本発明は、かかる従来例の有する不都合を改善し、道路上の特徴物の認識精度を向上させつつも演算処理の負荷を軽減可能な道路環境認識システムを提供することを、その目的とする。

上記目的を達成する為、本発明は、自車の進行方向を撮像する撮像装置と、自車の進行方向に道路上の特徴物が存在している場合、前記撮像装置で撮像された画像の内、中央部分と前記特徴物の少なくとも一部分とを含む所定領域を画像処理領域とし、該画像処理領域を自車が前記特徴物に近づくほど小さくする画像処理領域演算部と、前記画像処理領域の画像情報に基づいて前記特徴物を検出する特徴物検出部と、を備えることを特徴としている。

ここで、前記画像処理領域演算部は、前記中央部分を中心とした所定角度からなる領域を前記画像処理領域とすることが望ましい。

また、前記画像処理領域演算部は、自車が前記特徴物に近づくにつれて、少なくとも矩形領域から前記中央部分を中心とした所定角度からなる領域に前記画像処理領域を変更することが望ましい。

また、前記画像処理領域演算部は、自車が前記特徴物に近づくにつれて、前記画像処理領域における前記特徴物よりも前記中央部分側の領域を少なくとも当該画像処理領域から除外することが望ましい。

また、前記画像処理領域演算部は、自車が前記特徴物に近づくほど前記画像処理領域の前記所定角度を小さくすることが望ましい。

また、前記画像処理領域演算部は、現在の自車に対する前記特徴物の位置と自車が当該特徴物に近づいたときの自車に対する当該特徴物の位置とを結ぶ線が前記画像処理領域に含まれるよう当該画像処理領域の前記所定角度を小さくすることが望ましい。

また、前記画像処理領域演算部は、自車の走行車線又は／及び自車の走行姿勢に応じて前記特徴物を結ぶ線の変更を行うことが望ましい。

また、前記画像処理領域演算部は、前記所定角度を成す前記中心を始点にした２つのベクトルの合成ベクトル上に前記特徴物の特徴点が来るよう前記画像処理領域の演算を行うことが望ましい。

また、前記画像処理領域演算部は、自車の走行車線又は／及び自車の走行姿勢に応じて前記合成ベクトルの変更を行うことが望ましい。

本発明に係る道路環境認識システムは、自車が特徴物に近づくにつれて画像処理領域を小さくして、画像処理に必要な画像の情報量を減らしているので、認識精度を下げることなく、演算処理の負荷を軽減しつつ特徴物を認識することができる。また、この道路環境認識システムは、画像処理領域を一旦広めに設定し、その後少なくとも１段階以上画像処理領域を小さくするので、検出された自車位置が特徴物に対して進行方向に大きくずれていたとしても、その様な精度の良い特徴物の認識が可能になる。また、この道路環境認識システムは、自車と特徴物との間の進行方向における相対距離が長いときに、広い画像処理領域を使って、その間の横方向と高さ方向の相対距離を求め、その後、自車が特徴物に近づくほど画像処理領域を狭めて横方向と高さ方向の相対距離を求めるので、地図情報データベースに特徴物の横方向の位置と高さ方向の位置とが記憶されていなくても、認識精度を下げることなく、演算処理の負荷を軽減しつつ特徴物を認識することができる。また、この道路環境認識システムは、画像処理領域について所定角度を持った扇型にすることで、検出された自車位置が特徴物に対して進行方向に大きくずれていたとしても、その画像処理領域の中に特徴物の特徴点を含ませ続けることができ、このことからも特徴物の認識精度を向上させることができる。

図１は、本発明に係る道路環境認識システムの構成を示すブロック図である。 図２は、道路の上方に特徴物が存在する場合の広めに設定した扇型の画像処理領域の一例を示す図である。 図３は、道路の上方に特徴物が存在する場合の扇型の画像処理領域の一例を示す図であって、自車の進行に伴い狭めたものである。 図４は、道路の左側に特徴物が存在する場合の広めに設定した扇型の画像処理領域の一例を示す図である。 図５は、道路の左側に特徴物が存在する場合の扇型の画像処理領域の一例を示す図であって、自車の進行に伴い狭めたものである。 図６は、道路の右側に特徴物が存在する場合の広めに設定した扇型の画像処理領域の一例を示す図である。 図７は、道路の右側に特徴物が存在する場合の扇型の画像処理領域の一例を示す図であって、自車の進行に伴い狭めたものである。 図８は、車線毎の特徴点の変移方向を説明する図である。 図９は、ピッチ運動の有無による特徴点の変移方向の違いを説明する図である。 図１０は、ヨー運動の有無による特徴点の変移方向の違いを説明する図である。 図１１は、本発明に係る道路環境認識システムの演算処理動作を説明するフローチャートである。 図１２は、画像処理領域内での特徴点の変移方向を説明する図である。 図１３は、自車の進行に伴い狭めた画像処理領域の他の例を説明する図である。 図１４は、道路の上方に特徴物が存在する場合の広めに設定した矩形の画像処理領域の一例を示す図である。 図１５は、道路の左側に特徴物が存在する場合の広めに設定した矩形の画像処理領域の一例を示す図である。 図１６は、道路の右側に特徴物が存在する場合の広めに設定した矩形の画像処理領域の一例を示す図である。

以下に、本発明に係る道路環境認識システムの実施例を図面に基づいて詳細に説明する。尚、この実施例によりこの発明が限定されるものではない。

［実施例］
本発明に係る道路環境認識システムの実施例を図１から図１２に基づいて説明する。

最初に、この道路環境認識システムの構成について説明する。

この道路環境認識システムは、自車に設け、撮像された自車の進行方向の画像情報に基づいて道路上の特徴物を認識する。従って、この道路環境認識システムには、かかる演算処理を行う電子制御装置（ＥＣＵ）１が設けられている。

また、この道路環境認識システムは、自車位置検出装置１１と地図情報データベース１２とを備える。自車位置検出装置１１は、自車の存在している位置を検出する装置である。この自車位置検出装置１１としては、所謂ＧＰＳ（Global Positioning System）を利用すればよい。その自車位置情報は、電子制御装置１に送信される。地図情報データベース１２は、車両の通行が可能な道路の地図情報と、道路上の特徴物（例えば交通標識、道路案内標識等）に係る特徴物情報と、が少なくとも記憶されたものである。その地図情報には、直進路、旋回路、坂路等の道路形状情報だけでなく、車線の本数の情報（車線情報）も含まれている。また、この地図情報には、旋回路の場合、その曲率半径の情報が含まれており、坂路の場合、その勾配の情報が含まれている。特徴物情報としては、特徴物の種別情報と位置情報とが少なくとも記憶されている。その特徴物の位置情報は、道路の進行方向に対する特徴物の位置情報、道路の幅方向に対する特徴物の位置情報等である。進行方向に対する位置情報とは、例えば、緯度と経度に対応させた特徴物の位置情報、距離標（所謂キロポスト）に対応させた特徴物の位置情報等のことである。また、幅方向に対する位置情報としては、道路に対する特徴物の位置が道路の上方又は道路の進行方向に見た左方若しくは右方の何れであるのかを識別が可能な情報を少なくとも記憶させておく。

また、この道路環境認識システムは、自車の進行方向を撮像する撮像装置２１を備える。ここで例示する撮像装置２１は、自車の前方を撮像するものである。また、ここで例示する撮像装置２１の撮像領域は、矩形である。この撮像装置２１で撮像した画像の情報は、電子制御装置１に送信される。

この道路環境認識システムにおいては、例えば、ＳＩＦＴやＳＵＲＦ等の様な局所的な特徴点を用いたテンプレートマッチングで特徴物の特徴点を撮像画像から探し出し、その特徴物を認識する。これが為、この道路環境認識システムは、そのテンプレートマッチングに用いる各種テンプレートが記憶されたテンプレートデータベース１３を備える。そのテンプレートは、例えば、特徴物の局所的な特徴を表すベクトル（所謂特徴ベクトル）として用意する。その特徴物の特徴点としては、例えば、特徴物の外形等における特徴点、特徴物に記載されている文字や図形等の特徴点などの特徴物の種別毎の特徴点が考えられる。テンプレートデータベース１３には、テンプレートマッチングに使われる可能性のある様々なテンプレートを記憶させておく。その際、テンプレートは、特徴物の種別情報に対応させて各種特徴物毎に記憶させてもよい。つまり、或る特徴物と当該特徴物を認識する為のテンプレートとを予め対応付けてテンプレートデータベース１３に記憶させておき、その特徴物の存在が後述するステップＳＴ２で認められた際には、この特徴物に対応するテンプレートをテンプレートデータベース１３から読み込ませるようにしてもよい。

ここで、撮像装置２１で撮像された全ての画像情報をテンプレートマッチングの実施対象にした場合には、画像の情報量が多く、その演算処理の負荷が高いので、特徴物の認識遅れ等の不都合を生じさせる虞がある。そこで、この道路環境認識システムは、テンプレートマッチングの実施対象とする画像情報を絞り込む。電子制御装置１には、その実施対象となる画像処理領域を求める画像処理領域演算部が設けられている。

その画像処理領域は、撮像装置２１で撮像された画像情報の一部の領域であり、特徴物の少なくとも一部分が含まれた領域である。その特徴物の一部分には、特徴点が含まれるようにする。ここで、撮像装置２１で撮像された画像上の特徴物は、道路の幅方向に対する特徴物の位置が何処であろうと、遠方から撮像されたものであればあるほど、その撮像画像の中央部分又は中央付近に存在する。つまり、特徴物の撮像が可能な最も遠い距離（以下、「撮像可能な最長距離」と云う。）で撮像した特徴物は、撮像画像の中央部分又は中央付近に存在する。従って、画像処理領域演算部には、撮像装置２１で撮像された画像の内、中央部分と特徴物の少なくとも一部分とを含む所定領域を画像処理領域として演算させる。尚、その撮像可能な最長距離は、進行方向に障害物の無い平坦路で且つ直線路における距離である。

また、その撮像画像上の特徴物は、道路の幅方向に対する特徴物の位置に応じて、自車が特徴物に近づくほど中央部分又は中央付近から画像の外側へと離れていく。例えば、道路の幅方向に対する特徴物の位置が道路の上方の場合、撮像画像上の特徴物は、自車が特徴物に近づくほど中央部分又は中央付近から撮像画像の上側へと移っていく。また、道路の幅方向に対する特徴物の位置が道路の左方の場合、撮像画像上の特徴物は、自車が特徴物に近づくほど中央部分又は中央付近から左斜め上方へと撮像画像上を移っていく。また、道路の幅方向に対する特徴物の位置が道路の右方の場合、撮像画像上の特徴物は、自車が特徴物に近づくほど中央部分又は中央付近から右斜め上方へと撮像画像上を移っていく。従って、画像処理領域演算部には、その撮像画像上の特徴物（具体的には特徴点）の移動に合わせて画像処理領域を変更させる。その際、変更後の画像処理領域は、中央部分又は中央付近に特徴物が存在しているときの画像処理領域よりも小さくする。つまり、画像処理領域演算部には、自車が前記特徴物に近づくほど画像処理領域を小さくさせる。撮像可能な最長距離で特徴物が初めて撮像されたときは、特徴物が撮像画像上の中央部分又は中央付近に存在していることは推定できるが、具体的な特徴物の位置が明らかになっていないので、具体的な位置が把握された後と比べて画像処理領域を広めにとる必要があるからである。

その画像処理領域演算部は、自車が近づいて撮像装置２１で特徴物を撮像できなくなるまで、その特徴物を追い続けることができるように画像処理領域を決める。そこで、本実施例の画像処理領域演算部には、道路の幅方向に対する特徴物の位置に基づいて、少なくとも次の３パターンの中から画像処理領域を決める。

具体的に、道路の幅方向に対する特徴物の位置が道路の上方の場合、特徴物（特徴物の特徴点）は、上述した様に撮像画像の中央部分又は中央付近から上側へと変移する。これが為、この場合には、その特徴点の変移方向が合成ベクトルとなる様な撮像画像の中央部分を中心とした２つのベクトルの所定角度θからなる領域を画像処理領域とする。画像処理領域演算部は、特徴物５０の撮像可能な最長距離において、撮像画像の上側に特徴点５１が変移すると推定し、その特徴点５１の変移方向の推定結果に基づいた画像処理領域６１を求める（図２）。そして、画像処理領域演算部は、自車が特徴物５０に近づくほど、その所定角度θを段階的に小さくして、画像処理領域６１を狭める（図３）。その際、画像処理領域６１は、その面積を少なくとも一段階小さくする。尚、この例示では、特徴物５０の上部中央部分が特徴点５１になっている。

また、道路の幅方向に対する特徴物の位置が道路の左方の場合、特徴物（特徴物の特徴点）は、上述した様に撮像画像の中央部分又は中央付近から左斜め上方へと撮像画像上を変移する。これが為、この場合には、その特徴点の変移方向が合成ベクトルとなる様な撮像画像の中央部分を中心とした２つのベクトルの所定角度θからなる領域を画像処理領域とする。画像処理領域演算部は、特徴物５０の撮像可能な最長距離において、撮像画像の左斜め上方に特徴点５１が変移すると推定し、その特徴点５１の変移方向の推定結果に基づいた画像処理領域６１を求める（図４）。そして、画像処理領域演算部は、自車が特徴物５０に近づくほど、その所定角度θを段階的に小さくして、画像処理領域６１を狭める（図５）。その際、画像処理領域６１は、その面積を少なくとも一段階小さくする。尚、この例示では、特徴物５０の上部左隅が特徴点５１になっている。

また、道路の幅方向に対する特徴物の位置が道路の右方の場合、特徴物（特徴物の特徴点）は、上述した様に撮像画像の中央部分又は中央付近から右斜め上方へと撮像画像上を変移する。これが為、この場合には、その特徴点の変移方向が合成ベクトルとなる様な撮像画像の中央部分を中心とした２つのベクトルの所定角度θからなる領域を画像処理領域とする。画像処理領域演算部は、特徴物５０の撮像可能な最長距離において、撮像画像の右斜め上方に特徴点５１が変移すると推定し、その特徴点５１の変移方向の推定結果に基づいた画像処理領域６１を求める（図６）。そして、画像処理領域演算部は、自車が特徴物５０に近づくほど、その所定角度θを段階的に小さくして、画像処理領域６１を狭める（図７）。その際、画像処理領域６１は、その面積を少なくとも一段階小さくする。尚、この例示では、特徴物５０の上部右隅が特徴点５１になっている。

その画像処理領域演算部は、推定した特徴点５１の変移方向（合成ベクトル）が自車の進行に伴いずれていたことが判った場合、正しい特徴点５１の変移方向（合成ベクトル）となるよう画像処理領域６１を補正すればよい。つまり、この画像処理領域演算部には、現在の自車に対する特徴物５０（特徴物５０の特徴点５１）の位置と自車が当該特徴物５０に近づいたときの自車に対する当該特徴物５０（特徴物５０の特徴点５１）の位置とを結ぶ線が画像処理領域６１に含まれるように、自車が特徴物５０に近づくほど画像処理領域６１の所定角度θを段階的に小さくさせる。その際、画像処理領域６１は、その面積を少なくとも一段階小さくする。

撮像画像に映る特徴点５１の変移方向（合成ベクトル、特徴点５１を結ぶ上記の線）は、自車が道路の幅方向における何処を走行しているのかによって変化する。例えば、その道路が複数の車線を有する場合には、その車線毎に撮像画像に映る特徴点５１の位置が違うので、車線毎に特徴点５１の変移方向が異なるものとなる。これが為、画像処理領域演算部には、自車が走行している車線に応じて特徴点５１の変移方向を変更させてもよい。但し、その変更が可能な場合とは、特徴物５０（特徴点５１）の横方向の位置と高さ方向の位置とが地図情報データベース１２に特徴物情報として格納されている場合である。その横方向の位置とは、道路の幅方向における位置であり、例えば道路の幅方向における自車の走行車線の中央部分から起算した位置である。また、高さ方向の位置とは、道路の路面又は当該路面と同じ高さの場所から起算した上下方向の位置である。図８は、車線Ａ，Ｂ，Ｃの３車線の道路を走行しているときの車線毎の特徴点５１の変移方向を示したものである。下図の実線は、車線Ａを走行しているときの特徴点５１の変移方向である。一点鎖線は、車線Ｂを走行しているときの特徴点５１の変移方向である。二点鎖線は、車線Ｃを走行しているときの特徴点５１の変移方向である。特徴点５１の変移方向は、特徴物５０から離れた車線を走行するほど高さ方向の変化が小さい。この道路の幅方向における自車の走行位置に応じた特徴点５１の変移方向を演算する際には、道路上の複数の車線の中から自車の走行車線を把握させてもよい。その自車の走行車線は、例えば、撮像装置２１の撮像画像に基づき把握してもよく、また、自車位置検出装置１１が車線の違いを把握可能なほど高精度のものであるならば、その自車位置情報に基づき把握してもよい。尚、道路の幅方向における自車の走行位置に応じた特徴点５１の変移方向は、その特徴点５１を自車の進行と共に監視し続けることで知ることができる。これが為、この変移方向の演算の際には、必ずしも自車の走行車線を把握しなければならない訳ではない。

ここで、これまでの説明は、自車が平坦路で且つ直線路を定速走行している状態のものである。しかしながら、旋回路や坂路においては、自車がヨー運動やロール運動、ピッチ運動を行っており、撮像画像に映る特徴点５１の変移方向（合成ベクトル、特徴点５１を結ぶ上記の線）が平坦路や直線路とは異なる。これが為、撮像画像から特徴点５１の変移方向が把握される前においては、自車がヨー運動やロール運動、ピッチ運動を行っている場合、その変移方向の推定結果にずれが生じ、演算された画像処理領域６１に実際の特徴点５１の変移方向が含まれない虞がある。従って、画像処理領域演算部は、自車の走行姿勢に応じて撮像装置２１の光軸方向を校正し、自車がヨー運動等を行っていたとしても、特徴点５１の変移方向を含む画像処理領域６１が演算されるように構成する。画像処理領域演算部は、例えば、ヨーレートセンサ３１の検出結果に基づいてヨー運動時の自車の走行姿勢を推定し、横加速度センサ３２の検出結果に基づいてロール運動時の自車の走行姿勢を推定し、前後加速度センサ３３の検出結果に基づいてロール運動時の自車の走行姿勢を推定する。尚、この画像処理領域演算部は、各車輪の荷重の変化に基づき自車の走行姿勢を推定してもよい。

図９は、ピッチ運動の有無による特徴点５１の変移方向の違いを表した一例である。本図の実線は、ピッチ角を０度にして（つまり撮像装置２１の光軸がまっすぐな状態で）追尾した特徴点５１の変移方向を示す。また、破線は、ピッチ角（つまり撮像装置２１の光軸）が上向きに５度傾いた状態で追尾した特徴点５１の変移方向を示す。更に、図１０は、ヨー運動の有無による特徴点５１の変移方向の違いを表した一例である。本図の実線は、ヨー運動の無い状態（つまり撮像装置２１の光軸がまっすぐな状態）で追尾した特徴点５１の変移方向を示す。また、破線は、撮像装置２１の光軸が右向きのヨー方向に５度傾いた状態で追尾した特徴点５１の変移方向を示す。

この画像処理領域演算部は、換言するならば、自車の走行姿勢に応じて特徴点５１の変移方向を変更するものであるとも云える。その変更の際、画像処理領域演算部は、上記の自車が走行している車線に応じた特徴点５１の変移方向の変更を併用してもよい。つまり、画像処理領域演算部には、自車の走行車線又は／及び自車の走行姿勢に応じて特徴点５１の変移方向を変更させる。

ところで、自車の走行姿勢や撮像装置２１の光軸方向は、乗員の人数や乗車位置、荷物の積載量や搭載位置に応じても変化する。例えば、車両後部の荷物の積載量が多い場合には、積載量が少ない場合と比較して、ピッチ方向に自車の走行姿勢（撮像装置２１の光軸方向）が変化する。更に、車両の左右何れか一方に乗員が偏って乗車した場合には、左右均等に乗車した場合と比較して、ロール方向に自車の走行姿勢（撮像装置２１の光軸方向）が変化する。この様な変化は、走行し始めたときには既に判っているものである。これが為、その際には、走行中（特に画像処理領域６１の演算時）に撮像装置２１の光軸方向を校正し、これにより特徴物５０の認識不能な状態や認識遅れを生じさせてしまうよりも、走行し始める前に予め判っている撮像装置２１の光軸方向の校正を行っておくことが望ましい。従って、画像処理領域演算部には、ドアの開閉やトランクの開閉が検出された場合に、乗員や荷物の変化に起因する撮像装置２１の光軸方向のずれの校正を実施させておく。これにより、この道路環境認識システムでは、特徴物５０の認識不能や認識遅れを抑えることができる。

以下に、この道路環境認識システムの演算処理を図１１のフローチャートに基づき説明する。

電子制御装置１の自車位置検出部は、自車位置検出装置１１から受信した自車位置情報と地図情報データベース１２の地図情報とに基づいて、道路上における現在の自車位置を検出する（ステップＳＴ１）。

電子制御装置１の特徴物検出部は、自車の進行方向に認識対象となる特徴物５０が存在しているのか否かを判定する（ステップＳＴ２）。この判定は、例えば、自車位置情報と地図情報と特徴物情報（道路の進行方向に対する特徴物５０の位置情報）と撮像装置２１の撮像領域情報とを用いて行う。この場合には、自車の進行方向の所定距離内に特徴物５０が存在しているのか否かを判定して、所定距離内に特徴物５０が存在していなければ、自車の進行方向に認識対象となる特徴物５０が存在していないと判定し、所定距離内に特徴物５０が存在していれば、自車の進行方向に認識対象となる特徴物５０が存在していると判定する。その所定距離内とは、撮像装置２１で特徴物を撮像できる距離の範囲内のことであり、上述した特徴物５０の撮像可能な最長距離が含まれる。ここで、撮像装置２１は、現在走行中の道路又はその先の道路が旋回路や坂路の場合、必ずしも所定距離内に存在する特徴物５０を撮像できるとは限らない。しかしながら、この撮像装置２１は、自車がそのまま走行し続けて、例えば登坂路から特徴物５０の存在する降坂路に移動した場合や旋回路から特徴物５０の存在する直線路に移動した場合、その特徴物５０を撮像することができる。これが為、ここでは、撮像装置２１が現時点で実際に特徴物５０を撮像できるのか否かに拘わらず、所定距離内に特徴物５０が存在しているならば、自車の進行方向に認識対象となる特徴物５０が存在していると判定させる。

特徴物５０が存在していないと判定された場合には、ステップＳＴ１に戻って同じ演算処理を繰り返す。

一方、特徴物５０が存在していると判定された場合、電子制御装置１の画像処理領域演算部は、特徴物情報（特徴物５０の種別情報、道路の幅方向に対する特徴物５０の位置情報）を地図情報データベース１２から読み込むと共に、その特徴物５０の認識に適したテンプレートをテンプレートデータベース１３から読み込む（ステップＳＴ３）。つまり、このステップＳＴ３では、道路の幅方向に対する特徴物５０の位置情報から道路に対する特徴物５０の大凡の位置（つまり道路の上方又は道路の進行方向に見た左方若しくは右方の何れに特徴物５０が存在しているのか）を把握し、且つ、特徴物５０の種別情報に基づいてテンプレートを決定する。

画像処理領域演算部は、ステップＳＴ３における道路の幅方向に対する特徴物５０の位置情報に基づいて、撮像装置２１の撮像画像上における画像処理領域６１を決定する（ステップＳＴ４）。その画像処理領域６１は、前述した様に演算して決める。

電子制御装置１の特徴物検出部は、画像処理領域６１が決められた後、この画像処理領域６１の画像情報に対して、ステップＳＴ３で決めたテンプレートでテンプレートマッチングを行い、その画像処理領域６１の中から特徴物５０の特徴点５１を検出する（ステップＳＴ５）。

特徴物検出部は、例えば、最初の特徴点検出から自車が所定距離進行したのか否かを判定する（ステップＳＴ６）。この判定は、自車に対する特徴物５０（特徴点５１）の横方向と高さ方向の夫々の相対距離Ｘ，Ｙの演算を行う為の前段階の判定であり、その演算が行えるだけの特徴点５１の動きがあったのか否かを知る為のものである。従って、その所定距離としては、その相対距離Ｘ，Ｙの演算が可能になる特徴点５１の変移が生じるまでの自車の移動距離を設定しておけばよい。

特徴物検出部は、自車が所定距離進行していなければ、未だ相対距離Ｘ，Ｙの演算を行うだけの情報が得られていないと判断して、ステップＳＴ５に戻り、特徴点５１の検出を繰り返す。

一方、特徴物検出部は、自車が所定距離進行していれば、相対距離Ｘ，Ｙの演算を行うに適した特徴点５１の動きがあったと判断し、自車に対する特徴物５０（特徴点５１）の横方向と高さ方向の夫々の相対距離Ｘ，Ｙを演算する（ステップＳＴ７）。

その後、画像処理領域演算部は、ヨーレートセンサ３１の検出結果等を用いて、自車の走行姿勢を計測する（ステップＳＴ８）。

画像処理領域演算部は、ステップＳＴ７で求めた相対距離Ｘ，ＹとステップＳＴ８で計測した自車の走行姿勢に基づいて特徴点５１の変移方向を求め、この変移方向に基づいて画像処理領域６１を変更する（ステップＳＴ９）。ここでは、その変移方向を含み且つステップＳＴ４よりも小さい画像処理領域６１を決定する。

特徴物検出部は、画像処理領域６１が狭められた後、この新たな画像処理領域６１の画像情報に対して、ステップＳＴ３で決めたテンプレートでテンプレートマッチングを行い、その画像処理領域６１の中から特徴物５０の特徴点５１を検出する（ステップＳＴ１０）。

特徴物検出部は、自車に対する特徴物５０（特徴点５１）の横方向と高さ方向の夫々の相対距離Ｘ，Ｙを演算すると共に、自車に対する特徴物５０（特徴点５１）の進行方向の相対距離Ｚを演算する（ステップＳＴ１１）。進行方向の相対距離Ｚは、相対距離Ｘ，Ｙと同じ様に、画像処理領域６１における画像情報の画像処理結果に基づいて演算する。

画像処理領域演算部は、特徴物５０の認識終了条件が成立したのか否かを判定する（ステップＳＴ１２）。この判定は、自車が特徴物５０に十分近づいて当該特徴物５０の認識を行ったのか否かを観るものである。十分近づいて特徴物５０を認識できた場合には、認識終了条件が成立したとの判定を行う。一方、更に特徴物５０に近づいて当該特徴物５０を認識できる場合には、認識終了条件が成立していないとの判定を行う。これが為、ここでは、例えば、撮像画像上に特徴点５１が存在しなくなったならば、認識終了条件が成立したと判定し、撮像画像上に特徴点５１が存在していれば、認識終了条件が成立していないと判定する。

画像処理領域演算部は、特徴物５０の認識終了条件が成立していない場合、ステップＳＴ８に戻って自車の走行姿勢を計測する、そして、画像処理領域演算部は、ステップＳＴ９に進んで、その走行姿勢とステップＳＴ１１で求めた相対距離Ｘ，Ｙとに基づいて特徴点５１の変移方向を求め、更に小さい画像処理領域６１を決定する。尚、その際に画像処理領域６１が小さすぎて更に狭めることができないのであれば、今の画像処理領域６１のままステップＳＴ１０に進む。

これらを繰り返し、その結果、自車が特徴物５０に十分近づいて当該特徴物５０の認識を行った場合、ステップＳＴ１１においては、正確な相対距離Ｘ，Ｙ，Ｚを得ることができる。そして、この場合には、ステップＳＴ１２で特徴物５０の認識終了条件が成立したと判定されるので、この演算処理を終了させる。

例えば、画像処理領域演算部は、ステップＳＴ４で図４の画像処理領域６１を決定し、ステップＳＴ５で画像処理領域６１の画像情報に対してテンプレートマッチングを行い、その画像処理領域６１の中から特徴物５０の特徴点５１を検出する。

特徴物検出部は、自車の進行と共に変わる特徴点５１の動きを観ることによって、ステップＳＴ７で自車に対する特徴物５０（特徴点５１）の横方向と高さ方向の夫々の相対距離Ｘ，Ｙを演算する。尚、図４のＸとＹは、相対距離が如何様なものであるのかを説明する為の概念的なものであり、ここで演算される相対距離とは異なるものである。

画像処理領域演算部は、ステップＳＴ９に進み、その相対距離Ｘ，Ｙと自車の走行姿勢とに基づいて特徴点５１の変移方向を求め（図１２）、この変移方向に基づいて、その変移方向を含み且つステップＳＴ４よりも小さい画像処理領域６１を決定する（図５）。この画像処理領域演算部は、ステップＳＴ１０に進み、この新たな画像処理領域６１の画像情報に対してテンプレートマッチングを行い、その画像処理領域６１の中から特徴物５０の特徴点５１を検出する。

特徴物検出部は、自車の進行と共に変わる特徴点５１の動きを観ることによって、ステップＳＴ１１で自車に対する特徴物５０（特徴点５１）との相対距離Ｘ，Ｙ，Ｚを演算する。

電子制御装置１は、特徴物５０の認識終了条件が成立するまで、ステップＳＴ８以降の演算処理を繰り返す。

この様に、この道路環境認識システムは、自車が特徴物５０に近づくにつれて画像処理領域６１を小さくして、画像処理に必要な画像の情報量を減らしているので、認識精度を下げることなく、演算処理の負荷を軽減しつつ特徴物５０を認識することができる。また、この道路環境認識システムは、画像処理領域６１を一旦広めに設定し、その後少なくとも１段階以上画像処理領域６１を小さくするので、検出された自車位置が特徴物５０に対して進行方向に大きくずれていたとしても、その様な精度の良い特徴物５０の認識が可能になる。また、この道路環境認識システムは、自車と特徴物５０との間の相対距離Ｚが長いときに、広い画像処理領域６１を使って、その間の横方向と高さ方向の相対距離Ｘ，Ｙを求め、その後、自車が特徴物５０に近づくほど画像処理領域６１を狭めて横方向と高さ方向の相対距離Ｘ，Ｙを求めるので、地図情報データベース１２の特徴物情報として特徴物５０の横方向の位置と高さ方向の位置とが記憶されていなくても、認識精度を下げることなく、演算処理の負荷を軽減しつつ特徴物５０を認識することができる。また、この道路環境認識システムは、画像処理領域６１を扇型にしているので、検出された自車位置が特徴物５０に対して進行方向に大きくずれていたとしても、特徴物５０の認識開始時点の遠方から特徴物５０の認識終了条件成立時の近傍に至るまでの間において、その画像処理領域６１の中に特徴物５０の特徴点５１を含ませ続けることができ、このことから特徴物５０の認識精度を向上させることができる。また、特徴点５１を検出する際には様々な外乱の影響を受けて異常値が出ることがあるが、この道路環境認識システムは、特徴点５１が含まれ続ける扇型の画像処理領域６１を用いているので、その様な異常値を省くことができる。

ここで、特徴物検出部は、特徴物５０の認識終了条件が成立する直前の工程で得られた相対距離Ｘ，Ｙ，Ｚを特徴物５０の認識結果として出力する。また、相対距離Ｘ，Ｙ，Ｚが小さいほど特徴物５０が自車の近くで認識されたことになり、その相対距離Ｘ，Ｙ，Ｚの精度が高くなるので、特徴物検出部は、その精度の高さを表すパラメータ（自信度など）と共に特徴物５０の認識結果を出力してもよい。例えば、その認識結果の出力先が電子制御装置１の自車位置検出部の場合、その自車位置検出部は、その認識結果に基づいて自車位置の検出精度を高めることができる。例えば、自車位置検出部は、自車位置情報と地図情報データベース１２における特徴物５０の位置情報とに基づいて自車と特徴物５０との間の進行方向における相対距離Ｚを求め、この自車位置情報に基づいた相対距離Ｚと特徴物５０の認識結果における相対距離Ｚを比較し、これらの相対距離Ｚの間にずれが生じている場合、その差分に基づいて自車位置を補正する。これにより、この車両においては、自車位置検出部による自車位置の検出精度が向上する。

［変形例１］
実施例のステップＳＴ４で求めた画像処理領域６１は、その後ステップＳＴ９で演算される画像処理領域６１よりも広い面積を持っている。これが為、これらを比較すると、ステップＳＴ４の画像処理領域６１は、テンプレートマッチングの際の演算処理の負荷がステップＳＴ９の画像処理領域６１よりも高くなる。しかしながら、ステップＳＴ４の画像処理領域６１を用いるときは、自車と特徴物５０との間が大きく離れており、僅かに自車が進んだだけでは撮像画像上での特徴点５１の動きが小さい。故に、このときには、特徴点５１の動きを確認しにくいので、相対距離Ｘ，Ｙの演算が可能になる特徴点５１の変移があったとしても、これを把握できない可能性がある。

そこで、本変形例では、ステップＳＴ４の画像処理領域６１でテンプレートマッチングを行う際の当該画像処理領域６１のフレームレートを下げて、撮像画像上での特徴点５１の動きを確認しやすくする。そして、これは、そのテンプレートマッチングの際の演算処理の負荷の軽減にも寄与する。

［変形例２］
前述した実施例及び変形例１の道路環境認識システムにおいては、ステップＳＴ９で、自車が特徴物５０に近づくほど扇型の画像処理領域６１の所定角度（中心角）を小さくすることによって、画像処理領域６１を小さくする。しかしながら、その特徴物５０の特徴点５１は、自車が特徴物５０に近づくほど、撮像画像の中央部分から離れていく。これが為、少なくともその特徴物５０よりも中央部分側の領域を画像処理領域６１から除外したとしても、その特徴物５０の特徴点５１の検出に悪影響を与えることはない。従って、本変形例の画像処理領域演算部には、図１３に示す様に、少なくともその特徴物５０よりも中央部分側の領域を画像処理領域６１から除外させることで、画像処理領域６１を減少させる。これにより、本変形例の道路環境認識システムは、演算処理の負荷を更に軽減させることができる。

［変形例３］
本変形例は、前述した実施例及び変形例１，２の道路環境認識システムにおいて、ステップＳＴ４の画像処理領域６１を下記の画像処理領域６２に置き換えたものである。自車と特徴物５０との間が大きく離れているときは、前述した様に特徴物５０が撮像画像の中央部分又は中央付近に存在しているので、ステップＳＴ４の画像処理領域６１において、その中央部分又は中央付近から離れている場所でテンプレートマッチングを行うことは無駄な演算処理と云える。この為、その中央部分又は中央付近から離れている場所は、ステップＳＴ４で決められる画像処理領域から除外することが望ましい。また、自車と特徴物５０との間が大きく離れているときには、自車に対する特徴物５０の横方向と高さ方向の相対距離Ｘ，Ｙが特徴物情報等から明らかにできなければ、その中央部分又は中央付近でのテンプレートマッチングを広範囲で行うことが、その特徴物５０の認識精度を上げる上で望ましい。

そこで、本変形例のステップＳＴ４では、その中央部分又は中央付近を広く取り、且つ、その中央部分又は中央付近から離れている場所を除外するように、矩形の画像処理領域６２を演算する。これにより、この変形例の道路環境認識システムは、特徴物５０の認識精度を向上しながらも、演算処理の負荷を軽減することができる。尚、その矩形の画像処理領域６２は、撮像画像の４つの辺と夫々に平行な各辺を有するものである。

具体的に、道路の幅方向に対する特徴物５０の位置が道路の上方の場合には、撮像画像における中央部分又は中央付近よりも上方がテンプレートマッチングの不要な無駄な領域となる。これが為、この場合には、中央部分又は中央付近から上側への特徴点５１の変移方向を含み、且つ、その変移方向を中心に置いて中央部分又は中央付近を広く取った図１４の矩形の画像処理領域６２とする。この場合には、自車が特徴物５０に近づいていったときに、ステップＳＴ９で例えば図３の扇型の画像処理領域６１を求める。

また、道路の幅方向に対する特徴物５０の位置が道路の左方の場合には、撮像画像における中央部分又は中央付近よりも左斜め上方の隅部分がテンプレートマッチングの不要な無駄な領域となる。これが為、この場合には、中央部分又は中央付近から左斜め上方への特徴点５１の変移方向を含み、且つ、その変移方向を中心に置いて中央部分又は中央付近を広く取った図１５の矩形の画像処理領域６２とする。この場合には、自車が特徴物５０に近づいていったときに、ステップＳＴ９で例えば図５の扇型の画像処理領域６１を求める。

また、道路の幅方向に対する特徴物５０の位置が道路の右方の場合には、撮像画像における中央部分又は中央付近よりも右斜め上方の隅部分がテンプレートマッチングの不要な無駄な領域となる。これが為、この場合には、中央部分又は中央付近から右左斜め上方への特徴点５１の変移方向を含み、且つ、その変移方向を中心に置いて中央部分又は中央付近を広く取った図１６の矩形の画像処理領域６２とする。この場合には、自車が特徴物５０に近づいていったときに、ステップＳＴ９で例えば図７の扇型の画像処理領域６１を求める。

１ 電子制御装置
１１ 自車位置検出装置
１２ 地図情報データベース
１３ テンプレートデータベース
２１ 撮像装置
５０ 特徴物
５１ 特徴点
６１，６２ 画像処理領域

Claims (8)

1. 自車の進行方向を撮像する撮像装置と、
   自車の進行方向に道路上の特徴物が存在している場合、前記撮像装置で撮像された画像の内、中央部分と前記特徴物の少なくとも一部分とを含む、前記中央部分を中心とした所定角度からなる領域を画像処理領域とし、前記画像処理領域を自車が前記特徴物に近づくほど小さくする画像処理領域演算部と、
   前記画像処理領域の画像情報に基づいて前記特徴物を検出する特徴物検出部と、
   を備えることを特徴とした道路環境認識システム。
2. 自車の進行方向を撮像する撮像装置と、
   自車の進行方向に道路上の特徴物が存在している場合、前記撮像装置で撮像された画像の内、中央部分と前記特徴物の少なくとも一部分とを含む矩形の領域を画像処理領域とし、前記画像処理領域を自車が前記特徴物に近づくほど小さくする画像処理領域演算部と、
   前記画像処理領域の画像情報に基づいて前記特徴物を検出する特徴物検出部と、を備え、
   前記画像処理領域演算部は、自車が前記特徴物に近づくにつれて、少なくとも矩形領域から前記中央部分を中心とした所定角度からなる領域に前記画像処理領域を変更することを特徴とした道路環境認識システム。
3. 前記画像処理領域演算部は、自車が前記特徴物に近づくにつれて、前記画像処理領域における前記特徴物よりも前記中央部分側の領域を少なくとも当該画像処理領域から除外することを特徴とした請求項１記載の道路環境認識システム。
4. 前記画像処理領域演算部は、自車が前記特徴物に近づくほど前記画像処理領域の前記所定角度を小さくすることを特徴とした請求項１，２又は３に記載の道路環境認識システム。
5. 前記画像処理領域演算部は、現在の自車に対する前記特徴物の位置と自車が当該特徴物に近づいたときの自車に対する当該特徴物の位置とを結ぶ線が前記画像処理領域に含まれるよう当該画像処理領域の前記所定角度を小さくすることを特徴とした請求項１，３又は４に記載の道路環境認識システム。
6. 前記画像処理領域演算部は、自車の走行車線又は／及び自車の走行姿勢に応じて前記特徴物を結ぶ線の変更を行うことを特徴とした請求項５記載の道路環境認識システム。
7. 前記画像処理領域演算部は、前記所定角度を成す前記中心を始点にした２つのベクトルの合成ベクトル上に前記特徴物の特徴点が来るよう前記画像処理領域の演算を行うことを特徴とした請求項１から５の内の何れか１つに記載の道路環境認識システム。
8. 前記画像処理領域演算部は、自車の走行車線又は／及び自車の走行姿勢に応じて前記合成ベクトルの変更を行うことを特徴とした請求項７記載の道路環境認識システム。

Images