JP6034713B2 - 車外環境認識装置および車外環境認識方法 - Google Patents

Description

本発明は、自車両外の環境を認識する車外環境認識装置および車外環境認識方法にかかり、特に、自車両外の移動物を認識し自車両との衝突判定を行う車外環境認識装置および車外環境認識方法に関する。

従来、車両に搭載した車載カメラによって自車両の前方の道路環境を撮像し、撮像タイミングを異にする２つの環境画像の差分に基づいて車両前方に存在する移動物を認識する技術が知られている。このとき、環境画像上には、移動物のみならず、移動物の影も映し出される場合がある。影は移動物と一体的に移動するため移動物自体とその影とを区別することが難しく、影も含めて移動物と認識されてしまうことがある。

そこで、撮像した環境画像内において、エッジ画素周辺の８画素を含むブロック単位でＲＧＢ値を取得し、予め準備された影境界パターンと比較して影を示す影領域と他の領域との境界を特定する技術が公開されている（例えば、特許文献１）。

特開２００７−２７２２９２号公報

しかし、上述した特許文献１の技術は、ＲＧＢ値で表されるカラー画像を前提としており、色の情報量が少ない平坦なカラー画像やモノクロ画像等では影領域と他の領域との境界の特定精度が低下する。また、比較対象となる影境界パターンを多数準備しなくてはならないといった問題も顕在する。

このように、移動物と影との境界の特定精度が低下すると、地面に対する移動物の接地点を正確に把握することができず、自車両から移動物までの距離も特定できないので、移動物との衝突判定が困難となるおそれがある。

本発明は、このような課題に鑑み、撮像した環境画像における色の情報量に拘わらず、移動物と影とを的確に区別することが可能な車外環境認識装置および車外環境認識方法を提供することを目的としている。

上記課題を解決するために、撮像装置により撮像された画像に基づき自車両外の環境を認識する本発明の車外環境認識装置であって、画像を取得する画像取得部と、取得タイミングを異にする２つの画像に対し、複数のブロック単位で差分をとり差分画像を生成する差分画像生成部と、差分画像から、差分を有する差分ブロックが近接する差分領域を抽出する差分領域抽出部と、差分領域において差分ブロックの水平方向の連続性に基づいて、連続性が変化する変化位置に相当する水平線を境界として導出する境界導出部と、差分領域における境界の垂直上部に相当する領域を、移動物を示す移動領域としてグループ化するグループ化部と、を備えることを特徴とする。

差分領域抽出部は、差分画像を垂直方向に延びる複数の領域によって水平方向に等分し、複数の領域において差分ブロックの合計値が閾値以上となる領域を差分領域としてもよい。

境界導出部は、差分領域を水平方向に延びる複数の領域によって垂直方向に等分し、領域ごとに差分ブロックが水平方向に連続して出現するブロック数を計数し、連続して出現するブロック数の最大値の傾向が変化する変化位置に相当する水平線を境界としてもよい。

車外環境認識装置は、画像上の地面を示す地面領域における移動領域の接地点に基づいて、少なくとも、移動領域が示す移動物の自車両からの距離を導出する移動物状態導出部をさらに備えてもよい。

上記課題を解決するために、撮像装置により撮像された画像に基づき自車両外の環境を認識する車外環境認識方法では、画像を取得し、取得タイミングを異にする２つの画像の差分をとり差分画像を生成し、差分画像から、差分を有する差分ブロックが近接する差分領域を抽出し、差分領域において差分ブロックの水平方向の連続性に基づいて、連続性が変化する変化位置に相当する水平線を境界として導出し、差分領域における境界の垂直上部に相当する領域を、移動物を示す移動領域としてグループ化することを特徴とする。

本発明によれば、撮像した環境画像における色の情報量に拘わらず、移動物と影とを的確に区別することが可能となる。

環境認識システムの接続関係を示したブロック図である。 移動領域を特定する処理を説明した説明図である。 移動領域の移動に伴う影領域の出現態様を説明するための説明図である。 車外環境認識装置の概略的な機能を示した機能ブロック図である。 画像取得部によって取得された画像データを例示した説明図である。 差分画像を説明するための説明図である。 差分領域抽出部の動作を説明するための説明図である。 境界導出部の動作を説明するための説明図である。 移動領域の特定精度を確認するための説明図である。 車外環境認識方法の全体的な処理の流れを示したフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、撮像装置（車載カメラ）１１０と、車外環境認識装置１２０と、車両制御装置１３０とを含んで構成される。

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１前方の検出空間を撮像し、例えばモノクロ（グレースケール）による画像（環境画像）が示される画像データを生成する。本実施形態においては、グレースケールで表される色と輝度とを同等に扱い、同一の文章に両文言が含まれる場合、互いを、色を構成する輝度、または、輝度を有する色と読み替えることができる。撮像装置１１０は、画像データを、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。以下の実施形態における各機能部は、このような画像データの更新を契機としてフレーム毎に各処理を遂行する。

車外環境認識装置１２０は、撮像装置１１０から画像データを取得し、画像データが示す画像に基づき、移動物に対応する移動領域を特定（抽出）する。ここで、移動物は、車両、自転車、歩行者といった独立して移動する物を示す。

図２は、移動領域２０６を特定する処理を説明した説明図である。ここでは、移動領域２０６を特定するため、前回のフレームで撮像された画像データを、少なくとも今回のフレームまで一時的に保持させる。以下、一時的に保持された前回のフレームにおける画像データを「前回画像データ」といい、今回のフレームにおける画像データを「今回画像データ」という。

図２（ａ）では前回画像データが示す画像が示され、図２（ｂ）では今回画像データが示す画像が示される。車外環境認識装置１２０では、このような撮像タイミングを異にする２つの画像における各画素（ピクセル）の輝度の差分をとり、図２（ｃ）のような差分画像を導出する。図２（ａ）と図２（ｂ）とを比較すると、背景２００は、変化していない、または、変化が少ないので差分が生じにくい。一方、図２（ａ）の略中央に位置する対象物は、時間の経過に伴って図２（ｂ）のように画面上の位置が変化しているので、その差分が生じ得る。したがって、図２（ｃ）の如く、前回画像データにおいて（移動前に）対象物が占有した対象領域２０２から今回画像データにおいて（移動後に）対象物が占有した対象領域２０４に亘って輝度の差分が生じるので、車外環境認識装置１２０は、差分が生じている領域を移動物に対応する移動領域２０６として特定する。

また、車外環境認識装置１２０は、移動領域２０６が特定されると、その移動領域２０６の画像上の位置に基づいて、移動物の自車両１からの距離や、距離を含む３次元位置、および、移動物の大きさを推定する。これは、以下の関係を用いている。すなわち、撮像装置１１０を自車両１の前方先端かつ車幅方向の中央に位置させ、撮像方向を進行方向と等しく、また、主軸が水平方向かそれより下向きになるように設置した場合、画像上には自車両１前方の地面（地表面）が映し出される。自車両１と地面との位置関係は、自車両１の挙動や地面の形状等により瞬時的には変化するものの、定常的には一定の位置関係となり、その位置関係は撮像装置１１０を車両に搭載した時の設置条件から求めることができる。したがって、移動物の位置、具体的には、移動物の接地点を特定できれば、その移動物の自車両１からの距離や大きさを導出したり、大凡の３次元位置を特定することが可能となる。かかる距離の導出処理や３次元位置の特定処理は、様々な公知技術を適用できるので、ここでは、その説明を省略する。

また、移動物の３次元位置を特定すると、車外環境認識装置１２０は、移動領域２０６を参照して移動物を追跡し、また、その移動物と自車両１とが衝突する可能性が高いか否かの判定を行う。ここで、衝突の可能性が高いと判定した場合、車外環境認識装置１２０は、その旨、運転者の前方に設置されたディスプレイ１２２を通じて運転者に警告表示（報知）を行うとともに、車両制御装置１３０に対して、その旨を示す情報を出力する。

図１に戻って説明すると、車両制御装置１３０は、車外環境認識装置１２０で特定された移動物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置１３０は、操舵の角度を検出する舵角センサ１３２や自車両１の速度を検出する車速センサ１３４等を通じて現在の自車両１の走行状態を取得し、アクチュエータ１３６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１３６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１３０は、移動物との衝突が想定される場合、アクチュエータ１３６を制御して自車両１を自動的に制動する。かかる車両制御装置１３０は、車外環境認識装置１２０と一体的に形成することもできる。

上述したように、当該環境認識システム１００において、車外環境認識装置１２０は、地面における移動物の接地点を特定することで、移動物の自車両１からの距離を導出したり、大凡の３次元位置を特定することができる。しかし、検出空間に太陽光等の光が当たっている場合、道路上には移動物のみならず、移動物の影も存在し、画像上で移動領域２０６と移動物の影を示す影領域とを区別することは難しい。

図３は、移動領域２０６の移動に伴う影領域２０８の出現態様を説明するための説明図である。ここでは、検出空間において、画像奥側から太陽光が照射しているとする。すると、図３（ａ）の前回画像データが示す画像および図３（ｂ）の今回画像データが示す画像のいずれにおいても移動領域２０６に加え影領域２０８が生じる。また、このような撮像タイミングを異にする２つの画像の各画素の輝度の差分をとっても、やはり、図３（ｃ）の差分画像の如く、移動領域２０６と一体的に移動する影領域２０８の差分が生じる。以下、差分画像において一体的に移動する移動領域２０６と影領域２０８とを合わせて差分領域とする。差分画像において差分領域を特定するのは容易であるが、移動領域２０６の輝度も逆光により低くなるので、差分領域を、移動領域２０６とその影領域２０８とに明確に区別することは難しい。

移動領域２０６と影領域２０８との境界が正確に定まらないと、移動領域２０６の接地点を正確に特定できず、移動物の自車両１からの距離や移動物の大きさを導出できなくなり、移動物との衝突判定が困難となってしまう。そこで、本実施形態では、１．移動物と影との出現位置の違い、および、２.影領域２０８の特性に着目し、撮像した環境画像における色の情報量に拘わらず、移動領域２０６と影領域２０８とを的確に区別する。

（１．移動物と影との出現位置の違いについて）
移動物は、地面に対して立設している（鉛直方向成分を有している）のに対し、影は、地面に沿って出現する。すなわち、移動物と影とは検出空間において出現位置が垂直に交わる関係にある。また、撮像装置１１０の主軸が水平方向となるように設置されている場合、地面に立設する移動物は、どの部位においても、実物の任意の部分の大きさと、画像上に映し出された移動領域２０６におけるその部分の大きさとの比が等しくなる。一方、地面に沿って出現する影は、遠近法により、地面のどの部分に位置するかに応じて、影の任意の部分の大きさと、画像上に映し出された影領域２０８におけるその部分の大きさとの比が異なることとなる。かかる大きさの差は、撮像装置１１０のレンズの画角が広い程強調される。

影の幅に関し、具体的には、移動物から画像手前側に延びる幅の等しい影に対し、図３（ｃ）の如く、画像上では移動領域２０６との境界付近における影領域２０８の幅より、移動領域２０６から離隔した位置（画像手前側）付近における影領域２０８の幅の方が大きくなる。すなわち、図３（ｃ）において、移動領域２０６に相当する部分は、破線で示すように、画像中の水平方向の幅が、垂直方向に移動するに連れ変化しないことが多いのに対し、影領域２０８に相当する部分は、一点鎖線で示すように、画像中の水平方向の幅が、垂直方向に移動するに連れ変化する。したがって、移動物と影との出現位置の違いに基づいて、移動領域２０６と影領域２０８とを区別することが可能となる。

（２.影領域２０８の特性について）
また、影領域２０８は、移動領域２０６と比べ、テクスチャが薄く、かつ、エッジが明確である。したがって、図３（ｃ）のように、移動領域２０６では、輝度の差分を有する、１または複数の画素で構成された差分ブロックがまだらに生じるのに対し、影領域２０８では、差分ブロックが生じる部分と差分ブロックが生じない部分が明確に分かれる。ここで、「差分を有する」とは、輝度の差分が所定値以上であることを示す。したがって、差分ブロックの連続性が移動領域２０６より影領域２０８の方が高くなる。このような影領域２０８の特性を利用すると、差分ブロックが生じた部位の連続性に応じて移動領域２０６と影領域２０８とを区別することが可能となる。

このように、１．移動物と影との出現位置の違い、および、２.影領域２０８の特性を組み合わせることで、移動領域２０６と影領域２０８とをより的確に区別することができる。以下、移動領域２０６と影領域２０８との区別を実現する車外環境認識装置１２０の具体的な構成を説明する。

（車外環境認識装置１２０）
図４は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図４に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

Ｉ／Ｆ部１５０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持する。また、データ保持部１５２は、画像内の各ブロック、または、各画素それぞれに対し１の３次元位置が対応付けられたテーブルや、撮像装置１１０から受信した画像データ（前回画像データ）を一時的に保持する。

中央制御部１５４は、中央処理装置（ＣＰＵ）、車外環境認識装置１２０の動作プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、中央制御部１５４は、動作プログラムと協働して、画像取得部１６０、差分画像生成部１６２、差分領域抽出部１６４、境界導出部１６６、グループ化部１６８、移動物状態導出部１７０、衝突判定部１７２、報知部１７４、画像保持部１７６等の機能部として機能する。

画像取得部１６０は、１／６０秒のフレーム毎に、Ｉ／Ｆ部１５０を通じて撮像装置１１０から画像データを取得する。

図５は、画像取得部１６０によって取得された画像データを例示した説明図である。例えば、画像取得部１６０は、１フレーム分の時間を空けて図５（ａ）の画像データと図５（ｂ）の画像データを取得する。ただし、図５（ａ）の画像データは前回のフレームにおいて取得されたものであり、前回画像データとしてデータ保持部１５２に保持されている。そして、今回のフレームにおいて、図５（ｂ）の画像データが今回画像データとして取得される。ここでは、理解を容易にするため、前回画像データおよび今回画像データのうち、移動物（ここでは自転車と人）が表示された一部の領域のみが示される。

また、以下の機能部において、画像取得部１６０が取得した画像データをそのまま利用するとしてもよいが、データを間引いて利用してもよい。画像取得部１６０は、例えば、画像データの画像を水平方向には１０ピクセル残して１０ピクセル間引くことを繰り返し、垂直方向には２ピクセル残して２ピクセル間引くことを繰り返す。本実施形態では、テクスチャが薄く、かつ、エッジが明確な影領域２０８を特定すれば足りるので、上記のように画像を間引いたとしても移動領域２０６と影領域２０８との区別に実質的な影響が生じない。こうして、以下の機能部における計算負荷を低減することが可能となる。ただし、画像を間引く量や間隔は上述した例に限らず、用途や計算負荷に応じて任意に設定することができる。

差分画像生成部１６２は、取得されたタイミングの異なる画像データ（前回画像データと今回画像データ）が示す画像に対し、複数のブロック単位で差分をとり差分画像を生成する。

図６は、差分画像２１０を説明するための説明図である。具体的に、差分画像生成部１６２は、統計的背景差分法等の公知技術を用い、画像取得部１６０が取得した図５（ｂ）の今回画像データが示す画像から、データ保持部１５２に保持された図５（ａ）の前回画像データが示す画像の各ブロックの輝度の差分をとる。

そして、差分画像生成部１６２は、大津の方法等の公知技術を用いて２値化のための閾値（２値化閾値）を設定し、ブロック毎の輝度の差分がその２値化閾値を超えるブロックを差分ブロックとする。そして、差分画像生成部１６２は、図６のような複数の差分ブロックで形成される差分画像を生成する。ここでも、図２（ｃ）同様、背景２００には差分ブロックが生じていないが、図５（ａ）の前回画像データと図５（ｂ）の今回画像データとで変化している自転車の領域には差分ブロックが生じる。ただし、この時点では、差分領域が特定されるだけで、移動領域２０６と影領域２０８とが区別されていない。

本実施形態では、画像取得部１６０によって画像が間引かれており、差分画像生成部１６２によって、その間引かれた画像の差分をとることで、図６に示すように、移動領域２０６と影領域２０８とにおける差分ブロックの密度を、より明確に異ならせることができる。ここでは、移動領域２０６に比べ、影領域２０８の方が、差分ブロックが集約している領域における差分ブロックの密度が高く、また、そのような部位が連続しているところが多いことを理解することができる。

差分領域抽出部１６４は、差分画像生成部１６２で生成された差分画像２１０から、差分ブロックが近接する（所定の距離内にある）差分領域を抽出する。

図７は、差分領域抽出部１６４の動作を説明するための説明図である。差分領域抽出部１６４は、図７（ａ）に示すように、差分画像２１０を、垂直方向に延びる複数の短冊状の領域２２０によって水平方向に等分し、それぞれの領域２２０において差分ブロックを計数する。そして、その合計値によって図７（ｂ）に示すような領域２２０毎のヒストグラムを生成する。ここでは、理解を容易にするため、領域２２０の水平方向の幅を大きくとっているが、幅の大きさは任意に定めることができる。そして、差分領域抽出部１６４は、差分ブロックの合計値が所定の閾値（合計閾値）を超えている領域２２０全てを差分領域とする。ただし、この時点では、差分領域の垂直方向の範囲は特定されておらず、水平方向の範囲のみ特定される。ここで、合計閾値は、予め設定されていてもよいし、撮像装置１１０の撮像状況に応じて適切な値が設定されるとしてもよい。

かかる差分領域の特定処理において、ノイズが混入すると差分ブロックが適切にヒストグラムに反映されないおそれがある。そこで、差分画像生成部１６２では、移動したブロックの移動平均を導出する等、公知技術を用いて輝度の差分の平滑化を行うことで、ノイズの影響を最小限に留めることが可能である。

こうして、差分画像２１０から差分領域の水平方向の範囲を抽出することができる。なお、かかる処理では、差分領域が複数存在する場合でも、それぞれの差分範囲を適切に特定することができる。

境界導出部１６６は、差分領域抽出部１６４によって導出された１または複数の差分領域の水平方向の範囲における、差分ブロックの水平方向の連続性に基づき、連続性が変化する境界を導出する。

図８は、境界導出部１６６の動作を説明するための説明図である。具体的に、境界導出部１６６は、図８（ａ）に示すように、差分領域抽出部１６４によって導出された差分領域を、水平方向に延びる複数の短冊状の領域２２２によって垂直方向に等分し、それぞれの領域２２２において、差分ブロックが水平方向に連続して出現するブロック数を計数する。そして、その最大値によって図８（ｂ）に示すような領域２２２毎のヒストグラムを生成する。

次に、境界導出部１６６は、ヒストグラムの傾向を示す２つの特性直線２２４、２２６を導出する。１の特性直線２２４は、画像の垂直方向上部側に位置する領域２２２のヒストグラムの最大値の包絡線であり、もう１の特性直線２２６は、画像の垂直方向下部側に位置する領域２２２のヒストグラムの最大値の包絡線である。したがって、特性直線２２４は、画像の垂直方向上部側に位置する領域２２２のヒストグラムの最大値より大きく、特性直線２２６は、画像の垂直方向下部側に位置する領域２２２のヒストグラムの最大値より大きい。

移動領域２０６は、差分領域のうち垂直方向上部側に存在し、影領域２０８は、差分領域のうち垂直方向下部側に存在する。また、上述したように、移動領域２０６は、輝度の差分がまばらに生じ、かつ、その幅が変化しないのに対し、影領域２０８は、輝度の差分が連続し易く、かつ、その幅が垂直方向下部側に向かって増大する。したがって、差分ブロックが水平方向に連続して出現するブロック数の最大値は、移動領域２０６において変化がなく、影領域２０８において下部に向かうに連れ最大値が増大する。よって、移動領域２０６では差分ブロックが水平方向に連続して出現するブロック数の最大値が特性直線２２４の傾向となり、影領域２０８では特性直線２２６の傾向となる。境界導出部１６６は、この連続して出現するブロック数の最大値の傾向の変化位置、すなわち、２つの特性直線２２４、２２６の交点に相当する水平線（水平方向に延びる直線）を、移動領域２０６と影領域２０８の境界とする。

ただし、差分領域の移動量や撮像状態に応じて、２つの特性直線２２４、２２６を特定できなかったり、また、特定できたとしても交点が生じない場合がある。この場合、１フレーム前に導出した境界を引き続き利用する。このように境界を連続して導出することで、移動領域２０６と影領域２０８を安定して区別することができる。

グループ化部１６８は、差分領域における境界の上部に相当する領域を移動領域２０６としてグループ化する。本実施形態において、グループ化部１６８は、差分領域抽出部１６４によって導出された差分領域の水平方向の範囲であり、かつ、境界導出部１６６が導出した境界より画像上部に存在する範囲のうち、さらに、差分ブロックが近接する領域を移動領域２０６としてグループ化する。したがって、図８（ａ）において、一点鎖線で囲った範囲が移動領域２０６となる。

図９は、本実施形態による移動領域２０６の特定精度を確認するための説明図である。従来は、図９（ａ）で四角に示すように、移動領域２０６のみならず影領域２０８も一体的にグループ化されていたので、実際の大きさより広い範囲が移動物とみなされていた。本実施形態では、グループ化部１６８が影領域２０８を排除しているので、図９（ｂ）のように、移動物が存在する領域のみを移動領域２０６と判定でき、移動物を適切に特定することが可能となる。

移動物状態導出部１７０は、画像上の地面を示す地面領域における移動領域２０６の接地点に基づいて、移動領域２０６が示す移動物の自車両１からの距離、大きさ、３次元位置を導出する。例えば、データ保持部１５２は、画像内の各ブロック、または、各画素それぞれに対し１の３次元位置が対応付けられたテーブルを予め保持し、移動物状態導出部１７０は、かかるテーブルを参照して、移動物の接地点に対応する３次元位置を特定する。また、移動物状態導出部１７０は、移動領域２０６の大きさと、移動領域２０６に対応する移動物の距離との予め定められた関係式によって、移動物の大きさを特定する。本実施形態では、移動領域２０６が適切に特定されるので、その接地点の位置が正確に特定され、移動物の自車両１からの距離や移動物の大きさを正確に導出することができる。

衝突判定部１７２は、自車両１の進行方向および速度と、特定した移動物の位置、進行方向および速度とに応じて、自車両１と当該移動物が衝突する可能性が高いか否か判定する。かかる衝突判定については、既存の様々な技術を適用することが可能なので、ここではその詳細な説明を省略する。

報知部１７４は、衝突判定部１７２が衝突の可能性が高いと判定した場合、ブザー（音声出力手段）や警告灯（ディスプレイ１２２）を通じて、その旨、運転者に報知する。また、Ｉ／Ｆ部１５０を通じて、車両制御装置１３０に、その旨を示す情報を出力する。

画像保持部１７６は、データ保持部１５２の前回画像データに今回画像データを上書きする。こうして次のフレームでは、かかる今回画像データを前回画像データとして用いることができる。

（車外環境認識方法）
図１０は、車外環境認識方法の全体的な処理の流れを示したフローチャートである。図１０では、撮像装置１１０から画像データが受信された毎に生じる割込処理の全体的な流れが示されている。

当該車外環境認識方法による割込が発生すると、画像取得部１６０は、Ｉ／Ｆ部１５０を通じて撮像装置１１０から送信された画像データ（今回画像データ）を取得する（Ｓ３００）。このとき、画像取得部１６０は、画像データが示す画像を間引き、以降の処理において、その間引かれた画像を用いるとしてもよい。そして、差分画像生成部１６２は、データ保持部１５２に保持された前回画像データが示す画像と、今回画像データが示す画像の差分をとり差分画像２１０を生成する（Ｓ３０２）。続いて、差分領域抽出部１６４は、差分画像２１０から、差分ブロックが近接する差分領域を抽出する（Ｓ３０４）。ここで、差分領域抽出部１６４は、差分領域が抽出されたか否か判定し（Ｓ３０６）、差分領域が抽出されていれば（Ｓ３０６におけるＹＥＳ）、ステップＳ３０８に処理を移行し、差分領域が抽出されなければ（Ｓ３０６におけるＮＯ）、当該車外環境認識方法を終了する。

差分領域が抽出されていれば、境界導出部１６６は、差分領域抽出部１６４によって導出された差分領域における、差分ブロックの水平方向の連続性に基づいて連続性が変化する境界を導出する（Ｓ３０８）。そして、グループ化部１６８は、差分領域における境界の上部に相当する領域を移動領域２０６としてグループ化し（Ｓ３１０）、移動物状態導出部１７０は、地面領域における移動領域２０６の接地点に基づいて、移動領域２０６が示す移動物の自車両１からの距離、大きさ、３次元位置を導出する（Ｓ３１２）。

次に、衝突判定部１７２は、自車両１の進行方向および速度と、特定した移動物の位置、進行方向および速度とに応じて、自車両１と移動物が衝突する可能性が高いか否か判定する（Ｓ３１４）。その結果、移動物と衝突する可能性が高いと判定すると（Ｓ３１４におけるＹＥＳ）、報知部１７４は、衝突の可能性が高い旨、運転者に報知するとともに、車両制御装置１３０に、その旨を示す情報を出力する（Ｓ３１６）。また、移動物と衝突する可能性が高いと判定されなかった場合（Ｓ３１４におけるＮＯ）、ステップＳ３１８に移行する。

最後に、画像保持部１７６は、今回画像データを次回のフレームで前回画像データとして用いるため、データ保持部１５２の前回画像データに今回画像データを上書きし（Ｓ３１８）、当該車外環境認識方法を終了する。

以上、説明したように、本実施形態の車外環境認識装置１２０および車外環境認識方法では、撮像した環境画像における色の情報量が少なくとも、例えば、モノクロ画像等であっても、移動物と影とが的確に区別され、移動物の接地点を正確に把握することが可能となる。こうして、自車両１から移動物までの距離を含む移動物の３次元位置や大きさが把握されるので、自車両１と移動物との衝突判定を高精度で実現することができる。

本実施形態に示す技術は特に画像奥側から太陽光等の光が差している、所謂、逆光時に有効である。

また、コンピュータを、車外環境認識装置１２０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

また、上述した実施形態においては、画像取得部１６０、差分画像生成部１６２、差分領域抽出部１６４、境界導出部１６６、グループ化部１６８、移動物状態導出部１７０、衝突判定部１７２、報知部１７４、画像保持部１７６は中央制御部１５４によってソフトウェアで動作するように構成している。しかし、上記の機能部をハードウェアによって構成することも可能である。

また、上述した実施形態では、モノクロ画像を撮像する例を挙げて説明しているが、かかる場合に限らず、画素単位で３つの色相（赤：Ｒ、緑：Ｇ、青：Ｂ）の輝度を有するカラー画像を用いてもよい。この場合、カラー画像を取得した後にＲＧＢの平均をとり、彩度を０にするなどの公知の技術を用いてグレースケール画像に変換すればよい。

なお、本明細書の車外環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、自車両外の環境を認識する車外環境認識装置および車外環境認識方法にかかり、特に、自車両外の移動物を認識し自車両との衝突判定を行う車外環境認識装置および車外環境認識方法に利用することができる。

１ …自車両
１１０ …撮像装置
１２０ …車外環境認識装置
１５２ …データ保持部
１６０ …画像取得部
１６２ …差分画像生成部
１６４ …差分領域抽出部
１６６ …境界導出部
１６８ …グループ化部
１７０ …移動物状態導出部

Claims (5)

1. 撮像装置により撮像された画像に基づき自車両外の環境を認識する車外環境認識装置であって、
   前記画像を取得する画像取得部と、
   取得タイミングを異にする２つの前記画像に対し、複数のブロック単位で差分をとり差分画像を生成する差分画像生成部と、
   前記差分画像から、差分を有する差分ブロックが近接する差分領域を抽出する差分領域抽出部と、
   前記差分領域において前記差分ブロックの水平方向の連続性に基づいて、該連続性が変化する変化位置に相当する水平線を境界として導出する境界導出部と、
   前記差分領域における前記境界の垂直上部に相当する領域を、移動物を示す移動領域としてグループ化するグループ化部と、
   を備えることを特徴とする車外環境認識装置。
2. 前記差分領域抽出部は、前記差分画像を垂直方向に延びる複数の領域によって水平方向に等分し、該複数の領域において前記差分ブロックの合計値が閾値以上となる領域を差分領域とすることを特徴とする請求項１に記載の車外環境認識装置。
3. 前記境界導出部は、前記差分領域を水平方向に延びる複数の領域によって垂直方向に等分し、該領域ごとに前記差分ブロックが水平方向に連続して出現するブロック数を計数し、該連続して出現するブロック数の最大値の傾向が変化する変化位置に相当する水平線を境界とすることを特徴とする請求項１または２に記載の車外環境認識装置。
4. 前記画像上の地面を示す地面領域における前記移動領域の接地点に基づいて、少なくとも、前記移動領域が示す移動物の自車両からの距離を導出する移動物状態導出部をさらに備えることを特徴とする請求項１から３のいずれか１項に記載の車外環境認識装置。
5. 撮像装置により撮像された画像に基づき自車両外の環境を認識する車外環境認識方法であって、
   前記画像を取得し、
   取得タイミングを異にする２つの前記画像の差分をとり差分画像を生成し、
   前記差分画像から、差分を有する差分ブロックが近接する差分領域を抽出し、
   前記差分領域において前記差分ブロックの水平方向の連続性に基づいて、該連続性が変化する変化位置に相当する水平線を境界として導出し、
   前記差分領域における前記境界の垂直上部に相当する領域を、移動物を示す移動領域としてグループ化することを特徴とする車外環境認識方法。