JP7691815B2 - 車外環境認識装置 - Google Patents

Description

本発明は、自車両の進行方向に存在する立体物を特定する車外環境認識装置に関する。

特許文献１には、自車両の前方に位置する先行車両等の立体物を検出し、先行車両との衝突被害を軽減する技術や、先行車両との車間距離を安全な距離に保つように追従制御する技術が開示されている。

特許第３３４９０６０号公報

自車両の進行方向に存在する立体物としては、同方向を走行する先行車両や、逆方向に走行する対向車両等がある。自車両では、路面より鉛直上方に高さを有することを条件に立体物を抽出する。したがって、自車両では、まず、路面を適切に特定しなければならない。路面を適切に特定できなかった場合、自車両は、本来存在するはずの立体物を抽出できなかったり、勾配のある路面自体を立体物と判定したりすることとなる。

本発明は、このような課題に鑑み、路面を適切に特定可能な車外環境認識装置を提供することを目的としている。

上記課題を解決するために、本発明の車外環境認識装置は、画像中の路面に対応する路面モデルを生成する路面特定部と、特定された前記路面モデルより鉛直上方に位置するブロック同士をグルーピングして立体物を特定する立体物特定部と、を備え、前記路面特定部は、画像中の左車線境界線、および、前記画像中の前記左車線境界線よりも前記画像の画面横方向の一方に位置する右車線境界線、を特定し、前記左車線境界線および前記右車線境界線に基づいて、画像中の路面に相当する路面領域を特定し、路面領域における前記画像の画面縦方向である垂直方向の位置が等しい複数の水平ラインのそれぞれについての相対距離の代表値を算出し、前記相対距離を示す第１軸および前記垂直方向の位置を示す第２軸を含む平面上において、前記複数の水平ラインのそれぞれの前記代表値および前記垂直方向の位置を表す点群を近似する線であるランド路面モデルを生成し、前記平面上において、前記左車線境界線の前記垂直方向の位置毎の相対距離を表す点群を近似する線である左白線路面モデルを生成し、前記平面上において、前記右車線境界線の前記垂直方向の位置毎の相対距離を表す点群を近似する線である右白線路面モデルを生成し、前記ランド路面モデルの前記相対距離が最も大きい点である第１端点、前記左白線路面モデルの前記相対距離が最も大きい点である第２端点、および、前記右白線路面モデルの前記相対距離が最も大きい点である第３端点、のうち、前記相対距離が最も小さい一の端点を特定し、前記平面上において前記第２軸に平行かつ前記一の端点を通る直線である基準線と前記ランド路面モデルとの交点である第１対応点、前記基準線と前記左白線路面モデルとの交点である第２対応点、および、前記基準線と前記右白線路面モデルとの交点である第３対応点、の位置関係に基づき、前記ランド路面モデル、前記左白線路面モデル、および、前記右白線路面モデルのうちから一つ又は複数を選択し、前記選択した前記ランド路面モデル、前記左白線路面モデル、および、前記右白線路面モデルのうちの一つ又は複数に基づいて、路面モデルを導出する。
前記路面特定部は、前記基準線上において前記第１対応点が前記第２対応点と前記第３対応点の間に位置し、かつ、前記第１対応点と前記第２対応点との間の距離が所定値より大きく、かつ、前記第１対応点と前記第３対応点との間の距離が前記所定値より大きい、場合に、前記ランド路面モデル、前記左白線路面モデル、および、前記右白線路面モデルを選択してもよい。
前記路面特定部は、前記基準線上において前記第１対応点が前記第２対応点と前記第３対応点の間に位置せず、かつ、前記第１対応点と前記第２対応点との間の距離が所定値より大きく、かつ、前記第１対応点と前記第３対応点との間の距離が前記所定値より大きい、場合に、前記ランド路面モデルを選択してもよい。
前記路面特定部は、前記第１対応点と前記第２対応点との間の距離が所定値以下であり、かつ前記基準線上において前記第１対応点が前記第３対応点よりも前記第２対応点に近い位置に位置する場合に、前記ランド路面モデルおよび前記左白線路面モデルを選択し、前記第１対応点と前記第３対応点との間の距離が前記所定値以下であり、かつ前記基準線上において前記第１対応点が前記第２対応点よりも前記第３対応点に近い位置に位置する場合に、前記ランド路面モデルおよび前記右白線路面モデルを選択してもよい。
前記路面特定部は、前記基準線上において前記第１対応点が前記第２対応点と前記第３対応点の間に位置し、かつ、前記第１対応点と前記第２対応点との間の距離が所定値より大きく、かつ、前記第１対応点と前記第３対応点との間の距離が前記所定値より大きい、場合に、前記ランド路面モデル、前記左白線路面モデル、および、前記右白線路面モデルを選択し、前記ランド路面モデル、前記左白線路面モデル、および、前記右白線路面モデルを混合して前記路面モデルを導出し、前記基準線上において前記第１対応点が前記第２対応点と前記第３対応点の間に位置せず、かつ、前記第１対応点と前記第２対応点との間の距離が前記所定値より大きく、かつ、前記第１対応点と前記第３対応点との間の距離が前記所定値より大きい、場合に、前記ランド路面モデルを選択して前記ランド路面モデルに基づいて前記路面モデルを導出し、前記第１対応点と前記第２対応点との間の距離が前記所定値以下であり、かつ前記基準線上において前記第１対応点が前記第３対応点よりも前記第２対応点に近い位置に位置する場合に、前記ランド路面モデルおよび前記左白線路面モデルを選択し、前記ランド路面モデルおよび前記左白線路面モデルを混合して前記路面モデルを導出し、前記第１対応点と前記第３対応点との間の距離が前記所定値以下であり、かつ前記基準線上において前記第１対応点が前記第２対応点よりも前記第３対応点に近い位置に位置する場合に、前記ランド路面モデルおよび前記右白線路面モデルを選択し、前記ランド路面モデルおよび前記右白線路面モデルを混合して前記路面モデルを導出してもよい。

本発明によれば、路面を適切に特定可能となる。

図１は、車外環境認識システムの接続関係を示したブロック図である。 図２は、車外環境認識装置の概略的な機能を示した機能ブロック図である。 図３は、車外環境認識方法の流れを示すフローチャートである。 図４は、輝度画像と距離画像を説明するための説明図である。 図５は、路面特定処理を説明するための説明図である。 図６は、ヒストグラムを説明するための説明図である。 図７は、路面モデルを説明するための説明図である。 図８は、路面モデルを説明するための説明図である。 図９は、カントが設けられている場合のランド路面モデルを説明するための説明図である。 図１０は左白線路面モデルおよび右白線路面モデルを説明するための説明図である。 図１１は、路面特定部の路面モデル生成処理の流れを示すフローチャートである。 図１２は、路面モデルの導出処理を説明するための説明図である。 図１３は、路面モデルの導出処理を説明するための説明図である。 図１４は、路面モデルの導出処理を説明するための説明図である。 図１５は、路面モデルの導出処理を説明するための説明図である。 図１６は、立体物特定処理を説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

（車外環境認識システム１００）
図１は、車外環境認識システム１００の接続関係を示したブロック図である。車外環境認識システム１００は、自車両１に設けられ、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置１３０とを含む。

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子で構成される。撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の車外環境を撮像し、少なくとも輝度の情報が含まれる輝度画像（カラー画像やモノクロ画像）を生成する。撮像装置１１０は、自車両１の前方の検出領域に存在する立体物を撮像した輝度画像を、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、車外環境認識装置１２０が認識する立体物や特定物は、自転車、歩行者、車両、信号機、道路標識、ガードレール、建物、道路脇の側壁といった独立して存在する物のみならず、車両の背面や側面、自転車の車輪等、その一部として特定できる物も含む。ここで、車両の背面は、自車両１の前方において自車両１に対向する面を示し、車両自体の後方面を示すものではない。

車外環境認識装置１２０は、２つの撮像装置１１０それぞれから輝度画像を取得し、所謂パターンマッチングを用いて距離画像を生成する。車外環境認識装置１２０は、輝度画像と距離画像に基づき、路面より上方に位置し、カラー値が等しく、三次元の位置情報が互いに隣接するブロック同士を立体物としてグルーピングする。そして、車外環境認識装置１２０は、立体物がいずれの特定物であるかを特定する。例えば、車外環境認識装置１２０は、立体物が先行車両であると特定する。また、車外環境認識装置１２０は、このように先行車両を特定すると、自車両１と先行車両との衝突被害の軽減制御を行い、また、自車両１を先行車両に追従させる追従制御を行う。車外環境認識装置１２０の具体的な動作については後程詳述する。

車両制御装置１３０は、ＥＣＵ（Electronic Control Unit）等で構成され、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転手の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、操舵機構１４２、駆動機構１４４、制動機構１４６を制御する。

（車外環境認識装置１２０）
図２は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含む。

Ｉ／Ｆ部１５０は、撮像装置１１０、および、車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持する。

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、位置導出部１７０、路面特定部１７２、立体物特定部１７４、特定物特定部１７６としても機能する。以下、車外環境認識方法について、当該中央制御部１５４の各機能部の動作も踏まえて詳述する。

（車外環境認識方法）
図３は、車外環境認識方法の流れを示すフローチャートである。車外環境認識装置１２０は、所定の割込時間毎に車外環境認識方法を実行する。車外環境認識方法において、位置導出部１７０は、撮像装置１１０から取得した輝度画像におけるブロック単位の三次元位置を導出する（位置導出処理Ｓ２００）。路面特定部１７２は、画像中の路面に対応する路面モデルを生成する（路面特定処理Ｓ２０２）。立体物特定部１７４は、特定された路面モデルより鉛直上方に位置するブロック同士をグルーピングして立体物を特定する（立体物特定処理Ｓ２０４）。特定物特定部１７６は、立体物から先行車両等の特定物を特定する（特定物特定処理Ｓ２０６）。

（位置導出処理Ｓ２００）
図４（図４Ａ～図４Ｃ）は、輝度画像および距離画像を説明するための説明図である。位置導出部１７０は、撮像装置１１０で光軸を異として同タイミングで撮像された複数（ここでは２）の輝度画像をそれぞれ取得する。ここで、位置導出部１７０は、輝度画像２１２として、図４Ａに示す、自車両１の比較的右側に位置する撮像装置１１０で撮像された第１輝度画像２１２ａと、図４Ｂに示す、自車両１の比較的左側に位置する撮像装置１１０で撮像された第２輝度画像２１２ｂとを取得したとする。

図４Ａおよび図４Ｂを参照すると、撮像装置１１０の撮像位置の違いから、第１輝度画像２１２ａと第２輝度画像２１２ｂとで、画像に含まれる立体物の画像位置が水平方向に異なるのが理解できる。ここで、水平は、撮像した画像の画面横方向を示し、垂直は、撮像した画像の画面縦方向を示す。

位置導出部１７０は、位置導出部１７０が取得した、図４Ａに示す第１輝度画像２１２ａと、図４Ｂに示す第２輝度画像２１２ｂとに基づいて、図４Ｃのような、撮像対象の距離を特定可能な距離画像２１４を生成する。

具体的に、位置導出部１７０は、所謂パターンマッチングを用いて、視差、および、任意のブロックの画像内の位置を示す画像位置を含む視差情報を導出する。そして、位置導出部１７０は、一方の輝度画像（ここでは第１輝度画像２１２ａ）から任意に抽出したブロックに対応するブロックを他方の輝度画像（ここでは第２輝度画像２１２ｂ）から検索する。ここで、ブロックは、例えば、水平４画素×垂直４画素の配列で表される。また、パターンマッチングは、一方の輝度画像から任意に抽出したブロックに対応するブロックを他方の輝度画像から検索する手法である。

例えば、パターンマッチングにおけるブロック間の一致度を評価する関数として、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。

位置導出部１７０は、このようなブロック単位の視差導出処理を、例えば、６００画素×２００画素の検出領域に映し出されている全てのブロックについて行う。ここで、位置導出部１７０は、ブロックを４画素×４画素として処理しているが、任意の画素数で処理してもよい。

位置導出部１７０は、距離画像２１４のブロック毎の視差情報を、所謂ステレオ法を用いて、水平距離ｘ、高さｙおよび相対距離ｚを含む実空間における三次元位置に変換する。ここで、ステレオ法は、三角測量法を用いることで、ブロックの距離画像２１４における視差からそのブロックの撮像装置１１０に対する相対距離ｚを導出する手法である。このとき、位置導出部１７０は、ブロックの相対距離ｚと、ブロックと同相対距離ｚにある道路表面上の点とブロックとの距離画像２１４上の検出距離とに基づいて、ブロックの道路表面からの高さｙを導出する。そして、位置導出部１７０は、導出した三次元位置を改めて距離画像２１４に対応付ける。かかる相対距離ｚの導出処理や三次元位置の特定処理は、様々な公知技術を適用できるので、ここでは、その説明を省略する。

（路面特定処理Ｓ２０２）
路面特定部１７２は、まず、輝度画像２１２や距離画像２１４における路面に相当する路面領域を特定する。

具体的に、路面特定部１７２は、自車両１が走行しているレーン左右に位置する白線等の車線境界線に基づいて自車両１前方の路面を特定する。なお、路面特定部１７２は、レーン左右の車線境界線に限らず、路面標示、壁、路肩に設けられた段差、ポール、バリア等の立体物に基づいて自車両１前方の路面を特定することもできる。

図５（図５Ａ、図５Ｂ）は、路面特定処理を説明するための説明図である。路面には車両が円滑に走行するための車線境界線が記されている。例えば、図５Ａの例では、輝度画像２１２上の道路２２０において、２本のレーン２２２ａ、２２２ｂが存在し、これに伴い、幅方向の中央に１本、両端にそれぞれ１本の計３本の車線境界線２３０ａ、２３０ｂ、２３０ｃが含まれている。

なお、路面特定部１７２は、カラー値が白色や黄色で等しく、距離画像２１４における三次元位置の差分が所定範囲内にあるブロック同士を奥行方向に連続させて車線境界線２３０ａ、２３０ｂ、２３０ｃそれぞれを特定する。したがって、路面特定部１７２は、車線境界線２３０ａ、２３０ｂ、２３０ｃそれぞれの手前方向の端点および奥行方向の端点の三次元位置を把握している。

ここで、路面特定部１７２は、図５Ｂのように、自車両１が走行しているレーン２２２ａの左に位置する車線境界線２３０aの左端よりさらに所定距離（例えば１０ｃｍ）左に、破線で示した仮想の左限界線２３２aを設定する。また、路面特定部１７２は、自車両１が走行しているレーン２２２ａの右に位置する車線境界線２３０ｂの右端よりさらに所定距離（例えば１０ｃｍ）右に、破線で示した仮想の右限界線２３２ｂを設定する。そして、路面特定部１７２は、左限界線２３２aより右、かつ、右限界線２３２ｂより左の領域、すなわち、図５Ｂにおいてハッチングした領域を路面領域２３４として設定する。

続いて、路面特定部１７２は、路面領域２３４内の、パターンマッチングによって相対距離ｚが得られたブロックを全て抽出し、ランド路面モデルを生成する。ランド路面モデルは、路面領域２３４を対象として生成される路面モデルであり、後述する車線境界線２３０a、２３０ｂを対象として生成される左白線路面モデルおよび右白線路面モデルと区別される。以下、ランド路面モデルの生成手順を説明する。

図６（図６Ａ、図６Ｂ）は、ヒストグラムを説明するための説明図であり、図７（図７Ａ、図７Ｂ）および図８（図８Ａ、図８Ｂ）は、ランド路面モデルを説明するための説明図である。路面特定部１７２は、まず、路面領域２３４の水平方向に延びる水平ラインについて相対距離ｚのヒストグラムを生成する。具体的に、路面特定部１７２は、路面領域２３４において、垂直方向の任意のブロックと垂直位置を等しくするブロック、すなわち、図６Ａにクロスハッチで示した、垂直方向の位置が等しい水平ラインにおける全てのブロックの相対距離ｚを投票する。こうして、図６Ｂのように、任意の垂直位置に関するヒストグラムが生成される。

そして、路面特定部１７２は、ヒストグラムで投票数が最大数となる、図６Ｂにおいてハッチングで示した相対距離ｚを、その垂直位置の代表距離とする。路面特定部１７２は、垂直位置を順次変更し、路面領域２３４における全ての垂直位置について代表距離を導出する。

ランド路面モデルは、縦軸を垂直位置ｙ、横軸を相対距離ｚとしたｙｚ平面によって、路面領域２３４の奥行方向の勾配を表したものである。路面特定部１７２は、垂直位置ｙ毎の代表距離を、その垂直位置ｙにプロットする。そうすると、図７Ａのような点群が得られる。路面特定部１７２は、最小二乗法等により、図７Ａにおいて実線で示したように、点群の近似直線を導出し、ランド路面モデルとする。こうして、路面特定部１７２は、路面の勾配を導出することができる。なお、ここでは説明の便宜上、路面特定部１７２が近似直線を導出する例を挙げて説明するが、路面特定部１７２が複数次の近似曲線を導出してもよい。

ただし、路面領域２３４内において、間違ってパターンマッチングされてしまった、ノイズに相当する代表距離が含まれる場合がある。路面特定部１７２が、単純に最小二乗法等により近似直線を導出すると、ノイズの影響を受けて、図７Ａのように、近似直線が本来の位置や傾きからずれるおそれがある。

そこで、路面特定部１７２は、直線に関するハフ変換を用い、同一の直線を形成する、または、同一ではないが所定の相対距離内の平行直線を形成する代表距離のみを残し、それ以外の、例えば、図７Ｂにおいて破線で囲んだ代表距離をノイズとして除外する。そして、路面特定部１７２は、残った代表距離のみを対象として、最小二乗法等により、かかる点群の近似直線を導出する。こうして、図７Ｂのように、本来の代表距離によって適切に近似されたランド路面モデル２３６が導出される。なお、直線に関するハフ変換は、複数の点を共通して通る直線を導出する既存の技術なので、ここでは、その説明を省略する。

図７では、路面領域２３４内で路面の勾配が変化しない例を挙げて説明した。しかし、路面領域２３４において、路面の勾配は、必ずしも一定とは限らず、途中で変化する場合がある。この場合において、路面特定部１７２が、単純にハフ変換を施すと、勾配が変化した後の路面に対応する代表距離が、ほとんどノイズとして除外されてしまう。

例えば、路面特定部１７２が、図８Ａに示すような代表距離の点群を求めたとする。路面特定部１７２は、同一の直線を形成する、または、同一ではないが所定の相対距離内の平行直線を形成する代表距離のみを残し、それ以外の、例えば、図８Ａにおいて破線で囲んだ代表距離をノイズとして除外する。そして、路面特定部１７２は、残った代表距離のみを対象として、最小二乗法等により、かかる点群の近似直線を導出する。

しかし、ノイズとして除外した代表距離のうち点群２３８は、所定数以上あり、かつ、その点群が連続性を有する。また、所定の垂直位置より上方において、近似直線の近傍には代表距離が存在しない。すなわち、点群２３８は、ノイズではなく、勾配の異なる、正しい路面を示している。

そこで、路面特定部１７２は、ハフ変換で除外された代表距離が所定数以上あり、かつ、その点群が連続性を有する場合、その点群２３８のみで新たに近似直線を導出する。具体的に、路面特定部１７２は、図８Ｂのように、所定の垂直位置より上方に位置する点群２３８のうち、同一の直線を形成する、または、同一ではないが所定の相対距離内の平行直線を形成する代表距離のみを残し、それ以外の、例えば、図８Ｂにおいて破線で囲んだ代表距離をノイズとして除外する。そして、路面特定部１７２は、残った代表距離のみを対象として、最小二乗法等により、かかる点群の近似直線を導出する。

こうして、新たに、勾配が異なる２つの近似直線２３６ａ、２３６ｂが所定の垂直位置で連続しているランド路面モデル２３６が生成される。なお、導出された２つの近似直線の交点は所定の角度をもって交差するとしてもよいし、所定のＲを有する緩和曲線を通じて接続されるとしてもよい。また、ここでは、路面特定部１７２が、近似直線を２本生成する例を挙げて説明したが、路面の勾配変化が多い場合、３本以上生成してもよい。

ところで、自車両１が走行する道路の曲線部には、車両が円滑に走行できるようにカントが設けられている場合がある。このように道路にカントが存在すると、ランド路面モデル２３６の代表距離の特定精度が低下するおそれがある。

図９（図９Ａ、図９Ｂ）は、カントが設けられている場合のランド路面モデル２３６を説明するための説明図である。図６を用いて説明したように、路面特定部１７２は、路面領域２３４において、垂直方向の任意のブロックと垂直方向の位置が等しい水平ラインにおける全てのブロックの相対距離ｚを投票する。

ここで、カントが無い、または、無いに等しい場合、水平ラインにおけるブロックの相対距離ｚが大凡等しくなる。したがって、図６Ｂのように、ヒストグラムでは、１の相対距離ｚの投票数が他の相対距離ｚの投票数より顕著に多くなり、代表距離が一意に特定される。

一方、カントが存在すると、道路の水平方向の勾配が相対距離ｚを分散させる。例えば、左から右に標高が漸増するカントが存在する場合、距離画像２１４の垂直方向の位置が等しくとも、左側のブロックの相対距離ｚは大きくなり、右側のブロックの相対距離ｚは小さくなる。また、道路が均等に傾斜している場合、投票数も相対距離ｚに対して均等となるので、図９Ａのように、１の投票数が突出しなくなる。ここで、路面特定部１７２が、垂直位置ｙ毎の代表距離を、その垂直位置ｙにプロットすると、図９Ｂのように、破線で囲んだ所定の相対距離ｚの範囲に、代表距離が分散することになる。

また、ヒストグラムでは、ノイズ的な相対距離ｚが代表距離となるのを防止するため、投票数が所定の閾値を超えたことを条件として代表距離を特定している。しかし、図９Ｂのように、相対距離ｚが分散すると、いずれの相対距離ｚも閾値を超えず、代表距離自体を特定できない場合がある。こうして、代表距離の特定精度が低下し、ランド路面モデル２３６が有効に生成されない場合が生じる。

ここで、路面領域２３４における水平方向の勾配も特定し、路面領域２３４を面として扱うことも考えられるが、処理負荷が著しく増加してしまう。そこで、ランド路面モデル２３６に加え、左右の車線境界線２３０ａ、２３０ｂに基づく左白線路面モデルおよび右白線路面モデルを用い、その位置関係に基づいて１の路面モデルを導出する。

図１０（図１０Ａ、図１０Ｂ）は、左白線路面モデルおよび右白線路面モデルを説明するための説明図である。路面特定部１７２は、左に位置する車線境界線２３０aについて、垂直位置ｙ毎の相対距離ｚを、その垂直位置ｙにプロットする。例えば、図１０Ａの例では、路面領域２３４の代表距離を黒丸（●）で示し、左に位置する車線境界線２３０aの相対距離ｚを白抜き丸（○）で示している。路面特定部１７２は、左に位置する車線境界線２３０aの相対距離ｚのみを対象として、最小二乗法等により、かかる点群の近似直線を導出する。こうして、図１０Ａのように、左に位置する車線境界線２３０aの相対距離ｚに基づく路面モデルである左白線路面モデル２４０が生成される。なお、図１０Ａを参照して理解できるように、左白線路面モデル２４０は、路面領域２３４の分散した代表距離の境界を担う場合がある。

また、路面特定部１７２は、右に位置する車線境界線２３０ｂについて、左白線路面モデル２４０同様、垂直位置ｙ毎の相対距離ｚを、その垂直位置ｙにプロットする。例えば、図１０Ｂの例では、路面領域２３４の代表距離を黒丸（●）で示し、右に位置する車線境界線２３０ｂの相対距離ｚを白抜き丸（○）で示している。路面特定部１７２は、右に位置する車線境界線２３０ｂの相対距離ｚのみを対象として、最小二乗法等により、かかる点群の近似直線を導出する。こうして、図１０Ｂのように、右に位置する車線境界線２３０ｂの相対距離ｚに基づく路面モデルである右白線路面モデル２４２が生成される。なお、図１０Ｂを参照して理解できるように、右白線路面モデル２４２は、路面領域２３４の分散した代表距離の、左白線路面モデル２４０と逆側の境界を担う場合がある。

車線境界線２３０a、２３０ｂは、その幅が定められており、路面領域２３４と比べて短い。そうすると、路面特定部１７２は、道路がカントしているか否かに拘わらず、安定して均一な相対距離ｚを取得できる。したがって、左白線路面モデル２４０および右白線路面モデル２４２は、路面領域２３４自体の路面モデルではないものの、ランド路面モデル２３６に比べ特定精度が高い場合がある。

ランド路面モデル２３６、左白線路面モデル２４０、および、右白線路面モデル２４２を生成すると、路面特定部１７２は、かかる３つの路面モデルの位置関係に基づいて最適な路面モデルを導出する。

図１１は、路面特定部１７２の路面モデル生成処理の流れを示すフローチャートであり、図１２～図１５は、路面モデルの導出処理を説明するための説明図である。なお、図１２～１５においては、ランド路面モデル２３６を破線で示し、左白線路面モデル２４０を一点鎖線で示し、右白線路面モデル２４２を二点鎖線で示している。路面特定部１７２は、所定の割込時間毎に当該路面モデル生成処理を実行する。

まず、路面特定部１７２は、路面領域２３４を特定し、路面領域２３４における水平ライン毎の代表距離を、その垂直位置にプロットしてランド路面モデル２３６を生成する（Ｓ３００）。次に、路面特定部１７２は、左に位置する車線境界線２３０ａを特定し、車線境界線２３０ａにおける水平ライン毎の相対距離ｚを、その垂直位置にプロットして左白線路面モデル２４０を生成する（Ｓ３０２）。続いて、路面特定部１７２は、右に位置する車線境界線２３０ｂを特定し、車線境界線２３０ｂにおける水平ライン毎の相対距離ｚを、その垂直位置にプロットして右白線路面モデル２４２を生成する（Ｓ３０４）。

続いて、路面特定部１７２は、ランド路面モデル２３６、左白線路面モデル２４０、および、右白線路面モデル２４２のいずれかの奥行方向の端点を基準とする位置関係に基づき、ランド路面モデル２３６、左白線路面モデル２４０、および、右白線路面モデル２４２のいずれか複数を混合して路面モデル２４４を導出する。

具体的に、路面特定部１７２は、ステップＳ３００において、ランド路面モデル２３６が有効に生成されたか否か判定する（Ｓ３０６）。ここで、距離情報が十分に取得されなかった等、ランド路面モデル２３６が有効に生成されなければ（Ｓ３０６におけるＮＯ）、路面特定部１７２は、図１２に示すように、左白線路面モデル２４０と右白線路面モデル２４２との奥行方向の端点のうち、短い方の端点、ここでは右白線路面モデル２４２の端点と、その端点と相対距離ｚが等しい左白線路面モデル２４０の対応点とが第１条件を満たすか判定する（Ｓ３０８）。第１条件は、右白線路面モデル２４２の端点と、左白線路面モデル２４０の対応点との相対距離ｚがいずれも所定の距離、例えば、３０ｍ以上であり、かつ、右白線路面モデル２４２の端点と、左白線路面モデル２４０の対応点との垂直方向の距離が所定の画素数、例えば、７画素以上離隔していることである。

ここで、第１条件が満たされていれば（Ｓ３０８におけるＹＥＳ）、路面特定部１７２は、道路がカントしていると判断し、図１２に示すように、左白線路面モデル２４０と右白線路面モデル２４２とを１：１で混合して路面モデル２４４を生成する（Ｓ３１０）。なお、本実施形態における「混合」は、ランド路面モデル２３６、左白線路面モデル２４０、右白線路面モデル２４２のうちの対象となるモデルの各点を、同一の相対距離毎に平均することを言う。また、第１条件が満たされていなければ（Ｓ３０８におけるＮＯ）、路面特定部１７２は、当該路面モデル生成処理を終了する。

また、ランド路面モデル２３６が有効に生成されていれば（Ｓ３０６におけるＹＥＳ）、路面特定部１７２は、図１３に示すように、ランド路面モデル２３６、左白線路面モデル２４０、右白線路面モデル２４２の奥行方向の端点のうち、最も短い端点、ここでは右白線路面モデル２４２の端点と、その端点と相対距離ｚが等しいランド路面モデル２３６の対応点および左白線路面モデル２４０の対応点とが第２条件を満たすか判定する（Ｓ３１２）。第２条件は、右白線路面モデル２４２の端点より左白線路面モデル２４０方向に３００ｍｍの位置と、左白線路面モデル２４０の対応点より右白線路面モデル２４２方向に３００ｍｍの位置との間に、ランド路面モデル２３６の対応点が位置していることである。

ここで、第２条件が満たされていれば（Ｓ３１２におけるＹＥＳ）、路面特定部１７２は、図１３に示すように、ランド路面モデル２３６、左白線路面モデル２４０、右白線路面モデル２４２を１：１：１で混合して路面モデル２４４を生成する（Ｓ３１４）。

また、第２条件が満たされていなければ（Ｓ３１２におけるＮＯ）、路面特定部１７２は、図１４に示すように、ランド路面モデル２３６、左白線路面モデル２４０、右白線路面モデル２４２の奥行方向の端点のうち、最も短い端点、ここでは右白線路面モデル２４２の端点と、その端点と相対距離ｚが等しいランド路面モデル２３６の対応点および左白線路面モデル２４０の対応点とが第３条件を満たすか判定する（Ｓ３１６）。第３条件は、右白線路面モデル２４２の端点から垂直方向に±３００ｍｍの範囲、または、左白線路面モデル２４０の対応点から垂直方向に±３００ｍｍの範囲に、ランド路面モデル２３６の対応点が位置していることである。

ここで、第３条件が満たされていれば（Ｓ３１６におけるＹＥＳ）、路面特定部１７２は、図１４に示すように、左白線路面モデル２４０および右白線路面モデル２４２のうちランド路面モデル２３６の対応点に近い方と、ランド路面モデル２３６とを１：１で混合して路面モデル２４４を生成する（Ｓ３１８）。

また、第３条件が満たされていなければ（Ｓ３１６におけるＹＥＳ）、路面特定部１７２は、路面領域２３４を優先するため、図１５に示すように、左白線路面モデル２４０および右白線路面モデル２４２を用いることなく、ランド路面モデル２３６のみをそのまま採用する（Ｓ３２０）。

かかる構成により、道路にカントが存在する場合であっても、垂直位置ｙと相対距離ｚとを適切に表した路面モデル２４４を導出することが可能となる。

（立体物特定処理Ｓ２０４）
図３の説明に戻り、立体物特定部１７４は、路面特定部１７２が特定した路面モデル２４４より上方に位置し、カラー値が等しく、距離画像２１４における三次元位置の差分が所定範囲内にあるブロック同士をグルーピングして立体物を特定する。具体的に、立体物特定部１７４は、距離画像２１４における、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた範囲（例えば０．１ｍ）内にあるブロック同士を、同一の特定物に対応すると仮定してグルーピングする。こうして、仮想的なブロック群が生成される。

図１６（図１６Ａ～図１６Ｃ）は、立体物特定処理Ｓ２０４を説明するための説明図である。ここで、位置導出部１７０が、例えば、図１６Ａのような距離画像２１４を生成したとする。立体物特定部１７４は、かかる距離画像２１４からブロック同士をグルーピングする。こうして、図１６Ｂのようにグルーピングされたブロック群が複数抽出される。立体物特定部１７４は、図１６Ｂにおいて、グルーピングしたブロックの全てが含まれる外形線、例えば、水平線および垂直線、または、奥行き方向に延びる線および垂直線からなる矩形状の枠（面）を、立体物２５０（２５０ａ、２５０ｂ、２５０ｃ、２５０ｄ、２５０ｅ、２５０ｆ、２５０ｇ）とする。

図１６Ｂにおける、距離画像２１４上の立体物２５０ａ、２５０ｂ、２５０ｃ、２５０ｄ、２５０ｅ、２５０ｆ、２５０ｇは、水平距離ｘおよび相対距離ｚで示す２次元の水平面で表すと、図１６Ｃにおける、立体物２５０ａ、２５０ｂ、２５０ｃ、２５０ｄ、２５０ｅ、２５０ｆ、２５０ｇとなる。

（特定物特定処理Ｓ２０６）
特定物特定部１７６は、立体物特定部１７４が特定した立体物がいずれの特定物であるか特定する。例えば、特定物特定部１７６は、自車両１の前方において、自車両１と同方向を走行する立体物を先行車両と特定する。

立体物特定部１７４は、図１６Ｃにおいて、立体物２５０ｂと立体物２５０ｃとを異なる立体物として特定する。しかし、実際、立体物２５０ｂは先行車両の背面を構成し、立体物２５０ｃは同一の先行車両の側面を構成している。したがって、立体物２５０ｂと立体物２５０ｃとは、本来、一体的な同一の立体物を構成するペアとして認識されるべきである。同様に、立体物２５０ｅと立体物２５０ｆも同一の立体物として認識されるべきである。そこで、特定物特定部１７６は、同一の立体物の背面と側面とすべき立体物２５０をペアリングする。

特定物特定部１７６は、例えば、背面に相当する立体物２５０ｂと、側面に対応する立体物２５０ｃとのペアが、先行車両としての条件を満たすか否か判定する。具体的に、特定物特定部１７６は、立体物２５０ｂと立体物２５０ｃとのペアによって構成される立体物が、車両らしい大きさ、形状、相対速度であり、かつ、後方の所定の位置にブレーキランプやハイマウントストップランプ等の発光源を有するか判定する。このような条件を満たす場合、特定物特定部１７６は、立体物２５０ｂと立体物２５０ｃとのペアによって構成される立体物２５０を先行車両と特定する。

以上、説明したように、本実施形態では、路面を適切に特定することができるので、特定物を正確に特定することができる。

また、コンピュータを車外環境認識装置１２０として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上述した実施形態では、路面特定部１７２が、ランド路面モデル２３６、左白線路面モデル２４０、および、右白線路面モデル２４２の位置関係に基づき、ランド路面モデル２３６、左白線路面モデル２４０、および、右白線路面モデル２４２のいずれか複数を、例えば、１：１：１で混合して路面モデル２４４を導出する例を挙げて説明した。しかし、かかる場合に限らず、路面特定部１７２は、ランド路面モデル２３６、左白線路面モデル２４０、および、右白線路面モデル２４２を、その優先度等に応じ、１：１：１以外の比率で混合して路面モデル２４４を導出するとしてもよい。

なお、本明細書の車外環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、自車両の進行方向に存在する立体物を特定する車外環境認識装置に利用することができる。

１１０ 撮像装置
１２０ 車外環境認識装置
１７０ 位置導出部
１７２ 路面特定部
１７４ 立体物特定部
１７６ 特定物特定部

Claims (5)

1. 画像中の路面に対応する路面モデルを生成する路面特定部と、
   特定された前記路面モデルより鉛直上方に位置するブロック同士をグルーピングして立体物を特定する立体物特定部と、
   を備え、
   前記路面特定部は、
   前記画像中の左車線境界線、および、前記画像中の前記左車線境界線よりも前記画像の画面横方向の一方に位置する右車線境界線、を特定し、
   前記左車線境界線および前記右車線境界線に基づいて、前記画像中の前記路面に相当する路面領域を特定し、
   前記路面領域における前記画像の画面縦方向である垂直方向の位置が等しい複数の水平ラインのそれぞれについての相対距離の代表値を算出し、
   前記相対距離を示す第１軸および前記垂直方向の位置を示す第２軸を含む平面上において、前記複数の水平ラインのそれぞれの前記代表値および前記垂直方向の位置を表す点群を近似する線であるランド路面モデルを生成し、
   前記平面上において、前記左車線境界線の前記垂直方向の位置毎の相対距離を表す点群を近似する線である左白線路面モデルを生成し、
   前記平面上において、前記右車線境界線の前記垂直方向の位置毎の相対距離を表す点群を近似する線である右白線路面モデルを生成し、
   前記ランド路面モデルの前記相対距離が最も大きい点である第１端点、前記左白線路面モデルの前記相対距離が最も大きい点である第２端点、および、前記右白線路面モデルの前記相対距離が最も大きい点である第３端点、のうち、前記相対距離が最も小さい一の端点を特定し、
   前記平面上において前記第２軸に平行かつ前記一の端点を通る直線である基準線と前記ランド路面モデルとの交点である第１対応点、前記基準線と前記左白線路面モデルとの交点である第２対応点、および、前記基準線と前記右白線路面モデルとの交点である第３対応点、の位置関係に基づき、前記ランド路面モデル、前記左白線路面モデル、および、前記右白線路面モデルのうちから一つ又は複数を選択し、
   前記選択した前記ランド路面モデル、前記左白線路面モデル、および、前記右白線路面モデルのうちの一つ又は複数に基づいて、前記路面モデルを導出する車外環境認識装置。
2. 前記路面特定部は、前記基準線上において前記第１対応点が前記第２対応点と前記第３対応点の間に位置し、かつ、前記第１対応点と前記第２対応点との間の距離が所定値より大きく、かつ、前記第１対応点と前記第３対応点との間の距離が前記所定値より大きい、場合に、前記ランド路面モデル、前記左白線路面モデル、および、前記右白線路面モデルを選択する請求項１に記載の車外環境認識装置。
3. 前記路面特定部は、前記基準線上において前記第１対応点が前記第２対応点と前記第３対応点の間に位置せず、かつ、前記第１対応点と前記第２対応点との間の距離が所定値より大きく、かつ、前記第１対応点と前記第３対応点との間の距離が前記所定値より大きい、場合に、前記ランド路面モデルを選択する請求項１に記載の車外環境認識装置。
4. 前記路面特定部は、
   前記第１対応点と前記第２対応点との間の距離が所定値以下であり、かつ前記基準線上において前記第１対応点が前記第３対応点よりも前記第２対応点に近い位置に位置する場合に、前記ランド路面モデルおよび前記左白線路面モデルを選択し、
   前記第１対応点と前記第３対応点との間の距離が前記所定値以下であり、かつ前記基準線上において前記第１対応点が前記第２対応点よりも前記第３対応点に近い位置に位置する場合に、前記ランド路面モデルおよび前記右白線路面モデルを選択する請求項１に記載の車外環境認識装置。
5. 前記路面特定部は、
   前記基準線上において前記第１対応点が前記第２対応点と前記第３対応点の間に位置し、かつ、前記第１対応点と前記第２対応点との間の距離が所定値より大きく、かつ、前記第１対応点と前記第３対応点との間の距離が前記所定値より大きい、場合に、前記ランド路面モデル、前記左白線路面モデル、および、前記右白線路面モデルを選択し、前記ランド路面モデル、前記左白線路面モデル、および、前記右白線路面モデルを混合して前記路面モデルを導出し、
   前記基準線上において前記第１対応点が前記第２対応点と前記第３対応点の間に位置せず、かつ、前記第１対応点と前記第２対応点との間の距離が前記所定値より大きく、かつ、前記第１対応点と前記第３対応点との間の距離が前記所定値より大きい、場合に、前記ランド路面モデルを選択して前記ランド路面モデルに基づいて前記路面モデルを導出し、
   前記第１対応点と前記第２対応点との間の距離が前記所定値以下であり、かつ前記基準線上において前記第１対応点が前記第３対応点よりも前記第２対応点に近い位置に位置する場合に、前記ランド路面モデルおよび前記左白線路面モデルを選択し、前記ランド路面モデルおよび前記左白線路面モデルを混合して前記路面モデルを導出し、
   前記第１対応点と前記第３対応点との間の距離が前記所定値以下であり、かつ前記基準線上において前記第１対応点が前記第２対応点よりも前記第３対応点に近い位置に位置する場合に、前記ランド路面モデルおよび前記右白線路面モデルを選択し、前記ランド路面モデルおよび前記右白線路面モデルを混合して前記路面モデルを導出する請求項１に記載の車外環境認識装置。

Images