JP6254870B2 - 車外環境認識装置 - Google Patents

Description

本発明は、自車両の周囲に存在する対象物を特定する車外環境認識装置に関する。

従来、自車両の前方に位置する車両等の対象物を特定し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている。このような自車両の前方監視技術により、先行車両や歩行者などの対象物との接触事故の回避や軽減にも効果が期待されている。

対象物の特定技術としては、例えば、ステレオ画像処理によって生成された距離画像を用いて、互いに隣接する画像のブロックをグループ化して、画像上に撮像された対象物を含む外形線が水平線および垂直線からなる矩形状の領域を設定することで、設定した矩形状の領域で対象物を特定する技術が公開されている（例えば、特許文献１）。

特開２０１３−２０３３３７号公報

ところで、上述した特定技術では、例えば、傾斜物や中空のゲートが車両の前方にある場合に、傾斜物やゲートを含む、外形線が水平線および垂直線からなる矩形状の領域が設定されるので、かかる矩形状の領域の大きさ等に基づいてどのような対象物であるかを特定しようとすると、例えば、車両が進入可能であるにもかかわらず、車両が進入することができない等の誤った特定がなされてしまうといった問題があった。

本発明は、このような課題に鑑み、対象物の特定精度を向上することが可能な車外環境認識装置を提供することを目的としている。

上記課題を解決するために、本発明の車外環境認識装置は、撮像装置により撮像された画像内における対象部位の３次元位置を導出する３次元位置導出部と、前記３次元位置の差分が所定範囲内にある対象部位同士をグループ化して対象物とし、前記画像における該対象物が含まれる矩形状の対象領域を特定する対象領域特定部と、前記対象領域における前記対象物の垂直方向または水平方向のパラメータを導出するパラメータ導出部と、導出された前記パラメータと、前記対象領域における前記対象物が占める割合が低い特殊像であるとされる閾値とを比較し、比較結果に基づいて該対象領域の該対象物とした像を特殊像と判定する特殊像判定部と、を備え、前記パラメータ導出部は、前記対象領域における水平方向の所定間隔ごとの地面から前記対象物までの垂直距離の平均値および最大値と、前記対象領域における垂直方向の所定間隔ごとの前記対象物の水平幅の平均値とを前記パラメータとして導出し、前記特殊像判定部は、導出された前記対象物までの垂直距離の平均値および最大値の少なくとも一方が、該垂直距離の平均値および最大値それぞれに対して設定された閾値未満であり、かつ、導出された該対象物の水平幅の平均値が、該水平幅の平均値に対して設定された閾値以下である場合に、前記対象領域の該対象物とした像を傾斜物の前記特殊像と判定する。

また、前記対象物とした像が前記特殊像であると特定された前記対象領域を除外し、前記画像における該対象物が占める割合が高い物体を含む前記対象領域を残して、特定対象となる特定物を特定する特定物特定部をさらに備えるようにしてもよい。

また、前記特殊像判定部は、導出された前記対象物までの垂直距離の平均値および最大値が、該垂直距離の平均値および最大値それぞれに対して設定された閾値以上である場合に、前記対象領域の該対象物とした像を前記特殊像と判定するようにしてもよい。

また、前記特殊像判定部は、前記対象領域の水平方向の幅が所定値よりも大きく、導出された前記対象物までの垂直距離の平均値および最大値の少なくとも一方が、該垂直距離の平均値および最大値それぞれに対して設定された閾値未満であり、かつ、導出された前記対象物の水平幅の平均値が、該水平幅の平均値に対して設定された閾値以下である場合に、前記対象領域の前記対象物とした像を傾斜物の前記特殊像と判定するようにしてもよい。

また、本発明は、撮像装置により撮像された画像内における対象部位の３次元位置を導出する３次元位置導出部と、前記３次元位置の差分が所定範囲内にある対象部位同士をグループ化して対象物とし、前記画像における該対象物が含まれる矩形状の対象領域を特定する対象領域特定部と、前記対象領域における前記対象物の垂直方向または水平方向のパラメータを導出するパラメータ導出部と、導出された前記パラメータと、前記対象領域における前記対象物が占める割合が低い特殊像であるとされる閾値とを比較し、比較結果に基づいて該対象領域の該対象物とした像を特殊像と判定し、特定対象となる特定物を特定する際に、前記対象物とした像が前記特殊像であると特定された前記対象領域を除外する特定物特定部と、を備え、前記パラメータ導出部は、前記対象領域における水平方向の所定間隔ごとの地面から前記対象物までの垂直距離の平均値および最大値と、前記対象領域における垂直方向の所定間隔ごとの前記対象物の水平幅の平均値とを前記パラメータとして導出し、前記特定物特定部は、導出された前記対象物までの垂直距離の平均値および最大値の少なくとも一方が、該垂直距離の平均値および最大値それぞれに対して設定された閾値未満であり、かつ、導出された該対象物の水平幅の平均値が、該対象物の水平幅の平均値に対して設定された閾値以下である場合に、前記対象領域の該対象物とした像を傾斜物の前記特殊像と判定する。

本発明によれば、対象物の特定精度を向上することが可能となる。

環境認識システムの接続関係を示したブロック図である。 フロントガラス周辺の構成を示した図である。 車外環境認識装置の概略的な機能を示した機能ブロック図である。 輝度画像と距離画像を説明するための説明図である。 輝度画像の対象物に対する対象領域を説明するための説明図である。 傾斜物が対象物として含まれる対象領域を説明するための説明図である。 ゲートが対象物として含まれる対象領域を説明するための説明図である。 光像が対象物として含まれる対象領域を説明するための説明図である。 対象領域において導出される垂直方向のパラメータを説明するための説明図である。 対象領域において導出される水平方向のパタメータを説明するための説明図である。 特定物特定処理の流れを説明するためのフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

近年では、車両に搭載した車載カメラによって自車両の前方の道路環境を撮像し、画像内における色情報や位置情報に基づいて先行車両等の対象物を特定し、特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ（ＡＣＣ：Adaptive Cruise Control）、所謂衝突防止機能を搭載した車両が普及しつつある。かかる衝突防止機能では、自車両前方の様々な対象物を特定し、適切に回避制御を行っている。

対象物を特定する特定技術としては、例えば、ステレオ画像処理によって生成された距離画像を用いて、互いに隣接する画像のブロックをグループ化する。そして、画像上に撮像された対象物を含む外形線が水平線および垂直線からなる矩形状の領域を設定することで、設定した矩形状の領域を車両前方に存在する対象物として特定する。しかしながら、この特定技術では、傾斜物や中空のゲートが自車両の前方にある場合に、傾斜物やゲートを含む矩形状の対象領域が設定される。したがって、例えば、車両が進入可能であるにもかかわらず、車両が進入することができない等の誤った特定がなされてしまうといったおそれがあった。そこで、本実施形態では、傾斜物やゲートのように対象領域に占める割合が低い対象物とした像を特殊像として判定することで、対象物の特定精度を向上することを目的としている。以下、このような目的を達成するための環境認識システムを説明し、その具体的な構成要素である車外環境認識装置を詳述する。

（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。図２は、フロントガラス周辺の構成を示した図である。環境認識システム１００は、車両１内に設けられた、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、車両１の前方に相当する環境をフロントガラス２越しに撮像し、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなるカラー画像やモノクロ画像の画像データを生成する。ここでは、撮像装置１１０で撮像された画像を輝度画像として採用し、後述する距離画像と区別する。

また、撮像装置１１０は、車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、認識する対象物は、車両、歩行者、自転車、信号機、道路（進行路）、ガードレール、建物といった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の一部として特定できる物も含むが、本実施形態においては、立体物を対象物として特定する場合について説明する。以下の実施形態における各機能部は、このような画像データの更新を契機としてフレーム毎に各処理を遂行する。

車外環境認識装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、所謂パターンマッチングを用いて視差を導き出し、導出された視差情報（後述する奥行距離に相当）を画像データに対応付けて距離画像を生成する。輝度画像および距離画像については後ほど詳述する。また、車外環境認識装置１２０は、輝度画像に基づく輝度、および、距離画像に基づく車両１との奥行距離を用いて車両１前方の検出領域における対象物から、傾斜物やゲート等の特殊像、および、制御対象となる特定物を特定する。

また、車外環境認識装置１２０は、特定物を特定すると、その特定物（例えば、先行車両）を追跡しつつ、特定物の相対速度等を導出し、特定物と車両１とが衝突する可能性が高いか否かの判定を行う。ここで、衝突の可能性が高いと判定した場合、車外環境認識装置１２０は、その旨、運転者の前方に設置されたディスプレイ１２２を通じて運転者に警告表示（報知）を行うとともに、車両制御装置１３０に対して、その旨を示す情報を出力する。

車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転者の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、駆動機構１４４、制動機構１４６を制御する。

また、車両制御装置１３０は、フロントガラス２の前面（車外側）に設けられたワイパー１５０を、ワイパースイッチの入力に応じてアクチュエータ１４８を駆動させることにより動作させる。

ところで、図２に示すように、撮像装置１１０は、フロントガラス２上のワイパー払拭領域１５６、または、ワイパー払拭領域１５６近傍に対向して配置される。具体的には、フロントガラス２を払拭するワイパー１５０は、ワイパーアーム１５２、および、ワイパーアーム１５２の先端に連結されフロントガラス２に摺接するワイパーブレード１５４が設けられる。また、ワイパー１５０は、ワイパーアーム１５２の基端に、アクチュエータ１４８（図１）が接続される。そして、運転者によるワイパースイッチの操作入力等に応じてアクチュエータ１４８が駆動されると、ワイパーアーム１５２が基端を基準として円弧を描くようにフロントガラス２に沿って揺動され、ワイパーアーム１５２の揺動によって、ワイパーブレード１５４がフロントガラス２上の略扇形のワイパー払拭領域１５６を払拭する。そして、撮像装置１１０は、このようなワイパー払拭領域１５６、または、ワイパー払拭領域１５６近傍に対向して配置される。

以下、車外環境認識装置１２０の構成について詳述する。ここでは、本実施形態に特徴的な、対象物を特定する手順について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。

（車外環境認識装置１２０）
図３は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図３に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１６０と、データ保持部１６２と、中央制御部１６４とを含んで構成される。

Ｉ／Ｆ部１６０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１６２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した画像データを一時的に保持する。

中央制御部１６４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１６６を通じて、Ｉ／Ｆ部１６０、データ保持部１６２等を制御する。また、本実施形態において、中央制御部１６４は、画像処理部１７０、３次元位置導出部１７２、対象領域特定部１７４、パラメータ導出部１７６、特殊像判定部１７８、特定物特定部１８０としても機能する。以下、このような機能部について大凡の目的を踏まえ、画像処理、対象領域特定処理、特殊像判定処理、特定物特定処理といった順に詳細な動作を説明する。

（画像処理）
画像処理部１７０は、２つの撮像装置１１０それぞれから画像データを取得し、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、「水平」は画面横方向を示し、「垂直」は画面縦方向を示す。

このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度（Ｙ色差信号）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理部１７０は、このようなブロック単位の視差導出処理を検出領域（例えば水平６００画素×垂直１８０画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを水平４画素×垂直４画素としているが、ブロック内の画素数は任意に設定することができる。以下、かかる視差情報を導出する単位となるブロックを視差ブロックと称する。

ただし、画像処理部１７０では、検出分解能単位である視差ブロック毎に視差を導出することはできるが、その視差ブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えば視差ブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する奥行距離に相当）を画像データに対応付けた画像を距離画像という。

図４は、輝度画像２１０と距離画像２１２を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域２１４について図４（ａ）のような輝度画像（画像データ）２１０が生成されたとする。ただし、ここでは、理解を容易にするため、撮像装置１１０それぞれが生成した２つの輝度画像２１０の一方のみを模式的に示している。本実施形態において、画像処理部１７０は、このような輝度画像２１０から視差ブロック毎の視差を求め、図４（ｂ）のような距離画像２１２を形成する。距離画像２１２における各視差ブロックには、その視差ブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出された視差ブロックを黒のドットで表している。

図３に戻って説明すると、３次元位置導出部１７２は、画像処理部１７０で生成された距離画像２１２に基づいて検出領域２１４内の視差ブロック毎の視差情報を、所謂ステレオ法を用いて、水平距離、高さおよび奥行距離を含む実空間における３次元の位置情報に変換する。ここで、ステレオ法は、三角測量法を用いることで、対象部位の距離画像２１２における視差からその対象部位の撮像装置１１０に対する奥行距離を導出する方法である。このとき、３次元位置導出部１７２は、対象部位の奥行距離と、対象部位と同奥行距離にある道路表面上の点と対象部位との距離画像２１２上の検出距離とに基づいて、対象部位の道路表面からの高さを導出する。そして、導出された３次元位置情報を改めて距離画像２１２に対応付ける。かかる奥行距離の導出処理や３次元位置の特定処理は、様々な公知技術を適用できるので、ここでは、その説明を省略する。

（対象領域特定処理）
図５は、輝度画像２１０の対象物２２０に対する対象領域２２２を説明するための説明図である。対象領域特定部１７４は、距離画像２１２に基づく３次元の位置情報を用いて輝度画像２１０（検出領域２１４）における対象部位（画素やブロック）同士をグループ化して対象物２２０とし、対象物２２０が含まれた対象領域２２２を特定する。

具体的に、対象領域特定部１７４は、図５（ｂ）に示すように、距離画像２１２に基づく３次元の位置情報を用いて、水平距離および奥行距離を軸とし、図５（ａ）に示す輝度画像２１０における対象部位それぞれについてプロットしたプロットグラフを作成する。なお、プロットグラフにおいては、対象部位の高さに関する情報が省略されたものとなる。そして、対象領域特定部１７４は、図５（ｂ）中の一点鎖線で囲まれたプロット点同士のように、任意の対象部位を基点として、プロットグラフ上で、その対象部位と水平距離の差分、および、奥行距離の差分が予め定められた所定範囲内にある他の対象部位をグループ化する。その後、図５（ｃ）に示すように、対象領域特定部１７４は、輝度画像２１０から、グループ化された対象部位のすべてが含まれる外形線が水平線および垂直線からなる矩形状（以下、単に矩形状という）の対象領域２２２を特定する。ここで、所定範囲は実空間上の距離で表され、任意の値（例えば、１．０ｍ等）に設定することができる。

また、対象領域特定部１７４は、グループ化された対象部位の３次元の位置情報に基づいて、特定した対象領域２２２の水平方向および垂直方向の幅（大きさ）と、奥行距離とを導出する。なお、奥行距離としては、例えば、グループ化された対象部位の奥行距離の最頻値が用いられる。

ここで、従来の車外環境認識装置では、矩形状に特定された対象領域の大きさに基づいて、対象物が特定物であるか否か、すなわち、制御対象となる車両、人、自転車等であるか否かを判定するようにしていた。しかしながら、例えば、細長い傾斜物が対象物として矩形状の対象領域が特定されてしまうと、傾斜物が対象物として含まれる矩形状の対象領域は、対象物（傾斜物）が対象領域に占める割合が低い矩形状の対象領域として特定されることになる。このような場合、実際には傾斜物が存在しない多くの範囲も合わせて対象領域として特定されることになるので、細長い傾斜物の下方における車両が進入可能な領域も、車両が進入不可であると判定されてしまうおそれがある。また、傾斜物が対象物として含まれる矩形状の対象領域の大きさが、車両、人、自転車等の特定物と同程度の大きさであると判定されるような場合には、対象物（傾斜物）が車両、人、自転車といった特定物であると誤って判定されてしまうおそれがあり、特定精度が低下することになる。以下に、対象領域に占める対象物の割合が低い具体例について説明する。

図６は、傾斜物３００が対象物２２０として含まれる対象領域２２２を説明するための説明図である。例えば、図６（ａ）に示すように、斜めに傾いて設置された電柱である傾斜物３００が車両１の前方にある場合に、図６（ｂ）に示すように、傾斜物３００が含まれる輝度画像２１０が撮像装置１１０により取得されたとする。このような場合、図６（ｃ）に示すように、輝度画像２１０における対象部位それぞれについてプロットグラフが作成され、図６（ｄ）に示すように、プロットグラフを用いてグループ化された対象部位のすべてが対象物２２０（傾斜物３００）として含まれる矩形状の対象領域２２２が特定される。図６（ｄ）からもわかるように、傾斜物３００が対象物２２０として含まれる矩形状の対象領域２２２では、対象領域２２２全体に占める対象物２２０の割合が低い。

図７は、ゲート３０２が対象物２２０として含まれる対象領域２２２を説明するための説明図である。図７（ａ）に示すように、ゲート３０２が車両１の前方にある場合に、図７（ｂ）に示すように、ゲート３０２が含まれる輝度画像２１０が撮像装置１１０により取得されたとする。このような場合、図７（ｃ）に示すように、輝度画像２１０における対象部位それぞれについてプロットグラフが作成され、図７（ｄ）に示すように、プロットグラフを用いてグループ化された対象部位のすべてが対象物２２０（ゲート３０２）として含まれる矩形状の対象領域２２２が特定される。図７（ｄ）からもわかるように、ゲート３０２が対象物２２０として含まれる矩形状の対象領域２２２では、対象領域２２２全体に占める対象物２２０の割合が低い。

図８は、光像３０６が対象物２２０として含まれる対象領域２２２を説明するための説明図である。例えば、図８（ａ）に示すように、車両１の前方に街灯３０４が設置されており、街灯３０４のランプ３０４ａが点灯している際に、フロントガラス２越しにランプ３０４ａを観察すると、ランプ３０４ａの光が細長く伸びた光像３０６として観察されることがある。これは、例えば、フロントガラス２の前面に雨などの水滴が付着しており、ワイパー１５０で水滴を払拭すると、その直後にワイパー払拭領域１５６の境界上で、境界線と直交する方向にランプ３０４ａの光が細長く伸びた光像３０６として観察される現象である。

フロントガラス２越しに光像３０６が観察される場合には、図８（ｂ）に示すように、撮像装置１１０で取得される輝度画像２１０に光像３０６が細長い像として写る。また、２つの撮像装置１１０では、光像３０６がフロントガラス２越しに観察され、光像３０６の大きさや傾きが異なった輝度画像２１０が取得されるため、画像処理部１７０では、光像３０６に対応する視差ブロックの視差が実際とは異なる位置であるものとして導出される。そして、対象領域特定部１７４では、図８（ｃ）に示すように、輝度画像２１０における対象部位それぞれについてプロットグラフが作成され、プロットグラフに基づいて対象部位がグループ化されると、図８（ｄ）に示すように、グループ化された対象部位のすべてが対象物２２０（光像３０６）として含まれる矩形状の対象領域２２２が特定される。

このように、傾斜物３００やゲート３０２が車両１の前方にある場合に、傾斜物３００やゲート３０２が対象物２２０として含まれる矩形状の対象領域２２２で特定されるような場合には、実際には車両１が通行可能となる位置関係で傾斜物３００やゲート３０２が設けられているにも拘わらず、車両１の走行ルート上に矩形状の対象領域２２２が特定されることがある。また、傾斜物３００やゲート３０２が対象物２２０として含まれる対象領域２２２が特定される場合には、対象領域２２２の大きさに基づいて、その後の処理で、対象物２２０が特定物として特定されるおそれがある。さらに、フロントガラス２越しに光像３０６が観察され、光像３０６が対象物２２０として含まれる矩形状の対象領域２２２で特定されるような場合には、実際には存在しない光像３０６が対象物２２０として含まれることになってしまい、誤った特定がなされるおそれがある。

そこで、本実施形態における車外環境認識装置１２０では、対象領域特定部１７４により対象領域２２２が特定されると、特殊像判定部１７８により、対象領域２２２に占める割合が低い対象物２２０とした像を特殊像として判定する特殊像判定処理が、特定物特定部１８０による特定物を特定する特定物特定処理よりも前に行われる。以下に、特殊像判定処理の詳細を説明する。

（特殊像判定処理）
図９は、対象領域２２２において導出される垂直方向のパラメータを説明するための説明図である。図１０は、対象領域２２２において導出される水平方向のパラメータを説明するための説明図である。パラメータ導出部１７６は、対象領域特定部１７４によって特定された対象領域２２２の横幅が所定値（例えば、２０ｃｍ）以下であるものを除いて、対象物２２０とした像が特殊像であるか否かを判定するためのパラメータを導出する。なお、対象領域特定部１７４によって特定された対象領域２２２の横幅が所定値以下であるものを除いているのは、対象領域２２２の横幅が所定値よりも短いものは制御対象となる特定物（車両、人、自転車等）とされることがないので、予めその候補から除外するためである。つまり、所定値は、特定物として特定される車両、人、自転車の水平方向の幅よりも小さい値に設定される。これにより、垂直方向に伸びる物体は特殊像および特定物として特定されることはない。

図９（ａ）は、傾斜物３００が対象物２２０として含まれる対象領域２２２を示す図であり、図９（ｂ）は、車両３０８が対象物２２０として含まれる対象領域２２２を示す図である。図９（ａ）に示すように、傾斜物３００は斜めに傾いているため、傾斜物３００が対象物２２０として含まれる対象領域２２２では、対象物２２０の垂直方向の地面からの高さＨ（Ｈ１、Ｈ２、・・・）が図中右方向に向かって徐々に低くなっている。一方、図９（ｂ）に示すように、車両３０８は地面からそれほど離れていないため、車両３０８が対象物２２０として含まれる対象領域２２２では、対象物２２０の垂直方向の高さＨ（Ｈ１、Ｈ２、・・・）が水平方向のどの位置であっても低い。このように、傾斜物３００が対象物２２０である場合には、対象領域２２２における水平方向のいずれかの位置で、対象物２２０の高さが高い箇所が存在し、平均的な高さも車両３０８が対象物２２０である場合に比して高い。

図１０（ａ）は、傾斜物３００が対象物２２０として含まれる対象領域２２２を示す図である、図１０（ｂ）は、車両３０８が対象物２２０として含まれる対象領域２２２を示す図である。図１０（ａ）に示すように、傾斜物３００が対象物２２０として含まれる対象領域２２２では、対象物２２０の水平方向の横幅Ｗ（Ｗ１、Ｗ２、・・・）が対象領域２２２の横幅に比べて小さい。一方、図１０（ｂ）に示すように、車両３０８が対象物２２０として含まれる対象領域２２２では、対象物２２０の水平方向の横幅Ｗ（Ｗ１、Ｗ２、・・・）が対象領域２２２の横幅に比べて同程度か若干小さいだけである。このように、傾斜物３００が対象物２２０である場合には、対象物２２０の横幅が、車両３０８が対象物２２０である場合に比して小さい。

特殊像判定処理では、これらの特性を利用して対象領域２２２内における対象物２２０の垂直方向および水平方向のパラメータと、各パラメータそれぞれに設定される閾値とを比較して、対象領域２２２内における対象物２２０とした像が特殊像であるかを判定する。

具体的に、パラメータ導出部１７６は、図９（ａ）、（ｂ）に示すように、対象領域２２２の水平方向の所定間隔（例えば、１０ｃｍ）ごとに、画像処理部１７０で導出された距離画像２１２に基づく３次元の位置情報を用いて、対象物２２０の地面からの高さＨ（Ｈ１、Ｈ２、・・・）を導出する。そして、パラメータ導出部１７６は、導出した高さＨの最大値（以下、最大高さとする）と平均値（以下、平均高さとする）を導出する。

また、図１０（ａ）、（ｂ）に示すように、パラメータ導出部１７６は、対象領域２２２の垂直方向の所定間隔（例えば、１０ｃｍ）ごとに、画像処理部１７０で導出された距離画像２１２に基づく３次元の位置情報を用いて、対象物２２０の横幅Ｗ（Ｗ１、Ｗ２、・・・）を導出する。そして、パラメータ導出部１７６は、導出した横幅Ｗの平均値（以下、平均横幅とする）を導出する。

特殊像判定部１７８は、パラメータ導出部１７６により導出された高さＨの最大高さおよび平均高さそれぞれが、対象領域２２２に占める割合が低い対象物２２０とされる最大高さ閾値（例えば、２ｍ）および平均高さ閾値（例えば、１ｍ）以上であるかを判定する。その結果として、最大高さおよび平均高さが最大高さ閾値および平均高さ閾値以上であると判定した場合には、特殊像判定部１７８は、対象領域２２２の対象物２２０とした像を特殊像と判定する。なお、最大高さ閾値および平均高さ閾値は、対象物２２０が特定物であるとされる高さよりも小さい値に設定される。

また、特殊像判定部１７８は、最大高さおよび平均高さが最大高さ閾値および平均高さ閾値以上でないと判定した場合には、パラメータ導出部１７６により導出された横幅Ｗの平均横幅が、対象領域２２２に占める割合が低い対象物２２０とされる平均横幅閾値（例えば、３０ｃｍ）以下であるかを判定する。その結果として、平均横幅が平均横幅閾値以下であると判定した場合には、特殊像判定部１７８は、対象領域２２２の対象物２２０とした像を特殊像と判定する。なお、平均横幅閾値は、対象物２２０が特定物であるとされる横幅よりも小さい値に設定される。

一方、特殊像判定部１７８は、高さＨの最大高さが最大高さ閾値未満、平均高さが平均高さ閾値未満、または平均横幅が平均横幅閾値より大きい場合、特殊像判定部１７８は、対象領域２２２の対象物２２０とした像が特殊像でないと判定する。

（特定物特定処理）
特定物特定部１８０は、対象領域特定部１７４によって特定された対象領域２２２のうち、パラメータ導出部１７６により対象領域２２２の横幅が所定値よりも短いと判定された対象領域２２２、および、特殊像判定部１７８で対象物２２０とした像が特殊像であると特定された対象領域２２２を予め除外する。そして、特定物特定部１８０は、除外されていない、すなわち残された対象領域２２２について、その大きさに基づいて、対象物２２０が車両、人、自転車等の制御対象となる特定物であるかを判定する。つまり、対象領域２２２の大きさが、車両、人および自転車とされる大きさである場合には、特定物特定部１８０は、当該対象領域２２２の対象物２２０を特定物として特定する。

図１１は、特定物特定処理の流れを説明するためのフローチャートである。図１１に示す特定物特定処理は、撮像装置１１０から取得される輝度画像のフレーム毎に繰り返し実行される。

図１１に示すように、画像処理部１７０は、パターンマッチングを用いて視差ブロックの視差を導出して距離画像２１２を生成する（Ｓ４００）。そして、３次元位置導出部１７２は、視差ブロックの実空間における３次元位置を導出する（Ｓ４０２）。対象領域特定部１７４は、距離画像２１２に基づく３次元の位置情報を用いて輝度画像２１０における視差ブロック同士をグループ化して、対象物２２０が含まれた矩形状の対象領域２２２を特定する（Ｓ４０４）。

パラメータ導出部１７６は、特定された対象領域２２２のうち未選択のものを１つ選択する（Ｓ４０６）。そして、パラメータ導出部１７６は、選択した対象領域２２２の横幅が所定値以下であるかを判定する（Ｓ４０８）。その結果、対象領域２２２の横幅が所定値以下である場合（ステップＳ４０８においてＹＥＳ）、パラメータ導出部１７６は、対象領域２２２の対象物２２０とした像が特殊像および特定物でないと判定してステップＳ４２４の処理に移る。一方、対象領域２２２の横幅が所定値以下でない場合（ステップＳ４０８においてＮＯ）、パラメータ導出部１７６は、選択した対象領域２２２の垂直方向の所定間隔ごとの高さＨを導出し、導出した高さＨの最大高さと平均高さを導出する（Ｓ４１０）。また、パラメータ導出部１７６は、選択した対象領域２２２の垂直方向の所定間隔ごとの横幅Ｗを導出し、導出した横幅Ｗの平均横幅を導出する（Ｓ４１２）。

特殊像判定部１７８は、最大高さが最大高さ閾値以上であるかを判定する（Ｓ４１４）。その結果、最大高さが最大高さ閾値以上である場合（Ｓ４１４においてＹＥＳ）、特殊像判定部１７８は、平均高さが平均高さ閾値以上であるかを判定する（Ｓ４１６）。その結果、平均高さが平均高さ閾値以上である場合（Ｓ４１６においてＹＥＳ）、特殊像判定部１７８は、選択した対象領域２２２の対象物２２０とした像を特殊像と判定する（Ｓ４１８）。

最大高さが最大高さ閾値以上でない場合（Ｓ４１４においてＮＯ）、平均高さが平均高さ閾値以上でない場合（Ｓ４１６においてＮＯ）、特殊像判定部１７８は、平均横幅が平均横幅閾値以下であるかを判定する（Ｓ４２０）。その結果、平均横幅が平均横幅閾値以下である場合（Ｓ４２０においてＹＥＳ）、特殊像判定部１７８は、選択した対象領域２２２の対象物２２０とした像を特殊像と判定する（Ｓ４１８）。

一方、および、平均横幅が平均横幅閾値以下でない場合（Ｓ４２０においてＮＯ）、ステップＳ４２２の処理に移る。特定物特定部１８０は、対象領域２２２の大きさに基づいて、対象物２２０が制御対象となる特定物であるかを判定し、対象物２２０が制御対象となる特定物であると判定した場合には、対象領域２２２の対象物２２０を特定物として特定する（Ｓ４２２）。

選択した対象領域２２２の横幅が所定値以下の場合（Ｓ４０８においてＹＥＳ）、および、特殊像判定（Ｓ４１８）、特定物特定（Ｓ４２２）が終了すると、パラメータ導出部１７６は、まだ選択されていない対象領域２２２があるか否かを判定する（Ｓ４２４）。その結果として、まだ選択されていない対象領域２２２がある場合（Ｓ４２４におけるＹＥＳ）、ステップＳ４０６に処理を移し、まだ選択されていない対象領域２２２がなければ（Ｓ４２４におけるＮＯ）、当該特定物特定処理を終了する。

上述したように、車外環境認識装置１２０は、輝度画像２１０の対象物２２０が含まれる矩形状の対象領域２２２について、対象物２２０の垂直方向または水平方向のパラメータを用いて、対象領域２２２を占める割合が低い対象物２２０とした像を特殊像と判定する。また、特殊像として判定された対象物２２０を含む対象領域２２２を除いた対象領域２２２について、対象物２２０が特定物であるかを判定するようにした。これにより、対象領域２２２を占める割合が低い対象物２２０が制御対象となる特定物であるといった誤った特定がなされることがなく、対象物の特定精度を向上することができる。

また、車外環境認識装置１２０は、対象物２２０の垂直方向また水平方向のパラメータを用いた閾値比較結果の一方で特殊像とされる判定がなされれば、対象物２２０を特定物として特定するようにしたことにより、より確実に特殊像を判定することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上述した実施形態では、パラメータ導出部１７６は、特殊像を判定するためのパラメータとして対象領域２２２における対象物２２０の最大高さ（垂直距離の最大値）および平均高さ（垂直距離の平均値）、水平方向のパラメータとして平均横幅（水平幅の平均値）を導出した。しかしながら、特殊像を判定するためのパラメータは、これらに限られない。例えば、対象領域２２２における対象物２２０の地面からの高さ（垂直距離）および横幅（垂直幅）の平均値、最頻値、最大値をパラメータとして導出してもよい。また、対象領域２２２における対象物２２０の距離（水平距離）および横幅（水平幅）の平均値、最頻値、最大値をパラメータとして導出してもよい。このとき、水平距離は、例えば対象領域２２２の垂直線、輝度画像２１０の水平方向の一端などの所定位置を基準として導出すればよい。

また、対象領域２２２の縦幅および横幅それぞれに対する対象物２２０の縦幅および横幅の比率を、特殊像を判定するためのパラメータとしてもよい。なお、これらのパラメータを導出した場合には、それぞれのパラメータに対して設定される閾値と比較し、その比較結果に基づいて、対象物２２０を特殊像と判定すればよい。

また、上述した実施形態では、最大高さおよび平均高さが最大高さ閾値および平均高さ閾値以上である場合、または、平均横幅が平均横幅閾値以下である場合には対象物２２０を特殊像と判定した。しかしながら、最大高さ、平均高さおよび平均横幅のうちの１つまたは全てが最大高さ閾値以上、平均高さ閾値以上および平均横幅閾値以下である場合に対象物２２０を特殊像と判定してもよい。つまり、導出された一または複数のパラメータと、パラメータそれぞれに対して設定された閾値を比較し、比較結果に基づいて対象領域２２２の該対象物２２０を特殊像と判定するようにすればよい。

また、上述した実施形態では、特殊像判定部１７８が対象物２２０とした像を特殊像と判定し、特定物特定部１８０が特殊像と判定された対象物２２０を含む対象領域２２２を除外した後、特定物を特定するようにした。しかしながら、特殊像判定部１７８が対象物２２０とした像を特殊像と判定せずに、特定物特定部１８０が、対象物２２０の垂直方向また水平方向のパラメータと、閾値とを比較し、比較結果に基づいて対象物２２０が含まれるとされる対象領域２２２を除外した後、特定物を特定するようにしてもよい。

なお、本明細書の特定物特定処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、自車両の周囲に存在する対象物を特定する車外環境認識装置に利用することができる。

１ 車両
１００ 環境認識システム
１１０ 撮像装置
１２０ 車外環境認識装置
１７０ 画像処理部
１７２ ３次元位置導出部
１７４ 対象領域特定部
１７６ パラメータ導出部
１７８ 特殊像判定部
１８０ 特定物特定部
２２０ 対象物

Claims (5)

1. 撮像装置により撮像された画像内における対象部位の３次元位置を導出する３次元位置導出部と、
   前記３次元位置の差分が所定範囲内にある対象部位同士をグループ化して対象物とし、前記画像における該対象物が含まれる矩形状の対象領域を特定する対象領域特定部と、
   前記対象領域における前記対象物の垂直方向または水平方向のパラメータを導出するパラメータ導出部と、
   導出された前記パラメータと、前記対象領域における前記対象物が占める割合が低い特殊像であるとされる閾値とを比較し、比較結果に基づいて該対象領域の該対象物とした像を特殊像と判定する特殊像判定部と、
   を備え、
   前記パラメータ導出部は、
   前記対象領域における水平方向の所定間隔ごとの地面から前記対象物までの垂直距離の平均値および最大値と、前記対象領域における垂直方向の所定間隔ごとの前記対象物の水平幅の平均値とを前記パラメータとして導出し、
   前記特殊像判定部は、
   導出された前記対象物までの垂直距離の平均値および最大値の少なくとも一方が、該垂直距離の平均値および最大値それぞれに対して設定された閾値未満であり、かつ、導出された該対象物の水平幅の平均値が、該水平幅の平均値に対して設定された閾値以下である場合に、前記対象領域の該対象物とした像を傾斜物の前記特殊像と判定することを特徴とする車外環境認識装置。
2. 前記対象物とした像が前記特殊像であると特定された前記対象領域を除外し、前記画像における該対象物が占める割合が高い物体を含む該対象領域を残して、特定対象となる特定物を特定する特定物特定部をさらに備えることを特徴とする請求項１に記載の車外環境認識装置。
3. 前記特殊像判定部は、
   導出された前記対象物までの垂直距離の平均値および最大値が、該垂直距離の平均値および最大値それぞれに対して設定された閾値以上である場合に、前記対象領域の該対象物とした像を前記特殊像と判定することを特徴とする請求項１または２に記載の車外環境認識装置。
4. 前記特殊像判定部は、
   前記対象領域の水平方向の幅が所定値よりも大きく、導出された前記対象物までの垂直距離の平均値および最大値の少なくとも一方が、該垂直距離の平均値および最大値それぞれに対して設定された閾値未満であり、かつ、導出された前記対象物の水平幅の平均値が、該水平幅の平均値に対して設定された閾値以下である場合に、前記対象領域の前記対象物とした像を傾斜物の前記特殊像と判定することを特徴とする請求項１から３のいずれか１項に記載の車外環境認識装置。
5. 撮像装置により撮像された画像内における対象部位の３次元位置を導出する３次元位置導出部と、
   前記３次元位置の差分が所定範囲内にある対象部位同士をグループ化して対象物とし、前記画像における該対象物が含まれる矩形状の対象領域を特定する対象領域特定部と、
   前記対象領域における前記対象物の垂直方向または水平方向のパラメータを導出するパラメータ導出部と、
   導出された前記パラメータと、前記対象領域における前記対象物が占める割合が低い特殊像であるとされる閾値とを比較し、比較結果に基づいて該対象領域の該対象物とした像を特殊像と判定し、特定対象となる特定物を特定する際に、前記対象物とした像が前記特殊像であると特定された前記対象領域を除外する特定物特定部と、
   を備え、
   前記パラメータ導出部は、
   前記対象領域における水平方向の所定間隔ごとの地面から前記対象物までの垂直距離の平均値および最大値と、前記対象領域における垂直方向の所定間隔ごとの前記対象物の水平幅の平均値とを前記パラメータとして導出し、
   前記特定物特定部は、
   導出された前記対象物までの垂直距離の平均値および最大値の少なくとも一方が、該垂直距離の平均値および最大値それぞれに対して設定された閾値未満であり、かつ、導出された該対象物の水平幅の平均値が、該水平幅の平均値に対して設定された閾値以下である場合に、前記対象領域の該対象物とした像を傾斜物の前記特殊像と判定することを特徴とする車外環境認識装置。

Images