JP6936098B2 - 対象物推定装置 - Google Patents

Description

本発明は、車両前方を撮像した撮像画像中の対象物の位置及び速度を推定する対象物推定装置に関する。

従来から、車両前方に存在する対象物（典型的には、歩行者及び他車両等）の位置及び速度を推定し、推定された位置及び速度に基づいて、車両が当該対象物に衝突することを回避したり、衝突による衝撃を軽減したりする制御（衝突回避制御）を行う技術が知られている。

特許文献１には、ステレオカメラを用いて車両前方を撮像し、撮像画像中の対象物の３次元上の位置及び速度を推定する対象物推定装置（以下、「従来装置」と称する。）が開示されている。従来装置は、撮像画像中の各画素の視差を算出するとともに、１つのカメラから取得された時間的に前後する撮像画像を用いて各画素の位置の変化量（オプティカルフロー）を算出する。従来装置は、これらの視差及びオプティカルフローを入力としてカルマンフィルタを適用することにより、対象物の位置及び速度を推定する。

具体的には、従来装置は、位置及び速度の推定値を撮像画像中の画素毎に算出し、算出された推定値に基づいて複数の画素をグルーピングするか否かを判定する。グルーピングすると判定した場合、従来装置は、これら複数のグルーピングされた画素が１つの対象物に対応していると判定する。例えば、速度のばらつきが所定の速度範囲内である複数の画素が所定の距離範囲内に位置している場合、従来装置は、これら複数の画素が１つの対象物に対応していると判定する。これにより、従来装置は、対象物の位置及び速度を推定する。

特開２０１５−４１２３８号公報

即ち、撮像画像中の各画素について位置及び速度の推定値を算出する時点では、各画素が対象物に対応している画素であるか否かは判明していない。このため、従来装置は撮像画像中のほぼ全ての画素に対して推定値を算出する必要があり、結果として演算負荷が高くなってしまうという問題がある。この問題は、ステレオカメラの解像度が高くなり画素数が多くなるほど顕著になる。

本発明は、上述した問題に対処するためになされたものである。即ち、本発明の目的の一つは、撮像画像中の対象物の位置及び速度を推定する対象物推定装置において、位置及び速度が推定されない対象物が発生すること（対象物の推定漏れ）を防ぎつつ、演算負荷を低減することが可能な技術を提供することにある。

本発明による対象物推定装置（以下、「本発明装置」と称する。）は、
車両に搭載されており、
ステレオカメラを用いて車両前方の領域を所定時間が経過する毎に撮像する撮像手段（１１、ステップ５０２）と、
前記撮像手段（１１）によって同じ演算タイミングで撮像された複数の撮像画像のうちの基準となる撮像画像である基準画像を基準として、前記複数の撮像画像において対応する画素同士の視差（ｄ）を含む視差情報を、前記所定時間が経過する毎に前記基準画像中の各画素について算出する視差情報算出手段（ステップ５０４）と、
前記視差情報に基づいて前記基準画像中の路面領域（１４）を前記所定時間が経過する毎に検出する路面領域検出手段（ステップ５１４）と、
前記基準画像中の各画素が前記路面領域（１４）に対応する画素であるか否かを前記所定時間が経過する毎に判定する路面領域判定手段（ステップ５１６）と、
前回の演算タイミングにおける前記基準画像中の画素の位置から、今回の演算タイミングにおける前記基準画像中の前記画素に対応する画素の位置まで、の位置の変化量（（ｕ，ｖ））を含む推移情報を、前記所定時間が経過する毎に前記基準画像中の各画素について算出する推移情報算出手段（ステップ５１８）と、
前記視差情報及び前記推移情報に基づいて、前記基準画像中の各画素の３次元空間における位置及び速度の推定値をフィルタを用いて前記所定時間が経過する毎に算出し、前記算出された推定値に基づいて対象物を推定することにより、対象物の位置及び速度を推定する推定値算出手段（ステップ５２０、５２４）と、を備える。
前記推定値算出手段は、
前記路面領域判定手段により前記基準画像中の画素が前記路面領域（１４）に対応する画素であると判定された場合（ステップ５１６：Ｙｅｓ）、当該判定された画素については前記推定値を算出しない、
ように構成されている。

基準画像において路面領域として検出される領域には、対象物は存在していない。このため、路面領域に対応する画素の位置及び速度の推定値を算出しても、対象物の位置及び速度を推定することはできない。そこで、本発明装置は、基準画像中の路面領域を検出し、路面領域に対応する画素については推定値を算出しない。即ち、本発明装置は、基準画像中の路面領域以外の領域に対応する画素についてのみ推定値を算出する。このように、基準画像から「対象物が存在していないことが明らかである領域」を除外することにより、基準画像における推定値の算出範囲（画素数）を低減することができる。結果として、位置及び速度が推定されない対象物が発生すること（即ち、対象物の推定漏れ）を防ぎつつ、演算負荷を低減することが可能になる。

加えて、本発明装置の一側面では、
前記推移情報算出手段は、
前記路面領域判定手段により前記基準画像中の画素が前記路面領域に対応する画素であると判定された場合（ステップ５１６：Ｙｅｓ）、当該判定された画素については前記推移情報を算出しない、
ように構成されている。

この構成によれば、本発明装置は、基準画像中の路面領域以外の領域に対応する画素についてのみ推移情報を算出するため、基準画像中の画素の推定値を好適に算出しながら、演算負荷を更に低減することができる。

尚、上記説明においては、発明の理解を助けるために、実施形態に対応する発明の構成に対して、実施形態で用いた符号を括弧書きで添えているが、発明の各構成要件は前記符号によって規定される実施形態に限定されるものではない。

本発明の実施形態に係る対象物推定装置（以下、「実施装置」と称する。）及び実施装置に接続された衝突回避制御装置の概略構成図である。 視差投票マップの平面図である。 視差投票マップの斜視図である。 各ブロックに路面の属性又は路面以外の属性が設定された視差投票マップを示す図である。 基準画像における路面領域の検出結果を模式的に示す図である。 実施装置の対象物推定ＥＣＵのＣＰＵが実行するルーチンを示すフローチャートである。

図１は、本発明の実施形態に係る対象物推定装置（以下、「実施装置」とも称する。）及び実施装置に接続された衝突回避制御装置の概略システム構成図である。以下では、実施装置が搭載された車両を「自車両」と称して他車両と区別する。実施装置は、車両前方を撮像した撮像画像中の対象物の位置及び速度を推定する。なお、対象物とは、典型的には歩行者及び他車両等を表す。

実施装置は、対象物推定ＥＣＵ１０と、対象物推定ＥＣＵ１０に接続されたカメラセンサ１１及び車両状態センサ１２と、を備える。対象物推定ＥＣＵ１０は、衝突回避制御装置１３に接続されている。ＥＣＵは、「Ｅｌｅｃｔｉｒｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ」の略であり、マイクロコンピュータを主要部として備える。マイクロコンピュータは、ＣＰＵとＲＯＭ及びＲＡＭ等の記憶装置とを含む。ＣＰＵはＲＯＭに格納されたインストラクション（プログラム、ルーチン）を実行することによって、各種機能を実現する。以下、対象物推定ＥＣＵ１０を、単に「ＥＣＵ１０」と称する。

カメラセンサ１１は、自車両前方を撮像する車載ステレオカメラ装置（図示省略）を備える。車載ステレオカメラ装置は、自車両のルーフ前端部の車幅方向中央付近に設けられ、車両前後軸より左側に配置される左カメラと、車両前後軸より右側に配置される右カメラと、を有する。左カメラは所定時間が経過する毎に主として自車両の前方左側の領域を撮像し、撮像した左画像を表す左画像信号をＥＣＵ１０に出力する。同様に、右カメラは所定時間が経過する毎に主として自車両の前方右側の領域を撮像し、撮像した右画像を表す右画像信号をＥＣＵ１０に出力する。なお、左画像及び右画像が、「複数の撮像画像」の一例に相当する。

車両状態センサ１２は、自車両の走行状態に関する車両状態情報を取得するセンサである。車両状態センサ１２は、自車両の速度（即ち、車速）を検出する車速センサ、及び、自車両のヨーレートを検出するヨーレートセンサ等を含む。車両状態センサ１２は、所定時間が経過する毎に車両状態情報（車速及びヨーレート）をＥＣＵ１０に出力する。

ＥＣＵ１０は、以下に述べる手順で、自車両前方に存在する路面領域を所定時間が経過する毎に（即ち、所定の演算周期毎に）検出する。即ち、まず、ＥＣＵ１０は、カメラセンサ１１から出力された左右の画像信号によって表される左画像及び右画像のうち、右画像を基準として、対応する画素同士の視差ｄを含む視差情報を算出する（以下、右画像を「基準画像」とも称する。）。続いて、ＥＣＵ１０は、視差情報に基づいて視差画像を生成する。次に、ＥＣＵ１０は、視差画像を構成する各画素（以下、「視差点」とも称する。後述。）が、路面領域に対応する視差点（以下、「路面視差点」と称する。）であるか、路面領域以外の領域に対応する視差点であるかを推定する。続いて、ＥＣＵ１０は、車両状態センサ１２から出力された車両状態情報に基づいて自車両が走行すると予想される走行予想経路を推定し、路面視差点の走行予想経路までの距離に応じて路面視差点に重み付けを行う。そして、ＥＣＵ１０は、重み付けが行われた路面視差点に基づいて、基準画像中の路面領域の検出を行う。

加えて、ＥＣＵ１０は、所定時間が経過する毎に、時間的に前後する２つの基準画像を用いて基準画像中の各画素の位置の変化量（以下、「オプティカルフロー」とも称する。）を含む推移情報を算出する。そして、ＥＣＵ１０は、所定時間が経過する毎に、基準画像中の各画素の視差及びオプティカルフローを入力としてカルマンフィルタを適用することにより、基準画像中の各画素の位置及び速度の推定値を算出し、これにより、対象物の位置及び速度を推定する。

ここで、ＥＣＵ１０は、「推移情報の算出」並びに「対象物の位置及び速度の推定」を行う前に、所定時間が経過する毎に、基準画像中の各画素が路面領域に対応した画素であるか否かを判定する。そして、ＥＣＵ１０は、路面領域以外の領域に対応した画素についてのみ、上述した手順で推移情報を算出し、対象物の位置及び速度を推定する。ＥＣＵ１０は、推定された対象物の位置及び速度を含む対象物情報を、対象物を特定するＩＤとともに衝突回避制御装置１３に送信する。即ち、ＥＣＵ１０は対象物情報取得ＥＣＵと言うこともできる。

衝突回避制御装置１３は、ＥＣＵ１０から送信される対象物情報、及び、車両状態センサ１２からＥＣＵ１０を経由して送信される車速等に基づいて、衝突回避制御を実行するか否かを判定する。ここで、衝突回避制御は、自車両の前方に当該車両と衝突する可能性がある対象物が存在する場合、運転者に警報を発生する警報制御、自車両に自動的に制動力を付与する自動制動制御、及び／又は、自車両の操舵輪の転舵角を自動的に変更する自動操舵制御を実行する制御である。衝突回避制御装置１３は、対象物情報を取得すると、対象物までの衝突予測時間（自車両が当該対象物に衝突するまでに要すると予測される時間）を対象物情報及び自車両の車速等から算出する。衝突回避制御装置１３は、算出された衝突予測時間が所定の時間閾値以下のときは、自車両が対象物に衝突する可能性があると判定して、上述した衝突回避制御のうちの少なくとも１つの制御を実行する。一方、衝突回避制御装置１３は、衝突予測時間が時間閾値を超えているときは、自車両が対象物に衝突する可能性は極めて低いと判定して、衝突回避制御を実行しない。

（作動の詳細）
次に、実施装置の作動の詳細について説明する。なお、以下で説明する視差画像の生成方法から路面領域の検出方法までは周知であるため、これらの方法については簡単な説明に留める。詳細については、特開２０１６−２０６７７６号公報（米国特許出願公開第２０１６３０５７８５号明細書）を参照されたい。

＜視差画像の生成＞
実施装置のＥＣＵ１０は、自車両の図示しないエンジンスイッチ（イグニッション・キー・スイッチ）がオン状態へと変更されてからオフ状態へと変更されるまでの期間（以下、「エンジンオン期間」とも称する。）、所定時間（演算周期）が経過する毎に、以下のようにして視差情報を算出する。即ち、ＥＣＵ１０は、カメラセンサ１１から出力された左右の画像信号によって表される左画像及び右画像（基準画像）の対応する画素同士の視差ｄを含む視差情報を、基準画像を基準として算出する。ＥＣＵ１０は、基準画像中の全ての画素について、視差情報を算出する。ここで、「全ての画素」とは、基準画像において視差情報が算出可能な画素の全てを意味する。視差情報の算出には、例えば、Semi-Global Matchingの手法が用いられ得る。ＥＣＵ１０は、視差情報に基づいて視差画像を生成する。視差画像を構成する各画素（視差点）には視差情報が対応付けられている。ＥＣＵ１０は、生成された視差画像をそのＲＡＭに格納する。

＜路面視差点の推定＞
ＥＣＵ１０は、エンジンオン期間中、所定時間が経過する毎に、視差画像中の各視差点が路面視差点であるか、路面視差点以外の視差点であるかを推定する。以下、推定方法の一例を簡単に説明する。図２Ａは視差投票マップ２０の平面図を示し、図２Ｂは視差投票マップ２０の斜視図を示す。視差投票マップ２０は、そのＲＡＭに予め設けられている。図２Ａ及び図２Ｂに示すように、視差投票マップ２０は、横方向の辺が視差画像の横方向（車幅方向）の位置に対応し、縦方向の辺が視差画像の縦方向の位置に対応し、奥行き方向の辺が視差の大きさに対応するように配列された複数の直方体形状のブロック２２を備える。

ＥＣＵ１０は、視差投票マップ２０の各ブロック２２に、路面又は路面以外の属性を設定する。具体的には、ＥＣＵ１０は、視差画像中の各視差点を、視差点の位置（横方向の位置及び縦方向の位置）と視差ｄの大きさとに基づいて、視差投票マップ２０の対応するブロック２２に投票（分類）する。そして、ＥＣＵ１０は、視差投票マップ２０の各ブロック２２について、視差ｄの平均値、視差ｄの偏差、視差画像の縦方向における視差点の座標の平均値及び視差画像の縦方向における視差点の座標の偏差を算出する。

ＥＣＵ１０は、視差投票マップ２０のブロック２２内に、同程度の視差（距離）ｄを有する視差点が、視差画像の縦方向における狭い範囲に分布し、視差ｄが減少するにつれて（自車両からの距離が増大するにつれて）視差画像の縦方向における視差点の位置が滑らかに上昇している場合、当該視差点の集合は路面を示していると判定する。具体的には、視差点の縦方向における分布が所定の第１閾値未満であるという条件、及び、視差点の視差方向の分布が所定の第２閾値以上であるという条件を満たしている場合、図３に示すように、ＥＣＵ１０は、当該視差点が分類されているブロック２２に路面の属性を設定する。以下では、路面の属性に設定されたブロック２２を「路面ブロック２２ａ」と称する。一方、視差点の分布が上記条件を満たさないブロック２２には路面以外の属性を設定する。図３のブロック２２のうち路面ブロック２２ａ以外のブロックには路面以外の属性が設定される。

ＥＣＵ１０は、路面ブロック２２ａに分類された視差点を路面視差点として推定し、路面ブロック２２ａ以外のブロック２２に分類された視差点を路面視差点以外の視差点として推定する。ＥＣＵ１０は、視差画像中における路面視差点の座標をそのＲＡＭに格納する。

＜走行予想経路の推定＞
ＥＣＵ１０は、エンジンオン期間中、所定時間が経過する毎に、車両状態センサ１２から出力された車両状態情報に基づいて自車両が走行すると予想される経路である走行予想経路を推定する。例えば、ＥＣＵ１０は、現在の車両状態（車速及びヨーレート）が継続すると仮定して走行予想経路を推定してもよいし、その他の車両状態（例えば、操舵輪の転舵角）を用いて走行予想経路を推定してもよい。ＥＣＵ１０は、推定された走行予想経路を表す情報をそのＲＡＭに格納する。

＜路面視差点への重み付け＞
ＥＣＵ１０は、エンジンオン期間中、所定時間が経過する毎に、走行予想経路を基準画像に投影する。ＥＣＵ１０は、路面視差点から走行予想経路までの横方向における距離に応じて、各路面視差点に重み付けを行う。路面視差点に付与される重みは、当該距離が短いほど大きくされる。ＥＣＵ１０は、各路面視差点に付与された重みを、対応する路面視差点に関連付けてそのＲＡＭに格納する。

＜路面領域の検出＞
ＥＣＵ１０は、エンジンオン期間中、所定時間が経過する毎に、重み付けされた路面視差点に基づいて図４に示すように基準画像中の路面領域１４を検出する。本実施形態では、公知のV-disparity画像を用いて路面領域１４を検出する。ＥＣＵ１０は、路面領域１４を表す情報をそのＲＡＭに格納する。走行予想経路に近い領域は、走行予想経路から遠い領域よりも、道路である可能性が高い。このため、走行予想経路に近い路面視差点の重みを、走行予想経路から遠い路面視差点の重みよりも大きくすることにより、走行予想経路に近い路面視差点が路面の検出に与える影響を相対的に大きくすることができ、路面領域を精度よく検出することができる

＜路面領域判定＞
ＥＣＵ１０は、エンジンオン期間中、所定時間が経過する毎に、基準画像中の全ての画素に対して、画素が路面領域に対応する画素であるか否かを判定する。図４の例では、画素Ｐ１は路面領域１４の範囲内に位置しており、画素Ｐ２は路面領域１４の範囲外に位置している。このため、ＥＣＵ１０は、画素Ｐ１は路面領域１４に対応する画素であると判定し、画素Ｐ２は路面領域１４以外の領域に対応する画素であると判定する。ＥＣＵ１０は、この判定結果を各画素に関連付けてそのＲＡＭに格納する。

＜推移情報の算出＞
ＥＣＵ１０は、エンジンオン期間中、所定時間が経過する毎に、基準画像中の路面領域以外の領域に対応する全ての画素について、オプティカルフローを含む推移情報を算出する。なお、推移情報の算出方法、及び、後述する推定値の算出方法は周知であるため、これらの方法については簡単な説明に留める。詳細については、特開２０１５−４１２３８号公報（米国特許出願公開第２０１６２０３３７６号明細書）を参照されたい。

オプティカルフローは、前回の演算タイミングにおける基準画像中の画素の位置から、今回の演算タイミングにおける基準画像中の上記画素に対応する画素の位置まで、の位置の変化量（ｕ，ｖ）である。ｕは基準画像中の画素の座標の横方向の変位を表し、ｖは基準画像中の画素の座標の縦方向の変位を表す。オプティカルフロー（ｕ，ｖ）は、例えば、濃度勾配法を用いて算出され得る。ＥＣＵ１０は、オプティカルフロー（ｕ，ｖ）を含む推移情報を各画素（路面領域以外の領域に対応する各画素）に関連付けてそのＲＡＭに格納する。

＜推定値の算出＞
ＥＣＵ１０は、エンジンオン期間中、所定時間が経過する毎に、基準画像中の路面領域以外の領域に対応する全ての画素について、画素の視差ｄ（視差情報）及びオプティカルフロー（ｕ，ｖ）（推移情報）に基づいて、当該画素の３次元空間における位置（Ｘ，Ｙ，Ｚ）及び速度（Ｖ_Ｘ，Ｖ_Ｙ，Ｖ_Ｚ）の推定値を算出する。なお、３次元座標系の原点は、右カメラの光軸中心に設定される。以下、その算出方法について簡単に説明する。

以下の数１は、カルマンフィルタで使用されるプロセスモデルを示す。ここで、ｔ（下付き文字）はｔ回目の演算タイミングであることを表し、Δｔは演算周期を表す。加えて、Ψ’は以下の数２により定義される。なお、Ψ’の「’」は、式中の文字の上に付されたドットに替わるものである。更に、ｖは平均ゼロ、共分散行列Ｑの多変数正規分布に従う（以下の数３を参照）。

以下の数４は、線形近似された観測モデルを示す。ここで、ｆ_ｘ及びｆ_ｙは、それぞれ基準画像の横方向及び縦方向の焦点距離［pix］を表し、Ｂはカメラセンサ１１の左カメラと右カメラとの距離（光軸間距離）を表す。加えて、ｗは平均ゼロ、共分散行列Ｒの多変数正規分布に従う（以下の数５を参照）。

ＥＣＵ１０は、上記のプロセスモデル（数１）及び線形近似された観測モデル（数４）に基づいて、カルマンフィルタを実行する。具体的には、後述するプロセスモデルに基づく予測と、後述する観測モデルに基づく更新と、を、基準画像を基準として所定時間が経過する毎に繰り返す。これにより、ＥＣＵ１０は、基準画像中の各画素（路面領域以外の領域に対応する各画素）の位置及び速度の推定値を算出し、対象物の位置及び速度を推定する。なお、カルマンフィルタにより算出されるｔ回目の演算タイミングにおける推定値及び当該推定値の誤差の共分散行列は、それぞれ以下の数６及び数７のように表される。ここで、数７のｘ_ｔは、対象物の位置及び速度の真値を表す。

プロセスモデルに基づく予測は、以下の数８乃至数１０に従って行われる。即ち、数８のように行列Ｆ_ｔ（数１のプロセスモデルを参照）を定義すると、予測値及び予測値の誤差の共分散行列は、それぞれ数９及び数１０のように表される。

一方、観測モデルに基づく更新は、以下の数１１乃至数１６に従って行われる。即ち、数１１のように行列Ｊ_ｔ（数４の観測モデルを参照）を定義すると、観測値及び予測値の残差、残差の共分散行列、並びに、カルマンゲインは、それぞれ数１２乃至数１４のように表される。そして、推定値及び推定値の誤差の共分散行列は、それぞれ数１５及び数１６のように表される。

なお、ＥＣＵ１０のＲＡＭには、これらの予測及び更新を実行するため、推定値の初期値及び推定値の誤差の共分散行列についての初期値が予め格納されている。

（実際の作動）
次に、ＥＣＵ１０の実際の作動について説明する。ＥＣＵ１０のＣＰＵは、エンジンオン期間中、図５にフローチャートにより示したルーチンを所定時間（演算周期）が経過する毎に実行するようになっている。

ＣＰＵは、エンジンスイッチがオン状態へと変更されると、図５のステップ５００から処理を開始して以下のステップ５０２乃至５１４の処理を順に行う。
ステップ５０２：ＣＰＵは、カメラセンサ１１から左画像信号及び右画像信号を受信する。即ち、左画像及び右画像（基準画像）を含む撮像画像を取得する。
ステップ５０４：ＣＰＵは、左画像及び基準画像に基づいて、対応する画素同士の視差ｄを含む視差情報を算出し、視差情報に基づいて視差画像を生成する。
ステップ５０６：ＣＰＵは、視差画像中の各視差点が路面視差点であるか、路面視差点以外の視差点であるかを推定する。
ステップ５０８：ＣＰＵは、車両状態センサ１２から車両状態情報（車速及びヨーレート）を取得する。
ステップ５１０：ＣＰＵは、車両状態情報に基づいて自車両の走行予想経路を推定する。
ステップ５１２：ＣＰＵは、路面視差点の走行予想経路までの距離に応じて、各路面視差点への重み付けを行う。
ステップ５１４：ＣＰＵは、重み付けされた路面視差点に基づいて、公知のV-disparity画像を用いて基準画像中の路面領域を検出する。

ステップ５１４の処理を終了すると、ＣＰＵはステップ５１６に進む。ステップ５１６では、ＣＰＵは、基準画像中のある画素（以下、「対象画素」とも称する。）について、対象画素が路面領域に対応した画素であるか否かを判定する。対象画素が路面領域に対応した画素ではない（即ち、対象画素は路面領域以外の領域に対応した画素である）と判定した場合、ＣＰＵは、ステップ５１６にて「Ｎｏ」と判定し、以下のステップ５１８及びステップ５２０の処理を実行する。

ステップ５１８：ＣＰＵは、対象画素のオプティカルフロー（ｕ，ｖ）を含む推移情報を算出する。
ステップ５２０：ＣＰＵは、対象画素の視差ｄ及びオプティカルフロー（ｕ，ｖ）を入力としてカルマンフィルタを適用することにより、当該対象画素の位置及び速度の推定値を算出する。

これに対し、ステップ５１６にて対象画素が路面領域に対応した画素であると判定した場合、ＣＰＵは、ステップ５１６にて「Ｙｅｓ」と判定する。

ステップ５２０の処理を終了した場合、又は、ステップ５１６にて「Ｙｅｓ」と判定した場合、ＣＰＵは、ステップ５２２に進む。ステップ５２２では、ＣＰＵは、ステップ５１６以降の処理が、基準画像中の全ての画素について実施されたか否かを判定する。上記処理が全ての画素についてはまだ実施されていないと判定した場合、ＣＰＵは、ステップ５２２にて「Ｎｏ」と判定してステップ５１６に戻り、基準画像中の残りの画素に対してステップ５１６以降の処理を繰り返す。一方、上記処理が基準画像中の全ての画素について実施されたと判定した場合、ＣＰＵは、ステップ５２２にて「Ｙｅｓ」と判定し、以下のステップ５２４の処理を行う。

ステップ５２４：ＣＰＵは、基準画像中の各画素（路面領域以外の領域に対応する各画素）の位置及び速度の推定値に基づいて、対象物の位置及び速度を推定する。例えば、速度のばらつきが所定の速度範囲内である複数の画素が所定の距離範囲内に位置している場合、ＣＰＵは、これら複数の画素が１つの対象物に対応していると判定して、当該対象物の位置及び速度を推定する。その後、ＣＰＵは、ステップ５２６に進み本ルーチンを一旦終了する。

実施装置の作用効果について説明する。基準画像において路面領域として検出される領域には、対象物は存在していない。このため、路面領域に対応する画素の位置及び速度の推定値を算出しても、対象物の位置及び速度を推定することはできない。実施装置は、この点に着目し、基準画像中の路面領域を検出し、路面領域に対応する画素については推定値を算出しない構成（別言すれば、基準画像中の路面領域以外の領域に対応する画素についてのみ推定値を算出する構成）を採用している。このように、基準画像から「対象物が存在していないことが明らかである領域」を除外することにより、基準画像における推定値の算出範囲（画素数）を低減することができる。結果として、位置及び速度が推定されない対象物が発生すること（即ち、対象物の推定漏れ）を防ぎつつ、演算負荷を低減することが可能になる。

本実施形態では、推移情報は、基準画像中の画素の位置及び速度の推定値を算出するためにしか使用されない。実施装置は、この点に着目し、基準画像において路面領域に対応する画素については推移情報を算出しない構成（別言すれば、基準画像中の路面領域以外の領域に対応する画素についてのみ推移情報を算出する構成）を採用している。このため、基準画像中の画素の推定値を好適に算出しながら、演算負荷を更に低減することができる。

以上、本発明の実施形態に係る車両制御装置について説明したが、本発明はこれらに限定されるものではなく、本発明の目的を逸脱しない限りにおいて種々の変更が可能である。

例えば、上記の実施形態では、推移情報は、基準画像中の路面領域以外の領域に対応する画素についてのみ算出される。しかしながら、推移情報は基準画像中の全ての画素について算出されてもよい。ここで、「全ての画素」とは、基準画像において推移情報が算出可能な画素の全てを意味する。

加えて、左画像が基準画像に設定されてもよい。

更に、上記の実施形態では、路面を検出するに際し、自車両の走行予想経路を推定し、路面視差点の走行予想経路までの距離に応じて各路面視差点に重み付けを行うが、この構成に限られない。例えば、路面視差点に重み付けを行わずに路面を検出してもよい。この場合、走行予想経路が推定される必要がないため、その分だけ演算負荷を低減することができる。

加えて、カルマンフィルタの代わりに、以下のフィルタ、即ち、移動平均フィルタ、α-βフィルタ、又はパーティクルフィルタ等が用いられてもよい。

１０：対象物推定ＥＣＵ、１１：カメラセンサ、１２：車両状態センサ、１３：衝突回避制御装置、１４：路面領域、２０：視差投票マップ、２２：ブロック、２２ａ：路面ブロック

Claims (2)

1. 車両に搭載された対象物推定装置であって、
   ステレオカメラを用いて車両前方の領域を所定時間が経過する毎に撮像する撮像手段と、
   前記撮像手段によって同じ演算タイミングで撮像された複数の撮像画像のうちの基準となる撮像画像である基準画像を基準として、前記複数の撮像画像において対応する画素同士の視差を含む視差情報を、前記所定時間が経過する毎に前記基準画像中の各画素について算出する視差情報算出手段と、
   前記視差情報に基づいて前記基準画像中の路面領域を前記所定時間が経過する毎に検出する路面領域検出手段と、
   前記基準画像中の各画素が前記路面領域に対応する画素であるか否かを前記所定時間が経過する毎に判定する路面領域判定手段と、
   前回の演算タイミングにおける前記基準画像中の画素の位置から、今回の演算タイミングにおける前記基準画像中の前記画素に対応する画素の位置まで、の位置の変化量を含む推移情報を、前記所定時間が経過する毎に前記基準画像中の各画素について算出する推移情報算出手段と、
   前記視差情報及び前記推移情報に基づいて、前記基準画像中の各画素の３次元空間における位置及び速度の推定値をフィルタを用いて前記所定時間が経過する毎に算出し、前記算出された推定値に基づいて対象物を推定することにより、対象物の位置及び速度を推定する推定値算出手段と、を備え、
   前記推定値算出手段は、
   前記路面領域判定手段により前記基準画像中の画素が前記路面領域に対応する画素であると判定された場合、当該判定された画素については前記推定値を算出しない、
   ように構成された、
   対象物推定装置。
2. 請求項１に記載の対象物推定装置であって、
   前記推移情報算出手段は、
   前記路面領域判定手段により前記基準画像中の画素が前記路面領域に対応する画素であると判定された場合、当該判定された画素については前記推移情報を算出しない、
   ように構成された、
   対象物推定装置。

Images