JP5012270B2

JP5012270B2 - 物体検出装置

Info

Publication number: JP5012270B2
Application number: JP2007181273A
Authority: JP
Inventors: 達也白石
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2007-07-10
Filing date: 2007-07-10
Publication date: 2012-08-29
Anticipated expiration: 2027-07-10
Also published as: JP2009019914A

Description

本発明は、レーダによる情報と画像による情報とに基づいて物体を検出する物体検出装置に関するものである。

近年、衝突低減装置、車間距離制御装置、追従走行装置などの運転支援装置が開発されている。これら運転支援装置では、自車両の前方に存在する物体（例えば前方を走行する車両など）を検出することが重要となる。物体検出装置には、検出精度を向上させるために、ミリ波レーダなどのレーダ検出手段及びステレオカメラなどの撮像手段といった２つの検出手段を備える装置がある。レーダ検出手段を用いると、自車両に対する物体の横方向位置や自車両と物体との距離といった位置情報を精度よく検出できる。また、撮像手段により得られる画像データを用いると、物体の横幅や高さといった大きさ情報を精度よく検出できる。従って、この２つの検出手段を備える物体検出装置では、レーダ検出手段によって得られた物体の位置情報と、撮像手段によって得られた物体の大きさ情報とに基づいて、検出対象である物体の位置及び大きさに関する情報（物体情報）を精度よく取得できる（例えば特許文献１参照）。
特開２００６−２９２６２１号公報

しかし、車両の走行状況によっては、画像データに基づく大きさ情報の精度が低下する場合がある。例えば、鉄橋の左右に設置されたトラス構造物など複数の物体が周囲に存在する場合、画像データ内においてそれらの物体を区別できずに一つの大きな物体として認識してしまう場合がある。そして、誤った大きさ情報に基づいて物体を特定してしまうと、運転支援装置において本来不要な動作（例えば、その物体が衝突するおそれがないにも拘わらず、回避動作を行うなど）が行われるおそれがある。

本発明は、上記した問題点を鑑みてなされたものであり、画像データに基づく物体の大きさ情報の信頼性を向上できる物体検出装置を提供することを目的とする。

上述した課題を解決するために、本発明による物体検出装置は、自車両に対する物体の位置及び大きさを検出する物体検出装置であって、送信波を送信して物体で反射した反射波を受信することにより物体を検出するレーダ検出手段と、物体を撮像して画像データを取得する撮像手段と、レーダ検出手段からの信号を基に自車両に対する物体の位置情報を取得すると共に、撮像手段からの画像データを基に物体の大きさ情報を取得し、位置情報および大きさ情報に基づいて物体の位置及び大きさに関する物体情報を生成する物体情報生成手段とを備え、物体情報生成手段は、レーダ検出手段からの信号を基に得られる物体の横方向位置の時間変化率が所定の閾値より大きい場合に、物体情報を生成しないか、或いは撮像手段からの画像データを基に得られる大きさ情報の少なくとも一部を物体情報から除外することを特徴とする。

本発明者は、撮像手段からの画像データを基に得られる物体の大きさ情報が不正確となるような状況は、レーダ検出手段により検出される物体の横方向位置にばらつきがある、すなわち横方向位置の時間変化率が大きい場合に顕著に現れることを見出した。例えば、鉄橋の左右に設置されたトラス構造物など周囲に複数の物体が存在する場合、レーダ検出手段により検出される物体の横方向位置情報が複数の物体の影響を受けて大きく変動し、検出される横方向位置の時間変化率が通常より大きくなる傾向がある。上記した物体検出装置によれば、物体情報生成手段が、レーダ検出手段からの信号を基に得られる物体の横方向位置の時間変化率が所定の閾値より大きい場合に、物体情報を生成しないか、或いは撮像手段からの画像データを基に得られる物体の大きさ情報の少なくとも一部を物体情報から除外するので、物体情報（特に大きさ情報）の信頼性を向上させることができる。なお、この場合、運転支援装置は、過去の物体情報や、物体情報から除外された大きさ情報を除く他の情報などに基づいて、運転支援を行うとよい。

また、物体検出装置は、物体情報生成手段が、或るタイミングにおいて大きさ情報を取得できなかった場合に、時間変化率が所定の閾値より大きい場合を除き、過去に得られた大きさ情報を代用して物体情報を生成することを特徴としてもよい。このように、撮像手段からの画像データに基づいて大きさ情報を取得できなかった場合（例えば、トンネルの出入口などで明るさが変化し、その変化に対応できずに一時的に物体を検出可能な画像が得られなかった場合）でも、過去に検出された大きさ情報を代用（補間）することで、物体情報を途切れることなく得ることができる。また、レーダ検出手段からの信号を基に得られる物体の横方向位置の時間変化率が所定の閾値より大きい場合には、上述したように画像データを基に得られる物体の大きさ情報が不正確であるおそれがあるので、大きさ情報の代用（補間）を行わないことで、物体情報に含まれる大きさ情報の信頼性を向上させることができる。

本発明による物体検出装置によれば、画像データに基づく物体の大きさ情報の信頼性を向上できる。

以下、添付図面を参照しながら本発明による物体検出装置の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

本実施の形態では、本発明に係る物体検出装置を、車両に搭載される衝突軽減装置に適用する。本実施の形態に係る衝突軽減装置は、自車両の前方に存在する前方車両などの物体を検出対象とし、自車両に対する物体の位置及び大きさを検出し、物体との衝突を防止／軽減するために各種制御を行う。特に、本実施の形態に係る衝突軽減装置では、物体を検出するためにミリ波レーダとステレオカメラの２つのセンサを備え、ミリ波レーダによる検出結果とステレオカメラによる検出結果とを照合することによって物体を高い精度で検出する。

図１〜図５を参照して、本実施の形態に係る衝突軽減装置１について説明する。図１は、本実施の形態に係る衝突軽減装置の構成図である。図２は、本実施の形態に係るレーダ物標、ステレオ画像物標及びフュージョン物標の説明図である。図３は、本実施の形態に係る前回フュージョン物標とレーダ物標との照合方法の説明図である。図４は、本実施の形態に係る前回フュージョン物標とステレオ画像物標との照合方法の説明図である。図５は、本実施の形態に係るレーダ物標とステレオ画像物標との照合方法の説明図である。

衝突軽減装置１は、前方車両や道路設置物などの物体の位置および大きさを検出し、物体を検出した場合には衝突の可能性に応じてブレーキ制御、サスペンション制御、シートベルト制御及び警報制御を行う。衝突軽減装置１は、物体の位置および大きさを検出するために、ミリ波レーダによる情報に基づいてレーダ物標を設定するとともにステレオカメラによるステレオ画像データに基づいてステレオ画像物標を設定し、レーダ物標とステレオ画像物標との照合によってフュージョン物標を設定する。また、衝突軽減装置１では、ステレオ画像物標を取得できなかった場合には過去のステレオ画像物標を代用してデータを補間する。さらに、フュージョン物標の信頼性を向上させるため、レーダ物標の横方向位置の時間変化率に基づいてステレオ画像物標の信頼性を判断し、この信頼性が低い場合にはフュージョン物標を設定しないか、或いはデータ補間の際のステレオ画像物標の全部または一部の情報をフュージョン物標から除外する。衝突軽減装置１は、ミリ波レーダ２、ステレオカメラ３、ブレーキＥＣＵ[Electronic Control Unit]４、サスペンション制御アクチュエータ５、シートベルトアクチュエータ６、ブザー７及び衝突軽減ＥＣＵ８などを備え、これらがＣＡＮ[ControllerArea Network]（車内ＬＡＮの標準インターフェース規格）通信で各種信号を送受信する。

なお、本実施の形態では、ミリ波レーダ２が特許請求の範囲に記載するレーダ検出手段に相当し、ステレオカメラ３が特許請求の範囲に記載する撮像手段に相当し、衝突軽減ＥＣＵ８が特許請求の範囲に記載する物体情報生成手段に相当する。

まず、図２を参照して各物標について説明しておく。レーダ物標は、ミリ波レーダ２からの情報に基づいて認識された物体情報であって、自車両に対する物体の位置情報を含む。すなわち、レーダ物標には、レーダ情報から取得できる物体までの距離、物体の横位置（自車両に対する物体の相対的な横方向位置）、自車両と物体との相対速度が設定される。また、ステレオ画像物標は、ステレオカメラ３によるステレオ画像データに基づいて認識された物体情報であって、前方車両の大きさ情報を含む。すなわち、ステレオ画像物標には、ステレオ画像データから取得できる物体の前端面までの距離、物体の前端面中央の横位置、物体との相対速度、物体の横幅（自車両に対して左右方向の長さ）、物体の奥行き（自車両から遠ざかる方向の長さ）、物体の高さ、物体の高さ位置が設定される。フュージョン物標は、レーダ物標とステレオ画像物標との照合において類似度が高く、そのレーダ物標とステレオ画像物標とが同一物体であると判断できる場合の該物体に関する物体情報である。フュージョン物標には、レーダ物標からの距離及び相対速度とステレオ画像物標からの横位置、横幅、奥行き、高さ、高さ位置が設定される。本実施の形態では、このフュージョン物標に設定される情報が、特許請求の範囲に記載する物体情報に相当する。

ミリ波レーダ２は、ミリ波を利用して物体を検出するためのレーダである。ミリ波レーダ２は、自車両の前側の中央に取り付けられる。ミリ波レーダ２は、ミリ波を水平面内でスキャンしながら自車両から前方に向けて送信し、反射してきたミリ波を受信する。そして、ミリ波レーダ２は、そのミリ波の送受信データをレーダ信号として衝突軽減ＥＣＵ８へ送信する。

ステレオカメラ３は、２台のＣＣＤカメラからなり、２台のＣＣＤカメラが水平方向に所定間隔離間されて配置されている。ステレオカメラ３も、自車両の前側の中央に取り付けられる。ステレオカメラ３では、２つのＣＣＤカメラで撮像した左右のステレオ画像のデータを各画像信号として衝突軽減ＥＣＵ８へ送信する。

ブレーキＥＣＵ４は、４輪の各ホイールシリンダの油圧を調節し、４輪のブレーキ力を制御するＥＣＵである。ブレーキＥＣＵ４では、各輪の目標ブレーキ力に基づいて油圧制御信号をそれぞれ設定し、その各油圧制御信号を各ホイールシリンダの油圧を変化させるブレーキ制御アクチュエータに対してそれぞれ送信する。特に、ブレーキＥＣＵ４では、衝突軽減ＥＣＵ８から各輪に対する目標ブレーキ力信号を受信すると、その目標ブレーキ力信号に示される目標ブレーキ力に基づいて油圧制御信号をそれぞれ設定する。

サスペンション制御アクチュエータ５は、４輪の各油圧式アクティブサスペンションの油圧を変化させるアクチュエータである。サスペンション制御アクチュエータ５は、衝突軽減ＥＣＵ８から各輪に対する目標減衰力信号を受信すると、各目標減衰力信号に示される目標減衰力に基づいて目標油圧を設定し、目標油圧に基づいて油圧式アクティブサスペンションの油圧を変化させる。

シートベルトアクチュエータ６は、各シートベルトを引き込み、シートベルトによる拘束力を変化させるアクチュエータである。シートベルトアクチュエータ６は、衝突軽減ＥＣＵ８から各シートベルトに対する目標引込量信号を受信すると、各目標引込量信号に示される目標引込量に応じてシートベルトの引き込む。

ブザー７は、衝突軽減ＥＣＵ８から警報信号を受信すると、ブザー音を出力する。

衝突軽減ＥＣＵ８は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read OnlyMemory]、ＲＡＭ[Random AccessMemory]などからなる電子制御ユニットであり、衝突軽減装置１を統括制御する。衝突軽減ＥＣＵ８は、ＣＰＵのマスタクロックに基づく一定時間毎に、ミリ波レーダ２からのレーダ信号及びステレオカメラ３からの各画像信号を取り入れる。そして、衝突軽減ＥＣＵ８は、一定時間毎に、レーダ情報に基づくレーダ物標設定処理及びステレオ画像に基づくステレオ画像物標設定処理を行い、前回フュージョン物標と今回のレーダ物標及びステレオ画像物標に基づく照合処理を行い、今回フュージョン物標を設定する。さらに、衝突軽減ＥＣＵ８は、今回フュージョン物標と自車両との関係に基づいて衝突軽減処理を行う。

レーダ物標設定処理について説明する。衝突軽減ＥＣＵ８は、ミリ波を出射してからその反射波を受信するまでの時間に基づいて、前方の物体までの距離を演算する。また、衝突軽減ＥＣＵ８は、前方の物体との相対速度を演算する。また、衝突軽減ＥＣＵ８は、反射してきたミリ波の中で最も強く反射してきたミリ波の方向を検出し、その方向から自車両の進行方向と自車両に対する物体の方向とのなす角度を求め、その角度から物体の横位置を演算する。このように、衝突軽減ＥＣＵ８は、ミリ波レーダ２からの信号を基に自車両に対する物体の位置情報（距離、相対速度、横位置）を取得する。ミリ波レーダ２による物体検出では、反射したミリ波を受信できた場合に物体を検出したことになるので、反射したミリ波を受信する毎に１個のレーダ物標が得られる。また、ミリ波レーダ２による物体検出では、物体までの距離を正確に検出できるので、距離及び相対速度の精度が特に高い。

ステレオ画像物標設定処理について説明する。衝突軽減ＥＣＵ８は、左右のステレオ画像における物体の見え方のずれを利用して三角測量的に前方の物体を立体的に特定し、ステレオカメラ３から物体までの位置（物体の前端面までの距離、物体の前端面中央の横位置、物体の高さ位置）を演算するとともに、物体の立体的な大きさ（横幅、奥行き、高さ）を演算する。このように、衝突軽減ＥＣＵ８は、ステレオカメラ３からのステレオ画像データを基に物体の大きさ情報（横幅、奥行き、高さ）を取得する。また、衝突軽減ＥＣＵ８では、前方の物体との相対速度を演算する。ステレオカメラ３による物体検出では、左右のステレオ画像から物体を特定できた場合に物体を検出したことになるので、物体を特定する毎に１個のステレオ画像物標が得られる。

照合処理について説明する。まず、衝突軽減ＥＣＵ８は、一定時間毎に、前回フュージョン物標と今回レーダ物標との照合を行う。具体的には、衝突軽減ＥＣＵ８は、図３に示すように、前回フュージョン物標ＬＦの位置（距離、横位置）を中心として距離の閾値と横位置の閾値を設定し（図３の破線で示す平面領域参照）、前回フュージョン物標ＬＦの相対速度を中央値として相対速度の閾値を設定する。そして、衝突軽減ＥＣＵ８は、今回レーダ物標ＴＬの位置（距離、横位置）が前回フュージョン物標ＬＦの位置を中心とした距離の閾値内かつ横位置の閾値内に入っているか否かを判定するとともに、今回レーダ物標ＴＬの相対速度が相対速度の閾値内に入っているか否かを判定する。そして、衝突軽減ＥＣＵ８は、この判定において全ての閾値内に入っている場合に今回レーダ物標ＴＬが前回フュージョン物標ＬＦと類似性があると判定し、１つでも閾値内に入っていない場合に類似性がないと判定する。この照合では、精度の高い情報がそれぞれ設定されている前回フュージョン物標を中心とし、レーダ物標が持っている位置情報を考慮して照合を行う。

また、衝突軽減ＥＣＵ８は、一定時間毎に、前回フュージョン物標と今回ステレオ画像物標との照合を行う。具体的には、衝突軽減ＥＣＵ８は、図４に示すように、前回フュージョン物標ＬＦの位置（距離、横位置、高さ位置）を中心として距離の閾値、横位置の閾値、高さ位置の閾値を設定するとともに物体の奥行きの閾値、物体の横幅の閾値、物体の高さの閾値を設定し（図４の破線で示す立体領域参照）、前回フュージョン物標ＬＦの相対速度を中央値として相対速度の閾値を設定する。そして、衝突軽減ＥＣＵ８は、今回ステレオ画像物標ＴＩの位置（距離、横位置、高さ）が前回フュージョン物標ＬＦの位置を中心とした距離の閾値内かつ横位置の閾値内かつ高さ位置の閾値内に入っているか否か、及び今回ステレオ画像物標ＴＩの大きさ（奥行き、横幅、高さ）が奥行きの閾値内かつ横幅の閾値内かつ高さの閾値内に入っているか否かを判定するとともに、今回ステレオ画像物標ＴＩの相対速度が相対速度の閾値内に入っているか否かを判定する。そして、衝突軽減ＥＣＵ８は、この判定において全ての閾値内に入っている場合に今回ステレオ画像物標ＴＩが前回フュージョン物標ＬＦと類似性があると判定し、１つでも閾値内に入っていない場合に類似性がないと判定する。この照合では、精度の高い情報がそれぞれ設定されている前回フュージョン物標を中心とし、ステレオ画像物標が持っている位置情報に立体物の大きさ情報を考慮して照合を行う。

前回フュージョン物標に対して類似性のある今回レーダ物標と今回ステレオ画像物標とがそれぞれ存在する場合、衝突軽減ＥＣＵ８は、その今回レーダ物標と今回ステレオ画像物標との照合を行う。具体的には、衝突軽減ＥＣＵ８は、図５に示すように、今回レーダ物標ＴＬの位置（距離、横位置）を中心として距離の閾値、横位置の閾値を設定するとともに物体の奥行きの閾値、物体の横幅の閾値を設定し（図５の破線で示す平面領域参照）、今回レーダ物標ＴＬの相対速度を中央値として相対速度の閾値を設定する。そして、衝突軽減ＥＣＵ８は、今回ステレオ画像物標ＴＩの位置（距離、横位置）が今回レーダ物標ＴＬの位置を中心とした距離の閾値内かつ横位置の閾値内に入っているか否か、及び今回ステレオ画像物標ＴＩの大きさ（奥行き、横幅）が奥行きの閾値内かつ横幅の閾値内に入っているか否かを判定するとともに、今回ステレオ画像物標ＴＩの相対速度が相対速度の閾値内に入っているか否かを判定する。そして、衝突軽減ＥＣＵ８は、この判定において全ての閾値内に入っている場合に今回レーダ物標ＴＬと今回ステレオ画像物標ＴＩとが類似性があると判定し、１つでも閾値内に入っていない場合に類似性がないと判定する。類似性があると判定した場合、衝突軽減ＥＣＵ８は、前回フュージョン物標を今回フュージョン物標として更新し、今回フュージョン物標の情報として今回レーダ物標の距離及び相対速度を設定するとともに今回ステレオ画像物標の横位置、横幅、奥行き、高さ、高さ位置を設定する。一方、類似性がないと判定した場合、衝突軽減ＥＣＵ８は、前回フュージョン物標を削除する。この照合では、距離の精度が高く、物体のほぼ中央を横位置とする今回レーダ物標を中心とし、レーダ物標とステレオ画像物標が持っている位置情報にステレオ画像物標の持っている大きさ情報を考慮して照合を行う。

なお、上述した各閾値は、ミリ波レーダ２やステレオカメラ３による検出精度などを考慮して予め設定され、衝突軽減ＥＣＵ８に格納されている。距離の閾値や相対速度の閾値については、自車両の車速を考慮して可変としてもよい。奥行き、横幅、高さは物体の大きさを表し、検出対象が車両である場合、奥行き、横幅、高さの各閾値については一般的な車両の大きさに基づいて設定される。

フュージョン物標を基に物体が存在すると判断できる場合、衝突軽減ＥＣＵ８は、車速を考慮して、フュージョン物標に設定されている距離情報に基づいて衝突する可能性の段階（例えば、可能性が高い、低い、無しの３段階）を設定する。そして、衝突軽減ＥＣＵ８は、衝突する可能性の段階に応じて、ブレーキＥＣＵ４、サスペンション制御アクチュエータ５、シートベルトアクチュエータ６、ブザー７を制御する。

ステレオカメラ３による物体検出では、トンネルの出入口などで明るさの変化や物体の一部が影になるなどの撮像条件が変化によって、データがばらつく場合がある。このようにばらついたステレオ画像物標の情報を用いてフュージョン物標の情報を設定すると、物体に関する大きさ情報の精度が低下してしまう。また、このようなデータのばらつくような状態は長時間続くものでなく、走行中において撮像条件が低下した一時的なものである。

そこで、衝突軽減ＥＣＵ８は、ステレオ画像物標の情報から設定したフュージョン物標の情報（すなわち物体の大きさ情報）について、過去のフュージョン物標の情報を所定期間バッファリングし、そのバッファリングしたデータによりフュージョン物標の情報を平滑化する。具体的には、衝突軽減ＥＣＵ８は、レーダ物標ＴＬとステレオ画像物標ＴＩの各情報からフュージョン物標の各情報を設定する毎に、横位置、横幅、奥行き、高さ、高さ位置を所定のバッファリング領域に格納する。ステレオカメラ３による物体検出で一時的に追跡中のフュージョン物標を検出できなかった場合、衝突軽減ＥＣＵ８は、バッファリングを行わない。衝突軽減ＥＣＵ８は、バッファリング領域に格納されている過去数サイクル分のフュージョン物標の各情報（位置、横幅、奥行き、高さ、高さ位置）の平均値をそれぞれ演算し、各情報の平均値を今回のフュージョン物標の情報として設定する。バッファリングするサイクル数については、ステレオカメラ３の性能などを考慮して設定する。

また、ステレオカメラ３による物体検出では、トンネルの出入口などで明るさが変化した場合など、追跡していた物体を一時的に検出できない場合がある。このような場合、衝突軽減ＥＣＵ８は、前回フュージョン物標に設定されている大きさ情報を代用して、今回フュージョン物標の大きさ情報を補間する。具体的には、衝突軽減ＥＣＵ８は、前回フュージョン物標と今回ステレオ画像物標との照合において前回フュージョン物標と類似性を持つ今回ステレオ画像物標がない場合、前回ステレオ画像物標に設定された大きさ情報（横位置、横幅、奥行き、高さ、高さ位置）を今回フュージョン物標の各情報として設定する。

また、ステレオカメラ３による物体検出では、ステレオ画像データにおいて複数の物体を区別できずに一つの大きな物体として認識してしまうことがある。例えば、鉄橋の左右に設置されたトラス構造物など自車両の左右に複数の物体が存在する場合、ステレオ画像データにおいてそれらの物体を区別できずに一つの大きな物体として認識してしまうことがある。複数の物体を一つの大きな物体として認識してしまうと、ステレオ画像物標の大きさ情報が不正確となり、運転支援装置において本来不要な動作が行われるおそれがある。

このような現象を回避するため、衝突軽減ＥＣＵ８は、ステレオ画像物標に設定された大きさ情報の信頼性が低い場合には、フュージョン物標を生成しないか、或いはステレオ物標に設定された大きさ情報の少なくとも一部（例えば横幅）をフュージョン物標に設定される情報から除外する。ここで、大きさ情報の少なくとも一部を除外するとは、（１）該一部の情報を今回フュージョン物標に設定しない、（２）該一部の情報を予め意味付けされた特異な数値に操作する（例えば該情報が横幅の場合、この横幅をゼロとして今回フュージョン物標に設定する）、（３）上述した補間処理をとりやめる（追跡していたステレオ画像物標やフュージョン物標を一時的に検出できない場合であっても、前回フュージョン物標に設定されている大きさ情報を代用せず、今回フュージョン物標の大きさ情報を補間しない）といった動作（１）〜（３）を含む。

このような状況の具体的な例を、図６〜図９を参照しつつ説明する。図６〜図９は、自車両１０がトラス鉄橋５０を走行している状況を示しており、トラス鉄橋５０の左右には支持部材５１が並んで配置されている。通常、衝突軽減ＥＣＵ８は、図６に示すように、ミリ波レーダ２からの信号を基に支持部材５１に関するレーダ物標ＴＬを設定すると共に、ステレオカメラ３からのステレオ画像データを基に支持部材５１に関するステレオ画像物標ＴＩを設定する。そして、図７に示すように、これらのレーダ物標ＴＬ及びステレオ画像物標ＴＩを基にフュージョン物標ＬＦを設定する。

しかし、図８に示すように、状況によってはステレオカメラ３からのステレオ画像データにおいて左右の支持部材５１を区別できず、左右の支持部材５１を一つの大きな物体としてステレオ画像物標ＴＩを設定してしまうことがある。このような場合、ミリ波レーダ２からの信号もまた左右の支持部材５１の影響を受け、衝突軽減ＥＣＵ８は、左右の支持部材５１の間にレーダ物標ＴＬを設定してしまう傾向がある。従って、これらのレーダ物標ＴＬ及びステレオ画像物標ＴＩを基に設定されるフュージョン物標ＬＦには、図９に示すように左右の支持部材５１に亘る大きさ情報が誤って設定されてしまうこととなる。

そして、このようにフュージョン物標ＬＦが誤って設定された直後に上記したステレオ画像物標の補間を行うと、誤った大きさ情報がフュージョン物標ＬＦに連続して設定されてしまう。従って、フュージョン物標ＬＦの情報を所定期間バッファリングして平滑化したとしても、フュージョン物標に設定される大きさ情報の誤差が次第に大きくなってしまう。このような状況を回避するために、本実施形態の衝突軽減ＥＣＵ８は、ステレオ画像物標ＴＩを一時的に検出できなかった場合であっても、ステレオ画像物標ＴＩにおいて誤った大きさ情報が設定されている可能性が高い場合には、過去のフュージョン物標の大きさ情報を用いた補間を行わない。

このとき、衝突軽減ＥＣＵ８は、ステレオ画像物標ＴＩの大きさ情報の信頼性を、レーダ物標ＴＬの横位置の時間変化率（すなわち、ＣＰＵのマスタクロックに基づく一定時間における横位置の変化量）に基づいて判断する。その理由は、ステレオ画像物標ＴＩの大きさ情報の信頼性が低い場合、ミリ波レーダ２により検出される物体の横位置のばらつきが大きくなる傾向があるからである。例えば図８に示した例では、ステレオカメラ３からのステレオ画像データを基に左右の支持部材５１を一つの大きな物体としてステレオ画像物標ＴＩを設定してしまうが、同時に、ミリ波レーダ２からの信号を基に左右の支持部材５１の間にレーダ物標ＴＬを設定している。すなわち、衝突軽減ＥＣＵ８においては、レーダ物標ＴＬの横位置が短時間で大きく変動したように認識される。このような場合、衝突軽減ＥＣＵ８は、ステレオ画像物標ＴＩの大きさ情報の信頼性が低いと判断し、過去のフュージョン物標の大きさ情報を用いた補間を行わない。

衝突軽減装置１における動作のうち、物体検出に関わる動作について図１０を参照しながら説明する。まず、ミリ波レーダ２は、前方にミリ波を送信するとともに反射してきたミリ波を受信し、その送受信データをレーダ信号として衝突軽減ＥＣＵ８に送信する。ステレオカメラ３は、前方を撮像し、撮像した左右のステレオ画像データを衝突軽減ＥＣＵ８に送信する。衝突軽減ＥＣＵ８は、ミリ波レーダ２からレーダ信号を受信するとともに、ステレオカメラ３からステレオ画像データを受信する。衝突軽減ＥＣＵ８は、一定時間毎に、レーダ信号によるレーダ情報に基づいてレーダ物標を設定する。また。衝突軽減ＥＣＵ８は、一定時間毎に、ステレオ画像データに基づいてステレオ画像物標を設定する（Ｓ１０）。

次に、衝突軽減ＥＣＵ８は、レーダ物標及びステレオ画像物標と前回フュージョン物標との照合を行い（Ｓ１１）、前回フュージョン物標と類似性を持つレーダ物標及びステレオ画像物標が存在するか否かを判定する（Ｓ１２）。Ｓ１２において前回フュージョン物標と類似性のあるレーダ物標及びステレオ画像物標がそれぞれ存在する場合、衝突軽減ＥＣＵ８は、レーダ物標とステレオ画像物標との照合を行う（Ｓ１３）。

そして、衝突軽減ＥＣＵ８は、今回フュージョン物標の情報としてレーダ物標の距離及び相対速度を設定するとともにステレオ画像物標の横幅、横位置、奥行き、高さ、高さ位置を設定する（Ｓ１４）。そして、衝突軽減ＥＣＵ８は、その設定した横位置、横幅、奥行き、高さ、高さ位置をバッファリングし、バッファリングしている過去数サイクル分のデータを平滑化し、その平滑化した各情報を今回フュージョン物標として設定する（Ｓ１５）。衝突軽減ＥＣＵ８は、照合を行った前回フュージョン物標を今回フュージョン物標に更新する（Ｓ１６）。

また、Ｓ１２においてステレオ画像物標が存在しないと判定した場合（つまり、ステレオカメラ３による物体検出で前回フュージョン物標を追跡できなかった場合）、衝突軽減ＥＣＵ８は、前回レーダ物標に設定された横位置と今回レーダ物標に設定された横位置との差（すなわちレーダ物標に設定される横位置の時間変化率）を演算し、この値と所定の閾値との大小を判定する（Ｓ１７）。Ｓ１７において前回レーダ物標及び今回レーダ物標の横位置の差が所定の閾値より小さい場合、衝突軽減ＥＣＵ８は、Ｓ１４に代えて、前回ステレオ画像物標の情報を用いて今回フュージョン物標の各情報（横位置、横幅、奥行き、高さ、高さ位置）を補間するとともに、今回レーダ物標の情報により今回フュージョン物標の距離及び相対速度を設定する（Ｓ１８）。そして、衝突軽減ＥＣＵ８は、Ｓ１５の平滑化処理及びＳ１６の更新処理を行う。一方、Ｓ１７において前回レーダ物標及び今回レーダ物標の横位置の差が所定の閾値より大きい場合、衝突軽減ＥＣＵ８は上記補間を行わないか、或いは今回フュージョン物標の全情報を設定しない。

以上に説明した衝突軽減装置１による効果は次のとおりである。本発明者は、ステレオカメラ３からのステレオ画像データを基に得られるステレオ画像物標の大きさ情報が不正確となるような状況は、ミリ波レーダ２からの信号により得られるレーダ物標の横位置にばらつきがある、すなわち横位置の時間変化率が大きい場合に顕著に現れることを見出した。本実施形態の衝突軽減装置１によれば、衝突軽減ＥＣＵ８が、ミリ波レーダ２からの信号を基に得られるレーダ物標の横位置の時間変化率が所定の閾値より大きい場合に、今回フュージョン物標を設定しないか、或いは今回ステレオ画像物標の大きさ情報の少なくとも一部を今回フュージョン物標から除外するので、フュージョン物標に設定される各情報（特に大きさ情報）の信頼性を向上させることができる。なお、この場合、衝突軽減装置１は、前回フュージョン物標や、今回フュージョン物標から除外された大きさ情報を除く他の情報などに基づいて、可能な運転支援を選択的に行うとよい。

また、本実施形態のように、衝突軽減ＥＣＵ８は、或るタイミングにおいてステレオ画像物標の大きさ情報を取得できなかった場合に、レーダ物標の横位置の時間変化率が所定の閾値より大きい場合を除き、過去に得られたステレオ画像物標の大きさ情報を代用して今回フュージョン物標を生成することが好ましい。これにより、フュージョン物標を途切れることなく得ることができる。また、レーダ物標の横位置の時間変化率が所定の閾値より大きい場合には、上述したようにステレオ画像物標の大きさ情報が不正確であるおそれがあるので、大きさ情報の代用（補間）を行わないことで、フュージョン物標に含まれる大きさ情報の信頼性を向上させることができる。

以上、本発明に係る実施の形態について説明したが、本発明に係る物体検出装置は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では車両に搭載される衝突軽減装置に物体検出装置を適用したが、車間距離制御装置、追従走行装置などの他の運転支援装置や周辺監視装置などの他の装置にも適用可能であり、物体検出装置単体としても活用可能である。また、検出対象としては、前方の車両以外にも、歩行者や自転車などの他の物体を検出することも可能である。また、搭載対象としては、車両以外にも、ロボットなどに搭載することも可能である。

また、本実施の形態ではレーダ検出手段としてミリ波レーダを用いる構成としたが、レーザレーダなどの他のレーダを用いてもよい。

また、本実施の形態では撮像手段としてステレオカメラを用いる構成としたが、ステレオカメラ以外のカメラを用いてもよい。

また、本実施の形態ではミリ波レーダによる情報に基づくレーダ物標の設定及びステレオカメラによるステレオ画像に基づくステレオ画像物標の設定を衝突軽減ＥＣＵで行う構成としたが、ミリ波レーダに処理部を備え、ミリ波レーダでレーダ物標を設定する構成としてもよいし、また、ステレオカメラに画像処理部を備え、ステレオカメラでステレオ画像物標を設定する構成としてもよい。

また、本実施の形態ではフュージョン物標の各情報をバッファリングし、バッファリングしたデータを平滑化する構成としたが、バッファリング及び平滑化を行わない構成としてもよい。

また、本実施の形態ではレーダ物標とステレオ物標とを照合してフュージョン物標を設定しているが、レーダ物標とステレオ物標とを照合せず、単にレーダ物標の各情報にステレオ物標の各情報を加えてフュージョン物標を設定してもよい。

実施の形態に係る衝突軽減装置の構成図である。実施の形態に係るレーダ物標、ステレオ画像物標及びフュージョン物標の説明図である。実施の形態に係る前回フュージョン物標とレーダ物標との照合方法の説明図である。実施の形態に係る前回フュージョン物標とステレオ画像物標との照合方法の説明図である。実施の形態に係るレーダ物標とステレオ画像物標との照合方法の説明図である。ステレオ画像データにおいて複数の物体を区別できずに一つの大きな物体として認識してしまうおそれがある状況の具体的な例を示す図であり、正常に設定されたレーダ物標およびステレオ画像物標を示している。ステレオ画像データにおいて複数の物体を区別できずに一つの大きな物体として認識してしまうおそれがある状況の具体的な例を示す図であり、正常に設定されたフュージョン物標を示している。ステレオ画像データにおいて複数の物体を区別できずに一つの大きな物体として認識してしまうおそれがある状況の具体的な例を示す図であり、誤って設定されたレーダ物標およびステレオ画像物標を示している。ステレオ画像データにおいて複数の物体を区別できずに一つの大きな物体として認識してしまうおそれがある状況の具体的な例を示す図であり、誤って設定されたフュージョン物標を示している。衝突軽減装置における動作のうち、物体検出に関わる動作について示すフローチャートである。

符号の説明

１…衝突軽減装置（物体検出装置）、２…ミリ波レーダ、３…ステレオカメラ、４…ブレーキＥＣＵ、５…サスペンション制御アクチュエータ、６…シートベルトアクチュエータ、７…ブザー、８…衝突軽減ＥＣＵ、１０…自車両、５０…トラス鉄橋、５１…支持部材、ＬＦ…フュージョン物標、ＴＩ…ステレオ画像物標、ＴＬ…レーダ物標。

Claims

自車両に対する物体の位置及び大きさを検出する物体検出装置であって、
送信波を送信して前記物体で反射した反射波を受信することにより前記物体を検出するレーダ検出手段と、
前記物体を撮像して画像データを取得する撮像手段と、
前記レーダ検出手段からの信号を基に前記自車両に対する前記物体の位置情報を取得すると共に、前記撮像手段からの前記画像データを基に前記物体の大きさ情報を取得し、前記位置情報および前記大きさ情報に基づいて前記物体の位置及び大きさに関する物体情報を生成する物体情報生成手段と
を備え、
前記物体情報生成手段は、前記レーダ検出手段からの信号を基に得られる前記物体の横方向位置の時間変化率が所定の閾値より大きい場合に、前記物体情報を生成しないか、或いは前記撮像手段からの前記画像データを基に得られる前記大きさ情報の少なくとも一部を前記物体情報から除外し、
前記物体情報生成手段は、或るタイミングにおいて前記大きさ情報を取得できなかった場合に、前記時間変化率が前記所定の閾値より大きい場合を除き、過去に得られた前記大きさ情報を代用して前記物体情報を生成することを特徴とする、物体検出装置。