JP6265095B2

JP6265095B2 - 物体検出装置

Info

Publication number: JP6265095B2
Application number: JP2014193892A
Authority: JP
Inventors: 崇弘馬場
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2014-09-24
Filing date: 2014-09-24
Publication date: 2018-01-24
Anticipated expiration: 2034-09-24
Also published as: US20170294124A1; JP2016065760A; US10431088B2; WO2016047498A1

Description

本発明は、レーダおよびカメラを用いて物体を検出する技術に関する。

例えば車両の衝突回避システムでは、他の車両や歩行者等の物体を精度よく検出することが求められる。そこで、レーダおよびカメラを用いて物体を検出する構成が提案されている（特許文献１参照）。具体的には、特許文献１に記載の構成では、ミリ波レーダおよび単眼カメラによりそれぞれ独立して物体が検出され、それら物体の位置関係が判断基準を満たしている場合（特に、近接している場合）に、それらの物体が同一物体であると判定される。

特開２０１４−１２２８７３号公報

しかしながら、上記システムでは、レーダおよびカメラを用いて検出された物体が近接していると、これらが異なる物体であるとしても同一の物体であると誤認識する虞があった。

そこで、このような問題点を鑑み、レーダおよびカメラを用いて物体を検出する技術において、同一物体であるか否かの判定を良好に実施できるようにすることを本発明の目的とする。

本発明の物体検出装置において、第１特定手段は、レーダによる検出情報に基づいて検出された第１の物体について、車両の車幅方向をＸ軸、車両の車長方向をＹ軸、としたＸＹ平面における基準点に対する第１の物体の相対位置を表す検出点である第１の検出点を含む第１領域を特定する。また、第２特定手段は、単眼カメラによる撮像画像に基づいて検出された第２の物体について、ＸＹ平面における基準点に対する第２の物体の相対位置を表す検出点である第２の検出点を含む第２領域を特定する。

そして、学習状態取得手段は、撮像画像上において無限遠点の位置を推定する学習の進捗状態を取得し、判定手段は、ＸＹ平面において、第１領域と第２領域とに重複部が存在することを条件として、第１の物体と第２の物体とが同一の物体であると判定する。ここで、第２特定手段は、学習の進捗状態に応じて、第２領域における基準点に対する第２の検出点の方向を表す奥行き方向または車長方向の長さを設定する。

すなわち、本発明のように撮像画像から物体の位置を検出する構成においては、無限遠点の位置が正確に認識されているか否かに応じて奥行き方向または車長方向の誤差の大きさが変化する。このため、本発明では、無限遠点の位置を推定する学習の進捗状態に応じて、第２領域における奥行き方向または車長方向の長さを設定するようにしている。

このような物体検出装置によれば、同一物体であるか否かの判定を良好に実施することができる。
なお、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、一部構成を除外してもよい。

本発明が適用された衝突軽減装置１の概略構成を示すブロック図である。衝突軽減ＥＣＵ７が実行する衝突軽減処理を示すフローチャートである。誤差領域を示す平面図である。画像において物体を検出する際の距離の誤差要因を示す説明図である。下端位置のずれによる誤差を示す説明図である。衝突軽減ＥＣＵ７が実行するＦＯＥ学習処理を示すフローチャートである。オプティカルフローを示す画像図である。衝突軽減処理のうちの領域設定処理を示すフローチャートである。領域設定処理のうちのずれ方向設定処理を示すフローチャートである。ＦＯＥが下方向にずれているときのレーダ物体に対する画像物体の位置ずれの分布を示すグラフである。ＦＯＥがずれていないときのレーダ物体に対する画像物体の位置ずれの分布を示すグラフである。ＦＯＥが上方向にずれているときのレーダ物体に対する画像物体の位置ずれの分布を示すグラフである。ＦＯＥが上方向にずれているときの画像誤差領域の設定例を示す平面図である。ＦＯＥが下方向にずれているときの画像誤差領域の設定例を示す平面図である。物体の下端ずれに基づく探索範囲の設定例を示すグラフである。ＦＯＥの位置ずれに基づく探索範囲の設定例を示すグラフである。物体の下端ずれおよびＦＯＥの位置ずれを加算したときの探索範囲の設定例を示すグラフである。

以下に本発明にかかる実施の形態を図面と共に説明する。
［本実施形態の構成］
本発明が適用された衝突軽減装置１は、乗用車等の車両に搭載された装置であって、レーダおよびカメラ画像を用いて物体（他車両や歩行者等の物体）を検出し、この物体と衝突する虞がある場合に、衝突を回避または衝突する際の衝撃を軽減するために、自車両を制動する等の制御を行う機能を有する。

衝突軽減装置１は、図１に示すように、ミリ波レーダ２と、単眼カメラ３と、ブレーキＥＣＵ４と、エンジンＥＣＵ５と、報知装置６と、衝突軽減ＥＣＵ７と、を備える。衝突軽減装置１において、衝突軽減ＥＣＵ７は、ミリ波レーダ２、単眼カメラ３、ブレーキＥＣＵ４、エンジンＥＣＵ５および報知装置６のそれぞれと通信可能に接続されている。なお、通信を実現するための構成は、特に限定されない。

ミリ波レーダ２は、ミリ波を利用して物体（他車両や歩行者等）を検出するためのレーダであって、自車両（衝突軽減装置１が搭載された車両）の前側における中央（先端位置）に取り付けられている。ミリ波レーダ２は、ミリ波を水平面内でスキャンしながら自車両から前方に向けて送信し、反射してきたミリ波を受信することによって得られる送受信データを、レーダ信号として衝突軽減ＥＣＵ７へ送信する。

単眼カメラ３は、１台のＣＣＤカメラを備え、自車両の車室内の前側における中央に取り付けられている。単眼カメラ３は、ＣＣＤカメラで撮像した画像のデータを、画像信号として衝突軽減ＥＣＵ７へ送信する。

ブレーキＥＣＵ４は、自車両の制動を制御する電子制御装置であって、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備える。具体的には、ブレーキＥＣＵ４は、ブレーキ液圧回路に設けられた増圧制御弁および減圧制御弁を開閉するアクチュエータであるブレーキＡＣＴを、ブレーキペダルの踏込量を検出するセンサの検出値に応じて制御する。また、ブレーキＥＣＵ４は、衝突軽減ＥＣＵ７からの指示に従い、自車両の制動力を増加させるようにブレーキＡＣＴを制御する。

エンジンＥＣＵ５は、エンジンの始動／停止、燃料噴射量、点火時期等を制御する電子制御装置であって、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備える。具体的には、エンジンＥＣＵ５は、吸気管に設けられたスロットルを開閉するアクチュエータであるスロットルＡＣＴを、アクセルペダルの踏込量を検出するセンサの検出値に応じて制御する。また、エンジンＥＣＵ５は、衝突軽減ＥＣＵ７からの指示に従い、内燃機関の駆動力を減少させるようにスロットルＡＣＴを制御する。

報知装置６は、衝突軽減ＥＣＵ７から警報信号を受信すると、音や光などで車両の運転者に対する報知を行う。
衝突軽減ＥＣＵ７は、衝突軽減装置１を統括制御する電子制御装置であって、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備える。衝突軽減ＥＣＵ７は、ＣＰＵのマスタクロックに基づく一定時間ごとに、ミリ波レーダ２からのレーダ信号および単眼カメラ３からの画像信号を取り入れる。

［本実施形態の処理］
次に、衝突軽減装置１による物体検出方法および衝突軽減方法について説明する。衝突軽減ＥＣＵ７には、衝突軽減装置１による物体検出を実現するため、および衝突を軽減するためのプログラムである衝突軽減プログラムが記憶されている。以下、衝突軽減プログラムに従い衝突軽減ＥＣＵ７が実行する衝突軽減処理について、図２のフローチャートを用いて説明する。なお、図２に示す処理は、所定サイクルで繰り返し実行される。

衝突軽減処理では、図２に示すように、まず、ミリ波レーダ２から送信されるレーダ信号（ミリ波レーダ２による検出情報）に基づいて、物体を検出する（Ｓ１１０）。具体的には、衝突軽減ＥＣＵ７は、レーダ信号に基づいて、まず、自車両から物体までの直線距離と、その物体の水平方位位置（自車両の前方方向を基準とする角度位置）と、を算出（特定）する。

そして、これらの算出値に基づき、図３に示すように、ＸＹ平面における物体の位置座標（Ｘ座標およびＹ座標）を、ＸＹ平面における物体の検出点Ｐｒとして算出（特定）する。このＸＹ平面は、自車両の車幅方向（横方向）をＸ軸、自車両の車長方向（前方方向）をＹ軸、としたものである。ミリ波レーダ２により物体の幅方向において複数の検出点が得られた物体について、物体の検出点Ｐｒは、例えば、それらの複数の検出点の中央に設定される。

また、このＸＹ平面では、自車両の先端位置（ミリ波レーダ２が設けられた位置）が基準点Ｐｏとして設定され、物体の検出点Ｐｒは基準点Ｐｏに対する相対位置を表す。なお、図３は、自車両の前方かつ右寄りに位置する物体の例である。また、このＳ１１０において、物体の検出点Ｐｒに加え、物体との相対速度等を算出してもよい。また、以下の説明では、Ｓ１１０で検出した物体（ミリ波レーダ２による検出情報に基づいて検出した物体）を「レーダ物体」という。

続いて、図３に示すように、Ｓ１１０で算出したレーダ物体の検出点Ｐｒを中心とするレーダ誤差領域２１を設定する（Ｓ１２０）。具体的には、衝突軽減ＥＣＵ７は、レーダ物体の検出点ＰｒのＸ座標およびＹ座標を基準として、Ｘ座標およびＹ座標のそれぞれについて、ミリ波レーダ２の特性に基づきあらかじめ設定されている想定誤差分（Δθ）の幅を持たせた領域を、レーダ誤差領域２１として設定する。

続いて、単眼カメラ３から送信される画像信号（単眼カメラ３による撮像画像）に基づいて、物体を検出する（Ｓ１３０）。具体的には、衝突軽減ＥＣＵ７は、画像信号の表す撮像画像を解析して物体を識別する。この識別は、例えば、あらかじめ登録されている物体モデルを用いたマッチング処理により行われる。

物体モデルは、物体の種類（車両、歩行者等）ごとに用意されているため、物体の種類も特定される。そして、衝突軽減ＥＣＵ７は、撮像画像における物体の上下方向の位置に基づいて、前述したＸＹ平面におけるＹ座標を特定し、撮像画像における物体の左右方向の位置に基づいて、その物体の水平方位位置（自車両の前方方向を基準とする角度位置）を特定する。

すなわち、自車両の前方方向における物体の位置が遠い（Ｙ座標が大きい）ほど、撮像画像におけるその物体の下端位置が高くなる傾向にある。このため、撮像画像における物体の下端位置の高さに基づいて、Ｙ座標を特定することができる。ただし、このような特定方法は、物体の下端位置が正確に検出されない場合に、Ｙ座標の検出精度が下がるという特性がある。

また、自車両の前方方向（詳細にはＸ＝０の直線）を基準とする物体の角度方向のずれ（傾き）が大きいほど、単眼カメラ３の無限遠点（ＦＯＥ：ＦｏｃｕｓｏｆＥｘｐａｎｓｉｏｎ）を基準とするその物体の左右方向へのずれが大きくなる傾向にある。このため、撮像画像における無限遠点から物体の中心を通る鉛直線までの距離に基づいて、物体の水平方位位置を特定することができる。

つまり、このＳ１３０においては、図３に示すように、ＸＹ平面における物体のＹ座標および水平方位位置（角度位置）を、ＸＹ平面における物体の検出点Ｐｉとして特定する。なお、物体の検出点Ｐｉは、例えば物体の幅方向の中心に設定される。また、物体の検出点Ｐｉは基準点Ｐｏに対する相対位置を表す。なお、以下の説明では、Ｓ１３０で検出した物体（単眼カメラ３による撮像画像に基づいて検出した物体）を「画像物体」という。

続いて、図３に示すように、Ｓ１３０で算出した画像物体の検出点Ｐｉを中心とする画像誤差領域２２を設定する領域設定処理を実施する（Ｓ１４０）。この処理は、検出点ＰｉのＹ座標および水平方位位置を基準として、ＰｏからＰｉを見た方向である奥行き方向（或いはＹ座標方向）および水平方位方向のそれぞれについて、単眼カメラ３の特性に基づき想定誤差分の幅を持たせた領域を、画像誤差領域２２として設定する処理である。

特に本処理では、水平方位方向の想定誤差分の幅については、予め設定された値とし、奥行き方向の幅を状況に応じて変更する。ここで、撮像画像から画像物体の位置を検出する際には、図４に示すような誤差要因が存在する。

誤差要因には、まず物体の下端位置ずれ（下端位置の誤差）が挙げられる。下端位置ずれとは、実際の物体の下端の位置を表すエッジ（隣接する画素の輝度の差が所定値以上となる部位）が正確に得られない場合において、正しい物体の下端位置と誤検出された物体の下端位置との誤差を示す。

例えば、図５に示すように、正しい物体の下端位置に対して、撮像画像の上側に下端位置２６が検出されると、この物体の位置が誤差分だけ遠くに認識される。また、正しい物体の下端位置に対して、撮像画像の下側に下端位置２７が検出されると、この物体の位置が誤差分だけ近くに認識される。

また、誤差要因には、撮像画像中におけるＦＯＥの位置ずれも挙げられる。ＦＯＥの位置ずれには、ピッチング（自車両の前後方向の揺れ）等に起因する「動的ＦＯＥずれ」や、単眼カメラ３の搭載ずれ（軸ずれ）、自車両に搭載された荷物の重さによる車両全体の傾きを表す積載傾き等に起因する「静的ＦＯＥずれ」等が挙げられる。

この「静的ＦＯＥずれ」については、衝突軽減処理とは別に、衝突軽減ＥＣＵ７が図６に示すＦＯＥ学習処理を実施することで求められる。ＦＯＥ学習処理では、図６に示すように、まず、オプティカルフローによる学習を開始する（Ｓ３１０）。

この処理では、図７に示すように、例えば、撮像画像のエッジに多数の特徴点を設定し、これら多数の特徴点が時系列に従ってどのように移動するかをベクトルとして求める。つまり、オプティカルフローを演算する。そして、オプティカルフローを用いてＦＯＥの位置を求める。

例えば、このオプティカルフローにおいて、白線や樹木等の静止物は、ＦＯＥから出現するように移動することが検出される。また、飛び出し歩行者や自転車等の撮像画像左右から移動してくる移動物は、ＦＯＥとは異なる消失点に対して移動するよう検出される。つまり、物体の出現点を求めれば、ＦＯＥの位置が分かる。オプティカルフローを用いてＦＯＥの位置を検出する処理は、数フレーム分の撮像画像についての画像処理を行うことで完了するため、比較的短時間でＦＯＥの位置を推定できる。

続いて、白線認識によるＦＯＥの位置の学習を開始する（Ｓ３２０）。この処理では、例えば図７に示すような撮像画像から自車両の左右に位置する白線を認識し、これらの白線の延長線上の交点を求めることによってＦＯＥの位置を推定する。このように白線の位置に基づいてＦＯＥの位置を求める処理では、ＦＯＥの位置を精度よく求められるが、自車両が起伏のない直線道路を走行しており、かつ自車両の左右に白線が存在している必要があるため、ＦＯＥの位置の推定に時間が掛かることがある。

続いて、オプティカルフローによるＦＯＥの位置の学習が終了（完了）したか否かを判定する（Ｓ３３０）。オプティカルフローによるＦＯＥの位置の学習が終了していれば（Ｓ３３０：ＹＥＳ）、ＦＯＥの位置をＲＡＭ等のメモリに記録するとともに、メモリ内において学習段階１の完了フラグをセットする（Ｓ３４０）。この処理が終了すると、Ｓ３５０の処理に移行する。

また、オプティカルフローによるＦＯＥの位置の学習が終了していなければ（Ｓ３３０：ＮＯ）、白線認識によるＦＯＥの位置の学習が終了したか否かを判定する（Ｓ３５０）。白線認識によるＦＯＥの位置の学習が終了していなければ（Ｓ３５０：ＮＯ）、Ｓ３３０の処理に戻る。

また、白線認識によるＦＯＥの位置の学習が終了していれば（Ｓ３５０：ＹＥＳ）、ＦＯＥの位置をＲＡＭ等のメモリに記録するとともに、メモリ内において学習段階２の完了フラグをセットする（Ｓ３６０）。このような処理が終了すると、ＦＯＥ学習処理を終了する。なお、ＦＯＥ学習処理は、一定時間毎、或いは任意のタイミングにおいて、繰り返し実施されることで、ＦＯＥの位置をメモリにおいて蓄積する。

このようにして得られたＦＯＥの位置と、予め設定された基準位置との差が「静的ＦＯＥずれ」として認識される。
図２において、Ｓ１４０の画像物体の領域設定処理では、これらの誤差要因を加算することで得られる値に従って、画像誤差領域２２の奥行き方向の大きさが設定されることになる。すなわち、領域設定処理では、図８に示すように、まず、幅（方位）方向における画像座標誤差の探索範囲を設定する（Ｓ４１０）。

この処理では、ミリ波レーダ２の場合と同様に、あらかじめ設定されている想定誤差分の幅を持たせた領域を、画像誤差領域２２（の幅）として設定する。続いて、ＦＯＥ学習実施結果を取得する（Ｓ４２０）。この処理では、メモリに記録されたＦＯＥの位置、および学習段階を示すフラグ（段階１完了フラグ、段階２完了フラグ）の値を取得する（Ｓ４３０）。

そして、フラグの値に基づいて、ＦＯＥ学習段階２が完了したか否か（Ｓ４３０）、ＦＯＥ学習段階１が完了したか否か（Ｓ４５０）を判定する。学習段階２が完了していれば（Ｓ４３０：ＹＥＳ）、学習段階２が完了したときの座標変換誤差の探索範囲を設定する（Ｓ４４０）。

また、学習段階１だけが完了していれば（Ｓ４３０：ＮＯ、Ｓ４５０：ＹＥＳ）、学習段階１が完了したときの座標変換誤差の探索範囲を設定する（Ｓ４６０）。また、いずれの学習段階も完了していなければ（Ｓ４３０：ＮＯ、Ｓ４５０：ＮＯ）、学習が未完了であるときの座標変換誤差の探索範囲を設定する（Ｓ４７０）。

ここで、ＦＯＥの位置の誤差（「静的ＦＯＥずれ」）は、学習段階２が完了したときが最も小さく、学習段階１だけが完了したときには学習段階２が完了したときよりもやや大きくなり、学習未完了であるときにはさらに大きくなる。よって、座標変換誤差の探索範囲は、学習段階２が完了したときが最も小さく、学習段階１だけが完了したときには学習段階２が完了したときよりもやや大きく、学習未完了であるときにはさらに大きく設定される。

続いて、ずれ方向設定処理を実施する（Ｓ４８０）。ずれ方向設定処理は、基準に対してＦＯＥがずれた方向に応じて、探索範囲の位置をシフトさせる処理である。詳細には、図９に示すように、まず、ＦＯＥのずれ量およびずれ方向を推定する（Ｓ６１０）。

この処理では、ＦＯＥのずれのうちの、撮像画像の上下方向についてのずれを考慮する。前述の処理によってメモリには、ＦＯＥの位置が蓄積されているので、基準に対するＦＯＥの位置のずれ量を求めることができる。

基準に対するＦＯＥの位置のずれの大小は、例えば図１０〜図１２に示すような分布を用いて表すことができる。なお、図１０〜図１２において、横軸は、ある距離に位置する物体のレーダ物体に対する画像物体の距離の差を示し、縦軸は、物体の検出回数を示している。

例えば、ＦＯＥの位置が下方向にずれている場合には、図１０に示すように、レーダ物体に対して画像物体がより近くに検出されることが分かる。また、ＦＯＥの位置が概ねずれていない場合には、図１１に示すように、レーダ物体と画像物体とは概ね同じ距離に検出されることが分かる。また、ＦＯＥの位置が上方向にずれている場合には、図１２に示すように、レーダ物体に対して画像物体がより遠くに検出されることが分かる。

続いて、ＦＯＥの位置のずれがあるか否かを判定する（Ｓ６２０）。ＦＯＥの位置のずれがなければ（Ｓ６２０：ＮＯ）、ＦＯＥずれなし時の探索範囲を設定する（Ｓ７５０）。

すなわち、図３に示すように、画像物体Ｐｉの周囲に設ける画像誤差領域２２の奥行き方向の長さ（Δｄ１＋Δｄ２）について、画像物体Ｐｉの手前側の誤差領域の長さΔｄ１と、画像物体Ｐｉの奥側の誤差領域の長さΔｄ２とが等しくなるよう設定する。なお、Δｄ１およびΔｄ２については、後述するＳ５００による処理後の最終的な画像誤差領域２２における設定を示す。

また、ＦＯＥの位置のずれがあれば（Ｓ６２０：ＹＥＳ）、ＦＯＥの位置のずれ方向について判定する（Ｓ６３０）。ＦＯＥの位置のずれが上方向へのずれであれば（Ｓ６３０：ＹＥＳ）、このずれ量と予め設定されたずれ閾値とを比較する（Ｓ６４０）。

ずれ量がずれ閾値以上であれば（Ｓ６４０：ＹＥＳ）、ＦＯＥが上向きずれであり、かつずれ量が大きいときの探索範囲の設定を行う（Ｓ７１０）。この処理では、図１３に示すように、画像誤差領域２２を奥側（自車両から遠ざかる方向）に移動（オフセット）させる。この結果、画像物体Ｐｉの手前側の誤差領域の長さΔｄ１が、画像物体Ｐｉの奥側の誤差領域の長さΔｄ２よりも短く設定されることになる。

つまり、ＦＯＥが上向きずれであるときにおいて、レーダ物体と画像物体とが同一の物体である場合、レーダ物体が画像物体よりも奥側に検出され易いため、奥側の領域が広くなるよう設定する。

また、ずれ量が閾値未満であれば（Ｓ６４０：ＮＯ）、ＦＯＥが上向きずれであり、かつずれ量が小さいときの探索範囲の設定を行う（Ｓ７２０）。この処理でも、図１３に示すように、画像誤差領域２２を奥側に移動させる。ただし、移動させる量は、ＦＯＥが上向きずれであり、かつずれ量が大きいときの探索範囲の設定よりも小さな量になる。

また、Ｓ６３０の処理において、ＦＯＥの位置のずれが下方向へのずれであれば（Ｓ６３０：ＮＯ）、Ｓ６４０の処理と同様に、このずれ量と予め設定されたずれ閾値とを比較する（Ｓ６５０）。

ずれ量がずれ閾値以上であれば（Ｓ６５０：ＹＥＳ）、ＦＯＥが下向きずれであり、かつずれ量が大きいときの探索範囲の設定を行う（Ｓ７３０）。この処理では、図１４に示すように、画像誤差領域２２を手前側（自車両に近づく方向）に移動させる。この結果、画像物体Ｐｉの手前側の誤差領域の長さΔｄ１が、画像物体Ｐｉの奥側の誤差領域の長さΔｄ２よりも長く設定されることになる。

つまり、ＦＯＥが下向きずれであるときにおいて、レーダ物体と画像物体とが同一の物体である場合、レーダ物体が画像物体よりも手前側に検出され易いため、手前側の領域が広くなるよう設定する。

また、ずれ量が閾値未満であれば（Ｓ６５０：ＮＯ）、ＦＯＥが下向きずれであり、かつずれ量が小さいときの探索範囲の設定を行う（Ｓ７４０）。この処理でも、図１４に示すように、画像誤差領域２２を手前側に移動させる。ただし、移動させる量は、ＦＯＥが下向きずれであり、かつずれ量が大きいときの探索範囲の設定よりも小さな量になる。

このような処理が終了すると、ずれ方向設定処理を終了する。続いて、図８に戻り、画像座標誤差の探索範囲と座標変換誤差の探索範囲との和を、画像誤差領域２２の奥行き方向の長さとして設定する（Ｓ５５０）。

画像座標誤差とは、物体の下端位置のずれに相当する。物体までの距離が大きくなるにつれてこの下端位置のずれに対応する探索範囲を大きく設定する。物体の下端位置のずれに対する探索範囲は、例えば、図１５に示すように、物体の距離が３０ｍ程度までは物体までの距離が大きくなるにつれて次第に大きく設定され、物体の距離が３０ｍ程度を超えると大きさが一定とされる。

また、座標変換誤差とは、ＦＯＥの位置のずれに相当する。物体までの距離が大きくなるにつれてこのＦＯＥの位置ずれに対応する探索範囲を大きく設定する。また、ＦＯＥの位置ずれに対応する探索範囲は、ＦＯＥの位置ずれ量が大きくなるにつれてより大きく設定される。ＦＯＥの位置ずれに対応する探索範囲は、例えば、図１６に示すように、物体の距離が３０ｍ程度までは物体までの距離が大きくなるにつれて次第に大きく設定され、物体の距離が３０ｍ程度を超えると大きさが一定とされる。

そして、図１７に示すように、図１５および図１６にて示した探索範囲の和が、画像誤差領域２２における奥行き方向の長さ（Δｄ１＋Δｄ２）として設定される。ただし、画像誤差領域２２における奥行き方向の長さは、学習状態に応じてその長さの倍率（乗じる係数）が設定される。

例えば、Ｓ４４０の処理において学習段階２が完了したときの座標変換誤差の探索範囲が設定されると、この係数を最も小さな値（例えば、０．８）に設定する。つまり、探索範囲の和に対して係数を乗じることで最終的な画像誤差領域２２における奥行き方向の長さが設定される。

また、例えば、Ｓ４７０の処理において学習が未完了であるときの座標変換誤差の探索範囲が設定されると、この係数を最も大きな値（例えば、１．２）に設定する。また、例えば、Ｓ４６０の処理において学習段階２が完了したときの座標変換誤差の探索範囲が設定されると、この係数をこれらの中間値（例えば、１．０）に設定する。

このようにして、学習状態に応じてＦＯＥの位置が精度よく求められるにつれて、画像誤差領域２２が小さくなるようにする。
このような処理が終了すると、領域設定処理を終了する。続いて、図２に戻り、ＸＹ平面において、レーダ誤差領域２１と画像誤差領域２２とに重複部（重なり領域）が存在するか否かを判定する（Ｓ１６０）。

重複部が存在すると判定した場合（Ｓ１６０：ＹＥＳ）、レーダ物体と画像物体とが同一の物体であると判定する（Ｓ１７０）。この場合、レーダ物体の検出点ＰｒのＹ座標と画像物体の水平方位位置とで特定される位置を、ＸＹ平面におけるその物体（同一と判定された物体）の位置とする。

続いて、レーダ物体と画像物体とが同一の物体であることの信頼度（判定結果の信頼度）を算出する（Ｓ１８０）。本実施形態では、レーダ物体の検出点Ｐｒの水平方位位置と画像物体の検出点Ｐｉの水平方位位置との角度差を、信頼度として算出する。つまり、角度差が小さいほど、高い信頼度を表す。

なお、前述したＳ１６０で重複部が存在しないと判定した場合（Ｓ１６０：ＮＯ）、衝突軽減ＥＣＵ７は、レーダ物体と画像物体とが同一の物体であると判定しない（異なる物体であると判定する）。この場合、Ｓ１９０に移行する。

続いて、検出した物体の位置および信頼度に応じた衝突軽減制御を行う（Ｓ１９０）。例えば、物体に衝突する可能性がある場合に、報知装置６へ警報信号を送信して、運転者に対する報知を行わせる。また、物体に衝突する可能性が高い場合には、エンジンＥＣＵ５へ内燃機関の駆動力を減少させる指示を行い、また、ブレーキＥＣＵ４へ自車両の制動力を増加させる指示を行う。

そして、衝突軽減ＥＣＵ７は、信頼度に応じて制御態様を異ならせる。例えば、信頼度が高い場合には、信頼度が低い場合と比較して、制御のタイミングを早くする。
［本実施形態による効果］
本発明の衝突軽減装置１において衝突軽減ＥＣＵ７は、レーダ２による検出情報に基づいて検出された第１の物体について、車両の車幅方向をＸ軸、車両の車長方向をＹ軸、としたＸＹ平面における基準点に対する第１の物体の相対位置を表す検出点である第１の検出点を含む第１領域を特定する。また、単眼カメラ３による撮像画像に基づいて検出された第２の物体について、ＸＹ平面における基準点に対する第２の物体の相対位置を表す検出点である第２の検出点を含む第２領域を特定する。

そして、撮像画像上において無限遠点の位置を推定する学習の進捗状態を取得し、ＸＹ平面において、第１領域と第２領域とに重複部が存在することを条件として、第１の物体と第２の物体とが同一の物体であると判定する。ここで、第２領域を特定する際には、学習の進捗状態に応じて、第２領域における基準点に対する第２の検出点の方向を表す奥行き方向または車長方向の長さを設定する。

このような物体検出装置によれば、同一物体であるか否かの判定を良好に実施することができる。
また、上記の衝突軽減装置１において衝突軽減ＥＣＵ７は、学習の進捗状態によって設定される値と、第２の物体の位置の検出予測誤差に基づく値と、を加算した値を奥行き方向または車長方向の長さとして設定する。

すなわち、撮像画像における物体の位置の誤差は、無限遠点の位置の誤差と、物体の位置を示す撮像画像中のエッジを特定する際の誤差とに分解できるため、これらの誤差に関する値を別々に演算して加算するようにしている。

このような衝突軽減装置１によれば、学習の進捗状態によって設定される値と、第２の物体の位置の検出予測誤差に基づく値とを別々に演算することができるので、第２領域における奥行き方向または車長方向の長さを適切に設定することができる。

ところで、撮像画像上においては、第２の物体までの距離が大きくなるにつれて１ピクセルあたりの距離が大きくなる。このため、上記の衝突軽減装置１において衝突軽減ＥＣＵ７は、第２の物体までの距離が大きくなるにつれて奥行き方向または車長方向の長さも長く設定する。

このような衝突軽減装置１によれば、より適切に第２領域を設定することができる。
また、上記の衝突軽減装置１において衝突軽減ＥＣＵ７は、撮像画像上において、予め設定された基準位置に対する無限遠点の位置の差を取得し、無限遠点の位置の差に応じてＸＹ平面において第２領域の位置をシフト（移動）させる。

このような衝突軽減装置１によれば、無限遠点の位置の差に基づいて何れの方向に誤差が生じやすいかを推定することができ、この方向に第２領域の位置をシフトさせることができる。よって、第２領域を適切に設定することができるので、同一物体であるか否かの判定を良好に実施することができる。

また、上記の衝突軽減装置１において衝突軽減ＥＣＵ７は、撮像画像上において、基準位置に対する無限遠点の位置の上下方向の差を取得し、無限遠点の位置が基準位置に対して上方向にずれている場合に、第２領域を基準点から見て第２の検出点の奥側またはＸＹ平面におけるＹ方向に移動させ、無限遠点の位置が基準位置に対して下方向にずれている場合に、第２領域を基準点から見て第２の検出点の手前側またはＸＹ平面における−Ｙ方向に移動させる。

このような衝突軽減装置１によれば、無限遠点の位置のずれを第２領域の位置に適切に反映させることができる。
［その他の実施形態］
本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を、課題を解決できる限りにおいて省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

上述した衝突軽減装置１の他、当該衝突軽減装置１を構成要素とするシステム、当該衝突軽減装置１としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、衝突軽減方法など、種々の形態で本発明を実現することもできる。

例えば、上記実施形態において衝突軽減ＥＣＵ７は、撮像画像上において、基準位置に対する無限遠点の位置の上下方向の差を取得し、無限遠点の位置が基準位置に対して上方向にずれている場合に、第２領域を基準点から見てＹ方向に移動させ、無限遠点の位置が基準位置に対して下方向にずれている場合に、第２領域を基準点から見てＸＹ平面における−Ｙ方向に移動させてもよい。

このようにしても、無限遠点の位置のずれを第２領域の位置に適切に反映させることができる。
［実施形態の構成と本発明の手段との対応関係］
上記実施形態において、衝突軽減ＥＣＵ７は本発明でいう物体検出装置に相当する。また、上記実施形態において衝突軽減ＥＣＵ７が実行する処理のうちの、Ｓ１１０、Ｓ１２０の処理は本発明でいう第１特定手段に相当し、上記実施形態におけるＳ１３０、Ｓ１４０：Ｓ４３０〜Ｓ５００の処理は本発明でいう第２特定手段に相当する。また、上記実施形態におけるＳ１６０の処理は本発明でいう判定手段に相当し、上記実施形態におけるＳ４２０の処理は本発明でいう学習状態取得手段に相当し、上記実施形態におけるＳ６１０の処理は本発明でいう位置差取得手段に相当する。

さらに、上記実施形態におけるＳ６２０〜Ｓ７５０の処理は本発明でいう領域シフト手段に相当する。

１…衝突軽減装置、２…ミリ波レーダ、３…単眼カメラ、４…ブレーキＥＣＵ、５…エンジンＥＣＵ、６…報知装置、７…衝突軽減ＥＣＵ、２１…レーダ誤差領域、２２…画像誤差領域。

Claims

車両に搭載される物体検出装置（７）であって、
レーダ（２）による検出情報に基づいて検出された第１の物体について、前記車両の車幅方向をＸ軸、前記車両の車長方向をＹ軸、としたＸＹ平面における基準点に対する前記第１の物体の相対位置を表す検出点である第１の検出点を含む第１領域を特定する第１特定手段（Ｓ１１０、Ｓ１２０）と、
単眼カメラ（３）による撮像画像に基づいて検出された第２の物体について、前記ＸＹ平面における前記基準点に対する前記第２の物体の相対位置を表す検出点である第２の検出点を含む第２領域を特定する第２特定手段（Ｓ１３０、Ｓ１４０：Ｓ４３０〜Ｓ５００）と、
撮像画像上において無限遠点の位置を推定する学習の進捗状態を取得する学習状態取得手段（Ｓ４２０）と、
前記ＸＹ平面において、前記第１領域と前記第２領域とに重複部が存在することを条件として、前記第１の物体と前記第２の物体とが同一の物体であると判定する判定手段（Ｓ１６０）と、
を備え、
前記第２特定手段は、前記学習の進捗状態に応じて、前記第２領域における前記基準点に対する第２の検出点の方向を表す奥行き方向または前記車長方向の長さを設定すること
を特徴とする物体検出装置。
請求項１に記載の物体検出装置において、
前記第２特定手段は、前記学習の進捗状態によって設定される値と、前記第２の物体の位置の検出予測誤差に基づく値と、を加算した値を前記奥行き方向または前記車長方向の長さとして設定すること
を特徴とする物体検出装置。
請求項１または請求項２に記載の物体検出装置において、
前記第２特定手段は、前記第２の物体までの距離が大きくなるにつれて前記奥行き方向または前記車長方向の長さを長く設定すること
を特徴とする物体検出装置。
請求項１〜請求項３の何れか１項に記載の物体検出装置において、
撮像画像上において、予め設定された基準位置に対する無限遠点の位置の差を取得する位置差取得手段（Ｓ６１０）と、
前記位置の差に応じて前記ＸＹ平面において前記第２領域の位置をシフトさせる領域シフト手段（Ｓ６２０〜Ｓ７５０）と、
を備えたことを特徴とする物体検出装置。
請求項４に記載の物体検出装置において、
前記位置差取得手段は、撮像画像上において、前記基準位置に対する無限遠点の位置の上下方向の差を取得し、
前記領域シフト手段は、前記無限遠点の位置が前記基準位置に対して上方向にずれている場合に、前記第２領域を前記基準点から見て前記第２の検出点の奥側または前記ＸＹ平面におけるＹ方向に移動させ、前記無限遠点の位置が前記基準位置に対して下方向にずれている場合に、前記第２領域を前記基準点から見て前記第２の検出点の手前側または前記ＸＹ平面における−Ｙ方向に移動させること
を特徴とする物体検出装置。