JP7900611B2 - 物体検知装置 - Google Patents

Description

本発明は車両用の物体検知装置に関する。

自動車に各種センサを搭載して、自車両周辺を監視することによって安全を確保する運転支援技術の開発が盛んにおこなわれている。例えば、カメラにより車両前方を監視し、白線を認識することによって自車両が走行レーンを逸脱しないように警報するレーン逸脱警報装置、または前方障害物を監視して、衝突の可能性がある場合に自動で制動を行う衝突軽減ブレーキなどがあげられる。

これらの支援技術は車両の前方のみならず、後方、側方などを監視するように拡大している。それに伴い、検出手段もカメラだけではなく、レーダー、ソナーなどを適切に組み合わせて車両にとって注意を必要とする物体を監視している。これはＦＵＳＩＯＮ技術と呼ばれ、センサの組み合わせや、各センサの認識技術処理の最適化が重要である。そして、監視可能な方向や範囲、精度、環境条件がセンサそれぞれ異なっていることから、物標（監視対象）が車両に接近している際に一つのセンサからもう一つのセンサに当該監視対象を引き継ぐ必要性が生じ得る。

例えば、特許文献１に記載の技術では、ステレオカメラと単眼カメラを使った車両後方監視について、ステレオカメラの認識範囲にいる後続車両の車幅（又は高さ）を求めて記憶するとともに、当該後続車両がステレオカメラの認識範囲から単眼カメラの認識範囲に移動したときに、記憶された当該車幅（又は高さ）と、単眼カメラの認識結果から求めた当該後続車両の車幅（又は高さ）とに基づいて、当該後続車両との距離を求めている。

特開２００８－１２３４６２号公報

ところで、検知対象の物体が第１のセンサの認識範囲から第２のセンサの認識範囲に移動する際に各センサに対する当該物体の姿勢が変化するように当該物体が移動すると、各センサで検出される当該物体の幅や高さ（各センサでの見かけの寸法）が大きく変化したように認識される場合がある。

例えば、自動二輪車をその前方から見たときの幅は自動車のそれよりも狭いが、車線変更等により各センサからその側方が見えるような動きをした場合、各センサでの見かけの車幅の変化量が自動車よりも大きくなる傾向がある。このような状況の下、特許文献１の技術で単眼カメラの認識結果から車幅に基づいて距離を演算すると、ステレオカメラの認識結果から求めた車幅よりも大幅に大きく変化したように単眼カメラで車幅を認識してしまい、当該物体との距離が実際よりも近い値で算出される可能性がある。また、逆に車幅が小さく変化したように単眼カメラが認識した場合は、当該物体との距離が実際よりも遠い値で算出される可能性がある。すなわち、特許文献１に基づく距離演算は、実際の物体との距離に差異が発生する可能性があり改善の余地がある。なお、この問題は、物体の画像上の寸法変化に起因した距離誤差が出やすいという単眼カメラの特徴に起因しており、上記で指摘した物体の幅（車幅）の変化だけでなく、物体の高さが見かけ上変化したようにセンサで検出される場合についても同様に指摘できる。

本発明の目的は、第１のセンサから第２のセンサへの距離演算の引継ぎの際に自車両と検知物体との演算距離が実際の距離と乖離することを抑制できる物体検知装置を提供することにある。

本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、少なくとも１つのプロセッサを備える車両用の物体検知装置であって、前記プロセッサは、車両に搭載された第１センサの検出結果から物体の複数の特徴量を演算し、前記第１センサから得られる前記複数の特徴量の変化量をそれぞれ演算し、前記車両に搭載された第２センサの検出結果から演算される前記物体の特徴量のうち、前記車両と前記物体との相対距離の演算に利用する基準特徴量を前記複数の特徴量の変化量に基づいて決定し、前記物体が前記第１センサの認識範囲から前記第２センサの認識範囲に移動したとき、前記第２センサの検出結果から前記基準特徴量を演算し、前記基準特徴量と、前記第１センサから得られた前記複数の特徴量のうち前記基準特徴量に対応する特徴量とに基づいて前記相対距離を演算するものとする。

本発明によれば、第１のセンサから第２のセンサへの距離演算の引継ぎの際に自車両と検知物体との演算距離が実際の距離と乖離することを抑制できる。

本発明の第１実施形態に係る物体検知装置とその周辺装置を含む構成図である。 後方監視のステレオカメラ１０１，単眼カメラ１０２の設置場所の一例を示す図である。 ＥＣＵ１０５のソフトウェア構成図である。 ２次元バウンディングボックスの説明図。 第１実施形態に係るＥＣＵ１０５（プロセッサ１０５ａ）で実行される後方監視の処理フローを示している。 第１実施形態に係る後方監視の動作説明図を示す。 第２実施形態に係るＥＣＵ１０５（プロセッサ１０５ａ）で実行される後方監視の処理フローを示している。 重み付けマップの一例を示す図である。 重み付けマップの一例を示す図である。 重み付けマップの一例を示す図である。 ３次元バウンディングボックスの説明図。 第２実施形態に係る後方監視の処理フローを示す図である。 前方監視のステレオカメラ１０１，単眼カメラ１０２の設置場所の一例を示す図である。 第４実施形態に係る前方監視の動作説明図を示す図である。

以下、本発明にかかる実施形態について図面を用いて説明する。本実施形態で対象とするのは、自動車、二輪車等、道路走行中に自車両に接近してくる物体の検知装置である。なお、以下では複数の実施形態について説明するが、各実施形態で共通する部分には同じ符号を付し、繰り返しの説明を省略することがある。なお、図面は説明をより明確にするため、実際の態様に比べて模式的に表される場合があるが、これはあくまで一例であって、本発明の解釈を限定するものではない。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る物体検知装置とその周辺装置を含む構成図である。本実施形態に係る物体検知装置は、第１センサ１０１と、第２センサ１０２と、第１処理回路１０３と、第２処理回路１０４と、電子制御装置（以下、ＥＣＵと称することがある）１０５とを備えている。ＥＣＵ１０５は、ＣＡＮインターフェース（ＣＡＮ ＩＦ）１０６を介して車両制御装置（他のＥＣＵ）１０７や報知装置（モニタやスピーカ等）１０８などと接続できる
第１センサ１０１は、自車両の後方を監視するために自車両に搭載されたセンサであり、ステレオカメラ、レーダー、ソナー、ＬｉＤＡＲ、及び単眼カメラのいずれかである。本実施形態では第１センサ１０１はステレオカメラとする。ステレオカメラ１０１のカメラ画像は、第１処理回路１０３で画像処理されてＥＣＵ１０５に入力される。

第２センサ１０２は、自車両の後側方を監視するために自車両に搭載されたセンサであり、単眼カメラであることが好ましい。単眼カメラ１０２のカメラ画像は第２処理回路１０４で画像処理されてＥＣＵ１０５に入力される。

ＥＣＵ１０５は、データの記憶装置であるメモリ１０５ｂと、メモリ１０５ｂに記憶されたプログラムに従って各種処理を実行する少なくとも１つのプロセッサ１０５ａとを備えており、第１処理回路１０３、第２処理回路１０４の処理結果（換言すると第１センサ１０１、第２センサ１０２の検出結果）を用いて自車両に接近してくる物体（例えば他車両）の情報をＥＣＵ１０５内で処理する。当該情報には自車両と当該物体との相対距離データが含まれる。そして、自車両後側方から接近してくる物体の情報を、ＣＡＮ ＩＦ１０６を通じてＣＡＮバスに流し、車両制御装置１０７や報知装置１０８に出力する。

ここでは、ステレオカメラ１０１及び単眼カメラ１０２からの信号を入力するそれぞれの信号入力部（図示しない）と、第１処理回路１０３及び第２処理回路１０４と、ＥＣＵ１０５，ＣＡＮ ＩＦ１０６を含むシステムを例として示すが、これらが一つのユニット内に収まっている装置であるとは限らない。例えばカメラ１０１，１０２とそれに対応する処理回路１０３，１０４がそれぞれ１つのユニットとして存在し、そこからＥＣＵ１０５を含む何らかの制御装置に信号線で結ばれていても良い。また、第１処理回路１０３や第２処理回路１０４がＥＣＵ１０５内に収められても良いし、第１処理回路１０３、第２処理回路１０４及びＥＣＵ１０５が車両制御装置１０７内に収められても良い。

図２は後方監視のステレオカメラ１０１，単眼カメラ１０２の設置場所の例を示す。ステレオカメラ１０１は、自車両２０１の後方を監視するために例えばリアバンパーに設置できる。一方、単眼カメラ１０２は、自車両後側方を監視するために例えばドアミラーに設置できる。図中の領域２０２－Ｓは、ステレオカメラ１０１の認識領域を示し、領域２０３－Ｍは単眼カメラ１０２の認識領域を示す。ここで認識領域とは、カメラ視野角や画角の場合もあるし、またカメラ視野角の中でも画像処理部が処理可能なエリアを示しても良い。但し、単眼カメラ１０２については、自車両２０１の映りこみが少なくなるように、光軸を自車両２０１からできるだけ離すように設置するのが望ましい。また、ステレオカメラ１０１では、ステレオ視できる範囲は左右カメラの視野が重なった斜線を付した領域２０２－Ｓとなる。ステレオカメラ１０１は自車２０１内に設置しても良い。例えば、リアシート側の天井に、リアウィンドウ越しに自車両後方を監視するように設置しても良い。これにより、雨天時に水滴や泥等がステレオカメラ１０１に付着することを避けることができる。

図３は、ＥＣＵ１０５のソフトウェア構成図をＥＣＵ１０５の内部に示した図である。ＥＣＵ１０５はメモリ１０５ｂ内に格納されたソフトウェアをプロセッサ１０５ａによって実行することで、第１特徴量演算部３０１、第２特徴量演算部３０２、センサ認識領域移動判定部３０３、物体距離推定部３０４、及び衝突危険度判定部３０５として機能し得る。

第１特徴量演算部３０１（プロセッサ１０５ａ）は、ステレオカメラ１０１の認識領域２０２－Ｓで検知した自車両後方を走行中の後続車に認識ＩＤを付与し、ステレオカメラ１０１の検出結果（カメラ画像）から当該後続車の複数の特徴量（幅及び高さ）を演算し、当該後続車両の移動によって発生する当該複数の特徴量の変化量を演算する。また、第１特徴量演算部３０１は、単眼カメラ１０２の検出結果から演算される後続車の特徴量のうち、自車両と後続車との相対距離の演算に利用する特徴量（以下、「基準特徴量」と称することがある）を当該後続車両の移動によって発生する前記複数の特徴量の変化量に基づいて決定することもできる。基準特徴量は、後続車が単眼カメラ１０２の認識領域２０３－Ｍに存在するときの相対距離の演算に利用される単眼カメラ１０２で得られる特徴量である。

後続車両の特徴量は、例えば、物体を検出する一般的な技術として知られているバウンディングボックス検知を用いて演算できる。第１特徴量演算部３０１（プロセッサ１０５ａ）は、ステレオカメラ１０１及び単眼カメラ１０２のカメラ画像の中にある物体に対して、図４に示すような当該物体（後続車両４０１）に外接する最小の四角形（長方形）で表示される枠線（２次元バウンディングボックスという）４０２をディープラーニング等を利用して付与する。そして、第１特徴量演算部３０１（プロセッサ１０５ａ）は、後続車両の幅と高さ（特徴量）を、２次元バウンディングボックスの幅と高さから演算することができる。また、第１特徴量演算部３０１（プロセッサ１０５ａ）は、当該後続車の移動によって発生する２次元バウンディングボックスの幅と高さの変化を監視することで後続車両の幅と高さ（特徴量）の変化量を演算することができる。演算した特徴量とその変化量のデータは、例えばセンサ認識領域移動判定部３０３や物体距離推定部３０４で用いられる。なお、バウンディングボックスの幅及び高さに代えて、ステレオカメラ１０１のカメラ画像における後続車の例えばエッジから当該後続車の幅や高さを演算しても良い。

第２特徴量演算部３０２（プロセッサ１０５ａ）は、単眼カメラ１０２の認識領域２０３－Ｍで検知した自車両後側方を走行中の後続車の複数の特徴量（幅及び高さ）を単眼カメラ１０２の検出結果（カメラ画像）から演算する。特徴量については第１特徴量演算部３０１と同様に演算でき、例えば２次元バウンディングボックスに基づいて演算できる。演算された特徴量には基準特徴量が含まれることになる。演算した特徴量のデータは、例えばセンサ認識領域移動判定部３０３や物体距離推定部３０４で用いられる。

センサ認識領域移動判定部３０３（プロセッサ１０５ａ）は、ステレオカメラ１０１の認識領域２０２－Ｓから単眼カメラ１０２の認識領域２０３－Ｍに同じ後続車が移動したか否かを判定し、同じ後続車が移動したと判定した場合には認識領域２０３－Ｍの当該後続車に、認識領域２０２－Ｓに存在したときと同じ認識ＩＤを付与する（認識ＩＤを引き継ぐ）。

物体距離推定部３０４（プロセッサ１０５ａ）は、センサ認識領域移動判定部３０３で後続車がステレオカメラの認識領域２０２－Ｓから単眼カメラ１０２の認識領域２０３－Ｍに移動したと判定されたとき、単眼カメラ１０２から得られる後続車両の特徴量のうち当該後続車両と自車との相対距離の演算に利用する基準特徴量と、ステレオカメラ１０１から得られた当該後続車両の複数の特徴量のうち基準特徴量に対応する特徴量とに基づいて、当該後続車両と自車との相対距離を演算する。

衝突危険度判定部３０５（プロセッサ１０５ａ）は、物体距離推定部３０４で演算された自車両と後続車との相対距離から、自車両と当該後続車が衝突する可能性の有無を判定し、当該判定結果から車両制御装置１０７による衝突回避制御の許可及び非許可をＣＡＮ ＩＦ１０６を介して送信する。衝突危険度判定部３０５は、その判定結果から衝突可能性があると判定された場合には、その旨を報知装置１０８に送信しても良い。

図５は、第１実施形態に係るＥＣＵ１０５（プロセッサ１０５ａ）で実行される後方監視の処理フローを示している。まず、ステレオカメラ１０１で自車両の後続車が検知されると、プロセッサ１０５ａは、当該後続車に認識ＩＤを付与し、ステレオカメラ１０１のカメラ画像を基に当該後続車の特徴量（幅及び高さ）を演算する（Ｓ５０１）。そして、プロセッサ１０５ａは、当該後続車の車線変更等による移動によって発生する当該特徴量（幅及び高さ）の変化量をステレオカメラ１０１のカメラ画像を基に演算する（Ｓ５０２）。

次に、プロセッサ１０５ａは、当該後続車の幅及び高さの変化量に基づいて、後続の処理で単眼カメラ１０２から得られる当該後続車の幅及び高さ（特徴量）のうち相対距離の演算に利用する基準特徴量（つまり、当該後続車の幅と高さのうちいずれか１つ）を決定する（Ｓ５０３）。本実施形態では、プロセッサ１０５ａは、ステレオカメラ１０１の認識領域２０２－Ｓの認識外となる直前までの間で、ステレオカメラ１０１から得られる当該後続車の特徴量のうち変化量が少ない特徴量（幅または高さ）を基準特徴量として選択している（Ｓ５０３）。その後、単眼カメラ１０２から得られる当該後続車の特徴量のうちＳ５０３で選択された特徴量に対応する特徴量がＳ５０６の相対距離の演算に利用されることになる。つまり、例えばＳ５０３でステレオカメラ１０１による特徴量のうち高さの変化量が少ないと判定された場合には、単眼カメラ１０２の画像によるＳ５０６の相対距離の演算には単眼カメラ１０２による高さが特徴量として利用される。

なお、ここで説明した単眼カメラ１０２の画像から基準特徴量（相対距離を演算する際に利用する特徴量）を選択する方法は一例であり、本実施形態の趣旨の再現が可能であれば、ほかの選択方法としても良い。例えば、ステレオカメラ１０１による特徴量の幅の変化量が所定の閾値を超えた場合は、単眼カメラ１０２による特徴量として高さを選択し、それを基準特徴量としても良い。

次に、プロセッサ１０５ａは、後続車がステレオカメラ１０１の認識領域２０２－Ｓから外れ、単眼カメラ１０２の認識領域２０３－Ｍへ移動したか否かを、後続車の認識ＩＤによって判定し（Ｓ５０４）、当該後続車が単眼カメラ１０２の認識領域２０３－Ｍに移動したと判定された場合にＳ５０５に移行する。例えば、ステレオカメラ１０１の認識領域２０２－Ｓ内で検知されていた所定の認識ＩＤの後続車が認識領域２０２－Ｓ外に移動したと判定され、かつ、それから間もなく単眼カメラ１０２の認識領域２０３－Ｍで後続車両が検知された場合には当該後続車に同じ認識ＩＤを引き継いで、認識領域２０２－Ｓから認識領域２０３－Ｍに当該認識ＩＤの後続車が移動したとみなす。

次に、後続車が単眼カメラ１０２の認識領域２０３－Ｍに移動したと判定した後には、プロセッサ１０５ａは、単眼カメラ１０２のカメラ画像を基に当該後続車の特徴量（幅及び高さ）を演算する（Ｓ５０５）。なお、相対距離の演算に用いる特徴量は既にＳ５０３で決定されているので、ここでは当該決定された特徴量だけを単眼カメラ１０２のカメラ画像から演算しても良い。

続いてプロセッサ１０５ａは、Ｓ５０５で演算した特徴量のうちＳ５０３で決定した特徴量に対応する特徴量と、下記の式（１）及び式（２）のいずれか１つとによって後側方に位置する後続車（物体）の相対距離を演算する（Ｓ５０６）。式（１）及び式（２）のどちらを相対距離の演算に利用されるかはＳ５０３で決定した特徴量に従う。決定された特徴量が「幅」の場合には式（１）が利用され、「高さ」の場合には式（２）が利用される。

下記式（１）は、Ｓ５０３で決定した特徴量が「幅」の場合に相対距離（第１相対距離）ｄｗを演算するための式である。式（１）におけるｄｗは自車両から後続車（物体）までの相対距離（第１相対距離）、ｆは単眼カメラ１０２の焦点距離、Ｗはステレオカメラ１０１で演算された当該後続車（物体）の幅、△ｘは単眼カメラ１０２の画像における当該後続車（物体）の幅を示す。

下記式（２）は、Ｓ５０３で決定した特徴量が「高さ」の場合に相対距離（第２相対距離）ｄｈを演算するための式である。式（２）におけるｄｈは自車両から後続車（物体）までの相対距離（第２相対距離）、ｆは単眼カメラ１０２の焦点距離、Ｈはステレオカメラ１０１で演算された当該後続車（物体）の高さ、△ｙは単眼カメラ１０２の画像における当該後続車（物体）の高さを示す。

次にプロセッサ１０５ａは、自車両と後側方車との相対距離ｄｗ，ｄｈの演算結果から、当該後側方車が自車両と衝突する可能性があるか否かを判定する（Ｓ５０７）。衝突する可能性があると判定された場合は、衝突を回避するための制御介入許可判断を実施して送信する（Ｓ５０８）。衝突する可能性が無いと判定された場合は、衝突を回避するための制御介入禁止判断を実施して送信する（Ｓ５０９）。

（動作）
図６は、本実施形態に係る後方監視の動作説明図を示す。図中の符号４０１－４０４は自車両２０１の後続車（自動二輪車）の位置を示しており、後続車は位置４０１から車線変更を経て位置４０４まで移動するものとする。

ステレオカメラ１０１は自車両後方の後続車を位置４０１で検知しており、プロセッサ１０５ａ（第１特徴量演算部３０１）は、当該後続車が位置４０１から位置４０２を経由して認識領域２０２－Ｓから外れるまでの間、後続車の特徴量（幅及び高さ）及びその変化量を演算する（Ｓ５０１，５０２）。この時にプロセッサ１０５ａ（第１特徴量演算部３０１）は、自車両２０１と後続車との相対速度及び相対位置を演算しても良い。なお、ステレオカメラ１０１で後続車を検知した時には、当該後続車に認識ＩＤを付与する。

次にプロセッサ１０５ａ（第１特徴量演算部３０１）は、位置４０１から位置４０２までを含む認識領域２０２－Ｓにおける後続車の特徴量（幅及び高さ）の変化に応じて、単眼カメラ１０２のカメラ画像を利用して相対距離を演算するための基準となる特徴量（幅また高さ）を決定する（Ｓ５０３）。

次に自車両２０１の後方の位置４０１を走行していた後続車が車線変更を開始し、自車両２０１の後側方の位置４０３に移動したとする。その際、プロセッサ１０５ａ（センサ認識領域移動判定部部３０３）は、ステレオカメラ１０１と単眼カメラ１０２で認識領域２０２－Ｓから認識領域２０３－Ｍに後続車が移動したことを判定する（Ｓ５０４）。ステレオカメラ１０１と単眼カメラ１０２のそれぞれで検知された後続車が同一であるかどうかは、例えば、ステレオカメラ１０１と単眼カメラ１０２の両カメラで、同時に検知している後続車の相対位置差が所定値以内であれば同一後続車であると判定できる。また同一後続車であれば認識ＩＤも受け渡す。

次に、自車両２０１の後側方の位置４０３の後続車が単眼カメラ１０２で検知された時に、当該後続車に関するデータをプロセッサ１０５ａ（第２特徴量演算部３０２）が演算する。この時に演算されるデータには、単眼カメラ１０２のカメラ画像から算出される後続車の特徴量（幅及び高さ）が含まれる（Ｓ５０５）。

プロセッサ１０５ａ（物体距離推定部３０４）は、例えば位置４０３で取得した単眼カメラ１０２による後続車の特徴量（幅Δｘ及び高さΔｙ）と、Ｓ５０３で選択されたステレオカメラ１０１による後続車の特徴量（幅Ｗまたは高さＨ）と、上記式（１）又は（２）とに基づいて、位置４０３の後続車と自車両２０１との相対距離ｄｗ，ｄｈを演算する（Ｓ５０６）。

後続車４０３と自車両２０１との相対距離ｄｗ，ｄｈの演算結果から、衝突の有無を判定する（Ｓ５０７）。その判定結果をＣＡＮ ＩＦ１０６から車両制御装置１０７及び報知装置１０８に送信する（Ｓ５０８，Ｓ５０９）。尚、後続車が位置４０４に移動して車線変更を完了しても単眼カメラ１０２による監視（相対距離の演算）は継続しても良い。

（効果）
（１）上記のように本実施形態では、プロセッサ１０５ａは、自車両２０１に搭載された第１センサ（ステレオカメラ１０１）の検出結果から物体（後続車）の複数の特徴量（幅及び高さ）を演算し、第１センサ（ステレオカメラ１０１）から得られる複数の特徴量（幅及び高さ）の変化量をそれぞれ演算し、自車両２０１に搭載された第２センサ（単眼カメラ１０２）の検出結果から演算される物体の特徴量のうち、自車両２０１と物体（後続車）との相対距離の演算に利用する基準特徴量を前記複数の特徴量の変化量に基づいて決定し、物体（後続車）が第１センサ（ステレオカメラ１０１）の認識範囲２０２－Ｓから第２センサ（単眼カメラ１０２）の認識範囲２０３－Ｍに移動したとき、第２センサ（単眼カメラ１０２）の検出結果から基準特徴量を演算し、基準特徴量と、第１センサ（ステレオカメラ１０１）から得られた複数の特徴量のうち基準特徴量に対応する特徴量とに基づいて相対距離を演算している。

このように、第２センサ（単眼カメラ１０２）から得られる物体の特徴量のうち第１センサ（ステレオカメラ１０１）から得られる当該物体の特徴量の変化量から決定した特徴量（基準特徴量）と、第１センサ（ステレオカメラ１０１）から得られた当該物体の特徴量とに基づいて、第２センサ（単眼カメラ１０２）の認識範囲２０３－Ｍでの相対距離を演算すると、第１センサ（ステレオカメラ１０１）から得られた正確な当該物体の特徴量を利用しつつ、第２センサで得られる特徴量のうち第１センサで得られた特徴量の変化量に応じた特徴量（基準特徴量）に基づいて相対距離を演算できるので、第２センサによる相対距離の演算精度を向上させることができる。つまり、第１センサ（ステレオカメラ１０１）から第２センサ（単眼カメラ１０２）への距離演算の引継ぎの際に自車両と後続車との相対距離が実際の距離と乖離することを抑制できる。また、相対距離演算精度が向上するので衝突回避動作の誤作動または不作動を低減できる。

なお、上記（１）の演算で算出・利用する物体の特徴量は、当該物体の寸法に係るものであることが好ましい。

（２）上記（１）において、第１センサは、ステレオカメラ、レーダー、ソナー、ＬｉＤＡＲ、及び単眼カメラのいずれかであり、第２センサは、単眼カメラであることが好ましい。なお、ステレオカメラ１０１に代えて、レーダー、ソナー、ＬｉＤＡＲ、及び単眼カメラのいずれかのセンサを利用しても良いが、金銭的コストと演算精度のバランスを考慮するとステレオカメラ１０１を用いるのが最も好ましい（以下の各実施形態でも同様とする）。

（３）上記（１）において、前記複数の特徴量は、前記物体の幅及び高さであり、プロセッサ１０５ａは、ステレオカメラ１０１（第１センサ）から得られた前記物体の幅及び高さの変化量に基づいて基準特徴量を決定することが好ましい。

（４）上記（１）において、前記複数の特徴量は、前記物体の幅及び高さであり、プロセッサは１０５ａ、前記第１センサから得られた前記物体の幅Ｗ及び高さＨの変化量に基づいて前記物体の幅Ｗ及び高さＨのうち変化量が少ない特徴量を前記基準特徴量として決定することが好ましい。具体的には、本実施形態では、プロセッサ１０５ａは、自車両２０１に搭載されたステレオカメラ（第１センサ）１０１の検出結果から後続車（物体）の幅Ｗ及び高さＨを演算し、ステレオカメラ１０１から得られる前記後続車の幅Ｗ及び高さＨの変化量をそれぞれ演算し、前記後続車がステレオカメラ１０１の認識範囲２０２－Ｓから外れ、自車両２０１に搭載された単眼カメラ（第２センサ）１０２の認識範囲２０３－Ｍに移動したとき、ステレオカメラ（第１センサ）１０１から得られた後続車（物体）の幅Ｗ及び高さＨの変化量に基づいて後続車（物体）の幅及び高さのうち変化量が少ない特徴量を選択し、単眼カメラ（第２センサ）１０２から得られた後続車（物体）の幅Δｘ及び高さΔｙのうち前記選択された特徴量に対応する特徴量（Δｘ又はΔｙ）に基づいて相対距離ｄｗ、ｄｈを演算している。

このように物体検知装置を構成すると、検知対象の物体がステレオカメラ１０１の認識範囲２０２－Ｓを外れて単眼カメラ１０２の認識範囲２０３－Ｍに移動したとき、車線変更等で当該物体が移動しても変化量の少ない特徴量に基づいて相対距離が演算されるので、単眼カメラ１０２により演算される相対距離の精度低下を抑制できる。

なお、上記ではプロセッサ１０５ａが「ステレオカメラ（第１センサ）１０１から得られた後続車（物体）の幅及び高さのうち変化量が少ない特徴量を基準特徴量として決定し、単眼カメラ（第２センサ）１０２から得られた後続車（物体）の幅Δｘ及び高さΔｙのうち前記基準特徴量に対応する特徴量（Δｘ又はΔｙ）に基づいて相対距離ｄｗ、ｄｈを演算」する場合について説明したが、これに代えて、プロセッサ１０５ａが「ステレオカメラ（第１センサ）１０１から得られた後続車（物体）の幅Ｗの変化量が所定の閾値を超えた場合、単眼カメラ（第２センサ）１０２から得られた後続車（物体）の高さΔｙを基準特徴量として決定し、それを利用して相対距離ｄｈを演算」するように構成しても良い。

このように構成すると、物体移動に伴う変化量が「幅」よりも相対的に少ない「高さ」に基づいて相対距離ｄｈが演算されるので、上記と同様に、単眼カメラ１０２により演算される相対距離の精度低下を抑制できる。

＜第２実施形態＞
本実施形態では、式（１）から演算される相対距離（第１相対距離ｄｗ）と式（２）から演算される相対距離（第２相対距離ｄｈ）とに対して、ステレオカメラ１０１のカメラ画像から演算される後続車の特徴量の変化量（例えば、後続車の幅の変化率）に応じた重み付けをして相対距離ｄを演算する例について説明する。

図７は、第２実施形態に係るＥＣＵ１０５（プロセッサ１０５ａ）で実行される後方監視の処理フローを示している。

まず、フロー冒頭のＳ５０１とＳ５０２は図５に示した第１実施形態ものと同じである。

次に、プロセッサ１０５ａは、Ｓ５０２で演算した変化量と重み付けマップとから重みを演算する。図８は重み付けマップの一例である。この重み付けマップを利用するに際して、Ｓ５０２では「変化量」としてステレオカメラ１０１による後続車の幅の変化率を演算している。変化率の演算は種々のものが利用できるが、例えば、認識領域２０２－Ｓ内に後続車が入ったときの幅に対する、当該後続車が認識領域２０２－Ｓから出る直前の幅の比率を演算するものがある。Ｓ５０２で演算された変化率は、図８のマップによって第２相対距離ｄｈの重みｗｆ（０＜ｗｆ≦１）に変換される。図８では、ステレオカメラ１０１から得られた後続車の幅の変化率（変化量）が大きくなるほど、第２相対距離ｄｈの重みｗｆが大きくなるように重み付けされている。

なお、この特徴量（幅または高さ）の変化率による重み付けマップは一例であり、任意のマップ設定が可能である。つまり、本実施形態の趣旨の再現が可能であれば、ほかの重み付けを追加しても良い。例えば、図８の重み付けに加えて又は代えて、図９に示す後続車の種別による重み付け図のように、後続車（物体）の種類によって重みを異ならせても良い。図９に示すように、例えば、自動二輪車は、幅に対する長さの割合が乗用車のそれよりも大きいので、乗用車よりも第２相対距離ｄｈの重みｗｆを大きくすることが好ましい。さらに、図１０に示す自車と後続車（物体）との相対距離による重み付け図のように、自車両と後続車（物体）との相対距離に応じて重みを変化させても良い。例えば、図１０の例では、後続車（物体）との相対距離が遠いほどノイズ等の影響により特徴量（幅及び高さ）の変化率を捉えにくいため、重み付けを軽く設定しても良い。

Ｓ５０４，５０５は、第１実施形態と同じである。

Ｓ５０６－Ｗでは、プロセッサ１０５ａは、まず、Ｓ５０１で取得したステレオカメラ１０１による特徴量（幅Ｗ及び高さＨ）と、Ｓ５０５で取得した単眼カメラ１０２による特徴量（幅Δｘ及び高さΔｙ）と、式（１）及び式（２）とから第１相対距離ｄｗ及び第２相対距離ｄｈを演算する（第１実施形態では２つの相対距離ｄｗ，ｄｈのいずれか一方を演算したが、本実施形態では２つの相対距離ｄｗ，ｄｈを演算する）。次に、演算した第１相対距離ｄｗ及び第２相対距離ｄｈと、Ｓ５０３－Ｗで演算した重みｗｆと、下記式（３）とに基づいて、自車と後続車の相対距離ｄを演算する。

下記式（３）は、重みｗｆと第１相対距離ｄｗ及び第２相対距離ｄｈから相対距離ｄを演算するための式である。式（３）におけるｗｆは第２相対距離ｄｈの重み、ｄｗは上記式（１）から演算される第１相対距離、ｄｈは上記式（２）から演算される第２相対距離を示す。つまり、本実施形態の相対距離ｄは、ステレオカメラ１０１から得られた後続車の幅の変化量に応じた重みｗｆを考慮した第１相対距離と第２相対距離の平均（加重平均）として演算される。

残りのＳ５０７，５０８，５０９は、第１実施形態と同じである。

なお、上記の説明では、ステレオカメラ１０１から得られる後続車の幅の変化量（変化率）に応じた重み付けを行ったが、ステレオカメラ１０１から得られる後続車の高さの変化量（変化率）に応じた重み付けを行っても構わない。なお、この場合の重み付けマップは、後続車の高さの変化量（変化率）を、第１相対距離ｄｗの重みｈｆ（幅で測距する割合ｈｆ）に変換するものを利用することが好ましい。また、上記式（３）に代えて下記式（４）を利用することが好ましい。

上記のように構成された本実施形態では、プロセッサ１０５ａが、ステレオカメラ１０１から得られた後続車（物体）の幅と、単眼カメラ１０２（第２センサ）から得られた後続車（物体）の幅とに基づいて自車両と後続車（物体）との第１相対距離ｄｗを演算し、ステレオカメラ１０１から得られた後続車（物体）の高さと、単眼カメラ１０２（第２センサ）から得られた後続車（物体）の高さとに基づいて自車両と後続車（物体）との第２相対距離ｄｈを演算し、ステレオカメラ１０１（第１センサ）から得られた後続車（物体）の幅（又は高さ）の変化量に応じた重み付けを第１相対距離ｄｗと第２相対距離ｄｈとに行って両者を合計することで相対距離ｄを演算することとした。

このように第１相対距離ｄｗと第２相対距離ｄｈの加重平均として相対距離を演算すると、ステレオカメラ１０１（第１センサ）から得られた後続車の幅及び高さ双方の変化量を考慮して相対距離が演算されることになるので、当該相対距離の精度を向上できる。

特に、上記の実施形態では、後続車の幅の変化率が大きくなるにしたがって、後続車の幅に対する高さの重みが大きくなるように相対距離ｄを演算している。これにより後続車の幅の変化率が大きくなると、相対的に変化率の少ない高さを重視して相対距離の算出することとなり、相対距離の演算精度が向上する。

＜第３実施形態＞
上記の実施形態では物体検知に２次元バンディングボックスを利用することについて言及したが、本実施形態では３次元バウンディングボックス（３Ｄバウンディングボックス）を利用する場合について説明する。本実施形態では、３Ｄバウンディングボックスを利用して後続車両を検知し、その検知確信度が所定値以下となり物体検知の確信度が低い場合に第１実施形態や第２実施形態のフロー（図５，７）を実行するものとする。検知確信度は、検知された物体の特徴量（幅・高さ・長さ・種別）がどの程度正しいかを示す指標値であり、ここでは数値が大きいほど確信度が高いものとする。検知確信度は、例えば物体検知時に物体の特徴量（幅・高さ・長さ・種別）を連続的に捉えている状態であれば、検知確信度が高いと言える。

まず、ここで３Ｄバウンディングボックス検知について説明する。３Ｄバウンディングボックス検知とは、ステレオカメラ１０１及び単眼カメラ１０２のカメラ画像の中にある物体を第１処理回路１０３及び、第２処理回路１０４でＡＩ（人工知能）学習することによって、図１１に示すように物体の特徴を抽出して立体的に捉えて当該物体を立方体で囲うように表示される３次元の枠線（３Ｄバウンディングボックス）を利用した物体検知である。その３Ｄバウンディングボックス検知によって、検知した立方体の枠線から第１特徴量演算部３０１及び第２特徴量演算部３０２で物体の特徴量（幅・高さ・長さ・種別）、検知確信度の情報、及び自車から物体までの距離を取得し、認識ＩＤの付与を行うことができる。

図１２に本実施形態に係る後方監視の処理フローを示す。

まず、後続車がステレオカメラ１０１で３Ｄバウンディングボックス検知されると、プロセッサ１０５ａは、当該後続車の特徴量（幅・高さ・長さ・種別）と、当該後続車までの距離と、検知確信度を演算する（Ｓ５５１）。

次にプロセッサ１０５ａは、Ｓ５５１で取得した検知確信度を所定値と比較し（Ｓ５５２）、検知確信度が当該所定値以下の場合には図５又は図７のＳ５０１以下の処理を実行するものとする。

つまり、本実施形態ではプロセッサ１０５ａは、ステレオカメラ１０１で得られた画像上で後続車（物体）に３Ｄバウンディングボックスを付与し、当該３Ｄバウンディングボックスの検知確信度が所定値以下の場合、図５又は図７のＳ５０１以下の相対距離の演算に必要な処理を行うこととした。つまり、本実施形態によれば、３Ｄバウンディングボックス検知の確信度が低い場合にだけ図５又は図７のフローが実行されることになり、物体検知に３Ｄバウンディングボックスを利用しているシステムにも本発明を適用することができる。

＜第４実施形態＞
次に、ステレオカメラ１０１と単眼カメラ１０２の双方を自車両前方に設置して、自車両前方の車両を検知して距離を推定する実施形態について説明する。

図１３は前方監視のステレオカメラ１０１，単眼カメラ１０２の設置場所の例を示す。ステレオカメラ１０１は、自車両２０１の前方を監視するために車内前方に設置する。一方、単眼カメラ１０２は、自車両２０１の前方を監視し、自車両２０１の前方に位置するステレオカメラ１０１の死角領域を監視可能な位置に設置する。それによって得られる認識領域は、例えば、それぞれ２０４－Ｓ，２０５－Ｍのようになる。ここで認識領域とは、カメラ視野角や画角の場合もあるし、またカメラ視野角の中でも画像処理部が処理可能なエリアを示しても良い。ステレオカメラ１０１では、ステレオ視できる範囲は左右カメラの視野が重なる２０４－Ｓの領域となる。例えば、自車両２０１の前方から所定の距離の範囲はステレオカメラ１０１の死角領域となる。

物体検知装置のハードウェア構成は図１と同じである。

ＥＣＵ１０５のソフトウェア構成も図３と同じである。ただし、本実施形態のセンサ認識領域移動判定部３０３は、自車両前方の車両がステレオカメラ１０１の認識領域２０４－Ｓの死角に侵入して、単眼カメラ１０２のみの認識領域２０５－Ｍに移動したか否かを判定するものとし、同一の車両が移動したと判定した場合には認識領域２０５－Ｍの当該後続車に、認識領域２０４－Ｓに存在したときと同じ認識ＩＤを付与するものとする（認識ＩＤを引き継ぐ）。

ＥＣＵ１０５（プロセッサ１０５ａ）で実行される前方監視の処理フローも、後続車を前方車両と読み替える必要はあるが、図５と同じである。

図１４は、本実施形態に係る前方監視の動作説明図を示す。図中の符号６０１－６０４は自車両２０１の前方車両（自動二輪車）の位置を示しており、前方車は位置６０１から進路変更を経て位置６０４まで移動するものとする。

ステレオカメラ１０１は自車両前方の前方車を位置６０１で検知しており、プロセッサ１０５ａ（第１特徴量演算部３０１）は、当該前方車が位置６０１から位置６０３を経由して認識領域２０４－Ｓの死角に侵入するまでの間、前方車の特徴量（幅及び高さ）及びその変化量を演算する（Ｓ５０１，５０２）。この時にプロセッサ１０５ａ（第１特徴量演算部３０１）は、自車両２０１と前方車との相対速度及び相対位置を演算しても良い。なお、ステレオカメラ１０１で前方車を検知した時には、当該前方車に認識ＩＤを付与する。

次にプロセッサ１０５ａ（第１特徴量演算部３０１）は、位置６０１から位置６０３までを含む認識領域２０４－Ｓにおける前方車の特徴量（幅及び高さ）の変化に応じて、単眼カメラ１０２のカメラ画像を利用して相対距離を演算するための基準となる特徴量（幅また高さ）を決定する（Ｓ５０３）。

次に自車両２０１の前方の位置６０１を走行していた前方車が進路変更を開始し、自車両２０１の前方の位置６０４に移動したとする。その際、プロセッサ１０５ａ（センサ認識領域移動判定部３０３）は、ステレオカメラ１０１と単眼カメラ１０２で認識領域２０４－Ｓの死角領域と認識領域２０５－Ｍの重複した領域に前方車が移動したことを判定する（Ｓ５０４）。ステレオカメラ１０１と単眼カメラ１０２のそれぞれで検知された前方車が同一であるかどうかは、例えば、ステレオカメラ１０１と単眼カメラ１０２の両カメラで、同時に検知している前方車の相対位置差が所定値以内であれば同一前方車であると判定できる。また同一前方車であれば認識ＩＤも受け渡す。

次に、自車両２０１の前方の位置６０４の前方車が単眼カメラ１０２で検知された時に、当該前方車に関するデータをプロセッサ１０５ａ（第２特徴量演算部３０２）が演算する。この時に演算されるデータには、単眼カメラ１０２のカメラ画像から算出される前方車の特徴量（幅及び高さ）が含まれる（Ｓ５０５）。

プロセッサ１０５ａ（物体距離推定部３０４）は、例えば位置６０４で取得した単眼カメラ１０２による前方車の特徴量（幅Δｘ及び高さΔｙ）と、Ｓ５０３で選択されたステレオカメラ１０１による前方車の特徴量（幅Ｗまたは高さＨ）と、上記式（１）又は（２）とに基づいて、位置６０４の前方車と自車両２０１との相対距離ｄｗ，ｄｈを演算する（Ｓ５０６）。

前方車６０４と自車両２０１との相対距離ｄｗ，ｄｈの演算結果から、衝突の有無を判定する（Ｓ５０７）。その判定結果をＣＡＮ ＩＦ１０６から車両制御装置１０７及び報知装置１０８に送信する（Ｓ５０８，Ｓ５０９）。

以上のように本実施形態のようにステレオカメラ１０１と単眼カメラ１０２で前方監視をする場合についても、検知対象の物体がステレオカメラ１０１の認識範囲２０４－Ｓの死角に入って単眼カメラ１０２のみの認識範囲２０５－Ｍに移動したとき、進路変更等で当該物体が移動しても変化量の少ない特徴量に基づいて相対距離が演算されるので、単眼カメラ１０２により演算される相対距離の精度低下を抑制できる。つまり、ステレオカメラ（第１センサ）１０１から単眼カメラ（第２センサ）１０２への距離演算の引継ぎの際に自車両と後続車との相対距離ｄｗ，ｄｈが実際の距離と乖離することを抑制できる。また、相対距離演算精度が向上するので衝突回避動作の誤作動または不作動を低減できる。

なお、前方監視において、第２実施形態のような重み付けや、第３実施形態のような３Ｄバウンディングボックスを利用しても良いことは言うまでもない。

なお、本発明は、上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内の様々な変形例が含まれる。例えば、本発明は、上記の実施の形態で説明した全ての構成を備えるものに限定されず、その構成の一部を削除したものも含まれる。また、ある実施の形態に係る構成の一部を、他の実施の形態に係る構成に追加又は置換することが可能である。

また、上記のＥＣＵ１０５に係る各構成や当該各構成の機能及び実行処理等は、それらの一部又は全部をハードウェア（例えば各機能を実行するロジックを集積回路で設計する等）で実現しても良い。また、上記のＥＣＵ１０５に係る構成は、演算処理装置（例えばＣＰＵ）によって読み出し・実行されることでＥＣＵ１０５の構成に係る各機能が実現されるプログラム（ソフトウェア）としてもよい。当該プログラムに係る情報は、例えば、半導体メモリ（フラッシュメモリ、ＳＳＤ等）、磁気記憶装置（ハードディスクドライブ等）及び記録媒体（磁気ディスク、光ディスク等）等に記憶することができる。

また、上記の各実施の形態の説明では、制御線や情報線は、当該実施の形態の説明に必要であると解されるものを示したが、必ずしも製品に係る全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えて良い。

１０１…ステレオカメラ（第１センサ）、１０２…単眼カメラ（第２センサ）、１０５…ＥＣＵ、１０５ａ…プロセッサ、２０１…自車両、２０２－Ｓ…ステレオカメラの認識領域（認識範囲）、２０３－Ｍ…単眼カメラの認識領域（認識範囲）、２０４－Ｓ…ステレオカメラの認識領域（認識範囲）、２０５－Ｍ…単眼カメラの認識領域（認識範囲）、４０１－４０４…後方車両の位置、６０１－６０４…前方車両の位置

Claims (12)

1. 少なくとも１つのプロセッサを備える車両用の物体検知装置であって、
   前記プロセッサは、
   車両に搭載された第１センサの検出結果から物体の複数の特徴量を演算し、
   前記第１センサから得られる前記複数の特徴量の変化量をそれぞれ演算し、
   前記車両に搭載された第２センサの検出結果から演算される前記物体の特徴量のうち、前記車両と前記物体との相対距離の演算に利用する基準特徴量を前記複数の特徴量の変化量に基づいて決定し、
   前記物体が前記第１センサの認識範囲から前記第２センサの認識範囲に移動したとき、前記第２センサの検出結果から前記基準特徴量を演算し、前記基準特徴量と、前記第１センサから得られた前記複数の特徴量のうち前記基準特徴量に対応する特徴量とに基づいて前記相対距離を演算する
   ことを特徴とする物体検知装置。
2. 請求項１の物体検知装置において、
   前記第１センサは、ステレオカメラ、レーダー、ソナー、ＬｉＤＡＲ、及び単眼カメラのいずれかであり、
   前記第２センサは、単眼カメラである
   ことを特徴とする物体検知装置。
3. 請求項１の物体検知装置において、
   前記複数の特徴量は、前記物体の幅及び高さであり、
   前記プロセッサは、前記第１センサから得られた前記物体の幅及び高さの変化量に基づいて前記基準特徴量を決定する
   ことを特徴とする物体検知装置。
4. 請求項１の物体検知装置において、
   前記複数の特徴量は、前記物体の幅及び高さであり、
   前記プロセッサは、前記第１センサから得られた前記物体の幅及び高さの変化量のうち変化量が少ない特徴量を前記基準特徴量として決定する
   ことを特徴とする物体検知装置。
5. 請求項１の物体検知装置において、
   前記複数の特徴量は、前記物体の幅及び高さであり、
   前記プロセッサは、前記第１センサから得られた前記物体の幅の変化量が所定の閾値を超えた場合、前記物体の高さを前記基準特徴量として決定する
   ことを特徴とする物体検知装置。
6. 請求項１の物体検知装置において、
   前記複数の特徴量は、前記物体の幅及び高さであり、
   前記基準特徴量は、前記物体の幅及び高さであり、
   前記プロセッサは、
   前記第１センサから得られた前記物体の幅と、前記第２センサから得られた前記物体の幅とに基づいて前記車両と前記物体との第１相対距離を演算し、
   前記第１センサから得られた前記物体の高さと、前記第２センサから得られた前記物体の高さとに基づいて前記車両と前記物体との第２相対距離を演算し、
   前記第１センサから得られた前記物体の幅及び高さの変化量に応じた重み付けを前記第１相対距離と前記第２相対距離とに行って両者を合計することで前記相対距離を演算する
   ことを特徴とする物体検知装置。
7. 請求項６の物体検知装置において、
   前記第１センサから得られた前記物体の幅の変化量が大きくなるほど、前記第２相対距離の重みが大きくなるように設定されている
   ことを特徴とする物体検知装置。
8. 請求項６の物体検知装置において、
   前記第１センサから得られた前記物体の幅及び高さの変化量に基づく重みづけは、前記車両の種類によって異なる
   ことを特徴とする物体検知装置。
9. 請求項６の物体検知装置において、
   前記第１センサから得られた前記物体の幅及び高さの変化量に基づく重みづけは、前記第１相対距離と前記第２相対距離の大きさによって異なる
   ことを特徴とする物体検知装置。
10. 請求項１の物体検知装置において、
    前記第１センサは、前記車両の後方を監視するステレオカメラであり、
    前記第２センサは、前記車両の後側方を監視する単眼カメラである
    ことを特徴とする物体検知装置。
11. 請求項１の物体検知装置において、
    前記第１センサは、前記車両の前方を監視するステレオカメラであり、
    前記第２センサは、前記車両の前方を監視し、かつ、前記車両の前方に位置する前記ステレオカメラの死角を監視可能な位置に設置されている単眼カメラである
    ことを特徴とする物体検知装置。
12. 請求項１の物体検知装置において、
    前記第１センサは、ステレオカメラであり、
    前記プロセッサは、前記ステレオカメラで得られた画像上で前記物体に３次元バウンディングボックスを付与し、前記３次元バウンディングボックスの検知確信度が所定値以下の場合、前記相対距離の演算に必要な演算を実行する
    ことを特徴とする物体検知装置。