JP6834020B2 - 物体認識装置および物体認識方法 - Google Patents

Description

この発明は、物体認識装置、および物体認識方法に関するものである。

従来、自車両の周囲の状況を認識するため、例えば、画像処理部（例えばカメラ）と、レーダ計測部（例えばミリ波レーダ）という検出特性の異なる２つの物体検出部を車両に搭載している。画像処理部では、自車両の前方を走行する他の車両との車間距離、方向、相対速度、車両幅、車線内位置を検出する。また、レーダ計測部では、自車両の前方を走行する他の車両の車間距離、方向、相対速度を検出する。この画像処理部とレーダ計測部の検出結果がネットワークを介して統合処理部に送出され、統合処理部では、レーダ計測部と画像処理部との検出結果が、同一の車両に対するものであるか否かを判別する。同一の車両のものであると判別した場合、その検出結果はセンサ情報として車内ネットワークを介して車両制御装置に伝送される。
車両制御装置には、自車両が前方の物体に衝突した際の被害を軽減する衝突被害軽減ブレーキシステム、前方の車両に追従するアダプティブクルーズコントロールシステム、及び自動で駐車スペースに駐車する自動駐車システムなど車両の安全性や快適性を向上するための車両用アプリケーションが搭載されており、上述したセンサ情報はこれら車両用アプリケーションに使用される。

上述した画像処理部やレーダ計測部など、自車両周辺物体のセンシング性能を向上する技術として、検出精度が異なる複数のセンサの検出値を使用して目標の位置を高精度に推定することができる技術が開示されている（例えば特許文献１参照）。

特許第４３７１１１５号公報

上述した、画像処理部、レーダ計測部、及び統合処理部からなる従来の物体認識装置では、画像処理部が他の物体に遮蔽され目的とする物体を検出できない領域（オクルージョン領域）においてレーダ計測部が検出した物体と、画像処理部がオクルージョン領域以外で検出した別物体とを誤認識してしまう場合がある。このような場合、実際には同一物体ではないにもかかわらず、同一物体であると判定してしまう恐れがある。

このように本来は同一の物体を他の物体と認識すると、以下のような問題が生じる。
（１）その物体を追跡して制御を行っている場合に、追跡しているその物体を見失うことで、制御の遅れが発生する恐れがある。
（２）その物体を追跡して制御を行っている場合に、追跡しているその物体を見失うことで本来行われるべき制御が行われない。逆に本来行われるべきでない制御が行われる事態が発生する恐れがある。
（３）画像処理部とレーダ計測部との検出領域が相互に重なり合う領域で、レーダ計測部のみからしか出力が得られていないことから、誤検出と認定してしまい、本来存在する物体を見逃してしまうという恐れがある。

そこで本発明は、オクルージョン領域を発生する画像処理部などの物体検出手段のオクルージョン領域を、精度良く決定するとともに、物体検出手段の２つ以上の出力の相関を算出し、物体認識結果を出力することで、従来の車両の物体認識装置と比べて物体の誤認識の発生を減少させることができる物体認識装置を提供することを目的する。

この発明に係る物体認識装置においては、車両に搭載され、車両の周辺物体を検出するとともに、検出した周辺物体に応じたオクルージョン領域を発生する第１の物体検出手段、発生した前記オクルージョン領域を決定するためのオクルージョン領域検出処理部、第１の物体検出手段の第１の物体検出結果と相関をとるための第２の物体検出結果を生成する物体検出生成手段、オクルージョン領域検出処理部で決定したオクルージョン領域を除いた領域で第１の物体検出結果と第２の物体検出結果との相関をとるための相関処理部、相関処理部で第１の物体検出結果と第２の物体検出結果とが同一の物体の検出結果であると判断された場合、第１の物体検出結果と第２の物体検出結果とから、周辺物体の認識結果を算出し、更新する更新処理部を備え、更新処理部の前記認識結果に基づいて車両を制御することを特徴とする。

本発明に係る物体認識装置によれば、物体の誤認識の発生を減少させることができる。

本発明の実施の形態１による物体認識装置のブロック構成図である。 本発明の実施の形態１による物体認識装置の物体認識処理部のハードウエア構成図である。 本発明の実施の形態１による物体認識装置の動作を示すフローチャートである。 本発明の実施の形態１による物体認識装置の第２の物体検出部の検出領域を示す説明図である。 本発明の実施の形態１による物体認識装置の第２の物体検出部のオクルージョン領域を説明する説明図である。 本発明の実施の形態１による物体認識装置の第１の物体検出部の検出領域を示す説明図である。 本発明の実施の形態１による物体認識装置の第１の物体検出部の物体検出可能領域を示す説明図である。 本発明の実施の形態１による物体認識装置の第２の物体検出部の物体検出可能領域を示す説明図である。 本発明の実施の形態１による物体認識装置の相関処理部の相関可能領域を説明する説明図である。 本発明の実施の形態２による物体認識装置のブロック構成図である。 本発明の実施の形態２による物体認識装置の動作を示すフローチャートである。 本発明の実施の形態２による物体認識装置のオクルージョン領域、及び相関可能領域を説明する説明図である。

実施の形態１
図１は、この発明の実施の形態１に係る物体認識装置を車両制御部１３００とともに示すブロック構成図である。なお、図１中の矢印は、信号の流れを示すものとする。
物体認識装置は、第１の物体検出部１１０１、第２の物体検出部１１０２、及び物体認識処理部１２００から構成され、物体認識処理部１２００は、オクルージョン領域検出処理部１２０１、相関処理部１２０２、及び更新処理部１２０３から構成される。

第１の物体検出部１１０１は、例えば、カメラ、ライダ（LIDAR:LIght Detection And Ranging）など、物体検出位置に加え、物体幅情報を取得できる装置で構成されている。第２の物体検出部１１０２は、例えば、レーダ（RADAR:RAdio Detection And Ranging）、超音波センサ、車車間通信機器（複数の車両間での通信機器をいう）などの物体検出位置が取得できる装置で構成されている。本発明に係る実施の形態１では、２つの物体検出部を用いて説明しているが、物体検出部は３つ以上用いてもよい。ただし、物体幅情報を得られる物体検出部を含むことが必要である。

物体認識処理部１２００は、ハードウエアの一例を図２に示すように、プロセッサ１００と記憶装置１０１から構成される。記憶装置は図示していないが、ランダムアクセスメモリ等の揮発性記憶装置と、フラッシュメモリ等の不揮発性の補助記憶装置とを具備する。また、フラッシュメモリの代わりにハードディスクの補助記憶装置を具備してもよい。プロセッサ１００は、記憶装置１０１から入力されたプログラムを実行する。プログラムは、例えば図３のフローチャートに従ったアプリケーションに基づく。この場合、補助記憶装置から揮発性記憶装置を介してプロセッサ１００にプログラムが入力される。また、プロセッサ１００は、演算結果等のデータを記憶装置１０１の揮発性記憶装置に出力してもよいし、揮発性記憶装置を介して補助記憶装置にデータを保存してもよい。

次にこのような構成からなる物体認識装置のオクルージョン領域を決定する動作及び、車両制御部１３００へ送信される物体の位置情報のための物体認識結果の算出までについて、図３から図５Ｄに基づいて説明する。
第１の物体検出部１１０１で測定された物体検出位置、および物体検出位置精度情報は、物体検出位置信号、および物体検出位置精度信号として、オクルージョン領域検出処理部１２０１、相関処理部１２０２へ出力される（図３のフローチャート中、ステップＳ１）。第１の物体検出部１１０１の出力には、物体幅信号も含まれており、この信号もオクルージョン領域検出処理部１２０１、相関処理部１２０２へ出力される。第２の物体検出部１１０２で測定された物体検出位置、および物体検出位置精度情報は、相関処理部１２０２へ出力される。

オクルージョン領域検出処理部１２０１のオクルージョン領域の具体的な決定方法の一例について図４Ａ、図４Ｂを用いて説明する。自車両１０の周辺に物体が存在しないときの第１の物体検出部１１０１の検出領域Ｐを図４Ａに示す。このとき、検出領域Ｐ内の全ての物体を検出することが可能であり、オクルージョン領域は発生しない。次に、検出領域Ｐ内に周辺物体２０が存在する状態を図４Ｂに示す。このとき、周辺物体２０が障害となり、第１の物体検出部１１０１が検出できない領域（オクルージョン領域Ｑ１）が発生する。

発生したオクルージョン領域Ｑ１の決定は、図４Ｂに示したＸ−Ｙ座標において、自車両１０の第１の物体検出部１１０１の取付位置を原点（０，０）、周辺物体２０の後端中心の縦位置をＸａ、横位置をＹａ、及び周辺物体２０の幅情報をＷａとした場合、下記条件Ａ、及び条件Ｂを満たす領域（縦位置ｘ、横位置ｙ）となる（ステップＳ２）。
条件Ａ：(Ｙａ−Ｗａ／２)／Ｘａ ≦ ｙ ≦（Ｙａ＋Ｗａ／２）／Ｘａ
条件Ｂ：｜Ｘａ｜ ≦ ｜ｘ｜
図４Ｂで示したオクルージョン領域は１つであるが、周辺物体が複数（ｎ個）ある場合は、本処理を第１の物体検出部１１０１の全ての物体検出結果に対して行い、第１の物体検出部１１０１のオクルージョン領域Ｑ１〜Ｑｎを決定する。

オクルージョン領域の決定において、第１の物体検出部１１０１の物体の、Ｘ軸方向またはＹ軸方向の検出誤差に応じて、マージンＭｘ、Ｍｙを設定し、次のとおり、条件Ａ、条件Ｂをそれぞれ条件Ａ’、条件Ｂ’に変更し、オクルージョン領域を狭めてもよい。マージンＭｘ、Ｍｙはそれぞれ正の値とする。
条件Ａ’：(Ｙａ−Ｗａ／２)／Ｘａ＋Ｍｙ ≦ ｙ ≦（Ｙａ＋Ｗａ／２）／Ｘａ−Ｍｙ
条件Ｂ’：｜Ｘａ｜＋Ｍｘ ≦ ｜ｘ｜

マージンＭｘ、Ｍｙは、第１の物体検出部１１０１の物体検出位置の精度情報に基づいて、値を変化させてもよい。すなわち、物体検出位置精度が高いときに、マージンＭｘ、又はマージンＭｙを小さくし、物体検出位置精度が低いときに、マージンＭｘ、又はマージンＭｙを大きくする。

このように、第１の物体検出部１１０１の検出誤差にあわせて、マージンを設定し、領域の境界を変更することにより、オクルージョン領域検出処理部１２０１で、オクルージョン領域をさらに精度良く決定することができる。これにより、同一物体を異なる物体と判定される可能性をさらに低減することができる。

次に、上述のようにオクルージョン領域が決定された第１の物体検出部１１０１の物体検出結果と、第２の物体検出部１１０２の物体検出結果の相関を相関処理部１２０２により判断する。具体的には、相関可能領域内の、全ての第１の物体検出部１１０１の物体検出結果と第２の物体検出部１１０２の物体検出結果の組み合わせの中で、第１の物体検出部１１０１の物体検出結果と第２の物体検出部１１０２の物体検出結果との相関を判断し、相関の高い検出結果を組み合わせる。すなわち、実施の形態１では、自車両から検出物体までの距離差が最も小さい物体検出結果をそれぞれ選択し組み合わせる処理を行う。相関をとる情報は、検出物体までの距離に限らず、検出物体の形状など物体を識別できる情報であればよい。

相関可能領域について図５Ａから図５Ｄを用いて説明する。図５Ａに自車両１０、および第２の物体検出部１１０２の検出領域Ｒを示す。自車両１０の周辺に物体が存在しないとき、図４Ａで説明した第１の物体検出部１１０１と同様、検出領域Ｒ内の全ての物体を検出することが可能であり、オクルージョン領域は発生しない。また、図５Ｂに示すように、自車両１０の前方に他車両である周辺物体２０ａ、２０ｂ、２０ｃが存在しても、第２の物体検出部１１０２は、上述した通り、レーダ、車車間通信機器などであるため、その検出特性により、オクルージョン領域は発生せず、物体検出可能領域ＲＡ内の物体を検出可能である（ステップＳ４）。

これに対し、図５Ｃに示すように、第１の物体検出部１１０１が自車両１０の前方に周辺物体２０ａ、２０ｂ、２０ｃを検出した場合、図４Ｂで説明した通り、これら周辺物体２０ａ、２０ｂ、２０ｃが障害となり、第１の物体検出部１１０１が検出できないオクルージョン領域Ｑ２、Ｑ３が発生する。これにより、第１の物体検出部１１０１はオクルージョン領域Ｑ２、Ｑ３を除く物体検出可能領域ＰＡで検出可能となる（ステップＳ３）。相関処理部１２０２では、図５Ｄで示すように、第１の物体検出部１１０１の検出可能領域ＰＡ、及び第２の物体検出部１１０２の検出可能領域ＲＡの重複した範囲を、相関可能領域ＳＡとして決定し（ステップＳ５）、この相関可能領域ＳＡ内で検出した周辺物体２０ａ、２０ｂ、２０ｃにつき、第１の物体検出部１１０１の物体検出結果と第２の物体検出部１１０２の物体検出結果を比較し、上述した通り、それぞれの物体検出結果の距離の差が最小となる物体検出結果を組み合わせる（ステップＳ６）。

更新処理部１２０３は、相関処理部１２０２の相関処理にて組み合わされた第１の物体検出部１１０１の物体検出結果と第２の物体検出部１１０２の物体検出結果を同一の物体と判断し、検出情報の統合を行うことで、周辺物体２０ａ、２０ｂ、２０ｃのそれぞれの位置を特定（認識）し、この特定された物体の認識結果の更新を行う（ステップＳ７）。統合方法としては従来から知られているα-βフィルタ、カルマンフィルタなどを使用する。

車両制御部１３００は、上述した物体認識処理部１２００より得られた自車両１０と自車両の周辺物体２０ａ、２０ｂ、２０ｃとの認識された相対位置の情報を用いて、自車両１０が前方の物体に衝突した際の被害を軽減する衝突被害軽減ブレーキシステム、前方の車両に追従するアダプティブクルーズコントロールシステムの制御などを行う。つまり、物体認識処理部１２００による物体認識結果に基づき、自車両の自動運転を行うことができるものである。

このように本発明に係る実施の形態１では、オクルージョン領域を排除した相関可能領域内のみの相関をとることにより、相関を抑制し、さらに、オクルージョン領域に存在する異なる物体を同一物体と判定することが無くなるので、誤った組合せ（誤相関）による物体認識結果が発生する可能性を低減することができる。

実施の形態２
図６は、この発明の実施の形態２に係る第２の物体認識装置を車両制御部１３００とともに示すブロック構成図である。なお、図６中の矢印は、信号の流れを示すものとする。また、実施の形態１と同一符号は同一又は相当する部分を示す。
第２の物体認識装置は、第１の物体検出部１１０１、及び第２の物体認識処理部２２００から構成され、第２の物体認識処理部２２００は、オクルージョン領域検出処理部１２０１、第２の相関処理部２２０２、第２の更新処理部２２０３、及び予測処理部２２０４から構成される。第２の物体認識処理部２２００は、物体認識処理部１２００と同様な図２で示すハードウエア構成である。

実施の形態２では、第１の物体検出部１１０１と第２の物体検出部１１０２のそれぞれの物体検出結果の相関を相関処理部１２０２で算出していた実施の形態１と異なり、第１の物体検出部１１０１の物体検出結果と予測処理部２２０４の出力との相関を第２の相関処理部２２０２で算出し、物体認識結果を出力することにある。

次にこのような構成からなる第２の物体認識装置の車両制御部１３００へ送信される物体の位置情報のための物体認識結果の算出までについて、図７及び図８に基づいて説明する。
第１の物体検出部１１０１で検出した物体からオクルージョン領域検出処理部１２０１により、オクルージョン領域を決定し、このオクルージョン領域を排除した検出可能領域ＰＡを決定するまでの方法は、実施の形態１で説明した図３のステップＳ１からステップＳ３と同様である。

予測処理部２２０４は、時刻ｔ１の第２の更新処理部２２０３から出力された物体認識結果を記録しておく。時刻ｔ１＋Δｔに第１の物体検出部１１０１が物体を検出した場合、予測処理部２２０４に記録していた時刻ｔ１の物体認識結果を読み出し、読み出した物体認識結果を第１の物体検出部１１０１が物体を検出した時刻ｔ１＋Δｔまで遷移させた物体予測結果を算出する。このように、以前の物体認識結果に基づいて算出された物体予測結果は、物体認識結果と同様の情報を有する。例えば、物体認識結果に物体の相対速度が含まれている場合において、第２の更新処理部で物体認識の処理を行った時刻ｔ１と第１の物体検出部１１０１が物体を検出した時刻ｔ１＋Δｔとの差分Δｔと、この物体の相対速度を用いて、時刻ｔ１＋Δｔの物体の相対位置を予測することができる（ステップＳ８）。なお、物体認識結果は、物体検出位置、物体幅情報、及び物体検出位置の精度情報を含むものとする。

第２の相関処理部２２０２では、図８で示すように、上述した予測処理部２２０４の物体予測結果と、第１の物体検出部１１０１の検出可能領域ＰＡの重複した範囲を相関可能領域ＴＡとして決定し（ステップＳ９）この相関可能領域ＴＡ内で検出した周辺物体２０ａ、２０ｂ、２０ｃにつき第１の物体検出部１１０１の物体検出結果と、予測処理部２２０４の物体予測結果との相関を判定する。この場合、第２の相関処理部２２０２で決定された相関可能領域ＴＡは、第１の物体検出部１１０１の物体検出可能領域ＰＡと同じ領域となる。

具体的には、相関可能領域内の、全ての第１の物体検出部１１０１の物体検出結果と予測処理部２２０４の物体予測結果の組み合わせの中で、第１の物体検出部１１０１の物体検出結果と予測処理部２２０４の物体予測結果の情報の内、自車両から物体までの距離の差が最も小さいものを組み合わせる相関処理を行う（ステップＳ１０）。相関をとる情報は、距離の差に限られず、物体の形状など、物体を識別できるものであればよい。
このように、相関処理を行うときに使用する物体認識結果と物体検出結果の時刻を合せることで、正確に物体認識結果と物体検出結果を組み合わせることができる。

第２の更新処理部２２０３は、更新処理部１２０３と同様、第２の相関処理部２２０２の相関処理にて組み合わされた第１の物体検出部１１０１の物体検出結果と予測処理部２２０４の出力である物体予測結果を同一の物体と判断し、これら結果の統合を行うことで、周辺物体２０ａ、２０ｂ、２０ｃのそれぞれの位置を特定（認識）し、この特定された物体の認識結果の更新を行う（ステップＳ１１）。統合方法としては従来から知られているα-βフィルタ、カルマンフィルタなどを使用する。

このように本発明に係る実施の形態２では、予測処理部の物体予測結果と物体検出部の物体検出結果との相関をとることにより、物体認識結果の精度を上げることができ、さらに、オクルージョン領域に存在する異なる物体を同一物体と判定することが無くなるので、誤った組合せ（誤相関）による物体認識結果が発生する可能性を低減することができる。

なお、この発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。

１１０１：第１の物体検出部、１１０２：第２の物体検出部、１２００：物体認識処理部、１２０１：オクルージョン領域検出処理部、１２０２：相関処理部、１２０３：更新処理部、１３００：車両制御部、２２００：第２の物体認識処理部、２２０２：第２の相関処理部、２２０３：第２の更新処理部、２２０４：予測処理部

Claims (9)

1. 車両に搭載され、前記車両の周辺物体を検出するとともに、検出した前記周辺物体に応じたオクルージョン領域を発生する第１の物体検出手段、発生した前記オクルージョン領域を決定するためのオクルージョン領域検出処理部、前記第１の物体検出手段の第１の物体検出結果と相関をとるための第２の物体検出結果を生成する物体検出生成手段、前記オクルージョン領域検出処理部で決定した前記オクルージョン領域を除いた領域で前記第１の物体検出結果と前記第２の物体検出結果との相関をとるための相関処理部、前記相関処理部で前記第１の物体検出結果と前記第２の物体検出結果とが同一の物体の検出結果であると判断された場合、前記第１の物体検出結果と前記第２の物体検出結果とから、前記周辺物体の認識結果を算出し、更新する更新処理部を備え、前記更新処理部の前記認識結果に基づいて車両を制御することを特徴とする物体認識装置。
2. 前記相関処理部は、前記第１の物体検出結果と前記第２の物体検出結果との相関の高い検出結果を選択することを特徴とする請求項１に記載の物体認識装置。
3. 前記相関をとる情報は、検出された前記車両から前記周辺物体までの距離の情報であることを特徴とする請求項２に記載の物体認識装置。
4. 前記物体検出生成手段は、オクルージョン領域を発生しない第２の物体検出手段であることを特徴とする請求項１から３のいずれか一項に記載の物体認識装置。
5. 前記物体検出生成手段は、前記更新処理部で算出された前記認識結果に基づいて予測した物体の検出結果を出力する予測処理手段であることを特徴とする請求項１から３のいずれか一項に記載の物体認識装置。
6. 前記オクルージョン領域検出処理部は、前記第１の物体検出手段で検出された前記車両から前記周辺物体までの距離、及び前記周辺物体の幅に基づいて前記オクルージョン領域を決定することを特徴とする請求項１から５のいずれか一項に記載の物体認識装置。
7. 周辺物体を認識し、認識した情報に基づき車両を制御する物体認識方法において、前記周辺物体の検出時に第１の検出手段に発生するオクルージョン領域を決定し、前記オクルージョン領域を前記周辺物体の検出領域から除外した第１の検出可能領域を決定し、前記オクルージョン領域が発生しない第２の検出手段の第２の検出可能領域を決定し、前記第１の検出可能領域と前記第２の検出可能領域の双方の領域に存在する前記周辺物体の、前記周辺物体までの距離を含む物体情報を、前記第１の検出手段と前記第２の検出手段とで検出し、検出された前記距離の差が最も小さい検出結果の組合せを同一物体の物体情報と認識することを特徴とする物体認識方法。
8. 周辺物体を認識し、認識した情報に基づき車両を制御する物体認識方法において、前記周辺物体の検出時に第１の検出手段に発生するオクルージョン領域を決定し、前記オクルージョン領域を前記周辺物体の検出領域から除外した第１の検出可能領域を決定し、前記第１の検出可能領域に存在する前記周辺物体の検出結果と、前記周辺物体を検出した以前の検出結果から現在位置を予測した予測結果とを、前記周辺物体までの距離において相関をとり、前記距離の差が最も小さい検出結果と予測結果との組合せを同一物体の物体情報と認識することを特徴とする物体認識方法。
9. 前記オクルージョン領域の決定の際には、検出誤差を相殺するマージンを設定することを特徴とする請求項７または請求項８に記載の物体認識方法。

Images