JP5101075B2 - 周辺監視システム - Google Patents

Description

本発明は、自動車周辺に存在する物体を検出する技術に関するものである。

自動車周辺に存在する物体を検出する技術としては、自動車に搭載したレーダ装置を用いて、当該自動車周辺に存在する物体を検出し、検出した物体を追尾する技術が知られている（たとえば、特許文献１）。
また、自動車周辺に存在する物体を検出する技術としては、自動車に搭載したカメラによって自動車周辺を撮影した撮影画像に写り込んだ他の車両等の物体を、撮影画像に対する画像認識処理によって検出する技術も知られている（たとえば、特許文献２）。
特開平8-248125号公報 特開平8-16978号公報

さて、レーダ装置を用いて自動車周辺に存在する物体を検出する場合、レーダの物体による反射波と路面等による反射波の干渉等のために、物体の検出漏れが発生する場合がある。
また、カメラによって撮影した撮影画像に対する画像認識処理によって自動車周辺に存在する物体を検出する場合には、周囲の背景や状態によって、物体の検出漏れが発生する場合がある。すなわち、たとえば、陸橋の下を走行している場合や、複数の物体が重なって画像に写り込んでいる場合には、画像認識処理によって、自動車周辺の物体を認識しきれなくなる場合がある。

そして、検出した物体の追尾を行う場合において、このような物体の検出漏れによって追尾の開始が遅れてしまうことがある。
そこで、本発明は、より速やかに周辺の物体の追尾を開始することができる周辺監視システムを提供することを課題する。

前記課題達成のために、本発明は、自動車に搭載され、当該自動車である自車周辺の他車を検出する周辺監視システムを、自車周辺の他車の位置を検出する第１のセンサと、自車周辺の他車の位置を検出する第２のセンサと、前記第１のセンサが検出した位置に基づいて、自車周辺の他車を追尾する第１他車検出部とより構成し、前記第１他車検出部において、前記第１のセンサと第２のセンサとの少なくとも一方が、当該第１他車検出部が追尾していない他車の位置を検出した場合に、以降、当該位置が検出された他車を前記第１のセンサが検出する位置に基づいて追尾するようにしたものである。
ここで、以上のような周辺監視システムには、前記第２のセンサが検出した位置に基づいて、自車周辺の他車を追尾する第２他車検出部を設け、第２他車検出部を、前記第１他車検出部と同様に動作させるようにしてもよい。

また、前記課題達成のために、本発明は、自動車に搭載され、当該自動車である自車周辺の他車を検出する周辺監視システムを、自車周辺の他車の位置を検出する第１のセンサと、自車周辺の他車の位置を検出する第２のセンサと、第１他車検出部とより構成したものである。ここで、第１他車検出部は、第１未確認他車追尾手段と、第１確認済他車設定手段と、第１確認済他車追尾手段と、第１他車位置識別手段と、第１未確認他車設定手段とを備えており、前記第１未確認他車追尾手段は、当該第１未確認他車追尾手段に対して未確認他車として設定された他車を前記第１のセンサが検出した位置に基づいて追尾し、前記第１確認済他車設定手段は、前記第１未確認他車追尾手段が追尾に所定回数成功した他車を確認済他車として第１確認済他車追尾手段に設定し、第１確認済他車追尾手段は、当該第１確認済他車追尾手段に対して確認済他車として設定された他車を前記第１のセンサが検出した位置に基づいて追尾し、前記第１他車位置識別手段は、前記第１確認済他車追尾手段が追尾している他車の位置を自車周辺の他車の位置として識別し、前記第１未確認他車設定手段は、前記第１のセンサと第２のセンサとの少なくとも一方が前記第１未確認他車追尾手段と前記第１確認済他車追尾手段とのいずれでも追尾していない他車の位置を検出した場合に、当該位置を検出した他車を前記未確認他車として、前記第１未確認他車追尾手段に設定し、以降の、当該未確認他車として設定した他車の前記第１のセンサが検出した位置に基づいた追尾を、前記第１未確認他車追尾手段に行わせるものである。

なお、このような周辺監視システムには、さらに、第２他車検出部を設けるようにしてもよい。ただし、第２他車検出部は、第２未確認他車追尾手段と、第２確認済他車設定手段と、第２確認済他車追尾手段と、第２他車位置識別手段と、第２未確認他車設定手段とを備えており、前記第２未確認他車追尾手段は、当該第２未確認他車追尾手段に対して未確認他車として設定された他車を前記第２のセンサが検出した位置に基づいて追尾し、前記第２確認済他車設定手段は、前記第２未確認他車追尾手段が追尾に所定回数成功した他車を確認済他車として第２確認済他車追尾手段に設定し、第２確認済他車追尾手段は、当該第２確認済他車追尾手段に対して確認済他車として設定された他車を前記第２のセンサが検出した位置に基づいて追尾し、前記第２他車位置識別手段は、前記第２確認済他車追尾手段が追尾している他車の位置を自車周辺の他車の位置として識別し、前記第２未確認他車設定手段は、前記第１のセンサと第２のセンサとの少なくとも一方が前記第２未確認他車追尾手段と前記第２確認済他車追尾手段とのいずれでも追尾していない他車の位置を検出した場合に、当該位置が検出された他車を、前記未確認他車として前記第２未確認他車追尾手段に設定し、以降の、当該未確認他車として設定した他車の、前記第２のセンサが検出した位置に基づいた追尾を前記第２未確認他車追尾手段に行わせるものである。

また、前記課題達成のために、本発明は、自動車に搭載され、当該自動車である自車周辺の他車を検出する周辺監視システムを、自車周辺の他車の位置を検出する第１のセンサと、自車周辺の他車の位置を検出する第２のセンサと、第１他車検出部と、第２他車検出部とより構成したものである。ここで、第１他車検出部は、第１未確認他車追尾手段と、第１確認済他車設定手段と、第１確認済他車追尾手段と、第１他車位置識別手段と、第１未確認他車設定手段とを備えており、前記第１未確認他車追尾手段は、当該第１未確認他車追尾手段に対して未確認他車として設定された他車を前記第１のセンサが検出した位置に基づいて追尾し、前記第１確認済他車設定手段は、前記第１未確認他車追尾手段が追尾に所定回数成功した他車を確認済他車として第１確認済他車追尾手段に設定し、第１確認済他車追尾手段は、当該第１確認済他車追尾手段に対して確認済他車として設定された他車を前記第１のセンサが検出した位置に基づいて追尾し、前記第１他車位置識別手段は、前記第１確認済他車追尾手段が追尾している他車の位置を自車周辺の他車の位置として識別し、前記第１未確認他車設定手段は、前記第１のセンサが前記第１未確認他車追尾手段と前記第１確認済他車追尾手段とのいずれでも追尾していない他車の位置を検出した場合に、当該位置を検出した他車を前記未確認他車として、前記第１未確認他車追尾手段に設定するものである。また、第２他車検出部は、第２未確認他車追尾手段と、第２確認済他車設定手段と、第２確認済他車追尾手段と、第２他車位置識別手段と、第２未確認他車設定手段とを備えており、前記第２未確認他車追尾手段は、当該第２未確認他車追尾手段に対して未確認他車として設定された他車を前記第２のセンサが検出した位置に基づいて追尾し、前記第２確認済他車設定手段は、前記第２未確認他車追尾手段が追尾に所定回数成功した他車を確認済他車として第２確認済他車追尾手段に設定し、第２確認済他車追尾手段は、当該第２確認済他車追尾手段に対して確認済他車として設定された他車を前記第２のセンサが検出した位置に基づいて追尾し、前記第２他車位置識別手段は、前記第２確認済他車追尾手段が追尾している他車の位置を自車周辺の他車の位置として識別し、前記第２未確認他車設定手段は、前記第２のセンサが前記第２未確認他車追尾手段と前記第２確認済他車追尾手段とのいずれでも追尾していない他車の位置を検出した場合に、当該位置を検出した他車を前記未確認他車として、前記第２未確認他車追尾手段に設定するものである。

また、前記第１他車検出部は、前記第１未確認他車追尾手段と前記第１確認済他車追尾手段とのいずれでも追尾していない他車を、前記第２他車検出部の前記第２確認済他車設定手段が前記第２確認済他車追尾手段に対して前記確認済他車として設定した場合に、当該第２確認済他車追尾手段に対して確認済他車として設定された他車を、前記未確認他車として前記第１未確認他車追尾手段に設定し、以降の、当該未確認他車として設定した他車の、前記第１のセンサが検出した位置に基づいた追尾を前記第１未確認他車追尾手段に行わせるものである。または、前記第１他車検出部は、前記第１未確認他車追尾手段と前記第１確認済他車追尾手段とのいずれでも追尾していない他車を、前記第２他車検出部の前記第２確認済他車設定手段が前記第２確認済他車追尾手段に対して前記確認済他車として設定した場合に、当該第２確認済他車追尾手段に対して確認済他車として設定された他車を、前記確認済他車として前記第１確認済他車追尾手段に設定し、以降の、当該確認済他車として設定した他車の、前記第１のセンサが検出した位置に基づいた追尾を、前記第１確認済他車追尾手段に行わせるものである。

ここで、このような各周辺監視システムは、第２他車検出部を、前記第１他車検出部と同様に動作させるようにしてもよい。
これらの周辺監視システムによれば、第１他車検出部が前記第１のセンサが検出した位置に基づいて行う他車の検出のために他車を追尾する処理を、第１のセンサの検出漏れが発生した場合でも、第２のセンサの検出内容に基づいて開始することができるようになる。よって、第１のセンサのみを用いる場合よりも速やかに他車を追尾する処理を開始できるようになる。

また、前述のように第２他車検出部を備え、当該第２他車検出部を前記第１他車検出部と同様に動作させた場合には、前記第２のセンサが検出した位置に基づいて行う他車の検出のために他車を追尾する処理についても、前記第１他車検出部が行う処理と同様に、速やかに開始することができるようになる。
なお、以上の各周辺監視システムにおいて、前記第１のセンサは、自車周辺の他車の位置を検出するレーダ装置であってよく、前記第２のセンサは、自車周辺を撮影するカメラと、前記カメラが撮影した画像に対して画像認識処理を施して、当該画像に写り込んでいる他車の位置を検出する他車認識手段とより構成されるものであってよい。または、逆に、前記第１のセンサを、自車周辺を撮影するカメラと、前記カメラが撮影した画像に対して画像認識処理を施して、当該画像に写り込んでいる他車の位置を検出する他車認識手段とより構成されるものとし、第２のセンサを、自車周辺の他車の位置を検出するレーダ装置とするようにしてもよい。

以上のように、本発明によれば、より速やかに周辺の物体の追尾を開始することができる周辺監視システムを提供することができる。

以下、本発明の実施形態を説明する。
まず、本発明の第１の実施形態について説明する。
図１ａに、本第１実施形態に係る周辺監視システムの構成を示す。
本周辺監視システムは、自動車に搭載されるシステムであり、図示するように、周辺監視システムは、レーダ装置１、カメラ２、他車認識部３、物標追尾部４、他車追尾部５、周辺状況提示部６、表示装置７、音声出力装置８とを有している。
ここで、本周辺監視システムが搭載された自動車を自車１００として、図１ｂに示すようにレーダ装置１とカメラ２は、自車１００の後部に配置される。そして、レーダ装置１は、自車１００後方をスキャン範囲としてスキャン範囲内にある他車の自車１００に対する相対位置を測定し計測データとして出力するスキャン処理を繰り返す。また、カメラ２は自車１００後方の撮影範囲の映像を撮影する処理を繰り返す。

また、他車認識部３は、カメラ２が撮影した画像に対して所定の画像認識処理を実行し、画像中に写り込んだ他車を認識すると共に、他車が写り込んでいる画像中の位置より、当該他車の自車１００に対する相対位置を算定し計測データとして出力する他車認識処理を繰り返す。

次に、物標追尾部４は、レーダ装置１から出力された計測データに基づいて、自車１００後方に存在する各他車の追尾を行う。また、他車追尾部５は、他車認識部３から出力された計測データに基づいて、自車１００後方に存在する各他車の追尾を行う。
ここで、物標追尾部４が他車の追尾のために行う動作と、他車追尾部５が他車の追尾のために行う動作は、物標追尾部４がレーダ装置１から出力された計測データに基づいて他車の追尾を行うのに対して、他車追尾部５が他車認識部３から出力された計測データに基づいて他車の追尾を行う点を除き同様の動作となる。

そこで、物標追尾部４が他車の追尾のために行う動作を代表例にとり、物標追尾部４が他車の追尾のために行う動作と、他車追尾部５が他車の追尾のために行う動作について説明する。
さて、物標追尾部４は、他車の追尾のために他車確認起動処理と、他車確認処理と、他車追尾処理とを行う。
他車追尾処理は、レーダ装置１が出力する計測データに基づいて、他車確認処理によって設定された追尾中他車の位置を追尾し、各時点の追尾中他車の相対位置を表す追尾情報を生成管理する処理である。また、他車確認処理は、他車確認起動処理によって、設定された他車候補の存在を複数回確認し、複数回確認に成功したならば、当該他車候補を追尾中他車に設定し、当該追尾中他車の追尾を行う他車追尾処理を起動する処理である。また、他車確認起動処理は、レーダ装置１が出力する計測データまたは他車追尾部５から通知される新規他車データに基づいて、他車候補としても追尾中他車としても設定されていない他車を検出し、検出した他車を他車候補に設定し、当該他車候補の確認を行う他車確認処理を起動する処理である。また、この他車確認起動処理では、レーダ装置１が出力する計測データに基づいて、他車候補としても追尾中他車としても設定されていない他車を検出したときに、検出した他車の相対位置を表す計測データを、新規他車データとして、他車追尾部５に通知する処理も行う。

ここで、この他車確認起動処理の手順を図２ａに、他車確認処理の手順を図２ｂに示す。
図２ａに示すように、他車確認起動処理では、レーダ装置１からの新たな計測データの出力の発生（ステップ２０２）と、他車追尾部５からの新規他車データの通知の発生（ステップ２０４）とを監視する。
そして、新たな計測データが出力されたならば（ステップ２０２）、出力された計測データが、他車候補としても追尾中他車としても設定していない他車の相対位置を表すものであるかどうかを判定し（ステップ２０６）、他車候補または追尾中他車として設定している他車についての相対位置を表す計測データであれば、ステップ２０２、２０４の監視に戻る。

一方、出力された計測データが、他車候補としても追尾中他車としても設定していない他車の相対位置を表す計測データであれば、当該計測データを新規他車データとして、他車認識部３に出力し（ステップ２０８）、当該計測データが表す相対位置を現時点の相対位置とする他車候補を設定し、当該他車候補についての他車確認処理を起動する（ステップ２１０）。そして、ステップ２０２、２０４の監視に戻る。

また、物標確認起動処理において、他車追尾部５からの新規他車データが通知された場合には（ステップ２０４）、受信した新規他車データが、他車候補として追尾中他車としても設定していない他車の相対位置を表すものであるかどうかを判定し（ステップ２１２）、他車候補または追尾中他車として設定している他車についての相対位置を表すものであれば、ステップ２０２、２０４の監視に戻る。

一方、受信した新規他車データが、他車候補として追尾中他車としても設定していない他車についての相対位置を表すものであれば、新規他車データが表す相対位置を現時点の相対位置とする他車候補を設定し、当該他車候補についての他車確認処理を起動する（ステップ２１４）。そして、ステップ２０２、２０４の監視に戻る。

次に、以上のように他車確認起動処理のステップ２１４で各他車候補について各々起動される他車確認処理では、図２ｂに示すように、他車候補の追尾窓を設定し（ステップ２５４）、レーダ装置１のスキャン処理の終了を待って（ステップ２５６）、終了したスキャン処理によって出力される計測データの内に追尾窓内の相対位置を表す計測データが存在するかどうかを判定し（ステップ２５８）、存在する場合には、存在した計測データを他車候補の現時点の相対位置とする（ステップ２６０）処理を、追尾窓内の相対位置を表す計測データが存在することが（ステップ２５８）、ｎ回確認されるか（ステップ２５２、２６２、２６４）、追尾窓内の相対位置を表す計測データが存在しないことが検出されるまで（ステップ２５８）繰り返す。

そして、ｎ回確認できた場合には、他車候補を追尾中他車とする他車追尾処理を起動し（ステップ２６６）、処理を終了する。また、ｎ回確認できる前に、スキャン処理で出力された計測データの内に追尾窓内の相対位置を表す計測データが存在しないことが検出された場合には（ステップ２５８）、そのまま処理を終了する。

なお、ステップ２５４では、他車候補のそれまでの現在位置より推定される、次回のスキャン処理終了時に、およそ他車候補が存在し得る相対位置の範囲を追尾窓として設定する。
さて、次に、以上のように他車確認処理のステップ２６６で起動される他車追尾処理では、追尾中他車の追尾窓を設定し、レーダ装置１のスキャン処理の終了を待って、終了したスキャン処理によって出力される計測データの内に追尾窓内の相対位置を表す計測データが存在するかどうかを判定し、存在する場合には、存在した計測データを追尾中他車の現時点の相対位置として当該追尾中他車の追尾情報に加える処理を繰り返す。ただし、追尾窓内の相対位置を表す計測データが存在しないことが検出される頻度が所定頻度を超えると、追尾中他車の追尾を完了し、他車追尾処理を終了することになる。なお、他車追尾処理で設定する追尾窓としては、追尾中他車または当該追尾中他車となった他車候補のそれまでの現在位置より推定される、次回のスキャン処理終了時に、およそ追尾中他車が存在し得る相対位置の範囲を追尾窓として設定する。

ここで、前述した他車確認起動処理のステップ２０６では、たとえば、出力された計測データが表す相対位置が、以上のような他車確認処理や他車追尾処理で設定されている追尾窓のいずれにも含まれない場合に、当該計測データが、他車候補として追尾中他車としても設定していない他車についての計測データであると判定する。また、同様に、他車確認起動処理のステップ２１２では、たとえば、受信した新規他車データが表す相対位置が、以上のような他車確認処理や他車追尾処理で設定されている追尾窓のいずれにも含まれない場合に、当該新規他車データが、他車候補として追尾中他車としても設定していない他車についての新規他車データであると判定する。

なお、前述の通り、他車追尾部５は、以上のように物標追尾部４が行う他車確認起動処理と他車確認処理と他車追尾処理とを、レーダ装置１が出力する計測データに代えて他車認識部３が出力する計測データを用いて行う。なお、他車追尾部５の他車確認起動処理のステップ２０４では物標追尾部４からの新規他車データの受信を監視し、ステップ２０８では新規他車データを物標追尾部４に通知することになる。また、他車追尾部５が行う他車確認処理のステップ２５６では、スキャン処理の完了に代えて他車認識処理の完了を待つことになる。また、他車追尾部５が行う他車追尾処理においても追尾中他車の追尾窓設定後には、スキャン処理の完了に代えて他車認識処理の完了を待つことになる。

ここで、以上のような物標追尾部４の動作によって、物標追尾部４の１台の他車についての他車追尾処理は図３ａのような状態遷移を経て開始され、以上のような他車追尾部５の動作によって、他車追尾部５の１台の他車についての他車追尾処理は図３ｂのような状態遷移を経て開始されることになる。

すなわち、図３ａに示すように、物標追尾部４は、検出待ち状態３０１において、物標追尾部４において他車候補としても追尾中他車としても設定していない未認識の他車の相対位置を表す計測データをレーダ装置１が出力されたならば３１１、当該他車を他車候補として１回確認状態３０２に遷移する。また、この際に、レーダ装置１から出力された計測データを新規他車データ３５０として他車追尾部５に出力する。

一方、物標追尾部４は、検出待ち状態３０１において、物標追尾部４において他車候補としても追尾中他車としても設定していない未認識の他車の相対位置を表す新規他車データ４５０を他車追尾部５から受信した場合にも３１２、当該他車を他車候補として１回確認状態３０２に遷移する。

物標追尾部４は、１回確認状態３０２に遷移したならば、その後の最初のスキャン処理で出力される計測データを用いた他車候補の追尾に成功した場合には３１３、２回確認状態３０３に遷移し、追尾に失敗した場合３２１には、検出待ち状態３０１に遷移する。
以降、同様に、物標追尾部４は、i(2＜ i ＜n-2)回確認状態に遷移したならば、その後の最初のスキャン処理で出力される計測データを用いて、他車候補の追尾に成功した場合には、i+1回確認状態に遷移し、追尾に失敗した場合には、検出待ち状態３０１に遷移する。
そして、物標追尾部４は、n-1回確認状態３０４にまで遷移したならば、その後の最初のスキャン処理で出力される計測データを用いて、他車候補の追尾に成功した場合には３１４、他車の存在をｎ回確認できたことになるので、他車候補を追尾中他車として他車追尾状態３０５に遷移し、追尾中他車を追尾しその追尾情報を生成管理する他車追尾処理を開始する。なお、他車候補の追尾に失敗した場合３２２には、検出待ち状態３０１に遷移する。

一方、図３ｂに示すように、他車追尾部５は、検出待ち状態４０１において、他車追尾部５において他車候補としても追尾中他車としても設定していない未認識の他車の相対位置を表す計測データを他車認識部３が出力されたならば４１１、当該他車を他車候補として１回確認状態４０２に遷移する。また、この際に、他車認識部３から出力された計測データを新規他車データ４５０として物標追尾部４に出力する。

一方、他車追尾部５は、検出待ち状態４０１において、他車追尾部５において他車候補としても追尾中他車としても設定していない未認識の他車の相対位置を表す新規他車データ３５０を物標追尾部４から受信した場合にも４１２、当該他車を他車候補として１回確認状態４０２に遷移する。

他車追尾部５は、１回確認状態４０２に遷移したならば、その後の最初の他車認識処理で出力される計測データを用いて、他車候補の追尾に成功した場合には４１３、２回確認状態４０３に遷移し、追尾に失敗した場合４２１には、検出待ち状態４０１に遷移する。
以降、同様に、他車追尾部５は、i(2＜ i ＜n-2)回確認状態に遷移したならば、その後の最初の他車認識処理で出力される計測データを用いて、他車候補の追尾に成功した場合には、i+1回確認状態に遷移し、追尾に失敗場合には、検出待ち状態４０１に遷移する。
そして、他車追尾部５は、n-1回確認状態４０４にまで遷移したならば、その後の最初の他車認識処理で出力される計測データを用いて、他車候補の追尾に成功した場合には４１４、他車の存在をｎ回確認できたことになるので、他車候補を追尾中他車として他車追尾状態４０５に遷移し、追尾中他車を追尾しその追尾情報を生成管理する他車追尾処理を開始する。なお、他車候補の追尾に失敗した場合４２２には、検出待ち状態４０１に遷移する。

さて、以上、図３ａ、ｂに示したように、本実施形態では、レーダ装置１の計測データに基づいて、未認識の他車の検出、検出した未認識他車を他車候補として行う他車の存在の確認の処理を経て、存在を確認した他車を追尾する他車追尾処理を開始する物標追尾部４において、レーダ装置１の計測データから未認識の他車の発生が検出されなかった場合でも、カメラ２で撮影した画像に対する画像認識によって他車を検出する他車認識部３の計測データから、未認識の他車の発生が検知された場合には、当該他車の存在の確認の処理を開始する。よって、レーダ装置１の計測データのみに基づいて処理を行う場合に比べ、より速やかに他車の追尾を開始することができるようになる。

また、同様に、本実施形態では、カメラ２で撮影した画像に対する画像認識によって他車を検出する他車認識部３の計測データに基づいて、未認識の他車の検出、検出した未認識他車を他車候補として行う他車の存在の確認の処理を経て、存在を確認した他車を追尾する他車追尾処理を開始する他車追尾部５において、他車認識部３の計測データから未認識の他車の発生が検出されなかった場合でも、レーダ装置１の計測データから、未認識の他車の発生が検知された場合には、当該他車の存在の確認の処理を開始する。よって、画像認識によって他車を検出する他車認識部３の計測データのみに基づいて処理を行う場合に比べ、より速やかに他車の追尾を開始することができるようになる。

ここで、図１に戻り周辺状況提示は、物標追尾部４の他車追尾処理によって生成管理される追尾情報によって示される追尾中物標の現在位置や位置の履歴や、他車追尾部５の他車追尾処理によって生成管理される追尾情報によって示される追尾中物標の現在位置や位置の履歴に基づいて、自車１００後方の他車の配置や挙動の状況などを表示装置７に表示したり、自車１００後方の物体や他車の配置や挙動より危険の発生を予知して警告を表す音声を音声出力装置８から出力する処理などを行う。

以上、本発明の実施形態について説明した。
ところで、以上の実施形態では、物標追尾部４において、他車追尾部５で未認識他車が検出された場合に、他車確認処理によって当該他車を確認する処理を行って、確認が成功した場合に、当該他車を追尾する他車追尾処理を行ったが、これは、他車追尾部５で新たな他車についての他車追尾処理が開始されたときに、物標追尾部４においても、当該他車を追尾する他車追尾処理を開始するようにしてもよい。また、同様に、物標追尾部４で新たな他車についての他車追尾処理が開始されたときに、他車追尾部５においても、当該他車を追尾する他車追尾処理を開始するようにしてもよい。

すなわち、この場合には、図４ａ、ｂに示すように、物標追尾部４と他車追尾部５において、他車候補を追尾中他車として他車追尾状態３０５/４０５に遷移３１４/４１４する際に、追尾中他車とした他車のそれまでの計測データの全てを含めた新規他車データ３５０/４５０を通知すると共に、物標追尾部４と他車追尾部５において、検出待ち状態３０１/４０１にあるときに、他車候補としても追尾中他車としても設定していない未認識の他車の現在の相対位置を表す新規他車データ３５０/４５０を受信したならば３１２/４１２、当該他車を追尾中他車として他車追尾状態３０５/４０５に遷移するようにする。なお、この場合、新規他車データ３５０/４５０が示す相対位置の履歴は、当該追尾中他車である他車の相対位置の履歴として継承するようにする。

このようにしても、物標追尾部４において、レーダ装置１の計測データのみに基づいて処理を行う場合に比べ、より速やかに他車の追尾を開始することができるようになる。また、他車追尾部５において、画像認識によって他車を検出する他車認識部３の計測データのみに基づいて処理を行う場合に比べ、より速やかに他車の追尾を開始することができるようになる。

なお、本実施形態における、どの状態遷移の際に併せて新規他車データを通知するかや、未認識の他車の相対位置を表す新規他車データを受信したときに状態をどのように遷移するかの形態は、新規他車データの通知を行う際の状態遷移と、新規他車データを受信したときに行う遷移とが、共に、他車追尾状態３０５/４０５方向に状態を進める遷移であれば、以上で示した形態以外の任意の形態とするようにしてよい。

すなわち、たとえば、図４ａ、ｂに示すように、物標追尾部４において、他車候補を追尾中他車として他車追尾状態３０５に遷移する際に、追尾中他車とした他車のそれまでの計測データの全てを含めた新規他車データ３５０を他車追尾部５に通知すると共に、他車追尾部５において、検出待ち状態４０１にあるときに、他車候補としても追尾中他車としても設定していない未認識の他車の相対位置を表す新規他車データ３５０を受信したならば４１５当該他車を他車候補として２回確認状態４０３へ遷移するなどしてもよい。

本発明の実施形態に係る周辺監視システムの構成と配置を示すブロック図である。 本発明の実施形態に係る他車確認起動処理と他車確認処理を示すフローチャートである。 本発明の実施形態に係る周辺監視システムの動作を示す遷移図である。 本発明の実施形態に係る周辺監視システムの他の動作例を示す遷移図である。

符号の説明

１…レーダ装置、２…カメラ、３…他車認識部、４…物標追尾部、５…他車追尾部、６…周辺状況提示部、７…表示装置、８…音声出力装置

Claims (8)

1. 自動車に搭載され、当該自動車である自車周辺の他車を検出する周辺監視システムであって、
   自車周辺の他車の位置を検出する第１のセンサと、
   自車周辺の他車の位置を検出する第２のセンサと、
   前記第１のセンサが検出した位置に基づいて、自車周辺の他車を追尾する第１他車検出部とを有し、
   前記第１他車検出部は、前記第１のセンサのみが当該第１他車検出部が追尾していない他車の位置を検出した場合と、前記第２のセンサのみが当該第１他車検出部が追尾していない他車の位置を検出した場合と、前記第１のセンサと前記第２のセンサとの双方が当該第１他車検出部が追尾していない他車の位置を検出した場合とに、以降、当該位置が検出された他車を前記第１のセンサが検出する位置に基づいて追尾し、
   前記第１のセンサと前記第２のセンサとのうちの一方は、自車周辺の他車の位置を検出するレーダ装置であり、前記第１のセンサと前記第２のセンサとのうちの他方は自車周辺を撮影するカメラと前記カメラが撮影した画像に対して画像認識処理を施して当該画像に写り込んでいる他車の位置を検出する他車認識手段とより構成されるものであることを特徴とする周辺監視システム。
2. 請求項１記載の周辺監視システムであって、
   前記第２のセンサが検出した位置に基づいて、自車周辺の他車を追尾する第２他車検出部を有し、
   前記第２他車検出部は、前記第１のセンサのみが当該第２他車検出部が追尾していない他車の位置を検出した場合と、前記第２のセンサのみが当該第２他車検出部が追尾していない他車の位置を検出した場合と、前記第１のセンサと前記第２のセンサとの双方が当該第２他車検出部が追尾していない他車の位置を検出した場合とに、以降、当該位置が検出された他車を前記第２のセンサが検出する位置に基づいて追尾することを特徴とする周辺監視システム。
3. 自動車に搭載され、当該自動車である自車周辺の他車を検出する周辺監視システムであって、
   自車周辺の他車の位置を検出する第１のセンサと、
   自車周辺の他車の位置を検出する第２のセンサと、
   第１未確認他車追尾手段と、第１確認済他車設定手段と、第１確認済他車追尾手段と、第１他車位置識別手段と、第１未確認他車設定手段とを備えた第１他車検出部とを有し、
   前記第１未確認他車追尾手段は、当該第１未確認他車追尾手段に対して未確認他車として設定された他車を前記第１のセンサが検出した位置に基づいて追尾し、
   前記第１確認済他車設定手段は、前記第１未確認他車追尾手段が追尾に所定回数成功した他車を確認済他車として第１確認済他車追尾手段に設定し、
   第１確認済他車追尾手段は、当該第１確認済他車追尾手段に対して確認済他車として設定された他車を前記第１のセンサが検出した位置に基づいて追尾し、
   前記第１他車位置識別手段は、前記第１確認済他車追尾手段が追尾している他車の位置を自車周辺の他車の位置として識別し、
   前記第１未確認他車設定手段は、前記第１のセンサのみが前記第１未確認他車追尾手段と前記第１確認済他車追尾手段とのいずれでも追尾していない他車の位置を検出した場合と、前記第２のセンサのみが前記第１未確認他車追尾手段と前記第１確認済他車追尾手段とのいずれでも追尾していない他車の位置を検出した場合と、前記第１のセンサと第２のセンサの双方が前記第１未確認他車追尾手段と前記第１確認済他車追尾手段とのいずれでも追尾していない他車の位置を検出した場合とに、当該位置を検出した他車を前記未確認他車として、前記第１未確認他車追尾手段に設定し、以降の、当該未確認他車として設定した他車の前記第１のセンサが検出した位置に基づいた追尾を、前記第１未確認他車追尾手段に行わせ、
   前記第１のセンサと前記第２のセンサとのうちの一方は、自車周辺の他車の位置を検出するレーダ装置であり、前記第１のセンサと前記第２のセンサとのうちの他方は自車周辺を撮影するカメラと前記カメラが撮影した画像に対して画像認識処理を施して当該画像に写り込んでいる他車の位置を検出する他車認識手段とより構成されるものであることを特徴とする周辺監視システム。
4. 請求項３記載の周辺監視システムであって、
   第２未確認他車追尾手段と、第２確認済他車設定手段と、第２確認済他車追尾手段と、第２他車位置識別手段と、第２未確認他車設定手段とを備えた第２他車検出部を有し、
   前記第２未確認他車追尾手段は、当該第２未確認他車追尾手段に対して未確認他車として設定された他車を前記第２のセンサが検出した位置に基づいて追尾し、
   前記第２確認済他車設定手段は、前記第２未確認他車追尾手段が追尾に所定回数成功した他車を確認済他車として第２確認済他車追尾手段に設定し、
   第２確認済他車追尾手段は、当該第２確認済他車追尾手段に対して確認済他車として設定された他車を前記第２のセンサが検出した位置に基づいて追尾し、
   前記第２他車位置識別手段は、前記第２確認済他車追尾手段が追尾している他車の位置を自車周辺の他車の位置として識別し、
   前記第２未確認他車設定手段は、前記第１のセンサのみが前記第２未確認他車追尾手段と前記第２確認済他車追尾手段とのいずれでも追尾していない他車の位置を検出した場合と、前記第２のセンサのみが前記第２未確認他車追尾手段と前記第２確認済他車追尾手段とのいずれでも追尾していない他車の位置を検出した場合と、前記第１のセンサと前記第２のセンサの双方が前記第２未確認他車追尾手段と前記第２確認済他車追尾手段とのいずれでも追尾していない他車の位置を検出した場合とに、当該位置が検出された他車を、前記未確認他車として前記第２未確認他車追尾手段に設定し、以降の、当該未確認他車として設定した他車の前記第２のセンサが検出した位置に基づいた追尾を、前記第２未確認他車追尾手段に行わせることを特徴とする周辺監視システム。
5. 自動車に搭載され、当該自動車である自車周辺の他車を検出する周辺監視システムであって、
   自車周辺の他車の位置を検出する第１のセンサと、
   自車周辺の他車の位置を検出する第２のセンサと、
   第１未確認他車追尾手段と、第１確認済他車設定手段と、第１確認済他車追尾手段と、第１他車位置識別手段と、第１未確認他車設定手段とを備えた第１他車検出部と、
   第２未確認他車追尾手段と、第２確認済他車設定手段と、第２確認済他車追尾手段と、第２他車位置識別手段と、第２未確認他車設定手段とを備えた第２他車検出部とを有し、
   前記第１未確認他車追尾手段は、当該第１未確認他車追尾手段に対して未確認他車として設定された他車を前記第１のセンサが検出した位置に基づいて追尾し、
   前記第１確認済他車設定手段は、前記第１未確認他車追尾手段が追尾に所定回数成功した他車を確認済他車として第１確認済他車追尾手段に設定し、
   第１確認済他車追尾手段は、当該第１確認済他車追尾手段に対して確認済他車として設定された他車を前記第１のセンサが検出した位置に基づいて追尾し、
   前記第１他車位置識別手段は、前記第１確認済他車追尾手段が追尾している他車の位置を自車周辺の他車の位置として識別し、
   前記第１未確認他車設定手段は、前記第１のセンサが前記第１未確認他車追尾手段と前記第１確認済他車追尾手段とのいずれでも追尾していない他車の位置を検出した場合に、当該位置を検出した他車を前記未確認他車として、前記第１未確認他車追尾手段に設定し、
   前記第２未確認他車追尾手段は、当該第２未確認他車追尾手段に対して未確認他車として設定された他車を前記第２のセンサが検出した位置に基づいて追尾し、
   前記第２確認済他車設定手段は、前記第２未確認他車追尾手段が追尾に所定回数成功した他車を確認済他車として第２確認済他車追尾手段に設定し、
   第２確認済他車追尾手段は、当該第２確認済他車追尾手段に対して確認済他車として設定された他車を前記第２のセンサが検出した位置に基づいて追尾し、
   前記第２他車位置識別手段は、前記第２確認済他車追尾手段が追尾している他車の位置を自車周辺の他車の位置として識別し、
   前記第２未確認他車設定手段は、前記第２のセンサが前記第２未確認他車追尾手段と前記第２確認済他車追尾手段とのいずれでも追尾していない他車の位置を検出した場合に、当該位置を検出した他車を前記未確認他車として、前記第２未確認他車追尾手段に設定し、
   前記第１他車検出部は、前記第１未確認他車追尾手段と前記第１確認済他車追尾手段とのいずれでも追尾していない他車を、前記第２他車検出部の前記第２確認済他車設定手段が前記第２確認済他車追尾手段に対して前記確認済他車として設定した場合に、当該第２確認済他車追尾手段に対して確認済他車として設定された他車を、前記未確認他車として前記第１未確認他車追尾手段に設定し、以降の、当該未確認他車として設定した他車の、前記第１のセンサが検出した位置に基づいた追尾を前記第１未確認他車追尾手段に行わせ、
   前記第１のセンサと前記第２のセンサとのうちの一方は、自車周辺の他車の位置を検出するレーダ装置であり、前記第１のセンサと前記第２のセンサとのうちの他方は自車周辺を撮影するカメラと前記カメラが撮影した画像に対して画像認識処理を施して当該画像に写り込んでいる他車の位置を検出する他車認識手段とより構成されるものであることを特徴とする周辺監視システム。
6. 請求項５記載の周辺監視システムであって、
   前記第２他車検出部は、前記第２未確認他車追尾手段と前記第２確認済他車追尾手段とのいずれでも追尾していない他車を、前記第１他車検出部の前記第１確認済他車設定手段が前記第１確認済他車追尾手段に対して前記確認済他車として設定した場合に、当該第１確認済他車追尾手段に対して確認済他車として設定された他車を、前記未確認他車として前記第２未確認他車追尾手段に設定し、以降の、当該未確認他車として設定した他車の、前記第２のセンサが検出した位置に基づいた追尾を前記第２未確認他車追尾手段に行わせることを特徴とする周辺監視システム。
7. 自動車に搭載され、当該自動車である自車周辺の他車を検出する周辺監視システムであって、
   自車周辺の他車の位置を検出する第１のセンサと、
   自車周辺の他車の位置を検出する第２のセンサと、
   第１未確認他車追尾手段と、第１確認済他車設定手段と、第１確認済他車追尾手段と、第１他車位置識別手段と、第１未確認他車設定手段とを備えた第１他車検出部と、
   第２未確認他車追尾手段と、第２確認済他車設定手段と、第２確認済他車追尾手段と、第２他車位置識別手段と、第２未確認他車設定手段とを備えた第２他車検出部とを有し、
   前記第１未確認他車追尾手段は、当該第１未確認他車追尾手段に対して未確認他車として設定された他車を前記第１のセンサが検出した位置に基づいて追尾し、
   前記第１確認済他車設定手段は、前記第１未確認他車追尾手段が追尾に所定回数成功した他車を確認済他車として第１確認済他車追尾手段に設定し、
   第１確認済他車追尾手段は、当該第１確認済他車追尾手段に対して確認済他車として設定された他車を前記第１のセンサが検出した位置に基づいて追尾し、
   前記第１他車位置識別手段は、前記第１確認済他車追尾手段が追尾している他車の位置を自車周辺の他車の位置として識別し、
   前記第１未確認他車設定手段は、前記第１のセンサが前記第１未確認他車追尾手段と前記第１確認済他車追尾手段とのいずれでも追尾していない他車の位置を検出した場合に、当該位置を検出した他車を前記未確認他車として、前記第１未確認他車追尾手段に設定し、
   前記第２未確認他車追尾手段は、当該第２未確認他車追尾手段に対して未確認他車として設定された他車を前記第２のセンサが検出した位置に基づいて追尾し、
   前記第２確認済他車設定手段は、前記第２未確認他車追尾手段が追尾に所定回数成功した他車を確認済他車として第２確認済他車追尾手段に設定し、
   第２確認済他車追尾手段は、当該第２確認済他車追尾手段に対して確認済他車として設定された他車を前記第２のセンサが検出した位置に基づいて追尾し、
   前記第２他車位置識別手段は、前記第２確認済他車追尾手段が追尾している他車の位置を自車周辺の他車の位置として識別し、
   前記第２未確認他車設定手段は、前記第２のセンサが前記第２未確認他車追尾手段と前記第２確認済他車追尾手段とのいずれでも追尾していない他車の位置を検出した場合に、当該位置を検出した他車を前記未確認他車として、前記第２未確認他車追尾手段に設定し、
   前記第１他車検出部は、前記第１未確認他車追尾手段と前記第１確認済他車追尾手段とのいずれでも追尾していない他車を、前記第２他車検出部の前記第２確認済他車設定手段が前記第２確認済他車追尾手段に対して前記確認済他車として設定した場合に、当該第２確認済他車追尾手段に対して確認済他車として設定された他車を、前記確認済他車として前記第１確認済他車追尾手段に設定し、以降の、当該確認済他車として設定した他車の、前記第１のセンサが検出した位置に基づいた追尾を、前記第１確認済他車追尾手段に行わせ、
   前記第１のセンサと前記第２のセンサとのうちの一方は、自車周辺の他車の位置を検出するレーダ装置であり、前記第１のセンサと前記第２のセンサとのうちの他方は自車周辺を撮影するカメラと前記カメラが撮影した画像に対して画像認識処理を施して当該画像に写り込んでいる他車の位置を検出する他車認識手段とより構成されるものであることを特徴とする周辺監視システム。
8. 請求項７記載の周辺監視システムであって、
   前記第２他車検出部は、前記第２未確認他車追尾手段と前記第２確認済他車追尾手段とのいずれでも追尾していない他車を、前記第１他車検出部の前記第１確認済他車設定手段が前記第１確認済他車追尾手段に対して前記確認済他車として設定した場合に、当該第１確認済他車追尾手段に対して確認済他車として設定された他車を、前記確認済他車として前記第２確認済他車追尾手段に設定し、以降の、当該確認済他車として設定した他車の、前記第２のセンサが検出した位置に基づいた追尾を、前記第２確認済他車追尾手段に行わせることを特徴とする周辺監視システム。