JP4818002B2 - 周辺監視システム及び他車検出方法 - Google Patents

Description

本発明は、自動車周辺に存在する物体を検出する技術に関するものである。

自動車周辺に存在する物体を検出する技術としては、自動車に搭載したカメラによって自動車周辺を撮影した画像に写り込んだ他車を画像認識処理によって認識し、認識した他車までの距離を、レーダ装置や超音波センサを用いて検出する技術が知られている（たとえば、特許文献１）。
特開2001-195700号公報

さて、レーダ装置によれば、他車までの距離を比較的高精度に計測することができる。しかし、その反面、当該他車が自動二輪車などの二輪車である場合、二輪車の有効反射面積が自動四輪車に比べて小さいために、検出漏れが生じ易く、安定的な距離の計測を行うことができない。

そこで、本発明は、他車までの距離を、当該他車が二輪車である場合にも、安定的に精度良く計測することのできる周辺監視システムを提供することを課題する。

前記課題達成のために、本発明は、自動車に搭載され、当該自動車である自車周辺の他車を検出する周辺監視システムを、自車周辺の他車の位置を測定するレーダ装置と、自車周辺を撮影するカメラと、前記カメラが撮影した画像に対して画像認識処理を施して、当該画像中の二輪車が写り込んでいる領域を抽出する二輪車認識手段と、自車周辺の二輪車を追尾対象二輪車として追尾する二輪車追尾手段とより構成すると共に、前記二輪車追尾手段を、前記二輪車認識手段が抽出した領域に写り込んでいる追尾対象二輪車と自車との間の距離を前記レーダ装置に測定させ、当該レーダ装置によって測定された距離を当該追尾対象二輪車の基準距離として設定すると共に、当該二輪車認識手段が抽出した領域の大きさを当該追尾対象二輪車の基準サイズとして設定する基準値設定手段と、前記基準距離と基準サイズとが設定されている追尾対象二輪車について、前記二輪車認識手段が抽出した当該追尾対象二輪車が写り込んでいる領域の大きさと、当該追尾対象二輪車に設定されている基準サイズとの比率と、当該追尾対象二輪車に設定されている基準距離とに基づいて、当該追尾対象二輪車と自車との間の距離を算定する二輪車距離算定手段とを備えて構成したものである。

ここで、このような周辺監視システムは、より具体的には、前記二輪車追尾手段の基準値設定手段において、前記二輪車認識手段が追尾対象二輪車となっていない二輪車が写り込んでいる領域を抽出したときに、当該領域に写り込んでいる二輪車を新規に追尾対象二輪車に設定すると共に、当該新規に設定した追尾対象二輪車と自車との間の距離を前記レーダ装置に測定させ、当該レーダ装置によって測定された距離を当該追尾対象二輪車の基準距離として設定すると共に、当該二輪車認識手段が抽出した当該新規に設定した追尾対象二輪車が写り込んでいる領域大きさを当該追尾対象二輪車の基準サイズとして設定するように構成してもよい。

このような周辺監視システムによれば、撮影画像中に追尾対象二輪車が写り込む領域の大きさが追尾対象二輪車との間の距離に応じて変化することを利用した、過去にレーダ装置を用いて精度良く測定した追尾対象二輪車との間の距離に基づく追尾対象二輪車との間の距離の算定を行うことができるので、レーダ装置の追尾対象二輪車の検出漏れが生じるような状況にあるときにも、比較的精度良く自車周辺の二輪車の相対距離を計測することができるようになる。よって、他車までの距離を、当該他車が二輪車である場合にも、安定的に精度良く計測することができる。

レーダ装置で計測できない、精度良く自車周辺の二輪車と自車との間の相対距離を算定することができる。
なお、このような周辺監視システムは、前記基準値設定手段において、前記追尾対象二輪車と自車との間の距離を前記レーダ装置に測定させる際に、当該追尾対象二輪車が写り込んでいる領域の前記画像中の位置より推定される当該追尾対象二輪車の位置に対する、レーダ装置の感度を、一時的に増加することが好ましい。

このようにすることにより、各時点における自車周辺の二輪車の相対距離の算定精度をより向上することができる。

以上のように、本発明によれば、他車までの距離を、当該他車が二輪車である場合にも、安定的に精度良く計測することができる。

以下、本発明の実施形態を説明する。
図１ａに、本第実施形態に係る周辺監視システムの構成を示す。
本周辺監視システムは、自動車に搭載されるシステムであり、図示するように、周辺監視システムは、レーダ装置１、カメラ２、他車認識部３、物標追尾部４、周辺状況提示部５、表示装置６、音声出力装置７とを有している。
ここで、本周辺監視システムが搭載された自動車を自車１００として、図１ｂに示すようにレーダ装置１とカメラ２は、自車１００の後部に配置される。そして、レーダ装置１は、自車１００後方をスキャン範囲としてスキャン範囲内にある他車の自車１００に対する相対位置（相対方位、相対距離）を測定しレーダ測定データとして出力するスキャン処理を繰り返し行う。

また、他車認識部３は、カメラ２が撮影した画像に対して所定の画像認識処理を実行し、画像中に他車が写り込んでいる領域を抽出し、抽出した領域に写り込んだ他車の自動四輪車/二輪車の種別を認識すると共に、抽出した領域に画像中の位置より、当該他車の自車１００に対する相対位置（相対方位、相対距離）を算定する。そして、抽出した領域のサイズと、当該領域について認識した他車の種別と、当該領域について認識した他車の相対位置とをカメラ測定データとして出力する画像認識処理を繰り返し行う。

次に、物標追尾部４は、レーダ装置１から出力されたレーダ測定データやカメラ測定データに基づいて、自車１００後方の他車の位置を追尾する。
ここで、物標追尾部４は、二輪車である他車については、以下のように、その追尾を行う。
すなわち、物標追尾部４は、他車認識部３からカメラ測定データが出力されたならば、カメラ測定データに含まれる相対位置より、当該カメラ測定データが、既に追尾中の他車についてのカメラ測定データであるかどうかを調べる。そして、カメラ測定データが、既に追尾中の他車についてのカメラ測定データでなければ、カメラ測定データに含まれる種別が二輪車であるかどうかを調べ、二輪車であれば、当該二輪車を追尾対象二輪車として次に示す二輪車追尾処理を行う。

図２に、この二輪車追尾処理の手順を示す。
図示するように、この二輪車追尾処理では、まず、カメラ測定データが表す、追尾対象二輪車が写り込んでいた領域のサイズＳを当該追尾対象二輪車の基準サイズＳとして記憶する（ステップ２０２）。
そして、レーダ装置１の測定特性を、追尾対象二輪車に対する感度が増大するように変更する（ステップ２０４）。より詳細には、このステップ２０４では、追尾対象二輪車に対する感度を増大させるために、レーダ装置１のレーダの発振強度やレーダ反射波の受信利得を大きくしたり、ノイズ除去のしきい値を緩和したり、カメラ測定データが表す追尾対象二輪車の相対方位についてのレーダ装置１の指向性を高めたり、スキャン範囲をカメラ測定データが表す追尾対象二輪車の相対方位を中心とする通常よりも狭い方位範囲に狭めたりする。または、このステップ２０４では、レーダ装置１のスキャン範囲を、カメラ測定データが表す追尾対象二輪車の相対方位を中心とする通常よりも狭い方位範囲に狭めた上で、一度のスキャン処理において、スキャン範囲に対しての複数回スキャンを行って、同じ他車に対して複数の相対距離を測定し、測定した複数の相対距離から当該他車の最尤性ある相対距離を求める所定の統計的処理（平均値算出処理や中央値算出処理や最頻値算出処理等）を実行し、当該統計的処理で求まった相対距離を、最終的に当該他車の相対距離として出力するように、レーダ装置１を設定する。なお、この場合には、レーダ装置１は、複数回のスキャンで測定した相対距離のうちの、相互に近接する相対距離を、同じ他車に対して測定された相対距離として、前述した最尤性ある相対距離を求める。

さて、次に、レーダ装置１の測定特性を、追尾対象二輪車に対する感度が増大するように変更したならば（ステップ２０４）、レーダ装置１の次のスキャン処理の完了を待って（ステップ２０６）、レーダ装置１が変更後の測定特性で測定したレーダ測定データの内の、追尾対象二輪車のカメラ測定データが表す相対方位に近似している相対方位を含むレーダ測定データが表す相対距離を、レーダ装置１が測定した追尾対象二輪車の相対距離とし、この追尾対象二輪車の相対距離を基準距離Ｄとして設定する（ステップ２０８）。また、レーダ装置１が変更後の測定特性で測定したレーダ測定データが表す追尾対象二輪車の相対位置を、追尾対象二輪車の相対位置として設定し（ステップ２１０）、レーダ装置１の測定特性をステップ２０４で変更前の測定特性に復帰する（ステップ２１２）。ただし、ステップ２１０では、カメラ測定データが表す、追尾対象二輪車の相対方向と、レーダ装置１が変更後の測定特性で測定したレーダ測定データが表す追尾対象二輪車の相対距離とより定まる相対位置や、カメラ測定データが表す相対位置を追尾対象二輪車の相対位置として設定するようにすることもできる。

そして、追尾対象二輪車の現在までの相対位置の履歴より求めた、次回の画像認識処理時に追尾対象二輪車がおよそ存在し得る範囲を追尾窓として設定し（ステップ２１４）、他車認識部３の画像認識処理の完了を待って（ステップ２１８）、完了した画像認識処理によって、追尾窓内の相対位置と二輪車を表す種別とを含むカメラ測定データが出力されたかどうか、すなわち画像認識処理によって追尾窓内に位置する二輪車が検出されたかどうかを調べる（ステップ２１８）。

そして、追尾窓内の相対位置と二輪車を表す種別とを含むカメラ測定データが出力されていなければ（ステップ２１８）、この追尾対象二輪車についての二輪車追尾処理を終了する。
一方、追尾窓内の相対位置と二輪車を表す種別とを含むカメラ測定データが出力されていれば、当該カメラ測定データが追尾対象二輪車のカメラ測定データであるものとして、基準サイズＳの、当該カメラ測定データが示す追尾対象二輪車が写り込んだ領域のサイズに対する比率に、基準距離Ｄを乗じた値を、追尾対象二輪車の相対距離として算出する（ステップ２２０）。そして、追尾対象二輪車のカメラ測定データが示す追尾対象二輪車の相対方位とステップ２２０で算出した相対距離で表される位置を、追尾対象二輪車の相対位置とし（ステップ２２２）、ステップ２１４からの処理に戻る。

以上、物標追尾部４が行う二輪車追尾処理について説明した。
なお、以上の二輪車追尾処理は、二輪車追尾処理の実行中に定期的にステップ２０２-２１０の処理を行って基準サイズＳと基準距離Ｄを、定期的に更新するように修正して実施するようにしてもよい。
また、以上の二輪車追尾処理は、レーダ装置１において追尾対象二輪車の検出漏れが生じた場合にのみ、ステップ２２０とステップ２２２によって、基準サイズＳと基準距離Ｄを用いた追尾対象二輪車の相対距離と相対位置の算定を行い、レーダ装置１において追尾対象二輪車が検出できているときには、レーダ装置１が出力する追尾対象二輪車のレーダ測定データの相対距離と相対位置を、そのまま追尾対象二輪車のレーダ測定データの相対距離と相対位置として用いるように修正して実施するようにしてもよい。なお、この場合には、スキャン処理で出力されたレーダ測定データの内に、ステップ２１４で設定した追尾窓内の相対位置を表すレーダ測定データが存在しなかった場合に、追尾対象二輪車の検出漏れが生じたと判定する。また、ステップ２１４で設定した追尾窓内の相対位置を表すレーダ測定データを追尾対象二輪車のレーダ測定データとする。

ここで、図３に、このような二輪車追尾処理の処理例を示す。
いま、図３ａ１、ａ２、ａ３、ａ４、ａ５のように、自動二輪車４００が自車１００の後方より接近してきた場合、各時点において、カメラ２によって撮影された画像は、図３ｂ１、ｂ２、ｂ３、ｂ４、ｂ５のようになる。
そして、この場合、ａ２の時点で、他車認識部３によってカメラ２が撮影した画像ｂ２中の自動二輪車４００が初めて認識されると、ｂ２に示すように、画像中の自動二輪車４００が写り込んでいる領域４１０のサイズが基準サイズＳとして設定される。ここで、図示した例では、領域４１０のサイズとして、領域４１０の幅Ｗ２を用いた場合を示しており、この場合、この領域４１０の幅Ｗ２が基準サイズＳとして設定される。

また、ａ２の時点では、他車認識部３によってカメラ２が撮影した画像ｂ２中の自動二輪車４００が初めて認識されると、レーダ装置１の測定特性が、認識された自動二輪車４００に対する感度が増加するように変更される。図示した例では、レーダ装置１のスキャン範囲４２０を自動二輪車４００の方向を中心とする、通常よりも狭い方位範囲に変更し、重点的にスキャン範囲内の他車の相対距離を計測することによりレーダ装置１の、認識された自動二輪車４００に対する感度を増加している。そして、このように測定特性が変更されたレーダ装置１によって測定された自動二輪車４００の相対距離Ｌ２が基準距離Ｄとして設定されることになる。

そして、以降の各時点ａ３、ａ４、ａ５では、他車認識部３によって認識されたカメラ２が撮影した画像ｂ３、ｂ４、ｂ５中の自動二輪車４００が写り込んだ領域４１０のサイズＷ３、Ｗ４、Ｗ５が求められる。ここで、図示するように、領域４１０のサイズＳ=Ｗ２、Ｗ３、Ｗ４、Ｗ５の大きさは、自動二輪車４００の対距離Ｄ=Ｌ２、Ｌ３、Ｌ４、Ｌ５に反比例する。そこで、これらａ３、ａ４、ａ５の時点において、基準サイズＳの、画像ｂ３、ｂ４、ｂ５中の自動二輪車４００が写り込んだ領域４１０のサイズＷ３、Ｗ４、Ｗ５に対する比率に、基準距離Ｄを乗じた、Ｌｎ=Ｄ×Ｓ/Ｗｎとして、相対距離Ｌ３、Ｌ４、Ｌ５を、算定する。

また、これらの時点ａ３、ａ４、ａ５では、レーダ装置１のスキャン範囲４２０は、自動二輪車４００の認識前のａ１以前の時点と同じスキャン範囲４２０に復帰される。

さて、図１ａに戻り周辺状況提示部５は、物標追尾部３や他車追尾部５が追尾している他車の現在位置や現在位置の履歴に基づいて、自車１００後方の他車の配置や挙動の状況などを表示装置６に表示したり、自車１００後方の他車の配置や挙動より危険の発生を予知して警告を表す音声を音声出力装置７から出力する処理などを行う。

以上、本発明の実施形態について説明した。
以上のように、本実施形態は、カメラ１が撮影した画像中に追尾対象二輪車が写り込む領域の大きさが追尾対象二輪車との間の距離に応じて変化することを利用した、過去にレーダ装置１を用いて精度良く測定した追尾対象二輪車の相対距離に基づく追尾対象二輪車の相対距離の算定を行うことができるので、レーダ装置１によって追尾対象二輪車の検出漏れが生じるような状況にあるときにも、比較的精度良く自車１００周辺の二輪車の相対距離を計測することができるようになる。

本発明の実施形態に係る周辺監視システムの構成と配置を示すブロック図である。 本発明の実施形態に係る二輪車追尾処理を示すフローチャートである。 本発明の実施形態に係る二輪車追尾処理の処理例を示す図である。

符号の説明

１…レーダ装置、２…カメラ、３…他車認識部、４…物標追尾部、５…周辺状況提示部、６…表示装置、７…音声出力装置、１００…自車、４００…自動二輪車。

Claims (2)

1. 自動車に搭載され、当該自動車である自車周辺の他車を検出する周辺監視システムであって、
   自車周辺の他車の位置を測定するレーダ装置と、
   自車周辺を撮影するカメラと、
   レーダ装置が位置を測定した他車を追尾する物標追尾部と、
   前記カメラが撮影した画像に対して画像認識処理を施して、当該画像中の二輪車が写り込んでいる領域を抽出する二輪車認識手段とを有し、
   前記物標追尾部は、自車周辺の二輪車を追尾対象二輪車として追尾する二輪車追尾手段を有し、
   当該二輪車追尾手段は、
   前記二輪車認識手段が追尾対象二輪車となっていない二輪車が写り込んでいる領域を抽出したときに、当該領域に写り込んでいる二輪車を新規に追尾対象二輪車に設定すると共に、当該新規に設定した追尾対象二輪車が写り込んでいる領域の前記画像中の位置より推定される当該新規に設定した追尾対象二輪車の位置に対する、前記レーダ装置の感度を増加した上で、当該新規に設定した追尾対象二輪車と自車との間の距離を前記レーダ装置に測定させ、当該レーダ装置によって測定された距離を当該新規に設定した追尾対象二輪車の基準距離として設定すると共に、前記増加した前記レーダ装置の感度を復帰し、前記二輪車認識手段が抽出した当該新規に設定した追尾対象二輪車が写り込んでいる領域の大きさを当該新規に設定した追尾対象二輪車の基準サイズとして設定する基準値設定手段と、
   前記基準距離と基準サイズとが設定されている追尾対象二輪車について、前記二輪車認識手段が抽出した当該追尾対象二輪車が写り込んでいる領域の大きさと、当該追尾対象二輪車に設定されている基準サイズとの比率と、当該追尾対象二輪車に設定されている基準距離とに基づいて、当該追尾対象二輪車と自車との間の距離を算定する二輪車距離算定手段とを有することを特徴とする周辺監視システム。
2. 自動車に搭載され周辺監視システムにおいて、当該自動車である自車周辺の他車を検出する他車検出方法であって、
   前記周辺監視システムが、自車周辺の他車の位置を測定するレーダ装置が位置を測定した他車を追尾する物標追尾ステップと、
   前記周辺監視システムが、レーダ装置が位置を測定した他車を追尾する物標追尾ステップと、
   前記周辺監視システムが、自車周辺を撮影するカメラが撮影した画像に対して画像認識処理を施して、当該画像中の二輪車が写り込んでいる領域を抽出する二輪車認識ステップとを有し、
   前記物標追尾ステップは、自車周辺の二輪車を追尾対象二輪車として追尾する二輪車追尾ステップを含み、
   当該二輪車追尾ステップは、
   前記周辺監視システムが、前記二輪車認識ステップで追尾対象二輪車となっていない二輪車が写り込んでいる領域を抽出したときに、当該領域に写り込んでいる二輪車を新規に追尾対象二輪車に設定すると共に、当該新規に設定した追尾対象二輪車が写り込んでいる領域の前記画像中の位置より推定される当該新規に設定した追尾対象二輪車の位置に対する、前記レーダ装置の感度を増加した上で、当該新規に設定した追尾対象二輪車と自車との間の距離を前記レーダ装置に測定させ、当該レーダ装置によって測定された距離を当該新規に設定した追尾対象二輪車の基準距離として設定すると共に、前記増加した前記レーダ装置の感度を復帰し、前記二輪車認識手段が抽出した当該新規に設定した追尾対象二輪車が写り込んでいる領域の大きさを当該新規に設定した追尾対象二輪車の基準サイズとして設定する基準値設定ステップと、
   前記周辺監視システムが、前記基準距離と基準サイズとが設定されている追尾対象二輪車について、前記二輪車認識ステップが抽出した当該追尾対象二輪車が写り込んでいる領域の大きさと、当該追尾対象二輪車に設定されている基準サイズとの比率と、当該追尾対象二輪車に設定されている基準距離とに基づいて、当該追尾対象二輪車と自車との間の距離を算定する二輪車距離算定ステップとを含んで構成されていることを特徴とする他車検出方法。