JP5651649B2

JP5651649B2 - 物体位置検知装置

Info

Publication number: JP5651649B2
Application number: JP2012176924A
Authority: JP
Inventors: 洋治笹渕; 弘之小池
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2012-08-09
Filing date: 2012-08-09
Publication date: 2015-01-14
Anticipated expiration: 2032-08-09
Also published as: JP2014035669A

Description

この発明は、自車両の周辺に存在する物体の位置を検知するための物体位置検知装置に関するものである。

自車両の周辺、例えば自車両の進行方向前方に存在する歩行者や車両等の物体を認識する物体認識装置として、レーダ装置とカメラの両方を用いて両者の検出結果を利用して物体の存在及び物体の種類を判別するものがある。

特許文献１には、レーダ装置の送信出力を大小に切り替え、大きい送信出力のときに受信された反射波に基づく検出結果から、小さい送信出力のときに受信された反射波に基づく検出結果を取り除くことにより、車両以外の物体を抽出し、抽出された物体に対してカメラで撮像された画像に基づいてパターンマッチング処理（統合処理）を行い、歩行者であるか否かを判別する技術が記載されている。
ここで、一般に、レーダ装置は、反射波に基づいて物体を検知していることから、物体の前後方向の位置判定の精度は高いが、左右方向の位置判定の精度は低くなってしまう。一方、カメラは、物体の左右方向の位置判定の精度が高くなる。

特開２００５−１５７７６５号公報

ところで、上述の従来技術にあっては、レーダ装置によって物体を検知する場合、反射波を利用することから、物体が左右方向に移動していると、レーダ装置によって検知された物体の位置と実際の物体の位置との間に誤差が生じてしまう。このため、レーダ装置によって検知された物体に対し、カメラで撮像された画像とのパターンマッチング処理を行うことが困難になってしまう場合がある。よって、レーダ装置とカメラを用いて物体を特定するにあたって、この特定精度が物体の移動方向によって悪化してしまうという課題がある。

そこで、この発明は、上述した事情に鑑みてなされたものであって、物体が左右方向に移動している場合であっても、物体を特定する精度の悪化を防止できる物体位置検知装置を提供するものである。

上記の課題を解決するために、請求項１に記載した発明は、自車両周辺の所定範囲に向けて電磁波を発信すると共に、この電磁波が自車両周辺に存在する電磁波検知物体により反射されて生じる反射波を受信するレーダ装置（例えば、実施形態におけるレーダ装置２）と、自車両周辺の所定範囲を撮像するカメラ（例えば、実施形態におけるカメラ３ａ）と、前記カメラにより撮像された画像から特定物体を抽出する物体抽出部（例えば、実施形態における物体抽出部１３）と、前記レーダ装置により検知された前記電磁波検知物体、及び前記カメラにより抽出された前記特定物体の少なくとも何れか一方が左右方向に移動している移動物標であるか否かを判別する移動物標判別部（例えば、実施形態における移動物標判別部１２）と、前記レーダ装置の判別結果と前記物体抽出部の抽出結果とに基づいて、前記レーダ装置により検知された前記電磁波検知物体が前記特定物体であるか否かを判定する特定物判別部（例えば、実施形態における特定物判別部１４）とを備え、前記物体抽出部は、前記レーダ装置により検知された前記電磁波検知物体、及び前記カメラにより抽出された前記特定物体の何れか一方の物体を基準として所定の大きさの領域である統合範囲（例えば、実施形態における統合範囲Ｒ１）を設定し、この統合範囲内に前記電磁波検知物体、及び前記特定物体の何れか他方が存在する場合、前記電磁波検知物体が前記特定物体であると肯定判定し、前記電磁波検知物体が左右方向に移動している移動物標であると前記移動物標判別部により判別された場合、及び前記特定物体が左右方向に移動している移動物標であると前記移動物標判別部により判別された場合の少なくとも何れか一方の場合、前記統合範囲を拡大することを特徴とする。

請求項２に記載した発明は、前記物体抽出部は、前記レーダ装置により検知された前記電磁波検知物体、及び前記カメラにより抽出された前記特定物体の少なくとも何れか一方の左右方向に移動している継続時間、移動速度、及び移動加速度の少なくとも何れか一方が大きいほど、前記統合範囲を拡大することを特徴とする。

請求項３に記載した発明は、前記物体抽出部は、前記レーダ装置により検知された前記電磁波検知物体の左右方向の移動量と、前記カメラにより抽出された前記特定物体の左右方向の移動量とが所定時間一定である場合、前記電磁波検知物体が前記特定物体であると肯定判定することを特徴とする。

請求項１に記載した発明によれば、物体が左右方向に移動している場合であっても、レーダ装置によって検知された物体に対し、カメラで撮像された画像とのパターンマッチング処理を容易に行うことが可能になる。このため、レーダ装置による物体の検知位置と、カメラによる物体の検知位置との間に誤差が生じた場合であっても、レーダ装置とカメラを用いて物体を特定する精度を向上させることができる。
また、簡素な構成で、レーダ装置によって検知された左右方向に移動する物体に対して、カメラで撮像された画像とのパターンマッチング処理を容易に行うことが可能になる。

請求項２に記載した発明によれば、左右方向に移動している継続時間、移動速度、移動加速度に応じて、最適なマッチング処理を行うことができる。

請求項３に記載した発明によれば、物体が左右方向に移動していることによって、レーダ装置による物体の検知位置と、カメラによる物体の検知位置との間に誤差が生じた場合であっても、レーダ装置とカメラを用いて物体を特定する精度を向上させることができる。

本発明の実施形態における物体位置検知装置のブロック図である。本発明の実施形態における統合範囲を示し、（ａ）〜（ｃ）は、統合範囲の大きさを設定するにあたっての説明図である。本発明の実施形態における制御処理装置の処理方法を示すフローチャートである。本発明の実施形態における統合範囲の左右方向の幅の変化を示すグラフである。本発明の実施形態の変形例におけるレーダ装置により検出された物体と、カメラにより撮像された物体とのマッチングを行う方法についての説明図である。

（物体位置検知装置）
次に、この発明の実施形態を図面に基づいて説明する。
図１は、物体位置検知装置のブロック図である。
同図に示すように、物体位置検知装置１は、例えば駆動源としての内燃機関２１の駆動力を、オートマチックトランスミッション（ＡＴ）あるいは無段自動変速機（ＣＶＴ）等のトランスミッション（Ｔ／Ｍ）２２を介して車両の駆動輪に伝達して走行する車両に搭載されている。この車両は、物体位置検知装置１のほかに、ブレーキアクチュエータ２３、ステアリングアクチュエータ２４、及び報知装置２５を備えている。
尚、以下の説明において、車両の進行方向前方向、後方向を、単に前後方向、車両の進行方向に向かって左右の方向を単に左右方向等と称して説明する。

物体位置検知装置１は、レーダ装置２と、カメラユニット３と、自車両状態センサ４と、電子制御装置１０とを備えている。
レーダ装置２は、例えばレーザ光やミリ波等の電磁波を自車両の進行方向前方に向けて発信すると共に、この発信した電磁波が自車両の外部の物体（電磁波検知物体、例えば、構造物、歩行者、他車両等）によって反射されたときに生じた反射波を受信し、発信した電磁波と受信した電磁波（反射波）とを混合してビート信号を生成し、電子制御装置１０へ出力する。

カメラユニット３は、ＣＣＤカメラやＣＭＯＳカメラ等からなるカメラ３ａと、画像処理部３ｂとを備えて構成されている。画像処理部３ｂは、カメラ３ａにより撮像して得た自車両の進行方向前方の外界の画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して電子制御装置１０へ出力する。

自車両状態センサ４は、自車両の車両情報として、例えば自車両の速度（車速）を検出する車速センサや、ヨーレート（車両重心の上下方向軸回りの回転角速度）を検出するヨーレートセンサや、操舵角（運転者が入力した操舵角度の方向と大きさ）や操舵角に応じた実舵角（転舵角）を検出する舵角センサや、操舵トルクを検出する操舵トルクセンサや、例えば人工衛星を利用して車両の位置を測定するためのＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）信号等の測位信号や自車両の外部の情報発信装置から発信される位置信号等、さらには、適宜のジャイロセンサや加速度センサ等の検出結果に基づいて自車両の現在位置及び進行方向を検出する位置センサや、アクセルペダルの踏み込み量を検出するセンサや、ブレーキペダルの踏み込み状態を検知するセンサ等を備えて構成されている。自車両状態センサ４は、検出した情報に応じた車両情報信号を電子制御装置１０へ出力する。

電子制御装置１０は、物体検出部１１、移動物標判別部１２、物体抽出部１３、特定物判別部１４、及び車両制御部１５を備えている。
物体検出部１１は、レーダ装置２から入力されるビート信号に基づいて、電磁波を反射した物体の位置、速度、加速度、反射レベル等を算出する。さらに、物体の移動方向を算出する。そして、算出したこれらの情報を移動物標判別部１２、及び物体抽出部１３へ出力する。尚、物体の速度は、時間差を持ってレーダ装置２により検出され物体の位置情報に基づいて算出される自車両との相対速度と、自車両の速度とから算出することができる。

移動物標判別部１２は、物体検出部１１から入力された算出結果に基づいて、この物体が移動している物体（移動物標）であるか、移動していない物体、すなわち静止物（移動物標でない物体）であるかを判別する。そして、判別結果を特定物判別部１４へ出力する。

物体抽出部１３には、カメラユニット３から画像データが入力されるとともに、物体検出部１１から物体の位置情報が入力される。物体抽出部１３は、カメラユニット３から入力される画像データ上に、入力された位置情報の位置Ｐ１を中心にして所定の大きさの領域Ｒ１（以下、統合範囲Ｒ１と称す）を設定する（何れも図２参照、詳細は後述する）。
さらに、物体抽出部１３は、設定された統合範囲Ｒ１に含まれる画素の輝度値に基づいてエッジ抽出により画像データ上の物体（特定物体）を抽出し、抽出した物体に対して、予め記憶しておいた人体及び車両のモデル画像とパターンマッチング処理を行い、抽出した物体が人体又は車両のモデル画像とマッチングするか否かを判別する。また、物体抽出部１３も、抽出した物体が左右方向に移動している物体であるか否かを判別する。そして、これらの判別結果を特定物判別部１４へ出力する。

ここで、図２に基づいて、統合範囲Ｒ１の大きさの設定方法について詳述する。
図２（ａ）〜図２（ｃ）は、統合範囲の大きさを設定するにあたっての説明図である。
図２（ａ）に示すように、物体抽出部１３で設定される統合範囲Ｒ１は、物体検出部１１から入力された位置情報の位置Ｐ１を中心にして所定の大きさに設定される。このとき、物体が静止している場合は、その所定の大きさは変化しないようになっている。

しかしながら、物体検出部１１により、物体が左右方向に移動していると検出された場合、又はカメラユニット３から入力される画像データ上の物体が左右方向に移動している物体であると判別された場合、物体の移動速度、移動加速度、物体検知からの経過時間等に基づいて、統合範囲Ｒ１の左右方向の幅が拡大される。

すなわち、図２（ａ）〜図２（ｃ）に示すように、例えば、物体を検知してからの時間が所定時間経過している場合、初期の統合範囲Ｒ１の左右方向の幅Ｗ１と比較して、所定時間経過後の統合範囲Ｒ１の左右方向の幅Ｗ２が拡大し、さらに、所定時間経過すると、統合範囲Ｒ１の左右方向の幅Ｗ３が幅Ｗ２（図２（ｂ）参照）よりも拡大する。
ここで、拡大される統合範囲Ｒ１の幅は、物体検出部１１から入力された位置情報の位置Ｐ１を中心にして左右均等に拡大してもよいし、位置Ｐ１から物体の進行方向分だけ拡大してもよい。

このように、統合範囲Ｒ１の左右方向の幅が、Ｗ１からＷ３へと変化することにより、物体検出部１１から位置情報が入力された物体（電磁波検知物体）と、カメラユニット３から入力された画像データ上の物体（特定物体）の位置との間に誤差が生じている場合であっても、両者で検知された物体が同一物体であるとの判別をし易くしている。
ここで、統合範囲Ｒ１の大きさを決定する物体の移動速度、移動加速度、物体検知からの経過時間等の情報は、物体抽出部１３のメモリー（不図示）に記録される。この記録は、随時更新される。

特定物判別部１４は、移動物標判別部１２から入力した判別結果、すなわち移動物標か静止物かの判別結果と、物体抽出部１３から入力した判別結果、すなわち画像データ上で抽出した物体が人体又は車両のモデル画像とマッチングしたか否かの判別結果とに基づいて、検出された物体が歩行者又は車両であるか否かを判別する。

車両制御部１５は、特定物判別部１４における判別結果に応じて、例えば特定物判別部１４により歩行者又は車両と判別された物体が自車両と接触する可能性がある場合には、接触を回避するように自車両の走行を制御する。例えば、車両制御部１５は、内燃機関２１の駆動力を制御する制御信号及びトランスミッション２２の変速動作を制御する制御信号及びブレーキアクチュエータ２３による減速動作を制御する制御信号及びステアリングアクチュエータ２４による自車両の操舵機構（図示略）の操向動作を制御する制御信号のうちの少なくとも何れかの制御信号を出力し、接触回避動作として自車両の減速制御又は操向制御を実行する。
また、車両制御部１５は、歩行者又は車両との接触可能性の大きさに応じて、報知装置２５による警報の出力タイミング及び出力内容の少なくとも何れかを制御する。

（物体抽出部の処理方法）
次に、図３に基づいて、物体抽出部１３の処理方法、及び統合範囲の設定方法についてより具体的に説明する。
図３は、制御処理装置の処理方法を示すフローチャートである。
同図に示すように、まず、物体検出部１１が、レーダ装置２から入力されるビート信号に基づいて、電磁波を反射した物体の位置、速度、加速度、反射レベル等を算出する。さらに、物体の移動方向を算出する（ＳＴ１０１）。

続いて、カメラユニット３により得られた画像データに基づいて、物体抽出部１３が歩行者や車両を検出し、これら歩行者や車両の左右方向への移動速度、移動加速度を検出する（ＳＴ１０２）。
そして、物体検出部１１による算出結果、及び物体抽出部１３による検出結果の少なくとも何れか一方の結果が、自車両に対して物体が左右方向に移動しているとされたのか否かを判断する（ＳＴ１０３）。

ＳＴ１０５における判断が「Ｎｏ」である場合、つまり、物体検出部１１による算出結果、及び物体抽出部１３による検出結果の何れの結果も、自車両に対して物体が左右方向に移動していないとされた場合、物体抽出部１３のカウンターは加算されず、物体抽出部１３のメモリーに記憶される左右方向への移動カウント値は「０」のままとなる（ＳＴ１０４）。

一方、ＳＴ１０３における判断が「Ｙｅｓ」である場合、つまり、物体検出部１１による算出結果、及び物体抽出部１３による検出結果の少なくとも何れか一方の結果が、自車両に対して物体が左右方向に移動しているとされた場合、物体抽出部１３のカウンターが「１」加算され、この左右方向への移動カウント値をメモリーに記憶する（ＳＴ１０５）。
ここで、物体が左右方向に移動している場合に加算されるカウント値は必ずしも「１」とは限らない。すなわち、加算される値は、物体の移動速度、移動加速度、物体検知からの経過時間等の情報に基づいて設定される。例えば、物体の移動速度、移動加速度が速ければ速いほど、加算される値が大きくなる。また、物体検知からの経過時間が長ければ長いほど、加算される値が大きくなる。

次に、左右方向への移動カウント値が「１」以上であるか否かの判断を行う（ＳＴ１０６）。
ＳＴ１０６における判断が「Ｎｏ」である場合、つまり、左右方向への移動カウント値が「０」のままである場合、物体抽出部１３は、設定された統合範囲Ｒ１に含まれる画像データ上の物体に対して、予め記憶しておいた人体及び車両のモデル画像とパターンマッチング処理を行い、抽出した物体が人体又は車両のモデル画像とマッチングするか否かを判別する（ＳＴ１０７）。

ＳＴ１０７における判断が「Ｎｏ」である場合、つまり、物体抽出部１３で抽出した物体が人体又は車両のモデル画像とマッチングしない場合、物体抽出部１３の処理が完了する。
一方、ＳＴ１０６における判断が「Ｙｅｓ」である場合、つまり、左右方向への移動カウント値が「１」以上である場合、この移動カウント値に応じて統合範囲Ｒ１の左右方向の幅を大きく設定する（ＳＴ１０８）。

より具体的に、図４に基づいて説明する。
図４は、縦軸を統合範囲Ｒ１の左右方向の幅とし、横軸を、移動カウント値、物体の移動速度又は移動加速度としたときの統合範囲の左右方向の幅の変化を示すグラフである。
すなわち、同図に示すように、移動カウント値が大きければ大きいほど、又は物体の移動速度、移動加速度が速ければ速いほど、統合範囲Ｒ１の左右方向の幅が大きく設定される。尚、物体検知からの経過時間が長ければ長いほど、統合範囲Ｒ１の左右方向の幅を大きく設定してもよい。

図３に戻り、続いて、物体抽出部１３によって、設定された統合範囲Ｒ１に含まれる画像データ上の物体に対して、予め記憶しておいた人体及び車両のモデル画像とパターンマッチング処理を行い、抽出した物体が人体又は車両のモデル画像とマッチングするか否かを判別する（ＳＴ１０９）。
ＳＴ１０９における判断が「Ｎｏ」である場合、つまり、物体抽出部１３で抽出した物体が人体又は車両のモデル画像とマッチングしない場合、物体抽出部１３の処理が完了する。

一方、ＳＴ１０７における判断、及びＳＴ１０９における判断が「Ｙｅｓ」である場合、つまり、物体抽出部１３で抽出した物体が人体又は車両のモデル画像とマッチングした場合、特定物判別部１４において、移動物標判別部１２から入力した判別結果、すなわち移動物標か静止物かの判別結果と、物体抽出部１３から入力した判別結果、すなわち画像データ上で抽出した物体が人体又は車両のモデル画像とマッチングしたか否かの判別結果とに基づいて、検出された物体が歩行者又は車両であるとの情報を付加する。これにより、物体抽出部１３の処理が完了する。

（効果）
したがって、上述の実施形態によれば、移動カウント値が大きければ大きいほど、又は物体の移動速度、移動加速度が速ければ速いほど、統合範囲Ｒ１の左右方向の幅を大きく設定し、レーダ装置２によって検知された物体に対するカメラ３ａで撮像された画像とのパターンマッチング処理を行うようにしているので、物体が左右方向に移動し、レーダ装置２による物体の検知位置と、カメラ３ａによる物体の検知位置との間に誤差が生じた場合であっても、レーダ装置２とカメラ３ａを用いて物体を特定する精度を向上させることができる。

換言すれば、移動カウント値が大きかったり、物体の移動速度、及び移動加速度が速かったりすると、これに応じて統合範囲Ｒ１の左右方向の幅を大きく設定するので、物体が左右方向に移動していない場合と比較して、カメラ３ａで撮像された画像データ上の物体を、統合範囲Ｒ１に含まれやすくすることができる。すなわち、特定物判別部１４において、移動物標判別部１２から入力した判別結果と、物体抽出部１３から入力した判別結果とをマッチングし易くすることができる。このため、物体が左右方向に移動し、レーダ装置２による物体の検知位置と、カメラ３ａによる物体の検知位置との間に誤差が生じた場合であっても、レーダ装置２とカメラ３ａを用いて物体を特定する精度を向上させることができる。

また、移動カウント値、物体の移動速度、及び移動加速度に代え、物体検知からの経過時間が長ければ長いほど、統合範囲Ｒ１の左右方向の幅を大きく設定してもよいとすることにより、物体位置検知装置１をさまざまな仕様に設定して提供することが可能になる。また、移動カウント値、物体の移動速度、移動加速度、経過時間の中から、レーダ装置２によって検知された物体に対するカメラ３ａで撮像された画像との最適なパターンマッチング処理を選択することが可能になり、信頼性の高い物体位置検知装置１を提供することができる。

尚、本発明は上述の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において、上述の実施形態に種々の変更を加えたものを含む。
例えば、上述の実施形態では、物体位置検知装置１を、自車両と物体（歩行者、車両）との接触回避のための走行制御に用いる場合について説明した。しかしながら、これに限られるものではなく、特定物体を先行車両とし、自車両を先行車両に追従して走行させる追従走行制御等、特定物体に対して自車両が取り得る各種の制御が可能である。

また、上述の実施形態では、物体抽出部１３において、カメラユニット３から入力される画像データ上に、物体検出部１１から入力された位置情報の位置Ｐ１を中心にして統合範囲Ｒ１を設定した場合について説明した。そして、物体の移動速度や移動加速度等に応じて統合範囲Ｒ１を変化させ、統合範囲Ｒ１に含まれる画像データ上の物体に対して、予め記憶しておいた人体及び車両のモデル画像とパターンマッチング処理を行う場合について説明した。しかしながら、これに限られるものではなく、以下のように構成してもよい。

（変形例）
図５は、この実施形態の変形例におけるレーダ装置により検出された物体と、カメラにより撮像された物体とのマッチングを行う方法についての説明図である。
同図に示すように、レーダ装置２から入力されるビート信号に基づいて、物体検出部１１で算出された物体の移動方向や移動速度、及びカメラユニット３により得られた画像データに基づく物体の移動方向や移動速度が所定時間、つまり、時間Ｔ＝１から時間Ｔ＝ｎに至る間、一定である場合、物体検出部１１の位置情報の位置Ｐ１と、この位置Ｐ１から所定距離ずれている物体とをマッチングさせてもよい。
したがって、上述の変形例によれば、統合範囲Ｒ１を用いずに、レーダ装置２とカメラ３ａを用いて物体を特定する精度を向上させることが可能になる。

１物体位置検知装置
２レーダ装置
３カメラユニット
３ａカメラ
１１物体検出部
１２移動物標判別部
１３物体抽出部
１４特定物判別部
Ｐ１位置
Ｒ１統合範囲

Claims

自車両周辺の所定範囲に向けて電磁波を発信すると共に、この電磁波が自車両周辺に存在する電磁波検知物体により反射されて生じる反射波を受信するレーダ装置と、
自車両周辺の所定範囲を撮像するカメラと、
前記カメラにより撮像された画像から特定物体を抽出する物体抽出部と、
前記レーダ装置により検知された前記電磁波検知物体、及び前記カメラにより抽出された前記特定物体の少なくとも何れか一方が左右方向に移動している移動物標であるか否かを判別する移動物標判別部と、
前記レーダ装置の判別結果と前記物体抽出部の抽出結果とに基づいて、前記レーダ装置により検知された前記電磁波検知物体が前記特定物体であるか否かを判定する特定物判別部とを備え、
前記物体抽出部は、
前記レーダ装置により検知された前記電磁波検知物体、及び前記カメラにより抽出された前記特定物体の何れか一方の物体を基準として所定の大きさの領域である統合範囲を設定し、この統合範囲内に前記電磁波検知物体、及び前記特定物体の何れか他方が存在する場合、前記電磁波検知物体が前記特定物体であると肯定判定し、
前記電磁波検知物体が左右方向に移動している移動物標であると前記移動物標判別部により判別された場合、及び前記特定物体が左右方向に移動している移動物標であると前記移動物標判別部により判別された場合の少なくとも何れか一方の場合、前記統合範囲を拡大することを特徴とする物体位置検知装置。
前記物体抽出部は、前記レーダ装置により検知された前記電磁波検知物体、及び前記カメラにより抽出された前記特定物体の少なくとも何れか一方の左右方向に移動している継続時間、移動速度、及び移動加速度の少なくとも何れか一方が大きいほど、前記統合範囲を拡大することを特徴とする請求項１に記載の物体位置検知装置。
前記物体抽出部は、前記レーダ装置により検知された前記電磁波検知物体の左右方向の移動量と、前記カメラにより抽出された前記特定物体の左右方向の移動量とが所定時間一定である場合、前記電磁波検知物体が前記特定物体であると肯定判定することを特徴とする請求項１又は請求項２に記載の物体位置検知装置。