JP5098563B2

JP5098563B2 - 物体検出装置

Info

Publication number: JP5098563B2
Application number: JP2007270505A
Authority: JP
Inventors: 弘中村
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2007-10-17
Filing date: 2007-10-17
Publication date: 2012-12-12
Anticipated expiration: 2027-10-17
Also published as: JP2009098025A

Description

本発明は、物体の端部を特定する物体検出装置及び物体検出方法に関する。

従来、衝突防止装置やＡＣＣ（Adaptive Cruise Control）システムなどにおいて、先行車両や対向車両等の他車両との衝突を回避するために、他車両の位置及び向きを算出する物体検出装置が用いられている。この物体検出装置は、ＬＩＤＡＲ（LIght Detection And Ranging）等のレーダを用いて、他車両の端部を検出し、他車両の位置及び向きを求めている。
特開２００３−０８４０６４号公報

しかしながら、他車両の端部は曲面になっているため、ＬＩＤＡＲでは、この他車両の端部から反射されるレーザ光を受信することが困難となり、他車両の端部を高精度に特定することができないという問題があった。このため、他車両の位置及び向きを高精度に求めることができないという問題があった。

なお、特許文献１では、レーザレーダによる車両認識と画像センサによる車両認識とを融合させることで、前方車両の認識精度を向上させる手法が記載されている。しかしながら、特許文献１に記載された手法であっても、前方車両の端部が特定できないため、上記問題を解決するに至っていない。

そこで、本発明は、物体の端部を高精度に特定することができる物体検出装置を提供することを目的とする。

本発明に係る物体検出装置は、レーダにより物体の位置を検出するレーダ検出手段と、
物体を撮像する画像撮像手段と、レーダ検出手段により検出された物体の複数の検出点と、画像撮像手段により撮像された撮像画像とに基づき、物体の端部の位置を特定する端部特定手段と、を備え、端部特定手段は、複数の検出点から近似される物体検出直線と撮像画像から抽出される物体を含む矩形領域の左右端の方位直線との交点を物体の端部の位置とすることを特徴とする。

本発明に係る物体検出装置によれば、物体検出直線により、物体における自車両側の面の位置を求めることができ、撮像画像における矩形領域の左右端の方位直線により、物体の端部の方位を求めることができる。このため、物体検出直線と方位直線との交点を求めることで、物体の端部の位置を高精度に特定することができる。

この場合、前記端部特定手段により特定された前記物体の端部に基づき、前記物体の位置及び向きを求める状態検出手段を更に備えることが好適である。この物体検出装置によれば、端部特定手段により特定された物体の端部の位置に基づき物体の位置及び向きを求めるため、高精度に物体の位置及び向きを求めることができる。

本発明に係る物体検出方法は、レーダにより物体の位置を検出するレーダ検出ステップと、物体を撮像する画像撮像ステップと、レーダ検出ステップにより検出された物体の複数の検出点と、画像撮像ステップにより撮像された撮像画像とに基づき、物体の端部の位置を特定する端部特定ステップと、を備え、端部特定ステップは、複数の検出点から近似される物体検出直線と撮像画像から抽出される物体を含む矩形領域の左右端の方位直線との交点を物体の端部の位置とすることを特徴とする。

本発明に係る物体検出方法によれば、物体検出直線により、物体における自車両側の面の位置を求めることができ、撮像画像における矩形領域の左右端の方位直線により、物体の端部の方位を求めることができる。このため、物体検出直線と方位直線との交点を求めることで、物体の端部の位置を高精度に特定することができる。

本発明によれば、物体の端部を高精度に特定することができる。

以下、図面を参照して、本発明に係る物体検出装置及び物体検出方法の好適な実施形態について詳細に説明する。本実施形態は、本発明に係る物体検出装置及び物体検出方法を衝突防止装置に適用したものである。

図１は、実施形態に係る衝突防止装置１０のブロック構成を示した図である。図に示すように、本実施形態の衝突防止装置１０は、車両に搭載されて前方を走行する他車両との衝突を防止する装置であり、物体検出装置１と、制動部５とを備えて構成される。

物体検出装置１は、自車両の前方を走行する他車両の端部を特定すると共に、この他車両の中心位置及び向きを検出するものである。このため、物体検出装置１は、ＬＩＤＡＲ２と、カメラ３と、ＥＣＵ４とを備える。

ＬＩＤＡＲ２は、自車両の前方を走行する他車両の位置情報を一定の周期で繰り返して検出するものである。このため、ＬＩＤＡＲ２は、レーダ検出手段として機能する。ＬＩＤＡＲ２は、車両前部に取り付けられており、一定周期で繰り返してレーザ光を前方に照射し、その反射光を検出することで、他車両の自車両側の面（前面、側面、後面）の位置情報を検出する。また、ＬＩＤＡＲ２は、所定角度（例えば０．８度）毎に上下左右方向に向きを変えながらレーザ光を照射している。このため、ＬＩＤＡＲ２では、自車両に対して所定範囲内を走行する一又は複数の車両を検出することができ、他車両ごとに複数の検出点が得られる。なお、本実施形態では、ＬＩＤＡＲ２で検出される検出点の点列を、ＬＩＤＡＲ点列という。そして、ＬＩＤＡＲ２は、随時、検出したＬＩＤＡＲ点列をＥＣＵ４に送信する。

カメラ３は、車両前部のＬＩＤＡＲ２近傍に取り付けられており、自車両の前方を撮像すると共に自車両の前方を走行する他車両を撮像するものである。このため、カメラ３は、画像撮像手段として機能する。そして、カメラ３は、撮像した撮像画像を、随時ＥＣＵ４に送信する。

ＥＣＵ４は、ＬＩＤＡＲ２及びカメラ３に接続されており、ＬＩＤＡＲ２から送信されるＬＩＤＡＲ点列を取得すると共に、カメラ３から送信される撮像画像を取得する。なお、ＬＩＤＡＲ２から送信されるＬＩＤＡＲ点列には、ＬＩＤＡＲ点列を構成する各検出点の位置情報が含まれる。そして、ＥＣＵ４は、このＬＩＤＡＲ点列と撮像画像とにより、他車両の端部を特定して、この他車両の位置（中心位置）及び向きを検出するものである。このため、ＥＣＵ４は、端部特定手段及び状態検出手段として機能する。なお、ＥＣＵ４は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭを含むコンピュータを主体として構成される。

制動部５は、ブレーキ（不図示）を制御して、自車両に制動力を与える制動制御を行うものである。つまり、制動部５は、他車両の中心位置及び向きに基づき、自車両がこの他車両と衝突するか否かを判断する。そして、制動部５は、衝突すると判断すると、ブレーキに制動力を与えて自車両を減速させる。

次に、この衝突防止装置１０の動作について説明する。図２は、ＥＣＵの動作を示すフローチャートであり、図３は、ＬＩＤＡＲにより検出された検出点を示す図であり、図４は、カメラにより撮像された撮像画像を示す図である。なお、以下の制御は、ＥＣＵ４により実施され、エンジンが始動されてからエンジンが停止されるまでの間、繰り返し実行される。

まず、ステップＳ１では、ＬＩＤＡＲ点列の取得処理が行われる。すなわち、ＬＩＤＡＲ２では、ＬＩＤＡＲ点列である複数の検出点により一又は複数の他車両が検出されており、ＬＩＤＡＲ２からＬＩＤＡＲ点列が送信されることにより、ＬＩＤＡＲ点列が取得される。図３は、自車両２０の前方に他車両２１が走行している場合の例を示している。この場合、複数の検出点ｐにより構成されるＬＩＤＡＲ点列Ｐにより、他車両２１が検出される。なお、ＬＩＤＡＲ２で検出される各検出点の位置情報は、カメラ３のレンズ中心を原点とした座標軸（カメラ３の座標系）で表される。

次に、ステップＳ２に移行し、ＬＩＤＡＲ点列のクラスタリング処理が行われる。このクラスタリング処理では、ステップＳ１で取得されたＬＩＤＡＲ点列が、各他車両に対応してクラスタリングされる。なお、以下の説明では、ステップＳ２でクラスタリングされたＬＩＤＡＲ点列ごとに、各ステップの処理が行われる。

次に、ステップＳ３に移行し、ＬＩＤＡＲ点列に対応する物体検出直線αの算出処理が行われる。この物体検出直線αの算出処理では、ステップＳ２でクラスタリングされたＬＩＤＡＲ点列ごとに直線が近似され、この近似された各直線が物体検出直線αとされる。

次に、ステップＳ４に移行し、カメラ３で撮像された撮像画像の取得処理が行われる。なお、自車両の前方に一又は複数台の他車両が走行している場合は、一又は複数台の他車両の画像を含む撮像画像が取得される。

次に、ステップＳ５に移行し、撮像画像から車両画像を含む矩形領域の抽出処理が行われる。図４に示すように、この矩形領域の抽出処理では、まず、ステップＳ２でクラスタリングされたＬＩＤＡＲ点列Ｐが、ステップＳ４で取得された撮像画像Ｇ上の対応位置に座標変換される。そして、座標変換されたＬＩＤＡＲ点列Ｐが存在する場所において他車両の画像が検索され、この他車両の画像を含む矩形領域Ａが抽出される。このとき、矩形領域Ａの左右端部が、他車両の画像の左右端部と略同一となるように抽出される。なお、図４では、分かり易くするために、他車両の正面画像を示しているが、実際には、他車両が少し傾いた画像となる場合もある。この場合、矩形領域Ａの左右端部が、他車両の正面の画像の左右端部と略同一となるように抽出される。このように、座標変換されたＬＩＤＡＲ点列が存在する場所において他車両の画像を検索することで、撮像画像Ｇから他車両の画像を適確かつ迅速に検索することができ、この他車両の画像を含む矩形領域Ａを適確かつ迅速に抽出することができる。なお、他車両の画像の検索は、例えば、予め用意された所定の車両画像テンプレートとのマッチングにより行ってもよい。また、他車両の画像の検索は、ＬＩＤＡＲ点列を用いることなく、撮像画像の全て又は一部を走査することにより行ってもよい。

次に、ステップＳ６に移行し、矩形領域の左右端の位置の座標変換処理が行われる。この左右端の位置の座標変換処理では、まず、ステップＳ５で抽出された矩形領域の左右端（図４のａ１，ａ２）の左右方向の位置が求められる。そして、この左右端の位置が、ＬＩＤＡＲ２で検出される検出点と同一座標軸上であって、カメラ３のレンズ中心を原点とした水平面上の対応位置に座標変換される。図５は、水平面上の位置関係を示した図である。図５に示すように、ステップＳ６では、撮像画像Ｇが、自車両２０と他車両２１との間であって、カメラ３の倍率設定等により定まる所定位置に配置されたものとして、座標変換が行われる。なお、図５では、分かり易くするために、撮像画像Ｇを立体的に傾斜させて示している。

次に、ステップＳ７に移行し、ステップＳ６で座標変換が行われた矩形領域の左右端の方位直線β１，β２の算出処理が行われる。図５に示すように、この方位直線β１，β２の算出処理では、座標軸の原点であるカメラ３のレンズ中心Ｏと、ステップＳ６で座標変換が行われた矩形領域の左右端の位置ａ１１，ａ１２とを通る直線が算出される。そして、この算出された直線が、方位直線β１，β２とされる。このため、方位直線β１，β２は、座標軸の原点であるカメラ３のレンズ中心Ｏから見て他車両２１の左右端部を通る直線となる。

次に、ステップＳ８に移行し、物体検出直線αと方位直線β１，β２との交点ｘ１，ｘ２の算出処理が行われる。図５に示すように、この交点ｘ１，ｘ２の算出処理では、ステップＳ３で算出された物体検出直線αと、ステップＳ７で算出された方位直線β１，β２とが、水平面上において交差する交点ｘ１，ｘ２が算出される。そして、この交点ｘ１，ｘ２が他車両２１の左右端部として特定される。

次に、ステップＳ９に移行し、他車両の中心位置及び向きの算出処理が行われる。この他車両の中心位置及び向きの算出処理では、ステップＳ８で算出された交点ｘ１，ｘ２を端点とした矩形が当てはめられる。なお、物体検出装置１には、一般的な車両の形状に対応した矩形のテンプレートが用意されており、ステップＳ９では、この矩形のテンプレートが、交点ｘ１，ｘ２を前面（又は後面）の左右端となる寸法に拡大又は縮小されて当てはめられる。そして、当てはめられた矩形の中心位置及び向きが、他車両の中心位置及び向きとして算出される。

物体検出装置１により他車両の中心位置及び向きが算出されると、制動部５により、制動制御が行われる。つまり、物体検出装置１により算出された他車両の中心位置及び向きから、各他車両との衝突可能性が判定される。その結果、何れかの他車両との衝突可能性があると判定されると、ブレーキを制御することにより、自車両に制動力を与えられ、当該他車両との接触が防止される。

このように、本実施形態に係る物体検出装置１及び物体検出方法によれば、物体検出直線αにより、他車両における自車両側の面の位置を求めることができ、撮像画像における矩形領域Ａの左右端ａ１，ａ２の方位直線β１，β２により、他車両の左右端部の方位を求めることができる。このため、物体検出直線αと方位直線β１，β２との交点ｘ１，ｘ２を求めることで、他車両の左右端部の位置を高精度に特定することができる。

また、このように特定された他車両の左右端部の位置に基づき他車両の中心位置及び向きを求めるため、高精度に他車両の中心位置及び向きを求めることができる。

そして、衝突防止装置１０によれば、このようにして算出された他車両の中心位置及び向きに基づき、衝突可能性の有無を判断するため、衝突可能性の判断精度を向上させることができ、より安全に車両を走行させることができる。

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。例えば、上記実施形態では、自車両の前方を走行する他車両の左右端部を特定するものとして説明したが、例えば、側方や後方など、自車両の周囲を走行する他車両の端部を特定するものであってもよい。また、停止している他車両や、車両以外の障害物の端部を特定するものであってもよい。

また、上記実施形態では、他車両の左右端部の位置を特定するものとして説明したが、片側端部の位置を特定するものとしてもよい。

また、上記実施形態では、レーダ検出手段の例として、ＬＩＤＡＲ２を用いて説明したが、自車両の周囲に存在する他車両の位置情報を検出できるものであれば如何なるものでもよく、例えば、ミリ波レーダであってもよい。

実施形態に係る衝突防止装置のブロック構成を示した図である。ＥＣＵの動作を示すフローチャートである。ＬＩＤＡＲにより検出された検出点を示す図である。カメラにより撮像された撮像画像を示す図である。水平面上の位置関係を示した図である。

符号の説明

１…物体検出装置、２…ＬＩＤＡＲ（レーダ検出手段）、３…カメラ（画像撮像手段）、４…ＥＣＵ（端部特定手段）。

Claims

レーダにより物体の位置を検出するレーダ検出手段と、
前記物体を撮像する画像撮像手段と、
前記レーダ検出手段により検出された前記物体の複数の検出点と、前記画像撮像手段により撮像された撮像画像とに基づき、前記物体の端部の位置を特定する端部特定手段と、
を備え、
前記端部特定手段は、前記複数の検出点から近似される物体検出直線と前記撮像画像から抽出される前記物体を含む矩形領域の左右端の方位直線との交点を前記物体の端部の位置とすることを特徴とする、物体検出装置。
前記端部特定手段により特定された前記物体の端部に基づき、前記物体の位置及び向きを求める状態検出手段を更に備えることを特徴とする、請求項１に記載の物体検出装置。
レーダにより物体の位置を検出するレーダ検出ステップと、
前記物体を撮像する画像撮像ステップと、
前記レーダ検出ステップにより検出された前記物体の複数の検出点と、前記画像撮像ステップにより撮像された撮像画像とに基づき、前記物体の端部の位置を特定する端部特定ステップと、
を備え、
前記端部特定ステップは、前記複数の検出点から近似される物体検出直線と前記撮像画像から抽出される前記物体を含む矩形領域の左右端の方位直線との交点を前記物体の端部の位置とすることを特徴とする、物体検出方法。