JP4883246B2 - 物体検出装置及び物体検出方法 - Google Patents

Description

本発明は、レーダ及び画像センサによって取得される情報に基づいて物体を検出する物体検出装置及び物体検出方法に関する。

近年、ＰＣＳ（Pre-crash safety system）等の衝突回避又は衝突による被害の低減のための安全システムが開発されている。このような安全システムを好適に実現させるためには、自車両以外の車両や歩行者等の障害物の位置及び大きさ、並びに該障害物と自車との距離等を正確に把握する必要がある。これらを把握するための技術として、レーダ及びステレオ画像センサを用いた物体検出装置が知られている。

レーダによれば、電磁波の反射点として物標（検出対象となる物体）を認識することができ、これによって、物標の位置を取得することができる。しかしながら、レーダでは物標のエッジを正確に取得することが困難である。一方、ステレオ画像センサによって撮像された画像からは物標のエッジを高精度で取得することができる。そこで、上記物体検出装置においては、レーダによって取得される物標情報と、ステレオ画像センサによって撮像された画像から取得される物標情報とをフュージョンさせる。これによって、物体検出装置の物体検出能力を向上させることができる。

しかしながら、画像センサとしてステレオ画像センサを使用すると、ステレオ画像センサを設置するために比較的大きいスペースを確保する必要が生じ、さらに、物体検出装置を実現させるためのコストも比較的高くなる。そのため、ステレオ画像センサに代えて単眼画像センサを用いて、ステレオ画像センサを用いた場合と同様の機能及び性能を有する物体検出装置を実現することが望まれている。

特許文献１には、ミリ波レーダと単眼カメラとを使用した車両用障害物認識装置が開示されている。該車両用障害物認識装置は、物体情報演算手段、画像処理手段及び車両情報取得手段を備えている。物体情報演算手段は、ミリ波レーダの出力から検出物体との相対距離及び相対横位置等の物体情報を演算する。画像処理手段は、物体情報演算手段による演算結果に基づき、単眼カメラによって撮像された画像を処理する。そして、該車両用障害物認識装置は、少なくとも物体情報演算手段及び車両情報取得手段の出力に基づいて検出物体が障害物となる可能性を判定する。さらに、画像処理手段の出力が障害物の判定に有効であるか否かを物体情報演算手段による演算結果に基づいて判定し、有効な場合にのみ画像処理手段の出力も障害物の判定に用いる。

特許文献２には、カメラとレーダとから画像情報と距離情報とを取得する物体検出装置が開示されている。該物体検出装置では、画像情報からエッジの方向ベクトル、エッジの方向ベクトル分散、エッジ強度及びエッジ強度分散を算出する。そして、これらのうちの少なくとも１つと検出対象物体との距離とに基づいて対象物の種類を判定する。

特開２００８−２７６６８９号公報 特開２００７−２８８４６０号公報

物体検出装置において、画像センサとして単眼画像センサを用いた場合、省スペース化及び低コスト化を図ることができる。しかしながら、単眼画像センサによって撮像された画像からは正確な奥行き方向の情報を取得することが困難である。そのため、単眼画像センサによって撮像された画像から物標の左右のエッジを検出した場合、実際には自車両から見て該物標よりも奥に存在する物体又は模様のエッジが、該物標のエッジとして誤検出される場合がある。このように誤検出されたエッジに基づいて該物標の横方向の位置（横位置）を導出すると、該物標の横位置も誤検出する虞がある。

本発明は、上記のような問題に鑑みてなされたものであって、レーダによって取得される物標情報と単眼画像センサによって撮像された画像から取得される物標情報とに基づいて物体を検出する物体検出装置において、物標の横位置の検出精度をより向上させることが可能な技術を提供することを目的とする。

本発明では、単眼画像センサによって撮像された画像から物標の右側エッジ及び左側エッジを取得する。さらに、右側エッジ及び左側エッジの軌跡を近似する直線又は所定の曲線である軌跡近似線を両エッジについて導出する。そして、右側エッジ及び左側エッジのうち軌跡近似線上に存在するエッジの数が多い方を物標の真のエッジとして選択し、選択された方のエッジの位置に基づいて物標の横位置を導出する。

より詳しくは、第一の発明に係る物体検出装置は、
レーダによって取得される物標情報と単眼画像センサによって撮像された画像から取得される物標情報とに基づいて物体を検出する物体検出装置であって、
前記レーダによって認識された物標に相当する物標を前記単眼画像センサによって撮像された画像から抽出するとともに、該抽出された物標の右側エッジ及び左側エッジを取得するエッジ取得手段と、
前記エッジ取得手段によって取得された右側エッジ及び左側エッジの軌跡を近似する直線又は所定の曲線である軌跡近似線を両エッジについて導出する軌跡近似線導出手段と、
前記エッジ取得手段によって取得された右側エッジ及び左側エッジのうち前記軌跡近似線上に存在するエッジの数が多い方を物標の真のエッジとして選択する選択手段と、
前記選択手段によって真のエッジとして選択された方のエッジの位置に基づいて物標の横位置を導出する横位置導出手段と、
を備えたことを特徴とする 。

本発明によれば、単眼画像センサによって撮像された画像から取得された物標の右側エッジ及び左側エッジのうち信頼度の高い方のエッジが物標の真のエッジとして選択される。そして、信頼度の高い方のエッジの位置に基づいて物標の横位置が導出される。従って、物標の横位置の検出精度をより向上させることができる。

本発明に係る物体検出装置は、エッジ取得手段によって取得された右側エッジ及び左側エッジに対し信頼度の重み付けを行なう重み付け手段をさらに備えてもよい。この場合、重み付け手段は、右側エッジ及び左側エッジに対し、レーダによって認識された物標の位置からより近い方の信頼度がより高くなるように重み付けを行なう。さらに、本発明に係る物体検出装置は、重み付け手段によって重み付けられた信頼度を右側エッジ及び左側エッジそれぞれについて複数分合計することで両エッジについての信頼度の合計値を算出する信頼度合計値算出手段を備えてもよい。

本発明においては、右側エッジと左側エッジとで軌跡近似線上に存在するエッジの数が同数となる場合がある。この場合、選択手段は、右側エッジ及び左側エッジのうち、信頼度合計値算出手段によって算出された信頼度の合計値が大きい方を、物標の真のエッジとして選択してもよい。

これによっても、物標の右側エッジ及び左側エッジのうち信頼度の高い方のエッジを物標の真のエッジとして選択することができる。

本発明においては、横位置導出手段は、軌跡予測手段と衝突位置予測手段とを有してもよい。軌跡予測手段は、選択手段によって真のエッジとして選択された方のエッジの今後の軌跡を予測する。衝突位置予測手段は、軌跡予測手段によってよって予測された今後のエッジの軌跡に基づいて、該エッジと車両との前後方向の距離が零となる位置として、物標と車両との衝突位置を予測する。この場合、横位置導出手段は、衝突位置予測手段によって予測された衝突位置における、選択手段によって真のエッジとして選択された方のエッジの位置に基づいて、該衝突位置における物標の横方向の中心（以下、物標中心と称する）の横位置を導出してもよい。

これによれば、物標と車両との衝突位置における物標中心の横位置を検出することができる。

本発明に係る物標検出装置においては、横位置導出手段が、物標の横幅を推定する横幅推定手段を有してもよい。この場合、横位置導出手段は、選択手段によって真のエッジとして選択された方のエッジの位置から、横幅推定手段によって推定された物標の横幅の１／２分他方のエッジ側にずれた位置を物標中心の横位置として導出してもよい。

これによれば、物標中心の横位置を高精度で検出することができる。

また、第二の発明に係る物体検出方法は、
レーダによって取得される物標情報と単眼画像センサによって撮像された画像から取得される物標情報とに基づいて物体を検出する物体検出方法であって、
前記レーダによって認識された物標に相当する物標を前記単眼画像センサによって撮像された画像から抽出するとともに、該抽出された物標の右側エッジ及び左側エッジを取得するエッジ取得工程と、
前記エッジ取得工程において取得された右側エッジ及び左側エッジの軌跡を近似する直線又は所定の曲線である軌跡近似線を両エッジについて導出する軌跡近似線導出工程と、
前記エッジ取得工程において取得された右側エッジ及び左側エッジのうち前記軌跡近似線上に存在するエッジの数が多い方を物標の真のエッジとして選択する選択工程と、
前記選択工程において真のエッジとして選択された方のエッジの位置に基づいて物標の横位置を導出する横位置導出工程と、
を有することを特徴とする。

本発明においても、信頼度の高い方のエッジの位置に基づいて物標の横位置が導出される。従って、物標の横位置の検出精度をより向上させることができる。

本発明に係る物体検出方法は、エッジ取得工程において取得された右側エッジ及び左側エッジに対し信頼度の重み付けを行なう重み付け工程をさらに有してもよい。この場合、重み付け工程では、右側エッジ及び左側エッジに対し、レーダによって認識された物標の位置からより近い方の信頼度がより高くなるように重み付けを行なう。さらに、本発明に係る物体検出方法は、重み付け工程において重み付けられた信頼度を右側エッジ及び左側エッジそれぞれについて複数分合計することで両エッジについての信頼度の合計値を算出する信頼度合計値算出工程を有してもよい。

そして、本発明において、右側エッジ及び左側エッジとで軌跡近似線上に存在するエッジの数が同数のときは、選択工程において、信頼度合計値算出工程において算出された信頼度の合計値が大きい方を、物標の真のエッジとして選択してもよい。

これにより、物標の右側エッジ及び左側エッジのうち信頼度の高い方のエッジを物標の真のエッジとして選択することができる。

尚、第一及び第二の発明において、「軌跡近似線上に存在するエッジ」には、軌跡近似線と完全に一致する位置に存在するエッジのみならず、軌跡近似線から予め定められた許容範囲内に位置するエッジが含まれてもよい。

本発明によれば、レーダによって取得される物標情報と単眼画像センサによって撮像された画像から取得される物標情報とに基づいて物体を検出する物体検出装置において、物標の横位置の検出精度をより向上させることができる。

実施例１に係る衝突予測装置の概略構成を示すブロック図である。 実施例１に係る物体検出部の概略構成を示すブロック図である。 単眼画像センサによって撮像された画像におけるミリ波検出位置と単眼画像検出エッジとを示す図である。 ミリ波レーダとステレオ画像センサとを用いて障害物を検出した場合の検出結果を示す図である。 ミリ波レーダと単眼画像センサとを用いて障害物を検出した場合の検出結果を示す図である。 実施例１に係る、単眼画像検出エッジについて導出された右側エッジ及び左側エッジの軌跡近似線を示す図である。 実施例１に係る、選択エッジの軌跡近似線及び予測される今後の軌跡、衝突位置及び物標中心の横位置の関係を示す図である。 実施例１に係る衝突判定フローの一部を示すフローチャートである。 実施例１に係る衝突判定フローの一部を示すフローチャートである。 実施例２に係る物体検出部の概略構成を示すブロック図である。 ミリ波レーダと単眼画像センサとを用いて障害物を検出した場合の検出結果を示す図である。 実施例２に係る、単眼画像検出エッジについて導出された右側エッジ及び左側エッジの軌跡近似線を示す図である。 実施例２に係る、選択エッジの軌跡近似線及び予測される今後の軌跡、衝突位置及び物標中心の横位置の関係を示す図である。 実施例２に係る衝突判定フローの一部を示すフローチャートである。

以下、本発明の具体的な実施形態について図面に基づいて説明する。本実施例に記載されている構成部品の寸法、材質、形状、その相対配置等は、特に記載がない限りは発明の技術的範囲をそれらのみに限定する趣旨のものではない。

＜実施例１＞
本発明の実施例１について図１〜９に基づいて説明する。

（概略構成）
ここでは、本発明を衝突予測装置に適用した場合について説明する。図１及び２は、本実施例に係る衝突予測装置の概略構成を示すブロック図である。衝突予測装置２００は、車両１００に搭載されており、他車両や歩行者等の障害物と自車両１００との衝突を予測する装置である。また、車両１００には、該衝突予測装置２００の他、障害物との衝突が予測されたときに作動する警告装置８及び衝突回避・衝突被害低減システム９が搭載されている。

衝突予測装置２００は、ミリ波レーダ１、単眼画像センサ２、操舵角センサ３、ヨーレートセンサ４、車輪パルスセンサ５及びＥＣＵ１０を備えている。ミリ波レーダ１は、車両１００の前側中央部に取り付けられている。ミリ波レーダ１は、車両１００の前方及び斜め前方をミリ波帯の電磁波によって水平方向にスキャンすると共に車外の物体の表面で反射された電磁波を受信する。これにより、ミリ波レーダ１は物標を電磁波の反射点として認識する。そして、ミリ波の送受信データから得られた物標情報（自車両１００に対する物標の相対位置等）がＥＣＵ１０に入力される。

単眼画像センサ２は、車両１００の前側中央部に取り付けられている。単眼画像センサ２は、車両１００の前方及び斜め前方の画像を撮像する。撮像された画像は画像信号としてＥＣＵ１０に入力される。

操舵角センサ３は、車両１００のステアリングロッド等に取り付けられており、運転者が操作したステアリングホイールの操舵角を検出する。ヨーレートセンサ４は、車両１００の車体の中央位置に設けられており、車体にかかるヨーレートを検出する。車輪パルスセンサ５は、車両１００のホイール部分に取り付けられており、車両の車輪速度を検出する。これらのセンサの出力信号がＥＣＵ１０に入力される。

ＥＣＵ１０は、物体検出部６及び衝突判定部７を有している。物体検出部６は、ミリ波レーダ１によって取得された物標情報と単眼画像センサ２によって撮像された画像から取得される物標情報とに基づいて障害物を検出する。衝突判定部７は、物体検出部６によって検出された障害物と自車両１００とが衝突するか否かを判定する。物体検出部６における物体検出方法及び衝突判定部７における衝突判定方法の詳細については後述する。

図２は、本実施例に係る物体検出部６の概略構成を示すブロック図である。図２（ａ）に示すように、物体検出部６は、エッジ検出部６１、軌跡近似線導出部６２、選択部６３及び横位置導出部６４を有している。また、図２（ｂ）に示すように、横位置導出部６４は、軌跡予測部６４１、衝突位置予測部６４２、横幅推定部６４３及び物標中心横位置導出部６４４を有している。各部６１〜６４及び６４１〜６４４の詳細については後述する。

ＥＣＵ１０は、さらに、推定カーブ半径演算部、自車速度演算部、自車軌道演算部、障害物速演算部及び障害物移動距離演算部等（図示略）の、衝突判定部での衝突判定のために必要となる各種パラメータを算出する演算部を有している。例えば、推定カーブ半径演算部は、操舵角センサ３から入力された操舵角信号およびヨーレートセンサ４から入力されたヨーレート信号に基いて、自車両１００の推定カーブ半径を算出する。自車速演算部は、車輪パルスセンサ５から入力された車輪速度信号に基いて、自車両１００の車速を算出する。自車軌道演算部は、推定カーブ半径演算部から入力された推定カーブ半径信号に基いて、自車両１００の軌道を算出する。障害物速演算部は、物体検出部６によって検出された障害物の移動速度をその物標情報に基づいて算出する。障害物移動距離演算部は、物体検出部６によって検出された障害物の検出後の移動距離をその物標情報に基づいて算出する。

衝突判定部７によって障害物と衝突すると判定された場合、ＥＣＵ１０から警告装置８及び衝突回避・衝突被害低減システム９にＯＮ信号が送信される。警告装置８は、該ＯＮ信号を受信すると、モニタへの表示や音声等による運転者への警告を実行する。衝突回避・衝突被害低減システムは、該ＯＮ信号を受信すると、衝突回避制御や衝突被害低減制御を実行する。衝突回避・衝突被害低減システムとしては、自動操舵システム、シートベルト制御システム、シート位置制御システム及びブレーキ制御システム及びエアバッグ制御システム等を例示することができる。

（横位置導出方法）
衝突予測装置２００におけるＥＣＵ１０の物体検出部６は、衝突判定部７における衝突判定に用いるための障害物の横位置を導出する。以下、本実施例に係る障害物の横位置導出方法について図３〜７に基づいて説明する。

上述したように、物体検出部６は、ミリ波レーダ１によって取得された物標情報と単眼画像センサ２によって撮像された画像から取得される物標情報とに基づいて障害物を検出する。ミリ波レーダ１によれば、自車両１００に対する物標の相対位置を検出することができる。しかしながら、ミリ波レーダ１では、物標のエッジを高精度で検出することが困難である。そこで、本実施例では、単眼画像センサ２によって撮像された画像を用いて物標のエッジを検出する。

より詳しくは、物体検出部６のエッジ検出部６１において、ミリ波レーダ１によって認識された物標に相当する物標、即ち、ミリ波レーダ１によって検出された物標の位置（以下、ミリ波検出位置と称する場合もある）に存在する物標を単眼画像センサ２によって撮像された画像から抽出する。さらに、抽出された物標の画像から該物標の右側エッジ及び左側エッジを検出する（以下、該エッジを単眼画像検出エッジと称する場合もある）。

しかしながら、単眼画像センサ２によって撮像された画像からは正確な奥行き方向の情報（距離）を取得することが困難である。そのため、単眼画像センサ２によって撮像された画像から物標の左右のエッジを検出した場合、実際には自車両１００から見て該物標よりも奥に存在する物体又は模様のエッジが該物標のエッジとして誤検出される場合がある。

図３は、単眼画像センサによって撮像された画像におけるミリ波検出位置と単眼画像検出エッジとを示す図である。図３（ａ）は、物標のエッジが正常に検出された場合を示しており、図３（ｂ）は、物標のエッジが誤検出された場合を示している。尚、図３（ａ）及び（ｂ）においては、物標を「手前の電柱」とする。図３（ｂ）に示すように、単眼画像センサによって撮像された画像からエッジを検出した場合、「奥の電柱」のエッジが「手前の電柱」のエッジとして誤検出される場合がある。

ここで、本実施例とは異なり、ミリ波レーダとステレオ画像センサとを用いて障害物を検出した場合の検出結果について図４に基づいて説明する。この場合においても、ミリ波検出位置に存在する物標をステレオ画像センサによって撮像された画像から抽出する。そして、抽出された物標の画像から該物標の右側エッジ及び左側エッジを検出する（以下、これらのエッジをステレオ画像検出エッジと称する場合もある）。図４は、「手前の電柱」を物標とした場合のミリ波検出位置及びステレオ画像検出エッジの自車両に対する時間的な位置の変化を示す図である。尚、図４において、ｔ＝ｎ＋１の図は、ｔ＝ｎから５０ｍｓ後の様子を示している。また、ｔ＝４の図において、白抜き矢印は、ミリ波検出位置及びステレオ画像検出エッジに基づいて導出された物標の軌跡を表している。

ステレオ画像センサによって撮像された画像からは正確な奥行き方向の情報を取得することができる。そのため、単眼画像センサによって撮像された画像からエッジを検出した場合、「手前の電柱」よりも奥に「奥の電柱」が存在しても、図４に示すように、「奥の電柱」のエッジを「手前の電柱」のエッジとして誤検出することがない。

従って、ステレオ画像検出エッジに基づいて物標中心の横位置を高精度で導出することができる。そのため、ｔ＝４の図に示すように、ミリ波検出位置及びステレオ画像検出エッジに基づいて物標の軌跡を高精度で導出することができる。その結果、今後の物標の軌跡も高精度で予測することが可能となる。

一方、本実施例のように、ミリ波レーダと単眼画像センサとを用いて障害物を検出した場合の検出結果について図５に基づいて説明する。図５は、「手前の電柱」を物標とした場合のミリ波検出位置及び単眼画像検出エッジの自車両に対する時間的な位置の変化を示す図である。尚、図５においては、図４と同様、ｔ＝ｎ＋１の図がｔ＝ｎから５０ｍｓ後の様子を示している。また、ｔ＝５の図において、白抜き矢印は、ミリ波検出位置及び単眼画像検出エッジに基づいて導出された物標の軌跡を表している。

上述したように、単眼画像センサによって撮像された画像からエッジを検出すると、「奥の電柱」のエッジを「手前の電柱」のエッジとして誤検出する場合がある。従って、単眼画像検出エッジに基づいて物標中心の横位置を高精度で導出することは困難である。そのため、ミリ波検出位置及び単眼画像検出エッジに基づいて物標の軌跡を導出した場合、ｔ＝５の図に示すように、該軌跡を誤って導出する場合がある。このような場合、今後の物標の軌跡を高精度で予測することも困難となる。

誤って予測された物標の軌跡に基づいて衝突判定部７における該物標と自車両１００との衝突判定が行なわれると、誤判定を招く虞がある。そこで、本実施例では、物体検出部６において、衝突判定部７における衝突判定に用いるための物標の横位置を導出するために、単眼画像センサ２によって撮像された画像に対し以下のような横位置導出処理を行なう。尚、図６及び７は、本実施例に係る横位置導出処理のイメージを示す図である。

本実施例に係る横位置導出処理では、物体検出部６の軌跡近似線導出部６２において、図６に示すように、エッジ検出部６１によって所定時間毎（本実施例では５０ｍｓ毎）に検出された複数の単眼画像検出エッジについて、右側エッジ及び左側エッジそれぞれの軌跡を近似する直線又は所定の曲線である軌跡近似線を導出する。図６（ａ）及び（ｂ）はいずれも図５において検出された単眼画像検出エッジを示している。図６（ａ）における一転鎖線が、左側エッジについて導出された軌跡近似線を示しており、図６（ｂ）における一転鎖線が、右側エッジについて導出された軌跡近似線を示している。尚、軌跡近似線を導出する方法は予め定められている。ここでは、最小二乗法やスプライン補間法等、既知のどのような方法を用いてもよい。「所定の曲線」とは、予め定められた近似方法で導出される曲線を意味する。

ここで、図６（ａ）に示すように、左側エッジは全て正常に検出されているため、５点のエッジ全てが軌跡近似線上に存在している。一方、図６（ｂ）に示すように、右側エッジには誤検出されたエッジが含まれているため、５点のエッジ中、軌跡近似線上に存在するのは３点のみである。尚、ここでは、軌跡近似線と完全に一致する位置になくとも該軌跡近似線から予め定められた許容範囲内に存在するエッジは、軌跡近似線上に存在するものとしてカウントする。図６（ａ）及び（ｂ）においては、丸で囲んだエッジが、「軌跡近似線上に存在するエッジ」を示している。

つまり、軌跡近似線上に存在するエッジの数が多い方のエッジは、軌跡近似線上に存在するエッジの数が少ない方のエッジに比べて信頼度が高いと判断できる。そこで、選択部６３においては、軌跡近似線上に存在するエッジの数に基づいて右側エッジ及び左側エッジの信頼度を算出する。そして、右側エッジ及び左側エッジのうち信頼度の高い方（即ち、軌跡近似線上に存在するエッジの数が多い方（図６では左側エッジ））を物標の真のエッジとして選択する。

そして、横位置導出部６４において、選択部６３で物標の真のエッジとして選択された方のエッジ（以下、選択エッジと称する場合もある）の位置に基づいて物標の横位置を導出する。より詳しくは、図７に示すように、先ず、軌跡予測部６４１において、選択エッジ（図７では左側エッジ）の今後の軌跡をこれまでの軌跡近似線に基づいて予測する。図７においては、一転鎖線で示す矢印が、選択エッジのこれまでの軌跡近似線及び予測される今後の軌跡を表している。

次に、衝突位置予測部６４２において、軌跡予測部６４１で予測された選択エッジの今後の軌跡とＥＣＵ１０の自車両軌道演算部において算出された自車両１００の軌道に基づいて、選択エッジと自車両１００との前後方向の距離が零となる位置として、物標と自車両１００との衝突位置を予測する。図７においては、破線が衝突位置を表している。

さらに、横位置導出部６４では、横幅推定部６４３において、物標の横幅Ｗｔを推定する。ここで、横幅推定方法としては、既知のどのような方法を用いてもよい。具体的には、単眼画像検出エッジから導出される物標の横幅の平均値を物標の横幅Ｗｔとして算出する方法や、ミリ波レーダ１における受信波の強度から推定される物標の種類に基づいて物標の横幅Ｗｔを導出する方法等を例示することができる。

そして、物標中心横位置導出部６４４において、衝突位置予測部６４２で予測された衝突位置における物標中心の横位置を導出する。具体的には、衝突位置における選択エッジの位置から、横幅推定部６４３で推定された物標の横幅Ｗｔの１／２分他方のエッジ（図７では右側エッジ）側にずれた位置を、衝突位置における物標中心の横位置として導出する。図７においては、白抜き三角で示す位置が衝突位置における物標中心の横位置を表している。

上記のような横位置導出方法によれば、単眼画像検出エッジにおける右側エッジ及び左側エッジのうち信頼度の高い方のエッジが物標の真のエッジとして選択される。そして、信頼度の高い方のエッジの位置に基づいて、衝突位置における物標中心の横位置が導出される。従って、画像センサとして単眼画像センサを用いた場合であっても、衝突位置における物標中心の横位置を高精度で導出することができる。

そして、衝突判定部７においては、物体検出部６において導出された衝突位置における物標中心の横位置に基づいて衝突判定を実行する。これにより、自車両１００と障害物とが衝突するか否かをより高精度で判定することが可能となる。

（衝突判定フロー）
本実施例に係る自車両と障害物との衝突判定のフローについて図８及び９に示すフローチャートに基づいて説明する。本フローは、ＥＣＵ１０によって所定の間隔で繰り返し実行される。

本フローでは、先ずステップＳ１０１において、単眼画像センサ２によって撮像された画像からミリ波検出位置に存在する物標が抽出される。

次に、ステップＳ１０２において、ステップＳ１０１で抽出された物標の画像から右側エッジ及び左側エッジが検出される。尚、ステップＳ１０１及びステップＳ１０２の処理はエッジ検出部６１によって実行される。

次に、ステップＳ１０３において、ステップＳ１０２で検出された複数の単眼画像検出エッジについて、右側エッジ及び左側エッジそれぞれの軌跡近似線が導出される。尚、ステップＳ１０３の処理は軌跡近似線導出部６２によって実行される。

次に、ステップＳ１０４において、ステップＳ１０３で導出された軌跡近似線上に存在するエッジの数に基づいて右側エッジ及び左側エッジの信頼度が算出される。

次に、ステップＳ１０５において、右側エッジ及び左側エッジのうち、ステップＳ１０４で算出された信頼度の高い方のエッジが、物標の真のエッジとして選択される。尚、ステップＳ１０４及びＳ１０５の処理は選択部６３によって実行される。

次に、ステップＳ１０６において、ステップＳ１０５で選択された選択エッジの今後の軌跡が予測される。尚、ステップＳ１０６の処理は軌跡予測部６４１によって実行される。

次に、ステップＳ１０７において、ステップＳ１０６で予測された選択エッジの今後の軌跡と自車両軌道演算部において算出された自車両１００の軌道に基づいて、物標と自車両１００との衝突位置が予測される。尚、ステップＳ１０７の処理は衝突位置予測部６４２によって実行される。

次に、ステップＳ１０８において、物標の横幅Ｗｔが推定される。尚、ステップＳ１０８の処理は横幅推定部６４３によって実行される。

次に、ステップＳ１０９において、ステップＳ１０７で予測された衝突位置における選択エッジの位置から、ステップＳ１０８で推定された物標の横幅Ｗｔの１／２分他方のエッジ側にずれた位置が、衝突位置における物標中心の横位置として導出される。尚、ステップＳ１０９の処理は物標中心横位置導出部６４４によって実行される。

次に、ステップＳ１１０において、ステップＳ１０９で導出された衝突位置における物標中心の横位置に基づいて、該物標と自車両１００との衝突確率Ｐｃが算出される。

次に、ステップＳ１１１において、ステップＳ１１０で算出された衝突確率Ｐｃが基準確率Ｐｃｂａｓｅ以上であるか否かが判別される。ここで、基準確率Ｐｃｂａｓｅは、物標と自車両１００とが衝突すると判定すべき閾値として予め設定された値である。

ステップＳ１１１において、肯定判定された場合、次にステップＳ１１２において、物標と自車両１００とが衝突すると判定される。一方、ステップＳ１１１において、否定判定された場合、次にステップＳ１１３において、物標と自車両１００とは衝突しないと判定される。尚、ステップＳ１１０〜Ｓ１１３の処理は衝突判定部７によって実行される。そして、ステップＳ１１２において物標と自車両１００とが衝突すると判定された場合、衝突判定部７は、警告装置８及び衝突回避・衝突被害低減システム９にＯＮ信号を送信する。

（本実施例の構成要素と本発明の構成要件との関係）
尚、本実施例においては、物体検出部６が本発明に係る物体検出装置に相当する。また、本実施例に係る物体検出部６の構成要素と本発明の構成要件との関係は次のとおりである。エッジ検出部６１が本発明に係るエッジ取得手段に相当する。軌跡近似線導出部６２が本発明に係る軌跡近似線導出手段に相当する。選択部６３が本発明に係る選択手段に相当する。横位置導出部６４が本発明に係る横位置導出手段に相当する。軌跡予測部６４１が本発明に係る軌跡予測手段に相当する。衝突位置予測部６４２が本発明に係る衝突位置予測手段に相当する。横幅推定部６４３が本発明に係る横幅推定手段に相当する。

また、本実施例においては、図８に示すフローチャートにおけるステップＳ１０１及びＳ１０２が、本発明に係るエッジ取得工程に相当する。図８に示すフローチャートにおけるステップＳ１０３が本発明に係る軌跡近似線導出工程に相当する。図８に示すフローチャートにおけるステップＳ１０４及びＳ１０５が本発明に係る選択工程に相当する。図８に示すフローチャートにおけるステップＳ１０６〜Ｓ１０９が本発明に係る横位置導出工程に相当する。

＜実施例２＞
本発明の実施例１について図１０〜１４に基づいて説明する。尚、ここでは、実施例１と異なる点についてのみ説明する。

（概略構成）
図１０は、本実施例に係る物体検出部６の概略構成を示すブロック図である。図１０に示すように、本実施例に係る物体検出部６は、エッジ検出部６１、軌跡近似線導出部６２、選択部６３及び横位置導出部６４に加えて、重み付け部６５及び信頼度合計値算出部６６を有している。重み付け部６５及び信頼度合計値算出部６６の詳細については後述する。

（横位置導出方法）
本実施例に係る障害物の横位置導出方法について図１１〜１３に基づいて説明する。図１１は、本実施例に係る、ミリ波レーダと単眼画像センサとを用いて障害物を検出した場合の検出結果を示す図である。図１１は、図５と同様、「手前の電柱」を物標とした場合のミリ波検出位置及び単眼画像検出エッジの自車両に対する時間的な位置の変化を示す図である。尚、図１１においては、図５と同様、ｔ＝ｎ＋１の図がｔ＝ｎから５０ｍｓ後の様子を示している。

図１１の場合、「手前の電柱」よりも奥に「横断車両」が存在している。この場合、単眼画像センサによって撮像された画像からエッジを検出すると、「横断車両」のエッジを「手前の電柱」のエッジとして誤検出する場合がある。そして、図１１においては、右側エッジを毎回誤検出している。このような誤検出は、図５の場合のように、物標たる「手前の電柱」よりも奥に「奥の電柱」のような固定物体が存在する場合でも起り得るが、物標よりも奥に存在する物体が「横断車両」のような横方向に移動する移動物体の場合により生じ易い。

本実施例では、物体検出部６において、衝突判定部７における衝突判定に用いるための物標の横位置を導出するために、単眼画像センサ２によって撮像された画像に対し以下のような横位置導出処理を行なう。図１２及び１３は、本実施例に係る横位置導出処理のイメージを示す図である。

本実施例に係る横位置導出処理でも、物体検出部６の軌跡近似線導出部６２において、図１２に示すように、エッジ検出部６１によって所定時間毎（本実施例では５０ｍｓ毎）に検出された複数の単眼画像検出エッジについて、右側エッジ及び左側エッジそれぞれの軌跡を近似する直線又は所定の曲線である軌跡近似線を導出する。図１２（ａ）及び（ｂ）はいずれも図１１において検出されたミリ波検出位置及び単眼画像検出エッジを示している。図１２（ａ）における一転鎖線が、左側エッジについて導出された軌跡近似線を示しており、図１２（ｂ）における一転鎖線が、右側エッジについて導出された軌跡近似線を示している。尚、軌跡近似線を導出する方法は実施例１の場合と同様である。

ここで、右側エッジが毎回誤検出された場合、図１２（ｂ）に示すように、誤検出であっても、図１２（ａ）に示す正常に検出された左側エッジと同様、５点のエッジ全てが軌跡近似線上に存在することになる。尚、本実施例でも、実施例１の場合と同様、軌跡近似線と完全に一致する位置になくとも該軌跡近似線から所定の許容範囲内に存在するエッジは軌跡近似線上に存在するものとしてカウントする。図１２（ａ）及び（ｂ）においては、丸で囲んだエッジが、「軌跡近似線上に存在するエッジ」を示している。

そのため、軌跡近似線上に存在するエッジの数に基づいて該エッジの信頼度を算出すると、毎回正常に検出された方のエッジの信頼度と毎回誤検出された方のエッジの信頼度とが同等となる。この場合、実施例１に係る横位置導出処理では物標の真のエッジを選択することが困難である。

そこで、本実施例に係る横位置導出処理では、重み付け部６５において、エッジ検出部６１で検出された右側エッジ及び左側エッジそれぞれに対し、ミリ波検出位置からの距離に基づいて信頼度の重み付けを行なう。ここで、ミリ波検出位置から遠いエッジは、ミリ波検出位置から近いエッジに比べて誤検出したエッジである可能性が高い。そのため、重み付け部６５では、右側エッジ及び左側エッジに対し、ミリ波検出位置からより近い方の信頼度がより高くなるように重み付けを行なう。

さらに、信頼度合計値算出部６６において、重み付け部６５で重み付けられた信頼度を右側エッジ及び左側エッジそれぞれについて複数分合計することで両エッジについての信頼度の合計値を算出する。

例えば、図１２に示すような場合は、５回とも、左側エッジの方が右側エッジよりもミリ波検出位置から近い。ここで、右側エッジ及び左側エッジのうち、ミリ波検出位置からより近い方の重み付けを１．１ポイントとし、ミリ波検出位置からより遠い方の重み付けを０．９ポイントとすると、左側エッジの信頼度の合計値は５．５ポイントとなり、右側エッジの信頼度の合計値は４．５ポイントとなる。

そして、選択部６３においては、右側エッジ及び左側エッジのうち、信頼度合計値算出部６６で算出された信頼度の合計値が大きい方（図１２では左側エッジ）を物標の真のエッジとして選択する。これによれば、図１１に示すように一方のエッジが毎回誤検出された場合であっても、単眼画像検出エッジにおける右側エッジ及び左側エッジのうち信頼度の高い方のエッジを物標の真のエッジとして選択することができる。

そして、本実施例では、横位置導出部６４において、上記のように選択された選択エッジの位置に基づいて、実施例１と同様の方法により、物標の横位置を導出する。つまり、図１３に示すように、軌跡予測部６４１において、選択エッジの今後の軌跡を予測する。次に、衝突位置予測部６４２において、物標と自車両１００との衝突位置を予測する。また、横幅推定部６４３において、物標の横幅Ｗｔを推定する。そして、物標中心横位置導出部６４４において、衝突位置における物標中心の横位置を導出する。尚、図１３においては、図７と同様、一転鎖線で示す矢印が選択エッジの選択エッジのこれまでの軌跡近似線及び予測される今後の軌跡を表しており、破線が衝突位置を表しており、白抜き三角で示す位置が衝突位置における物標中心の横位置を表している。

上記のような横位置導出方法によっても、実施例１と同様、単眼画像検出エッジにおける右側エッジ及び左側エッジのうち信頼度の高い方のエッジの位置に基づいて、衝突位置における物標中心の横位置が導出される。従って、画像センサとして単眼画像センサを用いた場合であっても、衝突位置における物標中心の横位置を高精度で導出することができる。

（衝突判定フロー）
本実施例に係る自車両と障害物との衝突判定のフローについて図１４に示すフローチャートに基づいて説明する。本フローは、ＥＣＵ１０よって所定の間隔で繰り返し実行される。尚、本フローは、図８に示すフローチャートにステップＳ２０１からＳ２０３を追加したものである。そのため、ステップＳ２０１からＳ２０３についてのみ説明し、その他のステップについての説明は省略する。

本フローでは、ステップＳ１０４の次に、ステップＳ２０１の処理が実行される。ステップＳ２０１においては、ステップＳ１０４で算出された右側エッジの信頼度と左側エッジの信頼度とが同等であるか否かが判別される。ここで、軌跡近似線上に存在するエッジの数が右側エッジと左側エッジとで同数の場合は、両エッジの信頼度が同等と判定される。ステップＳ２０１において、否定判定された場合、次にステップＳ１０５の処理が実行される。この場合、その後の処理は実施例１と同様である。一方、ステップＳ２０１において、肯定判定された場合、次にステップＳ２０２の処理が実行される。

ステップＳ２０２においては、ステップＳ１０２で検出された複数の単眼画像検出エッジそれぞれについて、右側エッジ及び左側エッジに対する信頼度の重み付けが実行される。ここでは、上述したように、ミリ波検出位置からより近い方の信頼度がより高くなるように重み付けが行なわれる。尚、ステップＳ２０１の処理は重み付け部６５によって実行される。

次に、ステップＳ２０３において、ステップＳ２０２で重み付けられた複数の右側エッジ及び左側エッジの信頼度がそれぞれ合計され、両エッジについての信頼度の合計値が算出される。尚、ステップＳ２０３の処理は信頼度合計値算出部６６によって実行される。

次に、ステップＳ１０５において、物標の真のエッジの選択が行なわれる。この場合、該ステップＳ１０５では、右側エッジ及び左側エッジのうち、ステップ２０３で算出された信頼度の合計値が高い方のエッジが、物標の真のエッジとして選択される。その後の処理は実施例１と同様である。

（本実施例の構成要素と本発明の構成要件との関係）
尚、本実施例においては、重み付け部６５が本発明に係る重み付け手段に相当し、信頼度合計値算出部６６が本発明に係る信頼度合計値算出手段に相当する。

また、本実施例においては、図１４に示すフローチャートにおけるステップＳ２０２が本発明に係る重み付け工程に相当し、該フローチャートにおけるステップＳ２０３が本発明に係る信頼度合計値算出工程に相当する。

１・・・ミリ波レーダ
２・・・単眼画像センサ
３・・・操舵角センサ
４・・・ヨーレートセンサ
５・・・車輪パルスセンサ
６・・・物体検出部
７・・・衝突判定部
８・・・警告装置
９・・・衝突回避・衝突被害低減システム
１０・・ＥＣＵ
６１・・エッジ検出部
６２・・軌跡近似線導出部
６３・・選択部
６４・・横位置導出部
６５・・重み付け部
６６・・信頼度合計値算出部
１００・・車両
２００・・衝突予測装置
６４１・・軌跡予測部
６４２・・衝突位置予測部
６４３・・横幅推定部
６４４・・物標中心横位置導出部

Claims (6)

1. レーダによって取得される物標情報と単眼画像センサによって撮像された画像から取得される物標情報とに基づいて物体を検出する物体検出装置であって、
   前記レーダによって認識された物標に相当する物標を前記単眼画像センサによって撮像された画像から抽出するとともに、該抽出された物標の右側エッジ及び左側エッジを取得するエッジ取得手段と、
   前記エッジ取得手段によって取得された右側エッジ及び左側エッジの軌跡を近似する直線又は所定の曲線である軌跡近似線を両エッジについて導出する軌跡近似線導出手段と、
   前記エッジ取得手段によって取得された右側エッジ及び左側エッジのうち前記軌跡近似線上に存在するエッジの数が多い方を物標の真のエッジとして選択する選択手段と、
   前記選択手段によって真のエッジとして選択された方のエッジの位置に基づいて物標の横位置を導出する横位置導出手段と、
   を備えたことを特徴とする物体検出装置。
2. 前記エッジ取得手段によって取得された右側エッジ及び左側エッジに対し、前記レーダによって認識された物標の位置からより近い方の信頼度がより高くなるように信頼度の重み付けを行なう重み付け手段と、
   前記重み付け手段によって重み付けられた信頼度を右側エッジ及び左側エッジそれぞれについて複数分合計することで両エッジについての信頼度の合計値を算出する信頼度合計値算出手段と、をさらに備え、
   前記選択手段が、前記エッジ取得手段によって取得された右側エッジと左側エッジとで前記軌跡近似線上に存在するエッジの数が同数の場合、該右側エッジ及び左側エッジのうち、前記信頼度合計値算出手段によって算出された信頼度の合計値が大きい方を、物標の真のエッジとして選択することを特徴とする請求項１に記載の物体検出装置。
3. 前記横位置導出手段が、
   前記選択手段によって真のエッジとして選択された方のエッジの今後の軌跡を予測する軌跡予測手段と、
   前記軌跡予測手段によってよって予測された今後のエッジの軌跡に基づいて、該エッジと車両との前後方向の距離が零となる位置として物標と車両との衝突位置を予測する衝突位置予測手段と、を有し、
   前記選択手段によって真のエッジとして選択された方のエッジの前記衝突位置における位置に基づいて、前記衝突位置における物標の横方向の中心の横位置を導出することを特徴とする請求項１又は２に記載の物体検出装置。
4. 前記横位置導出手段が、
   物標の横幅を推定する横幅推定手段を有し、
   前記選択手段によって真のエッジとして選択された方のエッジの位置から、前記横幅推定手段によって推定された物標の横幅の１／２分他方のエッジ側にずれた位置を、物標の横方向の中心の横位置として導出することを特徴とする請求項１又は２に記載の物体検出装置。
5. レーダによって取得される物標情報と単眼画像センサによって撮像された画像から取得される物標情報とに基づいて物体を検出する物体検出方法であって、
   前記レーダによって認識された物標に相当する物標を前記単眼画像センサによって撮像された画像から抽出するとともに、該抽出された物標の右側エッジ及び左側エッジを取得するエッジ取得工程と、
   前記エッジ取得工程において取得された右側エッジ及び左側エッジの軌跡を近似する直線又は所定の曲線である軌跡近似線を両エッジについて導出する軌跡近似線導出工程と、
   前記エッジ取得工程において取得された右側エッジ及び左側エッジのうち前記軌跡近似線上に存在するエッジの数が多い方を物標の真のエッジとして選択する選択工程と、
   前記選択工程において真のエッジとして選択された方のエッジの位置に基づいて物標の横位置を導出する横位置導出工程と、
   を有することを特徴とする物体検出方法。
6. 前記エッジ取得工程において取得された右側エッジ及び左側エッジに対し、前記レーダによって認識された物標の位置からより近い方の信頼度がより高くなるように信頼度の重み付けを行なう重み付け工程と、
   前記重み付け工程において重み付けられた信頼度を右側エッジ及び左側エッジそれぞれについて複数分合計することで両エッジについての信頼度の合計値を算出する信頼度合計値算出工程と、をさらに有し、
   前記選択工程において、前記エッジ取得工程において取得された右側エッジ及び左側エッジとで前記軌跡近似線上に存在するエッジの数が同数の場合は、該右側エッジ及び左側エッジのうち、前記信頼度合計値算出工程において算出された信頼度の合計値が大きい方を、物標の真のエッジとして選択することを特徴とする請求項５に記載の物体検出方法。

Images