JP5688396B2

JP5688396B2 - 物体認識装置

Info

Publication number: JP5688396B2
Application number: JP2012209612A
Authority: JP
Inventors: 洋治笹渕; 弘之小池
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2012-09-24
Filing date: 2012-09-24
Publication date: 2015-03-25
Anticipated expiration: 2032-09-24
Also published as: JP2014062877A

Description

本発明は、自車両の周辺に存在する物体を認識するための物体認識装置に関する。

電磁波によって物体を検出するレーダ装置とカメラとを用いて、例えば自車両の前方に存在する歩行者等の物体を認識する物体認識装置が従来から知られている（例えば、特許文献１参照）。

特開２００５−１５７７６５号公報

ところで、この種の物体認識装置では、レーダ装置の検出結果とカメラの検出結果とをマッチングさせ、カメラで検出した物体の位置や速度を決定するために、レーダ装置の検出結果を用いる処理を行う場合がある。ところが、上記レーダ装置では、車両等の高反射物体と歩行者等の低反射物体とが典型的に前後方向において近距離で近づいて存在する場合に、低反射物体の反射レベルが高反射物体の反射レベルに吸込まれてしまう場合がある。
この場合、カメラでは高反射物体と低反射物体が検出できているにもかかわらず、レーダ装置では高反射物体のみしか検出されていないと判定され、正確にマッチングできない場合がある。そして、結果として、カメラで検出した物体の位置や速度を決定できない場合が生じる可能性がある。

上記のような場合を、図３〜図５を用いて具体的に説明する。図３において、Ｗはレーダ装置の検出範囲及びカメラの撮像範囲を、Ｖｓは自車両を、Ｖｆは先行車を、Ｈｕは歩行者を示している。同図では、レーダ装置の検出範囲及びカメラの撮像範囲における所定方位Ｘにおいて、歩行者Ｈｕが先行車Ｖｆよりも自車両Ｖｓ側に位置して、歩行者Ｈｕと先行車Ｖｆとが近距離で重なっている。この場合、図４に示すように、画像上では、先行車Ｖｆと歩行者Ｈｕは図中二点鎖線で参照されるように、認識可能である。
ところが、図５に示すように、レーダ装置では、低反射物体である歩行者Ｈｕの反射レベルＲ２が高反射物体である先行車Ｖｆの反射レベルＲ１に吸込まれてしまい、歩行者Ｈｕが検出されない場合が生じる。このような場合に、レーダ装置の検出結果とカメラの検出結果とをマッチングできない場合がある。

本発明は上述の実情に鑑みてなされたものであり、カメラ（撮像手段）によって低反射物体と高反射物体が別々に検出されているにもかかわらず、レーダ装置（発受信手段）によって低反射物体が高反射物体の影響で検出できなかった場合であっても、低反射物体の距離を好適に推定することができる物体認識装置を提供することを目的とする。

上記課題の解決手段として、請求項１に記載の発明は、自車両周辺の所定範囲に向けて電磁波を発信するとともに、該電磁波が自車両周辺に存在する物体により反射されて生じる反射波を受信する発受信手段（例えば実施形態におけるレーダ装置２）と、自車両周辺の所定範囲を撮像する撮像手段（例えば実施形態におけるカメラユニット３）と、を有する物体認識装置において、前記所定範囲における所定方位にて前記発受信手段により検出された物体の個数が、前記所定方位にて前記撮像手段により検出された物体の個数よりも少ない場合に、前記所定方位にて、低反射物体と高反射物体とが近距離で重なり合うように存在していると判定する物体状態判定手段（例えば実施形態における物体状態判定部１３）と、前記物体状態判定手段によって、前記低反射物体と前記高反射物体とが近距離で重なり合うように存在していると判定された場合に、前記高反射物体よりも自車両側に前記低反射物体が存在しているとして、前記発受信手段により検出された前記高反射物体の位置から所定距離自車両側に離れた位置に前記低反射物体が存在していると推定する低反射物体距離推定手段（例えば実施形態における低反射物体距離推定部１４）と、を有し、前記低反射物体距離推定手段は、道路標示の奥行き方向の寸法が特定された複数の道路標示データが記憶されており、前記撮像手段によって撮像された画像において、奥行き方向における前記低反射物体の最下部と前記高反射物体の最下部との間にはみ出さずに位置している前記道路標示が認識可能である場合に、該認識可能とされた道路標示が、記憶されている前記道路標示データのいずれに該当するかを特定し、特定した前記道路標示データに関連付けされた該道路標示データに対応する前記道路標示の奥行き方向の寸法を特定し、該奥行き方向の寸法を前記低反射物体と前記高反射物体との間の距離として推定し、該距離分、前記低反射物体が前記高反射物体から自車両側に離れた位置に存在していると推定することを特徴とする。

請求項２に記載の発明においては、自車両周辺の所定範囲に向けて電磁波を発信するとともに、該電磁波が自車両周辺に存在する物体により反射されて生じる反射波を受信する発受信手段と、自車両周辺の所定範囲を撮像する撮像手段と、を有する物体認識装置において、前記所定範囲における所定方位にて前記発受信手段により検出された物体の個数が、前記所定方位にて前記撮像手段により検出された物体の個数よりも少ない場合に、前記所定方位にて、低反射物体と高反射物体とが近距離で重なり合うように存在していると判定する物体状態判定手段と、前記物体状態判定手段によって、前記低反射物体と前記高反射物体とが近距離で重なり合うように存在していると判定された場合に、前記高反射物体よりも自車両側に前記低反射物体が存在しているとして、前記発受信手段により検出された前記高反射物体の位置から所定距離自車両側に離れた位置に前記低反射物体が存在していると推定する低反射物体距離推定手段と、を有し、前記低反射物体距離推定手段は、前記撮像手段によって撮像された画像において、前記低反射物体の最下部が地面に接しており、且つ前記高反射物体の最下部が地面に接していることを認識可能である場合に、前記低反射物体の最下部と前記高反射物体の最下部との離間距離に応じて前記低反射物体と前記高反射物体との間の距離を推定し、該距離分、前記低反射物体が前記高反射物体から自車両側に離れた位置に存在していると推定することを特徴とする。

請求項３に記載の発明においては、自車両周辺の所定範囲に向けて電磁波を発信するとともに、該電磁波が自車両周辺に存在する物体により反射されて生じる反射波を受信する発受信手段と、自車両周辺の所定範囲を撮像する撮像手段と、を有する物体認識装置において、前記所定範囲における所定方位にて前記発受信手段により検出された物体の個数が、前記所定方位にて前記撮像手段により検出された物体の個数よりも少ない場合に、前記所定方位にて、低反射物体と高反射物体とが近距離で重なり合うように存在していると判定する物体状態判定手段と、前記物体状態判定手段によって、前記低反射物体と前記高反射物体とが近距離で重なり合うように存在していると判定された場合に、前記高反射物体よりも自車両側に前記低反射物体が存在しているとして、前記発受信手段により検出された前記高反射物体の位置から所定距離自車両側に離れた位置に前記低反射物体が存在していると推定する低反射物体距離推定手段と、を有し、前記低反射物体距離推定手段は、前記発受信手段及び前記撮像手段のそれぞれで前記低反射物体を検出できる分離検出可能距離よりも小さい第１距離と、該第１距離よりも小さい第２距離と、を予め記憶しておき、前記第１距離分、前記低反射物体が前記高反射物体から自車両側に離れた位置に存在していると推定するか、または前記第２距離分、前記低反射物体が前記高反射物体から自車両側に離れた位置に存在していると推定するか、を使用者が予め選択可能であり、前記使用者の選択結果に応じて前記第１距離分、前記低反射物体が前記高反射物体から自車両側に離れた位置に存在していると推定する、または前記第２距離分、前記低反射物体が前記高反射物体から自車両側に離れた位置に存在していると推定することを特徴とする。

請求項１に記載の発明によれば、撮像手段によって低反射物体と高反射物体が別々に検出されているにもかかわらず、発受信手段によって低反射物体が高反射物体の影響で検出できなかった場合であっても、道路標示に応じて低反射物体の距離を正確に推定することができる。
請求項２に記載の発明によれば、高反射物体と低反射物体の最下部の離間距離に応じて、高反射物体に対する低反射物体の距離を正確に推定することができる。
請求項３に記載の発明によれば、所定の場合に応じて、適切な距離を選択して、運転者の意図（安全または過剰反応防止のどちらかの観点か）に応じて、高反射物体に対する低反射物体の距離を正確に推定することができる。

本発明の実施形態に係る物体認識装置のブロック図である。上記物体認識装置の処理を説明するフローチャートである。低反射物体と高反射物体とが近距離で重なり合うように存在している状態を説明する概念図である。図３の状態を自車両側から撮像した画像例を示す図である。図３の状態でレーダ装置によって検出される物体の反射レベルと位置の関係を示した図である。

以下、この発明に係る物体認識装置の実施形態を図１から図５の図面を参照して説明する。図１に示すように、この実施形態の物体認識装置１は、例えば駆動源としての内燃機関２１の駆動力を、オートマチックトランスミッション（ＡＴ）あるいは無段自動変速機（ＣＶＴ）等のトランスミッション（Ｔ／Ｍ）２２を介して車両の駆動輪に伝達して走行する車両に搭載されている。この車両は、物体認識装置１のほかに、ブレーキアクチュエータ２３、ステアリングアクチュエータ２４、及び報知装置２５を有している。

物体認識装置１は、レーダ装置（発受信手段）２と、カメラユニット（撮像手段）３と、自車両状態センサ４と、電子制御装置１０と、を備えている。
レーダ装置２は、例えばレーザ光やミリ波等の電磁波を自車両の進行方向前方の所定範囲に向けて発信するとともに、この発信した電磁波が自車両の外部の物体（例えば、構造物、歩行者、他車両（先行車）等）によって反射されたときに生じた反射波を受信し、発信した電磁波と受信した電磁波（反射波）とを混合してビート信号を生成し、電子制御装置１０へ出力する。

カメラユニット３は、ＣＣＤカメラやＣＭＯＳカメラ等からなるカメラ３ａと、画像処理部３ｂとを備えている。画像処理部３ｂは、カメラ３ａにより撮像して得た自車両の進行方向前方の所定範囲の画像データに対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して電子制御装置１０へ出力する。

自車両状態センサ４は、自車両の車両情報として、例えば自車両の速度（車速）を検出する車速センサや、ヨーレート（車両重心の上下方向軸回りの回転角速度）を検出するヨーレートセンサや、操舵角（運転者が入力した操舵角度の方向と大きさ）や操舵角に応じた実舵角（転舵角）を検出する舵角センサや、操舵トルクを検出する操舵トルクセンサや、例えば人工衛星を利用して車両の位置を測定するためのＧＰＳ（Global Positioning System）信号等の測位信号や自車両の外部の情報発信装置から発信される位置信号等、さらに、適宜のジャイロセンサや加速度センサ等の検出結果に基づいて自車両の現在位置及び進行方向を検出する位置センサや、アクセルペダルの踏み込み量を検出するセンサや、ブレーキペダルの踏み込み状態を検知するセンサ等を備えて構成されている。自車両状態センサ４は、検出した情報に応じた車両情報信号を電子制御装置１０へ出力する。

電子制御装置１０は、物体検出部１１と、物体画像認識部１２と、物体状態判定部１３と、低反射物体距離推定部１４と、車両制御部１５と、モード選択部１６と、を備えている。

物体検出部１１は、レーダ装置２から入力されるビート信号に基づいて、電磁波を反射した物体の位置、速度、反射レベル等を算出し、算出したこれらの情報を物体状態判定部１３へ出力する。なお、物体の速度は、時間差を持ってレーダ装置２により検出される物体の位置情報に基づいて自車両と物体との相対距離の時間変化から算出される自車両と物体との相対速度と、自車両の速度と、から算出することができる。また、物体検出部１１で算出される物体の位置には、自車両からの前後方向の位置のみならず、左右方向の位置も算出されている。そして、このような自車両からの前後方向の位置及び左右方向の位置とから、物体検出部１１は、車幅方向中央から真直ぐ車両前方を基準として左又は右の所定方位に物体が存在することを特定する所定方位情報も算出可能であり、この情報も物体状態判定部１３に出力する。

物体画像認識部１２は、カメラユニット３から入力される画像データ（画像）において例えば画素の輝度値や色情報に基づいてエッジ抽出により画像データ上の物体を抽出し、抽出した物体に対して、予め記憶しておいた人体及び車両のモデル画像とパターンマッチング処理を行い、抽出した物体が人体又は車両のモデル画像とマッチングするか否かを判別して物体を認識する。なお、物体画像認識部１２は、物体が人体であると判別した場合には、歩行者であると認識する。また物体画像認識部１２は、上記パターンマッチング処理によって、人体については、当該人体の特徴（歩幅、顔認識、頭部と胴部の比率等）から大人か子供かを判別可能であり、さらには、ガードレールや路面に表示された道路標示等も認識することができる。
そして、物体画像認識部１２は、その判別結果（物体の認識結果）を物体状態判定部１３へ出力する。また、物体画像認識部１２は、画像データの画角や焦点距離の情報等に基づき、車幅方向中央から車両真直ぐ前方を基準として左又は右の所定方位に認識した物体が存在することを特定する所定方位情報も認識可能であり、この情報も物体状態判定部１３へ出力する。

物体状態判定部１３は、物体検出部１１及び物体画像認識部１２から出力された情報をマッチングすることで、物体の情報（物体の種別（歩行者や車両等）、位置、速度、反射レベル等）を特定し、この特定結果を車両制御部１５に出力する。具体的に物体状態判定部１３は、物体検出部１１で算出された物体の位置、速度及び反射レベル等に基づき特定される物体の個数が、物体画像認識部１２によって認識された物体の個数と一致しているか否かを判定し、一致していれば、物体画像認識部１２によって認識された物体に対して、物体検出部１１で算出した情報（位置、速度、及び反射レベル等）を紐付けるようにする。

一方で、物体状態判定部１３は、物体検出部１１に基づき特定される物体の個数が、物体画像認識部１２によって認識された物体の個数に一致しない場合は、低反射物体と高反射物体とが近距離で重なり合うように存在しているか否かを判定し、低反射物体と高反射物体とが近距離で重なり合うように存在していると判定した場合には、物体検出部１１及び物体画像認識部１２から出力された情報を低反射物体距離推定部１４に出力する。

また、物体状態判定部１３は、低反射物体と高反射物体とが近距離で重なり合うように存在していると判定できない場合は、低反射物体と低反射物体が近距離で重なり合うように存在している等と判定し、物体画像認識部１２によって認識された２つの物体に対して、物体検出部１１で算出した同じ情報（位置、速度、及び反射レベル等）を紐付けるようにする。
ここで、本実施形態において高反射物体とは、車両やガードレール等の電磁波が反射され易い物体を指し、低反射物体とは、人物、荷物、動物等の電磁波が反射され難い物体を指す。そして、本実施形態では、高反射物体であるか否かを、所定の反射レベルの閾値に基づき判定するようにしており、本実施形態の物体状態判定部１３では、低反射物体と高反射物体とが近距離で重なり合うように存在していると判定可能であるかの判定を、物体検出部１１から出力された情報のうちの反射レベルを基準に行うようにする。
すなわち、物体状態判定部１３は、物体検出部１１に基づき特定される物体の個数が、物体画像認識部１２によって認識された物体の個数に一致しない場合で、かつ物体検出部１１から出力された反射レベルが閾値を超える場合に、低反射物体と高反射物体とが近距離で重なり合うように存在していると判定する。これに対して、物体検出部１１から出力された反射レベルが閾値を超えない場合には、低反射物体と低反射物体とが近距離で重なり合うように存在している等と判定する。なお、このような判定は、反射レベルに基づくものでなくてもよく、他の手法で行ってもよい。

また、本実施形態において物体状態判定部１３は、物体検出部１１に基づき特定される物体の個数が、物体画像認識部１２によって認識された物体の個数と一致しているか否かを判定する際、物体検出部１１及び物体画像認識部１２で特定されている所定方位情報に基づき、この所定方位ごとに判定するようにする。

低反射物体距離推定部１４は、物体状態判定部１３によって低反射物体と高反射物体とが近距離で重なり合うように存在していると判定された場合に、高反射物体よりも自車両側に低反射物体が存在しているとして、レーダ装置２及び物体検出部１１により検出された高反射物体の位置から所定距離自車両側に離れた位置に低反射物体が存在していると推定し、推定結果を、物体状態判定部１３に出力する。ここで、物体状態判定部１３は、上記推定結果を物体画像認識部１２によって認識された物体に対して紐付けて、車両制御部１５に出力する。
この低反射物体距離推定部１４は、物体画像認識部１２によって認識可能な情報等に応じて各種の距離推定モードのいずれかを実行して、上記所定距離を推定するが、この詳細は、図２のフローチャート等を用いて後述する。

車両制御部１５は、物体状態判定部１から出力された物体の情報に応じて、例えば歩行者又は車両と特定された物体が、その位置等に起因して自車両と接触する可能性がある場合には、接触を回避するように自車両の走行を制御する。具体的に例えば、車両制御部１５は、内燃機関２１の駆動力を制御する制御信号、トランスミッション２２の変速動作を制御する制御信号、ブレーキアクチュエータ２３による減速動作を制御する制御信号、及びステアリングアクチュエータ２４による自車両の操舵機構（図示略）の操向動作を制御する制御信号のうちの少なくとも何れかの制御信号を出力し、接触回避動作として自車両の減速制御又は操向制御を実行する。
また、車両制御部１５は、歩行者又は車両との接触可能性の大きさに応じて、報知装置２５による警報の出力タイミングおよび出力内容の少なくとも何れかを制御する。

モード選択部１６は、使用者（運転者）の操作に応じて、任意に低反射物体距離推定部１４の距離推定モードを特定の距離推定モードに選択可能とするためのものである。具体的に、このモード選択部１６は、安全性を重視する距離推定モード（安全重視推定モード）と、車両制御部１５による車両制御が過剰なものとならないようにする過剰反応防止用の距離推定モード（過剰反応防止モード）と、を使用者に選択可能とする。この詳細についても、図２のフローチャート等を用いて後述する。

次に、本実施形態における物体認識装置１の物体状態判定及び距離推定処理について図２のフローチャートに従いつつ、適宜、図３〜図５を参照して説明する。図２のフローチャートに示す処理は、電子制御装置１０によって一定時間毎に繰り返し実行される。

まず、ステップＳ１００において、レーダ装置２により自車両の進行方向前方に存在する物体を検出し、反射波の反射レベルを検出するとともに、物体検出部１１により、該物体の位置、速度及び反射レベルを算出して、これらの情報を物体状態判定部１３に出力する。

次に、ステップＳ１０１において、カメラユニット３の画像データに基づき、物体画像認識部１２により先行車や歩行者等の物体の認識を行い、認識される物体の情報全てを物体状態判定部１３に出力する。

次に、ステップＳ１０２において、物体状態判定部１３により、レーダ装置２によって検出された物体についての物体検出部１１で算出された位置、速度及び反射レベル等から特定される物体の個数が、物体画像認識部１２によって認識された物体の個数と一致しているか否かを判定する。ステップＳ１０２において「一致」と判定された場合は、ステップＳ１０３において、物体画像認識部１２によって認識された物体に対して、物体検出部１１で算出された情報（位置、速度、及び反射レベル等）を紐付ける処理がなされ、物体状態判定処理が終了する。

一方、ステップＳ１０２において、「一致」と判定されない場合は、ステップＳ１０４において物体状態判定部１３は、低反射物体と高反射物体とが近距離で重なり合うように存在しているか否か、すなわち、低反射物体の前方に高反射物体があり、低反射物体と高反射物体とが近距離で重なり合うように存在しているか否かを判定する。なお、物体状態判定部１３は、低反射物体と高反射物体とが近距離で重なり合うように存在しているか否かの判定を、上述したように、本実施形態では反射レベルに基づいて行う。
ステップＳ１０４において低反射物体と高反射物体とが近距離で重なり合うように存在していると判定されれば、ステップＳ１０５に進む。一方で、ステップＳ１０４において判定されなければ、上述したように、低反射物体と低反射物体が近距離で重なり合うように存在している等と判定し、物体画像認識部１２によって認識された２つの物体に対して、物体検出部１１で算出した同じ情報（位置、速度、及び反射レベル等）を紐付けるようにして、処理を終了する。

ステップＳ１０５では、物体状態判定部１３は、低反射物体が歩行者であるか否かを、物体画像認識部１２の認識結果から判定し、低反射物体が歩行者である場合は、ステップＳ１０６に進んで、歩行者の距離推定モードの処理をし、低反射物体が歩行者でない場合は、ステップＳ１５０に進み、歩行者以外の物体の距離推定モードの処理を実行する。
なお、上述の説明で用いた図３は、物体状態判定部１３が、ステップＳ１０２において「一致」と判定できず、ステップＳ１０４において低反射物体の前方に高反射物体があり、低反射物体と高反射物体とが近距離で重なり合うように存在していると判定される場合の典型例を示している。このような場合に、物体認識装置１では、物体状態判定部１３により、歩行者Ｈｕの前方に高反射物体（先行車Ｖｆ）があり、歩行者と高反射物体とが近距離で重なり合うように存在していると判定し、ステップＳ１０６から開始する低反射物体距離推定部１４の処理によって高反射物体から歩行者Ｈｕまでの距離を推定し、物体画像認識部１２によって認識された歩行者Ｈｕに紐付けるようにする。

以下、本実施形態に係る低反射物体距離推定部１４の歩行者の距離推定モードの処理について詳述する。
ステップＳ１０６においては、低反射物体距離推定部１４はまず、カメラユニット３からの画像データにおいて歩行者と高反射物体との間に記載されている奥行きのある道路標示が認識可能であるか否かを判定する。ステップＳ１０６において認識可能である場合は、ステップＳ１０７に処理が進み、認識不能である場合は、ステップＳ１０８に処理が進む。

ここで、本実施形態において、上記歩行者と高反射物体との間に記載されている道路標示とは、画像データにおいて、歩行者の足の路面（地面）との接地部分（以下、歩行者接地部分と称す）と、高反射物体の後部の最下部の路面（地面）との接地部分（以下、高反射物体接地部分と称す）との間に、道路標示がはみ出さずに位置した状態を意味している。したがって、道路標示が歩行者と高反射物体との間にあるか否かの判定は、画像データにおいて歩行者接地部分と高反射物体接地部分とが物体画像認識部１２によって認識されていることが前提となる。
しかしながら、画像データにおいて歩行者接地部分と高反射物体接地部分との少なくともいずれか一方が画像データ上で認識されない場合にあっても、認識される物体の一部からそれぞれの接地部分を推定し、この推定した接地部分を基準に、道路標示が、歩行者接地部分と高反射物体接地部分との間に位置している状態か否かを判定してもよい。

なお、具体的にステップＳ１０６の処理について図４を参照して説明すると、図４においては、歩行者Ｈｕと先行車Ｖｆとの間に、ひし形の道路標示Ｍ１が存在しており、この道路標示Ｍ１が、歩行者接地部分と、高反射物体接地部分との間に、はみ出さずに位置している（図中、一点鎖線参照）。このような場合に、低反射物体距離推定部１４は、歩行者と高反射物体との間に記載されている奥行きのある道路標示が認識可能であると判定する。

そして、ステップＳ１０６において道路標示が認識可能である場合は、ステップＳ１０７にて低反射物体距離推定部１４は、認識可能とされた道路標示の大きさに応じて歩行者と高反射物体との間の距離を推定し、該距離分、歩行者が高反射物体から自車両側に離れた位置に存在していると推定する。
具体的に本実施形態では、このステップＳ１０６において低反射物体距離推定部１４は、認識可能とされた道路標示が、記憶してある道路標示データのいずれに該当するかを特定し、特定した道路標示データに関連付けされた当該道路標示データに対応する標示の奥行き方向の寸法を特定し、この寸法を歩行者と高反射物体との離間距離とする。さらに具体的に、図４の例で説明すると、道路標示Ｍ１の道路奥行き方向での寸法が例えば１．４ｍと特定される場合には、１．４ｍだけ歩行者Ｈｕと先行車Ｖｆが離れていると推定される。
そして、低反射物体距離推定部１４は、推定した距離を物体状態判定部１３に出力して処理を終了する。

ちなみに、このステップＳ１０７において本実施形態では、認識可能とされた道路標示の奥行き方向手前側の端部よりも手前に歩行者接地部分があり、認識可能とされた道路標示の奥行き方向奥側の端部よりも奥に高反射物体接地部分がある場合でも、それぞれの間の距離が、十分小さいと推定される距離（例えば合計で１０ｃｍ）として予め記憶された閾値以下であれば、認識可能とされた道路標示の寸法を歩行者と高反射物体との離間距離として推定するものとする。そして、上記閾値を超える場合においては、道路標示が認識不能であったとする。これは、道路標示が、歩行者と高反射物体との間にあったとしても、一方または双方から比較的離れている場合には、道路標示を用いる実効性に乏しいからである。

なお、本実施形態では、上述のように歩行者接地部分と高反射物体接地部分との間に、道路標示がはみ出さずに位置した状態である場合に、道路標示の大きさに応じて歩行者と高反射物体との間の距離を推定するようにするが、道路標示が、歩行者接地部分と高反射物体接地部分からはみ出している場合においても、道路標示の大きさに応じて歩行者と高反射物体との間の距離を推定してもよい。この場合には、道路表示の奥行き方向の距離に対する歩行者接地部分と高反射物体接地部分との間の距離の比率に応じて、距離を演算して推定すればよい。

一方で、ステップＳ１０６において認識不能であった場合のステップＳ１０８では、低反射物体距離推定部１４は、画像データにおいて、歩行者接地部分、高反射物体接地部分、及び路面（地面）が認識可能であるか否かを判定する。このステップＳ１０８以降の処理は、具体的には、図４において道路標示Ｍ１がなかった場合に実行されるものである。そして、ステップＳ１０８において認識可能である場合は、ステップＳ１０９に処理が進み、認識不能である場合は、ステップＳ１１０に処理が進む。

ステップＳ１０９では、低反射物体距離推定部１４は、物体検出部１１から算出された高反射物体の位置を基に、歩行者接地部分と高反射物体接地部分との画像データにおける上下方向の差分を用いて、歩行者と高反射物体との間の距離を推定し、該距離分、歩行者が高反射物体から自車両側に離れた位置に存在していると推定する。
具体的に本実施形態において低反射物体距離推定部１４は、例えば、物体検出部１１から算出された高反射物体の位置を基準として、画像データにおいて歩行者が高反射物体から下方に所定の距離ΔＳ（図４参照）離れていた場合には、実際には所定の距離ΔＴだけ離れている等と仮定して推定を行う。このような推定は、例えば、低反射物体距離推定部１４が、マップを有し、このマップを参照することで行う等する。なお、当該マップに格納されるデータとしては、画角、撮像方向、焦点距離、物体の画像データ上の座標等を考慮して距離を推定するデータが格納されている。ここでは、マップを参照して推定する例を挙げたが、上記の画角、撮像方向、焦点距離、物体の画像データ上の座標等を考慮し、特定の演算によって距離を求めるようにしてもよい。
そして、低反射物体距離推定部１４は、推定した距離を物体状態判定部１３に出力して処理を終了する。

一方、ステップＳ１０８において認識不能であった場合のステップＳ１１０では、低反射物体距離推定部１４は、画像データにおいて、歩行者の全体像が認識可能であるか否かを判定する。そしてステップＳ１１０において認識可能である場合は、ステップＳ１１１に処理が進み、認識不能である場合は、ステップＳ１１２に処理が進む。

ステップＳ１１１においては、低反射物体距離推定部１４は、高反射物体に対する認識された歩行者の大きさが、一般的な歩行者に対して十分に大きいか否かを判定する。
このステップＳ１１１では、低反射物体距離推定部１４は、画像データにおける高反射物体に対する歩行者の大きさの割合を示す比率Ｒａ１を算出する。
一方、低反射物体距離推定部１４は、物体検出部１１から算出された高反射物体の位置（距離）と、物体画像認識部１２で認識された高反射物体の情報とを基に、画像データ上における高反射物体の大きさを算出する。また、低反射物体距離推定部１４は、歩行者が大人か子供かを判定し、大人か子供に応じた歩行者の一般的な身長を求める。
そして、低反射物体距離推定部１４は、所定の位置にある高反射物体に対して所定距離ＴＨ（例えば、１ｍ）だけ後方に一般的な身長及び体格の歩行者（例えば、大人であれば１．７ｍ、子供であれば１．４ｍ等）がいる場合に、画像データにおいて一般的な歩行者が高反射物体に対してどの程度の割合となるかを示す比率Ｒａ０を、大人か子供かに応じてマップから引用し、比率Ｒａ０と比率Ｒａ１とを比較する。

そして、低反射物体距離推定部１４は、比率Ｒａ１が、上記引用された比率Ｒａ０よりも大きい（以上の）場合には、高反射物体に対する認識された歩行者の大きさが、一般的な歩行者に対して十分に大きいと判定し、この場合、ステップＳ１１３に進み、歩行者は高反射物体から第１距離分、離れていると推定する。
ここで、第１距離は、レーダ装置２とカメラユニット３のそれぞれで個別に低反射物体を検出又は認識できる距離（以下、分離検出可能距離）よりもわずかに小さい距離と設定される。これは、分離検出可能距離以上であれば、低反射物体に対する距離の推定はそもそも不要であるからである。そして、分離検出可能距離よりもわずかに小さい距離を第１距離とするのは、上記のように、高反射物体に対する認識された歩行者の大きさが、一般的な歩行者に対して十分に大きいと判定される場合は、画像データにおいて歩行者が大きく写っており、自車両側に近い位置にある可能性が高いため、歩行者が高反射物体から比較的離れていると予測されるからである。したがって、分離検出可能距離よりもわずかに小さくするのがよく、例えば、分離検出可能距離が１．５ｍであれば、第１距離を１．４ｍ等と設定するのがよい。なお、この種の物体認識装置では、高反射物体と低反射物体とが画像データ上重なり合っていても１．５ｍ離れていれば、レーダ装置とカメラユニットの夫々で物体を一般的に検出できる。

一方で、低反射物体距離推定部１４は、ステップＳ１１１の判定で求めた比率Ｒａ１が、引用した比率Ｒａ０よりも小さい場合には、ステップＳ１１４に進み、第１距離よりも小さい第２距離を、歩行者が高反射物体から離れている距離と推定する。
ここで、第２距離は、歩行者が高反射物体に比較的近づいていると推定するための距離であり、本実施形態では、歩行者の胴の厚さと一般的に歩行者が車両から離れる距離とを足した距離とする。具体的には例えば、一般的な歩行者の胴の厚さ３０ｃｍと、一般的に歩行者が車両から離れて作業（トランクの開閉作業等）をする距離５０ｃｍとを足した距離である０．８ｍを、第２距離とする。なお、上述した所定距離ＴＨは、第１距離と第２距離との間に設定する。
そして、ステップＳ１１３又はＳ１１４で距離を推定後、低反射物体距離推定部１４は、推定した距離を物体状態判定部１３に出力して処理を終了する。

一方で、ステップＳ１１０において歩行者の全体像が認識不能と判定された場合のステップＳ１１２では、低反射物体距離推定部１４は、使用者によって、安全重視推定モードが選択されているか否かの判定をする。

ステップＳ１１２において、安全重視推定モードが選択されていれば、ステップＳ１１５において、上記ステップＳ１１３で説明した第１距離分、歩行者が高反射物体から離れていると推定する。この安全重視推定モードでは、歩行者が高反射物体側に比較的近い場合であっても、歩行者を自車両に近い側にあるとして、車両制御部１５による制御の頻度を上げるようにする。なお、本実施形態では、ステップＳ１１５で第１距離を推定するようにするが、この距離は、ステップＳ１１３で説明した距離と必ずしも一致させなくてもよいが、歩行者が高反射物体から比較的離れている距離で、かつ上記分離検出可能距離よりも小さい距離とする。

また、ステップＳ１１２において安全重視推定モードが選択されていなければ、ステップＳ１１６において、低反射物体距離推定部１４は、過剰反応防止モードに対応する、上記ステップＳ１１４で説明した第２距離分、歩行者が高反射物体から離れていると推定する。この過剰反応防止モードでは、車両制御部１５による制御の頻度を下げるようにする。なお、このステップＳ１１６においては、第２距離を推定するようにするが、この距離は、ステップＳ１１４で説明した距離と必ずしも一致させなくてもよいが、歩行者が高反射物体から比較的近い位置にある距離で、かつ上記分離検出可能距離よりも小さい距離する。

なお、ステップＳ１１５及びステップＳ１１６の処理は、歩行者の画像が認識され難い状況の場合に実行されるものであり、ステップＳ１０６、ステップＳ１０８及びステップＳ１１０の判断でいずれも否定的判断がなされる条件（所定の条件）の場合に実行される。ちなみに、本実施形態の物体認識装置１では、これらステップＳ１１５及びステップＳ１１６の処理を、坂道かつ夜間等の歩行者や車両等の物体の下部が認識され難い状況で実行するものと想定している。また、ステップＳ１５０における歩行者以外の距離推定モードについては説明を省略する。

以上説明した本実施形態の物体認識装置１によれば、撮像手段であるカメラユニット３によって低反射物体と高反射物体が別々に検出されているにもかかわらず、発受信手段であるレーダ装置２によって低反射物体が高反射物体の影響で検出できなかった場合であっても、低反射物体の距離を好適に推定することができる。

なお、この発明は前述した実施形態に限られるものではない。各実施形態における各構成及びそれらの組み合わせ等は一例であり、本発明の趣旨から逸脱しない範囲内で、構成の付加、省略、置換、およびその他の変更が可能である

例えば、上記実施形態では、低反射物体の一例として歩行者を主に取り上げたが、本発明では、低反射物体として、荷物や動物等を検出した場合でも、これの距離を推定することもできる。また、高反射物体の一例として車両を例に挙げたが、高反射物体としてガードレール等を検出し、その前方に歩行者等の低反射物体が重なっているような場合でも、低反射物体の距離を推定することもできる。
また、例えば、上記実施形態では、ステップＳ１１１において、高反射物体の歩行者に対する大きさに応じて、第１距離または第２距離、歩行者が高反射物体から離れていると推定する例を説明したが、高反射物体の歩行者に対する大きさに応じて、増減させるように歩行者と高反射物体との間の距離を推定してもよい。

１物体認識装置
２レーダ装置（発受信手段）
３カメラユニット（撮像手段）
１３物体状態判定部（物体状態判定手段）
１４低反射物体距離推定部（低反射物体距離推定手段）

Claims

自車両周辺の所定範囲に向けて電磁波を発信するとともに、該電磁波が自車両周辺に存在する物体により反射されて生じる反射波を受信する発受信手段と、
自車両周辺の所定範囲を撮像する撮像手段と、を有する物体認識装置において、
前記所定範囲における所定方位にて前記発受信手段により検出された物体の個数が、前記所定方位にて前記撮像手段により検出された物体の個数よりも少ない場合に、前記所定方位にて、低反射物体と高反射物体とが近距離で重なり合うように存在していると判定する物体状態判定手段と、
前記物体状態判定手段によって、前記低反射物体と前記高反射物体とが近距離で重なり合うように存在していると判定された場合に、前記高反射物体よりも自車両側に前記低反射物体が存在しているとして、前記発受信手段により検出された前記高反射物体の位置から所定距離自車両側に離れた位置に前記低反射物体が存在していると推定する低反射物体距離推定手段と、を有し、
前記低反射物体距離推定手段は、道路標示の奥行き方向の寸法が特定された複数の道路標示データが記憶されており、前記撮像手段によって撮像された画像において、奥行き方向における前記低反射物体の最下部と前記高反射物体の最下部との間にはみ出さずに位置している前記道路標示が認識可能である場合に、該認識可能とされた道路標示が、記憶されている前記道路標示データのいずれに該当するかを特定し、特定した前記道路標示データに関連付けされた該道路標示データに対応する前記道路標示の奥行き方向の寸法を特定し、該奥行き方向の寸法を前記低反射物体と前記高反射物体との間の距離として推定し、該距離分、前記低反射物体が前記高反射物体から自車両側に離れた位置に存在していると推定することを特徴とする物体認識装置。
自車両周辺の所定範囲に向けて電磁波を発信するとともに、該電磁波が自車両周辺に存在する物体により反射されて生じる反射波を受信する発受信手段と、
自車両周辺の所定範囲を撮像する撮像手段と、を有する物体認識装置において、
前記所定範囲における所定方位にて前記発受信手段により検出された物体の個数が、前記所定方位にて前記撮像手段により検出された物体の個数よりも少ない場合に、前記所定方位にて、低反射物体と高反射物体とが近距離で重なり合うように存在していると判定する物体状態判定手段と、
前記物体状態判定手段によって、前記低反射物体と前記高反射物体とが近距離で重なり合うように存在していると判定された場合に、前記高反射物体よりも自車両側に前記低反射物体が存在しているとして、前記発受信手段により検出された前記高反射物体の位置から所定距離自車両側に離れた位置に前記低反射物体が存在していると推定する低反射物体距離推定手段と、を有し、
前記低反射物体距離推定手段は、前記撮像手段によって撮像された画像において、前記低反射物体の最下部が地面に接しており、且つ前記高反射物体の最下部が地面に接していることを認識可能である場合に、前記低反射物体の最下部と前記高反射物体の最下部との離間距離に応じて前記低反射物体と前記高反射物体との間の距離を推定し、該距離分、前記低反射物体が前記高反射物体から自車両側に離れた位置に存在していると推定することを特徴とする物体認識装置。
自車両周辺の所定範囲に向けて電磁波を発信するとともに、該電磁波が自車両周辺に存在する物体により反射されて生じる反射波を受信する発受信手段と、
自車両周辺の所定範囲を撮像する撮像手段と、を有する物体認識装置において、
前記所定範囲における所定方位にて前記発受信手段により検出された物体の個数が、前記所定方位にて前記撮像手段により検出された物体の個数よりも少ない場合に、前記所定方位にて、低反射物体と高反射物体とが近距離で重なり合うように存在していると判定する物体状態判定手段と、
前記物体状態判定手段によって、前記低反射物体と前記高反射物体とが近距離で重なり合うように存在していると判定された場合に、前記高反射物体よりも自車両側に前記低反射物体が存在しているとして、前記発受信手段により検出された前記高反射物体の位置から所定距離自車両側に離れた位置に前記低反射物体が存在していると推定する低反射物体距離推定手段と、を有し、
前記低反射物体距離推定手段は、前記発受信手段及び前記撮像手段のそれぞれで前記低反射物体を検出できる分離検出可能距離よりも小さい第１距離と、該第１距離よりも小さい第２距離と、を予め記憶しておき、
前記第１距離分、前記低反射物体が前記高反射物体から自車両側に離れた位置に存在していると推定するか、または前記第２距離分、前記低反射物体が前記高反射物体から自車両側に離れた位置に存在していると推定するか、を使用者が予め選択可能であり、
前記使用者の選択結果に応じて前記第１距離分、前記低反射物体が前記高反射物体から自車両側に離れた位置に存在していると推定する、または前記第２距離分、前記低反射物体が前記高反射物体から自車両側に離れた位置に存在していると推定することを特徴とする物体認識装置。