JP5632762B2 - 測位情報形成装置、検出装置、及び測位情報形成方法 - Google Patents

Description

本発明は、測位情報形成装置、検出装置、及び測位情報形成方法に関する。

従来、ミリ波レーダ及びステレオカメラの両方を利用した物体測位検出装置が提案されている。例えば、第１の物体測位検出装置は、先ず、ステレオカメラによって撮影されたステレオ画像から算出されたカメラ測位情報に基づいて検出対象物体の候補を検出する。次に、物体測位検出装置は、その検出対象物体候補の測位情報を、ミリ波レーダで得たレーダ測位情報によって補正する。一方、第２の物体測位検出装置は、最初に、ミリ波レーダによって物体存在方向を検出し、次に、ステレオカメラのカメラ測位情報の内、その物体存在方向のみを用いて、検出対象物体を検出する。

例えば、特許文献１に開示されている物体検出装置は、後者の第２の物体測位検出装置と同様の方式であり、ミリ波レーダによって物体存在方向を検出して、検出した角度方向と重なるカメラ測位情報のみに物体検出処理を行っている。

すなわち、従来のミリ波レーダ及びステレオカメラの両方を利用した物体検出方法では、ミリ波レーダ及びステレオカメラの一方を用いて物体を検出した後に、もう一方によって得られる情報を補足的に用いている。

特開２００１−２９６３５７号公報

しかしながら、上記した従来の物体検出方法によっては、最初の検出自体の精度が低い場合、補足情報を用いたとしても検出対象物体を検出できない可能性が高い。すなわち、例えば、上記特許文献１に開示されている物体検出装置では、ミリ波レーダによって物体の存在が検出された範囲のみに基づいて、ステレオカメラを用いて物体検出を行う。このため、例えば、物体検出装置が路肩に設置され且つ車両を検出対象物体とした場合、物体検出装置が車両斜め後方に位置しているときには、物体検出装置から放射されて車両で反射されたミリ波の電力強度が想定よりも弱くなることがある。この場合、ミリ波レーダによっては、車両の存在すら検出されないので、ステレオカメラを補足的に利用しても、最終的に車両が検出されない可能性がある。

本発明の目的は、物体検出精度を向上する測位情報形成装置、検出装置、及び測位情報形成方法を提供することである。

本発明の一態様の測位情報形成装置は、レーダによって検出された情報に基づく画像とステレオカメラによって撮影された画像とに基づいて物体を検出する検出装置において用いられる測位情報を形成する測位情報形成装置であって、前記レーダによって検出された情報に基づく画像の画像平面内の座標群と、各座標における、距離に関する情報とが対応付けられたレーダ距離マップ情報に対して、平滑化処理をする第１の加工処理手段と、前記ステレオカメラによって撮影された画像の画像平面内の座標群と、各座標における、距離に関する情報とが対応付けられたカメラ距離マップ情報と、前記平滑化処理されたレーダ距離マップ情報とを合成することにより、合成マップ情報を形成する合成手段と、前記第１の加工処理手段の入力段に設けられ、前記第１の加工処理手段へ入力されるレーダ距離マップ情報の座標系を、基準座標系へ変換する座標変換手段と、前記カメラ距離マップ情報の座標系を、前記基準座標系へ変換する第２の座標変換手段と、前記座標変換されたカメラ距離マップ情報に対して加工処理をし、前記合成手段へ出力する第２の加工処理手段と、を具備し、前記合成手段は、前記加工処理されたカメラ距離マップ情報と、前記加工処理されたレーダ距離マップ情報とを合成することにより、合成マップ情報を生成し、前記基準座標系は、自装置の仮想設置位置を路面上とした場合の画像平面座標系の内の一方の座標軸と、視差とによって規定される座標系であり、前記第１の加工処理手段は、レーダ距離マップ情報を、第１の平滑化フィルタによって平滑化する第１の平滑化処理手段を含み、前記第２の加工処理手段は、カメラ距離マップ情報を、第２の平滑化フィルタによって平滑化する第２の平滑化処理手段を含み、前記第１の平滑化処理手段は、前記第１の平滑化フィルタを前記一方の座標軸方向のみに適用する一方、前記第２の平滑化処理手段は、前記第２の平滑化フィルタを前記視差軸方向のみに適用する。

本発明の一態様の測位情報形成装置は、レーダによって検出された情報に基づく画像とステレオカメラによって撮影された画像とに基づいて物体を検出する検出装置において用いられる測位情報を形成する測位情報形成装置であって、前記レーダによって検出された情報に基づく画像の画像平面内の座標群と、各座標における、距離に関する情報とが対応付けられたレーダ距離マップ情報に対して、平滑化処理をする第１の加工処理手段と、前記ステレオカメラによって撮影された画像の画像平面内の座標群と、各座標における、距離に関する情報とが対応付けられたカメラ距離マップ情報と、前記平滑化処理されたレーダ距離マップ情報とを合成することにより、合成マップ情報を形成する合成手段と、前記第１の加工処理手段の出力段で且つ前記合成手段の入力段に設けられ、前記第１の加工処理手段へ入力されるレーダ距離マップ情報の座標系を、基準座標系へ変換する座標変換手段と、前記カメラ距離マップ情報の座標系を、前記基準座標系へ変換する第２の座標変換手段と、前記座標変換されたカメラ距離マップ情報に対して加工処理をし、前記合成手段へ出力する第２の加工処理手段と、を具備し、前記合成手段は、前記加工処理されたカメラ距離マップ情報と、前記加工処理されたレーダ距離マップ情報とを合成することにより、合成マップ情報を生成し、前記基準座標系は、自装置の仮想設置位置を路面上とした場合の画像平面座標系の内の一方の座標軸と、視差とによって規定される座標系であり、前記第１の加工処理手段は、レーダ距離マップ情報を、第１の平滑化フィルタによって平滑化する第１の平滑化処理手段を含み、前記第２の加工処理手段は、カメラ距離マップ情報を、第２の平滑化フィルタによって平滑化する第２の平滑化処理手段を含み、前記第１の平滑化処理手段は、前記第１の平滑化フィルタを前記一方の座標軸方向のみに適用する一方、前記第２の平滑化処理手段は、前記第２の平滑化フィルタを前記視差軸方向のみに適用する。

本発明の一態様の測位情報形成方法は、レーダによって検出された情報に基づく画像とステレオカメラによって撮影された画像とに基づいて物体を検出する検出装置において用いられる測位情報を形成する測位情報形成方法であって、前記レーダによって検出された情報に基づく画像の画像平面内の座標群と、各座標における、距離に関する情報とが対応付けられたレーダ距離マップ情報の座標系を、自装置の仮想設置位置を路面上とした場合の画像平面座標系の内の一方の座標軸と、視差とによって規定される基準座標系へ変換し、前記座標変換されたレーダ距離マップ情報に対して、第１の平滑化フィルタを前記一方の座標軸方向のみに適用する平滑化処理をし、前記ステレオカメラによって撮影された画像の画像平面内の座標群と、各座標における、距離に関する情報とが対応付けられたカメラ距離マップ情報の座標系を、前記基準座標系へ変換する座標変換をし、前記座標変換されたカメラ距離マップ情報に対して、第２の平滑化フィルタを前記視差軸方向のみに適用する平滑化処理をし、前記平滑化処理されたカメラ距離マップ情報と、前記平滑化処理されたレーダ距離マップ情報とを合成することにより、合成マップ情報を形成する。

本発明によれば、物体検出精度を向上する測位情報形成装置、検出装置、及び測位情報形成方法を提供することができる。

本発明の実施の形態１に係る測位情報形成装置の主要構成を示すブロック図 本発明の実施の形態１に係る検出装置の構成を示すブロック図 ステレオ画像を示す図 カメラ距離マップ情報の一例を示す図 レーダ距離マップ情報の一例を示す図 本発明の実施の形態２に係る検出装置の構成を示す図 検出装置の仮想設置位置を路面上とした場合の画像平面座標系（Ｕ’，Ｖ’）を示す図 情報加工部の構成を示すブロック図 情報加工部の構成を示すブロック図 座標変換処理の説明に供する図 座標変換処理の説明に供する図 平滑化処理の説明に供する図 レベル調整処理の説明に供する図 本発明の実施の形態３に係る検出装置の構成を示すブロック図 各物体種別別部分領域に対する情報加工処理を示すテーブルを示す図 カメラ距離マップ情報の車両部分領域に対する平滑化処理を模式的に示す図 検出対象物体が横を向いた車両、及び歩行者であるときに得られる、反射強度特性の説明に供する図 車両画像の輝度変化特性の説明に供する図 車両領域及び歩行者領域の説明に供する図

以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、実施の形態において、同一の構成要素には同一の符号を付し、その説明は重複するので省略する。

［実施の形態１］
［測位情報形成装置の主要構成］
図１は、本発明の実施の形態１に係る測位情報形成装置１００の主要構成を示す。測位情報形成装置１００は、第１の測位系によって取得された「第１の距離マップ情報」と、第２の測位系で取得された「第２の距離マップ情報」とを入力とする。「距離マップ情報」とは、画像平面内の座標群と、各座標における「距離に関する情報」とが対応付けられた情報である。ここでは、第１の測位系は、ステレオカメラを含む。従って、第１の距離マップ情報は、そのステレオカメラによって撮影されたステレオ画像から算出されたカメラ距離マップ情報である。そして、カメラ距離マップ情報における「距離に関する情報」とは、例えば、視差値、又は、距離値である。一方、第２の測位系は、ミリ波レーダを含む。従って、第２の距離マップ情報は、そのミリ波レーダによって検出された情報に基づいて算出されたレーダ距離マップ情報である。そして、レーダ距離マップ情報における「距離に関する情報」とは、例えば、距離値、又は、反射電力強度である。

図１において、測位情報形成装置１００は、座標変換部１０１と、情報加工部１０２と、合成部１０３とを有する。

座標変換部１０１は、レーダ距離マップ情報を座標変換することにより、レーダ距離マップ情報の座標系と「基準座標系」とを一致させる。「基準座標系」とは、後述の合成部１０３において、複数の測位系から入力された距離マップ情報を合成する際に基準とする座標系である。実施の形態１では、この「基準座標」は、カメラ距離マップ情報の座標系である。

情報加工部１０２は、レーダ距離マップ情報に対して平滑化処理を施す。これにより、レーダ距離マップ情報における「距離に関する情報」の変化を緩やかにすることができる。

合成部１０３は、カメラ距離マップ情報と、加工処理が施されたレーダ距離マップ情報とを合成し、「合成マップ情報」を生成する。

［検出装置２００の構成］
図２は、本発明の実施の形態１に係る検出装置２００の構成を示す。検出装置２００は、測位情報形成装置１００を含んでいる。図２において、測位情報形成装置１００は、座標変換部１０１と、情報加工部１０２と、合成部１０３と、ステレオカメラ２０１と、ミリ波レーダ２０２と、距離マップ情報算出部２０３，２０４と、検出部２０５とを有する。ステレオカメラ２０１と距離マップ情報算出部２０３とは、第１の測位系を構成し、ミリ波レーダ２０２と距離マップ情報算出部２０４とは、第２の測位系を構成する。

ステレオカメラ２０１は、複数のカメラから構成され、当該複数のカメラで撮影したカメラ画像（つまり、ステレオ画像）を距離マップ情報算出部２０３へ出力する。

例えば、ステレオカメラ２０１は、２つのカメラで構成される。そして、当該２つのカメラは、例えば、２０センチメートル度離れた位置に並列配置される。この状態のステレオカメラ２０１によって２０メートル程度離れた位置に存在する車両を撮影した画像が、図３に示されている。図３Ａは、撮影方向に向かって左側に配設されたカメラによって撮影された画像（つまり、左カメラ画像）が示され、図３Ｂには、撮影方向に向かって右側に配設されたカメラによって撮影された画像（つまり、右カメラ画像）が示されている。

距離マップ情報算出部２０３は、ステレオカメラ２０１から出力されたステレオ画像に基づいて、カメラ距離マップ情報を算出する。具体的には、距離マップ情報算出部２０３は、左カメラ画像と右カメラ画像とにおいて同一対象物が映っている位置のズレ（つまり、視差）に基づいて、その対象物とステレオカメラ２０１との離間距離を算出する。距離マップ情報算出部２０３は、左カメラ画像及び右カメラ画像の全画素についてこの離間距離を算出することにより、カメラ距離マップ情報を算出する。

対象物とステレオカメラ２０１との離間距離は、例えば、次の式（１）によって算出することができる。
ただし、Ｚは、ステレオカメラから対象物までの距離[m]、Ｂは、カメラ間隔[m]、ｆは、カメラの焦点距離[m]、Ｐｘは、画像水平軸方向における１画素あたりの長さ[m/pixel]、ｄは、視差[pixel]である。

より詳細には、視差は、例えば、次の方法によって算出される。左カメラ画像及び右カメラ画像の内の一方を基準画像、もう一方を参照画像とする。先ず、基準画像から所定サイズ（例えば、４×４画素）の部分画像（つまり、部分基準画像）を設定する。また、参照画像内で、所定サイズの探索範囲（例えば、数十画素程度）を設定する。そして、この探索範囲内で、部分基準画像と同じサイズの部分参照画像をその位置を順次ずらしながら設定し、部分基準画像と各部分参照画像との輝度値に基づいて評価関数を計算することにより、部分基準画像と対応する部分参照画像を特定する。この部分基準画像と特定された部分参照画像とのズレが視差に対応する。このような処理によって視差が算出されるので、部分基準画像及び部分参照画像における輝度値変化が少ない場合には、有効な視差が求まらない。すなわち、例えば、車両の天井又は路面のような模様の少ない撮影対象面に関しては、視差が得ることが難しい。

図４は、カメラ距離マップ情報の一例を示す。図４に示されるカメラ距離マップ情報は、図３に示される右カメラ画像及び左カメラ画像から求められたものである。図４においては、「距離に関する情報」として、視差値が用いられている。そして、視差の大小が濃淡として表されており、視差の求められない領域は、視差値がゼロとされるので、白色で示されている。また、図４に示されるＵ，Ｖは、実空間座標（Ｘ，Ｙ，Ｚ）と区別される、画像平面座標を示している。画像平面座標系において、各座標は、ピクセルに対応し、画像横方向をＵ座標，画像縦方向をＶと定義している。

図２に戻り、ミリ波レーダ２０２は、ミリ波を放射し、当該放出されたミリ波の反射波を検出する。そして、ミリ波レーダ２０２は、検出結果を距離マップ情報算出部２０４へ出力する。

例えば、ミリ波レーダ２０２は、例えば、ＦＭＣＷ方式が適用され、ビーム幅が狭い電波を出力できるアンテナを具備する。そして、ミリ波レーダ２０２は、そのアンテナを機械的に回転させた上で反射波を受信する。因みに、ＦＭＣＷ方式によれば、ミリ波レーダ２０２から対象物体までの距離及び方向、対象物体の移動速度、並びに、対象物体からの反射電力強度を取得することができる。

距離マップ情報算出部２０４は、ミリ波レーダ２０２から出力された検出結果に基づいて、レーダ距離マップ情報を算出する。

図５は、レーダ距離マップ情報の一例を示す。図５においては、「距離に関する情報」として、距離値が用いられている。そして、距離の遠近が濃淡として表されている。また、図５では、画像平面座標系として、ミリ波レーダ２０２の方位及び俯角を直交軸とした座標系が用いられている。

図２に戻り、座標変換部１０１は、レーダ距離マップ情報を座標変換することにより、カメラ距離マップ情報の座標系とレーダ距離マップ情報の座標系とを一致させる。

情報加工部１０２は、レーダ距離マップ情報に対して平滑化処理を施す。

合成部１０３は、カメラ距離マップ情報と、加工処理が施されたレーダ距離マップ情報とを合成し、「合成マップ情報」を生成する。

検出部２０５は、「合成マップ情報」に基づいて、ステレオカメラ２０１によって撮影された物体を検出する。

［検出装置２００の動作］
以上の構成を有する検出装置２００の動作について説明する。ここでは、特に、座標変換処理、情報加工処理、距離マップ情報合成処理、及び検出処理について主に説明する。

＜座標変換処理＞
座標変換部１０１は、レーダ距離マップ情報を座標変換することにより、カメラ距離マップ情報の座標系とレーダ距離マップ情報の座標系とを一致させる。具体的には、座標変換部１０１は、ミリ波レーダ２０２の方位及び俯角を直交軸とした座標系で表されたレーダ距離マップ情報を、画像平面座標系（Ｕ，Ｖ）で表すように、座標変換する。この座標変換は、例えば、以下の式（２）を用いて行われる。
ただし、式（２）において、ｆは、ステレオカメラの焦点距離を表し、θ及びφは、ミリ波レーダの方位角及び俯角をそれぞれ表す。

＜情報加工処理＞
情報加工部１０２は、レーダ距離マップ情報に対して平滑化処理を施す。具体的には、情報加工部１０２は、レーダ距離マップ情報の方位方向又は俯角方向の少なくとも一方に対して、平滑化処理を施す。これにより、方位方向又は俯角方向の反射電力強度変化を緩やかにすることができる。ここでは、座標変換部１０１にて座標変換されたレーダ距離マップ情報に対して平滑化処理が施される。

この平滑化処理は、例えば、式（３）で示される平滑化フィルタを用いて行われる。また、この平滑化処理により、レーダ距離マップ情報に含まれる全座標の距離が平滑化される。

ここで、ミリ波レーダによる測位特性としては、ステレオカメラによる測位情報と比較して、対象物までの距離測定精度が高い一方、方位方向及び俯角方向における物体境界判別の難しいことがある。これは、アンテナビーム幅を狭める技術的な困難さに起因する。従って、上記した平滑化処理をレーダ距離マップ情報に対して施すことにより、マイナスの特性に対応する情報を除去することができるので、プラスの特性に対応する情報が優勢なレーダ距離マップ情報を取得することができる。

＜距離マップ情報合成処理＞
合成部１０３は、加工処理が施されたレーダ距離マップ情報において各座標と対応付けられている「距離に関する情報」（つまり、距離値又は反射電力強度）を、カメラ距離マップ情報において各座標と対応付けられている「距離に関する情報」（つまり、視差値、又は、距離値）と一致させるために変換する。例えば、カメラ距離マップ情報において各座標と視差値とが対応づけられている場合には、合成部１０３は、「距離に関する情報」（つまり、距離値又は反射電力強度）を、視差値に変換する。すなわち、合成部１０３は、必要であれば、レーダ距離マップ情報とカメラ距離マップ情報との間で、「距離に関する情報」の種類を一致させる。

そして、合成部１０３は、レーダ距離マップ情報とカメラ距離マップ情報との間で対応座標の「距離に関する情報」を相乗平均することにより、カメラ距離マップ情報と、レーダ距離マップ情報とを合成する。これにより、「合成マップ情報」が生成される。

＜物体検出処理＞
検出部２０５は、「合成マップ情報」に基づいて、ステレオカメラ２０１によって撮影された物体を検出する。例えば、「合成マップ情報」が画像平面座標（Ｕ，Ｖ）における視差分布によって構成される場合には、ステレオカメラの設置条件（設置高、設置角等）に基づいて「合成マップ情報」のＶ軸を地面と鉛直になるように座標変換された視差分布から、同程度の視差を示す座標を、物体として検出することができる。視差分布から物体を検出する方法は種々存在するが、既存技術のため詳細な説明は省略する。こうして得られる物体検出結果は、例えば、表示装置（図示せず）に出力されて、右画像（又は左画像）と重畳されて表示されても良いし、交通信号制御装置などの制御装置（図示せず）へ出力されて活用されても良い。

以上のように本実施の形態によれば、測位情報形成装置１００において、合成部１０３が、カメラ距離マップ情報とレーダ距離マップ情報とを合成し、「合成マップ情報」を生成する。この合成マップ情報は、検出装置２００において物体検出処理に用いられる。

こうすることで、カメラ距離マップ情報とレーダ距離マップ情報とを合成した情報に基づいて物体検出することができるので、物体検出精度を向上することができる。すなわち、カメラ距離マップ情報とレーダ距離マップ情報とを合成することにより、地面又は壁面等からの反射による不要なノイズの除去が期待できるので、物体検出閾値を低く設定することができる。このため、従来では、検出不可能と判断された物体であっても、検出することができる。

また、合成部１０３は、レーダ距離マップ情報とカメラ距離マップ情報との間で対応座標の「距離に関する情報」を相乗平均することにより、カメラ距離マップ情報と、レーダ距離マップ情報とを合成する。

こうすることで、カメラ距離マップ情報において視差が得られた座標にのみ値が残るので、物体境界の判定が容易になる。

なお、以上の説明では、レーダマップ情報に対する座標変換処理を情報加工処理の前段に行うものとして説明したが、これに限定されるものではなく、情報加工処理の後で且つ合成処理の前に座標変換処理が行われても良い。すなわち、座標変換部１０１は、情報加工部１０２の出力段で且つ合成部１０３の入力段に設けられても良い。

［実施の形態２］
［検出装置３００の構成］
図６は、本発明の実施の形態２に係る検出装置３００の構成を示す。図６において、検出装置３００は、測位情報形成装置４００を含んで構成されている。

図６において、測位情報形成装置４００は、座標変換部４０１，４０２と、情報加工部４０３，４０４と、合成部４０５とを有する。

座標変換部４０１は、カメラ距離マップ情報を座標変換することにより、カメラ距離マップ情報の座標系と「基準座標系」とを一致させる。座標変換部４０１において用いられる「基準座標系」は、検出装置３００の仮想設置位置を路面上とした場合の画像平面座標系（Ｕ’，Ｖ’）の内の一方の座標軸Ｕ’と、視差とによって規定される座標系である。図７に、検出装置３００の仮想設置位置を路面上とした場合の画像平面座標系（Ｕ’，Ｖ’）について示す。

具体的には、座標変換部４０１は、２つのステップによってカメラ距離マップ情報の座標変換処理を行う。この処理の詳細については、後述する。

座標変換部４０２は、レーダ距離マップ情報を座標変換することにより、レーダ距離マップ情報の座標系と「基準座標系」とを一致させる。座標変換部４０２において用いられる「基準座標系」も、検出装置３００の仮想設置位置を路面上とした場合の画像平面座標系（Ｕ’，Ｖ’）の内の一方の座標軸Ｕ’と、視差とによって規定される座標系である。

具体的には、座標変換部４０２は、２つのステップによってレーダ距離マップ情報の座標変換処理を行う。この処理の詳細については、後述する。

情報加工部４０３は、座標変換部４０１にて座標変換された、カメラ距離マップ情報に対して、平滑化処理、レベル調整処理、及び正規化処理を施す。

具体的には、図８に示すように、情報加工部４０３は、平滑化処理部４１１と、レベル調整部４１２と、正規化処理部４１３とを有する。

平滑化処理部４１１は、座標変換部４０１にて座標変換された、カメラ距離マップ情報に対して、平滑化処理を施す。平滑化処理部４１１は、視差軸方向のみに平滑化処理を施す。すなわち、平滑化処理部４１１は、任意のＵ’座標において平滑化フィルタを視差軸方向に適用し、その任意のＵ’座標を順次移動することにより、カメラ距離マップ情報に対して平滑化処理を行う。

レベル調整部４１２は、平滑化処理後のカメラ距離マップ情報に対して、レベル調整フィルタを適用することにより、カメラ距離マップ情報のレベルを調整する。

正規化処理部４１３は、レベル調整後のカメラ距離マップ情報に含まれる（Ｕ’，視差値）座標群のそれぞれに対応付けられたレベル値の内の最大値によって、他のレベル値を除算することにより、正規化処理を行う。

情報加工部４０４は、座標変換部４０１にて座標変換された、レーダ距離マップ情報に対して、平滑化処理、レベル調整処理、及び正規化処理を施す。

具体的には、図９に示すように、情報加工部４０４は、平滑化処理部４２１と、レベル調整部４２２と、正規化処理部４２３とを有する。

平滑化処理部４２１は、座標変換部４０２にて座標変換された、レーダ距離マップ情報に対して、平滑化処理を施す。平滑化処理部４１１は、Ｕ’軸方向のみに平滑化処理を施す。すなわち、平滑化処理部４２１は、任意の視差座標において平滑化フィルタをＵ’軸方向に適用し、その任意の視差座標を順次移動することにより、レーダ距離マップ情報に対して平滑化処理を行う。

レベル調整部４２２は、平滑化処理後のレーダ距離マップ情報に対して、レベル調整フィルタを適用することにより、レーダ距離マップ情報のレベルを調整する。

正規化処理部４２３は、レーダ調整後のカメラ距離マップ情報に含まれる（Ｕ’，視差値）座標群のそれぞれに対応付けられたレベル値の内の最大値によって、他のレベル値を除算することにより、正規化処理を行う。

合成部４０５は、加工処理が施されたカメラ距離マップ情報と、加工処理が施されたレーダ距離マップ情報とを合成し、「合成マップ情報」を生成する。

［検出装置３００の動作］
以上の構成を有する検出装置３００の動作について説明する。ここでは、主に、測位情報形成装置４００の動作について説明する。

＜座標変換処理１＞
座標変換部４０１は、カメラ距離マップ情報を座標変換することにより、カメラ距離マップ情報の座標系と「基準座標系」とを一致させる。座標変換部４０１において用いられる「基準座標系」は、検出装置３００の仮想設置位置を路面上とした場合の画像平面座標系（Ｕ’，Ｖ’）の内の一方の座標軸Ｕ’と、視差とによって規定される座標系である。

具体的には、座標変換部４０１は、次の２つのステップによってカメラ距離マップ情報の座標変換処理を行う。

（１）座標変換部４０１は、検出装置３００が実際に設置されている位置から撮影された画像を用いて得られた、画像平面座標（Ｕ，Ｖ）内のカメラ距離マップ情報（図１０Ａ参照）を、画像平面座標（Ｕ’，Ｖ’）に投影することにより、座標変換を行う。

具体的には、座標変換前の座標点のベクトルｕ＾＝（ｕ，ｖ，１，ｄ）、座標変換後の座標点のベクトルｕ＾’＝（ｕ’，ｖ’，１，ｄ’）とすると、ｕ＾’＝Ｓ^−１ＤＳｕ＾の関係が成り立つ。ここで、Ｄは、ステレオカメラの設置パラメータ（設置高、回転角度）を含む変換行列を表し、Ｓは、カメラ補正パラメータ（カメラ間隔又は焦点距離など）の行列を表す。

（２）座標変換部４０１は、画像平面座標系（Ｕ’，Ｖ’）のカメラ距離マップ情報から、各Ｕ’座標におけるＶ’方向の視差ヒストグラムを算出する。特に、座標変換部４０１は、Ｖ’座標の範囲を路面より上方の画像に対応する部分に絞って、視差ヒストグラムを算出する。これにより、カメラ距離マップ情報の「基準座標系」への座標変換処理が行われる。「基準座標系」へ座標変換されたカメラ距離マップ情報の一例が、図１０Ｂに示されている。

（ｕ’，ｖ’）座標における視差をｄ（ｕ’，ｖ’）、（ｕ’，ｄ）座標における級数をＮ（ｕ’，ｄ）とすると、ｄ（ｕ’，ｖ’）からＮ（ｕ’，ｄ）への変換は、次のように表される。
for（i=０;i<n;i++）{for（j=０;j<m;j++）{N（i,d（i,j））++;}}
ここで、ｎ、ｍは、Ｕ’座標の範囲及びＶ’座標の範囲をそれぞれ表す。

＜座標変換処理２＞
座標変換部４０２は、レーダ距離マップ情報を座標変換することにより、レーダ距離マップ情報の座標系と「基準座標系」とを一致させる。座標変換部４０２において用いられる「基準座標系」も、検出装置３００の仮想設置位置を路面上とした場合の画像平面座標系（Ｕ’，Ｖ’）の内の一方の座標軸Ｕ’と、視差とによって規定される座標系である。

具体的には、座標変換部４０２は、次の２つのステップによってレーダ距離マップ情報の座標変換処理を行う。

（１）座標変換部４０２は、各方向（つまり、方位角及び俯角のペアにより特定される方向）と各方向の「距離に関する情報」とが対応付けられたレーダ距離マップ情報を、検出装置３００の設置平面と平行な面（検出装置３００の設置平面も含まれる）に投影することにより、座標変換を行う。この座標変換が行われた後のレーダ距離マップ情報の一例が、図１１Ａに示されている。

（２）座標変換部４０２は、検出装置３００の設置平面と平行な面に投影されたレーダ距離マップ情報から、各Ｕ’、視差座標における反射電力強度分布を算出する。これにより、レーダ距離マップ情報の「基準座標系」への座標変換処理が行われる。「基準座標系」へ座標変換されたレーダ距離マップ情報の一例が、図１１Ｂに示されている。

ここで、ステレオカメラ２０１の設置位置及び角度及びミリ波レーダ２０２の設置位置及び角度が一致すると仮定すれば、座標変換部４０２による反射電力強度分布の算出処理は、前述のカメラ補正パラメータ行列Ｓを用いて、次のように表すことができる。
ｐ＾’＝Ｓ^−１ｐ＾
ここで、ベクトルｐ＾＝（ｘ，０，ｚ，１）は、検出装置３００の設置平面と平行な面の座標（ｘ，ｚ）を表し、ベクトルｐ＾’＝（ｕ’，０，１，ｄ）は、Ｕ’と視差値とから規定される平面内の座標（ｕ’，ｄ）を表す。

＜情報加工処理１＞
情報加工部４０３は、座標変換部４０１にて座標変換された、カメラ距離マップ情報に対して、平滑化処理、レベル調整処理、及び正規化処理を施す。

（平滑化処理）
平滑化処理部４１１は、座標変換部４０１にて座標変換された、カメラ距離マップ情報に対して、平滑化処理を施す。平滑化処理部４１１は、視差軸方向のみに平滑化処理を施す。すなわち、平滑化処理部４１１は、図１２Ａに示すように、任意のＵ’座標において平滑化フィルタを視差軸方向に適用し、その任意のＵ’座標においてフィルタの適用が完了した後に、次のＵ’座標へフィルタを順次移動することにより、カメラ距離マップ情報の全体に対して平滑化処理を行う。ここで用いられる平滑化フィルタの一例が、図１２Ｂに示されている。

このように、視差軸方向のみに平滑化処理を施すことにより、カメラ距離マップ情報に含まれる劣性の特性（つまり、距離に関する情報の精度がレーダ距離マップ情報に比べて低い特性）を抑制することができると共に、優性の特性（つまり、方位方向の物体境界に関する精度がレーダ距離マップ情報に比べて特性）を強調することができる。

詳細には、図１２Ａに示すように、特定のフィルタ長を持つ平滑化フィルタ５０１を、Ｕ’座標ごとの視差値データ列に対して掛け合わせる。これにより、カメラ距離マップ情報における、視差軸方向の級数変化を滑らかにすることができる。

平滑化フィルタ５０１としては、例えば、ハニング関数を使用する。フィルタ長をλcとすると、平滑化フィルタ５０１は、次の式で表される。

式（４）を図示すると、図１２Ｂのような形状になる。

そして、平滑化前後の座標値をそれぞれ、N（u’,d）、N’（u’,d）とすると、式（５）で表せられる関係が成り立つ。

（レベル調整処理）
レベル調整部４１２は、平滑化処理後のカメラ距離マップ情報に対して、レベル調整フィルタを掛け合わせることにより、カメラ距離マップ情報のレベルを調整する。ここで用いられるレベル調整フィルタは、視差が小さくなるに従って座標値をより増加させる特性を有している。具体的には、図１３Ａに示すように、レベル調整フィルタは、視差が増加するに従って、レベル調整フィルタのレベル値（つまり、重み）が単調減少する形状を有している。

このようなレベル調整を行う目的は、同一物体の各部分に関する視差に対応する級数のレベルを合わせることである。これは、同一物体の部分の間であっても、ステレオカメラ２０１から近い部分と、遠い部分とでは、遠い部分に関する視差に対応する級数がより小さくなるからである。

ここで、図１３Ａに示すように、レベル調整部４１２にて用いられるレベル調整フィルタと、レベル調整部４２２にて用いられるレベル調整フィルタとでは、形状が異なっている。これは、レーダ距離マップ情報においても、カメラ距離マップ情報における特性と同様に、同一物体の部分の間であっても、ミリ波レーダ２０２から近い部分と、遠い部分とでは、遠い部分に関する視差に対応する反射電力強度がより小さくなる。しかしながら、カメラ距離マップ情報と、レーダ距離マップ情報とでは、減少比率が異なる。従って、異なる形状のレベル調整フィルタを用いて、カメラ距離マップ情報及びレーダ距離マップ情報のレベル調整を行うことにより、カメラ距離マップ情報とレーダ距離マップ情報とのレベルを調整することができる。

（正規化処理）
正規化処理部４１３は、レベル調整後のカメラ距離マップ情報に含まれる（Ｕ’，視差値）座標群のそれぞれに対応付けられたレベル値の内の最大値によって、他のレベル値を除算することにより、正規化処理を行う。

＜情報加工処理２＞
情報加工部４０４は、座標変換部４０２にて座標変換された、レーダ距離マップ情報に対して、平滑化処理、レベル調整処理、及び正規化処理を施す。

（平滑化処理）
平滑化処理部４２１は、座標変換部４０２にて座標変換された、レーダ距離マップ情報に対して、平滑化処理を施す。平滑化処理部４２１は、Ｕ’軸方向のみに平滑化処理を施す。すなわち、平滑化処理部４２１は、図１２Ｃに示すように、任意の視差座標において平滑化フィルタをＵ’軸方向に適用し、その任意の視差座標においてフィルタの適用が完了した後に、次の視差座標へフィルタを順次移動することにより、レーダ距離マップ情報の全体に対して平滑化処理を行う。ここで用いられる平滑化フィルタの一例が、図１２Ｄに示されている。

このように、Ｕ’軸方向のみに平滑化処理を施すことにより、レーダ距離マップ情報に含まれる劣性の特性（つまり、方位方向の物体境界に関する精度がカメラ距離マップ情報に比べて低い特性）を抑制することができると共に、優性の特性（つまり、距離に関する情報の精度がカメラ距離マップ情報に比べて高い特性）を強調することができる。

詳細には、図１２Ｃに示すように、特定のフィルタ長を持つ平滑化フィルタ５０２を、視差座標ごとのＵ’データ列に対して掛け合わせる。これにより、レーダ距離マップ情報における、Ｕ’軸方向の反射電力強度変化を滑らかにすることができる。

平滑化フィルタ５０２としては、例えば、ハニング関数を使用する。フィルタ長をλｒとすると、平滑化フィルタ５０２は、次の式で表される。

式（６）を図示すると、図１２Ｄのような形状になる。

そして、平滑化前後の座標値をそれぞれ、P（u’,d）、P’（u’,d）とすると、式（６）で表せられる関係が成り立つ。

（レベル調整処理）
レベル調整部４２２は、平滑化処理後のレーダ距離マップ情報に対して、レベル調整フィルタを適用することにより、レーダ距離マップ情報のレベルを調整する。レベル調整部４２２は、図１３Ｂに示すように、レベル調整フィルタ６０１をＵ’軸方向に順次ずらしながら、レーダ距離マップ情報に掛け合わせる。これにより、レーダ距離マップ情報の全体に対してレベル調整処理が施される。ここで用いられるレベル調整フィルタは、視差が小さくなるに従って座標値をより増加させる特性を有している。具体的には、図１３Ａに示すように、レベル調整フィルタは、視差が増加するに従って、レベル調整フィルタのレベル値（つまり、重み）が単調減少する形状を有している。

このようなレベル調整を行う目的は、同一物体の各部分に関する視差に対応する反射電力強度のレベルを合わせることである。これは、同一物体の部分の間であっても、ミリ波レーダ２０２から近い部分と、遠い部分とでは、遠い部分に関する視差に対応する反射電力強度がより小さくなるからである。

（正規化処理）
正規化処理部４２３は、レーダ調整後のカメラ距離マップ情報に含まれる（Ｕ’，視差値）座標群のそれぞれに対応付けられたレベル値の内の最大値によって、他のレベル値を除算することにより、正規化処理を行う。

＜合成処理＞
合成部４０５は、加工処理が施されたカメラ距離マップ情報と、加工処理が施されたレーダ距離マップ情報とを合成し、「合成マップ情報」を生成する。具体的には、合成部４０５は、加工処理が施されたカメラ距離マップ情報と、加工処理が施されたレーダ距離マップ情報との間で、同一座標に対応付けられた値を掛け合わせることにより、「合成マップ情報」を生成する。

以上のように本実施の形態によれば、測位情報形成装置４００において、座標変換部４０１は、カメラ距離マップ情報を座標変換することにより、カメラ距離マップ情報の座標系と「基準座標系」とを一致させる。また、座標変換部４０２は、レーダ距離マップ情報を座標変換することにより、レーダ距離マップ情報の座標系と「基準座標系」とを一致させる。そして、「基準座標系」は、検出装置３００の仮想設置位置を路面上とした場合の画像平面座標系（Ｕ’，Ｖ’）の内の一方の座標軸Ｕ’と、視差とによって規定される座標系である。

そして、情報加工部４０３は、座標変換部４０１にて座標変換された、カメラ距離マップ情報に対して、視差軸方向のみに平滑化処理を施す。また、情報加工部４０４は、座標変換部４０２にて座標変換された、レーダ距離マップ情報に対して、Ｕ’軸方向のみに平滑化処理を施す。そして、合成部４０５は、加工処理が施されたカメラ距離マップ情報と、加工処理が施されたレーダ距離マップ情報とを合成し、「合成マップ情報」を生成する。

こうすることで、視差軸方向のみに平滑化処理を施すことにより、カメラ距離マップ情報に含まれる劣性の特性（つまり、距離に関する情報の精度がレーダ距離マップ情報に比べて低い特性）を抑制することができると共に、優性の特性（つまり、方位方向の物体境界に関する精度がレーダ距離マップ情報に比べて特性）を強調することができる。また、Ｕ’軸方向のみに平滑化処理を施すことにより、レーダ距離マップ情報に含まれる劣性の特性（つまり、方位方向の物体境界に関する精度がカメラ距離マップ情報に比べて低い特性）を抑制することができると共に、優性の特性（つまり、距離に関する情報の精度がカメラ距離マップ情報に比べて高い特性）を強調することができる。そして、優性の特性が強調された情報同士を合成した合成情報を物体検出に用いることにより、物体検出精度を向上することができる。

［実施の形態３］
実施の形態２では、情報加工部４０３は、カメラ距離マップ情報に含まれる、Ｕ’と視差値とから規定される領域の全てに対して平滑化処理等を行った。また、情報加工部４０４は、レーダ距離マップ情報に含まれる、Ｕ’と視差値とから規定される領域の全てに対して一律に平滑化処理等を行った。これに対して、実施の形態３では、Ｕ’と視差値とから規定される領域を、出現頻度の高い物体の種別に基づいて複数の部分領域に分割し、部分領域ごとに平滑化フィルタのフィルタ長などを調整する。

［検出装置７００の構成］
図１４は、本発明の実施の形態３に係る検出装置７００の構成を示す。図１４において、検出装置７００は、測位情報形成装置８００を含んで構成されている。

図１４において、測位情報形成装置８００は、情報加工部８０１，８０２と、メモリ８０３とを有する。

メモリ８０３は、領域指定情報を保持する。「領域指定情報」は、カメラ距離マップ情報及びレーダ距離マップ情報に含まれる、Ｕ’と視差値とから規定される領域を、出現頻度の高い物体の種別に基づいて分割した各部分領域（以下、「物体種別別部分領域」と呼ばれることがある）を示す情報である。検出装置７００が横断歩道付近又は交差点等に設置される場合、領域指定情報には、車両が主に検出される部分領域（以下、「車両部分領域」と呼ばれることがある）、及び、歩行者が主に検出される部分領域（以下、「歩行者部分領域」と呼ばれることがある）が含まれる。

情報加工部８０１は、情報加工部４０３と同様の機能を有する。ただし、情報加工部８０１は、メモリ８０３に保持されている領域指定情報の示す物体種別別部分領域ごとに、平滑化フィルタのフィルタ長を調整する。具体的には、情報加工部８０１は、平滑化フィルタを、車両部分領域では、車両が画像内に映り込むときの平均的な大きさに適合したフィルタ長に調整する一方、歩行者部分領域では、人物が画像内に映り込むときの平均的な大きさに適合したフィルタ長に調整する。すなわち、車両部分領域における平滑化フィルタのフィルタ長は、歩行者部分領域における平滑化フィルタのフィルタ長よりも長い。

また、情報加工部８０１は、物体種別別部分領域ごとにフィルタ重みを調整しても良い。

情報加工部８０２は、情報加工部４０４と同様の機能を有する。ただし、情報加工部８０２は、メモリ８０３に保持されている領域指定情報の示す物体種別別部分領域ごとに、平滑化フィルタのフィルタ長を調整する。具体的には、情報加工部８０２は、平滑化フィルタを、車両部分領域では、車両が画像内に映り込むときの平均的な大きさに適合したフィルタ長に調整する一方、歩行者部分領域では、人物が画像内に映り込むときの平均的な大きさに適合したフィルタ長に調整する。すなわち、車両部分領域における平滑化フィルタのフィルタ長は、歩行者部分領域における平滑化フィルタのフィルタ長よりも長い。

また、情報加工部８０２は、物体種別別部分領域ごとにフィルタ重みを調整しても良い。

［検出装置７００の動作］
以上の構成を有する検出装置７００の動作について説明する。ここでは、主に、測位情報形成装置８００における情報加工処理について説明する。図１５は、各物体種別別部分領域に対する情報加工処理を示すテーブルを示す図である。また、図１６は、カメラ距離マップ情報の車両部分領域に対する平滑化処理を模式的に示す図である。

＜情報加工処理１＞
情報加工部８０１は、座標変換部４０１にて座標変換された、カメラ距離マップ情報に対して、平滑化処理、レベル調整処理、及び正規化処理を施す。レベル調整処理及び正規化処理については、実施の形態２と同様であるので、その説明は省略される。

（平滑化処理）
情報加工部８０１は、座標変換部４０１にて座標変換された、カメラ距離マップ情報に対して、平滑化処理を施す。情報加工部８０１は、視差軸方向のみに平滑化処理を施す。このとき、情報加工部８０１は、平滑化フィルタのフィルタ長λcを、車両部分領域では、車両が画像内に映り込むときの平均的な大きさに適合したフィルタ長に調整する一方、歩行者部分領域では、人物が画像内に映り込むときの平均的な大きさに適合したフィルタ長に調整する。すなわち、情報加工部８０２は、図１５に示すように、車両部分領域（同図では、領域（Ｂ））では、フィルタ長λcを長く調整する一方、歩行者部分領域（同図では、領域（Ａ））では、フィルタ長λcを短く調整する。

また、情報加工部８０１は、図１５に示すように、車両部分領域（同図では、領域（Ｂ））では、フィルタ重みを用いる一方、歩行者部分領域（同図では、領域（Ａ））では、フィルタ重みを用いない。具体的には、情報加工部８０１は、車両部分領域では、図１６に示すように、領域中央部で重みが最大となり且つ領域端に向けて重みが単調減少するように、フィルタ重みを調整する。

＜情報加工処理２＞
情報加工部８０２は、座標変換部４０２にて座標変換された、レーダ距離マップ情報に対して、平滑化処理、レベル調整処理、及び正規化処理を施す。レベル調整処理及び正規化処理については、実施の形態２と同様であるので、その説明は省略される。

（平滑化処理）
情報加工部８０２は、座標変換部４０２にて座標変換された、レーダ距離マップ情報に対して、平滑化処理を施す。情報加工部８０２は、Ｕ’軸方向のみに平滑化処理を施す。このとき、情報加工部８０２は、平滑化フィルタのフィルタ長λｒを、車両部分領域では、車両が画像内に映り込むときの平均的な大きさに適合したフィルタ長に調整する一方、歩行者部分領域では、人物が画像内に映り込むときの平均的な大きさに適合したフィルタ長に調整する。すなわち、情報加工部８０２は、図１５に示すように、車両部分領域（同図では、領域（Ｂ））では、フィルタ長λｒを長く調整する一方、歩行者部分領域（同図では、領域（Ａ））では、フィルタ長λｒを短く調整する。

また、情報加工部８０１は、図１５に示すように、歩行者部分領域（同図では、領域（Ａ））では、フィルタ重みを用いる一方、車両部分領域（同図では、領域（Ｂ））では、フィルタ重みを用いない。ここで用いられるフィルタ重みは、通常用いられる式によって増加される。

ここで、検出対象物体の種別によって、それによって得られる、反射強度特性と視差の特性との間に差が生じる。図１７は、検出対象物体が横を向いた車両、及び歩行者であるときに得られる、反射強度特性の説明に供する図である。図１７Ａには、横を向いた車両が映し出された画像が示され、図１７Ｂには、人物が映し出された画像が示されている。図１７Ｃは、図１７Ａ及び図１７Ｂに映し出された物体から得られる反射強度特性が示されている。図１７Ｃにおいて、ピークＰ１００１は、車両から得られる反射強度ピークであり、ピークＰ１００２は、人物から得られる反射強度ピークである。図１７Ｃから明らかなように、ピークＰ１００２は、ピークＰ１００１よりもかなり小さい。これは、人物の反射断面積は、表面の凹凸が大きい等の影響によって、車両に比べて小さいためである。

これに対して、カメラ距離マップ情報では、車両と人物との間に、反射強度特性の様な大きな差は生じない。しかしながら、図１８に示すように、車両の側面中央部では輝度変化が少ないので、その部分の画像からは視差が得られにくい特性がある（ピークＰ１００３参照）。

また、車両の出現頻度と人物の出現頻度とは、エリアによって偏りがある。すなわち、図１９に示すように、検出装置７００が交差点に設置される場合、交差点中央部では歩行者は殆ど検出されない。そして、歩行者は、横断歩道及び歩道上で主に検出される。従って、交差点付近のエリアは、図１９に示すように、車両領域（図１９では、領域（Ｂ））と歩行者領域（図１９では、領域（Ａ））とに分けることができる。

また、検出対象物体の種別と平滑化フィルタのフィルタ長とのマッチ度合いは、物体検出精度の優劣に影響を与える。

そこで、本実施の形態では、情報加工部８０１及び情報加工部８０２は、メモリ８０３に保持されている領域指定情報の示す物体種別別部分領域ごとに、平滑化フィルタのフィルタ長及びフィルタ重みを調整する。こうすることで、物体検出誤りの発生確率を低減することができる。特に、フィルタ長を調整することにより、複数の歩行者を単一の歩行者と検出してしまう検出誤り、又は、単一の車両を複数の車両と検出してしまう検出誤りの発生を低減することができる。また、図１６に示したようなフィルタ重みを用いて平滑化処理を行うことにより、単一の車両を複数の車両と検出してしまう検出誤りを低減することができる。

なお、領域指定情報は、表示装置（図示せず）に検出装置７００を設置した場所の地図を表示し、検出装置７００のオペレータが、表示装置に表示された地図上から歩行者領域と車両領域とを選択し、この選択結果に応じて生成されても良いし、又は、あらかじめ領域情報が付与された地図情報と検出装置７００が設置された場所情報をもとに、算出されても良い。

［他の実施の形態］
（１）上記各実施の形態において、ミリ波レーダは、路面と平行な方向のビーム幅が狭いアンテナを具備し、そのアンテナを機械的に路面と平行に回転させて反射電波を検出するが、さらに、路面と垂直な方向のビーム幅も狭くしたアンテナを具備させても良い。その場合、そのアンテナを前述の回転に加えて、機械的に路面と垂直の方向にも動かすことで、上記各実施の形態同様のレーダ距離マップ情報を取得することができ、本発明を適応することが可能である。または、ミリ波レーダと比較してビーム幅が狭いレーダに関しても同様であり、例えばレーザレーダは該当する。

（２）また、上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。

また、上記実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

本発明の測位情報形成装置、検出装置、及び測位情報形成方法は、物体検出精度を向上するものとして有用である。

１００，４００，８００ 測位情報形成装置
１０１，４０１，４０２ 座標変換部
１０２，４０３，４０４，８０１，８０２ 情報加工部
１０３，４０５ 合成部
２００，３００，７００ 検出装置
２０１ ステレオカメラ
２０２ ミリ波レーダ
２０３，２０４ 距離マップ情報算出部
２０５ 検出部
４１１，４２１ 平滑化処理部
４１２，４２２ レベル調整部
４１３，４２３ 正規化処理部
８０３ メモリ

Claims (8)

1. レーダによって検出された情報に基づく画像とステレオカメラによって撮影された画像とに基づいて物体を検出する検出装置において用いられる測位情報を形成する測位情報形成装置であって、
   前記レーダによって検出された情報に基づく画像の画像平面内の座標群と、各座標における、距離に関する情報とが対応付けられたレーダ距離マップ情報に対して、平滑化処理をする第１の加工処理手段と、
   前記ステレオカメラによって撮影された画像の画像平面内の座標群と、各座標における、距離に関する情報とが対応付けられたカメラ距離マップ情報と、前記平滑化処理されたレーダ距離マップ情報とを合成することにより、合成マップ情報を形成する合成手段と、
   前記第１の加工処理手段の入力段に設けられ、前記第１の加工処理手段へ入力されるレーダ距離マップ情報の座標系を、基準座標系へ変換する座標変換手段と、
   前記カメラ距離マップ情報の座標系を、前記基準座標系へ変換する第２の座標変換手段と、
   前記座標変換されたカメラ距離マップ情報に対して加工処理をし、前記合成手段へ出力する第２の加工処理手段と、
   を具備し、
   前記合成手段は、前記加工処理されたカメラ距離マップ情報と、前記加工処理されたレーダ距離マップ情報とを合成することにより、合成マップ情報を生成し、
   前記基準座標系は、自装置の仮想設置位置を路面上とした場合の画像平面座標系の内の一方の座標軸と、視差とによって規定される座標系であり、
   前記第１の加工処理手段は、レーダ距離マップ情報を、第１の平滑化フィルタによって平滑化する第１の平滑化処理手段を含み、
   前記第２の加工処理手段は、カメラ距離マップ情報を、第２の平滑化フィルタによって平滑化する第２の平滑化処理手段を含み、
   前記第１の平滑化処理手段は、前記第１の平滑化フィルタを前記一方の座標軸方向のみに適用する一方、前記第２の平滑化処理手段は、前記第２の平滑化フィルタを前記視差軸方向のみに適用する、
   測位情報形成装置。
2. 前記平滑化されたレーダ距離マップ情報に対して第１のレベルフィルタを掛け合わせることにより、前記平滑化されたレーダ距離マップ情報のレベルを調整する第１のレベル調整手段と、
   前記平滑化されたカメラ距離マップ情報を、第２のレベルフィルタを掛け合わせることにより、前記平滑化されたカメラ距離マップ情報のレベルを調整する第２のレベル調整手段と、
   をさらに具備し、
   前記第１のレベルフィルタ及び前記第２のレベルフィルタは、前記視差軸の値が大きくなるに従ってフィルタのレベル値が単調減少する形状を有し、
   前記第１のレベルフィルタのレベル値は、前記第２のレベルフィルタのレベル値よりも大きい、
   請求項１に記載の測位情報形成装置。
3. 前記第１の平滑化処理手段及び前記第２の平滑化処理手段は、
   前記一方の座標軸と前記視差とによって規定される領域の内、車両が主に検出される車両部分領域と、歩行者が主に検出される歩行者部分領域とを示す領域指定情報を入力とし、
   前記車両部分領域では、前記歩行者部分領域でよりもフィルタ長を長く調整する、
   請求項１に記載の測位情報形成装置。
4. 前記第２の平滑化処理手段は、前記車両部分領域では、領域中央部で重みが最大となり且つ領域端に向けて重みが単調減少するように、フィルタ重みを調整する、
   請求項３に記載の測位情報形成装置。
5. 前記基準座標系は、前記カメラ距離マップ情報の座標系である、
   請求項１に記載の測位情報形成装置。
6. 請求項１乃至５のいずれかの測位情報形成装置を具備する検出装置。
7. レーダによって検出された情報に基づく画像とステレオカメラによって撮影された画像とに基づいて物体を検出する検出装置において用いられる測位情報を形成する測位情報形成装置であって、
   前記レーダによって検出された情報に基づく画像の画像平面内の座標群と、各座標における、距離に関する情報とが対応付けられたレーダ距離マップ情報に対して、平滑化処理をする第１の加工処理手段と、
   前記ステレオカメラによって撮影された画像の画像平面内の座標群と、各座標における、距離に関する情報とが対応付けられたカメラ距離マップ情報と、前記平滑化処理されたレーダ距離マップ情報とを合成することにより、合成マップ情報を形成する合成手段と、
   前記第１の加工処理手段の出力段で且つ前記合成手段の入力段に設けられ、前記第１の加工処理手段へ入力されるレーダ距離マップ情報の座標系を、基準座標系へ変換する座標変換手段と、
   前記カメラ距離マップ情報の座標系を、前記基準座標系へ変換する第２の座標変換手段と、
   前記座標変換されたカメラ距離マップ情報に対して加工処理をし、前記合成手段へ出力する第２の加工処理手段と、
   を具備し、
   前記合成手段は、前記加工処理されたカメラ距離マップ情報と、前記加工処理されたレーダ距離マップ情報とを合成することにより、合成マップ情報を生成し、
   前記基準座標系は、自装置の仮想設置位置を路面上とした場合の画像平面座標系の内の一方の座標軸と、視差とによって規定される座標系であり、
   前記第１の加工処理手段は、レーダ距離マップ情報を、第１の平滑化フィルタによって平滑化する第１の平滑化処理手段を含み、
   前記第２の加工処理手段は、カメラ距離マップ情報を、第２の平滑化フィルタによって平滑化する第２の平滑化処理手段を含み、
   前記第１の平滑化処理手段は、前記第１の平滑化フィルタを前記一方の座標軸方向のみに適用する一方、前記第２の平滑化処理手段は、前記第２の平滑化フィルタを前記視差軸方向のみに適用する、
   測位情報形成装置。
8. レーダによって検出された情報に基づく画像とステレオカメラによって撮影された画像とに基づいて物体を検出する検出装置において用いられる測位情報を形成する測位情報形成方法であって、
   前記レーダによって検出された情報に基づく画像の画像平面内の座標群と、各座標における、距離に関する情報とが対応付けられたレーダ距離マップ情報の座標系を、自装置の仮想設置位置を路面上とした場合の画像平面座標系の内の一方の座標軸と、視差とによって規定される基準座標系へ変換し、
   前記座標変換されたレーダ距離マップ情報に対して、第１の平滑化フィルタを前記一方の座標軸方向のみに適用する平滑化処理をし、
   前記ステレオカメラによって撮影された画像の画像平面内の座標群と、各座標における、距離に関する情報とが対応付けられたカメラ距離マップ情報の座標系を、前記基準座標系へ変換する座標変換をし、
   前記座標変換されたカメラ距離マップ情報に対して、第２の平滑化フィルタを前記視差軸方向のみに適用する平滑化処理をし、
   前記平滑化処理されたカメラ距離マップ情報と、前記平滑化処理されたレーダ距離マップ情報とを合成することにより、合成マップ情報を形成する、
   測位情報形成方法。