JP6825569B2

JP6825569B2 - 信号処理装置、信号処理方法、およびプログラム

Info

Publication number: JP6825569B2
Application number: JP2017543132A
Authority: JP
Inventors: 琢人元山; 周藤　泰広; 泰広周藤; 寿夫山崎; 小柳津　秀紀; 秀紀小柳津; 研一川崎
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2015-09-30
Filing date: 2016-09-16
Publication date: 2021-02-03
Anticipated expiration: 2036-09-16
Also published as: US11719788B2; US20210124013A1; US20180267142A1; US10908257B2; WO2017057041A1; CN108139475A; JPWO2017057041A1; EP3358368A4; EP3358368A1

Description

本技術は、信号処理装置、信号処理方法、およびプログラムに関し、特に、高精度にキャリブレーションすることができるようにする信号処理装置、信号処理方法、およびプログラムに関する。

近年、自動車等の車両において、前方の車や歩行者を検知して自動でブレーキ制御等を行うことにより、衝突を回避する衝突回避システムの導入が進んでいる。

前方の車や歩行者などの物体の検知には、ステレオカメラで撮像された画像の画像認識や、ミリ波レーダやレーザレーダなどによるレーダ情報が用いられる。また、センサフュージョンと呼ばれる、ステレオカメラとレーダの両方を用いた物体検知システムの開発も進んでいる。

センサフュージョンでは、ステレオカメラで検出された物体と、レーダで検出された物体とのマッチングを取るため、ステレオカメラの座標系とレーダの座標系を校正する必要がある。例えば、特許文献１では、キャリブレーション専用のボード（反射板）を用いて、センサフュージョンのキャリブレーションを行う方法が提案されている。

特開２００７−２１８７３８号公報

しかしながら、特許文献１のような、キャリブレーション専用ボードを用いるキャリブレーション方法では、検出点がキャリブレーション専用ボードの配置に限定されるため、キャリブレーション精度に限界がある。

本技術は、このような状況に鑑みてなされたものであり、高精度にキャリブレーションすることができるようにするものである。

本技術の一側面の信号処理装置は、ステレオカメラにより撮像されたステレオ画像から動き検出を行い、動きが検出されたターゲットを抽出する第１ターゲット検出部と、横方向または縦方向の少なくとも一方の位置情報と、奥行き方向の位置情報とを取得できるセンサのセンサ信号から動き検出を行い、動きが検出されたターゲットを抽出する第２ターゲット検出部と、前記ステレオ画像から抽出されたターゲットの第１の座標系における３次元位置を算出する第１位置算出部と、前記センサ信号から抽出されたターゲットの第２の座標系における３次元位置を算出する第２位置算出部と、前記第１の座標系上の前記ターゲットと、前記第２の座標系上の前記ターゲットとの対応関係を検出する対応検出部と、検出された前記対応関係に基づいて、前記第１の座標系と前記第２の座標系の位置関係情報を推定する位置関係情報推定部とを備え、前記対応検出部は、前記第１の座標系上の前記ターゲットの３次元位置と前記第２の座標系上の前記ターゲットの３次元位置を重畳させ、最近傍に配置されたターゲットどうしを対応させ、前記対応関係を検出する。

本技術の一側面の信号処理方法は、ステレオカメラにより撮像されたステレオ画像から動き検出を行い、動きが検出されたターゲットを抽出し、第１の座標系におけるターゲットの３次元位置を算出し、横方向または縦方向の少なくとも一方の位置情報と、奥行き方向の位置情報とを取得できるセンサのセンサ信号から動き検出を行い、動きが検出されたターゲットを抽出し、第２の座標系における前記ターゲットの３次元位置を算出し、前記第１の座標系上の前記ターゲットの３次元位置と前記第２の座標系上の前記ターゲットの３次元位置を重畳させ、最近傍に配置されたターゲットどうしを対応させることで、前記第１の座標系上の前記ターゲットと、前記第２の座標系上の前記ターゲットとの対応関係を検出し、検出された前記対応関係に基づいて、前記第１の座標系と前記第２の座標系の位置関係情報を推定するステップを含む。

本技術の一側面のプログラムは、コンピュータに、ステレオカメラにより撮像されたステレオ画像から動き検出を行い、動きが検出されたターゲットを抽出し、第１の座標系におけるターゲットの３次元位置を算出し、横方向または縦方向の少なくとも一方の位置情報と、奥行き方向の位置情報とを取得できるセンサのセンサ信号から動き検出を行い、動きが検出されたターゲットを抽出し、第２の座標系における前記ターゲットの３次元位置を算出し、前記第１の座標系上の前記ターゲットの３次元位置と前記第２の座標系上の前記ターゲットの３次元位置を重畳させ、最近傍に配置されたターゲットどうしを対応させることで、前記第１の座標系上の前記ターゲットと、前記第２の座標系上の前記ターゲットとの対応関係を検出し、検出された前記対応関係に基づいて、前記第１の座標系と前記第２の座標系の位置関係情報を推定するステップを含む処理を実行させるためのものである。

本技術の一側面においては、ステレオカメラにより撮像されたステレオ画像から動き検出が行され、動きが検出されたターゲットが抽出されて、第１の座標系におけるターゲットの３次元位置が算出され、横方向または縦方向の少なくとも一方の位置情報と、奥行き方向の位置情報とを取得できるセンサのセンサ信号から動き検出が行われ、動きが検出されたターゲットが抽出されて、前記第１の座標系上の前記ターゲットの３次元位置と前記第２の座標系上の前記ターゲットの３次元位置を重畳させ、最近傍に配置されたターゲットどうしを対応させることで、第２の座標系における前記ターゲットの３次元位置が算出され、前記第１の座標系上の前記ターゲットと、前記第２の座標系上の前記ターゲットとの対応関係が検出され、検出された前記対応関係に基づいて、前記第１の座標系と前記第２の座標系の位置関係情報が推定される。

なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

信号処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本技術の一側面によれば、高精度にキャリブレーションすることができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した物体検出システムの構成例を示すブロック図である。出荷前キャリブレーション処理で用いられるターゲットの例を示す図である。出荷前キャリブレーション処理におけるターゲットの配置例を示す図である。出荷前キャリブレーション処理におけるターゲットの配置例を示す図である。ターゲット検出部と３次元位置算出部について説明する図である。ターゲット検出部、視差推定部、及び、３次元位置算出部について説明する図である。対応検出部について説明する図である。位置姿勢推定部について説明する図である。第１の対応検出処理について説明する図である。第１の対応検出処理について説明する図である。第１の対応検出処理について説明する図である。第１の対応検出処理について説明する図である。第２の対応検出処理について説明する図である。運用時キャリブレーション処理が実行されるターゲット検出部の詳細構成例を示すブロック図である。運用時キャリブレーション処理が実行されるターゲット検出部の詳細構成例を示すブロック図である。運用時キャリブレーション処理を具体的に説明する図である。運用時キャリブレーション処理を具体的に説明する図である。運用時キャリブレーション処理を具体的に説明する図である。運用時キャリブレーション処理を具体的に説明する図である。運用時キャリブレーション処理を具体的に説明する図である。運用時キャリブレーション処理を具体的に説明する図である。キャリブレーション処理を説明するフローチャートである。図２２の出荷時キャリブレーション処理を説明するフローチャートである。図２２の運用時キャリブレーション処理を説明するフローチャートである。ターゲットのその他の例を示す図である。ターゲットが球である場合の例を示す図である。ターゲットがポール状の物体である場合のターゲット位置の検出方法について説明する図である。本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．物体検出システムの構成例
２．対応検出処理の詳細説明
３．運用時キャリブレーション処理
４．キャリブレーション処理の処理フロー
５．出荷時キャリブレーション処理におけるターゲットの例
６．運用時キャリブレーション処理におけるターゲットの例
７．コンピュータ構成例

＜１．物体検出システムの構成例＞
図１は、本技術を適用した物体検出システムの構成例を示すブロック図である。

図１の物体検出システム１は、ミリ波レーダ１１、ステレオカメラ１２、及び、信号処理装置１３を有し、ミリ波レーダ１１とステレオカメラ１２のそれぞれを用いて、障害物となる物体を検出するシステムである。この物体検出システム１は、例えば、自動車やトラック等の車両に搭載される。

なお、本実施の形態では、ミリ波レーダ１１とステレオカメラ１２は、検出方向が車両の前方を向くように搭載され、車両の前方の物体を検出する場合について説明するが、物体の検出方向は、車両の前方に限られない。例えば、ミリ波レーダ１１とステレオカメラ１２が車両の後方を向くように搭載されている場合には、物体検出システム１は、車両の後方の物体を検出する。

ミリ波レーダ１１は、所定の方向θにミリ波を照射し、所定の物体に衝突して返ってきた反射波を取得して、取得した反射波に応じた反射信号を信号処理装置１３に供給する。ミリ波レーダ１１は、車両の前方の所定の角度範囲内でミリ波を走査し、その結果得られる反射信号を、照射した方向θとともに、信号処理装置１３に供給する。本実施の形態では、ミリ波レーダ１１における所定の角度範囲を１回走査する単位を１フレームと呼ぶ。

ステレオカメラ１２は、右カメラ２１Rと左カメラ２１Lで構成される。右カメラ２１Rと左カメラ２１Lは、同一の高さで、横方向に所定の間隔を空けて配置されており、車両前方の所定範囲の画像を撮像する。右カメラ２１Rが撮像した画像（以下、右カメラ画像ともいう。）と、左カメラ２１Lが撮像した画像（以下、左カメラ画像ともいう。）は、その配置位置の違いから、視差（横方向のずれ）を有する画像となっている。なお、右カメラ２１Rと左カメラ２１Lの位置関係は正確にキャリブレーションされている。以下において、右カメラ画像と左カメラ画像を特に区別しない場合、ステレオ画像とも称する。

信号処理装置１３は、ミリ波レーダ１１とステレオカメラ１２のそれぞれのセンサから出力されるセンサ信号を信号処理する。ミリ波レーダ１１とステレオカメラ１２がセンシングを行う際の時間的な同期は、ある程度取れているものとする。

信号処理装置１３は、ターゲット検出部３１、３次元位置算出部３２、ターゲット検出部３３、視差推定部３４、３次元位置算出部３５、対応検出部３６、位置姿勢推定部３７、及び、記憶部３８を有する。

物体検出システム１において、物体を正確に検出するためには、ミリ波レーダ１１とステレオカメラ１２のそれぞれで検出された物体の対応関係を特定する必要がある。すなわち、検出された物体は、ミリ波レーダ１１とステレオカメラ１２それぞれの異なる座標系で表されたものとなるが、同一の物体を検出した場合には、ミリ波レーダ１１とステレオカメラ１２で検出された物体の座標値が同一となるように所定の一つの座標系に変換する必要がある。

信号処理装置１３は、ミリ波レーダ１１の座標系とステレオカメラ１２の座標系の対応関係を算出する処理を行う。換言すれば、信号処理装置１３は、ミリ波レーダ１１とステレオカメラ１２の一方の位置に対する他方の位置（位置姿勢）の関係を算出する。

信号処理装置１３が行う、ミリ波レーダ１１とステレオカメラ１２の位置関係を算出するキャリブレーション処理には、車両が出荷される前に実行される出荷前キャリブレーション処理と、出荷後に生じたずれを調整するための運用時キャリブレーション処理とがある。出荷後のずれは、例えば、経時変化や、熱、振動等によって発生することが考えられる。

出荷前キャリブレーション処理では、ミリ波レーダ１１とステレオカメラ１２が検出する物体がターゲットとして予め用意される。出荷前キャリブレーション処理におけるターゲットは、例えば、ステレオカメラ１２で撮像されたステレオ画像において、一意に位置を特定可能なテクスチャ（模様）を有し、かつ、ミリ波を反射するポールなどとされる。

図２は、出荷前キャリブレーション処理で用いられるターゲットの例を示している。

図２に示されるターゲット５１は、ミリ波を反射する材質で形成された円筒形状のポールであり、円筒形状の外周には、格子模様のテクスチャが形成されている。ターゲット検出部３３がステレオ画像内のターゲット５１の位置を算出する場合、例えば、格子模様の交点５２の画素位置が、パターンマッチングや特徴抽出などによって算出される。

図３及び図４は、出荷前キャリブレーション処理におけるターゲット５１の配置例を示している。

図３は、出荷前キャリブレーション処理におけるターゲット５１を上面から見た、ターゲット５１の配置図である。

図３においては、車両の前方方向（奥行方向）となる紙面縦方向がZ軸、車両の横方向（水平方向）となる紙面横方向がX軸、紙面に対して垂直な方向がY軸である。

出荷前キャリブレーション処理では、複数のターゲット５１が、ステレオカメラ１２で撮像したときに重ならない位置となるように配置される。そして、複数のターゲット５１どうしは、図３に示されるように、X軸方向とZ軸方向のいずれか一方向については、他のターゲット５１の位置と同じ位置とならないように配置されることが望ましい。

図４は、出荷前キャリブレーション処理におけるターゲット５１を横方向から見た、ターゲット５１の配置図である。

図４においては、紙面横方向がZ軸、紙面縦方向がY軸、紙面に垂直な方向がX軸となる。

ミリ波レーダ１１が、ミリ波を地面から高さｈとなるXZ平面上を照射するように配置されているとすると、複数のターゲット５１は、図４に示されるように、ターゲット５１の交点５２が、ミリ波の高さｈとなるように配置される。換言すれば、ミリ波レーダ１１が照射するミリ波の高さｈに合わせて、ターゲット５１の格子模様の交点５２が形成されている。

なお、ステレオカメラ１２の配置も、格子模様の交点５２と同じ、地面から高さｈの位置が撮像中心となるようにミリ波レーダ１１の高さ位置に合わせてもよいが、必ずしもミリ波レーダ１１の高さ位置に合わせなくてもよい。

一方、運用時キャリブレーション処理では、ターゲットを所定の固定物体に特定することができないため、車両が通行する通路上に存在する物体がターゲットとされる。例えば、歩行者や、標識や電柱などのポールなどが、運用時キャリブレーション処理におけるターゲットとされる。

なお、ミリ波レーダ１１とステレオカメラ１２の位置関係を算出するためには、異なる位置の複数のターゲットの位置情報が必要である。複数のターゲットの位置情報は、ミリ波レーダ１１とステレオカメラ１２それぞれ１フレームで複数のターゲットを検出して取得してもよいし、１個のターゲットを捉えたフレームを複数フレーム用意して取得してもよい。

図５を参照しながら、ミリ波レーダ１１側のターゲット検出部３１と３次元位置算出部３２について説明する。

ターゲット検出部３１は、ミリ波レーダ１１から供給される反射信号と照射方向θに基づいて、車両前方のターゲットの位置を検出する。より具体的には、ターゲット検出部３１は、反射信号の強度と照射方向θとを対応付けた反射強度マップに基づいて、反射信号強度が所定の強度以上となっているピーク位置をターゲット検出位置として検出する。ターゲット検出位置は、反射信号の強度に基づく距離Ｌと、照射方向θとからなる極座標系で表される。検出されたターゲット検出位置は、３次元位置算出部３２に供給される。

図５において、ミリ波レーダ１１から拡がる黒色の三角形は、ミリ波の照射範囲を示しており、ターゲットが検出された位置が白色で示されている。反射信号の強度が大きいほど、白色で表現されている。

３次元位置算出部３２は、ターゲット検出部３１から供給される、極座標系で表されたターゲット検出位置を、車両の前方方向（奥行方向）をZ軸、横方向（水平方向）をX軸、縦方向（垂直方向）をY軸とする３次元座標系上のターゲット検出位置に変換する。

即ち、反射信号の強度に基づく距離Ｌと、照射方向θとからなる極座標系で表されたターゲット検出位置が、３次元位置算出部３２によって直交座標系に変換処理され、３次元座標系のXZ平面上のターゲット検出位置に変換される。

ここで、算出されるターゲット検出位置は、ミリ波レーダ１１を基準とする３次元座標系上の位置であり、このミリ波レーダ１１を基準とする３次元座標系を、後述するステレオカメラ１２を基準とする３次元座標系と区別するため、レーダ３次元座標系ともいう。

３次元位置算出部３２は、算出したレーダ３次元座標系で表されるターゲット検出位置を、対応検出部３６に供給する。

図６を参照しながら、ステレオカメラ１２側のターゲット検出部３３、視差推定部３４、及び、３次元位置算出部３５について説明する。

ターゲット検出部３３は、右カメラ２１Rと左カメラ２１Lから供給されるステレオ画像に対して、予め登録されたパターン（形状またはテクスチャ）を用いたパターンマッチング（画像認識処理）や、ターゲットの画像の特徴を検出する特徴検出処理を行うことにより、X軸とY軸とからなる２次元座標系上のターゲットの位置を検出する。

ターゲット検出部３３は、右カメラ２１Rから供給される右カメラ画像と、左カメラ２１Lから供給される左カメラ画像のうち、どちらか一方（本実施の形態では、左カメラ画像）を基準として、左カメラ画像におけるターゲット５１の交点５２の位置を画素単位の精度で検出し、３次元位置算出部３５に供給する。

視差推定部３４は、右カメラ２１Rから供給される右カメラ画像と、左カメラ２１Lから供給される左カメラ画像から、視差を算出し、算出結果を視差情報として３次元位置算出部３５に供給する。

図６には、左カメラ画像を基準として、右カメラ画像と左カメラ画像から算出される視差が大きいほど、高い輝度値で表した視差画像が示されている。図６の視差画像では、輝度値が高いほど、ターゲット５１までの距離が近いことを表す。

３次元位置算出部３５は、視差推定部３４から供給されるターゲットの視差情報から、車両の前方方向であるZ軸方向の位置（距離）を算出する。そして、３次元位置算出部３５は、算出したターゲットのZ軸方向の位置と、ターゲット検出部３３から供給された２次元座標系（XY平面）上のターゲットの位置から、車両の前方方向（奥行方向）をZ軸、横方向（水平方向）をX軸、縦方向（垂直方向）をY軸とする３次元座標系上のターゲット検出位置を算出する。ここで算出されるターゲット検出位置は、ステレオカメラ１２を基準とする３次元座標系上の位置であり、レーダ３次元座標系とは軸方向は同じであるが原点が異なる。このステレオカメラ１２を基準とする３次元座標系を、上述したレーダ３次元座標系と区別して、カメラ３次元座標系ともいう。また、レーダ３次元座標系とカメラ３次元座標系を特に区別する必要がない場合には、両者を総称して、センサ座標系ともいう。

３次元位置算出部３５は、算出したカメラ３次元座標系で表されるターゲット検出位置を、対応検出部３６に供給する。

対応検出部３６は、レーダ３次元座標系で検出されたターゲットと、カメラ３次元座標系で検出されたターゲットの対応関係を検出する。換言すれば、対応検出部３６は、レーダ３次元座標系で検出されたターゲットが、カメラ３次元座標系で検出されたどのターゲットと対応するかを検出する。

予め用意されたターゲットを用いる出荷前キャリブレーション処理では、ターゲットの配置が事前に分かっている。その場合、対応検出部３６は、ターゲットの事前配置情報を記憶部３８から取得して、レーダ３次元座標系で検出されたターゲット検出位置及びカメラ３次元座標系で検出されたターゲット検出位置それぞれを、取得したターゲット事前配置情報と照合し、ターゲットを特定した上で、レーダ３次元座標系で検出されたターゲットと、カメラ３次元座標系で検出されたターゲットとの対応関係を検出する。

具体的には、対応検出部３６は、例えば、図７に示されるように、レーダ３次元座標系で検出されたターゲット検出位置aが、ターゲット事前配置情報のターゲット位置１に対応し、ターゲット検出位置ｂがターゲット位置２に対応し、以下同様に、ターゲット検出位置ｃ乃至ｇがターゲット位置３乃至７にそれぞれ対応することを検出する。

また、対応検出部３６は、カメラ３次元座標系で検出されたターゲット検出位置Aが、ターゲット事前配置情報のターゲット位置１に対応し、ターゲット検出位置Bがターゲット位置２に対応し、以下同様に、ターゲット検出位置C乃至Gがターゲット位置３乃至７にそれぞれ対応することを検出する。

その結果、レーダ３次元座標系で検出されたターゲット検出位置ａのターゲットと、カメラ３次元座標系で検出されたターゲット検出位置Aのターゲットが対応することが、対応検出部３６によって検出される。同様に、レーダ３次元座標系で検出されたターゲット検出位置ｂ乃至ｇのターゲットと、カメラ３次元座標系で検出されたターゲット検出位置B乃至Gのターゲットが、それぞれ、対応することが検出される。

一方、ターゲットの配置情報が得られない運用時キャリブレーション処理では、対応検出部３６は、以前に実行された出荷前キャリブレーション処理若しくは運用時キャリブレーション処理によって既に得られている位置関係に基づいて、レーダ３次元座標系で検出されたターゲット検出位置と、カメラ３次元座標系で検出されたターゲット検出位置とを比較して、レーダ３次元座標系で検出されたターゲットと、カメラ３次元座標系で検出されたターゲットの対応関係を検出する。

位置姿勢推定部３７は、対応検出部３６で対応関係が特定された複数のターゲットを用いて、ミリ波レーダ１１とステレオカメラ１２の位置関係を算出する。

具体的には、図８に示されるように、対応検出部３６で対応関係が特定されたＫ個のターゲットのうちの、ｋ番目（０＜ｋ＜Ｋ＋１）のターゲットの位置が、レーダ３次元座標系では、Ｐ_MMW（ｋ）＝[Ｘ_MMW（ｋ）Ｙ_A Ｚ_MMW（ｋ）]^Tで表され、カメラ３次元座標系では、Ｐ_cam（ｋ）＝[Ｘ_cam（ｋ）Ｙ_cam（ｋ）Ｚ_cam（ｋ）]^Tで表される。ここで、Ｔは転置を表し、Ｙ_Aは、所定の固定値を表す。

位置姿勢推定部３７は、Ｋ個のターゲットそれぞれについて、レーダ３次元座標系上のターゲット位置Ｐ_MMW（ｋ）とカメラ３次元座標系上のターゲット位置Ｐ_cam（ｋ）との位置関係を表す式（１）に代入し、最小二乗法などを用いて最適化問題を解くことにより、式（１）の回転行列Ｒと並進ベクトルＶを算出する。
Ｐ_cam（ｋ）＝Ｒ・Ｐ_MMW（ｋ）＋Ｖ・・・・・・・（１）

式（１）において、ｋは、複数（Ｋ個）のターゲットのうちの所定の１つを識別する変数（０＜ｋ＜Ｋ＋１）であり、Ｐ_cam（ｋ）は、カメラ３次元座標系で検出されたｋ番目のターゲットのターゲット検出位置、Ｐ_MMW（ｋ）は、レーダ３次元座標系で検出されたｋ番目のターゲットのターゲット検出位置を表す。

式（１）は、レーダ３次元座標系で検出されたｋ番目のターゲットのターゲット検出位置Ｐ_MMW（ｋ）を、カメラ３次元座標系上のターゲット検出位置Ｐ_cam（ｋ）に変換する式に相当する。回転行列Ｒは、ステレオカメラ１２を基準にしたミリ波レーダ１１の姿勢を表し、並進ベクトルＶは、ステレオカメラ１２を基準にしたミリ波レーダ１１の位置を表す。

回転行列Ｒの変数は３個、並進ベクトルＶの変数は３個であるので、少なくとも６個のターゲット検出位置を取得することができれば、式（１）の回転行列Ｒと並進ベクトルＶは算出することができる。なお、回転行列Ｒは、最小二乗法を用いる他、四元数で表現して解くことも可能である。

記憶部３８は、位置姿勢推定部３７により算出された、ミリ波レーダ１１とステレオカメラ１２の位置関係情報（キャリブレーション情報）を記憶する。具体的には、式（１）の回転行列Ｒと並進ベクトルＶが、位置姿勢推定部３７から記憶部３８に供給され、記憶される。

物体検出システム１は以上のように構成されている。

＜２．対応検出処理の詳細説明＞
＜第１の対応検出処理＞
次に、対応検出部３６が行う、ターゲットの事前配置情報を用いた第１の対応検出処理についてさらに詳しく説明する。

図９に示されるように、ｋ番目のターゲットの位置が、ターゲットの事前配置情報では、所定の場所を原点とする世界座標系上のＰ_MAP（ｋ）＝[Ｘ_MAP（ｋ）Ｙ_MAP（ｋ）Ｚ_MAP（ｋ）]^Tで表され、ミリ波レーダ１１またはステレオカメラ１２のセンサ座標系では、Ｐ_Det（ｋ）＝[Ｘ_Det（ｋ）Ｙ_Det（ｋ）Ｚ_Det（ｋ）]^Tで表されるとする。

なお、センサ座標系がレーダ３次元座標系である場合には、上述したように、Ｙ_Det（ｋ）は固定値となる。また、ターゲットはＫ個であるが、ミリ波レーダ１１またはステレオカメラ１２のセンサ座標系では、外乱等の影響により、Ｋ個以上のターゲットが検出される場合がある。図９の例では、事前配置情報では５個のターゲットであるのに対して、センサ座標系では、ターゲット位置ｆが、例えば、ノイズによりターゲットとして検出されており、ターゲット検出位置a乃至ｆの６個のターゲットが検出されている。

このように、世界座標系上の５個のターゲット位置１乃至５と、センサ座標系上の６個のターゲット検出位置ａ乃至ｆとの対応関係の検出は、異なる座標系の３次元点が最も良く重なる対応関係を見つけるグラフマッチング問題とみなして解くことができる。

世界座標系上の５個のターゲット位置１乃至５と、センサ座標系上の６個のターゲット検出位置ａ乃至ｆとの対応可能な組み合わせは、図１０に示される場合だけ有り得る。

世界座標系上の５個のターゲット位置１乃至５と、センサ座標系上の６個のターゲット検出位置ａ乃至ｆとの対応関係（接続）をＭ行Ｎ列の行列変数Ｘで表すと、以下の式（２）で表すことができる。

式（２）において、Ｍは世界座標系上のターゲットの個数（図９の例ではＭ＝５）、Ｎは、センサ座標系上のターゲットの個数（図９の例ではＮ＝６）である。また、ｘの添え字ｉは、世界座標系上のターゲットを識別する変数（０＜ｉ＜Ｍ＋１）、ｘの添え字ｊは、センサ座標系上のターゲットを識別する変数（０＜ｊ＜Ｎ＋１）を表す。ｘ_i,jは、世界座標系上のｉ番目のターゲットと、センサ座標系上のｊ番目のターゲットの接続の有無を表し、接続されているとき“１”、接続されていないとき“０”をとる変数である。

例えば、図１１において太実線で示されるように、世界座標系上のターゲット位置１とセンサ座標系上のターゲット検出位置a、世界座標系上のターゲット位置２とセンサ座標系上のターゲット検出位置ｂ、世界座標系上のターゲット位置３とセンサ座標系上のターゲット検出位置ｃ、世界座標系上のターゲット位置４とセンサ座標系上のターゲット検出位置ｄ、及び、世界座標系上のターゲット位置５とセンサ座標系上のターゲット検出位置ｅが対応している場合には、対応関係を表す行列変数Ｘは、以下で表される。

そして、対応検出部３６は、式（２）で表される行列変数Ｘを用いたスコア関数score(Ｘ)を最大化するようなＸを求める。スコア関数score(Ｘ)は、次式（３）で表される。

式（３）において、ｉ１及びｉ２は、世界座標系上のターゲットを識別する変数であり、ｊ１及びｊ２は、センサ座標系上のターゲットを識別する変数である。ｌ_i1,i2は、世界座標系上のＰ_MAP（ｉ１）とＰ_MAP（ｉ２）とを結ぶ線分の長さ、ｈ_j1,j2は、センサ座標系上のＰ_Det（ｊ１）とＰ_Det（ｊ２）とを結ぶ線分の長さを表す。

Ｓ（ｌ_i1,i2，ｈ_j1,j2）は、線分の長さｌ_i1,i2と線分の長さｈ_j1,j2の類似度を表し、線分の長さｌ_i1,i2と線分の長さｈ_j1,j2が近い値であるほど大きな値となる。類似度Ｓ（ｌ_i1,i2，ｈ_j1,j2）は、例えば、線分の長さｌ_i1,i2と線分の長さｈ_j1,j2の差分ｄ（ｌ_i1,i2，ｈ_j1,j2）を用いた次式（４）を採用することができる。

以上のようにして算出されるスコア関数score(Ｘ)は、図１２に示されるように、例えば、世界座標系上のターゲット１と４の線分と、センサ座標系上のターゲットａとｄの線分が対応するならば、両者の線分の長さｌ_1,4とｌ_a,dは、ほぼ等しくなり、差分ｄ（ｌ_i1,i2，ｈ_j1,j2）＝ｄ（ｌ_1,4，ｈ_a,d）は小さくなる、という考えに基づくものである。

＜第２の対応検出処理＞
上述した第１の対応検出処理は、ターゲットの事前配置情報を用いた検出方法であるが、ターゲットの事前配置情報を用いずに、レーダ３次元座標系で検出されたターゲットと、カメラ３次元座標系で検出されたターゲットとの対応関係を検出することもできる。

例えば、対応検出部３６は、図１３に示されるように、レーダ３次元座標系上のターゲット位置Ｐ_MMW（ｋ）とカメラ３次元座標系上のターゲット位置Ｐ_cam（ｋ）の少なくとも一方を所定量スライドさせることで重畳させ、最近傍に配置されたターゲットどうしを対応させることができる。

＜３．運用時キャリブレーション処理＞
次に、運用時キャリブレーション処理について説明する。

図１４は、運用時キャリブレーション処理が実行される場合のミリ波レーダ１１側のターゲット検出部３１の詳細構成例を示すブロック図である。

ターゲット検出部３１は、動き検出部７１、ピーク検出部７２、及び、AND演算部７３により構成される。

動き検出部７１は、少なくとも１つ前のフレームの反射信号を保持する記憶部を備え、ミリ波レーダ１１から供給された現在のフレームの反射信号と、その１つ前に入力された前フレームの反射信号とを比較して、ピーク位置の動き検出を行う。動き検出部７１は、動きが検出されたピーク位置をAND演算部７３に供給する。

ピーク検出部７２は、ミリ波レーダ１１から供給された現在のフレームの反射信号から、反射信号強度が所定の強度以上となっているピーク位置を検出し、検出結果をAND演算部７３に供給する。

AND演算部７３は、動き検出部７１から供給されるピーク位置と、ピーク検出部７２から供給されるピーク位置のAND演算を行う。換言すれば、AND演算部７３は、ピーク検出部７２から供給されたピーク位置のうち、動き検出部７１から供給されたピーク位置、即ち、動きが検出されたピーク位置のみを抽出し、抽出した結果をターゲット検出位置として、３次元位置算出部３２に供給する。

図１５は、運用時キャリブレーション処理が実行される場合のステレオカメラ１２側のターゲット検出部３３の詳細構成例を示すブロック図である。

ターゲット検出部３３は、動き領域検出部８１、画像認識部８２、AND演算部８３、及び、中心位置算出部８４により構成される。

動き領域検出部８１は、少なくとも１つ前のフレームのステレオ画像を保持する記憶部を備え、ステレオカメラ１２から供給された現在のフレームのステレオ画像と、その１つ前に入力された前フレームのステレオ画像とを比較して、ステレオ画像の動き領域を検出する。ステレオ画像の動き領域の検出は、動きベクトル推定やフレーム差分等を用いて行うことができる。動き領域検出部８１は、検出された動き領域をAND演算部８３に供給する。

画像認識部８２は、ステレオカメラ１２から供給された現在のフレームのステレオ画像に対して画像認識を行うことにより、ターゲット領域を検出する。例えば、ターゲットとして歩行者（人）を検出する場合には、人型（シルエット）や顔を認識する画像認識処理により、ターゲット領域を検出することができる。画像認識部８２は、検出されたターゲット領域をAND演算部８３に供給する。

AND演算部８３は、動き領域検出部８１から供給される動き領域と、画像認識部８２から供給されるターゲット領域のAND演算を行う。換言すれば、AND演算部８３は、動き領域検出部８１から供給された動き領域のうち、画像認識部８２から供給されたターゲット領域、即ち、動きが検出されたターゲット領域のみを抽出し、抽出した結果を中心位置算出部８４に供給する。

中心位置算出部８４は、AND演算部８３から供給されるターゲット領域の中心となる画素位置を算出し、算出した画素位置をターゲット検出位置として、３次元位置算出部３２に供給する。

＜運用時キャリブレーション処理の具体例＞
図１６乃至図２１を参照しながら、運用時キャリブレーション処理について具体的に説明する。

例えば、物体検出システム１が搭載されている車両が停車しているとき、物体検出システム１が、図１６に示される前方の歩行者１０１をターゲットとして検出して、運用時キャリブレーション処理を実行する場合について説明する。

ミリ波レーダ１１とステレオカメラ１２の検出範囲には、歩行者１０１と、２つの固定物体１０２−１及び１０２−２が含まれる。歩行者１０１は、図中、右方向に移動している途中であり、固定物体１０２−１及び１０２−２は移動しない物体である。

ミリ波レーダ１１側のターゲット検出部３１では、ピーク検出部７２が、図１７に示されるように、ミリ波レーダ１１から供給された現在のフレームの反射信号から、ピーク位置１１１乃至１１３を検出し、検出結果をAND演算部７３に供給する。ピーク位置１１１は、図１６の歩行者１０１に対応し、ピーク位置１１２及び１１３は、固定物体１０２−１及び１０２−２に対応する。

一方、動き検出部７１では、現在のフレームの反射信号と、その１つ前に入力された前フレームの反射信号とが比較されて、ピーク位置１１１のみが、動きが検出されたピーク位置として、AND演算部７３に供給される。

AND演算部７３は、ピーク検出部７２から供給されたピーク位置１１１乃至１１３のうち、動き検出部７１から供給されたピーク位置１１１のみを、ターゲット検出位置として、３次元位置算出部３２に供給する。

一方、ステレオカメラ１２側のターゲット検出部３３では、画像認識部８２が、図１８に示されるように、現在のフレームのステレオ画像に対して、人型や顔を認識する画像認識処理を行うことにより、ターゲット領域１２１を検出する。ターゲット領域１２１は、図１６の歩行者１０１に対応する。

動き領域検出部８１は、ステレオカメラ１２から供給された現在のフレームのステレオ画像と、その１つ前に入力された前フレームのステレオ画像とを比較して、ステレオ画像の動き領域１２２を検出する。ここで検出される動き領域１２２も、図１６の歩行者１０１に対応する。

なお、ターゲット検出部３３が画像認識処理を行うステレオ画像と、動き領域検出部８１が動き領域を検出するステレオ画像には、視差画像と同じ左カメラ画像が用いられる。

AND演算部８３は、動き領域検出部８１から供給された動き領域１２２と、画像認識部８２から供給されたターゲット領域１２１のAND演算を行い、その結果として、ターゲット領域１２１を中心位置算出部８４に供給する。

中心位置算出部８４は、AND演算部８３から供給されたターゲット領域１２１の中心画素位置１２３を算出し、算出した中心画素位置１２３をターゲット検出位置として、３次元位置算出部３２に供給する。

次に、図１９に示されるように、ステレオカメラ１２側の３次元位置算出部３５は、視差推定部３４から供給される左カメラ画像基準の視差情報と、ターゲット検出部３３の中心位置算出部８４から供給されたターゲット検出位置１２３から、車両の前方方向をZ軸、横方向をX軸、縦方向をY軸とするカメラ３次元座標系上のターゲット検出位置１３１を算出し、対応検出部３６に供給する。

一方、ミリ波レーダ１１側の３次元位置算出部３２は、ターゲット検出部３１から供給された、極座標系で表されたターゲット検出位置１１１を、車両の前方方向をZ軸、横方向をX軸、縦方向をY軸とするレーダ３次元座標系上のターゲット検出位置１３２に変換し、対応検出部３６に供給する。

対応検出部３６は、出荷前キャリブレーション処理で算出されて、記憶部３８に記憶されている、ミリ波レーダ１１とステレオカメラ１２の位置関係情報、具体的には、式（１）の回転行列Ｒと並進ベクトルＶを取得する。

そして、対応検出部３６は、現時点でのミリ波レーダ１１とステレオカメラ１２の位置関係情報を用いて、図１９に示されるように、３次元位置算出部３２から供給されたレーダ３次元座標系上のターゲット検出位置１３２を、カメラ３次元座標系上の位置に位置補正したターゲット検出位置１３３を算出する。

次に、対応検出部３６は、ステレオカメラ１２側の３次元位置算出部３５から供給されたカメラ３次元座標系上のターゲット検出位置１３１と、カメラ３次元座標系上に位置補正したミリ波レーダ１１側のターゲット検出位置１３３とを比較し、ステレオカメラ１２側で検出されたターゲットと、ミリ波レーダ１１側で検出されたターゲットの対応関係を検出する。

対応検出部３６は、座標位置が最も近いターゲットどうしを、対応するターゲットであると認識する。図１９の例では、検出されたターゲットの個数が１個であるが、複数のターゲットが検出された場合でも、出荷前キャリブレーション処理で算出された位置関係情報を用いて位置補正された検出位置を比較しているので、対応関係を容易に検出することができる。

図１７乃至図１９を参照して説明した処理が、例えば、時刻ｔにおける処理であるとすると、信号処理装置１３は、その処理を、図２０に示されるように、複数フレーム（Ｎフレーム）で実行する。これにより、各フレームにおいて検出される対応点が１点である場合、Ｎフレームで、検出位置の異なるＮ点の対応点が検出され、記憶部３８に蓄積される。

上述したように、式（１）の回転行列Ｒと並進ベクトルＶを算出するためには、少なくとも６個のターゲット検出位置が必要となる。この６個のターゲット検出位置を、各フレーム１点の合計６フレームで求めてもよいし、例えば、各フレーム２点の合計３フレームで求めてもよい。なお、キャリブレーション精度を向上させるためには、式（１）を解くための対応点の個数は多い方が望ましいので、フレーム数Ｎは６以上で、かつ、大きい値が望ましい。

また、運用時キャリブレーション処理において、図２０に示した、式（１）を解くためのＮフレームの時刻ｔ乃至ｔ＋Ｎは、必ずしも時間的に連続しなくてもよい。例えば、所定の条件を満たした１日の１０フレームで検出された対応点と、所定の条件を満たした別の日の２０フレームで検出された対応点とを用いて、上述した運用時キャリブレーション処理を実行することも可能である。

また、信号処理装置１３は、キャリブレーション精度を向上させるため、運用時キャリブレーション処理に用いるフレームを選択することができる。

具体的には、信号処理装置１３は、検出されたターゲット検出位置から、予め決定した所定の範囲（距離）内に、他のターゲット検出位置が存在しないフレームを、運用時キャリブレーション処理に用いるフレームとして選択して、記憶部３８に蓄積する。

例えば、図２１のAのフレームでは、ターゲット検出位置１４１と１４２が検出されているが、ターゲット検出位置１４１から所定の範囲１４３の外に、他のターゲット検出位置１４２が存在している。このような場合、図２１のAのフレームは、運用時キャリブレーション処理に用いるフレームとして選択される。

一方、図２１のBのフレームでは、ターゲット検出位置１４１から所定の範囲１４３の中に、他のターゲット検出位置１４２が存在する。この場合、図２１のBのフレームは、運用時キャリブレーション処理に用いるフレームから除外される。

また、信号処理装置１３は、図２１のCのフレームのように、１フレーム内に、所定個数以上のターゲットが検出された場合にも、そのフレームを、運用時キャリブレーション処理に用いるフレームから除外する。

このように、運用時キャリブレーション処理においては、出荷前キャリブレーション処理と異なり、予め用意したターゲットを用いないため、より高い精度が得られるような対応点が検出されたフレーム（ターゲット）を選択して、ミリ波レーダ１１とステレオカメラ１２の位置関係情報が再計算される。なお、フレームの選択は、ターゲット検出部３１または３３が行ってもよいし、対応検出部３６が行ってもよい。

＜４．キャリブレーション処理の処理フロー＞
次に、図２２のフローチャートを参照して、信号処理装置１３により実行されるキャリブレーション処理について説明する。

初めに、ステップＳ１において、信号処理装置１３は、出荷時キャリブレーション処理を実行する。この処理の詳細は、図２３のフローチャートを参照して後述するが、この処理により、ミリ波レーダ１１とステレオカメラ１２の位置関係情報である、式（１）の回転行列Ｒと並進ベクトルＶが算出され、記憶部３８に記憶される。

ステップＳ１の出荷時キャリブレーション処理は、例えば、物体検出システム１が搭載された車両を製造している工場や、ディーラー等の販売店において、ユーザ（操作者）がキャリブレーションの開始を操作パネル等で指示した場合に実行される。あるいはまた、車両がキャリブレーション環境の整った場所に停車した（ことが検出された）場合などに自動で実行してもよい。出荷時キャリブレーション処理が終了後、車両が出荷され、所有者（ドライバ）に引き渡される。

ステップＳ２において、信号処理装置１３は、運用時キャリブレーション処理を開始するかを判定する。信号処理装置１３は、例えば、前回の出荷時キャリブレーション処理または運用時キャリブレーション処理から一定以上の期間が経過した場合、図２０で説明したように所定数以上の対応点が記憶部３８に蓄積された場合、ミリ波レーダ１１とステレオカメラ１２の位置補正後の対応点のずれ量が常に（所定回数以上）所定値以上になった場合など、所定の開始条件を満たした場合に、運用時キャリブレーション処理を開始すると判定する。

また、車両が路面と水平となっていない場合（傾いている場合）、車両が高速移動中である場合、一度に検出されたターゲットの個数が所定値以上である場合、悪天候や逆行、暗闇など、ステレオカメラ１２で撮像されるステレオ画像の信頼度が低い環境条件である場合、ミリ波レーダ１１のミリ波が多重反射を起こしやすい場所（例えば、トンネルなど）に車両があり、ミリ波レーダ１１の信頼度が低い環境条件である場合などでは、信号処理装置１３は、運用時キャリブレーション処理を開始しないと判定する。車両が多重反射を起こしやすい場所にいるか否かは、例えば、GPS受信信号に基づいて判断することができる。

ステップＳ２で、運用時キャリブレーション処理を開始しないと判定された場合、処理はステップＳ２に戻り、次に運用時キャリブレーション処理を開始すると判定されるまで、ステップＳ２の処理が繰り返される。

一方、ステップＳ２で、運用時キャリブレーション処理を開始すると判定された場合、処理はステップＳ３に進み、信号処理装置１３は、運用時キャリブレーション処理を実行する。この処理の詳細は、図２４のフローチャートを参照して後述するが、この処理により、ミリ波レーダ１１とステレオカメラ１２の位置関係情報である、式（１）の回転行列Ｒと並進ベクトルＶが再度算出され、記憶部３８に上書き（更新）される。

図２３は、上述したステップＳ１における出荷時キャリブレーション処理の詳細を説明するフローチャートである。

ステップＳ２１において、ミリ波レーダ１１側のターゲット検出部３１は、ミリ波レーダ１１から供給された反射信号と照射方向θに基づいて、車両前方のターゲットの位置を検出する。ターゲット検出部３１により検出されたターゲット検出位置は、反射信号の強度に基づく距離Ｌと、照射方向θとからなる極座標系で表され、３次元位置算出部３２に供給される。

ステップＳ２２において、ミリ波レーダ１１側の３次元位置算出部３２は、ターゲット検出部３１から供給された、極座標系で表されたターゲット検出位置を、レーダ３次元座標系上のターゲット検出位置に変換する。

ステップＳ２３において、ステレオカメラ１２側のターゲット検出部３３は、ステレオ画像に対してパターンマッチングや特徴検出処理等の画像処理を行うことにより、２次元座標系上のターゲットの位置を検出する。

ステップＳ２４において、視差推定部３４は、右カメラ２１Rから供給された右カメラ画像と、左カメラ２１Lから供給された左カメラ画像から、視差を算出し、視差情報として３次元位置算出部３５に供給する。

ステップＳ２５において、３次元位置算出部３５は、視差推定部３４から供給された視差情報と、ターゲット検出部３３から供給された２次元座標系上のターゲット検出位置から、カメラ３次元座標系上のターゲット検出位置を算出する。

なお、ステップＳ２１乃至Ｓ２５の処理は、上述したように順番に実行する他、ステップＳ２１及びＳ２２の処理とステップＳ２３乃至Ｓ２５の処理を並行して実行することができる。

ステップＳ２６において、対応検出部３６は、上述した第１の対応検出処理を実行することにより、レーダ３次元座標系で検出されたターゲットと、カメラ３次元座標系で検出されたターゲットの対応関係を検出する。具体的には、対応検出部３６は、レーダ３次元座標系で検出されたターゲット検出位置を、ターゲット事前配置情報と照合し、ターゲットを識別する。また、対応検出部３６は、カメラ３次元座標系で検出されたターゲット検出位置を、ターゲット事前配置情報と照合し、ターゲットを識別する。そして、対応検出部３６は、ターゲット事前配置情報との照合結果に基づいて、レーダ３次元座標系で検出されたターゲットが、カメラ３次元座標系で検出されたどのターゲットと対応するかを検出する。

なお、ステップＳ２６では、第１の対応検出処理に代えて、上述した第２の対応検出処理を実行してもよい。

ステップＳ２７において、位置姿勢推定部３７は、対応検出部３６で対応関係が特定された複数のターゲットのターゲット検出位置を式（１）に代入し、最小二乗法などを用いて解くことにより、ミリ波レーダ１１とステレオカメラ１２の位置関係を算出する。これにより、式（１）の回転行列Ｒと並進ベクトルＶが算出される。

ステップＳ２８において、位置姿勢推定部３７は、算出した回転行列Ｒと並進ベクトルＶを記憶部３８に記憶させる。

以上で、ステップＳ１における出荷時キャリブレーション処理が終了する。

次に、図２４のフローチャートを参照して、上述したステップＳ３における運用時キャリブレーション処理の詳細について説明する。

ステップＳ４１において、ミリ波レーダ１１側のターゲット検出部３１は、ミリ波レーダ１１から供給された反射信号と照射方向θに基づいて、動きが検出されたターゲットの位置を検出する。

より詳しくは、動き検出部７１が、現在のフレームの反射信号と、その１つ前に入力された前フレームの反射信号とを比較して、ピーク位置の動き検出を行う。また、ピーク検出部７２は、現在のフレームの反射信号からピーク位置を検出し、AND演算部７３に供給する。そして、AND演算部７３が、ピーク検出部７２から供給されたピーク位置のうち、動き検出部７１から供給されたピーク位置のみを抽出し、抽出した結果を、動きが検出されたターゲット検出位置として、３次元位置算出部３２に供給する。

ステップＳ４２において、ミリ波レーダ１１側の３次元位置算出部３２は、ターゲット検出部３１から供給された、極座標系で表されたターゲット検出位置を、レーダ３次元座標系上のターゲット検出位置に変換する。

ステップＳ４３において、ステレオカメラ１２側のターゲット検出部３３は、ステレオ画像に対してパターンマッチングや特徴検出処理等の画像処理を行うことにより、動きが検出されたターゲットの位置を検出する。

より詳しくは、動き領域検出部８１が、現在のステレオ画像と、その１つ前に入力された前フレームのステレオ画像とを比較して、ステレオ画像の動き領域を検出する。画像認識部８２は、ステレオカメラ１２から供給された現在のステレオ画像に対して画像認識を行うことにより、ターゲット領域を検出する。AND演算部８３は、動き領域検出部８１から供給された動き領域のうち、画像認識部８２から供給されたターゲット領域を抽出し、抽出した結果を中心位置算出部８４に供給する。中心位置算出部８４は、AND演算部８３から供給されたターゲット領域の中心画素位置を算出し、算出した中心画素位置を、動きが検出されたターゲット検出位置として、３次元位置算出部３２に供給する。

ステップＳ４４において、視差推定部３４は、右カメラ２１Rから供給された右カメラ画像と、左カメラ２１Lから供給された左カメラ画像から、視差を算出し、視差情報として３次元位置算出部３５に供給する。

ステップＳ４５において、ステレオカメラ１２側の３次元位置算出部３５は、視差推定部３４から供給された視差情報と、ターゲット検出部３３から供給された２次元座標系上のターゲット検出位置から、カメラ３次元座標系上のターゲット検出位置を算出する。

ステップＳ４６において、対応検出部３６は、記憶部３８に記憶されているミリ波レーダ１１とステレオカメラ１２の位置関係情報、具体的には、式（１）の回転行列Ｒと並進ベクトルＶを取得する。ここで、記憶部３８から取得される位置関係情報は、１回目の運用時キャリブレーション処理においては、出荷前キャリブレーション処理で算出されたデータとなるが、２回目以降の運用時キャリブレーション処理においては、１回前の運用時キャリブレーション処理で更新されたデータとなる。

ステップＳ４７において、対応検出部３６は、取得した位置関係情報を用いて、３次元位置算出部３２から供給されたレーダ３次元座標系上のターゲット検出位置１３２を、カメラ３次元座標系上の位置に位置補正したターゲット検出位置を算出する。

ステップＳ４８において、対応検出部３６は、ステレオカメラ１２側の３次元位置算出部３５から供給されたカメラ３次元座標系上のターゲット検出位置と、カメラ３次元座標系上に位置補正したミリ波レーダ１１側のターゲット検出位置とを比較し、ステレオカメラ１２側で検出されたターゲットと、ミリ波レーダ１１側で検出されたターゲットの対応関係を検出する。

ステップＳ４９において、位置姿勢推定部３７は、ステップＳ４８の処理で対応関係が特定された複数のターゲットのターゲット検出位置を式（１）に代入して解くことにより、ミリ波レーダ１１とステレオカメラ１２の位置関係を算出する。

ステップＳ５０において、位置姿勢推定部３７は、記憶部３８に記憶されている現在の位置関係情報と、ステップＳ４９で新たに算出された位置関係情報とを比較して、新しい位置関係情報が、現在の位置関係情報の所定の範囲内であるかを判定する。

ステップＳ５０で、新しい位置関係情報が現在の位置関係情報の所定の範囲内であると判定された場合、処理はステップＳ５１に進み、位置姿勢推定部３７は、記憶部３８に記憶されている現在の位置関係情報に、新しい位置関係情報を上書き記憶させて、運用時キャリブレーション処理を終了する。

一方、ステップＳ５０で、新しい位置関係情報が現在の位置関係情報の所定の範囲内ではないと判定された場合、ステップＳ５１の処理はスキップされ、運用時キャリブレーション処理が終了する。

ステップＳ５０の処理によれば、新たに算出された位置関係情報が、これまでの位置関係情報と比較して大きく異なる値である場合には、位置姿勢推定部３７は、算出された位置関係情報が何らかの誤差要因を含んだ信頼性の低い値であるとして更新しない。なお、ステップＳ５０の処理を省略して、記憶部３８に記憶されている情報を、新たに算出された位置関係情報で常に更新するようにしてもよい。

出荷時キャリブレーション処理及び運用時キャリブレーション処理は以上のようにして実行される。

なお、上述した出荷時キャリブレーション処理及び運用時キャリブレーション処理では、ミリ波レーダ１１とステレオカメラ１２の位置関係を示すキャリブレーションデータを算出する処理を１回だけ行う例であるが、複数回行って、その平均値を最終的なキャリブレーションデータとして記憶部３８に記憶させてもよい。また、複数回算出したキャリブレーションデータを用いる場合には、複数回のキャリブレーションデータのうち、他のキャリブレーションデータから大きく外れるデータを除外した上で、最終的なキャリブレーションデータを算出することができる。

＜５．出荷時キャリブレーション処理におけるターゲットの例＞
図２５は、出荷時キャリブレーション処理において用いることができるターゲットのその他の例を示している。

出荷時キャリブレーション処理においては、例えば、図２５に示されるように、ミリ波を反射する球１６１や、コーナーリフレクタ１６２を、ターゲットとして用いることができる。

ステレオ画像に基づいてターゲットの位置を検出するターゲット検出部３３は、キャリブレーション精度を上げるため、ターゲットの位置を画素レベルで検出することが望ましい。図２に示したターゲット５１の例では、テクスチャの交点５２を算出したが、ターゲットが球１６１である場合には、パターンマッチングや円形状の形状認識等によりステレオ画像内の球１６１を円として検出し、検出された球１６１の中心位置をターゲット検出位置として出力することができる。

また、ターゲットがコーナーリフレクタ１６２である場合には、予め登録しておいたコーナーリフレクタ１６２の登録パターンでパターンマッチングすることによりステレオ画像内のコーナーリフレクタ１６２を検出し、検出されたコーナーリフレクタ１６２の登録パターンの中心位置をターゲット検出位置として出力することができる。

図２６は、ターゲットが球１６１である場合の、ミリ波レーダ１１の反射信号と、ステレオカメラ１２によるステレオ画像から算出された視差画像の例を示している。

＜６．運用時キャリブレーション処理におけるターゲットの例＞
次に、運用時キャリブレーション処理において用いることができるターゲットのその他の例について説明する。

運用時キャリブレーション処理においては、ターゲットとして、上述した歩行者（人間）の他、交通環境に存在する一般的な物体、例えば、他車の一部（例えば、ナンバープレート）、自車の一部、看板、標識、信号機、電柱などを用いることができる。

図２７を参照して、ターゲットが、電柱等のポール状の物体である場合の、ターゲット位置の検出方法について説明する。

初めに、ターゲット検出部３３は、ステレオ画像から垂直な平行線を検出し、検出された平行線で囲まれた領域をポール領域として算出する。図２７の例では、ステレオ画像内に１個のポール領域が検出されているが、複数のポール領域が検出される場合もある。

そして、ターゲット検出部３３は、視差推定部３４で算出されたステレオ画像の視差情報に基づいて、検出されたポール領域に対して、水平方向と垂直方向のそれぞれでポール判定を行う。

具体的には、ターゲット検出部３３は、図２７に示されるように、ポール領域において、水平方向で見たときの視差が上に凸の曲線を描くように推移している場合に、そのポール領域について、水平方向のポール判定結果を真と判定し、そうでない場合を偽と判定する。

また、ターゲット検出部３３は、垂直方向で見たときの視差の変化が少ない（所定値以下である）場合に、そのポール領域について、垂直方向のポール判定結果を真と判定し、そうでない場合を偽と判定する。

最後に、ターゲット検出部３３は、水平方向のポール判定結果と、垂直方向のポール判定結果をAND演算する。即ち、ターゲット検出部３３は、水平方向のポール判定結果と、垂直方向のポール判定結果のどちらの判定結果も真である場合に、そのポール領域の位置を、ターゲット検出位置として出力する。

以上のように、ターゲットが、電柱等のポール状の物体である場合には、ターゲット検出部３３は、視差推定部３４で算出される視差情報も用いて、ターゲットを検出し、ターゲット検出位置を出力することができる。

以上説明した物体検出システム１によれば、ミリ波レーダ１１とステレオカメラ１２の位置関係情報を、ステレオ画像の画素単位の精度で検出してキャリブレーションすることができ、高精度なキャリブレーションが実現できる。

また、標識、電柱等のポール状物体や歩行者など、交通環境に存在する一般的な物体を用いて、運用時キャリブレーションを実行するので、経年変化、振動、熱等の要因により、ミリ波レーダ１１とステレオカメラ１２の位置関係に変化が生じた場合であっても、任意のタイミングで（自動で）補正することができる。

上述した例では、物体検出システム１が車両に搭載される例について説明したが、本技術は、車両の他、例えば、ロボット等のその他の陸上を移動する移動物体に搭載することも可能である。

また、上述した例では、第１の座標系におけるターゲットの３次元位置を算出する第１のセンサとしてミリ波レーダ１１を採用し、第２の座標系におけるターゲットの３次元位置を算出する第２のセンサとして、ステレオカメラ１２を採用した。第１のセンサとしては、ミリ波レーダ１１の他、超音波を用いたレーダ、赤外線等のレーザレーダ、ライダーなど、その他のレーダ方式のセンサを用いてもよい。換言すれば、第１のセンサは、横方向（水平方向）または縦方向（垂直方向）の少なくとも一方の位置情報と、奥行き方向の位置情報とを取得できるセンサであればよい。

＜７．コンピュータ構成例＞
上述したキャリブレーション処理を含む一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体２１１を駆動する。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータでは、プログラムは、リムーバブル記録媒体２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。

本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
ステレオカメラにより撮像されたステレオ画像から、第１の座標系におけるターゲットの３次元位置を算出する第１位置算出部と、
横方向または縦方向の少なくとも一方の位置情報と、奥行き方向の位置情報とを取得できるセンサのセンサ信号から、第２の座標系における前記ターゲットの３次元位置を算出する第２位置算出部と、
前記第１の座標系上の前記ターゲットと、前記第２の座標系上の前記ターゲットとの対応関係を検出する対応検出部と、
検出された前記対応関係に基づいて、前記第１の座標系と前記第２の座標系の位置関係情報を推定する位置関係情報推定部と
を備える信号処理装置。
（２）
前記対応検出部は、前記第１の座標系上の前記ターゲットと前記第２の座標系上の前記ターゲットのそれぞれを前記ターゲットの事前配置情報と照合し、前記ターゲットを特定した上で、前記対応関係を検出する
前記（１）に記載の信号処理装置。
（３）
前記対応検出部は、前記第１の座標系上の前記ターゲットの３次元位置と前記第２の座標系上の前記ターゲットの３次元位置を重畳させ、最近傍に配置されたターゲットどうしを対応させ、前記対応関係を検出する
前記（１）または（２）に記載の信号処理装置。
（４）
前記第１位置算出部は、動きが検出された前記ターゲットの３次元位置を算出し、
前記第２位置算出部は、動きが検出された前記ターゲットの３次元位置を算出する
前記（１）乃至（３）のいずれかに記載の信号処理装置。
（５）
前記第１位置算出部は、１フレーム以上のステレオ画像から複数の前記ターゲットの３次元位置を算出し、
前記第２位置算出部は、１フレーム以上のセンサ信号から複数の前記ターゲットの３次元位置を算出し、
前記対応検出部は、複数の前記ターゲットについて対応関係を検出する
前記（１）乃至（４）のいずれかに記載の信号処理装置。
（６）
前記第１位置算出部は、１フレームのステレオ画像から複数の前記ターゲットの３次元位置を算出し、
前記第２位置算出部は、１フレームのセンサ信号から複数の前記ターゲットの３次元位置を算出する
前記（５）に記載の信号処理装置。
（７）
前記第１位置算出部及び前記第２位置算出部により算出された前記ターゲットの３次元位置を記憶する記憶部をさらに備え、
前記対応検出部は、所定数以上の前記ターゲットの３次元位置が前記記憶部に蓄積された場合に、前記対応関係の検出を開始する
前記（１）乃至（６）のいずれかに記載の信号処理装置。
（８）
前記ターゲットは、前記奥行き方向の位置が異なる位置に複数配置される
前記（１）乃至（７）のいずれかに記載の信号処理装置。
（９）
前記ターゲットは、前記横方向の位置が異なる位置に複数配置される
前記（１）乃至（８）のいずれかに記載の信号処理装置。
（１０）
前記ターゲットは、同じ高さ位置に複数配置される
前記（１）乃至（９）のいずれかに記載の信号処理装置。
（１１）
前記ターゲットは、前記ステレオカメラから見て、重ならない位置に複数配置される
前記（１）乃至（１０）のいずれかに記載の信号処理装置。
（１２）
前記ターゲットは、人である
前記（１）乃至（１０）のいずれかに記載の信号処理装置。
（１３）
前記ターゲットは、所定のテクスチャを有する物体である
前記（１）乃至（１０）のいずれかに記載の信号処理装置。
（１４）
前記ターゲットは、ポール状の物体である
前記（１）乃至（１０）のいずれかに記載の信号処理装置。
（１５）
前記第１の座標系と前記第２の座標系の位置関係情報は、回転行列と並進ベクトルである
前記（１）乃至（１４）のいずれかに記載の信号処理装置。
（１６）
前記センサは、ミリ波レーダである
前記（１）乃至（１５）のいずれかに記載の信号処理装置。
（１７）
ステレオカメラにより撮像されたステレオ画像から、第１の座標系におけるターゲットの３次元位置を算出し、
横方向または縦方向の少なくとも一方の位置情報と、奥行き方向の位置情報とを取得できるセンサのセンサ信号から、第２の座標系における前記ターゲットの３次元位置を算出し、
前記第１の座標系上の前記ターゲットと、前記第２の座標系上の前記ターゲットとの対応関係を検出し、
検出された前記対応関係に基づいて、前記第１の座標系と前記第２の座標系の位置関係情報を推定する
ステップを含む信号処理方法。
（１８）
コンピュータに、
ステレオカメラにより撮像されたステレオ画像から、第１の座標系におけるターゲットの３次元位置を算出し、
横方向または縦方向の少なくとも一方の位置情報と、奥行き方向の位置情報とを取得できるセンサのセンサ信号から、第２の座標系における前記ターゲットの３次元位置を算出し、
前記第１の座標系上の前記ターゲットと、前記第２の座標系上の前記ターゲットとの対応関係を検出し、
検出された前記対応関係に基づいて、前記第１の座標系と前記第２の座標系の位置関係情報を推定する
ステップを含む処理を実行させるためのプログラム。

１物体検出システム，１１ミリ波レーダ，１２ステレオカメラ，１３信号処理装置，２１L 左カメラ，２１R 右カメラ，３１ターゲット検出部，３２３次元位置算出部，３３ターゲット検出部，３４視差推定部，３５３次元位置算出部，３６対応検出部，３７位置姿勢推定部，３８記憶部，５１ターゲット，７１動き検出部，７２ピーク検出部，７３ AND演算部，８１動き領域検出部，８２画像認識部，８３ AND演算部，８４中心位置算出部，２０１ CPU，２０２ ROM，２０３ RAM，２０６入力部，２０７出力部，２０８記憶部，２０９通信部，２１０ドライブ

Claims

ステレオカメラにより撮像されたステレオ画像から動き検出を行い、動きが検出されたターゲットを抽出する第１ターゲット検出部と、
横方向または縦方向の少なくとも一方の位置情報と、奥行き方向の位置情報とを取得できるセンサのセンサ信号から動き検出を行い、動きが検出されたターゲットを抽出する第２ターゲット検出部と、
前記ステレオ画像から抽出されたターゲットの第１の座標系における３次元位置を算出する第１位置算出部と、
前記センサ信号から抽出されたターゲットの第２の座標系における３次元位置を算出する第２位置算出部と、
前記第１の座標系上の前記ターゲットと、前記第２の座標系上の前記ターゲットとの対応関係を検出する対応検出部と、
検出された前記対応関係に基づいて、前記第１の座標系と前記第２の座標系の位置関係情報を推定する位置関係情報推定部と
を備え、
前記対応検出部は、前記第１の座標系上の前記ターゲットの３次元位置と前記第２の座標系上の前記ターゲットの３次元位置を重畳させ、最近傍に配置されたターゲットどうしを対応させ、前記対応関係を検出する
信号処理装置。
前記第１ターゲット検出部および第２ターゲット検出部は、事前配置情報が既知のターゲットである配置既知ターゲットを検出する機能も備え、
前記対応検出部は、前記第１の座標系上の前記配置既知ターゲットと前記第２の座標系上の前記配置既知ターゲットのそれぞれを前記配置既知ターゲットの事前配置情報と照合し、前記配置既知ターゲットを特定した上で、前記対応関係を検出する
請求項１に記載の信号処理装置。
前記ターゲットの前記対応関係を検出するフレームとして、所定の範囲内に他のターゲットが存在しないフレームが選択される
請求項１に記載の信号処理装置。
前記第１位置算出部は、１フレーム以上のステレオ画像から複数の前記ターゲットの３次元位置を算出し、
前記第２位置算出部は、１フレーム以上のセンサ信号から複数の前記ターゲットの３次元位置を算出し、
前記対応検出部は、複数の前記ターゲットについて対応関係を検出する
請求項１に記載の信号処理装置。
前記第１位置算出部は、１フレームのステレオ画像から複数の前記ターゲットの３次元位置を算出し、
前記第２位置算出部は、１フレームのセンサ信号から複数の前記ターゲットの３次元位置を算出する
請求項４に記載の信号処理装置。
前記第１位置算出部及び前記第２位置算出部により算出された前記ターゲットの３次元位置を記憶する記憶部をさらに備え、
前記対応検出部は、所定数以上の前記ターゲットの３次元位置が前記記憶部に蓄積された場合に、前記対応関係の検出を開始する
請求項１に記載の信号処理装置。
前記配置既知ターゲットは、前記奥行き方向の位置が異なる位置に複数配置される
請求項２に記載の信号処理装置。
前記配置既知ターゲットは、前記横方向の位置が異なる位置に複数配置される
請求項２に記載の信号処理装置。
前記配置既知ターゲットは、同じ高さ位置に複数配置される
請求項２に記載の信号処理装置。
前記配置既知ターゲットは、前記ステレオカメラから見て、重ならない位置に複数配置される
請求項２に記載の信号処理装置。
前記ターゲットは、人である
請求項１に記載の信号処理装置。
前記配置既知ターゲットは、所定のテクスチャを有する物体である
請求項２に記載の信号処理装置。
前記ターゲットは、ポール状の物体である
請求項１に記載の信号処理装置。
前記第１の座標系と前記第２の座標系の位置関係情報は、回転行列と並進ベクトルである
請求項１に記載の信号処理装置。
前記センサは、ミリ波レーダである
請求項１に記載の信号処理装置。
ステレオカメラにより撮像されたステレオ画像から動き検出を行い、動きが検出されたターゲットを抽出し、第１の座標系におけるターゲットの３次元位置を算出し、
横方向または縦方向の少なくとも一方の位置情報と、奥行き方向の位置情報とを取得できるセンサのセンサ信号から動き検出を行い、動きが検出されたターゲットを抽出し、第２の座標系における前記ターゲットの３次元位置を算出し、
前記第１の座標系上の前記ターゲットの３次元位置と前記第２の座標系上の前記ターゲットの３次元位置を重畳させ、最近傍に配置されたターゲットどうしを対応させることで、前記第１の座標系上の前記ターゲットと、前記第２の座標系上の前記ターゲットとの対応関係を検出し、
検出された前記対応関係に基づいて、前記第１の座標系と前記第２の座標系の位置関係情報を推定する
ステップを含む信号処理方法。
コンピュータに、
ステレオカメラにより撮像されたステレオ画像から動き検出を行い、動きが検出されたターゲットを抽出し、第１の座標系におけるターゲットの３次元位置を算出し、
横方向または縦方向の少なくとも一方の位置情報と、奥行き方向の位置情報とを取得できるセンサのセンサ信号から動き検出を行い、動きが検出されたターゲットを抽出し、第２の座標系における前記ターゲットの３次元位置を算出し、
前記第１の座標系上の前記ターゲットの３次元位置と前記第２の座標系上の前記ターゲットの３次元位置を重畳させ、最近傍に配置されたターゲットどうしを対応させることで、前記第１の座標系上の前記ターゲットと、前記第２の座標系上の前記ターゲットとの対応関係を検出し、
検出された前記対応関係に基づいて、前記第１の座標系と前記第２の座標系の位置関係情報を推定する
ステップを含む処理を実行させるためのプログラム。