JP5598694B2 - 物標検出装置および物標検出方法 - Google Patents

Description

本発明は、歩行者などの物標を検出する物標検出装置および物標検出方法に関する。

近年、交通事故、交通渋滞、環境汚染などの道路交通問題を解決することを目的とした高度交通システム(ITS: Intelligent Transport System)が注目されている。ＩＴＳとは、最先端の情報通信技術を用いて、人、道路および車両をネットワークで接続することにより、安全性、輸送効率、および快適性の向上を達成し、環境保全に資する道路交通を実現する社会システムである。ＩＴＳの分野の中でも、交通事故に関する問題は特に重要な問題である。交通事故死亡者数は、近年減少傾向にあるものの、交通事故死亡者の中で歩行者が占める割合は増加傾向にある。歩行者における交通事故は死亡事故につながりやすく、道路交通環境において歩行者は交通弱者である。そのため、歩行者を最優先にした交通事故発生対策が急務である。

交通事故予防のための車両側からのアプローチとして、予防安全（アクティブセーフティー）技術がある。この技術は、車両の周辺環境の認識を行うことにより、車両周辺に存在する障害物を運転者に警告したり、車両自らが事故の回避行動をとったりする技術である。周辺環境の認識には、レーザレーダなどの距離測定機器による認識や、車載カメラからの画像を解析することによる画像処理技術による認識がある。この双方の技術を用いたセンサフュージョンによる環境認識技術が注目されている。

歩行者認識手法は、これまで多くの研究がされており、様々な手法が提案されている。これまで用いられていた歩行者認識手法としては、Neural Network（非特許文献１）や、ＨＯＧ(Histograms of Oriented Gradients)特徴を用いたＳＶＭ(Support Vector Machine)（非特許文献２）などが挙げられる。

L.Zhao, C.E.Thorpe, "Stereo and Neural Network Based Pedestrian Detection", IEEE Transaction on Intelligent Transportation System, Vol.1, No.3, September 2000, pp.148-154. F.Suard, A.Rakotomamonjy, A.Bensrhair, A.Broggi, "Pedestrian Detection using Infrared image and Histograms of Oriented Gradients", Intelligent Vehicle Symposium 2006, June 13-15, 2006, Tokyo, Japan, pp.206-212.

ところで、従来の識別器では、トレーニング用画像または参照用画像と、識別対象画像とを対比する際に、識別対象画像に対してスケーリング変換を行うことが必要となる。しかし、例えば、遠方に対象物が存在する場合には、識別対象画像に含まれる特徴情報がスケーリング変換によって大きく変化するので、識別精度が低くなるという問題があった。また、識別精度の低下に伴い、認識に要する時間が長くなるという問題もあった

本発明はかかる問題点に鑑みてなされたものであり、その目的は、認識精度が高く、しかも認識に要する計算時間が短い物標検出装置および物標検出方法を提供することにある。

本発明による第１の物標検出装置は、記憶手段と、調整手段と、特徴量抽出手段と、識別処理手段とを備えたものである。記憶手段は、複数の第１の特徴量と、複数の第２の特徴量と、各第１の特徴量と対応付けられた第１の距離情報と、各第２の特徴量と対応付けられた第２の距離情報とを記憶するものである。複数の第１の特徴量は、距離の互いに異なる対象物を１つずつ含む複数の第１の２次元画像から得られたものである。複数の第２の特徴量は、距離の互いに異なる非対象物を１つずつ含む複数の第２の２次元画像から得られたものである。調整手段は、距離取得手段から得られた第３の距離情報と、撮像手段から得られた前方画像とから、前方画像に含まれる物標候補領域の第３の２次元画像を切り出し、複数の第１の距離情報および複数の第２の距離情報を距離リストとして、該距離リストと、第３の距離情報から抽出した物標候補領域の第４の距離情報とを対比して、第４の距離情報と等しい又は近い第５の距離情報を距離リストから抽出し、第４の距離情報が第５の距離情報と等しい場合には、第３の２次元画像のサイズを維持する一方、第４の距離情報が第５の距離情報と異なる場合には、第３の２次元画像のサイズを、第５の距離情報に対応した大きさに変更するものである。特徴量抽出手段は、調整手段による調整のなされた後の第３の２次元画像から第３の特徴量を抽出するものである。識別処理手段は、複数の第１の特徴量のうち第３の特徴量に対応する距離情報と一致する第１の距離情報と対応付けられた第１の特徴量と、複数の第２の特徴量のうち第３の特徴量に対応する距離情報と一致する第２の距離情報と対応付けられた第２の特徴量と、第３の特徴量とに基づいて、物標候補領域に含まれる物標候補の識別を行うものである。

本発明による第２の物標検出装置は、記憶手段と、調整手段と、特徴量抽出手段と、識別処理手段とを備えたものである。記憶手段は、複数の第１の特徴量と、複数の第２の特徴量と、各第１の特徴量と対応付けられた第１のサイズ情報と、各第２の特徴量と対応付けられた第２のサイズ情報とを記憶するものである。複数の第１の特徴量は、サイズの互いに異なる対象物を１つずつ含む複数の第１の２次元画像から得られたものである。複数の第２の特徴量は、サイズの互いに異なる非対象物を１つずつ含む複数の第２の２次元画像から得られたものである。調整手段は、距離取得手段から得られた第３の距離情報と、撮像手段から得られた前方画像とから、前方画像に含まれる物標候補領域の第３の２次元画像を切り出し、複数の第１のサイズ情報および複数の第２のサイズ情報をサイズリストとして、該サイズリストと、第３の距離情報から抽出した物標候補領域の距離から得られた第３のサイズ情報とを対比して、第３のサイズ情報と等しい又は近い第４のサイズ情報をサイズリストから抽出し、第３のサイズ情報が第４のサイズ情報と等しい場合には、第３の２次元画像のサイズを維持する一方、第３のサイズ情報が第４のサイズ情報と異なる場合には、第３の２次元画像のサイズを、第４のサイズ情報に対応したサイズに変更するものである。特徴量抽出手段は、調整手段による調整のなされた後の第３の２次元画像から第３の特徴量を抽出するものである。識別処理手段は、複数の第１の特徴量のうち第３の特徴量に対応するサイズ情報と一致する第１のサイズ情報と対応付けられた第１の特徴量と、複数の第２の特徴量のうち第３の特徴量に対応するサイズ情報と一致する第２のサイズ情報と対応付けられた第２の特徴量と、第３の特徴量とに基づいて、物標候補領域に含まれる物標候補の識別を行うものである。

本発明による第１の物標検出方法は、以下の４つのステップを含むものである。
（Ａ）複数の第１の特徴量と、複数の第２の特徴量と、各第１の特徴量と対応付けられた第１の距離情報と、各第２の特徴量と対応付けられた第２の距離情報とを用意する用意ステップ
なお、上記の複数の第１の特徴量は、上記の第１の物標検出装置における複数の第１の特徴量と同一である。上記の複数の第２の特徴量は、上記の第１の物標検出装置における複数の第２の特徴量と同一である。
（Ｂ）距離取得手段から得られた第３の距離情報と、撮像手段から得られた前方画像とから、前方画像に含まれる物標候補領域の第３の２次元画像を切り出し、複数の第１の距離情報および複数の第２の距離情報を距離リストとして、該距離リストと、第３の距離情報から抽出した物標候補領域の第４の距離情報とを対比して、第４の距離情報と等しい又は近い第５の距離情報を前記距離リストから抽出し、第４の距離情報が第５の距離情報と等しい場合には、第３の２次元画像のサイズを維持する一方、第４の距離情報が第５の距離情報と異なる場合には、第３の２次元画像のサイズを、第５の距離情報に対応した大きさに変更する調整ステップ
（Ｃ）調整手段による調整のなされた後の第３の２次元画像から第３の特徴量を抽出する特徴量抽出ステップ
（Ｄ）複数の第１の特徴量のうち第３の特徴量に対応する距離情報と一致する第１の距離情報と対応付けられた第１の特徴量と、複数の第２の特徴量のうち第３の特徴量に対応する距離情報と一致する第２の距離情報と対応付けられた第２の特徴量と、第３の特徴量とに基づいて、物標候補領域に含まれる物標候補の識別を行う識別処理ステップ

本発明による第２の物標検出方法は、以下の４つのステップを含むものである。
（Ａ）複数の第１の特徴量と、複数の第２の特徴量と、各第１の特徴量と対応付けられた第１のサイズ情報と、各第２の特徴量と対応付けられた第２のサイズ情報とを用意する用意ステップ
なお、上記の複数の第１の特徴量は、上記の第２の物標検出装置における複数の第１の特徴量と同一である。上記の複数の第２の特徴量は、上記の第２の物標検出装置における複数の第２の特徴量と同一である。
（Ｂ）距離取得手段から得られた第３の距離情報と、撮像手段から得られた前方画像とから、前方画像に含まれる物標候補領域の第３の２次元画像を切り出し、複数の第１のサイズ情報および複数の第２のサイズ情報をサイズリストとして、該サイズリストと、第３の距離情報から抽出した物標候補領域の距離から得られた第３のサイズ情報とを対比して、第３のサイズ情報と等しい又は近い第４のサイズ情報をサイズリストから抽出し、第３のサイズ情報が第４のサイズ情報と等しい場合には、第３の２次元画像のサイズを維持する一方、第３のサイズ情報が第４のサイズ情報と異なる場合には、第３の２次元画像のサイズを、第４のサイズ情報に対応したサイズに変更する調整ステップ
（Ｃ）調整ステップによる調整のなされた後の第３の２次元画像から第３の特徴量を抽出する特徴量抽出ステップ
（Ｄ）複数の第１の特徴量のうち第３の特徴量に対応するサイズ情報と一致する第１のサイズ情報と対応付けられた第１の特徴量と、複数の第２の特徴量のうち第３の特徴量に対応するサイズ情報と一致する第２のサイズ情報と対応付けられた第２の特徴量と、第３の特徴量とに基づいて、物標候補領域に含まれる物標候補の識別を行う識別処理ステップ

ここで、本発明による第１および第２の物標検出装置の識別処理手段、または本発明による第１および第２の物標検出方法の識別処理ステップにおいて、第１の特徴量と第３の特徴量とのマッチングを行うと共に、第２の特徴量と第３の特徴量とのマッチングを行うようにしてもよい。このとき、第１の特徴量と第３の特徴量とのマッチングの結果から第１相関スコアを導出すると共に、第２の特徴量と第３の特徴量とのマッチングの結果から第２相関スコアを導出し、第１相関スコアおよび第２相関スコアに基づいて物標候補領域に含まれる物標候補の識別を行うようにしてもよい。

本発明の第１および第２の物標検出装置、ならびに本発明の第１および第２の物標検出方法では、上述の３種類の特徴量に基づいて識別処理が行われる。このとき、複数の第１の特徴量のうち第３の特徴量の距離（サイズ）と同一もしくは近い距離（サイズ）の第１の特徴量が選択され、複数の第２の特徴量のうち第３の特徴量の距離（サイズ）と同一もしくは近い距離（サイズ）の第２の特徴量が選択される。これにより、第２の２次元画像から得られた特徴量に対して大きなリサイズを施す必要がない。なお、識別処理に際して、例えば、Neural Networkや、ＳＶＭ、AdaBoostなどの識別器が用いられていてもよい。

本発明の第１および第２の物標検出装置、ならびに本発明の第１および第２の物標検出方法によれば、距離に応じて選択された３種類の特徴量に基づいて識別処理を行うようにした。これにより、第２の２次元画像から得られた特徴量に対して大きなリサイズを施す必要がないので、リサイズによる情報の損失や付加を低減することができる。その結果、識別精度を高くすることができる。また、識別精度が高くなるにつれて、認識に要する時間を短くすることができる。従って、認識精度が高く、しかも認識に要する計算時間が短い物標検出装置を実現することができる。

本発明の一実施の形態に係るセンサフュージョンの概略構成図である。 図１のセンサフュージョンにおける物標の検出手順の一例を表す流れ図である。 本実施の形態の手法におけるトレーニング用および検証用の特徴量のデータセットの一例を表すものである。 従来の手法におけるリサイズ前の２次元画像と、リサイズ後の２次元画像とを表すものである。 従来の手法におけるトレーニング用および検証用の特徴量のデータセットの一例を表すものである。 本実施の形態の手法におけるＲＯＣ(receiver operating characteristic; 受信者動作特性）曲線の一例と、従来の手法におけるＲＯＣ曲線の一例とを表すものである。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係るセンサフュージョン（物標検出装置）の概略構成を表したものである。このセンサフュージョンは、物標を検出するシステムであり、例えば、自動車Ｃに搭載されるものである。ここで、物標とは、例えば、自動車、バイク、歩行者、障害物、移動体などを指している。

このセンサフュージョンは、例えば、レーザレーダ１、ステレオカメラ２、制御部３、記憶部４を備えている。

制御部３は、例えば、ＤＳＰ（Digital Signal Processor）などにより構成され、レーザレーダ１およびステレオカメラ２によって得られた情報を処理して自動車Ｃの前方の物標の位置や種類などを所定の演算により特定するようになっている。記憶部４は、例えば、ＲＡＭ（Random Access Memory）およびＨＤ（hard disk)からなる。記憶部４には、センサフュージョンを校正するためのプログラムや、物標を検出するためのプログラム、ＬＵＴ(Look up Table)などが格納されており、制御部３で得られた演算結果などが随時格納される。

記憶部４内のＬＵＴには、後述の対象物(target)の検出やトレーニングに際して利用される情報が含まれている。ＬＵＴには、例えば、距離の互いに異なる複数種類の特徴量と、各特徴量と対応付けられた距離情報とが含まれている。なお、ＬＵＴに、例えば、サイズの互いに異なる複数種類の特徴量と、各特徴量と対応付けられたサイズ情報とが含まれていてもよい。ここで、上記のサイズ情報とは、特徴量を導出する際に使用した２次元画像のサイズまたはそれに対応するサイズについての情報であり、その２次元画像に含まれる対象物または非対象物と撮像装置との距離と所定の相関を有するものである。従って、第１の特徴量と対応付けられたサイズ情報と、第２の特徴量と対応付けられたサイズ情報とが互いに同一である場合には、第１の特徴量を導出する際に使用した２次元画像に含まれる対象物または非対象物と撮像装置との距離と、第２の特徴量を導出する際に使用した２次元画像に含まれる対象物または非対象物と撮像装置との距離とが互いに等しいことを意味する。

ＬＵＴに含まれている特徴量は、例えば、トレーニング用および参照用に用いられる。この特徴量には、距離（またはサイズ）の互いに異なる複数種類のポジティブデータと、距離（またはサイズ）の互いに異なる複数種類のネガティブデータとが含まれている。ここで、ポジティブとは対象物のことであり、例えば、歩行者を意味している。また、ネガティブとは非対象物のことであり、例えば、自動車、バイク、障害物などを意味している。また、ポジティブデータとは、あらかじめステレオカメラ２、他のステレオカメラまたは他の単眼カメラによって撮影された、対象物を含む前方画像（例えばステレオ画像または単一画像）から、対象物を含む領域の２次元画像を所定の方法で切り出し、切り出した２次元画像から抽出することにより得られた対象物の特徴ベクトル（特徴量）を指している。ネガティブデータとは、あらかじめステレオカメラ２、他のステレオカメラまたは他の単眼カメラによって撮影された、非対象物を含む前方画像（例えばステレオ画像または単一画像）から、非対象物を含む領域の２次元画像を所定の方法で切り出し、切り出した２次元画像から抽出することにより得られた非対象物の特徴ベクトル（特徴量）を指している。

特徴量と対応付けられた距離情報とは、特徴量と対応付けられた距離リストのことであり、例えば、特徴量が導出された原画像（２次元画像）に含まれる物標の距離の種類をリスト化したものである。距離リストには、例えば、５ｍ、２０ｍ、３５ｍの３種類の距離が含まれている。特徴量と対応付けられたサイズ情報とは、特徴量と対応付けられたサイズリストのことであり、例えば、特徴量が導出された原画像（２次元画像）のサイズの種類をリスト化したものである。サイズリストには、例えば、２４×３８、４０×８０、５６×１１２の３種類のサイズが含まれている。

レーザレーダ１は、例えば自動車Ｃのバンパの中央部分などに取り付けられている。レーザレーダ１は、自動車Ｃの前方にレーザ光を放射すると共に、自動車Ｃの前方に放射したレーザ光の反射光を検出し、さらに、検出した反射光から自動車Ｃの前方に存在する物標の方位θ、距離ｄおよび相対速度ｖなどを計測するようになっている。

なお、一般に、レーザレーダは、ミリ波レーダに比べて高い検出能力を有しており、歩行者等の、電波を反射しにくい物標についても測定可能である。また、視野角、分解能、追従性についても、一般に、レーザレーダの方がミリ波レーダよりも優れている。また、コストについても、一般に、レーザレーダの方がミリ波レーダよりも安価である。そこで、本実施の形態では、歩行者の検出と、コストとを重視してレーザレーダ１が用いられている。

ステレオカメラ２は、右カメラ２１および左カメラ２２を備えている。右カメラ２１および左カメラ２２は、例えば、電荷結合素子（ＣＣＤ）からなり、例えば自動車Ｃのフロントガラスの内壁であって、互いに所定の間隔を隔てると共に、路面から同じ高さのところに取り付けられている。これにより、ステレオカメラ２は、自動車Ｃの前方を互いに異なる視点から撮影して、右カメラ２１で撮影された２次元画像（右画像）と左カメラ２２で撮影された２次元画像（左画像）とからなるステレオ画像を取得するようになっている。なお、右カメラ２１および左カメラ２２の光軸が互いに平行となっており、かつ各々の画像面が同一平面上にあることが好ましい。

次に、図２を参照して、本実施の形態のセンサフュージョンにおける物標の検出方法の一例について説明する。なお、以下では、（Ａ）物標候補領域(ＲＯＩ: Region of Interest)の検出、（Ｂ）特徴量の抽出、（Ｃ）対象物の検出、（Ｄ）物標追跡ステップ、（Ｅ）トレーニング、の５つについて順に説明する。

（Ａ）ＲＯＩの検出
制御部３は、まず、２次元画像上におけるＲＯＩを検出する（ステップＳ１）。

ＲＯＩの検出は、例えば以下のようにして行われる。まず、制御部３は、レーザレーダ１に対してレーザのスキャンを要求すると共に、ステレオカメラ２に対してステレオ画像の取得を要求する。すると、レーザレーダ１においてレーザがスキャンされ、レーザレーダ１からレーダ情報（距離ｄと角度θ）が出力されると共に、ステレオカメラ２からステレオ画像（右画像、左画像）が出力される。次に、制御部３は、レーダ情報と、ステレオ画像とに基づいて、ステレオ画像内に物標候補が存在するか否かを判定する。その結果、制御部３は、物標候補が存在すると判定した場合には、存在すると判定した物標候補を含むＲＯＩの２次元画像をステレオ画像（例えば左画像）から切り出す。ＲＯＩの２次元画像のサイズは、ステレオ画像から切り出された位置や、物標の種類などによって異なる。そこで、制御部３は、例えば、レーダ情報からＲＯＩの距離を抽出し、抽出した距離ｄ１と、記憶部４に格納されたＬＵＴに含まれる距離情報とを対比する。なお、距離ｄ１の採り得る範囲は、通常、限定されており、例えば、５ｍ以上３５ｍ以下となっている。

制御部３は、距離ｄ１と、記憶部４から読み出した距離リストとを対比して、距離リストから、距離ｄ１と等しい距離、または距離ｄ１に近い距離を抽出する。制御部３は、距離ｄ１が、距離リストから抽出した距離ｄ２と等しい場合には、ＲＯＩの２次元画像のサイズの拡大または縮小を行わず、そのサイズを維持する。一方、制御部３は、距離ｄ１が距離ｄ２と異なる場合には、ＲＯＩの２次元画像のサイズを、距離がｄ２となっているときの大きさに変更（拡大または縮小）する。ここで、拡大または縮小の程度は、距離リストに含まれる距離の種類に依存する。

例えば、距離ｄ１が３０ｍであるときに、距離リストに、例えば、５ｍ、２０ｍ、３５ｍの３種類の距離が含まれている場合には、制御部３は、ＲＯＩの２次元画像のサイズを、距離が３５ｍとなるように縮小する。このときの距離ｄ１と距離ｄ２との差は５ｍであるから、縮小の程度は小さい。なお、距離リストに、例えば、５ｍ、２０ｍ、３５ｍの３種類の距離が含まれている場合に、距離ｄ１と距離ｄ２との差が最も大きくなるのは、距離ｄ１が例えば１７．５ｍまたは２７．５ｍであるときであり、このときの距離ｄ１と距離ｄ２との差は７．５ｍである。

一方、例えば、距離ｄ１が３０ｍであるときに、距離リストに、例えば、２０ｍの１種類の距離だけしか含まれていない場合には、制御部３は、ＲＯＩの２次元画像のサイズを、距離が２０ｍとなるように拡大することになる。このときの距離ｄ１と距離ｄ２との差は１０ｍであるから、拡大の程度は大きい。なお、距離リストに、２０ｍの１種類の距離だけしか含まれていない場合に、距離ｄ１と距離ｄ２との差が最も大きくなるのは、距離ｄ１が例えば５ｍまたは３５ｍであるときであり、このときの距離ｄ１と距離ｄ２との差は１５ｍである。

なお、記憶部４に格納されたＬＵＴに、参照用の特徴量が導出された原画像（２次元画像）のサイズが当該参照用の特徴量と対応付けられたサイズ情報が含まれている場合には、制御部３は、例えば、距離ｄ１と距離ｄ２とを対比する代わりに、ＲＯＩの２次元画像のサイズ（距離ｄ１から得られたサイズ）と、ＬＵＴに含まれるサイズ情報とを対比してもよい。

（Ｂ）特徴量の抽出
制御部３は、次に、距離（またはサイズ）の補正がなされた後のＲＯＩの２次元画像（以下、単に「補正後のＲＯＩの２次元画像」と称する）から、物標の特徴量を抽出する（ステップＳ２）。ここで、物標の特徴量とは、物標の形状に関する情報を指す。

（Ｃ）対象物の検出
制御部３は、次に、ＲＯＩの２次元画像から抽出した物標の特徴量を用いて、ＲＯＩの２次元画像に含まれる物標候補の識別を行う。具体的には、制御部３は、ＲＯＩの２次元画像から抽出した物標の特徴量を用いて、対象物（例えば歩行者）の検出（識別処理）を行う（ステップＳ３）。

対象物の検出は、例えば以下のようにして行われる。例えば、制御部３は、ＲＯＩの２次元画像から抽出した物標の特徴量と、ＬＵＴに格納されている特徴量とのマッチングを行う。例えば、まず、制御部３は、ＬＵＴに格納されている参照用の複数のポジティブデータのうち、ＲＯＩの２次元画像から抽出した物標の特徴量の距離（またはサイズ）と同一の距離（またはサイズ）のデータを選択する。このとき、制御部３は、例えば、ＬＵＴに格納されているポジティブデータと対応付けられた距離情報またはサイズ情報を用いて、ＬＵＴに格納されている参照用の複数のポジティブデータの中から、ＲＯＩの２次元画像から抽出した物標の特徴量の距離またはサイズと一致するデータを選択する。次に、制御部３は、ＲＯＩの２次元画像から抽出した物標の特徴量と、選択した参照用のポジティブデータとのマッチングを行い、その結果から第１相関スコアを導出する。さらに、制御部３は、ＲＯＩの２次元画像から抽出した物標の特徴量と、選択した参照用のネガティブデータとのマッチングを行い、その結果から第２相関スコアを導出する。

次に、制御部３は、第１相関スコアおよび第２相関スコアに基づいて、ＲＯＩの２次元画像に含まれる物標候補の識別を行う。例えば、制御部３は、第１相関スコアの方が第２相関スコアよりも、特徴量の相関が大きいと判定した場合には、ＲＯＩの２次元画像から抽出した物標の特徴量はポジティブである、すなわち、物標候補が対象物であると判定し、物標追跡ステップ（後述）に移行する。このとき、制御部３は、例えば、当該物標候補を、位置情報および相関スコア（第１相関スコア、第２相関スコア）と関連付けて追跡リストに追加する、または、既に追加されていた場合には、当該物標候補の位置情報および相関スコアを更新する。

また、例えば、制御部３は、第２相関スコアの方が第１相関スコアよりも、特徴量の相関が大きいと判定した場合には、ＲＯＩの２次元画像から抽出した物標の特徴量はネガティブである、すなわち、物標候補が非対象物であると判定し、物標追跡ステップ（後述）に移行しない。このとき、制御部３は、例えば、当該物標候補を追跡リストに追加しない、または、既に追加されていた場合には、当該物標候補を追跡リストから削除する。

なお、第１相関スコアおよび第２相関スコアからは、どちらの方が特徴量の相関が大きいかを判別することが難しい場合もある。そのような場合には、例えば、制御部３は、ＲＯＩの２次元画像から抽出した物標の特徴量は不定である、すなわち、物標候補が対象物である可能性があると判定し、物標追跡ステップ（後述）に移行する。このとき、制御部３は、例えば、当該物標候補を、位置情報および相関スコア（第１相関スコア、第２相関スコア）と関連付けて追跡リストに追加する、または、既に追加されていた場合には、当該物標候補の位置情報および相関スコアを更新する。

制御部３は、このようにして、ＲＯＩの２次元画像から抽出した物標の特徴量に対してクラス分けのマッチング処理を行ったのち、以下の物標追跡ステップに移行する。なお、制御部３は、上述のクラス分けのマッチング処理に際して、例えば、Neural Networkや、ＳＶＭ、AdaBoostなどの種々の識別器を用いることが可能である。

（Ｄ）物標追跡ステップ
制御部３は、引き続き、上記の各ステップ（ＲＯＩの検出、特徴量の抽出、対象物の検出）を繰り返し実行し、相関スコアを更新する（ステップＳ４）。その結果、制御部３は、ある物標候補において、第１相関スコアの方が第２相関スコアよりも、特徴量の相関が更新の度に大きくなっている場合には、例えば、その物標候補は対象物であると判定する。また、制御部３は、ある物標候補において、相関スコアが変動しない、もしくは、第２相関スコアの方が第１相関スコアよりも、特徴量の相関が更新の度に大きくなっている場合には、例えば、その物標候補は非対象物であると判定する。

第１相関スコアの方が第２相関スコアよりも、特徴量の相関が更新の度に大きくなる現象は、特に、対象物が歩行者などの、時間の経過と共に自動車Ｃに接近してくる移動体である場合に生じる。一方、対象物が自動車やバイクなどの、自動車Ｃの前方を走行している移動体である場合には、相関スコアは経時的に大きく変動せず、第１相関スコアの方が第２相関スコアよりも、特徴量の相関が更新の度に大きくなることはない。従って、第１相関スコアおよび第２相関スコアの変動を経時的に観測することにより、物標候補が対象物であるか否かを判定することが可能である。

なお、上記の対象物の検出に際して用いる識別器のトレーニングは、例えば、以下のようにして行われる。

（Ｅ）トレーニング
まず、トレーナが、トレーニング用の特徴ベクトルとして、図３に示したようなデータセットを用意する。このデータセットには、物標として歩行者を含んだ複数の２次元画像から得られた特徴量と、物標として歩行者以外のもの（例えば自動車、バイク、障害物）を含んだ複数の２次元画像から得られた特徴量とが含まれている。なお、図中の「歩行者」とは物標として歩行者を含んだ複数の２次元画像から得られた特徴量を指している。また、図中の「非歩行者」とは物標として歩行者以外のものを含んだ複数の２次元画像から得られた特徴量を指している。本実施の形態では、トレーニング用の特徴量のサイズとして複数種類が設けられており、例えば、図３に示したように、２４×３８、４０×８０、５６×１１２の３種類が設けられている。なお、図中の数字（例えば２９３９や１２６１）は、トレーニング用の特徴量の数を示している。

次に、制御部３は、トレーニング用の特徴量と、ＬＵＴに格納されている特徴量との比較を行い、トレーニング用の特徴量が対象物に相当するものであるか否かを判定する。続いて、制御部３は、判定結果に応じた数値を識別器に設定する。このようにして、トレーニングが行われる。

次に、本実施の形態のセンサフュージョンの効果について説明する。

本実施の形態のセンサフュージョンでは、物標を検出するために、レーザレーダ１と、ステレオカメラ２が用いられる。これにより、歩行者のようなミリ波レーダ信号が反射しにくい物標の検出や認識が可能となるので、簡易な構成で、車両遠方に存在する車両、歩行者、障害物などの物標を検出することができる。

ところで、従来の対象物認識手法では、対象物の認識に用いるトレーニング用および参照用の特徴量として、画像中のＲＯＩの大きさに関係なく、単一の画像サイズに正規化したものが用いられていた。そのため、ステレオカメラ２から得られたＲＯＩの２次元画像のサイズが、あらかじめ用意された参照用の特徴量のサイズと大きく異なってしまうことが多かった。その結果、ＲＯＩの２次元画像から得られた特徴量に対して大きなリサイズを施すことが必要となるので、例えば、図４（Ａ），（Ｂ）に示したように、リサイズによる情報の損失や付加が生じてしまう。従って、従来の手法では、精度の高い認識が容易ではなかった。

一方、本実施の形態では、記憶部４には、対象物の認識に用いるトレーニング用および参照用の特徴量（ポジティプデータ、ネガティブデータ）として、画像中のＲＯＩの大きさを考慮して、複数の画像サイズのものが記憶されている。さらに、制御部４では、複数の参照用の特徴量のうち、特徴量の距離（サイズ）に対応した特徴量が選択された上で、マッチングが行われる。これにより、ステレオカメラ２から得られたＲＯＩの２次元画像の距離（サイズ）が、あらかじめ用意された参照用の特徴量の距離（サイズ）と大きく異なることがない。その結果、ＲＯＩの２次元画像から得られた特徴量に対して大きなリサイズを施す必要がないので、従来の手法と比べて、リサイズによる情報の損失や付加を低減することができる。その結果、識別精度を高くすることができる。また、識別精度が高くなるにつれて、認識に要する時間を短くすることができる。従って、本実施の形態では、高い認識精度と、短い計算時間とを両立させることができる。

例えば、従来の手法においては、トレーナが、トレーニング用の特徴量として、図５に示したようなデータセットを用意する。このデータセットには、物標として歩行者を含んだ複数の２次元画像から得られた特徴量と、物標として歩行者以外のものを含んだ複数の２次元画像から得られた特徴量とが含まれている。さらに、トレーニング用の特徴量のサイズとして、例えば、図５に示したように、３２×６４の１種類が設けられている。そして、トレーナが、このデータセットを用いて、センサフュージョンにトレーニングを行わせる。その後、トレーナは、検証用の特徴量として、図５に示したようなデータセットを用意する。このデータセットにも、物標として歩行者を含んだ複数の２次元画像から得られた特徴量と、物標として歩行者以外のものを含んだ複数の２次元画像から得られた特徴量とが含まれている。さらに、検証用の特徴量のサイズとして複数種類が設けられており、例えば、図５に示したように、２４×３８、４０×８０、５６×１１２の３種類が設けられている。そして、トレーナが、このデータセットを用いて、センサフュージョンに物標の検出を行わせる。その結果を、図６のＲＯＣ(receiver operating characteristic; 受信者動作特性）曲線に示した。

一方、例えば、本実施の形態においては、トレーナが、トレーニング用の特徴量として、図３に示したようなデータセットを用意したのち、このデータセットを用いて、センサフュージョンにトレーニングを行わせる。このデータセットには、物標として歩行者を含んだ複数の２次元画像から得られた特徴量と、物標として歩行者以外のものを含んだ複数の２次元画像から得られた特徴量とが含まれている。トレーニング用の特徴量のサイズとして、例えば、図３に示したように、２４×３８、４０×８０、５６×１１２の３種類が設けられている。その後、トレーナは、検証用の特徴量として、図３に示したようなデータセットを用意する。このデータセットにも、物標として歩行者を含んだ複数の２次元画像から得られた特徴量と、物標として歩行者以外のものを含んだ複数の２次元画像から得られた特徴量とが含まれている。さらに、検証用の特徴量のサイズとして、例えば、図３に示したように、２４×３８、４０×８０、５６×１１２の３種類が設けられている。そして、トレーナが、このデータセットを用いて、センサフュージョンに物標の検出を行わせる。その結果を、図６のＲＯＣ曲線に示した。

図６から、本実施の形態の手法の方が、従来の手法よりも、認識率が高く、誤認識率が低いことがわかる。このことから、トレーニング用および検証用の特徴ベクトルのサイズとして複数種類を設けることにより、誤認識率を低く抑えつつ、高い認識率を得ることができる、といえる。

以上、実施の形態および実施例を挙げて本発明を説明したが、本発明は、これらに限定されるものではなく、種々の変形が可能である。

例えば、上記実施の形態では、ステレオカメラ２を用いていたが、その代わりに、例えば、車両前方の単一画像および被写体までの距離を取得する光飛行時間型距離センサを用いることも可能である。また、ステレオカメラ２の代わりに、単眼のカメラを用いることも可能である。ただし、これらの場合には、上記実施の形態において、「ステレオ画像」を「単一画像」に読み替えることが必要となる。

また、上記実施の形態では、レーザレーダ１を用いていたが、レーザレーダ１をなくすることも可能である。ただし、これらの場合には、上記実施の形態において、ステレオカメラ２から得られる視差画像から距離情報を得ることが必要となる。

また、上記実施の形態では、センサフュージョン（物標検出装置）が自動車Ｃに設置されている場合が例示されていたが、それ以外の場所に設置されていてもよい。また、上記実施の形態では、対象物(target)の例として歩行者が挙げられていたが、対象物として、物や動物、植物など、目的に応じたものを選択することが可能である。例えば、センサフュージョンが、鮮魚工場において、雑多な魚が流されてくるベルトコンベアの上空に設置されており、対象物として、特定の魚が選択されていてもよい。

１…レーザレーダ、２…ステレオカメラ、２１…右カメラ、２２…左カメラ、３…制御部、４…記憶部。

Claims (7)

1. 距離の互いに異なる対象物を１つずつ含む複数の第１の２次元画像から得られた複数の第１の特徴量と、距離の互いに異なる非対象物を１つずつ含む複数の第２の２次元画像から得られた複数の第２の特徴量と、前記各第１の特徴量と対応付けられた第１の距離情報と、前記各第２の特徴量と対応付けられた第２の距離情報とを記憶する記憶手段と、
   距離取得手段から得られた第３の距離情報と、撮像手段から得られた前方画像とから、前記前方画像に含まれる物標候補領域の第３の２次元画像を切り出し、前記複数の第１の距離情報および前記複数の第２の距離情報を距離リストとして、該距離リストと、前記第３の距離情報から抽出した前記物標候補領域の第４の距離情報とを対比して、前記第４の距離情報と等しい又は近い第５の距離情報を前記距離リストから抽出し、前記第４の距離情報が前記第５の距離情報と等しい場合には、前記第３の２次元画像のサイズを維持する一方、前記第４の距離情報が前記第５の距離情報と異なる場合には、前記第３の２次元画像のサイズを、前記第５の距離情報に対応した大きさに変更する調整手段と、
   前記調整手段による調整のなされた後の前記第３の２次元画像から第３の特徴量を抽出する特徴量抽出手段と、
   前記複数の第１の特徴量のうち前記第３の特徴量に対応する距離情報と一致する第１の距離情報と対応付けられた第１の特徴量と、前記複数の第２の特徴量のうち前記第３の特徴量に対応する距離情報と一致する第２の距離情報と対応付けられた第２の特徴量と、前記第３の特徴量とに基づいて、前記物標候補領域に含まれる物標候補の識別を行う識別処理手段と
   を備えた物標検出装置。
2. 前記識別処理手段は、前記第１の特徴量と前記第３の特徴量とのマッチングを行い、その結果から第１相関スコアを導出すると共に、前記第２の特徴量と前記第３の特徴量とのマッチングを行い、その結果から第２相関スコアを導出し、その後、前記第１相関スコアおよび前記第２相関スコアに基づいて前記物標候補領域に含まれる物標候補の識別を行い、前記第１相関スコアの方が前記第２相関スコアよりも特徴量の相関が大きい場合に、前記物標候補が対象物であると判定し、前記物標候補を前記第１および第２の相関スコアと関連付けて追跡リストに追加し、前記物標候補の識別を繰り返し実行して前記第１および第２の相関スコアを更新したときに、前記追跡リストの物標候補において、前記第１の相関スコアの方が前記第２の相関スコアよりも特徴量の相関が更新の度に大きくなっている場合は前記物標候補を対象物であると判定し、前記第１および第２の相関スコアが変動しない場合、又は前記第２の相関スコアの方が前記第１の相関スコアよりも特徴量の相関が更新の度に大きくなっている場合は前記物標候補を非対象物であると判定する
   請求項１に記載の物標検出装置。
3. 前記識別処理手段は、マッチング処理に際して識別器を用い、
   前記物標検出装置は、更に前記識別器のトレーニング手段を備え、
   前記トレーニング手段は、物標として歩行者を含む複数の２次元画像から得られた複数の特徴量と、物標として歩行者以外のものを含む複数の２次元画像から得られた複数の特徴量とを、複数種類のサイズごとに含むトレーニング用の特徴量と、前記複数種類のサイズに対応する前記記憶手段に格納された複数の特徴量とのマッチングを行い、その結果に応じた数値を前記識別器に設定する
   請求項２に記載の物標検出装置。
4. サイズの互いに異なる対象物を１つずつ含む複数の第１の２次元画像から得られた複数の第１の特徴量と、サイズの互いに異なる非対象物を１つずつ含む複数の第２の２次元画像から得られた複数の第２の特徴量と、前記各第１の特徴量と対応付けられた第１のサイズ情報と、前記各第２の特徴量と対応付けられた第２のサイズ情報とを記憶する記憶手段と、
   距離取得手段から得られた第３の距離情報と、撮像手段から得られた前方画像とから、前記前方画像に含まれる物標候補領域の第３の２次元画像を切り出し、前記複数の第１のサイズ情報および前記複数の第２のサイズ情報をサイズリストとして、該サイズリストと、前記第３の距離情報から抽出した前記物標候補領域の距離から得られた第３のサイズ情報とを対比して、前記第３のサイズ情報と等しい又は近い第４のサイズ情報を前記サイズリストから抽出し、前記第３のサイズ情報が前記第４のサイズ情報と等しい場合には、前記第３の２次元画像のサイズを維持する一方、前記第３のサイズ情報が前記第４のサイズ情報と異なる場合には、前記第３の２次元画像のサイズを、前記第４のサイズ情報に対応したサイズに変更する調整手段と、
   前記調整手段による調整のなされた後の前記第３の２次元画像から第３の特徴量を抽出する特徴量抽出手段と、
   前記複数の第１の特徴量のうち前記第３の特徴量に対応するサイズ情報と一致する第１のサイズ情報と対応付けられた第１の特徴量と、前記複数の第２の特徴量のうち前記第３の特徴量に対応するサイズ情報と一致する第２のサイズ情報と対応付けられた第２の特徴量と、前記第３の特徴量とに基づいて、前記物標候補領域に含まれる物標候補の識別を行う識別処理手段と
   を備えた物標検出装置。
5. 距離の互いに異なる対象物を１つずつ含む複数の第１の２次元画像から得られた複数の第１の特徴量と、距離の互いに異なる非対象物を１つずつ含む複数の第２の２次元画像から得られた複数の第２の特徴量と、前記各第１の特徴量と対応付けられた第１の距離情報と、前記各第２の特徴量と対応付けられた第２の距離情報とを用意する用意ステップと、
   距離取得手段から得られた第３の距離情報と、撮像手段から得られた前方画像とから、前記前方画像に含まれる物標候補領域の第３の２次元画像を切り出し、前記複数の第１の距離情報および前記複数の第２の距離情報を距離リストとして、該距離リストと、前記第３の距離情報から抽出した前記物標候補領域の第４の距離情報とを対比して、前記第４の距離情報と等しい又は近い第５の距離情報を前記距離リストから抽出し、前記第４の距離情報が前記第５の距離情報と等しい場合には、前記第３の２次元画像のサイズを維持する一方、前記第４の距離情報が前記第５の距離情報と異なる場合には、前記第３の２次元画像のサイズを、前記第５の距離情報に対応した大きさに変更する調整ステップと、
   前記調整手段による調整のなされた後の前記第３の２次元画像から第３の特徴量を抽出する特徴量抽出ステップと、
   前記複数の第１の特徴量のうち前記第３の特徴量に対応する距離情報と一致する第１の距離情報と対応付けられた第１の特徴量と、前記複数の第２の特徴量のうち前記第３の特徴量に対応する距離情報と一致する第２の距離情報と対応付けられた第２の特徴量と、前記第３の特徴量とに基づいて、前記物標候補領域に含まれる物標候補の識別を行う識別処理ステップと
   を含む物標検出方法。
6. 前記識別処理ステップにおいて、前記第１の特徴量と前記第３の特徴量とのマッチングを行い、その結果から第１相関スコアを導出すると共に、前記第２の特徴量と前記第３の特徴量とのマッチングを行い、その結果から第２相関スコアを導出し、その後、前記第１相関スコアおよび前記第２相関スコアに基づいて前記物標候補領域に含まれる物標候補の識別を行い、前記第１相関スコアの方が前記第２相関スコアよりも特徴量の相関が大きい場合に、前記物標候補が対象物であると判定し、前記物標候補を前記第１および第２の相関スコアと関連付けて追跡リストに追加し、前記物標候補の識別を繰り返し実行して前記第１および第２の相関スコアを更新したときに、前記追跡リストの物標候補において、前記第１の相関スコアの方が前記第２の相関スコアよりも特徴量の相関が更新の度に大きくなっている場合は前記物標候補を対象物であると判定し、前記第１および第２の相関スコアが変動しない場合、又は前記第２の相関スコアの方が前記第１の相関スコアよりも特徴量の相関が更新の度に大きくなっている場合は前記物標候補を非対象物であると判定する
   請求項５に記載の物標検出方法。
   
7. サイズの互いに異なる対象物を１つずつ含む複数の第１の２次元画像から得られた複数の第１の特徴量と、サイズの互いに異なる非対象物を１つずつ含む複数の第２の２次元画像から得られた複数の第２の特徴量と、前記各第１の特徴量と対応付けられた第１のサイズ情報と、前記各第２の特徴量と対応付けられた第２のサイズ情報とを用意する用意ステップと、
   距離取得手段から得られた第３の距離情報と、撮像手段から得られた前方画像とから、前記前方画像に含まれる物標候補領域の第３の２次元画像を切り出し、前記複数の第１のサイズ情報および前記複数の第２のサイズ情報をサイズリストとして、該サイズリストと、前記第３の距離情報から抽出した前記物標候補領域の距離から得られた第３のサイズ情報とを対比して、前記第３のサイズ情報と等しい又は近い第４のサイズ情報を前記サイズリストから抽出し、前記第３のサイズ情報が前記第４のサイズ情報と等しい場合には、前記第３の２次元画像のサイズを維持する一方、前記第３のサイズ情報が前記第４のサイズ情報と異なる場合には、前記第３の２次元画像のサイズを、前記第４のサイズ情報に対応したサイズに変更する調整ステップと、
   前記調整ステップによる調整のなされた後の前記第３の２次元画像から第３の特徴量を抽出する特徴量抽出ステップと、
   前記複数の第１の特徴量のうち前記第３の特徴量に対応するサイズ情報と一致する第１のサイズ情報と対応付けられた第１の特徴量と、前記複数の第２の特徴量のうち前記第３の特徴量に対応するサイズ情報と一致する第２のサイズ情報と対応付けられた第２の特徴量と、前記第３の特徴量とに基づいて、前記物標候補領域に含まれる物標候補の識別を行う識別処理ステップと
   を含む物標検出方法。

Images