JP7062878B2

JP7062878B2 - 情報処理方法および情報処理装置

Info

Publication number: JP7062878B2
Application number: JP2017061420A
Authority: JP
Inventors: 素子加賀谷; 蔵人前野; 美智代松井; 康平山本
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2017-03-27
Filing date: 2017-03-27
Publication date: 2022-05-09
Anticipated expiration: 2037-03-27
Also published as: JP2018163096A

Description

本発明は、情報処理方法および情報処理装置に関する。

近年、技術の発展に伴い、物体の追跡や識別を行う種々の手法が開発されている。例えば、非特許文献１や非特許文献２には、ＬＩＤＡＲ（ＬｉｇｈｔＤｅｔｅｃｔｉｏｎａｎｄＲａｎｇｉｎｇ、または、ＬａｓｅｒＩｍａｇｉｎｇＤｅｔｅｃｔｉｏｎａｎｄＲａｎｇｉｎｇ）により収集された三次元情報に基づいて、動物体の追跡や識別を行う技術が開示されている。

また、非特許文献３～５には、画像データに基づいて、当該画像データ上における物体の位置や種別を識別する技術が開示されている。

細尾直孝、外２名、"角度ベース複数仮説を用いたＬＲＦによる複数種類・複数個の移動体追跡手法"、計測自動制御学会論文集、計測自動制御学会、２０１５年５月、Ｖｏｌ．５１、Ｎｏ．５、Ｐ２９７－３０８城殿清澄、外３名、"高解像度レーザデータによる歩行者識別"、日本ロボット学会誌、日本ロボット学会、２０１１年１２月、Ｖｏｌ．２９、Ｎｏ．１０、Ｐ９６３－９７０ Shaoqing Ren、外３名、"FasterR-CNN: Towards Real-Time Object Detection with Region Proposal Networks"、２０１５年６月４日、arXiv、［平成２９年２月１０日検索］、インターネット〈URL:http://tokkyo.shinsakijun.com/information/newtech.html〉 Joseph Redmon、外３名、"YouOnly Look Once: Unified, Real-Time Object Detection"、２０１５年６月８日、arXiv、［平成２９年２月１０日検索］、インターネット〈URL:https://arxiv.org/pdf/1506.02640v1.pdf〉 Evan Shelhamer、外２名、"Fully Convolutional Networks for Semantic Segmentation"、Computer Vision and Pattern Recognition (CVPR), 2015 IEEE Conference、IEEE、２０１５年６月７日、10.1109/CVPR.2015.7298965 Manuel Dudek、外３名、"AMillimeter-Wave FMCW Radar System Simulatorfor Automotive Applications"、RadarConference (EuRAD), 2011 European、IEEE、２０１１年１０月１２日 Manuel Dudek、外４名、"TheImpact of Antenna Characteristics on Target Detection in FMCW-Radar SystemSimulations for Automotive Applications"、Radio and WirelessSymposium (RWS), 2012 IEEE、IEEE、２０１２年１月１５日、10.1109/RWS.2012.6175357

ところで、動物体の識別においては、レーダーにより取得される受信信号を用いることも期待される。しかし、上記の受信信号の強度を可視化した場合、データ上には識別の対象であるオブジェクトのほか偽像が現れることから、レーダーの受信信号のみを確認しながら、手動でオブジェクトに対する正解データを付与することは非常に困難である。また、レーダーの受信信号と画像データを照らし合わせることで、レーダーの受信信号からオブジェクトの反応や種別を手動で特定することも想定されるが、この場合、作業負荷が高く、大量の正解データを得るための手段としては現実的とはいえない。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、レーダーの受信信号に物体識別に係る正解データを動的に付与することが可能な、新規かつ改良された情報処理方法および情報処理装置を提供することにある。

上記課題を解決するために、本発明のある観点によれば、ＬＩＤＡＲにより取得された距離画像に基づいて三次元空間におけるオブジェクトの位置を算出することと、前記三次元空間における前記オブジェクトの位置に基づいて、レーダーにより取得される第１の信号強度マップから偽像に相当する領域を排除し、かつオブジェクト領域を特定することと、画像認識された前記オブジェクトの種別と前記オブジェクト領域とを対応付けることと、を含む、情報処理方法が提供される。

前記情報処理方法は、カメラにより撮影された画像データに基づいて、前記画像データ上における前記オブジェクトの位置と前記オブジェクトの種別を認識すること、をさらに含み、前記対応付けることは、前記画像データ上における前記オブジェクトの位置を前記第１の信号強度マップに対応する座標に変換し、前記オブジェクトの種別と前記オブジェクト領域とを対応付けること、をさらに含んでもよい。

前記特定することは、前記第１の信号強度マップから第１のオブジェクト候補領域を抽出し、前記三次元空間におけるオブジェクトの位置に基づいて、前記第１のオブジェクト候補領域の中から前記オブジェクト領域を特定すること、をさらに含んでもよい。

前記特定することは、前記三次元空間におけるオブジェクトの位置の重心と、前記第１のオブジェクト候補領域の重心とを比較し、前記オブジェクト領域を特定すること、をさらに含んでもよい。

前記情報処理方法は、前記三次元空間における前記オブジェクトの位置に基づくシミュレーションにより得られた第２の信号強度マップから第２のオブジェクト候補領域を抽出すること、をさらに含み、前記特定することは、前記第２のオブジェクト候補領域に基づいて、前記オブジェクト領域を特定すること、をさらに含んでもよい。

前記特定することは、前記第１のオブジェクト候補領域と前記第２のオブジェクト候補領域の重なりを評価し、前記オブジェクト領域を特定すること、をさらに含んでもよい。

前記対応付けることは、前記画像データ上における前記オブジェクトの位置の重心に基づいて、前記オブジェクト領域での、前記画像データ上における前記オブジェクトの存在確率を算出し、前記オブジェクトの種別と前記オブジェクト領域とを対応付けること、をさらに含んでもよい。

以上説明したように本発明によれば、レーダーの受信信号に物体識別に係る正解データを動的に付与することが可能となる。

本発明の第１の実施形態に係る信号強度マップの一例を示す図である。同実施形態に係る正解データの一例である。同実施形態に係る情報処理装置の機能ブロック図の一例である。同実施形態に係る領域特定部により抽出されるオブジェクト候補領域の一例を示す図である。同実施形態に係るオブジェクトに係る点群とオブジェクト候補領域との突合について説明するための図である。同実施形態に係る識別部による画像上におけるオブジェクトの識別について説明するための図である。同実施形態に係る統合部による座標の変換について説明するための図である。同実施形態に係る情報処理装置の動作の流れを示すフローチャートである。本発明の第２の実施形態に係る情報処理装置の動作の流れを示すフローチャートである。本発明の一実施形態に係る情報処理装置のハードウェア構成例である。画像認識に係る学習に用いられるデータセットの一例を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜１．背景＞
まず、本技術思想の発想に至った背景について説明する。上述したとおり、近年では、物体（以下、オブジェクト、とも称する）の識別に関する様々な手法が開発されている。上記のような手法の一例としては、画像データ上におけるオブジェクトの種別などを識別する画像認識が挙げられる。

近年では、画像認識に係る研究が非常に盛んに行われており、画像認識の精度を競うコンペティションなども多く開催されている。また、画像認識に用いるデータセットを提供するデータベースも存在する。例えば、上記のデータベースの一つであるＩｍａｇｅＮｅｔには、約１千４百万ものデータセットが公開されている。

図１１は、画像認識に係る学習に用いられるデータセットの一例を示す図である。図１１には、画像認識に用いられる画像データＩＭ１と、画像データＩＭ１上のオブジェクトに係る正解データＣＬが示されている。ここで、正解データＣＬは、例えば、図示するように、オブジェクトのセグメンテーションに係る情報やオブジェクトの種別に係る情報が含まれてもよい。図１１に示す一例の場合、正解データＣＬは、オブジェクトＯ１およびＯ２に係る情報を含み、オブジェクトＯ１およびＯ２がそれぞれ人および乗用車であることを示している。

このようなデータセットは、通常、人手を介して生成され、データベースに登録される。画像認識分野においては、このような大量のデータセットを物体認識に係る学習に用いることで、精度の高い認識器を構築することが可能である。

一方、上述したように、動物体の識別においては、レーダーにより取得される受信信号を用いることも期待される。しかし、レーダーの受信信号については、上記のような既存のデータセットの数が乏しく、学習に用いることが可能なデータセットを容易に収集することができない、という現状がある。

これは、人がレーダーの受信信号を可視化した情報のみを確認して、オブジェクトの反応に起因する信号領域を特定することが困難であることから、画像認識のようなデータセットを容易に生成できないためである。

例えば、受信素子が多素子のＦＭＣＷ（ＦｒｅｑｕｅｎｃｙＭｏｄｕｌａｔｅｄＣｏｎｔｉｎｕｏｕｓＷａｖｅ）レーダーを用いた場合、受信信号に基づいて、物体に係る角度、距離、および速度を算出することが可能である。この際、例えば、上記の角度および距離を２軸にとり、信号強度を可視化したデータ（以下、信号強度マップ、と称する）を得ることができる。

図１は、本実施形態に係る信号強度マップの一例を示す図である。一方、図２は、本実施形態に係る正解データの一例である。ここで、上記の正解データとは、信号強度マップにおいて特定されるオブジェクト領域とオブジェクトの種別とを含むデータであってよい。また、上記のオブジェクト領域とは、オブジェクトに起因する反応を示す信号領域を示す。なお、本実施形態に係る正解データにおいて、オブジェクトの種別は、オブジェクト領域の色分けやメタデータの付加などにより示されてもよい。例えば、図２に示すオブジェクト領域ＯＣ１は、乗用車に起因する反応を示す信号領域であってもよい。

ここで、図１における信号強度マップを参照すると、レーダーの受信信号から得られる信号強度マップには、識別対象であるオブジェクトに起因する反応のほか、オブジェクトが存在しない位置においても強い信号強度が検出されていることがわかる。これは、フーリエ変換のサイドローブなどにより偽像が発生するためである。

このため、図２に示すような正解データを作成するためには、信号強度マップにおいて、偽像を排除してオブジェクト領域を定義し、さらに、受信信号が取得された時間と位置情報を基に撮像された画像データなどからオブジェクトの種別を特定したうえで、上記のオブジェクト領域とオブジェクトの種別とを対応付ける必要がある。しかし、上記のような工程を人手で行うには、作業負担が大きいことから、より簡易またより正確に正解データを生成する手法が望まれていた。

本技術思想は、上記の点に着目して発想されたものであり、レーダーの受信信号から得られる信号強度マップに係る正解データを自動的に生成することを可能とする。このために、本発明の一実施形態に係る情報処理方法および情報処理装置は、距離画像に基づいて三次元空間におけるオブジェクトの位置を算出し、当該三次元空間におけるオブジェクトの位置に基づいて、レーダー受信信号から取得される信号強度マップにおけるオブジェクト領域を自動的に特定すること、を特徴の一つとする。また、本発明の一実施形態に係る情報処理方法および情報処理装置は、特定した上記のオブジェクト領域と認識されたオブジェクトの種別とを自動的に対応付けることを特徴の一つとする。

本発明の一実施形態に係る情報処理方法および情報処理装置が有する上記の特徴によれば、レーダーにより得られる信号強度マップに係る正解データを大量に生成することができ、例えば、ディープニューラルネットワークなどによる学習を行うことで、レーダーの受信信号による精度の高いオブジェクトの識別を行うことが可能となる。

＜２．第１の実施形態＞
＜＜２．１．情報処理装置１０の機能構成例＞＞
次に、本発明の第１の実施形態に係る情報処理方法を実現する情報処理装置１０の機能構成例について説明する。図３は、本実施形態に係る情報処理装置１０の機能ブロック図の一例である。図１を参照すると、本実施形態に係る情報処理装置１０は、センサ部１１０、データ収集部１２０、位置算出部１３０、領域特定部１４０、識別部１５０、および統合部１６０を備える。

（センサ部１１０）
本実施形態に係るセンサ部１１０は、オブジェクトに係る信号を受信するレーダー１１２、ＬＩＤＡＲ１１４、およびカメラ１１６などのセンサを備える。この際、レーダー１１２、ＬＩＤＡＲ１１４、およびカメラ１１６は、互いにキャリブレーションを行うものとする。

この際、レーダー１１２およびＬＩＤＡＲ１１４は、共にオブジェクトまでの距離および角度が取得可能であるため、互いの設置関係に基づくキャリブレーションを行うことが可能である。また、カメラ１１６とレーダー１１２またはＬＩＤＡＲ１１４間のキャリブレーションについては、カメラ１１６が有する撮影特性と互いの設置関係に基づくキャリブレーションを行うことが可能である。具体的には、カメラ１１６により撮影される画像データに係る二次元座標と対象空間に係る三次元座標とを対応付ける変換式に基づく算出を行うことができる。なお、以降の説明において用いる座標は、例えば、レーダー１１２などいずれかのセンサを基準とした実空間における座標とする。

（データ収集部１２０）
本実施形態に係るデータ収集部１２０は、センサ部１１０のレーダー１１２、ＬＩＤＡＲ１１４、およびカメラ１１６が受信する信号を収集する機能を有する。

（位置算出部１３０）
本実施形態に係る位置算出部１３０は、距離画像に基づいて三次元空間におけるオブジェクトの位置を算出する機能を有する。上記の距離画像は、三次元空間における座標情報を有するデータであってよく、例えば、データ収集部１２０により取得されるＬＩＤＡＲ１１４のデータであってよい。本実施形態に係る位置算出部１３０は、例えば、車、自転車、人など予め設定された所定のオブジェクトの座標を算出する。

この際、ＬＩＤＡＲ１１４により得られる距離画像には、一定の角度間隔で照射されるレーザーの向きに対する反射物体（オブジェクト）までの距離が点群により現れる。このため、位置算出部１３０は、上記の点群をオブジェクトごとに分類し、各オブジェクトの位置を算出する処理を行う。この際、位置算出部１３０は、例えば、非特許文献１に記載されるようなパーティクルフィルタを用いて上記の処理を行ってもよい。また、例えば、位置算出部１３０は、非特許文献２に記載されるような手法を用いて上記の処理を行うことも可能である。このように、本実施形態に係る位置算出部１３０は、種々の手法を用いて、距離画像からオブジェクトに起因する点群のみを取得し、オブジェクトごとに分類する。

（領域特定部１４０）
本実施形態に係る領域特定部１４０は、位置算出部１３０により算出された三次元空間におけるオブジェクトの位置に基づいて、レーダー受信信号から取得される信号強度マップにおけるオブジェクト領域を特定する機能を有する。より具体的には、領域特定部１４０は、まず、上記の信号強度マップからオブジェクト候補領域を抽出し、三次元空間におけるオブジェクトの位置に基づいて、オブジェクト候補領域の中から実際にオブジェクトに起因する反応を示す信号領域であるオブジェクト領域を特定する。

この際、領域特定部１４０は、例えば、データ収集部１２０が収集したレーダーの受信信号から算出される角度および距離を２軸とした信号強度マップを生成する。なお、領域特定部１４０が生成する信号強度マップは、上記の例に限定されず、距離および速度の２軸をとるものであってもよいし、距離、角度、および速度の３軸をとるものであってもよい。また、距離ｒおよび角度θから、ｘ＝ｒｃｏｓθ、ｙ＝ｒｓｉｎθ、により実空間の二次元座標に変換されてもよい。

例えば、レーダー１１２が多素子ＦＭＣＷレーダーである場合、領域特定部１４０は、受信信号に二次元ＦＦＴ（ＦａｓｔＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ：高速フーリエ変換）をかけることで、距離および角度を２軸とした信号強度マップを得ることができる。すなわち、領域特定部１４０は、周波数掃引１回分の受信信号に対してＦＦＴを施すことで距離を算出し、得られた結果をさらに素子（受信アンテナ）方向に並べてＦＦＴをかけることによって角度を算出することができる。上記のような手法により、領域特定部１４０は、図１に示したような信号強度マップを生成する。

次に、領域特定部１４０は、図１に示したような信号強度マップからオブジェクト候補領域を抽出する。この際、領域特定部１４０は、信号強度マップにおいて信号強度が閾値以上である領域を抽出してよい。なお、抽出するオブジェクト候補領域の数を抑えるために、上記の閾値を高く設定することは望ましくない。これは、後段の処理において、位置算出部１３０が算出したオブジェクトの位置に基づくオブジェクト候補領域の絞りを行うことから、抽出されるオブジェクト候補領域が多いことは大きな問題とはならないためである。

また、領域特定部１４０は、一定の閾値を用いてオブジェクト候補領域の抽出を行ってもよいが、下記の数式（１）に示すレーダー方程式によれば、信号強度は距離の２乗に反比例することから、距離に応じて閾値を変化させてもよい。例えば、領域特定部１４０は、下記の数式（２）を用いることで、閾値Ｔｈ（ｄ）を距離ｄが遠くなるほど小さな値とすることができる。ただし、下記の数式（１）におけるＰは送信電力［ｗ］を、Ｇはアンテナのゲインを、σ_０は反射断面積［ｍ^２］をそれぞれ示し、数式（２）におけるαは定数であってよい。

図４は、本実施形態に係る領域特定部１４０により抽出されるオブジェクト候補領域の一例を示す図である。図４には、信号強度マップにおいて領域特定部１４０が抽出したオブジェクト候補領域ＯＣ１～ＯＣ４が示されている。この際、領域特定部１４０が抽出するオブジェクト候補領域ＯＣ１～ＯＣ４には、レーダーの多重反射による偽像やフーリエ変換によるサイドローブなどが含まれ得る。このため、本実施形態に係る領域特定部１４０は、位置算出部１３０により取得されたオブジェクトに係る点群とオブジェクト候補領域とを突合することで、偽像などを除去し、オブジェクト領域を特定することができる。

図５は、本実施形態に係るオブジェクトに係る点群とオブジェクト候補領域との突合について説明するための図である。図５には、信号強度マップにおいて抽出されたオブジェクト候補領域ＯＣ１～ＯＣ４と、信号強度マップに投影されたオブジェクトに係る点群ＬＰとが示されている。

この際、領域特定部１４０は、各オブジェクト候補領域ＯＣ１～ＯＣ４の重心座標Ｃ_ｒと、各オブジェクトに係る点群ＬＰの重心座標Ｃ_ｌとをそれぞれ算出する。また、領域特定部１４０は、各オブジェクトに係る点群ＬＰの集合をＱとし、このうちｎ番目のオブジェクトの重心座標をＣ_ｌ（ｎ）_ｎ∈Ｑとする。続いて、領域特定部１４０は、すべてのＱについて、Ｃ_ｌ（ｎ）_ｎ∈Ｑと最も近い重心座標Ｃ_ｒを有するオブジェクト候補領域を選択することで、ｎ番目のオブジェクトに係るオブジェクト領域を特定することができる。例えば、図５に示す一例の場合、領域特定部１４０は、オブジェクト候補領域ＯＣ１をオブジェクト領域として特定し、図２に示すように偽像などに相当するオブジェクト領域ＯＣ２～ＯＣ４を排除した信号強度マップを得てよい。

（識別部１５０）
本実施形態に係る識別部１５０は、オブジェクトの種別を識別する機能を有する。具体的には、本実施形態に係る識別部１５０は、カメラ１１６が撮像した画像データに基づいて、当該画像データ上におけるオブジェクトの位置とオブジェクトの種別とを識別する。

図６は、識別部１５０による画像上におけるオブジェクトの識別について説明するための図である。図６の一例には、カメラ１１６が撮像した画像データＩＭ２と、画像データＩＭ２上において識別部１５０が識別したオブジェクトＯ１とが示されている。このように、本実施形態に係る識別部１５０は、画像データ上のオブジェクトを識別し、当該オブジェクトの位置および種別を矩形領域により示してもよい。

この際、識別部１５０は、例えば、非特許文献３や非特許文献４に記載されるような深層学習（ディープラーニング）を用いた手法によりオブジェクトの識別を行ってもよい。また、識別部１５０は、例えば、非特許文献５に記載されるような深層学習手法を用いてピクセル単位でオブジェクトの識別を行うことも可能である。なお、上記の手法はあくまで一例であり、本実施形態に係る識別部１５０は、画像認識分野で用いられる種々の手法を用いて画像データ上におけるオブジェクトの位置および種別を識別してよい。

また、本実施形態に係る識別部１５０は、レーダー１１２の受信信号と、正解データを用いた学習により生成された認識器により、オブジェクトの種別を識別する機能を有してよい。すなわち、識別部１５０は、レーダー受信信号から得られる信号強度マップにおけるオブジェクト領域と画像データから取得された前記オブジェクトの種別とを関連付けて学習された学習結果に基づいて、オブジェクトの種別を識別する。識別部１５０が有する上記の機能によれば、レーダーの受信信号のみを用いてオブジェクトの識別が可能となり、ロバスト性の高いオブジェクト識別を実現することができる。

（統合部１６０）
本実施形態に係る統合部１６０は、識別部１５０が認識したオブジェクトの種別（以下、ラベル、とも称する）と領域特定部１４０が特定したオブジェクト領域とを対応付ける機能を有する。この際、本実施形態に係る統合部１６０は、識別部１５０が認識した画像データ上におけるオブジェクトの位置を信号強度マップに対応する座標に変換することで、オブジェクトの種別と信号強度マップにおけるオブジェクト領域とを対応付ける。

図７は、本実施形態に係る統合部１６０による座標の変換について説明するための図である。図７の左側には、オブジェクトの一例である歩行者Ｐ１およびＰ２、乗用車Ｖ１およびＶ２が撮影された画像データＩＭ３が示されている。この際、本実施形態に係る統合部１６０は、図右側に示すように、画像データＩＭ３に係る二次元座標と対象空間に係る三次元座標とを対応付ける変換式に基づいて、歩行者Ｐ１およびＰ２、乗用車Ｖ１およびＶ２の座標を、角度および距離の２軸による座標に変換することができる。

続いて、統合部１６０は、領域特定部１４０が特定したオブジェクト領域と、識別部１５０が識別したオブジェクトの種別との対応付けを行う。この際、カメラ１１６による位置の計測精度は、レーダー１１２やＬＩＤＡＲ１１４と比較して低く、また、カメラ１１６による位置計測は、レーダー１１２やＬＩＤＡＲ１１４によるオブジェクトの反射面からの反応に基づく位置計測とは性質が異なる。

このため、本実施形態に係る統合部１６０は、例えば、識別部１５０が識別した画像データ上のオブジェクトの集合をＣとし、Ｑ_ｉ（∈Ｃ）の重心座標を（θ_Ｃ，ｒ_ｃ）とし、（θ_Ｃ，ｒ_ｃ）を中心とした分散σ_Ｃの二次元ガウス分布を当てはめることにより、オブジェクトＯ_ｉの各座標での存在確率Ｐ_Ｑｉ（θ，ｒ）を求める。続いて、統合部１６０は、領域特定部１４０が特定したｊ番目のオブジェクト領域Ｒ_ｊに対応付けるオブジェクトの種別（ｌａｂｅｌ_Ｒｊ）を下記の数式（３）により決定する。ただし、下記の数式（３）において、Ｐ_Ｒｊ（θ，ｒ）は、（θ，ｒ）がオブジェクト領域Ｒ_ｊ内の座標である場合に１、それ以外の場合には０であるものとする。また、Ｌａｂｅｌ（Ｏ）は、オブジェクトＯのオブジェクト種別を表す。

統合部１６０による上記の演算によれば、領域特定部１４０が特定したオブジェクト領域において、画像データから得られたオブジェクトの存在確率が最も高いラベルを選択することが可能となる。

＜＜２．２．情報処理装置１０の動作の流れ＞＞
次に、本実施形態に係る情報処理装置１０の動作の流れについて説明する。図８は、本実施形態に係る情報処理装置１０の動作の流れを示すフローチャートである。

図８を参照すると、まず、データ収集部１２０がセンサ部１１０からセンサ情報を収集する（Ｓ１１０１）。ここで、上記のセンサ情報には、レーダー１１２による受信信号、ＬＩＤＡＲ１１４による距離画像、およびカメラ１１６による画像データが含まれる。

次に、位置算出部１３０は、ステップＳ１１０１において収集された距離画像に基づいて、三次元空間におけるオブジェクトの位置を算出する（Ｓ１１０２）。

次に、領域特定部１４０は、生成した信号強度マップにおいて信号強度が閾値以上の領域をオブジェクト候補領域として抽出する（Ｓ１１０３）。

続いて、領域特定部１４０は、ステップＳ１１０２において算出されたオブジェクトの位置に基づいて、ステップＳ１１０３において抽出したオブジェクト領域の中からオブジェクト領域を特定する（Ｓ１１０４）。

次に、識別部１５０は、画像データ上におけるオブジェクトの位置と種別を識別する（Ｓ１１０５）。

次に、統合部１６０は、ステップＳ１１０５において識別された画像データ上におけるオブジェクトの位置を信号強度マップに対応する座標に変換し、オブジェクトの種別とオブジェクト領域とを対応付ける（Ｓ１１０６）。

以上、本実施形態に係る情報処理装置１０の動作の流れについて詳細に説明した。上述したように、本実施形態に係る情報処理装置１０によれば、オブジェクトに起因する信号領域（オブジェクト領域）にオブジェクトの種別を示すラベルを付与した正解データを自動的に生成することが可能となる。

＜３．第２の実施形態＞
＜＜３．１．第２の実施形態の概要＞＞
次に、本発明の第２の実施形態について説明する。上記の第１の実施形態では、オブジェクト領域の特定において、ＬＩＤＡＲ１１４により得られた点群とオブジェクト候補領域とを突合する際、それぞれの重心座標が最も近いものを対応付ける場合について説明した。しかし、当該手法では、複数のオブジェクトが近い場所に存在する場合には、誤った対応付けが行われる可能性も否定できない。

そこで、本発明の第２の実施形態では、ＬＩＤＡＲ１１４により得られた点群とオブジェクト候補領域とを突合する際、上記点群にレーダーを照射した際のシミュレーション結果から得られた信号強度マップにさらに基づいて、オブジェクト領域の特定を行ってよい。

レーダー１１２により取得される実際の受信信号は、ＬＩＤＡＲ１１４により取得されるデータよりも、シミュレーションにより取得されるデータにより近い性質を持つ。このため、レーダーに係るシミュレーション結果を用いる第２の実施形態では、ＬＩＤＡＲ１１４により取得される点群を直接利用する第１の実施形態と比較して、偽像などを抑制する精度が高まることが期待される。

なお、以下の説明においては、第１の実施形態との差異について中心に述べ、第１の実施形態と共通する構成、機能、効果などについては、詳細な説明を省略する。

＜＜３．２．シミュレーション結果に基づくオブジェクト領域の特定＞＞
上述したように、本実施形態では、レーダーに係るシミュレーション結果に基づいてオブジェクト領域の特定が行われる。この際、本実施形態に係る領域特定部１４０は、例えば、非特許文献６や非特許文献７に記載されるような手法に基づいて、上記のシミュレーション結果を得ることができる。

具体的には、領域特定部１４０は、レーダーによる送信波、オブジェクトへの入射波、オブジェクトからの反射波、および反射波の増幅に係るパラメータ設定を行い、算出されたエコーを信号処理することで、オブジェクトの距離を得ることができる。

まず、領域特定部１４０は、例えば、下記の数式（４）を用いて送信波ｘ（ｔ）の算出を行う。ここで、下記の数式（４）における、Ｘ（ｔ）はＦＭＣＷ方式によって生成された原信号を、Ｐはピーク電力［Ｗ］を、Ｇ_ｓは送信器の利得［ｄＢ］を、Ｌ_ｓは送信器の損失［ｄＢ］をそれぞれ示す。領域特定部１４０は、上記のような各パラメータを設定することで、送信波の設計を行うことができる。なお、ＦＭＣＷに係るパラメータとしては、例えば、周波数の掃引幅や掃引時間などが挙げられる。

次に、領域特定部１４０は、オブジェクトへの入射波の算出を行う。この際、領域特定部１４０は、アンテナ間の伝搬には自由空間伝搬モデルを採用してもよいし、伝搬距離の設定には往復モデルを採用してもよい。領域特定部１４０は、例えば、下記の数式（５）～（７）によりオブジェクトへの入射波ｙ（ｔ）を算出する。ここで、下記の数式（５）におけるτ_ｒｔは、地点時間［ｓｅｃ］を示し、下記の数式（７）におけるＰ_ｒおよびＰ_ｃは、それぞれレーダーの位置［ｍ］およびオブジェクトの位置［ｍ］を示す。領域特定部１４０は、Ｐ_ｒおよびＰ_ｃなどのパラメータを設定することで、入射波の設計を行うことができる。

次に、領域特定部１４０は、オブジェクトからの反射波の算出を行う。この際、領域特定部１４０は、例えば、下記の数式（８）および（９）によりオブジェクトからの反射波Ｓｉｇ（ｔ）を算出することができる。ここで、下記の数式（８）におけるＲＣＳは、オブジェクトの反射特性を示すパラメータである。領域特定部１４０は、画像データに基づいて識別されたオブジェクトの種別に基づいてＲＣＳを設定することも可能である。

次に、領域特定部１４０は、反射波に基づくエコーの算出を行う。この際、領域特定部１４０は、例えば、下記の数式（１０）および（１１）によりエコーＥｃｈｏ（ｔ）を算出することができる。ここで、下記の数式（１０）におけるｗは単一分散ノイズを、Ｇ_ｒは受信器の利得［ｄＢ］を、Ｌ_ｒは、受信器の損失［ｄＢ］をそれぞれ示し、下記の数式（１１）におけるｋ_Ｂはボルツマン定数を、Ｂはサンプリングレートを、Ｔは基準温度を、Ｆはノイズ強度をそれぞれ示す。領域特定部１４０は、Ｇ_ｒ、Ｌ_ｒ、Ｂ、Ｔ、およびＦなどのパラメータを設定することで、エコーの設計を行うことができる。

次に、領域特定部１４０は、上記で得たエコーＥｃｈｏ（ｔ）に基づいて、下記の数式（１２）～（１５）によりオブジェクトの距離Ｒｎｇ［ｍ］を算出する。ただし、下記の数式（１５）におけるＢは周波数の掃引幅［ｄＢ］を示し、Ｔは周波数の掃引時間［ｓｅｃ］を示す。

領域特定部１４０は、上記のように算出した距離Ｒｎｇをさらに素子（受信アンテナ）方向に並べてＦＦＴをかけることによって角度を算出し、シミュレーションに基づく信号強度マップを得ることができる。以下、実際の受信信号により得られる信号強度マップを第１の信号強度マップ、シミュレーションにより得られる信号強度マップを第２の信号強度マップとも称する。

この際、シミュレーションに基づく第２の信号強度マップについてもフーリエ変換のサイドローブなどに起因する偽像が生じ得ることから、領域特定部１４０は、位置算出部１３０により得られたオブジェクトの点群との突合を行うことで偽像を排除し、第２の信号強度マップに係るオブジェクト候補領域（以下、第２のオブジェクト候補領域、とも称する）を抽出する。

次に、領域特定部１４０は、第２のオブジェクト候補領域Ｒ_ｓに基づいて、実際の受信信号に基づく第１の信号強度マップに係るオブジェクト候補領域Ｒ_ｒ（以下、第１のオブジェクト候補領域、とも称する）から、オブジェクト領域Ｒ_Ｒｓを特定する。この際、領域特定部１４０は、下記の数式（１６）によりオブジェクト領域Ｒ_Ｒｓを特定することができる。ただし、下記の数式（１６）におけるＮ_Ｒｒは第１のオブジェクト候補領域Ｒ_ｒの面積、Ｎ_Ｒｓは第２のオブジェクト候補領域Ｒ_ｓの面積、Ｎ_{Ｒｒ，Ｒｓ}は第１のオブジェクト候補領域Ｒ_ｒと第２のオブジェクト候補領域Ｒ_ｓとが重なる面積をそれぞれ示す。

すなわち、本実施形態に係る領域特定部１４０は、それぞれの第２のオブジェクト候補領域Ｒ_ｓにおいて、すべての第１のオブジェクト候補領域Ｒ_ｒとのＩｏＵ（ＩｎｔｅｒｓｅｃｔｉｏｎｏｆＵｎｉｔ）を算出し、当該値が最大となる第１のオブジェクト候補領域Ｒ_ｒを抽出することで、偽像などを排除し、オブジェクト領域Ｒ_Ｒｓとを特定することができる。

＜＜３．３．情報処理装置１０の動作の流れ＞＞
次に、本実施形態に係る情報処理装置１０の動作の流れについて説明する。図９は、本実施形態に係る情報処理装置１０の動作の流れを示すフローチャートである。なお、図９におけるステップＳ２１０１～Ｓ２１０３、Ｓ２１０７、Ｓ２１０８における処理は、図８に示したステップＳ１１０１～Ｓ１１０３、Ｓ１１０５、Ｓ１１０６における処理と実質的に同一であってよいため、説明を省略する。

図９を参照すると、領域特定部１４０は、ステップＳ２１０３において、第１の信号強度マップから第１のオブジェクト候補領域を抽出したのち、レーダーの受信信号に係るシミュレーションを行う（Ｓ２１０４）。

続いて、領域特定部１４０は、ステップＳ２１０４におけるシミュレーション結果から得た第２の信号強度マップから第２のオブジェクト候補領域を抽出する（Ｓ２１０５）。

続いて、領域特定部１４０は、第２のオブジェクト候補領域に基づいて第１の候補領域からオブジェクト領域を特定する（Ｓ２１０６）。

以上、本実施形態に係る情報処理装置１０の動作の流れについて説明した。本実施形態に係る情報処理装置１０によれば、実際の受信信号に基づく第１の候補領域とシミュレーション結果に基づく第２の候補領域の重なりを評価することで、第１の候補領域から偽像などをより効果的に排除すること可能となる。

＜４．第３の実施形態＞
次に、本発明の第３の実施形態について説明する。上記の第２の実施形態では、シミュレーション結果に基づく第２の信号強度マップから抽出した第２のオブジェクト候補領域に基づいて、実際の受信信号に基づく第１の候補領域からオブジェクト領域を特定する場合について説明した。

一方、本発明の第３の実施形態では、レーダーの受信信号に係るシミュレーション結果のみに基づいて、正解データの生成を行ってよい。すなわち、本実施形態に係る情報処理装置１０は、ＬＩＤＡＲ１１４などにより得られた距離画像に基づくレーダー受信信号のシミュレーション結果からオブジェクト領域を特定し、当該オブジェクト領域に識別されたオブジェクトの種別を対応付けることで正解データを生成することが可能である。

この際、上記のシミュレーション結果には、第２の実施形態の場合と同様にフーリエ変換のサイドローブなどに起因する偽像が発生し得るが、これらは、第１の実施形態に示した処理を行うことにより排除が可能である。

また、本実施形態に係るレーダー受信信号のシミュレーションに用いられる距離画像は、ＬＩＤＡＲ１１４により取得されるデータのほか、例えば、オブジェクトに係る３Ｄモデルなどであってもよい。さらに、当該３Ｄモデルに予めオブジェクトの種別に係る情報が付与されている場合には、統合部１６０は、上記の情報に基づいて、オブジェクト領域とオブジェクト種別とを対応付けることも可能である。

＜５．ハードウェア構成例＞
次に、本発明の一実施形態に係る情報処理装置１０のハードウェア構成例について説明する。図１０は、本発明に係る情報処理装置１０のハードウェア構成例を示すブロック図である。図１０を参照すると、情報処理装置１０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力部８７８と、出力部８７９と、記憶部８８０と、ドライブ８８１と、接続ポート８８２と、通信部８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。

（ＣＰＵ８７１）
ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、記憶部８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。

（ＲＯＭ８７２、ＲＡＭ８７３）
ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。

（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。

（入力部８７８）
入力部８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、マイク、及びレバー等が用いられる。さらに、入力部８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力部８７８は、撮像素子や、レーダーやＬＩＤＡＲに係る受信素子を含む。

（出力部８７９）
出力部８７９には、例えば、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置（表示装置）、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、出力部８７９は、上述したような各種のレーダー、ＬＩＤＡＲなどを含んでよい。

（記憶部８８０）
記憶部８８０は、各種のデータを格納するための装置である。記憶部８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。

（ドライブ８８１）
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。

（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。

（接続ポート８８２）
接続ポート８８２は、例えば、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（ＳｍａｌｌＣｏｍｐｕｔｅｒＳｙｓｔｅｍＩｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。

（外部接続機器９０２）
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。

（通信部８８３）
通信部８８３は、ネットワーク９０３に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（ＷｉｒｅｌｅｓｓＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（ＡｓｙｍｍｅｔｒｉｃＤｉｇｉｔａｌＳｕｂｓｃｒｉｂｅｒＬｉｎｅ）用のルータ、又は各種通信用のモデム等である。また、内線電話網や携帯電話事業者網等の電話網に接続してもよい。

＜６．まとめ＞
以上説明したように、本発明の一実施形態に係る情報処理方法および情報処理装置は、距離画像に基づいて三次元空間におけるオブジェクトの位置を算出し、当該三次元空間におけるオブジェクトの位置に基づいて、レーダー受信信号から取得される信号強度マップにおけるオブジェクト領域を自動的に特定すること、を特徴の一つとする。また、本発明の一実施形態に係る情報処理方法および情報処理装置は、特定した上記のオブジェクト領域と認識されたオブジェクトの種別とを自動的に対応付けることを特徴の一つとする。係る構成によれば、レーダーの受信信号に物体識別に係る正解データを動的に付与することが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は係る例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

また、本発明の一実施形態に係る情報処理装置１０の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、情報処理装置１０の処理に係る各ステップは、フローチャートに記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

１０情報処理装置
１１０センサ部
１１２レーダー
１１４ＬＩＤＡＲ
１１６カメラ
１２０データ収集部
１３０位置算出部
１４０領域特定部
１５０識別部
１６０統合部

Claims

ＬＩＤＡＲにより取得された距離画像に基づいて三次元空間におけるオブジェクトの位置を算出することと、
前記三次元空間における前記オブジェクトの位置に基づいて、レーダーにより取得される第１の信号強度マップから偽像に相当する領域を排除し、かつオブジェクト領域を特定することと、
画像認識された前記オブジェクトの種別と前記オブジェクト領域とを対応付けることと、
を含む、
情報処理方法。
カメラにより撮影された画像データに基づいて、前記画像データ上における前記オブジェクトの位置と前記オブジェクトの種別を認識すること、
をさらに含み、
前記対応付けることは、前記画像データ上における前記オブジェクトの位置を前記第１の信号強度マップに対応する座標に変換し、前記オブジェクトの種別と前記オブジェクト領域とを対応付けること、をさらに含む、
請求項１に記載の情報処理方法。
前記特定することは、前記第１の信号強度マップから第１のオブジェクト候補領域を抽出し、前記三次元空間におけるオブジェクトの位置に基づいて、前記第１のオブジェクト候補領域の中から前記オブジェクト領域を特定すること、をさらに含む、
請求項１または２に記載の情報処理方法。
前記特定することは、前記三次元空間におけるオブジェクトの位置の重心と、前記第１のオブジェクト候補領域の重心とを比較し、前記オブジェクト領域を特定すること、をさらに含む、
請求項３に記載の情報処理方法。
前記三次元空間における前記オブジェクトの位置に基づくシミュレーションにより得られた第２の信号強度マップから第２のオブジェクト候補領域を抽出すること、
をさらに含み、
前記特定することは、前記第２のオブジェクト候補領域に基づいて、前記オブジェクト領域を特定すること、をさらに含む、
請求項３または４に記載の情報処理方法。
前記特定することは、前記第１のオブジェクト候補領域と前記第２のオブジェクト候補領域の重なりを評価し、前記オブジェクト領域を特定すること、をさらに含む、
請求項５に記載の情報処理方法。
前記対応付けることは、前記画像データ上における前記オブジェクトの位置の重心に基づいて、前記オブジェクト領域での、前記画像データ上における前記オブジェクトの存在確率を算出し、前記オブジェクトの種別と前記オブジェクト領域とを対応付けること、をさらに含む、
請求項２に記載の情報処理方法。