JP7095746B2 - センサ情報統合システム、及びセンサ情報統合方法 - Google Patents

センサ情報統合システム、及びセンサ情報統合方法 Download PDF

Info

Publication number
JP7095746B2
JP7095746B2 JP2020553726A JP2020553726A JP7095746B2 JP 7095746 B2 JP7095746 B2 JP 7095746B2 JP 2020553726 A JP2020553726 A JP 2020553726A JP 2020553726 A JP2020553726 A JP 2020553726A JP 7095746 B2 JP7095746 B2 JP 7095746B2
Authority
JP
Japan
Prior art keywords
information
unit
attribute
sensor
attribute information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020553726A
Other languages
English (en)
Other versions
JPWO2020090390A1 (ja
Inventor
俊樹 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020090390A1 publication Critical patent/JPWO2020090390A1/ja
Application granted granted Critical
Publication of JP7095746B2 publication Critical patent/JP7095746B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Image Analysis (AREA)

Description

本発明は、カメラや電波センサなど複数のセンサにより取得されたセンサ情報を統合するセンサ情報統合システム、センサ情報統合方法、プログラム、及び記録媒体に関する。
カメラやレーダー、電波センサ、音波センサなどの各種のセンサを用いて、対象物（人も含む）や端末の検知および識別を行い、当該対象物の位置を推定したり追跡したりするシステムが提案されている。
また、近年では、各種センサで取得した位置情報や識別情報を統合することで、各々のセンサの長所短所を補完して、一部センサにおける死角も含めて対象物を追跡可能な、複数センサ間の統合連携システム（センサフュージョン）も提案されている。
各種センサで検知した対象の位置情報や識別情報を統合して高精度化するためには、それぞれのセンサで検知した対象物について、どれとどれが同じ対象物なのかを対応付けること、すなわち対象物同士の対応付け（紐付け、名寄せ、同定、マッチング）が重要である。対応付けが正しく行われると、当該対象物に関する複数センサ間の情報を統合して高精度化することが可能となる。一方で、誤った対応付けが行われると、異なる対象物を１つの対象物と判断してしまい、誤検知や精度低下の原因となる。したがって、複数センサ間で検知した対象物間における対応付け処理は、複数センサ間の統合連携システム（センサフュージョン）において重要な処理となる。
ここで、対応付けのための主要な方法の１つとして、例えば特許文献１乃至３には、各々のセンサで取得した対象の位置推定情報を用いる方法が開示されている。
特開２００９－２８４４４２号公報 国際公開２００９／１１３２６５号公報 特開２００６－０６０５３２号公報
しかしながら、特許文献１乃至３に開示された技術のように、各センサで検知した対象物間における距離の情報のみを用いて対応付け可否を判断する場合には、一定のエリア内に複数の対象物が存在すると双方のセンサの位置推定精度等に起因して、誤った対応付けが発生したり、対応付けができなかったりするという問題が生じる。
例えば、電波強度に基づいた電波発信源の位置推定精度は、電波センサの設置間隔等に依存し、一例として、数メートル～十数メートル程度である。また、カメラを用いた映像情報に基づいた対象物の位置推定精度は、カメラから対象物までの距離にも依存することから、一例として、数メートル程度である。また、対応付けの信頼度と対応付けに要する時間との間にはトレードオフの関係が生じうる。このため、上述した技術では、短時間で且つ高信頼な対応付けは困難であるという問題がある。
本発明の目的は、複数のセンサで検知した対象物同士の対応付けを行うことにより各々のセンサで推定された情報を統合する場合において、適切な対応付けを実現することである。
本発明の一つの態様に係る情報統合システムは、第１の対象物から送信される無線フレームを解析して、前記第１の対象物に関する第１の属性情報を抽出する無線フレーム解析部と、第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、前記第２の対象物に関する第２の属性情報を抽出する映像解析部と、前記第１の属性情報と前記第２の属性情報とを用いて、前記第１の対象物と前記第２の対象物との対応付けを判定する対応判定部と、を備える。
本発明の一つの態様に係る情報統合方法は、第１の対象物から送信される無線フレームを解析して、前記第１の対象物に関する第１の属性情報を抽出することと、第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、前記第２の対象物に関する第２の属性情報を抽出することと、前記第１の属性情報と前記第２の属性情報とを用いて、前記第１の対象物と前記第２の対象物との対応付けを判定することと、を含む。
本発明の一つの態様に係るプログラムは、第１の対象物から送信される無線フレームを解析して、前記第１の対象物に関する第１の属性情報を抽出することと、第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、前記第２の対象物に関する第２の属性情報を抽出することと、前記第１の属性情報と前記第２の属性情報とを用いて、前記第１の対象物と前記第２の対象物との対応付けを判定することと、をプロセッサに実行させる。
本発明の一つの態様に係る記録媒体は、第１の対象物から送信される無線フレームを解析して、前記第１の対象物に関する第１の属性情報を抽出することと、第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、前記第２の対象物に関する第２の属性情報を抽出することと、前記第１の属性情報と前記第２の属性情報とを用いて、前記第１の対象物と前記第２の対象物との対応付けを判定することと、をプロセッサに実行させるプログラムを記録したコンピュータに読み取り可能な非一時的記録媒体である。
本発明によれば、複数のセンサで検知した対象物同士の対応付けを行うことにより各々のセンサで推定された情報を統合する場合において、適切な対応付けを実現することが可能になる。なお、本発明により、当該効果の代わりに、又は当該効果とともに、他の効果が奏されてもよい。
図１は、第１の実施形態であるセンサ情報統合システム１００の全体構成を示す図である。 図２は、対応判定部２１の具体的な構成例を示す図である。 図３は、物体及びふるまい認識部４３により推定される上記第２の属性情報（ふるまい情報）の例を示す図である。 図４は、電波探知部３０における無線フレーム解析部３３により推定される上記第１の属性情報(ふるまい情報)の例を示す図である。 図５は、対応判定部２１における対応付け判定処理の動作シーケンスの例を示す図である。 図６は、センサＡがカメラを用いた映像解析を行い、センサＢが電波探知を行う場合について、検知対象物の例を示す図である。 図７は、映像解析部４０により推定された検知対象物Ａ１における各属性との一致度と、電波探知部３０により推定された検知対象物Ｂ１，Ｂ２における各属性との一致度を示す表である。 図８は、判定処理部７４の処理フローの一例を示す図である。 図９は、第１の実施形態の適用例を示す図である。 図１０は、本実施形態における効果の例を示す図である。 図１１は、第２の実施形態であるセンサ情報統合システム１０１の全体構成を示す図である。 図１２は、図１１に示した対応判定部２１ｂの構成例を示す図である。 図１３は、第２の実施形態の適用例を示す図である。 図１４は、第２の実施形態における対応判定部２１ｂの対応付け判定処理の動作シーケンスを示す図である。 図１５は、３次元空間にも適用可能に拡張した場合のセンサ統合システムの全体像を示す図である。 図１６は、第３の実施形態に係るセンサ情報統合システム１０２の概略的な構成の例を示すブロック図である。
以下、添付の図面を参照して本発明の実施形態を詳細に説明する。なお、本明細書及び図面において、同様に説明されることが可能な要素については、同一の符号を付することにより重複説明が省略され得る。
説明は、以下の順序で行われる。
１．本発明の実施形態の概要
２．第１の実施形態
３．第２の実施形態
４．第３の実施形態
５．実施形態の効果
６．他の形態
＜＜１．本発明の実施形態の概要＞＞
まず、本発明の実施形態の概要を説明する。
（１）技術的課題
カメラやレーダー、電波センサ、音波センサなどの各種のセンサを用いて、対象物（人も含む）や端末の検知および識別を行い、当該対象物の位置を推定したり追跡したりするシステムが提案されている。
また、近年では、各種センサで取得した位置情報や識別情報を統合することで、各々のセンサの長所短所を補完して、一部センサにおける死角も含めて対象物を追跡可能な、複数センサ間の統合連携システム（センサフュージョン）も提案されている。
各種センサで検知した対象の位置情報や識別情報を統合して高精度化するためには、それぞれのセンサで検知した対象物について、どれとどれが同じ対象物なのかを対応付けること、すなわち対象物同士の対応付け（紐付け、名寄せ、同定、マッチング）が重要である。対応付けが正しく行われると、当該対象物に関する複数センサ間の情報を統合して高精度化することが可能となる。一方で、誤った対応付けが行われると、異なる対象物を１つの対象物と判断してしまい、誤検知や精度低下の原因となる。したがって、複数センサ間で検知した対象物間における対応付け処理は、複数センサ間の統合連携システム（センサフュージョン）において重要な処理となる。
ここで、対応付けのための主要な方法の１つとして、例えば下記の文献には、各々のセンサで取得した対象の位置推定情報を用いる方法が開示されている。
例えば、特開２００９－２８４４４２号公報には、人物と携帯端末との対応を自動的に認識する装置が開示されている。具体的には、カメラで検知した人物の位置と、電波センサで検知した携帯端末の位置とを比較して、距離が閾値以下の場合に当該人物と携帯端末を対応付ける。これにより、通信端末の有するデータや機能を対応する人物に対して適正に提供することが可能になる。しかしながら、この場合、対応付けのための情報として検知された人物と検知された携帯端末間の距離だけが使用されている。このため、双方のセンサの位置推定精度や対応付け判定用の閾値に依存して、誤対応が発生したり、対応付けができなかったりという問題が生じる。具体的には、比較的小さな閾値を設定した場合には真の対象物が対応付け候補から外れて誤対応する可能性が高くなる。一方、比較的大きな閾値を設定した場合には、複数の対象物が対応付け候補となり、対応付けができない可能性が高くなってしまう。
また、国際公開２００９／１１３２６５号公報には、無線端末との無線通信、および監視対象の撮影画像に基づいて、監視対象の位置を特定するシステムが提案されている。具体的には、双方のセンサの測位精度を比較して起点として探索する対象物を選択したり、探索範囲を設定したりする方法が提案されている。これにより、対象物同士の対応付けを行った上で位置情報を確率的に統合することにより、位置特定精度を向上することができる。しかしながら、この場合も、対応付けを判定するための情報として位置情報のみが使用されている。このため、一定の範囲内に複数の対象物が存在すると、位置推定精度に依存して誤対応が増える、もしくは、対応付けに長時間を要する（なかなか対応付けできない）という問題がある。
さらに、特開２００６－０６０５３２号公報には、ピッチ内にて競技を行う競技者に携帯させた無線タグが発信する電波の電界強度に基づいて各競技者のピッチ内における存在位置が特定されること、中継ソース画像の撮像エリア内に一又は複数の競技者が進入したと判定すると進入した競技者の属性情報を中継ソース画像に合成することが開示されている。この場合、指向性アンテナを複数用いること等により、位置推定精度の向上が可能であるが、上述したように、一定の範囲内に複数の対象物（競技者など）が存在すると区別できないという課題が発生する。
上述した技術のように、各センサで検知した対象物間における距離の情報のみを用いて対応付け可否を判断する場合には、一定のエリア内に複数の対象物が存在すると双方のセンサの位置推定精度等に起因して、誤対応が発生したり対応付けができなかったりするという問題が生じる。
例えば、電波強度をベースにした電波発信源の位置推定精度は、電波センサの設置間隔等に依存し、一例として、数メートル～十数メートル程度である。また、カメラを用いた映像情報からの対象物の位置推定精度は、カメラから対象までの距離にも依存するため、一例として、数メートル程度である。
したがって、検知対象物である人物や端末が、数メートル以内の範囲に複数存在する場合には、比較的小さな閾値を設定した場合には真の対象物が対応付け候補から外れて誤対応する可能性が高くなる。一方、比較的大きな閾値を設定した場合には、複数の対象物が対応付け候補となり、対応付けが難しくなる可能性が高くなってしまう。さらに、対応付けの信頼度と対応付けに要する時間との間にはトレードオフの関係が生じうる。このため、上述した技術では、短時間で且つ高信頼な対応付けが困難であるという問題がある。
本実施形態の目的は、複数のセンサで検知した対象物同士を対応付けし、個々のセンサで推定した情報を統合する場合において、適切な対応付けを実現することである。より具体的に、本実施形態の目的は、複数のセンサで検知した対象物同士を、短時間で且つ高信頼な対応付けすることを実現することである。
（２）技術的特徴
本発明の実施形態では、例えば、第１の対象物から送信される無線フレームを解析して、上記第１の対象物に関する第１の属性情報を抽出し、第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、上記第２の対象物に関する第２の属性情報を抽出し、上記第１の属性情報と上記第２の属性情報とを用いて、上記第１の対象物と上記第２の対象物との対応付けを判定する。
これにより、例えば、複数のセンサで検知した対象物同士を対応付けし、個々のセンサで推定した情報を統合する場合において、適切な対応付けを実現することが可能になる。
また、上記第１の属性情報は、例えば、上記第１の対象物が搭載された搭載物に関する情報と、上記無線フレームが伝送される通信ノードに関する情報と、上記第１の対象物の通信動作に関する情報とのうちの、少なくとも１つの情報を含む。
例えば、上記第１の対象物が搭載された搭載物に関する情報は、上記搭載物の種類（端末、車両、船舶、ＵＡＶなど）を示す情報と、上記搭載物の機種名又は製造ベンダに関する情報、上記搭載物の製造国又は渡航国に関する情報とのうちの少なくとも１つを含む。また、上記無線フレームが伝送される通信ノードに関する情報は、センサネットワークのハブ局（例えば、ゲートウェイ）又は端末局（例えばセンサ局）に関する情報を含む。上記第１の対象物の通信動作に関する情報は、待受中と操作中と通話中とのうちのいずれか１つの動作に関する情報を含む。より具体的な、これらの情報の例については後述する。
また、上記第２の属性情報は、例えば、上記第２の対象物を識別するための情報と、上記第２の対象物の通信動作に関する情報と、上記第２の対象物に取り付けられたアンテナの配置に関する情報とのうちの、少なくとも１つの情報を含む。また、上記第２の対象物を識別するための情報は、人の年齢と性別と出身地とのうち少なくとも１つに関する情報を含む。
上記第２の対象物を識別するための情報は、上記第２の対象物の種類を示す情報と人の年齢と性別と出身地とのうち少なくとも１つに関する情報を含む。また、上記第２の対象物の通信動作に関する情報は、待受中と操作中と通話中とのうちのいずれか１つの動作に関する情報を含む。また、上記第２の対象物に取り付けられたアンテナの配置に関する情報は、アンテナの伸長又は収納に関する情報を含む。より具体的なこれらの情報の例については後述する。
なお、上述した技術的特徴は本発明の実施形態の具体的な一例であり、当然ながら、本発明の実施形態は上述した技術的特徴に限定されない。
本実施形態によれば、受信電波を用いて発信源の位置情報を推定するだけでなく、その周波数、受信電力、フレーム長、ヘッダ、転送頻度などの無線フレーム情報を用いて、発信源の属性情報(ふるまい情報)を推定する。また、カメラからの映像情報を用いた映像解析により、位置情報と属性情報(ふるまい情報)の両方を推定する。そして、両者の位置情報に加えて、両者の属性情報も考慮して対応付けを行い、その対応付けには、両者の推定精度を考慮した重み付けを行うことで、より高信頼に判定する。
すなわち、受信電波の情報を用いて対象のふるまいを推定する無線フレーム解析の結果と、映像を用いて対象の物体やその行動(ふるまい)を推定する映像解析の結果から、同時に起こり得る共起関係を抽出して対応付ける(紐付ける)。
これにより、各々のセンサで検知した対象同士の位置情報(距離情報)だけでなく、対象の属性情報(ふるまい情報)を推定して対応付け判定に用いることで、対応付けの信頼度を向上させることができる。例えば、複数の対象が近傍（一定のエリア内）に存在する場合に、位置情報だけでは各々のセンサの位置推定精度に応じて対応付けの信頼度が低下するが、各々の対象が独立した属性情報(ふるまい情報)を持っている場合、より信頼性の高い対応付けが可能となる。
また、副次的な効果として、センサ情報の統合(紐付け)を高精度にできると、取得した属性情報を相補的に結合および補完できるため、対象の識別性能が合わせて向上する。例えば、侵入禁止区域に立ち入ったのは、「ＵＡＶ操作中の子供である」等と推定できる。または、「ｘ＝３５，ｙ＝４５０地点の車両が、業務グループ（自営網）Ａの自律ネットワークのハブ局である」等と推定できる。
以下では、図１から図１５を参照して、本発明の実施の形態について詳細に説明する。第１の実施形態では、センサ情報統合システムの例として、電波センサからの無線信号を解析する電波探知部、カメラからの映像を解析する映像解析部、電波解析結果と映像解析結果とを統合するセンサフュージョン部の基本構成と特徴、動作について詳説する。
また、第２の実施形態では、各センサからの位置推定の確度情報を用いて対応判定処理に用いる閾値を候補点ごとに算出することにより、候補点ごとに動的に変化する位置推定の信頼度を積極的に対応付け判定に活用する場合の例について説明する。
＜＜２．第１の実施形態＞＞
（１）構成
図１は、第１の実施形態であるセンサ情報統合システム１００の全体構成を示す図である。センサ情報統合システム１００は、電波探知部と映像解析部などの各種センサ解析部を備え、センサフュージョン部により電波解析結果と映像解析結果を対応付けして統合し、位置情報や識別情報を高精度化するセンサ情報統合システムの全体構成を示す図である。
すなわち、センサ情報統合システム１００は、各種センサ解析部（電波探知部３０、映像解析部４０）と、センサフュージョン部２０と、を備える。また、センサ情報統合システム１００は、データ入力手段として、１つまたは複数の電波センサ３１と、１つ以上のカメラ４１を備えてもよい。電波探知部３０は、位置推定部３２と無線フレーム解析部３３とを含む。また、映像解析部４０は、位置推定部４２と、物体及びふるまい認識部４３を含む。なお、センサ情報統合システム１００は、各種センサ解析部として、電波探知部３０や映像解析部４０の他に、各種レーダーやレーザー(Light Detection and Ranging: LiDAR)、音響センサなどで取得した信号を解析する他センサ解析部を含んでもよい。
電波探知部３０は、例えば、複数の電波センサ３１で受信した電波の強度情報を用いて、位置推定部３２にて発信源（第１の対象物）の位置推定を行い、位置推定情報を出力する。ここで、位置推定部３２は、位置推定処理における確度情報（誤差の確率分布や標準偏差等）も算出して出力してもよい。
無線フレーム解析部３３は、上記第１の対象物から送信される無線フレームを解析して、上記第１の対象物に関する第１の属性情報を抽出する。具体的には、無線フレーム解析部３３は、上記第１の対象物からの受信電波の周波数、受信電力、フレーム長、ヘッダ、及び転送頻度などの無線フレーム情報を用いて、発信源（上記第１の対象物）の属性やふるまいを推定し、上記第１の属性情報（ふるまい情報）を出力する。
また、映像解析部４０は、カメラ４１で撮像した第２の対象物の映像情報を用いて、顔認証や人物認識、物体認識や移動体検知などの映像解析処理を行い、その検知した上記第２の対象物の位置も推定する。具体的には、位置推定部４２は、認識対象（上記第２の対象物）の位置推定処理を行う。なお、位置推定部４２は、位置推定処理における確度情報（誤差の確率分布や標準偏差等）も合わせて出力してもよい。
映像解析部４０（物体及びふるまい認識部４３）は、上記第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、上記第２の対象物に関する第２の属性情報を抽出する。具体的に、映像解析部４０（物体及びふるまい認識部４３）は、複数の映像を用いた機械学習や対象物に含まれる特徴解析など、映像解析による物体認識やふるまい認識を行い、認識した対象（上記第２の対象物）の上記第２の属性情報（ふるまい情報）を出力する。
また、センサフュージョン部２０は、対応判定部２１、位置情報統合部２２、及び識別情報統合部２３などを含み、電波探知部３０および映像解析部４０からの位置推定情報、確度情報、識別情報などを統合して位置情報や識別情報を高精度化する。センサフュージョン部２０（対応判定部２１）は、上記第１の属性情報と上記第２の属性情報とを用いて、上記第１の対象物と上記第２の対象物との対応付けを判定する。言い換えれば、センサフュージョン部２０（対応判定部２１）は、各センサで検知した対象のどれとどれが対応しているかを判定する。そして、センサフュージョン部２０は、対応判定部２１での対応付け結果を基にして、位置情報統合部２２により位置情報を統合し、識別情報統合部２３により識別情報を統合する。換言すれば、位置情報統合部２２は、対応判定部２１により対応付け判定した結果と、上記第１の対象物の位置情報と、上記前記第２の対象物の位置情報とを用いて、検知対象の位置情報を統合する。また、識別情報統合部２３は、対応判定部２１により対応付け判定した結果と、上記第１の属性情報と、上記第２の属性情報とを用いて、検知対象の識別情報を統合する。
また、対応判定部２１は、上記第１の対象物の位置情報と上記第２の対象物の位置情報とを更に用いて、上記第１の対象物と上記第２の対象物との対応付けを判定してもよい。図２は、対応判定部２１の具体的な構成例を示す図である。対応判定部２１は、図２に示すように、類似度算出部７１、距離算出部７２、閾値算出部７３、及び判定処理部７４を備える。
類似度算出部７１は、上記第１の属性情報と上記第２の属性情報との類似度を算出する。言い換えれば、類似度算出部７１は、主に、電波探知部３０や映像解析部４０などの各センサで検知した対象の属性情報(ふるまい情報)を基に、対象同士の属性情報の類似度を算出する。
距離算出部７２は、各センサで推定した対象の位置情報（上記第１の対象物の位置情報および上記第２の対象物の位置情報）を基に、検知した対象同士、すなわち上記第１の対象物と上記第２の対象物との間の距離を算出する。
閾値算出部７３は、各センサからの位置推定の確度情報を用いて対応判定処理に用いる閾値を算出する。言い換えれば、閾値算出部７３は、上記第１の対象物の位置情報と上記第２の対象物の位置情報とに基づいた位置推定の確度情報を用いて対応判定処理に用いる閾値を算出する。
判定処理部７４は、類似度算出部７１で求めた各対象同士の類似度と、距離算出部７２で求めた各対象同士の距離と、閾値算出部７３で算出した閾値とを用いて対応付け可否を判定する。
（２）動作
次に、第１の実施形態に係るセンサ情報統合システム１００の動作について、図１から図９を参照して説明する。
まず、図１に示したように、電波探知部３０や映像解析部４０などの各種センサ解析部にて、対象物（上記第１の対象物、上記第２の対象物）の検知、識別、及び当該対象物の位置推定処理を行う。例えば、電波探知部３０は、複数の電波センサ３１で受信した電波情報により特定の発信源（上記第１の対象物）を検知し、位置推定部３２により受信電波の強度情報や到来時間差情報等を用いて当該発信源（上記第１の対象物）の位置を推定する。また、無線フレーム解析部３３は、受信電波の周波数、受信電力、フレーム長、ヘッダ、転送頻度などの無線フレーム情報を用いて、発信源（上記第１の対象物）の属性やふるまいを推定し、上記第１の属性情報(ふるまい情報)として出力する。
また、映像解析部４０は、カメラ４１で撮像した映像情報を用いて、顔認証や人物認識、物体認識や移動体検知などの映像解析処理を行い、位置推定部４２により認識対象（上記第２の対象物）の位置座標を推定する。また、物体及びふるまい認識部４３は、映像解析による物体認識やふるまい認識を行い、認識対象（上記第２の対象物）の上記第２の属性情報（ふるまい情報）を出力する。
なお、電波探知部３０や映像解析部４０における対象の位置推定処理の際に、位置推定部３２、４２にて位置推定の確度情報を計算してもよい。確度情報の例としては、位置推定尤度の確率分布（２次元のガウス分布、等方的なガウス分布、正規分布など）とその標準偏差や分散などが相当する。
図３は、物体及びふるまい認識部４３により推定される上記第２の属性情報（ふるまい情報）の例を示す図である。物体及びふるまい認識部４３は、種々の映像解析エンジンを用いて映像から物体や人物等のふるまい情報を識別する。映像解析エンジンとしては、例えば、機械学習を用いた認識エンジン等を用いることができる。図３の例では、認識対象として、ＵＡＶ（Unmanned Aerial Vehicle）（ドローン）、車両、人物（通話中の人物、端末操作中の人物、待受中の人物）等が識別される。ＵＡＶ、車両、人物（通話中、操作中、待受中）等を認識および識別する動作に関し、撮影された多数の画像や映像は、事前に機械学習等を用いた認識エンジンに学習される。ここで、人物のふるまいに関し、耳の付近に手を挙げている人物を「通話中人物」として学習させ、胸や腰の前あたりに何らかの端末等を持っている人物を「操作中人物」として学習させ、それ以外の人物を「待受中人物」として学習させて分類することが想定される。そして、ＵＡＶ、車両、通話中人物、操作中人物、待受中人物、などの認識結果（分類結果、各々の認識対象である確率、一致度など）が上記第２の属性情報(ふるまい情報)として出力される。
図４は、電波探知部３０における無線フレーム解析部３３により推定される上記第１の属性情報(ふるまい情報)の例を示す図である。具体的に、図４は、上記第１の属性情報(ふるまい情報)の例として、ＵＡＶのＵＬ(Uplink, 上り制御チャネル)、ＵＡＶのＤＬ(Downlink, 下りデータチャネル)、携帯端末の待受中、携帯端末の操作中、携帯端末の通話中、の各状態で当該無線機から送信される電波の特徴に関して、縦軸を周波数、横軸を時間として模式的に無線信号情報をプロットしたものである。例えば、図４（ａ）に示すように、ＵＡＶのＵＬ（上りの制御信号伝送）では、一般的にFrequency Hopping方式（ＦＨ）による通信方式が用いられるため、時間と共に電波の周波数帯がHoppingするような無線信号となる。図４（ｂ）に示すように、ＵＡＶのＤＬ（下りのデータ信号伝送）では、主にＵＡＶ上のカメラ映像データが連続的に伝送されるため、ある周波数帯域を占有するような無線信号となる。図４（ｃ）に示すように、携帯端末の待受中では、比較的長時間の時間間隔（例：３０秒～数分など）ごとに通信するような無線信号となる。これは、例えばＷｉ－Ｆｉではプローブリクエストの送信間隔に対応し、ＬＴＥ等のセルラでは、バックグラウンド通信や位置登録更新の送信間隔に対応する。図４（ｄ）に示すように、携帯端末の操作中では、比較的短時間の時間間隔（例：数秒～十数秒など）ごとに通信するような無線信号となる。これは、例えば、Ｗｉ－Ｆｉでは端末操作中にプローブリクエストの頻度が待受中に比べて増加することや、ＬＴＥ等のセルラではＷｅｂアクセスやＳＮＳ等の通信が発生することに対応する。図４（ｅ）に示すように、携帯端末の通信中では、音声通信に対応するプロトコルに沿った無線信号となる。言い換えれば、ある周波数帯域をほぼ占有し、一定の伝送レートで通信するような無線信号となる。
そこで、無線フレーム解析部３３は、受信した無線信号フレームを解析することにより、これらのＵＡＶ(UL)、ＵＡＶ(DL)、携帯端末(待受中)、携帯端末(操作中)、携帯端末(通話中)などを識別する。例えば、機械学習を用いた信号解析エンジンを用いたり、ＵＡＶや携帯端末における通信方式（周波数帯や通信プロトコル）と上記ふるまいとを区別するための転送間隔の情報を用いたりして、解析的に分類してもよい。前者の機械学習に基づいた解析エンジンが用いられる場合には、受信電波の信号特徴量（受信電力、受信周波数、パケット長、パケット数、転送間隔、など）と、それに対応する正解データ、すなわち、分類対象であるＵＡＶ(UL)、ＵＡＶ(DL)、携帯端末(待受中)、携帯端末(操作中)、携帯端末(通話中)などの各属性(ふるまい)に関する情報とを組みにして、沢山のデータを入力して事前に学習させることで、分類する手法が想定される。また、後者の解析的に分類する場合には、電波を受信した際に上記の信号特徴量を抽出してテーブル引きしたり、相関を計算して閾値判定したりすることにより、各属性情報(ふるまい情報)のいずれが妥当かを推定する手法が想定される。そして、ＵＡＶ(UL)、ＵＡＶ(DL)、携帯端末(待受中)、携帯端末(操作中)、携帯端末(通話中)などの識別結果（分類結果、各々の属性対象である確率、一致度など）が上記第１の属性情報(ふるまい情報)として出力される。
次に、センサフュージョン部２０は、電波探知部３０や映像解析部４０などの各種センサ解析部から出力される属性情報と位置推定情報を用いて、まず、対応判定部２１により、各種センサで検知した対象のどれとどれが対応しているかの対応付け判定（同定判定、紐付け判定）を行う。そして、対応判定部２１による対応付け判定によって複数のセンサ解析部により検知された対象同士が同一（対応している）と判定された場合は、位置情報統合部２２により各センサ解析部からの当該対象の位置推定情報を統合化することで対象位置を高精度化する。また、同様に、識別情報統合部２３により各センサ解析部からの当該対象の属性情報や識別情報等を統合化することで対象の識別情報を高精度化する。
センサフュージョン部２０における対応判定部２１の動作詳細について、図２から図９を用いて説明する。図５は、対応判定部２１における対応付け判定処理の動作シーケンスの例を示す図である。また、図６は、センサＡがカメラを用いた映像解析を行い、センサＢが電波探知を行う場合について、検知対象物の例を示す図である。ここで、センサＡ（例：映像解析部４０）の検知対象物Ａ１に対してセンサＢ（例：電波探知部３０）の検知対象物Ｂ１，Ｂ２のどれが対応するかを判定する場合を例として説明する。
まず、映像解析部４０と電波探知部３０の双方にて検知した対象群の中で、映像解析部４０にて検知した対象物（上記第２の対象物）に対して、電波探知部３０で検知したどの対象物（上記第１の対象物）が対応付け候補になり得るかを選択する（Ｓ０：対応付け候補選択)。選択基準として、各カメラ４１の撮像位置と各電波センサ３１の信号取得範囲などから可能性のあるものが選択される。例えば、図６に示す例では、映像解析による検知対象物Ａ１に対して、電波探知による検知対象として、その撮像範囲に入る検知対象物Ｂ１，Ｂ２が選択される。なお、双方で検知した全ての対象同士を対応付け候補としても、演算量等の観点で特に問題なければ、本処理が省略されてもよい。
次に、距離算出部７２は、センサ間における検知対象同士の距離を計算する（Ｓ２ａ：距離計算）。具体的には、センサＡ（映像解析部４０）で検知された検知対象物Ａ１に対して、センサＢ（電波探知部３０）で検知された検知対象物Ｂ１,Ｂ２のいずれが対応するか、またはいずれも対応しないか対応付け判定するための距離計算を行う。距離計算の例を、図６（ｂ）に示す。距離の計算は、一般的には各対象同士の間のユークリッド距離を計算するなどの手法が用いられる。
ここで、後述する対応判定処理にて対応付けの条件を満足せず対応判定処理を繰り返す場合を考慮して、算出した距離が時間平均化されてもよい（Ｓ２ｂ：距離計算（時間平均化））。ここで、時間平均化処理は、例えば、図６に示す例を想定すると、Ａ１－Ｂ１間の距離、及びＡ１－Ｂ２間の距離に関して、それぞれ位置推定結果を入力して距離を計算する度に時間平均処理が行われる。また、センサＡやセンサＢで位置推定が行われる度に確度情報（標準偏差や分散等の値）が動的に変化する場合は、その標準偏差の値などを用いて時間ごとに重み付けして時間平均化が行われてもよい。これにより信頼度を高めることが可能になる。
次に、閾値算出部７３は、電波探知部３０や映像解析部４０などの各種センサからの確度情報を用いて、後述する対応判定処理に用いる閾値を算出する（Ｓ３ａ：閾値計算）。ここで、図５に示す例では、閾値算出処理が距離算出処理と並行して実施される動作シーケンスであるが、これに限らず、例えば距離算出処理後に閾値算出を行う動作シーケンスであってもよい。例えば、図６に示す例では、検知対象物Ａ１への対応付け候補として、検知対象物Ｂ２が候補点となる。そして、閾値算出部７３は、検知対象物Ｂ２の検知対象物Ａ１への対応付け可否を判定するために、例えば、検知対象物Ａ１から閾値範囲の領域の中に検知対象物Ｂ２だけが含まれれば対応付け可とするように、閾値を決定する。例としては、映像解析部４０からの位置推定の確度情報(標準偏差)と、電波探知部３０からの位置推定の確度情報(標準偏差)の和を、閾値として算出できる。なお、閾値算出部７３においても、後述する対応判定処理にて対応付けの条件を満足せず対応判定処理を繰り返す場合を考慮して、算出した閾値を時間平均化してもよい。
次に、類似度算出部７１における属性(ふるまい)類似度の算出処理について説明する。具体的には、センサＡ（映像解析部４０）で検知した検知対象物Ａ１に対して、センサＢ（電波探知部３０）で検知した各対応付け候補の検知対象物Ｂ１,Ｂ２の属性類似度を計算する（Ｓ１ａ：類似度計算）。図７は、映像解析部４０により推定された検知対象物Ａ１における各属性との一致度と、電波探知部３０により推定された検知対象物Ｂ１，Ｂ２における各属性との一致度を示す表である。例えば、１．０は一致度１００％と推定されたことを意味し、０．０は一致度０％と推定されたことを意味している。類似度算出部７１により行われる属性類似度の計算としては、例えば、各々の属性一致度の積で求められることができる。図７の例では、検知対象物Ａ１と検知対象物Ｂ１の属性類似度は、属性「人物(待受中)」において最大で０．２７（０．３×０．９）、検知対象物Ａ１と検知対象物Ｂ２の属性類似度は、属性「人物(通話中)」において最大で０．７２（０．８×０．９）である。
ここで、属性類似度の算出処理においても、後述する対応判定処理にて対応付けの条件を満足せず対応判定処理を繰り返す場合を考慮して、距離算出処理と同様に、算出した各々の類似度が時間平均化されてもよい（Ｓ１Ｂ：類似度計算（平均化））。
最後に、判定処理部７４において対応判定処理が行われる。まず、距離算出部７２で算出された各対象同士の距離と、閾値算出部７３で算出された閾値を用いて対応付け可否を判定する（Ｓ４ａ：距離判定処理）。次に、距離による判定処理で対応付けできなかった場合に、類似度算出部７１で算出された属性類似度情報を用いて対応付け可否を判定する（Ｓ４Ｂ：対応判定処理）。
図８は、判定処理部７４の処理フローの一例を示す図である。まず、前述したように、センサＡ（映像解析部４０）で検知された検知対象物Ａ１に対して、センサＢ（電波探知部３０）で検知された検知対象物Ｂ１，Ｂ２などの対応付け判定が行われる場合、距離が最小である対象を候補点とし、それ以外の全ての候補対象を対抗点とする。例えば、図６に示す例では、検知対象物Ｂ２が候補点となり、検知対象物Ｂ１が対抗点となる。次に、検知対象物Ｂ２と検知対象物Ａ１との間の距離ＤＡ１Ｂ２と、閾値ＤＴＨとの比較を行い、候補点の距離の判定条件として、ＤＡ１Ｂ２≦ＤＴＨを満たすかどうか（候補対象Ｂ２が閾値以内の領域に存在するか）が判定される（Ｓ４ａ）。また、同様に、検知対象物Ｂ１と検知対象物Ａ１との間の距離ＤＡ１Ｂ１と、閾値ＤＴＨとの比較を行い、他の対抗点との距離の判定条件として、ＤＡ１Ｂ１＞ＤＴＨを満たすか（全ての検知対象物Ｂ１が閾値以内の領域には１つも存在しないか）を判定する（Ｓ４ｂ）。そして、本実施形態では、双方の判定条件を両方とも満足する場合に、候補対象Ｂ２を対象Ａ１と同一（対応している）として対応付け判定結果が出力される（Ｓ４ｃ）。
一方、最初の候補対象Ｂ２における閾値判定で判定条件を満足しない場合には、対応付け不可として、次の位置推定結果が得られるタイミングで対応付け判定を再度繰り返す（Ｓ４ｄ）。
更に、最初の候補対象である検知対象物Ｂ２における閾値判定（Ｓ４ａ）では判定条件を満足し、次の他の対抗である検知対象物Ｂ１における閾値判定（Ｓ４ｂ）では判定条件を満足しない場合、すなわち、閾値以内の領域に複数の候補点および対抗点が存在する場合にのみ、属性類似度を用いた対応付け判定（Ｓ４ｅ）が行われる。属性類似度を用いた対応付け判定では、例えば、候補対象Ｂである検知対象物Ｂ２の属性類似度が０．５以上であり（属性が似ていると判定され）、閾値以内に存在する他の全ての対抗対象である検知対象物Ｂ１の属性類似度が０．３未満（属性が似ていないと判定）であるか否かを判定する（Ｓ４ｅ）。本条件を満足する場合には、候補対象Ｂ２を対象Ａ１と同一（対応している）として対応付け判定結果（Ｓ４ｃ）が出力される。一方で、本条件を満足しない場合には、対応付け不可（対応付け候補を１つに絞り切れない）として、次の位置推定結果や属性推定結果が得られるタイミングで対応付け判定を再度繰り返す（Ｓ４ｄ）。例えば、図７に示す例では、Ａ１とＢ２の属性類似度は、属性「人物(通話中)」において０．７２（０．５以上）であり、Ａ１とＢ１の属性類似度は、属性「人物(待受中)」において０．２７（０．３未満）であるため、図８における上記条件を満たし、検知対象物Ｂ２は検知対象物Ａ１と対応付け可能として出力される。
また、センサフュージョン部２０は、上述したように、対応判定部２１により電波探知部３０や映像解析部４０等の各種センサで検知した対象同士が対応している（同一）と判定された場合、位置情報統合部２２により各センサ解析部からの当該対象の位置推定情報を統合化することで当該対象の位置を高精度化する。位置推定情報の統合方法としては、例えば、電波探知部３０や映像解析部４０から出力される当該対象の位置推定の確度情報（確率分布や標準偏差等）を基に、その信頼度を尤度として双方の確率分布を結合する結合確率分布を用いて統合する方法が用いられる。または、電波探知部３０や映像解析部４０から出力される位置推定結果に対して、各々の確度情報（標準偏差や分散等）を基にその信頼度で重み付けして平均化（加重平均）する方法が用いられてもよい。
更に、同様の手法にて、識別情報統合部２３により各センサ解析部からの当該対象の識別情報や属性情報を統合化することで対象の識別情報が高精度化される。例えば、図７に示す例では、対応判定部２１は、検知対象物Ｂ２が検知対象物Ａ１と対応付けられ、属性「人物(通話中)」において最大の属性類似度０．７２として出力される。すなわち、識別情報統合部２３でも、検知対象物Ａ１及びＢ２が同一であり、通話中の人物である可能性が高いものとして出力することができる。また、図７に示す例において、映像解析部４０からは検知対象物Ａ１が人物であり通話中や操作中である可能性が高いという情報が入力され、電波探知部３０からは検知対象物Ｂ２が通話中の人物または映像伝送中のＵＡＶである可能性が高いと入力される。識別情報統合部２３は、これらの情報を類似度算出部７１と同様の処理により、一致度の結合確率（積）を求めることで、属性情報の統合結果として、「通話中の人物」(確率０．７２＝７２％)として出力してもよい。
図９は、第１の実施形態の適用例を示す図である。これは、公共エリア等を通過したり待ち合わせしたりしている人物に関し、映像解析と電波探知による属性やふるまい情報を用いて統合や追跡精度を向上させる場合の例である。
電波探知部３０における無線フレーム解析部３３は、図１や図４を用いて説明した無線フレーム解析部３３の処理に加えて、無線機の機種として、端末（スマートフォン、携帯端末、ＩｏＴ端末、ＵＥ等)なのか、ＡＰ(アクセスポイント、基地局、モバイルルータ等)なのかを判定する。これは、例えばＷｉ－Ｆｉ信号であれば無線フレームを解析し、Ｐｒｏｂｅ Ｒｅｑｕｅｓｔフレーム等であれば発信源が端末であると属性判定可能であり、ビーコンやＰｒｏｂｅ Ｒｅｓｐｏｎｓｅフレーム等であれば発信源がＡＰであると属性判定可能である。なお、ＬＴＥの場合は、ＦＤＤなら周波数帯などから上り通信（端末側）、下り通信（基地局側）の属性判定が可能である。更に、端末の場合、無線フレーム内にあるＭＡＣアドレスの前半部分ＯＵＩ（Organizationally Unique Identifier）コード等から製品ベンダを、機種によっては後半部分から機種名等を解析することで、子供向け携帯なのか老人向け携帯なのか、なども推定することができる。また、ふるまい情報としては、その機種の製品ベンダのＯＵＩ登録国が販売国と一致すれば、居住国や渡航国に関係する情報を推定することもできる。また、Ｗｉ－Ｆｉの場合、端末からのＰｒｏｂｅ Ｒｅｑｕｅｓｔフレーム内に過去に接続したＡＰのＳＳＩＤ名が含まれることがあるため、そのＡＰの設置国がわかれば、同様に居住国や渡航国に相当する情報を推定できる可能性がある。
人物及びふるまい認識部４３ｂは、図１や図３を用いて説明した物体及びふるまい認識部４３の処理に加えて、人物の年齢や性別推定エンジン等を映像解析エンジンとして用いて、検知した人物の年齢や性別、自国民と外国人のいずれの可能性が高いか、等を推定する。
そして、センサ情報統合部（センサフュージョン部２０）は、図２における対応判定部２１により、図５から図８を用いて説明した対応判定処理によって各対象同士の対応付け判定を行った後、属性情報統合部２３ａや位置情報統合部２２でセンサ情報を統合および高精度化する。
類似度算出部７１や、属性情報統合部２３ａでは、図１や図７を用いて説明した各々の属性情報に加え、検知した人物の年齢属性（子供か老人かその他か）や、端末かＡＰかの機種属性、自国民か外国人かの渡航国情報なども、属性(ふるまい)情報として利用可能である。すなわち、類似度算出部７１は、紐付けのための属性類似度として上記追加の属性情報を利用可能である。属性情報統合部２３ａは、上記追加の属性情報も含めて、映像解析部４０からの上記第２の属性情報と電波探知部３０からの上記第１の属性情報との統合確率として、いずれの属性（ふるまい）である確率が高いか、などを出力可能である。
図１０は、本実施形態における効果の例を示す図である。上述したように、本実施形態では、電波探知部３０や映像解析部４０等の各種センサにおける位置推定処理に加えて、属性情報（ふるまい情報）を推定する処理を追加し、各対象同士の対応付け判定に、各属性情報の類似度を算出して用いることにより、より信頼度の高い対応付け判定を行うことが可能となる。具体的には、電波探知部３０に無線端末等の属性（ふるまい）を推定する無線フレーム解析部３３を備える。映像解析部４０には人物やモノの属性（ふるまい）を推定する物体及びふるまい認識部４３を備える。センサフュージョン部２０は、類似度算出部７１にて各々の対象間の属性類似度を算出し、その属性類似度の情報を対応付け判定に用いる。これにより、図１０（ａ）に示すように、位置情報だけでは各対象同士が近傍に存在してその時点では対応付けできないケースにおいても、図１０（ｂ）に示すように、属性類似度の情報を用いることで高信頼に対応付け可能と判定することができる。
また、副次的な効果として、センサ情報の統合（対応付け）を高精度にできると、取得した属性情報を相補的に結合及び補完することができる。これにより、対象の識別性能も向上することができる。具体的には、識別情報統合部２３にて、映像解析と電波探知による個々の様々な属性情報（ふるまい情報）を高精度に統合できるため、例えば、検出したのは「ＵＡＶ操縦中の子供である」等と推定することができる。
＜＜３．第２の実施形態＞＞
次に、第２の実施形態であるセンサ情報統合システムについて説明する。このセンサ情報統合システムは、対応判定部において、各センサから推定して入力される位置情報と属性(ふるまい)情報の信頼度とから各々の重み付け係数を算出し、重み付けした距離情報と属性類似度情報を統合した値を対応付け判定に用いる。
（１）構成
図１１は、第２の実施形態であるセンサ情報統合システム１０１の全体構成を示す図である。第２の実施形態におけるセンサ情報統合システム１０１は、第１の実施形態と同様に、各種センサ解析部（電波探知部３０、映像解析部４０）とセンサフュージョン部２０とを備える。また、センサ情報統合システム１０１は、上述した第１の実施形態と同様に、データ入力手段として、１つまたは複数の電波センサ３１と、１つ以上のカメラ４１を備えてもよい。電波探知部３０は、位置推定部３２と無線フレーム解析部３３ｂとを含む。また、映像解析部４０は、位置推定部４２と物体及びふるまい認識部４３ｂとを含む。なお、センサ情報統合システム１０１は、各種センサ解析部として、アクティブレーダーや各種レーザー（ＬｉＤＡＲ）、音響センサなどの解析部を備えてもよい。
また、センサフュージョン部２０は、各種センサ解析部（電波探知部３０、映像解析部４０）からの位置推定情報、確度情報、属性(ふるまい)情報などを統合して高精度化する。このため、センサフュージョン部２０は、対応判定部２１ｂ、位置情報統合部２２、識別情報統合部２３ｂ等を含む。
図１２は、図１１に示した対応判定部２１ｂの構成例を示す図である。対応判定部２１ｂは、類似度算出部７１、距離算出部７２、判定処理部７４ｂを備え、更に、第２の実施形態に特有の構成として、重み付け統合部７５を備える。
重み付け統合部７５は、類似度算出部７１により算出された類似度と距離算出部７２により算出された距離とを、上記第１の対象物の位置情報と上記第２の対象物の位置情報とに基づいた位置推定の確度情報を用いて重み付けして合成する。具体的に、重み付け統合部７５は、類似度算出部７１により算出された各対象物同士の類似度と、距離算出部７２により算出された各対象物同士の距離を、それぞれ規格化した上で、位置推定の確度情報等から重み付けして統合する処理を行う。そして、判定処理部７４は、統合された一致度情報に基づいた対応付け判定を行う。ここで、重み付け統合部７５は、電波探知と映像解析の位置情報の確度情報のみが入力される場合に限らず、各々の属性情報の確度情報も合わせて入力され、これらの情報を用いて上記重み付けを行うようにしてもよい。
（２）動作
第２の実施の形態の動作について図１１から図１４を参照して説明する。
図１３は、第２の実施形態の適用例を示す図である。これは、警察や消防、防災、防衛向け等の自営の業務無線ネットワークの運用に関し、映像解析と電波探知による属性情報（ふるまい情報）を用いて、業務無線ネットワークの構成や業務員の行動調査、異常を検知する場合の例を示す図である。
第２の実施形態の動作としては、図１１に示したように、まず、電波探知部３０や映像解析部４０などの各種センサ解析部にて、対象物（上記第１の対象物、上記第２の対象物）の検知、識別や、当該対象物の位置推定処理を行う。例えば、電波探知部３０において、無線フレーム解析部３３ｂは、無線発信機の属性（ふるまい）情報を解析する。また、映像解析部４０において、物体及びふるまい認識部４３ｂは、対象物の映像上での物体認識やふるまい推定を行う。なお、各々のセンサ解析部における対象物の位置推定処理の際に、位置推定部３２、４２により位置推定の確度情報を計算してもよい。確度情報の例としては、位置推定確率の標準偏差や分散などが用いられる。
第２の実施形態における無線フレーム解析部３３ｂに特有の動作について説明する。図１３に示したように、無線フレーム解析部３３ｂは、図１や図４を用いて説明した無線フレーム解析部３３の携帯端末とＵＡＶ等を識別するような処理に加えて、送信電力や伝送パケット数等の違いから、携帯端末と車両端末、センサ局とハブ局（ゲートウェイ）等を識別する処理を行う。このような処理は、車両端末が、センサネットワークの中で、ゲートウェイやハブ局の役割を担うことが多いことに着目したものである。具体的には、車両端末の場合、一般的には電源確保が容易であるため、携帯端末（センサ局）に比べて高い送信電力で信号出力される傾向にある。加えて、ハブ局（ゲートウェイ）の場合、携帯端末（センサ局）単体に比べて多くのパケット数が出力される傾向にある。例えば、無線フレーム解析部３３と同様の方法にてこれらの無線フレームを事前学習または解析的に処理することで、センサ局やハブ局などを分類することができる。無線フレーム解析部３３ｂは、第１の実施形態と同様、これらの識別結果（分類結果、各々の属性対象である確率、一致度など）を上記第１の属性情報(ふるまい情報)として出力する。
第２の実施形態における物体及びふるまい認識部４３ｂに特有の動作について説明する。物体及びふるまい認識部４３ｂは、図１や図３を用いて説明した物体及びふるまい認識部４３の処理を拡張し、人物やＵＡＶだけでなく、車両、船舶等も識別する処理を行う。例えば、物体及びふるまい認識部４３ｂは、物体及びふるまい認識部４３と同様に、例えば、これらの画像を事前に機械学習等を用いた認識エンジン等で学習することや、これらの画像上の対象物に含まれる特徴を解析することで、車両、船舶等を分類することができる。また、物体及びふるまい認識部４３ｂは、車両や船舶のふるまいとして、アンテナの伸長及び／又は収納状況を映像解析により分類してもよい。車両や船舶がアンテナを伸長していれば無線通信中である可能性が高く、収納中であれば無線通信中でない可能性が高いことに着目したものである。一般に、ハブ局やゲートウェイであれば周囲から見てわかるような高いアンテナが設置される可能性がある。物体及びふるまい認識部４３ｂは、認識結果（分類結果、各々の認識対象である確率、一致度など）を上記第２の属性情報(ふるまい情報)として出力する。
次に、センサフュージョン部２０は、電波探知部３０や映像解析部４０などの各種センサ解析部から出力される属性情報（ふるまい情報）と位置情報（確度情報）を用いて、まず、対応判定部２１ｂにより、各種センサで検知した対象物のどれとどれが対応しているかの対応付け判定（同定判定、紐付け判定）を行う。そして、センサフュージョン部２０は、対応判定部２１による対応付け判定によって複数のセンサ解析部にて検知した対象物が同一（対応している）と判定した場合は、位置情報統合部２２により、各センサ解析部からの当該対象物の位置推定情報を統合化することで対象物の位置情報を高精度化する。また、同様に、センサフュージョン部２０は、識別情報統合部２３ｂにより、各センサ解析部からの当該対象物の識別情報や属性情報を統合化することで対象物の識別情報を高精度化する。
センサフュージョン部２０における対応判定部２１ｂの動作詳細について、図１１から図１４を参照して説明する。図１４は、第２の実施形態における対応判定部２１ｂの対応付け判定処理の動作シーケンスを示す図である。図１４に示す例では、第１の実施形態と同様、センサＡ（例：映像解析部４０)の検知対象物Ａ１に対してセンサＢ（例：電波探知部３０）の検知対象物Ｂ１、Ｂ２のどれが対応するかを判定する場合を例として説明する。
まず、第１の実施形態と同様、必要に応じて、映像解析部４０により検知された対象物に対して、電波探知部３０により検知されたどの対象物が対応付け候補になり得るかが選択される（Ｓ１０：対応付け候補選択)。そして、第１の実施形態と同様、距離算出部７２により、各センサで検知した対象物同士間における距離が計算される（Ｓ１２ａ：距離計算）。ここで、後述する対応判定処理にて対応付けの条件を満足せず対応判定処理を繰り返す場合を考慮し、算出した距離が時間平均化されてもよい（Ｓ１２ｂ：距離計算（平均化））。
また、第１の実施形態と同様、類似度算出部７１により、属性(ふるまい)情報の類似度の算出処理が行われる（Ｓ１１ａ：類似度計算）。具体的には、センサＡ（映像解析部４０）により検知された対象物に対して、センサＢ（電波探知部３０）により検知された各対応付け候補対象物の属性類似度が計算される。ここで、属性類似度の算出処理においても、後述する対応判定処理にて対応付けの条件を満足せず対応判定処理を繰り返す場合を考慮して、距離算出処理と同様に、算出した各々の類似度が時間平均化されてもよい（Ｓ１１ｂ：類似度計算（平均化））。
次に、第２の実施形態に特有の処理として、重み付け統合部７５により、距離算出部７２により算出された検知対象物間の距離情報と、類似度算出部７１により算出された検知対象物間の属性類似度の情報を、正規化（規格化）した上で、重み付けして統合する処理が行われる。まず、検知対象物間の距離情報と、検知対象物間の属性類似度の情報が、それぞれ正規化（規格化）される（Ｓ１３ａ：正規化（規格化）処理）。例えば、属性類似度が、各属性(ふるまい)への一致度として０．０～１．０の範囲（０．０以上１．０以下）で出力される場合は、そのままで正規化（規格化）されるため、そのままの値が正規化した属性類似度として出力される。一方で、距離情報は、値が小さい方が近距離であるため一致度が高いこと、値が大きい方が離れているため一致度が低いことをそれぞれ意味する。このため、例えば、電波探知部３０の位置推定の確度情報（標準偏差×３）の平均値をα（α＝３σ）として、距離情報の一致度βを、β＝｛（α－算出した距離)／α｝としてそれぞれ規格化されて出力される。これにより、算出された距離が短い（０に近い）場合の一致度βは１に近づき、距離が長い（標準偏差×３に近い）場合の一致度βは０に近づく。
そして、規格化された距離の一致度βと、正規化された属性類似度のそれぞれが重み付けされて統合される（Ｓ１３ｂ：重み付け統合処理）。例えば、統合は次の式のように行われる。｛重み付け統合した一致度｝＝γ×（規格化した距離の一致度β）＋（１－γ）×（正規化した属性類似度）。規格化された距離の一致度βと正規化された属性類似度が同じ重みで統合される場合は、γ＝０．５として計算される。また、位置推定の確度情報や動作環境から、距離情報の信頼度が属性類似度に比べて高い場合はγの値を０．５より大きく１に近づけ、距離情報の信頼度が属性類似度に比べて低い場合はγの値を０．５より小さく０に近づける。これにより、位置推定と属性(ふるまい)推定の確度情報に基づいて、各々の一致度および類似度が重み付けされた上で統合される。ここで、重み付け統合部７５は、属性情報の確度情報が一定であると仮定して、電波探知と映像解析の位置情報の確度情報のみが入力されて重み付け係数γを相対的に計算しているがこれに限定されるものではない。つまり、重み付け統合部７５は、各々の属性情報の確度情報も合わせて入力され、これらの情報を用いて重み付け係数γを算出してもよい。
最後に、判定処理部７４ｂにより、重み付け統合された一致度情報に基づいて、対応付け判定が行われる。例えば、センサＡ（映像解析部４０）により検知された対象物Ａ１に対して、センサＢ（電波探知部３０）により検知された全ての対応付け候補となる対象物Ｂ１、Ｂ２などのうち、重み付け統合された一致度が最大の値を持つ対象物Ｂ２を候補点とし、それ以外の全ての対象物Ｂ１などを対抗点とする。そして、例えば、候補点の統合一致度が０．７以上であり、他の全ての対抗点の統合一致度が０．３未満の場合に、候補点Ｂ２が対応付け可能として出力される。一方で、上記条件を満たさない場合、すなわち、候補点の統合一致度が０．７未満である場合、または、他のいずれかの対抗点の統合一致度が０．３以上である場合は、対応付け不可として、検知された対象物の情報が更新された際に、再度、対応判定部２１ｂの処理が繰り返される。
また、センサフュージョン部２０は、第１の実施形態と同様、対応判定部２１ｂにて電波探知部３０や映像解析部４０等の各種センサにより検知された対象物同士が対応している（同一）と判定された場合、位置情報統合部２２により各センサ解析部からの当該対象物の位置推定情報を統合化することで当該対象の位置を高精度化する。また、センサフュージョン部２０は、第１の実施形態と同様、識別情報統合部２３ｂにより、各センサ解析部からの当該対象物の識別情報や属性情報（ふるまい情報）を統合化することで対象の識別情報を高精度化する。
類似度算出部７１や識別情報統合部２３ｂは、図１３に示すように、第２の実施形態に特有の属性情報を統合することができる。例えば、映像解析による属性情報（ふるまい情報）によって、人物、車両、ＵＡＶ、又は船舶などが推定され、更に、電波探知による属性情報（ふるまい情報）とも統合する。これにより、上述した対象のうち、どの対象物がハブ局（ゲートウェイ）で、どの対象物が端末（センサ局）であるのか、等を推定することができる。また、映像解析による各アンテナの伸長及び収縮状況とも組み合わせることによって、それらの推定精度を高めることもできる。結果として、検知対象物であるセンサネットワークのネットワーク全体の構成や、各ハブ局およびセンサ局の搭載機や存在位置を推定することができる。
すなわち、類似度算出部７１は、紐付けのための属性類似度として第２の実施形態に特有の属性情報を利用可能である。識別情報統合部２３ｂは、それらの属性情報も含めて、映像解析部４０からの属性情報と、電波探知部３０からの属性情報の統合及び結合確率として、どういう属性（ふるまい）である確率が高いか、などを出力することが可能である。つまり、一旦、対応判定部２１ｂにより対応付けられれば、映像解析による属性情報と、無線フレーム解析による属性情報を組み合わせることで、一方だけではわからなかった情報を補完する形で、属性情報（ふるまい情報）として出力することが可能である。
このように、第２の実施形態では、第１の実施の形態と同様、電波探知部３０や映像解析部４０等の各種センサにおける位置推定処理に加えて、属性情報（ふるまい情報）を推定する処理を追加し、各対象物同士の対応付け判定に、各属性情報の類似度を算出して用いることにより、より信頼度の高い対応付け判定を行うことが可能となる。具体的には、電波探知部３０が無線端末等の属性（ふるまい）を推定する無線フレーム解析部３３ｂを備え、映像解析部４０が人物やモノの属性（ふるまい）を推定する物体及びふるまい認識部４３ｂを備える。また、センサフュージョン部２０は、類似度算出部７１により各々の対象物間の属性類似度を算出し、その属性類似度の情報を対応付け判定に用いる。これにより、位置情報だけでは各対象同士が近傍に存在してその時点では対応付けできないケースにおいても、属性類似度の情報を用いることで高信頼に対応付け可能と判定することが可能となる。
ここで、第２の実施形態に特有の効果としては、各検知対象物間における属性情報（ふるまい情報）の類似度に関する情報と、位置推定結果を用いた各検知対象物間における距離に関する情報とを、それぞれ正規化(規格化)し、位置推定の確度等の情報を用いて重み付けした上で対応付け判定に用いることで、それぞれの情報の信頼度を考慮して対応付け判定できることである。すなわち、位置推定の確度が高ければ距離に関する情報の重みを大きくし、位置推定の確度が低ければ距離に関する重みを小さくするなどにより、より柔軟且つ適応的に対応付けの信頼度を向上させることができる。なお、第１の実施形態の場合は、距離情報を用いた対応付け判定で判定可否が保留された場合に、属性情報を使用した対応付けが行われる。
また、第１の実施形態と同様、副次的な効果として、センサ情報の統合（対応付け）を高精度にできると、取得した属性情報を相補的に結合及び補完することができるため、対象物の識別性能の粒度が合わせて向上する。具体的には、識別情報統合部２３ｂにより、映像解析と電波探知による個々の様々な属性情報（ふるまい情報）を高精度に統合することができるため、例えば、「検知エリア内に、２台の車両と１台のＵＡＶ、１６人の人物が検知され、そのうち、右側にある１台の車両がセンサネットワークのハブ局（ゲートウェイ）を搭載しており、１台のＵＡＶと１６人の人物とのうち右側エリアにいる１０人の作業者が現在、端末局（センサ局）を保有して通信している。」等と推定することができる。
（３）変形例
また、上記の第１の実施形態や第２の実施形態においては、主に、２次元の位置座標（平面座標）を例として説明してきたが、本発明が適用されたセンサ情報統合システム及びセンサ情報統合方法は、３次元の位置座標（空間座標）にも拡張することが可能である。すなわち上述した記距離算出部により算出される距離における方向軸は、角度方向と奥行方向と高度方向のうちの、少なくとも２つの方向軸を含んでもよい。
図１５は、３次元空間にも適用可能に拡張した場合のセンサ統合システムの全体像を示す図である。３次元空間に拡張した場合、電波探知部３０の位置推定部３２ｂ、映像解析部４０の位置推定部４２ｂ、センサフュージョン部２０の距離算出部７２と位置情報統合部２２ｂの処理が、３次元空間を対象とした処理に拡張される。つまり、３次元の位置推定情報と確度情報、距離情報（ユークリッド距離の情報）等を用いることによって３次元空間への拡張が可能である。
基本的な手法としては、第１の実施形態や第２の実施の形態で説明した手法と同様である。また、３次元の情報を用いることで、地上に存在する人物や車両等と、一定の高度で飛行するＵＡＶ等の間における、属性情報の信頼度を向上させることも可能になる。
＜＜４．第３の実施形態＞＞
続いて、図１６を参照して、本発明の第３の実施形態を説明する。上述した第１の実施形態及び第２の実施形態は、具体的な実施形態であるが、第３の実施形態は、より一般化された実施形態である。
図１６を参照して、第３の実施形態に係るセンサ情報統合システム１０２の構成の例を説明する。図１６は、第３の実施形態に係るセンサ情報統合システム１０２の概略的な構成の例を示すブロック図である。図１６を参照すると、センサ情報統合システム１０２は、無線フレーム解析部１１０、映像解析部１２０及び対応判定部１３０を備える。
以上のような構成からなるセンサ情報統合システム１０２によれば、無線フレーム解析部１１０は、第１の対象物から送信される無線フレームを解析して、上記第１の対象物に関する第１の属性情報を抽出する。映像解析部１２０は、第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、上記第２の対象物に関する第２の属性情報を抽出する。対応判定部１３０は、上記第１の属性情報と上記第２の属性情報とを用いて、上記第１の対象物と上記第２の対象物との対応付けを判定する。
例えば、センサ情報統合システム１０２は、上述した第１の実施形態又は第２の実施形態に係るセンサ情報統合システム１００、１０１の動作を行ってもよい。
＜＜５．実施形態の効果＞＞
以上のような実施形態によれば、以下のような効果が期待できる。
第１の効果は、電波探知部や映像解析部などの各種センサで検知した対象物同士を、高い信頼度で対応付け（同定、紐付け）できることである。その理由は、電波探知部や映像解析部等の各種センサにおける位置推定処理に加えて、属性情報（ふるまい情報）を推定する処理を追加するからである。また、その理由は、各対象物同士の対応付け判定に、各属性情報の類似度を算出して用いることにより、より信頼度の高い対応付け判定を行うことが可能となるためである。具体的には、電波探知部は、無線端末等の属性（ふるまい）を推定する無線フレーム解析部を備える。映像解析部は、人物やモノの属性（ふるまい）を推定する物体及びふるまい認識部を備える。センサフュージョン部は、類似度算出部により各々の対象間の属性類似度を算出し、その属性類似度の情報を対応付け判定に用いる。これにより、位置情報だけでは各対象物同士が近傍に存在して信頼度の高い対応付けが難しい状況においても、属性類似度の情報を用いることで高信頼に対応付け判定することができる。
また、第２の効果は、電波探知部や映像解析部などの各種センサで検知した対象物同士を、より短い時間（少ない繰り返し回数）での対応付けが可能になることである。その理由は、電波探知部や映像解析部等の各種センサにおける位置推定時の確度情報を用いて動的に閾値を変更する閾値計算手段、各種センサからの属性情報の類似度を算出する類似度算出手段、及び、それらの閾値および属性類似度を用いて対応付けを判定する対応判定手段を含むからである。これにより、まず、各種センサからの位置推定誤差（確度情報）に沿って適応的に閾値を設定（動的に変更）して対応付けを判定できるためである。したがって、誤対応を防ぐためにマージンを持った閾値を固定的に設定するような参考手法に比べて、位置推定する度に変化する確度情報を積極的に活用することで、高い信頼度のまま上記参考手法と比べて早い段階で対応付け可能との判定が得られる可能性が高くなる。更に、距離情報を用いるだけでは対応付けできないような対象同士が近傍にいる場合においても、属性類似度の情報を用いた対応付け判定を追加で行うことにより、より短い時間（少ない繰り返し回数）で信頼性の高い対応付けを行うことができるという利点がある。
とりわけ、第２の実施形態に特有の効果としては、各検知対象物間における属性情報（ふるまい情報）の類似度に関する情報と、位置推定結果を用いた各検知対象物間における距離に関する情報とを、それぞれ正規化（規格化）し、位置推定の確度等の情報を用いて重み付けした上で対応付け判定に用いることで、それぞれの情報の信頼度を考慮して対応付け判定できることである。すなわち、位置推定の確度が高ければ距離に関する情報の重みを大きくし、位置推定の確度が低ければ距離に関する重みを小さくするなどにより、より柔軟且つ適応的に対応付けの信頼度を向上させることができる。これにより、より短い時間（少ない繰り返し回数）で信頼性の対応付けを行うことができるという利点がある。
第３の効果は、副次的な効果として、検知した対象物の識別情報の粒度や、その推定精度が向上することである。その理由は、上述した第１の効果や第２の効果で説明したように、センサ情報の統合（対応付け）を高精度にできると、取得した属性情報を相補的に結合及び補完できるからである。すなわち、対象の識別性能の粒度が合わせて向上するからである。具体的には、識別情報統合部により、映像解析や電波探知等による個々の様々な属性情報（ふるまい情報）を高精度に統合することができるようになるためである。また、１種類のセンサだけでは推定できない属性情報（ふるまい情報）も、複数センサ情報間の高信頼な対応付けと、他センサにおいて推定可能な属性情報（ふるまい情報）とを組み合わせることにより、様々な粒度の属性情報（ふるまい情報）を推定できるようになるという利点がある。
例えば、「検出したのはＵＡＶ操縦中の子供である。」や、または、「検知エリア内に、２台の車両と１台のＵＡＶ、１６人の人物が検出され、そのうち、右側の｛ｘ，ｙ｝地点にある１台の車両がセンサネットワークのハブ局（ゲートウェイ）を搭載しており、検知した１台のＵＡＶと１６人の人物とのうちの右側エリアにいる１０人の作業者が現在、端末局（センサ局）を保有して通信している。」等と推定できるという利点がある。
第４の効果は、種々のセンサに対する柔軟性や拡張性が高いことである。その理由は、第１の実施形態および第２の実施形態で説明したように、本発明が適用されるセンサ情報統合システムが、カメラを用いた映像解析、電波センサを用いた電波探知、各種レーダーを用いたレーダー解析、各種レーザー解析（ＬｉＤＡＲ等）、音響センサを用いた音波探知など、種々のセンサへの対応を考慮したセンサ情報統合機能とインタフェースを備えているためである。すなわち、センサ情報統合機能の例として、対応判定部における距離算出部や類似度算出部、対応判定部により行われる処理では、種々のセンサの特性を考慮した位置推定情報や属性情報（ふるまい情報）を入力および利用できる。このようにして、各種センサにおいて推定する属性情報（ふるまい情報）を、他センサとの属性類似度を算出できる粒度で分類するので、いずれのセンサにも対応できる。
また、図１５に示したように、本発明が適用されるセンサ情報統合方法は、２次元の位置座標（平面座標）における位置推定情報や属性情報（ふるまい情報）を統合する場合や、３次元の位置座標（空間座標）における位置推定情報や属性情報（ふるまい情報）を統合する場合など、いずれの場合にも対応できるという利点もある。
＜＜６．他の形態＞＞
以上、本発明の実施形態を説明したが、本発明はこれらの実施形態に限定されるものではない。これらの実施形態は例示にすぎないということ、及び、本発明のスコープ及び精神から逸脱することなく様々な変形が可能であるということは、当業者に理解されるであろう。
例えば、本明細書に記載されている処理におけるステップは、必ずしもシーケンス図に記載された順序に沿って時系列に実行されなくてよい。例えば、処理におけるステップは、シーケンス図として記載した順序と異なる順序で実行されても、並列的に実行されてもよい。また、処理におけるステップの一部が削除されてもよく、さらなるステップが処理に追加されてもよい。
上記実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
第１の対象物から送信される無線フレームを解析して、前記第１の対象物に関する第１の属性情報を抽出する無線フレーム解析部と、
第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、前記第２の対象物に関する第２の属性情報を抽出する映像解析部と、
前記第１の属性情報と前記第２の属性情報とを用いて、前記第１の対象物と前記第２の対象物との対応付けを判定する対応判定部と、を備えるセンサ情報統合システム。
（付記２）
前記対応判定部により対応付け判定した結果と、前記第１の属性情報と、前記第２の属性情報とを用いて、検知対象の識別情報を統合する識別情報統合部を更に備える付記１記載のセンサ情報統合システム。
（付記３）
電波から前記第１の対象物の位置情報を推定する第１の位置推定部と、
映像から前記第２の対象物の位置情報を推定する第２の位置推定部と、を更に備え、
前記対応判定部は、前記第１の対象物の位置情報と前記第２の対象物の位置情報とを更に用いて、前記第１の対象物と前記第２の対象物との対応付けを判定する、付記１又は２記載のセンサ情報統合システム。
（付記４）
前記対応判定部により対応付け判定した結果と、前記第１の対象物の位置情報と、前記第２の対象物の位置情報とを用いて、検知対象の位置情報を統合する位置情報統合部を更に備える付記３記載のセンサ情報統合システム。
（付記５）
前記対応判定部は、前記第１の属性情報と前記第２の属性情報との類似度を算出する類似度算出部と、前記第１の対象物の位置情報と前記第２の対象物の位置情報とに基づいて前記第１の対象物と前記第２の対象物との間の距離を算出する距離算出部と、を有する付記３又は４記載のセンサ情報統合システム。
（付記６）
前記対応判定部は、前記類似度と前記距離とを、前記第１の対象物の位置情報と前記第２の対象物の位置情報とに基づいた位置推定の確度情報を用いて重み付けして合成する重み付け統合部を更に備える付記５記載のセンサ情報統合システム。
（付記７）
前記距離算出部により算出される前記距離における方向軸は、角度方向と奥行方向と高度方向のうちの、少なくとも２つの方向軸を含むことを特徴とする付記５又は６記載のセンサ情報統合システム。
（付記８）
前記第１の属性情報は、前記第１の対象物が搭載された搭載物に関する情報と、前記無線フレームが伝送される通信ノードに関する情報と、前記第１の対象物の通信動作に関する情報とのうちの、少なくとも１つの情報を含む付記１乃至７のうち何れか１項記載のセンサ情報統合システム。
（付記９）
前記第１の対象物が搭載された搭載物に関する情報は、前記搭載物の種類を示す情報と、前記搭載物の機種名又は製造ベンダに関する情報、前記搭載物の製造国又は渡航国に関する情報とのうちの少なくとも１つを含む、付記８記載のセンサ情報統合システム。
（付記１０）
前記無線フレームが伝送される通信ノードに関する情報は、センサネットワークのハブ局又は端末局に関する情報を含む付記８又は９記載のセンサ情報統合システム。
（付記１１）
前記第１の対象物の通信動作に関する情報は、待受中と操作中と通話中とのうちのいずれか１つの動作に関する情報を含む、付記８乃至１０のうち何れか１項記載のセンサ情報統合システム。
（付記１２）
前記第２の属性情報は、前記第２の対象物を識別するための情報と、前記第２の対象物の通信動作に関する情報と、前記第２の対象物に取り付けられたアンテナの配置に関する情報とのうちの、少なくとも１つの情報を含む付記１乃至１１のうち何れか１項記載のセンサ情報統合システム。
（付記１３）
前記第２の対象物を識別するための情報は、前記第２の対象物の種類を示す情報と人の年齢と性別と出身地とのうち少なくとも１つに関する情報を含む、付記１２記載のセンサ情報統合システム。
（付記１４）
前記第２の対象物の通信動作に関する情報は、待受中と操作中と通話中とのうちのいずれか１つの動作に関する情報を含む、付記１２又は１３記載のセンサ情報統合システム。
（付記１５）
前記第２の対象物に取り付けられたアンテナの配置に関する情報は、アンテナの伸長又は収納に関する情報を含む、付記１２乃至１４のうち何れか１項記載のセンサ情報統合システム。
（付記１６）
第１の対象物から送信される無線フレームを解析して、前記第１の対象物に関する第１の属性情報を抽出することと、
第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、前記第２の対象物に関する第２の属性情報を抽出することと、
前記第１の属性情報と前記第２の属性情報とを用いて、前記第１の対象物と前記第２の対象物との対応付けを判定することと、を含むセンサ情報統合方法。
（付記１７）
第１の対象物から送信される無線フレームを解析して、前記第１の対象物に関する第１の属性情報を抽出することと、
第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、前記第２の対象物に関する第２の属性情報を抽出することと、
前記第１の属性情報と前記第２の属性情報とを用いて、前記第１の対象物と前記第２の対象物との対応付けを判定することと、をプロセッサに実行させるプログラム。
（付記１８）
第１の対象物から送信される無線フレームを解析して、前記第１の対象物に関する第１の属性情報を抽出することと、
第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、前記第２の対象物に関する第２の属性情報を抽出することと、
前記第１の属性情報と前記第２の属性情報とを用いて、前記第１の対象物と前記第２の対象物との対応付けを判定することと、をプロセッサに実行させるプログラムを記録したコンピュータに読み取り可能な非一時的記録媒体。
この出願は、２０１８年１０月２９日に出願された日本出願特願２０１８－２０３１４６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
複数のセンサで検知した対象物同士の対応付けを行うことにより各々のセンサで推定された情報を統合する場合において、適切な対応付けを実現することが可能になる。
１００、１０１、１０２ センサ情報統合システム
３３、３３ｂ、１１０ 無線フレーム解析部
４０、１２０ 映像解析部
２１、２１ｂ、１３０ 対応判定部

Claims (7)

  1. 第１の対象物から送信される無線フレームを解析して、前記第１の対象物に関する第１の属性情報を抽出する無線フレーム解析手段と、
    第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、前記第２の対象物に関する第２の属性情報を抽出する映像解析手段と、
    電波から前記第１の対象物の位置情報を推定する第１の位置推定手段と、
    映像から前記第２の対象物の位置情報を推定する第２の位置推定手段と、
    前記第１の属性情報と前記第２の属性情報とを用いて、前記第１の対象物と前記第２の対象物との対応付けを判定する対応判定手段と、
    前記対応判定手段により対応付け判定した結果と、前記第１の属性情報と、前記第２の属性情報とを用いて、検知対象の識別情報を統合する識別情報統合手段と、を備え、
    前記対応判定手段は、前記第１の属性情報と前記第２の属性情報との類似度を算出する類似度算出手段と、前記第１の対象物の位置情報と前記第２の対象物の位置情報とに基づいて前記第１の対象物と前記第２の対象物との間の距離を算出する距離算出手段と、を有するセンサ情報統合システム。
  2. 前記対応判定手段は、前記類似度と前記距離とを、前記第１の対象物の位置情報と前記第２の対象物の位置情報とに基づいた位置推定の確度情報を用いて重み付けして合成する重み付け統合手段を更に備える請求項１記載のセンサ情報統合システム。
  3. 前記距離算出手段により算出される前記距離における方向軸は、角度方向と奥行方向と高度方向のうちの、少なくとも２つの方向軸を含むことを特徴とする請求項１又は２記載のセンサ情報統合システム。
  4. 前記第１の属性情報は、前記第１の対象物が搭載された搭載物に関する情報と、前記無線フレームが伝送される通信ノードに関する情報と、前記第１の対象物の通信動作に関する情報とのうちの、少なくとも１つの情報を含む請求項１乃至３のうち何れか１項記載のセンサ情報統合システム。
  5. 前記第１の対象物が搭載された搭載物に関する情報は、前記搭載物の種類を示す情報と、前記搭載物の機種名又は製造ベンダに関する情報、前記搭載物の製造国又は渡航国に関する情報とのうちの少なくとも１つを含む、請求項４記載のセンサ情報統合システム。
  6. 前記第２の属性情報は、前記第２の対象物を識別するための情報と、前記第２の対象物の通信動作に関する情報と、前記第２の対象物に取り付けられたアンテナの配置に関する情報とのうちの、少なくとも１つの情報を含む請求項１乃至５のうち何れか１項記載のセンサ情報統合システム。
  7. 第１の対象物から送信される無線フレームを解析して、前記第１の対象物に関する第１の属性情報を抽出することと、
    第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、前記第２の対象物に関する第２の属性情報を抽出することと、
    電波から前記第１の対象物の位置情報を推定することと、
    映像から前記第２の対象物の位置情報を推定することと、
    前記第１の属性情報と前記第２の属性情報とを用いて、前記第１の対象物と前記第２の対象物との対応付けを判定することと、
    前記対応付けの判定結果と、前記第１の属性情報と、前記第２の属性情報とを用いて、検知対象の識別情報を統合することと、を含み、
    前記対応付けを判定することは、前記第１の属性情報と前記第２の属性情報との類似度を算出することと、前記第１の対象物の位置情報と前記第２の対象物の位置情報とに基づいて前記第１の対象物と前記第２の対象物との間の距離を算出することと、を含むセンサ情報統合方法。
JP2020553726A 2018-10-29 2019-10-09 センサ情報統合システム、及びセンサ情報統合方法 Active JP7095746B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018203146 2018-10-29
JP2018203146 2018-10-29
PCT/JP2019/039813 WO2020090390A1 (ja) 2018-10-29 2019-10-09 センサ情報統合システム、センサ情報統合方法、プログラム、及び記録媒体

Publications (2)

Publication Number Publication Date
JPWO2020090390A1 JPWO2020090390A1 (ja) 2021-10-07
JP7095746B2 true JP7095746B2 (ja) 2022-07-05

Family

ID=70464086

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020553726A Active JP7095746B2 (ja) 2018-10-29 2019-10-09 センサ情報統合システム、及びセンサ情報統合方法

Country Status (3)

Country Link
US (1) US11930476B2 (ja)
JP (1) JP7095746B2 (ja)
WO (1) WO2020090390A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4116738A4 (en) * 2020-03-31 2024-03-20 Bitsensing Inc RADAR DEVICE AND METHOD FOR CLASSIFYING OBJECTS
WO2022107231A1 (ja) * 2020-11-18 2022-05-27 日本電信電話株式会社 カメラデバイス制御装置、カメラデバイス制御方法、および、カメラデバイス制御プログラム
WO2022180899A1 (en) * 2021-02-25 2022-09-01 Hitachi, Ltd. Operation management system and method for triggering personalized action
JP7439006B2 (ja) * 2021-03-18 2024-02-27 株式会社東芝 距離推定装置及び距離推定方法
WO2023145026A1 (ja) * 2022-01-28 2023-08-03 日本電気株式会社 監視装置、監視方法及びプログラム
CN115205820A (zh) * 2022-07-05 2022-10-18 安徽蔚来智驾科技有限公司 物体关联方法、计算机设备、计算机可读存储介质及车辆

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002176474A (ja) 2000-12-05 2002-06-21 Kenwood Corp 移動体電話機
JP2005115544A (ja) 2003-10-06 2005-04-28 Fuji Xerox Co Ltd 動作識別装置、及び対象物の姿勢識別装置
JP2006194649A (ja) 2005-01-12 2006-07-27 Hitachi Ltd 肉厚測定データ管理方法と超音波肉厚測定装置及びプラント
JP2008059261A (ja) 2006-08-31 2008-03-13 Mitsubishi Electric Corp 無線ｉｃタグｉｄ読取りシステム
JP2009294899A (ja) 2008-06-05 2009-12-17 Kenwood Corp 情報配信システム、センター装置、車載器
JP2009303170A (ja) 2008-06-17 2009-12-24 Buffalo Inc 無線通信システム、無線ｌａｎ接続装置、無線ｌａｎ中継装置
JP2016095701A (ja) 2014-11-14 2016-05-26 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006060532A (ja) 2004-08-20 2006-03-02 Seiko Epson Corp 中継制御装置及びそのプログラム
JP5305605B2 (ja) * 2007-03-16 2013-10-02 株式会社ソニー・コンピュータエンタテインメント データ処理装置、データ処理方法、及びデータ処理プログラム
EP2264679A4 (en) * 2008-03-11 2013-08-21 Panasonic Corp TAG SENSOR SYSTEM AND SENSOR DEVICE, AND OBJECT POSITION ESTIMATING DEVICE, AND OBJECT POSITION ESTIMATING METHOD
JP2009284442A (ja) 2008-05-26 2009-12-03 Fujitsu Ten Ltd 人物認証装置および人物認証方法
US10504368B2 (en) * 2017-06-21 2019-12-10 International Business Machines Corporation Management of mobile objects

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002176474A (ja) 2000-12-05 2002-06-21 Kenwood Corp 移動体電話機
JP2005115544A (ja) 2003-10-06 2005-04-28 Fuji Xerox Co Ltd 動作識別装置、及び対象物の姿勢識別装置
JP2006194649A (ja) 2005-01-12 2006-07-27 Hitachi Ltd 肉厚測定データ管理方法と超音波肉厚測定装置及びプラント
JP2008059261A (ja) 2006-08-31 2008-03-13 Mitsubishi Electric Corp 無線ｉｃタグｉｄ読取りシステム
JP2009294899A (ja) 2008-06-05 2009-12-17 Kenwood Corp 情報配信システム、センター装置、車載器
JP2009303170A (ja) 2008-06-17 2009-12-24 Buffalo Inc 無線通信システム、無線ｌａｎ接続装置、無線ｌａｎ中継装置
JP2016095701A (ja) 2014-11-14 2016-05-26 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム

Also Published As

Publication number Publication date
JPWO2020090390A1 (ja) 2021-10-07
US11930476B2 (en) 2024-03-12
US20210345286A1 (en) 2021-11-04
WO2020090390A1 (ja) 2020-05-07

Similar Documents

Publication Publication Date Title
JP7095746B2 (ja) センサ情報統合システム、及びセンサ情報統合方法
Khalajmehrabadi et al. Modern WLAN fingerprinting indoor positioning methods and deployment challenges
US10383086B2 (en) Facilitation of indoor localization and fingerprint updates of altered access point signals
CN111182459B (zh) 一种基于信道状态信息室内无线定位方法、无线通信系统
Youssef et al. Challenges: device-free passive localization for wireless environments
US9807549B2 (en) Systems and methods for adaptive multi-feature semantic location sensing
WO2009113265A1 (ja) タグセンサシステムおよびセンサ装置、ならびに、物体位置推定装置および物体位置推定方法
Kouyoumdjieva et al. Survey of non-image-based approaches for counting people
Cengiz Comprehensive analysis on least-squares lateration for indoor positioning systems
Yang et al. Cedar: A cost-effective crowdsensing system for detecting and localizing drones
Higuchi et al. Clearing a crowd: Context-supported neighbor positioning for people-centric navigation
Hashem et al. Deepnar: Robust time-based sub-meter indoor localization using deep learning
Cui et al. Dual identities enabled low-latency visual networking for uav emergency communication
Ibrahim et al. Zero-calibration device-free localization for the IoT based on participatory sensing
Jain et al. Performance analysis of received signal strength fingerprinting based distributed location estimation system for indoor wlan
Rizk et al. Vaccinated, what next? an efficient contact and social distance tracing based on heterogeneous telco data
KR20210078203A (ko) 거점 기반의 프로파일링 방법 및 이를 이용하는 단말기
Choi et al. Simultaneous crowd estimation in counting and localization using WiFi CSI
CN111654843A (zh) 自动更新指纹数据库的方法及系统、wifi定位方法及系统
Zhuo et al. Grafics: Graph embedding-based floor identification using crowdsourced rf signals
Natarajan et al. A machine learning approach to passive human motion detection using WiFi measurements from commodity IoT devices
Liang et al. Indoor region localization with asynchronous sensing data: A Bayesian probabilistic model
Pipelidis et al. Cross-device radio map generation via crowdsourcing
Demrozi et al. A graph-based approach for mobile localization exploiting real and virtual landmarks
Serreli et al. Fingerprint-based positioning method over LTE advanced pro signals with GAN training contribute

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210412

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220606

R151 Written notification of patent or utility model registration

Ref document number: 7095746

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151