JP7424515B2 - Object detection system, object detection method, and data sorting device - Google Patents

Object detection system, object detection method, and data sorting device Download PDF

Info

Publication number
JP7424515B2
JP7424515B2 JP2022569440A JP2022569440A JP7424515B2 JP 7424515 B2 JP7424515 B2 JP 7424515B2 JP 2022569440 A JP2022569440 A JP 2022569440A JP 2022569440 A JP2022569440 A JP 2022569440A JP 7424515 B2 JP7424515 B2 JP 7424515B2
Authority
JP
Japan
Prior art keywords
propagation path
path information
detection device
detection
object detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022569440A
Other languages
Japanese (ja)
Other versions
JPWO2022130584A1 (en
Inventor
信也 大槻
智明 小川
友規 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2022130584A1 publication Critical patent/JPWO2022130584A1/ja
Application granted granted Critical
Publication of JP7424515B2 publication Critical patent/JP7424515B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V3/00Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation
    • G01V3/15Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation specially adapted for use during transport, e.g. by a person, vehicle or boat
    • G01V3/17Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation specially adapted for use during transport, e.g. by a person, vehicle or boat operating with electromagnetic waves

Landscapes

  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Geology (AREA)
  • Remote Sensing (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Geophysics (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

本発明は、無線装置間で通信される無線信号の伝搬路情報から通信エリア内の物体を検知する物体検知システムにおいて、物体検知用の伝搬路情報を複数の物体検知装置に振り分ける技術に関する。 The present invention relates to a technique for allocating propagation path information for object detection to a plurality of object detection devices in an object detection system that detects objects within a communication area from propagation path information of wireless signals communicated between wireless devices.

従来、無線装置間で通信される無線信号の伝搬路情報から通信エリア内の物体を検知するシステムでは、物体検知を行う場所の近傍に検知装置を設置して物体検知が行われている(例えば、非特許文献1参照)。なお、無線装置間で通信される伝搬路情報の一例として、無線LAN(Local Area Network)システムでは、AP(Access Point)がSTA(STAtion)に伝搬路の状態を測定するための参照信号を送信し、STAが測定した伝搬路情報をAPに送信することが行われている(例えば、非特許文献2参照)。従来の検知装置は、STAからAPに送信される伝搬路情報をモニタすることにより、通信エリア内の物体検知が可能であるが、非特許文献1の方法では、検知装置の一つを検知場所の近傍に設置する必要がある。 Conventionally, in systems that detect objects within a communication area from propagation path information of wireless signals communicated between wireless devices, object detection is performed by installing a detection device near the location where object detection is performed (for example, , see Non-Patent Document 1). In addition, as an example of propagation path information communicated between wireless devices, in a wireless LAN (Local Area Network) system, an AP (Access Point) transmits a reference signal to an STA (STAtion) to measure the state of the propagation path. However, propagation path information measured by the STA is transmitted to the AP (for example, see Non-Patent Document 2). Conventional detection devices can detect objects within a communication area by monitoring propagation path information transmitted from STA to AP, but in the method of Non-Patent Document 1, one of the detection devices is It is necessary to install it near the

一方、例えば機械学習を用いた無線センシングでは、精度の向上/人数のカウントなどの高機能なセンシングを行うためには学習モデルのデータを多くすること、あるいは判定に用いるデータを多くこと、などが必要である。しかし、従来のように単一の装置で無線センシングを行う場合、検知装置の設置場所が問題となる。設置場所の制約により低性能の検知装置しか利用できない場合、大きな学習データや判定に用いるデータを大きくすると判定に掛かる時間が長くなってしまう。これに対して高性能な検知装置の場合、高機能化や検知精度の向上は容易だが装置規模が大きくなるため設置場所に制約が掛かる。また、設置場所の制約を回避するために、遠隔地に高性能な検知装置を設置する場合、データの転送等に時間が掛かるという問題が生じる。 On the other hand, for example, in wireless sensing using machine learning, in order to improve accuracy and perform high-performance sensing such as counting people, it is necessary to increase the amount of data for the learning model or to use more data for judgment. is necessary. However, when performing wireless sensing with a single device as in the past, the installation location of the detection device poses a problem. If only low-performance detection devices can be used due to constraints on the installation location, increasing the amount of learning data or data used for determination will increase the time required for determination. On the other hand, in the case of high-performance detection devices, it is easy to improve functionality and detection accuracy, but the size of the device increases, which places restrictions on where it can be installed. Furthermore, when a high-performance detection device is installed in a remote location to avoid restrictions on installation location, a problem arises in that it takes time to transfer data and the like.

”インテリジェント空間形成のための無線センシング技術高度化に向けた評価”, B5-24, 2020年電子情報通信学会ソサエティ大会、2020年9月“Evaluation for advancing wireless sensing technology for intelligent space formation”, B5-24, 2020 IEICE Society Conference, September 2020 H. Yu and T. Kim, “Beamforming transmission in IEEE 802.11ac under time-varying channels,” The Scientific World J., vol. 2014, pp. 1-11, Jul. 2014, article ID 920937.H. Yu and T. Kim, “Beamforming transmission in IEEE 802.11ac under time-varying channels,” The Scientific World J., vol. 2014, pp. 1-11, Jul. 2014, article ID 920937.

従来技術では、物体検知を行う装置の1つを検知場所の近傍に設置する必要があり、設置場所や電力供給の点で十分な検知能力が得られず、高精度な物体検知を行うことが困難である。これを回避するには、検知対象から離れた場所に検知装置を設置する方法があるが、データの転送に時間が掛かること、高速な通信回線が必要になること、などの問題がある。 With conventional technology, one of the devices that performs object detection needs to be installed near the detection location, and sufficient detection capability cannot be obtained due to the installation location and power supply, making it difficult to perform highly accurate object detection. Have difficulty. To avoid this, there is a method of installing the detection device at a location far from the detection target, but there are problems such as the time it takes to transfer data and the need for a high-speed communication line.

このように、無線LANを含む無線局間の電波を利用して物体の移動方向を検知する仕組みが既に存在するが、設置場所・利用可能電力などに制約のあるような場所において、低精度・単純な物体検知と高精度・高度な物体検知とを同時に行うことは難しかった。 As described above, there is already a mechanism to detect the moving direction of an object using radio waves between wireless stations, including wireless LAN, but it is difficult to use with low accuracy and It has been difficult to perform simple object detection and high-precision/advanced object detection at the same time.

本発明は、無線信号の伝搬路情報から通信エリア内の物体を検知する場合に、物体検知用の伝搬路情報を複数の物体検知装置に振り分けることにより、リアルタイム性が要求される低精度・単純な物体検知とリアルタイム性が要求されない高精度・高度な物体検知とを両立させることができる物体検知システム、物体検知方法、およびデータ振り分け装置を提供することを目的とする。 When detecting an object within a communication area from the propagation path information of a wireless signal, the present invention distributes the propagation path information for object detection to multiple object detection devices. The object of the present invention is to provide an object detection system, an object detection method, and a data sorting device that can achieve both accurate object detection and high-precision, advanced object detection that does not require real-time performance.

本発明に係る物体検知システムは、2以上の無線装置間で測定および通信される伝搬路情報をキャプチャするキャプチャ装置と、前記キャプチャ装置がキャプチャした前記伝搬路情報の一部を第1の検知装置、前記伝搬路情報のすべてを第2の検知装置にそれぞれ振り分ける振り分け装置とを有し、前記第1の検知装置は、前記振り分け装置から振り分けられた一部の前記伝搬路情報に基づいて、前記無線装置間の通信エリア内の物体を検知し、前記第2の検知装置は、前記振り分け装置から振り分けられたすべての前記伝搬路情報に基づいて、前記第1の検知装置よりも高精度および高機能な処理を行い、前記無線装置間の通信エリア内の物体を検知することを特徴とする。 The object detection system according to the present invention includes a capture device that captures propagation path information measured and communicated between two or more wireless devices, and a first detection device that transmits a part of the propagation path information captured by the capture device. , a distributing device that distributes all of the propagation path information to a second detecting device, and the first detecting device divides the propagation path information based on part of the propagation path information distributed from the distributing device. The second detection device detects an object within a communication area between wireless devices, and the second detection device detects an object with higher accuracy and higher accuracy than the first detection device based on all the propagation path information distributed from the distribution device. The present invention is characterized in that it performs functional processing and detects objects within the communication area between the wireless devices.

本発明に係る物体検知方法は、2以上の無線装置間で測定および通信される伝搬路情報をキャプチャするキャプチャ装置と、前記キャプチャ装置がキャプチャした前記伝搬路情報の一部を第1の検知装置、前記伝搬路情報のすべてを第2の検知装置にそれぞれ振り分ける振り分け装置とを有し、前記第1の検知装置は、前記振り分け装置から振り分けられた一部の前記伝搬路情報に基づいて、前記無線装置間の通信エリア内の物体を検知し、前記第2の検知装置は、前記振り分け装置から振り分けられたすべての前記伝搬路情報に基づいて、前記第1の検知装置よりも高精度および高機能な処理を行い、前記無線装置間の通信エリア内の物体を検知することを特徴とする。 The object detection method according to the present invention includes a capture device that captures propagation path information measured and communicated between two or more wireless devices, and a first detection device that transmits a part of the propagation path information captured by the capture device. , a distributing device that distributes all of the propagation path information to a second detecting device, and the first detecting device divides the propagation path information based on part of the propagation path information distributed from the distributing device. The second detection device detects an object within a communication area between wireless devices, and the second detection device detects an object with higher accuracy and higher accuracy than the first detection device based on all the propagation path information distributed from the distribution device. The present invention is characterized in that it performs functional processing and detects objects within the communication area between the wireless devices.

本発明に係るデータ振り分け装置は、2以上の無線装置間で測定および通信される伝搬路情報に基づいて前記無線装置間の通信エリア内の物体を検知する第1の検知装置および第2の検知装置に対して、キャプチャ装置がキャプチャした前記伝搬路情報を振り分けるデータ振り分け装置において、前記第1の検知装置に対しては、キャプチャされた前記伝搬路情報の一部をリアルタイムで送信し、前記第2の検知装置に対しては、キャプチャされた前記伝搬路情報のすべてをリアルタイムもしくは非リアルタイムで送信する振り分け部を有することを特徴とする。 The data distribution device according to the present invention includes a first detection device and a second detection device that detect an object within a communication area between two or more wireless devices based on propagation path information measured and communicated between the two or more wireless devices. In the data distribution device that distributes the propagation path information captured by the capture device to the device, a part of the captured propagation path information is transmitted to the first detection device in real time, and the data distribution device distributes the propagation path information captured by the capture device to the device. The second detection device is characterized by having a distribution unit that transmits all of the captured propagation path information in real time or non-real time.

本発明に係る物体検知システム、物体検知方法、およびデータ振り分け装置は、無線信号の伝搬路情報から通信エリア内の物体を検知する場合に、物体検知用の伝搬路情報を複数の物体検知装置に振り分けることにより、リアルタイム性が要求される低精度・単純な物体検知とリアルタイム性が要求されない高精度・高度な物体検知とを両立させることができる。 The object detection system, object detection method, and data distribution device according to the present invention provide propagation path information for object detection to a plurality of object detection devices when detecting an object within a communication area from propagation path information of a wireless signal. By sorting, it is possible to achieve both low-accuracy, simple object detection that requires real-time performance and high-accuracy, advanced object detection that does not require real-time performance.

実施形態に係る物体検知システムの一例を示す図である。FIG. 1 is a diagram illustrating an example of an object detection system according to an embodiment. APとSTAとの間で通信される無線信号のシーケンス例を示す図である。FIG. 3 is a diagram illustrating an example of a sequence of wireless signals communicated between an AP and an STA. 本実施形態に係る物体検知方法のシーケンス例を示す図である。FIG. 3 is a diagram showing a sequence example of the object detection method according to the present embodiment. 記憶装置に記憶されるフォーマットの一例を示す図である。FIG. 3 is a diagram showing an example of a format stored in a storage device. STAからAPに送信される圧縮されたCSIの一例を示す図である。FIG. 2 is a diagram illustrating an example of compressed CSI transmitted from an STA to an AP.

以下、図面を参照して本発明に係る物体検知システム、物体検知方法、およびデータ振り分け装置の実施形態について説明する。ここで、本発明に係る物体検知システムは、基地局装置と端末装置など少なくとも2台の無線装置間の伝搬路情報(実施形態ではCSI(Channel State Information)と称する)を測定して測定結果を通信する無線通信システムを利用し、無線装置間で通信されるCSIをキャプチャして無線通信システムの通信エリア内の物体を検知するシステムである。なお、以降の実施形態では、無線通信システムが無線LANシステムである場合について説明するが、伝搬路の状態を測定して通信するシステムであれば同様に適用可能である。 DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of an object detection system, an object detection method, and a data sorting device according to the present invention will be described with reference to the drawings. Here, the object detection system according to the present invention measures propagation path information (referred to as CSI (Channel State Information) in the embodiment) between at least two wireless devices such as a base station device and a terminal device, and outputs the measurement results. This is a system that uses a wireless communication system to capture CSI communicated between wireless devices and detect objects within the communication area of the wireless communication system. In the following embodiments, a case will be described in which the wireless communication system is a wireless LAN system, but the present invention is similarly applicable to any system that communicates by measuring the state of a propagation path.

図1は、実施形態に係る物体検知システム100の一例を示す。図1において、基地局装置に相当するAP101と端末装置に相当するSTA102は、無線LAN規格の802.11acに対応する通信を行う。 FIG. 1 shows an example of an object detection system 100 according to an embodiment. In FIG. 1, an AP 101 corresponding to a base station device and an STA 102 corresponding to a terminal device perform communication compatible with the wireless LAN standard 802.11ac.

図1において、AP101は、4つのアンテナ(AT(1)、AT(2)、AT(3)およびAT(4))を有する。なお、図1に示すAP101は、4つのアンテナを有するが、2以上のアンテナが有ればよい。また、STA102は少なくとも1本のアンテナを備えるものとする。さらに、図1では、STA102が1台の例を示したが、AP101と複数のSTA102との間でMU-MIMO(Multi User Multiple Input Multiple Output)伝送を行う場合でも本実施形態の適用が可能である。 In FIG. 1, AP 101 has four antennas (AT(1), AT(2), AT(3), and AT(4)). Note that although the AP 101 shown in FIG. 1 has four antennas, it is sufficient to have two or more antennas. Further, it is assumed that the STA 102 is equipped with at least one antenna. Furthermore, although FIG. 1 shows an example in which there is one STA 102, this embodiment can also be applied when performing MU-MIMO (Multi User Multiple Input Multiple Output) transmission between the AP 101 and multiple STAs 102. be.

図1において、AP101は、STA102に対して、AP101の各アンテナとSTA102との間のそれぞれの伝搬路の状態を測定するための参照信号としてVHT NDP(Very High Throughput Null Data Packet)を送信する。そして、STA102は、VHT NDPからAP101の各アンテナとSTA102との間の伝搬路の状態を示すCSIを計算し、その結果をVHT Compressed BeamForming Reportのフレームに格納してAP101に送信する。AP101は、STA102から受信するCSIに基づいて、送信ビーム形成処理などを行う。なお、AP101とSTA102との間で送受信される信号については後述する。 In FIG. 1, the AP 101 transmits a VHT NDP (Very High Throughput Null Data Packet) to the STA 102 as a reference signal for measuring the state of each propagation path between each antenna of the AP 101 and the STA 102. Then, the STA 102 calculates CSI indicating the state of the propagation path between each antenna of the AP 101 and the STA 102 from the VHT NDP, stores the result in a VHT Compressed BeamForming Report frame, and transmits it to the AP 101. The AP 101 performs transmission beam forming processing and the like based on the CSI received from the STA 102. Note that signals transmitted and received between the AP 101 and the STA 102 will be described later.

図1において、本実施形態に係る物体検知システム100は、キャプチャ装置103、振り分け装置104、記憶装置105、検知装置106(1)および検知装置106(2)を有する。 In FIG. 1, an object detection system 100 according to this embodiment includes a capture device 103, a sorting device 104, a storage device 105, a detection device 106(1), and a detection device 106(2).

キャプチャ装置103は、AP101とSTA102との間の通信エリアを含む通信エリア近傍に設置され、AP101とSTA102との間で通信される無線LANフレームをモニタし、予め設定された特定のフレームをキャプチャする。キャプチャ装置103は、AP101とSTA102との間で通信される無線LANフレームのうち、STA102からAP101に送信されたVHT Compressed Beamforming Reportフレームを判別し、当該フレームをキャプチャする。キャプチャした圧縮されたCSIが格納されたフレームと当該フレームの受信時刻の情報を振り分け装置104に送信する。ここで、AP101とSTA102との間では、CSIの測定および送信が周期的に行われている。 The capture device 103 is installed near the communication area including the communication area between the AP 101 and the STA 102, monitors wireless LAN frames communicated between the AP 101 and the STA 102, and captures specific frames set in advance. . The capture device 103 determines a VHT Compressed Beamforming Report frame transmitted from the STA 102 to the AP 101 among the wireless LAN frames communicated between the AP 101 and the STA 102, and captures the frame. The frame in which the captured compressed CSI is stored and information on the reception time of the frame are transmitted to the distribution device 104. Here, CSI measurement and transmission are performed periodically between the AP 101 and the STA 102.

振り分け装置104は、キャプチャ装置103がキャプチャした圧縮されたCSIが格納されたフレームと当該フレームの受信時刻の情報を検知装置106(1)および検知装置106(2)に送信する。また、振り分け装置104は、キャプチャ装置103から受け取る圧縮されたCSIが格納されたフレームから得られる情報(送信元アドレス、送信先アドレス、キャプチャ装置103の番号、取得CSIなど)と当該フレームの受信時刻の情報(以降、必要に応じて、これらの情報をキャプチャ情報と称する)を記憶装置105に記憶する。 The distribution device 104 transmits information about the frame in which the compressed CSI captured by the capture device 103 is stored and the reception time of the frame to the detection device 106(1) and the detection device 106(2). The distribution device 104 also uses information obtained from the frame containing the compressed CSI received from the capture device 103 (source address, destination address, number of the capture device 103, acquired CSI, etc.) and the reception time of the frame. information (hereinafter, this information will be referred to as capture information as necessary) is stored in the storage device 105.

ここで、振り分け装置104は、キャプチャ装置103によりキャプチャされたキャプチャ情報の一部をリアルタイムで検知装置106(1)に送信し、キャプチャされたキャプチャ情報のすべてをリアルタイムもしくは非リアルタイムで検知装置106(2)に送信する。 Here, the sorting device 104 transmits a part of the capture information captured by the capture device 103 to the detection device 106(1) in real time, and transmits all of the captured information to the detection device 106(1) in real time or non-real time. 2) Send to.

なお、キャプチャ情報の一部を検知装置106(1)に送信する方法として、上述のフレームがキャプチャされるごとに送信するのではなく、例えば数回に1回など送信回数を間引いてもよいし、上述のフレームがキャプチャされるごとにキャプチャされたフレームに格納されている複数のCSIの一部を選択して検知装置106(1)に送信してもよい。 Note that as a method of transmitting a part of the captured information to the detection device 106(1), instead of transmitting it every time the above-mentioned frame is captured, the number of times of transmission may be reduced, such as once every few times. , each time the above-mentioned frame is captured, a part of the plurality of CSIs stored in the captured frame may be selected and transmitted to the detection device 106(1).

また、キャプチャ情報のすべてを検知装置106(2)に送信する方法として、フレームがキャプチャされるごとにキャプチャ情報を検知装置106(2)に送信してもよいし、予め決められた一定の時間間隔もしくは予め決められた時刻になるごとに、記憶装置105に蓄積されたキャプチャ情報を読み出して、一括して検知装置106(2)に送信してもよい。 Further, as a method of transmitting all of the capture information to the detection device 106 (2), capture information may be transmitted to the detection device 106 (2) every time a frame is captured, or the capture information may be transmitted to the detection device 106 (2) at a predetermined period of time. The captured information stored in the storage device 105 may be read out at intervals or at predetermined times and transmitted all at once to the detection device 106(2).

なお、振り分け装置104は、キャプチャ装置103と一体化されてもよい。ここで、振り分け装置104が行う処理に対応するプログラムを汎用のコンピュータもしくはFPGA(Field Programmable Gate Array)などの集積回路で実行するようにしてもよい。また、プログラムは、記憶媒体に記録して提供されてもよいし、ネットワークを通して提供されてもよい。 Note that the sorting device 104 may be integrated with the capture device 103. Here, a program corresponding to the processing performed by the distribution device 104 may be executed by a general-purpose computer or an integrated circuit such as an FPGA (Field Programmable Gate Array). Further, the program may be provided recorded on a storage medium or may be provided through a network.

記憶装置105は、ハードディスクやメモリなどで構成され、キャプチャ装置103から振り分け装置104に送信されるキャプチャ情報が記憶される。なお、記憶装置105は、振り分け装置104の記憶部として一体化されてもよい。 The storage device 105 is composed of a hard disk, a memory, etc., and stores capture information transmitted from the capture device 103 to the distribution device 104. Note that the storage device 105 may be integrated as a storage section of the distribution device 104.

検知装置106(1)は、第1の検知装置として動作し、装置の設置に制約が多いなどの条件において、振り分け装置104から受信するキャプチャ情報に基づいて、物体の有無を含む低精度もしくは単純な物体検知をリアルタイムで行う。ここで、検知装置106(1)は、通信エリアの近傍に設置されているキャプチャ装置103および振り分け装置104と同じ場所もしくはデータ転送に時間の掛からない近くの場所に設置されている。このように、検知装置106(1)は設置場所の制約があり、後述の検知装置106(2)よりも装置規模が小さく、処理能力などの性能が低いため、リアルタイムで物体の有無を検知するだけの単純な物体検知を行う。 The detection device 106 (1) operates as a first detection device, and detects low precision or simple information based on the capture information received from the sorting device 104 under conditions such as the presence or absence of an object, such as when there are many restrictions on the installation of the device. Detects objects in real time. Here, the detection device 106(1) is installed at the same location as the capture device 103 and the distribution device 104, which are installed near the communication area, or at a nearby location where data transfer does not take much time. As described above, the detection device 106 (1) has restrictions on the installation location, is smaller in scale, and has lower performance such as processing capacity than the detection device 106 (2) described later, so it cannot detect the presence or absence of an object in real time. Performs simple object detection.

検知装置106(2)は、第2の検知装置として動作し、装置の設置に制約が少ない条件において、振り分け装置104から受信するキャプチャ情報に基づいて、物体検知以外の物体の属性(例えば、物体の移動方向・混雑度・数の測定など)の高精度もしくは高度な物体検知を非リアルタイムで行う。ここで、検知装置106(2)は、通信エリアの近傍に設置されているキャプチャ装置103および振り分け装置104から離れた遠方に設置されている。このため、検知装置106(2)は、設置場所や電力供給などの制約が少ないので、検知装置106(1)よりも処理能力などの性能が高く、大量のデータを高速に処理できる大規模な装置の設置が可能であり、リアルタイム性が要求されない高精度・高度な物体の検知処理や解析などを行うことができる。 The detection device 106 (2) operates as a second detection device, and detects object attributes other than object detection (for example, object Performs high-precision or advanced object detection in non-real time (measuring direction of movement, degree of crowding, number of objects, etc.). Here, the detection device 106(2) is installed far away from the capture device 103 and the distribution device 104, which are installed near the communication area. For this reason, the detection device 106(2) has fewer restrictions such as installation location and power supply, has higher performance such as processing power than the detection device 106(1), and is a large-scale device that can process large amounts of data at high speed. It is possible to install equipment and perform high-precision, advanced object detection processing and analysis that does not require real-time performance.

ネットワーク107は、例えばネットワークスイッチなどの通信装置を含むインターネットや専用の通信網に対応し、大量のデータを転送する場合、時間遅延が生じる場合がある。このため、検知装置106(2)は、通信エリアへの物体150の侵入検知など、リアルタイム性を必要とする物体検知に適さない。 The network 107 corresponds to, for example, the Internet or a dedicated communication network that includes communication devices such as network switches, and when transferring a large amount of data, a time delay may occur. Therefore, the detection device 106(2) is not suitable for detecting an object that requires real-time performance, such as detecting the intrusion of the object 150 into a communication area.

このように、本実施形態に係る物体検知システム100は、STA102からAP101に送信されるCSIをキャプチャ装置103がキャプチャし、キャプチャ情報に基づいて通信エリア内の物体を検知することができる。特に、本実施形態では、キャプチャしたCSIを検知装置106(1)および検知装置106(2)に振り分けることにより、リアルタイム性が要求される低精度・単純な物体検知とリアルタイム性が要求されない高精度・高度な物体検知とを両立させることができる。 In this way, in the object detection system 100 according to the present embodiment, the capture device 103 can capture the CSI transmitted from the STA 102 to the AP 101, and can detect objects within the communication area based on the captured information. In particular, in this embodiment, by distributing the captured CSI to the detection device 106(1) and the detection device 106(2), low-accuracy/simple object detection that requires real-time performance and high-precision object detection that does not require real-time performance are achieved.・It is possible to achieve both advanced object detection.

なお、図1では、機能が分かり易いように、キャプチャ装置103、振り分け装置104、記憶装置105および検知装置106(1)を別々の装置として説明したが、キャプチャ装置103、振り分け装置104、記憶装置105の機能を1台の検知装置106(1)に集約してもよい。この場合、当該検知装置106(1)からネットワーク107を介して検知装置106(2)に記憶装置105に蓄積された情報が送信される。 Note that in FIG. 1, the capture device 103, distribution device 104, storage device 105, and detection device 106(1) are described as separate devices to make the functions easier to understand. The functions of 105 may be integrated into one detection device 106(1). In this case, the information accumulated in the storage device 105 is transmitted from the detection device 106(1) to the detection device 106(2) via the network 107.

また、キャプチャ装置103、振り分け装置104、記憶装置105、検知装置106(1)および検知装置106(2)がそれぞれ実行する処理に対応するプログラムをコンピュータもしくはFPGA(Field Programmable Gate Array)などの集積回路で実行するようにしてもよい。また、プログラムは、記憶媒体に記録して提供されてもよいし、ネットワークを通して提供されてもよい。 In addition, programs corresponding to the processes executed by the capture device 103, the distribution device 104, the storage device 105, the detection device 106(1), and the detection device 106(2) are installed on a computer or an integrated circuit such as an FPGA (Field Programmable Gate Array). You can also run it with Further, the program may be provided recorded on a storage medium or may be provided through a network.

(AP101とSTA102との間のシーケンス例)
図2は、AP101とSTA102との間で通信される無線信号のシーケンス例を示す。
(Example of sequence between AP101 and STA102)
FIG. 2 shows an example of a sequence of wireless signals communicated between the AP 101 and the STA 102.

図2において、AP101は、CSIを取得するためのサウンディングプロトコルの開始信号として、VHT NDP Announcementフレームをブロードキャストする。その直後に、AP101は、CSIを測定するためのデータを含むVHT NDPを宛先のSTA102に送信する。 In FIG. 2, the AP 101 broadcasts a VHT NDP Announcement frame as a start signal of a sounding protocol for acquiring CSI. Immediately thereafter, the AP 101 transmits VHT NDP including data for measuring CSI to the destination STA 102.

ここで、VHTはVery High Throughputの略であり、IEEE802.11ac規格では超高速通信を行うためのVHTフレームが基本である。また、NDPはNull Data Packetの略であり、VHT NDPは通信用データを含まないフレームである。VHT NDP Announcementフレームは、AP101と宛先のSTA102のアドレスを含み、VHT NDPの送信をSTA102に事前通知するためのフレームである。なお、VHT NDP Announcementフレームは、特定の1以上のアンテナから送信され、2以上のアンテナから送信する場合もすべて同じデータの信号が各アンテナから送信される。 Here, VHT is an abbreviation for Very High Throughput, and the IEEE802.11ac standard is based on a VHT frame for performing ultra-high-speed communication. Further, NDP is an abbreviation for Null Data Packet, and VHT NDP is a frame that does not include communication data. The VHT NDP Announcement frame includes the addresses of the AP 101 and the destination STA 102, and is a frame for notifying the STA 102 of VHT NDP transmission in advance. Note that the VHT NDP Announcement frame is transmitted from one or more specific antennas, and even when transmitted from two or more antennas, the same data signal is transmitted from each antenna.

図2において、AP101から送信されるVHT NDPを受信したSTA102は、IEEE802.11acで規定された手法により圧縮されたCSIの値を導出する。STA102は、導出した圧縮されたCSIをVHT Compressed Beamforming Reportに格納して送信する。ここで、STA102は、AP101のアンテナごとにCSIが得られるが、アンテナ数が多くなるとAP101にフィードバックするCSIの情報量が多くなる。このため、無線LAN規格で予め決められた方法により、すべてのCSIから選択されたCSI(圧縮されたCSI)がAP101にフィードバックされる。 In FIG. 2, the STA 102 that receives the VHT NDP transmitted from the AP 101 derives a compressed CSI value using a method defined by IEEE802.11ac. The STA 102 stores the derived compressed CSI in a VHT Compressed Beamforming Report and transmits it. Here, the STA 102 can obtain CSI for each antenna of the AP 101, but as the number of antennas increases, the amount of CSI information fed back to the AP 101 increases. Therefore, a CSI (compressed CSI) selected from all CSIs is fed back to the AP 101 by a method predetermined in the wireless LAN standard.

ここで、物体検知方法の一例を説明する。図1において、キャプチャ装置103は、STA102からAP101にフィードバックされる4つのアンテナごとに測定されたCSIをキャプチャする。例えば、図1において、物体150が点線矢印の方向に移動している場合、AP101のAT(4)側から通信エリアに侵入する。そして、物体150がAT(1)側に通り抜ける場合、先ずAT(4)のCSIが変動し、時間的にAT(3)、AT(2)、およびAT(1)の順にCSIが変動する。このように、アンテナごとのCSIの変動を検知することにより、物体150の侵入や移動方向を検知することができる。 Here, an example of an object detection method will be explained. In FIG. 1, the capture device 103 captures the CSI measured for each of the four antennas that is fed back from the STA 102 to the AP 101. For example, in FIG. 1, when the object 150 is moving in the direction of the dotted arrow, it invades the communication area from the AT(4) side of the AP 101. When the object 150 passes through to the AT(1) side, the CSI of AT(4) changes first, and the CSI changes temporally in the order of AT(3), AT(2), and AT(1). In this way, by detecting variations in the CSI for each antenna, it is possible to detect the intrusion and moving direction of the object 150.

なお、上述の検知方法は一例であり、侵入検知のようにリアルタイム性が必要な単純な物体検知だけでなく、予め決められた時間だけ蓄積された大量のCSIを解析することにより、リアルタイム性が要求されない人数カウントのような高精度・高機能な物体検知が可能になる。 The above-mentioned detection method is just an example, and it is not only possible to detect simple objects that require real-time performance such as intrusion detection, but also to detect real-time performance by analyzing a large amount of CSI accumulated over a predetermined period of time. This enables highly accurate and highly functional object detection, such as non-required people counting.

ここで、先に説明したように、本実施形態に係る物体検知システム100では、侵入検知のようにリアルタイム性が必要な単純な物体検知は、通信エリアの近傍に設置された検知装置106(1)で行う。また、人数カウントのようなリアルタイム性が要求されない高精度・高機能な物体検知は、遠隔地に設置された高性能な検知装置106(2)で行われる。 Here, as explained earlier, in the object detection system 100 according to the present embodiment, simple object detection that requires real-time performance such as intrusion detection is performed by the detection device 106 (1) installed near the communication area. ). Furthermore, highly accurate and highly functional object detection that does not require real-time performance, such as counting people, is performed by a high-performance detection device 106 (2) installed in a remote location.

このように、本実施形態に係る物体検知システム100は、リアルタイム性が要求される単純・低精度な物体検知とリアルタイム性が要求されない高度・高精度な物体検知とを両立させることができる。 In this way, the object detection system 100 according to the present embodiment can achieve both simple and low-precision object detection that requires real-time performance and advanced and high-precision object detection that does not require real-time performance.

(物体検知のシーケンス例)
図3は、本実施形態に係る物体検知方法のシーケンス例を示す。なお、図3に示すシーケンスは、図1の各装置により実行される。
(Example of object detection sequence)
FIG. 3 shows a sequence example of the object detection method according to this embodiment. Note that the sequence shown in FIG. 3 is executed by each device in FIG. 1.

ステップ(1)において、図2で説明したように、AP101とSTA102との間で通信が行われている。キャプチャ装置103は、AP101とSTA102との間で送受信される無線LANフレームをモニタする。 In step (1), as explained in FIG. 2, communication is performed between the AP 101 and the STA 102. The capture device 103 monitors wireless LAN frames transmitted and received between the AP 101 and the STA 102.

ステップ(2)において、キャプチャ装置103は、受信可能な無線LANのフレームをキャプチャしており、予め指定されたSTA102からAP101に送信されたVHT Compressed Beamforming Reportフレーム(圧縮されたCSIが格納されたフレーム)のみを選別してキャプチャする。 In step (2), the capture device 103 captures a receivable wireless LAN frame, and captures a VHT Compressed Beamforming Report frame (a frame in which compressed CSI is stored) transmitted from a pre-designated STA 102 to the AP 101. ) is selected and captured.

ステップ(3)において、キャプチャ装置103は、キャプチャしたフレーム内の圧縮されたCSIが格納されたフレームと当該フレームの受信時刻の情報を振り分け装置104に送信する。ここで、キャプチャ装置103自身の番号(シリアル番号などの装置固有の識別子)を含めて、振り分け装置104に送信する。 In step (3), the capture device 103 transmits information about the frame in which the compressed CSI in the captured frame is stored and the reception time of the frame to the distribution device 104. Here, the capture device 103 includes its own number (a device-specific identifier such as a serial number) and transmits it to the distribution device 104 .

ステップ(4)において、振り分け装置104は、キャプチャ装置103から受信した圧縮されたCSIが格納されたフレームと当該フレームの受信時刻の情報を検知装置106(1)にリアルタイムで送信する。 In step (4), the distribution device 104 transmits the frame containing the compressed CSI received from the capture device 103 and information on the reception time of the frame to the detection device 106(1) in real time.

ステップ(5)において、検知装置106(1)は、振り分け装置104から受信した圧縮されたCSIが格納されたフレームと当該フレームの受信時刻の情報に基づいて、リアルタイムで物体検知を行う。 In step (5), the detection device 106(1) performs object detection in real time based on the frame containing the compressed CSI received from the distribution device 104 and information on the reception time of the frame.

ステップ(6)において、振り分け装置104は、ステップ(4)の処理と並行して、ステップ(3)でキャプチャ装置103から受信した圧縮されたCSIが格納されたフレームと当該フレームの受信時刻の情報、およびキャプチャ装置103の番号などの情報を記憶装置105に記憶する。なお、振り分け装置104は、記憶装置105に記憶する情報をリアルタイムで検知装置106(2)に送信するようにしてもよい。 In step (6), in parallel with the processing in step (4), the distribution device 104 provides information on the frame in which the compressed CSI received from the capture device 103 in step (3) is stored and the reception time of the frame. , and the number of the capture device 103 are stored in the storage device 105. Note that the distribution device 104 may transmit the information stored in the storage device 105 to the detection device 106(2) in real time.

ステップ(7)において、記憶装置105は、振り分け装置104から出力される圧縮されたCSIが格納されたフレームと当該フレームの受信時刻の情報、およびキャプチャ装置103の番号などの情報を蓄積する。 In step (7), the storage device 105 stores information such as the frame in which the compressed CSI output from the distribution device 104 is stored, the reception time of the frame, and the number of the capture device 103.

ステップ(8)において、ステップ(2)と同様に、再度STA102からAP101に送信されたVHT Compressed Beamforming Reportフレームのみを選別してキャプチャする。 In step (8), similarly to step (2), only the VHT Compressed Beamforming Report frame transmitted from the STA 102 to the AP 101 is selected and captured again.

ステップ(9)において、ステップ(3)と同様に、キャプチャ装置103は、キャプチャしたフレーム内の圧縮されたCSIが格納されたフレームと当該フレームの受信時刻の情報、およびキャプチャ装置103自身の番号などの情報を振り分け装置104に送信する。 In step (9), similarly to step (3), the capture device 103 collects information such as the frame in which the compressed CSI is stored in the captured frame, information on the reception time of the frame, and the number of the capture device 103 itself. information is transmitted to the sorting device 104.

ステップ(10)において、振り分け装置104は、ステップ(6)と同様に、ステップ(9)でキャプチャ装置103から受信した圧縮されたCSIが格納されたフレームと当該フレームの受信時刻の情報、およびキャプチャ装置103の番号などの情報を記憶装置105に記憶する。ここで、振り分け装置104は、ステップ(4)と同様の処理を行わないので、検知装置106(1)にはキャプチャされた情報が転送されない。なお、振り分け装置104は、記憶装置105に記憶する情報をリアルタイムで検知装置106(2)に送信するようにしてもよい。 In step (10), similar to step (6), the distribution device 104 stores the frame in which the compressed CSI received from the capture device 103 in step (9), the information on the reception time of the frame, and the capture Information such as the number of the device 103 is stored in the storage device 105. Here, the distribution device 104 does not perform the same process as step (4), so the captured information is not transferred to the detection device 106(1). Note that the distribution device 104 may transmit the information stored in the storage device 105 to the detection device 106(2) in real time.

ステップ(11)において、記憶装置105は、ステップ(7)と同様に、振り分け装置104から出力される圧縮されたCSIが格納されたフレームと当該フレームの受信時刻の情報、およびキャプチャ装置103の番号などの情報を蓄積する。なお、記憶装置105に記憶される情報については後で説明する。 In step (11), similarly to step (7), the storage device 105 stores the frame in which the compressed CSI output from the distribution device 104 is stored, information on the reception time of the frame, and the number of the capture device 103. Accumulate information such as. Note that information stored in the storage device 105 will be explained later.

ステップ(12)において、上記ステップ(1)からステップ(11)の動作が繰り返し行われる。なお、図3の例では、振り分け装置104は、ステップ(2)でキャプチャしたキャプチャ情報をステップ(4)で検知装置106(1)に送信するが、ステップ(8)でキャプチャしたキャプチャ情報は検知装置106(1)に送信しない。つまり、振り分け装置104は、キャプチャ装置103から受け取ったキャプチャ情報を2回に1回の割合で送信回数を1/2に間引いて検知装置106(1)に送信する処理をステップ(12)で繰り返し実行する。なお、図3の例では、検知装置106(1)への送信回数を1/2に間引いているが1/3など任意の回数に間引いてもよい。あるいは、ある一定時間内にキャプチャされたキャプチャ情報の先頭などから予め決められた個数(n個(nは正の整数))のキャプチャ情報が送信されるようにしてもよい。 In step (12), the operations from step (1) to step (11) are repeated. In the example of FIG. 3, the sorting device 104 sends the capture information captured in step (2) to the detection device 106(1) in step (4), but the capture information captured in step (8) is not detected. Do not send to device 106(1). In other words, in step (12), the distribution device 104 repeats the process of decimating the number of transmissions of the capture information received from the capture device 103 by half and transmitting it to the detection device 106(1) once every two times. Execute. In the example of FIG. 3, the number of times of transmission to the detection device 106(1) is thinned out to 1/2, but it may be thinned out to any number of times, such as 1/3. Alternatively, a predetermined number (n pieces (n is a positive integer)) of capture information may be transmitted starting from the beginning of capture information captured within a certain period of time.

ステップ(13)において、振り分け装置104は、記憶装置105に記憶されたキャプチャ情報を読み出して、非リアルタイムで検知装置106(2)に送信する。図3の例では、振り分け装置104は、ステップ(1)からステップ(11)の動作が繰り返し行われている期間に記憶装置105に蓄積されたキャプチャ情報を読み出して、検知装置106(2)に送信する。つまり、振り分け装置104は、予め決められた一定の時間間隔もしくは予め決められた時刻になるごとに、記憶装置105に記憶されたキャプチャ情報を読み出して、検知装置106(2)に送信する。なお、振り分け装置104は、キャプチャ装置103からキャプチャ情報を受け取るごとに検知装置106(2)にキャプチャ情報を送信するようにしてもよい。 In step (13), the distribution device 104 reads the capture information stored in the storage device 105 and transmits it to the detection device 106(2) in non-real time. In the example of FIG. 3, the sorting device 104 reads out the capture information accumulated in the storage device 105 during the period when the operations from step (1) to step (11) are repeated, and sends it to the detection device 106(2). Send. That is, the distribution device 104 reads the capture information stored in the storage device 105 and transmits it to the detection device 106(2) at predetermined fixed time intervals or at predetermined times. Note that the distribution device 104 may transmit capture information to the detection device 106(2) every time it receives capture information from the capture device 103.

ステップ(14)において、検知装置106(2)は、ネットワーク107を介して振り分け装置104から受信したCSIおよび受信時刻などの情報に基づいて、物体検知を行う。なお、検知装置106(2)が行う物体検知は、検知装置106(1)よりも高精度な物体検知であり、例えば、物体の正確な位置、移動方向の検知、通信エリアにおける混雑度の検知、物や人の数のカウントなどを少なくとも含む高精度もしくは高度な物体検知、および検知結果の時間的・空間的な推移や予測などの高度な解析が非リアルタイムで行われる。ここで、検知装置106(2)は、検知装置106(1)よりも高性能な装置なので、振り分け装置104と検知装置106(2)との間のネットワーク107の通信帯域を確保できる場合は、振り分け装置104から逐次、キャプチャ情報を受信してリアルタイムでの処理も可能である。 In step (14), the detection device 106(2) performs object detection based on information such as the CSI and reception time received from the distribution device 104 via the network 107. Note that the object detection performed by the detection device 106 (2) is more accurate object detection than the detection device 106 (1), and includes, for example, detection of the exact position and direction of movement of the object, and detection of the degree of congestion in the communication area. , high-precision or advanced object detection, including at least counting the number of objects and people, and advanced analysis, such as temporal and spatial trends and predictions of detection results, are performed in non-real time. Here, since the detection device 106(2) is a device with higher performance than the detection device 106(1), if the communication band of the network 107 between the distribution device 104 and the detection device 106(2) can be secured, It is also possible to sequentially receive capture information from the distribution device 104 and process it in real time.

このように、本実施形態に係る物体検知システム100は、リアルタイム性が必要な単純な物体検知を検知装置106(1)で行い、リアルタイム性が要求されない高精度・高機能な物体検知を検知装置106(2)で行うことにより、リアルタイム性が要求される単純・低精度な物体検知とリアルタイム性が要求されない高度・高精度な物体検知とを両立させることができる。 In this way, the object detection system 100 according to the present embodiment uses the detection device 106 (1) to perform simple object detection that requires real-time performance, and uses the detection device to perform highly accurate and highly functional object detection that does not require real-time performance. 106(2), it is possible to achieve both simple and low-precision object detection that requires real-time performance and advanced and high-precision object detection that does not require real-time performance.

(記憶装置105のフォーマットの一例)
図4は、キャプチャ装置103から受け取ったCSIおよび受信時刻などの情報が記憶装置105に記憶されるときのフォーマットの一例を示す。
(Example of format of storage device 105)
FIG. 4 shows an example of a format in which information such as the CSI and reception time received from the capture device 103 is stored in the storage device 105.

記憶装置105に記憶される情報のフォーマットは、キャプチャ装置103がCSIをキャプチャした受信時刻、AP101のアドレス、STA102のアドレス、キャプチャ装置103の番号、キャプチャ装置103がキャプチャしたCSI(取得CSI)の各情報が記憶装置105に記憶される。 The format of the information stored in the storage device 105 includes the reception time when the capture device 103 captured the CSI, the address of the AP 101, the address of the STA 102, the number of the capture device 103, and the CSI captured by the capture device 103 (acquired CSI). Information is stored in storage device 105.

なお、AP101およびSTA102のそれぞれのアドレスは、CSIが格納されている無線フレームの送信元アドレスおよび送信先アドレスとして取得される。また、キャプチャ装置103の番号は、キャプチャ装置103固有の番号であり、振り分け装置104に送信する情報にキャプチャ装置103の番号が付加される。キャプチャ装置103の番号は、複数のキャプチャ装置103が配置される場合に、それぞれのキャプチャ装置103を識別するために使用される。 Note that the respective addresses of the AP 101 and the STA 102 are acquired as the source address and destination address of the wireless frame in which the CSI is stored. Further, the number of the capture device 103 is a number unique to the capture device 103, and the number of the capture device 103 is added to the information transmitted to the distribution device 104. The number of the capture device 103 is used to identify each capture device 103 when a plurality of capture devices 103 are arranged.

図4の例では、アドレスが11:22:33:44:55:66のSTA102からアドレスがAA:BB:CC:DD:EE:FFのAP101に送信されたCSIが受信時刻14:00:00に装置番号がA1のキャプチャ装置103によりキャプチャされている。このときに取得されたCSIは、例えばφ11,φ21,・・・である。同様に、受信時刻14:00:01、受信時刻14:00:02のように、時系列順にキャプチャ装置103によりキャプチャされたCSIを記憶装置105に記憶する。なお、取得CSIについては後述する。 In the example of FIG. 4, the CSI sent from the STA 102 with the address 11:22:33:44:55:66 to the AP 101 with the address AA:BB:CC:DD:EE:FF is received at 14:00:00. is captured by the capture device 103 with device number A1. The CSIs acquired at this time are, for example, φ11, φ21, . Similarly, the CSI captured by the capture device 103 is stored in the storage device 105 in chronological order, such as reception time 14:00:01 and reception time 14:00:02. Note that the acquired CSI will be described later.

また、図4の例では、説明が分かり易いように、受信時刻を1secごととし、1secごとにCSIをキャプチャするものとして説明したが、無線システムの仕様に応じて10msecや100msecごとであってもよい。 In addition, in the example of FIG. 4, to make the explanation easier to understand, the reception time is assumed to be every 1 sec, and the CSI is captured every 1 sec. good.

また、図4の例では、図1で説明した1台のAP101と1台のSTA102とが通信する場合を示したが、例えば複数のSTA102が存在する場合は、STA102ごとにアドレスが異なる。AP101についても同様である。 Further, the example in FIG. 4 shows a case where one AP 101 and one STA 102 described in FIG. The same applies to the AP 101.

なお、複数のSTA102が存在する場合であっても、キャプチャ装置103に設定された対象のSTA102が1台の場合は、対象とするSTA102が測定してAP101に送信するCSIの情報のみがキャプチャされて記憶装置105に記憶される。 Note that even if multiple STAs 102 exist, if only one target STA 102 is set in the capture device 103, only the CSI information that the target STA 102 measures and sends to the AP 101 is captured. and stored in the storage device 105.

(圧縮されたCSIの一例)
図5は、STA102からAP101に送信される圧縮されたCSIの一例を示す。図5において、左の列から順に、送信アンテナ数(AP101のアンテナ数)×受信アンテナ数(STA102のアンテナ数)、圧縮されたCSIの数、圧縮されたCSIの一例が記載されている。なお、送信アンテナ数は2以上である。
(Example of compressed CSI)
FIG. 5 shows an example of compressed CSI transmitted from the STA 102 to the AP 101. In FIG. 5, the number of transmitting antennas (the number of antennas of the AP 101) x the number of receiving antennas (the number of antennas of the STA 102), the number of compressed CSIs, and an example of the compressed CSIs are listed in order from the left column. Note that the number of transmitting antennas is two or more.

ここで、先に説明したように、CSIは、STA102のアンテナ数とAP101のアンテナ数とに応じて、各アンテナ間のCSIが測定される。このため、アンテナ数が多くなるとAP101にフィードバックするCSIの情報量が膨大となるので、すべてのアンテナ間のCSIから無線LAN規格で決められた条件により選択されたCSI(圧縮されたCSI)がVHT Compressed Beamforming Reportフレームにより、AP101にフィードバックされる。 Here, as described above, the CSI between each antenna is measured according to the number of antennas of the STA 102 and the number of antennas of the AP 101. For this reason, as the number of antennas increases, the amount of CSI information fed back to the AP 101 becomes enormous, so the CSI (compressed CSI) selected from the CSI between all antennas according to the conditions determined by the wireless LAN standard is The compressed beamforming report frame is fed back to the AP 101.

例えば、送信アンテナ数が2本、受信アンテナ数が1本の場合(2×1と記載)、圧縮されたCSIの数は2、圧縮されたCSIはφ11、ψ21である。同様に、2×2の場合、圧縮されたCSIの数は2、圧縮されたCSIはφ11、ψ21であり、3×1の場合、圧縮されたCSIの数は4、圧縮されたCSIはφ11、φ21、ψ21、ψ31である。ここで、φijは、送信アンテナ番号i(iは2以上の整数)と受信アンテナ番号j(jは1以上の整数)との間の位相情報に相当する。ψijは、送信アンテナ番号iと受信アンテナ番号jとの間の振幅情報に相当する。以下、同様に、送信アンテナ数と受信アンテナ数の組み合わせに応じて、圧縮されたCSIが決められている。 For example, when the number of transmitting antennas is two and the number of receiving antennas is one (written as 2×1), the number of compressed CSIs is 2, and the compressed CSIs are φ11 and φ21. Similarly, in the case of 2×2, the number of compressed CSI is 2, and the compressed CSI is φ11, ψ21, and in the case of 3×1, the number of compressed CSI is 4, and the compressed CSI is φ11. , φ21, ψ21, and ψ31. Here, φij corresponds to phase information between the transmitting antenna number i (i is an integer of 2 or more) and the receiving antenna number j (j is an integer of 1 or more). ψij corresponds to amplitude information between transmitting antenna number i and receiving antenna number j. Similarly, compressed CSI is determined according to the combination of the number of transmitting antennas and the number of receiving antennas.

図1に示す本実施形態に係る物体検知システム100では、送信アンテナ数はAP101のアンテナの数(4本)であり、受信アンテナ数はSTA102のアンテナの数(1本)である。この場合、AP101の4つのアンテナのそれぞれに対する4つの位相情報と4つの振幅情報との合計8つのCSIが測定される。そして、図5に示す4×1のように、測定された8つのCSIから6つの圧縮されたCSI(φ11、φ21、φ31、ψ21、ψ31、ψ41)が計算され、計算された圧縮されたCSIがAP101に送信される。 In the object detection system 100 according to the present embodiment shown in FIG. 1, the number of transmitting antennas is the number of antennas of the AP 101 (four), and the number of receiving antennas is the number of antennas of the STA 102 (one). In this case, a total of eight CSIs including four phase information and four amplitude information for each of the four antennas of the AP 101 are measured. Then, six compressed CSIs (φ11, φ21, φ31, ψ21, ψ31, ψ41) are calculated from the eight measured CSIs, as shown in 4×1 in Figure 5, and the calculated compressed CSI is transmitted to the AP 101.

ここで、図5に示した圧縮されたCSIは一例である。上述の場合、φ11は、AT(4)とAT(1)とから送信された信号がSTA102のアンテナで受信されたときの位相差を示す。同様に、φ21はAT(4)とAT(2)との位相差、φ31はAT(4)とAT(3)との位相差をそれぞれ示す。なお、i,jを正の整数として、φij∈[0,2π)である。また、ψ21は、AT(1)とAT(2)とから送信された信号がSTA102のアンテナで受信されたときの振幅比を角度で表した値(振幅の絶対値の比のtan-1の値)を示す。同様にψ21はAT(1)とAT(2)との振幅比、ψ31はAT(1)とAT(3)との振幅比をそれぞれ示す。なお、i,jを正の整数として、ψij∈[0,π/2)である。 Here, the compressed CSI shown in FIG. 5 is an example. In the above case, φ11 indicates the phase difference when the signals transmitted from AT(4) and AT(1) are received by the antenna of STA102. Similarly, φ21 represents the phase difference between AT(4) and AT(2), and φ31 represents the phase difference between AT(4) and AT(3). Note that φijε[0, 2π), where i and j are positive integers. In addition, ψ21 is the value expressed in angle of the amplitude ratio when the signals transmitted from AT(1) and AT(2) are received by the antenna of STA102 (tan-1 of the ratio of absolute values of amplitudes). value). Similarly, ψ21 represents the amplitude ratio between AT(1) and AT(2), and ψ31 represents the amplitude ratio between AT(1) and AT(3). Note that ψijε[0, π/2), where i and j are positive integers.

このように、STA102は、AP101から送信される参照信号に基づいてCSIを測定して圧縮されたCSIをAP101に送信する。キャプチャ装置103は、STA102からAP101に送信される圧縮されたCSIをキャプチャし、振り分け装置104に送信する。振り分け装置104は、キャプチャ装置103から受け取る圧縮されたCSIの一部を検知装置106(1)に送信し、キャプチャ装置103から受け取るCSIのすべてを検知装置106(2)に送信する。 In this way, the STA 102 measures the CSI based on the reference signal transmitted from the AP 101 and transmits the compressed CSI to the AP 101. The capture device 103 captures the compressed CSI sent from the STA 102 to the AP 101 and sends it to the distribution device 104. The distribution device 104 transmits a portion of the compressed CSI received from the capture device 103 to the detection device 106(1), and transmits all of the CSI received from the capture device 103 to the detection device 106(2).

ここで、本実施形態では、図1に示すように、キャプチャ装置103の位置はAP101とSTA102との中間付近にあるが、STA102からの信号を受信できる位置であればどこでもよい。また、AP101もしくはSTA102にキャプチャ装置103、記憶装置105および検知装置106の機能が含まれているような構成も考えられる。また、図1ではSTA102は1台であるが、STA102は複数台でも構わない。また、AP101と他のAP101との間の通信に本実施形態を適用してもよい(この場合は一方のAP101がSTA102として機能する)。 Here, in this embodiment, as shown in FIG. 1, the position of the capture device 103 is near the middle between the AP 101 and the STA 102, but it may be located anywhere as long as it can receive a signal from the STA 102. Furthermore, a configuration in which the functions of the capture device 103, the storage device 105, and the detection device 106 are included in the AP 101 or the STA 102 is also conceivable. Further, although there is one STA 102 in FIG. 1, there may be a plurality of STA 102. Further, the present embodiment may be applied to communication between the AP 101 and another AP 101 (in this case, one AP 101 functions as the STA 102).

以上、説明したように、本実施形態に係る物体検知システム100は、侵入検知のようなリアルタイム性が必要なセンシングの場合はローカルで行い、人数カウントのような高精度・高機能なセンシングを行う場合は無線情報を遠隔地に転送し、リモートでの検知を行う。これにより、精度/機能に対する要求条件が低いセンシングについては低性能な装置で行うことにより設置場所についての制約を低減もしくはなくすことができ、要求条件が高いセンシングについては遠隔地で行うことにより設置場所にとらわれず実施することが可能となる。 As described above, the object detection system 100 according to the present embodiment performs sensing that requires real-time performance such as intrusion detection locally, and performs highly accurate and highly functional sensing such as counting people. In such cases, wireless information is transmitted to a remote location and detected remotely. This makes it possible to reduce or eliminate restrictions on installation location by performing sensing with low requirements for accuracy/function using low-performance equipment, and by performing sensing with high requirements in a remote location. This makes it possible to implement the project without being restricted by.

特に、本実施形態では、検知装置106(1)と検知装置106(2)の2つの検知装置を用いることにより、設置条件や利用可能電力に制約のある場所では低精度もしくは単純な物体検知を行い、設置条件や利用可能電力に制約が少ない場所に設置した検知装置により高精度もしくは高度な検知(物体の移動方向の検知・混雑度・数の測定)を行うことが可能となる。また、振り分け装置104に記憶装置105を備えることにより、リアルタイム性の要求されない物体検知を高精度に行うことが可能となる。 In particular, in this embodiment, by using two detection devices, the detection device 106(1) and the detection device 106(2), low-accuracy or simple object detection is possible in places where installation conditions or available power are limited. It becomes possible to perform high-precision or advanced detection (detecting the direction of movement of objects, measuring the degree of crowding, and the number of objects) using detection devices installed in locations where there are few restrictions on installation conditions or available power. Further, by providing the storage device 105 in the sorting device 104, it becomes possible to perform object detection with high accuracy without requiring real-time performance.

ここで、振り分け装置104、検知装置106(1)、および検知装置106(2)がそれぞれ行う処理に対応するプログラムを汎用のコンピュータもしくはFPGA(Field Programmable Gate Array)などの集積回路で実行するようにしてもよい。また、プログラムは、記憶媒体に記録して提供されてもよいし、ネットワークを通して提供されてもよい。 Here, programs corresponding to the processing performed by the sorting device 104, the detection device 106(1), and the detection device 106(2), respectively, are executed on a general-purpose computer or an integrated circuit such as an FPGA (Field Programmable Gate Array). It's okay. Further, the program may be provided recorded on a storage medium or may be provided through a network.

このように、本発明に係る物体検知システム、物体検知方法、およびデータ振り分け装置は、無線信号の伝搬路情報から通信エリア内の物体を検知する場合に、物体検知用の伝搬路情報を複数の物体検知装置に振り分けることにより、リアルタイム性が要求される低精度・単純な物体検知とリアルタイム性が要求されない高精度・高度な物体検知とを両立させることができる。 As described above, the object detection system, object detection method, and data sorting device according to the present invention, when detecting an object within a communication area from propagation path information of a wireless signal, combine propagation path information for object detection into a plurality of objects. By distributing the information to the object detection device, it is possible to achieve both low-accuracy, simple object detection that requires real-time performance, and high-accuracy, advanced object detection that does not require real-time performance.

100・・・物体検知システム;101・・・AP;102・・・STA;103・・・キャプチャ装置;104・・・振り分け装置;105・・・記憶装置;106(1),106(2)・・・検知装置;107・・・ネットワーク;150・・・物体 100... Object detection system; 101... AP; 102... STA; 103... Capture device; 104... Sorting device; 105... Storage device; 106 (1), 106 (2) ...Detection device; 107...Network; 150...Object

Claims (8)

2以上の無線装置間で測定および通信される伝搬路情報をキャプチャするキャプチャ装置と、
前記キャプチャ装置がキャプチャした前記伝搬路情報の一部を第1の検知装置、前記伝搬路情報のすべてを第2の検知装置にそれぞれ振り分ける振り分け装置と
を有し、
前記第1の検知装置は、前記振り分け装置から振り分けられた一部の前記伝搬路情報に基づいて、前記無線装置間の通信エリア内の物体を検知し、
前記第2の検知装置は、前記振り分け装置から振り分けられたすべての前記伝搬路情報に基づいて、前記第1の検知装置よりも高精度および高機能な処理を行い、前記無線装置間の通信エリア内の物体を検知する
ことを特徴とする物体検知システム。
a capture device that captures propagation path information measured and communicated between two or more wireless devices;
a distribution device that distributes a part of the propagation path information captured by the capture device to a first detection device and all of the propagation path information to a second detection device;
The first detection device detects an object within a communication area between the wireless devices based on a portion of the propagation path information distributed by the distribution device,
The second detection device performs processing with higher accuracy and higher functionality than the first detection device based on all the propagation path information distributed from the distribution device, and improves the communication area between the wireless devices. An object detection system characterized by detecting objects inside.
請求項1に記載の物体検知システムにおいて、
前記振り分け装置は、前記第1の検知装置に対しては、キャプチャされた前記伝搬路情報の送信回数を間引いて、リアルタイムで送信し、前記第2の検知装置に対しては、キャプチャされた前記伝搬路情報のすべてをリアルタイムもしくは非リアルタイムで送信し、
前記第1の検知装置は、設置に制約が多い場所に設置され、物体の有無を含む低精度もしくは単純な物体検知をリアルタイムで行い、
前記第2の検知装置は、設置に制約が少ない場所に設置され、物体の移動方向の検知・混雑度・数の測定の少なくとも1つを含む高精度もしくは高度な物体検知を非リアルタイムで行う
ことを特徴とする物体検知システム。
The object detection system according to claim 1,
The distribution device thins out the number of transmissions of the captured propagation path information to the first detection device and transmits the captured propagation path information in real time, and transmits the captured propagation path information to the second detection device. Transmit all propagation path information in real time or non-real time,
The first detection device is installed in a place where there are many restrictions on installation, and performs low-accuracy or simple object detection including the presence or absence of an object in real time,
The second detection device is installed in a place where there are few restrictions on installation, and performs high-precision or advanced object detection in non-real time, including at least one of detecting the moving direction of objects, measuring the degree of crowding, and the number of objects. An object detection system featuring:
請求項1または請求項2に記載の物体検知システムにおいて、
前記振り分け装置は、
前記キャプチャ装置から受け取った前記伝搬路情報を少なくとも含む情報を記憶するための記憶部を備え、
予め決められた一定の時間間隔で前記記憶部に記憶された前記伝搬路情報を少なくとも含む情報を前記第2の検知装置に送信する
ことを特徴とする物体検知システム。
The object detection system according to claim 1 or 2,
The sorting device is
comprising a storage unit for storing information including at least the propagation path information received from the capture device,
An object detection system characterized in that information including at least the propagation path information stored in the storage unit is transmitted to the second detection device at predetermined constant time intervals.
2以上の無線装置間で測定および通信される伝搬路情報をキャプチャするキャプチャ装置と、
前記キャプチャ装置がキャプチャした前記伝搬路情報の一部を第1の検知装置、前記伝搬路情報のすべてを第2の検知装置にそれぞれ振り分ける振り分け装置と
を有し、
前記第1の検知装置は、前記振り分け装置から振り分けられた一部の前記伝搬路情報に基づいて、前記無線装置間の通信エリア内の物体を検知し、
前記第2の検知装置は、前記振り分け装置から振り分けられたすべての前記伝搬路情報に基づいて、前記第1の検知装置よりも高精度および高機能な処理を行い、前記無線装置間の通信エリア内の物体を検知する
ことを特徴とする物体検知方法。
a capture device that captures propagation path information measured and communicated between two or more wireless devices;
a distribution device that distributes a part of the propagation path information captured by the capture device to a first detection device and all of the propagation path information to a second detection device;
The first detection device detects an object within a communication area between the wireless devices based on a portion of the propagation path information distributed by the distribution device,
The second detection device performs processing with higher accuracy and higher functionality than the first detection device based on all the propagation path information distributed from the distribution device, and improves the communication area between the wireless devices. An object detection method characterized by detecting an object within.
請求項4に記載の物体検知方法において、
前記振り分け装置は、前記第1の検知装置に対しては、キャプチャされた前記伝搬路情報の送信回数を間引いて、リアルタイムで送信し、前記第2の検知装置に対しては、キャプチャされた前記伝搬路情報のすべてをリアルタイムもしくは非リアルタイムで送信し、
前記第1の検知装置は、設置に制約が多い場所に設置され、物体の有無を含む低精度もしくは単純な物体検知をリアルタイムで行い、
前記第2の検知装置は、設置に制約が少ない場所に設置され、物体の移動方向の検知・混雑度・数の測定の少なくとも1つを含む高精度もしくは高度な物体検知を非リアルタイムで行う
ことを特徴とする物体検知方法。
In the object detection method according to claim 4,
The distribution device thins out the number of transmissions of the captured propagation path information to the first detection device and transmits the captured propagation path information in real time, and transmits the captured propagation path information to the second detection device. Transmit all propagation path information in real time or non-real time,
The first detection device is installed in a place where there are many restrictions on installation, and performs low-accuracy or simple object detection including the presence or absence of an object in real time,
The second detection device is installed in a place where there are few restrictions on installation, and performs high-precision or advanced object detection in non-real time, including at least one of detecting the moving direction of objects, measuring the degree of crowding, and the number of objects. An object detection method characterized by:
請求項4または請求項5に記載の物体検知方法において、
前記振り分け装置は、
前記キャプチャ装置から受け取った前記伝搬路情報を少なくとも含む情報を記憶するための記憶部を備え、
予め決められた一定の時間間隔で前記記憶部に記憶された前記伝搬路情報を少なくとも含む情報を前記第2の検知装置に送信する
ことを特徴とする物体検知方法。
In the object detection method according to claim 4 or 5,
The sorting device is
comprising a storage unit for storing information including at least the propagation path information received from the capture device,
An object detection method, comprising transmitting information including at least the propagation path information stored in the storage unit to the second detection device at predetermined constant time intervals.
2以上の無線装置間で測定および通信される伝搬路情報に基づいて前記無線装置間の通信エリア内の物体を検知する第1の検知装置および第2の検知装置に対して、キャプチャ装置がキャプチャした前記伝搬路情報を振り分けるデータ振り分け装置において、
前記第1の検知装置に対しては、キャプチャされた前記伝搬路情報の一部をリアルタイムで送信し、前記第2の検知装置に対しては、キャプチャされた前記伝搬路情報のすべてをリアルタイムもしくは非リアルタイムで送信する振り分け部を有する
ことを特徴とするデータ振り分け装置。
A capture device detects an object within a communication area between two or more wireless devices based on propagation path information measured and communicated between the two or more wireless devices. In a data distribution device that distributes the propagation path information,
A part of the captured propagation path information is transmitted to the first detection device in real time, and all of the captured propagation path information is transmitted in real time or to the second detection device. A data distribution device characterized by having a distribution section that transmits data in non-real time.
請求項7に記載のデータ振り分け装置において、
前記キャプチャ装置から受け取った前記伝搬路情報を少なくとも含む情報を記憶するための記憶部を備え、
予め決められた一定の時間間隔で前記記憶部に記憶された前記伝搬路情報を少なくとも含む情報を前記第2の検知装置に送信する
ことを特徴とするデータ振り分け装置。
The data sorting device according to claim 7,
comprising a storage unit for storing information including at least the propagation path information received from the capture device,
A data distribution device characterized in that information including at least the propagation path information stored in the storage unit is transmitted to the second detection device at predetermined constant time intervals.
JP2022569440A 2020-12-17 2020-12-17 Object detection system, object detection method, and data sorting device Active JP7424515B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/047241 WO2022130584A1 (en) 2020-12-17 2020-12-17 Object detection system, object detection method, and data distribution device

Publications (2)

Publication Number Publication Date
JPWO2022130584A1 JPWO2022130584A1 (en) 2022-06-23
JP7424515B2 true JP7424515B2 (en) 2024-01-30

Family

ID=82057461

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022569440A Active JP7424515B2 (en) 2020-12-17 2020-12-17 Object detection system, object detection method, and data sorting device

Country Status (2)

Country Link
JP (1) JP7424515B2 (en)
WO (1) WO2022130584A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007213444A (en) 2006-02-10 2007-08-23 Nippon Telegr & Teleph Corp <Ntt> Intruder detection apparatus and method
JP2019148428A (en) 2018-02-26 2019-09-05 三星電子株式会社Samsung Electronics Co.,Ltd. Human detection device and human detection method
JP2019158481A (en) 2018-03-09 2019-09-19 エヌ・ティ・ティ・コミュニケーションズ株式会社 Determination system, detection system, method for determination, and method for detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007213444A (en) 2006-02-10 2007-08-23 Nippon Telegr & Teleph Corp <Ntt> Intruder detection apparatus and method
JP2019148428A (en) 2018-02-26 2019-09-05 三星電子株式会社Samsung Electronics Co.,Ltd. Human detection device and human detection method
JP2019158481A (en) 2018-03-09 2019-09-19 エヌ・ティ・ティ・コミュニケーションズ株式会社 Determination system, detection system, method for determination, and method for detection

Also Published As

Publication number Publication date
JPWO2022130584A1 (en) 2022-06-23
WO2022130584A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
US10613211B2 (en) Virtual angle-of-arrival/angle-of-departure tracking
Zhang et al. A novel CSI-based fingerprinting for localization with a single AP
EP3316633B1 (en) Apparatuses for generating a beacon sensor based network fingerprint
EP3844982A1 (en) Method and apparatus for location services
US10371790B2 (en) Calibration-free location determination using wireless communication
CN104052700A (en) LTE system anti-interference method and device
WO2021139577A1 (en) Information acquisition method and apparatus, and device and storage medium
US20230262644A1 (en) Method and apparatus for processing data flow of positioning base station, device and computer-readable medium
CN109934031B (en) LOS/NLOS distinguishing method and system based on RFID system
WO2018121437A1 (en) Method for determining candidate line-of-sight path, and wireless local area network device
EP3989636A1 (en) Wireless communication device and method, and wireless communication terminal
Zhang et al. A novel fingerprinting using channel state information with MIMO–OFDM
JP7424515B2 (en) Object detection system, object detection method, and data sorting device
JP7435828B2 (en) Object detection system and object detection method
CN110398733B (en) Radar cluster single snapshot collaborative imaging method based on time synchronization
EP3910983B1 (en) Wireless base station, and terminal device
US7630728B2 (en) Method and system for synchronizing a network of RF devices
WO2021039516A1 (en) Spatial image generation device, object detection device, and object detection method
WO2021159707A1 (en) Locating method and apparatus, wlan devices, and storage medium
CN113784288B (en) Non-contact active area recognition method, system, computer device and storage medium
JP7349683B2 (en) Object detection system, object detection device, object detection method and object detection program
JP7459734B2 (en) Spatial image generating device and object detecting device
JP7540370B2 (en) State estimation device and state estimation method
CN113259834B (en) Positioning method, WLAN device and storage medium
JP2023019158A (en) Position estimation system, position estimation device, position estimation method, and position estimation program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240101

R150 Certificate of patent or registration of utility model

Ref document number: 7424515

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150