WO2022130585A1 - 物体検知システムおよび物体検知方法 - Google Patents

物体検知システムおよび物体検知方法 Download PDF

Info

Publication number
WO2022130585A1
WO2022130585A1 PCT/JP2020/047246 JP2020047246W WO2022130585A1 WO 2022130585 A1 WO2022130585 A1 WO 2022130585A1 JP 2020047246 W JP2020047246 W JP 2020047246W WO 2022130585 A1 WO2022130585 A1 WO 2022130585A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection
detection device
learning model
capture
object detection
Prior art date
Application number
PCT/JP2020/047246
Other languages
English (en)
French (fr)
Inventor
信也 大槻
友規 村上
智明 小川
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US18/266,515 priority Critical patent/US20240036227A1/en
Priority to PCT/JP2020/047246 priority patent/WO2022130585A1/ja
Priority to JP2022569441A priority patent/JP7435828B2/ja
Publication of WO2022130585A1 publication Critical patent/WO2022130585A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V3/00—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation
    • G01V3/12—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation operating with electromagnetic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Definitions

  • the present invention relates to a technique for detecting an object by using supervised machine learning in an object detection system that detects an object in a communication area from the propagation path information of a radio signal communicated between wireless devices.
  • Non-Patent Document 1 a method of using supervised machine learning when detecting an object in a communication area from the propagation path information of a radio signal communicated between wireless devices has been studied (see, for example, Non-Patent Document 1).
  • an AP Access Point
  • STAtion a reference signal to STA (STAtion) to measure the state of the propagation path.
  • STAtion a reference signal to STA (STAtion) to measure the state of the propagation path.
  • the propagation path information measured by the STA is transmitted to the AP (see, for example, Non-Patent Document 2).
  • the object detection system and the object detection method according to the present invention have high accuracy by installing a plurality of detection devices having different performances in a plurality of places in a system for detecting an object in a communication area from the propagation path information of a radio signal.
  • the output of the detection device that performs object detection as teacher data, it is possible to easily generate a learning model for object detection using supervised machine learning without spending time or manpower, and the generated learning model can be generated. It can be used with other detectors.
  • the present invention captures the propagation path information between the wireless devices in an object detection system that detects an object between the wireless devices based on the propagation path information between two or more wireless devices, and obtains the propagation path information.
  • the first detection device includes a capture device that transmits to a first detection device and a second detection device, and a learning model generation device that generates a learning model for object detection using supervised machine learning. Using the learning model generated by the learning model generator, object detection between the wireless devices is performed, and the second detection device performs object detection with higher accuracy than the first detection device.
  • the learning model generation device is characterized in that the learning model used in the first detection device is generated and updated using the determination data including the detection result of the object of the second detection device as the teacher data.
  • the present invention is an object detection method for detecting an object between the radio devices based on the propagation path information between two or more radio devices, and captures the propagation path information between the radio devices.
  • a capture device that transmits propagation path information to a first detection device and a second detection device, and a learning model generation device that generates a learning model for object detection using supervised machine learning are provided.
  • the detection device of the above performs object detection between the radio devices using the learning model generated by the learning model generation device, and the second detection device is an object with higher accuracy than the first detection device.
  • the learning model generation device performs detection, and is characterized in that the learning model generation device generates and updates the learning model used in the first detection device using determination data including the detection result of an object of the second detection device as training data. And.
  • the object detection system and the object detection method according to the present invention have high accuracy by installing a plurality of detection devices having different performances in a plurality of places in a system for detecting an object in a communication area from the propagation path information of a radio signal.
  • the output of the detection device that performs object detection as teacher data, it is possible to easily generate a learning model for object detection using supervised machine learning without spending time or manpower, and the generated learning model can be generated. It can be used with other detectors.
  • a detection device that makes a highly accurate judgment usually has a large hardware scale and power consumption, it is difficult to install it in the vicinity of the detection location or to install a large number of devices, but it is a device that makes a highly accurate judgment. Can be solved by installing it in a remote location using a network.
  • the object detection system measures propagation path information (referred to as CSI (Channel State Information) in the embodiment) between at least two wireless devices such as a base station device and a terminal device, and measures the measurement results.
  • CSI Channel State Information
  • It is a system that uses a wireless communication system to communicate and captures CSI communicated between wireless devices to detect an object in the communication area of the wireless communication system.
  • the wireless communication system is a wireless LAN system will be described, but the same can be applied to any system that measures the state of the propagation path and performs wireless communication.
  • FIG. 1 shows an example of the object detection system 100 according to the embodiment.
  • AP101 corresponding to a base station device and STA102 corresponding to a terminal device perform communication corresponding to 802.11ac of the wireless LAN standard.
  • AP101 has four antennas (AT (1), AT (2), AT (3) and AT (4)). Although the AP 101 shown in FIG. 1 shows an example of four antennas, it suffices if there are two or more antennas. Further, the STA 102 shall be provided with at least one antenna. Further, although FIG. 1 shows an example of one STA102, the present embodiment can be applied even when MU-MIMO (MultiUserMultipleInputMultipleOutput) transmission is performed between the AP101 and a plurality of STA102s. be.
  • MU-MIMO MultiUserMultipleInputMultipleOutput
  • AP101 transmits VHT NDP (Very High Throughput Null Data Packet) to STA102 as a reference signal for measuring the state of each propagation path between each antenna of AP101 and STA102. Then, the STA 102 calculates the CSI indicating the state of the propagation path between each antenna of the AP101 and the STA102 from the VHT NDP, stores the result in the frame of the VHT Compressed BeamForming Report, and transmits the result to the AP101. The AP 101 performs transmission beam forming processing and the like based on the CSI received from the STA 102. The signals transmitted and received between AP101 and STA102 will be described later.
  • VHT NDP Very High Throughput Null Data Packet
  • the object detection system 100 includes a capture device 103 (1), a capture device 103 (2), a detection device 104 (1), a detection device 104 (2), and a learning model generation device 106. Have.
  • the capture device 103 (1) and the capture device 103 (2) are installed in the vicinity of the communication area including the communication area between the AP 101 and the STA 102, and monitor the wireless LAN frame communicated between the AP 101 and the STA 102. Capture a specific frame.
  • the capture device 103 (1) and the capture device 103 (2) determine the VHT Compressed Beamforming Report frame transmitted from the STA 102 to the AP 101 among the wireless LAN frames communicated between the AP 101 and the STA 102, and determine the frame.
  • the frame in which the captured compressed CSI is stored and the information on the reception time of the frame are transmitted to both the detection device 104 (1) and the detection device 104 (2) described later.
  • the capture device 103 (1) transmits the captured information to both the detection device 104 (1) and the detection device 104 (2), and the capture device 103 (2) sends the captured information only to the detection device 104 (2). You may send it to. Further, the measurement of CSI and the transmission of the measurement result are periodically performed between AP101 and STA102. In the following description, when the capture device 103 (1) and the capture device 103 (2) are common, the (number) at the end of the code is omitted and the description is described as the capture device 103.
  • the detection device 104 (1) operates as a first detection device, and information on a frame in which the compressed CSI transmitted from the capture device 103 is stored and the reception time of the frame (hereinafter, capture information as necessary). (Abbreviated as) and is received.
  • the detection device 104 (1) detects an object using the learning model generated by the learning model generation device 106, which will be described later.
  • the detection device 104 (1) is installed at the same location as the capture device 103 installed near the communication area or near the capture device 103 that does not take time to transfer data. As described above, the detection device 104 (1) has restrictions on the installation location, is smaller in scale than the detection device 104 (2) described later, and has low performance such as processing capacity.
  • the detection device 104 (1) detects an object without using a learning model as in the present embodiment, the detection device 104 (1) only detects the presence or absence of an object in real time based on the capture information received from the capture device 103.
  • Simple object detection can only be performed with low accuracy.
  • object detection is performed using a learning model generated by machine learning using judgment data including the detection result of the detection device 104 (2) that performs highly accurate object detection as teacher data, so that the object detection is low. Highly accurate object detection is possible even with the high-performance detection device 104 (1).
  • the determination data includes, for example, the correspondence between a plurality of conditions such as the magnitude and change of the phase and amplitude of each antenna of the AP101 and the detection result such as the position and movement of the object under each condition, and the like, the detection device 104 (2). ) Is various information analyzed by high-precision and high-performance processing.
  • the detection device 104 (2) operates as a second detection device and receives the capture information transmitted from the capture device 103. Then, the detection device 104 (2) detects the object based on the captured information.
  • the detection device 104 (2) is installed at a distance via the network 105. For this reason, the detection device 104 (2) has less restrictions such as installation location and power supply, and therefore has higher performance such as processing capacity than the detection device 104 (1), and is large-scale capable of processing a large amount of data at high speed. It is possible to install equipment, and it is possible to perform high-precision and advanced object detection processing and analysis that do not require real-time performance. Therefore, the detection device 104 (2) provides the learning model generation device 106 with determination data including the detection result of the object as the teacher data for the learning model generation device 106, which will be described later, to generate the learning model by supervised machine learning. do.
  • the network 105 corresponds to the Internet including a communication device such as a network switch and a dedicated communication network.
  • the learning model generation device 106 generates a learning model using the determination data including the object detection result of the detection device 104 (2) that performs highly accurate object detection as teacher data. Then, the learning model generation device 106 transmits the generated learning model to the detection device 104 (1). Each time the learning model generation device 106 generates a new learning model, the newly generated learning model is transmitted to the detection device 104 (1), and the learning model of the detection device 104 (1) is the latest learning model. Update to.
  • the capture device 103 captures the CSI transmitted from the STA 102 to the AP 101, and the object in the communication area can be detected based on the capture information.
  • a plurality of detection devices having different performances are installed at a plurality of places.
  • the learning model generation device 106 can detect the object using supervised machine learning without spending time or manpower.
  • the learning model of can be easily generated, and the generated learning model can be used in the detection device 104 (1).
  • the detection device 104 (2) that makes a highly accurate determination has a large hardware scale and power consumption, it is difficult to install it in the vicinity of the detection location or to install a large number of devices, but the network 105 is used. It is installed in a remote location, and restrictions such as the installation location can be eliminated.
  • the capture device 103 (1) and the capture device 103 (2) capture the propagation path information communicated between the pair of wireless devices of the AP 101 and the STA 102, and the capture device 103 (2) captures the capture information.
  • another capture device that captures propagation path information communicated between another radio device having an overlapping communication area and another radio device.
  • the propagation path information communicated between other wireless devices is captured by another capture device, and the captured information is transmitted only to the detection device 104 (2), and the detection device 104 (2)
  • An object within the same range may be detected by using the capture information received from another capture device and the capture information received from the capture device 103 described above.
  • the detection device 104 (2) can perform highly accurate and highly functional object detection based on more information, and generate a learning model using more detailed judgment data including the object detection result as teacher data. It can be provided to the device 106 and can generate a highly accurate learning model.
  • the detection device 104 (2) may perform object detection by using only a part of the information of the propagation path information captured by the capture device 103 or another capture device.
  • FIG. 2 shows an example of a sequence of radio signals communicated between AP101 and STA102.
  • AP101 broadcasts a VHT NDP Announcement frame as a start signal of a sounding protocol for acquiring CSI. Immediately after that, AP101 transmits VHT NDP including data for measuring CSI to the destination STA102.
  • VHT is an abbreviation for Very High Throughput
  • NDP is an abbreviation for Null Data Packet
  • VHT NDP is a frame that does not include communication data.
  • the VHT NDP Announcement frame includes the addresses of the AP101 and the destination STA102, and is a frame for notifying the STA102 of the transmission of the VHT NDP in advance.
  • the VHT NDP Announcement frame is transmitted from one or more specific antennas, and even when transmitted from two or more antennas, the same data signal is transmitted from each antenna.
  • the STA 102 that has received the VHT NDP transmitted from the AP 101 derives the CSI value compressed by the method specified by IEEE802.11ac.
  • the STA 102 stores the derived compressed CSI in the VHT Compressed Beamforming Report and transmits it.
  • the CSI for each antenna of the AP101 is obtained, but as the number of antennas increases, the amount of CSI information fed back to the AP101 increases. Therefore, the CSI (compressed CSI) selected from all the CSIs is fed back to the AP101 by a method predetermined by the wireless LAN standard.
  • the capture device 103 captures the CSI measured for each of the four antennas fed back from the STA 102 to the AP 101.
  • the object 150 when the object 150 is moving in the direction of the dotted arrow, it enters the communication area from the AT (4) side of the AP101. Then, when the object 150 passes through to the AT (1) side, the CSI of the AT (4) fluctuates first, and the CSI fluctuates in the order of AT (3), AT (2), and AT (1) in time. In this way, by detecting the fluctuation of the CSI for each antenna, it is possible to detect the intrusion and the moving direction of the object 150.
  • the above-mentioned detection method is an example, and not only simple object detection that requires real-time performance such as intrusion detection, but also real-time performance can be achieved by analyzing a large amount of CSI accumulated for a predetermined time. It enables highly accurate and highly functional object detection that is not required.
  • the detection device 104 (1) which has restrictions on the installation location, detects a simple object such as intrusion detection with low accuracy because of its low performance, but in the present embodiment, it is highly accurate. Since object detection is performed using a learning model generated by machine learning using judgment data including the detection result of the object of the detection device 104 (2) as teacher data, the object is detected with high accuracy even with the low performance detection device 104 (1). Object detection becomes possible.
  • FIG. 3 shows a sequence example of the object detection method according to the present embodiment. The sequence shown in FIG. 3 is executed by each device of FIG.
  • step (1) as described in FIG. 2, communication is performed between AP101 and STA102.
  • the capture device 103 (1) monitors the wireless LAN frame transmitted / received between the AP 101 and the STA 102.
  • step (2) the capture device 103 (1) receives only the VHT Compressed Beamforming Report frame (frame in which the compressed CSI is stored) transmitted from the wireless LAN frame to be monitored from the STA 102 specified in advance to the AP 101. Sort and capture.
  • step (3) the capture device 103 (1) transmits the information of the frame in which the captured compressed CSI is stored and the reception time of the frame to the detection device 104 (1).
  • the capture device 103 (1) including its own number (device-specific identifier such as a serial number) is transmitted to the detection device 104 (1) and the detection device 104 (2).
  • the detection device 104 (1) detects an object in real time from the frame in which the compressed CSI received from the capture device 103 (1) is stored and the reception time information of the frame.
  • the detection device 104 (1) performs object detection using the learning model received from the learning model generation device 106 in step (11) described later.
  • the detection device 104 (1) performs object detection without the learning model, but steps (1) to (11) are , It is repeated in a short cycle, and there is almost no practical problem.
  • the capture device 103 (1) receives information on the frame in which the compressed CSI captured in step (2) is stored and the reception time of the frame in parallel with the process of step (3). It is transmitted to the detection device 104 (2).
  • all the information captured by the capture device 103 (1) may be transmitted to the detection device 104 (2), or for example, some information may be thinned out to the detection device 104 (2) once every two times. It may be sent to 2).
  • the thinning process may be performed on the detection device 104 (2) side.
  • the detection device 104 (2) detects an object from the frame in which the compressed CSI received from the capture device 103 (1) is stored and the reception time information of the frame.
  • the object detection algorithm used by the detection device 104 (2) has higher accuracy and higher functionality than the object detection algorithm used by the detection device 104 (1).
  • the detection device 104 (2) detects an object within the same range as the detection device 104 (1) by using the propagation path information captured by another capture device (for example, the capture device 103 (2)).
  • the other capture device may capture the propagation path information between the other radio devices added to the AP101 and the STA102 (for example, the AP101a and the STA102a). In this case, it is assumed that the range of object detection between other wireless devices and the range of object detection between AP101 and STA102 are the same range or overlapping ranges.
  • step (7) the detection device 104 (2) transmits the determination data including the detection result of the object to the learning model generation device 106 as teacher data.
  • step (8) the above-mentioned processes from step (1) to step (7) are repeatedly executed.
  • the processes from step (1) to step (11) may be repeatedly executed, including the processes from the next step (9) to step (11), or the processes from step (1) to step (7) may be executed repeatedly.
  • ) May be performed every time the processing up to) is performed a predetermined number of times, and the processing from step (9) to step (11) may be performed.
  • the process of steps (9) to (11) may be performed each time the learning model generation device 106 generates a new learning model.
  • step (9) the learning model generation device 106 performs supervised machine learning using the determination data including the detection result received from the detection device 104 (2) as supervised data, and generates a learning model.
  • step (10) the learning model generation device 106 transmits the learning model generated in step (9) to the detection device 104 (1) via the network 105.
  • the detection device 104 (1) refers to the learning model received from the learning model generation device 106, and refers to the frame in which the compressed CSI received from the capture device 103 (1) is stored and the frame. Object detection is performed by analyzing the information of the reception time of.
  • step (1) to step (11) are repeated in parallel for the capture device 103 (2) as well. That is, in FIG. 3, the capture device 103 (1) is replaced with the capture device 103 (2), and the operations from step (1) to step (11) are performed.
  • the capture device 103 (2) can capture a frame that cannot be captured by the capture device 103 (1), so that the detection device 104 (2) detects an object based on the information received from the plurality of capture devices 103. be able to.
  • the determination data including the detection result of the detection device 104 (2) capable of performing the object detection with higher accuracy and higher functionality than the detection device 104 (1) is obtained. Since the detection device 104 (1) performs object detection by referring to the learning model generated by machine learning by the learning model generation device 106 as teacher data, the detection device 104 (1) performs highly accurate object detection in real time. be able to.
  • the data may be biased and an appropriate learning model may not be obtained, but the detection device 104 (2) captures. Since the information acquired by the plurality of capture devices 103 such as the device 103 (2) is used, more accurate teacher data can be obtained, so that the learning model generation device 106 can generate a more appropriate learning model.
  • FIG. 4 shows an example of the capture information acquired by the detection device 104 from the capture device 103.
  • the captured information including the frame in which the compressed CSI is stored and the information on the reception time of the frame is stored in a storage unit such as an internal memory of the detection device 104.
  • the capture information includes the reception time when the capture device 103 captures the frame in which the compressed CSI is stored, the AP101 address, the STA102 address, the capture device 103 number, the CSI (acquired CSI) captured by the capture device 103, and the like. Information.
  • the addresses of AP101 and STA102 are acquired as the source address and the destination address of the frame in which the compressed CSI is stored. Further, the number of the capture device 103 is a number unique to the capture device 103, and the number of the capture device 103 is added to the information transmitted to the detection device 104 (1) and the detection device 104 (2). The number of the capture device 103 is used to identify each capture device 103 when a plurality of capture devices 103 are arranged. In the example of FIG. 4, the address of the capture target STA 102 preset in the capture device 103 is 11:22:33:44:55:66.
  • the CSI transmitted from the STA 102 at the address 11:22:33:44:55:66 to the AP101 at the address AA: BB: CC: DD: EE: FF at the reception time 14:00:00 is the device.
  • the CSIs captured by the capture device 103 (1) whose number is (1) and acquired at this time are, for example, ⁇ 11, ⁇ 21, ....
  • the CSI transmitted from the STA 102 at the address 11:22:33:44:55:66 to the AP101 at the address AA: BB: CC: DD: EE: FF at the reception time 14:00:01 is the device number.
  • Is captured by the capture device 103 (2) of (1), and the CSI acquired at this time is, for example, ⁇ 11, ⁇ 21, ....
  • the capture information captured by the plurality of capture devices 103 in chronological order such as reception time 14:00:02 and reception time 14:00:03 is acquired and stored in the internal memory or the like. ..
  • the acquired CSI will be described later.
  • the reception time is set to every 1 sec and the CSI is captured every 1 sec, but it may be every 10 msec or 100 msec depending on the specifications of the wireless system. good.
  • FIG. 4 the case where one AP101 and one STA102 described in FIG. 1 communicate with each other is shown.
  • the address is different for each STA102. For example, if there is an STA 102 with an address of 11:22:33:44:55:66 and an STA102 with an address of 22:33:44:55:66:77, capture information is acquired between each STA102 and AP101. Will be. The same applies when there are a plurality of AP101s.
  • FIG. 5 shows an example of a compressed CSI transmitted from the STA 102 to the AP 101.
  • the number of transmitting antennas (the number of antennas of AP101) ⁇ the number of receiving antennas (the number of antennas of STA102), the number of compressed CSIs, and an example of compressed CSIs are shown.
  • the number of transmitting antennas is 2 or more.
  • the CSI between each antenna is measured according to the number of antennas of STA102 and the number of antennas of AP101. Therefore, as the number of antennas increases, the amount of CSI information fed back to the AP101 becomes enormous, so the CSI (compressed CSI) selected from the CSI between all antennas according to the conditions determined by the wireless LAN standard is VHT. It is fed back to AP101 by the Compressed Beamforming Report frame.
  • the number of transmitting antennas is 2 and the number of receiving antennas is 1 (described as 2 ⁇ 1)
  • the number of compressed CSIs is 2, and the compressed CSIs are ⁇ 11 and ⁇ 21.
  • the number of compressed CSI is 2
  • the compressed CSI is ⁇ 11, ⁇ 21
  • the number of compressed CSI is 4
  • the compressed CSI is ⁇ 11.
  • ⁇ ij corresponds to the phase information between the transmitting antenna number i (i is an integer of 2 or more) and the receiving antenna number j (j is an integer of 1 or more).
  • ⁇ ij corresponds to the amplitude information between the transmitting antenna number i and the receiving antenna number j.
  • the compressed CSI is determined according to the combination of the number of transmitting antennas and the number of receiving antennas.
  • the number of transmitting antennas is the number of antennas of AP101 (4), and the number of receiving antennas is the number of antennas of STA102 (1).
  • a total of eight CSIs of four phase information and four amplitude information for each of the four antennas of AP101 are measured.
  • 6 compressed CSIs ( ⁇ 11, ⁇ 21, ⁇ 31, ⁇ 21, ⁇ 31, ⁇ 41) are calculated from the measured 8 CSIs, and the calculated compressed CSIs are calculated. Is transmitted to AP101.
  • the compressed CSI shown in FIG. 5 is an example.
  • ⁇ 11 indicates the phase difference when the signals transmitted from AT (4) and AT (1) are received by the antenna of STA102.
  • ⁇ 21 indicates the phase difference between AT (4) and AT (2)
  • ⁇ 31 indicates the phase difference between AT (4) and AT (3).
  • ⁇ ij ⁇ [0,2 ⁇ ), where i and j are positive integers.
  • ⁇ 21 is a value representing the amplitude ratio when the signals transmitted from AT (1) and AT (2) are received by the antenna of STA102 (tan-1 of the ratio of the absolute value of the amplitude). Value) is shown.
  • ⁇ 21 indicates the amplitude ratio of AT (1) and AT (2)
  • ⁇ 31 indicates the amplitude ratio of AT (1) and AT (3). It should be noted that ⁇ ij ⁇ [0, ⁇ / 2), where i and j are positive integers.
  • the STA 102 measures the CSI based on the reference signal transmitted from the AP 101 and transmits the compressed CSI to the AP 101.
  • the capture device 103 captures the compressed CSI transmitted from the STA 102 to the AP 101 and transmits it to the detection device 104 (1) and the detection device 104 (2).
  • the positions of the capture device 103 (1) and the capture device 103 (2) are near the middle between the AP 101 and the STA 102, but the positions where the signal from the STA 102 can be received. Anything is fine.
  • the number of STA 102s is one in FIG. 1, a plurality of STA 102s may be used.
  • the present embodiment may be applied to communication between AP101 and another AP101 (in this case, one AP101 functions as STA102).
  • the AP 101 or STA 102 may include the functions of the capture device 103 and the detection device 104 (1).
  • the AP 101 or STA 102 having the function of the capture device 103 transmits the capture information to the detection device 104 (2) at a distance, receives the learning model from the learning model generation device 106, and receives the learning model from the detection device 104 (1).
  • AP101 or STA102 having a function performs object detection.
  • the capture device 103 captures the wireless frame in which the compressed CSI transmitted from the STA 102 to the AP 101 is stored, and the communication area is based on the capture information. It is possible to detect the object inside.
  • a plurality of detection devices having different performances in the example of FIG. 1, the detection devices 104 (1) and the detection devices 104 (2) are installed at a plurality of places.
  • the learning model generation device 106 uses supervised machine learning without spending time or manpower. A learning model for object detection can be easily generated, and the generated learning model can be used in the detection device 104 (1).
  • the detection device 104 (2) that performs highly accurate determination has a large hardware scale and power consumption, it is difficult to install it in the vicinity of the detection location or to install a large number of devices. , It is installed in a remote place by using the network 105, and it is possible to eliminate restrictions such as the installation location.
  • the programs corresponding to the processes performed by the detection device 104 (1), the detection device 104 (2), and the learning model generation device 106 are executed by a general-purpose computer or an integrated circuit such as an FPGA (Field Programmable Gate Array). You may do so. Further, the program may be recorded on a storage medium and provided, or may be provided through a network.
  • a general-purpose computer or an integrated circuit such as an FPGA (Field Programmable Gate Array). You may do so.
  • the program may be recorded on a storage medium and provided, or may be provided through a network.
  • the object detection system and the object detection method according to the present invention in a system for detecting an object in a communication area from the propagation path information of a radio signal, a plurality of detection devices having different performances are installed at a plurality of places.
  • the judgment data including the detection result of the detection device that performs highly accurate object detection as teacher data, it is possible to easily generate a learning model of object detection using supervised machine learning without spending time or manpower. And the generated learning model can be used in other detectors.
  • 100 Object detection system; 101 ... AP; 102 ... STA; 103 (1), 103 (2) ... Capture device; 104 (1), 104 (2) ... Detection device; 105 ... network; 106 ... learning model generator; 150 ... object

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Electromagnetism (AREA)
  • Geology (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

２以上の無線装置間で通信される伝搬路情報をキャプチャして、第１の検知装置および第２の検知装置に送信するキャプチャ装置と、教師あり機械学習を用いた物体検知のための学習モデルを生成する学習モデル生成装置とを備え、第１の検知装置は、学習モデル生成装置により生成された学習モデルを用いて無線装置間の物体検知を行い、第２の検知装置は、第１の検知装置よりも高精度な物体検知を行い、学習モデル生成装置は、第２の検知装置の物体の検知結果を含む判定データを教師データとして第１の検知装置で用いる学習モデルの生成および更新を行う。これにより、時間や人手をかけずに教師あり機械学習を用いた学習モデルを容易に生成できる。

Description

物体検知システムおよび物体検知方法
　本発明は、無線装置間で通信される無線信号の伝搬路情報から通信エリア内の物体を検知する物体検知システムにおいて、教師あり機械学習を用いて物体を検知する技術に関する。
　従来、無線装置間で通信される無線信号の伝搬路情報から通信エリア内の物体を検知する場合に、教師あり機械学習を用いる方法が検討されている（例えば、非特許文献１参照）。なお、無線装置間で通信される伝搬路情報の一例として、無線ＬＡＮ（Local Area Network）システムでは、ＡＰ（Access Point）がＳＴＡ（STAtion）に伝搬路の状態を測定するための参照信号を送信し、ＳＴＡが測定した伝搬路情報をＡＰに送信することが行われている（例えば、非特許文献２参照）。
"インテリジェント空間形成のための無線センシング技術高度化に向けた評価", B5-24, 2020年電子情報通信学会ソサエティ大会、2020年9月 H. Yu and T. Kim, "Beamforming transmission in IEEE 802.11ac under time-varying channels," The Scientific World J., vol. 2014, pp. 1-11, Jul. 2014, article ID 920937.
　機械学習を用いた無線センシングにおいて、精度の向上や人数のカウントなどの高機能なセンシングを行うためには、学習モデルのデータを多くすること、あるいは判定に用いるデータを多くすること、などが必要である。特に教師あり機械学習を用いる場合、作業者がマニュアルで物体を様々な位置に実際に設置して教師データを生成することが行われており、人手や時間が掛かるという問題がある。あるいは、人手による教師データの生成以外に、カメラ等で撮影された画像データやレーザースキャナなどの各種センサを利用して教師データを生成する手法があるが、いずれの手法についても、教師データの生成には時間が掛かるという問題がある。
　また、設置場所の制約により低性能の検知装置しか利用できない場合に、学習データや判定用のデータを多くすると、判定に掛かる時間が長くなってしまう。これに対して高性能な検知装置の場合、高機能化や検知精度の向上は容易だが装置規模が大きくなるため設置場所に制約が掛かるという問題がある。
　本発明に係る物体検知システムおよび物体検知方法は、無線信号の伝搬路情報から通信エリア内の物体を検知するシステムにおいて、性能の異なる複数の検知装置を複数の場所に設置して、高精度な物体検知を行う検知装置の出力を教師データとして用いることにより、時間や人手をかけずに教師あり機械学習を用いた物体検知の学習モデルを容易に生成することができ、生成された学習モデルを他の検知装置で使用することができる。
　本発明は、２以上の無線装置間の伝搬路情報に基づいて、前記無線装置間の物体を検知する物体検知システムにおいて、前記無線装置間の伝搬路情報をキャプチャして、当該伝搬路情報を第１の検知装置および第２の検知装置に送信するキャプチャ装置と、教師あり機械学習を用いた物体検知のための学習モデルを生成する学習モデル生成装置とを備え、前記第１の検知装置は、前記学習モデル生成装置により生成された前記学習モデルを用いて前記無線装置間の物体検知を行い、前記第２の検知装置は、前記第１の検知装置よりも高精度な物体検知を行い、前記学習モデル生成装置は、前記第２の検知装置の物体の検知結果を含む判定データを教師データとして前記第１の検知装置で用いる前記学習モデルの生成および更新を行うことを特徴とする。
　また、本発明は、２以上の無線装置間の伝搬路情報に基づいて、前記無線装置間の物体を検知する物体検知方法であって、前記無線装置間の伝搬路情報をキャプチャして、当該伝搬路情報を第１の検知装置および第２の検知装置に送信するキャプチャ装置と、教師あり機械学習を用いた物体検知のための学習モデルを生成する学習モデル生成装置とを備え、前記第１の検知装置は、前記学習モデル生成装置により生成された前記学習モデルを用いて前記無線装置間の物体検知を行い、前記第２の検知装置は、前記第１の検知装置よりも高精度な物体検知を行い、前記学習モデル生成装置は、前記第２の検知装置の物体の検知結果を含む判定データを教師データとして前記第１の検知装置で用いる前記学習モデルの生成および更新を行うことを特徴とする。
　本発明に係る物体検知システムおよび物体検知方法は、無線信号の伝搬路情報から通信エリア内の物体を検知するシステムにおいて、性能の異なる複数の検知装置を複数の場所に設置して、高精度な物体検知を行う検知装置の出力を教師データとして用いることにより、時間や人手をかけずに教師あり機械学習を用いた物体検知の学習モデルを容易に生成することができ、生成された学習モデルを他の検知装置で使用することができる。
　また、通常、高精度な判定を行う検知装置はハードウェア規模や消費電力が大きくなるため、検知場所の近傍への設置や数多くの装置を設置することは難しいが、高精度な判定を行う装置をネットワークを用いて遠隔地に設置することにより解決できる。
実施形態に係る物体検知システムの一例を示す図である。 ＡＰとＳＴＡとの間で通信される無線信号のシーケンス例を示す図である。 本実施形態に係る物体検知方法のシーケンス例を示す図である。 検知装置が取得するキャプチャ情報の一例を示す図である。 ＳＴＡからＡＰに送信される圧縮されたＣＳＩの一例を示す図である。
　以下、図面を参照して本発明に係る物体検知システムおよび物体検知方法の実施形態について説明する。ここで、本発明に係る物体検知システムは、基地局装置と端末装置など少なくとも２台の無線装置間の伝搬路情報（実施形態ではＣＳＩ（Channel State Information）と称する）を測定して測定結果を通信する無線通信システムを利用し、無線装置間で通信されるＣＳＩをキャプチャして無線通信システムの通信エリア内の物体を検知するシステムである。なお、以降の実施形態では、無線通信システムが無線ＬＡＮシステムである場合について説明するが、伝搬路の状態を測定して無線通信するシステムであれば同様に適用可能である。
　図１は、実施形態に係る物体検知システム１００の一例を示す。図１において、基地局装置に相当するＡＰ１０１と端末装置に相当するＳＴＡ１０２は、無線ＬＡＮ規格の８０２．１１ａｃに対応する通信を行う。
　図１において、ＡＰ１０１は、４つのアンテナ（ＡＴ（１）、ＡＴ（２）、ＡＴ（３）およびＡＴ（４））を有する。なお、図１に示すＡＰ１０１では４つのアンテナの例を示すが、２以上のアンテナが有ればよい。また、ＳＴＡ１０２は少なくとも１本のアンテナを備えるものとする。さらに、図１では、ＳＴＡ１０２が１台の例を示したが、ＡＰ１０１と複数のＳＴＡ１０２との間でＭＵ－ＭＩＭＯ（Multi User Multiple Input Multiple Output）伝送を行う場合でも本実施形態の適用が可能である。
　図１において、ＡＰ１０１は、ＳＴＡ１０２に対して、ＡＰ１０１の各アンテナとＳＴＡ１０２との間のそれぞれの伝搬路の状態を測定するための参照信号としてＶＨＴ　ＮＤＰ（Very High Throughput Null Data Packet）を送信する。そして、ＳＴＡ１０２は、ＶＨＴ　ＮＤＰからＡＰ１０１の各アンテナとＳＴＡ１０２との間の伝搬路の状態を示すＣＳＩを計算し、その結果をＶＨＴ　Ｃｏｍｐｒｅｓｓｅｄ　ＢｅａｍＦｏｒｍｉｎｇ　Ｒｅｐｏｒｔのフレームに格納してＡＰ１０１に送信する。ＡＰ１０１は、ＳＴＡ１０２から受信するＣＳＩに基づいて、送信ビーム形成処理などを行う。なお、ＡＰ１０１とＳＴＡ１０２との間で送受信される信号については後述する。
　図１において、本実施形態に係る物体検知システム１００は、キャプチャ装置１０３（１）、キャプチャ装置１０３（２）、検知装置１０４（１）、検知装置１０４（２）、および学習モデル生成装置１０６を有する。
　キャプチャ装置１０３（１）およびキャプチャ装置１０３（２）は、ＡＰ１０１とＳＴＡ１０２との間の通信エリアを含む通信エリア近傍に設置され、ＡＰ１０１とＳＴＡ１０２との間で通信される無線ＬＡＮフレームをモニタし、特定のフレームをキャプチャする。キャプチャ装置１０３（１）およびキャプチャ装置１０３（２）は、ＡＰ１０１とＳＴＡ１０２との間で通信される無線ＬＡＮフレームのうち、ＳＴＡ１０２からＡＰ１０１に送信されたＶＨＴ　Ｃｏｍｐｒｅｓｓｅｄ　Ｂｅａｍｆｏｒｍｉｎｇ　Ｒｅｐｏｒｔフレームを判別し、当該フレームをキャプチャする。キャプチャした圧縮されたＣＳＩが格納されたフレームと当該フレームの受信時刻の情報を後述の検知装置１０４（１）および検知装置１０４（２）の双方に送信する。あるいは、キャプチャ装置１０３（１）はキャプチャした情報を検知装置１０４（１）および検知装置１０４（２）の両方に送信し、キャプチャ装置１０３（２）はキャプチャした情報を検知装置１０４（２）のみに送信するようにしてもよい。また、ＡＰ１０１とＳＴＡ１０２との間では、ＣＳＩの測定および測定結果の送信が周期的に行われている。なお、以降の説明において、キャプチャ装置１０３（１）およびキャプチャ装置１０３（２）に共通する場合は、符号末尾の（番号）を省略して、キャプチャ装置１０３と記載する。
　検知装置１０４（１）は、第１の検知装置として動作し、キャプチャ装置１０３から送信される圧縮されたＣＳＩが格納されたフレームと当該フレームの受信時刻の情報（以降、必要に応じてキャプチャ情報と略す）とを受信する。ここで、検知装置１０４（１）は、後述の学習モデル生成装置１０６が生成した学習モデルを用いて物体検知を行う。なお、検知装置１０４（１）は、通信エリアの近傍に設置されているキャプチャ装置１０３と同じ場所もしくはデータ転送に時間の掛からないキャプチャ装置１０３の近くに設置されている。このように、検知装置１０４（１）は設置場所の制約があり、後述の検知装置１０４（２）よりも装置規模が小さく、処理能力などの性能が低い。このため、検知装置１０４（１）は、本実施形態のように学習モデルを用いずに物体検知を行う場合、キャプチャ装置１０３から受信するキャプチャ情報に基づいて、リアルタイムで物体の有無を検知するだけの単純な物体検知を低精度でしか行えない。しかし、本実施形態では、高精度な物体検知を行う検知装置１０４（２）の検知結果を含む判定データを教師データとする機械学習により生成された学習モデルを用いて物体検知を行うので、低性能な検知装置１０４（１）でも高精度な物体検知が可能になる。ここで、判定データは、例えば、ＡＰ１０１の各アンテナの位相や振幅の大きさや変化などの複数の条件と、各条件における物体の位置や動きなどの検知結果との対応など、検知装置１０４（２）の高精度・高機能な処理により解析された様々な情報である。
　検知装置１０４（２）は、第２の検知装置として動作し、キャプチャ装置１０３から送信されるキャプチャ情報を受信する。そして、検知装置１０４（２）は、キャプチャ情報に基づいて、物体検知を行う。なお、検知装置１０４（２）は、ネットワーク１０５を介して遠方に設置されている。このため、検知装置１０４（２）は、設置場所や電力供給などの制約が少ないので、検知装置１０４（１）よりも処理能力などの性能が高く、大量のデータを高速に処理できる大規模な装置の設置が可能であり、リアルタイム性が要求されない高精度・高度な物体の検知処理や解析などを行うことができる。そこで、検知装置１０４（２）は、後述の学習モデル生成装置１０６が教師あり機械学習により学習モデルを生成するための教師データとして、物体の検知結果を含む判定データを学習モデル生成装置１０６に提供する。
　ネットワーク１０５は、例えばネットワークスイッチなどの通信装置を含むインターネットや専用の通信網に対応する。
　学習モデル生成装置１０６は、高精度な物体検知を行う検知装置１０４（２）の物体の検知結果を含む判定データを教師データとして学習モデルを生成する。そして、学習モデル生成装置１０６は、生成した学習モデルを検知装置１０４（１）に送信する。なお、学習モデル生成装置１０６は、新たな学習モデルを生成するごとに、新たに生成した学習モデルを検知装置１０４（１）に送信し、検知装置１０４（１）の学習モデルを最新の学習モデルに更新する。
　このように、本実施形態に係る物体検知システム１００は、ＳＴＡ１０２からＡＰ１０１に送信されるＣＳＩをキャプチャ装置１０３がキャプチャし、キャプチャ情報に基づいて通信エリア内の物体を検知することができる。特に、本実施形態に係る物体検知システム１００では、性能の異なる複数の検知装置（図１の例では、検知装置１０４（１）および検知装置１０４（２））を複数の場所に設置して、高精度な物体検知を行う検知装置１０４（２）の検知結果を含む判定データを教師データとして用いることにより、学習モデル生成装置１０６は時間や人手をかけずに教師あり機械学習を用いた物体検知の学習モデルを容易に生成することができ、生成された学習モデルを検知装置１０４（１）で使用することができる。
　また、高精度な判定を行う検知装置１０４（２）は、ハードウェア規模や消費電力が大きくなるため、検知場所の近傍への設置や数多くの装置を設置することは難しいが、ネットワーク１０５を用いて遠隔地に設置されており、設置場所などの制約を無くすことができる。
　ここで、図１では、ＡＰ１０１とＳＴＡ１０２との１組の無線装置間で通信される伝搬路情報をキャプチャ装置１０３（１）およびキャプチャ装置１０３（２）がキャプチャして、当該キャプチャ情報を検知装置１０４（１）および検知装置１０４（２）に送信する例を示したが、通信エリアが重複する他の無線装置と、他の無線装置間で通信される伝搬路情報をキャプチャする他のキャプチャ装置とをさらに設け、他の無線装置間で通信される伝搬路情報を他のキャプチャ装置でキャプチャして、当該キャプチャ情報を検知装置１０４（２）のみに送信し、検知装置１０４（２）は、他のキャプチャ装置から受信するキャプチャ情報と、先に説明したキャプチャ装置１０３から受信するキャプチャ情報とを用いて、同一範囲内の物体検知を行うようにしてもよい。これにより、検知装置１０４（２）は、より多くの情報に基づいて高精度・高機能な物体検知を行うことができ、物体の検知結果を含むより詳細な判定データを教師データとして学習モデル生成装置１０６に提供することができ、精度の高い学習モデルを生成することができる。
　また、検知装置１０４（２）は、キャプチャ装置１０３または他のキャプチャ装置でキャプチャされた伝搬路情報の全ての情報ではなく、一部の情報のみを利用して物体検知を行ってもよい。
　（ＡＰ１０１とＳＴＡ１０２との間のシーケンス例）
　図２は、ＡＰ１０１とＳＴＡ１０２との間で通信される無線信号のシーケンス例を示す。
　図２において、ＡＰ１０１は、ＣＳＩを取得するためのサウンディングプロトコルの開始信号として、ＶＨＴ　ＮＤＰ　Ａｎｎｏｕｎｃｅｍｅｎｔフレームをブロードキャストする。その直後に、ＡＰ１０１は、ＣＳＩを測定するためのデータを含むＶＨＴ　ＮＤＰを宛先のＳＴＡ１０２に送信する。
　ここで、ＶＨＴはＶｅｒｙ　Ｈｉｇｈ　Ｔｈｒｏｕｇｈｐｕｔの略であり、ＩＥＥＥ８０２．１１ａｃ規格では超高速通信を行うためのＶＨＴフレームが基本である。また、ＮＤＰはＮｕｌｌ　Ｄａｔａ　Ｐａｃｋｅｔの略であり、ＶＨＴ　ＮＤＰは通信用データを含まないフレームである。ＶＨＴ　ＮＤＰ　Ａｎｎｏｕｎｃｅｍｅｎｔフレームは、ＡＰ１０１と宛先のＳＴＡ１０２のアドレスを含み、ＶＨＴ　ＮＤＰの送信をＳＴＡ１０２に事前通知するためのフレームである。なお、ＶＨＴ　ＮＤＰ　Ａｎｎｏｕｎｃｅｍｅｎｔフレームは、特定の１以上のアンテナから送信され、２以上のアンテナから送信する場合もすべて同じデータの信号が各アンテナから送信される。
　図２において、ＡＰ１０１から送信されるＶＨＴ　ＮＤＰを受信したＳＴＡ１０２は、ＩＥＥＥ８０２．１１ａｃで規定された手法により圧縮されたＣＳＩの値を導出する。ＳＴＡ１０２は、導出した圧縮されたＣＳＩをＶＨＴ　Ｃｏｍｐｒｅｓｓｅｄ　Ｂｅａｍｆｏｒｍｉｎｇ　Ｒｅｐｏｒｔに格納して送信する。ここで、ＡＰ１０１のアンテナごとのＣＳＩが得られるが、アンテナ数が多くなるとＡＰ１０１にフィードバックするＣＳＩの情報量が多くなる。このため、無線ＬＡＮ規格で予め決められた方法により、すべてのＣＳＩから選択されたＣＳＩ（圧縮されたＣＳＩ）がＡＰ１０１にフィードバックされる。
　ここで、物体検知方法の一例を説明する。図１において、キャプチャ装置１０３は、ＳＴＡ１０２からＡＰ１０１にフィードバックされる４つのアンテナごとに測定されたＣＳＩをキャプチャする。例えば、図１において、物体１５０が点線矢印の方向に移動している場合、ＡＰ１０１のＡＴ（４）側から通信エリアに侵入する。そして、物体１５０がＡＴ（１）側に通り抜ける場合、先ずＡＴ（４）のＣＳＩが変動し、時間的にＡＴ（３）、ＡＴ（２）、およびＡＴ（１）の順にＣＳＩが変動する。このように、アンテナごとのＣＳＩの変動を検知することにより、物体１５０の侵入や移動方向を検知することができる。
　なお、上述の検知方法は一例であり、侵入検知のようにリアルタイム性が必要な単純な物体検知だけでなく、予め決められた時間だけ蓄積された大量のＣＳＩを解析することにより、リアルタイム性が要求されない高精度・高機能な物体検知が可能になる。
　ここで、従来、設置場所に制約がある検知装置１０４（１）は、性能が低いため侵入検知のような単純な物体の検知を低精度で行っていたが、本実施形態では、高精度な検知装置１０４（２）の物体の検知結果を含む判定データを教師データとする機械学習により生成された学習モデルを用いて物体検知を行うので、低性能な検知装置１０４（１）でも高精度な物体検知が可能になる。
　（物体検知のシーケンス例）
　図３は、本実施形態に係る物体検知方法のシーケンス例を示す。なお、図３に示すシーケンスは、図１の各装置により実行される。
　ステップ（１）において、図２で説明したように、ＡＰ１０１とＳＴＡ１０２との間で通信が行われている。キャプチャ装置１０３（１）は、ＡＰ１０１とＳＴＡ１０２との間で送受信される無線ＬＡＮフレームをモニタする。
　ステップ（２）において、キャプチャ装置１０３（１）は、モニタする無線ＬＡＮフレームから、予め指定されたＳＴＡ１０２からＡＰ１０１に送信されたＶＨＴ　Ｃｏｍｐｒｅｓｓｅｄ　Ｂｅａｍｆｏｒｍｉｎｇ　Ｒｅｐｏｒｔフレーム（圧縮されたＣＳＩが格納されたフレーム）のみを選別してキャプチャする。
　ステップ（３）において、キャプチャ装置１０３（１）は、キャプチャした圧縮されたＣＳＩが格納されたフレームと当該フレームの受信時刻の情報を検知装置１０４（１）に送信する。ここで、キャプチャ装置１０３（１）自身の番号（シリアル番号などの装置固有の識別子）を含めて、検知装置１０４（１）および検知装置１０４（２）に送信する。
　ステップ（４）において、検知装置１０４（１）は、キャプチャ装置１０３（１）から受信する圧縮されたＣＳＩが格納されたフレームと当該フレームの受信時刻の情報からリアルタイムで物体検知を行う。ここで、検知装置１０４（１）は、後述のステップ（１１）で学習モデル生成装置１０６から受け取る学習モデルを用いて物体検知を行う。なお、学習モデル生成装置１０６から学習モデルを受け取る前の動作開始時において、検知装置１０４（１）は、学習モデルなしで物体検知を行うことになるが、ステップ（１）からステップ（１１）は、短い周期で繰り返し行われており、実用上の問題はほとんどない。
　ステップ（５）において、キャプチャ装置１０３（１）は、ステップ（３）の処理と並行して、ステップ（２）でキャプチャした圧縮されたＣＳＩが格納されたフレームと当該フレームの受信時刻の情報を検知装置１０４（２）に送信する。なお、キャプチャ装置１０３（１）によりキャプチャされたすべての情報を検知装置１０４（２）に送信してもよいし、例えば２回に１回などに間引いて、一部の情報を検知装置１０４（２）に送信してもよい。これにより、例えばキャプチャ装置１０３（１）から検知装置１０４（２）との間の通信帯域に応じて、送信する情報を少なくするなどの対応が可能となる。あるいは、検知装置１０４（２）側で間引く処理が行われてもよい。
　ステップ（６）において、検知装置１０４（２）は、キャプチャ装置１０３（１）から受信する圧縮されたＣＳＩが格納されたフレームと当該フレームの受信時刻の情報から物体検知を行う。ここで、検知装置１０４（２）が使用する物体検知アルゴリズムは、検知装置１０４（１）が使用する物体検知アルゴリズムよりも高精度・高機能である。また、検知装置１０４（２）は、他のキャプチャ装置（例えばキャプチャ装置１０３（２））でキャプチャされた伝搬路情報を用いて検知装置１０４（１）と同一範囲内で物体検知を行う。ここで、他のキャプチャ装置は、ＡＰ１０１とＳＴＡ１０２に追加した他の無線装置間（例えばＡＰ１０１ａとＳＴＡ１０２ａなど）の伝搬路情報をキャプチャしてもよい。この場合、他の無線装置間での物体検知の範囲と、ＡＰ１０１とＳＴＡ１０２の間の物体検知の範囲は、同一範囲または重複する範囲であるものとする。
　ステップ（７）において、検知装置１０４（２）は、物体の検知結果を含む判定データを教師データとして学習モデル生成装置１０６に送信する。
　ステップ（８）において、上述のステップ（１）からステップ（７）までの処理が繰り返し実行される。ここで、次のステップ（９）からステップ（１１）までの処理を含めて、ステップ（１）からステップ（１１）までの処理が繰り返し実行されてもよいし、ステップ（１）からステップ（７）までの処理を予め決められた所定回数だけ行うごとに、ステップ（９）からステップ（１１）の処理を行うようにしてもよい。あるいは、学習モデル生成装置１０６が新たな学習モデルを生成するごとにステップ（９）からステップ（１１）の処理を行うようにしてもよい。
　ステップ（９）において、学習モデル生成装置１０６は、検知装置１０４（２）から受信する検知結果を含む判定データを教師データとして、教師あり機械学習を行い、学習モデルを生成する。
　ステップ（１０）において、学習モデル生成装置１０６は、ステップ（９）で生成した学習モデルをネットワーク１０５経由で検知装置１０４（１）に送信する。
　ステップ（１１）において、検知装置１０４（１）は、学習モデル生成装置１０６から受信する学習モデルを参照して、キャプチャ装置１０３（１）から受信する圧縮されたＣＳＩが格納されたフレームと当該フレームの受信時刻の情報を解析して、物体検知を行う。
　ここで、上記のステップ（１）からステップ（１１）までの動作は、キャプチャ装置１０３（２）についても並行して繰り返し行われる。つまり、図３において、キャプチャ装置１０３（１）をキャプチャ装置１０３（２）に置き換えて、ステップ（１）からステップ（１１）までの動作が行われる。これにより、例えばキャプチャ装置１０３（１）が捕捉できないフレームでもキャプチャ装置１０３（２）が捕捉できるので、検知装置１０４（２）は、複数のキャプチャ装置１０３から受け取った情報に基づいて物体検知を行うことができる。
　このように、本実施形態に係る物体検知システム１００では、検知装置１０４（１）よりも高精度・高機能な物体検知を行うことができる検知装置１０４（２）の検知結果を含む判定データを教師データとして学習モデル生成装置１０６が機械学習して生成した学習モデルを参照して検知装置１０４（１）が物体検知を行うので、検知装置１０４（１）は精度の高い物体検知をリアルタイムで行うことができる。
　また、単一のキャプチャ装置１０３（１）で取得された情報のみに基づく教師データの場合、データに偏りがでて適切な学習モデルにならない可能性があるが、検知装置１０４（２）はキャプチャ装置１０３（２）など複数のキャプチャ装置１０３で取得された情報を用いるため、より精度の高い教師データが得られるので、学習モデル生成装置１０６はより適切な学習モデルを生成することができる。
　（検知装置１０４が取得するキャプチャ情報の一例）
　図４は、検知装置１０４がキャプチャ装置１０３から取得するキャプチャ情報の一例を示す。なお、圧縮されたＣＳＩが格納されたフレームと当該フレームの受信時刻の情報などを含むキャプチャ情報は、検知装置１０４の内部メモリなどの記憶部に蓄積される。
　キャプチャ情報は、圧縮されたＣＳＩが格納されたフレームをキャプチャ装置１０３がキャプチャした受信時刻、ＡＰ１０１のアドレス、ＳＴＡ１０２のアドレス、キャプチャ装置１０３の番号、キャプチャ装置１０３がキャプチャしたＣＳＩ（取得ＣＳＩ）などの情報である。
　なお、ＡＰ１０１およびＳＴＡ１０２のそれぞれのアドレスは、圧縮されたＣＳＩが格納されたフレームの送信元アドレスおよび送信先アドレスとして取得される。また、キャプチャ装置１０３の番号は、キャプチャ装置１０３固有の番号であり、検知装置１０４（１）および検知装置１０４（２）に送信する情報にキャプチャ装置１０３の番号が付加される。キャプチャ装置１０３の番号は、複数のキャプチャ装置１０３が配置される場合に、それぞれのキャプチャ装置１０３を識別するために使用される。図４の例では、キャプチャ装置１０３に予め設定されたキャプチャ対象のＳＴＡ１０２のアドレスは11：22：33：44：55：66とする。
　図４において、受信時刻14:00:00に、アドレス11：22：33：44：55：66のＳＴＡ１０２からアドレスAA:BB:CC:DD:EE:FFのＡＰ１０１に送信されたＣＳＩは、装置番号が（１）のキャプチャ装置１０３（１）によりキャプチャされ、このときに取得されたＣＳＩは、例えばφ11，φ21，・・・である。同様に、受信時刻14:00:01に、アドレス11：22：33：44：55：66のＳＴＡ１０２からアドレスAA:BB:CC:DD:EE:FFのＡＰ１０１に送信されたＣＳＩは、装置番号が（１）のキャプチャ装置１０３（２）によりキャプチャされ、このときに取得されたＣＳＩは、例えばφ11，φ21，・・・である。以降、同様に、受信時刻14:00:02、受信時刻14:00:03のように、時系列順に複数のキャプチャ装置１０３によりキャプチャされたキャプチャ情報が取得され、内部のメモリなどに記憶される。なお、取得ＣＳＩについては後述する。
　また、図４の例では、説明が分かり易いように、受信時刻を１ｓｅｃごととし、１ｓｅｃごとにＣＳＩをキャプチャするものとして説明したが、無線システムの仕様に応じて１０ｍｓｅｃや１００ｍｓｅｃごとであってもよい。
　また、図４の例では、図１で説明した１台のＡＰ１０１と１台のＳＴＡ１０２とが通信する場合を示したが、例えば複数のＳＴＡ１０２が存在する場合は、ＳＴＡ１０２ごとにアドレスが異なるので、例えばアドレス11：22：33：44：55：66のＳＴＡ１０２と、アドレス22：33：44：55：66：77のＳＴＡ１０２とが存在する場合、それぞれのＳＴＡ１０２とＡＰ１０１との間でキャプチャ情報が取得される。なお、複数のＡＰ１０１がある場合についても同様である。
　なお、複数のＳＴＡ１０２が存在する場合であっても、キャプチャ装置１０３に設定された対象のＳＴＡ１０２が１台の場合は、対象とするＳＴＡ１０２が測定してＡＰ１０１に送信する情報のみがキャプチャされ、検知装置１０４（１）および検知装置１０４（２）にそれぞれ送信される。
　（圧縮されたＣＳＩの一例）
　図５は、ＳＴＡ１０２からＡＰ１０１に送信される圧縮されたＣＳＩの一例を示す。図５において、左の列から順に、送信アンテナ数（ＡＰ１０１のアンテナ数）×受信アンテナ数（ＳＴＡ１０２のアンテナ数）、圧縮されたＣＳＩの数、圧縮されたＣＳＩの一例が記載されている。なお、送信アンテナ数は２以上である。
　ここで、先に説明したように、ＣＳＩは、ＳＴＡ１０２のアンテナ数とＡＰ１０１のアンテナ数とに応じて、各アンテナ間のＣＳＩが測定される。このため、アンテナ数が多くなるとＡＰ１０１にフィードバックするＣＳＩの情報量が膨大となるので、すべてのアンテナ間のＣＳＩから無線ＬＡＮ規格で決められた条件により選択されたＣＳＩ（圧縮されたＣＳＩ）がＶＨＴ　Ｃｏｍｐｒｅｓｓｅｄ　Ｂｅａｍｆｏｒｍｉｎｇ　Ｒｅｐｏｒｔフレームにより、ＡＰ１０１にフィードバックされる。
　例えば、送信アンテナ数が２本、受信アンテナ数が１本の場合（２×１と記載）、圧縮されたＣＳＩの数は２、圧縮されたＣＳＩはφ１１、ψ２１である。同様に、２×２の場合、圧縮されたＣＳＩの数は２、圧縮されたＣＳＩはφ１１、ψ２１であり、３×１の場合、圧縮されたＣＳＩの数は４、圧縮されたＣＳＩはφ１１、φ２１、ψ２１、ψ３１である。ここで、φｉｊは、送信アンテナ番号ｉ（ｉは２以上の整数）と受信アンテナ番号ｊ（ｊは１以上の整数）との間の位相情報に相当する。ψｉｊは、送信アンテナ番号ｉと受信アンテナ番号ｊとの間の振幅情報に相当する。以下、同様に、送信アンテナ数と受信アンテナ数の組み合わせに応じて、圧縮されたＣＳＩが決められている。
　図１に示す本実施形態に係る物体検知システム１００では、送信アンテナ数はＡＰ１０１のアンテナの数（４本）であり、受信アンテナ数はＳＴＡ１０２のアンテナの数（１本）である。この場合、ＡＰ１０１の４つのアンテナのそれぞれに対する４つの位相情報と４つの振幅情報との合計８つのＣＳＩが測定される。そして、図５に示す４×１のように、測定された８つのＣＳＩから６つの圧縮されたＣＳＩ（φ１１、φ２１、φ３１、ψ２１、ψ３１、ψ４１）が計算され、計算された圧縮されたＣＳＩがＡＰ１０１に送信される。
　ここで、図５に示した圧縮されたＣＳＩは一例である。上述の場合、φ１１は、ＡＴ（４）とＡＴ（１）とから送信された信号がＳＴＡ１０２のアンテナで受信されたときの位相差を示す。同様に、φ２１はＡＴ（４）とＡＴ（２）との位相差、φ３１はＡＴ（４）とＡＴ（３）との位相差をそれぞれ示す。なお、ｉ，ｊを正の整数として、φｉｊ∈［０，２π）である。また、ψ２１は、ＡＴ（１）とＡＴ（２）とから送信された信号がＳＴＡ１０２のアンテナで受信されたときの振幅比を角度で表した値（振幅の絶対値の比のｔａｎ－１の値）を示す。同様にψ２１はＡＴ（１）とＡＴ（２）との振幅比、ψ３１はＡＴ（１）とＡＴ（３）との振幅比をそれぞれ示す。なお、ｉ，ｊを正の整数として、ψｉｊ∈［０，π／２）である。
　このように、ＳＴＡ１０２は、ＡＰ１０１から送信される参照信号に基づいてＣＳＩを測定して圧縮されたＣＳＩをＡＰ１０１に送信する。キャプチャ装置１０３は、ＳＴＡ１０２からＡＰ１０１に送信される圧縮されたＣＳＩをキャプチャし、検知装置１０４（１）および検知装置１０４（２）に送信する。
　ここで、本実施形態では、図１に示すように、キャプチャ装置１０３（１）およびキャプチャ装置１０３（２）の位置はＡＰ１０１とＳＴＡ１０２との中間付近にあるが、ＳＴＡ１０２からの信号を受信できる位置であればどこでもよい。また、図１ではＳＴＡ１０２は１台であるが、ＳＴＡ１０２は複数台でも構わない。また、ＡＰ１０１と他のＡＰ１０１との間の通信に本実施形態を適用してもよい（この場合は一方のＡＰ１０１がＳＴＡ１０２として機能する)。
　さらに、ＡＰ１０１またはＳＴＡ１０２にキャプチャ装置１０３および検知装置１０４（１）の機能が含まれていてもよい。この場合、キャプチャ装置１０３の機能を有するＡＰ１０１またはＳＴＡ１０２が遠方にある検知装置１０４（２）にキャプチャ情報を送信し、学習モデル生成装置１０６から学習モデルを受信して、検知装置１０４（１）の機能を有するＡＰ１０１またはＳＴＡ１０２が物体検知を行う。
　以上、説明したように、本実施形態に係る物体検知システム１００は、ＳＴＡ１０２からＡＰ１０１に送信される圧縮されたＣＳＩが格納された無線フレームをキャプチャ装置１０３がキャプチャし、キャプチャ情報に基づいて通信エリア内の物体を検知することができる。特に、本実施形態に係る物体検知システム１００では、性能の異なる複数の検知装置（図１の例では、検知装置１０４（１）および検知装置１０４（２））を複数の場所に設置して、高精度な物体検知を行う検知装置１０４（２）の物体の検知結果を含む判定データを教師データとして用いることにより、学習モデル生成装置１０６は時間や人手をかけずに教師あり機械学習を用いた物体検知の学習モデルを容易に生成することができ、生成された学習モデルを検知装置１０４（１）で使用することができる。
　また、本実施形態では、高精度な判定を行う検知装置１０４（２）は、ハードウェア規模や消費電力が大きくなるため、検知場所の近傍への設置や数多くの装置を設置することは難しいが、ネットワーク１０５を用いて遠隔地に設置されており、設置場所などの制約を無くすことができる。
　ここで、検知装置１０４（１）、検知装置１０４（２）、および学習モデル生成装置１０６がそれぞれ行う処理に対応するプログラムを汎用のコンピュータもしくはＦＰＧＡ（Field Programmable Gate Array）などの集積回路で実行するようにしてもよい。また、プログラムは、記憶媒体に記録して提供されてもよいし、ネットワークを通して提供されてもよい。
　このように、本発明に係る物体検知システムおよび物体検知方法は、無線信号の伝搬路情報から通信エリア内の物体を検知するシステムにおいて、性能の異なる複数の検知装置を複数の場所に設置して、高精度な物体検知を行う検知装置の検知結果を含む判定データを教師データとして用いることにより、時間や人手をかけずに教師あり機械学習を用いた物体検知の学習モデルを容易に生成することができ、生成された学習モデルを他の検知装置で使用することができる。
１００・・・物体検知システム；１０１・・・ＡＰ；１０２・・・ＳＴＡ；１０３（１），１０３（２）・・・キャプチャ装置；１０４（１），１０４（２）・・・検知装置；１０５・・・ネットワーク；１０６・・・学習モデル生成装置；１５０・・・物体

Claims (6)

  1. 　２以上の無線装置間の伝搬路情報に基づいて、前記無線装置間の物体を検知する物体検知システムにおいて、
    　前記無線装置間の伝搬路情報をキャプチャして、キャプチャされた伝搬路情報を第１の検知装置および第２の検知装置に送信するキャプチャ装置と、
    　教師あり機械学習を用いた物体検知のための学習モデルを生成する学習モデル生成装置と
    　を備え、
    　前記第１の検知装置は、前記学習モデル生成装置により生成された前記学習モデルを用いて前記無線装置間の物体検知を行い、
    　前記第２の検知装置は、前記第１の検知装置よりも高精度な物体検知を行い、
    　前記学習モデル生成装置は、前記第２の検知装置の物体の検知結果を含む判定データを教師データとして前記第１の検知装置で用いる前記学習モデルの生成および更新を行う
    　ことを特徴とする物体検知システム。
  2. 　請求項１に記載の物体検知システムにおいて、
    　他の無線装置間の伝搬路情報をキャプチャする他のキャプチャ装置をさらに備え、
    　前記第２の検知装置は、前記他のキャプチャ装置でキャプチャされた前記他の無線装置間の伝搬路情報を用いて前記第１の検知装置と同一範囲内で物体検知を行う
    　ことを特徴とする物体検知システム。
  3. 　請求項１または請求項２に記載の物体検知システムにおいて、
    　前記第２の検知装置は、キャプチャされた伝搬路情報の全ての情報ではなく、一部の情報のみを利用して物体検知を行う
    　ことを特徴とする物体検知システム。
  4. 　２以上の無線装置間の伝搬路情報に基づいて、前記無線装置間の物体を検知する物体検知方法であって、
    　前記無線装置間の伝搬路情報をキャプチャして、キャプチャされた伝搬路情報を第１の検知装置および第２の検知装置に送信するキャプチャ装置と、
    　教師あり機械学習を用いた物体検知のための学習モデルを生成する学習モデル生成装置と
    　を備え、
    　前記第１の検知装置は、前記学習モデル生成装置により生成された前記学習モデルを用いて前記無線装置間の物体検知を行い、
    　前記第２の検知装置は、前記第１の検知装置よりも高精度な物体検知を行い、
    　前記学習モデル生成装置は、前記第２の検知装置の物体の検知結果を含む判定データを教師データとして前記第１の検知装置で用いる前記学習モデルの生成および更新を行う
    　ことを特徴とする物体検知方法。
  5. 　請求項４に記載の物体検知方法において、
    　他の無線装置間の伝搬路情報をキャプチャする他のキャプチャ装置をさらに備え、
    　前記第２の検知装置は、前記他のキャプチャ装置でキャプチャされた前記他の無線装置間の伝搬路情報を用いて前記第１の検知装置と同一範囲内で物体検知を行う
    　ことを特徴とする物体検知方法。
  6. 　請求項４または請求項５に記載の物体検知方法において、
    　前記第２の検知装置は、キャプチャされた伝搬路情報の全ての情報ではなく、一部の情報のみを利用して物体検知を行う
    　ことを特徴とする物体検知方法。
PCT/JP2020/047246 2020-12-17 2020-12-17 物体検知システムおよび物体検知方法 WO2022130585A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/266,515 US20240036227A1 (en) 2020-12-17 2020-12-17 Object detection system and object detection method
PCT/JP2020/047246 WO2022130585A1 (ja) 2020-12-17 2020-12-17 物体検知システムおよび物体検知方法
JP2022569441A JP7435828B2 (ja) 2020-12-17 2020-12-17 物体検知システムおよび物体検知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/047246 WO2022130585A1 (ja) 2020-12-17 2020-12-17 物体検知システムおよび物体検知方法

Publications (1)

Publication Number Publication Date
WO2022130585A1 true WO2022130585A1 (ja) 2022-06-23

Family

ID=82057460

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/047246 WO2022130585A1 (ja) 2020-12-17 2020-12-17 物体検知システムおよび物体検知方法

Country Status (3)

Country Link
US (1) US20240036227A1 (ja)
JP (1) JP7435828B2 (ja)
WO (1) WO2022130585A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010243231A (ja) * 2009-04-02 2010-10-28 Mitsubishi Electric Corp 侵入物識別装置
JP2019100817A (ja) * 2017-11-30 2019-06-24 株式会社東芝 位置推定装置、位置推定方法及び端末装置
JP2019158481A (ja) * 2018-03-09 2019-09-19 エヌ・ティ・ティ・コミュニケーションズ株式会社 判定システム、検知システム、判定方法及び検知方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010243231A (ja) * 2009-04-02 2010-10-28 Mitsubishi Electric Corp 侵入物識別装置
JP2019100817A (ja) * 2017-11-30 2019-06-24 株式会社東芝 位置推定装置、位置推定方法及び端末装置
JP2019158481A (ja) * 2018-03-09 2019-09-19 エヌ・ティ・ティ・コミュニケーションズ株式会社 判定システム、検知システム、判定方法及び検知方法

Also Published As

Publication number Publication date
US20240036227A1 (en) 2024-02-01
JPWO2022130585A1 (ja) 2022-06-23
JP7435828B2 (ja) 2024-02-21

Similar Documents

Publication Publication Date Title
US10575275B2 (en) Systems and methods for adaptively selecting distance estimates for localization of nodes based on error metric information
Zou et al. Freedetector: Device-free occupancy detection with commodity wifi
EP1575325B1 (en) Estimating the location of inexpensive wireless terminals by using signal strength measurements
Zhang et al. A novel CSI-based fingerprinting for localization with a single AP
EP3316633B1 (en) Apparatuses for generating a beacon sensor based network fingerprint
US9351179B2 (en) Using one or more past channel estimates for adjusting parameters, sensing object presence, or allowing association
Liu et al. A research on CSI-based human motion detection in complex scenarios
US10605889B2 (en) Systems and methods for precise radio frequency localization using time sweep time difference of arrival
Li et al. TDOA-based passive localization of standard WiFi devices
CN110999139A (zh) 使用非连续或不连续通道精确射频定位的系统和方法
WO2022130585A1 (ja) 物体検知システムおよび物体検知方法
Paulino et al. Design and experimental evaluation of a Bluetooth 5.1 antenna array for angle-of-arrival estimation
Li et al. Drone profiling through wireless fingerprinting
Paulino et al. Evaluating a novel Bluetooth 5.1 AoA approach for low-cost indoor vehicle tracking via simulation
WO2021039516A1 (ja) 空間画像生成装置、物体検知装置および物体検知方法
WO2022130584A1 (ja) 物体検知システム、物体検知方法、およびデータ振り分け装置
CN114598994A (zh) 一种映射已有蓝牙基站的方法及终端
JP7209296B2 (ja) 無線物体検知装置および無線物体検知方法
Zimmermann et al. Dynamic live wireless communication monitoring for jamming and interference detection in industry 4.0
CN102692617A (zh) 一种位置移动检测设备及其检测方法
Boccadoroa et al. Indoor Localization With Bluetooth: a Framework for Modelling Errors in AoA and RSSI.
CN111491368A (zh) 一种适用于aoa算法定位基站的校正方法及校正装置
Guo et al. Rss-based localization using a single robot in complex environments
Puspitaningayu et al. Accuracy investigations of fingerprint-based indoor localization system using ieee 802.15. 4 in two-floor environment
JP7459734B2 (ja) 空間画像生成装置及び物体検知装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20965972

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022569441

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18266515

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20965972

Country of ref document: EP

Kind code of ref document: A1