WO2021172126A1 - 推定装置、推定方法、および、プログラム - Google Patents

推定装置、推定方法、および、プログラム Download PDF

Info

Publication number
WO2021172126A1
WO2021172126A1 PCT/JP2021/005890 JP2021005890W WO2021172126A1 WO 2021172126 A1 WO2021172126 A1 WO 2021172126A1 JP 2021005890 W JP2021005890 W JP 2021005890W WO 2021172126 A1 WO2021172126 A1 WO 2021172126A1
Authority
WO
WIPO (PCT)
Prior art keywords
spectrum
likelihood
estimation
unit
living
Prior art date
Application number
PCT/JP2021/005890
Other languages
English (en)
French (fr)
Inventor
翔一 飯塚
武司 中山
尚樹 本間
信之 白木
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to US17/609,288 priority Critical patent/US12270924B2/en
Priority to EP21761126.8A priority patent/EP4113174B1/en
Priority to CN202180003241.XA priority patent/CN113795774A/zh
Priority to JP2021548165A priority patent/JP7511189B2/ja
Publication of WO2021172126A1 publication Critical patent/WO2021172126A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V3/00—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation
    • G01V3/12—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation operating with electromagnetic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/56—Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V3/00—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation
    • G01V3/38—Processing data, e.g. for analysis, for interpretation, for correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • This disclosure relates to an estimation device, an estimation method, and a program.
  • Patent Document 1 A technique for detecting a detection target using a signal transmitted wirelessly has been developed (see, for example, Patent Document 1).
  • Patent Document 1 discloses that the number or position of a living body to be detected can be known by analyzing the eigenvalues of components including Doppler shift using a Fourier transform on a signal received wirelessly. There is.
  • the algorithm that detects the detection target it may be necessary to input the number of detection targets into the algorithm. In that case, there is a problem that the detection target cannot be detected when the number of detection targets is unknown.
  • An object of the present disclosure is to provide an estimation device or the like that can estimate information about a living body even when the number of living bodies to be detected is unknown.
  • the estimation device in the present disclosure is transmitted from N (N is a natural number of 2 or more) transmitting antenna elements in a space where one or more living bodies exist, and is received by M (M is a natural number of 2 or more) receiving antenna elements.
  • a complex transmission function calculation unit that calculates a complex transmission function indicating the propagation characteristics between the transmitting antenna element and the receiving antenna element using the received signal of the received radio wave, and (a) a plurality of numerical values different from each other. Is used as the number of living organisms, and the likelihood indicating the likelihood of the existence is derived from the biological information which is a component corresponding to the living body included in the complex transfer function by using an estimation algorithm for estimating the existence of the living body.
  • the spectrum is calculated, and (b) the spectrum calculation unit that calculates the integrated spectrum obtained by integrating the plurality of calculated likelihood spectra, and the biometric information indicating at least the number of living organisms existing in the space are estimated from the integrated spectrum. It is an estimation device including an estimation unit that outputs the data.
  • a recording medium such as a system, method, integrated circuit, computer program or computer-readable CD-ROM, and the system, method, integrated circuit, computer program. And may be realized by any combination of recording media.
  • information on living organisms can be estimated even when the number of living organisms to be detected is unknown.
  • FIG. 1 is a block diagram showing a configuration of a sensor according to the first embodiment.
  • FIG. 2 is a conceptual diagram showing the estimation of the arrival direction by the sensor in the first embodiment.
  • FIG. 3 is a block diagram showing a configuration of an estimation unit according to the first embodiment.
  • FIG. 4 is a conceptual diagram showing the operation of the peak search unit according to the first embodiment.
  • FIG. 5 is a conceptual diagram showing the operation of the verification unit according to the first embodiment.
  • FIG. 6 is a flowchart showing the processing of the sensor according to the first embodiment.
  • FIG. 7 is a flowchart showing a calculation process of human information of the sensor according to the first embodiment.
  • FIG. 8 is a block diagram showing the configuration of the estimation unit according to the second embodiment.
  • FIG. 9 is a conceptual diagram showing the operation of the block detection unit according to the second embodiment.
  • FIG. 10 is a block diagram showing the configuration of the estimation unit according to the third embodiment.
  • Patent Documents 1 to 4 Conventionally, a technique for detecting a detection target using a signal transmitted wirelessly has been developed (see, for example, Patent Documents 1 to 4).
  • Patent Document 1 discloses a technique for estimating the number or position of a person to be detected by analyzing the eigenvalues of components including Doppler shift using a Fourier transform. Specifically, the processing apparatus of Patent Document 1 performs Fourier transform on the received signal, obtains an autocorrelation matrix for the waveform extracted from a specific frequency component, decomposes the autocorrelation matrix into eigenvalues, and decomposes the autocorrelation matrix into eigenvalues.
  • the eigenvalue and the eigenvector each represent one of the propagation paths of radio waves from the transmitting antenna to the receiving antenna, that is, one path.
  • the living body to be measured has a certain size and the components of the living body are distributed over a plurality of eigenvalues, the separation of the eigenvalues of the living body is completely completed when the number of living bodies is relatively large. It becomes impossible to estimate the number of people.
  • Patent Document 2 discloses a technique for estimating the position of an object by using a direction estimation algorithm such as the MUSIC (MUSIC Signal Classification) method. Specifically, the receiving station that has received the signal emitted by the transmitting station performs a Fourier transform on the received signal, obtains an autocorrelation matrix for the waveform extracted from a specific frequency component, and uses a direction such as the MUSIC method. Apply the estimation algorithm. This makes it possible to estimate the direction with high accuracy. However, since the MUSIC method used in Patent Document 2 needs to be given the number of living organisms to be detected, it is necessary to estimate the number of people in advance in the detection using the technique of Patent Document 2.
  • MUSIC MUSIC Signal Classification
  • Patent Document 3 describes the number of incoming waves, that is, the number of transmitters such as mobile phones, based on the correlation between the eigenvectors of received signals received by a plurality of antennas and the steering vector in the range in which radio waves may arrive. The estimation technique is disclosed.
  • Patent Document 4 various incoming wavenumbers are assumed for received signals received by a plurality of antennas, an evaluation function using a steering vector is calculated for each, and the evaluation function is maximized.
  • a technique for estimating the wave number as the true incoming wave number is disclosed.
  • Patent Documents 3 to 4 are techniques for estimating the number of transmitters that emit radio waves, and cannot estimate the number of living organisms.
  • the inventors estimate that a more accurate and larger number of living organisms can be estimated by using wireless signals without having the target living organism possess a special device such as a transmitter. We found a device, etc., and came to this disclosure.
  • the estimation device is transmitted from N (N is a natural number of 2 or more) transmitting antenna elements in a space where one or more living bodies exist, and receives M (M is a natural number of 2 or more).
  • a complex transmission function calculation unit that calculates a complex transmission function indicating the propagation characteristics between the transmitting antenna element and the receiving antenna element using the received signal of the radio wave received by the antenna element, and (a) a plurality of different from each other.
  • the likelihood of the existence is derived from the biological information which is a component corresponding to the living organism included in the complex transfer function by using an estimation algorithm for estimating the existence of the living organism.
  • a spectrum calculation unit that calculates an integrated spectrum obtained by integrating the plurality of calculated likelihood spectra, and a living body that indicates at least the number of living organisms existing in the space from the integrated spectrum. It is an estimation device including an estimation unit that estimates and outputs information.
  • the estimation device uses an integrated spectrum that integrates a plurality of likelihood spectra calculated by using a plurality of different numerical values as the number of living organisms to be detected, and obtains information on living organisms existing in space. Since it is output, it is not necessary to input the number of living organisms to be detected. Therefore, the estimation device can estimate information about the living body even when the number of living bodies to be detected is unknown.
  • the estimation unit may estimate and output the biological information that further indicates the position of the living body existing in the space from the integrated spectrum.
  • the estimation device can estimate the information indicating the position of the living body in addition to the number of living bodies as the information about the living body. Therefore, the estimation device can estimate more information about the living body even when the number of living bodies to be detected is unknown.
  • the spectrum calculation unit uses a plurality of natural numbers (N ⁇ M-1) or less, a plurality of natural numbers N or less, or a plurality of natural numbers M or less as the plurality of numerical values.
  • the likelihood spectrum may be calculated.
  • the estimation device calculates a plurality of likelihood spectra using at least one of the number of transmitting antenna elements and the number of receiving antenna elements.
  • the biometric information is determined more accurately when the estimated number of living organisms is less than or equal to the product of the number of transmitting antenna elements and the number of receiving antenna elements, and the estimated number of living organisms is When the number is less than or equal to the number of transmitting antenna elements or less than or equal to the number of receiving antenna elements, the biological information is determined more accurately. Therefore, the estimation device can estimate information about the living body more easily and more accurately even when the number of living bodies to be detected is unknown.
  • the spectrum calculation unit may calculate the likelihood spectrum by using a plurality of natural numbers equal to or less than the maximum number of living organisms that can exist in the space as the plurality of numerical values.
  • the estimation device calculates a plurality of likelihood spectra using a number determined as the maximum number of living organisms that can exist in the space.
  • the maximum number of living organisms that can exist in a space may be predetermined, for example, by the size (area or volume) of the space. In that case, it is assumed that the number of living organisms less than the maximum number exists in the space, in other words, it is not necessary to assume that the number of ecology exceeding the maximum number exists in the space. Therefore, by calculating a plurality of likelihood spectra using a plurality of natural numbers less than the maximum number, the calculation process can be suppressed to a necessary and sufficient amount, and the calculation process assuming an unnecessarily large number of living organisms can be performed. It can be avoided in advance. Therefore, the estimation device can estimate information about the living body even when the number of living bodies to be detected is unknown by necessary and sufficient calculation processing.
  • the spectrum calculation unit further includes a storage unit that stores the biometric information estimated by the estimation unit in the past, and the spectrum calculation unit includes the number of living organisms indicated in the biometric information stored in the storage unit.
  • the likelihood spectrum may be calculated using a plurality of natural numbers within the range as the plurality of numerical values.
  • the estimation device calculates a plurality of likelihood spectra using the number of living organisms that existed in the space in the past. This makes it possible to more easily calculate a plurality of likelihood spectra in a space where it is assumed that there are as many living organisms as there were living organisms in the space in the past. Therefore, the estimation device can more easily estimate information about the living body even when the number of living bodies to be detected is unknown.
  • the estimation unit sets a maximum value of one or more of a plurality of maximum values of the likelihood spectrum, and one or more maximum values at which the maximum value is the maximum value in a predetermined range including the maximum value.
  • the first maximum value of the one or more maximum values acquired and the difference between the first maximum value and the second maximum value next to the first maximum value is the largest.
  • a number indicating which one maximum value is determined and the determined first maximum value is the largest of the one or more maximum values may be estimated as the number of living organisms.
  • the estimation device can output the number of peaks based on the living body by excluding the peaks based on the virtual image from the plurality of peaks of the likelihood spectrum by using the ratio method.
  • the inventors of the present application have found that among the peaks of the likelihood spectrum, the peak based on the virtual image is characterized by a relatively low peak value or a comparatively gentle peak value, and based on that finding, the likelihood is We have come up with a technique to exclude peaks based on virtual images from the peaks of the spectrum using the ratio method. Since the estimation device performs processing using a plurality of peaks of the likelihood spectrum, in other words, it is not necessary to set a threshold value for the likelihood, it is possible to avoid that the magnitude of the threshold setting affects the processing. Moreover, since the machine learning model is not used, it is possible to avoid the need for preparatory work such as preparation of teacher data and prior learning processing. Therefore, the estimation device can more easily estimate information about the living body even when the number of living bodies to be detected is unknown.
  • the estimation unit is a third maximum value of one or more of the one or more maximum values, and is a value included in the third maximum value and a predetermined range including the third maximum value.
  • the first maximum value may be determined by using only one or more third maximum values whose difference from the value obtained by multiplying by a predetermined ratio is equal to or greater than the threshold value as the one or more maximum values.
  • the estimation device can more appropriately exclude the peak based on the virtual image from the peaks of the likelihood spectrum. Since the peak based on the virtual image in the likelihood spectrum is comparatively gentle, it can be determined by the magnitude of the difference between the maximum value and the value included in the predetermined range including the maximum value multiplied by a predetermined ratio. .. Therefore, the estimation device can more easily estimate the information about the living body even when the number of the living body to be detected is unknown by excluding the influence of the virtual image.
  • the estimation unit may estimate the number of sections in which the likelihood in the likelihood spectrum is equal to or greater than the threshold value as the number of living organisms.
  • the estimation device excludes the peak based on the virtual image from the plurality of peaks of the likelihood spectrum by using the interval determined based on the magnitude of the likelihood and the threshold value in the likelihood spectrum. , The number of peaks based on the living body can be output.
  • the inventors of the present application have come up with a technique for excluding the peaks based on the virtual image among the peaks of the likelihood spectrum by the method using the above interval.
  • the estimation device uses the method using the above interval, in other words, it is not necessary to perform the process of comparing the differences for a plurality of peaks, so that the process can be simplified.
  • a machine learning model since a machine learning model is not used, it is possible to avoid the need for preparatory work such as preparation of teacher data and prior learning processing. Therefore, the estimation device can more easily estimate information about the living body even when the number of living bodies to be detected is unknown.
  • the estimation unit uses an image showing a likelihood spectrum showing the likelihood of existence of a living body in the space and a model created in advance by machine learning using the number of living bodies as training data, and the spectrum calculation unit uses the spectrum calculation unit.
  • the number of living organisms output by inputting the calculated integrated spectrum may be estimated as the number of living organisms.
  • the estimation device can output the number of peaks based on the living body excluding the peaks based on the virtual image by using the model created in advance by machine learning.
  • the inventors of the present application have come up with a technique for excluding the peaks based on the virtual image among the peaks of the likelihood spectrum by a method using a model created by machine learning.
  • the estimation device uses a model created by machine learning, in other words, it is not necessary to perform a process of comparing differences for a plurality of peaks, so that the process can be simplified. Since it is not necessary to set a threshold value for the likelihood, it is possible to avoid that the magnitude of the threshold value setting affects the processing. Therefore, the estimation device can more easily estimate information about the living body even when the number of living bodies to be detected is unknown.
  • the estimation unit may output the biometric information by using the convolutional neural network model as the model.
  • the estimation device can more appropriately estimate information about the living body even when the number of living bodies to be detected is unknown by using the convolutional neural network.
  • the spectrum calculation unit uses, as the estimation algorithm, an estimation algorithm that estimates the existence of the living body of the input living body number when the living body number existing in the space is input, and uses the likelihood spectrum. May be calculated.
  • the estimation device uses an estimation algorithm that assumes that the number of living organisms existing in the space is input, and information about the living organism existing in the space without inputting the number of living organisms existing in the space. Can be obtained. Therefore, the estimation device can estimate information about the living body even when the number of living bodies to be detected is unknown.
  • the spectrum calculation unit may calculate the likelihood spectrum by using the MUSIC (MUSIC Signal Classification) method as the estimation algorithm.
  • MUSIC MUSIC Signal Classification
  • the estimation device can estimate information about the living body by using the MUSIC method even when the number of living bodies to be detected is unknown.
  • the estimation method according to the uniformity of the present disclosure is transmitted from N (N is a natural number of 2 or more) transmitting antenna elements in a space where one or more living bodies exist, and M (M is a natural number of 2 or more).
  • N is a natural number of 2 or more
  • M is a natural number of 2 or more.
  • a complex transmission function indicating the propagation characteristics between the transmitting antenna element and the receiving antenna element is calculated, and each of a plurality of different numerical values is used as a living number.
  • To calculate the likelihood spectrum indicating the likelihood of the existence which is derived by using an estimation algorithm for estimating the existence of the living body, from the biological information which is a component corresponding to the living body included in the complex transfer function.
  • This is an estimation method in which an integrated spectrum obtained by integrating the plurality of calculated likelihood spectra is calculated, and biological information indicating at least the number of living organisms existing in the space is estimated and output from the integrated spectrum.
  • the program according to the uniform state of the present disclosure is a program that causes a computer to execute the above estimation method.
  • the present disclosure is not only realized as an apparatus, but also realized as an integrated circuit provided with processing means provided in such an apparatus, or as a method in which the processing means constituting the apparatus is used as a step.
  • the programs, information, data and signals may be distributed via a recording medium such as a CD-ROM or a communication medium such as the Internet.
  • the sensor 1 is an example of an estimation device capable of estimating information about a living body even when the number of living bodies to be detected is unknown.
  • FIG. 1 is a block diagram showing a configuration of the sensor 1 according to the first embodiment.
  • FIG. 2 is a conceptual diagram showing the estimation of the arrival direction by the sensor 1 in the first embodiment.
  • the sensor 1 shown in FIG. 1 includes a complex transfer function calculation unit 30, a biological component extraction unit 40, a correlation matrix calculation unit 50, a spectrum calculation unit 70, and an estimation unit 80.
  • the sensor 1 is connected to the transmitter 10 and the receiver 20.
  • the sensor 1 may include one or both of the transmitter 10 and the receiver 20.
  • the transmitter 10 and the receiver 20 may be arranged in the same housing.
  • the transmitter 10 includes a transmitting unit 11 and a transmitting antenna unit 12.
  • the transmitter 10 transmits radio waves to the space S. It is assumed that the living body 200 exists in the space S.
  • the living body 200 is, for example, a human body (that is, a human body), and this case will be described as an example.
  • Transmitting antenna unit 12 is composed of an array antenna having M T transmit antennas elements # 1 ⁇ # M T.
  • the transmitting antenna unit 12 is, for example, a 4-element patch array antenna having a half-wavelength element spacing.
  • the transmission unit 11 generates a high frequency signal.
  • the high frequency signal generated by the transmitter 11 can be used to estimate the presence / absence, position, or number of living organisms 200.
  • the transmission unit 11 generates a 2.4 GHz CW (Continuous Wave), and transmits the generated CW as a radio wave, that is, a transmission wave from the transmission antenna unit 12.
  • the signal to be transmitted is not limited to CW and may be a modulated signal.
  • the receiver 20 includes a receiving antenna unit 21 and a receiving unit 22.
  • the receiver 20 receives radio waves from the space S to which the transmitter 10 has transmitted radio waves.
  • the received radio wave may include a reflected wave or a scattered wave in which a part of the transmitted wave transmitted from the transmitting antenna unit 12 is a signal reflected or scattered by the living body 200.
  • the receiving antenna unit 21 is composed of an array antenna having M R receive antennas elements # 1 ⁇ # M R. For example, a 4-element patch array antenna having a half-wavelength element spacing.
  • the receiving antenna unit 21 receives a high frequency signal with the array antenna.
  • the receiving unit 22 converts the high-frequency signal received by the receiving antenna unit 21 into a low-frequency signal capable of signal processing using, for example, a down converter. Further, when the transmitter 10 transmits the modulated signal, the receiving unit 22 also demodulates the received modulated signal. The receiving unit 22 transmits the converted low-frequency signal to the complex transfer function calculation unit 30.
  • the frequency used as an example in this embodiment is 2.4 GHz, but a frequency such as 5 GHz or a millimeter wave band may be used.
  • the complex transfer function calculation unit 30 calculates a complex transfer function representing the propagation characteristics between the transmission antenna unit 12 and the reception antenna unit 21 of the transmitter 10 from the reception signal received by the array antenna of the reception antenna unit 21. .. M R More specifically, the complex transfer function calculation unit 30, the low frequency signal transmitted by the receiving unit 22, and M T transmit antennas elements included in the transmitting antenna 12, the receiving antenna unit 21 having A complex transfer function representing the propagation characteristics between the receiving antenna elements is calculated.
  • the complex transfer function calculated by the complex transfer function calculation unit 30 corresponds to a reflected wave or a scattered wave, which is a signal in which a part of the transmitted wave transmitted from the transmitting antenna unit 12 is reflected or scattered by the living body 200. It may contain components (also called biological components). Further, the complex transfer function calculated by the complex transfer function calculation unit 30 may include a component corresponding to a reflected wave that does not pass through the living body 200, such as a direct wave from the transmitting antenna unit 12 and a reflected wave derived from a fixed object. be. Further, the signal reflected or scattered by the living body 200, that is, the amplitude and phase of the reflected wave and the scattered wave via the living body 200 are constantly fluctuating due to the biological activity such as respiration and heartbeat of the living body 200.
  • the complex transfer function calculated by the complex transfer function calculation unit 30 will be described as including the reflected wave and the biological component corresponding to the scattered wave, which are signals reflected or scattered by the living body 200.
  • FIG. 1 shows a state in which the transmitter 10 and the receiver 20 are arranged adjacent to each other
  • the arrangement of the transmitter 10 and the receiver 20 is not limited to this, and for example, FIG. 2 shows. They may be placed apart as shown.
  • the transmitting antenna and the receiving antenna may be shared. Further, the transmitting antenna and the receiving antenna may be shared with the hardware of a wireless device such as a Wi-Fi (registered trademark) router or a slave unit.
  • a wireless device such as a Wi-Fi (registered trademark) router or a slave unit.
  • the biological component extraction unit 40 acquires a signal (also referred to as a reception signal) received by the reception array antenna of the reception antenna unit 21 from the complex transfer function calculation unit 30. Then, the biological component extraction unit 40 extracts the biological component contained in the received signal, that is, the signal component transmitted from the transmitting antenna unit 12 and reflected or scattered by one or more biological components 200.
  • a signal also referred to as a reception signal
  • the biological component extraction unit 40 extracts the biological component contained in the received signal, that is, the signal component transmitted from the transmitting antenna unit 12 and reflected or scattered by one or more biological components 200.
  • the biological component extraction unit 40 records the complex transfer function calculated by the complex transfer function calculation unit 30 in a time series in the order in which the signals are received. Then, the biological component extraction unit 40 extracts the variable component due to the influence of the biological component 200 from the changes in the complex transfer function recorded in time series. The variable component of the complex transfer function extracted in this way due to the influence of the living body 200 corresponds to the living body component.
  • a method for extracting a biological component for example, a method of converting a change in a complex transfer function into a frequency domain by Fourier transform or the like and then extracting a component having a frequency corresponding to the biological component, or a method of complex transfer at two different times. There is a method of extracting by calculating the difference of the function.
  • the components of the direct wave included in the complex transfer function and the reflected wave passing through the fixed object are removed, and the biological component passing through the living body 200 remains. For example, by extracting a component of 0.3 Hz to 3 Hz as a frequency corresponding to the biological component using a complex transfer function for 5 seconds, the respiratory component of the living body 200 that exists even when the living body 200 is stationary can be obtained. Can be extracted.
  • the transmitting antenna elements that constitute the transmission array antenna have number M T, also, since the receiving antenna elements constituting the receiving array antennas are M R-number i.e. multiple, transmission array antenna and the reception array antenna There are also a plurality of biological components via the biological body 200 included in the complex transfer function corresponding to.
  • a plurality of biological components via the living body 200 are represented as a matrix of M rows and N columns (also referred to as a biological component channel matrix F (f)) as shown in (Equation 1).
  • Each element F ij of the biological component complex transfer function matrix ie biocomponent channel matrix F (f) is an extract elements of the fluctuation component from the elements h ij of the complex transfer function.
  • the biological component complex transfer function matrix that is, the biological component channel matrix F (f) is a function of a frequency or a difference period similar to a frequency, and includes information corresponding to a plurality of frequencies.
  • the difference period is the time difference between the two complex transfer functions in the method of extracting the biological component by calculating the difference between the complex transfer functions at two different times.
  • the correlation matrix calculation unit 50 rearranges the elements of the biological component channel matrix composed of M rows and N columns calculated by the biological component extraction unit 40, thereby (M ⁇ N) the biological component channel vector F vc in rows and 1 column. Convert to (f).
  • a method of arranging the elements for example, there is a method such as (Equation 2), but the operation may be any operation of rearranging the matrix, and the order of the elements does not matter.
  • the correlation matrix calculation unit 50 calculates the correlation matrix from the biological component channel vector F vc (f). More specifically, the correlation matrix calculation unit 50 calculates the correlation matrix R of the biological component channel vector F vc (f) composed of a plurality of variable components by the living body 200 according to (Equation 3).
  • Equation 3 represents the averaging operation, and the operator H represents the complex conjugate transpose.
  • the correlation matrix calculation unit 50 simultaneously uses the information contained in each frequency by averaging the biological component channel vector F vc (f) containing a plurality of frequency components in the correlation matrix calculation in the frequency direction. Sensing is possible.
  • the spectrum calculation unit 70 calculates a likelihood spectrum indicating the likelihood of the existence of the living body 200 in the space S, and also calculates an integrated spectrum using the calculated likelihood spectrum.
  • the spectrum calculation unit 70 calculates the likelihood spectrum by using an estimation algorithm that estimates the existence of the input living organisms when the number of living organisms existing in the space is input as the estimation algorithm.
  • the likelihood spectrum is calculated by, for example, the MUSIC method, and this case will be described as an example.
  • the likelihood spectrum calculated by the MUSIC method is also referred to as a MUSIC spectrum.
  • the number of incoming waves which is the number of incoming waves, may be required.
  • the incoming wavenumber is required.
  • the number of incoming waves corresponds to the number of living organisms 200 existing in the space S in this embodiment.
  • the spectrum calculation unit 70 calculates the MUSIC spectrum by sequentially using a plurality of different numerical values as the number of living organisms, instead of using a specific numerical value as the number of living organisms.
  • the spectrum calculation unit 70 calculates the MUSIC spectrum using the variable L as the number of living organisms while changing the variable L from the initial value L start to L end. Then, the spectrum calculation unit 70 calculates an integrated MUSIC spectrum that integrates a plurality of MUSIC spectra calculated using a plurality of variables L that are different from each other. The operation of the MUSIC spectrum calculation unit 70 will be described below using mathematical formulas.
  • Is the eigenvector number of elements is M R number
  • L is a loop variable used as the number of living organisms, that is, the number of people.
  • the steering vector (direction vector) of the transmitting array antenna is The steering vector (direction vector) of the receiving array antenna is defined as Is defined as.
  • the transmission and reception steering vectors may be created based on the actually measured complex directivity data.
  • k is the wave number.
  • steering vectors are multiplied to obtain a steering vector that takes into account the angle information of both the transmitting array antenna and the receiving array antenna.
  • the MUSIC method is applied while changing the variable L in various ways.
  • the spectrum calculation unit 70 calculates the evaluation function P music ( ⁇ T , ⁇ R ) in which a plurality of MUSIC spectra represented by the following (Equation 4) are integrated, using the multiplied steering vector based on the MUSIC method. do.
  • This evaluation function is called an integrated MUSIC spectrum, and is also simply called an integrated spectrum.
  • the minimum value L start is 1, or if the minimum number of living organisms existing in the space S to be measured is known, it is set to that number.
  • the maximum value L end can be a number or a number larger than the maximum number of living organisms existing in the space S to be measured by about 1 to 3 when the maximum number is known.
  • the maximum value L end may be a number that is about 1 less than the product of the number of transmitting antenna elements and the number of receiving antenna elements. This is because the maximum number of detection targets that can be detected by the MUSIC method is one less than the product of the number of transmitting antenna elements and the number of receiving antenna elements. Further, the maximum number L end may be the number of transmitting antenna elements or the number of receiving antenna elements.
  • the spectrum calculation unit 70 is, for example, a plurality of natural numbers (number of transmitting antenna elements N ⁇ number of receiving antenna elements M-1) or less, a plurality of natural numbers of not more than the number of transmitting antenna elements N, or a plurality of natural numbers of not more than the number of receiving antenna elements M or less.
  • the likelihood spectrum can be calculated by using a plurality of natural numbers of the above as the variable L. This is because the biological information is determined more accurately when the estimated number of living organisms is less than or equal to the product of the number of transmitting antenna elements and the number of receiving antenna elements, and the estimated number of living organisms is less than or equal to the number of transmitting antenna elements or receiving. This is because the biological information is determined more accurately when the number of antenna elements is less than or equal to the number of antenna elements.
  • the spectrum calculation unit 70 can calculate the likelihood spectrum by using a plurality of natural numbers equal to or less than the maximum number of living organisms that can exist in the space S as the variable L.
  • the spectrum calculation unit 70 can calculate the likelihood spectrum by using a plurality of natural numbers within the range including the number of living organisms shown in the living body number information stored in the storage unit as the variable L.
  • the storage unit is a storage device (not shown) that stores the biological number information estimated by the estimation unit 80 in the past.
  • variable L is increased by 1, but it is not necessary to increase the variable L at equal intervals, and the variable L may be changed by a change pattern different from increasing by 1.
  • the change pattern may be a predetermined one, or may be randomly selected while proceeding with the process.
  • the MUSIC spectrum can be substituted with a spectrum obtained by the Beamformer method or the Capon method.
  • the Beamformer method or the Capon method is inferior in accuracy to the MUSIC method and cannot be estimated with high accuracy by itself.
  • the MUSIC method has an advantage that it can make a relatively high-precision estimation by itself as compared with the Beamformer method or the Capon method.
  • the estimation unit 80 is biometric information that indicates at least the number of living organisms 200 existing in the space S to be measured, that is, a person who at least indicates the number of people existing in the space S from the integrated spectrum calculated by the MUSIC spectrum calculation unit 70. Estimate and output information. Further, the estimation unit 80 may estimate and output biological information further indicating the position of the living body existing in the space S, that is, human information further indicating the position of the person existing in the space S from the integrated spectrum.
  • the estimation unit 80 determines the peaks appearing in the integrated spectrum that are not virtual images, and calculates the number of people for the peaks that are not virtual images, thereby indicating the number of people existing in the space S. To estimate. Further, the estimation unit 80 may estimate the person information further indicating the position of the person existing in the space S by calculating the position of the peak among the peaks that are not virtual images.
  • a method using the ratio method for the peak value of the spectrum for example, a section in which the likelihood of the MUSIC spectrum is continuous above a predetermined threshold, in other words, the likelihood is equal to or higher than the predetermined threshold.
  • a method of counting the number of intervals also referred to as blocks
  • a method of treating the MUSIC spectrum as an image and using machine learning such as a convolutional neural network.
  • a method of calculating human information using the ratio method will be described as an example.
  • FIG. 3 is a detailed block diagram of the estimation unit 80 according to the first embodiment.
  • the estimation unit 80 shown in FIG. 3 includes a peak search unit 81, an erroneous peak determination unit 82, a peak sort unit 83, and a verification unit 84.
  • the peak search unit 81 searches for the peak having the maximum value in the integrated spectrum. Let the set of peaks found by the search be the first peak set. It is desirable that the first peak set is limited to the peak whose peak value is the maximum value in the predetermined range x in order to exclude fine peaks due to noise.
  • FIG. 4 is a conceptual diagram showing the operation of the peak search unit 81 in the first embodiment. The processing of the peak search unit 81 will be described with reference to FIG. 4, using the one-dimensional integrated spectrum 1000.
  • FIG. 4 shows four peaks included in the integrated spectrum 1000, peaks 1001-A, 1001-B, 1001-C and 1001-D. For each of the four peaks, within a range of 0.5 m from the peak (that is, ranges 1002-A, 1002-B, 1002-C and 1002-D), the peak at which the peak has the maximum value is the peak. There are three, 1001-A, 1001-B and 1001-D.
  • the peak search unit 81 extracts the above three peaks from the integrated spectrum 1000, and acquires the extracted peaks as a first peak set.
  • the first peak set is one or more maximum values of a plurality of maximum values of the likelihood spectrum, and corresponds to one or more maximum values in which the maximum value is the maximum value in a predetermined range including the maximum value. ..
  • the erroneous peak determination unit 82 excludes relatively gentle peaks from the peaks included in the first peak set. This is because the virtual image in the integrated spectrum 1000 appears as a comparatively gentle peak, and thus the peak based on the virtual image is excluded by excluding the comparatively gentle peak.
  • the erroneous peak determination unit 82 calculates the y% value of the value included in the range of a predetermined distance x from the peak for each peak value included in the first peak set.
  • the erroneous peak determination unit 82 extracts those whose difference between the peak value and the y% value is a predetermined threshold value z or more, and acquires the extracted peaks as a second peak set.
  • the difference between the peak value and the y% value may be the difference between the peak value and the y% value (that is, the peak value ⁇ y% value), or the ratio between the peak value and the y% value (that is, y% value).
  • % Value / peak value an arbitrary numerical value included in the range, an average value of the values included in the range, a maximum value or a minimum value, or the like can be used.
  • the erroneous peak determination unit 82 can exclude relatively gentle peaks from the peaks included in the first peak set. For example, when the predetermined distance x is 0.5 m, y is 70%, and z is 0.4 dB, the erroneous peak determination unit 82 is within 0.5 m around each peak value included in the first peak set. Extract those that are 0.4 dB or more larger than the 70% value of the contained value.
  • the second peak set in which the peak based on the virtual image is excluded from the first peak set by the false peak determination unit 82 is one or more third maximum values, and the third maximum value and the third pole It corresponds to one or more third maximum values whose difference from the value obtained by multiplying the value included in the predetermined range including the large value by a predetermined ratio is equal to or more than the threshold value.
  • the predetermined ratio is a predetermined value larger than 0 and smaller than 1.
  • the peak sort unit 83 sorts the values of each of the plurality of peaks included in the second peak set in descending order.
  • the peak sort unit 83 may add, as a virtual peak, a value of the peaks included in the second peak set, which is smaller than the smallest value by w, with respect to the second peak set.
  • the virtual peak is used as the next largest peak after the peak with the smallest peak value in the process of comparing the peak with the next largest peak after the said peak for each of the plurality of peaks included in the second peak set. obtain. For example, when w is set to 3.4 dB and the smallest peak is -3 dB with respect to the largest peak, the virtual peak to be added is -6.4 dB with respect to the largest peak.
  • the test unit 84 estimates the number of people by calculating the difference between adjacent peak values for the second peak set sorted by the peak sort unit 83. More specifically, the ratio or difference is calculated as the difference between the i-th peak and the i + 1-th peak of the second peak set sorted in descending order, and the i with the maximum difference or ratio is output as the number of people. do.
  • i is an integer of 1 or more and less than or equal to the number of elements of the second peak set.
  • FIG. 5 is a conceptual diagram showing the operation of the verification unit 84 in the first embodiment.
  • FIG. 5 shows the peaks 1101-A, 1101-B, 1101-C and 1102 included in the second peak set sorted in descending order by the peak value.
  • the peak 1102 is a virtual peak added by the peak sort unit 83.
  • the peak sort unit 83 calculates the differences 1103-A, 1103-B and 1103-C of the adjacent peaks of the second peak set, and obtains the combination of peaks having the maximum calculated difference.
  • the difference 1103-B that is, the difference between the second peak 1101-B and the third peak 1101-C is the largest, so i is 2, and the calculated number of people is 2. Is.
  • the test unit 84 is the first maximum value among the one or more maximum values acquired by the peak search unit 81, and is the first maximum value and the second maximum value next to the first maximum value.
  • the first maximum value having the maximum difference from the value is acquired, and the number indicating the largest of the acquired first maximum values among the one or more maximum values is acquired.
  • the estimation unit 80 estimates and outputs the number acquired by the verification unit 84 as the number of people existing in the space S.
  • the verification unit 84 may output the human information as described above by using the one or more maximum values acquired by the peak search unit 81 as they are, or the one or more maximum values acquired by the peak search unit 81.
  • the erroneous peak determination unit 82 may use one or more third maximum values excluding the peak based on the virtual image as one or more maximum values to output human information as described above.
  • the position of the person may be estimated using the MUSIC spectrum and the person information indicating the position of the person may be output.
  • the integrated spectrum output by the spectrum calculation unit 70 is one-dimensional, but even in that case, human information can be estimated by peak search as in the case of two dimensions.
  • the likelihood spectrum and the integrated spectrum may be calculated by the spectrum calculation unit 70 only when the person is manned. By doing so, when a person is absent in the space S, the processing required for calculating the likelihood spectrum and the integrated spectrum can be omitted, which contributes to the reduction of power consumption.
  • FIG. 6 is a flowchart showing the processing of the sensor 1 in the first embodiment.
  • step S10 the sensor 1 receives the signal at the receiver 20 for a predetermined period of time.
  • step S20 the sensor 1 calculates a complex transfer function from the received signal.
  • step S30 the sensor 1 records each of the calculated complex transfer functions in a time series, and calculates the biological component channel matrix by extracting the variable component due to the influence of the living body from the recorded complex transfer function in the time series.
  • step S40 the sensor 1 calculates the correlation matrix of the extracted biological component channel matrix.
  • step S50 the sensor 1 sets the initial value L start in the variable L.
  • step S60 the sensor 1 calculates the likelihood spectrum by the MUSIC method based on the variable L set in step S50 or S75 and the correlation matrix calculated in step S40.
  • step S70 the sensor 1 determines whether or not the variable L matches L end. If it is determined that L matches L end (Yes in step S70), the process proceeds to step S80, and if not (No in step S70), the process proceeds to step S75.
  • step S75 the sensor 1 adds 1 to the variable L. After that, the sensor 1 executes step S60 again.
  • step S80 the sensor 1 calculates the integrated spectrum by integrating the likelihood spectra.
  • the integrated likelihood spectrum is a likelihood spectrum calculated by the sensor 1 while changing the variable L by 1 from L start to L end by the processing of steps S50, S60, S70 and S75.
  • step S90 the sensor 1 calculates the number of people from the integrated spectrum calculated in step S80, estimates it as human information, and outputs it.
  • the process of step S90 is, for example, a method of using the ratio method for the peak value of the integrated spectrum, a method of counting the number of blocks in which the interval of a predetermined value or more is continuous in the integrated spectrum, or a method of treating the integrated spectrum as an image and convolving it. It is performed by using a method using machine learning such as a neural network.
  • FIG. 7 is a flowchart showing the calculation process of the human information of the sensor 1 in the first embodiment.
  • the process shown in FIG. 7 is an example of a process in which the process of step S90 is performed by using the ratio method as an example.
  • step S110 the sensor 1 extracts the peak whose peak is the maximum value in a predetermined range from the peaks of the integrated spectrum, and acquires the extracted peak as the first peak set.
  • step S120 the sensor 1 calculates the y% value of the value included in the range of a predetermined distance from the peak for each peak included in the first peak set.
  • step S130 the sensor 1 extracts a peak in which the difference between the peak value and the y% value calculated in step S120 is equal to or greater than a predetermined threshold value for the peak extracted in step S110, and extracts the extracted peak as the second peak. Get as a set.
  • step S140 the sensor 1 sorts the peaks included in the second peak set in descending order of peak values.
  • step S150 the sensor 1 calculates the difference between the i-th peak and the (i + 1) -th peak in the second peak set, and estimates and outputs the person information indicating i, which has the maximum difference, as the number of people. do.
  • i is an integer of 1 or more and less than or equal to the number of elements of the second peak set.
  • the number of living organisms 200 existing in the space S can be estimated with high accuracy by using the wireless signal.
  • the estimation method for deriving the existing likelihood spectrum used for estimation for the number of living organisms 200 existing in the space S it may be necessary to give the number of living organisms existing in the space S.
  • the number of living organisms existing in the space S is the number of living organisms existing in the space S using the integrated spectrum in which the likelihood spectra calculated by using a plurality of numerical values are integrated. To estimate. Therefore, even when the number of living organisms existing in the space S is unknown, it is possible to estimate the biological information indicating the number of living organisms existing in the space S.
  • the sensor in the present embodiment has the same configuration as the sensor 1 in the first embodiment, except that the estimation unit 80 included in the sensor 1 in the first embodiment replaces the estimation unit 2080. Since the configurations other than the estimation unit 2080 are the same as those in the first embodiment, the description thereof will be omitted here.
  • FIG. 8 is a block diagram showing the configuration of the estimation unit 2080 in the second embodiment.
  • FIG. 9 is a conceptual diagram showing the operation of the block detection unit 2082 according to the second embodiment.
  • the integrated spectrum 2100 shown in FIG. 9 is an example of the integrated spectrum calculated by the spectrum calculation unit 70.
  • the estimation unit 2080 includes a threshold value setting unit 2081 and a block detection unit 2082.
  • the threshold value setting unit 2081 sets a threshold value 2101 that is v [dB] smaller than the maximum value of the integrated spectrum 2100.
  • a preset fixed value may be used for v and the threshold value 2101, or the v and the threshold value 2101 are variously changed in advance to evaluate the accuracy of the number estimation, and the threshold value 2101 with the highest accuracy is used. It may be used as an optimum value. For example, when using an unmodulated continuous wave of 2.471 25 GHz and sensing a room of 4 m square with a 4-element patch array antenna with a half-wavelength element spacing, v can be set to 3.9 dB.
  • the block detection unit 2082 detects a section in the integrated spectrum 2100 whose likelihood is a threshold value of 2101 or more as a block, and acquires the number of detected blocks.
  • the estimation unit 2080 estimates the number of blocks acquired by the block detection unit 2082 as the number of people existing in the space S.
  • two blocks, blocks 2102-A and 2102-B, are detected as intervals in which the integrated spectrum 2100 is equal to or higher than the threshold value 2101.
  • the block detection unit 2082 calculates the person information indicating that the number of people is 2.
  • the amount of calculation in the estimation unit 2080 can be reduced as compared with the sensor 1 of the first embodiment. As a result, it is possible to lower the capacity standard of the processing device required for real-time processing and to estimate information about a person at low cost.
  • the sensor in the present embodiment has the same configuration as the sensor 1 in the first embodiment, except that the estimation unit 80 included in the sensor 1 in the first embodiment replaces the estimation unit 3080. Since the configurations other than the estimation unit 3080 are the same as those in the first embodiment, the description thereof will be omitted here.
  • FIG. 10 is a block diagram showing the configuration of the estimation unit 3080 in the third embodiment.
  • the estimation unit 3080 includes a teacher data creation unit 3081, a learning unit 3082, a network storage unit 3083, an image conversion unit 3084, and a determination unit 3085.
  • the teacher data creation unit 3081, the learning unit 3082, and the network storage unit 3083 learn the machine learning model in advance.
  • the image conversion unit 3084 and the determination unit 3085 use a machine learning model learned in advance to calculate human information for test data.
  • the teacher data creation unit 3081 acquires a plurality of images showing the MUSIC spectrum when the number of people is known in advance, and saves them as teacher data images.
  • the teacher data image includes an image showing a plurality of MUSIC spectra for each of the number of people assumed to exist in the space S.
  • the teacher data image when the upper limit of the number of people existing in the space S to be measured is 3, a plurality of teacher data images for each of 0, 1, 2, and 3, for example, 100 or more teacher data images. Is included.
  • the learning unit 3082 learns the machine learning model by inputting the teacher data image.
  • the machine learning model is, for example, a convolutional neural network model.
  • the teacher data image used as an input is a teacher data image saved by the teacher data creation unit 3081.
  • a method for streamlining the learning of the neural network such as transfer learning, may be used.
  • the network storage unit 3083 stores the convolutional neural network generated by the learning unit 3082 in a memory on a computer, a recording medium such as a CD-ROM, or a server outside the sensor. When stored in a server outside the sensor, the data of the convolutional neural network is transmitted to the server by communication via the network.
  • the image conversion unit 3084 generates input data by converting the integrated spectrum calculated by the spectrum calculation unit 70 into a format that can be processed by a convolutional neural network.
  • An image in a format that can be processed by a convolutional neural network is, for example, a heat map image in which each pixel corresponds to a value in the integrated spectrum.
  • the determination unit 3085 acquires the person information output by inputting the input data generated by the image conversion unit 3084 into the convolutional neural network stored in the network storage unit 3083.
  • the estimation unit 3080 estimates the person information acquired by the determination unit 3085 as person information indicating a person existing in the space S.
  • the present disclosure can be realized not only as a sensor having such a characteristic component, but also as an estimation method in which the characteristic component included in the sensor is a step. It can also be realized as a computer program that causes a computer to execute each characteristic step included in such a method. Needless to say, such a computer program can be distributed via a non-temporary recording medium such as a CD-ROM that can be read by a computer or a communication network such as the Internet.
  • a non-temporary recording medium such as a CD-ROM that can be read by a computer or a communication network such as the Internet.
  • This disclosure can be used for measuring instruments that measure the number and position of living organisms, home appliances that control according to the number and position of living organisms, and monitoring devices that detect the invasion of living organisms.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Physiology (AREA)
  • Geophysics (AREA)
  • Geology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Cardiology (AREA)
  • Veterinary Medicine (AREA)
  • Electromagnetism (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Algebra (AREA)

Abstract

センサ（１）は、１以上の生体が存在する空間にＮ個（Ｎは２以上の自然数）の送信アンテナ素子から送信され、Ｍ個（Ｍは２以上の自然数）の受信アンテナ素子で受信された電波の受信信号を用いて、送信アンテナ素子と受信アンテナ素子との間の伝搬特性を示す複素伝達関数を算出する複素伝達関数算出部（３０）と、（ａ）互いに異なる複数の数値のそれぞれを生体数として用いて、複素伝達関数に含まれる生体に対応する成分である生体情報から、生体の存在を推定する推定アルゴリズムを用いて導出される、上記存在の尤度を示す尤度スペクトルを算出し、（ｂ）算出した複数の尤度スペクトルを統合した統合スペクトルを算出する、スペクトル算出部（７０）と、統合スペクトルから、上記空間に存在する生体数を少なくとも示す生体情報を推定して出力する推定部（８０）とを備える。

Description

推定装置、推定方法、および、プログラム
　本開示は、推定装置、推定方法、および、プログラムに関する。
　無線で送信される信号を利用して検出対象を検出する技術が開発されている（例えば特許文献１参照）。
　特許文献１には、無線で受信した信号に対してフーリエ変換を用いてドップラーシフトを含む成分の固有値を解析することで、検出対象である生体の数または位置を知ることができることが開示されている。
特開２０１５－１１７９７２号公報 特開２０１４－２２８２９１号公報 特許第５０４７００２号公報 特許第５０２５１７０号公報
　検出対象を検出するアルゴリズムによっては、検出対象の数をアルゴリズムに入力する必要があることがある。その場合、検出対象の数が不明であるときには、検出対象を検出することができないという問題がある。
　本開示は、検出対象である生体の数が不明である場合にも生体に関する情報を推定できる推定装置などを提供することを目的とする。
　本開示における推定装置は、１以上の生体が存在する空間にＮ個（Ｎは２以上の自然数）の送信アンテナ素子から送信され、Ｍ個（Ｍは２以上の自然数）の受信アンテナ素子で受信された電波の受信信号を用いて、前記送信アンテナ素子と前記受信アンテナ素子との間の伝搬特性を示す複素伝達関数を算出する複素伝達関数算出部と、（ａ）互いに異なる複数の数値のそれぞれを生体数として用いて、前記複素伝達関数に含まれる生体に対応する成分である生体情報から、前記生体の存在を推定する推定アルゴリズムを用いて導出される、前記存在の尤度を示す尤度スペクトルを算出し、（ｂ）算出した複数の前記尤度スペクトルを統合した統合スペクトルを算出する、スペクトル算出部と、前記統合スペクトルから、前記空間に存在する生体数を少なくとも示す生体情報を推定して出力する推定部と、を備える推定装置である。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本開示の推定装置によれば、検出対象である生体の数が不明である場合にも生体に関する情報を推定することができる。
図１は、実施の形態１におけるセンサの構成を示すブロック図である。 図２は、実施の形態１におけるセンサによる到来方向の推定を示す概念図である。 図３は、実施の形態１における推定部の構成を示すブロック図である。 図４は、実施の形態１におけるピーク探索部の動作を表す概念図である。 図５は、実施の形態１における検定部の動作を表す概念図である。 図６は、実施の形態１におけるセンサの処理を示すフローチャートである。 図７は、実施の形態１におけるセンサの人情報の算出処理を示すフローチャートである。 図８は、実施の形態２における推定部の構成を表すブロック図である。 図９は、実施の形態２におけるブロック検出部の動作を表す概念図である。 図１０は、実施の形態３における推定部の構成を表すブロック図である。
　（本開示の基礎となった知見）
　本発明者は、「背景技術」の欄において記載した、検出に関する技術について、以下の問題が生じることを見出した。
　従来、無線で送信される信号を利用して検出対象を検出する技術が開発されている（例えば特許文献１～４参照）。
　例えば、特許文献１には、フーリエ変換を用いてドップラーシフトを含む成分の固有値を解析することで、検出対象である人物の数または位置を推定する技術が開示されている。具体的には、特許文献１の処理装置は、受信信号に対してフーリエ変換を行い、特定の周波数成分を抽出した波形に対して自己相関行列を求め、その自己相関行列を固有値分解して固有値を求める。一般に、固有値および固有ベクトルは、それぞれが送信アンテナから受信アンテナに至る電波の伝搬経路、すなわちパスの１本を表している。しかし、特許文献１の技術では、生体情報が含まれない成分は除去されているため、生体により反射された信号に対応するパスとその二次反射、および雑音に対応するパスのみが、固有値および固有ベクトルに現れる。ここで、雑音に対応する固有値の値は、生体に対応する固有値の値よりも小さいため、その固有値のうち、所定の閾値よりも大きいものの個数を数え上げることで生体数が推定可能である。
　しかしながら、特許文献１に開示される技術では、検出対象となる生体が検出装置から比較的遠い位置に存在する場合、または、生体の数が比較的多い場合には、生体に対応する固有値と雑音に対応する固有値との差が縮まり、人数推定の精度が低下するという問題がある。なぜなら、ドップラー効果が非常に弱い状況では、受信機が持つ内部雑音、または、検出対象以外から飛来する干渉波の影響、および、検出対象以外にドップラーシフトを発生させる物体が存在するなどの影響を受け、ドップラーシフトをしている微弱な信号を検出することが難しくなるからである。また、測定対象となる生体がある程度の大きさを持っており、生体の成分が複数の固有値にまたがって分布するので、生体数が比較的多い場合には、生体の固有値の分離が完全にはできなくなり、人数推定が困難になる。
　特許文献２には、ＭＵＳＩＣ（ＭＵｌｔｉｐｌｅ　ＳＩｇｎａｌ　Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）法などの方向推定アルゴリズムを利用して、対象物の位置を推定する技術が開示されている。具体的には、送信局が発した信号を受信した受信局は、受信信号に対してフーリエ変換を行い、特定の周波数成分を抽出した波形に対して自己相関行列を求め、ＭＵＳＩＣ法などの方向推定アルゴリズムを適用する。これにより、高い精度で方向推定が可能である。しかしながら、特許文献２で用いるＭＵＳＩＣ法は、検出対象となる生体数が与えられる必要があるので、特許文献２の技術を用いた検出では、あらかじめ人数を推定しておくことが必要である。
　また、例えば特許文献３には、複数のアンテナにより受信された受信信号の固有ベクトルと、電波の到来する可能性のある範囲のステアリングベクトルとの相関から到来波数、すなわち携帯電話など送信機の数を推定する技術が開示されている。
　また、例えば特許文献４には、複数のアンテナにより受信された受信信号に対し様々な到来波数を仮定し、それぞれに対してステアリングベクトルを用いた評価関数を算出し、評価関数が最大となる到来波数を、真の到来波数として推定する技術が開示されている。
　しかしながら、特許文献３～４に開示される技術は、電波を発する送信機の数を推定する技術であり、生体の数を推定することはできない。
　そこで、発明者らはこれらのことを鑑み、対象となる生体に送信機などの特別な機器を所持させずに、無線信号を利用して、より正確かつ、より多くの生体数を推定できる推定装置などを見出し、本開示に至った。
　本開示の一様態に係る推定装置は、１以上の生体が存在する空間にＮ個（Ｎは２以上の自然数）の送信アンテナ素子から送信され、Ｍ個（Ｍは２以上の自然数）の受信アンテナ素子で受信された電波の受信信号を用いて、前記送信アンテナ素子と前記受信アンテナ素子との間の伝搬特性を示す複素伝達関数を算出する複素伝達関数算出部と、（ａ）互いに異なる複数の数値のそれぞれを生体数として用いて、前記複素伝達関数に含まれる生体に対応する成分である生体情報から、前記生体の存在を推定する推定アルゴリズムを用いて導出される、前記存在の尤度を示す尤度スペクトルを算出し、（ｂ）算出した複数の前記尤度スペクトルを統合した統合スペクトルを算出する、スペクトル算出部と、前記統合スペクトルから、前記空間に存在する生体数を少なくとも示す生体情報を推定して出力する推定部と、を備える推定装置である。
　上記態様によれば、推定装置は、検出対象である生体の数として互いに異なる複数の数値を用いて算出した複数の尤度スペクトルを統合した統合スペクトルを用いて、空間に存在する生体に関する情報を出力するので、検出対象である生体の数の入力を必要としない。よって、推定装置は、検出対象である生体の数が不明である場合にも生体に関する情報を推定できる。
　例えば、前記推定部は、前記統合スペクトルから、前記空間に存在する生体の位置をさらに示す前記生体情報を推定して出力してもよい。
　上記態様によれば、推定装置は、生体に関する情報として、生体の数に加えて、生体の位置を示す情報を推定できる。よって、推定装置は、検出対象である生体の数が不明である場合にも、生体に関する、より多くの情報を推定できる。
　例えば、前記スペクトル算出部は、（前記Ｎ×前記Ｍ－１）以下の複数の自然数、前記Ｎ以下の複数の自然数、または、前記Ｍ以下の複数の自然数を、前記複数の数値として用いて、前記尤度スペクトルを算出してもよい。
　上記態様によれば、推定装置は、送信アンテナ素子の個数および受信アンテナ素子の個数の少なくとも一方を用いて複数の尤度スペクトルを算出する。複素伝達関数の生体情報を用いる場合、推定される生体数が送信アンテナ素子数と受信アンテナ素子数との積以下である場合に生体情報がより精度よく定められ、また、推定される生体数が送信アンテナ素子数以下または受信アンテナ素子数以下である場合に生体情報がさらに精度よく定められる。よって、推定装置は、検出対象である生体の数が不明である場合にも、より容易に、かつ、より精度よく、生体に関する情報を推定できる。
　例えば、前記スペクトル算出部は、前記空間に存在し得る生体の最大数として定められた数以下の複数の自然数を、前記複数の数値として用いて、前記尤度スペクトルを算出してもよい。
　上記態様によれば、推定装置は、空間に存在し得る生体の最大数として定められた数を用いて複数の尤度スペクトルを算出する。空間に存在し得る生体の最大数は、例えば、空間の大きさ（面積または容積）によってあらかじめ定められていることがある。その場合には、その最大数以下の数の生体が空間に存在していると想定され、言い換えれば、その最大数を超える数の生態が空間に存在していることを想定する必要がない。よって、その最大数以下の複数の自然数を用いて複数の尤度スペクトルを算出することで、計算処理を必要かつ十分な量に抑制でき、必要以上に多い生体を想定した計算処理をすることを未然に回避できる。よって、推定装置は、必要かつ十分な計算処理により、検出対象である生体の数が不明である場合にも生体に関する情報を推定できる。
　例えば、さらに、過去に前記推定部が推定した前記生体情報を記憶している記憶部を備え、前記スペクトル算出部は、前記記憶部に記憶されている前記生体情報に示される前記生体数を含む範囲内の複数の自然数を、前記複数の数値として用いて、前記尤度スペクトルを算出してもよい。
　上記態様によれば、推定装置は、過去に空間に存在していた生体の数を用いて複数の尤度スペクトルを算出する。これにより、過去に空間に存在していた生体の数と同等の数の生体が存在すると想定される空間において、より容易に、複数の尤度スペクトルを算出することができる。よって、推定装置は、より容易に、検出対象である生体の数が不明である場合にも生体に関する情報を推定できる。
　例えば、前記推定部は、前記尤度スペクトルの複数の極大値のうちの一以上の極大値であって、当該極大値を含む所定範囲において当該極大値が最大値である一以上の極大値を取得し、取得した前記一以上の極大値のうちの第一極大値であって、前記第一極大値と、前記第一極大値の次に大きい第二極大値との差異が最大である第一極大値を決定し、決定した前記第一極大値が、前記一以上の極大値のうち何番目に大きいかを示す数を、前記生体数と推定してもよい。
　上記態様によれば、推定装置は、比率法を用いて、尤度スペクトルが有する複数のピークから、虚像に基づくピークを除外して、生体に基づくピークの数を出力することができる。本願発明者らは、尤度スペクトルが有するピークのうち虚像に基づくピークは、ピーク値が比較的低い、または、比較的なだらかであるという特徴があることを見出し、その知見に基づいて、尤度スペクトルが有するピークのうち虚像に基づくピークを比率法を用いて除外する技術に想到した。推定装置は、尤度スペクトルが有する複数のピークを用いた処理を行い、言い換えれば、尤度に閾値を設ける必要がないので、閾値の設定の大小が処理に影響を与えることを回避できる。また、機械学習モデルを用いることがないので、教師データの用意および事前の学習処理のような準備作業が必要となるのを回避できる。よって、推定装置は、より容易に、検出対象である生体の数が不明である場合にも生体に関する情報を推定できる。
　例えば、前記推定部は、前記一以上の極大値のうちの一以上の第三極大値であって、当該第三極大値と、当該第三極大値を含む所定範囲に含まれる値に所定の割合を乗じた値との差異が閾値以上である一以上の第三極大値のみを、前記一以上の極大値として用いて、前記第一極大値を決定してもよい。
　上記態様によれば、推定装置は、尤度スペクトルが有するピークのうち虚像に基づくピークをより適切に除外できる。尤度スペクトルにおける虚像に基づくピークは、比較的なだらかであるので、極大値と、当該極大値を含む所定範囲に含まれる値に所定の割合を乗じた値との差異の大きさによって判別され得る。よって、推定装置は、虚像の影響を除外することで、より容易に、検出対象である生体の数が不明である場合にも生体に関する情報を推定できる。
　例えば、前記推定部は、前記尤度スペクトルにおける尤度が閾値以上である区間の個数を、前記生体数と推定してもよい。
　上記態様によれば、推定装置は、尤度スペクトルにおける尤度と閾値との大小に基づいて判別される区間を用いて、尤度スペクトルが有する複数のピークのうち、虚像に基づくピークを除外した、生体に基づくピークの数を出力することができる。本願発明者らは、上記知見に基づいて、尤度スペクトルが有するピークのうち虚像に基づくピークを、上記区間を用いる方法で除外する技術に想到した。推定装置は、上記区間を用いる方法を用い、言い換えれば、複数のピークを対象とした差分の比較の処理を行う必要がないので、処理を単純化することができる。また、機械学習モデルを用いたりすることがないので、教師データの用意および事前の学習処理のような準備作業が必要となるのを回避できる。よって、推定装置は、より容易に、検出対象である生体の数が不明である場合にも生体に関する情報を推定できる。
　例えば、前記推定部は、前記空間における生体の存在の尤度を示す尤度スペクトルを示す画像と、前記生体の数とを教師データとして機械学習により事前に作成したモデルに、前記スペクトル算出部が算出した前記統合スペクトルを入力することで出力される生体数を、前記生体数と推定してもよい。
　上記態様によれば、推定装置は、事前に機械学習により作成したモデルを用いて、虚像に基づくピークを除外した、生体に基づくピークの数を出力することができる。本願発明者らは、上記知見に基づいて、尤度スペクトルが有するピークのうち虚像に基づくピークを、機械学習により作成したモデルを用いる方法で除外する技術に想到した。推定装置は、機械学習により作成したモデルを用い、言い換えれば、複数のピークを対象とした差分の比較の処理を行う必要がないので、処理を単純化することができる。尤度に閾値を設ける必要がないので、閾値の設定の大小が処理に影響を与えることを回避できる。よって、推定装置は、より容易に、検出対象である生体の数が不明である場合にも生体に関する情報を推定できる。
　例えば、前記推定部は、畳み込みニューラルネットワークモデルを前記モデルとして用いて、前記生体情報を出力してもよい。
　上記態様によれば、推定装置は、畳み込みニューラルネットワークを用いて、より適切に、検出対象である生体の数が不明である場合にも生体に関する情報を推定できる。
　例えば、前記スペクトル算出部は、前記推定アルゴリズムとして、前記空間に存在する生体数が入力された場合に入力された前記生体数の前記生体の存在を推定する推定アルゴリズムを用いて、前記尤度スペクトルを算出してもよい。
　上記態様によれば、推定装置は、空間に存在する生体数が入力されることを前提とした推定アルゴリズムを用いて、空間に存在する生体数を入力することなく、空間に存在する生体に関する情報を得ることができる。よって、推定装置は、検出対象である生体の数が不明である場合にも生体に関する情報を推定できる。
　例えば、前記スペクトル算出部は、ＭＵＳＩＣ（ＭＵｌｔｉｐｌｅ　ＳＩｇｎａｌ　Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）法を、前記推定アルゴリズムとして用いて、前記尤度スペクトルを算出してもよい。
　上記態様によれば、推定装置は、ＭＵＳＩＣ法を用いて、検出対象である生体の数が不明である場合にも生体に関する情報を推定できる。
　また、本開示の一様態に係る推定方法は、１以上の生体が存在する空間にＮ個（Ｎは２以上の自然数）の送信アンテナ素子から送信され、Ｍ個（Ｍは２以上の自然数）の受信アンテナ素子で受信された電波の受信信号を用いて、前記送信アンテナ素子と前記受信アンテナ素子との間の伝搬特性を示す複素伝達関数を算出し、互いに異なる複数の数値のそれぞれを生体数として用いて、前記複素伝達関数に含まれる生体に対応する成分である生体情報から、前記生体の存在を推定する推定アルゴリズムを用いて導出される、前記存在の尤度を示す尤度スペクトルを算出し、算出した複数の前記尤度スペクトルを統合した統合スペクトルを算出し、前記統合スペクトルから、前記空間に存在する生体数を少なくとも示す生体情報を推定して出力する推定方法である。
　上記態様によれば、上記推定装置と同様の効果を奏する。
　また、本開示の一様態に係るプログラムは、上記の推定方法をコンピュータに実行させるプログラムである。
　上記態様によれば、上記推定装置と同様の効果を奏する。
　なお、本開示は、装置として実現するだけでなく、このような装置が備える処理手段を備える集積回路として実現したり、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを示す情報、データまたは信号として実現したりすることもできる。そして、それらプログラム、情報、データおよび信号は、ＣＤ－ＲＯＭ等の記録媒体やインターネット等の通信媒体を介して配信してもよい。
　以下、本開示の実施の形態について図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、より好ましい形態を構成する任意の構成要素として説明される。また、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　（実施の形態１）
　以下では、図面を参照しながら実施の形態１におけるセンサ１の人数推定方法等の説明を行う。センサ１は、検出対象である生体の数が不明である場合にも生体に関する情報を推定することができる推定装置の一例である。
　［センサ１の構成］
　図１は、実施の形態１におけるセンサ１の構成を示すブロック図である。図２は、実施の形態１におけるセンサ１による到来方向の推定を示す概念図である。
　図１に示すセンサ１は、複素伝達関数算出部３０と、生体成分抽出部４０と、相関行列算出部５０と、スペクトル算出部７０と、推定部８０とを備える。センサ１は、送信機１０と、受信機２０とに接続されている。なお、センサ１は、送信機１０と受信機２０との一方または両方を備えてもよい。なお、送信機１０と、受信機２０とは、同一の筐体内に配置されていてもよい。
　［送信機１０］
　送信機１０は、送信部１１と送信アンテナ部１２とを備える。送信機１０は、空間Ｓに電波を送信する。空間Ｓには生体２００が存在すると想定される。生体２００は、例えば人（つまり人体）であり、この場合を例として説明する。
　送信アンテナ部１２は、ＭＴ個の送信アンテナ素子＃１～＃ＭＴを有するアレーアンテナで構成されている。送信アンテナ部１２は、例えば、素子間隔が半波長である４素子パッチアレーアンテナなどである。
　送信部１１は、高周波の信号を生成する。送信部１１が生成する高周波の信号は、生体２００の在不在、位置、または、人数を推定するために用いられ得る。例えば、送信部１１は、２．４ＧＨｚのＣＷ（Ｃｏｎｔｉｎｕｏｕｓ　Ｗａｖｅ）を生成し、生成したＣＷを電波つまり送信波として送信アンテナ部１２から送信する。なお、送信する信号はＣＷに限らず変調をされた信号でも構わない。
　［受信機２０］
　受信機２０は、受信アンテナ部２１と受信部２２とを備える。受信機２０は、送信機１０が電波を送信した空間Ｓから、電波を受信する。受信される電波には、送信アンテナ部１２から送信された送信波の一部が生体２００によって反射または散乱された信号である、反射波または散乱波が含まれ得る。
　受信アンテナ部２１は、ＭＲ個の受信アンテナ素子＃１～＃ＭＲを有するアレーアンテナで構成されている。例えば、素子間隔が半波長である４素子パッチアレーアンテナなどである。受信アンテナ部２１は、アレーアンテナで高周波の信号を受信する。
　受信部２２は、受信アンテナ部２１が受信した高周波の信号を、例えばダウンコンバータなどを用いて信号処理が可能な低周波の信号に変換する。また、送信機１０が変調信号を送信していた場合、受信部２２は受信した変調信号の復調も行う。受信部２２は、変換した低周波の信号を複素伝達関数算出部３０に伝達する。
　なお、本実施の形態にて例として挙げた利用周波数は２．４ＧＨｚであるが、５ＧＨｚまたはミリ波帯などの周波数を用いてもよい。
　［複素伝達関数算出部３０］
　複素伝達関数算出部３０は、受信アンテナ部２１のアレーアンテナで受信された受信信号から、送信機１０の送信アンテナ部１２と受信アンテナ部２１との間の伝搬特性を表す複素伝達関数を算出する。より具体的には、複素伝達関数算出部３０は、受信部２２により伝達された低周波の信号から、送信アンテナ部１２が有するＭＴ個の送信アンテナ素子と、受信アンテナ部２１が有するＭＲ個の受信アンテナ素子との間の伝搬特性を表す複素伝達関数を算出する。
　なお、複素伝達関数算出部３０が算出した複素伝達関数は、送信アンテナ部１２から送信された送信波の一部が生体２００によって反射または散乱された信号である、反射波または散乱波に対応する成分（生体成分ともいう）を含む場合がある。また、複素伝達関数算出部３０が算出した複素伝達関数は、送信アンテナ部１２からの直接波、および、固定物由来の反射波など、生体２００を経由しない反射波に対応する成分を含む場合もある。また、生体２００によって反射または散乱された信号、すなわち生体２００経由の反射波および散乱波の振幅および位相は、生体２００の呼吸および心拍等の生体活動によって常に変動している。
　以下、複素伝達関数算出部３０が算出した複素伝達関数が、生体２００によって反射または散乱された信号である反射波および散乱波に対応する生体成分を含むとして説明する。
　なお、図１では送信機１０と受信機２０とが隣接して配置されている状態が図示されているが、送信機１０と受信機２０との配置は、これに限られず、例えば図２に示すように離れて配置されてもよい。また、送信アンテナと受信アンテナとは、兼用でもよい。また、送信アンテナと受信アンテナとは、Ｗｉ－Ｆｉ（登録商標）ルータまたは子機といった無線機器のハードウェアと共用してもよい。
　［生体成分抽出部４０］
　生体成分抽出部４０は、受信アンテナ部２１の受信アレーアンテナで受信された信号（受信信号ともいう）を複素伝達関数算出部３０から取得する。そして、生体成分抽出部４０は、受信信号に含まれている生体成分、つまり、送信アンテナ部１２から送信され、かつ、１以上の生体２００によって反射または散乱された信号成分を抽出する。
　より具体的には、生体成分抽出部４０は、複素伝達関数算出部３０で算出された複素伝達関数を、信号が受信された順である時系列で記録する。そして、生体成分抽出部４０は、時系列で記録した複素伝達関数の変化のうち、生体２００の影響による変動成分を抽出する。このように抽出される、生体２００の影響による複素伝達関数の変動成分が、生体成分に相当する。
　生体成分を抽出する方法としては、例えば、複素伝達関数の変化をフーリエ変換などにより周波数領域へ変換した後、生体成分に対応する周波数の成分を抽出する方法、または、２つの異なる時間の複素伝達関数の差分を計算することで抽出する方法がある。これらの方法により、複素伝達関数に含まれる直接波および固定物を経由する反射波の成分が除去され、生体２００を経由する生体成分が残ることになる。例えば、５秒間の複素伝達関数を用いて、生体成分に対応する周波数として０．３Ｈｚから３Ｈｚの成分を抽出することによって、生体２００が静止しているときでも存在する、生体２００の呼吸成分を抽出することができる。
　なお、本実施の形態では、一例として０．３Ｈｚから３Ｈｚの成分を抽出する例を説明したが、より遅い動作、または、より速い動作を抽出したい場合は、抽出したい動作に対応した周波数成分を抽出するように変更すればよいことは言うまでもない。
　なお、本実施の形態では、送信アレーアンテナを構成する送信アンテナ素子がＭＴ個あり、また、受信アレーアンテナを構成する受信アンテナ素子がＭＲ個すなわち複数あるので、送信アレーアンテナおよび受信アレーアンテナに対応する複素伝達関数に含まれる、生体２００経由の生体成分も複数となる。
　生体２００経由の複数の生体成分は、Ｍ行Ｎ列の行列（生体成分チャネル行列Ｆ（ｆ）ともいう）として、（式１）のように表される。
Figure JPOXMLDOC01-appb-M000001
　なお、生体成分複素伝達関数行列すなわち生体成分チャネル行列Ｆ（ｆ）の各要素Ｆｉｊは、複素伝達関数の各要素hijから変動成分を抽出した要素である。また、生体成分複素伝達関数行列すなわち生体成分チャネル行列Ｆ（ｆ）は、周波数または周波数に類する差分周期の関数であり、複数の周波数に対応する情報を含む。なお、差分周期とは、２つの異なる時間の複素伝達関数の差分を計算することで生体成分を抽出する方法における、２つの複素伝達関数の時間差である。
　［相関行列算出部５０］
　相関行列算出部５０は、生体成分抽出部４０が算出したＭ行Ｎ列で構成される生体成分チャネル行列の要素を並べ替えることで、（Ｍ×Ｎ）行１列の生体成分チャネルベクトルＦｖｅｃ（ｆ）に変換する。要素の並べ方としては、例えば（式２）のような方法があるが、行列を並べ替える操作であればよく、要素の順序は問わない。
Figure JPOXMLDOC01-appb-M000002
　その後、相関行列算出部５０は、生体成分チャネルベクトルＦｖｅｃ（ｆ）から相関行列を算出する。より具体的には、相関行列算出部５０は、生体２００による複数の変動成分から構成される生体成分チャネルベクトルＦｖｅｃ（ｆ）の相関行列Ｒを、（式３）に従って算出する。
Figure JPOXMLDOC01-appb-M000003
　（式３）中のＥ［］は、平均演算を表し、演算子Ｈは複素共役転置を表す。ここで、相関行列算出部５０は、相関行列計算において複数の周波数成分を含む生体成分チャネルベクトルＦｖｅｃ（ｆ）を、周波数方向に平均化することで、それぞれの周波数に含まれる情報を同時に使用したセンシングが可能となる。
　［スペクトル算出部７０］
　スペクトル算出部７０は、空間Ｓにおける生体２００の存在の尤度を示す尤度スペクトルを算出し、また、算出した尤度スペクトルを用いて統合スペクトルを算出する。スペクトル算出部７０は、推定アルゴリズムとして、空間に存在する生体数が入力された場合に入力された生体数の前記生体の存在を推定する推定アルゴリズムを用いて、尤度スペクトルを算出する。尤度スペクトルは、例えばＭＵＳＩＣ法により算出され、この場合を例として説明する。ＭＵＳＩＣ法により算出される尤度スペクトルをＭＵＳＩＣスペクトルともいう。
　一般に、尤度スペクトルを算出するためには、到来波の数である到来波数が必要であることがある。ＭＵＳＩＣ法によりＭＵＳＩＣスペクトルを算出するためには、到来波数が必要である。到来波数は、本実施例における空間Ｓに存在する生体２００の数に相当する。
　スペクトル算出部７０は、生体数として特定の一の数値を用いるのではなく、互いに異なる複数の数値を順次に生体数として用いて、ＭＵＳＩＣスペクトルの算出を行う。
　すなわち、スペクトル算出部７０は、変数Ｌを初期値ＬstartからＬendまで変化させながら、変数Ｌを生体数として用いてＭＵＳＩＣスペクトルの算出を行う。そして、スペクトル算出部７０は、互いに異なる複数の変数Ｌを用いて算出された複数のＭＵＳＩＣスペクトルを統合した統合ＭＵＳＩＣスペクトルを算出する。以下にＭＵＳＩＣスペクトル算出部７０の動作について数式を用いて説明する。
　相関行列算出部５０で算出された相関行列Ｒを固有値分解すると、
Figure JPOXMLDOC01-appb-M000004
 と書ける。ここで、
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
 である。
　ここで、
Figure JPOXMLDOC01-appb-M000007
 は、要素数がＭR個である固有ベクトルであり、
Figure JPOXMLDOC01-appb-M000008
 は、固有ベクトルに対応する固有値であり、
Figure JPOXMLDOC01-appb-M000009
 が成り立つとする。また、Ｌは、生体数つまり人数として用いられるループ変数である。
　また、送信アレーアンテナのステアリングベクトル（方向ベクトル）は、
Figure JPOXMLDOC01-appb-M000010
 と定義され、受信アレーアンテナのステアリングベクトル（方向ベクトル）は、
Figure JPOXMLDOC01-appb-M000011
 と定義される。なお、使用するアンテナ素子が均一な複素指向性を持たないときは、送信および受信ステアリングベクトルは実測した複素指向性データをもとに作成したものを用いてもよい。ここで、ｋは波数である。
　さらに、これらのステアリングベクトルを乗算して、送信アレーアンテナおよび受信アレーアンテナ双方の角度情報を考慮したステアリングベクトルを
Figure JPOXMLDOC01-appb-M000012
 と定義し、変数Ｌを様々に変化させながらＭＵＳＩＣ法を適用する。
　すなわち、スペクトル算出部７０は、ＭＵＳＩＣ法に基づき、乗算したステアリングベクトルを用いて、下記（式４）で示される複数のＭＵＳＩＣスペクトルが統合された評価関数Ｐmusic(θT,θR)を算出する。この評価関数を統合ＭＵＳＩＣスペクトルと呼称し、単に統合スペクトルともいう。
Figure JPOXMLDOC01-appb-M000013
　なお、統合の演算は、（式４）では総和を用いたが、総和の代わりに総乗を用いてもよい。つまり、（式４）において、総和記号
Figure JPOXMLDOC01-appb-M000014
 を、総乗記号
Figure JPOXMLDOC01-appb-M000015
 に置き換えたものを用いてもよい。
　なお、変数Ｌの最小値Ｌstartおよび最大値Ｌendは、あらかじめ所定の値を設定しておく必要がある。例えば、最小値Ｌstartは、１、または、測定対象である空間Ｓに存在する生体の最小数が既知である場合はその数とする。また、最大値Ｌendは、測定対象である空間Ｓに存在する生体の最大数が既知である場合はその数またはその数より１から３程度大きな数とすることができる。
　また、例えば、最大値Ｌendは、送信アンテナ素子数と受信アンテナ素子数との積より１程度少ない数にしてもよい。なぜならば、ＭＵＳＩＣ法で検出可能な、検出対象の最大数は、送信アンテナ素子数と受信アンテナ素子数との積より１少ない数であるからである。また、最大数Ｌendは、送信アンテナ素子数または受信アンテナ素子数としてもよい。
　つまり、スペクトル算出部７０は、例えば、（送信アンテナ素子数Ｎ×受信アンテナ素子数Ｍ－１）以下の複数の自然数、送信アンテナ素子数Ｎ以下の複数の自然数、または、受信アンテナ素子数Ｍ以下の複数の自然数を、変数Ｌとして用いて、尤度スペクトルを算出することができる。なぜならば、推定される生体数が送信アンテナ素子数と受信アンテナ素子数との積以下である場合に生体情報がより精度よく定められ、また、推定される生体数が送信アンテナ素子数以下または受信アンテナ素子数以下である場合に生体情報がさらに精度よく定められるからである。
　また、スペクトル算出部７０は、空間Ｓに存在し得る生体の最大数として定められた数以下の複数の自然数を、変数Ｌとして用いて、尤度スペクトルを算出することができる。
　さらに、スペクトル算出部７０は、記憶部に記憶されている生体数情報に示される生体数を含む範囲内の複数の自然数を、変数Ｌとして用いて、尤度スペクトルを算出することができる。ここで、記憶部は、過去に推定部８０が推定した生体数情報を記憶している記憶装置（不図示）である。
　なお、上記の例では変数Ｌを１ずつ増やすこととしたが、等間隔に増やす必要はなく、１ずつ増やすのとは異なる変化パターンで変数Ｌを変化させてもよい。変化パターンは、あらかじめ定められたものであってもよいし、処理を進めながらランダムに選択されるものであってもよい。
　なお、ＭＵＳＩＣスペクトルは、Ｂｅａｍｆｏｒｍｅｒ法またはＣａｐｏｎ法によるスペクトルでも代用可能である。ただし、Ｂｅａｍｆｏｒｍｅｒ法またはＣａｐｏｎ法は、ＭＵＳＩＣ法と比較して精度が悪く、単体では高精度な推定ができないことに留意が必要である。言い換えれば、ＭＵＳＩＣ法は、Ｂｅａｍｆｏｒｍｅｒ法またはＣａｐｏｎ法と比較して、単体で、比較的高精度な推定ができる利点がある。
　［推定部８０］
　推定部８０は、ＭＵＳＩＣスペクトル算出部７０が算出した統合スペクトルから、測定対象となる空間Ｓに存在する生体２００の数を少なくとも示す生体情報、つまり、空間Ｓに存在する人の数を少なくとも示す人情報を推定して出力する。また、推定部８０は、統合スペクトルから、空間Ｓに存在する生体の位置をさらに示す生体情報、つまり、空間Ｓに存在する人の位置をさらに示す人情報を推定して出力してもよい。
　本来、正しい人数（つまり、空間Ｓに実際に存在する人の人数）を入力して算出されたＭＵＳＩＣスペクトルには、入力された人数と同じ数のピークが現れる。しかし、本実施の形態では、様々な数値を人数として入力して得られた複数のＭＵＳＩＣスペクトルを統合しているので、統合スペクトルに虚像（つまり、実際には人がいない位置に現れるピーク）が現れることがある。
　推定部８０では、統合スペクトルに現れているピークのうち虚像でないものを判別し、上記ピークのうち虚像でないものを対象として人数を算出することで、空間Ｓに存在する人の人数を示す人情報を推定する。また、推定部８０は、上記ピークのうち虚像でないものを対象としてそのピークの位置を算出することで、空間Ｓに存在する人の位置をさらに示す人情報を推定してもよい。
　人の人数または位置の算出には、例えばスペクトルのピーク値に対して比率法を用いる方法、ＭＵＳＩＣスペクトルで所定の閾値以上の尤度が連続する区間、言い換えれば尤度が所定の閾値以上である区間（ブロックともいう）の個数を数える方法、または、ＭＵＳＩＣスペクトルを画像として扱い畳み込みニューラルネットワークなどの機械学習を用いる方法などがある。本実施の形態では、一例として比率法を用いた人情報の算出方法について説明する。
　図３は、実施の形態１における推定部８０の詳細なブロック図である。
　図３に示される推定部８０は、ピーク探索部８１と、誤ピーク判定部８２と、ピークソート部８３と、検定部８４とを備える。
　＜ピーク探索部８１＞
　ピーク探索部８１は、統合スペクトルのうち極大値をとるピークの探索を行う。探索により発見されたピークの集合を第一ピーク集合とする。なお、第一ピーク集合は、雑音による細かなピークを除外するために、ピーク値が所定の範囲ｘで最大値となるピークのみに限定されることが望ましい。
　図４は、実施の形態１におけるピーク探索部８１の動作を表す概念図である。図４を参照しながら、ピーク探索部８１の処理を、１次元の統合スペクトル１０００を用いて説明する。
　図４には、統合スペクトル１０００に含まれる４つのピークである、ピーク１００１－Ａ、１００１－Ｂ、１００１－Ｃおよび１００１－Ｄが示されている。４つのピークそれぞれについて、当該ピークから距離０．５ｍ以内の範囲（つまり範囲１００２－Ａ、１００２－Ｂ、１００２－Ｃおよび１００２－Ｄ）において、当該ピークが最大値をとっているピークは、ピーク１００１－Ａ、１００１－Ｂおよび１００１－Ｄの３つである。ピーク探索部８１は、統合スペクトル１０００から上記３つのピークを抽出し、抽出したピークを第一ピーク集合として取得する。
　第一ピーク集合は、尤度スペクトルの複数の極大値のうちの一以上の極大値であって、当該極大値を含む所定範囲において当該極大値が最大値である一以上の極大値に相当する。
　＜誤ピーク判定部８２＞
　誤ピーク判定部８２は、第一ピーク集合に含まれるピークのうち、比較的なだらかなピークを除外する。統合スペクトル１０００における虚像は、比較的なだらかなピークとして現れるので、比較的なだらかなピークを除外することで、虚像に基づくピークを除外するためである。
　具体的には、誤ピーク判定部８２は、第一ピーク集合に含まれるピーク値それぞれについて、当該ピークから所定の距離ｘの範囲に含まれる値のｙ％値を算出する。誤ピーク判定部８２は、ピーク値とｙ％値との差異が所定の閾値ｚ以上であるものを抽出し、抽出したピークを第二ピーク集合として取得する。ピーク値とｙ％値との差異は、ピーク値とｙ％値との差分（つまり、ピーク値－ｙ％値）であってもよいし、ピーク値とｙ％値との比率（つまり、ｙ％値／ピーク値）であってもよい。また、「所定の距離ｘの範囲に含まれる値」は、当該範囲に含まれる任意の数値、当該範囲に含まれる値の平均値、最大値または最小値などを用いることができる。
　これにより、誤ピーク判定部８２は、第一ピーク集合に含まれるピークのうち、比較的なだらかなピークを除外することができる。例えば、所定の距離ｘを０．５ｍとし、ｙを７０％、ｚを０．４ｄＢとしたとき、誤ピーク判定部８２は、第一ピーク集合に含まれるピーク値それぞれの周囲０．５ｍ以内に含まれる値の７０％値よりも０．４ｄＢ以上大きいものを抽出する。
　第一ピーク集合から、誤ピーク判定部８２によって虚像に基づくピークが除外された第二ピーク集合は、一以上の第三極大値であって、当該第三極大値と、当該第三極大値を含む所定範囲に含まれる値に所定の割合を乗じた値との差異が閾値以上である一以上の第三極大値に相当する。ここで、所定の割合は、０より大きく１より小さい所定値である。
　＜ピークソート部８３＞
　ピークソート部８３は、第二ピーク集合に含まれる複数のピークそれぞれの値を降順にソートする。なお、ピークソート部８３は、第二ピーク集合に対して、第二ピーク集合に含まれるピークのうち値が最小のものよりもｗだけ小さい値を、仮想ピークとして追加してもよい。仮想ピークは、第二ピーク集合に含まれる複数のピークそれぞれについて、当該ピークと当該ピークの次に大きいピークとの比較をする処理において、ピーク値が最小であるピークの次に大きいピークとして用いられ得る。例えば、ｗを３．４ｄＢに設定し、最小のピークが最大のピークに対して－３ｄＢであるとき、追加する仮想ピークは最大のピークに対して－６．４ｄＢである。
　＜検定部８４＞
　検定部８４は、ピークソート部８３によってソートされた第二ピーク集合に対し、隣接するピーク値間の差異を算出することによって人数の推定を行う。より具体的には、降順にソートされた第二ピーク集合のｉ番目のピークとｉ＋１番目のピークとの差分として、比率または差分を算出し、その差分または比率が最大となるｉを人数として出力する。ここでｉは１以上、かつ、第二ピーク集合の要素数以下の整数である。
　以降では、差異として差分を用いる場合を例として説明する。
　図５は、実施の形態１における検定部８４の動作を表す概念図である。
　図５には、第二ピーク集合に含まれるピーク１１０１－Ａ、１１０１－Ｂ、１１０１－Ｃおよび１１０２がピーク値によって降順にソートされて示されている。なお、ピーク１１０２は、ピークソート部８３で追加された仮想ピークである。
　ピークソート部８３は、第二ピーク集合の隣接するピークの差分１１０３－Ａ、１１０３－Ｂおよび１１０３－Ｃを算出し、算出した差分が最大となるピークの組み合わせを求める。
　図５に示す例では、差分１１０３－Ｂ、つまり、２番目のピーク１１０１－Ｂと３番目のピーク１１０１－Ｃとの差分が最大であるので、ｉが２であり、算出される人数は２である。
　以上のように、検定部８４は、ピーク探索部８１が取得した一以上の極大値のうちの第一極大値であって、第一極大値と、第一極大値の次に大きい第二極大値との差異が最大である第一極大値を取得し、取得した第一極大値が、一以上の極大値のうち何番目に大きいかを示す数を取得する。そして、推定部８０は、検定部８４が取得した数を、空間Ｓに存在する人の人数として推定して出力する。
　なお、検定部８４は、ピーク探索部８１が取得した一以上の極大値をそのまま用いて上記のように人情報を出力してもよいし、ピーク探索部８１が取得した一以上の極大値のうち誤ピーク判定部８２が虚像に基づくピークを除外した、一以上の第三極大値を、一以上の極大値として用いて、上記のように人情報を出力してもよい。
　なお、上記では、センサ１が人数を示す人情報を出力する場合を例として説明したが、ＭＵＳＩＣスペクトルを用いて人の位置を推定し、人の位置を示す人情報を出力してもよい。
　なお、本実施の形態では送信アンテナと受信アンテナとがともに複数のＭＩＭＯ（Ｍｕｌｔｉｐｌｅ－Ｉｎｐｕｔ　Ｍｕｌｔｉｐｌｅ－Ｏｕｔｐｕｔ）構成の例を説明したが、送信または受信の一方が単一アンテナの構成を用いてもよい。その場合、スペクトル算出部７０が出力する統合スペクトルは１次元となるが、その場合でも２次元の場合と同様にピーク探索による人情報の推定が可能である。
　なお、空間Ｓに人が不在、すなわち０人の場合の検出のみ、最大の固有値の大きさ、複素伝達関数の変動成分の電力、または、無人のときとの相関の大きさに基づいて判定を行い、有人であるときのみスペクトル算出部７０による尤度スペクトルおよび統合スペクトルの算出を行ってもよい。こうすることで、空間Ｓに人が不在である場合に、尤度スペクトルおよび統合スペクトルの算出に必要な処理を省くことができ、消費電力の削減に寄与する。
　［センサ１の動作］
　以上のように構成されるセンサ１が生体数を推定する処理について説明する。
　図６は、実施の形態１におけるセンサ１の処理を示すフローチャートである。
　図６に示されるように、ステップＳ１０において、センサ１は、受信機２０において所定の期間、信号を受信する。
　ステップＳ２０において、センサ１は、受信信号から複素伝達関数を算出する。
　ステップＳ３０において、センサ１は、算出した複素伝達関数それぞれを時系列に記録し、記録した時系列の複素伝達関数から生体の影響による変動成分を抽出することで、生体成分チャネル行列を算出する。
　ステップＳ４０において、センサ１は、抽出した生体成分チャネル行列の相関行列を算出する。
　ステップＳ５０において、センサ１は、変数Ｌに初期値Ｌstartを設定する。
　ステップＳ６０において、センサ１は、ステップＳ５０またはＳ７５で設定された変数Ｌと、ステップＳ４０で算出された相関行列とをもとに、ＭＵＳＩＣ法により尤度スペクトルを算出する。
　ステップＳ７０において、センサ１は、変数ＬがＬendに一致しているか否かを判定する。ＬがＬendに一致していると判定した場合（ステップＳ７０でＹｅｓ）には、ステップＳ８０に進み、そうでない場合（ステップＳ７０でＮｏ）にはステップＳ７５に進む。
　ステップＳ７５において、センサ１は、変数Ｌを１加算する。その後、センサ１は、ステップＳ６０を再び実行する。
　ステップＳ８０において、センサ１は、尤度スペクトルを統合することで、統合スペクトルを算出する。統合される尤度スペクトルは、ステップＳ５０、Ｓ６０、Ｓ７０およびＳ７５の処理によって変数ＬをＬstartからＬendまで１ずつ変化させながらセンサ１が算出した尤度スペクトルである。
　ステップＳ９０において、センサ１は、ステップＳ８０で算出した統合スペクトルから人数を算出し、人情報として推定して出力する。ステップＳ９０の処理は、例えば、統合スペクトルのピーク値に対して比率法を用いる方法、統合スペクトルで所定の値以上の区間が連続するブロックの個数を数える方法、または、統合スペクトルを画像として扱い畳み込みニューラルネットワークなどの機械学習を用いる方法などを用いて行われる。
　図７は、実施の形態１におけるセンサ１の人情報の算出処理を示すフローチャートである。図７に示される処理は、ステップＳ９０の処理を、一例として比率法を用いて行う場合の処理の例である。
　図７に示すように、ステップＳ１１０において、センサ１は、統合スペクトルのピークのうち当該ピークが所定の範囲で最大値であるピークを抽出し、抽出したピークを第一ピーク集合として取得する。
　ステップＳ１２０において、センサ１は、第一ピーク集合に含まれるピークそれぞれについて、当該ピークからの所定の距離の範囲に含まれる値のｙ％値を算出する。
　ステップＳ１３０において、センサ１は、ステップＳ１１０で抽出したピークについて、ピーク値と、ステップＳ１２０で算出したｙ％値との差異が所定の閾値以上であるピークを抽出し、抽出したピークを第二ピーク集合として取得する。
　ステップＳ１４０において、センサ１は、第二ピーク集合に含まれるピークを、ピーク値の降順にソートする。
　ステップＳ１５０において、センサ１は、第二ピーク集合のうちｉ番目のピークと（ｉ＋１）番目のピークとの差異を計算し、その差異が最大となるｉを人数として示す人情報を推定して出力する。ここでｉは１以上、第二ピーク集合の要素数以下の整数である。
　［効果等］
　本実施の形態のセンサ１によれば、無線信号を利用して、空間Ｓに存在している生体２００の数を高精度に推定できる。
　空間Ｓに存在している生体２００の数に推定に用いられている既存の尤度スペクトルを導出する推定法では、空間Ｓに存在している生体数を与える必要があることがある。
　本実施の形態のセンサ１によれば、空間Ｓに存在している生体数として複数の数値を用いて算出した尤度スペクトルを統合した統合スペクトルを用いて、空間Ｓに存在している生体数を推定する。そのため、空間Ｓに存在している生体数が不明である場合にも、空間Ｓに存在している生体数を示す生体情報を推定することができる。
　（実施の形態２）
　実施の形態１では、統合スペクトルから比率法を用いて生体情報（つまり人情報）を推定する方法を説明した。実施の形態２では、統合スペクトルから尤度が所定の閾値以上である区間であるブロックの個数を数える方法を用いて生体情報を推定する方法を説明する。
　本実施の形態におけるセンサは、実施の形態１におけるセンサ１と同様の構成を備えるが、実施の形態１のセンサ１が備える推定部８０が、推定部２０８０に代わる点で異なる。推定部２０８０以外の構成は、実施の形態１と同一であるので、ここでは説明を省略する。
　図８は、実施の形態２における推定部２０８０の構成を表すブロック図である。図９は、実施の形態２におけるブロック検出部２０８２の動作を表す概念図である。図９に示される統合スペクトル２１００は、スペクトル算出部７０が算出した統合スペクトルの一例である。
　推定部２０８０は、図８に示すように、閾値設定部２０８１とブロック検出部２０８２とを備える。
　閾値設定部２０８１は、統合スペクトル２１００の最大値からｖ［ｄＢ］小さい閾値２１０１を設定する。なお、ｖおよび閾値２１０１には、あらかじめ設定された固定値を用いてもよいし、事前にｖおよび閾値２１０１を様々に変化させて人数推定の精度を評価し、最も精度が高かった閾値２１０１を最適値として用いてもよい。例えば、２．４７１２５ＧＨｚの無変調連続波を用い、素子間隔が半波長である４素子パッチアレーアンテナで４ｍ四方の部屋をセンシングする場合には、ｖを３．９ｄＢと設定できる。
　ブロック検出部２０８２は、統合スペクトル２１００における尤度が閾値２１０１以上である区間をブロックとして検出し、検出されたブロックの個数を取得する。
　推定部２０８０は、ブロック検出部２０８２が取得したブロックの個数を、空間Ｓに存在する人の人数と推定する。
　図９に示す例では、統合スペクトル２１００が閾値２１０１以上である区間として、ブロック２１０２－Ａおよび２１０２－Ｂの２つのブロックが検出される。ブロック検出部２０８２、人数が２であることを示す人情報を算出する。
　［効果等］
　実施の形態２のセンサによれば、実施の形態１におけるセンサ１と比べて推定部２０８０における計算量を削減することができる。これにより、リアルタイム処理に必要な処理装置の能力基準を下げ、低コストで人に関する情報の推定を実現することができる。
　（実施の形態３）
　実施の形態１では、統合スペクトルから比率法を用いて生体情報（つまり人情報）を推定する方法を説明した。実施の形態３では、統合スペクトルから機械学習モデル（例えば畳み込みニューラルネットワーク）を用いて生体情報を推定する方法を説明する。
　本実施の形態におけるセンサは、実施の形態１におけるセンサ１と同様の構成を備えるが、実施の形態１のセンサ１が備える推定部８０が、推定部３０８０に代わる点で異なる。推定部３０８０以外の構成は、実施の形態１と同一であるので、ここでは説明を省略する。
　図１０は、実施の形態３における推定部３０８０の構成を表すブロック図である。
　推定部３０８０は、図１０に示すように、教師データ作成部３０８１と、学習部３０８２と、ネットワーク記憶部３０８３と、画像変換部３０８４と、判定部３０８５とを備える。
　教師データ作成部３０８１と学習部３０８２とネットワーク記憶部３０８３とは、事前の機械学習モデルの学習を行う。画像変換部３０８４と判定部３０８５とは、事前に学習された機械学習モデルを用い、テストデータに対して人情報の算出を行う。
　教師データ作成部３０８１は、事前に人数が既知の場合のＭＵＳＩＣスペクトルを示す画像を複数取得し、教師データ画像として保存する。ここで、教師データ画像には、空間Ｓに存在すると想定される人数それぞれについて複数のＭＵＳＩＣスペクトルを示す画像が含まれる。例えば、教師データ画像には、測定対象である空間Ｓに存在する人数の上限が３である場合、０人、１人、２人および３人のそれぞれについて複数枚、例えば１００以上の教師データ画像が含まれる。
　学習部３０８２は、教師データ画像を入力として機械学習モデルの学習を行う。機械学習モデルは、例えば、畳み込みニューラルネットワークモデルである。入力として用いられる教師データ画像は、教師データ作成部３０８１が保存した教師データ画像である。なお、ここでは、例えば転移学習のようなニューラルネットワークの学習を効率化させる手法を用いてもよい。
　ネットワーク記憶部３０８３は、学習部３０８２が学習によって生成した畳み込みニューラルネットワークを、コンピュータ上のメモリ、ＣＤ－ＲＯＭ等の記録媒体、または、センサの外部のサーバなどに記憶させる。センサの外部のサーバに記憶させる場合には、ネットワークを介した通信によって上記サーバに畳み込みニューラルネットワークのデータを送信する。
　画像変換部３０８４は、スペクトル算出部７０が算出した統合スペクトルを畳み込みニューラルネットワークで処理可能な形式に変換することで、入力データを生成する。畳み込みニューラルネットワークで処理可能な形式の画像は、例えば、各画素が統合スペクトルの値に対応するヒートマップ画像である。
　判定部３０８５は、ネットワーク記憶部３０８３に記憶されている畳み込みニューラルネットワークに、画像変換部３０８４が生成した入力データを入力することで出力される人情報を取得する。
　推定部３０８０は、判定部３０８５が取得した人情報を、空間Ｓに存在する人を示す人情報として推定する。
　以上、本開示の一態様に係るセンサについて、実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。
　また、本開示は、このような特徴的な構成要素を備える、センサとして実現することができるだけでなく、センサに含まれる特徴的な構成要素をステップとする推定方法などとして実現することもできる。また、そのような方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ－ＲＯＭ等のコンピュータで読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
　［効果等］
　実施の形態３のセンサを用いて畳み込みニューラルネットワークによる機械学習を用いることで、当該センサを設置する環境それぞれに対して変更する必要がある、閾値などの各種パラメータ調整を自動で行うことができる。また、学習したネットワークを随時更新していくことにより更なる人数推定精度の改善も期待できる。
　本開示は、生体の人数や位置を測定する測定器、生体の人数や位置に応じた制御を行う家電機器、生体の侵入を検知する監視装置などに利用できる。
　１　　センサ
　１０　送信機
　１１　送信部
　１２　送信アンテナ部
　２０　受信機
　２１　受信アンテナ部
　２２　受信部
　３０　複素伝達関数算出部
　４０　生体成分抽出部
　５０　相関行列算出部
　７０　スペクトル算出部
　８０、２０８０、３０８０　推定部
　８１　ピーク探索部
　８２　誤ピーク判定部
　８３　ピークソート部
　８４　検定部
　２００　生体
　１０００、２１００　統合スペクトル
　１００１－Ａ、１００１－Ｂ、１００１－Ｃ、１００１－Ｄ、１１０１－Ａ、１１０１－Ｂ、１１０１－Ｃ、１１０２　ピーク
　１００２－Ａ、１００２－Ｂ、１００２－Ｃ、１００２－Ｄ　範囲
　１１０３－Ａ、１１０３－Ｂ、１１０３－Ｃ　差分
　２０８１　閾値設定部
　２０８２　ブロック検出部
　２１０１　閾値
　２１０２－Ａ、２１０２－Ｂ　ブロック
　３０８１　教師データ作成部
　３０８２　学習部
　３０８３　ネットワーク記憶部
　３０８４　画像変換部
　３０８５　判定部
　Ｓ　空間

Claims (14)

  1. 　１以上の生体が存在する空間にＮ個（Ｎは２以上の自然数）の送信アンテナ素子から送信され、Ｍ個（Ｍは２以上の自然数）の受信アンテナ素子で受信された電波の受信信号を用いて、前記送信アンテナ素子と前記受信アンテナ素子との間の伝搬特性を示す複素伝達関数を算出する複素伝達関数算出部と、
    　（ａ）互いに異なる複数の数値のそれぞれを生体数として用いて、前記複素伝達関数に含まれる生体に対応する成分である生体情報から、前記生体の存在を推定する推定アルゴリズムを用いて導出される、前記存在の尤度を示す尤度スペクトルを算出し、
    　（ｂ）算出した複数の前記尤度スペクトルを統合した統合スペクトルを算出する、スペクトル算出部と、
    　前記統合スペクトルから、前記空間に存在する生体数を少なくとも示す生体情報を推定して出力する推定部と、を備える
    　推定装置。
  2. 　前記推定部は、前記統合スペクトルから、前記空間に存在する生体の位置をさらに示す前記生体情報を推定して出力する
    　請求項１に記載の推定装置。
  3. 　前記スペクトル算出部は、
    　（前記Ｎ×前記Ｍ－１）以下の複数の自然数、前記Ｎ以下の複数の自然数、または、前記Ｍ以下の複数の自然数を、前記複数の数値として用いて、前記尤度スペクトルを算出する
    　請求項１または２に記載の推定装置。
  4. 　前記スペクトル算出部は、
    　前記空間に存在し得る生体の最大数として定められた数以下の複数の自然数を、前記複数の数値として用いて、前記尤度スペクトルを算出する
    　請求項１または２に記載の推定装置。
  5. 　さらに、過去に前記推定部が推定した前記生体情報を記憶している記憶部を備え、
    　前記スペクトル算出部は、前記記憶部に記憶されている前記生体情報に示される前記生体数を含む範囲内の複数の自然数を、前記複数の数値として用いて、前記尤度スペクトルを算出する
    　請求項１または２に記載の推定装置。
  6. 　前記推定部は、
    　前記尤度スペクトルの複数の極大値のうちの一以上の極大値であって、当該極大値を含む所定範囲において当該極大値が最大値である一以上の極大値を取得し、
    　取得した前記一以上の極大値のうちの第一極大値であって、前記第一極大値と、前記第一極大値の次に大きい第二極大値との差異が最大である第一極大値を決定し、
    　決定した前記第一極大値が、前記一以上の極大値のうち何番目に大きいかを示す数を、前記生体数と推定する
    　請求項１～５のいずれか１項に記載の推定装置。
  7. 　前記推定部は、
    　前記一以上の極大値のうちの一以上の第三極大値であって、当該第三極大値と、当該第三極大値を含む所定範囲に含まれる値に所定の割合を乗じた値との差異が閾値以上である一以上の第三極大値のみを、前記一以上の極大値として用いて、前記第一極大値を決定する
    　請求項６に記載の推定装置。
  8. 　前記推定部は、
    　前記尤度スペクトルにおける尤度が閾値以上である区間の個数を、前記生体数と推定する
    　請求項１～５のいずれか１項に記載の推定装置。
  9. 　前記推定部は、
    　前記空間における生体の存在の尤度を示す尤度スペクトルを示す画像と、前記生体の数とを教師データとして機械学習により事前に作成したモデルに、前記スペクトル算出部が算出した前記統合スペクトルを入力することで出力される生体数を、前記生体数と推定する
    　請求項１～５のいずれか１項に記載の推定装置。
  10. 　前記推定部は、畳み込みニューラルネットワークモデルを前記モデルとして用いて、前記生体情報を出力する
    　請求項９に記載の推定装置。
  11. 　前記スペクトル算出部は、前記推定アルゴリズムとして、前記空間に存在する生体数が入力された場合に入力された前記生体数の前記生体の存在を推定する推定アルゴリズムを用いて、前記尤度スペクトルを算出する
    　請求項１～１０のいずれか１項に記載の推定装置。
  12. 　前記スペクトル算出部は、ＭＵＳＩＣ（ＭＵｌｔｉｐｌｅ　ＳＩｇｎａｌ　Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）法を、前記推定アルゴリズムとして用いて、前記尤度スペクトルを算出する
    　請求項１～１１のいずれか１項に記載の推定装置。
  13. 　１以上の生体が存在する空間にＮ個（Ｎは２以上の自然数）の送信アンテナ素子から送信され、Ｍ個（Ｍは２以上の自然数）の受信アンテナ素子で受信された電波の受信信号を用いて、前記送信アンテナ素子と前記受信アンテナ素子との間の伝搬特性を示す複素伝達関数を算出し、
    　互いに異なる複数の数値のそれぞれを生体数として用いて、前記複素伝達関数に含まれる生体に対応する成分である生体情報から、前記生体の存在を推定する推定アルゴリズムを用いて導出される、前記存在の尤度を示す尤度スペクトルを算出し、
    　算出した複数の前記尤度スペクトルを統合した統合スペクトルを算出し、
    　前記統合スペクトルから、前記空間に存在する生体数を少なくとも示す生体情報を推定して出力する
    　推定方法。
  14. 　請求項１３に記載の推定方法をコンピュータに実行させるプログラム。
PCT/JP2021/005890 2020-02-27 2021-02-17 推定装置、推定方法、および、プログラム WO2021172126A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/609,288 US12270924B2 (en) 2020-02-27 2021-02-17 Estimation device, estimation method, and recording medium
EP21761126.8A EP4113174B1 (en) 2020-02-27 2021-02-17 Estimation device, estimation method, and program
CN202180003241.XA CN113795774A (zh) 2020-02-27 2021-02-17 估计装置、估计方法及程序
JP2021548165A JP7511189B2 (ja) 2020-02-27 2021-02-17 推定装置、推定方法、および、プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-031770 2020-02-27
JP2020031770 2020-02-27

Publications (1)

Publication Number Publication Date
WO2021172126A1 true WO2021172126A1 (ja) 2021-09-02

Family

ID=77490951

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/005890 WO2021172126A1 (ja) 2020-02-27 2021-02-17 推定装置、推定方法、および、プログラム

Country Status (5)

Country Link
US (1) US12270924B2 (ja)
EP (1) EP4113174B1 (ja)
JP (1) JP7511189B2 (ja)
CN (1) CN113795774A (ja)
WO (1) WO2021172126A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114355284A (zh) * 2022-01-04 2022-04-15 电子科技大学 一种利用频谱主分量的时差估计方法
JP7482409B2 (ja) 2020-12-25 2024-05-14 パナソニックＩｐマネジメント株式会社 センサ、および、制御方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116500543B (zh) * 2023-06-25 2023-09-05 河北大学 一种基于参考方向变换的来波角度快速估计方法
CN116593965B (zh) * 2023-07-19 2023-09-29 中国海洋大学 一种基于远场机会声源的水平阵阵型估计方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5025170B1 (ja) 1967-09-08 1975-08-21
JP5047002B2 (ja) 2008-02-28 2012-10-10 三菱電機株式会社 波数推定装置
JP2014228291A (ja) 2013-05-20 2014-12-08 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 無線検出装置及び無線検出方法
JP2015117961A (ja) * 2013-12-17 2015-06-25 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 検出装置、検出方法及びプログラム
JP2015117972A (ja) 2013-12-17 2015-06-25 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 処理装置、および処理方法
JP2019117055A (ja) * 2017-12-26 2019-07-18 パナソニックＩｐマネジメント株式会社 推定方法、推定装置およびプログラム
JP2019197039A (ja) * 2018-05-02 2019-11-14 パナソニックＩｐマネジメント株式会社 推定装置、生体数推定装置、推定方法、及び、プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2918609B2 (ja) * 1990-03-16 1999-07-12 株式会社リコー 概数測定方式
JP5025170B2 (ja) 2006-06-29 2012-09-12 株式会社東芝 到来波数検出装置
US9672463B2 (en) * 2013-11-07 2017-06-06 Hanwha Techwin Co., Ltd. People counting method and apparatus
JPWO2015088030A1 (ja) * 2013-12-12 2017-03-16 日本電産エレシス株式会社 反射波到来方向の推定方法、及びプログラム
US11500057B2 (en) * 2015-07-17 2022-11-15 Origin Wireless, Inc. Method, apparatus, and system for wirelessly tracking keystrokes
US10928496B2 (en) * 2017-01-06 2021-02-23 Panasonic Intellectual Property Management Co., Ltd. Sensor and method for estimating position of living body
US10051414B1 (en) * 2017-08-30 2018-08-14 Cognitive Systems Corp. Detecting motion based on decompositions of channel response variations
US10048350B1 (en) * 2017-10-31 2018-08-14 Cognitive Systems Corp. Motion detection based on groupings of statistical parameters of wireless signals
CN110222829A (zh) * 2019-06-12 2019-09-10 北京字节跳动网络技术有限公司 基于卷积神经网络的特征提取方法、装置、设备及介质
EP3995850A4 (en) 2019-07-02 2022-08-24 Panasonic Intellectual Property Management Co., Ltd. SENSOR
DE102021110060A1 (de) * 2021-04-21 2022-10-27 Infineon Technologies Ag Systeme, vorrichtungen und verfahren zur radardetektion

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5025170B1 (ja) 1967-09-08 1975-08-21
JP5047002B2 (ja) 2008-02-28 2012-10-10 三菱電機株式会社 波数推定装置
JP2014228291A (ja) 2013-05-20 2014-12-08 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 無線検出装置及び無線検出方法
JP2015117961A (ja) * 2013-12-17 2015-06-25 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 検出装置、検出方法及びプログラム
JP2015117972A (ja) 2013-12-17 2015-06-25 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 処理装置、および処理方法
JP2019117055A (ja) * 2017-12-26 2019-07-18 パナソニックＩｐマネジメント株式会社 推定方法、推定装置およびプログラム
JP2019197039A (ja) * 2018-05-02 2019-11-14 パナソニックＩｐマネジメント株式会社 推定装置、生体数推定装置、推定方法、及び、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4113174A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7482409B2 (ja) 2020-12-25 2024-05-14 パナソニックＩｐマネジメント株式会社 センサ、および、制御方法
CN114355284A (zh) * 2022-01-04 2022-04-15 电子科技大学 一种利用频谱主分量的时差估计方法
CN114355284B (zh) * 2022-01-04 2023-05-05 电子科技大学 一种利用频谱主分量的时差估计方法

Also Published As

Publication number Publication date
EP4113174A1 (en) 2023-01-04
JP7511189B2 (ja) 2024-07-05
JPWO2021172126A1 (ja) 2021-09-02
EP4113174B1 (en) 2025-04-02
EP4113174A4 (en) 2023-06-28
US20220214421A1 (en) 2022-07-07
US12270924B2 (en) 2025-04-08
CN113795774A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
Hsieh et al. Deep learning-based indoor localization using received signal strength and channel state information
WO2021172126A1 (ja) 推定装置、推定方法、および、プログラム
JP6865394B2 (ja) プログラム
JP6975898B2 (ja) 推定方法、推定装置およびプログラム
US10928496B2 (en) Sensor and method for estimating position of living body
US11163057B2 (en) Estimation device, living body count estimation device, estimation method, and recording medium
US10561358B2 (en) Biometric device and biometric method
CN110673135B (zh) 传感器、推定装置、推定方法和程序记录介质
JP7313018B2 (ja) センサ
JP6893328B2 (ja) センサおよび位置推定方法
JP2020109389A (ja) 推定方法、推定装置およびプログラム
WO2022004231A1 (ja) センサ
JP7162192B2 (ja) 生体数推定装置、生体数推定方法、及び、プログラム
JP2020109391A (ja) 推定方法、推定装置、及び、プログラム
Dubrovinskaya et al. Anchorless underwater acoustic localization
Nosović et al. 2-D localization of passive UHF RFID tags using location fingerprinting
US11561279B2 (en) Radar estimating method, device and medium to extract living body vector information
CN111381230B (zh) 估计方法、估计装置以及记录介质
CN112953663A (zh) 基于ofdm子载波经验分析的被动式室内入侵检测方法
Wang et al. Indoor fingerprinting localization based on fine-grained CSI using principal component analysis
CN116597521B (zh) 一种人类轨迹及躯干活动识别方法及系统
CHEN et al. A survey of wi-fi sensing techniques with channel state information
JP7617528B2 (ja) センサおよび位置推定方法
WO2022138749A1 (ja) センサ、推定方法、及び、センサシステム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021548165

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21761126

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021761126

Country of ref document: EP

Effective date: 20220927

WWG Wipo information: grant in national office

Ref document number: 2021761126

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 17609288

Country of ref document: US