WO2021039601A1 - 呼吸検出システム及び呼吸検出方法 - Google Patents

呼吸検出システム及び呼吸検出方法 Download PDF

Info

Publication number
WO2021039601A1
WO2021039601A1 PCT/JP2020/031523 JP2020031523W WO2021039601A1 WO 2021039601 A1 WO2021039601 A1 WO 2021039601A1 JP 2020031523 W JP2020031523 W JP 2020031523W WO 2021039601 A1 WO2021039601 A1 WO 2021039601A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection system
spectrogram
unit
subject
frequency
Prior art date
Application number
PCT/JP2020/031523
Other languages
English (en)
French (fr)
Inventor
知明 大槻
幸平 山本
Original Assignee
学校法人慶應義塾
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 学校法人慶應義塾 filed Critical 学校法人慶應義塾
Priority to US17/637,407 priority Critical patent/US20220280063A1/en
Priority to JP2021542822A priority patent/JP7186887B2/ja
Publication of WO2021039601A1 publication Critical patent/WO2021039601A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Definitions

  • the present invention relates to a respiration detection system and a respiration detection method.
  • Non-Patent Document 1 a method of detecting respiration in the MIMO (multiple-input multi-output) format using an FMCW (frequently modulated continuous wave) sensor.
  • MIMO multiple-input multi-output
  • FMCW frequently modulated continuous wave
  • a method of detecting respiration even when there is no subject on the front surface of the radar or on the LOS (Line Of Sight) has been proposed (for example, Non-Patent Document 1 and the like).
  • the present invention has been made in view of the above points, and an object of the present invention is to improve the accuracy of respiration detection.
  • This breathing detection system A transmitter that transmits radio waves to multiple locations, including the location where the subject is, A receiving unit that receives the reflected wave reflected by the radio wave, and A phase fluctuation calculation unit that calculates the phase fluctuation of the reflected wave, A generator that performs a Fourier transform on the phase fluctuation and generates a spectrogram showing the relationship between the time when the reflected wave is received and the frequency component included in the reflected wave. Respiration that estimates the respiratory rate of the subject by outputting the probability that the subject breathes at a predetermined frequency based on the spectrogram for each frequency and calculating the weighted average of the frequency with the probability as a weight. It is required to include a number estimation unit.
  • the accuracy of respiration detection can be improved.
  • FIG. 1 is a diagram showing an overall configuration example of the respiration detection system.
  • the respiration detection system 10 has a transmitter 11, a receiver 12, and an information processing device 13.
  • the direction in which the transmitter 11 transmits the radio wave 15 (the horizontal direction in the figure) is referred to as the “Y-axis direction”.
  • the vertical direction in the figure, the so-called height direction is defined as the "Z-axis direction”.
  • the direction orthogonal to the right-hand direction with respect to the Y-axis direction (which is the depth direction in the figure) is defined as the "X-axis direction”.
  • the transmitter 11 transmits the radio wave 15 to the subject 14.
  • the transmitter 11 is an antenna, an electronic circuit, or the like.
  • the receiver 12 receives the radio wave (hereinafter referred to as "reflected wave 16") that the transmitted radio wave 15 hits the subject 14 and is reflected from the subject 14.
  • the receiver 12 is an antenna, an electronic circuit, or the like.
  • Such a transmitter 11 and a receiver 12 constitute a so-called MIMO FMCW radar or the like.
  • the information processing device 13 performs signal processing on the reflected wave 16 received by the receiver 12.
  • the information processing device 13 is a PC (Personal Computer), an electronic circuit, or the like.
  • FIG. 2 is a diagram showing a hardware configuration example of an information processing device in a respiration detection system.
  • the information processing device 13 has a hardware configuration including a CPU (Central Processing Unit, hereinafter simply referred to as “CPU 131”), a storage device 132, an input device 133, an output device 134, and an interface 135.
  • CPU 131 Central Processing Unit
  • the CPU 131 is an example of an arithmetic unit and a control unit.
  • the storage device 132 is, for example, a main storage device such as a memory.
  • the storage device 132 may further have an auxiliary storage device such as a hard disk.
  • the input device 133 is a device for inputting operations and the like by the user.
  • the input device 133 is a keyboard, a mouse, or the like.
  • the output device 134 is a device that outputs a processing result or the like to the user.
  • the output device 134 is a display or the like.
  • Interface 135 is a device that transmits / receives data to / from an external device via a cable, network, or the like via wired or wireless communication.
  • the interface 135 is a connector, an antenna, or the like.
  • the information processing device 13 performs various processes or controls in cooperation with the arithmetic unit such as the CPU 131 and the storage device 132 based on the program or the like.
  • the hardware configuration of the information processing device 13 is not limited to the configuration shown in the figure. That is, the information processing device 13 may have a hardware configuration in which an arithmetic unit, a control device, a storage device, an input device, and an output device are further provided externally or internally.
  • FIG. 3 is a diagram showing a functional configuration example of the respiration detection system.
  • the respiration detection system 10 has a functional configuration including a transmission unit 101, a reception unit 102, a phase fluctuation calculation unit 103, a generation unit 104, and a respiratory rate estimation unit 106.
  • the respiration detection system 10 has a functional configuration further including a parameter setting unit 105.
  • the illustrated functional configuration will be described as an example. The specific functions of each functional block will be described later.
  • the transmitter 101 is realized by, for example, a transmitter 11.
  • the receiver 102 is realized by, for example, a receiver 12.
  • phase fluctuation calculation unit 103 the generation unit 104, the parameter setting unit 105, the respiratory rate estimation unit 106, and the like are realized by, for example, the information processing device 13.
  • the breathing detection system 10 may further have a functional configuration other than that shown in the figure.
  • FIG. 4 is a diagram showing an example of offline processing by the respiration detection system.
  • the offline process is performed as a pre-process before estimating the respiratory rate. That is, the offline processing is performed as a pre-processing of the processing performed on the premise that the offline processing has been performed in advance (so-called main processing or execution processing, hereinafter referred to as "online processing"). Further, the offline process is a process including so-called learning process.
  • step S11 the position to be detected, that is, the position of the human chest wall (chest) is set in the transmission unit 101 and the reception unit 102.
  • the position to be detected is set as follows.
  • FIG. 5 is a diagram showing an example of setting a position to be detected by the respiratory detection system.
  • the angle ⁇ is “0 °” at the position 20 that is in front of the transmitter 11.
  • the angle to the right of "0 °” (that is, in the clockwise direction) is defined as “plus”
  • the angle to the left of "0 °” is defined as "plus”.
  • each position 20 has a position on a plane (that is, on an XY plane) when the distance d and the angle ⁇ are determined. It is uniquely determined.
  • each position 20 to be detected and the detection range can be set.
  • the position setting method does not have to be the method of setting the distance d and the angle ⁇ .
  • the position 20 may be set by inputting coordinate values and the like.
  • each divided space has about one person. Therefore, when radio waves are blown every 10 ° and every 0.1 m, it is often possible to set a space that is just right for the size of a person.
  • step S12 the transmission unit 101 transmits radio waves. That is, the transmission unit 101 transmits radio waves to the respective positions 20 determined in step S11.
  • the position to be detected is determined, for example, in step S11 or the like as shown in FIG. However, when installing the sensor, the range to be detected may be roughly determined. Then, the positioning as shown in FIG. 5 may be performed, for example, in step S12 or a subsequent process.
  • step S13 the receiving unit 102 receives the reflected wave. That is, the receiving unit 102 receives the reflected wave of the radio wave transmitted in step S12.
  • step S14 the phase fluctuation calculation unit 103 calculates the phase of the reflected wave that fluctuates due to the movement of the chest wall due to respiration, that is, the phase fluctuation.
  • step S15 the generation unit 104 performs a Fourier transform on the phase fluctuation.
  • the generation unit 104 performs a conversion by a STFT (Short Time Fourier Transform) or the like.
  • step S16 the generation unit 104 generates the spectrogram.
  • Steps S12 to S16 are performed, for example, as follows.
  • FIG. 6 is a diagram showing an example of radio waves and reflected waves to be transmitted.
  • the radio wave 15 transmitted from the transmitter 11 with respect to the position 20 becomes a signal such as “x (t)” shown in the equation (1).
  • the reflected wave 16 becomes a signal such as "r (t)” shown in the equation (2).
  • the time is referred to as "t”.
  • any one point of the position 20 to be detected and the transmitter 11 and the receiver 12 (although they are described separately in the figure, the transmitter 11 and the receiver 12 are at the same position, that is, radio waves. Will be described with an example in which the positions for transmitting and receiving are the same position.) Let the distance be "R (t)".
  • equations (1) and (2) "A” indicates the reception intensity in the signal. Further, “B”, “Tc”, “fc”, “td”, and “fb” in the equation (1) and the like have the following values.
  • FIG. 7 is a diagram showing an example of the relationship between the transmitted radio wave and the reflected wave.
  • the radio wave 15, that is, "x (t)" is set so that the value changes with time (so-called sweep) within the range of the frequency change width "B".
  • Frec is the so-called initial frequency. Therefore, the frequency of the radio wave 15 changes with time “t” within the range of the frequency change width “B” with respect to the initial frequency “fc”.
  • Tc is the so-called sweep time.
  • the sweep time “Tc” refers to the time until the frequency of the radio wave 15 changes from the initial frequency “fc" to the time "t” and then returns to "fc".
  • Td is a value as shown in Eq. (3).
  • td is referred to as "reception time”. That is, the reception time “td” is the time from when the radio wave 15 is transmitted from the transmitter 11 to when it becomes the reflected wave 16 and is received by the receiver 12.
  • the reflected wave 16 is received as follows.
  • FIG. 8 is a diagram showing an example of receiving a reflected wave.
  • the distance between the receiver and the position 20 is "d 1 ... d k ... d K ", and the receiver receives the reflected wave at a plurality of distances. If the frequency of the reflected wave received at each position is "y 1 (t)" ... "y k (t)” ... “y K (t)", then each reflected wave frequency "y (t)” ) ”Can be expressed as in equation (4).
  • “Fb” in the equation (4) or the like is the frequency difference between the transmitted radio wave and the reflected wave (hereinafter, simply referred to as the frequency difference “fb”).
  • the frequency difference "fb” has a value as shown in Eq. (5).
  • phase “ ⁇ (t)” in Eq. (4) etc. indicates the phase.
  • the phase “ ⁇ (t)” has a value as shown in Eq. (6).
  • phase fluctuation indicates phase fluctuation.
  • the phase fluctuation " ⁇ (t)” has a value as shown in Eq. (7).
  • the weighting coefficient at the "k” th receiver is "wk".
  • the weighting coefficient "wk” is a preset value.
  • the reflected wave "Y (t)" for a specific angle can be calculated by a weighted average.
  • phase fluctuation calculation unit is based on the results of receiving the reflected waves at various positions, that is, "y 1 (t)” ... “y k (t)” ... “y K (t)".
  • each phase variation is calculated as follows.
  • FIG. 9 is a diagram showing calculation of phase fluctuation and the like. For example, when the reception at the position of "M l" sections is performed, from each of the reception result, the phase variation "phi 1 (t)" ... “ ⁇ m (t)” ... “ ⁇ Ml (t) Is calculated (step S14).
  • the spectrogram is generated separately for the case where there is a person at the position to be detected and the case where there is no person, for example, as shown below.
  • FIG. 10A and 10B are diagrams showing an example of a manned spectrogram.
  • the vertical axis is the frequency and the horizontal axis is the reception time.
  • the spectrogram as shown in FIG. 10A or FIG. 10B is often generated.
  • the spectrogram generated in the presence of a person in this way is referred to as a "manned spectrogram”.
  • a spectrogram generated without a person is called an "unmanned spectrogram”.
  • the spectrogram shows the intensity of each frequency included in the reflected wave with respect to time. Therefore, the spectrogram determines what frequency components are included in the received reflected wave (intensity distribution on the vertical axis) at the same time (when the values on the horizontal axis are the same). Show for change.
  • the spectrogram is generated in time units of 15 to 50 seconds, such as 20 seconds.
  • the horizontal axis in the figure that is, the unit of time for which the spectrogram is generated, is the window size of the FTFT in step S15. Therefore, the spectrograms shown in FIGS. 10A and 10B are both examples of spectrograms generated by an SFTT with a window size of 20 seconds.
  • the spectrograms shown in FIGS. 10A and 10B are examples of step sizes of 0.5 seconds.
  • the respiration frequency can be detected in increments of about 0.1 Hz.
  • the respiratory rate of a person ranges from 0.1 Hz (ie, the subject breathes 6 times per minute; the subject is at rest, etc.) to 1.0 Hz (ie, 60 per minute). In most cases, it is within the range of (the state after the subject has exercised, etc.).
  • the window size exceeds 50 seconds, that is, about 1 minute or more, the respiratory rate of the subject often changes while the spectrogram is being generated.
  • the window size is set to a value larger than 50 seconds, the respiratory rate of the subject often changes from before the treatment.
  • the window size is about 15 to 50 seconds, the respiratory rate can be detected accurately. That is, it is possible to detect the subject before the respiratory rate changes so much, and it is possible to secure a resolution suitable for detecting the respiratory rate.
  • Manned spectrograms often have high intensity around 0.2Hz to 0.4Hz, centering around 0.3Hz.
  • the frequency at which the intensity is high differs depending on the person's health condition or exercise condition.
  • the range of high strength is referred to as "high strength band 30". That is, in the manned spectrogram, for example, as shown in the figure, the high intensity band 30 is often in the range of 0.3 Hz and multiples of 0.3 Hz.
  • the high-intensity band 30 includes a frequency at which the chest wall operates when a person breathes. That is, this example is an example generated when a person breathing at 0.3 Hz is in the detection position.
  • FIGS. 11A and 11B are diagrams showing an example of an unmanned spectrogram. Compared to manned spectrograms, unmanned spectrograms differ in that neither of them shown in FIGS. 11A and 11B has a high intensity band.
  • Step S17 the parameter setting unit 105 performs machine learning using the spectrogram.
  • the parameter setting unit 105 is performed by the following convolutional neural network (CNN).
  • CNN convolutional neural network
  • FIG. 12 is a diagram showing a structural example of a convolutional neural network in a respiratory detection system. As described above, it is desirable that the parameter setting unit 105 learns using a neural network suitable for image processing.
  • the spectrogram 100 is input to the convolutional neural network 2000. Then, when the spectrogram 100 is input, it is desirable that the parameter setting unit 105 learns in the learning process in the following processing order and processing configuration.
  • processing is performed in the order of convolution 1001, dropout 1002, convolution 1003, pooling 1004, dropout 1005, convolution 1006, dropout 1007, convolution 1008, pooling 1009, and then the processing of the fully connected 1010. Is desirable. However, in the convolutional neural network 2000, processing other than that shown may be further performed.
  • the convolution uses a preset filter (note that the filter coefficient set in the filter may be updated by learning), and the target image (in this example, the spectrogram 100 handles the image).
  • the spectrogram 100 is treated as an image. Therefore, in this example, data indicating the intensity of each frequency with respect to the time of the spectrogram 100 is treated as a “pixel”).
  • It is a process of multiplying filter coefficients. That is, in the convolution, a process called a so-called sliding window or the like is performed by using a filter. When the convolution process is performed in this way, a so-called feature map is output.
  • Dropout is a process to prevent so-called overfitting. Overfitting is a phenomenon in which the correct answer rate drops in actual data because the features contained only in the training data are optimized. For example, the dropout is a process such as disconnecting a part of the fully connected and output layer connections.
  • the dropout 1002 some of the outputs of the convolution 1001 are not input to the convolution 1003 or the like, which is the subsequent processing. Of the outputs due to the convolution 1001, what kind of output is not to be output to the subsequent stage by the dropout 1002 is randomly selected, for example.
  • parameters such as the so-called dropout rate, which is how much to drop out, are set in advance, for example, "25%".
  • the pooling is, for example, max polling or the like.
  • max polling the pixel having the maximum value is extracted from the pixels in a predetermined window.
  • pooling when pooling is performed, minute differences within a predetermined window are often absorbed, so even if there is a slight position change of about several pixels, the characteristics can be recognized robustly. Further, when pooling is performed, the number of data is often reduced, so that the calculation cost can be reduced in the subsequent processing or the like.
  • weighting is performed on multiple outputs from the processing in the previous stage, and processing such as calculating the sum is performed.
  • weights and the like are set for the full binding by an activation function or the like.
  • the activation function is, for example, ReLU (Rectifier Unit, ramp function) or the like.
  • fully coupled 1010 the output result by the pooling 1009 in the previous stage is calculated by the activation function or the like.
  • fully coupled 1010 is synonymous with "0.1 Hz”, “0.2 Hz”, ..., “0.9 Hz”, “1.0 Hz”, and "no breathing (ie, frequency is” 0 Hz "”.
  • the probability of each is output for each of the 11 types of frequencies. That is, in the convolutional neural network 2000, the probability that the subject is breathing at each frequency is calculated. Then, by weighting each probability, that is, by calculating the weighted average, the respiratory rate of the respiration performed by the subject at the detection position can be detected.
  • the region of the frequency for determining that the person is breathing that is, the high-intensity band 30, etc.
  • the parameter may be a dropout rate or the like.
  • the parameters changed based on machine learning include the filter size used for convolution and pooling.
  • Filter size is a parameter that often affects accuracy. Therefore, if the filter size is optimized, the accuracy can be improved.
  • Respiratory rate is not limited to being detected in the form of frequency.
  • the respiratory rate is "the respiratory rate per unit time (for example, per minute, etc.)" (the unit is “times / minute", etc.), and is the average value of several estimation results. (It may be a statistical value such as a moving average.) It may be output in a format such as.
  • FIG. 13 is a diagram showing a structural example of a neural network of a comparative example.
  • a comparative example having a structure in which convolution, dropout, pooling, and total connection are about one by one will be described.
  • the comparative example differs in the order in which the processes such as convolution, dropout, and pooling are performed, the number of processes, and the like.
  • a neural network with a structure like the comparative example does not have sufficient accuracy.
  • the online process is a process performed after the offline process is performed in advance, that is, after the learning is performed by the learning process. That is, the online processing is the main processing using the actual data, as opposed to the offline processing which is the learning processing using the learning data.
  • FIG. 14 is a diagram showing an example of online processing by the respiration detection system. Compared with the offline processing, the difference is that step S20 is performed. Hereinafter, the differences will be mainly described, and the description of the same processing as the offline processing will be omitted.
  • Step S20 the respiratory rate estimation unit 106 estimates the respiratory rate based on the spectrogram generated by the actual data. The results of an experiment in which the respiratory rate is estimated by such processing are shown below.
  • FIG. 15 is a diagram showing an experimental environment.
  • a MIMO FMCW radar 300 which is an example of a transmitter and a receiver, was used.
  • the MIMO FMCW radar 300 is a device having the following parameters.
  • FIG. 16 is a diagram showing parameters of the MIMO FMCW radar in the experiment.
  • Tx in "Number of antennas” indicates the number of antennas for transmission. Therefore, in this experiment, radio waves were transmitted by "two" antennas.
  • Transmission frequency is the frequency of the transmitted radio wave.
  • the frequency used for the radio wave may be a frequency other than "24.15 Hz".
  • the frequency may be about 100 MHz to 100 GHz.
  • “Sweep time” indicates the time when the sweep was performed. It becomes “Tc" in FIG. 7.
  • sampling frequency is the resolution for sampling reflected waves.
  • phase signal sampling frequency is the frequency at which the phase fluctuation signal calculated in step S14 is sampled.
  • Antenna directivity indicates the angle at which radio waves are transmitted and received.
  • FIG. 17 is a diagram showing experimental specifications.
  • this experiment was mainly conducted when two people were in the positions of "Location 1" to "Location 5".
  • Numberer of subjects per observation indicates the number of subjects present at each position at one time. In this experiment, the experiment was performed with "one person", that is, one subject at each position.
  • Observation time indicates the time when the data was measured, that is, the time when the radio wave was transmitted and the reflected wave was received.
  • Radar installation height is the height at which the MIMO FMCW radar 300 is installed. That is, this experiment shows that radio waves and reflected waves were transmitted and received at a height of "1 m”.
  • the "subject's posture” indicates that there were three types of postures: “lying on his back”, “prone”, and “sideways”.
  • ⁇ is the angle at which radio waves are transmitted. As shown, in this experiment, radio waves were transmitted every 10 °.
  • D is the distance at which radio waves are sent. As shown in the figure, in this experiment, radio waves were transmitted every 0.1 m.
  • Evaluation index indicates an index for evaluating the respiratory rate estimated by the respiratory detection system. As shown in the figure, the subject is asked to count the number of breaths taken by himself, and it is assumed that the respiratory rate declared by the subject is the "correct” respiratory rate. Therefore, the respiratory rate reported by the subject is compared with the respiratory rate estimated by the respiratory detection system, and the difference in the number of breaths is regarded as an absolute error. The smaller the absolute error, the higher the accuracy.
  • FIG. 18 is a diagram showing the experimental results.
  • the horizontal axis indicates the position of the subject by "Location 1" to “Location 5".
  • the vertical axis shows the absolute error, that is, the evaluation result.
  • the unit on the vertical axis is "breath per minute", that is, “times / minute”.
  • the respiratory detection system was able to accurately estimate the respiratory rate. Specifically, in “Location 1”, the absolute error was “0.34 bpm” on average. Moreover, in “Location 2”, the absolute error was “0.72 bpm” on average. Further, in “Location 4", the absolute error was “1.18 bpm” on average. Furthermore, in “Location 5", the absolute error was "0.50 bpm” on average.
  • the breathing detection system may further include a mechanical unit that changes the angle of the radio wave transmitted by the transmitting unit.
  • the respiration detection system includes an actuator or a mechanical component that changes the direction in which the antenna faces the antenna or the like that transmits radio waves. That is, the mechanism unit may be configured to automatically change the angle by an actuator or the like, or may be configured so that the direction of the antenna can be manually changed. With such a mechanism, the respiration detection system can change the angle at which radio waves are transmitted. Therefore, even one antenna can transmit radio waves to positions at different angles.
  • the breathing detection system can reduce the number of parts such as an antenna that realizes the transmitting part.
  • the respiration detection system may have a different configuration between a scene in which machine learning is performed and a scene in which parameters are set by machine learning or the like and the respiration detection system is executed in a so-called learned state.
  • FIG. 19 is a diagram showing a configuration example in the learning phase. For example, a configuration for executing a process as shown in FIG. 4, that is, performing machine learning is performed with a configuration as shown in the figure.
  • the parameter setting unit 105 has a so-called learning unit and the like, and performs learning using the learning spectrogram 100A which is the teacher data.
  • the parameters used by the respiratory rate estimation unit 106 are updated. That is, the parameter setting unit 105 sets the parameters of the respiratory rate estimation unit 106 based on the learning spectrogram 100A.
  • learning parameter P1 the parameter in the learning phase.
  • machine learning such as CNN
  • the input spectrogram or the like is compressed by the convolutional layer or the pooling layer or the like, and the compressed data is associated with the true label.
  • parameters and the like are optimized by repeating such processing for each learning data.
  • execution parameter P2 The parameters used in the execution phase (hereinafter referred to as "execution parameter P2") are generated by, for example, updating the learning parameter P1 or the like a plurality of times by machine learning.
  • the execution parameter P2 is not limited to that generated only by machine learning.
  • the parameter P2 for execution may be generated by manually modifying the parameter generated by the learning phase.
  • the execution parameter P2 may be updated by machine learning by the execution spectrogram 100B. That is, the execution parameter P2 is first generated by a machine learning method or a method other than machine learning and input from the outside. After that, machine learning may be performed and updated by the spectrogram 100B for execution. In such a case, the evaluation may be input to the output even in the execution phase.
  • FIG. 20 is a diagram showing a configuration example in the execution phase.
  • the execution phase differs in that the parameter setting unit 105 is not connected.
  • the parameter setting unit 105 when the parameter setting unit 105 is realized by a program, the parameter setting unit 105 does not update the execution parameter P2 in the execution phase.
  • the execution phase may be performed with the program that realizes the parameter setting unit 105 installed.
  • the transmitter, receiver, or information processing device may be a plurality of devices. That is, processing and control may be virtualized, parallel, distributed or redundant.
  • the transmitter, the receiver, and the information processing device may have integrated hardware or a device.
  • the parameter setting unit may change the respiration estimation unit, that is, the trained model or the like as a parameter by learning. Specifically, the parameter setting unit may change the parameters of the respiration estimation unit based on the learning result. In this way, the learning result may be reflected in the respiration estimation unit.
  • the update by learning in the respiration estimation unit may be processed and controlled by the arithmetic unit of the device constituting the respiration detection system.
  • the update by learning in the respiration estimation unit may be performed by the learning unit or the like connected via a network or the like. That is, the learning unit or the like may be realized by a cloud or the like that can be used via a network or the like.
  • the parameter setting unit may perform learning processing or the like by machine learning or the like with a configuration other than the neural network.
  • the respiration detection system may have a configuration that utilizes so-called AI (Artificial Intelligence) or the like.
  • AI Artificial Intelligence
  • the parameter setting unit may be realized by a structure that performs machine learning such as GAN (Generative Adversarial Network), RNN (Recurrent Neural Network), or LSTM (Long Short-Term Memory). Further, a machine learning algorithm such as random forest (random forests) may be used.
  • each process according to the present invention is described in a low-level language such as an assembler or a high-level language such as an object-oriented language and is realized by a program for causing a computer to execute a breath detection method.
  • the program is a computer program for causing a computer such as a respiration detection device or a respiration detection system including an information processing device to execute each process.
  • the arithmetic unit and the control device of the computer perform the calculation and control based on the program in order to execute each process.
  • the storage device of the computer stores the data used for the processing based on the program in order to execute each processing.
  • the program can be recorded and distributed on a computer-readable recording medium.
  • the recording medium is a medium such as a magnetic tape, a flash memory, an optical disk, a magneto-optical disk, or a magnetic disk.
  • the program can be distributed over telecommunication lines.
  • Respiration detection system 11 Transmitter 12 Receiver 13 Information processing device 14 Subject 15 Radio wave 16 Reflected wave 20 Position 30 High intensity band 100 Spectrogram 101 Transmitter 102 Receiver 103 Phase fluctuation calculation unit 104 Generation unit 105 Parameter setting unit 106 Respiration rate Estimator 300 FMCW Radar 1001 Folding 1002 Dropout 1003 Folding 1004 Pooling 1005 Dropout 1006 Folding 1007 Dropout 1008 Folding 1009 Pooling 1010 Fully coupled 2000 Convolutional neural network d Distance ⁇ Angle

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

呼吸の検出精度を向上させることを課題とする。本呼吸検出システムは、被験者がいる位置を含む複数の位置に対して電波を送信する送信部と、前記電波が反射した反射波を受信する受信部と、前記反射波の位相変動を算出する位相変動算出部と、前記位相変動に対して、フーリエ変換を行い、前記反射波を受信した時間と前記反射波に含まれる周波数成分との関係を示すスペクトログラムを生成する生成部と、前記スペクトログラムに基づいて前記被験者が所定の周波数で呼吸を行う確率を前記周波数ごとに出力して、前記確率を重みとして前記周波数の加重平均を算出することにより、前記被験者の呼吸数を推定する呼吸数推定部とを含む。

Description

呼吸検出システム及び呼吸検出方法
　本発明は、呼吸検出システム及び呼吸検出方法に関する。
　近年、レーダ等を用いて、被験者に装置が非接触な状態で、呼吸数等の生体情報を検出する手法が知られている。このようにして検出される呼吸数等により、健康状態の管理、生存の確認、又は、呼吸障害の検出等が行われる。
　具体的には、ＦＭＣＷ（ｆｒｅｑｕｅｎｃｙ　ｍｏｄｕｌａｔｅｄ　ｃｏｎｔｉｎｕｏｕｓ　ｗａｖｅ）センサを用いて、ＭＩＭＯ（ｍｕｌｔｉｐｌｅ－ｉｎｐｕｔ　ｍｕｌｔｉｐｌｅ－ｏｕｔｐｕｔ）形式で呼吸を検出する方法が知られている。このような形式によって、レーダの正面又はＬＯＳ（Ｌｉｎｅ　Ｏｆ　Ｓｉｇｈｔ）上に被験者がいなくとも呼吸を検出する方法が提案されている（例えば、非特許文献１等）。
Ａ．Ａｈｍａｄ　ｅｔ　ａｌ．、"Ｖｉｔａｌ　ｓｉｇｎｓ　ｍｏｎｉｔｏｒｉｎｇ　ｏｆ　ｍｕｌｔｉｐｌｅ　ｐｅｏｐｌｅ　ｕｓｉｎｇ　ａ　ＦＭＣＷ　ｍｉｌｌｉｍｅｔｅｒ－ｗａｖｅ　ｓｅｎｓｏｒ"、ＩＥＥＥ　Ｉｎｔ.　Ｃｏｎｆ.　ｏｎ　２０１８　ＩＥＥＥ　Ｒａｄａｒ　Ｃｏｎｆｅｒｅｎｃｅ（ＲａｄａｒＣｏｎｆ１８）、ｐｐ.１４５０‐１４５５,Ａｐｒ.２０１８.、［ｏｎｌｉｎｅ］、［令和１年７月３０日検索］、インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ｉｅｅｅｘｐｌｏｒｅ.ｉｅｅｅ.ｏｒｇ／ａｂｓｔｒａｃｔ／ｄｏｃｕｍｅｎｔ／８３７８７７８＞
　本発明は、上記の点に鑑みてなされたものであり、呼吸の検出精度を向上することを目的とする。
　本呼吸検出システムは、
　被験者がいる位置を含む複数の位置に対して電波を送信する送信部と、
　前記電波が反射した反射波を受信する受信部と、
　前記反射波の位相変動を算出する位相変動算出部と、
　前記位相変動に対して、フーリエ変換を行い、前記反射波を受信した時間と前記反射波に含まれる周波数成分との関係を示すスペクトログラムを生成する生成部と、
　前記スペクトログラムに基づいて前記被験者が所定の周波数で呼吸を行う確率を前記周波数ごとに出力して、前記確率を重みとして前記周波数の加重平均を算出することにより、前記被験者の呼吸数を推定する呼吸数推定部とを含むことを要件とする。
　開示の技術によれば、呼吸の検出精度を向上できる。
呼吸検出システムの全体構成例を示す図である。 呼吸検出システムにおける情報処理装置のハードウェア構成例を示す図である。 呼吸検出システムの機能構成例を示す図である。 呼吸検出システムによるオフライン処理の例を示す図である。 呼吸検出システムが検出の対象とする位置の設定例を示す図である。 送信する電波及び反射波の例を示す図である。 送信する電波及び反射波の関係例を示す図である。 反射波の受信例を示す図である。 位相変動の算出等を示す図である。 有人スペクトログラムの例を示す図である。 有人スペクトログラムの例を示す図である。 無人スペクトログラムの例を示す図である。 無人スペクトログラムの例を示す図である。 呼吸検出システムにおける畳み込みニューラルネットワークの構造例を示す図である。 比較例のニューラルネットワークの構造例を示す図である。 呼吸検出システムによるオンライン処理の例を示す図である。 実験環境を示す図である。 実験におけるＭＩＭＯ　ＦＭＣＷレーダのパラメータを示す図である。 実験諸元を示す図である。 実験結果を示す図である。 学習フェーズにおける構成例を示す図である。 実行フェーズにおける構成例を示す図である。
　以下、発明を実施するための最適かつ最小限な形態について、図面を参照して説明する。なお、図面において、同一の符号を付す場合には、同様の構成であることを示し、重複する説明を省略する。また、図示する具体例は、例示であり、図示する以外の構成が更に含まれる構成であってもよい。
　＜呼吸検出システムの全体構成例＞
　図１は、呼吸検出システムの全体構成例を示す図である。例えば、呼吸検出システム１０は、送信器１１と、受信器１２と、情報処理装置１３とを有する構成である。
　以下、説明において、送信器１１が電波１５を送信する方向（図では左右方向となる。）を「Ｙ軸方向」とする。そして、図における上下方向、いわゆる高さ方向を「Ｚ軸方向」とする。また、Ｙ軸方向に対して右手方向に直交する方向（図における奥行き方向となる。）を「Ｘ軸方向」とする。
　送信器１１は、被験者１４に対して電波１５を送信する。例えば、送信器１１は、アンテナ及び電子回路等である。
　受信器１２は、送信された電波１５が被験者１４に当たり、被験者１４から反射してくる電波（以下「反射波１６」という。）を受信する。例えば、受信器１２は、アンテナ及び電子回路等である。
　このような送信器１１及び受信器１２によって、いわゆるＭＩＭＯ　ＦＭＣＷレーダ等を構成する。
　情報処理装置１３は、受信器１２が受信した反射波１６に対して信号処理を行う。例えば、情報処理装置１３は、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）又は電子回路等である。
　図２は、呼吸検出システムにおける情報処理装置のハードウェア構成例を示す図である。例えば、情報処理装置１３は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ、以下単に「ＣＰＵ１３１」という。）と、記憶装置１３２と、入力装置１３３と、出力装置１３４と、インタフェース１３５とを有するハードウェア構成である。
　ＣＰＵ１３１は、演算装置及び制御装置の例である。
　記憶装置１３２は、例えば、メモリ等の主記憶装置である。なお、記憶装置１３２は、ハードディスク等の補助記憶装置を更に有してもよい。
　入力装置１３３は、ユーザによる操作等を入力する装置である。例えば、入力装置１３３は、キーボード又はマウス等である。
　出力装置１３４は、ユーザに対して処理結果等を出力する装置である。例えば、出力装置１３４は、ディスプレイ等である。
　インタフェース１３５は、有線又は無線の通信によって、ケーブル又はネットワーク等を介して外部装置とデータを送受信する装置である。例えば、インタフェース１３５は、コネクタ又はアンテナ等である。
　このように、情報処理装置１３は、プログラム等に基づいて、ＣＰＵ１３１等の演算装置及び記憶装置１３２等を協働させて、様々な処理又は制御を行う。
　なお、情報処理装置１３のハードウェア構成は、図示する構成に限られない。すなわち、情報処理装置１３は、更に演算装置、制御装置、記憶装置、入力装置、出力装置を外部又は内部に有するハードウェア構成でもよい。
　＜機能構成例＞
　図３は、呼吸検出システムの機能構成例を示す図である。例えば、呼吸検出システム１０は、送信部１０１と、受信部１０２と、位相変動算出部１０３と、生成部１０４と、呼吸数推定部１０６とを含む機能構成である。なお、図示するように、呼吸検出システム１０は、パラメータ設定部１０５を更に含む機能構成であるのが望ましい。以下、図示する機能構成を例に説明する。また、各機能ブロックの具体的な機能については、後述する。
　送信部１０１は、例えば、送信器１１等で実現する。
　受信部１０２は、例えば、受信器１２等で実現する。
　位相変動算出部１０３、生成部１０４、パラメータ設定部１０５、及び、呼吸数推定部１０６等は、例えば、情報処理装置１３等で実現する。
　なお、呼吸検出システム１０は、図示する以外の機能構成を更に有してもよい。
　＜オフライン処理例＞
　図４は、呼吸検出システムによるオフライン処理の例を示す図である。オフライン処理は、呼吸数の推定を行う前に事前処理として行われる。すなわち、オフライン処理は、オフライン処理があらかじめ行われたのを前提に行われる処理（いわゆる本処理又は実行処理等である。以下「オンライン処理」という。）の前処理として行われる。また、オフライン処理は、いわゆる学習処理を含む処理である。
　（検出対象とする位置の設定例）（ステップＳ１１）
　ステップＳ１１では、送信部１０１及び受信部１０２には、検出対象とする位置、すなわち人の胸壁（胸部）の位置が設定される。例えば、検出対象となる位置は、以下のように設定される。
　図５は、呼吸検出システムが検出の対象とする位置の設定例を示す図である。以下、送信器１１に対して正面となる位置２０を角度θが「０°」であるとする。また、図において、「０°」より右側（すなわち、時計回り方向である。）の角度を「プラス」とし、一方で、「０°」より左側（すなわち、反時計回り方向である。）の角度を「マイナス」とする。
　また、送信器１１に対する位置２０までの距離、すなわち、電波を飛ばす距離を「距離ｄ」とする。したがって、高さ（Ｚ軸方向における位置となる。）を一定とすると、それぞれの位置２０は、距離ｄ及び角度θが定まると平面上（すなわち、Ｘ－Ｙ面上である。）における位置が一意に定まる。
　例えば、電波の送信先となる位置２０を所定の距離ごと、及び、所定の角度ごととすると、検出対象とするそれぞれの位置２０及び検出の範囲を設定できる。なお、位置の設定方法は、距離ｄ及び角度θを設定する方法でなくともよい。例えば、座標値等を入力して位置２０が設定されてもよい。
　また、角度θは、１０°ごと、かつ、距離ｄは、０．１ｍごとであるのが望ましい。区切られた各空間は、人物が１人分程度であるのが望ましい。したがって、電波が１０°ごと、かつ、０．１ｍごとに飛ばされると、人物の大きさに対してちょうどよい空間が設定できる場合が多い。
　（電波の送信例）（ステップＳ１２）
　ステップＳ１２では、送信部１０１は、電波を送信する。すなわち、送信部１０１は、ステップＳ１１で定まったそれぞれの位置２０に対して、電波を送信する。
　なお、検出対象となる位置等は、例えば、ステップＳ１１等で図５に示すように決まる。ただし、センサ設置の際等には、検出対象とする範囲を大まかに決める程度でもよい。そして、図５のような位置決めは、例えば、ステップＳ１２又はその後の処理等で行ってもよい。
　（反射波の受信例）（ステップＳ１３）
　ステップＳ１３では、受信部１０２は、反射波を受信する。すなわち、受信部１０２は、ステップＳ１２で送信された電波の反射波を受信する。
　（位相変動の算出例）（ステップＳ１４）
　ステップＳ１４では、位相変動算出部１０３は、呼吸による胸壁の動きによって変動する反射波の位相、すなわち位相変動を算出する。
　（フーリエ変換例）（ステップＳ１５）
　ステップＳ１５では、生成部１０４は、位相変動に対してフーリエ変換を行う。例えば、生成部１０４は、ＳＴＦＴ（Ｓｈｏｒｔ　Ｔｉｍｅ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍ）等で変換を行う。
　（スペクトログラムの生成例）（ステップＳ１６）
　ステップＳ１６では、生成部１０４は、スペクトログラムを生成する。
　ステップＳ１２乃至ステップＳ１６は、例えば、以下のように行われる。
　図６は、送信する電波及び反射波の例を示す図である。例えば、ステップＳ１２によって、位置２０に対して、送信器１１から送信される電波１５は、（１）式に示す「ｘ（ｔ）」のような信号となる。一方で、反射波１６は、（２）式に示す「ｒ（ｔ）」のような信号となる。以下、時間を「ｔ」とする。また、検出対象となる位置２０の任意の１点と、送信器１１及び受信器１２（図では分けて記載しているが、送信器１１及び受信器１２は、同じ位置である、すなわち、電波を送受信する位置は同一の位置であるとする例で説明する。）の距離を「Ｒ（ｔ）」とする。
　（１）式及び（２）式において、「Ａ」は、信号における受信強度を示す。また、（１）式等における「Ｂ」、「Ｔｃ」、「ｆｃ」、「ｔｄ」、及び「ｆｂ」は以下のような値である。
　図７は、送信する電波及び反射波の関係例を示す図である。例えば、電波１５、すなわち、「ｘ（ｔ）」は、周波数変化幅「Ｂ」の範囲で値が時間に対して変化する（いわゆる掃引である。）ように設定される。
　「ｆｃ」は、いわゆる初期周波数である。したがって、電波１５は、初期周波数「ｆｃ」に対して周波数変化幅「Ｂ」の範囲で周波数が時間「ｔ」によって変化する。
　「Ｔｃ」は、いわゆる掃引時間である。掃引時間「Ｔｃ」は、電波１５の周波数が初期周波数「ｆｃ」から時間「ｔ」によって変化して、また「ｆｃ」に戻るまでの時間をいう。
　「ｔｄ」は、（３）式に示すような値である。以下、「ｔｄ」を「受信時間」という。すなわち、受信時間「ｔｄ」は、電波１５が送信器１１から送信されてから、反射波１６となって受信器１２で受信されるまでの時間である。
　また、「ｃ」は、電磁波の速度を示す。以下、「ｃ」を「電磁波速度」という。
　そして、反射波１６を以下のように受信する。
　図８は、反射波の受信例を示す図である。例えば、受信器及び位置２０の距離が「ｄ１・・・ｄｋ・・・ｄＫ」というように、受信器は、複数の距離で反射波を受信する。それぞれの位置で受信する反射波の周波数を「ｙ１（ｔ）」・・・「ｙｋ（ｔ）」・・・「ｙＫ（ｔ）」とすると、それぞれの反射波周波数「ｙ（ｔ）」は、（４）式のように示せる。
　（４）式等における「ｆｂ」は、送信する電波と反射波の周波数差（以下単に周波数差「ｆｂ」という。）である。例えば、周波数差「ｆｂ」は、（５）式に示すような値となる。
　（４）式等における「Φ（ｔ）」は、位相を示す。例えば、位相「Φ（ｔ）」は、（６）式に示すような値となる。
　（４）式等における「Δφ（ｔ）」は、位相変動を示す。例えば、位相変動「Δφ（ｔ）」は、（７）式に示すような値となる。
　それぞれの受信器のうち、「ｋ」番目の受信器における重み係数を「ｗｋ」とする。重み係数「ｗｋ」は、あらかじめ設定される値となる。このような重み係数「ｗｋ」を用いると、例えば、（８）式に示すように特定角度に対する反射波「Ｙ（ｔ）」を加重平均で計算できる。
　そして、位相変動算出部は、様々な位置で反射波を受信した結果、すなわち、「ｙ１（ｔ）」・・・「ｙｋ（ｔ）」・・・「ｙＫ（ｔ）」に基づいて、例えば、以下のように、それぞれの位相変動を算出する。
　図９は、位相変動の算出等を示す図である。例えば、「Ｍｌ」箇所の位置で受信が行われると、それぞれの受信結果から、位相変動「φ１（ｔ）」・・・「φｍ（ｔ）」・・・「φＭl（ｔ）」が算出される（ステップＳ１４）。
　次に、位相変動「φ１（ｔ）」・・・「φｍ（ｔ）」・・・「φＭl（ｔ）」に対して、ＳＴＦＴが行われると（ステップＳ１５）、「Ｍｌ」個のスペクトログラムが生成できる。
　なお、「Φ（ｔ）」、「φｍ（ｔ）」及び「φ（ｔ）」は、いずれも位相を指す。ただし、「Δφ（ｔ）」（下付きの文字がない変数で示す。）等は、位相変動「φｍ（ｔ）」（下付きの文字がある変数で示す。）を要素ごとに分解した時の一部を示す。
　なお、スペクトログラムは、例えば、以下のように、検出対象とする位置に人物がいる場合といない場合とに分けて生成されるのが望ましい。
　図１０Ａ及び図１０Ｂは、有人スペクトログラムの例を示す図である。図では、縦軸を周波数とし、横軸を受信がされた時間とする。例えば、ステップＳ１１で設定される位置に、人物がいると、図１０Ａ又は図１０Ｂのようなスペクトログラムが生成される場合が多い。以下、このように、人物がいる状態で生成されたスペクトログラムを「有人スペクトログラム」という。一方で、人物がいない状態で生成されたスペクトログラムを「無人スペクトログラム」という。
　スペクトログラムは、時間に対する反射波に含まれる各周波数の強度を示す。したがって、スペクトログラムは、同じ時間（横軸の値が同一の場合である。）において、受信した反射波に、どのような周波数成分が含まれるか（縦軸における強度の分布である。）を時間変化に対して示す。
　横軸に示すように、スペクトログラムは、２０秒等というように、１５乃至５０秒の時間単位で生成されるのが望ましい。図における横軸、すなわち、スペクトログラムが生成される時間の単位は、ステップＳ１５におけるＳＴＦＴのウィンドウサイズである。したがって、図１０Ａ及び図１０Ｂに示すスペクトログラムは、いずれも２０秒のウィンドウサイズを設定したＳＴＦＴによって生成されるスペクトログラムの例である。
　なお、図１０Ａ及び図１０Ｂに示すスペクトログラムは、ステップサイズは０．５秒の例である。
　例えば、２０秒程度のウィンドウサイズでＳＴＦＴにより、フーリエ変換が行えると、０．１Ｈｚ刻み程度で呼吸の周波数を検出できる。人物の呼吸数は、０．１Ｈｚ（すなわち、１分間に被験者が６回の呼吸を行うことである。被験者が安静な状態等である。）乃至１．０Ｈｚ（すなわち、１分間に被験者が６０回の呼吸を行うことである。被験者が運動をした後の状態等である。）の範囲であることがほとんどである。
　また、ウィンドウサイズが５０秒を超える、すなわち、１分程度以上であると、スペクトログラムを生成している間に、被験者の呼吸数が変化してしまう場合が多い。
　したがって、ウィンドウサイズは、５０秒より大きい値が設定されると、被験者の呼吸数が処理前から変化してしまう場合が多い。一方で、ウィンドウサイズが１５乃至５０秒程度であると、呼吸数が精度良く検出できる。すなわち、被験者の呼吸数がそれほど変化する前に検出ができ、かつ、呼吸数を検出するのに適した分解能を確保できる。
　有人スペクトログラムは、０．３Ｈｚ程度を中心に、０．２Ｈｚ乃至０．４Ｈｚ程度が高強度となる場合が多い。ただし、人物の健康状態又は運動状態等によって、高強度となる周波数は異なる。以下、高強度となる範囲を「高強度帯域３０」という。すなわち、有人スペクトログラムは、例えば、図示するように０．３Ｈｚ及び０．３Ｈｚの倍数の範囲が高強度帯域３０となる場合が多い。
　高強度帯域３０は、人物が呼吸をすることで胸壁が動作する周波数を含む。すなわち、この例は、０．３Ｈｚの呼吸を行う人物が検出位置にいる場合に生成された例である。
　一方で、人物がいない場合には、以下のような無人スペクトログラムが生成される。
　図１１Ａ及び図１１Ｂは、無人スペクトログラムの例を示す図である。有人スペクトログラムと比較すると、無人スペクトログラムは、図１１Ａ及び図１１Ｂに示すいずれにも、高強度帯域がない点が異なる。
　このような有人スペクトログラム、及び、無人スペクトログラムの両方を用いて機械学習が行われるのが望ましい。このように、有人スペクトログラム、及び、無人スペクトログラムの両方について機械学習が行われると、検出を行う環境、すなわち、検出が行われる屋内にある家具等の影響を精度良く学習できる。つまり、有人スペクトログラム、及び、無人スペクトログラムの両方をいわゆる学習データに用いると、機械学習では、環境の影響を学習できるので、より精度良く呼吸数を検出できる。
　（スペクトログラムを用いた機械学習例）（ステップＳ１７）
　ステップＳ１７では、パラメータ設定部１０５は、スペクトログラムを用いて機械学習を行う。
　なお、パラメータ設定部１０５は、以下のような畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）（ＣＮＮ）で行われるのが望ましい。
　図１２は、呼吸検出システムにおける畳み込みニューラルネットワークの構造例を示す図である。このように、パラメータ設定部１０５は、画像処理に適するニューラルネットワークを用いて学習を行うのが望ましい。
　畳み込みニューラルネットワーク２０００には、スペクトログラム１００が入力される。そして、スペクトログラム１００が入力されると、パラメータ設定部１０５は、学習処理において、以下のような処理順序及び処理構成で学習を行うのが望ましい。
　畳み込みニューラルネットワーク２０００では、畳み込み１００１、ドロップアウト１００２、畳み込み１００３、プーリング１００４、ドロップアウト１００５、畳み込み１００６、ドロップアウト１００７、畳み込み１００８、プーリング１００９の順序で処理が行われた後、全結合１０１０の処理が行われるのが望ましい。ただし、畳み込みニューラルネットワーク２０００では、図示する以外の処理が更に行われてもよい。
　畳み込みは、あらかじめ設定されるフィルタ（なお、フィルタに設定されるフィルタ係数は、学習によって更新されていってもよい。）を用いて、対象とする画像（この例では、スペクトログラム１００が画像の扱いとなる。以下、スペクトログラム１００を画像として扱う場合を例に説明する。したがって、この例では、スペクトログラム１００が有する時間に対する各周波数の強度を示すデータが「画素」として扱われる。）が有する画素にフィルタ係数をかけあわせていく処理等である。すなわち、畳み込みでは、フィルタを用いて、いわゆるスライディングウィンドウ（ｓｌｉｄｉｎｇ　ｗｉｎｄｏｗ）等と呼ばれる処理等が行われる。このように、畳み込みの処理が行われると、いわゆる特徴マップが出力される。
　例えば、畳み込み１００１及び畳み込み１００３では、「３２　Ｃｏｎｖ．（３×３）」は、「３×３」のサイズとなるフィルタを「３２個」用いる設定であることを示す。一方で、畳み込み１００６及び畳み込み１００８は、「３２　Ｃｏｎｖ．（２×２）」であり、フィルタのサイズが「２×２」である点が異なる。
　ドロップアウトは、いわゆる過学習を防ぐための処理となる。過学習は、学習データにだけに含まれる特徴にまで最適化がされてしまい、実際のデータでは正解率が下がってしまう現象である。例えば、ドロップアウトは、全結合と出力層の接続のうち、一部の接続を切断する等の処理となる。
　具体的には、ドロップアウト１００２では、畳み込み１００１の出力のうち、一部の出力を後段の処理となる畳み込み１００３等に入力しないようにする等である。なお、畳み込み１００１による出力のうち、どのような出力をドロップアウト１００２で後段に出力しないようにするかは、例えば、ランダムで選択される。同様に、ドロップアウト１００５及びドロップアウト１００７でも、前段で行われる処理である、プーリング１００４、又は、畳み込み１００６による出力の一部を後段の処理に入力しないようにする。なお、どの程度をドロップアウトさせるか、いわゆるドロップアウト率等のパラメータは、例えば、「２５％」のように、あらかじめ設定される。
　プーリングは、例えば、最大プーリング（ｍａｘ　ｐｏｏｌｉｎｇ）等である。「ｍａｘ　ｐｏｏｌｉｎｇ」では、所定のウィンドウ内にある画素のうち、最大値となる画素が抽出される。このように、畳み込みが行われた画像に対してプーリングを行うと、画像が持つデータを圧縮できる。すなわち、プーリングは、いわゆるダウンサイジング等になる。
　さらに、プーリングが行われると、所定のウィンドウ内での微小な違いは吸収される場合が多いため、数画素程度の微小な位置変化があっても、ロバストに特徴を認識できる。また、プーリングが行われると、データの数が少なくなる場合が多いため、後段の処理等で計算コストを少なくできる。
　例えば、プーリング１００４では、「Ｐｏｏｌ．（１×３）」は、「１×３」のサイズとなるウィンドウを用いることを示す。同様に、プーリング１００９では、「Ｐｏｏｌ．（２×２）」は、「２×２」のサイズとなるウィンドウを用いることを示す。
　全結合は、前段の処理による複数の出力に対して、重み付けを行い、総和を計算する等の処理を行う。また、全結合は、活性化関数等で重み等が設定される。活性化関数は、例えば、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ　Ｌｉｎｅａｒ　Ｕｎｉｔ、ランプ関数）等である。
　全結合１０１０では、前段のプーリング１００９による出力結果が活性化関数等で計算される。例えば、全結合１０１０は、「０．１Ｈｚ」、「０．２Ｈｚ」、・・・、「０．９Ｈｚ」、「１．０Ｈｚ」、及び、「呼吸なし（すなわち、周波数は「０Ｈｚ」と同義である。）」の１１種類の周波数ごとに、それぞれの確率を出力する。すなわち、畳み込みニューラルネットワーク２０００では、それぞれの周波数で被験者が呼吸を行っている確率が算出される。そして、それぞれの確率に対して重み付けをする算出、すなわち、加重平均を計算すると、検出位置で被験者が行っている呼吸の呼吸数を検出できる。
　このように、機械学習によって、呼吸数が精度良く検出されるように、呼吸を行っていると判断する周波数の領域、すなわち、高強度帯域３０等が学習され、学習の結果、最適化されてパラメータとして設定されるのが望ましい。なお、パラメータは、ドロップアウト率等が対象となってもよい。
　なお、機械学習に基づいて変更されるパラメータには、畳み込み及びプーリングで用いるフィルタサイズが含まれるのが望ましい。フィルタサイズは、精度によく影響するパラメータである。したがって、フィルタサイズが最適化されると、精度をよくすることができる。
　なお、呼吸数は、周波数の形式で検出されるに限られない。例えば、呼吸数は、「単位時間あたり（例えば、１分間あたり等である。）における呼吸数」（単位は、「回／分」等である。）、何回かの推定結果を平均した値（移動平均等の統計値でもよい。）等の形式で出力されてもよい。
　＜比較例＞
　図１３は、比較例のニューラルネットワークの構造例を示す図である。例えば、畳み込み、ドロップアウト、プーリング、及び、全結合が１つずつ程度の構造である比較例を説明する。比較例は、図１２と比較すると、畳み込み、ドロップアウト、及び、プーリング等の処理が行われる順序及び処理の回数等が異なる。
　比較例のような構造のニューラルネットワークでは、十分な精度が出ない場合が多い。
　＜オンライン処理例＞
　オンライン処理は、あらかじめオフライン処理が行われた後、すなわち、学習処理によって学習が行われた後に行われる処理である。すなわち、オンライン処理は、学習データを用いる学習処理となるオフライン処理に対して、本番となるデータを用いた本処理となる。
　図１４は、呼吸検出システムによるオンライン処理の例を示す図である。オフライン処理と比較すると、ステップＳ２０となる点が異なる。以下、異なる点を中心に説明し、オフライン処理と同様の処理の説明を省略する。
　（スペクトログラムに基づく呼吸数の推定例）（ステップＳ２０）
　ステップＳ２０では、呼吸数推定部１０６は、本番となるデータによって生成されたスペクトログラムに基づいて、呼吸数を推定する。このような処理で呼吸数を推定する実験の結果を以下に示す。
　＜実験結果＞
　図１５は、実験環境を示す図である。この実験では、送信器及び受信器の例となる、ＭＩＭＯ　ＦＭＣＷレーダ３００を用いた。ＭＩＭＯ　ＦＭＣＷレーダ３００は、以下のようなパラメータの装置である。
　図１６は、実験におけるＭＩＭＯ　ＦＭＣＷレーダのパラメータを示す図である。
　「アンテナ数」における「Ｔｘ」は、送信用のアンテナの数を示す。したがって、この実験では、「２個」のアンテナで電波を送信したことになる。
　「アンテナ数」における「Ｒｘ」は、受信用のアンテナの数を示す。したがって、この実験では、「４個」のアンテナで反射波を受信したことになる。
　「送信周波数」は、送信した電波の周波数である。なお、電波に用いられる周波数は、「２４．１５Ｈｚ」以外の周波数でもよい。例えば、周波数は、１００ＭＨｚ乃至１００ＧＨｚ程度であってもよい。
　「掃引周波数」は、周波数を掃引した幅を示す。図７における「Ｂ」となる。
　「掃引時間」は、掃引を行った時間を示す。図７における「Ｔｃ」となる。
　「サンプリング周波数」は、反射波をサンプリングする分解能である。
　「位相信号のサンプリング周波数」は、ステップＳ１４で算出される位相変動信号をサンプリングする周波数である。
　「アンテナの指向性」は、電波を送受信する角度を示す。
　そして、図１５に示す実験環境における「Ｌｏｃａｔｉｏｎ　１」乃至「Ｌｏｃａｔｉｏｎ　５」の位置を検出位置として以下のような実験諸元で実験を行った。
　図１７は、実験諸元を示す図である。
　「被験者数」が示すように、本実験は、２人が「Ｌｏｃａｔｉｏｎ　１」乃至「Ｌｏｃａｔｉｏｎ　５」の位置にいる場合を主に対象として実験を行った。
　「観測ごとの被験者数」は、各位置に一度に存在する被験者の人数を示す。この実験では、「１人」、すなわち、各位置に１人の被験者がいる場合で実験を行った。
　「観測時間」は、データを計測した時間、すなわち、電波を送信し、反射波を受信していた時間を示す。
　「レーダの設置高」は、ＭＩＭＯ　ＦＭＣＷレーダ３００を設置した高さである。すなわち、この実験は、電波及び反射波は、「１ｍ」の高さで送受信されたことを示す。
　「被験者の体勢」は、「仰向け」、「うつ伏せ」、及び、「横向き」の３種類の体勢であったことを示す。
　「θ」は、電波を送信する角度である。図示するように、この実験では、１０°ごとに電波を送信した。
　「ｄ」は、電波を飛ばす距離である。図示するように、この実験では、０．１ｍごとに電波を送信した。
　「評価指標」は、呼吸検出システムが推定した呼吸数を評価する指標を示す。図示するように、被験者は、自身で呼吸を行った回数を数えてもらい、被験者が申告する呼吸数が「正しい」呼吸数であるとする。したがって、被験者が申告する呼吸数と、呼吸検出システムが推定した呼吸数を比較して、回数の違いを絶対誤差とする。絶対誤差は、値が小さいほど高精度という評価になる。
　図１８は、実験結果を示す図である。横軸は、被験者の位置を「Ｌｏｃａｔｉｏｎ　１」乃至「Ｌｏｃａｔｉｏｎ　５」で示す。一方で、縦軸は、絶対誤差、すなわち、評価結果を示す。なお、縦軸の単位は、「ｂｒｅａｔｈ　ｐｅｒ　ｍｉｎｕｔｅ」、すなわち、「回／分」である。
　図示するように、呼吸検出システムは、呼吸数を精度良く推定できた。具体的には、「Ｌｏｃａｔｉｏｎ　１」では、平均で絶対誤差は「０．３４ｂｐｍ」であった。また、「Ｌｏｃａｔｉｏｎ　２」では、平均で絶対誤差は「０．７２ｂｐｍ」であった。さらに、「Ｌｏｃａｔｉｏｎ　４」では、平均で絶対誤差は「１．１８ｂｐｍ」であった。さらにまた、「Ｌｏｃａｔｉｏｎ　５」では、平均で絶対誤差は「０．５０ｂｐｍ」であった。
　このように、「Ｂｅｄ」、「Ｔａｂｌｅ」、「Ｓｈｅｌｆ」及び「Ｐｉｌｌａｒ」等といった家具等が置かれるような屋内の環境等であっても、呼吸を検出する精度を向上させることができる。
　＜機構部を有する例＞
　呼吸検出システムは、送信部が送信する電波の角度を変更する機構部を更に有してもよい。具体的には、呼吸検出システムは、電波を送信するアンテナ等をアクチュエータ又はアンテナが向く向きを変更する機構部品等を有する。つまり、機構部は、アクチュエータ等によって自動的に角度を変更する構成でもよいし、又は、手動でアンテナの向きを変更できるような構成でもよい。このような機構部があると、呼吸検出システムは、電波を送信する角度等を変更できる。したがって、１つのアンテナであっても、異なる角度となる位置に向かって電波を送信できる。
　ゆえに、機構部を有する構成であると、呼吸検出システムは、送信部を実現するアンテナ等の部品を少なくできる。
　＜実行フェーズ及び学習フェーズにおける構成の違い＞
　呼吸検出システムは、図１９及び図２０に示すように、機械学習を行う場面と、機械学習等によってパラメータが設定された、いわゆる学習済み状態下で実行する場面とで構成が異なってもよい。
　図１９は、学習フェーズにおける構成例を示す図である。例えば、図４に示すような処理を実行する、すなわち、機械学習を行う構成は、図示するような構成で行われる。
　例えば、パラメータ設定部１０５は、いわゆる学習部等を有し、教師データとなる学習用スペクトログラム１００Ａを用いて学習を行う。
　学習用スペクトログラム１００Ａによって機械学習が行われた結果に基づいて、例えば、呼吸数推定部１０６が用いるパラメータが更新される。すなわち、パラメータ設定部１０５は、学習用スペクトログラム１００Ａに基づいて呼吸数推定部１０６のパラメータを設定する。以下、学習フェーズにおけるパラメータを「学習中パラメータＰ１」という。このように、ＣＮＮ等の機械学習では、入力されるスペクトログラム等が畳み込み層又はプーリング層等により圧縮され、圧縮したデータを真のラベルと結びつける。学習フェーズでは、このような処理を学習データごとに繰り返すことでパラメータ等が最適化される。
　実行フェーズに用いられるパラメータ（以下「実行用パラメータＰ２」という。）は、例えば、学習中パラメータＰ１等に対して、機械学習により、複数回更新を行うことで生成される。
　ただし、実行用パラメータＰ２は、機械学習のみで生成されるものに限られない。例えば、学習フェーズによって生成されたパラメータに対して、更に手動でパラメータが修正されて実行用パラメータＰ２が生成されてもよい。
　また、実行用パラメータＰ２は、実行用スペクトログラム１００Ｂによって機械学習が行われて更新されてもよい。つまり、実行用パラメータＰ２は、最初に、機械学習の方法又は機械学習以外の方法で生成されて外部から入力される。その後、実行用スペクトログラム１００Ｂによって機械学習が行われて更新されてもよい。このような場合には、実行フェーズであっても、出力に対して評価が入力されてもよい。
　図２０は、実行フェーズにおける構成例を示す図である。学習フェーズと比較すると、実行フェーズは、パラメータ設定部１０５が接続されない点が異なる。例えば、パラメータ設定部１０５がプログラムで実現されるような場合には、実行フェーズでは、パラメータ設定部１０５は、実行用パラメータＰ２を更新しない構成等である。ただし、実行用パラメータＰ２を更新する構成であれば、パラメータ設定部１０５を実現するプログラムがインストールされた状態で実行フェーズが行われてもよい。
　＜その他の実施形態＞
　例えば、送信器、受信器、又は、情報処理装置は、複数の装置であってもよい。すなわち、処理及び制御は、仮想化、並行、分散又は冗長して行われてもよい。一方で、送信器、受信器及び情報処理装置は、ハードウェアが一体又は装置を兼用してもよい。
　パラメータ設定部は、学習により、パラメータとして、呼吸推定部、すなわち、学習済みモデル等を変更してもよい。具体的には、パラメータ設定部は、学習結果に基づいて呼吸推定部のパラメータを変更してもよい。このように学習結果を呼吸推定部に反映させていく構成であってもよい。
　また、呼吸推定部における学習による更新は、呼吸検出システムを構成する装置が有する演算装置で処理及び制御を行う構成でもよい。一方で、呼吸推定部における学習による更新は、ネットワーク等を介して接続する学習部等が行ってもよい。すなわち、学習部等は、ネットワーク等を介して利用できるクラウド等で実現されてもよい。
　さらに、パラメータ設定部は、機械学習等によって、ニューラルネットワーク以外の構成で学習処理等を行ってもよい。具体的には、呼吸検出システムは、いわゆるＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）等を利用する構成であればよい。例えば、パラメータ設定部は、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ　Ａｄｖｅｒｓａｒｉａｌ　Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）又はＬＳＴＭ（Ｌｏｎｇ　Ｓｈｏｒｔ－Ｔｅｒｍ　Ｍｅｍｏｒｙ）等といった機械学習を行う構造で実現されてもよい。また、ランダムフォレスト（ｒａｎｄｏｍ　ｆｏｒｅｓｔｓ）等の機械学習アルゴリズムが用いられてもよい。
　なお、本発明に係る各処理の全部又は一部は、アセンブラ等の低水準言語又はオブジェクト指向言語等の高水準言語で記述され、コンピュータに呼吸検出方法を実行させるためのプログラムによって実現されてもよい。すなわち、プログラムは、呼吸検出装置、又は、情報処理装置等を含む呼吸検出システム等のコンピュータに各処理を実行させるためのコンピュータプログラムである。
　したがって、プログラムに基づいて各処理が実行されると、コンピュータが有する演算装置及び制御装置は、各処理を実行するため、プログラムに基づいて演算及び制御を行う。また、コンピュータが有する記憶装置は、各処理を実行するため、プログラムに基づいて、処理に用いられるデータを記憶する。
　また、プログラムは、コンピュータが読み取り可能な記録媒体に記録されて頒布することができる。なお、記録媒体は、磁気テープ、フラッシュメモリ、光ディスク、光磁気ディスク又は磁気ディスク等のメディアである。さらに、プログラムは、電気通信回線を通じて頒布することができる。
　以上、好ましい実施の形態等について詳説したが、上述した実施の形態等に制限されることはなく、特許請求の範囲に記載された範囲を逸脱することなく、上述した実施の形態等に種々の変形及び置換を加えることができる。
　本国際出願は２０１９年８月２３日に出願された日本国特許出願２０１９－１５２７５５号に基づく優先権を主張するものであり、２０１９－１５２７５５号の全内容をここに本国際出願に援用する。
１０　呼吸検出システム
１１　送信器
１２　受信器
１３　情報処理装置
１４　被験者
１５　電波
１６　反射波
２０　位置
３０　高強度帯域
１００　スペクトログラム
１０１　送信部
１０２　受信部
１０３　位相変動算出部
１０４　生成部
１０５　パラメータ設定部
１０６　呼吸数推定部
３００　ＦＭＣＷレーダ
１００１　畳み込み
１００２　ドロップアウト
１００３　畳み込み
１００４　プーリング
１００５　ドロップアウト
１００６　畳み込み
１００７　ドロップアウト
１００８　畳み込み
１００９　プーリング
１０１０　全結合
２０００　畳み込みニューラルネットワーク
ｄ　距離
θ　角度
　

Claims (11)

  1. 　被験者がいる位置を含む複数の位置に対して電波を送信する送信部と、
    　前記電波が反射した反射波を受信する受信部と、
    　前記反射波の位相変動を算出する位相変動算出部と、
    　前記位相変動に対して、フーリエ変換を行い、前記反射波を受信した時間と前記反射波に含まれる周波数成分との関係を示すスペクトログラムを生成する生成部と、
    　前記スペクトログラムに基づいて前記被験者が所定の周波数で呼吸を行う確率を前記周波数ごとに出力して、前記確率を重みとして前記周波数の加重平均を算出することにより、前記被験者の呼吸数を推定する呼吸数推定部とを含む
    呼吸検出システム。
  2. 　前記送信部及び前記受信部は、複数のアンテナを有する
    請求項１に記載の呼吸検出システム。
  3. 　前記送信部は、前記電波を送信する角度を変更する機構部を更に含む
    請求項１又は２に記載の呼吸検出システム。
  4. 　前記生成部は、ウィンドウサイズが１５乃至５０秒のフーリエ変換で前記スペクトログラムを生成する
    請求項１乃至３のいずれか１項に記載の呼吸検出システム。
  5. 　前記電波を１０°ごと、かつ、前記電波を飛ばす距離を０．１ｍごとにする
    請求項１乃至４のいずれか１項に記載の呼吸検出システム。
  6. 　前記スペクトログラムを用いた機械学習により呼吸数推定部のパラメータを設定するパラメータ設定部を更に含む
    請求項１乃至５のいずれか１項に記載の呼吸検出システム。
  7. 　前記生成部は、前記被験者がいる場合の有人スペクトログラムと、前記被験者がいない場合の無人スペクトログラムとを生成し、
    　前記機械学習は、前記有人スペクトログラム、及び、前記無人スペクトログラムの両方を用いて機械学習を行う
    請求項６に記載の呼吸検出システム。
  8. 　前記生成部は、前記送信部に対する前記被験者の向きごとに、それぞれのスペクトログラムを生成し、
    　前記機械学習は、前記スペクトログラムに基づいて機械学習を行う
    請求項６又は７に記載の呼吸検出システム。
  9. 　前記機械学習は、ニューラルネットワークで前記機械学習を行う
    請求項６乃至８のいずれか１項に記載の呼吸検出システム。
  10. 　前記ニューラルネットワークでは、前記スペクトログラムの畳み込み、ドロップアウト、畳み込み、プーリング、ドロップアウト、畳み込み、ドロップアウト、畳み込み、プーリングの順序で処理が行われる
    請求項９に記載の呼吸検出システム。
  11. 　被験者がいる位置を含む複数の位置に対して電波を送信する送信部と、
    　前記電波が反射した反射波を受信する受信部とを有する呼吸検出システムが行う呼吸検出方法であって、
    　呼吸検出システムが、前記反射波の位相変動を算出する位相変動算出手順と、
    　呼吸検出システムが、前記位相変動に対して、フーリエ変換を行い、前記反射波を受信した時間と前記反射波に含まれる周波数成分との関係を示すスペクトログラムを生成する生成手順と、
    　呼吸検出システムが、前記スペクトログラムに基づいて前記被験者が所定の周波数で呼吸を行う確率を前記周波数ごとに出力して、前記確率を重みとして前記周波数の加重平均を算出することにより、前記被験者の呼吸数を推定する呼吸数推定手順とを含む
    呼吸検出方法。
PCT/JP2020/031523 2019-08-23 2020-08-20 呼吸検出システム及び呼吸検出方法 WO2021039601A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/637,407 US20220280063A1 (en) 2019-08-23 2020-08-20 Respiration detection system and respiration detection method
JP2021542822A JP7186887B2 (ja) 2019-08-23 2020-08-20 呼吸検出システム及び呼吸検出方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019152755 2019-08-23
JP2019-152755 2019-08-23

Publications (1)

Publication Number Publication Date
WO2021039601A1 true WO2021039601A1 (ja) 2021-03-04

Family

ID=74685527

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/031523 WO2021039601A1 (ja) 2019-08-23 2020-08-20 呼吸検出システム及び呼吸検出方法

Country Status (3)

Country Link
US (1) US20220280063A1 (ja)
JP (1) JP7186887B2 (ja)
WO (1) WO2021039601A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001017403A (ja) * 1999-07-08 2001-01-23 Alps Electric Co Ltd 生体信号検出装置
JP2013078413A (ja) * 2011-10-03 2013-05-02 Tokyo Metropolitan Univ 身体情報測定装置及び身体情報測定方法
JP2017513656A (ja) * 2014-04-28 2017-06-01 マサチューセッツ インスティテュート オブ テクノロジー 無線反射によるバイタルサインの監視
CN106901694A (zh) * 2017-02-20 2017-06-30 广州视源电子科技股份有限公司 一种呼吸率提取方法及装置
EP3335632A1 (en) * 2016-12-13 2018-06-20 Alcatel Lucent Method of and apparatus for monitoring one or more of a heartbeat and a respiration rate of a live vertebrate animal
US20180260706A1 (en) * 2017-03-07 2018-09-13 Alivecor, Inc. Systems and methods of identity analysis of electrocardiograms
JP2018161462A (ja) * 2017-03-27 2018-10-18 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置、及びプログラム
JP2019512304A (ja) * 2016-03-11 2019-05-16 オリジン ワイヤレス， インコーポレイテッドＯｒｉｇｉｎ Ｗｉｒｅｌｅｓｓ， Ｉｎｃ． バイタルサインを検出及び監視する方法、装置、サーバ及びシステム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11012285B2 (en) * 2012-12-05 2021-05-18 Origin Wireless, Inc. Methods, apparatus, servers, and systems for vital signs detection and monitoring
US11185235B2 (en) * 2017-03-27 2021-11-30 Panasonic Intellectual Property Management Co., Ltd. Information processing method, information processing device, and recording medium

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001017403A (ja) * 1999-07-08 2001-01-23 Alps Electric Co Ltd 生体信号検出装置
JP2013078413A (ja) * 2011-10-03 2013-05-02 Tokyo Metropolitan Univ 身体情報測定装置及び身体情報測定方法
JP2017513656A (ja) * 2014-04-28 2017-06-01 マサチューセッツ インスティテュート オブ テクノロジー 無線反射によるバイタルサインの監視
JP2019512304A (ja) * 2016-03-11 2019-05-16 オリジン ワイヤレス， インコーポレイテッドＯｒｉｇｉｎ Ｗｉｒｅｌｅｓｓ， Ｉｎｃ． バイタルサインを検出及び監視する方法、装置、サーバ及びシステム
EP3335632A1 (en) * 2016-12-13 2018-06-20 Alcatel Lucent Method of and apparatus for monitoring one or more of a heartbeat and a respiration rate of a live vertebrate animal
CN106901694A (zh) * 2017-02-20 2017-06-30 广州视源电子科技股份有限公司 一种呼吸率提取方法及装置
US20180260706A1 (en) * 2017-03-07 2018-09-13 Alivecor, Inc. Systems and methods of identity analysis of electrocardiograms
JP2018161462A (ja) * 2017-03-27 2018-10-18 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置、及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KIM SEONG-HOON, GEEM ZONG WOO, HAN GI-TAE: "A Novel Human Respiration Pattern Recognition Using Signals of Ultra-Wideband Rader Sensor", SENSORS, vol. 19, no. 3340, 30 July 2019 (2019-07-30), pages 1 - 23, XP055797795 *
LIU, HAIPENG ET AL.: "Recent development of respiratory rate measurement technologies", PHYSIOL. MEAS., vol. 40, 2 August 2019 (2019-08-02), pages 1 - 28, XP055797800 *

Also Published As

Publication number Publication date
JPWO2021039601A1 (ja) 2021-03-04
JP7186887B2 (ja) 2022-12-09
US20220280063A1 (en) 2022-09-08

Similar Documents

Publication Publication Date Title
Hsieh et al. Deep learning-based indoor localization using received signal strength and channel state information
JP7249337B2 (ja) ワイヤレス信号の統計パラメータのグルーピングに基づく動き検出
KR101413229B1 (ko) 방향 추정 장치 및 방법
US10108903B1 (en) Motion detection based on machine learning of wireless signal properties
JP7174073B2 (ja) センサデバイスからのデータを用いた動き検出システムのためのトレーニングデータ
Khan et al. A deep learning framework using passive WiFi sensing for respiration monitoring
Ren et al. Winect: 3d human pose tracking for free-form activity using commodity wifi
CN110115823A (zh) 跑步机和跑步机上的非接触式感测方法
WO2020240526A1 (en) Proximity-based model for indoor localization using wireless signals
Chen et al. SpeedNet: Indoor speed estimation with radio signals
CN114259213B (zh) 杂波背景下毫米波mimo雷达的邻近多目标生命体征检测方法
US10784706B2 (en) Wireless power transmitter and method for controlling the same
US11960791B2 (en) Control of a motion tracking system by user thereof
CN112998668A (zh) 基于毫米波的非接触式远场多人体呼吸心率监测方法
KR102200409B1 (ko) 투톤 레이더 방식을 이용한 휴먼 상태 모니터링 시스템 및 그 방법
Borhani et al. A non-stationary channel model for the development of non-wearable radio fall detection systems
CN117177708A (zh) 利用超宽带雷达联合估计呼吸率和心率
Abdelgawwad et al. A framework for activity monitoring and fall detection based on the characteristics of indoor channels
CN111712730A (zh) 通过多信道雷达监测生活设施
US11346917B2 (en) Information processing apparatus and information processing method
WO2021039601A1 (ja) 呼吸検出システム及び呼吸検出方法
KR101750906B1 (ko) Ｕｗｂ를 이용한 방위각 산출 시스템
CN113541744B (zh) 一种物联网LoRa信号的波束成形多目标感知方法及系统
Wang et al. HeRe: Heartbeat signal reconstruction for low-power millimeter-wave radar based on deep learning
KR102170488B1 (ko) 선박에서의 fmcw 레이더를 이용한 위치인식 기반 증강현실 군사용 훈련시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20857556

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021542822

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20857556

Country of ref document: EP

Kind code of ref document: A1