WO2024058226A1 - 電子機器、電子機器の制御方法、及びプログラム - Google Patents

電子機器、電子機器の制御方法、及びプログラム Download PDF

Info

Publication number
WO2024058226A1
WO2024058226A1 PCT/JP2023/033445 JP2023033445W WO2024058226A1 WO 2024058226 A1 WO2024058226 A1 WO 2024058226A1 JP 2023033445 W JP2023033445 W JP 2023033445W WO 2024058226 A1 WO2024058226 A1 WO 2024058226A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
signal
heartbeat
signal processing
frequency
Prior art date
Application number
PCT/JP2023/033445
Other languages
English (en)
French (fr)
Inventor
淳 黒田
徹 佐原
拓也 本間
裕 香島
洋平 村上
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Publication of WO2024058226A1 publication Critical patent/WO2024058226A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • G01S13/32Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications

Definitions

  • the present disclosure relates to an electronic device, a method of controlling the electronic device, and a program.
  • Patent Document 1 proposes a device that can detect the presence of a person and biometric information of the person by using microwaves.
  • Patent Document 2 proposes a device that detects vital signs such as the frequency of breathing or heartbeat of a living body based on a reflected signal of a microwave radar.
  • An electronic device includes: a transmitter that transmits a transmission wave; a receiving unit that receives reflected waves of the transmitted waves from the target; a signal processing unit that detects the distance, direction, and speed of the target based on a converted signal obtained by Fourier transforming the beat signals of the transmitted wave and the received wave; Equipped with The signal processing section includes: Extracting a signal component corresponding to heart sound vibration accompanying the heartbeat of the target object from the converted signal using a plurality of window functions, Performing frequency analysis on an envelope signal obtained by performing envelope processing on the signal component corresponding to the heart sound vibration, Performing statistical result calculation processing on the frequency analysis results, Based on the calculation result, time series data of the heartbeat frequency of the target object is output.
  • a method for controlling an electronic device includes: a step of transmitting a transmission wave from a transmitter; a receiving unit that receives a reflected wave of the transmitted wave from the target in the receiving unit; detecting the distance, direction, and speed of the target object based on a transformed signal obtained by Fourier transforming the beat signals of the transmitted wave and the received wave; extracting a signal component corresponding to heart sound vibration accompanying the heartbeat of the target object from the converted signal using a plurality of window functions; performing frequency analysis on an envelope signal obtained by performing envelope processing on the signal component corresponding to the heart sound vibration; performing a statistical result calculation process on the frequency analysis results; outputting time-series data of the heartbeat frequency of the target object based on the calculation result; including.
  • the program according to one embodiment is For electronic equipment, a step of transmitting a transmission wave from a transmitter; a receiving unit that receives a reflected wave of the transmitted wave from the target in the receiving unit; detecting the distance, direction, and speed of the target object based on a transformed signal obtained by Fourier transforming the beat signals of the transmitted wave and the received wave; extracting a signal component corresponding to heart sound vibration accompanying the heartbeat of the target object from the converted signal using a plurality of window functions; performing frequency analysis on an envelope signal obtained by performing envelope processing on the signal component corresponding to the heart sound vibration; performing a statistical result calculation process on the frequency analysis results; outputting time-series data of the heartbeat frequency of the target object based on the calculation result; Execute.
  • FIG. 2 is a diagram illustrating how an electronic device is used according to an embodiment.
  • FIG. 1 is a functional block diagram schematically showing the configuration of an electronic device according to an embodiment.
  • FIG. 2 is a diagram illustrating a configuration of a signal processed by an electronic device according to an embodiment.
  • FIG. 3 is a diagram illustrating signal processing by an electronic device according to an embodiment.
  • FIG. 3 is a diagram illustrating signal processing by an electronic device according to an embodiment.
  • FIG. 3 is a diagram illustrating signal processing by an electronic device according to an embodiment.
  • FIG. 2 is a diagram schematically showing an example of arrangement of antennas and an operating principle in an antenna array of an electronic device according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of arrangement of antennas in an antenna array of an electronic device according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of signal processing by an electronic device according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of signal processing by an electronic device according to an embodiment.
  • 3 is a flowchart illustrating a comparative example of operations of an electronic device according to an embodiment.
  • 3 is a flowchart illustrating the operation of an electronic device according to an embodiment.
  • 3 is a flowchart illustrating the operation of an electronic device according to an embodiment.
  • FIG. 3 is a diagram illustrating multi-window processing by an electronic device according to an embodiment.
  • FIG. 3 is a diagram showing a relationship between ranks representing a target signal and a noise signal in singular value decomposition by an electronic device according to an embodiment.
  • FIG. 3 is a diagram conceptually illustrating multi-resolution analysis using discrete wavelet transform by an electronic device according to an embodiment.
  • FIG. 3 is a diagram conceptually illustrating a process of classifying and identifying the best heart sound envelope by an electronic device according to an embodiment.
  • FIG. 2 is a diagram showing the result of one-dimensional processing performed by continuous wavelet transform in an electronic device according to an embodiment.
  • FIG. 3 is a diagram illustrating an arrangement of time windows for analyzing the frequency of a heart sound envelope by an electronic device according to an embodiment.
  • FIG. 3 is a diagram showing a MUSIC spectrum of an envelope of a heart sound produced by an electronic device according to an embodiment.
  • FIG. 2 is a diagram illustrating selection of a heartbeat frequency vector by an electronic device according to an embodiment.
  • FIG. 3 is a diagram showing time-series waveforms of heart sounds obtained by an electronic device according to an embodiment.
  • FIG. 3 is a diagram showing time-series waveforms of heart sounds obtained by an electronic device according to an embodiment.
  • FIG. 3 is a diagram showing an example of a time-series waveform of heart rate obtained by an electronic device according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of arrangement of antennas in an antenna array of an electronic device according to an embodiment.
  • An object of the present disclosure is to provide an electronic device, a control method for the electronic device, and a program that can detect the heart rate of a human body with good accuracy and high robustness by transmitting and receiving radio waves. According to one embodiment, it is possible to provide an electronic device, a control method for the electronic device, and a program that can detect the heart rate of a human body with good accuracy and high robustness by transmitting and receiving radio waves.
  • an "electronic device” may be a device driven by electric power.
  • a “user” may be a person (typically a human) or an animal who uses the system and/or electronic device according to an embodiment. Users may include those who monitor objects, such as humans, by using the electronic device according to an embodiment.
  • the "subject” may be a person (for example, a human or an animal) who is monitored by the electronic device according to one embodiment.
  • the user may include the target.
  • a "heartbeat” may refer to the pulsation of the heart.
  • pulse may refer to the rhythmic contraction movement performed by the heart.
  • heart rate refers to the number of times the heart beats within a certain period of time.
  • heart rate may be the number of beats per minute.
  • the pulse rate When the heart pumps blood, it causes the arteries to pulsate. Therefore, the number of pulses in the artery may be referred to as the pulse rate or simply the pulse rate.
  • heart sound may refer to the sound of a heartbeat. That is, heart sounds may be sounds that occur when the heart contracts and expands.
  • heart sound refers to a low and long first sound based on the tension of the ventricular muscles, closure of the mitral valve, initiation of blood ejection into the arteries, and/or acceleration of blood flow, followed by the aortic valve sound. closure and/or a high and short second sound resulting from pulmonic valve closure.
  • heart sounds are not necessarily limited to physical sounds based on air vibrations, but may also refer to vibrations caused by heartbeats (beats).
  • a heartbeat may refer to a vibration source, and a heart sound may refer to the vibration itself caused by the vibration source.
  • a heartbeat may include heart sounds depending on the situation.
  • heart sounds may refer to body vibrations associated with heart movement.
  • Heart sounds may be, for example, vibrations of the entire body, head, neck, chest, throat, arms, legs, wrists, or other body parts.
  • Heart sounds may be, for example, vibrations of the whole body or the skin of the head, neck, chest, throat, arms, legs, wrists, or other parts of the body.
  • Heart sounds are, for example, vibrations of the whole body or the skin of the head, neck, chest, throat, arms, legs, wrists, or other parts of the body, such as clothing worn by the subject,
  • the vibration may be caused by underwear, glasses, or other worn items.
  • the heartbeat may be the heartbeat itself.
  • the heartbeat interval, heartbeat rate, or the like may be calculated from the movement of the heartbeat.
  • the heartbeat may be referred to as a heartbeat.
  • An electronic device can detect the heartbeat of a target such as a human being present around the electronic device. Therefore, the electronic device according to one embodiment is expected to be used by people engaged in social activities, such as in companies, hospitals, nursing homes, schools, sports gyms, and nursing care facilities. This may be a specific facility where the facility is located. For example, in the case of a company, it is extremely important to understand and/or manage the health conditions of employees. Similarly, it is extremely important to understand and/or manage the health conditions of patients and medical workers in hospitals, and residents and staff in nursing homes.
  • Scenes in which the electronic device according to one embodiment is used are not limited to the above-mentioned facilities such as companies, hospitals, and nursing homes, but can be used in any place where it is desired to understand and/or manage the health condition of a subject.
  • Good as a facility Any facility may also include a non-commercial facility, such as a user's home, for example.
  • the scene in which the electronic device according to one embodiment is used is not limited to indoors, but may be outdoors.
  • the electronic device according to one embodiment may be used in a moving body such as a train, bus, or airplane, or in a station or boarding area.
  • the electronic device may be used in a mobile body such as a car, an airplane, or a ship, a hotel, a user's home, a living room, a bath, a toilet, or a bedroom in the home. .
  • the electronic device may be used, for example, in a nursing care facility or the like, to detect or monitor the heartbeat of a target such as a person in need of care or a person in need of care. Further, the electronic device according to one embodiment may issue a predetermined warning to the person and/or other persons when an abnormality is recognized in the heartbeat of the person, such as a person in need of care or a person in need of care. good. Therefore, according to the electronic device according to one embodiment, the person and/or staff at a nursing care facility can recognize that an abnormality is observed in the pulse rate of a subject, such as a person in need of care or a care recipient. .
  • the electronic device is capable of detecting a heartbeat of a subject, such as a person requiring nursing care or a care recipient, when no abnormality is recognized (for example, it is recognized as normal) in the subject's heartbeat. You may notify that fact. Therefore, according to the electronic device according to one embodiment, the person and/or the staff of the nursing care facility can recognize that the pulse of the target, such as the person requiring care or the person receiving care, is normal.
  • the electronic device may detect the pulse of other animals other than humans.
  • An electronic device according to an embodiment described below will be described as one that detects a human pulse using a sensor based on a technology such as millimeter wave radar.
  • the electronic device may be installed on any stationary object or on any moving object.
  • the electronic device can transmit transmission waves around the electronic device from the transmission antenna. Further, the electronic device according to one embodiment can receive a reflected wave obtained by reflecting a transmitted wave from a receiving antenna. At least one of the transmitting antenna and the receiving antenna may be included in an electronic device, or may be included in, for example, a radar sensor.
  • an electronic device will be described as being stationary.
  • the object (human) whose pulse rate is detected by the electronic device may be stationary, may be moving, or may be moving its body in a stationary state.
  • the electronic device like a normal radar sensor, can measure the distance between the electronic device and an object in a situation where the object around the electronic device may move. Further, the electronic device according to one embodiment can measure the distance between the electronic device and the object even if both the electronic device and the object are stationary.
  • FIG. 1 is a diagram illustrating an example of how an electronic device is used according to an embodiment.
  • FIG. 1 shows an example of an electronic device having a sensor function including a transmitting antenna and a receiving antenna according to an embodiment.
  • an electronic device 1 may include a transmitter and a receiver, which will be described later.
  • the transmitting section may include a transmitting antenna array 24.
  • the receiving section may include a receiving antenna array 31.
  • FIG. 1 shows a situation in which the electronic device 1 includes a transmitting antenna array 24 and a receiving antenna array 31 for ease of viewing.
  • the electronic device 1 may include at least one of other functional units, such as at least a part of the signal processing unit 10 (FIG. 2) included in the electronic device 1, as appropriate.
  • the electronic device 1 may include at least one of other functional units, such as at least a part of the signal processing unit 10 (FIG. 2) included in the electronic device 1, outside the electronic device 1.
  • the electronic device 1 may be moving or may be stationary without moving.
  • a transmitting section including a transmitting antenna array 24 and a receiving section including a receiving antenna array 31 are shown in a simplified manner.
  • the electronic device 1 may include, for example, multiple transmitters and/or multiple receivers.
  • the transmitting section may include a transmitting antenna array 24 made up of a plurality of transmitting antennas.
  • the receiving section may include a receiving antenna array 31 composed of a plurality of receiving antennas.
  • the positions where the transmitter and/or the receiver are installed in the electronic device 1 are not limited to the positions shown in FIG. 1, and may be set at other positions as appropriate.
  • the number of transmitting units and/or receiving units may be one or more, depending on various conditions (or requirements) such as the heartbeat detection range and/or detection accuracy of the electronic device 1.
  • the electronic device 1 transmits electromagnetic waves as transmission waves from the transmission antenna array 24.
  • a predetermined object for example, the object 200 shown in FIG. 1 exists around the electronic device 1
  • at least a portion of the transmission wave transmitted from the electronic device 1 is reflected by the object and becomes a reflected wave.
  • the electronic device 1 can detect the object as a target.
  • the electronic device 1 including the transmitting antenna array 24 may typically be a RADAR (Radio Detecting and Ranging) sensor that transmits and receives radio waves.
  • the electronic device 1 is not limited to a radar sensor.
  • the electronic device 1 according to one embodiment may be, for example, a sensor based on LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) technology using light waves. Sensors such as these can be configured to include, for example, a patch antenna. Since technologies such as RADAR and LIDAR are already known, detailed descriptions may be simplified or omitted as appropriate.
  • the electronic device 1 may be a sensor based on a technology that detects an object by transmitting and receiving, for example, a sound wave or an ultrasonic wave.
  • the electronic device 1 shown in FIG. 1 receives, from the receiving antenna array 31, reflected waves of the transmission waves transmitted from the transmitting antenna array 24. In this way, the electronic device 1 can detect the predetermined object 200 existing within a predetermined distance from the electronic device 1 as a target. For example, as shown in FIG. 1, the electronic device 1 can measure the distance L between the electronic device 1 and a predetermined object 200. Further, the electronic device 1 can also measure the relative speed between the electronic device 1 and the predetermined object 200. Furthermore, the electronic device 1 can also measure the direction (angle of arrival ⁇ ) in which the reflected wave from the predetermined target 200 arrives at the electronic device 1.
  • the XY plane may be, for example, a plane substantially parallel to the ground surface.
  • the positive direction of the Z axis shown in FIG. 1 may indicate vertically upward.
  • the electronic device 1 may be placed on a plane parallel to the XY plane.
  • the object 200 may be standing on the ground surface substantially parallel to the XY plane, for example.
  • the target 200 may be, for example, a person who exists around the electronic device 1. Further, the target 200 may be a living creature other than a human, such as an animal that exists around the electronic device 1, for example. As mentioned above, object 200 may be moving or may be stationary or stationary. In the present disclosure, objects detected by the electronic device 1 include not only inanimate objects such as arbitrary objects but also living things such as people, dogs, cats, horses, and other animals. Objects detected by the electronic device 1 of the present disclosure may include targets including people, objects, animals, etc. that are detected by radar technology. In the present disclosure, targets may include people, objects, animals, and the like. The following description will be made assuming that an object such as the target 200 that exists around the electronic device 1 is a human (or an animal). Hereinafter, "subject 200" will also be referred to as "subject 200" as appropriate. In the present disclosure, the target may be the object 200 described above.
  • the ratio between the size of the electronic device 1 and the size of the object 200 does not necessarily represent the actual ratio.
  • the transmitting antenna array 24 of the transmitting section and the receiving antenna array 31 of the receiving section are shown installed outside the electronic device 1.
  • the transmitting antenna array 24 of the transmitting section and/or the receiving antenna array 31 of the receiving section may be installed at various positions of the electronic device 1.
  • the transmitting antenna array 24 of the transmitting section and/or the receiving antenna array 31 of the receiving section may be installed inside the electronic device 1 so that they do not appear on the exterior of the electronic device 1.
  • the transmitting antenna of the electronic device 1 will be described as one that transmits radio waves in a frequency band such as millimeter waves (30 GHz or higher) or sub-millimeter waves (for example, around 20 GHz to 30 GHz).
  • the transmitting antenna of the electronic device 1 may transmit radio waves having a frequency bandwidth of 4 GHz, such as 77 GHz to 81 GHz.
  • FIG. 2 is a functional block diagram schematically showing a configuration example of the electronic device 1 according to an embodiment. An example of the configuration of the electronic device 1 according to one embodiment will be described below.
  • a frequency modulated continuous wave radar (hereinafter referred to as FMCW radar) is often used.
  • FMCW radar the transmission signal is generated by sweeping the frequency of the radio waves to be transmitted. Therefore, for example, in a millimeter wave FMCW radar using radio waves in the 79 GHz frequency band, the frequency of the radio waves used has a frequency bandwidth of 4 GHz, such as 77 GHz to 81 GHz.
  • a radar using the 79 GHz frequency band has the characteristic that it has a wider usable frequency bandwidth than other millimeter wave/quasi-millimeter wave radars, such as those using the 24 GHz, 60 GHz, and 76 GHz frequency bands. Below, such an embodiment will be described as an example.
  • the FMCW radar radar method used in the present disclosure may include an FCM method (Fast-Chirp Modulation) that transmits a chirp signal at a shorter cycle than usual.
  • the signal generated by the electronic device 1 is not limited to the FMCW signal.
  • the signal generated by the electronic device 1 may be a signal of various methods other than the FMCW method.
  • the transmission signal sequence stored in an arbitrary storage unit may be different depending on these various methods. For example, in the case of the FMCW radar signal described above, a signal whose frequency increases and a signal whose frequency decreases for each time sample may be used. Since known techniques can be appropriately applied to the various methods described above, a more detailed explanation will be omitted.
  • the electronic device 1 includes a signal processing section 10.
  • the signal processing section 10 may include a signal generation processing section 11 , a received signal processing section 12 , a heartbeat extraction section 13 , and a calculation section 14 .
  • the heartbeat extraction unit 13 may, for example, execute a process of extracting a micro-Doppler component. Further, the heartbeat extraction unit 13 may execute a process of extracting the envelope of the heart sound of the subject 200.
  • the calculation unit 14 may execute, for example, a process of calculating the heartbeat interval (RRI) of the subject 200. Further, the calculation unit 14 may execute, for example, a process of calculating the heartbeat of the subject 200.
  • RRI heartbeat interval
  • the calculation unit 14 may execute, for example, a process of calculating the heart rate variability (HRV) of the subject 200.
  • HRV heart rate variability
  • the calculation unit 14 may perform a process of performing frequency analysis on the extracted time series data of heartbeat intervals of the subject 200.
  • the calculation unit 14 may perform a process of calculating the heart rate fluctuation of the subject 200 based on frequency analysis of time series data of heartbeat intervals.
  • the calculation unit 14 may calculate the heartbeat interval and use it to calculate heartbeat variability.
  • the signal generation processing unit 11, received signal processing unit 12, heartbeat extraction unit 13, and calculation unit 14 will be further described later as appropriate.
  • the heart sound may be, for example, a chest vibration waveform directly observed by radar (see FIG. 20, etc.), or may be chest vibration.
  • a heartbeat is the beating of the heart itself.
  • the heartbeat interval, heartbeat rate, or the like may be calculated from the movement of the heartbeat.
  • a heart beat interval may be the time interval between one heart beat and the next.
  • the electronic device 1 includes a transmission DAC 21, a transmission circuit 22, a millimeter wave transmission circuit 23, and a transmission antenna array 24 as a transmission section.
  • the electronic device 1 according to one embodiment includes a receiving antenna array 31, a mixer 32, a receiving circuit 33, and a receiving ADC 34 as a receiving section.
  • the electronic device 1 according to one embodiment may not include at least one of the functional units shown in FIG. 2, or may include functional units other than the functional units shown in FIG.
  • the electronic device 1 shown in FIG. 2 may be configured using a circuit that is basically configured in the same way as a general radar that uses electromagnetic waves such as a millimeter wave band.
  • the signal processing by the signal processing unit 10 may include processing different from that of conventional general radar.
  • the signal processing section 10 included in the electronic device 1 can control the operation of the electronic device 1 as a whole, as well as control each functional section that makes up the electronic device 1.
  • the signal processing unit 10 performs various processes on signals handled by the electronic device 1.
  • the signal processing unit 10 may include at least one processor, such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor), to provide control and processing capabilities to perform various functions.
  • the signal processing unit 10 may be implemented by a single processor, several processors, or individual processors.
  • a processor may be implemented as a single integrated circuit.
  • An integrated circuit is also called an IC (Integrated Circuit).
  • a processor may be implemented as a plurality of communicatively connected integrated and discrete circuits.
  • the processor may be implemented based on various other known technologies.
  • the signal processing unit 10 may be configured as, for example, a CPU (hardware) and a program (software) executed by the CPU.
  • the signal processing section 10 may include a storage section (memory) necessary for the operation of the signal processing section 10 as appropriate.
  • the signal generation processing unit 11 of the signal processing unit 10 generates a signal to be transmitted from the electronic device 1.
  • the signal generation processing section 11 may generate a transmission signal (transmission chirp signal) such as a chirp signal, for example.
  • the signal generation processing unit 11 may generate a signal (linear chirp signal) whose frequency changes periodically and linearly.
  • the signal generation processing unit 11 may generate a chirp signal whose frequency increases periodically and linearly from 77 GHz to 81 GHz over time.
  • the signal generation processing unit 11 may generate a signal whose frequency periodically repeats a linear increase (up chirp) and decrease (down chirp) from 77 GHz to 81 GHz over time.
  • the signal generated by the signal generation processing section 11 may be set in advance in the signal processing section 10, for example. Further, the signal generated by the signal generation processing section 11 may be stored in advance in, for example, an arbitrary storage section in the signal processing section 10. Since chirp signals used in technical fields such as radar are well known, a more detailed description will be simplified or omitted where appropriate.
  • the signal generated by the signal generation processing section 11 is supplied to the transmission DAC 21. For this reason, the signal generation processing section 11 may be connected to the transmission DAC 21.
  • the transmitting DAC (digital-to-analog converter) 21 has a function of converting the digital signal supplied from the signal generation processing section 11 into an analog signal.
  • the transmitting DAC 21 may include a general digital-to-analog converter.
  • the signal converted into an analog signal by the transmitting DAC 21 is supplied to the transmitting circuit 22 .
  • the transmitting DAC 21 may be connected to the transmitting circuit 22.
  • the transmitting circuit 22 has a function of converting the signal converted into an analog signal by the transmitting DAC 21 into an intermediate frequency (IF) band.
  • the transmitting circuit 22 may include a general IF band transmitting circuit.
  • the signal processed by the transmission circuit 22 is supplied to a millimeter wave transmission circuit 23. Therefore, the transmitting circuit 22 may be connected to the millimeter wave transmitting circuit 23.
  • the millimeter wave transmission circuit 23 has a function of transmitting the signal processed by the transmission circuit 22 as a millimeter wave (RF wave).
  • the millimeter wave transmitting circuit 23 may include a general millimeter wave transmitting circuit.
  • the signal processed by the millimeter wave transmission circuit 23 is supplied to the transmission antenna array 24. For this reason, the millimeter wave transmitting circuit 23 may be connected to the transmitting antenna array 24. Further, the signal processed by the millimeter wave transmission circuit 23 is also supplied to the mixer 32 . Therefore, the millimeter wave transmission circuit 23 may also be connected to the mixer 32.
  • the transmitting antenna array 24 is a plurality of transmitting antennas arranged in an array. In FIG. 2, the configuration of the transmitting antenna array 24 is shown in a simplified manner. Transmission antenna array 24 transmits the signal processed by millimeter wave transmission circuit 23 to the outside of electronic device 1 .
  • the transmitting antenna array 24 may include a transmitting antenna array used in a general millimeter wave radar.
  • the electronic device 1 is equipped with a transmitting antenna (transmitting antenna array 24), and can transmit a transmitting signal (for example, a transmitting chirp signal) as a transmitting wave from the transmitting antenna array 24.
  • a transmitting antenna for example, a transmitting chirp signal
  • an object such as a subject 200 exists around the electronic device 1.
  • at least a portion of the transmission waves transmitted from the transmission antenna array 24 are reflected by an object such as the subject 200.
  • At least a portion of the transmission waves transmitted from the transmission antenna array 24 that are reflected by an object such as the subject 200 may be reflected toward the reception antenna array 31.
  • the receiving antenna array 31 receives reflected waves.
  • the reflected wave may be at least a portion of the transmitted wave transmitted from the transmitting antenna array 24 that is reflected by an object such as the subject 200.
  • the receiving antenna array 31 is a plurality of receiving antennas arranged in an array. In FIG. 2, the configuration of the receiving antenna array 31 is shown in a simplified manner.
  • the receiving antenna array 31 receives reflected waves that are the transmitted waves transmitted from the transmitting antenna array 24 .
  • the receiving antenna array 31 may include a receiving antenna array used in a general millimeter wave radar.
  • the receiving antenna array 31 supplies the mixer 32 with a received signal received as a reflected wave. For this reason, the receiving antenna array 31 may be connected to the mixer 32.
  • the mixer 32 converts the signal (transmission signal) processed by the millimeter wave transmission circuit 23 and the reception signal received by the reception antenna array 31 into an intermediate frequency (IF) band.
  • the mixer 32 may include a mixer used in a general millimeter wave radar.
  • the mixer 32 supplies the signal generated as a result of the combination to the receiving circuit 33. For this reason, the mixer 32 may be connected to the receiving circuit 33.
  • the receiving circuit 33 has a function of analog processing the signal converted into the IF band by the mixer 32.
  • the receiving circuit 33 may be configured to include a receiving circuit that converts into a general IF band.
  • the signal processed by the receiving circuit 33 is supplied to the receiving ADC 34. For this reason, the receiving circuit 33 may be connected to the receiving ADC 34.
  • the receiving ADC (analog-to-digital converter) 34 has a function of converting an analog signal supplied from the receiving circuit 33 into a digital signal.
  • the receiving ADC 34 may include a general analog-to-digital converter.
  • the signal digitized by the reception ADC 34 is supplied to the reception signal processing section 12 of the signal processing section 10. For this reason, the reception ADC 34 may be connected to the signal processing section 10.
  • the received signal processing unit 12 of the signal processing unit 10 has a function of performing various processes on the digital signal supplied from the reception DAC 34. For example, the received signal processing unit 12 calculates the distance from the electronic device 1 to an object such as the subject 200 based on the digital signal supplied from the reception DAC 34 (distance measurement). Further, the received signal processing unit 12 calculates the relative speed of an object such as the subject 200 with respect to the electronic device 1 based on the digital signal supplied from the receiving DAC 34 (velocity measurement). Further, the received signal processing unit 12 calculates the azimuth angle of an object such as the subject 200 as seen from the electronic device 1 based on the digital signal supplied from the reception DAC 34 (angle measurement). Specifically, I/Q converted data may be input to the received signal processing unit 12.
  • the received signal processing unit 12 performs fast Fourier transform (2D-FFT) in the range direction and velocity direction, respectively. After that, the received signal processing unit 12 suppresses false alarms by removing noise points through processing such as CFAR (Constant False Alarm Rate) and makes the alarm constant.
  • the received signal processing unit 12 then obtains the position of an object such as the subject 200 by estimating the angle of arrival for points that satisfy the CFAR criteria.
  • Information generated as a result of distance measurement, speed measurement, and angle measurement by the received signal processing section 12 may be supplied to the heartbeat extraction section 13.
  • the heartbeat extraction unit 13 extracts information regarding heartbeat from the information generated by the received signal processing unit 12. The operation of extracting information regarding heartbeats by the heartbeat extraction unit 13 will be described further later. Information regarding the heartbeat extracted by the heartbeat extraction section 13 may be supplied to the calculation section 14.
  • the calculation unit 14 performs various calculation processes and/or arithmetic processes on the information regarding the heartbeat supplied from the heartbeat extraction unit 13. Various calculation processes and/or arithmetic processes performed by the calculation unit 14 will be further described later. Various types of information calculated and/or processed by the calculation unit 14 may be supplied to, for example, the communication interface 50. For this reason, the calculation unit 14 and/or the signal processing unit 10 may be connected to the communication interface 50. Various types of information calculated and/or processed by the calculation unit 14 may be supplied to other functional units other than the communication interface 50.
  • the communication interface 50 includes an interface that outputs information supplied from the signal processing unit 10 to, for example, an external device 60.
  • the communication interface 50 may output information on at least one of the position, velocity, and angle of an object such as the subject 200 to an external device 60 or the like as a signal such as a CAN (Controller Area Network).
  • a CAN Controller Area Network
  • information on at least one of the position, velocity, and angle of an object such as the subject 200 may be supplied to the external device 60 or the like via the communication interface 50. Therefore, the communication interface 50 may be connected to an external device 60 or the like.
  • the electronic device 1 may be connected to an external device 60 via a communication interface 50 by wire or wirelessly.
  • the external device 60 may include any computer and/or any control device.
  • the electronic device 1 according to one embodiment may be configured to include an external device 60.
  • the external device 60 can have various configurations depending on the manner in which the information on heartbeats and/or heart sounds detected by the electronic device 1 is used. Therefore, a more detailed description of the external device 60 will be omitted.
  • FIG. 3 is a diagram illustrating an example of a chirp signal generated by the signal generation processing section 11 of the signal processing section 10.
  • FIG. 3 shows the temporal structure of one frame when using the FCM (Fast-Chirp Modulation) method.
  • FIG. 3 shows an example of a received signal of the FCM method.
  • the FCM transmits chirp signals shown as c1, c2, c3, c4, ..., cn in Fig. 3 at short intervals (for example, longer than the round trip time between the electromagnetic radar and the target calculated from the maximum distance measurement distance). ).
  • transmission and reception processing is often performed by dividing the received signals into subframe units as shown in FIG.
  • the horizontal axis represents elapsed time, and the vertical axis represents frequency.
  • the signal generation processing unit 11 generates a linear chirp signal whose frequency changes periodically and linearly.
  • each chirp signal is shown as c1, c2, c3, c4, . . . , cn.
  • the frequency of each chirp signal increases linearly over time.
  • subframe 1 and subframe 2 shown in FIG. 3 each include several chirp signals such as c1, c2, c3, c4, . . . , cn.
  • subframes such as subframe 1, subframe 2, . . . , subframe N are included as one frame (one frame). That is, one frame shown in FIG. 3 is configured to include N subframes.
  • one frame shown in FIG. 3 may be referred to as frame 1, followed by frame 2, frame 3, and so on. Each of these frames may be configured to include N subframes, similarly to frame 1.
  • a frame interval of a predetermined length may be included between frames.
  • One frame shown in FIG. 3 may have a length of, for example, about 30 to 50 milliseconds.
  • the signal generation processing section 11 may generate the transmission signal as an arbitrary number of frames. Further, in FIG. 3, some chirp signals are omitted. In this way, the relationship between the time and frequency of the transmission signal generated by the signal generation processing section 11 may be stored in the storage section of the signal processing section 10, for example.
  • the electronic device 1 may transmit a transmission signal composed of subframes including a plurality of chirp signals. Further, the electronic device 1 according to one embodiment may transmit a transmission signal composed of a frame including a predetermined number of subframes.
  • the electronic device 1 will be described as transmitting a transmission signal having a frame structure as shown in FIG. 3.
  • the frame structure shown in FIG. 3 is just an example, and for example, the chirp signal included in one subframe may be arbitrary. That is, in one embodiment, the signal generation processing unit 11 may generate subframes including an arbitrary number (for example, an arbitrary plurality) of chirp signals.
  • the subframe structure shown in FIG. 3 is also an example, and for example, the subframes included in one frame may be arbitrary. That is, in one embodiment, the signal generation processing unit 11 may generate a frame including an arbitrary number (for example, an arbitrary plurality) of subframes.
  • the signal generation processing section 11 may generate signals of different frequencies.
  • the signal generation processing unit 11 may generate a plurality of discrete signals having frequencies f and different bandwidths.
  • FIG. 4 is a diagram showing a part of the subframe shown in FIG. 3 in another aspect.
  • FIG. 4 shows the reception of the transmitted signal shown in FIG. Each sample of the signal is shown.
  • each chirp signal c1, c2, c3, c4,..., cn is stored in each subframe such as subframe 1,..., subframe N.
  • the received signal shown in FIG. 4 is subjected to 2D-FFT, CFAR, and/or integrated signal processing of each subframe by the received signal processing unit 12 shown in FIG.
  • FIG. 5 shows a point group on a range-Doppler (distance-velocity) plane as a result of 2D-FFT, CFAR, and integrated signal processing of each subframe in the received signal processing unit 12 shown in FIG. It is a figure which shows the calculated example.
  • the horizontal direction represents range (distance), and the vertical direction represents speed.
  • the filled square s1 shown in FIG. 5 indicates a point group indicating a signal exceeding the CFAR threshold processing.
  • the unfilled box s2 shown in FIG. 5 indicates a bin (2D-FFT sample) without a point cloud that did not exceed the CFAR threshold.
  • the direction from the radar is calculated by direction estimation, and the position and velocity on the two-dimensional plane are calculated as a point group indicating an object such as the subject 200. be done.
  • the direction estimation may be calculated using a beamformer and/or a subspace method. Representative subspace method algorithms include MUSIC (MUltiple SIgnal Classification) and ESPRIT (Estimation of Signal Parameters via Rotation Invariance Technique).
  • FIG. 6 is a diagram showing an example of the result of the received signal processing unit 12 performing direction estimation and then converting the point group coordinates from the range-Doppler plane shown in FIG. 5 to the XY plane.
  • the received signal processing unit 12 can plot the point group PG on the XY plane.
  • the point group PG is composed of each point P.
  • each point P has an angle ⁇ and a velocity Vr in the radial direction in polar coordinates.
  • the received signal processing unit 12 detects an object existing in the range where the transmission wave T is transmitted based on at least one of the results of 2D-FFT and angle estimation.
  • the received signal processing unit 12 may perform object detection by, for example, performing clustering processing based on the estimated distance information, velocity information, and angle information.
  • object detection by, for example, performing clustering processing based on the estimated distance information, velocity information, and angle information.
  • algorithm used for clustering data for example, DBSCAN (Density-based spatial clustering of applications with noise) is known. This is an algorithm that performs clustering based on density. In the clustering process, for example, the average power of points forming the detected object may be calculated.
  • the distance information, speed information, angle information, and power information of the object detected by the received signal processing unit 12 may be supplied to an external device 60 or the like via the communication interface 50, for example.
  • the electronic device 1 may include a transmitting antenna (transmitting antenna array 24), a receiving antenna (receiving antenna array 31), and a signal processing unit 10.
  • the transmission antenna array 24 transmits a transmission wave T.
  • the receiving antenna array 31 receives a reflected wave R obtained by reflecting the transmitted wave T.
  • the signal processing unit 10 Based on the transmission signal transmitted as the transmission wave T and the reception signal received as the reflection wave R, the signal processing unit 10 generates an object that reflects the transmission wave T (for example, an object such as the subject 200). Detect.
  • FIG. 7 is a diagram illustrating the configuration of the receiving antenna array 31 of the electronic device 1 according to an embodiment and the principle of estimating the direction of an arriving wave by the receiving antenna array 31.
  • FIG. 7 shows an example of reception of radio waves by the reception antenna array 31.
  • the receiving antenna array 31 may be an array of sensors such as receiving antennas arranged in a straight line. As shown in FIG. 7, in one embodiment, the reception antenna array 31 may include a plurality of reception antennas arranged in a straight line. In FIG. 7, in the receiving antenna array 31, a plurality of antennas such as antennas x 1 , x 2 , x 3 , . . . , x M are indicated by small circles.
  • the receiving antenna array 31 may be composed of any plurality of antennas. Further, as shown in FIG. 7, it is assumed that the plurality of antennas forming the reception antenna array 31 are arranged at intervals of an array pitch d.
  • a sensor array in which sensors (antennas, ultrasonic transducers, microphones, etc.) corresponding to various physical waves are arranged in an array is also called a Uniform Linear Array (ULA).
  • ULA Uniform Linear Array
  • physical waves such as electromagnetic waves and sound waves
  • ⁇ 1 and ⁇ 2 may be the angles of arrival described above.
  • a sensor array such as the receiving antenna array 31 can estimate the direction of arrival (angle of arrival) by using the phase difference that occurs in measured values between sensors depending on the direction of arrival of the physical wave.
  • the method of estimating the direction of arrival of waves in this way is also referred to as angle of arrival estimation or direction of arrival estimation (DoA).
  • At least one of the transmitting antenna array 24 and the receiving antenna array 31 may have a plurality of antennas arranged in a straight line.
  • the directivity when transmitting and receiving radio waves can be appropriately narrowed in, for example, a millimeter wave radar.
  • the direction of the transmission beam is often controlled by a beamformer.
  • the direction of arrival of the reflected wave is often estimated using a subspace method (such as the above-mentioned MUSIC and ESPRIT) rather than a beamformer.
  • a subspace method such as the above-mentioned MUSIC and ESPRIT
  • FIG. 8 is a diagram showing an example of antenna arrangement for estimating the direction of arrival of two orthogonal angles.
  • the transmitting antenna array 24 and/or the receiving antenna array 31 may include an array of a plurality of patch antenna units.
  • one patch antenna unit may include a plurality of elements electrically connected in direction 1 shown in the figure.
  • the plurality of elements may be electrically connected, for example, by wiring such as a strip line on the substrate.
  • each of the plurality of elements may be spaced apart by a distance d 1,t that is shorter than half the wavelength ⁇ of the transmitted wave.
  • each patch antenna unit may include an arbitrary number of elements of two or more electrically connected.
  • the transmitting antenna array 24 may have a plurality of patch antenna units arrayed in direction 2 shown in the figure.
  • the respective patch antenna units may be spaced apart by a distance d 2,t that is shorter than half the wavelength ⁇ of the transmitted wave.
  • transmit antenna array 24 may include any number of patch antenna units greater than or equal to two.
  • the receiving antenna array 31 may be obtained by changing the arrangement of a plurality of elements in the transmitting antenna array 24. That is, in the receiving antenna array 31 shown in FIG. 8, one patch antenna unit may be configured to include a plurality of elements electrically connected in the direction 2 shown in the figure. In each patch antenna unit, the plurality of elements may be electrically connected, for example, by wiring such as a strip line on the substrate. In each patch antenna unit, each of the plurality of elements may be spaced apart by a distance d 2,s that is shorter than half the wavelength ⁇ of the transmitted wave. In FIG. 8, each patch antenna unit may include an arbitrary number of elements of two or more electrically connected.
  • the receiving antenna array 31 may have a plurality of patch antenna units arrayed in direction 1 shown in the figure.
  • the respective patch antenna units may be spaced apart by a distance d 1,s that is shorter than half the wavelength ⁇ of the transmitted wave.
  • receive antenna array 31 may include any number of patch antenna units greater than or equal to two.
  • the elements included in the transmitting antenna array 24 and the receiving antenna array 31 may all be arranged on the same plane (for example, on the surface layer of the same substrate). Further, the transmitting antenna array 24 and the receiving antenna array 31 may be arranged close to each other (monostatic). Furthermore, direction 1 and direction 2 shown in FIG. 8 may be geometrically orthogonal.
  • the transmitting antenna array 24 and the receiving antenna array 31 as shown in FIG. 8 the directivity of each of the transmitting antenna and the receiving antenna can be appropriately narrowed. Furthermore, by using the transmitting antenna array 24 as shown in FIG. 8 and controlling the direction in which each transmit wave (transmit signal) is transmitted at each timing, the direction 2 shown in FIG. A directional beamformer can be realized. Furthermore, by using the receiving antenna array 31 as shown in FIG. 8, it is possible to estimate the direction of arrival of reflected waves with respect to direction 1 shown in FIG. In this way, the direction of arrival of the reflected waves can be estimated for two substantially orthogonal angles. Therefore, it becomes possible to three-dimensionally acquire a point group indicating an object such as the subject 200.
  • the electronic device 1 transmits a transmission wave such as a millimeter wave radar to the subject 200, and receives the reflected wave reflected from the chest where the heart of the subject 200 is located.
  • Measure (estimate) heartbeat As mentioned above, the subject 200 may be a human or an animal.
  • a component assumed to be the envelope of the heartbeat can be extracted.
  • an approximate heartbeat interval can be calculated by setting the interval between the peaks of the envelope as the heartbeat interval.
  • an approximation can be used in which the peak of the heartbeat envelope roughly matches the R peak of the electrocardiogram. Therefore, "heartbeat interval" is also written as RR interval or RRI (RR interval), similar to the term used for electrocardiograms.
  • a method for estimating the heartbeat interval of the subject 200 will be considered from the results of the above-mentioned 2D-FFT, CFAR processing, and direction of arrival estimation.
  • 2D-FFT performed in FIGS. 4 and 5
  • the appearance of human heartbeat or body movement will be described.
  • FIG. 9 is a diagram showing an example of the result of receiving the reflected wave of the transmitted wave transmitted to the subject 200 and performing 2D-FFT processing.
  • FIG. 9 shows a spectrum showing heart sounds and body movements of the subject 200 as a result of 2D-FFT.
  • the horizontal axis represents distance (Range)
  • the vertical axis represents velocity (Velocity).
  • the signal processing unit 10 (for example, the heartbeat extracting unit 13) of the electronic device 1 according to one embodiment may extract the peak Hm shown in FIG. 9 as a body movement such as the heartbeat of the subject 200.
  • the spectrum component indicated by the peak Hm in FIG. 9 includes not only the heart sound and the envelope of the heart sound of the subject 200, but also body movement.
  • frequency filtering is performed, for example.
  • the frequency filtering performed here is assumed to be, for example, a band-pass filter, a high-pass filter, and/or a low-pass filter targeting frequencies from 0.5 Hz to 10 Hz.
  • FIG. 10 is a diagram illustrating a method of detecting a peak based on the envelope waveform of a heart sound obtained by the frequency filtering described above.
  • the graph shown in FIG. 10 shows an example of a temporal change in the envelope waveform of a heart sound extracted by the frequency filtering described above.
  • the envelope waveform shown in FIG. 10 includes many peaks as shown.
  • the heartbeat of the subject 200 falls within a range of about 50 to 130 beats per minute. Therefore, by selecting peaks with a time interval of 0.4 seconds to 0.8 seconds, which is the reciprocal of the number of heartbeats per minute, from a large number of peaks as shown in FIG.
  • the approximate interval between heart sounds can be calculated.
  • the peak indicated by the downward arrow in FIG. 10 may be selected as the approximate heart sound interval for subject 200.
  • FIG. 11 is a flowchart illustrating an example of the heartbeat interval estimation operation described above.
  • the above-mentioned heartbeat interval estimation operation will be schematically explained.
  • FIG. 11 shows the operation of the electronic device 1 according to an embodiment after receiving a reflected wave. That is, as a premise of the operation shown in FIG. 11, the electronic device 1 shown in FIG. 2 transmits a transmission wave (transmission signal) from the transmission antenna array 24. At least a portion of the transmission wave transmitted from the electronic device 1 is reflected by the subject 200 (for example, the chest) and becomes a reflected wave. The electronic device 1 shown in FIG. 2 receives such reflected waves from the receiving antenna array 31. Then, the operation shown in FIG. 11 begins.
  • a transmission wave transmission signal
  • step S110 the signal processing unit 10 of the electronic device 1 processes the received signal (received signal).
  • the signal processing performed in step S110 may include, for example, the above-mentioned 2D-FFT, CFAR processing, and/or direction of arrival estimation. Such an operation may be performed by the received signal processing section 12 of the signal processing section 10, for example.
  • step S120 the signal processing unit 10 extracts the vibration source from the information processed in step S110.
  • the signal processing performed in step S120 may include, for example, processing of filtering data resulting from 2D-FFT processing.
  • the signal processing unit 10 may extract spectral components only at the position where the subject 200 is present.
  • the location where the subject 200 is present may be specified by various known methods. Such an operation may be performed, for example, by the heartbeat extraction section 13 of the signal processing section 10.
  • step S130 the signal processing unit 10 converts the previous processing result into a vibration waveform.
  • the process performed in step S130 may include, for example, a process of extracting phase information from IQ data.
  • the signal processing unit 10 may include a process of extracting vibration data including heart sounds from the spectral components of the 2D-FFT process of the subject 200 extracted in step S120. Such an operation may be performed, for example, by the heartbeat extraction section 13 of the signal processing section 10.
  • step S140 the signal processing unit 10 extracts vibration data from the previous processing result.
  • the processing performed in step S140 may include, for example, frequency filtering.
  • the signal processing unit 10 may extract a low frequency signal including the envelope of the heart sound of the subject 200 by performing frequency filtering. Such an operation may be performed, for example, by the heartbeat extraction section 13 of the signal processing section 10.
  • step S150 the signal processing unit 10 calculates the RR interval (RRI) of the subject 200 by detecting the peak of the heartbeat of the subject 200 from the processing result of the previous stage and calculating the interval between the peaks.
  • the signal processing unit 10 may detect the peak of the low frequency signal including the envelope of the heart sound of the subject 200. Further, in step S150, the signal processing unit 10 may calculate and/or extract the interval between each peak. Such an operation may be performed by the calculation unit 14 of the signal processing unit 10, for example. As described above, in step S150, the signal processing unit 10 may extract the interval between heart sounds.
  • the signal processing unit 10 may calculate heart rate variability (HRV) of the subject 200.
  • the signal processing unit 10 may calculate the HRV of the subject 200 by calculating the spectral density of the RRI time series data.
  • frequency analysis of the RRI time series waveform may be performed by using, for example, Welch's method. Such an operation may be performed by the calculation unit 14 of the signal processing unit 10, for example.
  • the signal processing unit 10 may analyze the spectrum based on the processing result of the previous stage.
  • the electronic device 1 extracts a component that is considered to be the envelope of a heartbeat by frequency filtering the vibration at the location where the subject 200 is present, and extracts a component that is considered to be the envelope of the heartbeat, and divides the peaks of the envelope between the peaks of the heartbeat. interval. In this way, the electronic device 1 according to one embodiment can calculate the approximate heartbeat interval of the subject 200.
  • the accuracy of the calculated heartbeat interval also has an error of about several tens of milliseconds.
  • HRV heart rate variability
  • heart sounds are not extracted. Therefore, in the above-described method, it is also difficult to obtain information that contributes to medical examination (for example, auscultation in medical treatment) based on the acoustic properties of heart sounds themselves.
  • heart rate is estimated based on the results of extracting chest vibrations corresponding to heart sounds from radar data from multiple locations (radar range), and candidates for time series data of multiple heart rates are calculated. It is necessary to determine the optimal heart rate data from among them. Chest vibrations corresponding to heart sounds may be simply referred to as "heart sounds" in this disclosure. It would be desirable to extract heart sounds using radar using a high frequency band of millimeter waves or higher, analyze the heart sounds themselves, and extract accurate heartbeat intervals.
  • the electronic device 1 further improves the method described above.
  • the electronic device 1 extracts heart sounds using a radar using a high frequency band of millimeter waves or higher, analyzes the heart sounds themselves, and extracts accurate heartbeat intervals.
  • the electronic device 1 detects the heart rate of a human body or the like with good accuracy and highly robustly by transmitting and receiving radio waves. Such a method will be explained below.
  • the electronic device 1 performs appropriate signal processing on the signal (chirp signal) received by the electronic device 1 in an appropriate order in order to extract heart sounds of the subject 200 with high precision. Narrow down the subspace and subspace basis in which the signal component of the heart sound exists.
  • the electronic device 1 adopts different basis vectors in a linear space where the heart sound signal of the subject 200 exists, describes the space using an appropriate coordinate system, and performs segmentation based on each coordinate. You can extract space. Through such processing, the electronic device 1 according to one embodiment can search for a partial space where the heart sounds of the subject 200 are present. In one embodiment, any appropriate coordinate system may be used depending on the purpose.
  • the coordinate system of a space subjected to 2D-FFT processing the coordinate system of a time-series signal obtained by temporally contracting a chirp signal, the coordinate system obtained by its Fourier transformation, or the coordinate system obtained by continuous/discrete wavelets, etc.
  • a coordinate system may be used.
  • the electronic device 1 may perform the following characteristic processing on the received signal according to a step-by-step procedure. An outline of characteristic processing by the electronic device 1 according to one embodiment will be described below.
  • the electronic device 1 according to one embodiment executes two characteristic processing processes. That is, the electronic device 1 according to one embodiment executes (1) extraction of a subspace, and (2) processing for calculating a time series vector as time series data of heart rate. Each process will be explained in more detail below.
  • the electronic device 1 executes a process of omitting data considered to be unnecessary in a linear space on a received signal.
  • the electronic device 1 may perform processing to leave a necessary partial space by omitting an unnecessary partial space. Specifically, the following processing may be performed.
  • First stage Dimension reduction
  • an appropriate window function is applied to the 2D-FFT processing of the chirp signal received by the electronic device 1, and the direction of arrival of the subject 200 (for example, a human Extracts only the micro-Doppler components of the point cloud where animals (or animals) exist.
  • a plurality of window functions centered around a plurality of distance ranges are generated around the approximate position of the target object, and the plurality of window functions are applied.
  • processing in which a plurality of window functions are applied in this manner will be referred to as "multi-window processing.”
  • one vibration time-series signal may be generated for one window function, that is, one center distance range.
  • Second stage Reduction of dimension of subspace
  • principal component analysis and/or singular value decomposition of the set of time-series waveforms of multiple vibrations extracted in the first stage processing are performed. , performed on micro-Doppler signals.
  • frequency filtering is performed by using at least one of short-time Fourier transform, continuous wavelet transform, and bandpass filter.
  • Heart sounds are extracted by performing multi-resolution analysis using discrete wavelet transform using wavelet functions and scaling functions appropriate for heart sounds. do.
  • the electronic device 1 calculates the extracted heart sound data. Processing to generate an envelope from the waveform may be performed. Furthermore, the electronic device 1 according to one embodiment may calculate a time series vector as time series data of the heart rate based on the result of performing frequency analysis on the generated envelope. Specifically, the following processing may be performed.
  • an envelope is generated (extracted) from the heart sounds extracted in the above (1) subspace extraction.
  • the envelope generation process for example, any process such as continuous wavelet transform, discrete wavelet transform, wavelet scattering coefficients, Mel frequency cepstral coefficients, or moving dispersion may be used.
  • (2-2) Frequency analysis of heartbeat A window function is applied to the envelope of the heart sound extracted by the processing in (2-1) above, and frequency analysis is performed using fast Fourier transform (FFT) processing, etc. The frequency of the heartbeat is analyzed.
  • FFT fast Fourier transform
  • a temporally moving window is applied to the envelope of the heart sound, and frequency characteristics are generated for each time using, for example, the MUSIC method.
  • a multidimensional array is generated in which such frequency characteristics for each time are superimposed by the number of multi-windows described in "(1) Extraction of subspace" above. This multidimensional array can be expressed as a tensor (multidimensional array) as shown below.
  • represents a tensor product.
  • a tensor as described above is also referred to as a heartbeat frequency data tensor.
  • accurate time-series data of heart rate can be calculated by going through the processing at each stage described above.
  • FIG. 12 is a flowchart illustrating an example of operations performed by the electronic device 1 according to an embodiment.
  • FIG. 13 is a flowchart showing an example of the operation of step S16 in FIG. 12 in more detail. The flow of operations performed by the electronic device 1 according to one embodiment will be described below with reference to FIGS. 12 and 13.
  • Step S11 shown in FIG. 12 can be performed in the same manner as the operation in step S110 shown in FIG. That is, when the operation shown in FIG. 12 starts, first, in step S11, the signal processing unit 10 of the electronic device 1 processes a received signal (received signal).
  • the signal processing performed in step S11 may include, for example, the above-mentioned 2D-FFT, CFAR processing, and/or direction of arrival estimation. Such an operation may be performed by the received signal processing section 12 of the signal processing section 10, for example.
  • step S12 the signal processing unit 10 performs multi-window processing.
  • step S12 the signal processing unit 10 executes processing for determining human or animal cluster candidates and/or filtering processing (multi-window processing) on data subjected to 2D-FFT processing using a plurality of window functions. good.
  • the signal processing unit 10 may perform multi-window processing to generate a plurality of heart sound candidates as a step before selecting the best heart sound candidate.
  • the signal processing unit 10 may perform processing on the 2D-FFT-processed data to group point groups corresponding to people and animals into clusters. Further, the signal processing unit 10 may perform multi-window processing by applying multiple window functions to the selected cluster.
  • the multi-window processing performed here may include processing to generate 2D-FFT-processed data that is the basis of a plurality of heart sound candidates.
  • step S12 the signal processing unit 10 generates a plurality of candidate heart sounds by extracting only the area where the subject 200 is present using an appropriate window function on the range-Doppler plane calculated by 2D-FFT. You may do so.
  • the signal processing unit 10 may provide a plurality of window functions as appropriate window functions.
  • the signal processing unit 10 may use a window function such as a Hanning window, a Hamming window, and a Blackman-Harris window.
  • step S12 the signal processing unit 10 detects a vibration source (target) including heart sounds and/or body movements including breathing of the subject 200, for example, based on the following first to third steps. It's fine.
  • a vibration source target
  • body movements including breathing of the subject 200
  • the signal processing unit 10 classifies the point group exceeding the CFAR threshold on the range-Doppler plane into areas of predetermined angles based on the results of direction of arrival estimation (see FIGS. 5 and 6). For example, if the angle on the xy plane as shown in FIG. 6 is ⁇ , the area may be classified into areas A to C having the following angles. Area A: -10deg. ⁇ 10deg. Area B: -20deg. ⁇ 10deg. Area C: 10deg. ⁇ 20deg.
  • the signal processing unit 10 selects a group of points that exceed the CFAR threshold on the range-Doppler plane as shown in S1 of FIG. , apply clustering.
  • a method such as DBSCAN may be applied as the clustering.
  • the signal processing unit 10 compares the deviation D dev [l] of the number of bins in the Doppler direction with a certain threshold value D dev,th for the l-th cluster. do. As a result of this comparison, the signal processing unit 10 determines that only those for which D dev [l] ⁇ D dev,th are the subject 200, and sets a flag HF [l]. That is, the signal processing unit 10 may perform processing as shown in [pseudo code 1] below, for example.
  • step S13 the signal processing unit 10 restores the set of chirp signals.
  • the signal processing unit 10 may restore the set of chirp signals by performing inverse discrete Fourier transform (2D-IFFT) on the plurality of generated 2D-FFT data.
  • 2D-IFFT inverse discrete Fourier transform
  • FIG. 14 is a diagram illustrating multi-window processing by the electronic device 1 according to an embodiment.
  • FIG. 14 explains multi-window processing that generates multiple time-series signals using window functions moved in multiple range directions from a point group belonging to a cluster selected by pseudocode 1 above. .
  • the horizontal axis direction indicates range
  • the vertical axis direction indicates Doppler velocity.
  • the upper part of FIG. 14 shows the results of clustering a point group of 2D-FFT data at a certain time.
  • the upper part of FIG. 14 shows how three clusters, cluster 1, cluster 2, and cluster 3, are generated as a result of clustering.
  • the middle part of FIG. 14 conceptually shows how the signal processing unit 10 performs multi-window processing on each of cluster 1, cluster 2, and cluster 3.
  • the middle part of FIG. 14 shows how the signal processing unit 10 performs multi-window processing by applying a window function to each cluster while shifting it little by little in the range direction. Further, the lower part of FIG.
  • FIG. 14 shows the results of the vibration velocity calculated by the signal processing unit 10 by performing 2D-IFFT on each of cluster 1, cluster 2, and cluster 3.
  • the lower part of FIG. 14 shows how time-series vibration signals are generated by performing 2D-IFFT on each cluster.
  • a plurality of time-series vibration signals can be obtained by applying the window function multiple times to each cluster shown in FIG. 14 while shifting the window function little by little in the range direction.
  • 2D-FFT data corresponding to each window function is generated.
  • the 2D-FFT data generated by the l-th window function is expressed as in the following equation (1).
  • the signal processing unit 10 can calculate a time-series signal waveform of the vibration velocity according to the following equation (2).
  • a set of chirp signals is restored by two-dimensional inverse fast Fourier transform (2D-IFFT).
  • 2D-IFFT two-dimensional inverse fast Fourier transform
  • F -1 represents the inverse discrete Fourier transform
  • M represents the number of chirps for performing 2D-FFT processing.
  • cluster 1 for example cluster 1 shown in FIG. 14, will be described as an example.
  • step S14 the signal processing unit 10 analyzes the main component of the signal and/or removes noise.
  • Step S14 may be performed as singular value decomposition (SVD) to remove noise from the signal in a preprocessing manner. This processing may be performed to remove low-energy noise and/or low-level noise introduced by Fourier transform uncertainty.
  • SSD singular value decomposition
  • the signal processing unit 10 may perform singular value decomposition on the set S l of received chirp signals extracted in the 2D-FFT plane.
  • the matrix in which the left singular vectors are arranged as U the matrix in which the singular values are arranged diagonally as ⁇
  • the matrix in which the right singular vectors are arranged as V then the singular value decomposition of the set of received chirp signals S l
  • the * appended to V represents Hermite transposition.
  • N indicates the number of samples within one chirp signal
  • M indicates the number of chirp snapshots.
  • the signal processing unit 10 may limit (U ext ) the number of row vectors in the row of the left singular vector in equation (3) above. Further, the signal processing unit 10 may limit ( ⁇ ext ) the number of diagonal elements of the diagonal matrix of singular values in the above equation (3). This removes unnecessary noise signals and vibration components outside the desired position. As a result, the signal S l ext projected onto the subspace of the target signal of S l is expressed as the following equation (4).
  • FIG. 15 is a diagram illustrating the relationship between ranks representing the target signal and noise signal in singular value decomposition.
  • FIG. 15 is a diagram in which the SVD results are arranged in descending order of singular values (corresponding to energy), with the horizontal axis representing the rank and the vertical axis representing the singular value.
  • the present disclosure adopts the idea that a signal having a certain singular value or more becomes a target signal when extracted.
  • the rank of the singular value that is the boundary between whether or not the signal is a target signal is in the rank region of 30 or less, which is shown by the dark gray part in the graph of FIG.
  • the portion of the rank region of 30 or less becomes the region of the target signal.
  • the rank portion of this target signal is 1 or more and 30 or less. Therefore, in the present disclosure, for example, singular vectors corresponding to left and right singular values in a rank region of 1 or more and 30 or less may be extracted.
  • the rank portion of the target signal is 1 or more and 30 or less.
  • the maximum rank value may basically be determined empirically. Further, the maximum rank value (rank 30 in this disclosure) may be determined using a statistical method. In the graph of FIG. 15, the singular value suddenly decreases at rank 130, and signals at subsequent ranks basically become noise. Therefore, subsequent rank signals may be unnecessary.
  • the left and right singular vectors vectors spanning the signal space
  • the main causes of the left and right singular vectors are unnecessary minute vibrations and/or artificial noise (artifact) generated by radar signal processing. Therefore, such elements may be discarded.
  • the signal processing unit 10 converts the noise removed result into a signal waveform (step S15).
  • the signal processing unit 10 may convert the beat signal (IQ data) into a time-series vibration signal.
  • step S15 the signal processing unit 10 obtains the vector shown in the following equation (5) by calculating the sum of each chirp signal in the column vector based on the above equation (4).
  • step S15 finally, by taking the deviation and differentiation of s l ext,sum on the Gaussian plane, a vector representing the vibration velocity as shown in the following equation (6) is calculated.
  • step S16 the signal processing unit 10 extracts heart sounds and/or analyzes heartbeat intervals from the plurality of vibration waveforms obtained. Specifically, in step S16, the signal processing unit 10 extracts heart sounds from the vibration waveform shown in equation (6) above. In step S16, the signal processing unit 10 may perform a process of generating a heart sound waveform, a process of calculating a heart rate interval (RRI), and/or a process of calculating a heart rate variability (HRV). Thereby, the signal processing unit 10 can calculate the heartbeat interval. This process may be performed on a plurality of vibration velocity waveforms corresponding to each window function.
  • RRI heart rate interval
  • HRV heart rate variability
  • step S16 shown in FIG. 12 may include at least a part of the process of each step of steps S21 to S25 shown in FIG. 13 in more detail.
  • each step from step S21 to step S25 shown in FIG. 13 will be explained in more detail.
  • the signal processing unit 10 performs a process (denoising) to remove noise from a time-series waveform.
  • a wavelet method such as an empirical Bayes method or a continuous wavelet transform (CWT) may be used.
  • step S21 the signal processing unit 10 performs preprocessing to further remove unnecessary noise on the vibration velocity vector v l vib corresponding to the l-th window function.
  • the signal processing unit 10 may perform noise removal processing using an empirical Bayes method and/or band limitation using continuous wavelets. Further, in step S21, the signal processing unit 10 may perform noise removal processing by frequency subtraction using a noise profile for artifact noise accompanying the nonlinear processing from step S11 to step S14 shown in FIG. .
  • step S22 the signal processing unit 10 extracts the waveform of the target signal, that is, the waveform of the heart sound.
  • a method using discrete wavelets such as maximum overlap discrete wavelet transform (MODWT) may be used.
  • MODWT maximum overlap discrete wavelet transform
  • the signal processing unit 10 employs a wavelet waveform having a waveform similar to a heart waveform for the denoised signal as preprocessing, and performs multi-resolution analysis using discrete wavelet transform. good.
  • the signal processing unit 10 extracts only the subspace at the level of the multi-resolution analysis where the heart sound of the subject 200 exists empirically.
  • the signal processing unit 10 may extract the heart sounds of the subject 200 in step S22.
  • the signal processing unit 10 may use maximum overlap multi-resolution analysis (MODWT) or the like to improve temporal resolution.
  • wavelet bases suitable for extracting heartbeats may be, for example, Symlet and Daubechies. Further, these orders may be set appropriately each time.
  • FIG. 16 is a diagram conceptually showing multiresolution analysis using discrete wavelet transform. Then, the signal processing unit 10 can obtain the heart waveform h by limiting the empirically appropriate level to j 0 ⁇ N in the following equation (7) and reconstructing it.
  • ⁇ j0,k and ⁇ j,k represent vectors of the scale function and wavelet function, respectively
  • c k and d j,k represent their coefficients, respectively.
  • the electronic device 1 can obtain a heart waveform h such as the waveforms shown in FIGS. 26 and 27, which will be described later, for example. This result can be used as is for medical treatment of heart sounds.
  • step S23 the signal processing unit 10 generates an envelope waveform.
  • continuous wavelet transform discrete wavelet transform, wavelet scattering coefficients, Mel frequency cepstral coefficients, or moving dispersion may be used to generate the envelope waveform.
  • the signal processing unit 10 in order to detect (extract) the energy peak of the target signal (cardiac waveform) extracted in step S22, the signal processing unit 10 extracts a scalogram by continuous wavelet transform and an envelope waveform by making it one-dimensional. I do.
  • discrete/continuous wavelet transform, moving variance, and/or Hilbert transform may be used.
  • the signal processing unit 10 may obtain a scalogram by continuous wavelet transform in order to obtain the envelope waveform of the heart waveform h l shown in equation (7) above.
  • the signal processing unit 10 calculates the summation for a certain range f 1 to f 2 on the frequency axis at each time of the scalogram. Thereby, the signal processing unit 10 obtains a one-dimensional waveform s l h as shown in FIGS. 17 and 18.
  • 17 and 18 are diagrams showing examples of analysis results of continuous wavelet transform.
  • the continuous wavelet transform may be replaced with the discrete wavelet transform by appropriately setting the resolution.
  • FIG. 17 is a diagram showing a scalogram of the heart waveform h l .
  • FIG. 17 is a diagram showing a time change in the frequency of normalized vibration.
  • the horizontal axis of FIG. 17 indicates time in units of sample numbers, and the vertical axis of FIG. 17 indicates the normalized vibration frequency for each time period.
  • FIG. 18 is a diagram showing the result of performing one-dimensional processing on the scalogram of the heart waveform h l shown in FIG. 17 by continuous wavelet transformation.
  • FIG. 18 is a diagram showing changes in vibration speed over time.
  • the horizontal axis in FIG. 18 indicates time in units of sample numbers, and the vertical axis in FIG. 18 indicates vibration speed.
  • the matrix representing the absolute value of the scalogram satisfies the following equation (8).
  • the one-dimensional envelope waveform e l h is expressed as a graph shown in FIG. 18 .
  • the signal processing unit 10 can calculate this envelope waveform e l h using the following [pseudo code 2].
  • step S24 the signal processing unit 10 analyzes the frequency of the heartbeat.
  • the number of envelope waveforms (heart sound envelope data) generated by the process in step S23 is equal to the number of window functions.
  • frequency analysis is performed for one of multiple window functions.
  • FIG. 19 is a diagram showing the arrangement of time windows for the signal processing unit 10 to analyze the frequency of the envelope of heart sounds.
  • T and t are discrete times and represent non-negative integers.
  • the width w win of the time window is shown, and the width w o where the time windows overlap is shown.
  • MUSIC MUltiple SIgnal Classification
  • the observation matrix X can be obtained by dividing the samples within one window shown in FIG. 19 into equal sizes.
  • the subscript H on the upper right indicates Hermitian transposition.
  • the signal processing unit 10 performs eigenvalue decomposition of the autocorrelation matrix Rx obtained in the above [second processing].
  • the signal processing unit 10 classifies eigenvectors with large eigenvalues as base vectors in the signal space, and eigenvectors with small eigenvalues as base vectors in the noise space.
  • the eigenvectors are sorted in descending order of their eigenvalues, the 1 ⁇ m ⁇ pth eigenvector is set as the signal space, and the p+1 ⁇ m ⁇ Mth eigenvector is the base vector v m (p+1 ⁇ m ⁇ M ).
  • the MUSIC spectrum shown in the following equation (10) can be obtained.
  • FIG. 20 is a diagram showing an example of the calculated MUSIC spectrum (frequency analysis) calculated by the above equation (10).
  • the vertical axis in FIG. 20 shows the MUSIC spectrum, and the horizontal axis in FIG. 20 shows the frequency.
  • the frequency peaks g1, g2, and g3 are about 1 Hz, about 1.7 Hz, and about 3.1 Hz, respectively.
  • an appropriate heartbeat frequency may be finally picked up.
  • the process of picking up an appropriate heartbeat frequency may be performed by the following two-step process. These processes may be performed by the signal processing unit 10 in the electronic device 1 according to one embodiment.
  • peaks corresponding to the above class 1, class 2, and class 3 are extracted for each time frame.
  • the frequency of peak g1 shown in FIG. 20 is about 1 Hz, it falls under class 1.
  • the frequency of peak g2 shown in FIG. 20 is about 1.7 Hz, it falls under class 2.
  • the frequency of peak g3 shown in FIG. 20 is about 3.1 Hz, it does not fit into any class.
  • the number of time windows (time frames) to be processed is T, and the index is t.
  • J be the number of classes of heartbeat frequency
  • j be the index.
  • L be the number of window functions on the 2D-FFT shown in FIG. 14, and let l be the index.
  • the peak vector of the MUSIC spectrum P MU ( ⁇ ) in time frame t is assumed to be p MU,peak .
  • F l,t,j be the heartbeat frequency data tensor to be obtained.
  • find(Condition) in the above equation (11) is a function that searches for a value sandwiched between the maximum value and the minimum value in p MU,peak . If such a value is not found, for example, NaN (Not a number: standardized in the IEEE 754 floating point standard) may be defined to clearly indicate that the value does not exist.
  • the optimal one is selected from the frequency peak time series vectors generated for the frequency range of the plurality of detected heartbeats, and this is set as the final heartbeat frequency vector.
  • a process is performed in which the indices l and j of F l,t, j of the calculated heartbeat frequency data tensor are determined to be one natural number. That is, a process is performed to select the best one from L ⁇ J heartbeat frequency vectors. This processing is achieved by selecting a frequency vector that satisfies the following conditions: (1) there are few missing values (NaN), and (2) the change in heartbeat frequency is the smallest.
  • the above condition (1) is based on the principle that when there are many missing values, there is no peak in the MUSIC spectrum corresponding to that class j. Furthermore, the above condition (1) is based on the principle that if the window position in 2D-FFT and the frequency class of the heartbeat are not appropriate, the peak frequency of the MUSIC spectrum will not be fixed and will have extreme changes.
  • FIG. 21 is a diagram illustrating selection (pass/fail determination) of a heartbeat frequency vector by the electronic device 1 according to an embodiment.
  • the vertical axis in FIG. 21 indicates the frequency of heartbeat, and the horizontal axis in FIG. 21 indicates time.
  • a graph h1 shows an example of a heartbeat frequency vector determined to be optimal by the electronic device 1 according to an embodiment.
  • a graph h2 shows an example of a heartbeat frequency vector that is determined to be inappropriate by the electronic device 1 according to an embodiment.
  • a heartbeat frequency vector calculated based on an inappropriate 2DFFT window position and/or an inappropriate heartbeat frequency class causes unnatural large fluctuations.
  • the electronic device 1 can statistically select a heartbeat frequency vector such as the graph h1 and/or the graph h2 shown in FIG. 21, for example, by taking a variance value.
  • the selection conditional expressions can be written as, for example, the following expressions (12) and (13). Equation (12) indicates the above condition (1). Further, equation (13) indicates the above condition (1). In the above formulas (12) and (13), Num indicates the number of elements. Further, Var indicates dispersion.
  • the electronic device 1 can obtain an optimal heartbeat frequency vector as shown in the following equation (14).
  • the electronic device 1 obtains the reciprocal of the optimal heartbeat frequency vector as shown in equation (14) and the process of converting it into an integer, as shown in equation (15) below.
  • a heart rate data vector r can be obtained.
  • round indicates an operation for rounding to the nearest integer.
  • the electronic device 1 can obtain a time-series waveform of heart sounds, and can also obtain a time-series waveform of heart rate.
  • step S25 shown in FIG. 13 the signal processing unit 10 can generate a time-series vector of heart rate.
  • FIGS. 22, 23, and 24 are diagrams showing examples of data obtained by the electronic device 1 according to an embodiment.
  • 22 and 23 are diagrams showing examples of time-series waveforms of heart sounds obtained by the electronic device 1 according to an embodiment.
  • FIG. 24 is a diagram illustrating an example of a time-series waveform of heart sounds obtained by the electronic device 1 according to an embodiment.
  • the horizontal axis shows time
  • the vertical axis shows vibration speed.
  • the horizontal axis shows time
  • the vertical axis shows heart rate.
  • FIG. 22 is a diagram showing time-series waveforms of heart sounds obtained by the electronic device 1 according to an embodiment.
  • FIG. 23 is an enlarged view showing the time span of the area surrounded by the broken line in FIG. 22.
  • FIG. 22 is a diagram showing time-series waveforms of heart sounds obtained by the electronic device 1 according to an embodiment.
  • FIG. 23 is an enlarged view showing the time span of the area surrounded by the broken line in FIG. 22.
  • the first heart sound S1 and the second heart sound S2 can be clearly identified.
  • the heartbeat interval RRI calculated from the interval between the first heart sound S1 and the second heart sound S2 is also clear. can be specified.
  • the RRI and the heartbeat interval are not strictly the same, they are considered to approximately match. Therefore, in the present disclosure, RRI and heartbeat interval will be described as indicating the same thing.
  • FIG. 24 is a diagram showing an example of heart rate time series data calculated from the heart sound time series data shown in FIGS. 22 and 23. The results shown in FIG. 24 were calculated based on the heart sounds accurately extracted in FIGS. 22 and 23.
  • the electronic device 1 As explained above, according to the electronic device 1 according to the embodiment, detailed heart waveforms as shown in FIGS. 26 and 27, accurate RRI time series data as shown in FIG. 28, and accurate RRI time series data as shown in FIG.
  • the power spectral density (PSD) of the heartbeat interval can be obtained as shown.
  • the heartbeat of a human body or the like can be detected with good accuracy by transmitting and receiving radio waves. Therefore, the electronic device 1 according to the embodiment can detect weak vibrations such as the heartbeat of a human body with good accuracy by transmitting and receiving radio waves such as millimeter waves, and is useful in a wide variety of fields. There is expected.
  • the electronic device 1 it is possible to extract heart sounds using a radar using a high frequency band of millimeter waves or higher, analyze the heart sounds themselves, and realize accurate heartbeat interval extraction.
  • heart rate can be acquired with high precision and high robustness.
  • the electronic device 1 executed processing using the MUSIC method in step S24 of FIG.
  • the electronic device 1 may perform processing using other subspace methods such as the Root MUSIC method in step S24 of FIG. 13.
  • a plurality of heartbeat frequency classes and heart rate classes are set.
  • the heartbeat frequency class and the heartbeat rate class may be set to one class if the user's heart rate range is stored in a database or the like and is known.
  • the process in step S14 shown in FIG. 12 and/or the process in step S21 shown in FIG. 13 may be omitted depending on the situation.
  • the process in step S14 shown in FIG. 12 (singular value decomposition/process of analyzing principal components) may be replaced by another subspace method.
  • step S24 shown in FIG. 13 [Processing A] and [Processing B] are described for the case where the frequency vector of the heartbeat is processed.
  • the heartbeat frequency vector may be converted into a heartbeat rate vector and then processed.
  • the transmitting antenna array 24 and/or the receiving antenna array 31 included in the electronic device 1 are not limited to the arrangement shown in FIG. 8 .
  • the receiving antenna array 31 included in the electronic device 1 may have a configuration as shown in FIG. 25.
  • FIG. 30 is a diagram illustrating an example of a URA (uniform rectangular array) receiving antenna. By employing a URA receiving antenna as shown in FIG. 30, direction of arrival estimation at two angles may be performed using only the URA receiving antenna without changing the directivity using a beamformer in the transmitting antenna array 24.
  • the signal processing section 10 has been described as including functional sections such as the heartbeat extraction section 13 and the calculation section 14.
  • the processing performed by the heartbeat extraction unit 13 and/or the calculation unit 14 may be performed by an external computer, processor, or the like.
  • the process in step S14 shown in FIG. 12 may be omitted if the number of samples N for one chirp can be made large. good. Furthermore, in one embodiment, the process in step S14 shown in FIG. 12 (singular value decomposition/process to analyze principal components) may be omitted in cases where other noise contamination can be excluded by a hardware method or the like. good.
  • step S23 generation of heart sound envelope waveform
  • calculation was performed by adding the results of continuous wavelet transform in the frequency axis direction using [pseudo code 2].
  • the envelope waveform may be generated by other techniques, such as a moving average or a Hilbert transform.
  • the electronic device 1 detects weak vibrations such as heartbeats using, for example, a millimeter wave sensor including a plurality of transmitting antennas and a plurality of receiving antennas.
  • weak vibrations such as heartbeats
  • the electronic device 1 according to one embodiment does not detect a target, it detects the body movement of the target while performing a beamforming pattern of the transmitting antenna by changing the transmission phase of the antenna.
  • the electronic device 1 according to one embodiment detects a body movement of a target, it performs beamforming in the direction of the body movement and detects a heartbeat.
  • signal quality can be improved by automatically detecting the direction of the human body. Therefore, according to the electronic device 1 according to one embodiment, the detection accuracy and/or detection range of heartbeat can be improved. Therefore, according to the electronic device 1 according to one embodiment, a human heartbeat can be detected with high accuracy.
  • each functional unit, each means, each step, etc. may be added to other embodiments so as not to be logically contradictory, or each functional unit, each means, each step, etc. of other embodiments may be added to other embodiments to avoid logical contradiction. It is possible to replace it with Furthermore, in each embodiment, a plurality of functional units, means, steps, etc. can be combined into one or divided. Furthermore, the embodiments of the present disclosure described above are not limited to being implemented faithfully to each of the described embodiments, but may be implemented by combining features or omitting some features as appropriate. You can also do that.
  • the embodiment described above is not limited to implementation as the electronic device 1.
  • the embodiment described above may be implemented as a method of controlling a device such as the electronic device 1.
  • the above-described embodiments may be implemented as a program executed by a device such as the electronic device 1, or as a storage medium or recording medium on which a program is recorded.
  • the electronic device 1 has been described as including components that constitute a so-called radar sensor, such as the transmitting antenna array 24 and the receiving antenna array 31.
  • the electronic device according to one embodiment may be implemented as, for example, a configuration such as the signal processing unit 10.
  • the signal processing unit 10 may be implemented as having the function of processing signals handled by, for example, the transmitting antenna array 24 and the receiving antenna array 31.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Cardiology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

電子機器は、送信波を送信する送信部と、送信波の物標からの反射波を受信する受信部と、送信波及び受信波のビート信号をフーリエ変換した後の変換信号に基づいて、物標の距離、方向、及び速度を検出する信号処理部と、を備える。信号処理部は、変換信号から物標の心拍に伴う心音振動に相当する信号成分を複数の窓関数により抽出し、心音振動に相当する信号成分にエンベロープ処理を行ったエンベロープ信号に対して周波数解析を行い、周波数解析の結果に対して統計結果の算出処理を行い、算出結果に基づいて物標の心拍の周波数の時系列データを出力する。

Description

電子機器、電子機器の制御方法、及びプログラム 関連出願の相互参照
 本出願は、2022年9月16日に日本国に特許出願された特願2022-148633の優先権を主張するものであり、この先の出願の開示全体を、ここに参照のために取り込む。
 本開示は、電子機器、電子機器の制御方法、及びプログラムに関する。
 例えば自動車に関連する産業などの分野において、自車両と所定の物体との間の距離などを測定する技術が重要視されている。特に、近年、ミリ波のような電波を送信し、障害物などの物体に反射した反射波を受信することで、物体との間の距離などを測定するレーダ(RADAR(Radio Detecting and Ranging))の技術が、種々研究されている。このような距離などを測定する技術の重要性は、運転者の運転をアシストする技術、及び、運転の一部又は全部を自動化する自動運転に関連する技術の発展に伴い、今後ますます高まると予想される。
 また、送信された電波が所定の物体に反射した反射波を受信することで、当該物体の存在などを検出する技術について、種々の提案がされている。例えば特許文献1は、マイクロ波を利用することで、人の存在及び人の生体情報を検出し得る装置を提案している。また、例えば特許文献2は、マイクロ波レーダの反射信号に基づいて、生体の呼吸又は心拍の周波数のようなバイタルサインを検出する装置を提案している。
特開2002-71825号公報 特開2021-32880号公報
 一実施形態に係る電子機器は、
 送信波を送信する送信部と、
 前記送信波の物標からの反射波を受信する受信部と、
 前記送信波及び前記受信波のビート信号をフーリエ変換した後の変換信号に基づいて、前記物標の距離、方向、及び速度を検出する信号処理部と、
 を備える。
 前記信号処理部は、
  前記変換信号から前記物標の心拍に伴う心音振動に相当する信号成分を複数の窓関数により抽出し、
  前記心音振動に相当する信号成分にエンベロープ処理を行ったエンベロープ信号に対して周波数解析を行い、
  前記周波数解析の結果に対して統計結果の算出処理を行い、
  前記算出結果に基づいて、前記物標の心拍の周波数の時系列データを出力する。
 一実施形態に係る電子機器の制御方法は、
 送信部から送信波を送信するステップと、
 前記送信波の物標からの反射波を受信部において受信する受信部と、
 前記送信波及び前記受信波のビート信号をフーリエ変換した後の変換信号に基づいて、前記物標の距離、方向、及び速度を検出するステップと、
 前記変換信号から前記物標の心拍に伴う心音振動に相当する信号成分を複数の窓関数により抽出するステップと、
 前記心音振動に相当する信号成分にエンベロープ処理を行ったエンベロープ信号に対して周波数解析を行うステップと、
 前記周波数解析の結果に対して統計結果の算出処理を行うステップと、
 前記算出結果に基づいて、前記物標の心拍の周波数の時系列データを出力するステップと、
 を含む。
 一実施形態に係るプログラムは、
 電子機器に、
 送信部から送信波を送信するステップと、
 前記送信波の物標からの反射波を受信部において受信する受信部と、
 前記送信波及び前記受信波のビート信号をフーリエ変換した後の変換信号に基づいて、前記物標の距離、方向、及び速度を検出するステップと、
 前記変換信号から前記物標の心拍に伴う心音振動に相当する信号成分を複数の窓関数により抽出するステップと、
 前記心音振動に相当する信号成分にエンベロープ処理を行ったエンベロープ信号に対して周波数解析を行うステップと、
 前記周波数解析の結果に対して統計結果の算出処理を行うステップと、
 前記算出結果に基づいて、前記物標の心拍の周波数の時系列データを出力するステップと、
 を実行させる。
一実施形態に係る電子機器の使用態様を説明する図である。 一実施形態に係る電子機器の構成を概略的に示す機能ブロック図である。 一実施形態に係る電子機器が処理する信号の構成を説明する図である。 一実施形態に係る電子機器による信号の処理を説明する図である。 一実施形態に係る電子機器による信号の処理を説明する図である。 一実施形態に係る電子機器による信号の処理を説明する図である。 一実施形態に係る電子機器のアンテナアレイにおけるアンテナの配置の例及び動作原理を概略的に示す図である。 一実施形態に係る電子機器のアンテナアレイにおけるアンテナの配置の例を示す図である。 一実施形態に係る電子機器による信号の処理の例を示す図である。 一実施形態に係る電子機器による信号の処理の例を示す図である。 一実施形態に係る電子機器の動作の比較例を説明するフローチャートである。 一実施形態に係る電子機器の動作を説明するフローチャートである。 一実施形態に係る電子機器の動作を説明するフローチャートである。 一実施形態に係る電子機器によるマルチウインドウ処理を説明する図である。 一実施形態に係る電子機器による特異値分解における目的信号及びノイズ信号を表すそれぞれのランクの関係を示す図である。 一実施形態に係る電子機器による離散ウェーブレット変換による多重解像度解析を概念的に示す図である。 一実施形態に係る電子機器による、最良の心音の包絡線を分類識別する処理を概念的に説明する図である。 一実施形態に係る電子機器において、連続ウェーブレット変換により1次元化処理を施した結果を示す図である 一実施形態に係る電子機器によって心音の包絡線の周波数を分析するための時間窓の配置を示す図である。 一実施形態に係る電子機器による心音の包絡線のMUSICスペクトラムを示す図である。 一実施形態に係る電子機器による心拍の周波数ベクトルの選択について説明する図である。 一実施形態に係る電子機器によって得られる心音の時系列波形を示す図である。 一実施形態に係る電子機器によって得られる心音の時系列波形を示す図である。 一実施形態に係る電子機器によって得られる心拍数の時系列波形の例を示す図である。 一実施形態に係る電子機器のアンテナアレイにおけるアンテナの配置の例を示す図である。
 人体などの心拍のような微弱な振動を、例えばミリ波のような電波の送受信により検出することにより、その人体の心拍数を良好な制度で高ロバストに検出できれば、多種多様な分野において役立つことが期待できる。本開示の目的は、電波の送受信により、人体などの心拍数を良好な精度で高ロバストに検出し得る電子機器、電子機器の制御方法、及びプログラムを提供することにある。一実施形態によれば、電波の送受信により、人体などの心拍数を良好な精度で高ロバストに検出し得る電子機器、電子機器の制御方法、及びプログラムを提供することができる。以下、一実施形態について、図面を参照して詳細に説明する。
 本開示において、「電子機器」とは、電力により駆動する機器としてよい。また、「ユーザ」とは、一実施形態に係るシステム及び/又は電子機器を使用する者(典型的には人間)又は動物としてよい。ユーザは、一実施形態に係る電子機器を用いることで、人間などの対象の監視を行う者を含んでもよい。また、「対象」とは、一実施形態に係る電子機器によって監視される対象となる者(例えば人間又は動物)としてよい。さらに、ユーザは、対象を含むものとしてもよい。
 本開示において、「心拍」(heart beat)とは、心臓の拍動としてよい。また、「拍動」とは、心臓の行う律動的な収縮運動としてよい。
 また、本開示において、「心拍数」(heart rate)とは、一定の時間内に心臓が拍動する回数をいう。例えば、心拍数とは、1分間の拍動の数としてよい。心臓が血液を送り出す際には、動脈に拍動が生じる。このため、動脈の拍動の回数を、脈拍数、又は単に脈拍としてもよい。
 さらに、本開示において、「心音」(heart sound)とは、心臓の鼓動の音としてよい。すなわち、心音とは、心臓が収縮・拡張する時に起こる音としてよい。ここで、「心音」とは、心室筋の緊張、僧帽弁の閉鎖、動脈への血液駆出の開始、及び/又は血流の加速に基づく低く長い第1音と、これに続く大動脈弁閉鎖、及び/又は肺動脈弁閉鎖に由来する高く短い第2音とから成るものとしてよい。
 本開示において、心音は、必ずしも空気振動に基づく物理的な音に限定されず、心臓の鼓動(拍動)による振動そのものを意味するものとしてもよい。例えば、本開示において、心拍とは、振動源を含意することがあり、心音とは、振動源によって引き起こされる振動自体を含意することがあるものとする。さらに、本開示において、心拍とは、状況に応じて、心音を含意するものとしてもよい。
 また、本開示において、心音とは、心臓の動きに伴う身体の振動としてよい。心音とは、例えば、身体全体、又は、頭、首、胸、喉、腕、足、手首、若しくはその他の身体の一部の振動としてよい。心音とは、例えば、身体全体、又は、頭、首、胸、喉、腕、足、手首、若しくはその他の身体の一部の表面の皮膚などの振動としてよい。心音とは、例えば、身体全体、又は、頭、首、胸、喉、腕、足、手首、若しくはその他の身体の一部の表面の皮膚などの振動に伴う、被験者が着用している衣服、下着、眼鏡、又はその他の装着物などの振動としてよい。心拍とは、心臓の拍動自体であるとしてよい。心拍の動きから、心拍間隔、又は心拍数などが算出されるとしてよい。本開示では、心臓の拍動を鼓動としてもよい。
 一実施形態に係る電子機器は、当該電子機器の周囲に存在する人間などの対象の心拍を検出することができる。したがって、一実施形態に係る電子機器が利用される場面として想定されるのは、例えば、会社、病院、老人ホーム、学校、スポーツジム、及び介護施設などのような、社会活動を行う者が使用する特定の施設などとしてよい。例えば、会社であれば従業員などの健康状態の把握及び/又は管理は、極めて重要である。同様に、病院であれば患者及び医療従事者など、また老人ホームであれば入居者及びスタッフなどの健康状態の把握及び/又は管理は、極めて重要である。一実施形態に係る電子機器が利用される場面は、上述の、会社、病院、及び老人ホームなどの施設に限定されず、対象の健康状態の把握及び/又は管理などが望まれるような任意の施設としてよい。任意の施設は、例えば、ユーザの自宅などの非商業施設も含んでもよい。また、一実施形態に係る電子機器が利用される場面は、屋内に限られず、屋外としてもよい。例えば、一実施形態に係る電子機器が利用される場面は、電車、バス、及び飛行機などの移動体内、並びに、駅及び乗り場などとしてもよい。また、一実施形態に係る電子機器が利用される場面として、自動車、航空機、若しくは船舶などの移動体、ホテル、ユーザの自宅、自宅でのリビングルーム、お風呂、トイレ、又は寝室などとしてもよい。
 一実施形態に係る電子機器は、例えば、介護施設などにおいて、要看護者又は要介護者などのような対象の心拍を検出又は監視する用途で用いられてよい。また、一実施形態に係る電子機器は、例えば要看護者又は要介護者などのような対象の心拍に異常が認められる場合に、例えば本人及び/又は他の者に所定の警告を発してもよい。したがって、一実施形態に係る電子機器によれば、例えば本人及び/又は介護施設などのスタッフは、例えば要看護者又は要介護者などのような対象の脈拍に異常が認められることを認識し得る。一方、一実施形態に係る電子機器は、例えば要看護者又は要介護者などのような対象の心拍に異常が認められない(例えば正常と認められる)場合に、例えば本人及び/又は他の者にその旨を報知してもよい。したがって、一実施形態に係る電子機器によれば、例えば本人及び/又は介護施設などのスタッフは、例えば要看護者又は要介護者などのような対象の脈拍が正常であることを認識し得る。
 また、一実施形態に係る電子機器は、人間以外の他の動物を対象として、脈拍を検出してもよい。以下説明する一実施形態に係る電子機器は、一例として、ミリ波レーダのような技術に基づくセンサによって、人間の脈拍を検出するものとして説明する。
 一実施形態に係る電子機器は、任意の静止物に設置されてもよいし、任意の移動体に設置されてもよい。一実施形態に係る電子機器は、送信アンテナから、電子機器の周囲に送信波を送信することができる。また、一実施形態に係る電子機器は、受信アンテナから、送信波が反射された反射波を受信することができる。送信アンテナ及び受信アンテナの少なくとも一方は、電子機器に備えられるものとしてもよいし、例えばレーダセンサ等に備えられてもよい。
 以下、典型的な例として、一実施形態に係る電子機器は、静止しているものとして説明する。一方、一実施形態に係る電子機器が脈拍を検出する対象(人間)は、静止していてもよいし、移動していてもよいし、静止した状態で身体を動かしていてもよい。一実施形態に係る電子機器は、通常のレーダセンサと同様に、電子機器の周囲の物体が移動し得るような状況において、電子機器と当該物体との間の距離などを測定することができる。また、一実施形態に係る電子機器は、電子機器及び物体の双方が静止していても、電子機器と物体との間の距離などを測定することができる。
 一実施形態に係る電子機器について、以下、図面を参照して詳細に説明する。まず、一実施形態に係る電子機器による物体の検出の例を説明する。
 図1は、一実施形態に係る電子機器の使用態様の一例を説明する図である。図1は、一実施形態に係る送信アンテナ及び受信アンテナを備えるセンサの機能を備える電子機器の例を示している。
 図1に示すように、一実施形態に係る電子機器1は、後述する送信部及び受信部を備えてよい。後述のように、送信部は送信アンテナアレイ24を備えてよい。また、受信部は受信アンテナアレイ31を備えてよい。電子機器1、送信部、及び受信部の具体的な構成については後述する。図1は、見易さのために、電子機器1が送信アンテナアレイ24及び受信アンテナアレイ31を備える状況を示してある。また、電子機器1は、電子機器1に含まれる信号処理部10(図2)の少なくとも一部など、他の機能部の少なくともいずれかを、適宜含んでもよい。また、電子機器1は、電子機器1に含まれる信号処理部10(図2)の少なくとも一部など、他の機能部の少なくともいずれかを、電子機器1の外部に備えてもよい。図1において、電子機器1は、移動していてもよいが、移動せずに静止していてよい。
 図1に示す例において、電子機器1は、送信アンテナアレイ24を備える送信部及び受信アンテナアレイ31を備える受信部を、簡略化して示してある。電子機器1は、例えば複数の送信部及び/又は複数の受信部を備えてもよい。送信部は、複数の送信アンテナから構成される送信アンテナアレイ24を備えてよい。また、受信部は、複数の受信アンテナから構成される受信アンテナアレイ31を備えてよい。ここで、送信部及び/又は受信部が電子機器1に設置される位置は、図1に示す位置に限定されるものではなく、適宜、他の位置としてもよい。また、送信部及び/又は受信部の個数は、電子機器1による心拍の検出範囲及び/又は検出精度など各種の条件(又は要求)に応じて、1つ以上の任意の数としてよい。
 電子機器1は、後述のように、送信アンテナアレイ24から送信波として電磁波を送信する。例えば電子機器1の周囲に所定の物体(例えば図1に示す対象200)が存在する場合、電子機器1から送信された送信波の少なくとも一部は、当該物体によって反射されて反射波となる。そして、このような反射波を例えば電子機器1の受信アンテナアレイ31によって受信することにより、電子機器1は、当該対象をターゲットとして検出することができる。
 送信アンテナアレイ24を備える電子機器1は、典型的には、電波を送受信するレーダ(RADAR(Radio Detecting and Ranging))センサとしてよい。しかしながら、電子機器1は、レーダセンサに限定されない。一実施形態に係る電子機器1は、例えば光波によるLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)の技術に基づくセンサとしてもよい。これらのようなセンサは、例えばパッチアンテナなどを含んで構成することができる。RADAR及びLIDARのような技術は既に知られているため、詳細な説明は、適宜、簡略化又は省略することがある。さらに、一実施形態に係る電子機器1は、例えば音波又は超音波を送受信して物体を検出する技術に基づくセンサとしてもよい。
 図1に示す電子機器1は、送信アンテナアレイ24から送信された送信波の反射波を受信アンテナアレイ31から受信する。このようにして、電子機器1は、電子機器1から所定の距離内に存在する所定の対象200をターゲットとして検出することができる。例えば、図1に示すように、電子機器1は、電子機器1と所定の対象200との間の距離Lを測定することができる。また、電子機器1は、電子機器1と所定の対象200との相対速度も測定することができる。さらに、電子機器1は、所定の対象200からの反射波が、電子機器1に到来する方向(到来角θ)も測定することができる。
 図1において、XY平面は、例えば地表にほぼ平行な平面としてよい。この場合、図1に示すZ軸の正方向は、鉛直上向きを示すものとしてよい。図1において、電子機器1は、XY平面と平行な平面上に配置されているものとしてよい。また、図1において、対象200は、例えば、XY平面にほぼ平行な地表に立っている状態としてよい。
 ここで、対象200とは、例えば電子機器1の周囲に存在する人間などとしてよい。また、対象200とは、例えば電子機器1の周囲に存在する動物など、人間以外の生物としてもよい。上述のように、対象200は、移動していてもよいし、停止又は静止していてもよい。本開示において、電子機器1が検出する物体は、任意の物体のような無生物の他に、人、犬、猫、及び馬、その他の動物などの生物も含む。本開示の電子機器1が検出する物体は、レーダ技術により検知される、人、物、及び動物などを含む物標を含んでもよい。本開示において、物標は、人、物、及び動物などを含むとしてよい。以下、電子機器1の周囲に存在する対象200のような物体は、人間(又は動物)であることを想定して説明する。以下、「対象200」は、適宜、「被験者200」とも記す。本開示において、物標とは、上記の対象200であるとしてもよい。
 図1において、電子機器1の大きさと、対象200の大きさとの比率は、必ずしも実際の比率を示すものではない。また、図1において、送信部の送信アンテナアレイ24及び受信部の受信アンテナアレイ31は、電子機器1の外部に設置した状態を示してある。しかしながら、一実施形態において、送信部の送信アンテナアレイ24及び/又は受信部の受信アンテナアレイ31は、電子機器1の各種の位置に設置してよい。例えば、一実施形態において、送信部の送信アンテナアレイ24及び/又は受信部の受信アンテナアレイ31は、電子機器1の内部に設置して、電子機器1の外観に現れないようにしてもよい。
 以下、典型的な例として、電子機器1の送信アンテナは、ミリ波(30GHz以上)又は準ミリ波(例えば20GHz~30GHz付近)などのような周波数帯の電波を送信するものとして説明する。一方、電子機器1の送信アンテナは、例えば77GHz~81GHzのように、4GHzの周波数帯域幅を有する電波を送信してもよい。
 図2は、一実施形態に係る電子機器1の構成例を概略的に示す機能ブロック図である。以下、一実施形態に係る電子機器1の構成の一例について説明する。
 ミリ波方式のレーダによって距離などを測定する際、周波数変調連続波レーダ(以下、FMCWレーダ(Frequency Modulated Continuous Wave radar)と記す)が用いられることが多い。FMCWレーダは、送信する電波の周波数を掃引して送信信号が生成される。したがって、例えば79GHzの周波数帯の電波を用いるミリ波方式のFMCWレーダにおいて、使用する電波の周波数は、例えば77GHz~81GHzのように、4GHzの周波数帯域幅を持つものとなる。79GHzの周波数帯のレーダは、例えば24GHz、60GHz、76GHzの周波数帯などの他のミリ波/準ミリ波レーダよりも、使用可能な周波数帯域幅が広いという特徴がある。以下、例として、このような実施形態について説明する。
 本開示で利用されるFMCWレーダレーダ方式は、通常より短い周期でチャープ信号を送信するFCM方式(Fast-Chirp Modulation)を含むとしてもよい。電子機器1が生成する信号は、FMCW方式の信号に限定されない。電子機器1が生成する信号は、FMCW方式以外の各種の方式の信号としてもよい。任意の記憶部に記憶される送信信号列は、これら各種の方式によって異なるものとしてよい。例えば、上述のFMCW方式のレーダ信号の場合、時間サンプルごとに周波数が増加する信号及び減少する信号を使用してよい。上述の各種の方式は、公知の技術を適宜適用することができるため、より詳細な説明は省略する。
 図2に示すように、一実施形態に係る電子機器1は、信号処理部10を備えている。信号処理部10は、信号発生処理部11、受信信号処理部12、心拍抽出部13、及び算出部14を備えてよい。心拍抽出部13は、例えば、マイクロドップラーの成分を抽出する処理を実行してよい。また、心拍抽出部13は、被験者200の心音の包絡を抽出する処理を実行してよい。算出部14は、例えば、被験者200の心拍間隔(RRI)を算出する処理を実行してよい。また、算出部14は、例えば、被験者200の心拍を算出する処理を実行してよい。さらに、算出部14は、例えば、被験者200の心拍変動(Heart rate validity:HRV)を算出する処理を実行してよい。この場合、算出部14は、抽出された被験者200の心拍間隔の時系列データの周波数解析を行う処理を実行してもよい。また、算出部14は、心拍間隔の時系列データの周波数解析に基づいて、被験者200の心拍変動を算出する処理を実行してもよい。本開示において、算出部14は、心拍間隔を算出し、それを用いて心拍変動を計算するものとしてもよい。信号発生処理部11、受信信号処理部12、心拍抽出部13、及び算出部14については、適宜、さらに後述する。本開示において、心音とは、例えばレーダで直接的に観測される胸の振動波形(図20など参照)としてよく、胸部振動としてもよい。心拍とは、心臓の拍動自体である。心拍の動きから、心拍間隔、又は心拍数などが算出されるとしてよい。心拍間隔とは、心臓の拍動と次の心臓の拍動との間の時間間隔としてよい。
 また、一実施形態に係る電子機器1は、送信部として、送信DAC21、送信回路22、ミリ波送信回路23、及び、送信アンテナアレイ24を備えている。また、一実施形態に係る電子機器1は、受信部として、受信アンテナアレイ31、ミキサ32、受信回路33、及び、受信ADC34を備えている。一実施形態に係る電子機器1は、図2に示す機能部のうち少なくともいずれかを含まなくてもよいし、図2に示す機能部以外の機能部を含んでもよい。図2に示す電子機器1は、ミリ波帯域等の電磁波を用いた一般的なレーダと基本的に同様に構成した回路を用いて構成してよい。一方で、一実施形態に係る電子機器1において、信号処理部10による信号処理は、従来の一般的なレーダとは異なる処理を含んでよい。
 一実施形態に係る電子機器1が備える信号処理部10は、電子機器1を構成する各機能部の制御をはじめとして、電子機器1全体の動作の制御を行うことができる。特に、信号処理部10は、電子機器1が扱う信号について各種の処理を行う。信号処理部10は、種々の機能を実行するための制御及び処理能力を提供するために、例えばCPU(Central Processing Unit)又はDSP(Digital Signal Processor)のような、少なくとも1つのプロセッサを含んでよい。信号処理部10は、まとめて1つのプロセッサで実現してもよいし、いくつかのプロセッサで実現してもよいし、それぞれ個別のプロセッサで実現してもよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、IC(Integrated Circuit)ともいう。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。一実施形態において、信号処理部10は、例えばCPU(ハードウェア)及び当該CPUで実行されるプログラム(ソフトウェア)として構成してよい。信号処理部10は、信号処理部10の動作に必要な記憶部(メモリ)を適宜含んでもよい。
 信号処理部10の信号発生処理部11は、電子機器1から送信する信号を発生する。一実施形態に係る電子機器1において、信号発生処理部11は、例えばチャープ信号のような送信信号(送信チャープ信号)を生成してよい。特に、信号発生処理部11は、周波数が周期的に線形に変化する信号(線形チャープ信号)を生成してもよい。例えば、信号発生処理部11は、周波数が時間の経過に伴って77GHzから81GHzまで周期的に線形に増大するチャープ信号としてもよい。また、例えば、信号発生処理部11は、周波数が時間の経過に伴って77GHzから81GHzまで線形の増大(アップチャープ)及び減少(ダウンチャープ)を周期的に繰り返す信号を生成してもよい。信号発生処理部11が生成する信号は、例えば信号処理部10において予め設定されていてもよい。また、信号発生処理部11が生成する信号は、例えば信号処理部10における任意の記憶部などに予め記憶されていてもよい。レーダのような技術分野で用いられるチャープ信号は既知であるため、より詳細な説明は、適宜、簡略化又は省略する。信号発生処理部11によって生成された信号は、送信DAC21に供給される。このため、信号発生処理部11は、送信DAC21に接続されてよい。
 送信DAC(デジタル・アナログ・コンバータ)21は、信号発生処理部11から供給されるデジタル信号をアナログ信号に変換する機能を有する。送信DAC21は、一般的なデジタル・アナログ・コンバータを含めて構成してよい。送信DAC21によってアナログ化された信号は、送信回路22に供給される。このため、送信DAC21は、送信回路22に接続されてよい。
 送信回路22は、送信DAC21によってアナログ化された信号を中間周波数(Intermediate Frequency:IF)の帯域に変換する機能を有する。送信回路22は、一般的なIF帯域の送信回路を含めて構成してよい。送信回路22によって処理された信号は、ミリ波送信回路23に供給される。このため、送信回路22は、ミリ波送信回路23に接続されてよい。
 ミリ波送信回路23は、送信回路22によって処理された信号を、ミリ波(RF波)として送信する機能を有する。ミリ波送信回路23は、一般的なミリ波の送信回路を含めて構成してよい。ミリ波送信回路23によって処理された信号は、送信アンテナアレイ24に供給される。このため、ミリ波送信回路23は、送信アンテナアレイ24に接続されてよい。また、ミリ波送信回路23によって処理された信号は、ミキサ32にも供給される。このため、このため、ミリ波送信回路23は、ミキサ32にも接続されてよい。
 送信アンテナアレイ24は、複数の送信アンテナをアレイ状に配列させたものである。図2においては、送信アンテナアレイ24の構成を簡略化して示してある。送信アンテナアレイ24は、ミリ波送信回路23によって処理された信号を、電子機器1の外部に送信する。送信アンテナアレイ24は、一般的なミリ波レーダにおいて用いられる送信アンテナアレイを含めて構成してよい。
 このようにして、一実施形態に係る電子機器1は、送信アンテナ(送信アンテナアレイ24)を備え、送信アンテナアレイ24から送信波として送信信号(例えば送信チャープ信号)を送信することができる。
 例えば、図2に示すように、電子機器1の周囲に被験者200のような物体が存在する場合を想定する。この場合、送信アンテナアレイ24から送信された送信波の少なくとも一部は、被験者200のような物体によって反射される。送信アンテナアレイ24から送信された送信波のうち、被験者200のような物体によって反射されるものの少なくとも一部は、受信アンテナアレイ31に向けて反射され得る。
 受信アンテナアレイ31は、反射波を受信する。ここで、当該反射波は、送信アンテナアレイ24から送信された送信波のうち被験者200のような物体によって反射されたものの少なくとも一部としてよい。
 受信アンテナアレイ31は、複数の受信アンテナをアレイ状に配列させたものである。図2においては、受信アンテナアレイ31の構成を簡略化して示してある。受信アンテナアレイ31は、送信アンテナアレイ24から送信された送信波が反射された反射波を受信する。受信アンテナアレイ31は、一般的なミリ波レーダにおいて用いられる受信アンテナアレイを含めて構成してよい。受信アンテナアレイ31は、反射波として受信された受信信号を、ミキサ32に供給する。このため、受信アンテナアレイ31は、ミキサ32に接続されてよい。
 ミキサ32は、ミリ波送信回路23によって処理された信号(送信信号)と、受信アンテナアレイ31によって受信された受信信号とを、中間周波数(IF)の帯域に変換する。ミキサ32は、一般的なミリ波レーダにおいて用いられるミキサを含めて構成してよい。ミキサ32は、合成された結果として生成される信号を、受信回路33に供給する。このため、ミキサ32は、受信回路33に接続されてよい。
 受信回路33は、ミキサ32によってIF帯域に変換された信号をアナログ処理する機能を有する。受信回路33は、一般的なIF帯域に変換する受信回路を含めて構成してよい。受信回路33によって処理された信号は、受信ADC34に供給される。このため、受信回路33は、受信ADC34に接続されてよい。
 受信ADC(アナログ・デジタル・コンバータ)34は、受信回路33から供給されるアナログ信号をデジタル信号に変換する機能を有する。受信ADC34は、一般的なアナログ・デジタル・コンバータを含めて構成してよい。受信ADC34によってデジタル化された信号は、信号処理部10の受信信号処理部12に供給される。このため、受信ADC34は、信号処理部10に接続されてよい。
 信号処理部10の受信信号処理部12は、受信DAC34から供給されるデジタル信号に各種の処理を施す機能を有する。例えば、受信信号処理部12は、受信DAC34から供給されるデジタル信号に基づいて、電子機器1から被験者200のような物体までの距離を算出する(測距)。また、受信信号処理部12は、受信DAC34から供給されるデジタル信号に基づいて、被験者200のような物体の電子機器1に対する相対速度を算出する(測速)。さらに、受信信号処理部12は、受信DAC34から供給されるデジタル信号に基づいて、被験者200のような物体の電子機器1から見た方位角を算出する(測角)。具体的には、受信信号処理部12には、I/Q変換されたデータが入力されてよい。このようなデータが入力されることにより、受信信号処理部12は、距離(Range)方向及び速度(Velocity)方向の高速フーリエ変換(2D-FFT)をそれぞれ行う。その後、受信信号処理部12は、例えばCFAR(Constant False Alarm Rate)などの処理による雑音点の除去による誤警報の抑制と一定確率化を行う。そして、受信信号処理部12は、CFARの基準を満たす点に対して到来角度推定を行うことにより、被験者200のような物体の位置を得ることとなる。受信信号処理部12によって測距、測速、及び測角された結果として生成される情報は、心拍抽出部13に供給されてよい。
 心拍抽出部13は、受信信号処理部12よって生成された情報から、心拍に関する情報を抽出する。心拍抽出部13による心拍に関する情報の抽出動作については、さらに後述する。心拍抽出部13によって抽出された心拍に関する情報は、算出部14に供給されてよい。
 算出部14は、心拍抽出部13から供給される心拍に関する情報に、各種の算出処理及び/又は演算処理などを行う。算出部14による各種の算出処理及び/又は演算処理などについては、さらに後述する。算出部14によって算出及び/又は演算処理などされた各種の情報は、例えば通信インタフェース50などに供給されてよい。このため、算出部14及び/又は信号処理部10は、通信インタフェース50に接続されてよい。算出部14によって算出及び/又は演算処理などされた各種の情報は、通信インタフェース50以外の他の機能部に供給されてもよい。
 通信インタフェース50は、信号処理部10から供給される情報を例えば外部機器60などに出力するインタフェースを含んで構成される。通信インタフェース50は、被験者200のような物体の位置、速度、及び角度の少なくともいずれかの情報を、例えばCAN(Controller Area Network)などの信号として、外部機器60などに出力してよい。例えば、被験者200のような物体の位置、速度、角度の少なくともいずれかの情報は、通信インタフェース50を経て、外部機器60などに供給されてよい。このため、通信インタフェース50は、外部機器60などに接続されてよい。
 図2に示すように、一実施形態に係る電子機器1は、通信インタフェース50を介して、外部機器60に有線又は無線によって接続されてよい。一実施形態において、外部機器60は、任意のコンピュータ及び/又は任意の制御機器などを含んで構成されてよい。また、一実施形態に係る電子機器1は、外部機器60を含んで構成されてもよい。外部機器60は、電子機器1が検出する心拍及び/又は心音の情報が利用される態様に応じて、各種の構成とすることができる。したがって、外部機器60について、より詳細な説明は省略する。
 図3は、信号処理部10の信号発生処理部11が生成するチャープ信号の例を説明する図である。
 図3は、FCM(Fast-Chirp Modulation(高速チャープ変調))方式を用いた場合における1フレームの時間的構造を示す。図3は、FCM方式の受信信号の一例を示している。FCMは、図3においてc1,c2,c3,c4,…,cnのように示すチャープ信号を、短い間隔(例えば最大測距距離から算出される電磁波のレーダと物標との間の往復時間以上)で繰り返す方式である。FCMにおいては、受信信号の信号処理の都合上、図3に示すようなサブフレーム単位に区分けして、送受信の処理を行うことが多い。
 図3において、横軸は経過する時間を表し、縦軸は周波数を表す。図3に示す例において、信号発生処理部11は、周波数が周期的に線形に変化する線形チャープ信号を生成する。図3においては、各チャープ信号を、c1,c2,c3,c4,…,cnのように示してある。図3に示すように、それぞれのチャープ信号において、時間の経過に伴って周波数が線形に増大する。
 図3に示す例において、c1,c2,c3,c4,…,cnのようにいくつかのチャープ信号を含めて、1つのサブフレームとしている。すなわち、図3に示すサブフレーム1及びサブフレーム2などは、それぞれc1,c2,c3,c4,…,cnのようにいくつかのチャープ信号を含んで構成されている。また、図3に示す例において、サブフレーム1,サブフレーム2,…,サブフレームNのようにいくつかのサブフレームを含めて、1つのフレーム(1フレーム)としている。すなわち、図3に示す1フレームは、N個のサブフレームを含んで構成されている。また、図3に示す1フレームをフレーム1として、その後に、フレーム2,フレーム3,…などが続いてよい。これらのフレームは、それぞれフレーム1と同様に、N個のサブフレームを含んで構成されてよい。また、フレーム同士の間には、所定の長さのフレームインターバルを含めてもよい。図3に示す1つのフレームは、例えば30ミリ秒から50ミリ秒程度の長さとしてよい。
 一実施形態に係る電子機器1において、信号発生処理部11は、任意の数のフレームとして送信信号を生成してよい。また、図3においては、一部のチャープ信号は省略して示している。このように、信号発生処理部11が生成する送信信号の時間と周波数との関係は、例えば信号処理部10の記憶部などに記憶しておいてよい。
 このように、一実施形態に係る電子機器1は、複数のチャープ信号を含むサブフレームから構成される送信信号を送信してよい。また、一実施形態に係る電子機器1は、サブフレームを所定数含むフレームから構成される送信信号を送信してよい。
 以下、電子機器1は、図3に示すようなフレーム構造の送信信号を送信するものとして説明する。しかしながら、図3に示すようなフレーム構造は一例であり、例えば1つのサブフレームに含まれるチャープ信号は任意としてよい。すなわち、一実施形態において、信号発生処理部11は、任意の数(例えば任意の複数)のチャープ信号を含むサブフレームを生成してよい。また、図3に示すようなサブフレーム構造も一例であり、例えば1つのフレームに含まれるサブフレームは任意としてよい。すなわち、一実施形態において、信号発生処理部11は、任意の数(例えば任意の複数)のサブフレームを含むフレームを生成してよい。信号発生処理部11は、異なる周波数の信号を生成してよい。信号発生処理部11は、周波数fがそれぞれ異なる帯域幅の複数の離散的な信号を生成してもよい。
 図4は、図3に示したサブフレームの一部を、他の態様で示した図である。図4は、信号処理部10の受信信号処理部12(図2)において行う処理である2D-FFT(Two Dimensional Fast Fourier Transform)を行った結果として、図3に示した送信信号を受信した受信信号の各サンプルを示したものである。
 図4に示すように、サブフレーム1,…,サブフレームNのような各サブフレームにおいて各チャープ信号c1,c2,c3,c4,…,cnが格納されている。図4において、各チャープ信号c1,c2,c3,c4,…,cnは、それぞれ横方向に配列された升目によって示す各サンプルから構成されている。図4に示す受信信号は、図2に示した受信信号処理部12によって、2D-FFT、CFAR、及び/又は、各サブフレームの統合信号処理などが施される。
 図5は、図2に示した受信信号処理部12において、2D-FFT、CFAR、及び各サブフレームの統合信号処理が施された結果、レンジ-ドップラー(距離-速度)平面上の点群が算出された例を示す図である。
 図5において、横方向はレンジ(距離)を表し、縦方向は速度を表している。図5に示す、塗りつぶされた升目s1は、CFARの閾値処理を超えた信号を示す点群を示す。図5に示す、塗りつぶされていない升s2は、CFARの閾値を超えなかった、点群のないbin(2D-FFTサンプル)を示す。図5において算出されたレンジ-ドップラー平面上の点群は、方向推定によりレーダからの方位を算出されて、被験者200のような物体を示す点群として、2次元平面上の位置及び速度が算出される。ここで、方向推定は、ビームフォーマ及び/又は部分空間法により算出されてよい。代表的な部分空間法のアルゴリズムには、MUSIC(MUltiple SIgnal Classification)、及び、ESPRIT(Estimation of Signal Parameters via Rotation Invariance Technique)などがある。
 図6は、受信信号処理部12が、方向推定を行った後に、図5に示したレンジ-ドップラー平面から、XY平面への点群座標の変換を行った結果の例を示す図である。図6に示すように、受信信号処理部12は、XY平面上に点群PGをプロットすることができる。ここで、点群PGは、各点Pから構成されている。また、それぞれの点Pは、角度θ、及び、極座標における半径方向の速度Vrを有している。
 受信信号処理部12は、2D-FFT及び角度推定の結果の少なくともいずれかに基づいて、送信波Tが送信された範囲に存在する物体を検出する。受信信号処理部12は、それぞれ推定された距離の情報、速度の情報、及び角度情報に基づいて例えばクラスタリング処理を行うことにより、物体検出を行ってもよい。データをクラスタリングする際に用いるアルゴリズムとして、例えばDBSCAN(Density-based spatial clustering of applications with noise)などが知られている。これは、密度に準拠したクラスタリングを行うアルゴリズムである。クラスタリング処理においては、例えば検出される物体を構成するポイントの平均電力を算出してもよい。受信信号処理部12において検出された物体の距離の情報、速度の情報、角度情報、及び電力の情報は、例えば、通信インタフェース50を介して、外部機器60などに供給されてもよい。
 以上のように、電子機器1は、送信アンテナ(送信アンテナアレイ24)と、受信アンテナ(受信アンテナアレイ31)と、信号処理部10とを備えてよい。送信アンテナアレイ24は、送信波Tを送信する。受信アンテナアレイ31は、送信波Tが反射された反射波Rを受信する。そして、信号処理部10は、送信波Tとして送信される送信信号、及び、反射波Rとして受信される受信信号に基づいて、送信波Tを反射する物体(例えば被験者200のような物体など)を検出する。
 次に、一実施形態に係る電子機器1のアンテナアレイによる到来波の方向推定について、さらに説明する。
 図7は、一実施形態に係る電子機器1の受信アンテナアレイ31の構成、及び受信アンテナアレイ31による到来波の方向推定の原理を説明する図である。図7は、受信アンテナアレイ31による電波の受信の例を示している。
 図7に示すように、受信アンテナアレイ31は、受信アンテナのようなセンサを一直線状に並べたものとしてよい。図7に示すように、一実施形態において、受信アンテナアレイ31は、一直線に並べて配列される複数の受信アンテナを含んで構成されてよい。図7において、受信アンテナアレイ31は、アンテナx1、x2、x3、…、xMのような複数のアンテナを小円により示してある。受信アンテナアレイ31は、任意の複数のアンテナにより構成されてよい。また、図7に示すように、受信アンテナアレイ31を構成する複数のアンテナは、それぞれアレイピッチdの間隔だけ離して並べたものとする。このように、各種物理的波動に対応するセンサ(アンテナ、超音波振動子、及びマイクロフォンなど)をアレイ状に配置したセンサアレイは、Uniform Linear Array(ULA)とも呼ばれる。図7に示すように、物理的波動(電磁波及び音波など)は、例えばθ1及びθ2のような様々な方向から到来する。ここで、θ1及びθ2は、上述した到来角としてよい。このように、受信アンテナアレイ31のようなセンサアレイは、物理的波動の到来方向に応じてセンサ間の測定値に生じる位相差を利用して、到来方向(到来角)を推定することができる。このように、波動の到来方向を推定する手法を、到来角推定、又は到来方向推定(Direction of Arrival:DoA)とも記す。
 一実施形態に係る電子機器1において、送信アンテナアレイ24及び受信アンテナアレイ31の少なくとも一方は、複数のアンテナを直線状に配置したものとしてよい。これにより、例えばミリ波レーダにおいて電波の送受信の際の指向性を適切に狭めることができる。送信波を送信する際には、ビームフォーマにより、送信ビームの方向が制御されることが多い。一方、反射波を受信する際には、ビームフォーマよりも部分空間法(上述したMUSIC及びESPRITなど)により、反射波の到来方向が推定されることが多い。ビームフォーマ及び部分空間法では、図7に示すようなULAにおいて、様々な方向から到来する電磁波に対して、その到来方向に応じてセンサ間の測定値に位相差が生じる。したがって、その位相差を利用して、反射波の到来方向が推定することができる。
 次に、一実施形態に係る電子機器1のアンテナアレイによる到来波の2方向の角度推定について、さらに説明する。
 図8は、直交する2つの角度の到来方向を推定するためのアンテナの配置例を示す図である。
 図8に示すように、一実施形態に係る電子機器1において、送信アンテナアレイ24及び/又は受信アンテナアレイ31は、複数のパッチアンテナユニットのアレイを含んで構成してよい。
 図8に示す送信アンテナアレイ24において、1つのパッチアンテナユニットは、図に示す方向1の方向に電気的に接続された複数の素子を含んで構成されてよい。それぞれのパッチアンテナユニットにおいて、複数の素子は、例えば基板上のストリップライン等の配線によって電気的に接続されてよい。それぞれのパッチアンテナユニットにおいて、複数の素子のそれぞれは、送信波の波長λの半分よりも短い間隔d1,tだけ離間して配置されてよい。図8において、それぞれのパッチアンテナユニットは、2つ以上の任意の数の素子を電気的に接続したものとしてよい。
 また、図8に示すように、送信アンテナアレイ24は、複数のパッチアンテナユニットを、図に示す方向2の方向にアレイした配置としてよい。それぞれのパッチアンテナユニットは、送信波の波長λの半分よりも短い間隔d2,tだけ離間して配置されてよい。一実施形態において、送信アンテナアレイ24は、2つ以上の任意の数のパッチアンテナユニット含んでよい。
 図8に示すように、一実施形態において、受信アンテナアレイ31は、送信アンテナアレイ24における複数の素子の配置を変更したものとしてよい。すなわち、図8に示す受信アンテナアレイ31において、1つのパッチアンテナユニットは、図に示す方向2の方向に電気的に接続された複数の素子を含んで構成されてよい。それぞれのパッチアンテナユニットにおいて、複数の素子は、例えば基板上のストリップライン等の配線によって電気的に接続されてよい。それぞれのパッチアンテナユニットにおいて、複数の素子のそれぞれは、送信波の波長λの半分よりも短い間隔d2,sだけ離間して配置されてよい。図8において、それぞれのパッチアンテナユニットは、2つ以上の任意の数の素子を電気的に接続したものとしてよい。
 また、図8に示すように、受信アンテナアレイ31は、複数のパッチアンテナユニットを、図に示す方向1の方向にアレイした配置としてよい。それぞれのパッチアンテナユニットは、送信波の波長λの半分よりも短い間隔d1,sだけ離間して配置されてよい。一実施形態において、受信アンテナアレイ31は、2つ以上の任意の数のパッチアンテナユニット含んでよい。
 送信アンテナアレイ24及び受信アンテナアレイ31に含まれる素子は全て同一平面上(例えば同一基板の表層上)に配置されてよい。また、送信アンテナアレイ24と受信アンテナアレイ31とは近接して配置されてよい(モノスタティック)。さらに、図8に示す方向1と方向2とは、幾何学的に直交してよい。
 図8に示すような送信アンテナアレイ24及び受信アンテナアレイ31によって、送信アンテナ及び受信アンテナのそれぞれの指向性を適切に狭めることができる。また、図8に示すような送信アンテナアレイ24を用いて、送信波(送信信号)を送信するタイミングごとに、それぞれの送信波を送信する方向を制御することにより、図8に示す方向2の方向についてのビームフォーマを実現することができる。さらに、図8に示すような受信アンテナアレイ31を用いることにより、図8に示す方向1の方向について、反射波の到来方向の推定を実現することができる。このようにして、実質的に直交する2つの角度について反射波の到来方向の推定が可能となる。したがって、被験者200のような物体を示す点群を3次元的に取得することが可能になる。
 次に、一実施形態に係る電子機器1によって、被験者200の心拍を検出する手法について説明する。
 一実施形態に係る電子機器1は、ミリ波レーダなどの送信波を被験者200に対して送信し、被験者200の心臓が存在する胸部において反射した反射波を受信した結果に基づいて、被験者200の心拍を計測(推定)する。上述のように、被験者200は、人間としてもよいし、動物としてもよい。この場合、例えば、レーダにより検出される被験者200の存在位置の振動を周波数フィルタリングすることにより、心拍の包絡線と想定される成分を抽出することができる。そして、心拍の包絡線と想定される成分が抽出されたら、その包絡線のピーク同士の間隔を心拍間隔とすることにより、おおよその心拍間隔を算出することができる。ここで、心拍包絡のピークは、心電図のRピークにおおよそ一致するという近似を用いることができる。このため、「心拍間隔」とは、心電図などに用いられる用語と同様に、RR間隔又はRRI(RR interval)とも記す。
 ここで、上述した2D-FFT、CFAR処理、及び到来方向推定を行った結果などから、被験者200の心拍間隔を推定する手法について検討する。まず、図4及び図5において行った2D-FFTの結果として、人の心拍又は体動の発現の態様について説明する。
 図9は、被験者200に対して送信された送信波の反射波を受信して2D-FFTの処理を行った結果の例を示す図である。図9は、2D-FFTの結果として、被験者200の心音及び体動を示すスペクトラムを示している。図9において、横軸は距離(Range)を表し、縦軸は速度(Velocity)を表す。一実施形態に係る電子機器1の信号処理部10(例えば心拍抽出部13)は、例えば図9に示すようなピークHmが、被験者200の心拍のような体動であるとして抽出してもよい。ここで、図9のピークHmが示すスペクトル成分には、被験者200の心音及び心音の包絡線のみならず、体動も含まれている。心拍間隔を抽出するためには、体動などを抽出することが必要であるため、例えば周波数フィルタリングを行うことが想定される。ここで行う周波数フィルタリングとは、例えば、0.5Hz以上10Hz以下を対象としたバンドパスフィルタ、ハイパスフィルタ、及び/又はローパスフィルタなどが想定される。
 図10は、上述した周波数フィルタリングにより得られる心音の包絡波形に基づいてピークを検出する方法を説明する図である。図10に示すグラフは、上述した周波数フィルタリングにより抽出した心音の包絡波形の時間変化の例を示している。図10に示す包絡波形には、図示のように多数のピークが含まれる。一方、被験者200の鼓動は、1分間に50から130程度の範囲に収まることが知られている。このため、図10に示すような多数のピークのうち、1分間の鼓動数の逆数である、時間間隔0.4秒から0.8秒までの間隔となるピークを選択することにより、被験者200のおおよその心音間隔を算出することができる。例えば、図10において下向きの矢印によって示されるピークを、被験者200のおおよその心音間隔として選択してよい。
 図11は、上述した心拍間隔の推定動作の例を示すフローチャートである。以下、図11を参照して、上述した心拍間隔の推定動作を概略的に説明する。
 図11は、一実施形態に係る電子機器1が、反射波を受信した後の動作について示している。すなわち、図11に示す動作の前提として、図2に示した電子機器1は、送信アンテナアレイ24から送信波(送信信号)を送信している。そして、電子機器1から送信された送信波の少なくとも一部は、被験者200(の例えば胸部)に反射して反射波となる。そして、図2に示した電子機器1は、このような反射波を、受信アンテナアレイ31から受信している。それから、図11に示す動作が開始する。
 図11に示す動作が開始すると、まず、ステップS110において、電子機器1の信号処理部10は、受信した信号(受信信号)を処理する。ステップS110において行う信号処理とは、例えば、上述した2D-FFT、CFAR処理、及び/又は到来方向推定を含むものとしてよい。このような動作は、例えば信号処理部10の受信信号処理部12によって行われるものとしてよい。
 次に、ステップS120において、信号処理部10は、ステップS110にて処理された情報から振動源を抽出する。ステップS120において行う信号処理とは、例えば、2D-FFTの処理を行った結果のデータについてフィルタリングを行う処理を含むものとしてよい。ステップS120において、信号処理部10は、被験者200が存在する位置のみにおけるスペクトル成分を抽出してよい。ここで、被験者200が存在する位置の特定は、既知の種々の手法により行われてよい。このような動作は、例えば信号処理部10の心拍抽出部13によって行われるものとしてよい。
 次に、ステップS130において、信号処理部10は、前段の処理結果を振動波形に変換する。ステップS130において行う処理とは、例えば、IQデータから位相情報を抽出する処理を含むものとしてよい。ステップS130において、信号処理部10は、ステップS120で抽出された被験者200の2D-FFT処理のスペクトル成分から、心音を含む振動データを抽出する処理を含むものとしてよい。このような動作は、例えば信号処理部10の心拍抽出部13によって行われるものとしてよい。
 次に、ステップS140において、信号処理部10は、前段の処理結果から振動データを抽出する。ステップS140において行う処理とは、例えば、周波数フィルタリングを含むものとしてよい。ステップS140において、信号処理部10は、周波数フィルタリングを行うことにより、被験者200の心音の包絡線を含む低周波信号を抽出してよい。このような動作は、例えば信号処理部10の心拍抽出部13によって行われるものとしてよい。
 次に、ステップS150において、信号処理部10は、前段の処理結果から被験者200の鼓動のピークを検出し、そのピークの間隔を算出することにより、被験者200のRR間隔(RRI)を算出する。ステップS150において、信号処理部10は、被験者200の心音の包絡線を含む低周波信号のピークを検出してよい。また、ステップS150において、信号処理部10は、それぞれのピークの間隔(インターバル)を算出及び/又は抽出してよい。このような動作は、例えば信号処理部10の算出部14によって行われるものとしてよい。以上のように、ステップS150において、信号処理部10は、心音の間隔を抽出してよい。
 次に、ステップS160において、信号処理部10は、被験者200の心拍変動(Heart rate validity:HRV)を算出してよい。ステップS160において、信号処理部10は、RRIの時系列データのスペクトル密度を算出することにより、被験者200のHRVを算出してもよい。RRIの時系列データのパワースペクトル密度を算出する際には、例えばWelchの方法などを使用することにより、RRIの時系列の波形の周波数解析を行ってよい。このような動作は、例えば信号処理部10の算出部14によって行われるものとしてよい。また、ステップS160において、信号処理部10は、前段の処理結果からスペクトルを解析してもよい。
 以上のように、一実施形態に係る電子機器1は、被験者200の存在位置における振動を周波数フィルタリングすることにより、心拍の包絡線と思われる成分を抽出して、その包絡線のピーク間を心拍間隔とする。このようにして、一実施形態に係る電子機器1は、被験者200のおおよその心拍間隔を算出することができる。
 上述のような心拍間隔の算出においては、例えば図10に示したように、数10msの時間の間に数個のピークが存在する。したがって、心拍のピークを選択する際にある程度の不確定性が含まれる。このため、算出される心拍間隔の精度も、数10ms程度の誤差を持つことになる。例えば、上述した心拍間隔の算出においては、心電計により取得した瞬時のRRIと比較すると、最低でも20ms程度の誤差が発生する。この精度では、心拍変動(HRV)を算出して、人の自律神経及び/又は感情分析を行うことは困難である。すなわち、上述した心拍間隔の算出においては、心音を抽出することにより、より高度な医療的分析を行うことは困難である。また、上述した心拍間隔の算出は、測定環境が良好でないと、誤差が生じ易い傾向にある。このため、上述した心拍間隔の算出においては、測定環境によっては、高ロバストな脈拍数を得ることが困難なこともあり得る。
 そこで、例えば、心拍の時間間隔が0.4秒~0.8秒程度になるように、周波数フィルタリングにより、高周波側のピークをさらにカットすることも考えられる。しかしながら、図10に示した信号の情報の精度は超えないため、数10ms程度の誤差を縮小することは困難と思われる。
 また、上述の心拍間隔の算出においては、心音を抽出しているわけではない。したがって、上述の手法においては、心音自体の音響的性質による診察(例えば診療などにおける聴診)に寄与する情報を得ることも困難と思われる。
 レーダのような技術によって人又は動物の心拍数を計測するには、検出される物標(人又は動物)の存在位置の振動に周波数フィルタリングを行うことにより、心拍の包絡線と思われる成分を抽出し、その結果に周波数解析を行うことが考えられる。しかしながら、心拍数を高精度かつ高ロバストに取得するには、レーダのデータが形成するデータの空間を適切に探索し、心拍数を推定する必要がある。すなわち、レーダのデータから心音に対応する胸部振動を複数の場所(レーダのレンジ)から抽出した結果について心拍数の推定を行い、複数の心拍数の時系列データの候補を算出した上で、その中から最適な心拍数のデータを決定する必要がある。心音に対応する胸部振動を、本開示において単に「心音」と記すことがある。ミリ波以上の高周波帯域を使ったレーダにより心音を抽出し、心音自体の分析を行い、正確な心拍間隔抽出を実現できれば望ましい。
 そこで、一実施形態に係る電子機器1は、上述した手法にさらに改善を施す。これにより、一実施形態に係る電子機器1は、例えばミリ波以上の高周波帯域を使ったレーダにより心音を抽出することにより、心音自体を分析して、正確な心拍間隔を抽出する。このようにして、一実施形態に係る電子機器1は、電波の送受信により、人体などの心拍数を良好な精度で高ロバストに検出する。以下、このような手法について説明する。
 一実施形態に係る電子機器1は、被験者200の心音を高精度で抽出するために、電子機器1が受信する信号(チャープ信号)に適切な信号処理を適切な順序で行うことにより、被験者200の心音の信号成分が存在する部分空間及び部分空間基底を絞り込む。一実施形態に係る電子機器1は、被験者200の心音の信号が存在する線形空間において、異なる基底ベクトルを採用し、適切な座標系を用いて空間を記述しつつ、それぞれの座標に基づいて部分空間を抽出してよい。このような処理により、一実施形態に係る電子機器1は、被験者200の心音が存在する部分空間を探索することができる。一実施形態において、このような座標系は、目的に応じて適切なものを用いてよい。例えば、2D-FFT処理をした空間の座標系、チャープ信号の時間的縮約をとった時系列信号の座標系、そのフーリエ変換による座標系、又は、連続/離散ウェーブレットによる座標系、などのような座標系を用いてよい。
 一実施形態に係る電子機器1は、受信した信号について、以下のような特徴的な処理を、段階的な手順にしたがって実行してよい。以下、一実施形態に係る電子機器1による特徴的な処理の概略を示す。一実施形態に係る電子機器1は、2つの特徴的な処理処理を実行する。すなわち、一実施形態に係る電子機器1は、(1)部分空間の抽出、及び(2)心拍数の時系列データとしての時系列ベクトルを算出する処理、を実行する。以下、それぞれの処理について、より詳細に説明する。
(1)部分空間の抽出
 まず、一実施形態に係る電子機器1は、受信した信号について、線形空間の中で不要と考えられるデータを省く処理を実行する。一実施形態に係る電子機器1は、不要な部分空間を省くことにより、必要な部分空間を残すような処理を実行してよい。具体的には、次のような処理を実行してよい。
(1-1)第1段階:次元の削減
 第1段階においては、電子機器1が受信したチャープ信号の2D-FFT処理に適切な窓関数を作用させるとともに、到来方向推定により被験者200(例えば人又は動物)が存在する点群のもつマイクロドップラー成分のみを抽出する。ここで、物標のおおよその位置の周辺において、複数の距離レンジを中心とする、複数の窓関数を生成し、当該複数の窓関数を作用させる。以下、このように、複数の窓関数を作用させる処理を、「マルチウインドウ処理」と称する。ここでは、1つの窓関数、すなわち1つの中心距離レンジに対して、1つの振動の時系列信号を生成してよい。
(1-2)第2段階:部分空間の次元の削減
 第2段階においては、第1段階の処理で抽出した複数の振動の時系列波形の集合の主成分分析及び/又は特異値分解などを、マイクロドップラー信号に対して実行する。
(1-3)第3段階:部分空間の次元の削減
 第3段階においては、短時間フーリエ変換、連続ウェーブレット変換、及びバンドパスフィルタの少なくともいずれかを用いることにより、周波数フィルタリングを実行する。
(1-4)第4段階:部分空間の次元の削減
 第4段階においては、心音に適切なウェーブレット関数及びスケーリング関数を用いて、離散ウェーブレット変換による多重解像度解析を実行することにより、心音を抽出する。
(2)心拍数の時系列データとしての時系列ベクトルを算出する処理
 次に、抽出された心音のデータを処理し易くするために、一実施形態に係る電子機器1は、抽出された心音の波形から包絡線(エンベロープ)を生成する処理を実行してよい。さらに、一実施形態に係る電子機器1は、生成された包絡線に周波数解析を行った結果に基づいて、心拍数の時系列データとしての時系列ベクトルを算出してよい。具体的には、次のような処理を実行してよい。
(2-1)包絡線の生成
 ここでは、上記(1)部分空間の抽出において抽出された心音から、包絡線(エンベロープ)を生成(抽出)する。エンベロープの生成処理には、例えば、連続ウェーブレット変換、離散ウェーブレット変換、ウェーブレット散乱係数、メル周波数ケプストラム係数、又は、移動分散などのいずれかの処理が用いられよい。
(2-2)心拍の周波数解析
 上記(2-1)の処理によって抽出された心音の包絡線に窓関数を適用し、高速フーリエ変換(FFT)処理などで周波数解析(周波数分析)を行うことにより、心拍の周波数を解析(分析)する。ここでは、心音の包絡線に時間的な移動窓をかけながら、例えばMUSIC法などにより時間ごとの周波数特性を生成する。また、このような時間ごとの周波数特性が、上記「(1)部分空間の抽出」において述べたマルチウインドウぶんだけ重ね合わせた多次元配列を生成する。この多次元配列は、次のようなテンソル(多次元配列)で表すことができる。
 (ピーク周波数ベクトル)×(時間窓の配列)×(マルチウインドウ配列)
 ここで、×はテンソル積を表す。本開示において、上述のようなテンソルを、心拍周波数データテンソルとも記す。
(2-3)時系列ベクトルの抽出
 上記(2-2)の処理によって生成された心拍周波数データテンソルに基づいて、周波数ベクトル及びマルチウインドウの次元削減を行う。これにより、心拍周波数の時系列ベクトル及び心拍数の時系列ベクトルを算出してよい。
 一実施形態に係る電子機器1によれば、上述の各段階の処理を経ることにより、心拍数の正確な時系列データを算出することができる。
 次に、一実施形態に係る電子機器1の動作について、より詳細に説明する。
 図12は、一実施形態に係る電子機器1が行う動作の例を示すフローチャートである。図13は、図12におけるステップS16の動作の例をより詳細に示すフローチャートである。以下、図12及び図13を参照して、一実施形態に係る電子機器1が行う動作の流れを説明する。
 図12に示すステップS11は、図11に示したステップS110における動作と同様に行うことができる。すなわち、図12に示す動作が開始すると、まず、ステップS11において、電子機器1の信号処理部10は、受信した信号(受信信号)を処理する。ステップS11において行う信号処理とは、例えば、上述した2D-FFT、CFAR処理、及び/又は、到来方向推定を含むものとしてよい。このような動作は、例えば信号処理部10の受信信号処理部12によって行われるものとしてよい。
 ステップS12において、信号処理部10は、マルチウインドウ処理を行う。ステップS12において、信号処理部10は、人又は動物のクラスタの候補を決定する処理、及び/又は、複数の窓関数による2D-FFT処理されたデータに対するフィルタリング処理(マルチウインドウ処理)を実行してよい。
 ステップS12において、信号処理部10は、最良な心音の候補を選ぶ前段階として、複数の心音候補を生成するためのマルチウインドウ処理を行ってよい。ここで、信号処理部10は、2D-FFT処理されたデータに対して、人や動物に該当する点群をクラスタとしてまとめる処理を行ってよい。また、信号処理部10は、選択されたクラスタに対して複数の窓関数をかけることにより、マルチウインドウ処理を行ってよい。ここで行うマルチウインドウ処理は、複数の心音の候補の元となる、2D-FFT処理されたデータを生成する処理を含んでよい。
 ステップS12において、信号処理部10は、2D-FFTにより計算したレンジ-ドップラー平面上において、被験者200が存在する領域だけを、適切な窓関数によって抽出することにより、候補となる複数の心音を生成してよい。ステップS12において、信号処理部10は、適切な窓関数として、複数の窓関数を設けてよい。ここで、信号処理部10は、例えば、ハニング窓、ハミング窓、及びブラックマン-ハリス窓などの窓関数を用いてよい。
 ステップS12において、信号処理部10は、被験者200の心音及び/又は呼吸を含む体動を含む振動源(物標)の検出を、例えば、次の第1手順から第3手順に基づいて実行してよい。
(第1手順)
 信号処理部10は、レンジ-ドップラー平面上においてCFARの閾値を超える点群を、到来方向推定(図5及び図6参照)の結果に基づいて、予め定めた角度のエリアに分類する。例えば、図6に示すようなxy平面上の角度をθとすると、次のような角度のエリアA乃至エリアCに分類してよい。
 エリアA:-10deg.<θ<10deg.
 エリアB:-20deg.<θ≦-10deg.
 エリアC:10deg.≦θ<20deg.
(第2手順)
 信号処理部10は、第1手順で分類された、ある1つの角度のエリアのグループの中で、図5のS1にしたようなレンジ-ドップラー平面上においてCFARの閾値を超える点群に対して、クラスタリングを適用する。ここで、クラスタリングとして、例えばDBSCANなどの手法を適用してよい。
(第3手順)
 信号処理部10は、第2手順でL個のクラスタが処理されたとして、l番目のクラスタに対して、ドップラー方向のビン数の偏差Ddev[l]を、ある閾値Ddev,thと比較する。この比較の結果、信号処理部10は、Ddev[l]≧Ddev,thとなるものだけを、被験者200と判定して、フラグHF[l]を立てる。すなわち、信号処理部10は、例えば下記の[疑似コード1]に示すような処理を行ってよい。
[疑似コード1]
for l = 1 to L do
  if Ddev[l] ≧ Ddev,th
    HF[l] = 1
  else
    HF[l] = 0
  end if
end do
 ステップS13において、信号処理部10は、チャープ信号のセットを復元する。ステップS13において、信号処理部10は、複数生成された2D-FFTデータに逆離散フーリエ変換(2D-IFFT(inverse fast Fourier transform))を行うことにより、チャープ信号のセットを復元してよい。
 図14は、一実施形態に係る電子機器1によるマルチウインドウ処理を説明する図である。図14は、上述の疑似コード1によって選定されたクラスタに属する点群から、複数のレンジ方向に移動された窓関数により、複数の時系列の信号を生成するマルチウインドウ処理について説明するものである。
 図14の上段において、横軸方向は距離(Range)を示し、縦軸方向はドップラー速度(Doppler Velocity)を示す。図14の上段は、ある時刻おける2D-FFTデータの点群に、クラスタリングを行った結果を示している。図14の上段は、クラスタリングの結果、クラスタ1、クラスタ2、及びクラスタ3の3つのクラスタが生成された様子を示す。図14の中段は、信号処理部10が、クラスタ1、クラスタ2、及びクラスタ3のそれぞれに対して、マルチウインドウ処理を実行する様子を概念的に示す。図14の中段は、信号処理部10が、それぞれのクラスタに対して、窓関数を距離(Range)方向に少しずつずらしながら適用することにより、マルチウインドウ処理を行う様子を示している。また、図14の下段は、信号処理部10が、クラスタ1、クラスタ2、及びクラスタ3のそれぞれに対して、2D-IFFTを行うことにより、振動速度をそれぞれ算出した結果を示している。図14の下段は、それぞれのクラスタに対して2D-IFFTを行うことにより、振動の時系列の信号が生成された様子を示している。実際には、図14に示すそれぞれのクラスタに対して、窓関数を距離(Range)方向に少しずつずらしながら複数回適用することにより、振動の時系列の信号が複数得られる。
 図11のステップS13において、信号処理部10は、上述の[疑似コード1]によってフラグHF[l]=1と選定された点群から構成されるクラスタに対し、複数の窓関数を適用する。この処理により、それぞれの窓関数に対応する2D-FFTデータが生成される。ここで、l番目の窓関数によって生成された2D-FFTデータを、次の式(1)のように表すとする。
Figure JPOXMLDOC01-appb-M000001
 この場合、ステップS13において、信号処理部10は、振動速度の時系列の信号波形を、次の式(2)にしたがって算出することができる。2次元の逆高速フーリエ変換(2D-IFFT)により、チャープ信号のセットに復元する。
Figure JPOXMLDOC01-appb-M000002
 ここで、F-1は逆離散フーリエ変換を表し、Mは2D-FFT処理を行うチャープの数を表す。
 以下、例として、ある1つのクラスタのみ、例えば図14に示すクラスタ1のみについて説明する。
 ステップS14において、信号処理部10は、信号の主成分の分析、及び/又は、ノイズの除去を行う。ステップS14は、信号の雑音(ノイズ)を前処理的に取り除くための特異値分解(Singular value decomposition:SVD)としてよい。この処理は、低エネルギーであるノイズ、及び/又は、フーリエ変換の不確定性により紛れ込んだ低レベルのノイズを除去することを目的に行ってよい。
 ステップS14において、信号処理部10は、2D-FFT平面において抽出された受信チャープ信号のセットSlを特異値分解してよい。左特異ベクトルを並べた行列をUと記し、特異値を対角に並べた行列をΣと記し、右特異ベクトルを並べた行列をVと記すと、受信チャープ信号のセットSlの特異値分解により、次の式(3)が得られる。
Figure JPOXMLDOC01-appb-M000003
 上記式(3)において、Vに付した*は、エルミート(Hermite)転置を表す。また、Nは1つのチャープ信号内におけるサンプル数を示し、Mはチャープのスナップショット数を示す。
 次に、信号処理部10は、上記式(3)の左特異ベクトルの行の行ベクトル数を制限(Uext)してよい。また、信号処理部10は、上記式(3)の特異値の対角行列の対角要素数を制限(Σext)してよい。これにより、不要なノイズ信号及び所望の位置以外の振動成分が除去される。その結果、Slの目的信号の部分空間に射影した信号Sl extは、次の式(4)のように示される。
Figure JPOXMLDOC01-appb-M000004
 図15は、特異値分解における目的信号及びノイズ信号を表すそれぞれのランクの関係を例示する図である。図15は、SVDの結果を特異値(エネルギーに相当するもの)の高い順番に、横軸をランクとし、縦軸を特異値として並べた図である。本開示では、ある特異値以上の信号を取り出すと目的信号になるという考え方を採用している。この場合、目的信号か否かの境目となる特異値のランクは、図15のグラフ中で濃いグレー部分によって示される30以下のランク領域の部分である。図15に示すように、30以下のランク領域の部分が、目的信号の領域となる。図15では、この目的信号のランク部分は、1以上、30以下としている。このため、本開示においては、例えば、1以上、30以下のランク領域の左右特異値に相当する特異ベクトルを取り出してよい。
 上記の例においては、目的信号のランク部分は1以上、30以下としている。ランク最大値は、基本的に経験的に決めてよい。また、ランク最大値(本開示では、ランク30)は、統計的手法で決定するとしてもよい。図15のグラフにおいて、ランク130で特異値が急に減少しており、それより後のランクの信号は基本的にノイズとなる。このため、以降のランク信号は不要としてよい。
 図15のグラフで、ランク31~130のエリアの特異値に対応する左右特異ベクトル(信号の空間を張るベクトル)は、若干の目的信号成分も有している。この左右特異ベクトルは、不必要な微細な振動、及び/又は、レーダの信号処理により発生した人工的ノイズ(アーティファクト)などが主な要因と想定される。したがって、このような要素は、切り捨ててもよい。
 ステップS14においてSVDによってノイズが除去されたら、信号処理部10は、当該ノイズが除去された結果を、信号波形に変換する(ステップS15)。ステップS15において、信号処理部10は、ビート信号(IQデータ)を、振動の時系列の信号に変換してよい。
 ステップS15において、信号処理部10は、上記式(4)に基づいて各チャープ信号の列ベクトル内における総和をとることにより、次の式(5)に示すベクトルを得る。
Figure JPOXMLDOC01-appb-M000005
 ステップS15では、最終的に、sl ext,sumのガウス平面上の偏角及び微分をとることにより、次の式(6)に示すような、振動速度を表すベクトルが計算される。
Figure JPOXMLDOC01-appb-M000006
 次に、ステップS16において、信号処理部10は、得られた複数の振動波形に対して、心音の抽出及び/又は心拍間隔の解析を行う。具体的には、ステップS16において、信号処理部10は、上記式(6)に示した振動波形から心音を抽出する。ステップS16において、信号処理部10は、心音の波形を生成する処理、心拍間隔(RRI)を算出する処理、及び/又は、心拍変動(HRV)を算出する処理を実行してよい。これにより、信号処理部10は、心拍間隔を算出することができる。この処理は、窓関数それぞれに対応した複数の振動速度の波形に対して実行されてよい。
 上述のように、図12に示したステップS16の処理は、より詳細には、図13に示すステップS21乃至ステップS25の各ステップの処理の少なくとも一部を含むものとしてよい。以下、図13に示すステップS21乃至ステップS25の各ステップについて、より詳細に説明する。
 まず、図13に示すステップS21において、信号処理部10は、時系列の波形の雑音(ノイズ)を除去する処理(デノイズ)を行う。ここで、ノイズを除去する処理においては、経験的ベイズ手法(Empirical Bayes method)、又は連続ウェーブレット変換(Continuous Wavelet Transform:CWT)などのようなウェーブレットの手法などを用いてよい。
 より詳細には、ステップS21において、信号処理部10は、l番目の窓関数に対応する、振動速度ベクトルvl vibに対して、さらに不要なノイズを除去する前処理を行う。
 ステップS21において、信号処理部10は、経験的ベイズ手法、及び/又は連続ウェーブレットによる帯域の制限によるノイズの除去処理を行ってよい。また、ステップS21において、信号処理部10は、図12に示したステップS11からステップS14までの非線形処理に伴うアーティファクトノイズなどに対するノイズプロファイルを用いた周波数サブトラクションにより、ノイズの除去処理を行ってもよい。
 次に、ステップS22において、信号処理部10は、目的信号の波形すなわち心音の波形の抽出を行う。この場合、例えば、最大重複離散ウェーブレット変換(Maximum overlap discrete Wavelet transform:MODWT)などのような、離散ウェーブレットによる手法などを用いてよい。
 より詳細には、ステップS22において、信号処理部10は、前処理としてデノイズされた信号に、心音波形に似た波形を持つウェーブレット波形を採用して、離散ウェーブレット変換による多重解像度解析を実行してよい。このようにして、信号処理部10は、ステップS22において、経験的に被験者200の心音が存在する多重解像度解析のレベルの部分空間だけを抽出する。このようにして、信号処理部10は、ステップS22において、被験者200の心音を抽出してよい。具体的には、信号処理部10は、時間的分解能を向上させるために、最大重複多重解像度解析(MODWT)などを使用してよい。また、心拍の抽出に適切なウェーブレット基底は、例えばSymlet及びDaubechiesなどとしてよい。また、これらのオーダは、都度適切に設定してよい。
 ステップS21のデノイズ処理を信号速度ベクトルvl vibに行った信号をvl vib,dnとし、さらにこの実部Re(vl vib,dn)に対して、図16に示す多重解像度解析を施してよい。図16は、離散ウェーブレット変換による多重解像度解析を概念的に示す図である。そして、信号処理部10は、経験的に適切なレベルを次の式(7)のj0∈Nに限定して再構成することにより、心音波形hを得ることができる。
Figure JPOXMLDOC01-appb-M000007
 ここで、Φj0,k、Ψj,kは、それぞれスケール関数及びウェーブレット関数のベクトルを示し、ck、dj,kは、それぞれその係数を示す。
 このようにして、一実施形態に係る電子機器1は、例えば後述する図26及び図27に示す波形のような心音波形hを得ることができる。この結果は、そのまま心音の診療などに活用することができる。
 次に、ステップS23において、信号処理部10は、包絡波形を生成する。包絡波形の生成処理には、例えば、連続ウェーブレット変換、離散ウェーブレット変換、ウェーブレット散乱係数、メル周波数ケプストラム係数、又は、移動分散などのいずれかの処理が用いられよい。ステップS23において、信号処理部10は、ステップS22により抽出した目的信号(心音波形)のエネルギーのピークを検出(抽出)するために、連続ウェーブレット変換によるスカログラム、及び、その1次元化による包絡波形抽出を行う。ここでは、離散/連続ウェーブレット変換、移動分散、及び/又は、ヒルベルト(Hilbert)変換などを用いてよい。
 より詳細には、ステップS23において、信号処理部10は、上記式(7)に示す心音波形hlの包絡波形を得るために、連続ウェーブレット変換によるスカログラムを得てよい。信号処理部10は、そのスカログラムの各時間における周波数軸のある範囲f1からf2までの間について総和をとる。これにより、信号処理部10は、図17及び図18に示すように、1次元波形sl hを得る。図17及び図18は、連続ウェーブレット変換の解析結果の例を示す図である。連続ウェーブレット変換は、解像度を適切に設定して、離散ウェーブレット変換に置き換えてもよい。
 図17は、心音波形hlのスカログラムを示す図である。図17は、規格化された振動の周波数の時間変化を示す図である。図17の横軸はサンプル数を単位とする時間を示し、図17の縦軸は当該時間ごとの規格化された振動の周波数を示す。
 また、図18は、図17に示す心音波形hlのスカログラムを、連続ウェーブレット変換により1次元化処理を施した結果を示す図である。図18は、振動速度の時間変化を示す図である。図18の横軸はサンプル数を単位とする時間を示し、図18の縦軸は振動速度を示す。
 ここで、スカログラムの絶対値を表す行列は、次の式(8)を満たすものとする。
Figure JPOXMLDOC01-appb-M000008
 この場合、1次元化された包絡波形el hは、図18に示すグラフのように表される。信号処理部10は、この包絡波形el hを、次の[疑似コード2]により算出することができる。
[疑似コード2]
for m=1:M
Figure JPOXMLDOC01-appb-M000009
end
 ここで、el hは、1次元化された包絡線波形のベクトルを表し、fはスカログラムの各周波数を表す。
 次に、ステップS24において、信号処理部10は、心拍の周波数を分析する。ステップS23の処理によって生成される包絡波形(心音包絡線データ)は、図14に示したように、窓関数の数だけ存在する。ここでは、複数の窓関数のうち1つに対して周波数解析
 図19は、信号処理部10が心音の包絡線の周波数を分析するための時間窓の配置を示す図である。図19の上側に示す心音の包絡線において、タイムフレームt=1及びt=2に対して切り出す時間窓を示してある。図19の下側に示す心音の包絡線において、タイムフレームt=T-1及びt=Tに対して切り出す時間窓を示してある。ここで、T及びtは、離散時間であり、負でない整数を示す。また、図19の上側に示す心音の包絡線において、時間窓の幅wwinを示すとともに、時間窓同士がオーバーラップする幅woを示してある。ここで、時間窓の移動ステップは、wstep=wwin-woとなる。
 一般的に、心拍数は、非常に低周波である。このため、周波数の解析には、高分解能な手法を用いる必要がある。ここでは、部分空間法の1つとして、MUSIC(MUltiple SIgnal Classification)法による処理について述べる。以下、MUSICを用いて、周波数解析を行う処理について説明する。この処理は、次の[第1処理]乃至[第4処理]の4つの処理を含むものとしてよい。
[第1処理]
 まず、信号処理部10は、時系列の信号をスナップショットごとに並べることにより、観測行列X=[x1,x2,…,xN]を生成する。ここで、観測行列Xは、図19に示した1つの窓の中のサンプルを、等しいサイズに分割することにより、得ることができる。
[第2処理]
 信号処理部10は、上記[第1処理]において生成された観測行列に基づいて、自己相関行列Rx=1/N・X・XHを得る。ここで、右上の添え字のHは、エルミート転置を示す。
[第3処理]
 信号処理部10は、上記[第2処理]において得られた自己相関行列Rxを、固有値分解する。この固有値分解において、信号処理部10は、固有ベクトルのうち、固有値が大きいものを信号空間の基底ベクトルとし、固有値が小さいものをノイズ空間の基底ベクトルとして分類する。ここでは、固有値の大きい順番に固有ベクトルをソートし、1≦m≦p番目までの固有ベクトルを信号空間とし、p+1≦m≦M番目までの固有ベクトルをノイズ空間の基底ベクトルvm(p+1≦m≦M)とする。
[第4処理]
 信号処理部10は、角周波数ωに対する周波数ベクトルe=[1,ejω,ej2ω,…,ej(M-1)ω]Tについて、ノイズ空間の基底ベクトルの内積をとる。以上のようにして、次の式(10)に示すMUSICスペクトラムを得ることができる。
Figure JPOXMLDOC01-appb-M000010
 図20は、上記式(10)によって算出された計算したMUSICスペクトラム(周波数解析)の例を示す図である。図20の縦軸はMUSICスペクトラムを示し、図20の横軸は周波数を示す。図20に示すMUSICスペクトラムにおいては、g1、g2、及びg3として示す3つの周波数のピークが存在する。周波数のピークg1、g2、及びg3は、それぞれ、1Hz程度、1.7Hz程度、及び3.1Hz程度となっている。
 以上のような処理の結果、最終的には、心拍の周波数として適切なものをピックアップしてよい。心拍の周波数として適切なものをピックアップする処理は、次の2段階の処理により行われてよい。これらの処理は、一実施形態に係る電子機器1における信号処理部10が行うものしてよい。
[処理A]
 まず、検知する心拍の周波数範囲を複数設ける。そして、それぞれの周波数範囲内の周波数のピークを抽出する。また、検知する心拍の周波数範囲それぞれに対して、周波数ピークの時系列ベクトルを生成する。
 一般的に、人間の通常の心拍数は、1分間で40~160回(BPM=40乃至160)程度である。したがって、まず、人間の心拍数の範囲を、次のように、40ずつの3つ階級の範囲に分ける。
 階級1:BPM=40乃至80
 階級2:BPM=80乃至120
 階級3:BPM=120乃至160
 これらの階級のそれぞれにおいて、BPMを周波数に変換すると、心拍の周波数の階級は、次のようになる。
 階級1:0.67[Hz]乃至[1.33]Hz
 階級2:1.33[Hz]乃至[2.0]Hz
 階級3:2.0[Hz]乃至[2.67]Hz
 そこで、図20に示したようなMUSICスペクトルの周波数ピークのうち、上述の階級1、階級2、階級3に該当するピークを、各時間フレームごとに抽出していく。例えば、図20に示すピークg1の周波数は1Hz程度であるため、階級1に当てはまる。図20に示すピークg2の周波数は1.7Hz程度であるため、階級2に当てはまる。また、図20に示すピークg3の周波数は3.1Hz程度であるため、いずれの階級にも当てはまらない。以上をまとめると、次のようになる。
 階級1:ピークg1
 階級2:ピークg2
 階級3:該当なし
 以上の処理は、次の[疑似コード3]により示すことができる。ここで、処理する時間窓(タイムフレーム)の数をTとし、インデックスをtとする。心拍の周波数の階級数をJとし、インデックスをjとする。心拍の周波数の階級jにおける周波数の最小値をfj minとし、最大値をfj maxとする。図14に示した2D-FFT上の窓関数の数をLとし、インデックスをlとする。また、タイムフレームtにおけるMUSICスペクトラムPMU(ω)のピークのベクトルをpMU,peakとする。そして、求めるべき心拍周波数データテンソルを、Fl,t,jとする。
[疑似コード3]
for l=1:L
  for t=1:T
    for j=1:J
Figure JPOXMLDOC01-appb-M000011
    end
  end
end
 上記式(11)式におけるfind(Condition)は、pMU,peakの中で、最大値と最小値とに挟まれる値を探索する関数である。そのような値が見つからない場合、例えば、NaN(Not a number:IEEE 754浮動小数点規格で標準化されている)などを定めて、当該値が存在しなかったことを明示してもよい。
[処理B]
 次に、検知された複数の心拍の周波数範囲に対して生成された周波数ピーク時系列ベクトルから最適なものを選択し、これを最終的な心拍の周波数ベクトルとする。
 ここでは、算出された心拍周波数データテンソルをFl,t,jのインデックスl及びjを、1つの自然数に決定する処理を行う。すなわち、L×Jだけある心拍の周波数ベクトルから、最良のものを選択する処理を行う。この処理は、(1)欠損値(NaN)が少なく、かつ、(2)心拍周波数の変化が最も小さい、という条件を満たす周波数ベクトルを選択することで達成される。
 上記の条件(1)は、欠損値が多い場合、その階級jに対応するMUSICスペクトルのピークが存在しないという原理に基づく。また、上記の条件(1)は、2D-FFTにおける窓の位置、及び心拍の周波数の階級が適切でない場合、MUSICスペクトルのピーク周波数が定まらず極端な変化を持つという原理に基づく。
 図21は、一実施形態に係る電子機器1による心拍の周波数ベクトルの選択(良否判定)について説明する図である。図21の縦軸は心拍の周波数を示し、図21の横軸は時間を示す。図21において、グラフh1は、一実施形態に係る電子機器1によって最適であると判断される心拍の周波数ベクトルの例を示す。また、図21において、グラフh2は、一実施形態に係る電子機器1によって適切ではないと判断される心拍の周波数ベクトルの例を示す。図21に示すグラフh2のように、適切でない2DFFT上の窓位置、及び/又は適切でない心拍周波数の階級に基づいて算出された心拍の周波数ベクトルは、不自然に大きな変動を起こす。
 一実施形態に係る電子機器1は、例えば図21に示すグラフh1及び/又はグラフh2のような心拍の周波数ベクトルを、統計的に、例えば分散値をとることにより選択することができる。この場合、選択の条件式は、例えば次の式(12)及び式(13)のように記すことができる。式(12)は、上記の条件(1)を示す。また、式(13)は、上記の条件(1)を示す。
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
 上記式(12)及び式(13)において、Numは、要素の数を示す。また、Var、は分散を示す。
 以上の処理により、一実施形態に係る電子機器1は、次の式(14)に示すような最適な心拍の周波数ベクトルを得ることができる。
Figure JPOXMLDOC01-appb-M000014
 また、以上の処理により、一実施形態に係る電子機器1は、式(14)に示すような最適な心拍の周波数ベクトルの逆数、及び整数化の処理により、次の式(15)に示すような心拍数のデータベクトルrを得ることができる。
Figure JPOXMLDOC01-appb-M000015
 ここで、roundは、最も近い整数への丸め込みを行う演算を示す。
 ここまで説明したような処理を行うことで、一実施形態に係る電子機器1は、心音の時系列波形を得ることができ、また心拍数の時系列波形を得ることもできる。
 したがって、図13に示したステップS25において、信号処理部10は、心拍数の時系列ベクトルを生成することができる。
 図22、図23、及び図24は、一実施形態に係る電子機器1により得られるデータの一例を示す図である。図22及び図23は、一実施形態に係る電子機器1によって得られる心音の時系列波形の例を示す図である。図24は、一実施形態に係る電子機器1によって得られる心音の時系列波形の例を示す図である。図22及び図23において、横軸は時間を示し、縦軸は振動速度を示す。また、図24において、横軸は時間を示し、縦軸は心拍数を示す。図22は、一実施形態に係る電子機器1によって得られる心音の時系列波形を示す図である。図23は、図22において破線によって囲んで示した領域の時間スパンを拡大して示す図である。
 図23に示すように、一実施形態に係る電子機器1によって得られる心音の時系列波形によれば、第1心音S1及び第2心音S2を明確に特定することができる。また、図23に示すように、一実施形態に係る電子機器1によって得られる心音の時系列波形によれば、第1心音S1と第2心音S2との間隔から算出される心拍間隔RRIも明確に特定することができる。ここで、RRIと心拍間隔とは厳密に同じものではないが、近似的には一致すると考えられる。このため、本開示においては、RRIと心拍間隔とは同一のものを示すものとして説明する。
 図24は、図22及び図23に示した心音の時系列データから算出した、心拍数の時系列データの例を示す図である。図24に示す結果は、図22及び図23にて正確に抽出された心音に基づいて算出されたものである。
 以上説明したように、一実施形態に係る電子機器1によれば、例えば図26及び図27に示すような詳細な心音波形、図28に示すような正確なRRI時系列データ、及び図29に示すような心拍間隔のパワースペクトル密度(PSD)を得ることができる。一実施形態に係る電子機器1によれば、電波の送受信により人体などの心拍を良好な精度で検出し得る。したがって、一実施形態に係る電子機器1によれば、人体などの心拍のような微弱な振動を、例えばミリ波のような電波の送受信により良好な精度で検出でき、多種多様な分野において役立つことが期待される。
 一実施形態に係る電子機器1によれば、ミリ波以上の高周波帯域を使ったレーダにより心音を抽出し、心音自体の分析を行い、正確な心拍間隔抽出を実現することができる。ここで、心拍数を高精度かつ高ロバストに取得するには、レーダのデータが形成するデータの空間を適切に探索し、心拍数を推定する必要がある。一実施形態に係る電子機器1によれば、心拍数を高精度かつ高ロバストに取得することができる。
 ここで、図22乃至図24の例においては、健常者に顕著な第1心音S1及び第2心音S2のみについて記述してある。しかしながら、一実施形態に係る電子機器1によれば、心拍の異常により発生する第3心音及び/又は第4心音が発生する場合でも、同様に処理することができる。
(他の実施形態)
 以下、他の実施形態について説明する。
 上述した実施形態に係る電子機器1は、図13のステップS24において、MUSIC法による処理を実行した。しかしながら、他の実施形態に係る電子機器1は、図13のステップS24において、Root MUSIC法など、他の部分空間法による処理を実行してもよい。
 図13のステップS24において説明した[処理A]においては、心拍の周波数の階級、及び心拍数の階級を複数設定した。しかしながら、他の実施形態において、心拍の周波数の階級、及び心拍数の階級は、利用者の心拍数幅がデータベース化などされており既知であれば、1階級設定してもよい。この場合、心拍周波数データテンソルは、Fl,t,j=Fl,tと簡略化される。したがって、この場合、上記式(12)及び式(13)によって絞り込みを行うインデックスは、2D-FFTにおける窓関数のインデックスlのみとなる。
 他の実施形態において、図12に示したステップS14における処理、及び/又は、図13に示したステップS21における処理は、状況により、省略してもよい。また、他の実施形態において、図12に示したステップS14における処理(特異値分解/主成分を分析する処理)は、他の部分空間法によって代用してもよい。
 他の実施形態において、図13に示したステップS24において、[処理A]及び[処理B]は、心拍の周波数ベクトルに対して処理を行う場合について説明した。しかしながら、他の実施形態において、[処理A]の前に、心拍の周波数ベクトルを、心拍数ベクトルに変換して処理を行ってもよい。
 一実施形態において、電子機器1が備える送信アンテナアレイ24及び/又は受信アンテナアレイ31は、図8に示したような配置に限定されない。例えば、一実施形態において、電子機器1が備える受信アンテナアレイ31は、図25に示すような構成のものとしてもよい。図30は、URA(Uniform rectangular array)受信アンテナの例を示す図である。図30に示すようなURA受信アンテナを採用して、送信アンテナアレイ24においてビームフォーマによって指向性を変化させずに、URA受信アンテナのみによって2つの角度の到来方向推定を行ってもよい。
 図2に示した電子機器1において、信号処理部10は、心拍抽出部13及び算出部14のような機能部を備えるものとして説明した。しかしながら、一実施形態において、心拍抽出部13及び/又は算出部14が行う処理は、外部のコンピュータ又はプロセッサなどによって行われるものとしてもよい。
 また、一実施形態において、図12に示したステップS14における処理(特異値分解/主成分を分析する処理)は、1チャープのサンプル数Nを大きい数とすることができる場合、省略してもよい。また、一実施形態において、図12に示したステップS14における処理(特異値分解/主成分を分析する処理)は、その他ノイズの混入をハードウェアの手法などにより除外できる場合も、省略してもよい。
 図13に示したステップS23の処理(心音包絡波形の生成)において、[疑似コード2]により、連続ウェーブレット変換の結果を、周波数軸方向に加算することで計算した。しかしながら、その他の手法、例えば、移動平均、又はヒルベルト変換によって、包絡波形を生成してもよい。
 以上説明したように、一実施形態に係る電子機器1は、例えば複数の送信アンテナ、及び複数の受信アンテナを備えるミリ波センサを使用して、心拍のような微弱振動を検知する。一実施形態に係る電子機器1は、対象を検出していない場合、送信アンテナのビームフォーミングパターンを、アンテナの送信位相を変えて行いながら、対象の体動を検出する。一方、一実施形態に係る電子機器1は、対象の体動を検知したら、その体動の方向にビームフォーミングを行い、心拍の検知を行う。このように、一実施形態に係る電子機器1によれば、人体の方向を自動的に検出することで、信号品質を向上することができる。したがって、一実施形態に係る電子機器1によれば、心拍の検出精度及び/又は検知範囲を向上することができる。このため、一実施形態に係る電子機器1によれば、人間の心拍を高い精度で検出することができる。
 本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。したがって、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各機能部に含まれる機能などは論理的に矛盾しないように再配置可能である。複数の機能部等は、1つに組み合わせられたり、分割されたりしてよい。上述した本開示に係る各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施され得る。つまり、本開示の内容は、当業者であれば本開示に基づき種々の変形及び修正を行うことができる。したがって、これらの変形及び修正は本開示の範囲に含まれる。例えば、各実施形態において、各機能部、各手段、各ステップなどは論理的に矛盾しないように他の実施形態に追加し、若しくは、他の実施形態の各機能部、各手段、各ステップなどと置き換えることが可能である。また、各実施形態において、複数の各機能部、各手段、各ステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。また、上述した本開示の各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。
 上述した実施形態は、電子機器1としての実施のみに限定されるものではない。例えば、上述した実施形態は、電子機器1のような機器の制御方法として実施してもよい。さらに、上述した実施形態は、例えば電子機器1のような機器によって実行されるプログラム、又はプログラムを記録した記憶媒体若しくは記録媒体としてとして実施してもよい。
 また、上述した実施形態に係る電子機器1は、送信アンテナアレイ24及び受信アンテナアレイ31など、いわゆるレーダセンサを構成する部品を含むものとして説明した。しかしながら、一実施形態に係る電子機器は、例えば信号処理部10のような構成として実施してもよい。この場合、信号処理部10は、例えば、送信アンテナアレイ24及び受信アンテナアレイ31などが扱う信号を処理する機能を有するものとして実施してよい。
 1 電子機器
 10 信号処理部
 11 信号発生処理部
 12 受信信号処理部
 13 心拍抽出部
 14 算出部
 21 送信DAC
 22 送信回路
 23 ミリ波送信回路
 24 送信アンテナアレイ
 31 受信アンテナアレイ
 32 ミキサ
 33 受信回路
 34 受信ADC
 50 通信インタフェース
 60 外部機器

Claims (6)

  1.  送信波を送信する送信部と、
     前記送信波の物標からの反射波を受信する受信部と、
     前記送信波及び前記受信波のビート信号をフーリエ変換した後の変換信号に基づいて、前記物標の距離、方向、及び速度を検出する信号処理部と、
     を備える電子機器であって、
     前記信号処理部は、
      前記変換信号から前記物標の心拍に伴う心音振動に相当する信号成分を複数の窓関数により抽出し、
      前記心音振動に相当する信号成分にエンベロープ処理を行ったエンベロープ信号に対して周波数解析を行い、
      前記周波数解析の結果に対して統計結果の算出処理を行い、
      前記算出結果に基づいて、前記物標の心拍の周波数の時系列データを出力する、電子機器。
  2.  前記信号処理部は、前記周波数解析として超分解能周波数解析を行う、請求項1に記載の電子機器。
  3.  前記信号処理部は、前記周波数解析として部分空間法に基づく解析を行う、請求項1に記載の電子機器。
  4.  前記信号処理部は、前記周波数解析としてMUSIC法に基づく解析を行う、請求項3に記載の電子機器。
  5.  送信部から送信波を送信するステップと、
     前記送信波の物標からの反射波を受信部において受信する受信部と、
     前記送信波及び前記受信波のビート信号をフーリエ変換した後の変換信号に基づいて、前記物標の距離、方向、及び速度を検出するステップと、
     前記変換信号から前記物標の心拍に伴う心音振動に相当する信号成分を複数の窓関数により抽出するステップと、
     前記心音振動に相当する信号成分にエンベロープ処理を行ったエンベロープ信号に対して周波数解析を行うステップと、
     前記周波数解析の結果に対して統計結果の算出処理を行うステップと、
     前記算出結果に基づいて、前記物標の心拍の周波数の時系列データを出力するステップと、
     を含む電子機器の制御方法。
  6.  電子機器に、
     送信部から送信波を送信するステップと、
     前記送信波の物標からの反射波を受信部において受信する受信部と、
     前記送信波及び前記受信波のビート信号をフーリエ変換した後の変換信号に基づいて、前記物標の距離、方向、及び速度を検出するステップと、
     前記変換信号から前記物標の心拍に伴う心音振動に相当する信号成分を複数の窓関数により抽出するステップと、
     前記心音振動に相当する信号成分にエンベロープ処理を行ったエンベロープ信号に対して周波数解析を行うステップと、
     前記周波数解析の結果に対して統計結果の算出処理を行うステップと、
     前記算出結果に基づいて、前記物標の心拍の周波数の時系列データを出力するステップと、
     を実行させるプログラム。
PCT/JP2023/033445 2022-09-16 2023-09-13 電子機器、電子機器の制御方法、及びプログラム WO2024058226A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022148633 2022-09-16
JP2022-148633 2022-09-16

Publications (1)

Publication Number Publication Date
WO2024058226A1 true WO2024058226A1 (ja) 2024-03-21

Family

ID=90275302

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/033445 WO2024058226A1 (ja) 2022-09-16 2023-09-13 電子機器、電子機器の制御方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2024058226A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017127398A (ja) * 2016-01-18 2017-07-27 学校法人慶應義塾 情報処理装置、情報処理システム、情報処理方法及びプログラム
US20180279884A1 (en) * 2017-03-29 2018-10-04 Texas Instruments Incorporated Multi-person vital signs monitoring using millimeter wave (mm-wave) signals
US20190328243A1 (en) * 2016-12-21 2019-10-31 Emory University Methods and Systems for Determining Abnormal Cardiac Activity
JP2021001735A (ja) * 2019-06-19 2021-01-07 旭化成エレクトロニクス株式会社 センサ装置およびセンシング方法
CN112401856A (zh) * 2020-11-16 2021-02-26 武汉烽火凯卓科技有限公司 一种基于毫米波雷达的疗养院监护方法及系统
CN113261925A (zh) * 2021-03-11 2021-08-17 山东师范大学 一种基于毫米波雷达的人体感知方法及系统
JP2021176426A (ja) * 2020-05-08 2021-11-11 公立大学法人北九州市立大学 血圧測定装置、血圧測定システム、乗物、及び血圧測定方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017127398A (ja) * 2016-01-18 2017-07-27 学校法人慶應義塾 情報処理装置、情報処理システム、情報処理方法及びプログラム
US20190328243A1 (en) * 2016-12-21 2019-10-31 Emory University Methods and Systems for Determining Abnormal Cardiac Activity
US20180279884A1 (en) * 2017-03-29 2018-10-04 Texas Instruments Incorporated Multi-person vital signs monitoring using millimeter wave (mm-wave) signals
JP2021001735A (ja) * 2019-06-19 2021-01-07 旭化成エレクトロニクス株式会社 センサ装置およびセンシング方法
JP2021176426A (ja) * 2020-05-08 2021-11-11 公立大学法人北九州市立大学 血圧測定装置、血圧測定システム、乗物、及び血圧測定方法
CN112401856A (zh) * 2020-11-16 2021-02-26 武汉烽火凯卓科技有限公司 一种基于毫米波雷达的疗养院监护方法及系统
CN113261925A (zh) * 2021-03-11 2021-08-17 山东师范大学 一种基于毫米波雷达的人体感知方法及系统

Similar Documents

Publication Publication Date Title
Piriyajitakonkij et al. SleepPoseNet: Multi-view learning for sleep postural transition recognition using UWB
CN111142102B (zh) 一种呼吸数据计算方法以及相关设备
CN113534141A (zh) 基于相控阵雷达技术的远距生命体征探测方法及装置
US20230341518A1 (en) Millimeterwave radar system for determining an activity record
EP3289971B1 (en) Biometric device and biometric method
CN112998668A (zh) 基于毫米波的非接触式远场多人体呼吸心率监测方法
US20220137208A1 (en) Radar-based Cross-sectional Image Reconstruction of Subject
Goldfine et al. Respiratory rate monitoring in clinical environments with a contactless ultra-wideband impulse radar-based sensor system
CN112882016B (zh) 基于改进的稳健自适应波束形成的多人生命体征检测方法
Wang et al. HeRe: Heartbeat signal reconstruction for low-power millimeter-wave radar based on deep learning
WO2024058226A1 (ja) 電子機器、電子機器の制御方法、及びプログラム
WO2024058225A1 (ja) 電子機器、電子機器の制御方法、及びプログラム
WO2023021998A1 (ja) 電子機器、電子機器の制御方法、及びプログラム
CN114355329A (zh) 一种调频连续波雷达生命体征距离检测的方法
Gao et al. A new direction for biosensing: RF sensors for monitoring cardio-pulmonary function
CN114903469A (zh) 生命体征监测方法及装置
JP7377494B2 (ja) 属性の識別装置および識別方法
Foroughian et al. Non-contact multi-subject human gait analysis using a state-space method with enhanced 1-D block representation
WO2022101390A2 (en) Optimization of dataset
CN114847931A (zh) 人体运动的跟踪方法、装置和计算机可读存储介质
Zhang et al. Radar-Beat: Contactless beat-by-beat heart rate monitoring for life scenes
Kaiyu et al. Radar-Based Human Motion Recognition by Using Vital Signs with ECA-CNN.
WO2022249881A1 (ja) 電子機器、電子機器の制御方法、及びプログラム
Le et al. Multivariate Signal Decomposition for Vital Signal Extraction using UWB Impulse Radar
Mathurkar et al. Advancements in Non-Contact Radar-Based Techniques for Vital Sign Detection–A Review

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23865575

Country of ref document: EP

Kind code of ref document: A1