WO2020203911A1 - 脈拍数検出装置、及び脈拍数検出プログラム - Google Patents

脈拍数検出装置、及び脈拍数検出プログラム Download PDF

Info

Publication number
WO2020203911A1
WO2020203911A1 PCT/JP2020/014359 JP2020014359W WO2020203911A1 WO 2020203911 A1 WO2020203911 A1 WO 2020203911A1 JP 2020014359 W JP2020014359 W JP 2020014359W WO 2020203911 A1 WO2020203911 A1 WO 2020203911A1
Authority
WO
WIPO (PCT)
Prior art keywords
pulse rate
reliability
detection device
rate detection
acquired
Prior art date
Application number
PCT/JP2020/014359
Other languages
English (en)
French (fr)
Inventor
マイケル ジョーンズ
Original Assignee
株式会社エクォス・リサーチ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社エクォス・リサーチ filed Critical 株式会社エクォス・リサーチ
Priority to EP20782721.3A priority Critical patent/EP3949841A4/en
Priority to US17/599,945 priority patent/US20220192526A1/en
Priority to CN202080026532.6A priority patent/CN113660903A/zh
Publication of WO2020203911A1 publication Critical patent/WO2020203911A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • A61B5/7257Details of waveform analysis characterised by using transforms using Fourier transforms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221Determining signal validity, reliability or quality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals

Definitions

  • the present invention relates to a pulse rate detection device and a pulse rate detection program, for example, a device that detects a pulse rate by image processing.
  • the pulse rate is detected by attaching an instrument to the subject, but there is a high demand for easier detection, and techniques for detecting the pulse rate of the subject in a non-contact manner are being actively researched. Thereby, for example, the pulse rate of the driver of the vehicle can be monitored to further promote traffic safety.
  • Non-Patent Document 1 There is a technique of Non-Patent Document 1 as a technique of detecting the pulse rate of a subject in such a non-contact manner.
  • the subject's arm is photographed with a camera, and changes in skin color, brightness, etc. are acquired from the camera image to detect the pulse rate. Since the brightness and color of the body surface change due to blood flow, the pulse rate can be detected by image processing the image.
  • the reliability of the detected pulse rate cannot be known. For example, when the pulse rate was detected for a certain period, 86% of the detections were reliable, and if the rest were unreliable due to disturbance, it was not known which part was reliable. Further, even if the reliability of the detected value can be evaluated, there is a problem that the period during which the pulse rate can be detected becomes shorter if the evaluation is strict.
  • An object of the present invention is to output a highly reliable pulse rate.
  • the present invention comprises a moving image acquisition means for acquiring a moving image of a subject's body surface and the body surface in the acquired moving image.
  • the pulse rate acquisition means for acquiring the pulse rate of the subject based on the change in the pixel value, the reliability acquisition means for acquiring the reliability of the acquired pulse rate, and the acquired reliability are equal to or higher than a predetermined reliability standard.
  • the present invention provides a pulse rate detection device including an output means for outputting the acquired pulse rate.
  • the pulse rate acquisition means acquires the pulse rate from the pulse rate peak in the frequency domain of the acquired moving image, and the reliability acquisition means acquires the acquired pulse rate.
  • the pulse rate detecting device according to claim 1, wherein the reliability is acquired based on the SN ratio of the above. (3) In the invention according to claim 3, the reliability is reduced when the disturbance peak in the frequency domain of the disturbance factor that lowers the accuracy of the acquired pulse rate is close to the acquired pulse rate peak by a predetermined amount or more.
  • the pulse rate detecting device according to claim 2, wherein the pulse rate detecting device is provided.
  • the disturbing factor is the movement of the body surface, and in the reducing means, the movement peak in the frequency region of the movement of the body surface in the moving image is the acquired pulse rate.
  • the pulse rate detecting device 3, wherein the reliability is reduced when the peak is close to a predetermined amount or more.
  • the disturbance factor is the fluctuation of the light illuminating the body surface
  • the reduction means has acquired the optical peak in the frequency region of the light fluctuation in the moving image.
  • the pulse rate detecting device according to claim 3 or 4, wherein the reliability is reduced when the pulse rate peak is close to a predetermined amount or more.
  • the moving image acquisition function for acquiring a moving image of the body surface of the target person and the pulse of the target person based on the change in the pixel value of the body surface in the acquired moving image.
  • the pulse rate acquisition function for acquiring the number, the reliability acquisition function for acquiring the reliability of the acquired pulse rate, and the acquired pulse rate are output when the acquired reliability is equal to or higher than a predetermined reliability standard. It provides a pulse rate detection program that realizes an output function and a computer.
  • the pulse rate detection device 1 evaluates the reliability of the detected pulse rate based on the SN ratio of the pulse signal, and also considers the disturbance factors due to movement and light. ..
  • the pulse rate detection device 1 is provided with a pulse rate display standard 1 for displaying the pulse rate and a pulse rate display standard 2 lower than this, and when the SN ratio is equal to or higher than the former, the pulse rate is displayed. In the case of the latter or more and less than the former, it is displayed on condition that the difference from the latest past pulse rate is smaller than the predetermined standard. If the SN ratio is less than the pulse rate display standard 2, it is not displayed as low reliability.
  • the pulse rate detection device 1 considers motion disturbance due to the movement of the face of the subject 11 and light disturbance due to the change in the light illuminating the face of the subject 11 as disturbance factors that disturb the detection of the pulse rate, and causes motion disturbance.
  • the peak frequency in the frequency domain of optical disturbance is close to the pulse rate by a predetermined reference or more, the reliability of the detected pulse rate is considered to be low due to these disturbances, and the pulse rate is not displayed.
  • FIG. 1 is a diagram for explaining the configuration of the pulse rate detection device 1 of the present embodiment.
  • the pulse rate detection device 1 is mounted on a vehicle, for example, and monitors the pulse rate of a passenger (a target person such as a driver or a passenger in the passenger seat) to grasp a physiological state such as a driver's physical condition and tension. ..
  • a passenger a target person such as a driver or a passenger in the passenger seat
  • a physiological state such as a driver's physical condition and tension. .
  • it can be used to detect and monitor the pulse rate of patients and disaster victims at medical sites and disaster sites, or it can be installed in homes and commercial facilities and used by users to easily detect the pulse rate. Can be done.
  • the pulse rate detection device 1 includes a CPU (Central Processing Unit) 2, a ROM (Read Only Memory) 3, a RAM (Random Access Memory) 4, a display unit 5, and an input unit 6. It is composed of an output unit 7, a camera 8, a storage unit 10, and the like, and detects (or estimates, measures) the pulse rate of the subject 11.
  • the CPU 2 is a central processing unit that performs various information processing and control according to a program stored in a storage unit 10 or a ROM 3.
  • the moving image taken by the camera 8 is image-processed to detect the pulse rate of the subject 11. This detection can be performed in the visible light region or the infrared region, but in the present embodiment, visible light is used as an example. It is also possible to provide lighting for illuminating the subject 11 with visible light or infrared light.
  • the ROM 3 is a read-only memory, and stores basic programs and parameters for operating the pulse rate detection device 1.
  • the RAM 4 is a readable and writable memory, and provides a working memory when the CPU 2 operates.
  • the CPU 2 detects a pulse wave from the skin portion of the image by expanding and storing an image (one frame of still image) constituting a moving image or storing a calculation result.
  • the skin portion may be a place where the body surface such as the face or limbs is exposed, but in the present embodiment, the pulse rate is detected from the surface (face) of the face as an example.
  • the display unit 5 is configured by using a display device such as a liquid crystal screen, and is a pulse rate detection device such as an operation screen of the pulse rate detection device 1, a pulse rate display, and cautions regarding the reliability of the detected pulse rate. Display the information required for the operation of 1.
  • the input unit 6 is configured by using an input device such as a touch panel installed superimposed on the display device, and receives input of various information depending on whether or not there is a touch on the screen display.
  • the output unit 7 is an interface that outputs various kinds of information to an external device.
  • the detected pulse rate can be output, or an alarm can be output when a change appears in the pulse rate.
  • the output unit 7 can output to other control devices such as a control device that controls the vehicle.
  • the control device that receives the output of the pulse rate from the output unit 7 for example, the control device that determines the drowsiness or tension state of the driver and controls the driver, for example, the control that vibrates the steering wheel or the seat to awaken the drowsiness. You can output warning sounds and messages.
  • control for the vehicle at least one of inter-vehicle distance control, vehicle speed control, and brake control can be performed according to the driver's tension state determined based on the pulse rate. For example, when the driver determines that the driver is in a high tension state exceeding a predetermined value, the control device controls the inter-vehicle distance to be larger than the reference value and controls the vehicle speed to be equal to or less than the predetermined vehicle speed. If the vehicle speed is higher than the specified vehicle speed, deceleration processing by automatic braking operation is performed.
  • the camera 8 is a moving image camera, and is configured by using an optical system composed of a lens and an image element that converts an image formed by the lens into an electric signal, and captures the vicinity of the face of the subject 11. It is installed so that it becomes a screen.
  • the camera 8 captures a moving image in the visible light region, but when detecting the pulse rate in the infrared region, an infrared camera equipped with an infrared image sensor is used.
  • the camera 8 shoots the target person 11 at a predetermined frame rate, and outputs a moving image composed of these continuous images (still images).
  • the image is composed of an array of pixels, which is the smallest unit that constitutes the image.
  • the storage unit 10 is configured by using a storage medium such as a hard disk or an EEPROM (Electrical Read-Only Memory), and stores a pulse rate detection program, other programs, and data for the CPU 2 to detect a pulse wave. I remember.
  • the pulse rate data detected by the CPU 2 according to the pulse rate detection program is temporarily stored in the RAM 4, output to the outside, or stored in the storage unit 10 as needed.
  • the pulse rate detection program is a program that causes the CPU 2 to perform pulse wave detection processing.
  • the CPU 2 executes information processing such as setting a detection area in an image, detecting the pulse rate, evaluating the reliability of the detected pulse rate, and controlling the output of the pulse rate according to the reliability. Do.
  • FIG. 1B shows an example of detecting the pulse rate.
  • FFT Fast Fourier Transform
  • FIG. 2 is a flowchart for explaining the pulse rate detection process performed by the pulse rate detection device 1. The following processing is performed according to the pulse rate detection program stored in the storage unit 10 by the CPU 2 of the pulse rate detection device 1.
  • the pulse rate detection device 1 performs a reference setting process for setting various criteria for evaluating the reliability of the detected pulse rate and the degree of disturbance (step 5).
  • the pulse rate detection device 1 acquires an image (frame image) of a moving image taken by the camera 8 by storing it in the RAM 4 (step 10).
  • the pulse rate detection device 1 is provided with a moving image acquisition means for acquiring a moving image of the body surface of the subject.
  • the pulse rate detection device 1 sets a measurement area in the acquired moving image (step 15), and stores this in the RAM 4. As shown in FIG. 3A, the pulse rate detection device 1 detects the face of the subject 11 in the image 20 by a known technique, and sets the face measurement area 22.
  • the pulse rate detection device 1 determines whether or not the size of the measurement area 22 is sufficient (step 20). If the size of the measurement area 22 is not sufficient (step 20; N), the pulse rate detection device 1 returns to step 10 to acquire the (next) image and set the measurement area 22. Alternatively, the measurement area 22 may be reset with the same image by returning to step 15.
  • the pulse rate detection device 1 performs a calculation process of the average Q (orig_Q) of the measurement area 22 (step 25). This is to average the Q values of the portion of the measurement region 22, that is, the region shown by the diagonal line in FIG. 3 (b), and later detect the pulse rate from the time change of the Q value.
  • orig_Q is an abbreviation for the average Q of the measurement region 22, and below, the abbreviation is written in parentheses as necessary.
  • the pulse rate detection device 1 then calculates the center position (disp_Q) of the measurement region 22 (step 30). As shown in FIG. 3C, this is for calculating the position of the center 24 of the measurement region 22, and is used later when evaluating the movement disturbance due to the movement of the face.
  • the pulse rate detection device 1 determines that the reliability of the pulse rate is low due to the motion disturbance when the peak frequency of the movement of the center 24 in the frequency domain and the pulse rate are closer than a predetermined amount. Reduces pulse rate reliability.
  • the pulse rate detecting device 1 includes a reducing means for reducing the reliability of the pulse rate when the disturbance peak in the frequency domain of the disturbance factor that lowers the accuracy of the pulse rate is close to the pulse rate peak by a predetermined amount or more.
  • the disturbing factor is the movement of the body surface, and the reducing means reduces the reliability when the movement peak in the frequency region of the movement of the body surface in the moving image is close to the pulse rate peak by a predetermined amount or more.
  • the pulse rate detection device 1 then performs a calculation process of the average Q (conj_Q) of the region other than the measurement region 22 (step 35). This is to average the Q values of the part other than the measurement area 22, that is, the background area of the measurement area 22 shown by the diagonal line in FIG. 3D, and is used later when evaluating the optical disturbance. is there.
  • the state of the light that illuminates the face of the subject 11 changes with time while driving the vehicle, and the change becomes a disturbance factor (light disturbance) that lowers the detection accuracy of the pulse rate. It is necessary to know the change in the state of the light that illuminates the face when it does not include the change due to the pulse, but since it appears in the area other than the measurement area 22 which is the background of the face, it is detected by conj_Q. Is.
  • the pulse rate detection device 1 determines that the reliability of the pulse rate is low due to optical disturbance, and determines that the pulse rate is low.
  • Reduce reliability As described above, the disturbance factor is the fluctuation of the light illuminating the body surface, and the reducing means reduces the reliability when the light peak in the frequency region of the light fluctuation in the moving image is close to the pulse rate peak by a predetermined amount or more. ..
  • the pulse rate detection device 1 determines whether or not the time elapsed since the start of image acquisition has passed the window period for performing the FFT (step 40). If the window period has not elapsed (step 40; N), the pulse rate detection device 1 returns to step 10 and performs the same processing on the next image.
  • the window period is set to 10 seconds, and the above processing is performed on images recorded in time series with a moving image of 10 seconds. Since images for 10 seconds are prepared in steps 10 to 40 in this way, they can be converted into the frequency domain by integrating them in the time direction with the FFT algorithm. More specifically, 10 seconds of orig_Q, disp_Q, and conj_Q can be transformed by FFT to obtain frequency components of pulse rate, motion disturbance, and optical disturbance, respectively.
  • FIG. 4 is a continuation of FIG.
  • the pulse rate detection device 1 performs a calculation process of the peak frequency (HR) of orig_Q and the SN ratio (step 50).
  • the HR represents the pulse rate of the subject 11, and the SN ratio of the pulse rate signal by the FFT is the basis for the reliability evaluation of the detected pulse rate.
  • the pulse rate detection device 1 performs a calculation process of the peak frequency of disp_Q and the SN ratio (step 55). This is a process for detecting motion disturbance.
  • the pulse rate detection device 1 determines whether or not the SN ratio of disp_Q is larger than MR_SNR_C and the peak frequency of disp_Q (that is, the peak frequency of motion disturbance) is close to HR (step 60).
  • MR_SNR_C is a reference value of the SN ratio of the motion disturbance, and is set in the reference setting process of step 5 as described later.
  • step 60; Y when the SN ratio of disp_Q is larger than MR_SNR_C and the peak frequency of disp_Q is close to HR (step 60; Y), the pulse rate detection device 1 determines that there is motion disturbance and performs motion disturbance processing (step 60; Y). Step 65). On the other hand, when the condition of step 60 is not satisfied (step 60; N), or after step 65, the pulse rate detection device 1 performs a calculation process of the peak frequency of conj_Q and the SN ratio (step 70). This is a process for detecting optical disturbance.
  • the pulse rate detection device 1 determines whether or not the SN ratio of conj_Q is larger than LR_SNR_C and the peak frequency of conj_Q (that is, the peak frequency of optical disturbance) is close to HR (step 75).
  • LR_SNR_C is a reference value of the SN ratio of optical disturbance, and is set in the reference setting process of step 5 as described later.
  • step 75; Y when the SN ratio of conj_Q is larger than LR_SNR_C and the peak frequency of conj_Q is close to HR (step 75; Y), the pulse rate detection device 1 determines that there is optical disturbance and performs optical disturbance processing (step 75; Y). Step 80). On the other hand, when the condition of step 75 is not satisfied (step 75; N), or after step 80, the pulse rate detection device 1 performs a pulse rate display process based on reliability by anchor processing (step 85).
  • FIG. 5 is a flowchart for explaining the reference setting process (step 5 of FIG. 2).
  • the pulse rate detection device 1 is set by storing the pulse rate display reference 1 (HR_SNR_C1) in the RAM 4 (step 105).
  • the pulse rate detection device 1 outputs the pulse rate as having high reliability.
  • the pulse rate detection device 1 has a reliability acquisition means for acquiring the reliability of the pulse rate and an output means for outputting the pulse rate when the reliability is equal to or higher than a predetermined reliability standard. I have.
  • the pulse rate detection device 1 is set by storing the pulse rate display reference 2 (HR_SNR_C2) in the RAM 4 (step 110). This is the second criterion for evaluating the reliability, and is a value smaller than HR_SNR_C1.
  • the pulse rate detection device 1 does not satisfy the HR_SNR_C1 reliability of the pulse rate, when the pulse rate detection device 1 satisfies the HR_SNR_C2, the pulse rate detection device 1 requires that the detected pulse rate is close to the latest past pulse rate. Is displayed. This is to relieve the case where the reliability is slightly inferior by utilizing the fact that the pulse rate does not change suddenly, whereby the pulse rate detection device 1 can determine the effective detection period of the pulse rate. Can be increased.
  • the output means provided in the pulse rate detection device 1 determines the change in the pulse rate when the reliability of the pulse rate is equal to or higher than the predetermined reliability standard (pulse rate display standard 1) and when the reliability is lower than the predetermined reliability standard. Outputs the acquired pulse rate when it is within the appropriate range of.
  • the change in the pulse rate is the difference between the pulse rate detected this time and the latest pulse rate, and the output means measures the pulse rate within an appropriate range when the difference is less than a predetermined value (less than or equal to the anchor reference described later). Output as if there is.
  • the pulse rate detection device 1 sets the pulse rate / disturbance error reference ( ⁇ HR) by storing it in the RAM 4 (step 115).
  • ⁇ HR is set to 5 bpm, and the presence or absence of disturbance is determined within a range of ⁇ 5 bpm of HR.
  • the pulse rate detection device 1 if the peaks of motion disturbance and optical disturbance are within the range of ⁇ 5 bpm of HR, the conditions related to the SN ratio of these disturbance factors themselves (steps 60 and 75) are satisfied. Judge that there are these disturbances.
  • the pulse rate detection device 1 sets the motion disturbance reference (MR_SNR_C) by storing it in the RAM 4 (step 120), and further sets the optical disturbance reference (LR_SNR_C) by storing it in the RAM 4 (step 125). ).
  • This is a reference for the SN ratio of the disturbance factor itself used in steps 60 and 75.
  • the pulse rate detection device 1 is set by storing the anchor reference (HR_ANC_C) in the RAM 4 (step 130), and further, by storing an appropriate initial value of the anchor pulse rate (HR_ANC) in the RAM 4, the initial value is set. (Step 135).
  • the anchor pulse rate is a variable that stores the latest past pulse rate
  • the anchor reference is a standard for determining the closeness between the detected pulse rate and the latest pulse rate. That is, when the difference between the latest pulse rate detected this time and the latest past pulse rate is less than or equal to the anchor reference, the pulse rate detection device 1 determines that the latest pulse rate is in the appropriate range.
  • FIG. 6 is a flowchart for explaining the calculation process (step 25 of FIG. 2) of the average Q (orig_Q) of the measurement region 22.
  • the pulse rate detection device 1 converts the color space of the image 20 stored in the RAM 4 from RGB to YIQ, and stores the image 20 based on the converted Q value in the RAM 4 (step 150). In the subsequent processing, the image 20 based on the Q value is used. The reason why the image 20 of the Q value is created in this way is that the Q value is suitable for detecting the pulse rate.
  • the pulse rate detection device 1 adjusts (calibrates) the Q value of each pixel as a countermeasure against the influence of the characteristics of the camera 8 (step 155). This is to correct the variation in the performance of the pixels constituting the frame image by scaling the value of each pixel.
  • the pulse rate detection device 1 calculates the average value (orig_Q) by averaging the Q values of the pixels in the measurement area 22, and stores them in the RAM 4 (step 160). Then, the pulse rate detection device 1 returns to the main routine.
  • FIG. 7 is a flowchart for explaining the calculation process (step 35 of FIG. 2) of the average Q (conj_Q) of the region other than the measurement region 22.
  • the pulse rate detection device 1 identifies a portion of the image 20 stored in the RAM 4 other than the measurement region 22 excluding the measurement region 22 (step 180). Then, the pulse rate detection device 1 calculates the average value (conj_Q) by averaging the Q values of the pixels in the portion other than the specified measurement area 22, and stores the average value (conj_Q) in the RAM 4 (step 185). Then, the pulse rate detection device 1 returns to the main routine.
  • FIG. 8 is a flowchart for explaining the calculation process of the peak frequency (HR) and the SN ratio of orig_Q (step 50 in FIG. 4).
  • the pulse rate detection device 1 reads out org_Q for 10 seconds stored in RAM 4 and Fourier transforms it with FFT to generate FFT_HR and stores it in RAM 4 (step 205).
  • FFT_HR is data obtained by converting orig_Q from the time domain to the frequency domain (when drawn in a graph, for example, as shown in FIG. 1 (b)), and the maximum peak (pulse rate signal) due to the pulse rate is around 60 bpm. appear. Therefore, the pulse rate detection device 1 identifies the frequency (HR) of the maximum peak of FFT_HR and stores it in the RAM 4 (step 210). This corresponds to the pulse rate of subject 11. As described above, the pulse rate detection device 1 is provided with a pulse rate acquisition means for acquiring the pulse rate of the subject based on the change in the pixel value (for example, Q value, brightness of infrared rays) on the body surface in the moving image. The pulse rate acquisition means acquires the pulse rate from the pulse rate peak in the frequency domain of the moving image.
  • a pulse rate acquisition means for acquiring the pulse rate of the subject based on the change in the pixel value (for example, Q value, brightness of infrared rays) on the body surface in the moving
  • the pulse rate detection device 1 generates a mask (HR_M1) having a maximum peak frequency of ⁇ 5 bpm and stores it in the RAM 4 (step 215).
  • HR_M1 is data that takes 1 in the range of HR ⁇ 5 bpm and 0 in the other range.
  • HR_M1 is used together with HR_M2 described later to extract a portion of the pulse rate signal from the FFT waveform when the SN ratio is calculated later.
  • the pulse rate detection device 1 generates a mask (HR_M2) having a harmonic ⁇ 5 bpm of the maximum peak and stores it in the RAM 4 (step 220). This is because the second harmonic of the pulse rate also appears in the frequency domain of the FFT performed by the pulse rate detection device 1, so a mask for this is also created.
  • the pulse rate detection device 1 generates one mask (HR_M) by adding HR_M1 and HR_M2 stored in RAM 4, and stores it in RAM 4 (step 225).
  • HR_M is a mask that becomes 1 in the portion of ⁇ 5 bpm centered on HR and ⁇ 5 bpm centered on the second harmonic of HR, and becomes 0 in other portions.
  • HRN_M is the inverted 1 and 0 of HR_M, and becomes 0 in the part of ⁇ 5 bpm centered on HR and ⁇ 5 bpm centered on the second harmonic of HR, and 1 in other parts. Become.
  • the pulse rate detection device 1 normalizes the FFT_HR stored in the RAM 4, and stores the normalized data (FFT_HRn) in the RAM 4 (step 235).
  • the pulse rate detection device 1 substitutes FFT_HRn stored in the RAM 4 into the equation of num shown in FIG. 8, calculates the num, and stores the result in the RAM 4 (step 240).
  • the pulse rate detection device 1 analyzes the moving image data accumulated during 10 seconds by FFT, and this is repeated for the latest data every second. Therefore, the pulse rate detection device 1 generates the latest values of FFT_HRn, HR_M, and HRN_M in time series every second. Therefore, in the calculation of num and the next den, i are added in order to equalize the variation of the data.
  • the equation of num is the inner product of the vector whose component is the square of FFT_HRn (i) and HR_M (i) which is the vector whose component is 01 of the mask, and is a portion of ⁇ 5 bpm centered on HR. And, a value proportional to the power of the signal in the portion of ⁇ 5 bpm centered on the second harmonic of HR is obtained. That is, the pulse rate detection device 1 extracts a portion corresponding to the pulse rate signal from FFT_HRn (i) and calculates a value proportional to its power (because it is normalized).
  • the pulse rate detection device 1 similarly substitutes the FFT_HRn stored in the RAM 4 into the den equation shown in FIG. 8, calculates the den, and stores the result in the RAM 4 (step 245). Since HRN_M (i) is an inverted version of HR_M (i), den is a portion excluding the ⁇ 5 bpm portion centered on HR and the ⁇ 5 bpm portion centered on the second harmonic of HR. A value proportional to the power of the signal of is obtained. That is, the pulse rate detection device 1 extracts a portion that does not correspond to the pulse rate signal from FFT_HRn (i) and calculates a value proportional to its power (because it is normalized).
  • the pulse rate detection device 1 substitutes the num and den stored in the RAM 4 into the numerator and denominator of the HR_SNR formula shown in the figure to generate the HR_SNR which is the basis of the reliability of the pulse wave, and stores it in the RAM 4. (Step 250). Then, the pulse rate detection device 1 returns to the main routine.
  • the formula of HR_SNR is a general formula expressing the SN ratio, and expresses the degree of the signal with respect to noise by dividing num by den.
  • the pulse rate detection device 1 sets HR_SNR as the initial value of the reliability of the pulse rate, reduces this by the influence of a disturbance factor, and controls the display of the pulse rate.
  • the reliability acquisition means included in the pulse rate detection device 1 acquires the reliability based on the SN ratio of the pulse rate.
  • FIG. 9 is a flowchart for explaining the calculation process of the peak frequency (MR) and the SN ratio of disp_Q (step 55 in FIG. 4).
  • the processing procedure is the same as in the case of orig_Q, and the description of common parts will be simplified.
  • the disc_Q for 10 seconds stored in the RAM 4 is read out, and this is Fourier transformed by the FFT.
  • the pulse rate detection device 1 thereby generates an FFT_MR which is an FFT value of disp_Q and stores it in the RAM 4 (step 255).
  • the FFT_MR is a frequency component of motion disturbance, and the pulse rate detection device 1 identifies the frequency (MR) of the maximum peak of the FFT_MR and stores it in the RAM 4 (step 260).
  • the pulse rate detection device 1 generates a mask (MR_M1) having a maximum peak frequency of ⁇ 5 bpm and stores it in the RAM 4 (step 265).
  • the pulse rate detection device 1 generates a mask (MR_M2) having a harmonic ⁇ 5 bpm of the maximum peak and stores it in the RAM 4 (step 270).
  • the pulse rate detection device 1 generates one mask (MR_M) by adding MR_M1 and MR_M2 stored in the RAM 4, and stores it in the RAM 4 (step 275).
  • the pulse rate detection device 1 normalizes the FFT_MR stored in the RAM 4, and stores the normalized data (FFT_MRn) in the RAM 4 (step 285).
  • the pulse rate detection device 1 substitutes the FFT_MRn stored in the RAM 4 into the formula of the num shown in FIG. 9, calculates the num, and stores the result in the RAM 4 (step 290).
  • the pulse rate detection device 1 similarly substitutes the FFT_MRn stored in the RAM 4 into the den equation shown in FIG. 9, calculates the den, and stores the result in the RAM 4 (step 295).
  • the pulse rate detection device 1 substitutes the num and den stored in the RAM 4 into the MR_SNR equation shown in FIG. 9, generates an MR_SNR based on the motion disturbance, and stores it in the RAM 4 (step 300). Then, the pulse rate detection device 1 returns to the main routine.
  • This MR_SNR is used as the SN ratio of disp_Q in step 60 of FIG.
  • FIG. 10 is a flowchart for explaining the motion disturbance processing (step 65 in FIG. 4).
  • the pulse rate detection device 1 sets the motion disturbance flag by setting the motion disturbance flag to 1 (step 305).
  • the pulse rate detection device 1 stores a motion disturbance flag in the RAM 4, and if there is no motion disturbance, this is set to 0. If there is a motion disturbance, this is set to 1 to set the motion disturbance. Set a flag.
  • the pulse rate detection device 1 displays "Caution: motion disturbance" or the like on the display unit 5 (FIG. 1) to the effect that a motion disturbance has occurred (step 310).
  • the pulse rate detection device 1 updates HR_SNR to HR_SNR_C2-1 and stores it in RAM 4 (step 315). Then, the pulse rate detection device 1 returns to the main routine. In this way, when there is motion disturbance, the reliability of the pulse rate is low, so the pulse rate detection device 1 reduces the reliability from HR_SNR to a value smaller than HR_SNR_C2 by 1, and in the subsequent anchor processing, the pulse rate is reduced. Is not displayed.
  • FIG. 11 is a flowchart for explaining the calculation process of the peak frequency (LR) and the SN ratio of conj_Q (step 70 in FIG. 4).
  • the processing procedure is the same as in the case of orig_Q, and the description of common parts will be simplified.
  • conj_Q for 10 seconds stored in RAM 4 is read out, and this is Fourier transformed by FFT.
  • the pulse rate detection device 1 thereby generates an FFT_LR which is an FFT value of conj_Q and stores it in the RAM 4 (step 350).
  • FFT_LR is a frequency component of optical disturbance, and the pulse rate detection device 1 identifies the frequency (LR) of the maximum peak of FFT_LR and stores it in RAM 4 (step 355).
  • the pulse rate detection device 1 generates a mask (LR_M1) having a maximum peak frequency of ⁇ 5 bpm and stores it in the RAM 4 (step 360).
  • the pulse rate detection device 1 generates a mask (LR_M2) having a harmonic ⁇ 5 bpm of the maximum peak and stores it in the RAM 4 (step 365).
  • the pulse rate detection device 1 generates one mask (LR_M) by adding LR_M1 and LR_M2 stored in the RAM 4 and stores it in the RAM 4 (step 370).
  • the pulse rate detection device 1 normalizes the FFT_LR stored in the RAM 4, and stores the normalized data (FFT_LRn) in the RAM 4 (step 380).
  • the pulse rate detection device 1 substitutes FFT_LRn stored in the RAM 4 into the formula of the num shown in FIG. 11, calculates the num, and stores the result in the RAM 4 (step 385).
  • the pulse rate detection device 1 similarly substitutes the FFT_LRn stored in the RAM 4 into the den equation shown in FIG. 11, calculates the den, and stores the result in the RAM 4 (step 390).
  • the pulse rate detection device 1 substitutes the num and den stored in the RAM 4 into the equation of LR_SNR shown in FIG. 11 to generate an LR_SNR based on optical disturbance, and stores the LR_SNR in the RAM 4 (step 395). Then, the pulse rate detection device 1 returns to the main routine.
  • This LR_SNR is used as the SN ratio of conj_Q in step 75 of FIG.
  • FIG. 12 is a flowchart for explaining the optical disturbance processing (step 80 of FIG. 4).
  • the pulse rate detection device 1 sets the optical disturbance flag by setting the optical disturbance flag stored in the RAM 4 to 1 (step 405).
  • the pulse rate detection device 1 stores the optical disturbance flag in the RAM 4, and if there is no optical disturbance, this is set to 0. If there is an optical disturbance, this is set to 1 to set the optical disturbance. Set a flag.
  • the pulse rate detection device 1 displays "Caution: light disturbance" or the like on the display unit 5 (FIG. 1) to the effect that a light disturbance has occurred (step 410).
  • the pulse rate detection device 1 updates HR_SNR to HR_SNR_C2-1 and stores it in RAM 4 (step 415). Then, the pulse rate detection device 1 returns to the main routine. In this way, when there is optical disturbance, the reliability of the pulse rate is low, so the pulse rate detection device 1 reduces the reliability from HR_SNR to a value smaller than HR_SNR_C2 by 1, and in the subsequent anchor processing, the pulse rate is reduced. Is not displayed.
  • FIG. 13 is a flowchart for explaining the anchor process (step 85 of FIG. 4).
  • the anchor process is a process of controlling the display of the pulse rate according to the reliability of the pulse rate.
  • the pulse rate detection device 1 reads out HR_SNR (reliability) and HR_SNR_C1 (pulse rate display reference 1) from the RAM 4 and compares the magnitude relationship (step 450).
  • HR_SNR reliability
  • HR_SNR_C1 pulse rate display reference 1
  • step Y the pulse rate detection device 1 substitutes HR (detected pulse rate) for HR_ANC (anchor pulse rate).
  • HR_ANC anchor pulse rate
  • step 455 This is a process of storing the latest past pulse rate in HR_ANC.
  • the pulse rate detection device 1 displays the HR (pulse rate) on the display unit 5 (step 460), and returns to the main routine.
  • the pulse rate detection device 1 has an HR_SNR (reliability) of HR_SNR_C2 (pulse rate display standard 2) or more.
  • HR_SNR reliability
  • HR_ANC_C anchor reference
  • the pulse rate detection device 1 substitutes HR (detected pulse rate) for HR_ANC (anchor pulse rate), stores it in RAM 4 (step 470), and displays it. HR (detected pulse rate) is displayed in part 5 (step 460), and the process returns to the main routine.
  • the pulse rate detection device 1 performs the caution display process (step 475) and returns to the main routine.
  • FIG. 14 is a flowchart for explaining the procedure of the caution display process in step 475 (FIG. 13).
  • the pulse rate detection device 1 determines whether or not the motion disturbance flag stored in the RAM 4 is set (step 500). When the motion disturbance flag is set (step 500; N), the pulse rate detection device 1 returns to the anchor process.
  • the pulse rate detection device 1 further determines whether or not the optical disturbance flag is set (step 505).
  • the pulse rate detection device 1 returns to the anchor process.
  • the pulse rate detection device 1 displays "Caution: weak pulse wave signal" on the display unit 5 (step 510) and returns to the anchor processing. ..
  • the reliability of the detected pulse rate can be quantitatively evaluated.
  • the reliability of the detected pulse rate is improved.
  • the period during which the pulse rate can be detected can be determined based on the display of the reliability of the pulse rate.
  • the pulse rate when there is a disturbance, the pulse rate is not displayed by setting HR_SNR as HR_SNR_C2-1. However, even if the degree of disturbance is further subdivided and the display of the pulse rate is controlled according to the degree. Good. Further, in the present embodiment, the display / non-display of the pulse rate is controlled based on the reliability, but the reliability is added to the pulse rate and the entire number is output, or the output destination is controlled by, for example, the vehicle. Various output forms such as a system are possible.
  • a moving image acquisition means for acquiring a moving image of a subject's body surface, and a pulse rate for acquiring the target person's pulse rate based on a change in a pixel value of the body surface in the acquired moving image.
  • a pulse rate detecting device comprising an output means for outputting the acquired pulse rate when is within a predetermined appropriate range.
  • the change in the pulse rate is the difference between the acquired pulse rate and the latest pulse rate, and the output means has the acquired pulse rate within an appropriate range when the difference is equal to or less than a predetermined range.
  • the pulse rate detection device of the first configuration characterized in that the acquired pulse rate is output as described in the above.
  • the pulse rate acquisition means acquires the pulse rate from the pulse rate peak in the frequency domain of the acquired moving image, and the reliability acquisition means is based on the SN ratio of the acquired pulse rate.
  • a pulse rate detecting device having a third configuration, characterized in that.
  • the disturbance factor is the movement of the body surface, and in the reduction means, the movement peak in the frequency region of the movement of the body surface in the moving image is close to the acquired pulse rate peak by a predetermined amount or more.
  • a pulse rate detecting device having a fourth configuration characterized in that the reliability is reduced in some cases.
  • the disturbance factor is the fluctuation of the light illuminating the body surface, and in the reduction means, the light peak in the frequency region of the light fluctuation in the moving image is the acquired pulse rate peak and a predetermined amount.
  • a pulse rate detecting device having a fourth configuration or a fifth configuration, characterized in that the reliability is reduced when the reliability is close to the above.
  • (7th configuration) A moving image acquisition function for acquiring a moving image of a subject's body surface, and a pulse rate for acquiring the target person's pulse rate based on a change in a pixel value of the body surface in the acquired moving image.
  • An acquisition function a reliability acquisition function for acquiring the reliability of the acquired pulse rate, a change in the acquired pulse rate when the acquired reliability is equal to or higher than a predetermined reliability standard, and a change in the acquired pulse rate below the reliability standard.
  • a pulse rate detection program that realizes a computer-based output function that outputs the acquired pulse rate when is within a predetermined appropriate range.
  • Pulse rate detector 2 CPU 3 ROM 4 RAM 5 Display unit 6 Input unit 7 Output unit 8 Camera 10 Storage unit 11 Target person 20 Image 22 Measurement area 24 Center

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

信頼性の高い脈拍数の出力を行うことを目的とする。 脈拍数検出装置1は、検出した脈拍数の信頼度を外乱要因を考慮しつつ、脈拍信号のSN比を基本として評価する。脈拍数検出装置1は、脈拍数を表示するための脈拍数表示基準1と、脈拍数表示基準2を設けており、SN比が前者以上となる場合は、脈拍数を表示し、後者以上、前者未満の場合は、直近の過去の脈拍数との差が所定基準より小さいことを条件として表示する。SN比が脈拍数表示基準2未満となる場合は、信頼度が低いとして表示しない。また、脈拍数検出装置1は、対象者11の顔の動きによる動き外乱と、対象者11の顔を照らす光の変化による光外乱を考慮し、動き外乱や光外乱の周波数領域におけるピーク周波数が脈拍数と所定基準以上近い場合、検出した脈拍数の信頼度はこれら外乱によって低いとして、脈拍数を表示しない。

Description

脈拍数検出装置、及び脈拍数検出プログラム
 本発明は、脈拍数検出装置、及び脈拍数検出プログラムに関し、例えば、画像処理によって脈拍数を検出するものに関する。
 対象者の健康状態や生理的な状態を把握するためには、脈拍数の検出が重要である。通常、脈拍数は、対象者に器具を装着して検出するが、もっと手軽に検出したいとの要望が高く、非接触で対象者の脈拍数を検出する技術が盛んに研究されている。
 これにより、例えば、車両の運転者の脈拍数をモニタリングして、より交通安全を推進することができる。
 このような非接触で対象者の脈拍数を検出する技術に非特許文献1の技術がある。この技術は、対象者の腕をカメラで撮影し、皮膚の色や輝度などの変化をカメラ映像から取得して脈拍数を検出する。血流により体表面の輝度や色が変化するため、映像を画像処理することにより脈拍数を検出することができる。
 しかし、対象が動いたり環境光が変化したりなどの外乱がある環境下で脈拍数を検出する場合、検出した脈拍数の信頼度(信頼性)が分からないという問題があった。
 例えば、ある期間脈拍数を検出したところ、信頼できる検出が86%で、残りは外乱により信頼できないものであった場合、どの部分が信頼できる検出か分からなかった。
 また、検出値の信頼性が評価できたとした場合でも、評価を厳しくすると脈拍数を検出できる期間が短くなるという問題もある。
"Non-contact monitoring techniques - Principles and applications," D. Teichmann, C. Bruser, B. Eilebrecht, A. Abbas, N. Blanik, and S. Leonhardt, Con. Proc. IEEE Eng., Med. Biol. Soc. 34th Ann. Int. Conf., San Diego, CA, USA, 2012, pp. 1302-1305.
 本発明は、信頼性の高い脈拍数の出力を行うことを目的とする。
(1)本発明は、前記目的を達成するために、請求項1に記載の発明では、対象者の体表面を撮影した動画を取得する動画取得手段と、前記取得した動画における前記体表面の画素値の変化に基づいて前記対象者の脈拍数を取得する脈拍数取得手段と、前記取得した脈拍数の信頼度を取得する信頼度取得手段と、前記取得した信頼度が所定の信頼基準以上である場合に、前記取得した脈拍数を出力する出力手段と、を具備したことを特徴とする脈拍数検出装置を提供する。
(2)請求項2に記載の発明では、前記脈拍数取得手段が、前記取得した動画の周波数領域における脈拍数ピークから前記脈拍数を取得し、前記信頼度取得手段は、前記取得した脈拍数のSN比に基づいて前記信頼度を取得することを特徴とする請求項1に記載の脈拍数検出装置を提供する。
(3)請求項3に記載の発明では、前記取得した脈拍数の精度を低下させる外乱要因の周波数領域における外乱ピークが、前記取得した脈拍数ピークと所定量以上近い場合に前記信頼度を低減する低減手段を具備したことを特徴とする請求項2に記載の脈拍数検出装置を提供する。
(4)請求項4に記載の発明では、前記外乱要因は前記体表面の動きであり、前記低減手段は、前記動画における前記体表面の動きの周波数領域における動きピークが、前記取得した脈拍数ピークと所定量以上近い場合に前記信頼度を低減することを特徴とする請求項3に記載の脈拍数検出装置を提供する。
(5)請求項5に記載の発明では、前記外乱要因は前記体表面を照らす光の変動であり、前記低減手段は、前記動画における前記光の変動の周波数領域における光ピークが、前記取得した脈拍数ピークと所定量以上近い場合に前記信頼度を低減することを特徴とする請求項3、又は請求項4に記載の脈拍数検出装置を提供する。
(6)請求項6に記載の発明では、対象者の体表面を撮影した動画を取得する動画取得機能と、前記取得した動画における前記体表面の画素値の変化に基づいて前記対象者の脈拍数を取得する脈拍数取得機能と、前記取得した脈拍数の信頼度を取得する信頼度取得機能と、前記取得した信頼度が所定の信頼基準以上である場合に、前記取得した脈拍数を出力する出力機能と、をコンピュータで実現する脈拍数検出プログラムを提供する。
 本発明によれば、信頼度に基づいて脈拍数を出力することにより、信頼性の高い脈拍数の出力を行うことができる。
脈拍数検出装置の構成を説明するための図である。 脈拍数検出処理について説明するためのフローチャートである。 画像に対して行う各種設定を説明するための図である。 脈拍数検出処理について説明するためのフローチャートである。 基準設定処理を説明するためのフローチャートである。 検出領域の平均Qの計算処理を説明するためのフローチャートである。 測定領域以外の領域の平均Qの計算処理を説明するためのフローチャートである。 orig_Qのピーク周波数とSN比の計算処理を説明するためのフローチャートである。 disp_Qのピーク周波数とSN比の計算処理を説明するためのフローチャートである。 動き外乱処理を説明するためのフローチャートである。 conj_Qのピーク周波数とSN比の計算処理を説明するためのフローチャートである。 光外乱処理を説明するためのフローチャートである。 アンカー処理を説明するためのフローチャートである。 注意表示処理の手順を説明するためのフローチャートである。
(1)実施形態の概要
 脈拍数検出装置1(図1)は、検出した脈拍数の信頼度を脈拍信号のSN比に基づいて評価すると共に、動きや光による外乱要因を考慮して評価する。
 脈拍数検出装置1は、脈拍数を表示するための脈拍数表示基準1と、これより低い脈拍数表示基準2を設けており、SN比が前者以上となる場合は、脈拍数を表示し、後者以上、前者未満の場合は、直近の過去の脈拍数との差が所定基準より小さいことを条件として表示する。
 SN比が脈拍数表示基準2未満となる場合は、信頼度が低いとして表示しない。
 また、脈拍数検出装置1は、脈拍数の検出を乱す外乱要因として、対象者11の顔の動きによる動き外乱と、対象者11の顔を照らす光の変化による光外乱を考慮し、動き外乱や光外乱の周波数領域におけるピーク周波数が脈拍数と所定基準以上近い場合、検出した脈拍数の信頼度はこれら外乱によって低いとして、脈拍数を表示しない。
(2)実施形態の詳細
 図1は、本実施の形態の脈拍数検出装置1の構成を説明するための図である。
 脈拍数検出装置1は、例えば、車両に搭載され、搭乗者(ドライバや助手席の乗客などの対象者)の脈拍数を監視し、ドライバの体調、緊張状態などの生理的な状態を把握する。
 また、医療現場や災害現場などで患者や被災者の脈拍数を検出・監視するのに用いたり、家庭や商業施設に設置して、利用者が手軽に脈拍数を検出するのに利用することができる。
 図1(a)に示したように、脈拍数検出装置1は、CPU(Central Processing Unit)2、ROM(Read Only Memory)3、RAM(Random Access Memory)4、表示部5、入力部6、出力部7、カメラ8、記憶部10などから構成されており、対象者11の脈拍数を検出(あるいは、推定、測定)する。
 CPU2は、記憶部10やROM3などに記憶されたプログラムに従って、各種の情報処理や制御を行う中央処理装置である。
 本実施の形態では、カメラ8が撮影した動画を画像処理して対象者11の脈拍数を検出する。
 この検出は可視光領域や赤外線領域で行うことができるが、本実施の形態では、一例として可視光を用いる。
 また、対象者11を可視光や赤外線で照らすための照明を設けることもできる。
 ROM3は、読み取り専用メモリであって、脈拍数検出装置1を動作させるための基本的なプログラムやパラメータなどが記憶されている。
 RAM4は、読み書きが可能なメモリであって、CPU2が動作する際のワーキングメモリを提供する。
 本実施の形態では、動画を構成する画像(1コマの静止画像)を展開して記憶したり、計算結果を記憶したりすることにより、CPU2が、画像の皮膚部分から脈波を検出するのを支援する。
 当該皮膚部分は、顔や手足など体表面が露出しているところならよいが、本実施の形態では、一例として顔の表面(顔面)から脈拍数を検出する。
 表示部5は、液晶画面などの表示デバイスを用いて構成されており、脈拍数検出装置1の操作画面や脈拍数の表示、更には検出した脈拍数の信頼度に関する注意など、脈拍数検出装置1の運用に必要な情報を表示する。
 入力部6は、表示デバイスに重畳して設置されたタッチパネルなどの入力デバイスを用いて構成されており、画面表示に対するタッチの有無などから各種の情報の入力を受け付ける。
 出力部7は、各種の情報を外部装置に出力するインターフェースであり、例えば、検出した脈拍数を出力したり、あるいは、脈拍数に変化が現れた場合にアラームを出力することができる。
 また出力部7は、車両を制御する制御装置などの他の制御機器に出力することができる。出力部7から脈拍数の出力を受けた制御機器では、例えば、ドライバの眠気や緊張状態等を判断し、ドライバに向けた制御、例えば、眠気を覚醒させるためにハンドルやシートを振動させる制御、警告音やメッセージの出力などを行うことができる。
 また、車両に対する制御として、脈拍数に基づいて判断したドライバの緊張状態に応じて、車間距離制御、車速制御、又はブレーキ制御の少なくとも1つを行うことも可能である。
 例えば、制御機器は、ドライバが所定値を超える高い緊張状態にあると判断した場合には、車間距離を基準値よりも大きくとるように制御し、車速を所定車速以下となるように制御し、所定車速以上であれば自動ブレーキ操作による減速処理等を行う。
 カメラ8は、動画撮影カメラであって、レンズで構成された光学系と、これによって結像した像を電気信号に変換する画像素子を用いて構成されており、対象者11の顔付近が撮影画面となるように設置されている。
 なお、カメラ8は、可視光領域で動画を撮影するが、赤外線領域にて脈拍数を検出する場合は、赤外線イメージセンサを搭載した赤外線用のカメラを用いる。
 カメラ8は、対象者11を所定のフレームレートにて撮影し、これら連続する画像(静止画像)で構成された動画を出力する。
 当該画像は、画像を構成する最小単位である画素(ピクセル)の配列により構成されている。
 記憶部10は、ハードディスクやEEPROM(Electrically Erasable Programmable Read-Only Memory)などの記憶媒体を用いて構成されており、CPU2が脈波を検出するための脈拍数検出プログラムやその他のプログラム、及びデータを記憶している。
 CPU2が脈拍数検出プログラムに従って検出した脈拍数のデータは、RAM4に一時保存され、必要に応じて外部に出力されたり、記憶部10に保存される。
 脈拍数検出プログラムは、CPU2に脈波検出処理を行わせるプログラムである。
 CPU2は、脈拍数検出プログラムを実行することにより、画像における検出領域の設定、脈拍数の検出、検出した脈拍数の信頼性の評価、信頼度に応じた脈拍数の出力制御などの情報処理を行う。
 図1(b)は、脈拍数の検出例を示している。
 脈波成分を含む信号QをFFT(Fast Fourier Transform)にて変換すると、60bpm(beats per minute)付近に脈拍数ピークが現れる。これは、脈拍による対象者11の皮膚の色の変化に由来するものであり、これが対象者11の脈拍数の検出値となる。
 赤外線の輝度を用いても同様の脈拍数ピークを得ることができる。
 図2は、脈拍数検出装置1が行う脈拍数検出処理について説明するためのフローチャートである。
 以下の処理は、脈拍数検出装置1のCPU2が記憶部10に記憶してある脈拍数検出プログラムに従って行うものである。
 まず、脈拍数検出装置1は、検出した脈拍数の信頼度の評価や外乱の程度の評価などを行うための各種基準を設定する基準設定処理を行う(ステップ5)。
 次に、脈拍数検出装置1は、カメラ8が撮影した動画の画像(フレーム画像)をRAM4に記憶することによりこれを取得する(ステップ10)。
 このように脈拍数検出装置1は、対象者の体表面を撮影した動画を取得する動画取得手段を備えている。
 そして、脈拍数検出装置1は、取得した動画の画像において測定領域を設定し(ステップ15)、これをRAM4に記憶する。
 図3(a)に示したように、脈拍数検出装置1は、画像20において対象者11の顔を公知技術によって検出し、顔の測定領域22を設定する。
 図2に戻り、脈拍数検出装置1は、測定領域22を設定すると、測定領域22の大きさが十分か否かを判断する(ステップ20)。
 測定領域22の大きさが十分でない場合(ステップ20;N)、脈拍数検出装置1は、ステップ10に戻り、(次の)画像の取得と測定領域22の設定を行う。あるいは、ステップ15に戻って同じ画像で測定領域22を再設定してもよい。
 一方、測定領域22の大きさが十分である場合(ステップ20;Y)、脈拍数検出装置1は、測定領域22の平均Q(orig_Q)の計算処理を行う(ステップ25)。
 これは、測定領域22の部分、即ち、図3(b)の斜線で示した領域のQ値を平均するものであり、後に当該Q値の時間変化から脈拍数を検出するものである。
 なお、orig_Qは、測定領域22の平均Qの略称であり、以下では、必要に応じて略称を括弧書きで記す。
 図2に戻り、次に、脈拍数検出装置1は、測定領域22の中心位置(disp_Q)を計算する(ステップ30)。
 これは、図3(c)に示したように、測定領域22の中心24の位置を計算するものであり、後に顔の動きによる動き外乱を評価する際に使用するものである。
 より詳細には、例えば、車両の運転中に対象者11の顔が動くと、その動きは、脈拍数の検出精度を低下させる外乱要因(動き外乱)となる。そのため、それを中心24の動きで検出するものである。
 後述するように、脈拍数検出装置1は、周波数領域における中心24の動きのピーク周波数と脈拍数が所定量より近い場合に、動き外乱があるため脈拍数の信頼性が低いと判断して、脈拍数の信頼度を低減する。
 このように、脈拍数検出装置1は、脈拍数の精度を低下させる外乱要因の周波数領域における外乱ピークが、脈拍数ピークと所定量以上近い場合に脈拍数の信頼度を低減する低減手段を備えている。
 そして、当該外乱要因は体表面の動きであり、低減手段は、動画における体表面の動きの周波数領域における動きピークが、脈拍数ピークと所定量以上近い場合に信頼度を低減する。
 図2に戻り、次に、脈拍数検出装置1は、測定領域22以外の領域の平均Q(conj_Q)の計算処理を行う(ステップ35)。
 これは、測定領域22以外の部分、即ち、図3(d)の斜線で示した測定領域22の背景領域のQ値を平均するものであり、後に光外乱を評価する際に使用するものである。
 より詳細には、例えば、車両の運転中に対象者11の顔を照らす光の状態は時刻と共に変化するが、その変化は、脈拍数の検出精度を低下させる外乱要因(光外乱)となる。
 顔を照らす光の状態の変化は、脈拍による変化を含まない場合の変化を知る必要があるが、それは、顔の背景である測定領域22以外の領域に現れるため、それをconj_Qによって検出するものである。
 後述するように、脈拍数検出装置1は、周波数領域におけるconj_Qのピーク周波数と脈拍数が所定量より近い場合に、光外乱があるため脈拍数の信頼性が低いと判断して、脈拍数の信頼度を低減する。
 このように、外乱要因は体表面を照らす光の変動であり、低減手段は、動画における当該光の変動の周波数領域における光ピークが、脈拍数ピークと所定量以上近い場合に信頼度を低減する。
 図2に戻り、脈拍数検出装置1は、以上の処理を行うと、画像の取得を始めてから経過した時間がFFTを行うための窓期間を経過したか否かを判断する(ステップ40)。
 窓期間を経過していない場合(ステップ40;N)、脈拍数検出装置1は、ステップ10に戻り、次の画像に対して同じ処理を行う。
 本実施の形態では、窓期間を10秒とし、10秒間の動画で時系列に記録された画像について上記処理を行う。
 このようにステップ10~40で10秒分の画像が用意されるため、これらをFFTのアルゴリズムにて時間方向に積分することによりこれを周波数領域に変換することができる。
 より詳細には、10秒分のorig_Q、disp_Q、conj_QをFFTで変換して、それぞれ脈拍数、動き外乱、光外乱の周波数成分を得ることができる。
 図4は、図2の続きである。
 窓期間を経過した場合(ステップ40;Y)、脈拍数検出装置1は、orig_Qのピーク周波数(HR)とSN比の計算処理を行う(ステップ50)。
 HRは、対象者11の脈拍数を表し、FFTによる脈拍数信号のSN比は、検出した脈拍数の信頼性評価の基礎となる。
 次に、脈拍数検出装置1は、disp_Qのピーク周波数とSN比の計算処理を行う(ステップ55)。これは、動き外乱を検出する処理である。
 次に、脈拍数検出装置1は、disp_QのSN比がMR_SNR_Cより大きく、かつ、disp_Qのピーク周波数(即ち、動き外乱のピーク周波数)がHRに近いか否かを判断する(ステップ60)。
 ここで、MR_SNR_Cは、動き外乱のSN比の基準値であり、後述するように、ステップ5の基準設定処理で設定するものである。
 そして、disp_QのSN比がMR_SNR_Cより大きく、かつ、disp_Qのピーク周波数がHRに近い場合(ステップ60;Y)、脈拍数検出装置1は、動き外乱があると判断し、動き外乱処理を行う(ステップ65)。
 一方、ステップ60の条件が満たされない場合(ステップ60;N)、または、ステップ65の後、脈拍数検出装置1は、conj_Qのピーク周波数とSN比の計算処理を行う(ステップ70)。これは、光外乱を検出する処理である。
 次に、脈拍数検出装置1は、conj_QのSN比がLR_SNR_Cより大きく、かつ、conj_Qのピーク周波数(即ち、光外乱のピーク周波数)がHRに近いか否かを判断する(ステップ75)。
 ここで、LR_SNR_Cは、光外乱のSN比の基準値であり、後述するように、ステップ5の基準設定処理で設定するものである。
 そして、conj_QのSN比がLR_SNR_Cより大きく、かつ、conj_Qのピーク周波数がHRに近い場合(ステップ75;Y)、脈拍数検出装置1は、光外乱があると判断し、光外乱処理を行う(ステップ80)。
 一方、ステップ75の条件が満たされない場合(ステップ75;N)、または、ステップ80の後、脈拍数検出装置1は、アンカー処理によって信頼度に基づく脈拍数の表示処理を行う(ステップ85)。
 以下、上述した各処理についてフローチャートを用いて説明する。
 図5は、基準設定処理(図2のステップ5)を説明するためのフローチャートである。
 まず、脈拍数検出装置1は、脈拍数表示基準1(HR_SNR_C1)をRAM4に記憶することにより設定する(ステップ105)。
 これは、信頼度を評価するための第1の基準であり、脈拍数の信頼度がHR_SNR_C1以上であれば、脈拍数検出装置1は、信頼度が高いとして脈拍数を出力する。
 このように、脈拍数検出装置1は、脈拍数の信頼度を取得する信頼度取得手段と、当該信頼度が所定の信頼基準以上である場合に、当該脈拍数を出力する出力手段と、を備えている。
 次に、脈拍数検出装置1は、脈拍数表示基準2(HR_SNR_C2)をRAM4に記憶することにより設定する(ステップ110)。
 これは、信頼度を評価するための第2の基準であり、HR_SNR_C1より小さい値となっている。
 脈拍数検出装置1は、脈拍数の信頼度がHR_SNR_C1を満たさないものの、HR_SNR_C2を満たす場合、脈拍数検出装置1は、検出した脈拍数が直近の過去の脈拍数と近いことを条件として脈拍数を表示する。
 これは、脈拍数が急激に変化することはないことを利用して若干信頼度が劣る場合を救済するためのものであり、これによって脈拍数検出装置1は、脈拍数の有効な検出期間を増やすことができる。
 このように、脈拍数検出装置1の備える出力手段は、脈拍数の信頼度が所定の信頼基準(脈拍数表示基準1)以上である場合、及び、当該信頼基準未満で脈拍数の変化が所定の適正範囲にある場合に取得した脈拍数を出力する。
 ここで、脈拍数の変化は、今回検出した脈拍数と直近の脈拍数との差であり、出力手段は、当該差が所定以下(後述のアンカー基準以下)の場合に脈拍数が適正範囲にあるとして出力する。
 次に、脈拍数検出装置1は、脈拍数・外乱誤差基準(δHR)をRAM4に記憶することにより設定する(ステップ115)。
 本実施の形態では、δHRを5bpmに設定し、HRの±5bpmの範囲で外乱の有無を判断する。
 例えば、脈拍数検出装置1は、動き外乱や光外乱のピークがHRの±5bpmの範囲にあれば、これら外乱要因自身のSN比に関する条件(ステップ60、75)が満たされることを条件に、これら外乱があると判断する。
 次に、脈拍数検出装置1は、動き外乱基準(MR_SNR_C)をRAM4に記憶することにより設定し(ステップ120)、更に、光外乱基準(LR_SNR_C)をRAM4に記憶することにより設定する(ステップ125)。
 これは、ステップ60、75で使用する外乱要因自身のSN比の基準である。
 次に、脈拍数検出装置1は、アンカー基準(HR_ANC_C)をRAM4に記憶することにより設定し(ステップ130)、更に、アンカー脈拍数(HR_ANC)の適当な初期値をRAM4に記憶することにより初期化する(ステップ135)。
 アンカー脈拍数は、直近の過去の脈拍数を入れておく変数であり、アンカー基準は、検出した脈拍数と直近の脈拍数の近さを判断するための基準である。即ち、脈拍数検出装置1は、今回検出した最新の脈拍数と、直近の過去の脈拍数の差がアンカー基準以下である場合、最新の脈拍数が適正範囲にあると判断する。
 図6は、測定領域22の平均Q(orig_Q)の計算処理(図2のステップ25)を説明するためのフローチャートである。
 まず、脈拍数検出装置1は、RAM4に記憶した画像20の色空間をRGBからYIQに変換し、変換後のQ値による画像20をRAM4に記憶する(ステップ150)。以降の処理では、Q値による画像20を使用する。このようにQ値の画像20を作成したのは、Q値が脈拍数の検出に適しているからである。
 次に、脈拍数検出装置1は、カメラ8の特性による影響対策のために各画素のQ値の調整(キャリブレーション)を行う(ステップ155)。これは各画素の値をスケーリングすることにより、フレーム画像を構成する画素の性能のばらつきを補正するものである。
 次に、脈拍数検出装置1は、測定領域22の画素のQ値を平均することにより、その平均値(orig_Q)を計算し、RAM4に記憶する(ステップ160)。
 そして、脈拍数検出装置1は、メインルーチンにリターンする。
 図7は、測定領域22以外の領域の平均Q(conj_Q)の計算処理(図2のステップ35)を説明するためのフローチャートである。
 まず、脈拍数検出装置1は、RAM4に記憶した画像20において測定領域22を除いた測定領域22以外の部分を特定する(ステップ180)。
 そして、脈拍数検出装置1は、特定した測定領域22以外の部分の画素のQ値を平均することにより、その平均値(conj_Q)を計算し、RAM4に記憶する(ステップ185)。
 そして、脈拍数検出装置1は、メインルーチンにリターンする。
 図8は、orig_Qのピーク周波数(HR)とSN比の計算処理(図4のステップ50)を説明するためのフローチャートである。
 まず、脈拍数検出装置1は、RAM4に記憶してある10秒間分のorig_Qを読み出してFFTにてフーリエ変換することによりFFT_HRを生成してRAM4に記憶する(ステップ205)。
 FFT_HRは、orig_Qを時間領域から周波数領域に変換したデータであって(グラフに描くと、例えば、図1(b)のようになる)、60bpm付近に脈拍数による最大ピーク(脈拍数信号)が現れる。
 そこで、脈拍数検出装置1は、FFT_HRの最大ピークの周波数(HR)を特定してRAM4に記憶する(ステップ210)。これが対象者11の脈拍数に対応する。
 このように、脈拍数検出装置1は、動画における体表面の画素値(例えば、Q値、赤外線の輝度)の変化に基づいて対象者の脈拍数を取得する脈拍数取得手段を備えており、当該脈拍数取得手段は、動画の周波数領域における脈拍数ピークから脈拍数を取得している。
 次に、脈拍数検出装置1は、最大ピーク周波数±5bpmのマスク(HR_M1)を生成してRAM4に記憶する(ステップ215)。
 HR_M1は、HR±5bpmの範囲で1をとり、他の範囲で0をとるデータである。HR_M1は、後述のHR_M2と共に、後にSN比を計算する際に、FFTの波形から脈拍数信号の部分を抜き出すのに使用する。
 次に、脈拍数検出装置1は、最大ピークのハーモニック±5bpmのマスク(HR_M2)を生成してRAM4に記憶する(ステップ220)。
 これは、脈拍数検出装置1行うFFTの周波数領域に脈拍数の2次高調波も現れるため、これのマスクも作成するものである。
 次に、脈拍数検出装置1は、RAM4に記憶したHR_M1とHR_M2を足し合わせることにより、1つのマスク(HR_M)を生成してRAM4に記憶する(ステップ225)。
 HR_Mは、HRを中心とする±5bpmと、HRの2次高調波を中心とする±5bpmの部分で1となり、他の部分で0となるマスクである。
 次に、脈拍数検出装置1は、HR_Mの外乱マスク(HRN_M=1-HR_M)を作成してRAM4に記憶する(ステップ230)。
 HRN_Mは、HR_Mの1と0を反転したものとなっており、HRを中心とする±5bpmと、HRの2次高調波を中心とする±5bpmの部分で0となり、他の部分で1となる。
 次に、脈拍数検出装置1は、RAM4に記憶したFFT_HRを正規化して、正規化後のデータ(FFT_HRn)をRAM4に記憶する(ステップ235)。
 脈拍数検出装置1は、この正規化を(FFT_HRn=FFT_HR/FFT_HRの最大値)により計算する。
 次に、脈拍数検出装置1は、RAM4に記憶したFFT_HRnを図8に示したnumの式に代入してnumを計算し、その結果をRAM4に記憶する(ステップ240)。
 なお、脈拍数検出装置1は、10秒間の間に蓄積した動画データをFFTにて解析するが、これを1秒ごとに最新のデータに対して繰り返して行う。そのため、脈拍数検出装置1は、1秒ごとにFFT_HRn、HR_M、及びHRN_Mの最新値を時系列的に生成する。
 そこで、numや次のdenの計算では、データのばらつきを均すため、これらをi個加算している。
 また、numの式は、FFT_HRn(i)の二乗を成分とするベクトルと、マスクの01を成分とするベクトルであるHR_M(i)の内積となっており、HRを中心とする±5bpmの部分と、HRの2次高調波を中心とする±5bpmの部分の信号のパワーに比例した値が得られる。即ち、脈拍数検出装置1は、FFT_HRn(i)から脈拍数信号に対応する部分を抜き出し、(正規化したため)そのパワーに比例した値を計算している。
 次に、脈拍数検出装置1は、同様にして、RAM4に記憶したFFT_HRnを図8に示したdenの式に代入してdenを計算し、その結果をRAM4に記憶する(ステップ245)。
 HRN_M(i)は、HR_M(i)を反転したものであるため、denは、HRを中心とする±5bpmの部分と、HRの2次高調波を中心とする±5bpmの部分を除いた部分の信号のパワーに比例した値が得られる。即ち、脈拍数検出装置1は、FFT_HRn(i)から脈拍数信号に対応しない部分を抜き出し、(正規化したため)そのパワーに比例した値を計算している。
 次に、脈拍数検出装置1は、RAM4に記憶したnumとdenを図に示したHR_SNRの式の分子と分母に代入して脈波の信頼度の基本となるHR_SNRを生成し、RAM4に記憶する(ステップ250)。
 そして、脈拍数検出装置1は、メインルーチンにリターンする。
 HR_SNRの式は、SN比を表す一般的な式であって、numをdenで除することによりノイズに対する信号の程度を表している。
 脈拍数検出装置1は、HR_SNRを脈拍数の信頼度の初期値とし、外乱要因の影響によってこれを低減したり、脈拍数の表示を制御したりする。
 このように、脈拍数検出装置1の有する信頼度取得手段は、脈拍数のSN比に基づいて信頼度を取得している。
 図9は、disp_Qのピーク周波数(MR)とSN比の計算処理(図4のステップ55)を説明するためのフローチャートである。
 処理の手順は、orig_Qの場合と同様であり、共通する部分の説明は簡略化する。
 まず、RAM4に記憶してある10秒間分のdisp_Qを読み出し、これをFFTにてフーリエ変換する。脈拍数検出装置1は、これによってdisp_QのFFT値であるFFT_MRを生成してRAM4に記憶する(ステップ255)。
 FFT_MRは、動き外乱の周波数成分であって、脈拍数検出装置1は、FFT_MRの最大ピークの周波数(MR)を特定してRAM4に記憶する(ステップ260)。
 次に、脈拍数検出装置1は、最大ピーク周波数±5bpmのマスク(MR_M1)を生成してRAM4に記憶する(ステップ265)。
 次に、脈拍数検出装置1は、最大ピークのハーモニック±5bpmのマスク(MR_M2)を生成してRAM4に記憶する(ステップ270)。
 次に、脈拍数検出装置1は、RAM4に記憶したMR_M1とMR_M2を足し合わせることにより、1つのマスク(MR_M)を生成してRAM4に記憶する(ステップ275)。
 次に、脈拍数検出装置1は、MR_Mの外乱マスク(MRN_M=1-MR_M)を作成してRAM4に記憶する(ステップ280)。
 次に、脈拍数検出装置1は、RAM4に記憶したFFT_MRを正規化して、正規化後のデータ(FFT_MRn)をRAM4に記憶する(ステップ285)。
 脈拍数検出装置1は、この正規化を(FFT_MRn=FFT_MR/FFT_MRの最大値)により計算する。
 次に、脈拍数検出装置1は、RAM4に記憶したFFT_MRnを図9に示したnumの式に代入してnumを計算し、その結果をRAM4に記憶する(ステップ290)。
 次に、脈拍数検出装置1は、同様にして、RAM4に記憶したFFT_MRnを図9に示したdenの式に代入してdenを計算し、その結果をRAM4に記憶する(ステップ295)。
 次に、脈拍数検出装置1は、RAM4に記憶したnumとdenを図9に示したMR_SNRの式に代入して動き外乱に基づくMR_SNRを生成し、RAM4に記憶する(ステップ300)。
 そして、脈拍数検出装置1は、メインルーチンにリターンする。
 このMR_SNRは、図4のステップ60で、disp_QのSN比として使用されるものである。
 図10は、動き外乱処理(図4のステップ65)を説明するためのフローチャートである。
 脈拍数検出装置1は、動き外乱フラグを1に設定することにより、動き外乱フラグを立てる(ステップ305)。
 なお、脈拍数検出装置1は、RAM4に動き外乱フラグを記憶しており、動き外乱がない場合は、これを0に設定し、動き外乱がある場合は、これを1に設定して動き外乱フラグを立てる。
 次に、脈拍数検出装置1は、表示部5(図1)には、「注意:動き外乱」などと、動き外乱が発生している旨の注意表示を行う(ステップ310)。
 更に、脈拍数検出装置1は、HR_SNRをHR_SNR_C2-1に更新してRAM4に記憶する(ステップ315)。
 そして、脈拍数検出装置1は、メインルーチンにリターンする。
 このように、動き外乱がある場合、脈拍数の信頼性が低いため、脈拍数検出装置1は、信頼度をHR_SNRからHR_SNR_C2よりも1だけ小さい値に低減し、後のアンカー処理で、脈拍数を表示しないようにする。
 図11は、conj_Qのピーク周波数(LR)とSN比の計算処理(図4のステップ70)を説明するためのフローチャートである。
 処理の手順は、orig_Qの場合と同様であり、共通する部分の説明は簡略化する。
 まず、RAM4に記憶してある10秒間分のconj_Qを読み出し、これをFFTにてフーリエ変換する。脈拍数検出装置1は、これによってconj_QのFFT値であるFFT_LRを生成してRAM4に記憶する(ステップ350)。
 FFT_LRは、光外乱の周波数成分であって、脈拍数検出装置1は、FFT_LRの最大ピークの周波数(LR)を特定してRAM4に記憶する(ステップ355)。
 次に、脈拍数検出装置1は、最大ピーク周波数±5bpmのマスク(LR_M1)を生成してRAM4に記憶する(ステップ360)。
 次に、脈拍数検出装置1は、最大ピークのハーモニック±5bpmのマスク(LR_M2)を生成してRAM4に記憶する(ステップ365)。
 次に、脈拍数検出装置1は、RAM4に記憶したLR_M1とLR_M2を足し合わせることにより、1つのマスク(LR_M)を生成してRAM4に記憶する(ステップ370)。
 次に、脈拍数検出装置1は、LR_Mの外乱マスク(LRN_M=1-LR_M)を作成してRAM4に記憶する(ステップ375)。
 次に、脈拍数検出装置1は、RAM4に記憶したFFT_LRを正規化して、正規化後のデータ(FFT_LRn)をRAM4に記憶する(ステップ380)。
 脈拍数検出装置1は、この正規化を(FFT_LRn=FFT_LR/FFT_LRの最大値)により計算する。
 次に、脈拍数検出装置1は、RAM4に記憶したFFT_LRnを図11に示したnumの式に代入してnumを計算し、その結果をRAM4に記憶する(ステップ385)。
 次に、脈拍数検出装置1は、同様にして、RAM4に記憶したFFT_LRnを図11に示したdenの式に代入してdenを計算し、その結果をRAM4に記憶する(ステップ390)。
 次に、脈拍数検出装置1は、RAM4に記憶したnumとdenを図11に示したLR_SNRの式に代入して光外乱に基づくLR_SNRを生成し、RAM4に記憶する(ステップ395)。
 そして、脈拍数検出装置1は、メインルーチンにリターンする。
 このLR_SNRは、図4のステップ75で、conj_QのSN比として使用されるものである。
 図12は、光外乱処理(図4のステップ80)を説明するためのフローチャートである。
 脈拍数検出装置1は、RAM4に記憶している光外乱フラグを1に設定することにより、光外乱フラグを立てる(ステップ405)。
 なお、脈拍数検出装置1は、RAM4に光外乱フラグを記憶しており、光外乱がない場合は、これを0に設定し、光外乱がある場合は、これを1に設定して光外乱フラグを立てる。
 次に、脈拍数検出装置1は、表示部5(図1)には、「注意:光外乱」などと、光外乱が発生している旨の注意表示を行う(ステップ410)。
 更に、脈拍数検出装置1は、HR_SNRをHR_SNR_C2-1に更新してRAM4に記憶する(ステップ415)。
 そして、脈拍数検出装置1は、メインルーチンにリターンする。
 このように、光外乱がある場合、脈拍数の信頼性が低いため、脈拍数検出装置1は、信頼度をHR_SNRからHR_SNR_C2よりも1だけ小さい値に低減し、後のアンカー処理で、脈拍数を表示しないようにする。
 図13は、アンカー処理(図4のステップ85)を説明するためのフローチャートである。
 アンカー処理は、脈拍数の信頼度に応じて脈拍数の表示を制御する処理である。
 まず、脈拍数検出装置1は、RAM4からHR_SNR(信頼度)とHR_SNR_C1(脈拍数表示基準1)を読み出して大小関係を比較する(ステップ450)。
 HR_SNR(信頼度)がHR_SNR_C1(脈拍数表示基準1)以上である場合(ステップ450;Y)、脈拍数検出装置1は、HR_ANC(アンカー脈拍数)にHR(検出した脈拍数)を代入してRAM4に記憶する(ステップ455)。これは、HR_ANCに直近の過去の脈拍数を記憶する処理である。
 そして、脈拍数検出装置1は、表示部5にHR(脈拍数)を表示し(ステップ460)、メインルーチンにリターンする。
 一方、HR_SNR(信頼度)がHR_SNR_C1(脈拍数表示基準1)未満である場合(ステップ450;N)、脈拍数検出装置1は、HR_SNR(信頼度)がHR_SNR_C2(脈拍数表示基準2)以上で、かつ、HR(検出した脈拍数)とHR_ANC(直近の過去の脈拍数)の差分がHR_ANC_C(アンカー基準)以下であるか否かを判断する(ステップ465)。
 これらの条件を満たしている場合(ステップ465;Y)、脈拍数検出装置1は、HR_ANC(アンカー脈拍数)にHR(検出した脈拍数)を代入してRAM4に記憶し(ステップ470)、表示部5にHR(検出した脈拍数)を表示して(ステップ460)、メインルーチンにリターンする。
 一方、少なくとも一方の条件を満たしていない場合(ステップ465;N)、脈拍数検出装置1は、注意表示処理を行って(ステップ475)、メインルーチンにリターンする。
 図14は、ステップ475(図13)の注意表示処理の手順を説明するためのフローチャートである。
 脈拍数検出装置1は、RAM4に記憶してある動き外乱フラグが立っているか否かを判断する(ステップ500)。
 動き外乱フラグが立っている場合(ステップ500;N)、脈拍数検出装置1は、アンカー処理にリターンする。
 一方、動き外乱フラグが立っていない場合(ステップ500;Y)、脈拍数検出装置1は、更に、光外乱フラグが立っているか否かを判断する(ステップ505)。
 光外乱フラグが立っている場合(ステップ505;N)、脈拍数検出装置1は、アンカー処理にリターンする。
 一方、光外乱フラグが立っていない場合(ステップ505;Y)、脈拍数検出装置1は、表示部5に「注意:弱い脈波信号」と表示して(ステップ510)、アンカー処理にリターンする。
 以上に説明した実施の形態により次のような効果を得ることができる。
(1)検出した脈拍数の信頼度を数量的に評価することができる。
(2)外乱の特徴を推定することにより、動き外乱や光外乱が脈拍と間違えられるのを抑制することができる。
(3)動き外乱や光外乱を脈拍数と間違えることを抑制できるため、検出した脈拍数の信頼性が高まる。
(4)検出した脈拍数の信頼度がある程度低い場合であっても、脈拍数は急には変わらないという人体の特性に基づいて、直近の過去(1秒前)の脈拍数と比較することにより、その信頼度を高めることができ、これによって脈拍数を検出できる割合を増やすことができる。
(5)脈拍数の信頼度の表示に基づいて、脈拍数を検出できる期間を決めることができる。
 本実施の形態では、外乱がある場合、HR_SNRをHR_SNR_C2-1として、脈拍数を表示しなかったが、外乱の程度を更に細かく分けて、その程度に応じて脈拍数の表示を制御してもよい。
 また、本実施の形態では、信頼度に基づいて脈拍数の表示・非表示を制御したが、脈拍数に信頼度を併記して全数出力したり、あるいは、出力先を、例えば、車両の制御系とするなど各種の出力形態が可能である。
 また、本実施の形態では、次の構成を提供することもできる。
(第1の構成)対象者の体表面を撮影した動画を取得する動画取得手段と、前記取得した動画における前記体表面の画素値の変化に基づいて前記対象者の脈拍数を取得する脈拍数取得手段と、前記取得した脈拍数の信頼度を取得する信頼度取得手段と、前記取得した信頼度が所定の信頼基準以上である場合、及び、前記信頼基準未満で前記取得した脈拍数の変化が所定の適正範囲にある場合に前記取得した脈拍数を出力する出力手段と、を具備したことを特徴とする脈拍数検出装置。
(第2の構成)前記脈拍数の変化は、前記取得した脈拍数と直近の脈拍数との差であり、前記出力手段は、当該差が所定以下の場合に前記取得した脈拍数が適正範囲にあるとして前記取得した脈拍数を出力することを特徴とする第1の構成の脈拍数検出装置。
(第3の構成)前記脈拍数取得手段は、前記取得した動画の周波数領域における脈拍数ピークから前記脈拍数を取得し、前記信頼度取得手段は、前記取得した脈拍数のSN比に基づいて前記信頼度を取得することを特徴とする第1の構成、又は第2の構成の脈拍数検出装置。
(第4の構成)前記取得した脈拍数の精度を低下させる外乱要因の周波数領域における外乱ピークが、前記取得した脈拍数ピークと所定量以上近い場合に前記信頼度を低減する低減手段を具備したことを特徴とする第3の構成の脈拍数検出装置。
(第5の構成)前記外乱要因は前記体表面の動きであり、前記低減手段は、前記動画における前記体表面の動きの周波数領域における動きピークが、前記取得した脈拍数ピークと所定量以上近い場合に前記信頼度を低減することを特徴とする第4の構成の脈拍数検出装置。
(第6の構成)前記外乱要因は前記体表面を照らす光の変動であり、前記低減手段は、前記動画における前記光の変動の周波数領域における光ピークが、前記取得した脈拍数ピークと所定量以上近い場合に前記信頼度を低減することを特徴とする第4の構成、又は第5の構成の脈拍数検出装置。
(第7の構成)対象者の体表面を撮影した動画を取得する動画取得機能と、前記取得した動画における前記体表面の画素値の変化に基づいて前記対象者の脈拍数を取得する脈拍数取得機能と、前記取得した脈拍数の信頼度を取得する信頼度取得機能と、前記取得した信頼度が所定の信頼基準以上である場合、及び、前記信頼基準未満で前記取得した脈拍数の変化が所定の適正範囲にある場合に前記取得した脈拍数を出力する出力機能と、をコンピュータで実現する脈拍数検出プログラム。
 1 脈拍数検出装置
 2 CPU
 3 ROM
 4 RAM
 5 表示部
 6 入力部
 7 出力部
 8 カメラ
 10 記憶部
 11 対象者
 20 画像
 22 測定領域
 24 中心

Claims (6)

  1.  対象者の体表面を撮影した動画を取得する動画取得手段と、
     前記取得した動画における前記体表面の画素値の変化に基づいて前記対象者の脈拍数を取得する脈拍数取得手段と、
     前記取得した脈拍数の信頼度を取得する信頼度取得手段と、
     前記取得した信頼度が所定の信頼基準以上である場合に、前記取得した脈拍数を出力する出力手段と、
     を具備したことを特徴とする脈拍数検出装置。
  2.  前記脈拍数取得手段は、前記取得した動画の周波数領域における脈拍数ピークから前記脈拍数を取得し、
     前記信頼度取得手段は、前記取得した脈拍数のSN比に基づいて前記信頼度を取得することを特徴とする請求項1に記載の脈拍数検出装置。
  3.  前記取得した脈拍数の精度を低下させる外乱要因の周波数領域における外乱ピークが、前記取得した脈拍数ピークと所定量以上近い場合に前記信頼度を低減する低減手段を具備したことを特徴とする請求項2に記載の脈拍数検出装置。
  4.  前記外乱要因は前記体表面の動きであり、前記低減手段は、前記動画における前記体表面の動きの周波数領域における動きピークが、前記取得した脈拍数ピークと所定量以上近い場合に前記信頼度を低減することを特徴とする請求項3に記載の脈拍数検出装置。
  5.  前記外乱要因は前記体表面を照らす光の変動であり、前記低減手段は、前記動画における前記光の変動の周波数領域における光ピークが、前記取得した脈拍数ピークと所定量以上近い場合に前記信頼度を低減することを特徴とする請求項3、又は請求項4に記載の脈拍数検出装置。
  6.  対象者の体表面を撮影した動画を取得する動画取得機能と、
     前記取得した動画における前記体表面の画素値の変化に基づいて前記対象者の脈拍数を取得する脈拍数取得機能と、
     前記取得した脈拍数の信頼度を取得する信頼度取得機能と、
     前記取得した信頼度が所定の信頼基準以上である場合に、前記取得した脈拍数を出力する出力機能と、
     をコンピュータで実現する脈拍数検出プログラム。
PCT/JP2020/014359 2019-03-29 2020-03-27 脈拍数検出装置、及び脈拍数検出プログラム WO2020203911A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20782721.3A EP3949841A4 (en) 2019-03-29 2020-03-27 PULSE RATE DETECTION DEVICE AND PULSE RATE DETECTION PROGRAM
US17/599,945 US20220192526A1 (en) 2019-03-29 2020-03-27 Pulse rate detection device and pulse rate detection program
CN202080026532.6A CN113660903A (zh) 2019-03-29 2020-03-27 脉搏数检测装置以及脉搏数检测程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019066378A JP7174358B2 (ja) 2019-03-29 2019-03-29 脈拍数検出装置、及び脈拍数検出プログラム
JP2019-066378 2019-03-29

Publications (1)

Publication Number Publication Date
WO2020203911A1 true WO2020203911A1 (ja) 2020-10-08

Family

ID=72668894

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/014359 WO2020203911A1 (ja) 2019-03-29 2020-03-27 脈拍数検出装置、及び脈拍数検出プログラム

Country Status (5)

Country Link
US (1) US20220192526A1 (ja)
EP (1) EP3949841A4 (ja)
JP (1) JP7174358B2 (ja)
CN (1) CN113660903A (ja)
WO (1) WO2020203911A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013013644A (ja) * 2011-07-06 2013-01-24 Seiko Epson Corp 生体情報処理装置及び生体情報処理方法
US20130197382A1 (en) * 2012-01-26 2013-08-01 Te-Chung Isaac Yang Physiological Parameter Estimation Using Phase-Locked Loop
JP2014236775A (ja) * 2013-06-06 2014-12-18 セイコーエプソン株式会社 生体情報測定装置、および生体情報測定方法
JP2017093760A (ja) * 2015-11-22 2017-06-01 国立大学法人埼玉大学 心拍に連動する周期的変動の計測装置及び計測方法
JP2019042145A (ja) * 2017-09-01 2019-03-22 国立大学法人千葉大学 心拍変動の推定方法、心拍変動の推定プログラム及び心拍変動推定システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014002276A1 (ja) * 2012-06-29 2014-01-03 富士通株式会社 バイタルサイン検出方法、バイタルサイン検出装置及びバイタルサイン検出プログラム
US10052038B2 (en) * 2013-03-14 2018-08-21 Koninklijke Philips N.V. Device and method for determining vital signs of a subject
JP6349075B2 (ja) * 2013-11-22 2018-06-27 三星電子株式会社Samsung Electronics Co.,Ltd. 心拍数測定装置及び心拍数測定方法
US20150302158A1 (en) * 2014-04-21 2015-10-22 Microsoft Corporation Video-based pulse measurement
JPWO2016006027A1 (ja) * 2014-07-07 2017-04-27 富士通株式会社 脈波検出方法、脈波検出プログラム及び脈波検出装置
FR3023699B1 (fr) * 2014-07-21 2016-09-02 Withings Procede et dispositif de surveillance d'un bebe et d'interaction
WO2016059775A1 (ja) * 2014-10-16 2016-04-21 パナソニックIpマネジメント株式会社 生体情報処理装置及び生体情報処理方法
CA2958010C (en) * 2016-02-19 2021-09-07 Covidien Lp System and methods for video-based monitoring of vital signs
CN107960989B (zh) * 2016-10-20 2022-02-08 松下知识产权经营株式会社 脉搏波计测装置以及脉搏波计测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013013644A (ja) * 2011-07-06 2013-01-24 Seiko Epson Corp 生体情報処理装置及び生体情報処理方法
US20130197382A1 (en) * 2012-01-26 2013-08-01 Te-Chung Isaac Yang Physiological Parameter Estimation Using Phase-Locked Loop
JP2014236775A (ja) * 2013-06-06 2014-12-18 セイコーエプソン株式会社 生体情報測定装置、および生体情報測定方法
JP2017093760A (ja) * 2015-11-22 2017-06-01 国立大学法人埼玉大学 心拍に連動する周期的変動の計測装置及び計測方法
JP2019042145A (ja) * 2017-09-01 2019-03-22 国立大学法人千葉大学 心拍変動の推定方法、心拍変動の推定プログラム及び心拍変動推定システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
D. TEICHMANNC. BRUSERB. EILEBRECHTA. ABBASN. BLANIKS. LEONHARDT: "Non-contact monitoring techniques - Principles and applications", CON. PROC. IEEE ENG., MED. BIOL. SOC. 34TH ANN. INT. CONF., SAN DIEGO, CA, USA, 2012, pages 1302 - 1305, XP032463161, DOI: 10.1109/EMBC.2012.6346176
See also references of EP3949841A4

Also Published As

Publication number Publication date
EP3949841A1 (en) 2022-02-09
JP7174358B2 (ja) 2022-11-17
US20220192526A1 (en) 2022-06-23
CN113660903A (zh) 2021-11-16
JP2020162869A (ja) 2020-10-08
EP3949841A4 (en) 2022-05-25

Similar Documents

Publication Publication Date Title
EP2359748B1 (en) Sleepiness signal detector
JP4845886B2 (ja) 個人の警戒レベルの指示を生成するための方法及び装置
WO2020203915A1 (ja) 脈波検出装置、及び脈波検出プログラム
WO2016193030A1 (en) Sleep monitoring method and system
JP2011123653A (ja) 運転者覚醒度検査装置
JP5321303B2 (ja) 居眠り判定装置及びプログラム並びに警報出力装置及びプログラム
WO2020050357A1 (ja) 脈波検出装置、車両装置、及び脈波検出プログラム
JP2007293587A (ja) 覚醒状態の変化を早期発見する方法および検知装置
WO2020203911A1 (ja) 脈拍数検出装置、及び脈拍数検出プログラム
WO2020203912A1 (ja) 脈拍数検出装置、及び脈拍数検出プログラム
JP2019103664A (ja) 状態推定装置とその方法およびプログラム
WO2020188629A1 (ja) 覚醒状態判定装置、覚醒システム、及び覚醒状態判定方法
WO2020203913A1 (ja) 脈拍数検出装置、及び脈拍数検出プログラム
JP7231035B2 (ja) 眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法およびプログラム
JP2018130342A (ja) 覚醒度推定装置、覚醒度推定方法及び覚醒度推定システム
JP2022138812A (ja) 車両の運転者状態判定装置
JP2012104068A (ja) 運転者監視装置
Robinson Drivers drowsiness measurement and the indication of eye movements through algorithmatic approach to avoid accidents
WO2020203914A1 (ja) 脈波検出装置、及び脈波検出プログラム
JP3158494U (ja) 携帯通信端末
JP2019070873A (ja) 警告情報通知装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20782721

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020782721

Country of ref document: EP

Effective date: 20211029