WO2022201507A1 - 脈波検出装置及び脈波検出方法 - Google Patents

脈波検出装置及び脈波検出方法 Download PDF

Info

Publication number
WO2022201507A1
WO2022201507A1 PCT/JP2021/012915 JP2021012915W WO2022201507A1 WO 2022201507 A1 WO2022201507 A1 WO 2022201507A1 JP 2021012915 W JP2021012915 W JP 2021012915W WO 2022201507 A1 WO2022201507 A1 WO 2022201507A1
Authority
WO
WIPO (PCT)
Prior art keywords
pulse wave
region
phase
time
wave detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/012915
Other languages
English (en)
French (fr)
Inventor
遼平 村地
雄大 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2023508382A priority Critical patent/JP7561966B2/ja
Priority to DE112021007383.4T priority patent/DE112021007383T5/de
Priority to US18/281,958 priority patent/US20240298906A1/en
Priority to PCT/JP2021/012915 priority patent/WO2022201507A1/ja
Publication of WO2022201507A1 publication Critical patent/WO2022201507A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024—Measuring pulse rate or heart rate
    • A61B5/02416—Measuring pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators

Definitions

  • the technology disclosed herein relates to a pulse wave detection device.
  • a technique for measuring a subject's pulse rate from an image of the subject's face is known. For example, it is known that a pulse wave signal corresponding to a heartbeat can be extracted from a video signal obtained by imaging a facial ROI (hereinafter referred to as "region of interest") using independent component analysis. Furthermore, for example, Patent Document 1 discloses a technique that enables accurate measurement even if the subject's face moves or the light that hits the face changes.
  • the measuring device uses pairs of small regions selected from the region of interest as samples, and from the pair of luminance signals of each sample, "a signal mainly contributed by skin melanin” and "a signal mainly contributed by hemoglobin in blood vessels” are obtained. (hereinafter referred to as “PG signal”)” is solved to extract the PG signal.
  • Patent Document 1 assumes that the subject's face has sufficient facial skin exposed, even if the subject wears glasses or the like. Therefore, the subregions selected from the region of interest are typically the left and right cheeks.
  • the subject's pulse wave signal even from an image of the face of the subject wearing a mask.
  • image analysis technology it may be possible to select a small area of exposed skin from a region of interest even with a conventional pulse wave detector.
  • the subregions selected as samples may differ in distance from the heart, such as the pair of forehead and neck regions. Different distances from the heart mean different distances for the pulse wave to propagate, and mean deviations on the time axis of the pulse wave signal in each small region. If such a pair of signals with a time axis shift is used, extraction of the pulse wave component will fail in independent component analysis or principal component analysis.
  • An object of the disclosed technology is to solve the above problems and to provide a pulse wave detection device that detects a pulse wave signal of a subject even from an image of the face of the subject wearing a mask.
  • a pulse wave detection device is a pulse wave detection device that detects a pulse wave from a captured image of a subject, and includes an inter-region data adjustment unit having a phase calculation unit and a phase correction unit.
  • the phase calculation unit calculates phase differences between a plurality of time-series luminance signals of the region of interest of the image, and the phase correction unit calculates the phases of the time-series luminance signals based on the calculated phase differences. correct.
  • the pulse wave detection device Since the pulse wave detection device according to the technology disclosed herein has the above configuration, phases between a plurality of time-series luminance signals of the region of interest are corrected even when the subject wears a mask. Due to this phase correction action, the pulse wave detection device according to the technology of the present disclosure can detect the pulse wave signal of the subject even from an image of the face of the subject wearing a mask.
  • FIG. 1 is a schematic diagram showing the problem to be solved by the disclosed technology.
  • FIG. 2 is a schematic diagram showing the principle of calculating the pulse rate from an image of the face of a subject not wearing a mask by a conventional pulse wave detection device.
  • FIG. 3 is a block diagram showing functional blocks of the pulse wave detection device (100) according to Embodiment 1.
  • FIG. 4 is a schematic diagram showing the skin processing steps of the skin region detector (10) of the pulse wave detector (100) according to the first embodiment.
  • FIG. 5 is a schematic diagram showing processing steps of the shield detection unit (20) of the pulse wave detection device (100) according to the first embodiment.
  • FIG. 6 is a schematic diagram showing processing steps of the measurement region setting unit (30) of the pulse wave detection device (100) according to the first embodiment.
  • FIG. 6A is a schematic diagram showing the skin area S(k) before being processed by the measurement area setting unit (30).
  • FIG. 6B is a schematic diagram showing the skin area S(k) after being processed by the measurement area setting unit (30).
  • FIG. 7 is a schematic diagram showing that the phases of the pulse waves are shifted between the forehead and the neck.
  • FIG. 8 is a schematic diagram showing the action of the pulse wave estimator (60) of the pulse wave detector (100) according to Embodiment 1.
  • FIG. FIG. 9 is a schematic diagram showing the action of the pulse wave estimator (60) of the pulse wave detector (100) according to the second embodiment.
  • FIG. 10 is a flow chart showing the flow of the pulse wave detection device (100) according to the technology disclosed herein.
  • FIG. 11 is a block diagram showing the configuration of the inter-region data adjustment section (50) of the pulse wave detection device (100) according to Embodiment 3. As shown in FIG.
  • FIG. 1 is a schematic diagram showing the problem to be solved by the disclosed technology.
  • FIG. 2 is a schematic diagram showing the principle of calculating the pulse rate from an image of the subject's face, which is not masked, by the conventional pulse wave detector.
  • the leftmost image in FIG. 2 represents an image of the subject's face without the mask.
  • a conventional pulse wave detection device sets a region of interest (the region surrounded by a white square in the figure) from the subject's face image, and selects the left and right cheek regions as samples as a pair of small regions.
  • the second block from the left in FIG. 2 is a graph showing the luminance values of the left and right cheek regions selected as samples on the time axis.
  • the third block from the left in FIG. 2 represents a block for performing independent component analysis or principal component analysis. This block performs signal processing on the pair of luminance value signals selected as samples to extract a pulse wave component and a noise component.
  • the fourth block from the left in FIG. 2 is a graph representing each of the extracted pulse wave component and noise component on the time axis.
  • the rightmost block in FIG. 2 represents a block for calculating the pulse rate from the extracted pulse wave component signal.
  • FIG. 3 is a block diagram showing functional blocks of pulse wave detecting device 100 according to Embodiment 1.
  • the pulse wave detection device 100 includes a skin region detection unit 10, a shielding detection unit 20, a measurement region setting unit 30, a luminance signal extraction unit 40, an inter-region data adjustment unit 50, and a pulse wave estimation unit. a portion 60;
  • Pulse wave detection device 100 is also connected to camera 200 .
  • Pulse wave detection device 100 may be a vehicle-mounted device, and camera 200 may be a driver monitoring system (hereinafter referred to as "DMS").
  • DMS driver monitoring system
  • a target whose pulse wave is to be detected is called a "subject", but in the technology disclosed herein, a broader term "subject" is used.
  • FIG. 10 is a flowchart showing the flow of pulse wave detection device 100 according to Embodiment 1.
  • FIG. 10 is a flowchart showing the flow of pulse wave detection device 100 according to Embodiment 1.
  • FIG. 4 is a schematic diagram showing processing steps of the skin region detection unit 10 of the pulse wave detection device 100 according to the first embodiment.
  • the image data of the subject imaged by the camera 200 is input to the skin area detection section 10 .
  • the skin area detection unit 10 detects a skin area S(k), which is an area including human skin, from the input image data frame Im(k) (step ST10 in FIG. 10).
  • k represents a frame number.
  • the skin area S(k) is a partial area of the frame Im(k) and may be rectangular, for example. More specifically, the skin area S(k) is an area obtained by trimming the frame Im(k), and is an area in which the exposed skin typified by the face is left. Also, the number of skin regions S(k) does not need to be one, and may be multiple regions.
  • the skin area S(k) detected by the skin area detection unit 10 is output to the shielding detection unit 20 .
  • FIG. 5 is a schematic diagram showing processing steps of the shield detection unit 20 of the pulse wave detection device 100 according to the first embodiment.
  • the shielding detection unit 20 determines whether the target person's skin is shielded by a mask or the like from the output skin region S(k). When it is determined that the subject's skin is shielded, shielding detection section 20 detects shielding position information (step indicated by ST20 in FIG. 10).
  • Detecting the shielding position information may use, for example, pattern detection using the Haar-like feature amount or pattern detection using the HOG feature amount.
  • the shielding detection unit 20 may refer to the facial feature point information of the unshielded face model and determine that there is shielding around the missing facial feature point.
  • the facial organ point information refers to, for example, points having characteristics such as the inner and outer corners of eyes.
  • the detected shielding position information is output to the measurement area setting section 30 together with the frame Im(k) and the skin area S(k). where k is a serial number called the frame number.
  • FIG. 6 is a schematic diagram showing processing steps of the measurement region setting unit 30 of the pulse wave detection device 100 according to the first embodiment.
  • FIG. 6A is a schematic diagram showing the skin area S(k) before being processed by the measurement area setting unit 30.
  • FIG. 6B is a schematic diagram showing the skin region S(k) after processing by the measurement region setting unit 30. As shown in FIG.
  • the measurement region setting unit 30 sets a measurement region R(k) consisting of a plurality of small regions r i (k) for extracting a pulse wave signal from the skin region S(k) (ST30 in FIG. 10 steps shown).
  • the example shown in FIG. 6 shows the case where the cheek region is masked.
  • the skin region S(k) is set by the measurement region setting unit 30 as a measurement region consisting of eight small regions each for the forehead portion and the neck portion.
  • the measurement area of the forehead is denoted F(k)
  • the measurement area of the neck is denoted N(k) so as to distinguish them from each other.
  • the eight small areas that constitute the forehead measurement area F(k) are described as f i (k).
  • the eight sub-regions forming the neck measurement region N(k) are described as n i (k).
  • the subscript i is a serial number assigned to the small area.
  • Fig. 6A shows facial organ detection points.
  • a mathematical model such as a Constrained Local Model (hereinafter referred to as “CLM”) may be used to detect the coordinate values of facial feature detection points.
  • the measurement region setting unit 30 may use tracking technology such as a Kanade-Lucas-Tomasi (hereinafter referred to as “KLT”) tracker.
  • KLT Kanade-Lucas-Tomasi
  • both CLM and KLT may be used.
  • the measurement region setting unit 30 uses CLM to detect the coordinates of facial organ points for the skin region S(1) of the first frame Im(1), and detects the coordinates of the skin region S(1) of the next frame Im(2). 2) You may track a facial feature point by KLT for later.
  • CLM may be executed once every several frames for KLTs of the second and subsequent frames.
  • FIG. 6B shows an example in which the forehead and neck are set as measurement regions
  • the measurement region is not limited to this.
  • the portion to be set as the measurement region may be other portions such as the eye area, as long as the skin is exposed.
  • FIG. 6B shows an example in which the measurement area is divided into eight small areas, the present invention is not limited to this.
  • Information about the measurement area set by the measurement area setting unit 30 and the small areas that constitute the measurement area is output to the luminance signal extraction unit 40 .
  • the luminance signal extraction unit 40 calculates a value representing the luminance value of the pixels included in the small region as luminance signal information G i (k).
  • the representative value may be, for example, the average luminance value of the pixels included in the small area. Also, the representative value is not limited to the average value, and a variance or the like may be used.
  • the luminance signal extraction unit 40 connects the luminance signal information G i (k) for each k in time series to generate a time-series luminance signal.
  • the luminance signal extraction unit 40 not only calculates the current k-th luminance signal information G i (k), but also stores the previous k-1-th luminance signal information G i (k-1), A function may be provided to calculate the difference between the kth and the k-1th.
  • the time-series time-series luminance signal calculated by the luminance signal extraction unit 40 is output to the inter-region data adjustment unit 50 together with the information of the measurement region from which the time-series luminance signal was obtained.
  • the information about the measurement area is, specifically, information about which part of the subject's face the measurement area is.
  • the information of the measurement area is information that F(k) is the forehead and information that N(k) is the neck.
  • the inter-region data adjustment unit 50 processes a plurality of time-series luminance signals for each small region of each measurement region.
  • the operation of the inter-region data adjustment unit 50 according to the first embodiment will be made clear by the following description.
  • setting the region of interest as wide as possible is also based on the premise that a certain condition is satisfied.
  • the certain condition is that the phases of the pulse waves are aligned within the region of interest. Extracting pulse wave information from an image using independent component analysis or principal component analysis also assumes that the pulse waves are in phase within the region of interest.
  • the problem to be solved by the technique of the present disclosure occurs when the phases of the pulse waves do not match within the region of interest. If the phases of the pulse waves do not match within the region of interest, the premise of independent component analysis or principal component analysis may not be satisfied, and pulse wave information may not be extracted correctly.
  • FIG. 7 is a schematic diagram showing that the phases of the pulse waves are shifted between the forehead and the neck.
  • the phase difference here is sometimes expressed as a delay time appearing on the time axis.
  • FIG. 8 is a schematic diagram showing the operation of pulse wave estimating section 60 of pulse wave detecting device 100 according to the first embodiment.
  • inter-region data adjusting section 50 according to Embodiment 1 adjusts phases between a plurality of time-series luminance signals based on information on measurement regions (step indicated by ST40 in FIG. 10). .
  • the amount of phase to be adjusted that is, the amount of time shift of the time-series luminance signal can be obtained by several methods.
  • the simplest method is to determine the amount of time shift so that the peak positions of the time-series luminance signals are aligned.
  • the amount of phase to adjust may be determined statistically. More specifically, the inter-region data adjustment unit 50 according to the first embodiment may hold in advance information on the pulse wave phase difference between facial regions.
  • the information on the pulse wave phase difference between facial regions may be held according to the features of the subject. For example, phase difference information may be held separately for each gender and each age group.
  • the parts of the face may be, for example, the forehead, under the eyes, cheeks, chin, and neck.
  • the inter-region data adjustment unit 50 according to Embodiment 1 may adjust phases between a plurality of time-series luminance signals based on measurement region information and prestored phase difference information. A plurality of phase-adjusted time-series luminance signals are output to pulse wave estimating section 60 .
  • the pulse wave estimator 60 separates the plurality of phase-adjusted time-series luminance signals into pulse wave components and noise components (step indicated by ST50 in FIG. 10). Independent component analysis or principal component analysis may be used to separate the pulse wave component and the noise component. Pulse wave estimating section 60 estimates the pulse rate from the time-series data of the extracted pulse wave component (step ST60 in FIG. 10).
  • pulse wave detection apparatus 100 can detect a pulse wave signal of a subject even from an image of the face of the subject wearing a mask.
  • Embodiment 2 In pulse wave detecting device 100 according to Embodiment 1, pulse wave estimating section 60 adjusts phases between a plurality of time-series luminance signals based on information on the measurement region.
  • Embodiment 2 has the same configuration as that shown in Embodiment 1, but pulse wave estimating section 60 operates differently from Embodiment 1, and solves the problem of the disclosed technique.
  • the same reference numerals as those used in the first embodiment are used unless otherwise specified. Further, in the second embodiment, explanations overlapping those of the first embodiment are omitted as appropriate.
  • FIG. 9 is a schematic diagram showing the operation of pulse wave estimating section 60 of pulse wave detecting device 100 according to the second embodiment.
  • the inter-region data adjustment unit 50 according to Embodiment 2 groups the time-series luminance signals for the small regions for each measurement region.
  • the inter-region data adjustment unit 50 according to the second embodiment separately performs pulse wave estimation based on luminance information in which the measurement region is the forehead and pulse wave estimation based on luminance information in which the measurement region is the neck.
  • the pulse wave estimating unit 60 is instructed to perform each step separately.
  • Pulse wave estimating section 60 instructed to perform pulse wave estimation for each measurement region, that is, for each region of the face, separates the time-series luminance signal into a pulse wave component and a noise component for each measurement region (ST50 in FIG. 10). step indicated by ).
  • the pulse wave estimator 60 separates the time-series luminance signal for the forehead into a pulse wave component and a noise component, and separates the time-series luminance signal for the neck into a pulse wave component and a noise component. To separate.
  • the pulse wave estimator 60 estimates the pulse rate for each measurement region from the time-series data of the pulse wave component extracted for each measurement region.
  • the pulse wave estimator 60 according to Embodiment 2 calculates a plausible pulse rate from the pulse rate estimated for each measurement region.
  • a weighted average process for example, may be used to calculate the plausible pulse rate.
  • the reliability may be used as the weight used in the weighted averaging process.
  • the S/N ratio of the time-series luminance signal obtained for each measurement region may be used as the reliability.
  • the pulse wave estimating unit 60 calculates a plausible pulse rate using weighted averaging of the pulse rate itself, but is not limited to this.
  • a pulse wave estimator 60 performs weighted averaging on the luminance signal or pulse wave component signal in the measurement region, calculates a likely luminance signal or pulse wave component signal, and calculates a likely luminance signal or pulse wave component signal from the Pulse rate may be calculated.
  • the pulse wave detection device 100 according to Embodiment 2 since the pulse wave detection device 100 according to Embodiment 2 has the above configuration, even if the subject wears a mask, the phase effects between the plurality of time-series luminance signals of the region of interest are eliminated. be done. Due to the effect of eliminating this phase effect, the pulse wave detection device 100 according to Embodiment 2 can detect the subject's pulse wave signal even from an image of the subject's face wearing a mask.
  • inter-region data adjusting section 50 of pulse wave detecting device 100 is configured with two functional blocks.
  • the same reference numerals as those used in the previous embodiments are used unless otherwise specified. Further, in the third embodiment, explanations overlapping those of the previous embodiments are omitted as appropriate.
  • FIG. 11 is a block diagram showing the configuration of the inter-region data adjustment unit (50) of the pulse wave detection device (100) according to the third embodiment.
  • the inter-region data adjustment unit (50) according to the third embodiment includes a phase calculation unit 51 and a phase correction unit 52.
  • FIG. 11 is a block diagram showing the configuration of the inter-region data adjustment unit (50) of the pulse wave detection device (100) according to the third embodiment.
  • the inter-region data adjustment unit (50) according to the third embodiment includes a phase calculation unit 51 and a phase correction unit 52.
  • the phase calculator 51 of the inter-region data adjuster 50 calculates the phase difference between the plurality of time-series luminance signals based on the information of the measurement regions.
  • the phase difference is the delay time appearing on the time axis.
  • the phase difference may be obtained so that the peak positions of the two time-series luminance signals are aligned.
  • the phase difference may be changed using the phase as a parameter, and the solution may be the one that minimizes the integrated value of the squared error of the two time-series luminance signals.
  • the phase correction unit 52 of the inter-region data adjustment unit 50 uses the phase difference obtained by the phase calculation unit 51 to correct the phases between the plurality of time-series luminance signals.
  • the pulse wave detecting device 100 according to Embodiment 3 has the above configuration, and phases between a plurality of time-series luminance signals of the region of interest are corrected even when the subject wears a mask. With this phase-correcting action, the pulse wave detection device 100 according to the third embodiment can detect the pulse wave signal of the subject even from an image of the face of the subject wearing a mask.
  • the disclosed technology can be applied to in-vehicle equipment such as DMS, and has industrial applicability.
  • Skin region detection unit 20 Shielding detection unit 30 Measurement region setting unit 40 Luminance signal extraction unit 50 Inter-region data adjustment unit 51 Phase calculation unit 52 Phase correction unit 60 Pulse wave estimation unit 100 Pulse wave detection Device, 200 camera.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

本開示技術に係る脈波検出装置（１００）は、対象者を撮像した画像から脈波を検出する脈波検出装置（１００）であって、位相算出部（５１）と位相補正部（５２）とを有する領域間データ調整部（５０）を含む。前記位相算出部（５１）は、前記画像の関心領域の複数の時系列輝度信号の間の位相差を算出し、前記位相補正部（５２）は、算出された前記位相差に基づいて、前記時系列輝度信号の位相を補正する。

Description

脈波検出装置及び脈波検出方法
　本開示技術は、脈波検出装置に関する。
　被験者の顔を撮像した画像から、被験者の脈拍数を計測技術が知られている。例えば、顔のＲＯＩ（以下、「関心領域」と呼ぶ）を撮像したビデオ信号から、独立成分分析を用いて、心拍に対応する脈波信号を抽出できることが知られている。
　さらに例えば特許文献１には、被験者の顔が動いても、顔に当たる光が変化しても、精確に計測できる技術が開示されている。
　特許文献１に係る計測装置は、関心領域から選択した小領域の対をサンプルとして、各サンプルの輝度信号の対から”皮膚のメラニンが主に寄与する信号”と”血管のヘモグロビンが寄与する信号（以下、「ＰＧ信号」と呼ぶ）”とを推定する線形ＢＳＳ問題を解き、ＰＧ信号を抽出している。
特開２０１７－９３７６０号公報
　特許文献１に例示される従来技術では、被験者の顔は、眼鏡等をかけている場合はあるとしても、十分に顔の皮膚が露出していることを前提としている。したがって、関心領域から選択される小領域は、典型的には左右の頬である。
　ところで昨今では、マスクをした被験者の顔を撮像した画像からでも、被験者の脈波信号を検出したいという要望がある。画像解析技術を用いれば、従来の脈波検出装置でも関心領域から皮膚が露出した小領域を選択できるかもしれない。この場合、サンプルとして選ばれる小領域は、額領域と首領域との対のように心臓からの距離が異なる場合がある。心臓からの距離が異なることは、脈波が伝搬する距離が異なることを意味し、各小領域における脈波信号の時間軸上のずれを意味する。このように時間軸上のずれがある信号の対を用いれば、独立成分分析又は主成分分析において脈波成分の抽出が失敗に終わる。
　本開示技術は上記課題を解決し、マスクをした被験者の顔を撮像した画像からでも、被験者の脈波信号を検出する脈波検出装置を提供することを目的とする。
　本開示技術に係る脈波検出装置は、対象者を撮像した画像から脈波を検出する脈波検出装置であって、位相算出部と位相補正部とを有する領域間データ調整部を含む。前記位相算出部は、前記画像の関心領域の複数の時系列輝度信号の間の位相差を算出し、前記位相補正部は、算出された前記位相差に基づいて、前記時系列輝度信号の位相を補正する。
　本開示技術に係る脈波検出装置は上記構成を備えるため、対象者がマスクを着用している場合でも、関心領域の複数の時系列輝度信号の間の位相が補正される。この位相が補正される作用により本開示技術に係る脈波検出装置は、マスクをした被験者の顔を撮像した画像からでも、被験者の脈波信号を検出できる。
図１は、本開示技術が解決しようとする課題を表した模式図である。 図２は、従来技術に係る脈波検出装置がマスクをしていない被験者の顔を撮像した画像から脈拍数を算出する原理を示す模式図である。 図３は、実施の形態１に係る脈波検出装置（１００）の機能ブロックを示したブロック図である。 図４は、実施の形態１に係る脈波検出装置（１００）の肌領域検出部（１０）肌の処理ステップを表した模式図である。 図５は、実施の形態１に係る脈波検出装置（１００）の遮蔽検知部（２０）の処理ステップを表した模式図である。 図６は、実施の形態１に係る脈波検出装置（１００）の計測領域設定部（３０）の処理ステップを表した模式図である。図６Ａは、計測領域設定部（３０）が処理を施す前の肌領域Ｓ（ｋ）を示した模式図である。図６Ｂは、計測領域設定部（３０）が処理を施した後の肌領域Ｓ（ｋ）を示した模式図である。 図７は、額と首とでは、脈波の位相がずれることを示した模式図である。。 図８は、実施の形態１に係る脈波検出装置（１００）の脈波推定部（６０）の作用を示した模式図である。 図９は、実施の形態２に係る脈波検出装置（１００）の脈波推定部（６０）の作用を示した模式図である。 図１０は、本開示技術に係る脈波検出装置（１００）のフローを表したフローチャートである。 図１１は、実施の形態３に係る脈波検出装置（１００）の領域間データ調整部（５０）の構成を示したブロック図である。
　本開示技術に係る脈波検出装置（１００）は、以下の従来技術を補足した説明により、従来技術との差異が明らかとなる。図１は、本開示技術が解決しようとする課題を表した模式図である。また図２は、従来技術に係る脈波検出装置がマスクをしていない被験者の顔を撮像した画像から脈拍数を算出する原理を示す模式図である。
　図２の一番左の画像は、マスクをしていない被験者の顔の画像を表す。従来技術に係る脈波検出装置は、被験者の顔の画像から関心領域（図中の白い四角で囲われた領域）を設定し、小領域の対として左右の頬の領域をサンプルとして選択する。
　図２の左から２番目のブロックは、サンプルとして選択された左右の頬領域の輝度値を時間軸で表したグラフである。
　図２の左から３番目のブロックは、独立成分分析又は主成分分析を行うブロックを表す。ここのブロックは、サンプルとして選択した対の輝度値の信号に対して信号処理を行い、脈波成分とノイズ成分とを抽出する。
　図２の左から４番目のブロックは、抽出された脈波成分とノイズ成分とのそれぞれを時間軸で表したグラフである。
　図２の一番右のブロックは、抽出された脈波成分の信号から脈拍数を算出するブロックを表している。
実施の形態１．
　図３は、実施の形態１に係る脈波検出装置１００の機能ブロックを示したブロック図である。図３が示すとおり脈波検出装置１００は、肌領域検出部１０と、遮蔽検知部２０と、計測領域設定部３０と、輝度信号抽出部４０と、領域間データ調整部５０と、脈波推定部６０と、を含む。また、脈波検出装置１００は、カメラ２００と接続されている。
　脈波検出装置１００は車載器であってもよく、またカメラ２００はドライバモニタリングシステム（以下、「ＤＭＳ」と称する）であってもよい。従来技術において脈波を検出する対象を「被験者」と称していたが、本開示技術ではより広い「対象者」という表現が用いられる。
　　図１０は、実施の形態１に係る脈波検出装置１００のフローを表したフローチャートである。
　図４は、実施の形態１に係る脈波検出装置１００の肌領域検出部１０の処理ステップを表した模式図である。カメラ２００で撮像された対象者の画像データは、肌領域検出部１０へ入力される。肌領域検出部１０は、入力された画像データのフレームＩｍ（ｋ）から、ヒトの肌を含む領域である肌領域Ｓ（ｋ）を検出する（図１０のＳＴ１０で示されるステップ）。ここでｋは、フレーム番号を表す。
　図４が示すとおり肌領域Ｓ（ｋ）は、フレームＩｍ（ｋ）の部分領域であって、例えば矩形であってよい。より具体的に肌領域Ｓ（ｋ）は、フレームＩｍ（ｋ）をトリミングした領域であって、顔に代表される肌が露出された部分を残した領域である。また、肌領域Ｓ（ｋ）は１つである必要はなく、複数の領域であってもよい。肌領域検出部１０で検出された肌領域Ｓ（ｋ）は、遮蔽検知部２０へ出力される。
　　図５は、実施の形態１に係る脈波検出装置１００の遮蔽検知部２０の処理ステップを表した模式図である。遮蔽検知部２０は、出力された肌領域Ｓ（ｋ）から、対象者の肌がマスク等により遮蔽されているか否かを判断する。対象者の肌が遮蔽されていると判断された場合、遮蔽検知部２０は遮蔽位置情報を検出する（図１０のＳＴ２０で示されるステップ）。
　遮蔽位置情報の検出は、例えばＨａａｒ－ｌｉｋｅ特徴量を用いたパターン検出、又はＨＯＧ特徴量を用いたパターン検出を用いてよい。遮蔽検知部２０は、遮蔽なしの顔モデルの顔器官点情報を参照し、不足している顔器官点周辺に遮蔽があると判断してもよい。顔器官点情報とは、例えば目であれば目頭と目尻等の特徴がある点のことを指す。
　検出された遮蔽位置情報は、フレームＩｍ（ｋ）と肌領域Ｓ（ｋ）とともに、計測領域設定部３０へ出力される。ここでｋは、フレーム番号と称する通し番号である。
　図６は、実施の形態１に係る脈波検出装置１００の計測領域設定部３０の処理ステップを表した模式図である。図６Ａは、計測領域設定部３０が処理を施す前の肌領域Ｓ（ｋ）を示した模式図である。図６Ｂは、計測領域設定部３０が処理を施した後の肌領域Ｓ（ｋ）を示した模式図である。
　計測領域設定部３０は、肌領域Ｓ（ｋ）の中から脈波信号を抽出するための複数の小領域ｒｉ（ｋ）からなる計測領域Ｒ（ｋ）を設定する（図１０のＳＴ３０で示されるステップ）。
　図６が示す例は、頬領域がマスクにより遮蔽された場合を示している。計測領域設定部３０により肌領域Ｓ（ｋ）は、額の部分と首の部分とそれぞれ８つの小領域からなる計測領域が設定されている。ここで互いに区別できるよう、額部の計測領域はＦ（ｋ）と記され、首部の計測領域はＮ（ｋ）と記されている。また、額部の計測領域Ｆ（ｋ）を構成する８つの小領域は、ｆｉ（ｋ）と記載されている。同様に首部の計測領域Ｎ（ｋ）を構成する８つの小領域は、ｎｉ（ｋ）と記載されている。ここで下添え字のｉは、小領域に付される通し番号である。
　図６Ａには、顔器官検出点が示されている。顔器官検出点の座標値の検出は、例えばＣｏｎｓｔｒａｉｎｅｄ　Ｌｏｃａｌ　Ｍｏｄｅｌ（以下「ＣＬＭ」と称する）等の数理モデルが用いられてよい。また計測領域設定部３０は、Ｋａｎａｄｅ－Ｌｕｃａｓ－Ｔｏｍａｓｉ（以下「ＫＬＴ」と称する）トラッカー等のトラッキング技術が用いられてもよい。また、ＣＬＭとＫＬＴとが両方用いられてもよい。例えば計測領域設定部３０は、最初のフレームＩｍ（１）の肌領域Ｓ（１）に対してＣＬＭを用いて顔器官点の座標を検出し、次のフレームＩｍ（２）の肌領域Ｓ（２）以降に対してＫＬＴにより顔器官点をトラッキングしてもよい。また、トラッキングの累積誤差を解消することを目的として、２フレーム以降のＫＬＴについて数フレームに１回の頻度でＣＬＭが実行されてもよい。
　図６Ｂには計測領域として額部と首部とが設定された例が示されているが、これに限定されない。計測領域として設定される部分は、目元周辺などの他の部分でもよく、肌が露出している部分であればよい。
　また図６Ｂには計測領域を８つの小領域に分割した例が示されているが、これに限定されない。
　計測領域設定部３０で設定された計測領域とそれを構成する小領域に関する情報は、輝度信号抽出部４０へ出力される。
　輝度信号抽出部４０は、計測領域設定部３０で設定された各小領域について、その小領域に含まれる画素の輝度値を代表する値を輝度信号情報Ｇｉ（ｋ）として算出する。代表する値は、例えばその小領域に含まれる画素の輝度値の平均値であってもよい。また代表する値は平均値に限定するものではなく、分散等が用いられてもよい。輝度信号抽出部４０は、ｋごとの輝度信号情報Ｇｉ（ｋ）を時系列でつなげ、時系列輝度信号を生成する。
　輝度信号抽出部４０は、現在のｋ番目の輝度信号情報Ｇｉ（ｋ）を算出するだけではなく、一つ前のｋ－１番目の輝度信号情報Ｇｉ（ｋ－１）も記憶し、ｋ番目とｋ－１番目との差分を計算する機能が備えられていてもよい。
　輝度信号抽出部４０で算出された時系列の時系列輝度信号は、その時系列輝度信号が得られた計測領域の情報とともに、領域間データ調整部５０へ出力される。計測領域の情報とは、具体的には、計測領域が対象者の顔のどの部位かについての情報である。図６の例示の場合に計測領域の情報は、Ｆ（ｋ）が額であるという情報と、Ｎ（ｋ）が首であるという情報と、である。
　領域間データ調整部５０は、各計測領域の各小領域についての複数の時系列輝度信号を処理する。実施の形態１に係る領域間データ調整部５０の作用は、以下の説明により明らかとなる。
　一般的に映像からの脈波情報抽出は、できる限り広く関心領域を設定し、その関心領域の輝度平均値を用いることが望ましい。関心領域を広く設定することは、Ｓ／Ｎ比の改善につながる。
　このことを本開示技術に当てはめると、脈波情報抽出を、計測領域設定部３０で設定されたすべての計測領域を関心領域と設定して行うことが望ましい。すなわち領域間データ調整部５０は、送られたすべての時系列輝度信号を平均化し、脈波情報抽出することが望ましい。
　ただし、「できる限り広く関心領域を設定すること」も、或る条件を満たせばという前提がある。或る条件とは、関心領域内において脈波の位相がそろっていること、である。独立成分分析又は主成分分析を用いて映像から脈波情報を抽出することも、関心領域内において脈波の位相がそろっていることを前提としている。
　本開示技術が解決しようとする課題は、関心領域内において脈波の位相がそろわない場合に生じる。関心領域内において脈波の位相がそろわないことは、独立成分分析又は主成分分析の前提が満たされず、脈波情報が正しく抽出されないおそれがある。
　血液は、心臓のポンプ作用により体中を流れる。脈波は、心臓により作られる。つまり心臓から血液が経由した経路の距離が等しければ、脈波の位相はそろっていると言える。逆に心臓から血液が経由した経路の距離が異なれば、脈波の位相はずれてくると言える。
　昨今では、対象者がマスクをしている状況が増えている。マスクは前述のとおり、関心領域を限定し、例えば額と首とが選ばれる。額と首とでは、心臓から血液が経由した経路の距離が異なるため、脈波の位相はずれている。図７は、額と首とでは、脈波の位相がずれることを示した模式図である。ここでの位相差は、時間軸上に現れる遅れ時間と表現されることもある。
　図８は、実施の形態１に係る脈波検出装置１００の脈波推定部６０の作用を示した模式図である。図８に示すとおり実施の形態１に係る領域間データ調整部５０は、計測領域の情報に基づいて、複数の時系列輝度信号の間の位相を調整する（図１０のＳＴ４０で示されるステップ）。
　調整する位相の量、すなわち時系列輝度信号の時間シフト量は、いくつかの方法により求めることができる。もっとも単純な方法は、時系列輝度信号のピークの位置がそろうように時間シフト量を決める方法である。
　調整する位相の量は、統計的に求めてもよい。より具体的に実施の形態１に係る領域間データ調整部５０は、あらかじめ顔の部位間の脈波の位相差の情報を保持してよい。顔の部位間の脈波の位相差の情報は、対象者の特徴に合わせて保持するようにしてもよい。例えば位相差の情報は、男女別、年代別、に分けて保持されていてもよい。顔の部位は、例えば額、目の下、頬、あご、首、としてよい。実施の形態１に係る領域間データ調整部５０は、計測領域の情報とあらかじめ保持した位相差の情報とに基づいて、複数の時系列輝度信号の間の位相を調整してもよい。
　位相が調整された複数の時系列輝度信号は、脈波推定部６０へ出力される。
　脈波推定部６０は、位相が調整された複数の時系列輝度信号を脈波成分とノイズ成分とに分離する（図１０のＳＴ５０で示されるステップ）。脈波成分とノイズ成分との分離は、独立成分分析又は主成分分析が用いられてもよい。脈波推定部６０は、抽出した脈波成分の時系列データから、脈拍数を推定する（図１０のＳＴ６０で示されるステップ）。
　以上のとおり実施の形態１に係る脈波検出装置１００は上記構成を備えるため、対象者がマスクを着用している場合でも、関心領域の複数の時系列輝度信号の間の位相が調整される。この位相が調整される作用により実施の形態１に係る脈波検出装置１００は、マスクをした対象者の顔を撮像した画像からでも、対象者の脈波信号を検出できる。
実施の形態２．
　実施の形態１に係る脈波検出装置１００は、脈波推定部６０が計測領域の情報に基づいて、複数の時系列輝度信号の間の位相を調整するものである。実施の形態２は、実施の形態１で示したものと同じ構成だが、脈波推定部６０が実施の形態１とは異なる作用をし、本開示技術の課題を解決するものである。
　実施の形態２は、特に明記する場合を除き実施の形態１で用いたものと同じ符号が用いられる。また実施の形態２では、実施の形態１と重複する説明は適宜省略される。
　図９は、実施の形態２に係る脈波検出装置１００の脈波推定部６０の作用を示した模式図である。図９が示すとおり実施の形態２に係る領域間データ調整部５０は、計測領域ごとにその小領域についての時系列輝度信号をグループ化する。具体的に実施の形態２に係る領域間データ調整部５０は、計測領域が額である輝度情報に基づく脈波推定と、計測領域が首である輝度情報に基づく脈波推定とを、独立して別々に行うよう、脈波推定部６０に指示する。
　計測領域ごとすなわち顔の部位ごとに脈波推定を行うように指示された脈波推定部６０は、計測領域ごとに時系列輝度信号を脈波成分とノイズ成分とに分離する（図１０のＳＴ５０で示されるステップ）。図９の例示で言えば脈波推定部６０は、額についての時系列輝度信号を脈波成分とノイズ成分とに分離するとともに、首についての時系列輝度信号を脈波成分とノイズ成分とに分離する。
　脈波推定部６０は、計測領域ごとに抽出した脈波成分の時系列データから、計測領域ごとに脈拍数を推定する。実施の形態２に係る脈波推定部６０は、計測領域ごとに推定した脈拍数から、もっともらしい脈拍数を算出する。もっともらしい脈拍数の算出は、例えば重み付き平均処理が用いられてもよい。重み付き平均処理で用いる重みは、例えば信頼度が用いられてよい。信頼度は、計測領域ごとに求めた時系列輝度信号のＳ／Ｎ比が用いられてもよい。
　図９で示されているように脈波推定部６０は、脈拍数自体に重み付き平均処理を用いてもっともらしい脈拍数を算出しているが、これに限定されない。脈波推定部６０は、計測領域の輝度信号又は脈波成分信号に対して重み付き平均処理を行い、もっともらしい輝度信号又は脈波成分信号を算出し、もっともらしい輝度信号又は脈波成分信号から脈拍数を算出してもよい。
　以上のとおり実施の形態２に係る脈波検出装置１００は上記構成を備えるため、対象者がマスクを着用している場合でも、関心領域の複数の時系列輝度信号の間の位相の影響が排除される。この位相の影響が排除される作用により実施の形態２に係る脈波検出装置１００は、マスクをした対象者の顔を撮像した画像からでも、対象者の脈波信号を検出できる。
実施の形態３．
　実施の形態３は、実施の形態１に係る脈波検出装置１００の領域間データ調整部５０を、２つの機能ブロックで構成したものである。
　実施の形態３は、特に明記する場合を除き既出の実施の形態で用いたものと同じ符号が用いられる。また実施の形態３では、既出の実施の形態と重複する説明は適宜省略される。
　図１１は、実施の形態３に係る脈波検出装置（１００）の領域間データ調整部（５０）の構成を示したブロック図である。図１１が示すとおり実施の形態３に係る領域間データ調整部（５０）は、位相算出部５１と、位相補正部５２と、を含む。
　領域間データ調整部５０の位相算出部５１は、計測領域の情報に基づいて、複数の時系列輝度信号の間の位相差を算出する。前述のとおり位相差とは、時間軸上に現れる遅れ時間のことである。
　ここで位相差は、２つの時系列輝度信号のピークの位置が合うように求められてもよい。また位相差は、位相をパラメータとして変化させ、２つの時系列輝度信号の二乗誤差の積分値が最小となるものを解としてよい。
　領域間データ調整部５０の位相補正部５２は、位相算出部５１で求めた位相差を用いて、複数の時系列輝度信号の間の位相を補正する。
　以上のとおり実施の形態３に係る脈波検出装置１００は上記構成を備え、対象者がマスクを着用している場合でも、関心領域の複数の時系列輝度信号の間の位相が補正される。この位相が補正される作用により実施の形態３に係る脈波検出装置１００は、マスクをした対象者の顔を撮像した画像からでも、対象者の脈波信号を検出できる。
　本開示技術はＤＭＳ等の車載器に適用でき、産業上の利用可能性を有する。
　１０　肌領域検出部、　２０　遮蔽検知部、　３０　計測領域設定部、　４０　輝度信号抽出部、　５０　領域間データ調整部、　５１　位相算出部、　５２　位相補正部、　６０　脈波推定部、　１００　脈波検出装置、　２００　カメラ。

Claims (4)

  1. 　対象者を撮像した画像から脈波を検出する脈波検出装置であって、
    　位相算出部と位相補正部とを有する領域間データ調整部を含み、
    　前記位相算出部は、前記画像の関心領域の複数の時系列輝度信号の間の位相差を算出し、
    　前記位相補正部は、算出された前記位相差に基づいて、前記時系列輝度信号の位相を補正することを特徴とする脈波検出装置。
  2. 　前記位相算出部は、前記関心領域の計測領域ごとの前記時系列輝度信号のピークの位置に基づいて位相を算出する請求項１に記載の脈波検出装置。
  3. 　前記位相算出部は、２つの前記時系列輝度信号の二乗誤差の積分値に基づいて位相を算出する請求項１に記載の脈波検出装置。
  4. 　対象者を撮像した画像から脈波を検出する脈波検出方法であって、
    　前記画像の関心領域の複数の時系列輝度信号の間の位相差を算出し、
    　算出された前記位相差に基づいて、前記時系列輝度信号の位相を補正することを含む脈波検出方法。
PCT/JP2021/012915 2021-03-26 2021-03-26 脈波検出装置及び脈波検出方法 Ceased WO2022201507A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2023508382A JP7561966B2 (ja) 2021-03-26 2021-03-26 脈波検出装置及び脈波検出方法
DE112021007383.4T DE112021007383T5 (de) 2021-03-26 2021-03-26 Pulswellenerkennungsvorrichtung undpulswellenerkennungsverfahren
US18/281,958 US20240298906A1 (en) 2021-03-26 2021-03-26 Pulse wave detector
PCT/JP2021/012915 WO2022201507A1 (ja) 2021-03-26 2021-03-26 脈波検出装置及び脈波検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/012915 WO2022201507A1 (ja) 2021-03-26 2021-03-26 脈波検出装置及び脈波検出方法

Publications (1)

Publication Number Publication Date
WO2022201507A1 true WO2022201507A1 (ja) 2022-09-29

Family

ID=83396528

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/012915 Ceased WO2022201507A1 (ja) 2021-03-26 2021-03-26 脈波検出装置及び脈波検出方法

Country Status (4)

Country Link
US (1) US20240298906A1 (ja)
JP (1) JP7561966B2 (ja)
DE (1) DE112021007383T5 (ja)
WO (1) WO2022201507A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT202200026922A1 (it) 2022-12-28 2024-06-28 Ima Spa Apparecchiatura e procedimento per movimentare automaticamente oggetti nell’ambito di un ambiente con atmosfera controllata.
IT202200026916A1 (it) 2022-12-28 2024-06-28 Ima Spa Apparecchiatura e procedimento per chiudere automaticamente contenitori.

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014073159A (ja) * 2012-10-02 2014-04-24 Fujitsu Ltd 脈波検出装置、脈波検出プログラム及び脈波検出方法
JP2017093830A (ja) * 2015-11-25 2017-06-01 日本電信電話株式会社 同一性判定システム、顔脈波測定装置、及び同一性判定方法
JP2020010772A (ja) * 2018-07-13 2020-01-23 美津濃株式会社 脈拍検出方法、および、脈拍検出システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6521845B2 (ja) 2015-11-22 2019-05-29 国立大学法人埼玉大学 心拍に連動する周期的変動の計測装置及び計測方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014073159A (ja) * 2012-10-02 2014-04-24 Fujitsu Ltd 脈波検出装置、脈波検出プログラム及び脈波検出方法
JP2017093830A (ja) * 2015-11-25 2017-06-01 日本電信電話株式会社 同一性判定システム、顔脈波測定装置、及び同一性判定方法
JP2020010772A (ja) * 2018-07-13 2020-01-23 美津濃株式会社 脈拍検出方法、および、脈拍検出システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT202200026922A1 (it) 2022-12-28 2024-06-28 Ima Spa Apparecchiatura e procedimento per movimentare automaticamente oggetti nell’ambito di un ambiente con atmosfera controllata.
IT202200026916A1 (it) 2022-12-28 2024-06-28 Ima Spa Apparecchiatura e procedimento per chiudere automaticamente contenitori.

Also Published As

Publication number Publication date
DE112021007383T5 (de) 2024-01-04
US20240298906A1 (en) 2024-09-12
JP7561966B2 (ja) 2024-10-04
JPWO2022201507A1 (ja) 2022-09-29

Similar Documents

Publication Publication Date Title
US8811657B2 (en) Method and apparatus for image-based eye tracking for retinal diagnostic or surgery device
US11547309B2 (en) Biological information detection device, biological information detection method and non-transitory computer-readable storage medium for biological information detection
US10478079B2 (en) Pulse estimation device, pulse estimation system, and pulse estimation method
US20130322729A1 (en) Processing a video for vascular pattern detection and cardiac function analysis
US20180307927A1 (en) In-Vehicle Monitoring
EP3378387B1 (en) Heart rate estimation from face videos using quality based fusion
CN109700449B (zh) 一种可抗头部自然运动的有效心率量测系统
JP7131709B2 (ja) 推定装置、方法及びプログラム
CN111127511B (zh) 一种非接触式心率监测方法
WO2022201507A1 (ja) 脈波検出装置及び脈波検出方法
CN110781712B (zh) 一种基于人脸检测与识别的人头空间定位方法
CN111513701A (zh) 心率检测方法、装置、计算机设备和可读存储介质
US20250252562A1 (en) Method for estimating heart rate on basis of corrected image, and device therefor
WO2022201505A1 (ja) 脈波検出装置及び脈波検出方法
US10779771B2 (en) Signal processing method and apparatus
JP7514521B2 (ja) 心拍測定システム、心拍測定方法、及び心拍測定プログラム
JPWO2022201505A5 (ja)
CN111524167A (zh) 一种移动放射源定位校正与优化方法
CN117547238A (zh) 一种在复杂条件下进行视频心率检测方法及检测系统
CN119924891B (zh) 一种二维斑点追踪联合组织多普勒的osas心脏力学分析系统
CN121053240B (zh) 一种x射线探测器阵列成像系统
CN119074023B (zh) 一种自适应运动轨迹智能图像采集方法
CN115497151B (zh) 应用于电视场景的检测特定年龄段不良姿势的方法
Sharma et al. A real-time framework to find optimal roi for contactless heart rate variability detection
Sobotka et al. Evaluation of Skin Segmentation Methods for Explainable Pulse Signal Analysis

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21933112

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023508382

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18281958

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112021007383

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21933112

Country of ref document: EP

Kind code of ref document: A1