WO2016059775A1 - 生体情報処理装置及び生体情報処理方法 - Google Patents
生体情報処理装置及び生体情報処理方法 Download PDFInfo
- Publication number
- WO2016059775A1 WO2016059775A1 PCT/JP2015/005105 JP2015005105W WO2016059775A1 WO 2016059775 A1 WO2016059775 A1 WO 2016059775A1 JP 2015005105 W JP2015005105 W JP 2015005105W WO 2016059775 A1 WO2016059775 A1 WO 2016059775A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- unit
- subject
- biological information
- information processing
- pulse
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Definitions
- the present invention relates to a biological information processing apparatus and a biological information processing method for monitoring human biological information.
- Vital sensing technology that estimates human biological information is not limited to the field of home medical care and health management, but includes a variety of methods such as detection of sleepiness while driving, acquisition of a user's psychological state during a game, and detection of abnormal persons in a monitoring system. Application to a wide range of fields is expected. Currently, a device that senses biological information is mainly used in contact with a human body and needs to be worn by the user, so that the application range is limited.
- a biological state observation system disclosed in Patent Document 1 is known.
- This biological state observation system inputs an image including at least one person to be observed composed of a plurality of temporally continuous frames, detects a predetermined area in the image, and obtains information on the predetermined area.
- Output detect biological information of the observed person included in the image from a predetermined region in the image, and determine predetermined biological parameters and biological information data used in the determination of abnormality of the biological state or changes in the data
- the biological state observation system can observe the biological information of the subject and detect abnormalities in the biological state without causing the subject to feel uncomfortable or uncomfortable.
- the biological parameter used for the comparison is a predetermined fixed value or a value updated via the Internet.
- the value of this biological parameter is used.
- an abnormal subject subject, biological information processing target
- a pulse measuring device shown in Patent Document 2 calculates a feature amount of a captured input image, detects a pulse wave peak interval from the calculated feature amount, and calculates a pulse rate from the detected pulse wave peak interval.
- the pulse measurement device has an estimated maximum error between a pulse rate having an effective peak interval based on an adoption rate indicating a ratio of an effective peak interval and a true pulse rate within a calculated value.
- the frame rate indicating the number of frames captured per unit time is controlled so that
- the objective is to detect numbers accurately in real time.
- the biological information processing apparatus includes an image input unit that inputs image data, a selection unit, an estimation unit, a detection unit, and an output unit.
- the selection unit selects an image range to be processed from the image data input by the image input unit.
- the estimation unit estimates the pulse rate of the processing target corresponding to the image range based on the image data of the selected processing target image range.
- the detection unit detects a target that may be abnormal or a target that needs attention according to the relative comparison of the estimated pulse rate of the processing target.
- the output unit outputs information related to a detected object that may be abnormal or a target that needs attention.
- the present disclosure is a biological information processing method in the biological information processing apparatus.
- This method has the following steps. Inputting image data; A step of selecting an image range to be processed from the input image data. A step of estimating the pulse rate of the processing target corresponding to the same image range based on the image data of the selected image range of the processing target. A step of detecting a subject having a possibility of abnormality or a subject requiring attention according to the relative comparison of the estimated pulse rate of the processing target. Outputting information relating to a detected object having a possibility of abnormality or an object requiring attention;
- the pulse rate of the subject who may be abnormal or the subject to be watched out of a plurality of subjects is calculated. Real-time and accurate detection.
- FIG. 1A is a diagram schematically illustrating an example of the relationship between the contraction of a human heart and the amount of light absorbed in a blood vessel.
- FIG. 1B is a diagram illustrating an example of a time-series change in light intensity.
- FIG. 2 is a diagram illustrating an example of an absorptance for each wavelength of light in hemoglobin.
- FIG. 3 is a block diagram illustrating an example of an internal configuration of the biological information processing apparatus according to the first embodiment.
- FIG. 4A is a diagram illustrating an example of captured images of a plurality of subjects input from a camera.
- FIG. 4B is a diagram illustrating an example of a designated range for each subject cut out by the subject region selection unit.
- FIG. 4A is a diagram schematically illustrating an example of the relationship between the contraction of a human heart and the amount of light absorbed in a blood vessel.
- FIG. 1B is a diagram illustrating an example of a time-series change in light intensity.
- FIG. 4C is a diagram illustrating an example of a result of extracting the pulse rate for each subject.
- FIG. 5 is a diagram illustrating a usage example of the biological information processing apparatus of each embodiment.
- FIG. 6 is a flowchart illustrating an example of an operation procedure of the biological information processing apparatus according to the first embodiment.
- FIG. 7 is a block diagram illustrating an example of an internal configuration of the biological information processing apparatus according to the second embodiment.
- FIG. 8A is a diagram illustrating an example of captured images of a plurality of subjects input from a camera.
- FIG. 8B is a diagram illustrating an example of a designated range for each subject cut out by the subject region selection unit.
- FIG. 8C is a diagram illustrating an example of a result of extracting the pulse rate for each subject.
- FIG. 9 is a flowchart illustrating an example of an operation procedure of the biological information processing apparatus according to the second embodiment.
- FIG. 10A is a block diagram illustrating an example of an internal configuration of the biological information processing apparatus according to the third embodiment.
- FIG. 10B is a diagram schematically illustrating an example of an operation outline of the biological information processing apparatus of each embodiment.
- FIG. 11 is a diagram illustrating an example of a pulse calculation method using a conventional camera.
- FIG. 12 is an explanatory diagram of a problem in the pulse calculation method shown in FIG.
- FIG. 13 is a diagram illustrating an example of a pulse calculation method in the biological information processing apparatus according to the third embodiment.
- FIG. 14 is an explanatory diagram illustrating an operation example of the waveform verification unit in each estimation module unit.
- FIG. 10A is a block diagram illustrating an example of an internal configuration of the biological information processing apparatus according to the third embodiment.
- FIG. 10B is a diagram schematically illustrating an example of an operation outline of the biological information processing
- FIG. 15 is a flowchart illustrating an example of an operation procedure of the biological information processing apparatus according to the third embodiment.
- FIG. 16 is a block diagram illustrating an example of an internal configuration of the biological information processing apparatus according to the fourth embodiment.
- FIG. 17 is an explanatory diagram of a problem when the peak of the observed waveform for one period is off the sampling position.
- FIG. 18 is an explanatory diagram illustrating a first example of the operation of the interpolation unit of each estimation module unit.
- FIG. 19 is an explanatory diagram illustrating a second example of the operation of the interpolation unit of each estimation module unit.
- FIG. 20 is an explanatory diagram illustrating a third example of the operation of the interpolation unit of each estimation module unit.
- FIG. 21 is a flowchart illustrating an example of an operation procedure of the biological information processing apparatus according to the fourth embodiment.
- FIG. 1A is a diagram schematically illustrating an example of the relationship between the contraction of a human heart and the amount of light absorbed in a blood vessel.
- FIG. 1B is a diagram illustrating an example of a time-series change in light intensity.
- FIG. 1A shows that the volume of a blood vessel changes in synchronization with a human heart systole.
- the amount of absorption of light for example, light in a specific wavelength region shown in FIG. 2
- the intensity of light also decreases (see FIG. 1B).
- the pulse wave refers to a wave motion when the pressure change in the blood vessel generated when blood is pushed out to the aorta due to contraction of the heart is transmitted in the distal direction.
- the horizontal axis indicates time
- the vertical axis indicates the intensity of a signal (photoelectric pulse wave) obtained by a change in the amount of absorbed light. That is, in FIG. 1B, when the peak appears, the amount of light absorption is small, so the volume of the blood vessel is not increased, and when the minimum value appears, the amount of light absorption is large, so The volume is increasing. It should be noted that although there is a slight delay due to the distance between the heart and the peripheral portion, a slight delay is seen, but the heart contraction and the change in the intensity of the photoelectric pulse wave basically fluctuate in synchronization.
- FIG. 2 is a diagram showing an example of the absorption rate for each wavelength of light in hemoglobin.
- FIG. 2 shows that, for example, hemoglobin (blood) easily absorbs a wavelength of 400 nm (that is, green).
- the description will be made using the fact that the green light component has a high absorptance, but for example, the reflectance of the red light component (for example, a wavelength exceeding 1000 nm) is high. It may be explained using.
- FIG. 3 is a block diagram illustrating an example of an internal configuration of the biological information processing apparatus 10 according to the first embodiment.
- the biological information processing apparatus 10 illustrated in FIG. 3 includes a camera CM, an image input unit 1, a subject region selection unit 2 (region selection unit), a subject biological information extraction unit 3 (extraction unit), and an abnormality detection unit 4.
- the threshold value holding / updating unit 5, the abnormality notification output unit 6, and the monitoring monitor 7 are included.
- the biological information processing apparatus 10 may further include an abnormality notification acquisition device AP1,..., APk (see later).
- the camera CM captures n subjects as estimation objects at a predetermined frame rate (for example, 10 fps: frame per second) and outputs the images to the image input unit 1.
- the camera CM may not be included in the biological information processing apparatus 10, and may be connected to the biological information processing apparatus 10 via a network, for example.
- the network is the Internet or an intranet connected with a wireless network or a wired network as an interface.
- the wireless network is, for example, a wireless LAN (Local Area Network), a wireless WAN (Wide Area Network), 3G, LTE (Long Term Evolution), or WiGig (Wireless Gigabit).
- the wired network is, for example, IEEE 802.3 or Ethernet (ETHERNET (registered trademark)).
- the image input unit 1 continuously inputs (acquires) frames of image data in which a person is captured by the camera CM at a predetermined frame rate and outputs the frames to the subject region selection unit 2. Note that when the camera CM and the biological information processing apparatus 10 are configured separately, the image input unit 1 continuously receives frames of image data transmitted from the camera CM.
- the subject region selection unit 2 as an example of the selection unit includes a plurality of subjects (for example, Mr. A, Mr. B, and Mr. C) in each frame (see FIG. 4A) of the image data input by the image input unit 1.
- the designated ranges RN1, RN2, and RN3 (see FIG. 4B) that are image ranges including individual subjects are selected and cut out, and the designated range RN1 and the designated range RN2 of Mr. A are selected.
- each image data in the designated range RN3 is output to the subject biometric information extraction unit 3.
- FIG. 4A is a diagram illustrating an example of captured images IM1 of a plurality of subjects input from the camera CM.
- FIG. 4B is a diagram illustrating an example of a designated range for each subject cut out by the subject region selection unit 2.
- the subject region selection unit 2 performs, for example, a well-known face detection process on the data of the captured image IM1.
- the designated range RN1, the designated range RN2, the designated range RN2 of Mr. B, and the designated range RN3 of Mr. C are individually detected, and the detection result (the designated range RN1, designated by Mr. B, RN2, C Each image data in the designated range RN3).
- the subject biometric information extraction unit 3 as an example of the estimation unit is designated based on the respective image data of the designated ranges RN1, RN2, and RN3 that are image ranges including individual subjects output from the subject region selection unit 2.
- a pulse rate as an example of biological information of subjects (Mr. A, Mr. B, Mr. C) corresponding to each of the ranges RN1, RN2, and RN3 is estimated.
- the subject biological information extraction unit 3 outputs information on the pulse rate of each of Mr. A, Mr. B, and Mr. C, which is the estimation result, to the abnormality detection unit 4. Since the method for estimating the pulse rate in the subject biological information extraction unit 3 is a known technique, a detailed description thereof will be omitted.
- the subject biological information extraction unit 3 includes at least pixel values of the skin color portion in the plurality of frames of the image data of Mr. A corresponding to the designated range RN1 cut out by the subject region selection unit 2. Based on the signal for one period, a time corresponding to one period (pulse wave interval, PWI: Pulse Wave Interval) is extracted, and using this extracted PWI and Equation (1), A's pulse rate ( Calculate Pulse Rate). Similarly, the subject biometric information extraction unit 3 at least of the pixel values of the skin color portions in the plurality of frames of each of the image data of Mr. B and Mr. C corresponding to the designated ranges RN2 and RN3 cut out by the subject region selection unit 2. Based on the signal for one period, the time corresponding to one period (pulse wave interval, PWI) is extracted, and using this extracted PWI and Equation (1), the pulse rates of Mr. B and Mr. C are respectively determined. Calculate.
- PWI Pulse Wave Interval
- the abnormality detection unit 4 as an example of the detection unit relatively compares the calculation results (estimation results) of the pulse rate of the plurality of subjects (Mr. A, Mr. B, Mr. C) output from the subject biological information extraction unit 3. (For example, a maximum value search), a subject who may be abnormal or a subject to be watched is detected, and the detection result is output to the abnormality notification output unit 6. Further, the abnormality detection unit 4 stores the threshold value obtained in the relative comparison in the threshold value holding update unit 5.
- the threshold value referred to in the present embodiment is a subject who may be abnormal or a subject of caution among a plurality of subjects (for example, Mr. A, Mr. B, and Mr. C) whose pulse rate is to be estimated. It is a judgment value (maximum value) of the pulse rate used for specifying the subject. Therefore, in this embodiment, a subject who has a pulse rate less than the threshold is not detected as a subject who may be abnormal or a subject to be watched.
- the abnormality detection unit 4 calculates the pulse rate of Mr. A among the calculation results (estimation results) of the pulse rate of the plurality of subjects (Mr. A, B, and C) output from the subject biological information extraction unit 3. After storing in the threshold value holding / updating unit 5 as the initial value of the threshold value, the calculation results of the pulse rate are sequentially compared.
- the abnormality detection unit 4 determines that the pulse rate of Mr. B is larger than the pulse rate of Mr. A by comparing the pulse rate of Mr. A with the pulse rate of B (see FIG. 4C). Mr. B's pulse rate is selected as a threshold value, and the threshold value of the threshold holding / updating unit 5 is updated to Mr. B's pulse rate. Next, when the pulse rate of Mr. C is greater than the pulse rate of Mr. B (see FIG. 4C), the abnormality detection unit 4 determines that Mr. C has a higher comparison than the pulse rate of Mr. B. Is selected as a threshold value, and the threshold value of the threshold holding / updating unit 5 is updated to Mr. C's pulse rate.
- the abnormality detection unit 4 uses the pulse rate of Mr. A as a threshold value by comparing the pulse rate of Mr. C with the pulse rate of Mr. A.
- the threshold value of the threshold holding / updating unit 5 is updated to Mr. A's pulse rate. If Mr. C's pulse rate is larger than Mr. A's pulse rate (see FIG. 4C), the threshold value of Mr. C is set as the threshold value.
- FIG. 4C is a diagram illustrating an example of a result of extracting the pulse rate for each subject. In the example shown in FIG. 4C, since Mr. C's pulse rate is higher than the pulse rate of the other two people (Mr. A and Mr. B), the abnormality detection unit 4 performs C corresponding to the pulse rate selected as the threshold value. Is detected as a subject having a possibility of abnormality or a subject requiring attention.
- the threshold holding update unit 5 is configured using, for example, RAM (Random Access Memory), semiconductor memory, HDD (Hard Disk Drive), or SSD (Solid State Drive), and the held pulse rate selected by the anomaly detection unit 4 Alternatively, a value indicating the updated pulse rate is stored as a threshold value.
- the abnormality notification output unit 6 outputs information related to a subject who may be abnormal or a subject requiring attention to the monitoring monitor 7 based on the detection result output from the abnormality detection unit 4.
- the abnormality notification output unit 6 displays information on a subject who may be abnormal or a subject requiring attention on the monitor monitor 7. Is displayed in an identifiable manner (see FIG. 5).
- FIG. 5 is a diagram illustrating a usage example of the biological information processing apparatus 10 of each embodiment or the biological information processing apparatus 10A illustrated in FIG.
- the abnormality notification output unit 6 is, for example, a subject having a possibility of abnormality or a subject requiring attention around the subject P1 on the monitoring monitor 7.
- a marker to be displayed for example, an exclamation mark or an exclamation mark
- FIG. 5 for example, when the biological information processing apparatus 10 of the present embodiment is installed in a store, a subject (shopper) in the store is imaged by a monitoring camera (camera CM). And the pulse rate of four test subjects P11, P12, P13, and P14 is estimated non-contactingly.
- a monitoring monitor 7 installed in a monitoring room (for example, a store's backyard), a marker indicating that there is a subject having a pulse rate or a possibility of abnormality or a subject requiring attention is displayed.
- the store manager MR for example, the store manager
- the abnormality notification output unit 6 is information on a subject who may be abnormal or a subject to be watched. May be output from a speaker.
- the person in charge MR of the store for example, the store manager
- the subject who is likely to be abnormal (shopper) or the subject who needs attention (shopper) is the store. It is possible to easily confirm that the user is in the room only with the sound from the speaker.
- the monitoring monitor 7 is a display configured using, for example, an LCD (Liquid Crystal Display) or an organic EL (Electroluminescence), displays image data captured by the camera CM, and further outputs an abnormality notification output unit as necessary. Based on the information about the subject in question output from 6, a marker indicating the subject who may be abnormal or the subject to be watched is displayed around the subject. For example, when the biological information processing apparatus 10 is installed in a store, the monitor 7 is preferably installed in a monitoring room (a store backyard).
- a monitoring room a store backyard
- the abnormality notification acquisition devices AP1,..., APk (k: an integer equal to or greater than 1) send information from the abnormality notification output unit 6 to a subject other than the monitoring monitor 7 for information regarding a subject who may be abnormal or subject to attention.
- Provided as an output destination for example, supports the monitoring work for the monitoring monitor 7 of the manager of the store in the monitoring room (for example, the store manager).
- the abnormality notification acquisition devices AP1 to APk are, for example, a wristband having a wireless communication function and a vibration function using Bluetooth (registered trademark), a head-mounted display having a wireless communication function, for example, a lighting device installed in a store or an audio output Any one or a combination of devices.
- the abnormality notification acquisition devices AP1 to APk are wristbands having a wireless communication function and a vibration function, and each clerk in the store wears each abnormality notification acquisition device AP1 to APk (k is an integer of 1 or more).
- Each of the abnormality notification acquisition devices AP1 to APk operates according to the output from the abnormality notification output unit 6, and the vibration function is activated to indicate that there is a subject who may be abnormal or needs attention. Can let you know.
- the store clerk closest to the monitoring room refers to the marker displayed on the monitoring monitor 7 to protect the corresponding subject or monitor whether the subject performs suspicious behavior. can do.
- the abnormality notification acquisition devices AP1 to APk are head mounted displays having a wireless communication function, and similarly, each clerk in the store wears each abnormality notification acquisition device AP1 to APk (k is an integer of 1 or more).
- the abnormality notification acquisition devices AP1 to APk have, on the head-mounted display, a subject who may have an abnormality or a subject who needs attention, according to the output from the abnormality notification output unit 6. To the store clerk. Thereby, it is not necessary to check the marker displayed on the monitor 7, and for example, the salesclerk closest to the subject is protected whether the subject is protected or the subject does not perform suspicious behavior. can do.
- the abnormality notification acquisition devices AP1 to APk are lighting devices (for example, LEDs: Light Emitting Diode) or audio output devices (for example, speakers) installed in the store
- the abnormality notification acquisition devices AP1 to APk are Depending on the output from the abnormality notification output unit 6, a subject other than the store manager or the store clerk (for example, a shopper) who is not likely to notice a change in the lighting pattern or sound, or a subject who may be abnormal or a subject of caution
- the clerk can be informed that there is a subject. Thereby, there is no need to check the marker displayed on the monitor 7, and for example, the salesclerk closest to the subject in question at the target position in the store corresponding to the lighting pattern or sound protects the subject. Or, it can be monitored whether the subject does not perform suspicious behavior.
- FIG. 6 is a flowchart for explaining an example of an operation procedure of the biological information processing apparatus 10 according to the first embodiment.
- the image input unit 1 continuously inputs (acquires) frames of image data in which a person is captured by the camera CM at a predetermined frame rate and outputs the frames to the subject region selection unit 2 (ST1). ).
- the subject area selection unit 2 includes an image in which individual subjects are included among a plurality of subjects (Mr. A, Mr. B, and Ms. C) in each frame (see FIG. 4A) of the image data input by the image input unit 1.
- the designated ranges RN1, RN2, and RN3 (see FIG. 4B) that are ranges are selected and cut out (ST2).
- the subject area selection unit 2 outputs the image data in each of the designated range RN1 of Mr. A, the designated range RN2 of Mr. B, and the designated range RN3 of Mr. C to the subject biological information extracting unit 3.
- the subject biometric information extraction unit 3 uses the designated ranges RN1, RN2, and RN3 based on the image data of the designated ranges RN1, RN2, and RN3 that are image ranges that include individual subjects output from the subject region selection unit 2.
- the pulse rate as an example of the biological information of subjects (Mr. A, Mr. B, Mr. C) corresponding to is estimated (ST3).
- the subject biological information extraction unit 3 outputs information on the pulse rate of each of Mr. A, Mr. B, and Mr. C, which is the estimation result, to the abnormality detection unit 4.
- the subject biometric information extraction unit 3 calculates the pulse rate of all subjects (Mr. A, Ms. B, Ms. C) (ST4, NO)
- the processes of step ST2 and step ST3 are repeated.
- the abnormality detection unit 4 determines that the subject bioinformation extraction unit 3
- the pulse rate calculation results (estimation results) of the plurality of subjects (Mr. A, Mr. B, Mr. C) that have been output are relatively compared (for example, a maximum value search) (ST5), A subject to be watched is detected, and the detection result is output to the abnormality notification output unit 6. Further, the abnormality detection unit 4 stores the threshold value obtained in the relative comparison in the threshold value holding update unit 5.
- the abnormality notification output unit 6 Based on the detection result output from the abnormality detection unit 4, the abnormality notification output unit 6, for example, provides information on the subject with the highest pulse rate among all subjects, a subject who may be abnormal, or a subject requiring attention. Is output to the monitor 7 as information about the subject to be (ST6).
- the abnormality notification output unit 6, for example, provides a marker (for example, an exclamation mark) indicating that the subject is a subject having a possibility of abnormality or a subject requiring attention around the subject P ⁇ b> 1 on the monitor monitor 7. Display.
- the biological information processing apparatus 10 uses the designated ranges RN1 and RN2 that are image ranges of individual subjects from image data obtained by imaging n (for example, Mr. A, Mr. B, and Mr. C) subjects. , RN3, and the pulse rate of the subject corresponding to the image range is estimated based on the image data of the designated ranges RN1, RN2, and RN3 that are the image ranges of the selected individual subjects.
- the biological information processing apparatus 10 detects a subject having a possibility of abnormality or a subject requiring attention according to a relative comparison of the estimated pulse rates of all n subjects, and the subject corresponding to the detection result Output information about.
- the pulse rate When a change in the surrounding environment (for example, changes in room temperature or temperature) occurs when estimating the biological information (for example, pulse rate) of the subject, the pulse rate also increases as the room temperature or temperature increases.
- the biological information processing apparatus 10 detects a subject whose pulse rate value is higher (conspicuous) than other subjects by relative comparison of estimation results of individual pulse rates for all subjects by the above-described processing. For this reason, the biological information processing apparatus 10 follows a change in the surrounding environment as compared to a technique that uses a certain threshold value when estimating the pulse rate, and a subject who is likely to be abnormal or needs attention from a plurality of subjects.
- the pulse rate of the subject to be detected can be accurately detected in real time.
- the biological information processing apparatus 10 compares the estimated pulse rate of n subjects in order, and determines the subject corresponding to the highest pulse rate as a subject having a possibility of abnormality or a subject requiring attention. As a result of the relative comparison, a conspicuous subject having a high pulse rate as compared with other subjects can be detected as a subject having a possibility of abnormality or a subject requiring attention.
- the biological information processing apparatus 10 can update and hold the highest pulse rate among the estimated n subject's pulse rates as a threshold value.
- the threshold as the maximum value updated at the previous estimation is used to follow the change in the surrounding environment, and the subject who may be abnormal or It is possible to detect a subject whose pulse rate is the subject of attention.
- FIG. 7 is a block diagram illustrating an example of an internal configuration of the biological information processing apparatus 10A according to the second embodiment.
- the same components as those of the biometric information processing apparatus 10 illustrated in FIG. 7 the same components as those of the biometric information processing apparatus 10 illustrated in FIG.
- a biological information processing apparatus 10A illustrated in FIG. 7 includes a camera CM, an image input unit 1, a subject area selection unit 2, a subject biological information extraction unit 3, an abnormality detection unit 4A, a threshold holding update unit 5A, The notification output unit 6 and the monitoring monitor 7 are included.
- the biological information processing apparatus 10A may be configured to further include abnormality notification acquisition devices AP1,..., APk, as in the first embodiment.
- abnormality notification acquisition devices AP1,..., APk are the same as those in the first embodiment, and thus description thereof is omitted.
- the abnormality detection unit 4A as an example of the detection unit relatively compares the calculation results (estimation results) of the pulse rates of a plurality of subjects (A, B, C) output from the subject biological information extraction unit 3. (For example, an average value is calculated), a subject who may be abnormal or a subject to be watched is detected, and the detection result is output to the abnormality notification output unit 6. Further, the abnormality detection unit 4A stores the threshold value (average value) obtained in the relative comparison in the threshold value holding update unit 5A.
- the threshold value referred to in the present embodiment is a subject who may be abnormal or a subject of caution among a plurality of subjects (for example, Mr. A, Mr. B, and Mr. C) whose pulse rate is to be estimated. It is a judgment value (average value) of the pulse rate used for specifying a subject. Therefore, in this embodiment, a subject who has a pulse rate less than the threshold is not detected as a subject who may be abnormal or a subject to be watched.
- the abnormality detection unit 4A calculates an average value of the calculation results (estimation results) of a plurality of subjects (A, B, C) output from the subject biometric information extraction unit 3, and maintains a threshold value.
- the initial value of the threshold value stored in advance in the updating unit 5A is updated to the calculated average value.
- the anomaly detection unit 4A compares the pulse rate of each of Mr. A, Mr. B, and Mr. C with a threshold value (average value). Since the pulse rate of Mr. A and the pulse rate of Mr. C are less than the average value (see FIG. 8C), Mr. A and Mr. C are excluded as subjects who may be abnormal or subjects who need attention. Furthermore, the abnormality detection unit 4A detects Mr. B whose pulse rate exceeds the average value shown in FIG. 8C as a subject having a possibility of abnormality or a subject to be watched.
- FIG. 8C is a diagram illustrating an example of a result of extracting the pulse rate for each subject. In the example shown in FIG. 8C, since the pulse rate of Mr.
- the abnormality detection unit 4A has B whose pulse rate exceeds the threshold value. Is detected as a subject having a possibility of abnormality or a subject requiring attention.
- description is abbreviate
- the threshold value holding / updating unit 5A is configured using, for example, a RAM, a semiconductor memory, an HDD, or an SSD, and stores the average value of the pulse rate of each subject calculated by the abnormality detection unit 4A as a threshold value.
- FIG. 9 is a flowchart illustrating an example of an operation procedure of the biological information processing apparatus 10 ⁇ / b> A according to the second embodiment.
- the same description as that of FIG. 6 is assigned the same step number, and the description is simplified or omitted, and different contents will be described.
- the abnormality detection unit 4A is the subject biological information extraction unit. 3 calculates the average value of the pulse rate calculation results (estimation results) of the plurality of subjects (Mr. A, Mr. B, Ms. C) output from 3 (ST5A), and the threshold value stored in advance in the threshold holding and updating unit 5A Is updated to the calculated average value (ST7).
- the abnormality detection unit 4A performs a relative comparison of each pulse rate of Mr. A, Mr. B, and Mr. C using the threshold value (average value) calculated in step ST5A, and the pulse rate of Mr. A and the pulse rate of Mr. C. Since it is less than the average value (see FIG. 8C), Mr. A and Mr. C are excluded as subjects who may be abnormal or subjects who need attention. Furthermore, the abnormality detection unit 4A detects Mr. B whose pulse rate exceeds the average value shown in FIG. 8C as a subject having a possibility of abnormality or a subject to be watched (ST6A), and notifies the abnormality of the detection result. Output to the output unit 6.
- the abnormality notification output unit 6 is based on the detection result output from the abnormality detection unit 4A, for example, among all the subjects, for example, at least one subject (e.g., B) whose pulse rate exceeds the average value that is a threshold value. (See FIG. 8C) is output to the monitoring monitor 7 as information on a subject who may be abnormal or a subject to be watched (ST6A).
- the biological information processing apparatus 10A calculates the average value of the estimated pulse rate of n persons (for example, Mr. A, Mr. B, and Mr. C), and is higher than the average value of the pulse rate. Less than n subjects corresponding to the pulse rate (for example, Mr. B, see FIG. 8C) are detected as subjects who may be abnormal or subjects who need attention. Therefore, the biological information processing apparatus 10 ⁇ / b> A treats a subject having a pulse rate higher than the average value of the pulse rate of all n subjects as estimation targets as a result of the relative comparison as a subject having a possibility of abnormality or a subject requiring attention. Can be detected as a subject.
- n persons for example, Mr. A, Mr. B, and Mr. C
- the biological information processing apparatus 10 ⁇ / b> A treats a subject having a pulse rate higher than the average value of the pulse rate of all n subjects as estimation targets as a result of the relative comparison as a subject having a possibility of abnormality or a subject requiring attention.
- the biological information processing apparatus 10A can update and hold the estimated average value of the pulse rate of n subjects as a threshold value, for example, compared to a technique using a certain threshold value, When periodically estimating the pulse rate, use the threshold value as the average value updated during the previous estimation to follow the changes in the surrounding environment, The subject whose pulse rate is the subject can be detected.
- the biological information processing apparatus can be used for an object (for example, a subject, a processing object.
- the object is a human without using a contact-type dedicated pulse rate measuring device, for example.
- the subject's pulse rate is estimated in a non-contact manner as an example of biometric information, and the estimated subject's pulse rate is calculated. Based on this, a subject who is likely to be abnormal or a subject who needs attention is detected and output.
- the biological information processing apparatus of each embodiment inputs image data obtained by imaging n (n: an integer of 2 or more) subjects.
- the image range of each subject is selected from the input image data, and the pulse rate of the subject corresponding to the image range is estimated based on the image data of the selected image range of each subject.
- the biological information processing apparatus detects a subject having a possibility of abnormality or a subject to be watched according to the relative comparison of the estimated pulse rates of n subjects, and corresponds to the detection result. Output information about the subject.
- the biological information processing apparatus of each embodiment is a data communication terminal such as a desktop or laptop PC (Personal Computer), a smartphone, a mobile phone, a tablet terminal, or a PDA (Personal Digital Assistant), and an example of an object It may have a camera function for imaging a person.
- a data communication terminal such as a desktop or laptop PC (Personal Computer), a smartphone, a mobile phone, a tablet terminal, or a PDA (Personal Digital Assistant), and an example of an object It may have a camera function for imaging a person.
- FIG. 10A is a block diagram illustrating an example of an internal configuration of the biological information processing apparatus 100 according to the third embodiment.
- FIG. 10B is a diagram schematically illustrating an example of an operation outline of the biological information processing apparatuses 100 and 100A (FIG. 16) according to the present embodiment and a fourth embodiment to be described later.
- a biological information processing apparatus 100 illustrated in FIG. 10A includes a camera CM, an image input unit 11, a skin color extraction unit 12, a plurality (for example, three) filter units F1, F2, and F3, and a plurality (for example, three).
- the configuration includes estimation module units M1, M2, and M3, a reliability determination unit 15, a selector 16, and a pulse output unit 17.
- the estimation module unit M1 is provided corresponding to the filter unit F1
- the estimation module unit M2 is provided corresponding to the filter unit F2
- the estimation module unit M3 is provided corresponding to the filter unit F3.
- the camera CM images a person who is the object at a predetermined frame rate (for example, 10 fps: frame per second) and outputs the image to the image input unit 11.
- the camera CM may not be included in the biological information processing apparatus 100, and may be connected to the biological information processing apparatus 100 via a network, for example.
- the network is the Internet or an intranet connected with a wireless network or a wired network as an interface.
- the wireless network is, for example, a wireless LAN (Local Area Network), a wireless WAN (Wide Area Network), 3G, LTE (Long Term Evolution), or WiGig (Wireless Gigabit).
- the wired network is, for example, IEEE 802.3 or Ethernet (ETHERNET (registered trademark)).
- the image input unit 11 continuously inputs (acquires) frames of image data in which a person is captured by the camera CM at a predetermined frame rate and outputs the frames to the skin color extraction unit 12.
- the image input unit 11 continuously receives frames of image data transmitted from the camera CM.
- the skin color extraction unit 12 as an example of the extraction unit outputs a signal (for example, a pixel value and a luminance value) of a predetermined range (for example, a skin color region FL1 shown in FIG. 10B) in each frame of the image data input by the image input unit 11.
- the number of frames is extracted using at least one period (period is known).
- the time-series signal extracted by the skin color extraction unit 12 is, for example, an original signal including a noise signal shown on the lower side of the human face shown in FIG. 10B.
- the skin color extracting unit 12 outputs the extracted signal within a predetermined range to each of the filter units F1 to F3.
- the filter units F1, F2, and F3 are configured using band pass filters using different filter coefficients, and the operations are common except that the filter coefficients are different. Therefore, the operation of the filter unit F1 is exemplified. explain.
- the filter unit F1 averages the signal (pixel value) within a predetermined range output from the skin color extraction unit 12, thereby removing a noise signal included when the camera CM captures an image, for example.
- the filter unit F1 uses a filter coefficient corresponding to the filter unit F1. Then, the frequency components other than the fundamental frequency of the pulse wave are cut.
- the output of the filter unit F1 is input to the estimation module unit M1.
- the filter coefficient of the filter unit F1 is set in advance so that, for example, a signal of 30 to 60 bpm passes through the filter unit F1.
- the filter coefficient of the filter unit F2 is set in advance so that, for example, a signal of 50 to 90 bpm passes through the filter unit F2.
- the filter coefficient of the filter unit F3 is set in advance so that, for example, a signal of 70 to 120 bpm passes through the filter unit F3.
- the pulse rate of an adult at rest is 60 to 80 bpm.
- the subject object, subject to biological information processing
- It is set to 30 to 120 bpm.
- the output signals of the filter units F1 to F3 approach sine waves (each of the multiband filters shown in FIG. 10B). Waveform reference). Therefore, it is possible to improve the estimation accuracy of the pulse wave using the outputs of the filter units F1 to F3.
- the estimation module unit M1 includes a waveform verification unit M1a and a pulse estimation unit M1b.
- the configuration of the estimation module units M1, M2, and M3 is the same, the operation of the estimation module unit M1 will be described as an example.
- the waveform verification unit M1a as an example of the verification unit receives at least one cycle of the output signal of the filter unit F1, and detects at least one input of the noise signal segment that could not be cut by the filter unit F1. It is determined whether or not there is a section of a signal (that is, a noise signal) that satisfies a predetermined condition (that is, Expression (2) and Expression (3)) among the output signals for the period.
- the waveform verification unit M1a excludes the section of the output signal determined to satisfy the predetermined condition as an invalid section (see FIG. 14).
- FIG. 14 is an explanatory diagram illustrating an operation example of the waveform verification unit in each of the estimation module units M1, M2, and M3.
- FIG. 14 shows, for example, time-series changes in the amplitude of the output signal for at least one cycle of the filter unit F1, and P1, P2, P3, P4, P5, P6, and P7 are, for example, the waveform verification unit M1a.
- MPA Analog Peak to peak amplitude
- MPA Peak to peak amplitude
- PPA Peak to Peak Amplitude
- ⁇ is a coefficient for defining the upper limit allowed by the amplitude of the output signal
- ⁇ is a coefficient for defining the lower limit
- the waveform verification unit M1a can exclude signals in which the amplitude of the output signal for at least one cycle of the filter unit F1 is extremely larger than a predetermined value (for example, zero). Further, according to Equation (3), the waveform verification unit M1a can exclude a signal in which the amplitude of the output signal for at least one cycle of the filter unit F1 is extremely smaller than a predetermined value (for example, zero).
- the waveform verification unit M1a determines that there is a signal section that satisfies a predetermined condition (that is, Formula (2), Formula (3))
- the waveform verification unit M1a outputs a signal for at least one cycle excluding the corresponding signal section. It outputs to the pulse estimation part M1b and the reliability determination part 15.
- the waveform verification unit M1a determines that there is no section of the signal that satisfies the predetermined condition (that is, the formulas (2) and (3)), the output signal for at least one cycle of the filter unit F1 is used as it is. It outputs to the pulse estimation part M1b and the reliability determination part 15.
- the processing of the waveform verification unit M1a uses the knowledge that the amplitude of a person's pulse wave changes slowly within a certain range, and a signal that satisfies Equations (2) and (3) may be disturbance noise. The nature will be high.
- a similar output signal is also input to the reliability determination unit 15 from waveform verification units (not shown) in the other estimation module units M2 and M3.
- the pulse estimation unit M1b as an example of the estimation unit is based on the output signal for at least one cycle of the filter unit F1 or the output signal for at least one cycle of the waveform verification unit M1a according to Equation (4). (Pulse rate) is calculated and output to the selector 16 (see FIG. 13).
- FIG. 13 is a diagram illustrating an example of a pulse calculation method in the biological information processing apparatus 100 according to the second embodiment.
- FIG. 11 is a diagram illustrating an example of a pulse calculation method using a conventional camera.
- FIG. 12 is an explanatory diagram of a problem in the pulse calculation method shown in FIG.
- the horizontal axis indicates time
- the vertical axis indicates a signal WV0 (that is, pixel value) for one cycle of green in the skin color area of the image captured by the camera, for example, 8 bits. In this case, 0 to 255 are indicated.
- WV0 that is, pixel value
- FIGS. 11 and 12 for example, using the calculation result of the difference between each sample value (that is, the difference from the immediately preceding sample value), the zero point at the next monotonic increase from the zero point passing time at the monotonic increase.
- the signal up to the point passing point is extracted as a signal WV0 for one cycle.
- the frame rate of the camera is 10 fps
- the frame count corresponding to the signal WV0 for one cycle that is, the number of frames of image data necessary to obtain the signal WV0 for one cycle.
- the pulse rate is 10 ⁇ 60 ⁇ 9 ⁇ 67 bpm.
- the horizontal axis represents time
- the vertical axis (not shown) represents the signal WV0 (that is, pixel value) for one green period of the flesh-colored region of the image captured by the camera.
- the frame count corresponding to the signal WV0 for one cycle becomes 8.
- the biological information processing apparatuses 100 and 100A can obtain the signal WV0 for one cycle without using the frame count corresponding to the signal WV0 for one cycle in the pulse estimation unit M1b.
- the pulse rate is calculated according to Equation (4) using the sum of the input intervals (for example, the input interval from the camera CM or the reception interval) of the frame of the image data input by the image input unit 11 so far.
- the horizontal axis indicates time
- the vertical axis indicates a signal extracted by the skin color extraction unit 12.
- the signal shown in FIG. 13 indicates a signal WV0 (that is, a pixel value) for one cycle of green in the flesh-colored area of the image captured by the camera CM.
- the pulse estimation unit M1b receives the signal WV0 for one cycle including the input interval t2 from the input of the second frame to the input of the next frame (the fourth frame shown in FIG. 13).
- the sum of the input intervals t0, t1, t2, t3, t4, t5, t6, and t7 of the frame of image data necessary to be obtained is used.
- the pulse estimation part M1b can calculate a suitable pulse rate similarly to the case where the frame drop does not occur in FIG. 11 (see Formula (4)).
- the reliability determination unit 15 as an example of the determination unit includes each estimation module unit M1 in which the sections of the output signals of the filter units F1, F2, and F3 that satisfy a predetermined condition (Equation (3) and Equation (4)) are excluded. , M2, M3, or at least one cycle output from the estimation module unit with the least invalid interval based on the output signal of at least one cycle from the filter unit F1, F2, F3 that does not satisfy the predetermined condition Determine the signal.
- the output signals of the filter units F1, F2, and F3 are directly output from the respective estimation module units M1, M2, and M3.
- the reliability determination unit 15 outputs a determination result (that is, information on any estimation module unit) to the selector 16.
- the reliability determination unit 15 assigns reliability “100” when there is no invalid section as the reliability, and the number of invalid sections that satisfy Equation (2), the number of invalid sections that satisfy Equation (3), or In accordance with the number of invalid sections satisfying both formula (2) and formula (3), a predetermined calculation method (for example, formula (2) and formula (3) based on which the number of invalid sections and invalid sections are determined). Reliability is given according to a method of multiplying by using a predetermined weighting factor (known) for each and subtracting from “100”.
- a predetermined calculation method for example, formula (2) and formula (3) based on which the number of invalid sections and invalid sections are determined.
- the selector 16 as an example of the output unit estimates the outputs from the estimation module units M1, M2, and M3 based on the determination result output from the reliability determination unit 15 (that is, the estimation module units M1, M2, and M3 respectively estimate).
- the information (information regarding the pulse rate) of the estimation module unit corresponding to the determination result of the reliability determination unit 15 is selected and output to the pulse output unit 17.
- the pulse rate estimated by the estimation module unit M1 is “70”
- the reliability determined by the reliability determination unit 15 is “60”
- the pulse estimated by the estimation module unit M2 The reliability determined by the reliability determination unit 15 when the number is “76”, and the reliability determined by the reliability determination unit 15 when the pulse rate estimated by the estimation module unit M3 is “78” Is “70”.
- the selector 16 outputs the pulse rate “76” at which “80” having the highest reliability is obtained to the pulse output unit 17.
- the pulse output unit 17 as an example of the output unit outputs information on the pulse rate selected by the selector 16.
- the pulse output unit 17 displays information on the pulse rate selected by the selector 16 on the display.
- the pulse output unit 17 outputs information on the pulse rate selected by the selector 16 from the speaker.
- FIG. 15 is a flowchart illustrating an example of an operation procedure of the biological information processing apparatus 100 according to the second embodiment.
- the image input unit 11 continuously inputs (acquires) frames of image data in which a person is captured by the camera CM at a predetermined frame rate and outputs the frames to the skin color extraction unit 12 (ST11).
- the skin color extraction unit 12 outputs a signal (for example, a pixel value and a luminance value) within a predetermined range (for example, the skin color region FL1 shown in FIG. 10B) in each frame of the image data input by the image input unit 11 for at least one cycle (cycle). Is extracted using the known number of frames (ST12).
- the skin color extracting unit 12 outputs the extracted signal within a predetermined range to each of the filter units F1 to F3.
- step ST13 filter coefficients in the filter units F1 to F3 are selected (ST13).
- the filter coefficient is set in advance in the filter unit F1 so that, for example, a signal of 30 to 60 bpm passes through the filter unit F1.
- a filter coefficient is set in advance so that a signal of 50 to 90 bpm passes through the filter unit F2.
- filter coefficients are set in advance in the filter unit F3 so that, for example, a signal of 70 to 120 bpm passes through the filter unit F3.
- the processing from step ST13 to step ST17 is shown to be time series. However, in the biological information processing apparatus 100, these processes are performed in parallel. It has been broken.
- the filter unit F1 averages the signals (pixel values) in a predetermined range output from the skin color extracting unit 12, thereby removing, for example, a noise signal included during imaging by the camera CM (ST14). Moreover, the filter part F1 cuts frequency components other than the fundamental frequency of a pulse wave using the filter coefficient corresponding to the filter part F1 as another example of a filter process (ST14). The output of the filter unit F1 is input to the estimation module unit M1.
- the waveform verification unit M1a based on the output signal for at least one cycle of the filter unit F1, detects the section of the noise signal that could not be cut by the filter unit F1, and outputs the input output signal for at least one cycle. Of these, the waveform is verified by determining whether or not there is a signal section that satisfies a predetermined condition (that is, Formula (2), Formula (3)) (ST15).
- a predetermined condition that is, Formula (2), Formula (3)
- the waveform verification unit M1a excludes a section of the output signal determined to satisfy the predetermined condition as an invalid section, and at least one period of the signal excluding the section of the corresponding signal is determined as the pulse estimation unit M1b and the reliability determination. To the unit 15. On the other hand, when the waveform verification unit M1a determines that there is no section of the signal that satisfies the predetermined condition (that is, the formulas (2) and (3)), the output signal for at least one cycle of the filter unit F1 is used as it is. It outputs to the pulse estimation part M1b and the reliability determination part 15.
- the pulse estimation unit M1b calculates a human pulse rate (Pulse rate) according to Equation (4) based on the output signal for at least one cycle of the filter unit F1 or the output signal for at least one cycle of the waveform verification unit M1a. And output to the selector 16 (ST16).
- Pulse rate a human pulse rate
- step ST17 when the respective processes are not completed in the filter units F1 to F3 and the estimation module units M1 to M3 (NO in ST17), the steps in the filter units F1 to F3 and the estimation module units M1 to M3 are performed. Until the processing from ST13 to ST17 ends, the operation of the biological information processing apparatus 100 is in a standby state.
- the reliability determination unit 15 performs the following processing in ST18. That is, the output signals for at least one period from the estimation module units M1, M2, and M3 from which the sections of the output signals of the filter units F1, F2, and F3 that satisfy the predetermined condition are excluded, or the filter units F1 and F1 that do not satisfy the predetermined condition Based on the output signals of F2 and F3, an output signal for at least one cycle from the estimation module unit having the smallest invalid section is determined.
- the predetermined conditions are, for example, Equation (3) and Equation (4).
- the reliability determination unit 15 outputs a determination result (that is, information on any estimation module unit) to the selector 16.
- the selector 16 Based on the determination result output from the reliability determination unit 15, the selector 16 outputs from the estimation module units M1, M2, and M3 (that is, information on the pulse rate estimated in the estimation module units M1, M2, and M3). Among them, the output (information on the pulse rate) of the estimation module unit corresponding to the determination result of the reliability determination unit 15 is selected and output to the pulse output unit 17 (ST19). The pulse output unit 17 outputs information on the pulse rate selected by the selector 16 (ST19).
- the biological information processing apparatus 100 extracts the signal of the predetermined range (for example, human skin color region FL1) of the input image data, and extracts it using different coefficients (for example, filter coefficients).
- signals corresponding to different coefficients are output from the plurality of filter units F1 to F3, respectively.
- the biological information processing apparatus 100 corresponds to at least one cycle output signal and at least one cycle output signal of the corresponding filter unit in the estimation module units M1 to M3 provided corresponding to the filter units F1 to F3, respectively.
- the pulse value of the person is estimated based on the input interval of the frame of the image data to be performed. Then, according to the output signals of the plurality of filter units F1 to F3, any one of the estimated plurality of pulse values is selected and output.
- the biological information processing apparatus 100 performs image processing (for example, noise removal processing using a predetermined filter coefficient) of the user's skin color area included in the image data even when the frame of the image data captured by the user drops.
- image processing for example, noise removal processing using a predetermined filter coefficient
- the pulse rate of the user is estimated using the input intervals of a plurality of frames of image data corresponding to the signal of at least one cycle obtained by (1) and the property that blood absorbs light in a specific wavelength region. Therefore, the biological information processing apparatus 100 can estimate the user's pulse rate with high accuracy in a non-contact manner without using, for example, a contact-type dedicated pulse rate measuring device.
- the biological information processing apparatus 100 excludes a section of the output signal of the filter unit that satisfies the predetermined condition as an invalid section in the estimation module unit corresponding to each filter unit, and outputs an output signal of at least one cycle from which the invalid section is excluded And a pulse value of the person is estimated based on the input interval of the frame of the image data corresponding to the output signal of at least one cycle.
- the biological information processing apparatus 100 may exclude a section of the output signal of the filter unit that satisfies the predetermined condition (for example, a section of an extremely large signal or extremely small signal compared to a predetermined value) as an invalid section. it can. Therefore, for example, the influence of disturbance noise can be suppressed, and the pulse value of a person is estimated with high accuracy using the input interval of the frame of the image data corresponding to the output signal for at least one period from which the invalid interval is excluded. can do.
- the predetermined condition for example, a section of an extremely large signal or extremely small signal compared to a predetermined value
- the biological information processing apparatus 100 outputs an output signal for at least one cycle having the smallest number of invalid intervals based on the output signal for at least one cycle in which the section of the output signal of each filter unit that satisfies the predetermined condition is excluded. A determination is made, and the estimated pulse value of the person corresponding to the determined output signal for at least one period is selected.
- the biological information processing apparatus 100 can select the pulse value of the person using the output signal for at least one cycle with the least number of invalid sections (in other words, the least affected by disturbance noise).
- FIG. 16 is a block diagram illustrating an example of an internal configuration of the biological information processing apparatus 100A according to the fourth embodiment.
- FIG. 17 is an explanatory diagram of a problem when the peak of the observed waveform for one period is off the sampling position.
- the same components as those of the biological information processing apparatus 100 illustrated in FIG. 10A are denoted by the same reference numerals, and description thereof will be simplified or omitted, and different contents will be described.
- a biological information processing apparatus 100A illustrated in FIG. 16 includes a camera CM, an image input unit 11, a skin color extraction unit 12, a plurality of (for example, three) filter units F1, F2, and F3, and a plurality (for example, three).
- the configuration includes estimation module units M1R, M2R, and M3R, a reliability determination unit 15, a selector 16, and a pulse output unit 17.
- the estimation module unit M1R is provided corresponding to the filter unit F1
- the estimation module unit M2R is provided corresponding to the filter unit F2
- the estimation module unit M3R is provided corresponding to the filter unit F3.
- the estimation module unit M1R includes an interpolation unit M1c, a waveform verification unit M1a, and a pulse estimation unit M1b.
- the interpolation unit M1c receives at least one cycle of the output signal of the filter unit F1, and based on the output signal of at least one cycle of the filter unit F1, the output signal of at least one cycle of the filter unit F1 has a predetermined value ( For example, the difference (time difference) of the position (time) that is zero) is interpolated (for example, linear interpolation), and output signals for at least one cycle after the interpolation are output to the waveform verification unit M1a and the pulse estimation unit M1b.
- the waveform verification unit M1a and the pulse estimation unit M1b use the output of the interpolation unit M1c.
- the configuration of the estimation module units M1R, M2R, and M3R is the same, the operation of the estimation module unit M1R will be described as an example.
- the horizontal axis indicates time
- the vertical axis indicates the signal WV0 extracted by the skin color extraction unit 12.
- the signal shown in FIG. 17 represents a signal WV0 (that is, a pixel value) for one green period of the flesh-color area FL1 of an image captured by the camera CM, and is 0 to 255 in the case of 8 bits, for example. Indicated by
- S1 to S8 are sample values AD-converted by the ADC included in the waveform verification unit M1a, for example, and T1 to T8 are sampling times AD-converted by the ADC.
- one cycle of the signal WV0 shown in FIG. 17 is the time between the peak of the signal WV0 and the next peak (see the line segment AS1), but the peak of the signal WV0 is the sampling position (at the sampling time). If it is out of the sample value, an error will occur.
- one cycle of the signal WV0 shown in FIG. 17 is a time (line segment NT1) between the sampling time T2 of the sample value S2 that is the peak value and the sampling time T7 of the sample value S7 that is the next peak value. Therefore, an error corresponding to the difference between the line segment AS1 and the line segment NT1 occurs, and an error occurs in the signals input to the filter units F1 to F3. The estimation accuracy of will deteriorate.
- each of the estimation module units M1R to M3R is input to each of the estimation module units M1R to M3R in order to more accurately obtain the PWI (pulse wave interval) shown in Equation (4).
- the signals WV0 for one cycle are derived by interpolating the signals (that is, the output signals of the filter units F1 to F3) (see FIGS. 18, 19, and 20).
- FIG. 18 is an explanatory diagram illustrating a first example of the operation of the interpolation unit M1c of each estimation module unit.
- the horizontal axis indicates time
- the vertical axis indicates the signal WV1 extracted by the skin color extraction unit 12.
- the signal shown in FIG. 18 indicates a signal WV1 (that is, a pixel value) for one green period of the flesh-color area FL1 of the image captured by the camera CM, and is 0 to 255 in the case of 8 bits, for example. Indicated by
- the interpolation unit M1c for example, at least two positions (time) on the horizontal axis where the signal WV1 when monotonically increasing or monotonically decreasing passes a predetermined value (eg, zero).
- the difference (time difference) is interpolated (that is, linear interpolation processing), and the signal WV1 for at least one period is estimated.
- the line segment AS1 and the line segment NT1 shown in FIG. 18 are the same as the line segment AS1 and the line segment NT1 shown in FIG. 17, the description thereof is omitted, and the same applies to FIGS.
- the lengths of the line segments AS1 and NT1 are compared with the lengths of the line segments PR1, PR2, or PR3.
- the interpolation unit M1c estimates, for example, the difference (see the line segment PR1) between the position where the signal WV1 when monotonically increasing passes zero and the position where the signal WV1 when monotonically increasing next passes zero. To do. Therefore, a position (line segment) where a line segment passing through at least two positions (point A0 (0, a0) and point A1 (1, a1)) of the first monotonically increasing signal WV1 passes zero. (The left end of PR1) and a position where a straight line passing through at least two positions (point B0 (0, b0) and point B1 (1, b1)) of the second monotonically increasing signal WV1 passes zero ( Right end of line segment PR1).
- a0, a1, b0 and b1 are positions on the signal WV1 and sample values.
- description is made using points on the signal WV1 at the time of monotonic increase, but the same applies to points on the signal WV1 at the time of monotonic decrease.
- the distance p0 between the position on the horizontal axis of the point A0 and the left end of the line segment PR1 is expressed by Equation (5) by linear interpolation of the interpolation unit M1c.
- the distance p1 between the position on the horizontal axis of the point B0 and the right end of the line segment PR1 is expressed by Equation (6) by linear interpolation of the interpolation unit M1c.
- the interpolation unit M1c can calculate the length of the line segment PR1, and can reduce the error from the line segment AS1 compared to the line segment NT1 having a large error from the line segment AS1.
- the estimation accuracy of the pulse rate can be improved.
- FIG. 19 is an explanatory diagram illustrating a second example of the operation of the interpolation unit M1c of each estimation module unit.
- the horizontal axis represents time
- the vertical axis (not shown) represents the signal WV1 extracted by the skin color extraction unit 12.
- the signal shown in FIG. 19 indicates a signal WV1 (that is, a pixel value) for one green period of the flesh-color area FL1 of an image captured by the camera CM. Indicated by
- the interpolation unit M1c for example, inverts the straight line passing through two points on the signal WV1 at the time of monotonic increase or monotonic decrease where the first peak is obtained, and the slope of the straight line. The intersection of the slope and the straight line passing through one point on the signal WV1 when monotonously decreasing or monotonically increasing is obtained. Further, the interpolation unit M1c similarly applies a straight line passing through two points on the signal WV1 at the time of monotonic increase or decrease when the next peak is obtained, a slope obtained by inverting the slope of the straight line, and a monotonic decrease or monotonic. An intersection point with a straight line passing through one point on the signal WV1 at the time of increase is obtained. The interpolation unit M1c performs interpolation (that is, equiangular straight line fitting) using these two intersections, and estimates the signal WV1 for at least one period.
- the interpolation unit M1c for example, includes a straight line L0 passing through two points (point A0 (0, a0) and point A1 (1, a1)) on the signal WV1 when monotonically increasing, and the straight line L0.
- the intersection of the slope obtained by inverting the slope and the straight line L1 passing through one point (point A2 (2, a2)) on the signal WV1 when monotonously decreasing is obtained.
- the interpolation unit M1c for example, a straight line N1 passing through two points (point B1 (1, b1) and point B2 (2, b2)) on the signal WV1 when monotonously decreasing, and the straight line N1
- a0, a1, a2, b0, b1, b2 are positions on the signal WV1 and sample values.
- the straight lines L0 and N0 are explained using points on the signal WV1 when monotonically increasing and the straight lines L1 and N1 are monotonically decreasing. But the same is true.
- the line segment PR2 indicates the difference between the position on the horizontal axis of the intersection of the straight line L0 and the straight line L1 and the position on the horizontal axis of the intersection of the straight line N0 and the straight line N1.
- the distance p0 between the position on the horizontal axis of the point A1 and the position on the horizontal axis of the intersection of the straight line L0 and the straight line L1 is expressed by the equation (7) by the equiangular straight line fitting of the interpolation unit M1c.
- the interpolation unit M1c can calculate the length of the line segment PR2, and can reduce the error from the line segment AS1 compared to the line segment NT1 having a large error from the line segment AS1. The estimation accuracy of the pulse rate can be improved.
- FIG. 20 is an explanatory diagram illustrating a third example of the operation of the interpolation unit M1c of each estimation module unit.
- the horizontal axis represents time
- the vertical axis (not shown) represents the signal WV1 extracted by the skin color extraction unit 12.
- the signal shown in FIG. 20 indicates the signal WV1 (that is, the pixel value) for one cycle of green in the flesh color region FL1 of the image captured by the camera CM.
- the signal is 0 to 255. Indicated by
- the interpolation unit M1c has three points on the signal WV1 where the vertex of the quadratic curve passing through the three points on the signal WV1 from which the first peak is obtained and the next peak is obtained. Is interpolated (ie, parabolic fitting) using a vertex of a quadratic curve passing through, and the signal WV1 for at least one period is estimated.
- the interpolation unit M1c uses three points (point A0 (0, a0), point A1 (1, a1), and point A2 (2, a2)) on the signal WV1 from which the first peak is obtained.
- a0, a1, a2, b0, b1, b2 are positions on the signal WV1 and sample values.
- the line segment PR3 indicates the difference between the position on the horizontal axis of the vertex of the quadratic curve R0 and the position on the horizontal axis of the vertex of the quadratic curve R1.
- a distance p0 between the position on the horizontal axis of the point A1 and the position on the horizontal axis of the vertex of the quadratic curve R0 is expressed by Equation (9) by parabolic fitting of the interpolation unit M1c.
- the distance p1 between the position on the horizontal axis of the apex of the quadratic curve R1 and the position on the horizontal axis of the point B1 is expressed by Expression (10) by equiangular straight line fitting by the interpolation unit M1c.
- the interpolation unit M1c can calculate the length of the line segment PR3, and can reduce the error with the line segment AS1 compared to the line segment NT1 with a large error with the line segment AS1. The estimation accuracy of the pulse rate can be improved.
- FIG. 21 is a flowchart illustrating an example of an operation procedure of the biological information processing apparatus 100A according to the fourth embodiment.
- the content different from the operation procedure of the biological information processing apparatus 100 of the third embodiment will be described, and the same operation will be given the same step number and the description will be simplified or omitted.
- the interpolation unit M1c receives at least one cycle of the output signal of the filter unit F1, and based on the output signal of at least one cycle of the filter unit F1, at least one of the filter units F1. Interpolate (eg, linear interpolation) the difference (time difference) between the positions (time) at which the output signal for the period becomes a predetermined value (for example, zero), and use the waveform verification unit M1a and the pulse estimation for the output signal for at least one period after the interpolation.
- the data is output to the part M1b (ST20).
- the waveform verification unit M1a and the pulse estimation unit M1b use the output of the interpolation unit M1c.
- the waveform verification unit M1a receives at least one cycle of the output signal from the interpolation unit M1c, and detects at least one cycle of the input signal in order to detect a section of the noise signal that could not be cut by the filter unit F1. It is determined whether there is a section of a signal (that is, a noise signal) that satisfies a predetermined condition (that is, Expression (2), Expression (3)) among the output signals (ST15).
- the pulse estimation unit M1b is based on the output signal for at least one cycle from the interpolation unit M1c or the output signal for at least one cycle from the waveform verification unit M1a, according to Equation (4), ) Is calculated and output to the selector 16 (ST16).
- the details of the processing in step ST15 and step ST16 are the same as those in the second embodiment, and thus description thereof is omitted. Since the process after step ST16 is the same as that of FIG. 15, description is abbreviate
- the biological information processing apparatus 100A is based on the output signals for at least one cycle of the filter units F1, F2, and F3 corresponding to the estimation module units M1R, M2R, and M3R.
- the time difference at which the output signal for at least one cycle of F2 and F3 becomes a predetermined value (for example, zero) is interpolated, and the output signal for at least one cycle of the filter unit after interpolation is output.
- the biological information processing apparatus 100A can obtain an output signal for at least one cycle of the filter units F1, F2, and F3 with high accuracy. Therefore, even when the peak of the output signal for one cycle is out of the sampling position, the time difference between the peaks of the accurate output signal to be originally obtained and the time difference between the peaks of the output signal of the filter unit actually obtained are Can be minimized. Therefore, a more accurate person's pulse value can be estimated.
- the biological information processing apparatus includes an image input unit that inputs image data obtained by capturing a person, an extraction unit, a plurality of filter units, and a plurality of estimation units. And an output unit.
- the extraction unit extracts a signal in a predetermined range of the image data input by the image input unit.
- Each of the plurality of filter units outputs a signal corresponding to a different coefficient among signals in a predetermined range extracted by the extraction unit, using different coefficients.
- Each of the plurality of estimation units is provided corresponding to each of the plurality of filter units, based on the output of one cycle of the corresponding filter unit and the input interval of the frame of image data corresponding to the output, the above Estimate a person's pulse value.
- the output unit selects and outputs one of a plurality of pulse values estimated by the plurality of estimation units according to the outputs of the plurality of filter units.
- the biological information processing method includes the following steps. Inputting image data obtained by imaging a person; Extracting a signal within a predetermined range of the input image data; Outputting each signal corresponding to a different coefficient among the extracted signals in the predetermined range by using a plurality of filter units having different coefficients. Estimating the pulse value of the person based on the output of one period of each filter unit and the input interval of frames of image data corresponding to the output. A step of selecting and outputting one of the estimated plurality of pulse values according to the outputs of the plurality of filter units.
- the user's pulse rate is accurately determined without contact by image processing of the user's skin color area included in the acquired image data. Can be estimated.
- the biological information processing apparatus captures an image of a target (a processing target, such as a person, which may be another animal, and so on) without using, for example, a contact-type dedicated pulse rate measuring device.
- a target a processing target, such as a person, which may be another animal, and so on
- the human pulse rate is estimated in a non-contact manner using the obtained image data.
- the biological information processing apparatus of each embodiment inputs a frame of image data obtained by capturing a person and extracts a signal (pixel value) in a predetermined range (for example, a skin color region) of the input image data. Then, each filter unit outputs each signal corresponding to a different coefficient among the extracted signals in the predetermined range using different filter coefficients.
- the biological information processing apparatus estimates a human pulse value corresponding to each filter unit based on an output signal of at least one cycle of each filter unit and an input interval of a frame of image data corresponding to the output signal.
- the module unit estimates and outputs one of a plurality of pulse values estimated by the plurality of estimation module units according to the output signal of each filter unit.
- the biological information processing apparatus of each embodiment is a data communication terminal such as a desktop or laptop PC (Personal Computer), a smartphone, a mobile phone, a tablet terminal, or a PDA (Personal Digital Assistant), and an example of an object It may have a camera function for imaging a person.
- a data communication terminal such as a desktop or laptop PC (Personal Computer), a smartphone, a mobile phone, a tablet terminal, or a PDA (Personal Digital Assistant), and an example of an object It may have a camera function for imaging a person.
- the present invention follows the change in the surrounding environment, and calculates the pulse rate of a subject who may be abnormal or a subject to be watched out of a plurality of subjects in real time.
- it is useful as a biological information processing apparatus and a biological information processing method for accurate detection.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
生体情報処理装置は、画像データを入力する画像入力部と、選択部と、推定部と、検知部と、出力部とを有する。選択部は、入力された画像データから、処理対象の画像範囲を選択する。推定部は、選択された処理対象の画像範囲の画像データを基に、画像範囲に対応する処理対象の脈拍数を推定する。検知部は、推定された処理対象の脈拍数の相対比較に応じて、異常の可能性のある対象又は要注意の対象を検知する。出力部は、検知された異常の可能性のある対象又は要注意の対象に関する情報を出力する。
Description
本発明は、人の生体情報を監視する生体情報処理装置及び生体情報処理方法に関する。
人の生体情報を推定するバイタルセンシング技術は、例えば在宅医療や健康管理の分野にとどまらず、運転中の眠気検知、ゲーム中のユーザの心理状態の取得、監視システムでの異常者検知等、多岐にわたる分野への応用が期待されている。現在、生体情報をセンシングする機器は、人の身体に接触させて使うタイプが主流であり、ユーザ自身が装着する必要があるため、応用範囲が限定されてしまう。
このため、非接触でセンシングするための取り組みの一つとして、カメラの撮像により得られた画像から生体情報の一例としての脈拍数を推定する技術が提案されている。この技術を用いることで、ユーザに自ら意識させることなく生体情報をセンシングすることができ、応用範囲の拡大が期待できる。例えば、監視カメラで撮影しながら、ストレスにより脈拍変動が大きくなった不審人物を検知することが可能である。また、1つのカメラに写る複数人を同時にセンシング可能であることも大きなメリットである。接触型と比べ、ユーザ毎に対して個別の機器を用意する必要がなく、体に取り付ける煩わしさも低減できる。
ここで、人の生体状態を観察(監視)する先行技術として、例えば特許文献1に示す生体状態観察システムが知られている。この生体状態観察システムは、時間的に連続した複数のフレームで構成される少なくとも1人の被観察者が含まれる画像を入力し、画像内の所定の領域を検出して所定の領域の情報を出力し、画像内の所定の領域から、画像内に含まれる被観察者の生体情報を検出し、生体の状態の異常の判定に用いられる所定の生体パラメータと生体情報のデータ又はそのデータの変化とを比較し、被観察者の生体状態に発生した異常を検出する。これにより、生体状態観察システムは、被観察者に違和感や不快感を与えることなく、被観察者の生体情報の観察及び生体状態の異常の検出を行うことができる。特許文献1では、比較の際に用いられる生体パラメータは所定の固定値又はインターネットを介して更新される値であり、被観察者の生体情報を観察する際には、この生体パラメータの値を用いて異常のある被観察者(被験者、生体情報処理対象)を決定する。
また、カメラを用いた脈拍推定技術に関する先行技術として、例えば特許文献2に示す脈拍計測装置が知られている。この脈拍計測装置は、撮像された入力画像の特徴量を算出し、算出された特徴量から脈波のピーク間隔を検出し、検出された脈波のピーク間隔から脈拍数を算出する。また、脈拍計測装置は、算出された脈拍数のうち、有効なピーク間隔の割合を示す採用率に基づいた有効なピーク間隔を有する脈拍数と真の脈拍数との推定最大誤差が規定値以下となるように、単位時間あたりに撮像されるフレーム数を示すフレームレートを制御する。
本開示は、周辺環境の変化が生じた場合でも、周辺環境の変化に追従して、複数の被験者(処理対象)の中から異常の可能性のある被験者又は要注意の対象となる被験者の脈拍数を、リアルタイムかつ正確に検知することを目的とする。
本開示による生体情報処理装置は、画像データを入力する画像入力部と、選択部と、推定部と、検知部と、出力部とを有する。選択部は、画像入力部により入力された画像データから、処理対象の画像範囲を選択する。推定部は、選択された処理対象の画像範囲の画像データを基に、画像範囲に対応する処理対象の脈拍数を推定する。検知部は、推定された処理対象の脈拍数の相対比較に応じて、異常の可能性のある対象又は要注意の対象となる対象を検知する。出力部は、検知された異常の可能性のある対象又は要注意の対象に関する情報を出力する。
また、本開示は、上記生体情報処理装置における生体情報処理方法である。この方法は、以下のステップを有する。画像データを入力するステップ。入力された画像データから、処理対象の画像範囲を選択するステップ。選択された処理対象の画像範囲の画像データを基に、同じ画像範囲に対応する処理対象の脈拍数を推定するステップ。推定された処理対象の脈拍数の相対比較に応じて、異常の可能性のある対象又は要注意の対象を検知するステップ。検知された異常の可能性のある対象又は要注意の対象に関する情報を出力するステップ。
本開示によれば、周辺環境の変化が生じた場合でも、周辺環境の変化に追従して、複数の被験者の中から異常の可能性のある被験者又は要注意の対象となる被験者の脈拍数を、リアルタイムかつ正確に検知することができる。
先ず、各実施形態の生体情報処理装置における脈拍数の推定原理について、図1A及び図1Bを参照して説明する。図1Aは、人の心臓の収縮と光の血管における吸収量との関係の一例を模式的に示す図である。図1Bは、光の強度の時系列変化の一例を示す図である。
図1Aでは、人の心臓の収縮(systole)に同期して血管の容積が変化することが示されている。心臓の収縮に応じて血管の容積が増大すると、光(例えば図2に示す特定波長域の光)の吸収量が増大するので、光の強度(Light intensity)も減少する(図1B参照)。なお、以下の説明において、脈波とは、血液が心臓の収縮により大動脈に押し出された時に発生した血管内の圧力変化が末梢方向に伝わっていく時の波の動きを示す。
図1Bでは、横軸は時間を示し、縦軸は光の吸収量の変化によって得られた信号(光電脈波)の強度を示す。つまり、図1Bにおいて、ピークが現れている時は光の吸収量が少ないので血管の容積が増大していない状態になっており、極小値が現れている時には光の吸収量が多いので血管の容積が増大している状態となっている。なお、心臓と末梢部分との距離によって完全には同期しておらず多少の遅延は見られるが、心臓の収縮と光電脈波の強度の変化とは基本的に同期して変動している。
図2は、ヘモグロビンにおける光の波長毎の吸収率の一例を示す図である。図2では、例えばヘモグロビン(血液)は400nmの波長(つまり緑色)を吸収し易いことが示されている。なお、以下の各実施形態では緑色の光の成分の吸収率が高いことを利用して説明するが、他には例えば赤色の光(例えば1000nmを超える波長)の成分の反射率が高いことを利用して説明してもよい。
(第1の実施形態)
以下、第1の実施形態の生体情報処理装置の構成について、図3を参照して説明する。図3は、第1の実施形態の生体情報処理装置10の内部構成の一例を示すブロック図である。図3に示す生体情報処理装置10は、カメラCMと、画像入力部1と、被験者領域選択部2(領域選択部)と、被験者生体情報抽出部3(抽出部)と、異常検知部4と、閾値保持更新部5と、異常通知出力部6と、監視モニタ7とを含む構成である。なお、生体情報処理装置10は、異常通知取得装置AP1,…,APk(後述参照)を更に含む構成としてもよい。
以下、第1の実施形態の生体情報処理装置の構成について、図3を参照して説明する。図3は、第1の実施形態の生体情報処理装置10の内部構成の一例を示すブロック図である。図3に示す生体情報処理装置10は、カメラCMと、画像入力部1と、被験者領域選択部2(領域選択部)と、被験者生体情報抽出部3(抽出部)と、異常検知部4と、閾値保持更新部5と、異常通知出力部6と、監視モニタ7とを含む構成である。なお、生体情報処理装置10は、異常通知取得装置AP1,…,APk(後述参照)を更に含む構成としてもよい。
カメラCMは、所定のフレームレート(例えば10fps:frame per second)で推定対象物であるn人の被験者を撮像して画像入力部1に出力する。なお、カメラCMは生体情報処理装置10の内部に含まれなくてもよく、例えば生体情報処理装置10とはネットワークを介して接続されてもよい。ネットワークは、無線ネットワーク又は有線ネットワークをインターフェースとして接続されるインターネット又はイントラネットである。無線ネットワークは、例えば無線LAN(Local Area Network)、無線WAN(Wide Area Network)、3G、LTE(Long Term Evolution)又はWiGig(Wireless Gigabit)である。有線ネットワークは、例えばIEEE802.3又はイーサネット(ETHERNET(登録商標))である。
画像入力部1は、所定のフレームレートでカメラCMにより人が撮像された画像データのフレームをカメラCMから連続的に入力(取得)して被験者領域選択部2に出力する。なお、カメラCMと生体情報処理装置10とが別体で構成されている場合には、画像入力部1は、カメラCMから送信された画像データのフレームを連続的に受信する。
選択部の一例としての被験者領域選択部2は、画像入力部1により入力された画像データの各フレーム(図4A参照)内において、複数の被験者(例えばAさん,Bさん,Cさんの3人とする。以下同様。)のうち個々の被験者が含まれる画像範囲である指定範囲RN1,RN2,RN3(図4B参照)を選択して切り出し、Aさんの指定範囲RN1,Bさんの指定範囲RN2,Cさんの指定範囲RN3における各画像データを被験者生体情報抽出部3に出力する。
図4Aは、カメラCMから入力された複数の被験者の撮像画像IM1の一例を示す図である。図4Bは、被験者領域選択部2により切り出された被験者毎の指定範囲の一例を示す図である。例えば複数の被験者としてAさん,Bさん,Cさんの3人がカメラCMにより撮像された場合には、被験者領域選択部2は、例えば公知技術である顔検出処理を撮像画像IM1のデータに対して行うことで、Aさんの指定範囲RN1,Bさんの指定範囲RN2,Cさんの指定範囲RN3を個々に検出し、検出結果(Aさんの指定範囲RN1,Bさんの指定範囲RN2,Cさんの指定範囲RN3における各画像データ)を選択して切り出す。
推定部の一例としての被験者生体情報抽出部3は、被験者領域選択部2から出力された個々の被験者が含まれる画像範囲である指定範囲RN1,RN2,RN3のそれぞれの画像データを基に、指定範囲RN1,RN2,RN3のそれぞれに対応する被験者(Aさん,Bさん,Cさん)の生体情報の一例としての脈拍数を推定する。被験者生体情報抽出部3は、推定結果であるAさん,Bさん,Cさんのそれぞれの脈拍数に関する情報を異常検知部4に出力する。被験者生体情報抽出部3における脈拍数の推定方法は公知技術であるため、詳細な説明は割愛する。
脈拍数の推定方法の一例として、被験者生体情報抽出部3は、被験者領域選択部2により切り出された指定範囲RN1に対応するAさんの画像データの複数のフレーム内における肌色部分の画素値の少なくとも1周期分の信号を基に、1周期に相当する時間(脈波間隔、PWI:Pulse Wave Interval)を抽出し、この抽出したPWIと数式(1)とを用いて、Aさんの脈拍数(Pulse Rate)を算定する。同様に、被験者生体情報抽出部3は、被験者領域選択部2により切り出された指定範囲RN2,RN3に対応するBさん,Cさんの各画像データの複数のフレーム内における肌色部分の画素値の少なくとも1周期分の信号を基に、1周期に相当する時間(脈波間隔、PWI)を抽出し、この抽出したPWIと数式(1)とを用いて、Bさん,Cさんの脈拍数をそれぞれ算定する。
検知部の一例としての異常検知部4は、被験者生体情報抽出部3から出力された複数の被験者(Aさん,Bさん,Cさん)の脈拍数の算定結果(推定結果)を相対的に比較(例えば最大値検索)し、異常の可能性のある被験者又は要注意の対象となる被験者を検知し、検知結果を異常通知出力部6に出力する。また、異常検知部4は、相対比較の際に得られた閾値を閾値保持更新部5に格納する。なお、本実施形態でいう閾値とは、脈拍数の推定対象である複数の被験者(例えばAさん,Bさん,Cさん)のうち、異常のある可能性のある被験者又は要注意の対象となる被験者を特定するために用いられる脈拍数の判定値(最大値)である。従って、本実施形態では、閾値未満の脈拍数が得られた被験者は、異常の可能性のある被験者や、要注意の対象となる被験者として検知されない。
先ず、異常検知部4は、被験者生体情報抽出部3から出力された複数の被験者(Aさん,Bさん,Cさん)の脈拍数の算定結果(推定結果)のうち、Aさんの脈拍数を閾値の初期値として閾値保持更新部5に格納した後、脈拍数の算定結果を順に比較する。
具体的には、異常検知部4は、Aさんの脈拍数とBさんの脈拍数との相対比較により、Aさんの脈拍数よりBさんの脈拍数が大きい場合には(図4C参照)、Bさんの脈拍数を閾値として選択し、閾値保持更新部5の閾値をBさんの脈拍数に更新する。次に、異常検知部4は、Bさんの脈拍数とCさんの脈拍数との相対比較により、Bさんの脈拍数よりCさんの脈拍数が大きい場合には(図4C参照)、Cさんの脈拍数を閾値として選択し、閾値保持更新部5の閾値をCさんの脈拍数に更新する。
更に、異常検知部4は、Cさんの脈拍数とAさんの脈拍数との相対比較により、Cさんの脈拍数よりAさんの脈拍数が大きい場合には、Aさんの脈拍数を閾値として選択し、閾値保持更新部5の閾値をAさんの脈拍数に更新するが、Aさんの脈拍数よりCさんの脈拍数が大きい場合には(図4C参照)、Cさんの脈拍数を閾値として閾値保持更新部5に保持させる。図4Cは、被験者毎の脈拍数の抽出結果の一例を示す図である。図4Cに示す例では、Cさんの脈拍数が他の2人(Aさん,Bさん)の脈拍数に比べて高いので、異常検知部4は、閾値として選択された脈拍数に対応するCさんを、異常の可能性のある被験者又は要注意の対象となる被験者として検知する。
閾値保持更新部5は、例えばRAM(Random Access Memory)、半導体メモリ、HDD(Hard Disk Drive)又はSSD(Solid State Drive)を用いて構成され、異常検知部4により選択された保持された脈拍数又は更新された脈拍数を示す値を閾値として格納する。
異常通知出力部6は、異常検知部4から出力された検知結果を基に、異常の可能性のある被験者又は要注意の対象となる被験者に関する情報を監視モニタ7に出力する。
出力態様としては、異常通知出力部6は、例えば生体情報処理装置10が監視モニタ7を有する場合には、異常の可能性のある被験者又は要注意の対象となる被験者に関する情報を監視モニタ7上に識別可能に表示させる(図5参照)。図5は、各実施形態の生体情報処理装置10、または図7に示す生体情報処理装置10Aの使用例を示す図である。なお、識別可能な表示例としては、異常通知出力部6は、例えば監視モニタ7上の該当する被験者P1の周囲に、異常の可能性のある被験者又は要注意の対象となる被験者であることを示すマーカ(例えばエクスクラメイションマーク、感嘆符)を表示させる。
図5では、例えば本実施形態の生体情報処理装置10が店舗に設置されている場合に、店舗内の被験者(買い物客)が監視カメラ(カメラCM)により撮像されている。そして、4人の被験者P11,P12,P13,P14の脈拍数が非接触で推定されている。監視室(例えば店舗のバックヤード)に設置された監視モニタ7上には、推定結果の脈拍数や異常の可能性のある被験者又は要注意の対象となる被験者がいることを示すマーカがそれぞれ表示されている。これにより、店舗の責任者MR(例えば店舗の店長)は、異常の可能性のある被験者(買い物客)又は要注意の対象となる被験者(買い物客)が店舗内にいることを確認することができる。
また他の出力態様としては、異常通知出力部6は、例えば生体情報処理装置10がスピーカ(不図示)を有する場合には、異常の可能性のある被験者又は要注意の対象となる被験者に関する情報の音声をスピーカから出力させてもよい。これにより、店舗の責任者MR(例えば店舗の店長)は、監視モニタ7を目視することなく、異常の可能性のある被験者(買い物客)又は要注意の対象となる被験者(買い物客)が店舗内にいることをスピーカからの音声だけで簡易に確認することができる。
監視モニタ7は、例えばLCD(Liquid Crystal Display)又は有機EL(Electroluminescence)を用いて構成されたディスプレイであり、カメラCMにより撮像された画像データを表示し、更に、必要に応じて異常通知出力部6から出力された該当する被験者に関する情報を基に、該当する被験者の周囲に、異常の可能性のある被験者又は要注意の対象となる被験者を示すマーカを表示する。監視モニタ7は、例えば生体情報処理装置10が店舗内に設置されている場合には、監視室(店舗のバックヤード)に設置されることが好ましい。
異常通知取得装置AP1,…,APk(k:1以上の整数)は、異常通知出力部6からの異常の可能性のある被験者又は要注意の対象となる被験者に関する情報の監視モニタ7以外への出力先として設けられ、例えば監視室にいる店舗の責任者(例えば店舗の店長)の監視モニタ7に対するモニタリング作業を支援する。異常通知取得装置AP1~APkは、例えばBluetooth(登録商標)を用いた無線通信機能及びバイブレーション機能を有するリストバンド、無線通信機能を有するヘッドマウントディスプレイ、例えば店舗内に設置された照明装置や音声出力装置のうち、いずれか又は複数の組み合わせである。
例えば異常通知取得装置AP1~APkが無線通信機能及びバイブレーション機能を有するリストバンドであって、店舗内の各店員が各異常通知取得装置AP1~APk(kは1以上の整数)を装着していると、各異常通知取得装置AP1~APkは、異常通知出力部6からの出力に応じて、バイブレーション機能が作動し、異常の可能性のある被験者又は要注意の対象となる被験者があることを店員に知らせることができる。これにより、例えば監視室に最も近くにいる店員は、監視モニタ7上に表示されたマーカを参照することで、該当する被験者を保護したり、被験者が不審な挙動を行わないかを監視したりすることができる。
また、例えば異常通知取得装置AP1~APkが無線通信機能を有するヘッドマウントディスプレイであって、同様に店舗内の各店員が各異常通知取得装置AP1~APk(kは1以上の整数)を装着していると、各異常通知取得装置AP1~APkは、異常通知出力部6からの出力に応じて、ヘッドマウントディスプレイ上に、異常の可能性のある被験者又は要注意の対象となる被験者があることを店員に知らせることができる。これにより、監視モニタ7上に表示されたマーカを確認する必要がなく、例えば該当する被験者の最も近くにいる店員が、該当する被験者を保護し、又は被験者が不審な挙動を行わないかを監視することができる。
また、例えば異常通知取得装置AP1~APkが店舗内に設置された照明装置(例えばLED:Light Emitting Diode)又は音声出力装置(例えばスピーカ)である場合には、各異常通知取得装置AP1~APkは、異常通知出力部6からの出力に応じて、店長や店員以外の人(例えば買い物客)には気付かれづらい照明パターン又は音の変化により、異常の可能性のある被験者又は要注意の対象となる被験者があることを店員に知らせることができる。これにより、監視モニタ7上に表示されたマーカを確認する必要がなく、例えば照明パターンや音に応じた店舗内の対象位置に、該当する被験者の最も近くにいる店員が、該当する被験者を保護し、又は被験者が不審な挙動を行わないかを監視することができる。
次に、本実施形態の生体情報処理装置10の動作手順の一例について、図6を参照して説明する。図6は、第1の実施形態の生体情報処理装置10の動作手順の一例を説明するフローチャートである。
図6において、画像入力部1は、所定のフレームレートでカメラCMにより人が撮像された画像データのフレームをカメラCMから連続的に入力(取得)して被験者領域選択部2に出力する(ST1)。被験者領域選択部2は、画像入力部1により入力された画像データの各フレーム(図4A参照)内において、複数の被験者(Aさん,Bさん,Cさん)のうち個々の被験者が含まれる画像範囲である指定範囲RN1,RN2,RN3(図4B参照)を選択して切り出す(ST2)。被験者領域選択部2は、Aさんの指定範囲RN1,Bさんの指定範囲RN2,Cさんの指定範囲RN3のそれぞれにおける画像データを被験者生体情報抽出部3に出力する。
被験者生体情報抽出部3は、被験者領域選択部2から出力された個々の被験者が含まれる画像範囲である指定範囲RN1,RN2,RN3の各画像データを基に、各指定範囲RN1,RN2,RN3に対応する被験者(Aさん,Bさん,Cさん)の生体情報の一例としての脈拍数を推定する(ST3)。被験者生体情報抽出部3は、推定結果であるAさん,Bさん,Cさんのそれぞれの脈拍数に関する情報を異常検知部4に出力する。被験者生体情報抽出部3が全ての被験者(Aさん,Bさん,Cさん)の脈拍数を算定するまで(ST4、NO)、ステップST2及びステップST3の処理が繰り返される。
一方、被験者生体情報抽出部3が全ての被験者(Aさん,Bさん,Cさん)の脈拍数を算定した場合には(ST4、YES)、異常検知部4は、被験者生体情報抽出部3から出力された複数の被験者(Aさん,Bさん,Cさん)の脈拍数の算定結果(推定結果)を相対的に比較(例えば最大値検索)し(ST5)、異常の可能性のある被験者又は要注意の対象となる被験者を検知し、検知結果を異常通知出力部6に出力する。また、異常検知部4は、相対比較の際に得られた閾値を閾値保持更新部5に格納する。
異常通知出力部6は、異常検知部4から出力された検知結果を基に、例えば全ての被験者の中で脈拍数が最も高い被験者に関する情報を、異常の可能性のある被験者又は要注意の対象となる被験者に関する情報として監視モニタ7に出力する(ST6)。異常通知出力部6は、例えば監視モニタ7上の該当する被験者P1の周囲に、異常の可能性のある被験者又は要注意の対象となる被験者であることを示すマーカ(例えばエクスクラメイションマーク)を表示させる。
以上により、本実施形態の生体情報処理装置10は、n人(例えばAさん,Bさん,Cさん)の被験者が撮像された画像データから、個々の被験者の画像範囲である指定範囲RN1,RN2,RN3を選択し、この選択された個々の被験者の画像範囲である指定範囲RN1,RN2,RN3の画像データを基に、画像範囲に対応する被験者の脈拍数を推定する。生体情報処理装置10は、推定されたn人全ての被験者の脈拍数の相対比較に応じて、異常の可能性のある被験者又は要注意の対象となる被験者を検知し、検知結果に対応する被験者に関する情報を出力する。
被験者の生体情報(例えば脈拍数)を推定する際の周辺環境の変化(例えば室温や気温の変動)が生じた場合には室温や気温の上昇に応じて脈拍数も上昇する。生体情報処理装置10は、上述の処理により、全ての被験者に対する個々の脈拍数の推定結果の相対比較により他の被験者に比べて脈拍数の値が高い(目立つ)被験者を検知する。そのため生体情報処理装置10は、脈拍数の推定時に一定の閾値を用いる技術に比べて、周辺環境の変化に追従して、複数の被験者の中から異常の可能性のある被験者又は要注意の対象となる被験者の脈拍数を、リアルタイムかつ正確に検知することができる。
また、生体情報処理装置10は、推定されたn人の被験者の脈拍数を順に比較し、最も高い脈拍数に対応する被験者を、異常の可能性のある被験者又は要注意の対象となる被験者として検知するので、相対比較の結果として他の被験者に比べて脈拍数が高くて目立つ被験者を、異常の可能性のある被験者又は要注意の対象となる被験者として検知することができる。
また、生体情報処理装置10は、推定されたn人の被験者の脈拍数のうち最も高い脈拍数を閾値として更新して保持することができるので、一定の閾値を用いる技術に比べて、例えば複数の被験者の脈拍数を定期的に推定する際には、前回の推定時に更新された最大値としての閾値を用いることで、周辺環境の変化に追従して、異常のある可能性のある被験者又は要注意の対象となる被験者の脈拍数の被験者を検知することができる。
(第2の実施形態)
図7は、第2の実施形態の生体情報処理装置10Aの内部構成の一例を示すブロック図である。図7に示す生体情報処理装置10Aでは、図3に示す生体情報処理装置10の各部と同一の構成については同一の符号を用いて説明を簡略化又は省略し、異なる内容について説明する。
図7は、第2の実施形態の生体情報処理装置10Aの内部構成の一例を示すブロック図である。図7に示す生体情報処理装置10Aでは、図3に示す生体情報処理装置10の各部と同一の構成については同一の符号を用いて説明を簡略化又は省略し、異なる内容について説明する。
図7に示す生体情報処理装置10Aは、カメラCMと、画像入力部1と、被験者領域選択部2と、被験者生体情報抽出部3と、異常検知部4Aと、閾値保持更新部5Aと、異常通知出力部6と、監視モニタ7とを含む構成である。なお、生体情報処理装置10Aは、第1の実施形態と同様に、異常通知取得装置AP1,…,APkを更に含む構成としてもよい。本実施形態の説明では、異常通知取得装置AP1,…,APkの構成は第1の実施形態と同一であるため、説明を省略する。
検知部の一例としての異常検知部4Aは、被験者生体情報抽出部3から出力された複数の被験者(Aさん,Bさん,Cさん)の脈拍数の算定結果(推定結果)を相対的に比較(例えば平均値算定)し、異常の可能性のある被験者又は要注意の対象となる被験者を検知し、検知結果を異常通知出力部6に出力する。また、異常検知部4Aは、相対比較の際に得られた閾値(平均値)を閾値保持更新部5Aに格納する。なお、本実施形態でいう閾値とは、脈拍数の推定対象である複数の被験者(例えばAさん,Bさん,Cさん)のうち、異常のある可能性のある被験者又は要注意の対象となる被験者を特定するために用いられる脈拍数の判定値(平均値)である。従って、本実施形態では、閾値未満の脈拍数が得られた被験者は、異常の可能性のある被験者や、要注意の対象となる被験者として検知されない。
先ず、異常検知部4Aは、被験者生体情報抽出部3から出力された複数の被験者(Aさん,Bさん,Cさん)の脈拍数の算定結果(推定結果)の平均値を算定し、閾値保持更新部5Aにおいて予め格納されている閾値の初期値を、算定した平均値に更新する。
異常検知部4Aは、Aさん,Bさん,Cさんのそれぞれの脈拍数と閾値(平均値)とを相対比較する。Aさんの脈拍数とCさんの脈拍数とは平均値(図8C参照)未満であるため、異常の可能性のある被験者や要注意の対象となる被験者としてAさん及びCさんを除外する。更に、異常検知部4Aは、脈拍数が図8Cに示す平均値を超えるBさんを、異常の可能性のある被験者又は要注意の対象となる被験者として検知する。図8Cは、被験者毎の脈拍数の抽出結果の一例を示す図である。図8Cに示す例では、Bさんの脈拍数が他の2人(Aさん,Bさん)の脈拍数に比べて高くかつ閾値を超えるので、異常検知部4Aは、脈拍数が閾値を超えるBさんを、異常の可能性のある被験者又は要注意の対象となる被験者として検知する。なお、図8A及び図8Bに示す各図は、図4A及び図4Bに示す各図と同一であるため、説明を省略する。
閾値保持更新部5Aは、例えばRAM、半導体メモリ、HDD又はSSDを用いて構成され、異常検知部4Aにより算定された各被験者の脈拍数の平均値を閾値として格納する。
次に、本実施形態の生体情報処理装置10Aの動作手順の一例について、図9を参照して説明する。図9は、第2の実施形態の生体情報処理装置10Aの動作手順の一例を説明するフローチャートである。図9の説明では、図6の説明と同一の説明については同一のステップ番号を付与して説明を簡略化又は省略し、異なる内容について説明する。
図9において、被験者生体情報抽出部3が全ての被験者(Aさん,Bさん,Cさん)の脈拍数を算定した場合には(ST4、YES)、異常検知部4Aは、被験者生体情報抽出部3から出力された複数の被験者(Aさん,Bさん,Cさん)の脈拍数の算定結果(推定結果)の平均値を算定し(ST5A)、閾値保持更新部5Aにおいて予め格納されている閾値の初期値を、算定した平均値に更新する(ST7)。
更に、異常検知部4Aは、ステップST5Aにおいて算定した閾値(平均値)を用いてAさん,Bさん,Cさんの各脈拍数の相対比較を行い、Aさんの脈拍数とCさんの脈拍数とは平均値(図8C参照)未満であるため、異常の可能性のある被験者や要注意の対象となる被験者としてAさん及びCさんを除外する。更に、異常検知部4Aは、脈拍数が図8Cに示す平均値を超えるBさんを、異常の可能性のある被験者又は要注意の対象となる被験者として検知し(ST6A)、検知結果を異常通知出力部6に出力する。
異常通知出力部6は、異常検知部4Aから出力された検知結果を基に、例えば全ての被験者の中で脈拍数が閾値である平均値を超えるn人未満の少なくとも1人の被験者(例えばBさん、図8C参照)に関する情報を、異常の可能性のある被験者又は要注意の対象となる被験者に関する情報として監視モニタ7に出力する(ST6A)。
以上により、本実施形態の生体情報処理装置10Aは、推定されたn人(例えばAさん,Bさん,Cさん)の被験者の脈拍数の平均値を算定し、この脈拍数の平均値より高い脈拍数に対応するn人未満の被験者(例えばBさん、図8C参照)を、異常の可能性のある被験者又は要注意の対象となる被験者として検知する。そのため生体情報処理装置10Aは、相対比較の結果として推定対象となったn人全ての被験者の脈拍数の平均値より高い脈拍数の被験者を、異常の可能性のある被験者又は要注意の対象となる被験者として検知することができる。
また、生体情報処理装置10Aは、推定されたn人の被験者の脈拍数の平均値を閾値として更新して保持することができるので、一定の閾値を用いる技術に比べて、例えば複数の被験者の脈拍数を定期的に推定する際には、前回の推定時に更新された平均値としての閾値を用いることで、周辺環境の変化に追従して、異常のある可能性のある被験者又は要注意の対象となる被験者の脈拍数の被験者を検知することができる。
以上のように第1、第2の実施形態による生体情報処理装置は、例えば接触タイプの専用の脈拍数測定器を用いることなく、対象物(例えば被験者、処理対象。なお、対象物は人間でなく、他の動物であってもよい。以下同様。)が撮像された画像データを用いて、生体情報の一例として、被験者の脈拍数を非接触で推定し、推定された被験者の脈拍数を基に、異常の可能性のある被験者又は要注意の対象となる被験者を検知して出力する。
より具体的には、各実施形態の生体情報処理装置は、n(n:2以上の整数)人の被験者が撮像された画像データを入力する。入力された画像データから、個々の被験者の画像範囲を選択し、選択された個々の被験者の画像範囲の画像データを基に、画像範囲に対応する被験者の脈拍数を推定する。また、生体情報処理装置は、推定されたn人の被験者の脈拍数の相対比較に応じて、異常の可能性のある被験者又は要注意の対象となる被験者を検知し、この検知結果に対応する被験者に関する情報を出力する。
各実施形態の生体情報処理装置は、例えばデスクトップ型又はラップトップ型のPC(Personal Computer)、スマートフォン、携帯電話機、タブレット端末、PDA(Personal Digital Assistant)等のデータ通信端末であり、対象物の一例としての人を撮像するためのカメラ機能を有していてもよい。
(第3の実施形態)
以下、第3の実施形態の生体情報処理装置の構成について説明する。図10Aは、第3の実施形態の生体情報処理装置100の内部構成の一例を示すブロック図である。図10Bは、本実施形態および後述する第4の実施形態の生体情報処理装置100,100A(図16)の動作概要の一例を模式的に示す図である。
以下、第3の実施形態の生体情報処理装置の構成について説明する。図10Aは、第3の実施形態の生体情報処理装置100の内部構成の一例を示すブロック図である。図10Bは、本実施形態および後述する第4の実施形態の生体情報処理装置100,100A(図16)の動作概要の一例を模式的に示す図である。
図10Aに示す生体情報処理装置100は、カメラCMと、画像入力部11と、肌色抽出部12と、複数(例えば3個)のフィルタ部F1,F2,F3と、複数(例えば3個)の推定モジュール部M1,M2,M3と、信頼度判定部15と、セレクタ16と、脈拍出力部17とを含む構成である。推定モジュール部M1はフィルタ部F1に対応して設けられ、推定モジュール部M2はフィルタ部F2に対応して設けられ、推定モジュール部M3はフィルタ部F3に対応して設けられている。
カメラCMは、所定のフレームレート(例えば10fps:frame per second)で対象物である人を撮像して画像入力部11に出力する。なお、カメラCMは生体情報処理装置100の内部に含まれなくてもよく、例えば生体情報処理装置100とはネットワークを介して接続されてもよい。ネットワークは、無線ネットワーク又は有線ネットワークをインターフェースとして接続されるインターネット又はイントラネットである。無線ネットワークは、例えば無線LAN(Local Area Network)、無線WAN(Wide Area Network)、3G、LTE(Long Term Evolution)又はWiGig(Wireless Gigabit)である。有線ネットワークは、例えばIEEE802.3又はイーサネット(ETHERNET(登録商標))である。
画像入力部11は、所定のフレームレートでカメラCMにより人が撮像された画像データのフレームをカメラCMから連続的に入力(取得)して肌色抽出部12に出力する。なお、カメラCMと生体情報処理装置100とが別体で構成されている場合には、画像入力部11は、カメラCMから送信された画像データのフレームを連続的に受信する。
抽出部の一例としての肌色抽出部12は、画像入力部11により入力された画像データの各フレーム内の所定範囲(例えば図10Bに示す肌色領域FL1)の信号(例えば画素値、輝度値)を、少なくとも1周期(周期は既知)分のフレーム数を用いて抽出する。ここで、肌色抽出部12により抽出された時系列の信号は、例えば図10Bに示す人の顔の紙面下側に示されたノイズ信号が含まれた原信号である。肌色抽出部12は、抽出された所定範囲の信号を各フィルタ部F1~F3に出力する。
フィルタ部F1,F2,F3は、それぞれ異なるフィルタ係数を用いたバンドパスフィルタを用いて構成され、それぞれの動作はフィルタ係数が異なること以外は共通であるため、フィルタ部F1の動作を例示して説明する。フィルタ部F1は、肌色抽出部12から出力された所定範囲の信号(画素値)を平均化することで、例えばカメラCMの撮像時に含まれたノイズ信号を除去する。
この平均化により人の脈波が抽出され得るが、まだ身体の動き成分やノイズの残留成分が含まれている可能性が高いので、フィルタ部F1は、フィルタ部F1に対応するフィルタ係数を用いて、脈波の基本周波数以外の周波数成分をカットする。フィルタ部F1の出力は、推定モジュール部M1に入力される。
フィルタ部F1のフィルタ係数は、例えば30~60bpmの信号がフィルタ部F1を通過するように予め設定されている。なお、フィルタ部F2のフィルタ係数は、例えば50~90bpmの信号がフィルタ部F2を通過するように予め設定されている。また、フィルタ部F3のフィルタ係数は、例えば70~120bpmの信号がフィルタ部F3を通過するように予め設定されている。
一般に安静時の成人の脈拍は60~80bpmであるが、被験者(対象物、生体情報処理対象)が徐脈又は頻脈を有する場合や、運動や緊張時の影響も考慮し、通過対象範囲が30~120bpmと設定されている。また、フィルタの通過対象範囲30~120bpmをフィルタ部F1~F3によって3つに分割することにより、フィルタ部F1~F3のそれぞれの出力信号が正弦波に近づく(図10Bに示すマルチバンドフィルタの各波形参照)。そのため、各フィルタ部F1~F3の出力を用いた脈波の推定精度を向上することができる。
推定モジュール部M1は、波形検定部M1aと脈拍推定部M1bとを含む構成である。以下、推定モジュール部M1,M2,M3の構成は同様であるため、推定モジュール部M1の動作を例示して説明する。
検定部の一例としての波形検定部M1aは、フィルタ部F1の少なくとも1周期分の出力信号が入力され、フィルタ部F1においてカットできなかったノイズ信号の区間を検出するために、入力された少なくとも1周期分の出力信号のうち所定条件(つまり、数式(2)、数式(3))を満たす信号(つまり、ノイズ信号)の区間があるか否かを判断する。波形検定部M1aは、所定条件を満たすと判断した出力信号の区間を無効(invalid)区間として排除する(図14参照)。図14は、各推定モジュール部M1,M2,M3内の波形検定部の動作例を示す説明図である。
図14では、例えばフィルタ部F1の少なくとも1周期分の出力信号の振幅の時系列的な変化が示されており、P1,P2,P3,P4,P5,P6,P7は、例えば波形検定部M1aに含まれるADC(Analog Digital Converter)によりAD変換されたサンプル値である。MPA(Mean peak to peak amplitude)は、各サンプル値P1~P7のピーク間の振幅の平均値を示す。PPA(Peak to peak amplitude)は、各サンプル値P1~P7のピーク間の振幅の最大値を示す。
ただし、αは出力信号の振幅で許容される上限を定義するための係数であり、βは下限を定義するための係数である。
数式(2)によれば、波形検定部M1aは、フィルタ部F1の少なくとも1周期分の出力信号の振幅が所定値(例えばゼロ)に比べて極端に大きい信号を排除することができる。また、数式(3)によれば、波形検定部M1aは、フィルタ部F1の少なくとも1周期分の出力信号の振幅が所定値(例えばゼロ)に比べて極端に小さい信号を排除することができる。波形検定部M1aは、所定条件(つまり、数式(2)、数式(3))を満たす信号の区間があると判断した場合には、該当する信号の区間を排除した少なくとも1周期分の信号を脈拍推定部M1b及び信頼度判定部15に出力する。
一方、波形検定部M1aは、所定条件(つまり、数式(2)、数式(3))を満たす信号の区間がないと判断した場合には、フィルタ部F1の少なくとも1周期分の出力信号をそのまま脈拍推定部M1b及び信頼度判定部15に出力する。波形検定部M1aの処理は、人の脈波の振幅が一定幅の中で緩やかに変化するという知見を利用しており、数式(2)、数式(3)を満たす信号は外乱ノイズである可能性が高いことになる。なお、他の推定モジュール部M2,M3内の波形検定部(不図示)からも同様な出力信号が信頼度判定部15に入力される。
推定部の一例としての脈拍推定部M1bは、フィルタ部F1の少なくとも1周期分の出力信号又は波形検定部M1aの少なくとも1周期分の出力信号を基に、数式(4)に従って、人の脈拍値(Pulse rate)を算出してセレクタ16に出力する(図13参照)。図13は、第2の実施形態の生体情報処理装置100における脈拍算出方法の一例を示す図である。
ここで、従来のカメラを用いた脈拍算出方法の問題点について、図11及び図12を参照して説明する。図11は、従来のカメラを用いた脈拍算出方法の一例を示す図である。図12は、図11に示す脈拍算出方法における問題の説明図である。
図11では、横軸は時間を示し、縦軸(不図示)はカメラにより撮像された画像の肌色領域の緑色の1周期分の信号WV0(つまり、画素値)を示し、例えば8ビットで示す場合には0~255で示される。また、図11及び図12では、例えば各サンプル値の差分(つまり、直前のサンプル値との差分)との算出結果を用いて、単調増加時のゼロ点通過時点から次の単調増加時のゼロ点通過時点までの信号が1周期分の信号WV0として抽出されている。
図11に示す脈拍数の算出例として、カメラのフレームレートが10fps、1周期分の信号WV0に対応するフレームカウント(つまり、1周期分の信号WV0が得られるために必要な画像データのフレーム数)が9であった場合、脈拍数は10×60÷9≒67bpmとなる。
図12では、図11と同様に、横軸は時間を示し、縦軸(不図示)はカメラにより撮像された画像の肌色領域の緑色の1周期分の信号WV0(つまり、画素値)を示し、例えば8ビットで示す場合には0~255で示される。ここで、カメラから渡される画像データのフレームのコマ落ち(つまり、フレームの取得側における受信ロス又はフレーム欠落)が発生した場合には、1周期分の信号WV0に対応するフレームカウントが8となり、本来算出されるべき脈拍数とは異なる脈拍数が算出されてしまい、誤差が発生する。つまり、コマ落ちが発生すると、脈拍数は10×60÷8=75bpmとなり、67bpmとの差分(8bpm)が誤差として発生する。
そこで、本実施形態を含む各実施形態の生体情報処理装置100,100Aは、脈拍推定部M1bにおいて、1周期分の信号WV0に対応するフレームカウントを用いず、1周期分の信号WV0が得られるまでに画像入力部11が入力する画像データのフレームの入力間隔(例えばカメラCMからの入力間隔又は受信間隔)の和を用いて、数式(4)に従って、脈拍数を算出する。
図13では、図11と同様に、横軸は時間を示し、縦軸(不図示)は肌色抽出部12により抽出された信号を示す。言い換えると、図13に示す信号は、カメラCMにより撮像された画像の肌色領域の緑色の1周期分の信号WV0(つまり、画素値)を示し、例えば8ビットで示す場合には0~255で示される。脈拍推定部M1bは、1周期分の信号WV0が得られるために必要な画像データのフレームの入力間隔t0,t1,t2,t3,t4,t5,t6,t7の和(=0.01+0.01+0.02+0.01+0.01+0.01+0.01+0.01)を上述した数式(4)に示すPWI(Pulse Wave Interval、脈波間隔)として用いる。
従って、図13において第3番目のフレームのコマ落ちが発生した場合には、1周期分の信号WV0が得られるために必要な画像データのフレーム数が8になる。しかしながら、脈拍推定部M1bは、第2番目のフレームを入力してから次のフレーム(図13に示す第4番目のフレーム)を入力するまでの入力間隔t2を含む、1周期分の信号WV0が得られるために必要な画像データのフレームの入力間隔t0,t1,t2,t3,t4,t5,t6,t7の和を用いる。これにより脈拍推定部M1bは、図11においてコマ落ちが発生していない場合と同様に適正な脈拍数を算出することができる(数式(4)参照)。
判定部の一例としての信頼度判定部15は、所定条件(数式(3)、数式(4))を満たすフィルタ部F1,F2,F3の出力信号の区間が排除されたそれぞれの推定モジュール部M1,M2、M3からの少なくとも1周期分の出力信号、又は所定条件を満たさないフィルタ部F1,F2,F3の出力信号を基に、無効区間の最も少ない推定モジュール部からの少なくとも1周期分の出力信号を判定する。言い換えると、フィルタ部F1,F2,F3の出力信号がそのままそれぞれの推定モジュール部M1,M2,M3から出力された信号となる。信頼度判定部15は、判定結果(即ち、いずれかの推定モジュール部に関する情報)をセレクタ16に出力する。
信頼度判定部15は、信頼度として例えば、無効区間がない場合に信頼度「100」を付与し、数式(2)を満たす無効区間の数、数式(3)を満たす無効区間の数、又は数式(2)及び数式(3)の両方を満たす無効区間の数に応じて、所定の算出方法(例えば無効区間の数と無効区間の判断の元になった数式(2)、数式(3)毎の所定の重み係数(既知)を用いて乗算して「100」から減点する方法に従って信頼度を付与する。
出力部の一例としてのセレクタ16は、信頼度判定部15から出力された判定結果を基に、推定モジュール部M1,M2,M3からの出力(即ち、推定モジュール部M1,M2,M3においてそれぞれ推定された脈拍数に関する情報)のうち、信頼度判定部15の判定結果に対応する推定モジュール部の出力(脈拍数に関する情報)を選択して脈拍出力部17に出力する。
例えば図10Bに示すように、推定モジュール部M1において推定された脈拍数が「70」で信頼度判定部15により判定された信頼度が「60」であり、推定モジュール部M2において推定された脈拍数が「76」で信頼度判定部15により判定された信頼度が「80」であり、推定モジュール部M3において推定された脈拍数が「78」で信頼度判定部15により判定された信頼度が「70」であるとする。この場合、セレクタ16は、最も信頼度が高い「80」が得られた脈拍数「76」を脈拍出力部17に出力する。
出力部の一例としての脈拍出力部17は、セレクタ16により選択された脈拍数に関する情報を出力する。脈拍出力部17は、例えば生体情報処理装置100がディスプレイ(不図示)を有する場合には、セレクタ16により選択された脈拍数に関する情報をディスプレイに表示させる。また、脈拍出力部17は、例えば生体情報処理装置100がスピーカ(不図示)を有する場合には、セレクタ16により選択された脈拍数に関する情報をスピーカから出力させる。
次に、本実施形態の生体情報処理装置100の動作手順の一例について、図15を参照して説明する。図15は、第2の実施形態の生体情報処理装置100の動作手順の一例を説明するフローチャートである。
図15において、画像入力部11は、所定のフレームレートでカメラCMにより人が撮像された画像データのフレームをカメラCMから連続的に入力(取得)して肌色抽出部12に出力する(ST11)。肌色抽出部12は、画像入力部11により入力された画像データの各フレーム内の所定範囲(例えば図10Bに示す肌色領域FL1)の信号(例えば画素値、輝度値)を、少なくとも1周期(周期は既知)分のフレーム数を用いて抽出する(ST12)。肌色抽出部12は、抽出された所定範囲の信号を各フィルタ部F1~F3に出力する。
ステップST13では、フィルタ部F1~F3におけるフィルタ係数が選択される(ST13)。なお、上述したように、フィルタ部F1には、例えば30~60bpmの信号がフィルタ部F1を通過するようにフィルタ係数が予め設定されている。フィルタ部F2には、例えば50~90bpmの信号がフィルタ部F2を通過するようにフィルタ係数が予め設定されている。同様に、フィルタ部F3には、例えば70~120bpmの信号がフィルタ部F3を通過するようにフィルタ係数が予め設定されている。図15では、説明を分かり易くするために、ステップST13からステップST17までの処理が時系列となるように示されているが、生体情報処理装置100ではこれらの各処理はパラレル(並行)に行われている。
フィルタ部F1は、フィルタ処理の一例として、肌色抽出部12から出力された所定範囲の信号(画素値)を平均化することで、例えばカメラCMの撮像時に含まれたノイズ信号を除去する(ST14)。また、フィルタ部F1は、フィルタ処理の他の一例として、フィルタ部F1に対応するフィルタ係数を用いて、脈波の基本周波数以外の周波数成分をカットする(ST14)。フィルタ部F1の出力は、推定モジュール部M1に入力される。
波形検定部M1aは、フィルタ部F1の少なくとも1周期分の出力信号を基に、フィルタ部F1においてカットできなかったノイズ信号の区間を検出するために、入力された少なくとも1周期分の出力信号のうち所定条件(つまり、数式(2)、数式(3))を満たす信号の区間があるか否かの判断により波形を検定する(ST15)。
波形検定部M1aは、所定条件を満たすと判断した出力信号の区間を無効(invalid)区間として排除し、該当する信号の区間を排除した少なくとも1周期分の信号を脈拍推定部M1b及び信頼度判定部15に出力する。一方、波形検定部M1aは、所定条件(つまり、数式(2)、数式(3))を満たす信号の区間がないと判断した場合には、フィルタ部F1の少なくとも1周期分の出力信号をそのまま脈拍推定部M1b及び信頼度判定部15に出力する。
脈拍推定部M1bは、フィルタ部F1の少なくとも1周期分の出力信号又は波形検定部M1aの少なくとも1周期分の出力信号を基に、数式(4)に従って、人の脈拍値(Pulse rate)を算出してセレクタ16に出力する(ST16)。
ステップST17において、フィルタ部F1~F3及び推定モジュール部M1~M3においてそれぞれの処理が終了していない場合には(ST17、NO)、フィルタ部F1~F3及び推定モジュール部M1~M3においてそれぞれ、ステップST13~ステップST17までの処理が終了するまで、生体情報処理装置100の動作は待機状態となる。
一方、フィルタ部F1~F3及び推定モジュール部M1~M3においてそれぞれの処理が終了した場合には(ST17、YES)、信頼度判定部15は、ST18にて次の処理を行う。すなわち、所定条件を満たすフィルタ部F1,F2,F3の出力信号の区間が排除された推定モジュール部M1,M2、M3からの少なくとも1周期分の出力信号、又は所定条件を満たさないフィルタ部F1,F2,F3の出力信号を基に、無効区間の最も少ない推定モジュール部からの少なくとも1周期分の出力信号を判定する。所定条件とは例えば、数式(3)、数式(4)である。信頼度判定部15は、判定結果(即ち、いずれかの推定モジュール部に関する情報)をセレクタ16に出力する。
セレクタ16は、信頼度判定部15から出力された判定結果を基に、推定モジュール部M1,M2,M3からの出力(即ち、推定モジュール部M1,M2,M3において推定された脈拍数に関する情報)のうち、信頼度判定部15の判定結果に対応する推定モジュール部の出力(脈拍数に関する情報)を選択して脈拍出力部17に出力する(ST19)。脈拍出力部17は、セレクタ16により選択された脈拍数に関する情報を出力する(ST19)。
以上により、本実施形態の生体情報処理装置100は、入力された画像データの所定範囲(例えば人の肌色領域FL1)の信号を抽出し、異なる係数(例えばフィルタ係数)を用いて、抽出された所定範囲の信号のうち異なる係数に対応する信号をそれぞれ複数のフィルタ部F1~F3において出力する。生体情報処理装置100は、フィルタ部F1~F3に対応してそれぞれ設けられた推定モジュール部M1~M3において、対応するフィルタ部の少なくとも1周期分の出力信号と少なくとも1周期分の出力信号に対応する画像データのフレームの入力間隔とを基に、人の脈拍値を推定する。そして、複数のフィルタ部F1~F3の出力信号に応じて、推定された複数の脈拍値からいずれかを選択して出力する。
これにより、生体情報処理装置100は、ユーザが撮像された画像データのフレームがコマ落ちした場合でも、画像データに含まれるユーザの肌色領域の画像処理(例えば所定のフィルタ係数を用いたノイズ除去処理)により得られた少なくとも1周期の信号に対応する画像データの複数のフレームの入力間隔と血液が特定波長域の光を吸収する性質とを用いて、ユーザの脈拍数を推定する。そのため生体情報処理装置100は、例えば接触タイプの専用の脈拍数測定器を用いることなく、ユーザの脈拍数を非接触で高精度に推定することができる。
また、生体情報処理装置100は、各フィルタ部に対応する推定モジュール部において、所定条件を満たすフィルタ部の出力信号の区間を無効区間として排除し、無効区間が排除された少なくとも1周期の出力信号と少なくとも1周期の出力信号に対応する画像データのフレームの入力間隔とを基に、人の脈拍値を推定する。
これにより、生体情報処理装置100は、所定条件を満たすフィルタ部の出力信号の区間(例えば振幅が所定値に比べて極端に大きい信号や極端に小さい信号の区間)を無効区間として排除することができる。そのため、例えば外乱ノイズによる影響を抑制することができ、無効区間が排除された少なくとも1周期分の出力信号に対応する画像データのフレームの入力間隔を用いて、人の脈拍値を高精度に推定することができる。
また、生体情報処理装置100は、所定条件を満たす各フィルタ部の出力信号の区間が排除された少なくとも1周期分の出力信号を基に、無効区間の最も少ない、少なくとも1周期分の出力信号を判定し、この判定された少なくとも1周期分の出力信号に対応して推定された人の脈拍値を選択する。
これにより、生体情報処理装置100は、無効区間の最も少ない(言い換えると、外乱ノイズの影響を最も受けていない)少なくとも1周期分の出力信号を用いた人の脈拍値を選択することができる。
(第4の実施形態)
図16は、第4の実施形態の生体情報処理装置100Aの内部構成の一例を示すブロック図である。図17は、1周期分の観測波形のピークがサンプリング位置から外れている場合の問題の説明図である。図16に示す生体情報処理装置100Aでは、図10Aに示す生体情報処理装置100の各部と同一の構成については同一の符号を用いて説明を簡略化又は省略し、異なる内容について説明する。
図16は、第4の実施形態の生体情報処理装置100Aの内部構成の一例を示すブロック図である。図17は、1周期分の観測波形のピークがサンプリング位置から外れている場合の問題の説明図である。図16に示す生体情報処理装置100Aでは、図10Aに示す生体情報処理装置100の各部と同一の構成については同一の符号を用いて説明を簡略化又は省略し、異なる内容について説明する。
図16に示す生体情報処理装置100Aは、カメラCMと、画像入力部11と、肌色抽出部12と、複数(例えば3個)のフィルタ部F1,F2,F3と、複数(例えば3個)の推定モジュール部M1R,M2R,M3Rと、信頼度判定部15と、セレクタ16と、脈拍出力部17とを含む構成である。推定モジュール部M1Rはフィルタ部F1に対応して設けられ、推定モジュール部M2Rはフィルタ部F2に対応して設けられ、推定モジュール部M3Rはフィルタ部F3に対応して設けられている。
推定モジュール部M1Rは、補間部M1cと波形検定部M1aと脈拍推定部M1bとを含む構成である。補間部M1cは、フィルタ部F1の少なくとも1周期分の出力信号が入力され、フィルタ部F1の少なくとも1周期分の出力信号を基に、フィルタ部F1の少なくとも1周期分の出力信号が所定値(例えばゼロ)となる位置(時刻)の差分(時間差)を補間(例えば線形補間)し、補間後の少なくとも1周期分の出力信号を波形検定部M1a及び脈拍推定部M1bに出力する。本実施形態では、波形検定部M1a及び脈拍推定部M1bでは、補間部M1cの出力が用いられる。以下、推定モジュール部M1R,M2R,M3Rの構成は同様であるため、推定モジュール部M1Rの動作を例示して説明する。
ここで、図17を参照し、1周期分の観測波形のピークがサンプリング位置から外れている場合の課題について説明する。図17では、横軸は時間を示し、縦軸(不図示)は肌色抽出部12により抽出された信号WV0を示す。言い換えると、図17に示す信号は、カメラCMにより撮像された画像の肌色領域FL1の緑色の1周期分の信号WV0(つまり、画素値)を示し、例えば8ビットで示す場合には0~255で示される。
図17において、S1~S8は、例えば波形検定部M1aに含まれるADCによりAD変換されたサンプル値であり、T1~T8はADCによりAD変換されたサンプリング時刻である。図17に示す信号WV0の1周期は、正確に言うと、信号WV0のピークと次のピークとの間の時間(線分AS1参照)であるが、信号WV0のピークがサンプリング位置(サンプリング時刻におけるサンプル値)から外れていると誤差が発生してしまう。具体的には、図17に示す信号WV0の1周期は、ピーク値であるサンプル値S2のサンプリング時刻T2と次のピーク値であるサンプル値S7のサンプリング時刻T7との間の時間(線分NT1参照)となってしまうので、線分AS1と線分NT1との差分に応じた誤差が発生することになり、フィルタ部F1~F3に入力される信号に誤差が生じているので、人の脈拍の推定精度が劣化することになる。
そこで、本実施形態では、各々の推定モジュール部M1R~M3Rは、上述した数式(4)に示すPWI(脈波間隔)をより正確に求めるために、各々の推定モジュール部M1R~M3Rに入力された信号(即ち、各々のフィルタ部F1~F3の出力信号)を補間することで、1周期分の信号WV0を導出する(図18、図19、図20参照)。
(第1の補間例)
図18は、各推定モジュール部の補間部M1cの動作の第1例を示す説明図である。図18では、横軸は時間を示し、縦軸(不図示)は肌色抽出部12により抽出された信号WV1を示す。言い換えると、図18に示す信号は、カメラCMにより撮像された画像の肌色領域FL1の緑色の1周期分の信号WV1(つまり、画素値)を示し、例えば8ビットで示す場合には0~255で示される。
図18は、各推定モジュール部の補間部M1cの動作の第1例を示す説明図である。図18では、横軸は時間を示し、縦軸(不図示)は肌色抽出部12により抽出された信号WV1を示す。言い換えると、図18に示す信号は、カメラCMにより撮像された画像の肌色領域FL1の緑色の1周期分の信号WV1(つまり、画素値)を示し、例えば8ビットで示す場合には0~255で示される。
図18に示す第1の補間例では、補間部M1cは、例えば単調増加時又は単調減少時の信号WV1が所定値(例えばゼロ)を通過する横軸上の少なくとも2個の位置(時刻)の差分(時間差)を補間(即ち、線形補間処理)し、少なくとも1周期分の信号WV1を推定する。図18に示す線分AS1及び線分NT1は、図17に示す線分AS1及び線分NT1と同一であるため、説明を省略し、図19及び図20においても同様である。なお、図18~図20の下部では線分AS1、NT1の長さと、線分PR1、PR2、またはPR3との長さを比較している。
より具体的には、補間部M1cは、例えば単調増加時の信号WV1がゼロを通過する位置と次の単調増加時の信号WV1がゼロを通過する位置との差分(線分PR1参照)を推定する。そのために、第1番目の単調増加時の信号WV1の少なくとも2個の位置(点A0(0,a0)と点A1(1,a1))を通過する線分がゼロを通過する位置(線分PR1の左端)と、第2番目の単調増加時の信号WV1の少なくとも2個の位置(点B0(0,b0)と点B1(1,b1))を通過する直線がゼロを通過する位置(線分PR1の右端)とを求める。a0,a1,b0,b1は、それぞれ信号WV1上の位置であってサンプル値である。図18では、単調増加時の信号WV1上の点を用いて説明しているが、単調減少時の信号WV1上の点を用いても同様である。
点A0の横軸上の位置と線分PR1の左端との間の距離p0は、補間部M1cの線形補間によって、数式(5)により示される。同様に、点B0の横軸上の位置と線分PR1の右端との間の距離p1は、補間部M1cの線形補間によって、数式(6)により示される。これにより、補間部M1cは、線分PR1の長さを算出することができ、線分AS1との誤差が大きい線分NT1に比べて、線分AS1との誤差を低減することができるので、脈拍数の推定精度を向上することができる。
(第2の補間例)
図19は、各推定モジュール部の補間部M1cの動作の第2例を示す説明図である。図19では、横軸は時間を示し、縦軸(不図示)は肌色抽出部12により抽出された信号WV1を示す。言い換えると、図19に示す信号は、カメラCMにより撮像された画像の肌色領域FL1の緑色の1周期分の信号WV1(つまり、画素値)を示し、例えば8ビットで示す場合には0~255で示される。
図19は、各推定モジュール部の補間部M1cの動作の第2例を示す説明図である。図19では、横軸は時間を示し、縦軸(不図示)は肌色抽出部12により抽出された信号WV1を示す。言い換えると、図19に示す信号は、カメラCMにより撮像された画像の肌色領域FL1の緑色の1周期分の信号WV1(つまり、画素値)を示し、例えば8ビットで示す場合には0~255で示される。
図19に示す第2の補間例では、補間部M1cは、例えば最初のピークが得られる単調増加時又は単調減少時の信号WV1上の2点を通過する直線と、その直線の傾きを反転させた傾きと単調減少時又は単調増加時の信号WV1上の1点を通過する直線との交点を求める。更に、補間部M1cは、同様に次のピークが得られる単調増加時又は単調減少時の信号WV1上の2点を通過する直線と、その直線の傾きを反転させた傾きと単調減少時又は単調増加時の信号WV1上の1点を通過する直線との交点を求める。補間部M1cは、これら2個の交点を用いて補間(即ち、等角直線フィッティング)し、少なくとも1周期分の信号WV1を推定する。
より具体的には、補間部M1cは、例えば単調増加時の信号WV1上の2点(点A0(0,a0)と点A1(1,a1))を通過する直線L0と、その直線L0の傾きを反転させた傾きと単調減少時の信号WV1上の1点(点A2(2,a2))を通過する直線L1との交点を求める。更に、補間部M1cは、同様にして、例えば単調減少時の信号WV1上の2点(点B1(1,b1)と点B2(2,b2))を通過する直線N1と、その直線N1の傾きを反転させた傾きと単調増加時の信号WV1上の1点(点B0(0,b0))を通過する直線N0との交点を求める。a0,a1,a2,b0,b1,b2は、それぞれ信号WV1上の位置であってサンプル値である。図19では、直線L0,N0に対しては単調増加時、直線L1,N1に対しては単調減少時の信号WV1上の点を用いて説明しているが、単調増加時を単調減少時に読み替えても同様である。
線分PR2は直線L0と直線L1との交点の横軸上の位置と直線N0と直線N1との交点の横軸上の位置との差分を示している。点A1の横軸上の位置と直線L0と直線L1との交点の横軸上の位置との間の距離p0は、補間部M1cの等角直線フィッティングによって、数式(7)により示される。同様に、直線N0と直線N1との交点の横軸上の位置と点B1の横軸上の位置との間の距離p1は、補間部M1cの等角直線フィッティングによって、数式(8)により示される。これにより、補間部M1cは、線分PR2の長さを算出することができ、線分AS1との誤差が大きい線分NT1に比べて、線分AS1との誤差を低減することができるので、脈拍数の推定精度を向上することができる。
(第3の補間例)
図20は、各推定モジュール部の補間部M1cの動作の第3例を示す説明図である。図20では、横軸は時間を示し、縦軸(不図示)は肌色抽出部12により抽出された信号WV1を示す。言い換えると、図20に示す信号は、カメラCMにより撮像された画像の肌色領域FL1の緑色の1周期分の信号WV1(つまり、画素値)を示し、例えば8ビットで示す場合には0~255で示される。
図20は、各推定モジュール部の補間部M1cの動作の第3例を示す説明図である。図20では、横軸は時間を示し、縦軸(不図示)は肌色抽出部12により抽出された信号WV1を示す。言い換えると、図20に示す信号は、カメラCMにより撮像された画像の肌色領域FL1の緑色の1周期分の信号WV1(つまり、画素値)を示し、例えば8ビットで示す場合には0~255で示される。
図20に示す第3の補間例では、補間部M1cは、最初のピークが得られる信号WV1上の3点を通過する2次曲線の頂点と、次のピークが得られる信号WV1上の3点を通過する2次曲線の頂点を用いて補間(即ち、パラボラフィッティング)し、少なくとも1周期分の信号WV1を推定する。
より具体的には、補間部M1cは、例えば最初のピークが得られる信号WV1上の3点(点A0(0,a0)と点A1(1,a1)と点A2(2,a2))を通過する2次曲線R0の頂点の横軸上の位置と、次のピークが得られる信号WV1上の3点(点B0(0,b0)と点B1(1,b1)と点B2(2,b2))を通過する2次曲線R1の頂点の横軸上の位置とを求める。a0,a1,a2,b0,b1,b2は、それぞれ信号WV1上の位置であってサンプル値である。
線分PR3は2次曲線R0の頂点の横軸上の位置と2次曲線R1の頂点の横軸上の位置との差分を示している。点A1の横軸上の位置と2次曲線R0の頂点の横軸上の位置との間の距離p0は、補間部M1cのパラボラフィッティングによって、数式(9)により示される。同様に、2次曲線R1の頂点の横軸上の位置と点B1の横軸上の位置との間の距離p1は、補間部M1cの等角直線フィッティングによって、数式(10)により示される。これにより、補間部M1cは、線分PR3の長さを算出することができ、線分AS1との誤差が大きい線分NT1に比べて、線分AS1との誤差を低減することができるので、脈拍数の推定精度を向上することができる。
図21は、第4の実施形態の生体情報処理装置100Aの動作手順の一例を説明するフローチャートである。図21では、第3の実施形態の生体情報処理装置100の動作手順と異なる内容について説明し、同一の動作については同一のステップ番号を付与して説明を簡略化又は省略する。
図21において、ステップST14の後、補間部M1cは、フィルタ部F1の少なくとも1周期分の出力信号が入力され、フィルタ部F1の少なくとも1周期分の出力信号を基に、フィルタ部F1の少なくとも1周期分の出力信号が所定値(例えばゼロ)となる位置(時刻)の差分(時間差)を補間(例えば線形補間)し、補間後の少なくとも1周期分の出力信号を波形検定部M1a及び脈拍推定部M1bに出力する(ST20)。波形検定部M1a及び脈拍推定部M1bでは、補間部M1cの出力が用いられる。
例えば、波形検定部M1aは、補間部M1cからの少なくとも1周期分の出力信号が入力され、フィルタ部F1においてカットできなかったノイズ信号の区間を検出するために、入力された少なくとも1周期分の出力信号のうち所定条件(つまり、数式(2)、数式(3))を満たす信号(つまり、ノイズ信号)の区間があるか否かを判断する(ST15)。また、脈拍推定部M1bは、補間部M1cからの少なくとも1周期分の出力信号又は波形検定部M1aの少なくとも1周期分の出力信号を基に、数式(4)に従って、人の脈拍値(Pulse rate)を算出してセレクタ16に出力する(ST16)。ステップST15やステップST16の処理の詳細については第2の実施形態と同一であるため、説明を省略する。ステップST16以降の処理については、図15と同様であるため、説明を省略する。
以上により、本実施形態の生体情報処理装置100Aは、各推定モジュール部M1R,M2R,M3Rに対応する各フィルタ部F1,F2,F3の少なくとも1周期分の出力信号を基に、フィルタ部F1,F2,F3の少なくとも1周期分の出力信号が所定値(例えばゼロ)となる時間差を補間し、補間後のフィルタ部の少なくとも1周期分の出力信号を出力する。
これにより、生体情報処理装置100Aは、フィルタ部F1,F2,F3の少なくとも1周期分の出力信号を高精度に得ることができる。そのため、1周期分の出力信号のピークがサンプリング位置から外れている場合でも、本来得られるべき正確な出力信号のピーク間の時間差と実際に得られたフィルタ部の出力信号のピーク間の時間差との誤差を極小化することができる。したがって、より正確な人の脈拍値を推定することができる。
以上のように、第3、第4の実施形態による生体情報処理装置は、人が撮像された画像データを入力する画像入力部と、抽出部と、複数のフィルタ部と、複数の推定部と、出力部とを有する。抽出部は、上記画像入力部により入力された画像データの所定範囲の信号を抽出する。複数のフィルタ部はそれぞれ、互いに異なる係数を用いて、抽出部により抽出された所定範囲の信号のうち異なる係数に対応する信号を出力する。複数の推定部のそれぞれは、複数のフィルタ部のそれぞれに対応して設けられ、対応するフィルタ部の1周期分の出力とその出力に対応する画像データのフレームの入力間隔とを基に、上記人の脈拍値を推定する。出力部は、複数のフィルタ部の出力に応じて、複数の推定部により推定された複数の脈拍値からいずれかを選択して出力する。
また、本開示による生体情報処理方法は、以下のステップを有する。人が撮像された画像データを入力するステップ。入力された画像データの所定範囲の信号を抽出するステップ。異なる係数を有する複数のフィルタ部を用いて、抽出された前記所定範囲の信号のうち異なる係数に対応する各信号を出力するステップ。各々のフィルタ部の1周期分の出力とその出力に対応する画像データのフレームの入力間隔とを基に、上記人の脈拍値を推定するステップ。複数のフィルタ部の出力に応じて、推定された複数の脈拍値からいずれかを選択して出力するステップ。
本開示によれば、ユーザが撮像された画像データのフレームのコマ落ちが発生した場合でも、取得した画像データに含まれるユーザの肌色領域の画像処理により、ユーザの脈拍数を非接触で高精度に推定することができる。
各実施形態の生体情報処理装置は、例えば接触タイプの専用の脈拍数測定器を用いることなく、対象物(処理対象、例えば人。他の動物であってもよい。以下同様。)が撮像された画像データを用いて、生体情報の一例として、人の脈拍数を非接触で推定する。
より具体的には、各実施形態の生体情報処理装置は、人が撮像された画像データのフレームを入力し、入力された画像データの所定範囲(例えば肌色領域)の信号(画素値)を抽出し、異なるフィルタ係数を用いて、抽出された所定範囲の信号のうち異なる係数に対応する各信号を各フィルタ部において出力する。また、生体情報処理装置は、各フィルタ部の少なくとも1周期分の出力信号とその出力信号に対応する画像データのフレームの入力間隔とを基に、人の脈拍値を各フィルタ部に対応する推定モジュール部において推定し、各フィルタ部の出力信号に応じて、複数の推定モジュール部において推定された複数の脈拍値からいずれかを選択して出力する。
各実施形態の生体情報処理装置は、例えばデスクトップ型又はラップトップ型のPC(Personal Computer)、スマートフォン、携帯電話機、タブレット端末、PDA(Personal Digital Assistant)等のデータ通信端末であり、対象物の一例としての人を撮像するためのカメラ機能を有していてもよい。
以上、図面を参照して各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
本発明は、周辺環境の変化が生じた場合でも、周辺環境の変化に追従して、複数の被験者の中から異常の可能性のある被験者又は要注意の対象となる被験者の脈拍数を、リアルタイムかつ正確に検知する生体情報処理装置及び生体情報処理方法として有用である。
1 画像入力部
2 被験者領域選択部
3 被験者生体情報抽出部
4,4A 異常検知部
5,5A 閾値保持更新部
6 異常通知出力部
7 監視モニタ
10,10A,100,100A 生体情報処理装置
11 画像入力部
12 肌色抽出部
15 信頼度判定部
16 セレクタ
17 脈拍出力部
AP1,APk 異常通知取得装置
CM カメラ
F1,F2,F3 フィルタ部
FL1 肌色領域
M1,M2,M3,M1R,M2R,M3R 推定モジュール部
M1a 波形検定部
M1b 脈拍推定部
M1c 補間部
2 被験者領域選択部
3 被験者生体情報抽出部
4,4A 異常検知部
5,5A 閾値保持更新部
6 異常通知出力部
7 監視モニタ
10,10A,100,100A 生体情報処理装置
11 画像入力部
12 肌色抽出部
15 信頼度判定部
16 セレクタ
17 脈拍出力部
AP1,APk 異常通知取得装置
CM カメラ
F1,F2,F3 フィルタ部
FL1 肌色領域
M1,M2,M3,M1R,M2R,M3R 推定モジュール部
M1a 波形検定部
M1b 脈拍推定部
M1c 補間部
Claims (11)
- 画像データを入力する画像入力部と、
前記画像入力部により入力された前記画像データから、処理対象の画像範囲を選択する選択部と、
前記選択部により選択された前記処理対象の画像範囲の画像データを基に、前記画像範囲に対応する前記処理対象の脈拍数を推定する推定部と、
前記推定部により推定された前記処理対象の脈拍数の相対比較に応じて、異常の可能性のある対象又は要注意の対象を検知する検知部と、
前記検知部により検知された前記異常の可能性のある対象又は要注意の対象に関する情報を出力する出力部と、を備えた、
生体情報処理装置。 - 前記検知部は、前記推定部により推定された複数の前記処理対象の脈拍数を順に比較し、最も高い脈拍数に対応する処理対象を、前記異常の可能性のある対象又は要注意の対象として検知する、
請求項1に記載の生体情報処理装置。 - 前記異常の可能性のある対象又は要注意の対象の判定に用いる閾値を保持する保持部、を更に備え、
前記検知部は、前記推定部により推定された前記処理対象の脈拍数のうち最も高い脈拍数を前記閾値として更新して前記保持部に保持させる、
請求項2に記載の生体情報処理装置。 - 前記検知部は、前記推定部により推定された前記処理対象の脈拍数の平均値を算定し、算定された前記脈拍数の平均値より高い脈拍数に対応する前記処理対象を、前記異常の可能性のある対象又は要注意の対象として検知する、
請求項1に記載の生体情報処理装置。 - 前記異常の可能性のある対象又は要注意の対象の判定に用いる閾値を保持する保持部、を更に備え、
前記検知部は、前記推定部により推定された前記処理対象の脈拍数の平均値を前記閾値として更新して前記保持部に保持させる、
請求項4に記載の生体情報処理装置。 - 前記画像入力部により入力された前記画像データの所定範囲の信号を抽出する抽出部と、
異なる係数を用いて、前記抽出部により抽出された前記所定範囲の信号のうち前記異なる係数に対応する信号をそれぞれ出力する複数のフィルタ部と、を更に備え、
前記推定部を複数備え、
前記複数の推定部は、前記複数のフィルタ部のそれぞれに対応して設けられ、対応する前記フィルタ部の少なくとも1周期分の出力信号と前記少なくとも1周期分の出力信号に対応する前記画像データのフレームの入力間隔とを基に、前記人の脈拍値を推定し、
前記複数のフィルタ部の出力信号に応じて、前記複数の推定部により推定された前記複数の脈拍値からいずれかを選択して出力する出力部を更に備えた、
請求項1に記載の生体情報処理装置。 - 前記複数の推定部はそれぞれ、
前記複数の推定部のそれぞれに対応する前記複数のフィルタ部の1つの少なくとも1周期分の出力信号のうち、所定条件を満たす出力信号の区間を無効区間として排除する検定部と、
前記無効区間が排除された前記検定部の少なくとも1周期分の出力信号と前記検定部の少なくとも1周期分の出力信号に対応する前記画像データのフレームの入力間隔とを基に、前記人の脈拍値を推定する脈拍推定部と、を有する、
請求項6に記載の生体情報処理装置。 - 前記所定条件を満たす前記複数のフィルタ部のそれぞれの出力信号の区間が排除された前記検定部の少なくとも1周期分の出力信号を基に、前記無効区間の最も少ない前記検定部の少なくとも1周期分の出力信号を判定する判定部、を更に備え、
前記出力部は、前記無効区間の最も少ない前記検定部の少なくとも1周期分の出力信号に対応して前記脈拍推定部により推定された前記人の脈拍値を選択する、
請求項7に記載の生体情報処理装置。 - 前記複数の推定部はそれぞれ、前記複数の推定部のそれぞれに対応する前記複数のフィルタ部の1つの少なくとも1周期分の出力信号を基に、前記出力信号が所定値となる時間差を補間し、補間後の出力信号を出力する補間部を更に有する、
請求項6に記載の生体情報処理装置。 - 生体情報処理装置における生体情報処理方法であって、
画像データを入力するステップと、
入力された前記画像データから、処理対象の画像範囲を選択するステップと、
選択された前記処理対象の画像範囲の画像データを基に、前記画像範囲に対応する前記処理対象の脈拍数を推定するステップと、
推定された前記処理対象の脈拍数の相対比較に応じて、異常の可能性のある対象又は要注意の対象を検知するステップと、
検知された前記異常の可能性のある対象又は要注意の対象に関する情報を出力するステップと、を備えた、
生体情報処理方法。 - 入力された前記画像データの所定範囲の信号を抽出するステップと、
異なる係数を有する複数のフィルタ部を用いて、抽出された前記所定範囲の信号のうち前記異なる係数に対応する信号を出力するステップと、
前記複数のフィルタ部のそれぞれの少なくとも1周期分の出力信号と前記出力信号に対応する前記画像データのフレームの入力間隔とを基に、前記人の脈拍値を推定するステップと、
前記複数のフィルタ部の出力信号に応じて、推定された前記複数の脈拍値からいずれかを選択して出力するステップと、をさらに備えた、
請求項10に記載の生体情報推定方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15850716.0A EP3207865A4 (en) | 2014-10-16 | 2015-10-08 | Biological information processing device and biological information processing method |
US15/516,791 US10238345B2 (en) | 2014-10-16 | 2015-10-08 | Biological information processing device and biological information processing method |
CN201580056156.4A CN107072567B (zh) | 2014-10-16 | 2015-10-08 | 生物体信息处理装置和生物体信息处理方法 |
US16/259,516 US10653365B2 (en) | 2014-10-16 | 2019-01-28 | Biological information processing device and biological information processing method |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-211985 | 2014-10-16 | ||
JP2014-211986 | 2014-10-16 | ||
JP2014211986A JP6358506B2 (ja) | 2014-10-16 | 2014-10-16 | 生体情報監視装置及び生体情報監視方法 |
JP2014211985A JP6323809B2 (ja) | 2014-10-16 | 2014-10-16 | 生体情報推定装置及び生体情報推定方法 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/516,791 A-371-Of-International US10238345B2 (en) | 2014-10-16 | 2015-10-08 | Biological information processing device and biological information processing method |
US16/259,516 Continuation US10653365B2 (en) | 2014-10-16 | 2019-01-28 | Biological information processing device and biological information processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016059775A1 true WO2016059775A1 (ja) | 2016-04-21 |
Family
ID=55746337
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/005105 WO2016059775A1 (ja) | 2014-10-16 | 2015-10-08 | 生体情報処理装置及び生体情報処理方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US10238345B2 (ja) |
EP (1) | EP3207865A4 (ja) |
CN (1) | CN107072567B (ja) |
WO (1) | WO2016059775A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210166406A1 (en) * | 2019-11-28 | 2021-06-03 | Siemens Healthcare Gmbh | Patient follow-up analysis |
JP7472719B2 (ja) | 2020-08-27 | 2024-04-23 | サクサ株式会社 | 脈波特定装置およびプログラム |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6443842B2 (ja) | 2015-06-19 | 2018-12-26 | パナソニックIpマネジメント株式会社 | 顔検出装置、顔検出システム、及び顔検出方法 |
JP6585623B2 (ja) * | 2015-12-17 | 2019-10-02 | オリンパス株式会社 | 生体情報計測装置、生体情報計測方法および生体情報計測プログラム |
EP3291191B1 (en) * | 2016-08-29 | 2019-10-09 | Panasonic Intellectual Property Management Co., Ltd. | Suspicious person report system and suspicious person report method |
JP2018085597A (ja) * | 2016-11-22 | 2018-05-31 | パナソニックIpマネジメント株式会社 | 人物行動監視装置および人物行動監視システム |
US11690561B2 (en) * | 2018-03-09 | 2023-07-04 | Panasonic Intellectual Property Management Co., Ltd. | Cognitive function evaluation system |
JP7174358B2 (ja) * | 2019-03-29 | 2022-11-17 | 株式会社アイシン | 脈拍数検出装置、及び脈拍数検出プログラム |
CN111693763B (zh) * | 2020-05-22 | 2023-06-06 | 科华恒盛股份有限公司 | 针对模块化电气设备中功率模块的检测系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05184578A (ja) * | 1992-01-14 | 1993-07-27 | Ken Ishihara | 超音波診断装置 |
JPH1043429A (ja) * | 1996-08-07 | 1998-02-17 | Ikyo Kk | ゲーム機 |
JP2012239661A (ja) * | 2011-05-20 | 2012-12-10 | Fujitsu Ltd | 心拍数・呼吸数検出装置,方法およびプログラム |
JP2014036801A (ja) * | 2012-08-20 | 2014-02-27 | Olympus Corp | 生体状態観察システム、生体状態観察方法、およびプログラム |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5897506A (en) * | 1997-09-19 | 1999-04-27 | Cohn; Lipe | Pulse rate monitor for allergy detection and control |
US6305943B1 (en) * | 1999-01-29 | 2001-10-23 | Biomed Usa, Inc. | Respiratory sinus arrhythmia training system |
US6630164B2 (en) * | 2000-05-09 | 2003-10-07 | Kenneth Weisman | Dutasteride to prevent and treat atherosclerosis |
CN1910431A (zh) * | 2004-01-23 | 2007-02-07 | 奥林巴斯株式会社 | 图像处理系统以及照相机 |
JP4481682B2 (ja) * | 2004-02-25 | 2010-06-16 | キヤノン株式会社 | 情報処理装置及びその制御方法 |
JP2007054471A (ja) * | 2005-08-26 | 2007-03-08 | Nippon Koden Corp | 脈拍数測定装置及び脈拍数測定方法 |
US20090226071A1 (en) * | 2008-03-06 | 2009-09-10 | Motorola, Inc. | Method and Apparatus to Facilitate Using Visible Light Images to Determine a Heart Rate |
JP5770083B2 (ja) * | 2008-05-09 | 2015-08-26 | コーニンクレッカ フィリップス エヌ ヴェ | 複数ユーザの心拍パラメータの同期 |
JP5332406B2 (ja) | 2008-08-28 | 2013-11-06 | 富士通株式会社 | 脈拍計測装置、脈拍計測方法および脈拍計測プログラム |
US20100199231A1 (en) * | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Predictive determination |
JP2011236020A (ja) | 2010-05-11 | 2011-11-24 | Toshiba Elevator Co Ltd | エレベータ運転制御システム、その運転制御方法及びかご内クリーンシステム |
CN103026192B (zh) * | 2010-06-04 | 2015-11-25 | 泰克尼梅德有限责任公司 | 用于测量患者的内部体温的方法和装置 |
LV14514B (lv) | 2010-10-06 | 2012-08-20 | Latvijas Universitāte | Iekārta un metode sirdsdarbības parametru optiskai bezkontakta kontrolei |
JP6378086B2 (ja) | 2011-08-22 | 2018-08-22 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | データ管理システム及び方法 |
US20130245462A1 (en) * | 2011-09-06 | 2013-09-19 | Lluis Capdevila | Apparatus, methods, and articles of manufacture for determining and using heart rate variability |
TW201315438A (zh) * | 2011-10-14 | 2013-04-16 | Ind Tech Res Inst | 非接觸式之心脈量測方法及其系統 |
JP5822651B2 (ja) | 2011-10-26 | 2015-11-24 | 株式会社ソニー・コンピュータエンタテインメント | 個体判別装置および個体判別方法 |
JP6306833B2 (ja) * | 2012-07-06 | 2018-04-04 | アディダス アーゲー | グループパフォーマンスモニタリングシステムおよび方法 |
JP6290248B2 (ja) * | 2012-12-21 | 2018-03-07 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 遠隔検出された電磁放射線から生理学的情報を抽出するシステム及び方法 |
EP2976756A1 (en) | 2013-03-22 | 2016-01-27 | Koninklijke Philips N.V. | Method for detecting falls and a fall detector. |
WO2015121949A1 (ja) * | 2014-02-13 | 2015-08-20 | 富士通株式会社 | 信号処理装置、信号処理方法及び信号処理プログラム |
-
2015
- 2015-10-08 US US15/516,791 patent/US10238345B2/en active Active
- 2015-10-08 CN CN201580056156.4A patent/CN107072567B/zh active Active
- 2015-10-08 EP EP15850716.0A patent/EP3207865A4/en not_active Withdrawn
- 2015-10-08 WO PCT/JP2015/005105 patent/WO2016059775A1/ja active Application Filing
-
2019
- 2019-01-28 US US16/259,516 patent/US10653365B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05184578A (ja) * | 1992-01-14 | 1993-07-27 | Ken Ishihara | 超音波診断装置 |
JPH1043429A (ja) * | 1996-08-07 | 1998-02-17 | Ikyo Kk | ゲーム機 |
JP2012239661A (ja) * | 2011-05-20 | 2012-12-10 | Fujitsu Ltd | 心拍数・呼吸数検出装置,方法およびプログラム |
JP2014036801A (ja) * | 2012-08-20 | 2014-02-27 | Olympus Corp | 生体状態観察システム、生体状態観察方法、およびプログラム |
Non-Patent Citations (1)
Title |
---|
See also references of EP3207865A4 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210166406A1 (en) * | 2019-11-28 | 2021-06-03 | Siemens Healthcare Gmbh | Patient follow-up analysis |
US11823401B2 (en) * | 2019-11-28 | 2023-11-21 | Siemens Healthcare Gmbh | Patient follow-up analysis |
JP7472719B2 (ja) | 2020-08-27 | 2024-04-23 | サクサ株式会社 | 脈波特定装置およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US10238345B2 (en) | 2019-03-26 |
CN107072567B (zh) | 2021-01-15 |
EP3207865A1 (en) | 2017-08-23 |
US20190150853A1 (en) | 2019-05-23 |
CN107072567A (zh) | 2017-08-18 |
US10653365B2 (en) | 2020-05-19 |
EP3207865A4 (en) | 2017-10-25 |
US20170303862A1 (en) | 2017-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016059775A1 (ja) | 生体情報処理装置及び生体情報処理方法 | |
JP6745762B2 (ja) | 実時間信号分割及び基準点整列フレームワークを提供するシステム及び方法 | |
JP6323809B2 (ja) | 生体情報推定装置及び生体情報推定方法 | |
US20170000392A1 (en) | Micro-Camera Based Health Monitor | |
Hadjem et al. | An ECG monitoring system for prediction of cardiac anomalies using WBAN | |
JP2017176827A (ja) | 使用者の生物学的信号を測定するシステム及び方法 | |
JP2009131628A (ja) | バイタルサインを推定するシステム、方法およびプログラム | |
CN112165897A (zh) | 光体积描记图数据分析与呈现 | |
WO2015163369A1 (ja) | 心電波形検出装置、及び撮像装置 | |
JP2019030640A (ja) | 低電力モーションセンサーを利用してリアルタイム心拍イベントを感知する方法、及び電子装置 | |
US20140303503A1 (en) | Apparatus and method for determining respiration signals from a subject | |
US9218668B2 (en) | Differentiating among a plurality of subjects in a field-of-view based on vital signs | |
KR101483756B1 (ko) | 맥파 검출 방법 | |
Braojos et al. | Embedded real-time ECG delineation methods: A comparative evaluation | |
US20200342996A1 (en) | Methods of determining physiological information based on bayesian peak selection and monitoring devices incorporating the same | |
JP6358506B2 (ja) | 生体情報監視装置及び生体情報監視方法 | |
JP6167849B2 (ja) | 脈波検出装置、脈波検出方法及び脈波検出プログラム | |
JP6660601B2 (ja) | 生体情報監視装置及び生体情報監視方法 | |
US10826544B2 (en) | Signal filtering and signal processing apparatus and method | |
WO2021172147A1 (ja) | 生体指標演算装置および生体指標演算方法 | |
KR20180128159A (ko) | 고감도 다중 생체신호 취득 장치 및 이를 이용한 건강관리 방법 | |
WO2021044571A1 (ja) | 脈拍数推定方法、装置およびシステム | |
Choi | Assessment of Multiscale Information for Short Physiological Time Series | |
Kim et al. | Development of a Photoplethysmographic method using a CMOS image sensor for Smartphone |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15850716 Country of ref document: EP Kind code of ref document: A1 |
|
REEP | Request for entry into the european phase |
Ref document number: 2015850716 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2015850716 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 15516791 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |