WO2016059775A1 - 生体情報処理装置及び生体情報処理方法 - Google Patents

生体情報処理装置及び生体情報処理方法 Download PDF

Info

Publication number
WO2016059775A1
WO2016059775A1 PCT/JP2015/005105 JP2015005105W WO2016059775A1 WO 2016059775 A1 WO2016059775 A1 WO 2016059775A1 JP 2015005105 W JP2015005105 W JP 2015005105W WO 2016059775 A1 WO2016059775 A1 WO 2016059775A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
subject
biological information
information processing
pulse
Prior art date
Application number
PCT/JP2015/005105
Other languages
English (en)
French (fr)
Inventor
中村　剛
忠則 手塚
昌俊 松尾
熊本　義則
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2014211986A external-priority patent/JP6358506B2/ja
Priority claimed from JP2014211985A external-priority patent/JP6323809B2/ja
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to EP15850716.0A priority Critical patent/EP3207865A4/en
Priority to US15/516,791 priority patent/US10238345B2/en
Priority to CN201580056156.4A priority patent/CN107072567B/zh
Publication of WO2016059775A1 publication Critical patent/WO2016059775A1/ja
Priority to US16/259,516 priority patent/US10653365B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Definitions

  • the present invention relates to a biological information processing apparatus and a biological information processing method for monitoring human biological information.
  • Vital sensing technology that estimates human biological information is not limited to the field of home medical care and health management, but includes a variety of methods such as detection of sleepiness while driving, acquisition of a user's psychological state during a game, and detection of abnormal persons in a monitoring system. Application to a wide range of fields is expected. Currently, a device that senses biological information is mainly used in contact with a human body and needs to be worn by the user, so that the application range is limited.
  • a biological state observation system disclosed in Patent Document 1 is known.
  • This biological state observation system inputs an image including at least one person to be observed composed of a plurality of temporally continuous frames, detects a predetermined area in the image, and obtains information on the predetermined area.
  • Output detect biological information of the observed person included in the image from a predetermined region in the image, and determine predetermined biological parameters and biological information data used in the determination of abnormality of the biological state or changes in the data
  • the biological state observation system can observe the biological information of the subject and detect abnormalities in the biological state without causing the subject to feel uncomfortable or uncomfortable.
  • the biological parameter used for the comparison is a predetermined fixed value or a value updated via the Internet.
  • the value of this biological parameter is used.
  • an abnormal subject subject, biological information processing target
  • a pulse measuring device shown in Patent Document 2 calculates a feature amount of a captured input image, detects a pulse wave peak interval from the calculated feature amount, and calculates a pulse rate from the detected pulse wave peak interval.
  • the pulse measurement device has an estimated maximum error between a pulse rate having an effective peak interval based on an adoption rate indicating a ratio of an effective peak interval and a true pulse rate within a calculated value.
  • the frame rate indicating the number of frames captured per unit time is controlled so that
  • the objective is to detect numbers accurately in real time.
  • the biological information processing apparatus includes an image input unit that inputs image data, a selection unit, an estimation unit, a detection unit, and an output unit.
  • the selection unit selects an image range to be processed from the image data input by the image input unit.
  • the estimation unit estimates the pulse rate of the processing target corresponding to the image range based on the image data of the selected processing target image range.
  • the detection unit detects a target that may be abnormal or a target that needs attention according to the relative comparison of the estimated pulse rate of the processing target.
  • the output unit outputs information related to a detected object that may be abnormal or a target that needs attention.
  • the present disclosure is a biological information processing method in the biological information processing apparatus.
  • This method has the following steps. Inputting image data; A step of selecting an image range to be processed from the input image data. A step of estimating the pulse rate of the processing target corresponding to the same image range based on the image data of the selected image range of the processing target. A step of detecting a subject having a possibility of abnormality or a subject requiring attention according to the relative comparison of the estimated pulse rate of the processing target. Outputting information relating to a detected object having a possibility of abnormality or an object requiring attention;
  • the pulse rate of the subject who may be abnormal or the subject to be watched out of a plurality of subjects is calculated. Real-time and accurate detection.
  • FIG. 1A is a diagram schematically illustrating an example of the relationship between the contraction of a human heart and the amount of light absorbed in a blood vessel.
  • FIG. 1B is a diagram illustrating an example of a time-series change in light intensity.
  • FIG. 2 is a diagram illustrating an example of an absorptance for each wavelength of light in hemoglobin.
  • FIG. 3 is a block diagram illustrating an example of an internal configuration of the biological information processing apparatus according to the first embodiment.
  • FIG. 4A is a diagram illustrating an example of captured images of a plurality of subjects input from a camera.
  • FIG. 4B is a diagram illustrating an example of a designated range for each subject cut out by the subject region selection unit.
  • FIG. 4A is a diagram schematically illustrating an example of the relationship between the contraction of a human heart and the amount of light absorbed in a blood vessel.
  • FIG. 1B is a diagram illustrating an example of a time-series change in light intensity.
  • FIG. 4C is a diagram illustrating an example of a result of extracting the pulse rate for each subject.
  • FIG. 5 is a diagram illustrating a usage example of the biological information processing apparatus of each embodiment.
  • FIG. 6 is a flowchart illustrating an example of an operation procedure of the biological information processing apparatus according to the first embodiment.
  • FIG. 7 is a block diagram illustrating an example of an internal configuration of the biological information processing apparatus according to the second embodiment.
  • FIG. 8A is a diagram illustrating an example of captured images of a plurality of subjects input from a camera.
  • FIG. 8B is a diagram illustrating an example of a designated range for each subject cut out by the subject region selection unit.
  • FIG. 8C is a diagram illustrating an example of a result of extracting the pulse rate for each subject.
  • FIG. 9 is a flowchart illustrating an example of an operation procedure of the biological information processing apparatus according to the second embodiment.
  • FIG. 10A is a block diagram illustrating an example of an internal configuration of the biological information processing apparatus according to the third embodiment.
  • FIG. 10B is a diagram schematically illustrating an example of an operation outline of the biological information processing apparatus of each embodiment.
  • FIG. 11 is a diagram illustrating an example of a pulse calculation method using a conventional camera.
  • FIG. 12 is an explanatory diagram of a problem in the pulse calculation method shown in FIG.
  • FIG. 13 is a diagram illustrating an example of a pulse calculation method in the biological information processing apparatus according to the third embodiment.
  • FIG. 14 is an explanatory diagram illustrating an operation example of the waveform verification unit in each estimation module unit.
  • FIG. 10A is a block diagram illustrating an example of an internal configuration of the biological information processing apparatus according to the third embodiment.
  • FIG. 10B is a diagram schematically illustrating an example of an operation outline of the biological information processing
  • FIG. 15 is a flowchart illustrating an example of an operation procedure of the biological information processing apparatus according to the third embodiment.
  • FIG. 16 is a block diagram illustrating an example of an internal configuration of the biological information processing apparatus according to the fourth embodiment.
  • FIG. 17 is an explanatory diagram of a problem when the peak of the observed waveform for one period is off the sampling position.
  • FIG. 18 is an explanatory diagram illustrating a first example of the operation of the interpolation unit of each estimation module unit.
  • FIG. 19 is an explanatory diagram illustrating a second example of the operation of the interpolation unit of each estimation module unit.
  • FIG. 20 is an explanatory diagram illustrating a third example of the operation of the interpolation unit of each estimation module unit.
  • FIG. 21 is a flowchart illustrating an example of an operation procedure of the biological information processing apparatus according to the fourth embodiment.
  • FIG. 1A is a diagram schematically illustrating an example of the relationship between the contraction of a human heart and the amount of light absorbed in a blood vessel.
  • FIG. 1B is a diagram illustrating an example of a time-series change in light intensity.
  • FIG. 1A shows that the volume of a blood vessel changes in synchronization with a human heart systole.
  • the amount of absorption of light for example, light in a specific wavelength region shown in FIG. 2
  • the intensity of light also decreases (see FIG. 1B).
  • the pulse wave refers to a wave motion when the pressure change in the blood vessel generated when blood is pushed out to the aorta due to contraction of the heart is transmitted in the distal direction.
  • the horizontal axis indicates time
  • the vertical axis indicates the intensity of a signal (photoelectric pulse wave) obtained by a change in the amount of absorbed light. That is, in FIG. 1B, when the peak appears, the amount of light absorption is small, so the volume of the blood vessel is not increased, and when the minimum value appears, the amount of light absorption is large, so The volume is increasing. It should be noted that although there is a slight delay due to the distance between the heart and the peripheral portion, a slight delay is seen, but the heart contraction and the change in the intensity of the photoelectric pulse wave basically fluctuate in synchronization.
  • FIG. 2 is a diagram showing an example of the absorption rate for each wavelength of light in hemoglobin.
  • FIG. 2 shows that, for example, hemoglobin (blood) easily absorbs a wavelength of 400 nm (that is, green).
  • the description will be made using the fact that the green light component has a high absorptance, but for example, the reflectance of the red light component (for example, a wavelength exceeding 1000 nm) is high. It may be explained using.
  • FIG. 3 is a block diagram illustrating an example of an internal configuration of the biological information processing apparatus 10 according to the first embodiment.
  • the biological information processing apparatus 10 illustrated in FIG. 3 includes a camera CM, an image input unit 1, a subject region selection unit 2 (region selection unit), a subject biological information extraction unit 3 (extraction unit), and an abnormality detection unit 4.
  • the threshold value holding / updating unit 5, the abnormality notification output unit 6, and the monitoring monitor 7 are included.
  • the biological information processing apparatus 10 may further include an abnormality notification acquisition device AP1,..., APk (see later).
  • the camera CM captures n subjects as estimation objects at a predetermined frame rate (for example, 10 fps: frame per second) and outputs the images to the image input unit 1.
  • the camera CM may not be included in the biological information processing apparatus 10, and may be connected to the biological information processing apparatus 10 via a network, for example.
  • the network is the Internet or an intranet connected with a wireless network or a wired network as an interface.
  • the wireless network is, for example, a wireless LAN (Local Area Network), a wireless WAN (Wide Area Network), 3G, LTE (Long Term Evolution), or WiGig (Wireless Gigabit).
  • the wired network is, for example, IEEE 802.3 or Ethernet (ETHERNET (registered trademark)).
  • the image input unit 1 continuously inputs (acquires) frames of image data in which a person is captured by the camera CM at a predetermined frame rate and outputs the frames to the subject region selection unit 2. Note that when the camera CM and the biological information processing apparatus 10 are configured separately, the image input unit 1 continuously receives frames of image data transmitted from the camera CM.
  • the subject region selection unit 2 as an example of the selection unit includes a plurality of subjects (for example, Mr. A, Mr. B, and Mr. C) in each frame (see FIG. 4A) of the image data input by the image input unit 1.
  • the designated ranges RN1, RN2, and RN3 (see FIG. 4B) that are image ranges including individual subjects are selected and cut out, and the designated range RN1 and the designated range RN2 of Mr. A are selected.
  • each image data in the designated range RN3 is output to the subject biometric information extraction unit 3.
  • FIG. 4A is a diagram illustrating an example of captured images IM1 of a plurality of subjects input from the camera CM.
  • FIG. 4B is a diagram illustrating an example of a designated range for each subject cut out by the subject region selection unit 2.
  • the subject region selection unit 2 performs, for example, a well-known face detection process on the data of the captured image IM1.
  • the designated range RN1, the designated range RN2, the designated range RN2 of Mr. B, and the designated range RN3 of Mr. C are individually detected, and the detection result (the designated range RN1, designated by Mr. B, RN2, C Each image data in the designated range RN3).
  • the subject biometric information extraction unit 3 as an example of the estimation unit is designated based on the respective image data of the designated ranges RN1, RN2, and RN3 that are image ranges including individual subjects output from the subject region selection unit 2.
  • a pulse rate as an example of biological information of subjects (Mr. A, Mr. B, Mr. C) corresponding to each of the ranges RN1, RN2, and RN3 is estimated.
  • the subject biological information extraction unit 3 outputs information on the pulse rate of each of Mr. A, Mr. B, and Mr. C, which is the estimation result, to the abnormality detection unit 4. Since the method for estimating the pulse rate in the subject biological information extraction unit 3 is a known technique, a detailed description thereof will be omitted.
  • the subject biological information extraction unit 3 includes at least pixel values of the skin color portion in the plurality of frames of the image data of Mr. A corresponding to the designated range RN1 cut out by the subject region selection unit 2. Based on the signal for one period, a time corresponding to one period (pulse wave interval, PWI: Pulse Wave Interval) is extracted, and using this extracted PWI and Equation (1), A's pulse rate ( Calculate Pulse Rate). Similarly, the subject biometric information extraction unit 3 at least of the pixel values of the skin color portions in the plurality of frames of each of the image data of Mr. B and Mr. C corresponding to the designated ranges RN2 and RN3 cut out by the subject region selection unit 2. Based on the signal for one period, the time corresponding to one period (pulse wave interval, PWI) is extracted, and using this extracted PWI and Equation (1), the pulse rates of Mr. B and Mr. C are respectively determined. Calculate.
  • PWI Pulse Wave Interval
  • the abnormality detection unit 4 as an example of the detection unit relatively compares the calculation results (estimation results) of the pulse rate of the plurality of subjects (Mr. A, Mr. B, Mr. C) output from the subject biological information extraction unit 3. (For example, a maximum value search), a subject who may be abnormal or a subject to be watched is detected, and the detection result is output to the abnormality notification output unit 6. Further, the abnormality detection unit 4 stores the threshold value obtained in the relative comparison in the threshold value holding update unit 5.
  • the threshold value referred to in the present embodiment is a subject who may be abnormal or a subject of caution among a plurality of subjects (for example, Mr. A, Mr. B, and Mr. C) whose pulse rate is to be estimated. It is a judgment value (maximum value) of the pulse rate used for specifying the subject. Therefore, in this embodiment, a subject who has a pulse rate less than the threshold is not detected as a subject who may be abnormal or a subject to be watched.
  • the abnormality detection unit 4 calculates the pulse rate of Mr. A among the calculation results (estimation results) of the pulse rate of the plurality of subjects (Mr. A, B, and C) output from the subject biological information extraction unit 3. After storing in the threshold value holding / updating unit 5 as the initial value of the threshold value, the calculation results of the pulse rate are sequentially compared.
  • the abnormality detection unit 4 determines that the pulse rate of Mr. B is larger than the pulse rate of Mr. A by comparing the pulse rate of Mr. A with the pulse rate of B (see FIG. 4C). Mr. B's pulse rate is selected as a threshold value, and the threshold value of the threshold holding / updating unit 5 is updated to Mr. B's pulse rate. Next, when the pulse rate of Mr. C is greater than the pulse rate of Mr. B (see FIG. 4C), the abnormality detection unit 4 determines that Mr. C has a higher comparison than the pulse rate of Mr. B. Is selected as a threshold value, and the threshold value of the threshold holding / updating unit 5 is updated to Mr. C's pulse rate.
  • the abnormality detection unit 4 uses the pulse rate of Mr. A as a threshold value by comparing the pulse rate of Mr. C with the pulse rate of Mr. A.
  • the threshold value of the threshold holding / updating unit 5 is updated to Mr. A's pulse rate. If Mr. C's pulse rate is larger than Mr. A's pulse rate (see FIG. 4C), the threshold value of Mr. C is set as the threshold value.
  • FIG. 4C is a diagram illustrating an example of a result of extracting the pulse rate for each subject. In the example shown in FIG. 4C, since Mr. C's pulse rate is higher than the pulse rate of the other two people (Mr. A and Mr. B), the abnormality detection unit 4 performs C corresponding to the pulse rate selected as the threshold value. Is detected as a subject having a possibility of abnormality or a subject requiring attention.
  • the threshold holding update unit 5 is configured using, for example, RAM (Random Access Memory), semiconductor memory, HDD (Hard Disk Drive), or SSD (Solid State Drive), and the held pulse rate selected by the anomaly detection unit 4 Alternatively, a value indicating the updated pulse rate is stored as a threshold value.
  • the abnormality notification output unit 6 outputs information related to a subject who may be abnormal or a subject requiring attention to the monitoring monitor 7 based on the detection result output from the abnormality detection unit 4.
  • the abnormality notification output unit 6 displays information on a subject who may be abnormal or a subject requiring attention on the monitor monitor 7. Is displayed in an identifiable manner (see FIG. 5).
  • FIG. 5 is a diagram illustrating a usage example of the biological information processing apparatus 10 of each embodiment or the biological information processing apparatus 10A illustrated in FIG.
  • the abnormality notification output unit 6 is, for example, a subject having a possibility of abnormality or a subject requiring attention around the subject P1 on the monitoring monitor 7.
  • a marker to be displayed for example, an exclamation mark or an exclamation mark
  • FIG. 5 for example, when the biological information processing apparatus 10 of the present embodiment is installed in a store, a subject (shopper) in the store is imaged by a monitoring camera (camera CM). And the pulse rate of four test subjects P11, P12, P13, and P14 is estimated non-contactingly.
  • a monitoring monitor 7 installed in a monitoring room (for example, a store's backyard), a marker indicating that there is a subject having a pulse rate or a possibility of abnormality or a subject requiring attention is displayed.
  • the store manager MR for example, the store manager
  • the abnormality notification output unit 6 is information on a subject who may be abnormal or a subject to be watched. May be output from a speaker.
  • the person in charge MR of the store for example, the store manager
  • the subject who is likely to be abnormal (shopper) or the subject who needs attention (shopper) is the store. It is possible to easily confirm that the user is in the room only with the sound from the speaker.
  • the monitoring monitor 7 is a display configured using, for example, an LCD (Liquid Crystal Display) or an organic EL (Electroluminescence), displays image data captured by the camera CM, and further outputs an abnormality notification output unit as necessary. Based on the information about the subject in question output from 6, a marker indicating the subject who may be abnormal or the subject to be watched is displayed around the subject. For example, when the biological information processing apparatus 10 is installed in a store, the monitor 7 is preferably installed in a monitoring room (a store backyard).
  • a monitoring room a store backyard
  • the abnormality notification acquisition devices AP1,..., APk (k: an integer equal to or greater than 1) send information from the abnormality notification output unit 6 to a subject other than the monitoring monitor 7 for information regarding a subject who may be abnormal or subject to attention.
  • Provided as an output destination for example, supports the monitoring work for the monitoring monitor 7 of the manager of the store in the monitoring room (for example, the store manager).
  • the abnormality notification acquisition devices AP1 to APk are, for example, a wristband having a wireless communication function and a vibration function using Bluetooth (registered trademark), a head-mounted display having a wireless communication function, for example, a lighting device installed in a store or an audio output Any one or a combination of devices.
  • the abnormality notification acquisition devices AP1 to APk are wristbands having a wireless communication function and a vibration function, and each clerk in the store wears each abnormality notification acquisition device AP1 to APk (k is an integer of 1 or more).
  • Each of the abnormality notification acquisition devices AP1 to APk operates according to the output from the abnormality notification output unit 6, and the vibration function is activated to indicate that there is a subject who may be abnormal or needs attention. Can let you know.
  • the store clerk closest to the monitoring room refers to the marker displayed on the monitoring monitor 7 to protect the corresponding subject or monitor whether the subject performs suspicious behavior. can do.
  • the abnormality notification acquisition devices AP1 to APk are head mounted displays having a wireless communication function, and similarly, each clerk in the store wears each abnormality notification acquisition device AP1 to APk (k is an integer of 1 or more).
  • the abnormality notification acquisition devices AP1 to APk have, on the head-mounted display, a subject who may have an abnormality or a subject who needs attention, according to the output from the abnormality notification output unit 6. To the store clerk. Thereby, it is not necessary to check the marker displayed on the monitor 7, and for example, the salesclerk closest to the subject is protected whether the subject is protected or the subject does not perform suspicious behavior. can do.
  • the abnormality notification acquisition devices AP1 to APk are lighting devices (for example, LEDs: Light Emitting Diode) or audio output devices (for example, speakers) installed in the store
  • the abnormality notification acquisition devices AP1 to APk are Depending on the output from the abnormality notification output unit 6, a subject other than the store manager or the store clerk (for example, a shopper) who is not likely to notice a change in the lighting pattern or sound, or a subject who may be abnormal or a subject of caution
  • the clerk can be informed that there is a subject. Thereby, there is no need to check the marker displayed on the monitor 7, and for example, the salesclerk closest to the subject in question at the target position in the store corresponding to the lighting pattern or sound protects the subject. Or, it can be monitored whether the subject does not perform suspicious behavior.
  • FIG. 6 is a flowchart for explaining an example of an operation procedure of the biological information processing apparatus 10 according to the first embodiment.
  • the image input unit 1 continuously inputs (acquires) frames of image data in which a person is captured by the camera CM at a predetermined frame rate and outputs the frames to the subject region selection unit 2 (ST1). ).
  • the subject area selection unit 2 includes an image in which individual subjects are included among a plurality of subjects (Mr. A, Mr. B, and Ms. C) in each frame (see FIG. 4A) of the image data input by the image input unit 1.
  • the designated ranges RN1, RN2, and RN3 (see FIG. 4B) that are ranges are selected and cut out (ST2).
  • the subject area selection unit 2 outputs the image data in each of the designated range RN1 of Mr. A, the designated range RN2 of Mr. B, and the designated range RN3 of Mr. C to the subject biological information extracting unit 3.
  • the subject biometric information extraction unit 3 uses the designated ranges RN1, RN2, and RN3 based on the image data of the designated ranges RN1, RN2, and RN3 that are image ranges that include individual subjects output from the subject region selection unit 2.
  • the pulse rate as an example of the biological information of subjects (Mr. A, Mr. B, Mr. C) corresponding to is estimated (ST3).
  • the subject biological information extraction unit 3 outputs information on the pulse rate of each of Mr. A, Mr. B, and Mr. C, which is the estimation result, to the abnormality detection unit 4.
  • the subject biometric information extraction unit 3 calculates the pulse rate of all subjects (Mr. A, Ms. B, Ms. C) (ST4, NO)
  • the processes of step ST2 and step ST3 are repeated.
  • the abnormality detection unit 4 determines that the subject bioinformation extraction unit 3
  • the pulse rate calculation results (estimation results) of the plurality of subjects (Mr. A, Mr. B, Mr. C) that have been output are relatively compared (for example, a maximum value search) (ST5), A subject to be watched is detected, and the detection result is output to the abnormality notification output unit 6. Further, the abnormality detection unit 4 stores the threshold value obtained in the relative comparison in the threshold value holding update unit 5.
  • the abnormality notification output unit 6 Based on the detection result output from the abnormality detection unit 4, the abnormality notification output unit 6, for example, provides information on the subject with the highest pulse rate among all subjects, a subject who may be abnormal, or a subject requiring attention. Is output to the monitor 7 as information about the subject to be (ST6).
  • the abnormality notification output unit 6, for example, provides a marker (for example, an exclamation mark) indicating that the subject is a subject having a possibility of abnormality or a subject requiring attention around the subject P ⁇ b> 1 on the monitor monitor 7. Display.
  • the biological information processing apparatus 10 uses the designated ranges RN1 and RN2 that are image ranges of individual subjects from image data obtained by imaging n (for example, Mr. A, Mr. B, and Mr. C) subjects. , RN3, and the pulse rate of the subject corresponding to the image range is estimated based on the image data of the designated ranges RN1, RN2, and RN3 that are the image ranges of the selected individual subjects.
  • the biological information processing apparatus 10 detects a subject having a possibility of abnormality or a subject requiring attention according to a relative comparison of the estimated pulse rates of all n subjects, and the subject corresponding to the detection result Output information about.
  • the pulse rate When a change in the surrounding environment (for example, changes in room temperature or temperature) occurs when estimating the biological information (for example, pulse rate) of the subject, the pulse rate also increases as the room temperature or temperature increases.
  • the biological information processing apparatus 10 detects a subject whose pulse rate value is higher (conspicuous) than other subjects by relative comparison of estimation results of individual pulse rates for all subjects by the above-described processing. For this reason, the biological information processing apparatus 10 follows a change in the surrounding environment as compared to a technique that uses a certain threshold value when estimating the pulse rate, and a subject who is likely to be abnormal or needs attention from a plurality of subjects.
  • the pulse rate of the subject to be detected can be accurately detected in real time.
  • the biological information processing apparatus 10 compares the estimated pulse rate of n subjects in order, and determines the subject corresponding to the highest pulse rate as a subject having a possibility of abnormality or a subject requiring attention. As a result of the relative comparison, a conspicuous subject having a high pulse rate as compared with other subjects can be detected as a subject having a possibility of abnormality or a subject requiring attention.
  • the biological information processing apparatus 10 can update and hold the highest pulse rate among the estimated n subject's pulse rates as a threshold value.
  • the threshold as the maximum value updated at the previous estimation is used to follow the change in the surrounding environment, and the subject who may be abnormal or It is possible to detect a subject whose pulse rate is the subject of attention.
  • FIG. 7 is a block diagram illustrating an example of an internal configuration of the biological information processing apparatus 10A according to the second embodiment.
  • the same components as those of the biometric information processing apparatus 10 illustrated in FIG. 7 the same components as those of the biometric information processing apparatus 10 illustrated in FIG.
  • a biological information processing apparatus 10A illustrated in FIG. 7 includes a camera CM, an image input unit 1, a subject area selection unit 2, a subject biological information extraction unit 3, an abnormality detection unit 4A, a threshold holding update unit 5A, The notification output unit 6 and the monitoring monitor 7 are included.
  • the biological information processing apparatus 10A may be configured to further include abnormality notification acquisition devices AP1,..., APk, as in the first embodiment.
  • abnormality notification acquisition devices AP1,..., APk are the same as those in the first embodiment, and thus description thereof is omitted.
  • the abnormality detection unit 4A as an example of the detection unit relatively compares the calculation results (estimation results) of the pulse rates of a plurality of subjects (A, B, C) output from the subject biological information extraction unit 3. (For example, an average value is calculated), a subject who may be abnormal or a subject to be watched is detected, and the detection result is output to the abnormality notification output unit 6. Further, the abnormality detection unit 4A stores the threshold value (average value) obtained in the relative comparison in the threshold value holding update unit 5A.
  • the threshold value referred to in the present embodiment is a subject who may be abnormal or a subject of caution among a plurality of subjects (for example, Mr. A, Mr. B, and Mr. C) whose pulse rate is to be estimated. It is a judgment value (average value) of the pulse rate used for specifying a subject. Therefore, in this embodiment, a subject who has a pulse rate less than the threshold is not detected as a subject who may be abnormal or a subject to be watched.
  • the abnormality detection unit 4A calculates an average value of the calculation results (estimation results) of a plurality of subjects (A, B, C) output from the subject biometric information extraction unit 3, and maintains a threshold value.
  • the initial value of the threshold value stored in advance in the updating unit 5A is updated to the calculated average value.
  • the anomaly detection unit 4A compares the pulse rate of each of Mr. A, Mr. B, and Mr. C with a threshold value (average value). Since the pulse rate of Mr. A and the pulse rate of Mr. C are less than the average value (see FIG. 8C), Mr. A and Mr. C are excluded as subjects who may be abnormal or subjects who need attention. Furthermore, the abnormality detection unit 4A detects Mr. B whose pulse rate exceeds the average value shown in FIG. 8C as a subject having a possibility of abnormality or a subject to be watched.
  • FIG. 8C is a diagram illustrating an example of a result of extracting the pulse rate for each subject. In the example shown in FIG. 8C, since the pulse rate of Mr.
  • the abnormality detection unit 4A has B whose pulse rate exceeds the threshold value. Is detected as a subject having a possibility of abnormality or a subject requiring attention.
  • description is abbreviate
  • the threshold value holding / updating unit 5A is configured using, for example, a RAM, a semiconductor memory, an HDD, or an SSD, and stores the average value of the pulse rate of each subject calculated by the abnormality detection unit 4A as a threshold value.
  • FIG. 9 is a flowchart illustrating an example of an operation procedure of the biological information processing apparatus 10 ⁇ / b> A according to the second embodiment.
  • the same description as that of FIG. 6 is assigned the same step number, and the description is simplified or omitted, and different contents will be described.
  • the abnormality detection unit 4A is the subject biological information extraction unit. 3 calculates the average value of the pulse rate calculation results (estimation results) of the plurality of subjects (Mr. A, Mr. B, Ms. C) output from 3 (ST5A), and the threshold value stored in advance in the threshold holding and updating unit 5A Is updated to the calculated average value (ST7).
  • the abnormality detection unit 4A performs a relative comparison of each pulse rate of Mr. A, Mr. B, and Mr. C using the threshold value (average value) calculated in step ST5A, and the pulse rate of Mr. A and the pulse rate of Mr. C. Since it is less than the average value (see FIG. 8C), Mr. A and Mr. C are excluded as subjects who may be abnormal or subjects who need attention. Furthermore, the abnormality detection unit 4A detects Mr. B whose pulse rate exceeds the average value shown in FIG. 8C as a subject having a possibility of abnormality or a subject to be watched (ST6A), and notifies the abnormality of the detection result. Output to the output unit 6.
  • the abnormality notification output unit 6 is based on the detection result output from the abnormality detection unit 4A, for example, among all the subjects, for example, at least one subject (e.g., B) whose pulse rate exceeds the average value that is a threshold value. (See FIG. 8C) is output to the monitoring monitor 7 as information on a subject who may be abnormal or a subject to be watched (ST6A).
  • the biological information processing apparatus 10A calculates the average value of the estimated pulse rate of n persons (for example, Mr. A, Mr. B, and Mr. C), and is higher than the average value of the pulse rate. Less than n subjects corresponding to the pulse rate (for example, Mr. B, see FIG. 8C) are detected as subjects who may be abnormal or subjects who need attention. Therefore, the biological information processing apparatus 10 ⁇ / b> A treats a subject having a pulse rate higher than the average value of the pulse rate of all n subjects as estimation targets as a result of the relative comparison as a subject having a possibility of abnormality or a subject requiring attention. Can be detected as a subject.
  • n persons for example, Mr. A, Mr. B, and Mr. C
  • the biological information processing apparatus 10 ⁇ / b> A treats a subject having a pulse rate higher than the average value of the pulse rate of all n subjects as estimation targets as a result of the relative comparison as a subject having a possibility of abnormality or a subject requiring attention.
  • the biological information processing apparatus 10A can update and hold the estimated average value of the pulse rate of n subjects as a threshold value, for example, compared to a technique using a certain threshold value, When periodically estimating the pulse rate, use the threshold value as the average value updated during the previous estimation to follow the changes in the surrounding environment, The subject whose pulse rate is the subject can be detected.
  • the biological information processing apparatus can be used for an object (for example, a subject, a processing object.
  • the object is a human without using a contact-type dedicated pulse rate measuring device, for example.
  • the subject's pulse rate is estimated in a non-contact manner as an example of biometric information, and the estimated subject's pulse rate is calculated. Based on this, a subject who is likely to be abnormal or a subject who needs attention is detected and output.
  • the biological information processing apparatus of each embodiment inputs image data obtained by imaging n (n: an integer of 2 or more) subjects.
  • the image range of each subject is selected from the input image data, and the pulse rate of the subject corresponding to the image range is estimated based on the image data of the selected image range of each subject.
  • the biological information processing apparatus detects a subject having a possibility of abnormality or a subject to be watched according to the relative comparison of the estimated pulse rates of n subjects, and corresponds to the detection result. Output information about the subject.
  • the biological information processing apparatus of each embodiment is a data communication terminal such as a desktop or laptop PC (Personal Computer), a smartphone, a mobile phone, a tablet terminal, or a PDA (Personal Digital Assistant), and an example of an object It may have a camera function for imaging a person.
  • a data communication terminal such as a desktop or laptop PC (Personal Computer), a smartphone, a mobile phone, a tablet terminal, or a PDA (Personal Digital Assistant), and an example of an object It may have a camera function for imaging a person.
  • FIG. 10A is a block diagram illustrating an example of an internal configuration of the biological information processing apparatus 100 according to the third embodiment.
  • FIG. 10B is a diagram schematically illustrating an example of an operation outline of the biological information processing apparatuses 100 and 100A (FIG. 16) according to the present embodiment and a fourth embodiment to be described later.
  • a biological information processing apparatus 100 illustrated in FIG. 10A includes a camera CM, an image input unit 11, a skin color extraction unit 12, a plurality (for example, three) filter units F1, F2, and F3, and a plurality (for example, three).
  • the configuration includes estimation module units M1, M2, and M3, a reliability determination unit 15, a selector 16, and a pulse output unit 17.
  • the estimation module unit M1 is provided corresponding to the filter unit F1
  • the estimation module unit M2 is provided corresponding to the filter unit F2
  • the estimation module unit M3 is provided corresponding to the filter unit F3.
  • the camera CM images a person who is the object at a predetermined frame rate (for example, 10 fps: frame per second) and outputs the image to the image input unit 11.
  • the camera CM may not be included in the biological information processing apparatus 100, and may be connected to the biological information processing apparatus 100 via a network, for example.
  • the network is the Internet or an intranet connected with a wireless network or a wired network as an interface.
  • the wireless network is, for example, a wireless LAN (Local Area Network), a wireless WAN (Wide Area Network), 3G, LTE (Long Term Evolution), or WiGig (Wireless Gigabit).
  • the wired network is, for example, IEEE 802.3 or Ethernet (ETHERNET (registered trademark)).
  • the image input unit 11 continuously inputs (acquires) frames of image data in which a person is captured by the camera CM at a predetermined frame rate and outputs the frames to the skin color extraction unit 12.
  • the image input unit 11 continuously receives frames of image data transmitted from the camera CM.
  • the skin color extraction unit 12 as an example of the extraction unit outputs a signal (for example, a pixel value and a luminance value) of a predetermined range (for example, a skin color region FL1 shown in FIG. 10B) in each frame of the image data input by the image input unit 11.
  • the number of frames is extracted using at least one period (period is known).
  • the time-series signal extracted by the skin color extraction unit 12 is, for example, an original signal including a noise signal shown on the lower side of the human face shown in FIG. 10B.
  • the skin color extracting unit 12 outputs the extracted signal within a predetermined range to each of the filter units F1 to F3.
  • the filter units F1, F2, and F3 are configured using band pass filters using different filter coefficients, and the operations are common except that the filter coefficients are different. Therefore, the operation of the filter unit F1 is exemplified. explain.
  • the filter unit F1 averages the signal (pixel value) within a predetermined range output from the skin color extraction unit 12, thereby removing a noise signal included when the camera CM captures an image, for example.
  • the filter unit F1 uses a filter coefficient corresponding to the filter unit F1. Then, the frequency components other than the fundamental frequency of the pulse wave are cut.
  • the output of the filter unit F1 is input to the estimation module unit M1.
  • the filter coefficient of the filter unit F1 is set in advance so that, for example, a signal of 30 to 60 bpm passes through the filter unit F1.
  • the filter coefficient of the filter unit F2 is set in advance so that, for example, a signal of 50 to 90 bpm passes through the filter unit F2.
  • the filter coefficient of the filter unit F3 is set in advance so that, for example, a signal of 70 to 120 bpm passes through the filter unit F3.
  • the pulse rate of an adult at rest is 60 to 80 bpm.
  • the subject object, subject to biological information processing
  • It is set to 30 to 120 bpm.
  • the output signals of the filter units F1 to F3 approach sine waves (each of the multiband filters shown in FIG. 10B). Waveform reference). Therefore, it is possible to improve the estimation accuracy of the pulse wave using the outputs of the filter units F1 to F3.
  • the estimation module unit M1 includes a waveform verification unit M1a and a pulse estimation unit M1b.
  • the configuration of the estimation module units M1, M2, and M3 is the same, the operation of the estimation module unit M1 will be described as an example.
  • the waveform verification unit M1a as an example of the verification unit receives at least one cycle of the output signal of the filter unit F1, and detects at least one input of the noise signal segment that could not be cut by the filter unit F1. It is determined whether or not there is a section of a signal (that is, a noise signal) that satisfies a predetermined condition (that is, Expression (2) and Expression (3)) among the output signals for the period.
  • the waveform verification unit M1a excludes the section of the output signal determined to satisfy the predetermined condition as an invalid section (see FIG. 14).
  • FIG. 14 is an explanatory diagram illustrating an operation example of the waveform verification unit in each of the estimation module units M1, M2, and M3.
  • FIG. 14 shows, for example, time-series changes in the amplitude of the output signal for at least one cycle of the filter unit F1, and P1, P2, P3, P4, P5, P6, and P7 are, for example, the waveform verification unit M1a.
  • MPA Analog Peak to peak amplitude
  • MPA Peak to peak amplitude
  • PPA Peak to Peak Amplitude
  • ⁇ is a coefficient for defining the upper limit allowed by the amplitude of the output signal
  • ⁇ is a coefficient for defining the lower limit
  • the waveform verification unit M1a can exclude signals in which the amplitude of the output signal for at least one cycle of the filter unit F1 is extremely larger than a predetermined value (for example, zero). Further, according to Equation (3), the waveform verification unit M1a can exclude a signal in which the amplitude of the output signal for at least one cycle of the filter unit F1 is extremely smaller than a predetermined value (for example, zero).
  • the waveform verification unit M1a determines that there is a signal section that satisfies a predetermined condition (that is, Formula (2), Formula (3))
  • the waveform verification unit M1a outputs a signal for at least one cycle excluding the corresponding signal section. It outputs to the pulse estimation part M1b and the reliability determination part 15.
  • the waveform verification unit M1a determines that there is no section of the signal that satisfies the predetermined condition (that is, the formulas (2) and (3)), the output signal for at least one cycle of the filter unit F1 is used as it is. It outputs to the pulse estimation part M1b and the reliability determination part 15.
  • the processing of the waveform verification unit M1a uses the knowledge that the amplitude of a person's pulse wave changes slowly within a certain range, and a signal that satisfies Equations (2) and (3) may be disturbance noise. The nature will be high.
  • a similar output signal is also input to the reliability determination unit 15 from waveform verification units (not shown) in the other estimation module units M2 and M3.
  • the pulse estimation unit M1b as an example of the estimation unit is based on the output signal for at least one cycle of the filter unit F1 or the output signal for at least one cycle of the waveform verification unit M1a according to Equation (4). (Pulse rate) is calculated and output to the selector 16 (see FIG. 13).
  • FIG. 13 is a diagram illustrating an example of a pulse calculation method in the biological information processing apparatus 100 according to the second embodiment.
  • FIG. 11 is a diagram illustrating an example of a pulse calculation method using a conventional camera.
  • FIG. 12 is an explanatory diagram of a problem in the pulse calculation method shown in FIG.
  • the horizontal axis indicates time
  • the vertical axis indicates a signal WV0 (that is, pixel value) for one cycle of green in the skin color area of the image captured by the camera, for example, 8 bits. In this case, 0 to 255 are indicated.
  • WV0 that is, pixel value
  • FIGS. 11 and 12 for example, using the calculation result of the difference between each sample value (that is, the difference from the immediately preceding sample value), the zero point at the next monotonic increase from the zero point passing time at the monotonic increase.
  • the signal up to the point passing point is extracted as a signal WV0 for one cycle.
  • the frame rate of the camera is 10 fps
  • the frame count corresponding to the signal WV0 for one cycle that is, the number of frames of image data necessary to obtain the signal WV0 for one cycle.
  • the pulse rate is 10 ⁇ 60 ⁇ 9 ⁇ 67 bpm.
  • the horizontal axis represents time
  • the vertical axis (not shown) represents the signal WV0 (that is, pixel value) for one green period of the flesh-colored region of the image captured by the camera.
  • the frame count corresponding to the signal WV0 for one cycle becomes 8.
  • the biological information processing apparatuses 100 and 100A can obtain the signal WV0 for one cycle without using the frame count corresponding to the signal WV0 for one cycle in the pulse estimation unit M1b.
  • the pulse rate is calculated according to Equation (4) using the sum of the input intervals (for example, the input interval from the camera CM or the reception interval) of the frame of the image data input by the image input unit 11 so far.
  • the horizontal axis indicates time
  • the vertical axis indicates a signal extracted by the skin color extraction unit 12.
  • the signal shown in FIG. 13 indicates a signal WV0 (that is, a pixel value) for one cycle of green in the flesh-colored area of the image captured by the camera CM.
  • the pulse estimation unit M1b receives the signal WV0 for one cycle including the input interval t2 from the input of the second frame to the input of the next frame (the fourth frame shown in FIG. 13).
  • the sum of the input intervals t0, t1, t2, t3, t4, t5, t6, and t7 of the frame of image data necessary to be obtained is used.
  • the pulse estimation part M1b can calculate a suitable pulse rate similarly to the case where the frame drop does not occur in FIG. 11 (see Formula (4)).
  • the reliability determination unit 15 as an example of the determination unit includes each estimation module unit M1 in which the sections of the output signals of the filter units F1, F2, and F3 that satisfy a predetermined condition (Equation (3) and Equation (4)) are excluded. , M2, M3, or at least one cycle output from the estimation module unit with the least invalid interval based on the output signal of at least one cycle from the filter unit F1, F2, F3 that does not satisfy the predetermined condition Determine the signal.
  • the output signals of the filter units F1, F2, and F3 are directly output from the respective estimation module units M1, M2, and M3.
  • the reliability determination unit 15 outputs a determination result (that is, information on any estimation module unit) to the selector 16.
  • the reliability determination unit 15 assigns reliability “100” when there is no invalid section as the reliability, and the number of invalid sections that satisfy Equation (2), the number of invalid sections that satisfy Equation (3), or In accordance with the number of invalid sections satisfying both formula (2) and formula (3), a predetermined calculation method (for example, formula (2) and formula (3) based on which the number of invalid sections and invalid sections are determined). Reliability is given according to a method of multiplying by using a predetermined weighting factor (known) for each and subtracting from “100”.
  • a predetermined calculation method for example, formula (2) and formula (3) based on which the number of invalid sections and invalid sections are determined.
  • the selector 16 as an example of the output unit estimates the outputs from the estimation module units M1, M2, and M3 based on the determination result output from the reliability determination unit 15 (that is, the estimation module units M1, M2, and M3 respectively estimate).
  • the information (information regarding the pulse rate) of the estimation module unit corresponding to the determination result of the reliability determination unit 15 is selected and output to the pulse output unit 17.
  • the pulse rate estimated by the estimation module unit M1 is “70”
  • the reliability determined by the reliability determination unit 15 is “60”
  • the pulse estimated by the estimation module unit M2 The reliability determined by the reliability determination unit 15 when the number is “76”, and the reliability determined by the reliability determination unit 15 when the pulse rate estimated by the estimation module unit M3 is “78” Is “70”.
  • the selector 16 outputs the pulse rate “76” at which “80” having the highest reliability is obtained to the pulse output unit 17.
  • the pulse output unit 17 as an example of the output unit outputs information on the pulse rate selected by the selector 16.
  • the pulse output unit 17 displays information on the pulse rate selected by the selector 16 on the display.
  • the pulse output unit 17 outputs information on the pulse rate selected by the selector 16 from the speaker.
  • FIG. 15 is a flowchart illustrating an example of an operation procedure of the biological information processing apparatus 100 according to the second embodiment.
  • the image input unit 11 continuously inputs (acquires) frames of image data in which a person is captured by the camera CM at a predetermined frame rate and outputs the frames to the skin color extraction unit 12 (ST11).
  • the skin color extraction unit 12 outputs a signal (for example, a pixel value and a luminance value) within a predetermined range (for example, the skin color region FL1 shown in FIG. 10B) in each frame of the image data input by the image input unit 11 for at least one cycle (cycle). Is extracted using the known number of frames (ST12).
  • the skin color extracting unit 12 outputs the extracted signal within a predetermined range to each of the filter units F1 to F3.
  • step ST13 filter coefficients in the filter units F1 to F3 are selected (ST13).
  • the filter coefficient is set in advance in the filter unit F1 so that, for example, a signal of 30 to 60 bpm passes through the filter unit F1.
  • a filter coefficient is set in advance so that a signal of 50 to 90 bpm passes through the filter unit F2.
  • filter coefficients are set in advance in the filter unit F3 so that, for example, a signal of 70 to 120 bpm passes through the filter unit F3.
  • the processing from step ST13 to step ST17 is shown to be time series. However, in the biological information processing apparatus 100, these processes are performed in parallel. It has been broken.
  • the filter unit F1 averages the signals (pixel values) in a predetermined range output from the skin color extracting unit 12, thereby removing, for example, a noise signal included during imaging by the camera CM (ST14). Moreover, the filter part F1 cuts frequency components other than the fundamental frequency of a pulse wave using the filter coefficient corresponding to the filter part F1 as another example of a filter process (ST14). The output of the filter unit F1 is input to the estimation module unit M1.
  • the waveform verification unit M1a based on the output signal for at least one cycle of the filter unit F1, detects the section of the noise signal that could not be cut by the filter unit F1, and outputs the input output signal for at least one cycle. Of these, the waveform is verified by determining whether or not there is a signal section that satisfies a predetermined condition (that is, Formula (2), Formula (3)) (ST15).
  • a predetermined condition that is, Formula (2), Formula (3)
  • the waveform verification unit M1a excludes a section of the output signal determined to satisfy the predetermined condition as an invalid section, and at least one period of the signal excluding the section of the corresponding signal is determined as the pulse estimation unit M1b and the reliability determination. To the unit 15. On the other hand, when the waveform verification unit M1a determines that there is no section of the signal that satisfies the predetermined condition (that is, the formulas (2) and (3)), the output signal for at least one cycle of the filter unit F1 is used as it is. It outputs to the pulse estimation part M1b and the reliability determination part 15.
  • the pulse estimation unit M1b calculates a human pulse rate (Pulse rate) according to Equation (4) based on the output signal for at least one cycle of the filter unit F1 or the output signal for at least one cycle of the waveform verification unit M1a. And output to the selector 16 (ST16).
  • Pulse rate a human pulse rate
  • step ST17 when the respective processes are not completed in the filter units F1 to F3 and the estimation module units M1 to M3 (NO in ST17), the steps in the filter units F1 to F3 and the estimation module units M1 to M3 are performed. Until the processing from ST13 to ST17 ends, the operation of the biological information processing apparatus 100 is in a standby state.
  • the reliability determination unit 15 performs the following processing in ST18. That is, the output signals for at least one period from the estimation module units M1, M2, and M3 from which the sections of the output signals of the filter units F1, F2, and F3 that satisfy the predetermined condition are excluded, or the filter units F1 and F1 that do not satisfy the predetermined condition Based on the output signals of F2 and F3, an output signal for at least one cycle from the estimation module unit having the smallest invalid section is determined.
  • the predetermined conditions are, for example, Equation (3) and Equation (4).
  • the reliability determination unit 15 outputs a determination result (that is, information on any estimation module unit) to the selector 16.
  • the selector 16 Based on the determination result output from the reliability determination unit 15, the selector 16 outputs from the estimation module units M1, M2, and M3 (that is, information on the pulse rate estimated in the estimation module units M1, M2, and M3). Among them, the output (information on the pulse rate) of the estimation module unit corresponding to the determination result of the reliability determination unit 15 is selected and output to the pulse output unit 17 (ST19). The pulse output unit 17 outputs information on the pulse rate selected by the selector 16 (ST19).
  • the biological information processing apparatus 100 extracts the signal of the predetermined range (for example, human skin color region FL1) of the input image data, and extracts it using different coefficients (for example, filter coefficients).
  • signals corresponding to different coefficients are output from the plurality of filter units F1 to F3, respectively.
  • the biological information processing apparatus 100 corresponds to at least one cycle output signal and at least one cycle output signal of the corresponding filter unit in the estimation module units M1 to M3 provided corresponding to the filter units F1 to F3, respectively.
  • the pulse value of the person is estimated based on the input interval of the frame of the image data to be performed. Then, according to the output signals of the plurality of filter units F1 to F3, any one of the estimated plurality of pulse values is selected and output.
  • the biological information processing apparatus 100 performs image processing (for example, noise removal processing using a predetermined filter coefficient) of the user's skin color area included in the image data even when the frame of the image data captured by the user drops.
  • image processing for example, noise removal processing using a predetermined filter coefficient
  • the pulse rate of the user is estimated using the input intervals of a plurality of frames of image data corresponding to the signal of at least one cycle obtained by (1) and the property that blood absorbs light in a specific wavelength region. Therefore, the biological information processing apparatus 100 can estimate the user's pulse rate with high accuracy in a non-contact manner without using, for example, a contact-type dedicated pulse rate measuring device.
  • the biological information processing apparatus 100 excludes a section of the output signal of the filter unit that satisfies the predetermined condition as an invalid section in the estimation module unit corresponding to each filter unit, and outputs an output signal of at least one cycle from which the invalid section is excluded And a pulse value of the person is estimated based on the input interval of the frame of the image data corresponding to the output signal of at least one cycle.
  • the biological information processing apparatus 100 may exclude a section of the output signal of the filter unit that satisfies the predetermined condition (for example, a section of an extremely large signal or extremely small signal compared to a predetermined value) as an invalid section. it can. Therefore, for example, the influence of disturbance noise can be suppressed, and the pulse value of a person is estimated with high accuracy using the input interval of the frame of the image data corresponding to the output signal for at least one period from which the invalid interval is excluded. can do.
  • the predetermined condition for example, a section of an extremely large signal or extremely small signal compared to a predetermined value
  • the biological information processing apparatus 100 outputs an output signal for at least one cycle having the smallest number of invalid intervals based on the output signal for at least one cycle in which the section of the output signal of each filter unit that satisfies the predetermined condition is excluded. A determination is made, and the estimated pulse value of the person corresponding to the determined output signal for at least one period is selected.
  • the biological information processing apparatus 100 can select the pulse value of the person using the output signal for at least one cycle with the least number of invalid sections (in other words, the least affected by disturbance noise).
  • FIG. 16 is a block diagram illustrating an example of an internal configuration of the biological information processing apparatus 100A according to the fourth embodiment.
  • FIG. 17 is an explanatory diagram of a problem when the peak of the observed waveform for one period is off the sampling position.
  • the same components as those of the biological information processing apparatus 100 illustrated in FIG. 10A are denoted by the same reference numerals, and description thereof will be simplified or omitted, and different contents will be described.
  • a biological information processing apparatus 100A illustrated in FIG. 16 includes a camera CM, an image input unit 11, a skin color extraction unit 12, a plurality of (for example, three) filter units F1, F2, and F3, and a plurality (for example, three).
  • the configuration includes estimation module units M1R, M2R, and M3R, a reliability determination unit 15, a selector 16, and a pulse output unit 17.
  • the estimation module unit M1R is provided corresponding to the filter unit F1
  • the estimation module unit M2R is provided corresponding to the filter unit F2
  • the estimation module unit M3R is provided corresponding to the filter unit F3.
  • the estimation module unit M1R includes an interpolation unit M1c, a waveform verification unit M1a, and a pulse estimation unit M1b.
  • the interpolation unit M1c receives at least one cycle of the output signal of the filter unit F1, and based on the output signal of at least one cycle of the filter unit F1, the output signal of at least one cycle of the filter unit F1 has a predetermined value ( For example, the difference (time difference) of the position (time) that is zero) is interpolated (for example, linear interpolation), and output signals for at least one cycle after the interpolation are output to the waveform verification unit M1a and the pulse estimation unit M1b.
  • the waveform verification unit M1a and the pulse estimation unit M1b use the output of the interpolation unit M1c.
  • the configuration of the estimation module units M1R, M2R, and M3R is the same, the operation of the estimation module unit M1R will be described as an example.
  • the horizontal axis indicates time
  • the vertical axis indicates the signal WV0 extracted by the skin color extraction unit 12.
  • the signal shown in FIG. 17 represents a signal WV0 (that is, a pixel value) for one green period of the flesh-color area FL1 of an image captured by the camera CM, and is 0 to 255 in the case of 8 bits, for example. Indicated by
  • S1 to S8 are sample values AD-converted by the ADC included in the waveform verification unit M1a, for example, and T1 to T8 are sampling times AD-converted by the ADC.
  • one cycle of the signal WV0 shown in FIG. 17 is the time between the peak of the signal WV0 and the next peak (see the line segment AS1), but the peak of the signal WV0 is the sampling position (at the sampling time). If it is out of the sample value, an error will occur.
  • one cycle of the signal WV0 shown in FIG. 17 is a time (line segment NT1) between the sampling time T2 of the sample value S2 that is the peak value and the sampling time T7 of the sample value S7 that is the next peak value. Therefore, an error corresponding to the difference between the line segment AS1 and the line segment NT1 occurs, and an error occurs in the signals input to the filter units F1 to F3. The estimation accuracy of will deteriorate.
  • each of the estimation module units M1R to M3R is input to each of the estimation module units M1R to M3R in order to more accurately obtain the PWI (pulse wave interval) shown in Equation (4).
  • the signals WV0 for one cycle are derived by interpolating the signals (that is, the output signals of the filter units F1 to F3) (see FIGS. 18, 19, and 20).
  • FIG. 18 is an explanatory diagram illustrating a first example of the operation of the interpolation unit M1c of each estimation module unit.
  • the horizontal axis indicates time
  • the vertical axis indicates the signal WV1 extracted by the skin color extraction unit 12.
  • the signal shown in FIG. 18 indicates a signal WV1 (that is, a pixel value) for one green period of the flesh-color area FL1 of the image captured by the camera CM, and is 0 to 255 in the case of 8 bits, for example. Indicated by
  • the interpolation unit M1c for example, at least two positions (time) on the horizontal axis where the signal WV1 when monotonically increasing or monotonically decreasing passes a predetermined value (eg, zero).
  • the difference (time difference) is interpolated (that is, linear interpolation processing), and the signal WV1 for at least one period is estimated.
  • the line segment AS1 and the line segment NT1 shown in FIG. 18 are the same as the line segment AS1 and the line segment NT1 shown in FIG. 17, the description thereof is omitted, and the same applies to FIGS.
  • the lengths of the line segments AS1 and NT1 are compared with the lengths of the line segments PR1, PR2, or PR3.
  • the interpolation unit M1c estimates, for example, the difference (see the line segment PR1) between the position where the signal WV1 when monotonically increasing passes zero and the position where the signal WV1 when monotonically increasing next passes zero. To do. Therefore, a position (line segment) where a line segment passing through at least two positions (point A0 (0, a0) and point A1 (1, a1)) of the first monotonically increasing signal WV1 passes zero. (The left end of PR1) and a position where a straight line passing through at least two positions (point B0 (0, b0) and point B1 (1, b1)) of the second monotonically increasing signal WV1 passes zero ( Right end of line segment PR1).
  • a0, a1, b0 and b1 are positions on the signal WV1 and sample values.
  • description is made using points on the signal WV1 at the time of monotonic increase, but the same applies to points on the signal WV1 at the time of monotonic decrease.
  • the distance p0 between the position on the horizontal axis of the point A0 and the left end of the line segment PR1 is expressed by Equation (5) by linear interpolation of the interpolation unit M1c.
  • the distance p1 between the position on the horizontal axis of the point B0 and the right end of the line segment PR1 is expressed by Equation (6) by linear interpolation of the interpolation unit M1c.
  • the interpolation unit M1c can calculate the length of the line segment PR1, and can reduce the error from the line segment AS1 compared to the line segment NT1 having a large error from the line segment AS1.
  • the estimation accuracy of the pulse rate can be improved.
  • FIG. 19 is an explanatory diagram illustrating a second example of the operation of the interpolation unit M1c of each estimation module unit.
  • the horizontal axis represents time
  • the vertical axis (not shown) represents the signal WV1 extracted by the skin color extraction unit 12.
  • the signal shown in FIG. 19 indicates a signal WV1 (that is, a pixel value) for one green period of the flesh-color area FL1 of an image captured by the camera CM. Indicated by
  • the interpolation unit M1c for example, inverts the straight line passing through two points on the signal WV1 at the time of monotonic increase or monotonic decrease where the first peak is obtained, and the slope of the straight line. The intersection of the slope and the straight line passing through one point on the signal WV1 when monotonously decreasing or monotonically increasing is obtained. Further, the interpolation unit M1c similarly applies a straight line passing through two points on the signal WV1 at the time of monotonic increase or decrease when the next peak is obtained, a slope obtained by inverting the slope of the straight line, and a monotonic decrease or monotonic. An intersection point with a straight line passing through one point on the signal WV1 at the time of increase is obtained. The interpolation unit M1c performs interpolation (that is, equiangular straight line fitting) using these two intersections, and estimates the signal WV1 for at least one period.
  • the interpolation unit M1c for example, includes a straight line L0 passing through two points (point A0 (0, a0) and point A1 (1, a1)) on the signal WV1 when monotonically increasing, and the straight line L0.
  • the intersection of the slope obtained by inverting the slope and the straight line L1 passing through one point (point A2 (2, a2)) on the signal WV1 when monotonously decreasing is obtained.
  • the interpolation unit M1c for example, a straight line N1 passing through two points (point B1 (1, b1) and point B2 (2, b2)) on the signal WV1 when monotonously decreasing, and the straight line N1
  • a0, a1, a2, b0, b1, b2 are positions on the signal WV1 and sample values.
  • the straight lines L0 and N0 are explained using points on the signal WV1 when monotonically increasing and the straight lines L1 and N1 are monotonically decreasing. But the same is true.
  • the line segment PR2 indicates the difference between the position on the horizontal axis of the intersection of the straight line L0 and the straight line L1 and the position on the horizontal axis of the intersection of the straight line N0 and the straight line N1.
  • the distance p0 between the position on the horizontal axis of the point A1 and the position on the horizontal axis of the intersection of the straight line L0 and the straight line L1 is expressed by the equation (7) by the equiangular straight line fitting of the interpolation unit M1c.
  • the interpolation unit M1c can calculate the length of the line segment PR2, and can reduce the error from the line segment AS1 compared to the line segment NT1 having a large error from the line segment AS1. The estimation accuracy of the pulse rate can be improved.
  • FIG. 20 is an explanatory diagram illustrating a third example of the operation of the interpolation unit M1c of each estimation module unit.
  • the horizontal axis represents time
  • the vertical axis (not shown) represents the signal WV1 extracted by the skin color extraction unit 12.
  • the signal shown in FIG. 20 indicates the signal WV1 (that is, the pixel value) for one cycle of green in the flesh color region FL1 of the image captured by the camera CM.
  • the signal is 0 to 255. Indicated by
  • the interpolation unit M1c has three points on the signal WV1 where the vertex of the quadratic curve passing through the three points on the signal WV1 from which the first peak is obtained and the next peak is obtained. Is interpolated (ie, parabolic fitting) using a vertex of a quadratic curve passing through, and the signal WV1 for at least one period is estimated.
  • the interpolation unit M1c uses three points (point A0 (0, a0), point A1 (1, a1), and point A2 (2, a2)) on the signal WV1 from which the first peak is obtained.
  • a0, a1, a2, b0, b1, b2 are positions on the signal WV1 and sample values.
  • the line segment PR3 indicates the difference between the position on the horizontal axis of the vertex of the quadratic curve R0 and the position on the horizontal axis of the vertex of the quadratic curve R1.
  • a distance p0 between the position on the horizontal axis of the point A1 and the position on the horizontal axis of the vertex of the quadratic curve R0 is expressed by Equation (9) by parabolic fitting of the interpolation unit M1c.
  • the distance p1 between the position on the horizontal axis of the apex of the quadratic curve R1 and the position on the horizontal axis of the point B1 is expressed by Expression (10) by equiangular straight line fitting by the interpolation unit M1c.
  • the interpolation unit M1c can calculate the length of the line segment PR3, and can reduce the error with the line segment AS1 compared to the line segment NT1 with a large error with the line segment AS1. The estimation accuracy of the pulse rate can be improved.
  • FIG. 21 is a flowchart illustrating an example of an operation procedure of the biological information processing apparatus 100A according to the fourth embodiment.
  • the content different from the operation procedure of the biological information processing apparatus 100 of the third embodiment will be described, and the same operation will be given the same step number and the description will be simplified or omitted.
  • the interpolation unit M1c receives at least one cycle of the output signal of the filter unit F1, and based on the output signal of at least one cycle of the filter unit F1, at least one of the filter units F1. Interpolate (eg, linear interpolation) the difference (time difference) between the positions (time) at which the output signal for the period becomes a predetermined value (for example, zero), and use the waveform verification unit M1a and the pulse estimation for the output signal for at least one period after the interpolation.
  • the data is output to the part M1b (ST20).
  • the waveform verification unit M1a and the pulse estimation unit M1b use the output of the interpolation unit M1c.
  • the waveform verification unit M1a receives at least one cycle of the output signal from the interpolation unit M1c, and detects at least one cycle of the input signal in order to detect a section of the noise signal that could not be cut by the filter unit F1. It is determined whether there is a section of a signal (that is, a noise signal) that satisfies a predetermined condition (that is, Expression (2), Expression (3)) among the output signals (ST15).
  • the pulse estimation unit M1b is based on the output signal for at least one cycle from the interpolation unit M1c or the output signal for at least one cycle from the waveform verification unit M1a, according to Equation (4), ) Is calculated and output to the selector 16 (ST16).
  • the details of the processing in step ST15 and step ST16 are the same as those in the second embodiment, and thus description thereof is omitted. Since the process after step ST16 is the same as that of FIG. 15, description is abbreviate
  • the biological information processing apparatus 100A is based on the output signals for at least one cycle of the filter units F1, F2, and F3 corresponding to the estimation module units M1R, M2R, and M3R.
  • the time difference at which the output signal for at least one cycle of F2 and F3 becomes a predetermined value (for example, zero) is interpolated, and the output signal for at least one cycle of the filter unit after interpolation is output.
  • the biological information processing apparatus 100A can obtain an output signal for at least one cycle of the filter units F1, F2, and F3 with high accuracy. Therefore, even when the peak of the output signal for one cycle is out of the sampling position, the time difference between the peaks of the accurate output signal to be originally obtained and the time difference between the peaks of the output signal of the filter unit actually obtained are Can be minimized. Therefore, a more accurate person's pulse value can be estimated.
  • the biological information processing apparatus includes an image input unit that inputs image data obtained by capturing a person, an extraction unit, a plurality of filter units, and a plurality of estimation units. And an output unit.
  • the extraction unit extracts a signal in a predetermined range of the image data input by the image input unit.
  • Each of the plurality of filter units outputs a signal corresponding to a different coefficient among signals in a predetermined range extracted by the extraction unit, using different coefficients.
  • Each of the plurality of estimation units is provided corresponding to each of the plurality of filter units, based on the output of one cycle of the corresponding filter unit and the input interval of the frame of image data corresponding to the output, the above Estimate a person's pulse value.
  • the output unit selects and outputs one of a plurality of pulse values estimated by the plurality of estimation units according to the outputs of the plurality of filter units.
  • the biological information processing method includes the following steps. Inputting image data obtained by imaging a person; Extracting a signal within a predetermined range of the input image data; Outputting each signal corresponding to a different coefficient among the extracted signals in the predetermined range by using a plurality of filter units having different coefficients. Estimating the pulse value of the person based on the output of one period of each filter unit and the input interval of frames of image data corresponding to the output. A step of selecting and outputting one of the estimated plurality of pulse values according to the outputs of the plurality of filter units.
  • the user's pulse rate is accurately determined without contact by image processing of the user's skin color area included in the acquired image data. Can be estimated.
  • the biological information processing apparatus captures an image of a target (a processing target, such as a person, which may be another animal, and so on) without using, for example, a contact-type dedicated pulse rate measuring device.
  • a target a processing target, such as a person, which may be another animal, and so on
  • the human pulse rate is estimated in a non-contact manner using the obtained image data.
  • the biological information processing apparatus of each embodiment inputs a frame of image data obtained by capturing a person and extracts a signal (pixel value) in a predetermined range (for example, a skin color region) of the input image data. Then, each filter unit outputs each signal corresponding to a different coefficient among the extracted signals in the predetermined range using different filter coefficients.
  • the biological information processing apparatus estimates a human pulse value corresponding to each filter unit based on an output signal of at least one cycle of each filter unit and an input interval of a frame of image data corresponding to the output signal.
  • the module unit estimates and outputs one of a plurality of pulse values estimated by the plurality of estimation module units according to the output signal of each filter unit.
  • the biological information processing apparatus of each embodiment is a data communication terminal such as a desktop or laptop PC (Personal Computer), a smartphone, a mobile phone, a tablet terminal, or a PDA (Personal Digital Assistant), and an example of an object It may have a camera function for imaging a person.
  • a data communication terminal such as a desktop or laptop PC (Personal Computer), a smartphone, a mobile phone, a tablet terminal, or a PDA (Personal Digital Assistant), and an example of an object It may have a camera function for imaging a person.
  • the present invention follows the change in the surrounding environment, and calculates the pulse rate of a subject who may be abnormal or a subject to be watched out of a plurality of subjects in real time.
  • it is useful as a biological information processing apparatus and a biological information processing method for accurate detection.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

　生体情報処理装置は、画像データを入力する画像入力部と、選択部と、推定部と、検知部と、出力部とを有する。選択部は、入力された画像データから、処理対象の画像範囲を選択する。推定部は、選択された処理対象の画像範囲の画像データを基に、画像範囲に対応する処理対象の脈拍数を推定する。検知部は、推定された処理対象の脈拍数の相対比較に応じて、異常の可能性のある対象又は要注意の対象を検知する。出力部は、検知された異常の可能性のある対象又は要注意の対象に関する情報を出力する。

Description

生体情報処理装置及び生体情報処理方法
　本発明は、人の生体情報を監視する生体情報処理装置及び生体情報処理方法に関する。
　人の生体情報を推定するバイタルセンシング技術は、例えば在宅医療や健康管理の分野にとどまらず、運転中の眠気検知、ゲーム中のユーザの心理状態の取得、監視システムでの異常者検知等、多岐にわたる分野への応用が期待されている。現在、生体情報をセンシングする機器は、人の身体に接触させて使うタイプが主流であり、ユーザ自身が装着する必要があるため、応用範囲が限定されてしまう。
　このため、非接触でセンシングするための取り組みの一つとして、カメラの撮像により得られた画像から生体情報の一例としての脈拍数を推定する技術が提案されている。この技術を用いることで、ユーザに自ら意識させることなく生体情報をセンシングすることができ、応用範囲の拡大が期待できる。例えば、監視カメラで撮影しながら、ストレスにより脈拍変動が大きくなった不審人物を検知することが可能である。また、１つのカメラに写る複数人を同時にセンシング可能であることも大きなメリットである。接触型と比べ、ユーザ毎に対して個別の機器を用意する必要がなく、体に取り付ける煩わしさも低減できる。
　ここで、人の生体状態を観察（監視）する先行技術として、例えば特許文献１に示す生体状態観察システムが知られている。この生体状態観察システムは、時間的に連続した複数のフレームで構成される少なくとも１人の被観察者が含まれる画像を入力し、画像内の所定の領域を検出して所定の領域の情報を出力し、画像内の所定の領域から、画像内に含まれる被観察者の生体情報を検出し、生体の状態の異常の判定に用いられる所定の生体パラメータと生体情報のデータ又はそのデータの変化とを比較し、被観察者の生体状態に発生した異常を検出する。これにより、生体状態観察システムは、被観察者に違和感や不快感を与えることなく、被観察者の生体情報の観察及び生体状態の異常の検出を行うことができる。特許文献１では、比較の際に用いられる生体パラメータは所定の固定値又はインターネットを介して更新される値であり、被観察者の生体情報を観察する際には、この生体パラメータの値を用いて異常のある被観察者（被験者、生体情報処理対象）を決定する。
　また、カメラを用いた脈拍推定技術に関する先行技術として、例えば特許文献２に示す脈拍計測装置が知られている。この脈拍計測装置は、撮像された入力画像の特徴量を算出し、算出された特徴量から脈波のピーク間隔を検出し、検出された脈波のピーク間隔から脈拍数を算出する。また、脈拍計測装置は、算出された脈拍数のうち、有効なピーク間隔の割合を示す採用率に基づいた有効なピーク間隔を有する脈拍数と真の脈拍数との推定最大誤差が規定値以下となるように、単位時間あたりに撮像されるフレーム数を示すフレームレートを制御する。
特開２０１４－３６８０１号公報 特開２０１０－５１５９２号公報
　本開示は、周辺環境の変化が生じた場合でも、周辺環境の変化に追従して、複数の被験者（処理対象）の中から異常の可能性のある被験者又は要注意の対象となる被験者の脈拍数を、リアルタイムかつ正確に検知することを目的とする。
　本開示による生体情報処理装置は、画像データを入力する画像入力部と、選択部と、推定部と、検知部と、出力部とを有する。選択部は、画像入力部により入力された画像データから、処理対象の画像範囲を選択する。推定部は、選択された処理対象の画像範囲の画像データを基に、画像範囲に対応する処理対象の脈拍数を推定する。検知部は、推定された処理対象の脈拍数の相対比較に応じて、異常の可能性のある対象又は要注意の対象となる対象を検知する。出力部は、検知された異常の可能性のある対象又は要注意の対象に関する情報を出力する。
　また、本開示は、上記生体情報処理装置における生体情報処理方法である。この方法は、以下のステップを有する。画像データを入力するステップ。入力された画像データから、処理対象の画像範囲を選択するステップ。選択された処理対象の画像範囲の画像データを基に、同じ画像範囲に対応する処理対象の脈拍数を推定するステップ。推定された処理対象の脈拍数の相対比較に応じて、異常の可能性のある対象又は要注意の対象を検知するステップ。検知された異常の可能性のある対象又は要注意の対象に関する情報を出力するステップ。
　本開示によれば、周辺環境の変化が生じた場合でも、周辺環境の変化に追従して、複数の被験者の中から異常の可能性のある被験者又は要注意の対象となる被験者の脈拍数を、リアルタイムかつ正確に検知することができる。
図１Ａは、人の心臓の収縮と光の血管における吸収量との関係の一例を模式的に示す図である。 図１Ｂは、光の強度の時系列変化の一例を示す図である。 図２は、ヘモグロビンにおける光の波長毎の吸収率の一例を示す図である。 図３は、第１の実施形態の生体情報処理装置の内部構成の一例を示すブロック図である。 図４Ａは、カメラから入力された複数の被験者の撮像画像の一例を示す図である。 図４Ｂは、被験者領域選択部により切り出された被験者毎の指定範囲の一例を示す図である。 図４Ｃは、被験者毎の脈拍数の抽出結果の一例を示す図である。 図５は、各実施形態の生体情報処理装置の使用例を示す図である。 図６は、第１の実施形態の生体情報処理装置の動作手順の一例を説明するフローチャートである。 図７は、第２の実施形態の生体情報処理装置の内部構成の一例を示すブロック図である。 図８Ａは、カメラから入力された複数の被験者の撮像画像の一例を示す図である。 図８Ｂは、被験者領域選択部により切り出された被験者毎の指定範囲の一例を示す図である。 図８Ｃは、被験者毎の脈拍数の抽出結果の一例を示す図である。 図９は、第２の実施形態の生体情報処理装置の動作手順の一例を説明するフローチャートである。 図１０Ａは、第３の実施形態の生体情報処理装置の内部構成の一例を示すブロック図である。 図１０Ｂは、各実施形態の生体情報処理装置の動作概要の一例を模式的に示す図である。 図１１は、従来のカメラを用いた脈拍算出方法の一例を示す図である。 図１２は、図１１に示す脈拍算出方法における問題の説明図である。 図１３は、第３の実施形態の生体情報処理装置における脈拍算出方法の一例を示す図である。 図１４は、各推定モジュール部内の波形検定部の動作例を示す説明図である。 図１５は、第３の実施形態の生体情報処理装置の動作手順の一例を説明するフローチャートである。 図１６は、第４の実施形態の生体情報処理装置の内部構成の一例を示すブロック図である。 図１７は、１周期分の観測波形のピークがサンプリング位置から外れている場合の問題の説明図である。 図１８は、各推定モジュール部の補間部の動作の第１例を示す説明図である。 図１９は、各推定モジュール部の補間部の動作の第２例を示す説明図である。 図２０は、各推定モジュール部の補間部の動作の第３例を示す説明図である。 図２１は、第４の実施形態の生体情報処理装置の動作手順の一例を説明するフローチャートである。
　先ず、各実施形態の生体情報処理装置における脈拍数の推定原理について、図１Ａ及び図１Ｂを参照して説明する。図１Ａは、人の心臓の収縮と光の血管における吸収量との関係の一例を模式的に示す図である。図１Ｂは、光の強度の時系列変化の一例を示す図である。
　図１Ａでは、人の心臓の収縮（ｓｙｓｔｏｌｅ）に同期して血管の容積が変化することが示されている。心臓の収縮に応じて血管の容積が増大すると、光（例えば図２に示す特定波長域の光）の吸収量が増大するので、光の強度（Ｌｉｇｈｔ　ｉｎｔｅｎｓｉｔｙ）も減少する（図１Ｂ参照）。なお、以下の説明において、脈波とは、血液が心臓の収縮により大動脈に押し出された時に発生した血管内の圧力変化が末梢方向に伝わっていく時の波の動きを示す。
　図１Ｂでは、横軸は時間を示し、縦軸は光の吸収量の変化によって得られた信号（光電脈波）の強度を示す。つまり、図１Ｂにおいて、ピークが現れている時は光の吸収量が少ないので血管の容積が増大していない状態になっており、極小値が現れている時には光の吸収量が多いので血管の容積が増大している状態となっている。なお、心臓と末梢部分との距離によって完全には同期しておらず多少の遅延は見られるが、心臓の収縮と光電脈波の強度の変化とは基本的に同期して変動している。
　図２は、ヘモグロビンにおける光の波長毎の吸収率の一例を示す図である。図２では、例えばヘモグロビン（血液）は４００ｎｍの波長（つまり緑色）を吸収し易いことが示されている。なお、以下の各実施形態では緑色の光の成分の吸収率が高いことを利用して説明するが、他には例えば赤色の光（例えば１０００ｎｍを超える波長）の成分の反射率が高いことを利用して説明してもよい。
　（第１の実施形態）
　以下、第１の実施形態の生体情報処理装置の構成について、図３を参照して説明する。図３は、第１の実施形態の生体情報処理装置１０の内部構成の一例を示すブロック図である。図３に示す生体情報処理装置１０は、カメラＣＭと、画像入力部１と、被験者領域選択部２（領域選択部）と、被験者生体情報抽出部３（抽出部）と、異常検知部４と、閾値保持更新部５と、異常通知出力部６と、監視モニタ７とを含む構成である。なお、生体情報処理装置１０は、異常通知取得装置ＡＰ１，…，ＡＰｋ（後述参照）を更に含む構成としてもよい。
　カメラＣＭは、所定のフレームレート（例えば１０ｆｐｓ：ｆｒａｍｅ　ｐｅｒ　ｓｅｃｏｎｄ）で推定対象物であるｎ人の被験者を撮像して画像入力部１に出力する。なお、カメラＣＭは生体情報処理装置１０の内部に含まれなくてもよく、例えば生体情報処理装置１０とはネットワークを介して接続されてもよい。ネットワークは、無線ネットワーク又は有線ネットワークをインターフェースとして接続されるインターネット又はイントラネットである。無線ネットワークは、例えば無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、無線ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、３Ｇ、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）又はＷｉＧｉｇ（Ｗｉｒｅｌｅｓｓ　Ｇｉｇａｂｉｔ）である。有線ネットワークは、例えばＩＥＥＥ８０２．３又はイーサネット（ＥＴＨＥＲＮＥＴ（登録商標））である。
　画像入力部１は、所定のフレームレートでカメラＣＭにより人が撮像された画像データのフレームをカメラＣＭから連続的に入力（取得）して被験者領域選択部２に出力する。なお、カメラＣＭと生体情報処理装置１０とが別体で構成されている場合には、画像入力部１は、カメラＣＭから送信された画像データのフレームを連続的に受信する。
　選択部の一例としての被験者領域選択部２は、画像入力部１により入力された画像データの各フレーム（図４Ａ参照）内において、複数の被験者（例えばＡさん，Ｂさん，Ｃさんの３人とする。以下同様。）のうち個々の被験者が含まれる画像範囲である指定範囲ＲＮ１，ＲＮ２，ＲＮ３（図４Ｂ参照）を選択して切り出し、Ａさんの指定範囲ＲＮ１，Ｂさんの指定範囲ＲＮ２，Ｃさんの指定範囲ＲＮ３における各画像データを被験者生体情報抽出部３に出力する。
　図４Ａは、カメラＣＭから入力された複数の被験者の撮像画像ＩＭ１の一例を示す図である。図４Ｂは、被験者領域選択部２により切り出された被験者毎の指定範囲の一例を示す図である。例えば複数の被験者としてＡさん，Ｂさん，Ｃさんの３人がカメラＣＭにより撮像された場合には、被験者領域選択部２は、例えば公知技術である顔検出処理を撮像画像ＩＭ１のデータに対して行うことで、Ａさんの指定範囲ＲＮ１，Ｂさんの指定範囲ＲＮ２，Ｃさんの指定範囲ＲＮ３を個々に検出し、検出結果（Ａさんの指定範囲ＲＮ１，Ｂさんの指定範囲ＲＮ２，Ｃさんの指定範囲ＲＮ３における各画像データ）を選択して切り出す。
　推定部の一例としての被験者生体情報抽出部３は、被験者領域選択部２から出力された個々の被験者が含まれる画像範囲である指定範囲ＲＮ１，ＲＮ２，ＲＮ３のそれぞれの画像データを基に、指定範囲ＲＮ１，ＲＮ２，ＲＮ３のそれぞれに対応する被験者（Ａさん，Ｂさん，Ｃさん）の生体情報の一例としての脈拍数を推定する。被験者生体情報抽出部３は、推定結果であるＡさん，Ｂさん，Ｃさんのそれぞれの脈拍数に関する情報を異常検知部４に出力する。被験者生体情報抽出部３における脈拍数の推定方法は公知技術であるため、詳細な説明は割愛する。
　脈拍数の推定方法の一例として、被験者生体情報抽出部３は、被験者領域選択部２により切り出された指定範囲ＲＮ１に対応するＡさんの画像データの複数のフレーム内における肌色部分の画素値の少なくとも１周期分の信号を基に、１周期に相当する時間（脈波間隔、ＰＷＩ：Ｐｕｌｓｅ　Ｗａｖｅ　Ｉｎｔｅｒｖａｌ）を抽出し、この抽出したＰＷＩと数式（１）とを用いて、Ａさんの脈拍数（Ｐｕｌｓｅ　Ｒａｔｅ）を算定する。同様に、被験者生体情報抽出部３は、被験者領域選択部２により切り出された指定範囲ＲＮ２，ＲＮ３に対応するＢさん，Ｃさんの各画像データの複数のフレーム内における肌色部分の画素値の少なくとも１周期分の信号を基に、１周期に相当する時間（脈波間隔、ＰＷＩ）を抽出し、この抽出したＰＷＩと数式（１）とを用いて、Ｂさん，Ｃさんの脈拍数をそれぞれ算定する。
Figure JPOXMLDOC01-appb-M000001
　検知部の一例としての異常検知部４は、被験者生体情報抽出部３から出力された複数の被験者（Ａさん，Ｂさん，Ｃさん）の脈拍数の算定結果（推定結果）を相対的に比較（例えば最大値検索）し、異常の可能性のある被験者又は要注意の対象となる被験者を検知し、検知結果を異常通知出力部６に出力する。また、異常検知部４は、相対比較の際に得られた閾値を閾値保持更新部５に格納する。なお、本実施形態でいう閾値とは、脈拍数の推定対象である複数の被験者（例えばＡさん，Ｂさん，Ｃさん）のうち、異常のある可能性のある被験者又は要注意の対象となる被験者を特定するために用いられる脈拍数の判定値（最大値）である。従って、本実施形態では、閾値未満の脈拍数が得られた被験者は、異常の可能性のある被験者や、要注意の対象となる被験者として検知されない。
　先ず、異常検知部４は、被験者生体情報抽出部３から出力された複数の被験者（Ａさん，Ｂさん，Ｃさん）の脈拍数の算定結果（推定結果）のうち、Ａさんの脈拍数を閾値の初期値として閾値保持更新部５に格納した後、脈拍数の算定結果を順に比較する。
　具体的には、異常検知部４は、Ａさんの脈拍数とＢさんの脈拍数との相対比較により、Ａさんの脈拍数よりＢさんの脈拍数が大きい場合には（図４Ｃ参照）、Ｂさんの脈拍数を閾値として選択し、閾値保持更新部５の閾値をＢさんの脈拍数に更新する。次に、異常検知部４は、Ｂさんの脈拍数とＣさんの脈拍数との相対比較により、Ｂさんの脈拍数よりＣさんの脈拍数が大きい場合には（図４Ｃ参照）、Ｃさんの脈拍数を閾値として選択し、閾値保持更新部５の閾値をＣさんの脈拍数に更新する。
　更に、異常検知部４は、Ｃさんの脈拍数とＡさんの脈拍数との相対比較により、Ｃさんの脈拍数よりＡさんの脈拍数が大きい場合には、Ａさんの脈拍数を閾値として選択し、閾値保持更新部５の閾値をＡさんの脈拍数に更新するが、Ａさんの脈拍数よりＣさんの脈拍数が大きい場合には（図４Ｃ参照）、Ｃさんの脈拍数を閾値として閾値保持更新部５に保持させる。図４Ｃは、被験者毎の脈拍数の抽出結果の一例を示す図である。図４Ｃに示す例では、Ｃさんの脈拍数が他の２人（Ａさん，Ｂさん）の脈拍数に比べて高いので、異常検知部４は、閾値として選択された脈拍数に対応するＣさんを、異常の可能性のある被験者又は要注意の対象となる被験者として検知する。
　閾値保持更新部５は、例えばＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、半導体メモリ、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）を用いて構成され、異常検知部４により選択された保持された脈拍数又は更新された脈拍数を示す値を閾値として格納する。
　異常通知出力部６は、異常検知部４から出力された検知結果を基に、異常の可能性のある被験者又は要注意の対象となる被験者に関する情報を監視モニタ７に出力する。
　出力態様としては、異常通知出力部６は、例えば生体情報処理装置１０が監視モニタ７を有する場合には、異常の可能性のある被験者又は要注意の対象となる被験者に関する情報を監視モニタ７上に識別可能に表示させる（図５参照）。図５は、各実施形態の生体情報処理装置１０、または図７に示す生体情報処理装置１０Ａの使用例を示す図である。なお、識別可能な表示例としては、異常通知出力部６は、例えば監視モニタ７上の該当する被験者Ｐ１の周囲に、異常の可能性のある被験者又は要注意の対象となる被験者であることを示すマーカ（例えばエクスクラメイションマーク、感嘆符）を表示させる。
　図５では、例えば本実施形態の生体情報処理装置１０が店舗に設置されている場合に、店舗内の被験者（買い物客）が監視カメラ（カメラＣＭ）により撮像されている。そして、４人の被験者Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４の脈拍数が非接触で推定されている。監視室（例えば店舗のバックヤード）に設置された監視モニタ７上には、推定結果の脈拍数や異常の可能性のある被験者又は要注意の対象となる被験者がいることを示すマーカがそれぞれ表示されている。これにより、店舗の責任者ＭＲ（例えば店舗の店長）は、異常の可能性のある被験者（買い物客）又は要注意の対象となる被験者（買い物客）が店舗内にいることを確認することができる。
　また他の出力態様としては、異常通知出力部６は、例えば生体情報処理装置１０がスピーカ（不図示）を有する場合には、異常の可能性のある被験者又は要注意の対象となる被験者に関する情報の音声をスピーカから出力させてもよい。これにより、店舗の責任者ＭＲ（例えば店舗の店長）は、監視モニタ７を目視することなく、異常の可能性のある被験者（買い物客）又は要注意の対象となる被験者（買い物客）が店舗内にいることをスピーカからの音声だけで簡易に確認することができる。
　監視モニタ７は、例えばＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）又は有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）を用いて構成されたディスプレイであり、カメラＣＭにより撮像された画像データを表示し、更に、必要に応じて異常通知出力部６から出力された該当する被験者に関する情報を基に、該当する被験者の周囲に、異常の可能性のある被験者又は要注意の対象となる被験者を示すマーカを表示する。監視モニタ７は、例えば生体情報処理装置１０が店舗内に設置されている場合には、監視室（店舗のバックヤード）に設置されることが好ましい。
　異常通知取得装置ＡＰ１，…，ＡＰｋ（ｋ：１以上の整数）は、異常通知出力部６からの異常の可能性のある被験者又は要注意の対象となる被験者に関する情報の監視モニタ７以外への出力先として設けられ、例えば監視室にいる店舗の責任者（例えば店舗の店長）の監視モニタ７に対するモニタリング作業を支援する。異常通知取得装置ＡＰ１～ＡＰｋは、例えばＢｌｕｅｔｏｏｔｈ（登録商標）を用いた無線通信機能及びバイブレーション機能を有するリストバンド、無線通信機能を有するヘッドマウントディスプレイ、例えば店舗内に設置された照明装置や音声出力装置のうち、いずれか又は複数の組み合わせである。
　例えば異常通知取得装置ＡＰ１～ＡＰｋが無線通信機能及びバイブレーション機能を有するリストバンドであって、店舗内の各店員が各異常通知取得装置ＡＰ１～ＡＰｋ（ｋは１以上の整数）を装着していると、各異常通知取得装置ＡＰ１～ＡＰｋは、異常通知出力部６からの出力に応じて、バイブレーション機能が作動し、異常の可能性のある被験者又は要注意の対象となる被験者があることを店員に知らせることができる。これにより、例えば監視室に最も近くにいる店員は、監視モニタ７上に表示されたマーカを参照することで、該当する被験者を保護したり、被験者が不審な挙動を行わないかを監視したりすることができる。
　また、例えば異常通知取得装置ＡＰ１～ＡＰｋが無線通信機能を有するヘッドマウントディスプレイであって、同様に店舗内の各店員が各異常通知取得装置ＡＰ１～ＡＰｋ（ｋは１以上の整数）を装着していると、各異常通知取得装置ＡＰ１～ＡＰｋは、異常通知出力部６からの出力に応じて、ヘッドマウントディスプレイ上に、異常の可能性のある被験者又は要注意の対象となる被験者があることを店員に知らせることができる。これにより、監視モニタ７上に表示されたマーカを確認する必要がなく、例えば該当する被験者の最も近くにいる店員が、該当する被験者を保護し、又は被験者が不審な挙動を行わないかを監視することができる。
　また、例えば異常通知取得装置ＡＰ１～ＡＰｋが店舗内に設置された照明装置（例えばＬＥＤ：Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）又は音声出力装置（例えばスピーカ）である場合には、各異常通知取得装置ＡＰ１～ＡＰｋは、異常通知出力部６からの出力に応じて、店長や店員以外の人（例えば買い物客）には気付かれづらい照明パターン又は音の変化により、異常の可能性のある被験者又は要注意の対象となる被験者があることを店員に知らせることができる。これにより、監視モニタ７上に表示されたマーカを確認する必要がなく、例えば照明パターンや音に応じた店舗内の対象位置に、該当する被験者の最も近くにいる店員が、該当する被験者を保護し、又は被験者が不審な挙動を行わないかを監視することができる。
　次に、本実施形態の生体情報処理装置１０の動作手順の一例について、図６を参照して説明する。図６は、第１の実施形態の生体情報処理装置１０の動作手順の一例を説明するフローチャートである。
　図６において、画像入力部１は、所定のフレームレートでカメラＣＭにより人が撮像された画像データのフレームをカメラＣＭから連続的に入力（取得）して被験者領域選択部２に出力する（ＳＴ１）。被験者領域選択部２は、画像入力部１により入力された画像データの各フレーム（図４Ａ参照）内において、複数の被験者（Ａさん，Ｂさん，Ｃさん）のうち個々の被験者が含まれる画像範囲である指定範囲ＲＮ１，ＲＮ２，ＲＮ３（図４Ｂ参照）を選択して切り出す（ＳＴ２）。被験者領域選択部２は、Ａさんの指定範囲ＲＮ１，Ｂさんの指定範囲ＲＮ２，Ｃさんの指定範囲ＲＮ３のそれぞれにおける画像データを被験者生体情報抽出部３に出力する。
　被験者生体情報抽出部３は、被験者領域選択部２から出力された個々の被験者が含まれる画像範囲である指定範囲ＲＮ１，ＲＮ２，ＲＮ３の各画像データを基に、各指定範囲ＲＮ１，ＲＮ２，ＲＮ３に対応する被験者（Ａさん，Ｂさん，Ｃさん）の生体情報の一例としての脈拍数を推定する（ＳＴ３）。被験者生体情報抽出部３は、推定結果であるＡさん，Ｂさん，Ｃさんのそれぞれの脈拍数に関する情報を異常検知部４に出力する。被験者生体情報抽出部３が全ての被験者（Ａさん，Ｂさん，Ｃさん）の脈拍数を算定するまで（ＳＴ４、ＮＯ）、ステップＳＴ２及びステップＳＴ３の処理が繰り返される。
　一方、被験者生体情報抽出部３が全ての被験者（Ａさん，Ｂさん，Ｃさん）の脈拍数を算定した場合には（ＳＴ４、ＹＥＳ）、異常検知部４は、被験者生体情報抽出部３から出力された複数の被験者（Ａさん，Ｂさん，Ｃさん）の脈拍数の算定結果（推定結果）を相対的に比較（例えば最大値検索）し（ＳＴ５）、異常の可能性のある被験者又は要注意の対象となる被験者を検知し、検知結果を異常通知出力部６に出力する。また、異常検知部４は、相対比較の際に得られた閾値を閾値保持更新部５に格納する。
　異常通知出力部６は、異常検知部４から出力された検知結果を基に、例えば全ての被験者の中で脈拍数が最も高い被験者に関する情報を、異常の可能性のある被験者又は要注意の対象となる被験者に関する情報として監視モニタ７に出力する（ＳＴ６）。異常通知出力部６は、例えば監視モニタ７上の該当する被験者Ｐ１の周囲に、異常の可能性のある被験者又は要注意の対象となる被験者であることを示すマーカ（例えばエクスクラメイションマーク）を表示させる。
　以上により、本実施形態の生体情報処理装置１０は、ｎ人（例えばＡさん，Ｂさん，Ｃさん）の被験者が撮像された画像データから、個々の被験者の画像範囲である指定範囲ＲＮ１，ＲＮ２，ＲＮ３を選択し、この選択された個々の被験者の画像範囲である指定範囲ＲＮ１，ＲＮ２，ＲＮ３の画像データを基に、画像範囲に対応する被験者の脈拍数を推定する。生体情報処理装置１０は、推定されたｎ人全ての被験者の脈拍数の相対比較に応じて、異常の可能性のある被験者又は要注意の対象となる被験者を検知し、検知結果に対応する被験者に関する情報を出力する。
　被験者の生体情報（例えば脈拍数）を推定する際の周辺環境の変化（例えば室温や気温の変動）が生じた場合には室温や気温の上昇に応じて脈拍数も上昇する。生体情報処理装置１０は、上述の処理により、全ての被験者に対する個々の脈拍数の推定結果の相対比較により他の被験者に比べて脈拍数の値が高い（目立つ）被験者を検知する。そのため生体情報処理装置１０は、脈拍数の推定時に一定の閾値を用いる技術に比べて、周辺環境の変化に追従して、複数の被験者の中から異常の可能性のある被験者又は要注意の対象となる被験者の脈拍数を、リアルタイムかつ正確に検知することができる。
　また、生体情報処理装置１０は、推定されたｎ人の被験者の脈拍数を順に比較し、最も高い脈拍数に対応する被験者を、異常の可能性のある被験者又は要注意の対象となる被験者として検知するので、相対比較の結果として他の被験者に比べて脈拍数が高くて目立つ被験者を、異常の可能性のある被験者又は要注意の対象となる被験者として検知することができる。
　また、生体情報処理装置１０は、推定されたｎ人の被験者の脈拍数のうち最も高い脈拍数を閾値として更新して保持することができるので、一定の閾値を用いる技術に比べて、例えば複数の被験者の脈拍数を定期的に推定する際には、前回の推定時に更新された最大値としての閾値を用いることで、周辺環境の変化に追従して、異常のある可能性のある被験者又は要注意の対象となる被験者の脈拍数の被験者を検知することができる。
　（第２の実施形態）
　図７は、第２の実施形態の生体情報処理装置１０Ａの内部構成の一例を示すブロック図である。図７に示す生体情報処理装置１０Ａでは、図３に示す生体情報処理装置１０の各部と同一の構成については同一の符号を用いて説明を簡略化又は省略し、異なる内容について説明する。
　図７に示す生体情報処理装置１０Ａは、カメラＣＭと、画像入力部１と、被験者領域選択部２と、被験者生体情報抽出部３と、異常検知部４Ａと、閾値保持更新部５Ａと、異常通知出力部６と、監視モニタ７とを含む構成である。なお、生体情報処理装置１０Ａは、第１の実施形態と同様に、異常通知取得装置ＡＰ１，…，ＡＰｋを更に含む構成としてもよい。本実施形態の説明では、異常通知取得装置ＡＰ１，…，ＡＰｋの構成は第１の実施形態と同一であるため、説明を省略する。
　検知部の一例としての異常検知部４Ａは、被験者生体情報抽出部３から出力された複数の被験者（Ａさん，Ｂさん，Ｃさん）の脈拍数の算定結果（推定結果）を相対的に比較（例えば平均値算定）し、異常の可能性のある被験者又は要注意の対象となる被験者を検知し、検知結果を異常通知出力部６に出力する。また、異常検知部４Ａは、相対比較の際に得られた閾値（平均値）を閾値保持更新部５Ａに格納する。なお、本実施形態でいう閾値とは、脈拍数の推定対象である複数の被験者（例えばＡさん，Ｂさん，Ｃさん）のうち、異常のある可能性のある被験者又は要注意の対象となる被験者を特定するために用いられる脈拍数の判定値（平均値）である。従って、本実施形態では、閾値未満の脈拍数が得られた被験者は、異常の可能性のある被験者や、要注意の対象となる被験者として検知されない。
　先ず、異常検知部４Ａは、被験者生体情報抽出部３から出力された複数の被験者（Ａさん，Ｂさん，Ｃさん）の脈拍数の算定結果（推定結果）の平均値を算定し、閾値保持更新部５Ａにおいて予め格納されている閾値の初期値を、算定した平均値に更新する。
　異常検知部４Ａは、Ａさん，Ｂさん，Ｃさんのそれぞれの脈拍数と閾値（平均値）とを相対比較する。Ａさんの脈拍数とＣさんの脈拍数とは平均値（図８Ｃ参照）未満であるため、異常の可能性のある被験者や要注意の対象となる被験者としてＡさん及びＣさんを除外する。更に、異常検知部４Ａは、脈拍数が図８Ｃに示す平均値を超えるＢさんを、異常の可能性のある被験者又は要注意の対象となる被験者として検知する。図８Ｃは、被験者毎の脈拍数の抽出結果の一例を示す図である。図８Ｃに示す例では、Ｂさんの脈拍数が他の２人（Ａさん，Ｂさん）の脈拍数に比べて高くかつ閾値を超えるので、異常検知部４Ａは、脈拍数が閾値を超えるＢさんを、異常の可能性のある被験者又は要注意の対象となる被験者として検知する。なお、図８Ａ及び図８Ｂに示す各図は、図４Ａ及び図４Ｂに示す各図と同一であるため、説明を省略する。
　閾値保持更新部５Ａは、例えばＲＡＭ、半導体メモリ、ＨＤＤ又はＳＳＤを用いて構成され、異常検知部４Ａにより算定された各被験者の脈拍数の平均値を閾値として格納する。
　次に、本実施形態の生体情報処理装置１０Ａの動作手順の一例について、図９を参照して説明する。図９は、第２の実施形態の生体情報処理装置１０Ａの動作手順の一例を説明するフローチャートである。図９の説明では、図６の説明と同一の説明については同一のステップ番号を付与して説明を簡略化又は省略し、異なる内容について説明する。
　図９において、被験者生体情報抽出部３が全ての被験者（Ａさん，Ｂさん，Ｃさん）の脈拍数を算定した場合には（ＳＴ４、ＹＥＳ）、異常検知部４Ａは、被験者生体情報抽出部３から出力された複数の被験者（Ａさん，Ｂさん，Ｃさん）の脈拍数の算定結果（推定結果）の平均値を算定し（ＳＴ５Ａ）、閾値保持更新部５Ａにおいて予め格納されている閾値の初期値を、算定した平均値に更新する（ＳＴ７）。
　更に、異常検知部４Ａは、ステップＳＴ５Ａにおいて算定した閾値（平均値）を用いてＡさん，Ｂさん，Ｃさんの各脈拍数の相対比較を行い、Ａさんの脈拍数とＣさんの脈拍数とは平均値（図８Ｃ参照）未満であるため、異常の可能性のある被験者や要注意の対象となる被験者としてＡさん及びＣさんを除外する。更に、異常検知部４Ａは、脈拍数が図８Ｃに示す平均値を超えるＢさんを、異常の可能性のある被験者又は要注意の対象となる被験者として検知し（ＳＴ６Ａ）、検知結果を異常通知出力部６に出力する。
　異常通知出力部６は、異常検知部４Ａから出力された検知結果を基に、例えば全ての被験者の中で脈拍数が閾値である平均値を超えるｎ人未満の少なくとも１人の被験者（例えばＢさん、図８Ｃ参照）に関する情報を、異常の可能性のある被験者又は要注意の対象となる被験者に関する情報として監視モニタ７に出力する（ＳＴ６Ａ）。
　以上により、本実施形態の生体情報処理装置１０Ａは、推定されたｎ人（例えばＡさん，Ｂさん，Ｃさん）の被験者の脈拍数の平均値を算定し、この脈拍数の平均値より高い脈拍数に対応するｎ人未満の被験者（例えばＢさん、図８Ｃ参照）を、異常の可能性のある被験者又は要注意の対象となる被験者として検知する。そのため生体情報処理装置１０Ａは、相対比較の結果として推定対象となったｎ人全ての被験者の脈拍数の平均値より高い脈拍数の被験者を、異常の可能性のある被験者又は要注意の対象となる被験者として検知することができる。
　また、生体情報処理装置１０Ａは、推定されたｎ人の被験者の脈拍数の平均値を閾値として更新して保持することができるので、一定の閾値を用いる技術に比べて、例えば複数の被験者の脈拍数を定期的に推定する際には、前回の推定時に更新された平均値としての閾値を用いることで、周辺環境の変化に追従して、異常のある可能性のある被験者又は要注意の対象となる被験者の脈拍数の被験者を検知することができる。
　以上のように第１、第２の実施形態による生体情報処理装置は、例えば接触タイプの専用の脈拍数測定器を用いることなく、対象物（例えば被験者、処理対象。なお、対象物は人間でなく、他の動物であってもよい。以下同様。）が撮像された画像データを用いて、生体情報の一例として、被験者の脈拍数を非接触で推定し、推定された被験者の脈拍数を基に、異常の可能性のある被験者又は要注意の対象となる被験者を検知して出力する。
　より具体的には、各実施形態の生体情報処理装置は、ｎ（ｎ：２以上の整数）人の被験者が撮像された画像データを入力する。入力された画像データから、個々の被験者の画像範囲を選択し、選択された個々の被験者の画像範囲の画像データを基に、画像範囲に対応する被験者の脈拍数を推定する。また、生体情報処理装置は、推定されたｎ人の被験者の脈拍数の相対比較に応じて、異常の可能性のある被験者又は要注意の対象となる被験者を検知し、この検知結果に対応する被験者に関する情報を出力する。
　各実施形態の生体情報処理装置は、例えばデスクトップ型又はラップトップ型のＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、スマートフォン、携帯電話機、タブレット端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）等のデータ通信端末であり、対象物の一例としての人を撮像するためのカメラ機能を有していてもよい。
　（第３の実施形態）
　以下、第３の実施形態の生体情報処理装置の構成について説明する。図１０Ａは、第３の実施形態の生体情報処理装置１００の内部構成の一例を示すブロック図である。図１０Ｂは、本実施形態および後述する第４の実施形態の生体情報処理装置１００，１００Ａ（図１６）の動作概要の一例を模式的に示す図である。
　図１０Ａに示す生体情報処理装置１００は、カメラＣＭと、画像入力部１１と、肌色抽出部１２と、複数（例えば３個）のフィルタ部Ｆ１，Ｆ２，Ｆ３と、複数（例えば３個）の推定モジュール部Ｍ１，Ｍ２，Ｍ３と、信頼度判定部１５と、セレクタ１６と、脈拍出力部１７とを含む構成である。推定モジュール部Ｍ１はフィルタ部Ｆ１に対応して設けられ、推定モジュール部Ｍ２はフィルタ部Ｆ２に対応して設けられ、推定モジュール部Ｍ３はフィルタ部Ｆ３に対応して設けられている。
　カメラＣＭは、所定のフレームレート（例えば１０ｆｐｓ：ｆｒａｍｅ　ｐｅｒ　ｓｅｃｏｎｄ）で対象物である人を撮像して画像入力部１１に出力する。なお、カメラＣＭは生体情報処理装置１００の内部に含まれなくてもよく、例えば生体情報処理装置１００とはネットワークを介して接続されてもよい。ネットワークは、無線ネットワーク又は有線ネットワークをインターフェースとして接続されるインターネット又はイントラネットである。無線ネットワークは、例えば無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、無線ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、３Ｇ、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）又はＷｉＧｉｇ（Ｗｉｒｅｌｅｓｓ　Ｇｉｇａｂｉｔ）である。有線ネットワークは、例えばＩＥＥＥ８０２．３又はイーサネット（ＥＴＨＥＲＮＥＴ（登録商標））である。
　画像入力部１１は、所定のフレームレートでカメラＣＭにより人が撮像された画像データのフレームをカメラＣＭから連続的に入力（取得）して肌色抽出部１２に出力する。なお、カメラＣＭと生体情報処理装置１００とが別体で構成されている場合には、画像入力部１１は、カメラＣＭから送信された画像データのフレームを連続的に受信する。
　抽出部の一例としての肌色抽出部１２は、画像入力部１１により入力された画像データの各フレーム内の所定範囲（例えば図１０Ｂに示す肌色領域ＦＬ１）の信号（例えば画素値、輝度値）を、少なくとも１周期（周期は既知）分のフレーム数を用いて抽出する。ここで、肌色抽出部１２により抽出された時系列の信号は、例えば図１０Ｂに示す人の顔の紙面下側に示されたノイズ信号が含まれた原信号である。肌色抽出部１２は、抽出された所定範囲の信号を各フィルタ部Ｆ１～Ｆ３に出力する。
　フィルタ部Ｆ１，Ｆ２，Ｆ３は、それぞれ異なるフィルタ係数を用いたバンドパスフィルタを用いて構成され、それぞれの動作はフィルタ係数が異なること以外は共通であるため、フィルタ部Ｆ１の動作を例示して説明する。フィルタ部Ｆ１は、肌色抽出部１２から出力された所定範囲の信号（画素値）を平均化することで、例えばカメラＣＭの撮像時に含まれたノイズ信号を除去する。
　この平均化により人の脈波が抽出され得るが、まだ身体の動き成分やノイズの残留成分が含まれている可能性が高いので、フィルタ部Ｆ１は、フィルタ部Ｆ１に対応するフィルタ係数を用いて、脈波の基本周波数以外の周波数成分をカットする。フィルタ部Ｆ１の出力は、推定モジュール部Ｍ１に入力される。
　フィルタ部Ｆ１のフィルタ係数は、例えば３０～６０ｂｐｍの信号がフィルタ部Ｆ１を通過するように予め設定されている。なお、フィルタ部Ｆ２のフィルタ係数は、例えば５０～９０ｂｐｍの信号がフィルタ部Ｆ２を通過するように予め設定されている。また、フィルタ部Ｆ３のフィルタ係数は、例えば７０～１２０ｂｐｍの信号がフィルタ部Ｆ３を通過するように予め設定されている。
　一般に安静時の成人の脈拍は６０～８０ｂｐｍであるが、被験者（対象物、生体情報処理対象）が徐脈又は頻脈を有する場合や、運動や緊張時の影響も考慮し、通過対象範囲が３０～１２０ｂｐｍと設定されている。また、フィルタの通過対象範囲３０～１２０ｂｐｍをフィルタ部Ｆ１～Ｆ３によって３つに分割することにより、フィルタ部Ｆ１～Ｆ３のそれぞれの出力信号が正弦波に近づく（図１０Ｂに示すマルチバンドフィルタの各波形参照）。そのため、各フィルタ部Ｆ１～Ｆ３の出力を用いた脈波の推定精度を向上することができる。
　推定モジュール部Ｍ１は、波形検定部Ｍ１ａと脈拍推定部Ｍ１ｂとを含む構成である。以下、推定モジュール部Ｍ１，Ｍ２，Ｍ３の構成は同様であるため、推定モジュール部Ｍ１の動作を例示して説明する。
　検定部の一例としての波形検定部Ｍ１ａは、フィルタ部Ｆ１の少なくとも１周期分の出力信号が入力され、フィルタ部Ｆ１においてカットできなかったノイズ信号の区間を検出するために、入力された少なくとも１周期分の出力信号のうち所定条件（つまり、数式（２）、数式（３））を満たす信号（つまり、ノイズ信号）の区間があるか否かを判断する。波形検定部Ｍ１ａは、所定条件を満たすと判断した出力信号の区間を無効（ｉｎｖａｌｉｄ）区間として排除する（図１４参照）。図１４は、各推定モジュール部Ｍ１，Ｍ２，Ｍ３内の波形検定部の動作例を示す説明図である。
　図１４では、例えばフィルタ部Ｆ１の少なくとも１周期分の出力信号の振幅の時系列的な変化が示されており、Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７は、例えば波形検定部Ｍ１ａに含まれるＡＤＣ（Ａｎａｌｏｇ　Ｄｉｇｉｔａｌ　Ｃｏｎｖｅｒｔｅｒ）によりＡＤ変換されたサンプル値である。ＭＰＡ（Ｍｅａｎ　ｐｅａｋ　ｔｏ　ｐｅａｋ　ａｍｐｌｉｔｕｄｅ）は、各サンプル値Ｐ１～Ｐ７のピーク間の振幅の平均値を示す。ＰＰＡ（Ｐｅａｋ　ｔｏ　ｐｅａｋ　ａｍｐｌｉｔｕｄｅ）は、各サンプル値Ｐ１～Ｐ７のピーク間の振幅の最大値を示す。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　ただし、αは出力信号の振幅で許容される上限を定義するための係数であり、βは下限を定義するための係数である。
　数式（２）によれば、波形検定部Ｍ１ａは、フィルタ部Ｆ１の少なくとも１周期分の出力信号の振幅が所定値（例えばゼロ）に比べて極端に大きい信号を排除することができる。また、数式（３）によれば、波形検定部Ｍ１ａは、フィルタ部Ｆ１の少なくとも１周期分の出力信号の振幅が所定値（例えばゼロ）に比べて極端に小さい信号を排除することができる。波形検定部Ｍ１ａは、所定条件（つまり、数式（２）、数式（３））を満たす信号の区間があると判断した場合には、該当する信号の区間を排除した少なくとも１周期分の信号を脈拍推定部Ｍ１ｂ及び信頼度判定部１５に出力する。
　一方、波形検定部Ｍ１ａは、所定条件（つまり、数式（２）、数式（３））を満たす信号の区間がないと判断した場合には、フィルタ部Ｆ１の少なくとも１周期分の出力信号をそのまま脈拍推定部Ｍ１ｂ及び信頼度判定部１５に出力する。波形検定部Ｍ１ａの処理は、人の脈波の振幅が一定幅の中で緩やかに変化するという知見を利用しており、数式（２）、数式（３）を満たす信号は外乱ノイズである可能性が高いことになる。なお、他の推定モジュール部Ｍ２，Ｍ３内の波形検定部（不図示）からも同様な出力信号が信頼度判定部１５に入力される。
　推定部の一例としての脈拍推定部Ｍ１ｂは、フィルタ部Ｆ１の少なくとも１周期分の出力信号又は波形検定部Ｍ１ａの少なくとも１周期分の出力信号を基に、数式（４）に従って、人の脈拍値（Ｐｕｌｓｅ　ｒａｔｅ）を算出してセレクタ１６に出力する（図１３参照）。図１３は、第２の実施形態の生体情報処理装置１００における脈拍算出方法の一例を示す図である。
Figure JPOXMLDOC01-appb-M000004
　ここで、従来のカメラを用いた脈拍算出方法の問題点について、図１１及び図１２を参照して説明する。図１１は、従来のカメラを用いた脈拍算出方法の一例を示す図である。図１２は、図１１に示す脈拍算出方法における問題の説明図である。
　図１１では、横軸は時間を示し、縦軸（不図示）はカメラにより撮像された画像の肌色領域の緑色の１周期分の信号ＷＶ０（つまり、画素値）を示し、例えば８ビットで示す場合には０～２５５で示される。また、図１１及び図１２では、例えば各サンプル値の差分（つまり、直前のサンプル値との差分）との算出結果を用いて、単調増加時のゼロ点通過時点から次の単調増加時のゼロ点通過時点までの信号が１周期分の信号ＷＶ０として抽出されている。
　図１１に示す脈拍数の算出例として、カメラのフレームレートが１０ｆｐｓ、１周期分の信号ＷＶ０に対応するフレームカウント（つまり、１周期分の信号ＷＶ０が得られるために必要な画像データのフレーム数）が９であった場合、脈拍数は１０×６０÷９≒６７ｂｐｍとなる。
　図１２では、図１１と同様に、横軸は時間を示し、縦軸（不図示）はカメラにより撮像された画像の肌色領域の緑色の１周期分の信号ＷＶ０（つまり、画素値）を示し、例えば８ビットで示す場合には０～２５５で示される。ここで、カメラから渡される画像データのフレームのコマ落ち（つまり、フレームの取得側における受信ロス又はフレーム欠落）が発生した場合には、１周期分の信号ＷＶ０に対応するフレームカウントが８となり、本来算出されるべき脈拍数とは異なる脈拍数が算出されてしまい、誤差が発生する。つまり、コマ落ちが発生すると、脈拍数は１０×６０÷８＝７５ｂｐｍとなり、６７ｂｐｍとの差分（８ｂｐｍ）が誤差として発生する。
　そこで、本実施形態を含む各実施形態の生体情報処理装置１００，１００Ａは、脈拍推定部Ｍ１ｂにおいて、１周期分の信号ＷＶ０に対応するフレームカウントを用いず、１周期分の信号ＷＶ０が得られるまでに画像入力部１１が入力する画像データのフレームの入力間隔（例えばカメラＣＭからの入力間隔又は受信間隔）の和を用いて、数式（４）に従って、脈拍数を算出する。
　図１３では、図１１と同様に、横軸は時間を示し、縦軸（不図示）は肌色抽出部１２により抽出された信号を示す。言い換えると、図１３に示す信号は、カメラＣＭにより撮像された画像の肌色領域の緑色の１周期分の信号ＷＶ０（つまり、画素値）を示し、例えば８ビットで示す場合には０～２５５で示される。脈拍推定部Ｍ１ｂは、１周期分の信号ＷＶ０が得られるために必要な画像データのフレームの入力間隔ｔ０，ｔ１，ｔ２，ｔ３，ｔ４，ｔ５，ｔ６，ｔ７の和（＝０．０１＋０．０１＋０．０２＋０．０１＋０．０１＋０．０１＋０．０１＋０．０１）を上述した数式（４）に示すＰＷＩ（Ｐｕｌｓｅ　Ｗａｖｅ　Ｉｎｔｅｒｖａｌ、脈波間隔）として用いる。
　従って、図１３において第３番目のフレームのコマ落ちが発生した場合には、１周期分の信号ＷＶ０が得られるために必要な画像データのフレーム数が８になる。しかしながら、脈拍推定部Ｍ１ｂは、第２番目のフレームを入力してから次のフレーム（図１３に示す第４番目のフレーム）を入力するまでの入力間隔ｔ２を含む、１周期分の信号ＷＶ０が得られるために必要な画像データのフレームの入力間隔ｔ０，ｔ１，ｔ２，ｔ３，ｔ４，ｔ５，ｔ６，ｔ７の和を用いる。これにより脈拍推定部Ｍ１ｂは、図１１においてコマ落ちが発生していない場合と同様に適正な脈拍数を算出することができる（数式（４）参照）。
　判定部の一例としての信頼度判定部１５は、所定条件（数式（３）、数式（４））を満たすフィルタ部Ｆ１，Ｆ２，Ｆ３の出力信号の区間が排除されたそれぞれの推定モジュール部Ｍ１，Ｍ２、Ｍ３からの少なくとも１周期分の出力信号、又は所定条件を満たさないフィルタ部Ｆ１，Ｆ２，Ｆ３の出力信号を基に、無効区間の最も少ない推定モジュール部からの少なくとも１周期分の出力信号を判定する。言い換えると、フィルタ部Ｆ１，Ｆ２，Ｆ３の出力信号がそのままそれぞれの推定モジュール部Ｍ１，Ｍ２，Ｍ３から出力された信号となる。信頼度判定部１５は、判定結果（即ち、いずれかの推定モジュール部に関する情報）をセレクタ１６に出力する。
　信頼度判定部１５は、信頼度として例えば、無効区間がない場合に信頼度「１００」を付与し、数式（２）を満たす無効区間の数、数式（３）を満たす無効区間の数、又は数式（２）及び数式（３）の両方を満たす無効区間の数に応じて、所定の算出方法（例えば無効区間の数と無効区間の判断の元になった数式（２）、数式（３）毎の所定の重み係数（既知）を用いて乗算して「１００」から減点する方法に従って信頼度を付与する。
　出力部の一例としてのセレクタ１６は、信頼度判定部１５から出力された判定結果を基に、推定モジュール部Ｍ１，Ｍ２，Ｍ３からの出力（即ち、推定モジュール部Ｍ１，Ｍ２，Ｍ３においてそれぞれ推定された脈拍数に関する情報）のうち、信頼度判定部１５の判定結果に対応する推定モジュール部の出力（脈拍数に関する情報）を選択して脈拍出力部１７に出力する。
　例えば図１０Ｂに示すように、推定モジュール部Ｍ１において推定された脈拍数が「７０」で信頼度判定部１５により判定された信頼度が「６０」であり、推定モジュール部Ｍ２において推定された脈拍数が「７６」で信頼度判定部１５により判定された信頼度が「８０」であり、推定モジュール部Ｍ３において推定された脈拍数が「７８」で信頼度判定部１５により判定された信頼度が「７０」であるとする。この場合、セレクタ１６は、最も信頼度が高い「８０」が得られた脈拍数「７６」を脈拍出力部１７に出力する。
　出力部の一例としての脈拍出力部１７は、セレクタ１６により選択された脈拍数に関する情報を出力する。脈拍出力部１７は、例えば生体情報処理装置１００がディスプレイ（不図示）を有する場合には、セレクタ１６により選択された脈拍数に関する情報をディスプレイに表示させる。また、脈拍出力部１７は、例えば生体情報処理装置１００がスピーカ（不図示）を有する場合には、セレクタ１６により選択された脈拍数に関する情報をスピーカから出力させる。
　次に、本実施形態の生体情報処理装置１００の動作手順の一例について、図１５を参照して説明する。図１５は、第２の実施形態の生体情報処理装置１００の動作手順の一例を説明するフローチャートである。
　図１５において、画像入力部１１は、所定のフレームレートでカメラＣＭにより人が撮像された画像データのフレームをカメラＣＭから連続的に入力（取得）して肌色抽出部１２に出力する（ＳＴ１１）。肌色抽出部１２は、画像入力部１１により入力された画像データの各フレーム内の所定範囲（例えば図１０Ｂに示す肌色領域ＦＬ１）の信号（例えば画素値、輝度値）を、少なくとも１周期（周期は既知）分のフレーム数を用いて抽出する（ＳＴ１２）。肌色抽出部１２は、抽出された所定範囲の信号を各フィルタ部Ｆ１～Ｆ３に出力する。
　ステップＳＴ１３では、フィルタ部Ｆ１～Ｆ３におけるフィルタ係数が選択される（ＳＴ１３）。なお、上述したように、フィルタ部Ｆ１には、例えば３０～６０ｂｐｍの信号がフィルタ部Ｆ１を通過するようにフィルタ係数が予め設定されている。フィルタ部Ｆ２には、例えば５０～９０ｂｐｍの信号がフィルタ部Ｆ２を通過するようにフィルタ係数が予め設定されている。同様に、フィルタ部Ｆ３には、例えば７０～１２０ｂｐｍの信号がフィルタ部Ｆ３を通過するようにフィルタ係数が予め設定されている。図１５では、説明を分かり易くするために、ステップＳＴ１３からステップＳＴ１７までの処理が時系列となるように示されているが、生体情報処理装置１００ではこれらの各処理はパラレル（並行）に行われている。
　フィルタ部Ｆ１は、フィルタ処理の一例として、肌色抽出部１２から出力された所定範囲の信号（画素値）を平均化することで、例えばカメラＣＭの撮像時に含まれたノイズ信号を除去する（ＳＴ１４）。また、フィルタ部Ｆ１は、フィルタ処理の他の一例として、フィルタ部Ｆ１に対応するフィルタ係数を用いて、脈波の基本周波数以外の周波数成分をカットする（ＳＴ１４）。フィルタ部Ｆ１の出力は、推定モジュール部Ｍ１に入力される。
　波形検定部Ｍ１ａは、フィルタ部Ｆ１の少なくとも１周期分の出力信号を基に、フィルタ部Ｆ１においてカットできなかったノイズ信号の区間を検出するために、入力された少なくとも１周期分の出力信号のうち所定条件（つまり、数式（２）、数式（３））を満たす信号の区間があるか否かの判断により波形を検定する（ＳＴ１５）。
　波形検定部Ｍ１ａは、所定条件を満たすと判断した出力信号の区間を無効（ｉｎｖａｌｉｄ）区間として排除し、該当する信号の区間を排除した少なくとも１周期分の信号を脈拍推定部Ｍ１ｂ及び信頼度判定部１５に出力する。一方、波形検定部Ｍ１ａは、所定条件（つまり、数式（２）、数式（３））を満たす信号の区間がないと判断した場合には、フィルタ部Ｆ１の少なくとも１周期分の出力信号をそのまま脈拍推定部Ｍ１ｂ及び信頼度判定部１５に出力する。
　脈拍推定部Ｍ１ｂは、フィルタ部Ｆ１の少なくとも１周期分の出力信号又は波形検定部Ｍ１ａの少なくとも１周期分の出力信号を基に、数式（４）に従って、人の脈拍値（Ｐｕｌｓｅ　ｒａｔｅ）を算出してセレクタ１６に出力する（ＳＴ１６）。
　ステップＳＴ１７において、フィルタ部Ｆ１～Ｆ３及び推定モジュール部Ｍ１～Ｍ３においてそれぞれの処理が終了していない場合には（ＳＴ１７、ＮＯ）、フィルタ部Ｆ１～Ｆ３及び推定モジュール部Ｍ１～Ｍ３においてそれぞれ、ステップＳＴ１３～ステップＳＴ１７までの処理が終了するまで、生体情報処理装置１００の動作は待機状態となる。
　一方、フィルタ部Ｆ１～Ｆ３及び推定モジュール部Ｍ１～Ｍ３においてそれぞれの処理が終了した場合には（ＳＴ１７、ＹＥＳ）、信頼度判定部１５は、ＳＴ１８にて次の処理を行う。すなわち、所定条件を満たすフィルタ部Ｆ１，Ｆ２，Ｆ３の出力信号の区間が排除された推定モジュール部Ｍ１，Ｍ２、Ｍ３からの少なくとも１周期分の出力信号、又は所定条件を満たさないフィルタ部Ｆ１，Ｆ２，Ｆ３の出力信号を基に、無効区間の最も少ない推定モジュール部からの少なくとも１周期分の出力信号を判定する。所定条件とは例えば、数式（３）、数式（４）である。信頼度判定部１５は、判定結果（即ち、いずれかの推定モジュール部に関する情報）をセレクタ１６に出力する。
　セレクタ１６は、信頼度判定部１５から出力された判定結果を基に、推定モジュール部Ｍ１，Ｍ２，Ｍ３からの出力（即ち、推定モジュール部Ｍ１，Ｍ２，Ｍ３において推定された脈拍数に関する情報）のうち、信頼度判定部１５の判定結果に対応する推定モジュール部の出力（脈拍数に関する情報）を選択して脈拍出力部１７に出力する（ＳＴ１９）。脈拍出力部１７は、セレクタ１６により選択された脈拍数に関する情報を出力する（ＳＴ１９）。
　以上により、本実施形態の生体情報処理装置１００は、入力された画像データの所定範囲（例えば人の肌色領域ＦＬ１）の信号を抽出し、異なる係数（例えばフィルタ係数）を用いて、抽出された所定範囲の信号のうち異なる係数に対応する信号をそれぞれ複数のフィルタ部Ｆ１～Ｆ３において出力する。生体情報処理装置１００は、フィルタ部Ｆ１～Ｆ３に対応してそれぞれ設けられた推定モジュール部Ｍ１～Ｍ３において、対応するフィルタ部の少なくとも１周期分の出力信号と少なくとも１周期分の出力信号に対応する画像データのフレームの入力間隔とを基に、人の脈拍値を推定する。そして、複数のフィルタ部Ｆ１～Ｆ３の出力信号に応じて、推定された複数の脈拍値からいずれかを選択して出力する。
　これにより、生体情報処理装置１００は、ユーザが撮像された画像データのフレームがコマ落ちした場合でも、画像データに含まれるユーザの肌色領域の画像処理（例えば所定のフィルタ係数を用いたノイズ除去処理）により得られた少なくとも１周期の信号に対応する画像データの複数のフレームの入力間隔と血液が特定波長域の光を吸収する性質とを用いて、ユーザの脈拍数を推定する。そのため生体情報処理装置１００は、例えば接触タイプの専用の脈拍数測定器を用いることなく、ユーザの脈拍数を非接触で高精度に推定することができる。
　また、生体情報処理装置１００は、各フィルタ部に対応する推定モジュール部において、所定条件を満たすフィルタ部の出力信号の区間を無効区間として排除し、無効区間が排除された少なくとも１周期の出力信号と少なくとも１周期の出力信号に対応する画像データのフレームの入力間隔とを基に、人の脈拍値を推定する。
　これにより、生体情報処理装置１００は、所定条件を満たすフィルタ部の出力信号の区間（例えば振幅が所定値に比べて極端に大きい信号や極端に小さい信号の区間）を無効区間として排除することができる。そのため、例えば外乱ノイズによる影響を抑制することができ、無効区間が排除された少なくとも１周期分の出力信号に対応する画像データのフレームの入力間隔を用いて、人の脈拍値を高精度に推定することができる。
　また、生体情報処理装置１００は、所定条件を満たす各フィルタ部の出力信号の区間が排除された少なくとも１周期分の出力信号を基に、無効区間の最も少ない、少なくとも１周期分の出力信号を判定し、この判定された少なくとも１周期分の出力信号に対応して推定された人の脈拍値を選択する。
　これにより、生体情報処理装置１００は、無効区間の最も少ない（言い換えると、外乱ノイズの影響を最も受けていない）少なくとも１周期分の出力信号を用いた人の脈拍値を選択することができる。
　（第４の実施形態）
　図１６は、第４の実施形態の生体情報処理装置１００Ａの内部構成の一例を示すブロック図である。図１７は、１周期分の観測波形のピークがサンプリング位置から外れている場合の問題の説明図である。図１６に示す生体情報処理装置１００Ａでは、図１０Ａに示す生体情報処理装置１００の各部と同一の構成については同一の符号を用いて説明を簡略化又は省略し、異なる内容について説明する。
　図１６に示す生体情報処理装置１００Ａは、カメラＣＭと、画像入力部１１と、肌色抽出部１２と、複数（例えば３個）のフィルタ部Ｆ１，Ｆ２，Ｆ３と、複数（例えば３個）の推定モジュール部Ｍ１Ｒ，Ｍ２Ｒ，Ｍ３Ｒと、信頼度判定部１５と、セレクタ１６と、脈拍出力部１７とを含む構成である。推定モジュール部Ｍ１Ｒはフィルタ部Ｆ１に対応して設けられ、推定モジュール部Ｍ２Ｒはフィルタ部Ｆ２に対応して設けられ、推定モジュール部Ｍ３Ｒはフィルタ部Ｆ３に対応して設けられている。
　推定モジュール部Ｍ１Ｒは、補間部Ｍ１ｃと波形検定部Ｍ１ａと脈拍推定部Ｍ１ｂとを含む構成である。補間部Ｍ１ｃは、フィルタ部Ｆ１の少なくとも１周期分の出力信号が入力され、フィルタ部Ｆ１の少なくとも１周期分の出力信号を基に、フィルタ部Ｆ１の少なくとも１周期分の出力信号が所定値（例えばゼロ）となる位置（時刻）の差分（時間差）を補間（例えば線形補間）し、補間後の少なくとも１周期分の出力信号を波形検定部Ｍ１ａ及び脈拍推定部Ｍ１ｂに出力する。本実施形態では、波形検定部Ｍ１ａ及び脈拍推定部Ｍ１ｂでは、補間部Ｍ１ｃの出力が用いられる。以下、推定モジュール部Ｍ１Ｒ，Ｍ２Ｒ，Ｍ３Ｒの構成は同様であるため、推定モジュール部Ｍ１Ｒの動作を例示して説明する。
　ここで、図１７を参照し、１周期分の観測波形のピークがサンプリング位置から外れている場合の課題について説明する。図１７では、横軸は時間を示し、縦軸（不図示）は肌色抽出部１２により抽出された信号ＷＶ０を示す。言い換えると、図１７に示す信号は、カメラＣＭにより撮像された画像の肌色領域ＦＬ１の緑色の１周期分の信号ＷＶ０（つまり、画素値）を示し、例えば８ビットで示す場合には０～２５５で示される。
　図１７において、Ｓ１～Ｓ８は、例えば波形検定部Ｍ１ａに含まれるＡＤＣによりＡＤ変換されたサンプル値であり、Ｔ１～Ｔ８はＡＤＣによりＡＤ変換されたサンプリング時刻である。図１７に示す信号ＷＶ０の１周期は、正確に言うと、信号ＷＶ０のピークと次のピークとの間の時間（線分ＡＳ１参照）であるが、信号ＷＶ０のピークがサンプリング位置（サンプリング時刻におけるサンプル値）から外れていると誤差が発生してしまう。具体的には、図１７に示す信号ＷＶ０の１周期は、ピーク値であるサンプル値Ｓ２のサンプリング時刻Ｔ２と次のピーク値であるサンプル値Ｓ７のサンプリング時刻Ｔ７との間の時間（線分ＮＴ１参照）となってしまうので、線分ＡＳ１と線分ＮＴ１との差分に応じた誤差が発生することになり、フィルタ部Ｆ１～Ｆ３に入力される信号に誤差が生じているので、人の脈拍の推定精度が劣化することになる。
　そこで、本実施形態では、各々の推定モジュール部Ｍ１Ｒ～Ｍ３Ｒは、上述した数式（４）に示すＰＷＩ（脈波間隔）をより正確に求めるために、各々の推定モジュール部Ｍ１Ｒ～Ｍ３Ｒに入力された信号（即ち、各々のフィルタ部Ｆ１～Ｆ３の出力信号）を補間することで、１周期分の信号ＷＶ０を導出する（図１８、図１９、図２０参照）。
　（第１の補間例）
　図１８は、各推定モジュール部の補間部Ｍ１ｃの動作の第１例を示す説明図である。図１８では、横軸は時間を示し、縦軸（不図示）は肌色抽出部１２により抽出された信号ＷＶ１を示す。言い換えると、図１８に示す信号は、カメラＣＭにより撮像された画像の肌色領域ＦＬ１の緑色の１周期分の信号ＷＶ１（つまり、画素値）を示し、例えば８ビットで示す場合には０～２５５で示される。
　図１８に示す第１の補間例では、補間部Ｍ１ｃは、例えば単調増加時又は単調減少時の信号ＷＶ１が所定値（例えばゼロ）を通過する横軸上の少なくとも２個の位置（時刻）の差分（時間差）を補間（即ち、線形補間処理）し、少なくとも１周期分の信号ＷＶ１を推定する。図１８に示す線分ＡＳ１及び線分ＮＴ１は、図１７に示す線分ＡＳ１及び線分ＮＴ１と同一であるため、説明を省略し、図１９及び図２０においても同様である。なお、図１８～図２０の下部では線分ＡＳ１、ＮＴ１の長さと、線分ＰＲ１、ＰＲ２、またはＰＲ３との長さを比較している。
　より具体的には、補間部Ｍ１ｃは、例えば単調増加時の信号ＷＶ１がゼロを通過する位置と次の単調増加時の信号ＷＶ１がゼロを通過する位置との差分（線分ＰＲ１参照）を推定する。そのために、第１番目の単調増加時の信号ＷＶ１の少なくとも２個の位置（点Ａ０（０，ａ０）と点Ａ１（１，ａ１））を通過する線分がゼロを通過する位置（線分ＰＲ１の左端）と、第２番目の単調増加時の信号ＷＶ１の少なくとも２個の位置（点Ｂ０（０，ｂ０）と点Ｂ１（１，ｂ１））を通過する直線がゼロを通過する位置（線分ＰＲ１の右端）とを求める。ａ０，ａ１，ｂ０，ｂ１は、それぞれ信号ＷＶ１上の位置であってサンプル値である。図１８では、単調増加時の信号ＷＶ１上の点を用いて説明しているが、単調減少時の信号ＷＶ１上の点を用いても同様である。
　点Ａ０の横軸上の位置と線分ＰＲ１の左端との間の距離ｐ０は、補間部Ｍ１ｃの線形補間によって、数式（５）により示される。同様に、点Ｂ０の横軸上の位置と線分ＰＲ１の右端との間の距離ｐ１は、補間部Ｍ１ｃの線形補間によって、数式（６）により示される。これにより、補間部Ｍ１ｃは、線分ＰＲ１の長さを算出することができ、線分ＡＳ１との誤差が大きい線分ＮＴ１に比べて、線分ＡＳ１との誤差を低減することができるので、脈拍数の推定精度を向上することができる。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　（第２の補間例）
　図１９は、各推定モジュール部の補間部Ｍ１ｃの動作の第２例を示す説明図である。図１９では、横軸は時間を示し、縦軸（不図示）は肌色抽出部１２により抽出された信号ＷＶ１を示す。言い換えると、図１９に示す信号は、カメラＣＭにより撮像された画像の肌色領域ＦＬ１の緑色の１周期分の信号ＷＶ１（つまり、画素値）を示し、例えば８ビットで示す場合には０～２５５で示される。
　図１９に示す第２の補間例では、補間部Ｍ１ｃは、例えば最初のピークが得られる単調増加時又は単調減少時の信号ＷＶ１上の２点を通過する直線と、その直線の傾きを反転させた傾きと単調減少時又は単調増加時の信号ＷＶ１上の１点を通過する直線との交点を求める。更に、補間部Ｍ１ｃは、同様に次のピークが得られる単調増加時又は単調減少時の信号ＷＶ１上の２点を通過する直線と、その直線の傾きを反転させた傾きと単調減少時又は単調増加時の信号ＷＶ１上の１点を通過する直線との交点を求める。補間部Ｍ１ｃは、これら２個の交点を用いて補間（即ち、等角直線フィッティング）し、少なくとも１周期分の信号ＷＶ１を推定する。
　より具体的には、補間部Ｍ１ｃは、例えば単調増加時の信号ＷＶ１上の２点（点Ａ０（０，ａ０）と点Ａ１（１，ａ１））を通過する直線Ｌ０と、その直線Ｌ０の傾きを反転させた傾きと単調減少時の信号ＷＶ１上の１点（点Ａ２（２，ａ２））を通過する直線Ｌ１との交点を求める。更に、補間部Ｍ１ｃは、同様にして、例えば単調減少時の信号ＷＶ１上の２点（点Ｂ１（１，ｂ１）と点Ｂ２（２，ｂ２））を通過する直線Ｎ１と、その直線Ｎ１の傾きを反転させた傾きと単調増加時の信号ＷＶ１上の１点（点Ｂ０（０，ｂ０））を通過する直線Ｎ０との交点を求める。ａ０，ａ１，ａ２，ｂ０，ｂ１，ｂ２は、それぞれ信号ＷＶ１上の位置であってサンプル値である。図１９では、直線Ｌ０，Ｎ０に対しては単調増加時、直線Ｌ１，Ｎ１に対しては単調減少時の信号ＷＶ１上の点を用いて説明しているが、単調増加時を単調減少時に読み替えても同様である。
　線分ＰＲ２は直線Ｌ０と直線Ｌ１との交点の横軸上の位置と直線Ｎ０と直線Ｎ１との交点の横軸上の位置との差分を示している。点Ａ１の横軸上の位置と直線Ｌ０と直線Ｌ１との交点の横軸上の位置との間の距離ｐ０は、補間部Ｍ１ｃの等角直線フィッティングによって、数式（７）により示される。同様に、直線Ｎ０と直線Ｎ１との交点の横軸上の位置と点Ｂ１の横軸上の位置との間の距離ｐ１は、補間部Ｍ１ｃの等角直線フィッティングによって、数式（８）により示される。これにより、補間部Ｍ１ｃは、線分ＰＲ２の長さを算出することができ、線分ＡＳ１との誤差が大きい線分ＮＴ１に比べて、線分ＡＳ１との誤差を低減することができるので、脈拍数の推定精度を向上することができる。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
　（第３の補間例）
　図２０は、各推定モジュール部の補間部Ｍ１ｃの動作の第３例を示す説明図である。図２０では、横軸は時間を示し、縦軸（不図示）は肌色抽出部１２により抽出された信号ＷＶ１を示す。言い換えると、図２０に示す信号は、カメラＣＭにより撮像された画像の肌色領域ＦＬ１の緑色の１周期分の信号ＷＶ１（つまり、画素値）を示し、例えば８ビットで示す場合には０～２５５で示される。
　図２０に示す第３の補間例では、補間部Ｍ１ｃは、最初のピークが得られる信号ＷＶ１上の３点を通過する２次曲線の頂点と、次のピークが得られる信号ＷＶ１上の３点を通過する２次曲線の頂点を用いて補間（即ち、パラボラフィッティング）し、少なくとも１周期分の信号ＷＶ１を推定する。
　より具体的には、補間部Ｍ１ｃは、例えば最初のピークが得られる信号ＷＶ１上の３点（点Ａ０（０，ａ０）と点Ａ１（１，ａ１）と点Ａ２（２，ａ２））を通過する２次曲線Ｒ０の頂点の横軸上の位置と、次のピークが得られる信号ＷＶ１上の３点（点Ｂ０（０，ｂ０）と点Ｂ１（１，ｂ１）と点Ｂ２（２，ｂ２））を通過する２次曲線Ｒ１の頂点の横軸上の位置とを求める。ａ０，ａ１，ａ２，ｂ０，ｂ１，ｂ２は、それぞれ信号ＷＶ１上の位置であってサンプル値である。
　線分ＰＲ３は２次曲線Ｒ０の頂点の横軸上の位置と２次曲線Ｒ１の頂点の横軸上の位置との差分を示している。点Ａ１の横軸上の位置と２次曲線Ｒ０の頂点の横軸上の位置との間の距離ｐ０は、補間部Ｍ１ｃのパラボラフィッティングによって、数式（９）により示される。同様に、２次曲線Ｒ１の頂点の横軸上の位置と点Ｂ１の横軸上の位置との間の距離ｐ１は、補間部Ｍ１ｃの等角直線フィッティングによって、数式（１０）により示される。これにより、補間部Ｍ１ｃは、線分ＰＲ３の長さを算出することができ、線分ＡＳ１との誤差が大きい線分ＮＴ１に比べて、線分ＡＳ１との誤差を低減することができるので、脈拍数の推定精度を向上することができる。
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
　図２１は、第４の実施形態の生体情報処理装置１００Ａの動作手順の一例を説明するフローチャートである。図２１では、第３の実施形態の生体情報処理装置１００の動作手順と異なる内容について説明し、同一の動作については同一のステップ番号を付与して説明を簡略化又は省略する。
　図２１において、ステップＳＴ１４の後、補間部Ｍ１ｃは、フィルタ部Ｆ１の少なくとも１周期分の出力信号が入力され、フィルタ部Ｆ１の少なくとも１周期分の出力信号を基に、フィルタ部Ｆ１の少なくとも１周期分の出力信号が所定値（例えばゼロ）となる位置（時刻）の差分（時間差）を補間（例えば線形補間）し、補間後の少なくとも１周期分の出力信号を波形検定部Ｍ１ａ及び脈拍推定部Ｍ１ｂに出力する（ＳＴ２０）。波形検定部Ｍ１ａ及び脈拍推定部Ｍ１ｂでは、補間部Ｍ１ｃの出力が用いられる。
　例えば、波形検定部Ｍ１ａは、補間部Ｍ１ｃからの少なくとも１周期分の出力信号が入力され、フィルタ部Ｆ１においてカットできなかったノイズ信号の区間を検出するために、入力された少なくとも１周期分の出力信号のうち所定条件（つまり、数式（２）、数式（３））を満たす信号（つまり、ノイズ信号）の区間があるか否かを判断する（ＳＴ１５）。また、脈拍推定部Ｍ１ｂは、補間部Ｍ１ｃからの少なくとも１周期分の出力信号又は波形検定部Ｍ１ａの少なくとも１周期分の出力信号を基に、数式（４）に従って、人の脈拍値（Ｐｕｌｓｅ　ｒａｔｅ）を算出してセレクタ１６に出力する（ＳＴ１６）。ステップＳＴ１５やステップＳＴ１６の処理の詳細については第２の実施形態と同一であるため、説明を省略する。ステップＳＴ１６以降の処理については、図１５と同様であるため、説明を省略する。
　以上により、本実施形態の生体情報処理装置１００Ａは、各推定モジュール部Ｍ１Ｒ，Ｍ２Ｒ，Ｍ３Ｒに対応する各フィルタ部Ｆ１，Ｆ２，Ｆ３の少なくとも１周期分の出力信号を基に、フィルタ部Ｆ１，Ｆ２，Ｆ３の少なくとも１周期分の出力信号が所定値（例えばゼロ）となる時間差を補間し、補間後のフィルタ部の少なくとも１周期分の出力信号を出力する。
　これにより、生体情報処理装置１００Ａは、フィルタ部Ｆ１，Ｆ２，Ｆ３の少なくとも１周期分の出力信号を高精度に得ることができる。そのため、１周期分の出力信号のピークがサンプリング位置から外れている場合でも、本来得られるべき正確な出力信号のピーク間の時間差と実際に得られたフィルタ部の出力信号のピーク間の時間差との誤差を極小化することができる。したがって、より正確な人の脈拍値を推定することができる。
　以上のように、第３、第４の実施形態による生体情報処理装置は、人が撮像された画像データを入力する画像入力部と、抽出部と、複数のフィルタ部と、複数の推定部と、出力部とを有する。抽出部は、上記画像入力部により入力された画像データの所定範囲の信号を抽出する。複数のフィルタ部はそれぞれ、互いに異なる係数を用いて、抽出部により抽出された所定範囲の信号のうち異なる係数に対応する信号を出力する。複数の推定部のそれぞれは、複数のフィルタ部のそれぞれに対応して設けられ、対応するフィルタ部の１周期分の出力とその出力に対応する画像データのフレームの入力間隔とを基に、上記人の脈拍値を推定する。出力部は、複数のフィルタ部の出力に応じて、複数の推定部により推定された複数の脈拍値からいずれかを選択して出力する。
　また、本開示による生体情報処理方法は、以下のステップを有する。人が撮像された画像データを入力するステップ。入力された画像データの所定範囲の信号を抽出するステップ。異なる係数を有する複数のフィルタ部を用いて、抽出された前記所定範囲の信号のうち異なる係数に対応する各信号を出力するステップ。各々のフィルタ部の１周期分の出力とその出力に対応する画像データのフレームの入力間隔とを基に、上記人の脈拍値を推定するステップ。複数のフィルタ部の出力に応じて、推定された複数の脈拍値からいずれかを選択して出力するステップ。
　本開示によれば、ユーザが撮像された画像データのフレームのコマ落ちが発生した場合でも、取得した画像データに含まれるユーザの肌色領域の画像処理により、ユーザの脈拍数を非接触で高精度に推定することができる。
　各実施形態の生体情報処理装置は、例えば接触タイプの専用の脈拍数測定器を用いることなく、対象物（処理対象、例えば人。他の動物であってもよい。以下同様。）が撮像された画像データを用いて、生体情報の一例として、人の脈拍数を非接触で推定する。
　より具体的には、各実施形態の生体情報処理装置は、人が撮像された画像データのフレームを入力し、入力された画像データの所定範囲（例えば肌色領域）の信号（画素値）を抽出し、異なるフィルタ係数を用いて、抽出された所定範囲の信号のうち異なる係数に対応する各信号を各フィルタ部において出力する。また、生体情報処理装置は、各フィルタ部の少なくとも１周期分の出力信号とその出力信号に対応する画像データのフレームの入力間隔とを基に、人の脈拍値を各フィルタ部に対応する推定モジュール部において推定し、各フィルタ部の出力信号に応じて、複数の推定モジュール部において推定された複数の脈拍値からいずれかを選択して出力する。
　各実施形態の生体情報処理装置は、例えばデスクトップ型又はラップトップ型のＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、スマートフォン、携帯電話機、タブレット端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）等のデータ通信端末であり、対象物の一例としての人を撮像するためのカメラ機能を有していてもよい。
　以上、図面を参照して各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
　本発明は、周辺環境の変化が生じた場合でも、周辺環境の変化に追従して、複数の被験者の中から異常の可能性のある被験者又は要注意の対象となる被験者の脈拍数を、リアルタイムかつ正確に検知する生体情報処理装置及び生体情報処理方法として有用である。
１　　画像入力部
２　　被験者領域選択部
３　　被験者生体情報抽出部
４，４Ａ　　異常検知部
５，５Ａ　　閾値保持更新部
６　　異常通知出力部
７　　監視モニタ
１０，１０Ａ，１００，１００Ａ　　生体情報処理装置
１１　　画像入力部
１２　　肌色抽出部
１５　　信頼度判定部
１６　　セレクタ
１７　　脈拍出力部
ＡＰ１，ＡＰｋ　　異常通知取得装置
ＣＭ　　カメラ
Ｆ１，Ｆ２，Ｆ３　　フィルタ部
ＦＬ１　　肌色領域
Ｍ１，Ｍ２，Ｍ３，Ｍ１Ｒ，Ｍ２Ｒ，Ｍ３Ｒ　　推定モジュール部
Ｍ１ａ　　波形検定部
Ｍ１ｂ　　脈拍推定部
Ｍ１ｃ　　補間部

Claims (11)

  1. 画像データを入力する画像入力部と、
    前記画像入力部により入力された前記画像データから、処理対象の画像範囲を選択する選択部と、
    前記選択部により選択された前記処理対象の画像範囲の画像データを基に、前記画像範囲に対応する前記処理対象の脈拍数を推定する推定部と、
    前記推定部により推定された前記処理対象の脈拍数の相対比較に応じて、異常の可能性のある対象又は要注意の対象を検知する検知部と、
    前記検知部により検知された前記異常の可能性のある対象又は要注意の対象に関する情報を出力する出力部と、を備えた、
    生体情報処理装置。
  2. 前記検知部は、前記推定部により推定された複数の前記処理対象の脈拍数を順に比較し、最も高い脈拍数に対応する処理対象を、前記異常の可能性のある対象又は要注意の対象として検知する、
    請求項１に記載の生体情報処理装置。
  3. 前記異常の可能性のある対象又は要注意の対象の判定に用いる閾値を保持する保持部、を更に備え、
    前記検知部は、前記推定部により推定された前記処理対象の脈拍数のうち最も高い脈拍数を前記閾値として更新して前記保持部に保持させる、
    請求項２に記載の生体情報処理装置。
  4. 前記検知部は、前記推定部により推定された前記処理対象の脈拍数の平均値を算定し、算定された前記脈拍数の平均値より高い脈拍数に対応する前記処理対象を、前記異常の可能性のある対象又は要注意の対象として検知する、
    請求項１に記載の生体情報処理装置。
  5. 前記異常の可能性のある対象又は要注意の対象の判定に用いる閾値を保持する保持部、を更に備え、
    前記検知部は、前記推定部により推定された前記処理対象の脈拍数の平均値を前記閾値として更新して前記保持部に保持させる、
    請求項４に記載の生体情報処理装置。
  6. 前記画像入力部により入力された前記画像データの所定範囲の信号を抽出する抽出部と、
    異なる係数を用いて、前記抽出部により抽出された前記所定範囲の信号のうち前記異なる係数に対応する信号をそれぞれ出力する複数のフィルタ部と、を更に備え、
    前記推定部を複数備え、
    前記複数の推定部は、前記複数のフィルタ部のそれぞれに対応して設けられ、対応する前記フィルタ部の少なくとも１周期分の出力信号と前記少なくとも１周期分の出力信号に対応する前記画像データのフレームの入力間隔とを基に、前記人の脈拍値を推定し、
    前記複数のフィルタ部の出力信号に応じて、前記複数の推定部により推定された前記複数の脈拍値からいずれかを選択して出力する出力部を更に備えた、
    請求項１に記載の生体情報処理装置。
  7. 前記複数の推定部はそれぞれ、
    前記複数の推定部のそれぞれに対応する前記複数のフィルタ部の１つの少なくとも１周期分の出力信号のうち、所定条件を満たす出力信号の区間を無効区間として排除する検定部と、
    前記無効区間が排除された前記検定部の少なくとも１周期分の出力信号と前記検定部の少なくとも１周期分の出力信号に対応する前記画像データのフレームの入力間隔とを基に、前記人の脈拍値を推定する脈拍推定部と、を有する、
    請求項６に記載の生体情報処理装置。
  8. 前記所定条件を満たす前記複数のフィルタ部のそれぞれの出力信号の区間が排除された前記検定部の少なくとも１周期分の出力信号を基に、前記無効区間の最も少ない前記検定部の少なくとも１周期分の出力信号を判定する判定部、を更に備え、
    前記出力部は、前記無効区間の最も少ない前記検定部の少なくとも１周期分の出力信号に対応して前記脈拍推定部により推定された前記人の脈拍値を選択する、
    請求項７に記載の生体情報処理装置。
  9. 前記複数の推定部はそれぞれ、前記複数の推定部のそれぞれに対応する前記複数のフィルタ部の１つの少なくとも１周期分の出力信号を基に、前記出力信号が所定値となる時間差を補間し、補間後の出力信号を出力する補間部を更に有する、
    請求項６に記載の生体情報処理装置。
  10. 生体情報処理装置における生体情報処理方法であって、
    画像データを入力するステップと、
    入力された前記画像データから、処理対象の画像範囲を選択するステップと、
    選択された前記処理対象の画像範囲の画像データを基に、前記画像範囲に対応する前記処理対象の脈拍数を推定するステップと、
    推定された前記処理対象の脈拍数の相対比較に応じて、異常の可能性のある対象又は要注意の対象を検知するステップと、
    検知された前記異常の可能性のある対象又は要注意の対象に関する情報を出力するステップと、を備えた、
    生体情報処理方法。
  11. 入力された前記画像データの所定範囲の信号を抽出するステップと、
    異なる係数を有する複数のフィルタ部を用いて、抽出された前記所定範囲の信号のうち前記異なる係数に対応する信号を出力するステップと、
    前記複数のフィルタ部のそれぞれの少なくとも１周期分の出力信号と前記出力信号に対応する前記画像データのフレームの入力間隔とを基に、前記人の脈拍値を推定するステップと、
    前記複数のフィルタ部の出力信号に応じて、推定された前記複数の脈拍値からいずれかを選択して出力するステップと、をさらに備えた、
    請求項１０に記載の生体情報推定方法。
PCT/JP2015/005105 2014-10-16 2015-10-08 生体情報処理装置及び生体情報処理方法 WO2016059775A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP15850716.0A EP3207865A4 (en) 2014-10-16 2015-10-08 Biological information processing device and biological information processing method
US15/516,791 US10238345B2 (en) 2014-10-16 2015-10-08 Biological information processing device and biological information processing method
CN201580056156.4A CN107072567B (zh) 2014-10-16 2015-10-08 生物体信息处理装置和生物体信息处理方法
US16/259,516 US10653365B2 (en) 2014-10-16 2019-01-28 Biological information processing device and biological information processing method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014-211985 2014-10-16
JP2014-211986 2014-10-16
JP2014211986A JP6358506B2 (ja) 2014-10-16 2014-10-16 生体情報監視装置及び生体情報監視方法
JP2014211985A JP6323809B2 (ja) 2014-10-16 2014-10-16 生体情報推定装置及び生体情報推定方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/516,791 A-371-Of-International US10238345B2 (en) 2014-10-16 2015-10-08 Biological information processing device and biological information processing method
US16/259,516 Continuation US10653365B2 (en) 2014-10-16 2019-01-28 Biological information processing device and biological information processing method

Publications (1)

Publication Number Publication Date
WO2016059775A1 true WO2016059775A1 (ja) 2016-04-21

Family

ID=55746337

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/005105 WO2016059775A1 (ja) 2014-10-16 2015-10-08 生体情報処理装置及び生体情報処理方法

Country Status (4)

Country Link
US (2) US10238345B2 (ja)
EP (1) EP3207865A4 (ja)
CN (1) CN107072567B (ja)
WO (1) WO2016059775A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210166406A1 (en) * 2019-11-28 2021-06-03 Siemens Healthcare Gmbh Patient follow-up analysis
JP7472719B2 (ja) 2020-08-27 2024-04-23 サクサ株式会社 脈波特定装置およびプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6443842B2 (ja) 2015-06-19 2018-12-26 パナソニックＩｐマネジメント株式会社 顔検出装置、顔検出システム、及び顔検出方法
JP6585623B2 (ja) * 2015-12-17 2019-10-02 オリンパス株式会社 生体情報計測装置、生体情報計測方法および生体情報計測プログラム
EP3291191B1 (en) * 2016-08-29 2019-10-09 Panasonic Intellectual Property Management Co., Ltd. Suspicious person report system and suspicious person report method
JP2018085597A (ja) * 2016-11-22 2018-05-31 パナソニックＩｐマネジメント株式会社 人物行動監視装置および人物行動監視システム
US11690561B2 (en) * 2018-03-09 2023-07-04 Panasonic Intellectual Property Management Co., Ltd. Cognitive function evaluation system
JP7174358B2 (ja) * 2019-03-29 2022-11-17 株式会社アイシン 脈拍数検出装置、及び脈拍数検出プログラム
CN111693763B (zh) * 2020-05-22 2023-06-06 科华恒盛股份有限公司 针对模块化电气设备中功率模块的检测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05184578A (ja) * 1992-01-14 1993-07-27 Ken Ishihara 超音波診断装置
JPH1043429A (ja) * 1996-08-07 1998-02-17 Ikyo Kk ゲーム機
JP2012239661A (ja) * 2011-05-20 2012-12-10 Fujitsu Ltd 心拍数・呼吸数検出装置，方法およびプログラム
JP2014036801A (ja) * 2012-08-20 2014-02-27 Olympus Corp 生体状態観察システム、生体状態観察方法、およびプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5897506A (en) * 1997-09-19 1999-04-27 Cohn; Lipe Pulse rate monitor for allergy detection and control
US6305943B1 (en) * 1999-01-29 2001-10-23 Biomed Usa, Inc. Respiratory sinus arrhythmia training system
US6630164B2 (en) * 2000-05-09 2003-10-07 Kenneth Weisman Dutasteride to prevent and treat atherosclerosis
CN1910431A (zh) * 2004-01-23 2007-02-07 奥林巴斯株式会社 图像处理系统以及照相机
JP4481682B2 (ja) * 2004-02-25 2010-06-16 キヤノン株式会社 情報処理装置及びその制御方法
JP2007054471A (ja) * 2005-08-26 2007-03-08 Nippon Koden Corp 脈拍数測定装置及び脈拍数測定方法
US20090226071A1 (en) * 2008-03-06 2009-09-10 Motorola, Inc. Method and Apparatus to Facilitate Using Visible Light Images to Determine a Heart Rate
JP5770083B2 (ja) * 2008-05-09 2015-08-26 コーニンクレッカ フィリップス エヌ ヴェ 複数ユーザの心拍パラメータの同期
JP5332406B2 (ja) 2008-08-28 2013-11-06 富士通株式会社 脈拍計測装置、脈拍計測方法および脈拍計測プログラム
US20100199231A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Predictive determination
JP2011236020A (ja) 2010-05-11 2011-11-24 Toshiba Elevator Co Ltd エレベータ運転制御システム、その運転制御方法及びかご内クリーンシステム
CN103026192B (zh) * 2010-06-04 2015-11-25 泰克尼梅德有限责任公司 用于测量患者的内部体温的方法和装置
LV14514B (lv) 2010-10-06 2012-08-20 Latvijas Universitāte Iekārta un metode sirdsdarbības parametru optiskai bezkontakta kontrolei
JP6378086B2 (ja) 2011-08-22 2018-08-22 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． データ管理システム及び方法
US20130245462A1 (en) * 2011-09-06 2013-09-19 Lluis Capdevila Apparatus, methods, and articles of manufacture for determining and using heart rate variability
TW201315438A (zh) * 2011-10-14 2013-04-16 Ind Tech Res Inst 非接觸式之心脈量測方法及其系統
JP5822651B2 (ja) 2011-10-26 2015-11-24 株式会社ソニー・コンピュータエンタテインメント 個体判別装置および個体判別方法
JP6306833B2 (ja) * 2012-07-06 2018-04-04 アディダス アーゲー グループパフォーマンスモニタリングシステムおよび方法
JP6290248B2 (ja) * 2012-12-21 2018-03-07 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 遠隔検出された電磁放射線から生理学的情報を抽出するシステム及び方法
EP2976756A1 (en) 2013-03-22 2016-01-27 Koninklijke Philips N.V. Method for detecting falls and a fall detector.
WO2015121949A1 (ja) * 2014-02-13 2015-08-20 富士通株式会社 信号処理装置、信号処理方法及び信号処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05184578A (ja) * 1992-01-14 1993-07-27 Ken Ishihara 超音波診断装置
JPH1043429A (ja) * 1996-08-07 1998-02-17 Ikyo Kk ゲーム機
JP2012239661A (ja) * 2011-05-20 2012-12-10 Fujitsu Ltd 心拍数・呼吸数検出装置，方法およびプログラム
JP2014036801A (ja) * 2012-08-20 2014-02-27 Olympus Corp 生体状態観察システム、生体状態観察方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3207865A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210166406A1 (en) * 2019-11-28 2021-06-03 Siemens Healthcare Gmbh Patient follow-up analysis
US11823401B2 (en) * 2019-11-28 2023-11-21 Siemens Healthcare Gmbh Patient follow-up analysis
JP7472719B2 (ja) 2020-08-27 2024-04-23 サクサ株式会社 脈波特定装置およびプログラム

Also Published As

Publication number Publication date
US10238345B2 (en) 2019-03-26
CN107072567B (zh) 2021-01-15
EP3207865A1 (en) 2017-08-23
US20190150853A1 (en) 2019-05-23
CN107072567A (zh) 2017-08-18
US10653365B2 (en) 2020-05-19
EP3207865A4 (en) 2017-10-25
US20170303862A1 (en) 2017-10-26

Similar Documents

Publication Publication Date Title
WO2016059775A1 (ja) 生体情報処理装置及び生体情報処理方法
JP6745762B2 (ja) 実時間信号分割及び基準点整列フレームワークを提供するシステム及び方法
JP6323809B2 (ja) 生体情報推定装置及び生体情報推定方法
US20170000392A1 (en) Micro-Camera Based Health Monitor
Hadjem et al. An ECG monitoring system for prediction of cardiac anomalies using WBAN
JP2017176827A (ja) 使用者の生物学的信号を測定するシステム及び方法
JP2009131628A (ja) バイタルサインを推定するシステム、方法およびプログラム
CN112165897A (zh) 光体积描记图数据分析与呈现
WO2015163369A1 (ja) 心電波形検出装置、及び撮像装置
JP2019030640A (ja) 低電力モーションセンサーを利用してリアルタイム心拍イベントを感知する方法、及び電子装置
US20140303503A1 (en) Apparatus and method for determining respiration signals from a subject
US9218668B2 (en) Differentiating among a plurality of subjects in a field-of-view based on vital signs
KR101483756B1 (ko) 맥파 검출 방법
Braojos et al. Embedded real-time ECG delineation methods: A comparative evaluation
US20200342996A1 (en) Methods of determining physiological information based on bayesian peak selection and monitoring devices incorporating the same
JP6358506B2 (ja) 生体情報監視装置及び生体情報監視方法
JP6167849B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
JP6660601B2 (ja) 生体情報監視装置及び生体情報監視方法
US10826544B2 (en) Signal filtering and signal processing apparatus and method
WO2021172147A1 (ja) 生体指標演算装置および生体指標演算方法
KR20180128159A (ko) 고감도 다중 생체신호 취득 장치 및 이를 이용한 건강관리 방법
WO2021044571A1 (ja) 脈拍数推定方法、装置およびシステム
Choi Assessment of Multiscale Information for Short Physiological Time Series
Kim et al. Development of a Photoplethysmographic method using a CMOS image sensor for Smartphone

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15850716

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015850716

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015850716

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15516791

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE