WO2015121949A1 - 信号処理装置、信号処理方法及び信号処理プログラム - Google Patents

信号処理装置、信号処理方法及び信号処理プログラム Download PDF

Info

Publication number
WO2015121949A1
WO2015121949A1 PCT/JP2014/053380 JP2014053380W WO2015121949A1 WO 2015121949 A1 WO2015121949 A1 WO 2015121949A1 JP 2014053380 W JP2014053380 W JP 2014053380W WO 2015121949 A1 WO2015121949 A1 WO 2015121949A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
pulse wave
variation
index
calculation unit
Prior art date
Application number
PCT/JP2014/053380
Other languages
English (en)
French (fr)
Inventor
中田　康之
明大 猪又
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2015562625A priority Critical patent/JP6256488B2/ja
Priority to PCT/JP2014/053380 priority patent/WO2015121949A1/ja
Publication of WO2015121949A1 publication Critical patent/WO2015121949A1/ja
Priority to US15/228,862 priority patent/US20160338603A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427—Details of sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G06F2218/16—Classification; Matching by matching signal segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion

Definitions

  • the present invention relates to a signal processing device, a signal processing method, and a signal processing program.
  • pulse waves As examples of techniques for detecting blood volume fluctuations, so-called pulse waves, the following biological state detection devices and pulse meters have been proposed.
  • the biological state detection device reflects green light and infrared light by alternately emitting green LEDs (Light Emitting Diodes) and infrared LEDs provided in a pulse wave sensor attached to a human arm or the like. Detect the light signal.
  • the biological state detection device performs frequency analysis on the detection signals obtained for each of the green light and the infrared light.
  • the biological state detection device extracts a frequency that is present in the frequency analysis result for green light but not in the frequency analysis result for infrared light, and converts the extracted peak frequency into a pulse rate.
  • the pulse meter evaluates the target pulse width Px based on the pulse width evaluation range of a plurality of stages, updates the reference pulse width P based on the result, does not update the reference pulse width P, and pulses for one beat. Processing operations such as complementing the data and discarding the target pulse width Px data are executed. This aims to extract a signal recognized as a normal signal of the pulse width of the pulse and transmit it to the subsequent stage.
  • JP 2012-170703 A Japanese Patent Laid-Open No. 5-184548 JP 2004-261390 A JP 2004-261366 A JP 2002-102185 A
  • the calculation of the pulse rate is continued.
  • the pulse rate may be displayed.
  • the signal when noise having a target pulse width Px similar to the reference pulse width P is superimposed on the signal, the signal may be transmitted to the subsequent stage without being discarded.
  • an object of the present invention is to provide a signal processing device, a signal processing method, and a signal processing program that can appropriately execute output control of a detection result of a pulse wave.
  • a signal processing apparatus includes an acquisition unit that acquires an image, an extraction unit that extracts a biological region included in the image, and time-series data of pixel values of a partial image corresponding to the biological region in the image
  • a generation unit that generates a signal from the signal, a calculation unit that calculates a variation index that evaluates the degree of disturbance of the pulse wave included in the signal, and an output that controls whether the signal is output using the variation index
  • a control unit includes an acquisition unit that acquires an image, an extraction unit that extracts a biological region included in the image, and time-series data of pixel values of a partial image corresponding to the biological region in the image
  • a generation unit that generates a signal from the signal, a calculation unit that calculates a variation index that evaluates the degree of disturbance of the pulse wave included in the signal, and an output that controls whether the signal is output using the variation index
  • a control unit that controls whether the signal is output using the variation index
  • the output control of the pulse wave detection result can be executed appropriately.
  • FIG. 1 is a block diagram illustrating a functional configuration of the pulse wave detection device according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of the spectrum of each of the G signal and the R signal.
  • FIG. 3 is a diagram illustrating an example of a spectrum of each signal of the R component multiplied by the G component and the correction coefficient k.
  • FIG. 4 is a diagram illustrating an example of a spectrum after calculation.
  • FIG. 5 is a block diagram illustrating a functional configuration of the generation unit illustrated in FIG. 1.
  • FIG. 6 is a diagram illustrating an example of a spectrum of a pulse wave signal.
  • FIG. 7 is a diagram illustrating an example of a spectrum of a pulse wave signal.
  • FIG. 1 is a block diagram illustrating a functional configuration of the pulse wave detection device according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of the spectrum of each of the G signal and the R signal.
  • FIG. 3 is a diagram illustrating an example of
  • FIG. 8 is a diagram illustrating an example of a waveform of a pulse wave signal.
  • FIG. 9 is a diagram illustrating an example of a waveform of a pulse wave signal.
  • FIG. 10 is a diagram illustrating an example of a waveform of a pulse wave signal.
  • FIG. 11 is a flowchart illustrating a signal processing procedure according to the first embodiment.
  • FIG. 12 is a block diagram illustrating a functional configuration of the determination model generation device according to the second embodiment.
  • FIG. 13 is a diagram illustrating an example of a determination model.
  • FIG. 14 is a diagram illustrating an example of the classification result based on the adjacent extreme value difference variation and the peak ratio.
  • FIG. 15 is a diagram illustrating an example of a classification result based on the area and peak ratio of the spectrum distribution.
  • FIG. 16 is a flowchart of a determination model setting process according to the second embodiment.
  • FIG. 17 is a schematic diagram illustrating an example of a computer that executes a signal
  • FIG. 1 is a block diagram illustrating a functional configuration of the pulse wave detection device according to the first embodiment.
  • the pulse wave detection device 10 shown in FIG. 1 uses a subject's pulse wave using an image obtained by photographing a subject's living body without bringing the measurement instrument into contact with the subject under ordinary environmental light such as sunlight or room light. That is, a pulse wave detection process for detecting a change in blood volume accompanying the heartbeat is executed. As part of the pulse wave detection process, the pulse wave detection device 10 determines whether the pulse wave signal generated from the image obtained by photographing the living body is good or bad, and executes signal processing that suppresses the output of the defective pulse wave signal. .
  • Such a pulse wave detection device 10 can be implemented by, as one aspect, installing a signal processing program in which the above signal processing is provided as package software or online software on a desired computer.
  • a signal processing program in which the above signal processing is provided as package software or online software on a desired computer.
  • mobile communication terminals such as smartphones, mobile phones and PHS (Personal Handyphone System) but also digital terminal devices that do not have the ability to connect to mobile communication networks
  • mobile terminal devices including tablet terminals and slate terminals Install the signal processing program.
  • the mobile terminal device can function as the pulse wave detection device 10.
  • the portable terminal device is illustrated as an implementation example of the pulse wave detection device 10, but the signal processing program can be installed in a stationary terminal device such as a personal computer.
  • the pulse wave detection device 10 includes a camera 11, a touch panel 13, a communication unit 15, and a signal processing unit 17.
  • the pulse wave detection device 10 shown in FIG. 1 may have various functional units included in a known computer in addition to the functional units shown in FIG.
  • the pulse wave detection device 10 when the pulse wave detection device 10 is implemented as a tablet terminal or a slate terminal, it may further include a motion sensor such as an acceleration sensor or an angular velocity sensor.
  • the pulse wave detection device 10 When the pulse wave detection device 10 is implemented as a mobile communication terminal, the pulse wave detection device 10 may further include functional units such as an antenna and a GPS (Global Positioning System) receiver.
  • GPS Global Positioning System
  • FIG. 1 as an example, a functional unit in the case where the pulse wave detection device 10 is implemented as a mobile terminal device is illustrated, but the pulse wave detection device 10 can be implemented as a stationary terminal. Needless to say.
  • an input / output device such as a keyboard, a mouse, or a display may be included.
  • the camera 11 is an imaging device equipped with an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the camera 11 can be equipped with three or more light receiving elements such as R (red), G (green), and B (blue).
  • a digital camera or a Web camera may be connected via an external terminal.
  • the pulse wave detection device 10 includes the camera 11 is illustrated here, the pulse wave detection device 10 does not necessarily include the camera 11 when an image can be acquired via a network or a storage device. It doesn't matter.
  • the camera 11 can capture a rectangular image of horizontal 320 pixels ⁇ vertical 240 pixels.
  • each pixel is given by a brightness gradation value (luminance).
  • luminance luminance
  • L 8-bit digital value L (i, j) or the like.
  • each pixel is given by the gradation values of the R component, G component, and B component.
  • the gradation values of R, G, B of the pixel at coordinates (i, j) indicated by integers i, j are digital values R (i, j), G (i, j), B (i, j) etc.
  • R (i, j) digital values
  • G (i, j) G (i, j)
  • B (i, j) etc.
  • RGB or other color systems HSV color system or YUV color system
  • the touch panel 13 is a displayable and inputable device.
  • the touch panel 13 displays an image output by an OS (Operating System) or an application program, including a signal processing program executed on the pulse wave detection device 10.
  • the touch panel 13 receives a touch operation such as a tap, flick, sweep, pinch-in, and pinch-out performed on the screen of the screen.
  • the touch panel 13 is illustrated as an input device for performing an instruction input to the pulse wave detection device 10, but is not limited thereto, and further includes a physical key for realizing complementary input with the touch panel 13. It may be.
  • an image of a subject who can easily detect a pulse wave is captured by the camera 11 through image display on the touch panel 13 or sound output from a speaker (not shown).
  • An image shooting operation can be guided.
  • the signal processing program is activated via the touch panel 13
  • the camera 11 is activated.
  • the camera 11 starts photographing the subject accommodated in the photographing range of the camera 11.
  • the signal processing program can display the image taken by the camera 11 on the touch panel 13 and display the target position showing the subject's nose as an aim. .
  • the signal processing program outputs an image in which the face of the subject is captured by the camera 11 to the signal processing unit 17.
  • the above guidance may not necessarily be executed, and the subject is viewing the screen displayed on the screen of the touch panel 13, for example, an image or a video output by the operating system or application program. You can also shoot a face. Thus, the subject can be photographed in the background without being aware of the photographing.
  • the communication unit 15 is an interface that performs communication control with another device (not shown).
  • a network interface card so-called NIC (Network Interface Card) can be adopted.
  • the communication unit 15 transmits a pulse wave output by the above signal processing, for example, a pulse rate or a pulse wave waveform to a server device (not shown), or is diagnosed by the server device based on the pulse rate or the pulse wave waveform. Receive diagnostic results.
  • the signal processing unit 17 is a processing unit that performs the signal processing described above. As shown in FIG. 1, the signal processing unit 17 includes an acquisition unit 17a, an extraction unit 17b, a statistical unit 17c, a generation unit 17d, a detection unit 17e, a calculation unit 17f, and an output control unit 17g. Have.
  • the acquisition unit 17a is a processing unit that acquires an image.
  • the acquisition unit 17a can acquire an image captured by the camera 11.
  • the acquisition unit 17a can also acquire an image from an auxiliary storage device such as a hard disk or an optical disk that stores images, or a removable medium such as a memory card or a USB (Universal Serial Bus) memory.
  • the acquisition unit 17a can also acquire an image by receiving it from an external device via a network.
  • the acquisition part 17a illustrated the case where a process is performed using images, such as two-dimensional bitmap data and vector data obtained from the output by image pick-up elements, such as CCD and CMOS, it was output from one detector. It is also possible to obtain the signal as it is and execute the subsequent processing.
  • the extraction unit 17b is a processing unit that extracts a biological region from an image.
  • a face region based on a predetermined face part is extracted from the image acquired by the acquisition unit 17a.
  • the extraction unit 17b performs facial recognition such as template matching on the image, thereby identifying a facial organ such as a subject's eyes, ears, nose, and mouth, that is, a specific facial part, that is, a subject's nose. To detect.
  • the extraction unit 17b extracts a face area included in a predetermined range from the center with the subject's nose as the center.
  • the extraction unit 17b outputs a partial image corresponding to the face area extracted from the image to the statistical unit 17c.
  • the portion does not necessarily have to be a face, and any portion may be used as long as the region shows skin.
  • the statistical unit 17c is a processing unit that executes a predetermined statistical process on the pixel value of each pixel of the partial image corresponding to the living body region.
  • the statistical unit 17c averages the luminance value of each pixel of the partial image corresponding to the face area for each wavelength component of RGB.
  • the median value and the mode value may be calculated.
  • an arbitrary average process such as a weighted average or a moving average may be executed.
  • the average luminance value of each pixel of the partial image corresponding to the face area is calculated for each RGB component as a representative value representing the face area.
  • the generating unit 17d is a processing unit that generates a signal of a frequency component corresponding to a pulse wave from a representative value signal for each wavelength component of the partial image corresponding to the living body region.
  • the generation unit 17d can take a pulse wave between a plurality of wavelength components from a representative value signal for each wavelength component of the partial image corresponding to the face region by executing the following signal generation processing.
  • a pulse wave signal in which components in a specific frequency band other than the pulse wave frequency band are canceled is generated.
  • a signal whose noise is canceled by the signal generation process may be referred to as a “pulse wave signal”.
  • the generation unit 17d uses time-series data of representative values of two wavelength components of the R component and the G component, which have different light absorption characteristics among the three wavelength components, that is, the R component, the G component, and the B component, A pulse wave signal is detected.
  • the amount of light absorbed by the blood flow also changes according to the heartbeat.
  • the brightness obtained by reflection also changes with the heartbeat.
  • the time-series data of luminance includes a pulse wave component.
  • the luminance also changes due to body movement in addition to the pulse wave, and this becomes a noise component of pulse wave detection, so-called body movement artifact.
  • a pulse wave is detected at two or more wavelengths having different light absorption characteristics of blood, for example, a G component having a high light absorption characteristic (about 525 nm) and an R component having a low light absorption characteristic (about 700 nm).
  • a G component having a high light absorption characteristic about 525 nm
  • an R component having a low light absorption characteristic about 700 nm.
  • the heart rate is in the range of 30 bpm to 240 bpm in terms of 0.5 Hz to 4 Hz per minute
  • other components can be regarded as noise components. Assuming that noise has no wavelength characteristics or is minimal even if it is, components other than 0.5 Hz to 4 Hz should be equal between the G signal and R signal, but the magnitude depends on the sensitivity difference of the camera. Is different. Therefore, by correcting the sensitivity difference of components other than 0.5 Hz to 4 Hz and subtracting the R component from the G component, the noise component can be removed and only the pulse wave component can be extracted.
  • the G component and the R component can be represented by the following formula (1) and the following formula (2).
  • “Gs” in the following equation (1) indicates the pulse wave component of the G signal
  • “Gn” indicates the noise component of the G signal
  • “Rs” in the following equation (2) indicates the R signal.
  • “Rn” indicates the noise component of the R signal.
  • the correction coefficient k for the sensitivity difference is expressed by the following equation (3).
  • Ga Gs + Gn (1)
  • Ra Rs + Rn (2)
  • k Gn / Rn (3)
  • the pulse wave component S is expressed by the following equation (4).
  • this is transformed into the formula represented by Gs, Gn, Rs and Rn using the above formula (1) and the above formula (2), the following formula (5) is obtained, and further, the above formula (3 ) To eliminate k and arrange the equations, the following equation (6) is derived.
  • the G signal and the R signal have different light absorption characteristics, and Gs> (Gn / Rn) Rs. Therefore, the pulse wave component S from which noise is removed can be calculated by the above equation (6).
  • FIG. 2 is a diagram illustrating an example of the spectrum of each signal of the G signal and the R signal.
  • the vertical axis of the graph shown in FIG. 2 indicates the signal intensity, and the horizontal axis indicates the frequency (bpm).
  • the G component and the R component have different image sensor sensitivity, so that the signal strengths of the two components are different.
  • the R component and the G component both have noise that appears outside the range of 30 bpm to 240 bpm, particularly in a specific frequency band of 3 bpm or more and less than 20 bpm.
  • the signal intensity corresponding to the designated frequency Fn included in the specific frequency band of 3 bpm or more and less than 20 bpm can be extracted as Gn and Rn.
  • the sensitivity difference correction coefficient k can be derived from these Gn and Rn.
  • FIG. 3 is a diagram illustrating an example of a spectrum of each signal of the R component multiplied by the G component and the correction coefficient k.
  • the result of multiplying the absolute value of the correction coefficient is shown.
  • the vertical axis indicates the signal intensity
  • the horizontal axis indicates the frequency (bpm).
  • the spectrum signal intensity in a specific frequency band is almost the same in most spectrum signals.
  • the signal intensity of the spectrum is not uniform between the G component and the R component.
  • FIG. 4 is a diagram showing an example of a spectrum after calculation.
  • the scale of the signal intensity which is the vertical axis, is enlarged from the viewpoint of improving the visibility of the frequency band in which the pulse wave appears.
  • FIG. 4 when the spectrum of the R signal after the multiplication of the correction coefficient k is subtracted from the spectrum of the G signal, a signal in which a pulse wave appears due to a difference in light absorption characteristics between the G component and the R component. It can be seen that the noise component is reduced with the strength of the component maintained as much as possible. In this way, the waveform of the pulse wave signal from which only the noise component is removed can be detected.
  • FIG. 5 is a block diagram illustrating a functional configuration of the generation unit 17d illustrated in FIG.
  • the generation unit 17d includes BPF (Band-Pass Filter) 172R and 172G, extraction units 173R and 173G, LPF (Low-Pass Filter) 174R and 174G, a calculation unit 175, BPF 176R and 176G, a multiplication unit 177, and a calculation unit 178.
  • BPF Band-Pass Filter
  • LPF Low-Pass Filter
  • the time series data of the representative value of the R component of the partial image corresponding to the biological region is input as an R signal from the statistical unit 17c to the generating unit 17d, and the representative of the G component of the partial image corresponding to the biological region.
  • Value time-series data is input as a G signal.
  • the R signal is input to the BPF 172R and BPF 176R in the generation unit 17d
  • the G signal is input to the BPF 172G and the BPF 176G in the generation unit 17d.
  • the BPF 172R, BPF 172G, BPF 176R, and BPF 176G are all band-pass filters that pass only signal components in a predetermined frequency band and remove signal components in other frequency bands. These BPF 172R, BPF 172G, BPF 176R, and BPF 176G may be implemented by hardware or may be implemented by software.
  • the difference in the frequency band that these BPFs pass is explained.
  • the BPF 172R and the BPF 172G pass a signal component in a specific frequency band in which a noise component appears more noticeably than other frequency bands.
  • Such a specific frequency band can be determined by comparing with a frequency band that can be taken by a pulse wave.
  • An example of a frequency band that can be taken by a pulse wave is a frequency band of 0.5 Hz to 4 Hz, and a frequency band of 30 bpm to 240 bpm when converted per minute. From this, as an example of the specific frequency band, a frequency band of less than 0.5 Hz and more than 4 Hz that cannot be measured as a pulse wave can be employed. Further, the specific frequency band may partially overlap with the frequency band that can be taken by the pulse wave.
  • the specific frequency band can be narrowed down to a frequency band in which noise is more noticeable with the frequency band of less than 1 Hz and 4 Hz or more as the outer edge. For example, noise appears more noticeably in a low frequency band lower than a frequency band that can take a pulse wave, rather than a high frequency band that is higher than a frequency band that the pulse wave can take. For this reason, a specific frequency band can also be narrowed down to a frequency band of less than 1 Hz.
  • the specific frequency band can be narrowed down to a frequency band of 0.05 Hz to less than 1 Hz. Furthermore, the specific frequency band can be narrowed down to a frequency band of 0.05 Hz or more and 0.3 Hz or less where noise such as flickering of ambient light other than human body movement, for example, blinking or shaking of the body, is likely to appear.
  • the BPF 172R and the BPF 172G pass a signal component in a frequency band of 0.05 Hz to 0.3 Hz as a specific frequency band.
  • a bandpass filter is used to extract a signal component in a specific frequency band, but a low-pass filter is used when a signal component in a frequency band below a certain frequency is extracted. You can also.
  • the BPF 176R and the BPF 176G pass signal components in a frequency band that can be taken by a pulse wave, for example, a frequency band of 0.5 Hz to 4 Hz.
  • a frequency band that can be taken by a pulse wave may be referred to as a “pulse wave frequency band”.
  • the extraction unit 173R extracts the absolute intensity value of the signal component in the specific frequency band of the R signal. For example, the extraction unit 173R extracts the absolute intensity value of the signal component in the specific frequency band by executing an absolute value calculation process on the signal component in the specific frequency band of the R component. Further, the extraction unit 173G extracts the absolute intensity value of the signal component in the specific frequency band of the G signal. For example, the extraction unit 173G extracts the absolute intensity value of the signal component in the specific frequency band by executing an absolute value calculation process on the signal component in the specific frequency band of the G component.
  • the LPF 174R and the LPF 174G are low-pass filters that perform a smoothing process that responds to time changes on time-series data of absolute intensity values in a specific frequency band. For example, a signal component in a frequency band of 0.1 Hz or less is passed.
  • the LPF 174R and the LPF 174G are the same except that the signal input to the LPF 174R is an R signal and the signal input to the LPF 174G is a G signal. By such smoothing processing, absolute value intensities R′n and G′n in a specific frequency band are obtained.
  • the calculation unit 175 divides the absolute value intensity G′n of the specific frequency band of the G signal output by the LPF 174G by the absolute value intensity R′n of the specific frequency band of the R signal output by the LPF 174R. n / R'n "is executed. Thereby, a correction coefficient k for the sensitivity difference is calculated.
  • the multiplier 177 multiplies the signal component in the pulse wave frequency band of the R signal output by the BPF 176R by the correction coefficient k calculated by the calculator 175.
  • the calculation unit 178 calculates “Gs ⁇ k” by subtracting the signal component in the pulse wave frequency band of the R signal multiplied by the correction coefficient k by the multiplication unit 177 from the signal component in the pulse wave frequency band of the G signal output by the BPF 176G. * Rs "is executed.
  • the signal thus obtained corresponds to a facial pulse wave signal, and the sampling frequency thereof corresponds to the frame frequency at which an image is captured.
  • the detection unit 17e is a processing unit that detects a pulse wave from the pulse wave signal generated by the generation unit 17d.
  • the detection unit 17e can output the waveform of the pulse wave signal generated by the generation unit 17d as it is as a pulse wave waveform.
  • the detection unit 17e can detect the pulse rate from the pulse wave signal generated by the generation unit 17d.
  • the detection unit 17e can detect the pulse rate from the spectrum of the pulse wave signal by converting the pulse wave signal having a predetermined time length into the frequency domain.
  • the pulse wave frequency of the spectrum of the pulse wave signal that is, the frequency having a peak in the range of 0.5 Hz to 4 Hz can be detected as the pulse rate.
  • the detection unit 17e detects a peak in the waveform of the pulse wave signal every time the generation unit 17d generates a pulse wave signal, for example, detects a zero-cross point of a differential waveform. It is also possible to calculate the pulse rate by executing. At this time, when the peak of the waveform of the pulse wave signal is detected by peak detection, the detection unit 17e stores the sampling time in which the peak, that is, the maximum point is detected, in an internal memory (not shown). In addition, when the peak appears, the detection unit 17e can detect the pulse rate by obtaining a time difference from the local maximum point n number of predetermined parameters and dividing it by n.
  • the calculation unit 17f is a processing unit that calculates a variation index for evaluating the degree of disturbance of the pulse wave included in the pulse wave signal generated by the generation unit 17d.
  • the calculation unit 17f calculates the following five variation indexes (1) to (5).
  • the calculation unit 17f calculates (1) a peak ratio and (2) an area of the spectrum distribution as a variation index in the frequency domain of the pulse wave signal.
  • the calculation unit 17f calculates (3) time interval variation, (4) adjacent extreme value difference variation, and (5) correlation coefficient as fluctuation indexes in the time domain of the pulse wave signal.
  • the method for calculating the variation index (1) to (5) will be described in order.
  • the calculation unit 17f can use the ratio between the first peak and the second peak among the peaks included in the spectrum of the pulse wave signal as an example of the peak ratio.
  • the calculation unit 17f converts the pulse wave signal into the frequency domain.
  • the calculation unit 17f can use any conversion method.
  • the calculation unit 17f can apply discrete Fourier transform (DFT: Discrete Fourier Transform), Fourier transform, fast Fourier transform (FFT), discrete cosine transform (DCT: Discrete Cosine Transform), or the like.
  • DFT discrete Fourier transform
  • FFT fast Fourier transform
  • DCT discrete cosine Transform
  • FIG. 6 is a diagram illustrating an example of a spectrum of a pulse wave signal.
  • the vertical axis of the graph shown in FIG. 6 indicates density, and the horizontal axis indicates frequency.
  • calculating unit 17f includes a first peak P 1 densest in the spectrum, the second to a second peak density is high P 2 To detect.
  • calculator 17f calculates the peak ratio I 1 by dividing the density of the second peak P 2 at a density of the first peak P 1.
  • the peak ratio I 1 is a variation index that can be evaluated that the noise component is superposed as the value is closer to zero. This is because the pulse wave signal is highly likely to be extracted as a main component by the above signal generation processing, and the first peak corresponds to the component of the pulse wave (signal), while the second peak is This is because there is a high possibility of dealing with noise components.
  • the second peak is higher, as the second peak in other words closer to the first peak, the value of the molecules of the above formula (7) is increased, the greater the value of the peak ratio I 1.
  • the peak ratio I 1 is to “1”
  • the ratio of the noise component and the pulse wave component is reversed.
  • the output controls the peak ratio I 1 described above, when the noise component of the pulse wave component equal strength are included in the pulse wave signal was detected from the pulse wave signal The situation where the pulse wave is output can be suppressed.
  • the peak ratio I 1 is small if the pulse wave component is sufficiently strong compared to the noise component. In this case, by using the output controls the peak ratio I 1, it is possible to determine such to output a pulse wave detection result without being captivated by the width of the noise floor.
  • the calculation unit 17f can use the area of the pulse wave signal spectrum distribution as an example of the spectrum distribution area.
  • FIG. 7 is a diagram illustrating an example of a spectrum of a pulse wave signal.
  • FIG. 7 illustrates a spectrum derived from a pulse wave signal different from the pulse wave signal from which the spectrum illustrated in FIG. 6 is derived.
  • the calculation unit 17 f calculates the area Ps of the spectrum distribution by integrating the spectrum of the pulse wave signal in the pulse wave frequency band interval.
  • calculator 17f normalizes the area Ps spectral distribution Motoma' above integral at the maximum value P 1 of the section of the pulse wave frequency band.
  • calculation unit 17f calculates the area I 2 spectral distribution by the following equation (8).
  • the area I 2 of the spectrum distribution is a variation index that can be evaluated as the value is closer to zero and the noise component is less superimposed. This is because in the case of an ideal pulse wave signal spectrum, only the pulse wave component appears sharply and convexly, and it is obvious that the area approaches zero when normalized with the maximum value. On the other hand, the noise component appears over a wide range of the pulse wave frequency band, or the area increases as the noise floor density increases, so the value of the area I 2 of the spectrum distribution also increases. In such a case, by using the output control area I 2 spectral distribution allows suppression of output.
  • the calculation unit 17f calculates the time interval between the intersections of the waveform of the pulse wave signal and a plurality of straight lines parallel to the time axis. Deviations can be used.
  • the time interval between the intersections can be obtained for all intersections where the waveform and the straight line intersect, but the waveform of the pulse wave signal is approximated to a sin wave. If the extreme value is continuously obtained in a time shorter than the cycle of the pulse wave, for example, a situation in which high-frequency noise is mixed with the pulse wave may be assumed. In this case, as a result of less variation in the time interval between the intersections, it may happen that the noise is accidentally evaluated to be less.
  • the time interval between the intersections can be obtained for either the rising edge of the waveform and the intersection of the straight lines or the falling edge of the waveform and the intersection of the straight lines among the intersections where the waveform and the straight line intersect.
  • the time interval between the intersections may be obtained for all the intersections, or the waveform rising and the straight line may be obtained.
  • the time interval between the intersections may be obtained for the intersection.
  • the calculation unit 17f specifies, for each straight line, the intersection between the waveform of the pulse wave signal and a plurality of straight lines L 1 to L L parallel to the time axis.
  • FIG. 8 is a diagram illustrating an example of a waveform of a pulse wave signal.
  • FIG. 8 illustrates six straight lines l 1 to l 6 parallel to the time axis, along with the waveform of the pulse wave signal.
  • the calculating unit 17f is a straight line l 1 identifies the intersections p1, p2 and p3 which intersects the fall of the waveform of the pulse wave signal.
  • the calculation unit 17f calculates the time interval t1 by calculating the difference between the time T1 of the intersection p1 and the time T2 of the intersection p2, that is, T2-T1. Further, the calculation unit 17f calculates the time interval t2 by calculating the difference between the time T2 at the intersection p2 and the time T3 at the intersection p3, that is, T3-T2. On top of that, calculator 17f is the time interval t1 linear l 1, the time interval t2, using the average value t avg time interval, the standard deviation of the time interval in the linear l 1 according to the following equation (9) sigma Is calculated.
  • the calculation unit 17f calculates the standard deviation of the time interval for the straight lines l 2 to l 6 according to the following equation (9). Thereafter, the calculating unit 17f calculates the time interval variation I 3 by adding the standard deviations of the time intervals of the straight lines l 1 to l 6 according to the following equation (10).
  • t i indicates the i-th time interval
  • n indicates the number of intersections.
  • the time interval variation I 3 is a variation index that can be evaluated as the noise component is less superimposed as the value thereof is closer to zero. This is because in the case of an ideal pulse wave signal, the time interval is approximately equal, and the value approaches zero. On the other hand, when the amplitude of the pulse waveform becomes unstable due to the noise component, the value of the time interval variation I 3 also increases. Even in such a case, the output can be suppressed by using the time interval variation I 3 for output control.
  • the standard deviation of the time intervals of the straight line l 1 to the straight line l L is summed up is exemplified, but the standard deviation of the time interval obtained for each straight line executes various statistical processes in addition to the sum. it can. For example, it may be possible to calculate the distance variation I 3 times by averaging the standard deviations of the time intervals linearly l 1 ⁇ linear l L, the median of the standard deviation of the time interval of the straight line l 1 ⁇ linear l L Can also be the time interval variation I 3 .
  • the upper limit value or lower limit value of the amplitude taken by the waveform of the pulse wave signal that is, a waveform close to a so-called sine wave
  • the upper limit value of the amplitude may be decreased or the lower limit value of the amplitude may be increased.
  • a straight line passing through the vicinity of the upper and lower edges of the waveform among the straight lines l 1 to l L intersects with the waveform in a certain period, but may not be able to intersect with the waveform in another period.
  • calculation unit 17f imparts a greater weight than the straight line passing through the vicinity of the top and bottom edges of the waveform in a linear l c passing near the center of the waveform among the standard deviation of the time interval of the straight line l 1 ⁇ linear l L .
  • the calculation unit 17f can also calculate the time interval variation I 3 by performing a weighted average of the standard deviations of the time intervals of the straight lines l 1 to l L.
  • the calculating unit 17f calculates an amplitude difference between adjacent extreme values in the waveform of the pulse wave signal as an example of the adjacent extreme value difference variation, and a standard deviation of the amplitude difference. Can be used.
  • the difference in amplitude as an example, either the difference in amplitude between the maximum values or the difference in amplitude between the minimum values can be obtained. In the following, a case where the difference in amplitude between the maximum values is obtained will be exemplified, but the difference in amplitude between the minimum values may be obtained.
  • the calculation unit 17f detects the maximum point from the waveform of the pulse wave signal. Such a maximum point can be specified by detecting a zero cross point of a differential waveform of the pulse wave signal. In addition, the calculation unit 17f calculates the difference in amplitude between the local maximum points.
  • FIG. 9 is a diagram illustrating an example of a waveform of a pulse wave signal. FIG. 9 illustrates a waveform of a pulse wave signal different from that in FIG. 8, and illustrates an example in which eight maximum points p0 to p7 are detected. As shown in FIG.
  • the difference in amplitude between the maximum point p1 and the maximum point p2 in the waveform of the pulse wave signal is calculated as “s1”, and the difference in amplitude between the maximum point p2 and the maximum point p3 is “s2”. Is calculated.
  • the calculation unit 17f calculates the standard deviation of the amplitude difference between the local maximum points p0 to p7 according to the following equation (11) using the amplitude difference between the local maximum points and the average value of the amplitude differences. To do. Then, the calculation unit 17f calculates the adjacent extreme value difference variation I 4 by summing the standard deviations of the amplitude differences between the extreme values according to the following equation (12).
  • s i refers to the i-th amplitude difference
  • n refers to the number of local maximum points or local minimum points.
  • m in the above formula (12) indicates the number of types of extreme values, for example, indicates a maximum value and a minimum value. That is, when only the difference between the amplitudes at the maximum value is obtained as the extreme value point, the standard deviation of the difference in amplitude between the local maximum points calculated by the above equation (11) is directly used as the adjacent extreme value difference variation I 4 . What is necessary is just to calculate the difference of the amplitude in the minimum value as the extreme value point, and to calculate the sum of the standard deviations as the adjacent extreme value difference variation I 4 .
  • the adjacent extreme value difference I 4 is also a variation index that can be evaluated as the noise component is less superimposed as the value is closer to zero. This is because, in the case of an ideal pulse wave signal, the maximum value and the minimum value of the amplitude are substantially the same between the periods, and the difference between adjacent extreme values approaches zero. On the other hand, when the maximum value or the minimum value of the amplitude of the pulse wave waveform is unstable due to the noise component, the value of the adjacent extreme value difference variation I 4 also increases. Even in such a case, the output can be suppressed by using the adjacent extreme value difference variation I 4 for output control.
  • the calculation unit 17f shifts the replicated waveform between the waveform of the pulse wave signal and the replicated waveform in which a part thereof is replicated with a predetermined window width. It is possible to employ an autocorrelation method for calculating the correlation coefficient of each other and use the maximum value of the correlation coefficient.
  • FIG. 10 is a diagram illustrating an example of a waveform of a pulse wave signal.
  • the calculation unit 17 f duplicates the waveform of the portion determined by the predetermined window width U in the waveform of the pulse wave signal. Then, the calculating unit 17f shifts the duplicate waveform of the window width U obtained as described above to the front of the time axis and shifts it over the width ⁇ , and calculates the waveform of the pulse wave signal and the duplicate waveform according to the following equation (13). A correlation coefficient cor is calculated between them.
  • “x” in the following formula (13) indicates time series data of the amplitude of the replicated waveform
  • “y” indicates time series data of the amplitude of the waveform of the pulse wave signal to be detected. .
  • the bar of “x” and “y” in the following formula (13) indicates the average value of each.
  • the calculating unit 17f updates the shift width ⁇ to shift the duplicate waveform forward in the time axis, and repeatedly calculates the correlation coefficient.
  • the maximum value of the correlation coefficient obtained in this way can be used as the correlation coefficient I 5 above.
  • the correlation coefficient I 5 is a variation index that can be evaluated when the superposition of noise components whose values approach 1 is small. This is because, in the case of an ideal pulse wave signal, since the pulse wave has periodicity, the maximum value of the correlation coefficient calculated by the autocorrelation method also approaches “1”. On the other hand, when the waveform of the pulse wave signal is disturbed by the noise component becomes smaller the value of the correlation coefficient I 5 by its periodicity fades. In such a case, by using the output control correlation coefficient I 5, it is possible to suppress the output.
  • the output control unit 17g is a processing unit that executes output control of the pulse wave signal generated by the generation unit 17d using the variation index calculated by the calculation unit 17f.
  • the output control section 17g includes calculating unit to apply a predetermined weight m 1 ⁇ weight m 5 to fluctuation index I 1 ⁇ I 5 calculated by 17f, varies according to each weight index I 1 ⁇ I by performing weighted averaging of the 5, it is possible to obtain an overall fluctuation index I T comprehensively five variations indices I 1 ⁇ I 5.
  • the weighted average is performed on the normalized variation index I 1 ⁇ I 5 of each other.
  • normalization is realized by matching the scales of the values of the fluctuation indices I 1 to I 5 or taking the reciprocal of the fluctuation index I 5 .
  • the weights m 1 to m 5 can be calculated in advance by using various learning methods such as boosting, neural network, and support vector machine, and the development of the signal processing program described above. A person or the like can also arbitrarily set.
  • the output control unit 17g is a general fluctuation index I T is equal to or less than a predetermined threshold value TH.
  • the output control unit 17g suppresses the output of the detection result of the pulse wave detected by the detection unit 17e.
  • the output control unit 17g outputs the detection result of the pulse wave detected by the detection unit 17e to a predetermined output destination.
  • the diagnostic program can be the output destination.
  • a server device that provides a diagnostic program as a Web service can be used as an output destination.
  • a terminal device used by a person concerned of the user who uses the pulse wave detection device 10, for example, a caregiver or a doctor can be used as the output destination. This also enables monitoring services outside the hospital, for example, at home or at home. Needless to say, the measurement result and diagnosis result of the diagnostic program can also be displayed on the terminal devices of the persons concerned including the pulse wave detection device 10.
  • the signal processing unit 17 can be realized by causing the CPU (Central Processing Unit) or MPU (Micro Processing Unit) to execute the signal processing program.
  • CPU Central Processing Unit
  • MPU Micro Processing Unit
  • Each of the above functional units can be realized by hard wired logic such as ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array).
  • a semiconductor memory element or a storage device can be adopted as the memory used by the signal processing unit 17.
  • a semiconductor memory element a flash memory (Flash Memory), a DRAM (Dynamic Random Access Memory), an SRAM (Static Random Access Memory), and the like can be given.
  • the storage device include storage devices such as a hard disk and an optical disk.
  • FIG. 11 is a flowchart illustrating a signal processing procedure according to the first embodiment.
  • This signal processing is processing that is repeatedly executed when the signal processing program is started by an operation on the touch panel 13 or the like or operates in the background. Note that when an interruption operation is received via the touch panel 13 or the like, the signal processing can be stopped.
  • the extraction unit 17b extracts a face area based on a predetermined facial part, for example, the subject's nose, from the image acquired in step S101.
  • a partial image corresponding to is extracted (step S102).
  • the statistical unit 17c outputs time series data of representative values of each pixel included in the partial image of the face area extracted in step S102 for each R component and G component to the generation unit 17d (step S103).
  • the generation unit 17d executes the following process.
  • the generation unit 17d generates a signal in which components in a specific frequency band other than the pulse wave frequency band are canceled out between the R component and the G component (step S105).
  • the detection unit 17e detects a pulse wave, for example, a pulse rate or a pulse wave waveform, from the pulse wave signal generated in step S105 (step S106).
  • the calculation unit 17f calculates the variation indexes I 1 to I 5 using the pulse wave signal generated in step S105 (step S107).
  • the output control section 17g includes calculating unit to apply a predetermined weight m 1 ⁇ weight m 5 to fluctuation index I 1 ⁇ I 5 calculated by 17f, fluctuation index according to the weights of each I 1 ⁇ I 5 obtaining a total fluctuation index I T by performing weighted averaging of the (step S108).
  • the output control unit 17g is a general fluctuation index I T calculated in step S108, it is determined whether it is less than a predetermined threshold value TH (step S109). At this time, if total fluctuation index I T is not less than the threshold TH (step S109No), large noise component overlapping within the generated pulse wave signal in step S105, the detrimental to the detection result of the pulse wave Can be estimated. In this case, the process returns to step S101 without outputting the detection result of the pulse wave detected by the detection unit 17e.
  • step S109Yes when overall fluctuation index I T is less than the threshold value TH (step S109Yes), the noise component superimposed on the pulse wave signal generated in step S105 is small, hardly appear hinder the detection result of the pulse wave Can be estimated.
  • the output control unit 17g outputs the detection result of the pulse wave detected by the detection unit 17e to a predetermined output destination (step S110), and the process proceeds to step S101.
  • the pulse wave detection device 10 calculates a variation index for evaluating the degree of disturbance of a pulse wave from a pulse wave signal generated from a biological image, and uses the variation index to calculate a pulse wave. Controls whether to output a signal. For this reason, in the pulse wave detection device 10 according to the present embodiment, the output of the detection result of the pulse wave is output when noise removal does not function due to noise superimposed on the signal at a level at which a component corresponding to the pulse wave cannot be extracted. Can be suppressed.
  • the output of the detection result of the pulse wave is suppressed even when a noise component having a period similar to that of the pulse wave is superimposed on the pulse wave signal by the evaluation of the pulse wave signal based on the variation index. it can. Therefore, according to the pulse wave detection device 10 according to the present embodiment, output control of the detection result of the pulse wave can be appropriately executed.
  • the pulse wave detection device 10 controls whether or not to output a pulse wave signal using a plurality of variation indexes. For this reason, the pulse wave detection device 10 according to the present embodiment can evaluate the quality of the pulse wave signal from multiple aspects. That is, the pulse wave detection device 10 according to the present embodiment can evaluate the quality of the pulse wave signal while compensating for each other's weak points between the fluctuation indexes. Therefore, according to the pulse wave detection device 10 according to the present embodiment, the output control of the detection result of the pulse wave can be made more appropriate.
  • FIG. 12 is a block diagram illustrating a functional configuration of the determination model generation device according to the second embodiment.
  • the determination model generation apparatus 20 illustrated in FIG. 12 generates a determination model such as a classification tree having a variation index as a node and a threshold used for determining whether a pulse wave signal is good or bad at the node.
  • the determination model generation device 20 generates a determination model such as the classification tree and the threshold value before shipment of the pulse wave detection device 10, and sets the determination model in the pulse wave detection device 10.
  • the determination model generation device 20 may be configured such that the functional unit thereof is mounted on the mobile terminal device as in the case of the pulse wave detection device 10 described above, and the deferred model generation device 20 sets the parameters for the mobile terminal device to be shipped.
  • the functional unit may be mounted on a type of computer or the like.
  • the determination model generation device 20 includes an acquisition unit 17a, an extraction unit 17b, a statistical unit 17c, a generation unit 17d, a detection unit 17e, a calculation unit 17f, a reference storage unit 21a, And a generation unit 21.
  • the same reference numerals are given to functional units that perform the same functions as the functional units illustrated in FIG. 1, and descriptions thereof are omitted.
  • the reference storage unit 21a is a storage unit that stores a reference of the pulse wave signal generated by the generation unit 17d.
  • a reference an electrocardiographic signal collected by an electrocardiographic sensor that operates in synchronization with an image acquired by the acquisition unit 17a can be cited.
  • the generation unit 21 is a processing unit that generates a classification tree having a variation index as a node and a determination model such as a threshold used for determining whether a pulse wave signal is good or bad at the node.
  • the generation unit 21 uses the error between the pulse wave signal generated by the generation unit 17d and the electrocardiogram signal stored as a reference in the reference storage unit 21a to calculate the fluctuation calculated by the calculation unit 17f.
  • a determination model including a classification tree and a threshold value that gives the highest accuracy rate when the pulse wave signal is classified into two classes of good and bad by the index is generated. Then, the generation unit 21 sets the previously generated determination model in the output control unit 17g.
  • the generation unit 21 refers to an electrocardiogram signal stored as a reference in the reference storage unit 21a, and an error in a pulse wave signal generated by the generation unit 17d is within a predetermined range, for example, N beats / minute.
  • the inner pulse wave signal is classified as “good”, and the pulse wave signal whose error is outside the predetermined range is classified as “bad”.
  • the generation unit 21 determines whether the pulse wave signal generated by the generation unit 17d using each variation index calculated by the calculation unit 17f belongs to one of the two classes “good” and “bad”. Learning a judgment model to be applied to the classification process for classification.
  • Arbitrary algorithms such as boosting, neural network, support vector machine and the like can be employed for such machine learning of classification.
  • a classification tree having each variation index as a node is generated.
  • the generation unit 21 selects a node to be adopted as a node among the above-described variation indexes I 1 to I 5 , a hierarchy in which the node is arranged, and a threshold value set in each node as a correct rate of classification A classification tree is generated so that becomes the highest. Then, the generation unit 21 sets the threshold value used for determination in the generated classification tree and the node of the classification tree, that is, the learning result of the determination model, to the output control unit 17g.
  • FIG. 13 is a diagram illustrating an example of a determination model.
  • pulse wave signals with an error of less than “5 beats / minute” are classified into a “good” class, while pulse wave signals with an error of “5 beats / minute” or more are classified as “bad”.
  • An example of a determination model when classifying into classes is shown.
  • the determination model shown in FIG. 13 is used in the output control unit 17g of the pulse wave detection device 10, the following determination is executed.
  • Step S1 when the fluctuation index is calculated by the calculating unit 17f of the pulse wave detection apparatus 10, first, whether the peak ratio I 1 is less than the threshold "0.574" is the output control section 17g (Step S1). Then, if the peak ratio I 1 is less than the threshold "0.574" (step S1Yes), whether the adjacent extreme difference variation I 4 is less than the threshold "0.283” is further determined by the output control section 17g (Step S2). When the adjacent extreme value difference variation I 4 is less than the threshold “0.283”, the output control unit 17 g further determines whether or not the area I 2 of the spectrum distribution is less than the threshold “29.0” (step S3).
  • step S4 when the area I 2 spectral distribution is also less than the threshold "29.0" is the pulse wave signal generated by the generating unit 17d are classified into classes of "good” (step S4).
  • the peak ratio I 1 is not less than the threshold value “0.574”
  • the adjacent extreme value difference variation I 4 is not less than the threshold value “0.283”
  • the area I 2 of the spectrum distribution is not less than the threshold value “29.0” (Step S1 No, In step S2No or step S3No)
  • the pulse wave signal generated by the generation unit 17d is classified into a “defective” class (step S5).
  • FIG. 14 is a diagram illustrating an example of the classification result based on the adjacent extreme value difference variation and the peak ratio
  • FIG. 15 is a diagram illustrating an example of the classification result based on the area of the spectral distribution and the peak ratio.
  • FIG. 14 and FIG. 15 illustrate a case where the pulse wave signals are classified into “good” and “bad” classes according to the determination model shown in FIG. Note that the measurement conditions of the graphs shown in FIGS. 14 and 15 are an example of the case where the number of evaluations is 5 people, the waveform time width is 15 seconds, includes both with and without equipment shaking, and the total number of counts is 90 times. As shown.
  • FIGS. 14 and 15 indicate the pulse wave signal with an error of less than 5 beats / minute, and the plots with “ ⁇ ” and “ ⁇ ” have an error of 5 beats / minute or more. It refers to a certain pulse wave signal. 14 and 15 indicate boundaries between “good” and “bad” defined by threshold values used for nodes in the classification model classification tree shown in FIG.
  • FIG. 16 is a flowchart of a determination model setting process according to the second embodiment. This process is activated when an image is acquired by the acquisition unit 17a.
  • the extraction unit 17b extracts a face area based on a predetermined facial part, for example, the subject's nose, from the image acquired in step S301.
  • a partial image corresponding to is extracted (step S302).
  • the statistical unit 17c outputs time series data of representative values of each pixel included in the partial image of the face area extracted in step S302 for each R component and G component to the generation unit 17d (step S303).
  • the generation unit 17d executes the following process. That is, the generation unit 17d generates a signal in which components in a specific frequency band other than the pulse wave frequency band are canceled out between the R component and the G component (step S305). Subsequently, the detection unit 17e detects a pulse wave, for example, a pulse rate or a pulse wave waveform, from the pulse wave signal generated in step S305 (step S306).
  • a pulse wave for example, a pulse rate or a pulse wave waveform
  • the electrocardiographic waveform collected in synchronization with the pulse wave signal from which the pulse wave has been detected in step S306 is stored in the reference storage unit 21a as a reference (step S307). Thereafter, the calculation unit 17f calculates the above-described fluctuation indexes I 1 to I 5 using the pulse wave signal generated in step S305 (step S308).
  • the generation unit 21 refers to the electrocardiogram signal stored in the reference storage unit 21a in step S307 and is generated in step S305.
  • the pulse wave signals are classified into “good” and “bad” classes (step S310).
  • the generation unit 21 uses the error between the pulse wave signal generated in step S305 and the electrocardiogram signal stored in the reference storage unit 21a in step S307, according to the variation index calculated in step S308.
  • a determination model including a classification tree and a threshold value with the highest accuracy rate when the pulse wave signal is classified into two classes of good and bad is generated (step S311).
  • the generation unit 21 sets the determination model generated in step S311 in the output control unit 17g (step S312), and ends the process.
  • the determination model generation device 20 uses the error of the pulse wave signal from the reference, the classification tree having the variation index as a node, and the threshold used for determining the pass / fail of the pulse wave signal at the node. A decision model including such as is generated. For this reason, the determination model generation apparatus 20 according to the present embodiment can generate a determination model that can quantitatively evaluate the quality of the pulse wave signal. Furthermore, when the pulse wave signal output control is executed using the above determination model, good accuracy can be expected for the output control as described with reference to FIGS. 14 and 15.
  • the pulse wave signal in which the components in the specific frequency band other than the pulse wave frequency band are canceled between the R component and the G component is illustrated, but the pulse wave signal is generated by another method. Can also be generated.
  • the generation unit 17d may use time series data obtained by averaging the luminance values of the G component of each pixel included in the partial image corresponding to the living body region, that is, the G signal as a pulse wave signal.
  • the G signal is used as the pulse wave signal
  • the R signal and the B signal may be used as the pulse wave signal.
  • the first embodiment has exemplified the case of obtaining the total fluctuation index I T from fluctuation index I 1 ⁇ I 5, may without necessarily seeking total fluctuation index I T.
  • a threshold is provided for each of the fluctuation indexes I 1 to I 5 .
  • the output control unit 17g narrows down to the case where all of the variation indices I 1 to I 4 are less than the threshold value and the variation index I 5 is greater than or equal to the threshold value, that is, the condition is satisfied with all the variation indices.
  • a pulse wave signal can be output, or a pulse wave signal can be output when there are more variation indicators that satisfy the majority rule.
  • the pulse wave detection device 10 can further calculate a fluctuation index from sensor values collected by various sensors, and can use the fluctuation index I 1 to I 5 to determine whether the pulse wave signal is good or bad.
  • sensors include a motion sensor such as an acceleration sensor, a gyro sensor, and a pedometer, a touch sensor, an illuminance sensor, a distance sensor, and the like.
  • a motion sensor such as an acceleration sensor, a gyro sensor, and a pedometer
  • a touch sensor such as an a gyro sensor, and a pedometer
  • a touch sensor such as an a touch sensor
  • an illuminance sensor such as a distance sensor
  • the like such as a distance sensor
  • the number of touch operations on the touch panel 13 can be calculated as a variation index.
  • a change amount in which the illuminance changes over a predetermined time length can be calculated as a variation index.
  • the number of times the distance between the touch panel 13 and the user's face deviates from a predetermined appropriate distance can be calculated as a variation index.
  • each component of each illustrated apparatus does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured.
  • the pulse wave detection device 10 exemplifies the case where the above-described signal processing is executed in a stand-alone manner.
  • the pulse wave detection device 10 may be implemented as a client-server system.
  • the pulse wave detection device 10 may be implemented as a Web server that performs signal processing, or may be implemented as a cloud that provides services such as signal processing services through outsourcing.
  • a mobile terminal device such as a smartphone or a mobile phone or an information processing device such as a personal computer can be accommodated as a client terminal.
  • Signal processing is performed when an image of the subject's face is acquired from the client terminal via the network, and the detection result and the diagnosis result made using the detection result are returned to the client terminal.
  • Wave detection service and diagnostic service can be provided.
  • FIG. 17 is a schematic diagram illustrating an example of a computer that executes a signal processing program according to the first to third embodiments.
  • the computer 100 includes an operation unit 110a, a speaker 110b, a camera 110c, a display 120, and a communication unit 130. Further, the computer 100 includes a CPU 150, a ROM 160, an HDD 170, and a RAM 180. These units 110 to 180 are connected via a bus 140.
  • the HDD 170 stores in advance a signal processing program 170 a that exhibits the same function as the signal processing unit 17 described in the first embodiment.
  • the signal processing program 170a may be integrated or separated as appropriate, like each component of each signal processing unit 17 shown in FIG. In other words, all data stored in the HDD 170 need not always be stored in the HDD 170, and only data necessary for processing may be stored in the HDD 170.
  • the CPU 150 reads the signal processing program 170 a from the HDD 170 and develops it in the RAM 180.
  • the signal processing program 170a functions as a signal processing process 180a.
  • the signal processing process 180a expands various data read from the HDD 170 in an area allocated to itself on the RAM 180, and executes various processes based on the expanded data.
  • the signal processing process 180a includes processing executed by the signal processing unit 17 shown in FIG. 1, for example, processing shown in FIG. 11 and FIG.
  • each processing unit virtually realized on the CPU 150 does not always require that all processing units operate on the CPU 150, and only a processing unit necessary for the processing needs to be virtually realized.
  • the signal processing program 170a is not necessarily stored in the HDD 170 or the ROM 160 from the beginning.
  • each program is stored in a “portable physical medium” such as a flexible disk inserted into the computer 100, so-called FD, CD-ROM, DVD disk, magneto-optical disk, or IC card. Then, the computer 100 may acquire and execute each program from these portable physical media.
  • each program is stored in another computer or server device connected to the computer 100 via a public line, the Internet, a LAN, a WAN, etc., and the computer 100 acquires and executes each program from these. It may be.

Abstract

　脈波検出装置（１０）は、画像を取得する。さらに、脈波検出装置（１０）は、画像に含まれる生体領域を抽出する。さらに、脈波検出装置（１０）は、画像のうち生体領域に対応する部分画像が持つ画素値の時系列データから信号を生成する。さらに、脈波検出装置（１０）は、信号が含む脈波の乱れの度合いを評価する変動指標を算出する。さらに、脈波検出装置（１０）は、変動指標を用いて、信号を出力するか否かを制御する。

Description

信号処理装置、信号処理方法及び信号処理プログラム
　本発明は、信号処理装置、信号処理方法及び信号処理プログラムに関する。
　血液の体積の変動、いわゆる脈波を検出する技術の一例として、次に挙げる生体状態検出装置や脈拍計が提案されている。
　このうち、生体状態検出装置は、人体の腕などに装着される脈波センサに設けられた緑色ＬＥＤ（Light　Emitting　Diode）と赤外ＬＥＤを交互に発光させることによって緑色光及び赤外光に関する反射光の信号を検出する。そして、生体状態検出装置は、緑色光及び赤外光ごとに得られた検出信号に周波数解析を実行する。その上で、生体状態検出装置は、緑色光に対する周波数解析結果には有って、赤外光に対する周波数解析結果に無い周波数を抽出し、抽出したピークの周波数を脈拍数に換算する。
　また、脈拍計は、複数段階のパルス幅評価範囲に基づいて、対象パルス幅Ｐｘを評価し、その結果に基づいて基準パルス幅Ｐを更新、基準パルス幅Ｐを不更新、一拍分のパルスデータを補完、対象パルス幅Ｐｘデータを破棄するといった処理操作を実行する。これによって、脈拍のパルス幅の正規な信号と認められる信号を抽出して後段に伝達することを目指す。
特開２０１２－１７０７０３号公報 特開平５－１８４５４８号公報 特開２００４－２６１３９０号公報 特開２００４－２６１３６６号公報 特開２００２－１０２１８５号公報
　しかしながら、上記の技術では、脈波の検出結果の出力制御を適切に実行できない場合がある。
　すなわち、上記の生体状態検出装置では、脈波に対応する成分が抽出できないレベルのノイズが信号に重畳することによってノイズ除去が機能しない場合にも、脈拍数の算出が継続されるので、異常な脈拍数が表示されてしまうおそれがある。また、上記の脈拍計では、基準パルス幅Ｐと類似する対象パルス幅Ｐｘを持つノイズが信号に重畳する場合に、信号が破棄されずに後段にそのまま伝達されてしまうことがある。
　１つの側面では、本発明は、脈波の検出結果の出力制御を適切に実行できる信号処理装置、信号処理方法及び信号処理プログラムを提供することを目的とする。
　一態様の信号処理装置は、画像を取得する取得部と、前記画像に含まれる生体領域を抽出する抽出部と、前記画像のうち前記生体領域に対応する部分画像が持つ画素値の時系列データから信号を生成する生成部と、前記信号が含む脈波の乱れの度合いを評価する変動指標を算出する算出部と、前記変動指標を用いて、前記信号を出力するか否かを制御する出力制御部とを有する。
　脈波の検出結果の出力制御を適切に実行できる。
図１は、実施例１に係る脈波検出装置の機能的構成を示すブロック図である。 図２は、Ｇ信号およびＲ信号の各信号のスペクトルの一例を示す図である。 図３は、Ｇ成分および補正係数ｋが乗算されたＲ成分の各信号のスペクトルの一例を示す図である。 図４は、演算後のスペクトルの一例を示す図である。 図５は、図１に示した生成部の機能的構成を示すブロック図である。 図６は、脈波信号のスペクトルの一例を示す図である。 図７は、脈波信号のスペクトルの一例を示す図である。 図８は、脈波信号の波形の一例を示す図である。 図９は、脈波信号の波形の一例を示す図である。 図１０は、脈波信号の波形の一例を示す図である。 図１１は、実施例１に係る信号処理の手順を示すフローチャートである。 図１２は、実施例２に係る判定モデル生成装置の機能的構成を示すブロック図である。 図１３は、判定モデルの一例を示す図である。 図１４は、隣接極値差バラツキ及びピーク比率によるクラス分け結果の一例を示す図である。 図１５は、スペクトル分布の面積及びピーク比率によるクラス分け結果の一例を示す図である。 図１６は、実施例２に係る判定モデルの設定処理の手順を示すフローチャートである。 図１７は、実施例１～実施例３に係る信号処理プログラムを実行するコンピュータの一例について説明するための図である。
　以下に添付図面を参照して本願に係る信号処理装置、信号処理方法及び信号処理プログラムについて説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
［脈波検出装置の構成］
　まず、本実施例に係る脈波検出装置の機能的構成について説明する。図１は、実施例１に係る脈波検出装置の機能的構成を示すブロック図である。図１に示す脈波検出装置１０は、太陽光や室内光などの一般の環境光の下で被験者に計測器具を接触させずに、被験者の生体が撮影された画像を用いて被験者の脈波、すなわち心臓の拍動に伴う血液の体積の変動を検出する脈波検出処理を実行するものである。かかる脈波検出処理の一環として、脈波検出装置１０は、生体が撮影された画像から生成された脈波信号の良否を判定し、不良の脈波信号の出力を抑制する信号処理を実行する。
　かかる脈波検出装置１０は、一態様として、上記の信号処理がパッケージソフトウェアやオンラインソフトウェアとして提供される信号処理プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、スマートフォン、携帯電話機やＰＨＳ（Personal　Handyphone　System）などの移動体通信端末のみならず、移動体通信網に接続する能力を持たないデジタルカメラ、タブレット端末やスレート端末を含む携帯端末装置に上記の信号処理プログラムをインストールさせる。これによって、携帯端末装置を脈波検出装置１０として機能させることができる。なお、ここでは、脈波検出装置１０の実装例として携帯端末装置を例示したが、パーソナルコンピュータを始めとする据置き型の端末装置に信号処理プログラムをインストールさせることもできる。
　図１に示すように、脈波検出装置１０は、カメラ１１と、タッチパネル１３と、通信部１５と、信号処理部１７とを有する。
　図１に示す脈波検出装置１０は、図１に示した機能部以外にも既知のコンピュータが有する各種の機能部を有することとしてもかまわない。例えば、脈波検出装置１０がタブレット端末やスレート端末として実装される場合には、加速度センサや角速度センサなどのモーションセンサをさらに有することとしてもよい。また、脈波検出装置１０が移動体通信端末として実装される場合には、アンテナ、ＧＰＳ（Global　Positioning　System）受信機などの機能部をさらに有していてもかまわない。なお、図１には、一例として、脈波検出装置１０が携帯端末装置として実装される場合の機能部が例示されているが、脈波検出装置１０を据置き端末として実装することができるのは言うまでもない。例えば、脈波検出装置１０が据置き端末として実装される場合には、キーボード、マウスやディスプレイなどの入出力デバイスを有することとしてもよい。
　カメラ１１は、ＣＣＤ（Charge　Coupled　Device）やＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）などの撮像素子を搭載する撮像装置である。例えば、カメラ１１には、Ｒ（red）、Ｇ（green）、Ｂ（blue）など３種以上の受光素子を搭載することができる。かかるカメラ１１の実装例としては、デジタルカメラやＷｅｂカメラを外部端子を介して接続することとしてもよい。また、他の実装例としては、インカメラやアウトカメラのように、カメラが出荷時から搭載されている場合にはそのカメラを使用できる。なお、ここでは、脈波検出装置１０がカメラ１１を有する場合を例示したが、ネットワークまたは記憶デバイスを経由して画像を取得できる場合には、必ずしも脈波検出装置１０がカメラ１１を有さずともかまわない。
　例えば、カメラ１１は、一例として、横３２０画素×縦２４０画素の矩形の画像を撮像することができる。例えば、グレースケールの場合、各画素は、明るさの階調値（輝度）で与えられる。例えば、整数ｉ，ｊで示される座標（ｉ，ｊ）の画素の輝度（Ｌ）の階調値は、８ｂｉｔのディジタル値Ｌ（ｉ，ｊ）などで与えられる。また、カラー画像の場合、各画素は、Ｒ成分、Ｇ成分およびＢ成分の階調値で与えられる。例えば、整数ｉ，ｊで示される座標（ｉ，ｊ）の画素のＲ、Ｇ、Ｂの階調値は、それぞれディジタル値Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ）などで与えられる。なお、ＲＧＢの組み合わせ、あるいはＲＧＢ値を変換して求まる他の表色系（ＨＳＶ表色系やＹＵＶ表色系）を使用してもかまわない。
　タッチパネル１３は、表示可能かつ入力可能なデバイスである。一態様としては、タッチパネル１３は、脈波検出装置１０上で実行される信号処理プログラムを始め、ＯＳ（Operating　System）やアプリケーションプログラムによって出力される画像を表示する。他の一態様としては、タッチパネル１３は、画面のスクリーン上でなされるタップ、フリック、スイープ、ピンチインやピンチアウトなどのタッチ操作を受け付ける。なお、ここでは、脈波検出装置１０に対する指示入力を行う入力デバイスとしてタッチパネル１３を例示したが、これに限らず、タッチパネル１３との間で相補的な入力を実現する物理キーなどをさらに有していてもよい。
　ここで、上記の信号処理プログラムが起動された場合には、タッチパネル１３による画像表示や図示しないスピーカからの音声出力などを通じて、脈波を検出し易い被験者の画像がカメラ１１によって撮像されるように画像の撮影操作を案内することができる。例えば、信号処理プログラムは、タッチパネル１３を介して起動されると、カメラ１１を起動する。これを受けて、カメラ１１は、カメラ１１の撮影範囲に収容された被写体の撮影を開始する。このとき、被験者の顔が映る画像を撮影させる場合には、信号処理プログラムは、カメラ１１が撮影する画像をタッチパネル１３に表示しつつ、被験者の鼻を映す目標位置を照準として表示させることもできる。これによって、被験者の眼、耳、鼻や口などの顔パーツの中でも被験者の鼻が撮影範囲の中心部分に収まった画像が撮影できるようにする。そして、信号処理プログラムは、カメラ１１によって被験者の顔が撮影された画像を信号処理部１７へ出力する。また、上記のガイダンスは、必ずしも実行されずともよく、被験者がタッチパネル１３のスクリーンに表示された画面、例えばオペレーティングシステムやアプリケーションプログラムが出力する画像や動画などを閲覧している最中に当該被験者の顔を撮影することもできる。これによって、被験者に撮影を意識させずにバックグラウンドで撮影させることもできる。
　通信部１５は、図示しない他の装置との間で通信制御を行うインタフェースである。かかる通信部１５の一態様としては、ネットワークインタフェースカード、いわゆるＮＩＣ（Network　Interface　Card）を採用できる。例えば、通信部１５は、上記の信号処理によって出力された脈波、例えば脈拍数や脈波波形を図示しないサーバ装置へ送信したり、サーバ装置によって脈拍数や脈波波形をもとに診断された診断結果等を受信したりする。
　信号処理部１７は、上記の信号処理を実行する処理部である。かかる信号処理部１７は、図１に示すように、取得部１７ａと、抽出部１７ｂと、統計部１７ｃと、生成部１７ｄと、検出部１７ｅと、算出部１７ｆと、出力制御部１７ｇとを有する。
　このうち、取得部１７ａは、画像を取得する処理部である。一態様としては、取得部１７ａは、カメラ１１によって撮像された画像を取得することができる。他の一態様としては、取得部１７ａは、画像を蓄積するハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢ（Universal　Serial　Bus）メモリなどのリムーバブルメディアから画像を取得することもできる。更なる一態様としては、取得部１７ａは、外部装置からネットワークを介して受信することによって画像を取得することもできる。なお、取得部１７ａは、ＣＣＤやＣＭＯＳなどの撮像素子による出力から得られる２次元のビットマップデータやベクタデータなどの画像を用いて処理を実行する場合を例示したが、１つのディテクタから出力される信号をそのまま取得して後段の処理を実行させることとしてもよい。
　抽出部１７ｂは、画像から生体領域を抽出する処理部である。一態様としては、取得部１７ａによって取得された画像から所定の顔パーツを基準とする顔領域を抽出する。例えば、抽出部１７ｂは、画像にテンプレートマッチング等の顔認識を実行することによって被験者の眼、耳、鼻や口などの顔の器官、いわゆる顔パーツのうち特定の顔パーツ、すなわち被験者の鼻を検出する。その上で、抽出部１７ｂは、被験者の鼻を中心とし、中心から所定の範囲に含まれる顔領域を抽出する。これによって、被験者の鼻、鼻の周辺に位置する頬の一部の顔中心部分を含んだ顔領域の部分画像が脈波の検出に使用する大枠の画像として抽出される。その後、抽出部１７ｂは、画像から抽出された顔領域に対応する部分画像を統計部１７ｃへ出力する。なお、ここでは、生体領域の一例として、顔領域を抽出する場合を例示したが、必ずしも部位が顔でなくともよく、肌が映った領域であれば如何なる部位であってもかまわない。
　統計部１７ｃは、生体領域に対応する部分画像の各画素が持つ画素値に所定の統計処理を実行する処理部である。一態様としては、統計部１７ｃは、顔領域に対応する部分画像の各画素が持つ輝度値をＲＧＢの各波長成分ごとに平均する。この他、平均値以外にも、中央値や最頻値を計算することとしてもよく、また、相加平均以外にも任意の平均処理、例えば加重平均や移動平均などを実行することもできる。これによって、顔領域に対応する部分画像の各画素が持つ輝度の平均値が当該顔領域を代表する代表値としてＲＧＢ成分ごとに算出されることになる。
　生成部１７ｄは、生体領域に対応する部分画像の波長成分別の代表値の信号から、脈波に対応する周波数成分の信号を生成する処理部である。一態様としては、生成部１７ｄは、下記の信号生成処理を実行することによって、顔領域に対応する部分画像の波長成分別の代表値の信号から複数の波長成分の間で脈波が採り得る脈波周波数帯以外の特定周波数帯の成分が互いに相殺された脈波信号を生成する。以下では、信号生成処理によってノイズが相殺された信号のことを「脈波信号」と記載する場合がある。例えば、生成部１７ｄは、３つの波長成分、すなわちＲ成分、Ｇ成分およびＢ成分のうち血液の吸光特性が異なるＲ成分とＧ成分の２つの波長成分の代表値の時系列データを用いて、脈波信号を検出する。
　これを具体的に説明すると、顔表面には、毛細血管が流れており、心拍により血管に流れる血流が変化すると、血流で吸収される光量も心拍に応じて変化するため、顔からの反射によって得られる輝度も心拍に伴って変化する。かかる輝度の変化量は小さいが、顔領域全体の平均輝度を求めると、輝度の時系列データには脈波成分が含まれる。ところが、輝度は、脈波以外に体動等によっても変化し、これが、脈波検出のノイズ成分、いわゆる体動アーチファクトとなる。そこで、血液の吸光特性の異なる２種類以上の波長、例えば吸光特性が高いＧ成分（５２５ｎｍ程度）、吸光特性が低いＲ成分（７００ｎｍ程度）で脈波を検出する。心拍は、０．５Ｈｚ～４Ｈｚ、１分あたりに換算すれば３０ｂｐｍ～２４０ｂｐｍの範囲であるので、それ以外の成分はノイズ成分とみなすことができる。ノイズには、波長特性は無い、あるいはあっても極小であると仮定すると、Ｇ信号およびＲ信号の間で０．５Ｈｚ～４Ｈｚ以外の成分は等しいはずであるが、カメラの感度差により大きさが異なる。それゆえ、０．５Ｈｚ～４Ｈｚ以外の成分の感度差を補正して、Ｇ成分からＲ成分を減算すれば、ノイズ成分は除去されて脈波成分のみを取り出すことができる。
　例えば、Ｇ成分及びＲ成分は、下記の式（１）および下記の式（２）によって表すことができる。下記の式（１）における「Ｇｓ」は、Ｇ信号の脈波成分を指し、「Ｇｎ」は、Ｇ信号のノイズ成分を指し、また、下記の式（２）における「Ｒｓ」は、Ｒ信号の脈波成分を指し、「Ｒｎ」は、Ｒ信号のノイズ成分を指す。また、ノイズ成分は、Ｇ成分およびＲ成分の間で感度差があるので、感度差の補正係数ｋは、下記の式（３）によって表される。
　Ｇａ＝Ｇｓ＋Ｇｎ・・・（１）
　Ｒａ＝Ｒｓ＋Ｒｎ・・・（２）
　ｋ＝Ｇｎ／Ｒｎ・・・（３）
　感度差を補正してＧ成分からＲ成分を減算すると、脈波成分Ｓは、下記の式（４）となる。これを上記の式（１）及び上記の式（２）を用いて、Ｇｓ、Ｇｎ、Ｒｓ及びＲｎによって表される式へ変形すると、下記の式（５）となり、さらに、上記の式（３）を用いて、ｋを消し、式を整理すると下記の式（６）が導出される。
　Ｓ＝Ｇａ－ｋＲａ・・・（４）
　Ｓ＝Ｇｓ＋Ｇｎ－ｋ（Ｒｓ＋Ｒｎ）・・・（５）
　Ｓ＝Ｇｓ－（Ｇｎ／Ｒｎ）Ｒｓ・・・（６）
　ここで、Ｇ信号およびＲ信号は、吸光特性が異なり、Ｇｓ＞（Ｇｎ／Ｒｎ）Ｒｓである。したがって、上記の式（６）によってノイズが除去された脈波成分Ｓを算出することができる。
　図２は、Ｇ信号およびＲ信号の各信号のスペクトルの一例を示す図である。図２に示すグラフの縦軸は、信号強度を指し、また、横軸は、周波数（ｂｐｍ）を指す。図２に示すように、Ｇ成分およびＲ成分は、撮像素子の感度が異なるので、両者の信号強度はそれぞれ異なる。その一方、Ｒ成分およびＧ成分は、いずれにおいても３０ｂｐｍ～２４０ｂｐｍの範囲外、特に３ｂｐｍ以上２０ｂｐｍ未満の特定周波数帯でノイズが現れることには変わりはない。このため、図２に示すように、３ｂｐｍ以上２０ｂｐｍ未満の特定周波数帯に含まれる指定の周波数Ｆｎに対応する信号強度をＧｎ及びＲｎとして抽出できる。これらＧｎ及びＲｎによって感度差の補正係数ｋを導出できる。
　図３は、Ｇ成分および補正係数ｋが乗算されたＲ成分の各信号のスペクトルの一例を示す図である。図３の例では、補正係数の絶対値を乗算した結果が図示されている。図３に示すグラフにおいても、縦軸は、信号強度を指し、また、横軸は、周波数（ｂｐｍ）を指す。図３に示すように、Ｒ信号のスペクトルに補正係数ｋが乗算された場合には、Ｇ成分およびＲ成分の各成分の間で感度が揃う。特に、特定周波数帯におけるスペクトルの信号強度は、大部分においてスペクトルの信号強度が略同一になっている。その一方で、実際に脈波が含まれる周波数の周辺領域４００は、Ｇ成分およびＲ成分の各成分の間でスペクトルの信号強度が揃っていない。
　図４は、演算後のスペクトルの一例を示す図である。図４では、説明の便宜上、脈波が現れている周波数帯の視認性を上げる観点から縦軸である信号強度の尺度を大きくして図示している。図４に示すように、Ｇ信号のスペクトルから補正係数ｋの乗算後のＲ信号のスペクトルが差し引かれた場合には、Ｇ成分およびＲ成分の間での吸光特性の差によって脈波が現れる信号成分の強度が可及的に維持された状態でノイズ成分が低減されていることがわかる。このようにしてノイズ成分だけが除去された脈波信号の波形を検出することができる。
　続いて、生成部１７ｄの機能的構成についてさらに具体的に説明する。図５は、図１に示した生成部１７ｄの機能的構成を示すブロック図である。図５に示すように、生成部１７ｄは、ＢＰＦ（Band-Pass　Filter）１７２Ｒ及び１７２Ｇと、抽出部１７３Ｒ及び１７３Ｇと、ＬＰＦ（Low-Pass　Filter）１７４Ｒ及び１７４Ｇと、算出部１７５と、ＢＰＦ１７６Ｒ及び１７６Ｇと、乗算部１７７と、演算部１７８とを有する。なお、図２～図４の例では、周波数領域にて脈波を検出する例を説明したが、図５では、周波数成分への変換にかかる時間を削減する観点から、時間領域にてノイズ成分をキャンセルして脈波を検出する場合の機能的構成を図示している。
　例えば、統計部１７ｃから生成部１７ｄへは、生体領域に対応する部分画像のＲ成分の代表値の時系列データがＲ信号として入力されるとともに、生体領域に対応する部分画像のＧ成分の代表値の時系列データがＧ信号として入力される。このうち、Ｒ信号は、生成部１７ｄ内のＢＰＦ１７２Ｒ及びＢＰＦ１７６Ｒへ入力されるとともに、Ｇ信号は、生成部１７ｄ内のＢＰＦ１７２Ｇ及びＢＰＦ１７６Ｇへ入力される。
　ＢＰＦ１７２Ｒ、ＢＰＦ１７２Ｇ、ＢＰＦ１７６Ｒ及びＢＰＦ１７６Ｇは、いずれも所定の周波数帯の信号成分だけを通過させてそれ以外の周波数帯の信号成分を除去するバンドパスフィルタである。これらＢＰＦ１７２Ｒ、ＢＰＦ１７２Ｇ、ＢＰＦ１７６Ｒ及びＢＰＦ１７６Ｇは、ハードウェアによって実装されることとしてもよいし、ソフトウェアによって実装されることとしてもよい。
　これらＢＰＦが通過させる周波数帯の違いについて説明する。ＢＰＦ１７２Ｒ及びＢＰＦ１７２Ｇは、ノイズ成分が他の周波数帯よりも顕著に現れる特定周波数帯の信号成分を通過させる。
　かかる特定周波数帯は、脈波が採り得る周波数帯との間で比較することによって定めることができる。脈波が採り得る周波数帯の一例としては、０．５Ｈｚ以上４Ｈｚ以下である周波数帯、１分あたりに換算すれば３０ｂｐｍ以上２４０ｂｐｍ以下である周波数帯が挙げられる。このことから、特定周波数帯の一例としては、脈波として計測され得ない０．５Ｈｚ未満及び４Ｈｚ超過の周波数帯を採用することができる。また、特定周波数帯は、脈波が採り得る周波数帯との間でその一部が重複することとしてもよい。例えば、脈波として計測されることが想定しづらい０．７Ｈｚ～１Ｈｚの区間で脈波が採り得る周波数帯と重複することを許容し、１Ｈｚ未満及び４Ｈｚ以上の周波数帯を特定周波数帯として採用することもできる。また、特定周波数帯は、１Ｈｚ未満及び４Ｈｚ以上の周波数帯を外縁とし、ノイズがより顕著に現れる周波数帯に絞ることもできる。例えば、ノイズは、脈波が採り得る周波数帯よりも高い高周波数帯よりも、脈波が採り得る周波数帯よりも低い低周波数帯でより顕著に現れる。このため、１Ｈｚ未満の周波数帯に特定周波数帯を絞ることもできる。また、空間周波数がゼロである直流成分の近傍には、各成分の撮像素子の感度の差が多く含まれるので、０．０５Ｈｚ以上１Ｈｚ未満の周波数帯に特定周波数帯を絞ることもできる。さらに、人の体の動き、例えば瞬きや体の揺れの他、環境光のチラツキなどのノイズが現れやすい０．０５Ｈｚ以上０．３Ｈｚ以下の周波数帯に特定周波数帯を絞ることもできる。
　ここでは、一例として、ＢＰＦ１７２Ｒ及びＢＰＦ１７２Ｇが特定周波数帯として０．０５Ｈｚ以上０．３Ｈｚ以下の周波数帯の信号成分を通過させる場合を想定して以下の説明を行う。なお、ここでは、特定周波数帯の信号成分を抽出するために、バンドパスフィルタを用いる場合を例示したが、一定の周波数未満の周波数帯の信号成分を抽出する場合などには、ローパスフィルタを用いることもできる。
　一方、ＢＰＦ１７６Ｒ及びＢＰＦ１７６Ｇは、脈波が採り得る周波数帯、例えば０．５Ｈｚ以上４Ｈｚ以下の周波数帯の信号成分を通過させる。なお、以下では、脈波が採り得る周波数帯のことを「脈波周波数帯」と記載する場合がある。
　抽出部１７３Ｒは、Ｒ信号の特定周波数帯の信号成分の絶対強度値を抽出する。例えば、抽出部１７３Ｒは、Ｒ成分の特定周波数帯の信号成分に絶対値演算処理を実行することによって特定周波数帯の信号成分の絶対強度値を抽出する。また、抽出部１７３Ｇは、Ｇ信号の特定周波数帯の信号成分の絶対強度値を抽出する。例えば、抽出部１７３Ｇは、Ｇ成分の特定周波数帯の信号成分に絶対値演算処処理を実行することによって特定周波数帯の信号成分の絶対強度値を抽出する。
　ＬＰＦ１７４Ｒ及びＬＰＦ１７４Ｇは、特定周波数帯の絶対強度値の時系列データに対し、時間変化に応答させる平滑化処理を実行するローパスフィルタである。例えば、０．１Ｈｚ以下の周波数帯の信号成分を通過させる。これらＬＰＦ１７４Ｒ及びＬＰＦ１７４Ｇは、ＬＰＦ１７４Ｒへ入力される信号がＲ信号であり、ＬＰＦ１７４Ｇへ入力される信号がＧ信号である以外に違いはない。かかる平滑化処理によって、特定周波数帯の絶対値強度Ｒ´ｎ及びＧ´ｎが得られる。
　算出部１７５は、ＬＰＦ１７４Ｇによって出力されたＧ信号の特定周波数帯の絶対値強度Ｇ´ｎを、ＬＰＦ１７４Ｒによって出力されたＲ信号の特定周波数帯の絶対値強度Ｒ´ｎで除する除算「Ｇ´ｎ／Ｒ´ｎ」を実行する。これによって、感度差の補正係数ｋを算出する。
　乗算部１７７は、ＢＰＦ１７６Ｒによって出力されたＲ信号の脈波周波数帯の信号成分に算出部１７５によって算出された補正係数ｋを乗算する。
　演算部１７８は、ＢＰＦ１７６Ｇによって出力されたＧ信号の脈波周波数帯の信号成分から、乗算部１７７によって補正係数ｋが乗算されたＲ信号の脈波周波数帯の信号成分を差し引く演算「Ｇｓ－ｋ＊Ｒｓ」を実行する。このようにして得られた信号は、顔の脈波信号に相当し、そのサンプリング周波数は画像が撮像されるフレーム周波数に対応する。
　検出部１７ｅは、生成部１７ｄによって生成された脈波信号から脈波を検出する処理部である。一態様としては、検出部１７ｅは、生成部１７ｄによって生成された脈波信号の波形をそのまま脈波波形として出力することができる。他の一態様としては、検出部１７ｅは、生成部１７ｄによって生成された脈波信号から脈拍数を検出することができる。例えば、脈拍数の検出方法の一例として、検出部１７ｅは、所定の時間長の脈波信号を周波数領域へ変換することによって脈波信号のスペクトルから脈拍数を検出することができる。この場合には、脈波信号のスペクトルの脈波周波数帯、すなわち０．５Ｈｚ以上４Ｈｚ以下の中でピークをとる周波数を脈拍数として検出できる。また、脈拍数の検出方法の他の一例として、検出部１７ｅは、生成部１７ｄによって脈波信号が生成される度に、脈波信号の波形にピーク検出、例えば微分波形のゼロクロス点の検出などを実行することによって脈拍数を算出することもできる。このとき、検出部１７ｅは、ピーク検出によって脈波信号の波形のピークが検出された場合に、当該ピーク、すなわち極大点が検出されたサンプリング時間を図示しない内部メモリに保存する。その上で、検出部１７ｅは、ピークが出現した時点で、所定のパラメータｎ個前の極大点との時刻差を求め、それをｎで除算することによって脈拍数を検出することができる。
　算出部１７ｆは、生成部１７ｄによって生成された脈波信号が含む脈波の乱れの度合いを評価する変動指標を算出する処理部である。一態様としては、算出部１７ｆは、次に挙げる（１）～（５）の５つの変動指標を算出する。例えば、算出部１７ｆは、脈波信号の周波数領域における変動指標として、（１）ピーク比率、（２）スペクトル分布の面積を算出する。また、算出部１７ｆは、脈波信号の時間領域における変動指標として、（３）時間間隔バラツキ、（４）隣接極値差バラツキ、（５）相関係数を算出する。なお、以下では、上記の（１）～（５）の変動指標の算出方法について順番に説明する。
（１）ピーク比率
　例えば、算出部１７ｆは、上記のピーク比率の一例として、脈波信号のスペクトルに含まれるピークのうち第１のピークと第２のピークとの比を用いることができる。
　具体的には、算出部１７ｆは、脈波信号を周波数領域へ変換する。このとき、算出部１７ｆは、任意の変換手法を用いることができる。例えば、算出部１７ｆは、離散フーリエ変換（ＤＦＴ：Discrete　Fourier　Transform）、フーリエ変換、高速フーリエ変換（ＦＦＴ：Fast　Fourier　Transform）や離散コサイン変換（ＤＣＴ：Discrete　Cosine　Transform）などを適用することができる。
　このように、脈波信号が周波数領域へ変換された後に、算出部１７ｆは、脈波信号のスペクトルに含まれるピークのうち第１ピークと第２ピークを検出する。図６は、脈波信号のスペクトルの一例を示す図である。図６に示すグラフの縦軸は、密度を指し、横軸は、周波数を指す。図６に示すように、脈波信号からスペクトルが得られた場合、算出部１７ｆは、スペクトルのうち最も密度が高い第１ピークＰ１と、２番目に密度が高い第２ピークＰ２とを検出する。その上で、算出部１７ｆは、下記の式（７）に示すように、第２ピークＰ２の密度を第１ピークＰ１の密度で除算することによってピーク比率Ｉ１を算出する。
　Ｉ１＝Ｐ２／Ｐ１・・・（７）
　かかるピーク比率Ｉ１は、その値がゼロに近いほどノイズ成分の重畳が少ないと評価できる変動指標である。なぜなら、脈波信号は、上記の信号生成処理によって脈波が主成分として抽出される公算が高く、上記の第１ピークは、脈波（signal）の成分に対応する一方で、第２ピークは、ノイズ（noise）の成分に対応する可能性が高いからである。
　一方で、第２ピークが高くなるほど、言い換えれば第２ピークが第１ピークに近づくほど、上記の式（７）の分子の値が大きくなり、ピーク比率Ｉ１の値も大きくなる。このように、ピーク比率Ｉ１が「１」に近づくほど、実際の脈波と類似するノイズ成分が実際の脈波と同等の大きさで脈波信号に含まれている可能性が高いと推定できる。この場合には、ノイズ成分と脈波成分との比率が逆転してしまっているケースも考えられる。このようなケースにおいても、上記のピーク比率Ｉ１を出力制御に用いることによって、脈波成分と同等の強さのノイズ成分が脈波信号に含まれる場合に、その脈波信号から検出された脈波が出力されてしまう事態を抑制できる。
　また、ノイズ成分が脈波周波数帯の広帯域にわたって広がっている場合でも、ノイズ成分に比べて脈波成分が十分に強ければピーク比率Ｉ１の値は小さくなる。この場合、ピーク比率Ｉ１を出力制御に用いることによって、ノイズフロアの広さにまどわされずに脈波の検出結果を出力させるといった判断が可能になる。
（２）スペクトル分布の面積
　また、算出部１７ｆは、スペクトル分布の面積の一例として、脈波信号のスペクトル分布が持つ面積を用いることができる。
　具体的には、算出部１７ｆは、上記の（１）ピーク比率の場合と同様に、脈波信号を周波数領域へ変換する。図７は、脈波信号のスペクトルの一例を示す図である。図７には、図６に示したスペクトルが導出された脈波信号とは異なる脈波信号から導出されたスペクトルが図示されている。図７に示すように、算出部１７ｆは、脈波信号のスペクトルを脈波周波数帯の区間で積分することによってスペクトル分布の面積Ｐｓを算出する。その上で、算出部１７ｆは、上記の積分で求まったスペクトル分布の面積Ｐｓを脈波周波数帯の区間の最大値Ｐ１で正規化する。つまり、算出部１７ｆは、下記の式（８）によってスペクトル分布の面積Ｉ２を算出する。
　Ｉ２＝（∫Ｐ（ｆ）ｄｆ）／Ｐ１・・・（８）
　かかるスペクトル分布の面積Ｉ２は、その値がゼロに近いほどノイズ成分の重畳が少ないと評価できる変動指標であることがわかる。なぜなら、理想的な脈波信号のスペクトルの場合には、脈波成分の部分だけが鋭く凸となって現れるので、最大値で正規化すると面積がゼロに近づくのは自明であるからである。一方、脈波周波数帯の広範囲にわたってノイズ成分が現れたり、ノイズフロアの密度が高くなるほど面積が大きくなるので、スペクトル分布の面積Ｉ２の値も大きくなる。このようなケースにおいても、スペクトル分布の面積Ｉ２を出力制御に用いることによって、出力の抑制が可能になる。
（３）時間間隔バラツキ
　また、算出部１７ｆは、時間間隔バラツキの一例として、脈波信号の波形と時間軸に平行な複数の直線との交点間の時間間隔を算出し、その時間間隔の標準偏差を用いることができる。
　このように、交点間の時間間隔を求める場合には、波形と直線が交わる交点の全てを対象に、交点間の時間間隔を求めることもできるが、脈波信号の波形がｓｉｎ波に近似せずに脈波の周期よりも短い時間で連続して極値をとる場合、例えば脈波よりも高周波のノイズが混入する事態が起こることも想定される。この場合、交点間の時間間隔にバラツキが少なくなる結果、偶然にノイズも少ないと評価される事態も起こり得る。かかる事態を防ぐ観点から、波形と直線が交わる交点のうち波形の立ち上がりと直線の交点もしくは波形の立ち下がりと直線の交点のいずれか一方について交点間の時間間隔を求めることもできる。なお、以下では、波形の立ち下がりと直線の交点について交点間の時間間隔を求める場合を例示するが、全ての交点について交点間の時間間隔を求めることとしてもよいし、波形の立ち上がりと直線の交点について交点間の時間間隔を求めることとしてもかまわない。
　例えば、算出部１７ｆは、脈波信号の波形と、時間軸と平行である複数の直線Ｌ１～ＬＬとの交点を直線ごとに特定する。図８は、脈波信号の波形の一例を示す図である。図８には、脈波信号の波形とともに、時間軸と平行である６つの直線ｌ１～ｌ６が例示されている。図８に示すように、算出部１７ｆは、直線ｌ１が脈波信号の波形の立ち下がりと交わる交点ｐ１、ｐ２及びｐ３を特定する。そして、算出部１７ｆは、交点ｐ１の時間Ｔ１及び交点ｐ２の時間Ｔ２の差、すなわちＴ２－Ｔ１を計算することによって時間間隔ｔ１を算出する。さらに、算出部１７ｆは、交点ｐ２の時間Ｔ２及び交点ｐ３の時間Ｔ３の差、すなわちＴ３－Ｔ２を計算することによって時間間隔ｔ２を算出する。その上で、算出部１７ｆは、直線ｌ１の時間間隔ｔ１、時間間隔ｔ２、時間間隔の平均値ｔａｖｇを用いて、下記の式（９）にしたがって直線ｌ１における時間間隔の標準偏差σを算出する。これと同様にして、算出部１７ｆは、下記の式（９）にしたがって直線ｌ２～直線ｌ６についても時間間隔の標準偏差を算出する。その後、算出部１７ｆは、下記の式（１０）にしたがって直線ｌ１～直線ｌ６の時間間隔の標準偏差を合計することによって上記の時間間隔バラツキＩ３を算出する。なお、下記の式（９）における「ｔｉ」は、ｉ番目の時間間隔を指し、また、「ｎ」は、交点の個数を指す。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　かかる時間間隔バラツキＩ３は、その値がゼロに近いほどノイズ成分の重畳が少ないと評価できる変動指標であることがわかる。なぜなら、理想的な脈波信号の場合には、時間間隔がおよそ等間隔となるので、その値がゼロに近づくからである。一方、脈波波形の振幅の大きさがノイズ成分によって不安定になる場合には、時間間隔バラツキＩ３の値も大きくなる。このようなケースにおいても、時間間隔バラツキＩ３を出力制御に用いることによって、出力の抑制が可能になる。
　なお、ここでは、直線ｌ１～直線ｌＬの時間間隔の標準偏差を合計する場合を例示したが、各直線ごとに求められた時間間隔の標準偏差は合計以外にも各種の統計処理を実行できる。例えば、直線ｌ１～直線ｌＬの時間間隔の標準偏差を平均することによって時間間隔バラツキＩ３を算出することとしてもよいし、直線ｌ１～直線ｌＬの時間間隔の標準偏差の中央値を時間間隔バラツキＩ３とすることもできる。
　また、脈波信号の波形、いわゆるｓｉｎ波に近い波形が採る振幅の上限値または下限値は波形の周期によってばらつくことも想定される。この場合、ある周期では、振幅の上限値が小さくなったり、あるいは振幅の下限値が大きくなったりするケースも起こり得る。この場合には、直線ｌ１～直線ｌＬのうち波形の上下の端付近を通る直線はある周期では波形と交わるが、別の周期では波形と交わることができないとった事態も発生する。このことから、算出部１７ｆは、直線ｌ１～直線ｌＬの時間間隔の標準偏差の中でも波形の中央付近を通る直線ｌｃに波形の上下の端付近を通る直線よりも大きい重みを付与する。その上で、算出部１７ｆは、直線ｌ１～直線ｌＬの時間間隔の標準偏差を加重平均することによって時間間隔バラツキＩ３を算出することもできる。これによって、脈波信号の波形の振幅の上限値及び下限値に局所的なバラツキが発生する場合でも、過度に変動指標の値が増大するのを抑制できる。
（４）隣接極値差バラツキ
　また、算出部１７ｆは、隣接極値差バラツキの一例として、脈波信号の波形で隣接する極値間の振幅の差を算出し、その振幅の差の標準偏差を用いることができる。このように、振幅の差を求める場合には、一例として、極大値間の振幅の差または極小値間の振幅の差のいずれかを求めることができる。なお、以下では、極大値間の振幅の差を求める場合を例示するが、極小値間の振幅の差を求めることとしてもかまわない。
　具体的には、算出部１７ｆは、脈波信号の波形で極大点を検出する。かかる極大点は、脈波信号の微分波形のゼロクロス点を検出することによって特定できる。その上で、算出部１７ｆは、各極大点の間で振幅の差を算出する。図９は、脈波信号の波形の一例を示す図である。図９には、図８とは異なる脈波信号の波形が例示されており、ｐ０～ｐ７の８つの極大点が検出された場合の例が図示されている。図９に示すように、脈波信号の波形における極大点ｐ１及び極大点ｐ２の振幅の差は、「ｓ１」と算出されるとともに、極大点ｐ２及び極大点ｐ３の振幅の差は、「ｓ２」と算出される。その後、算出部１７ｆは、各極大点間の振幅の差、振幅の差の平均値を用いて、下記の式（１１）にしたがって各極大点ｐ０～ｐ７間の振幅の差の標準偏差を算出する。そして、算出部１７ｆは、下記の式（１２）にしたがって極値間の振幅の差の標準偏差を合計することによって上記の隣接極値差バラツキＩ４を算出する。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　上記の式（１１）における「ｓｉ」は、ｉ番目の振幅の差を指し、また、「ｎ」は、極大点または極小点の個数を指す。また、上記の式（１２）における「ｍ」は、極値の種類の数を指し、例えば極大値および極小値の２つを指す。つまり、極値点として極大値における振幅の差しか求めない場合には、上記の式（１１）によって算出された各極大点間における振幅の差の標準偏差をそのまま隣接極値差バラツキＩ４とすればよく、極値点として極小値における振幅の差も求める場合には、両者の標準偏差の合計を隣接極値差バラツキＩ４として算出すればよい。
　かかる隣接極値差バラツキＩ４においても、その値がゼロに近いほどノイズ成分の重畳が少ないと評価できる変動指標であることがわかる。なぜなら、理想的な脈波信号の場合には、各周期間で振幅の極大値及び極小値も略同一となるので、隣接する極値の差はゼロに近づくからである。一方、脈波波形の振幅の極大値や極小値がノイズ成分に由来して不安定になる場合には、隣接極値差バラツキＩ４の値も大きくなる。このようなケースにおいても、隣接極値差バラツキＩ４を出力制御に用いることによって、出力の抑制が可能になる。
（５）相関係数
　また、算出部１７ｆは、相関係数の一例として、脈波信号の波形とその一部が所定の窓幅で複製された複製波形との間で複製波形をシフトさせながら互いの相関係数を算出する自己相関法を採用し、その相関係数の最大値を用いることができる。
　図１０は、脈波信号の波形の一例を示す図である。図１０に示すように、算出部１７ｆは、脈波信号の波形のうち所定の窓幅Ｕで定まる部分の波形を複製する。そして、算出部１７ｆは、先のようにして得た窓幅Ｕの複製波形を時間軸前方へずらし幅τにわたってシフトし、下記の式（１３）にしたがって脈波信号の波形と複製波形との間で相関係数ｃｏｒを算出する。ここで、下記の式（１３）における「ｘ」は、複製波形の振幅の時系列データを指し、また、「ｙ」は、検出対象とする脈波信号の波形の振幅の時系列データを指す。また、下記の式（１３）における「ｘ」及び「ｙ」のバーは、各々の平均値を指す。その後、算出部１７ｆは、ずらし幅τを更新することによって複製波形を時間軸前方へシフトさせ、相関係数の算出を繰り返し実行する。このようにして求めた相関係数の最大値を上記の相関係数Ｉ５として用いることができる。
Figure JPOXMLDOC01-appb-M000005
　かかる相関係数Ｉ５は、その値が１に近づくノイズ成分の重畳が少ないと評価できる変動指標であることがわかる。なぜなら、理想的な脈波信号の場合には、脈波が周期性を持つことから自己相関法によって算出される相関係数の最大値も「１」に近づくからである。一方、脈波信号の波形がノイズ成分によって乱れる場合には、その周期性が薄れることによって相関係数Ｉ５の値も小さくなる。このようなケースにおいても、相関係数Ｉ５を出力制御に用いることによって、出力の抑制が可能になる。
　これら（３）～（５）の時間領域に関する指標には、周波数領域に関する指標に比べて、脈波信号の時間長が短くとも脈波信号の良否をより高い精度で判断できるという長所がある。
　図１の説明に戻り、出力制御部１７ｇは、算出部１７ｆによって算出された変動指標を用いて、生成部１７ｄによって生成された脈波信号の出力制御を実行する処理部である。
　一態様としては、出力制御部１７ｇは、算出部１７ｆによって算出された変動指標Ｉ１～Ｉ５に所定の重みｍ１～重みｍ５を付与し、各々の重みにしたがって変動指標Ｉ１～Ｉ５を加重平均することによって、５つの変動指標Ｉ１～Ｉ５を総合する総合変動指標ＩＴを求めることができる。このように、総合変動指標ＩＴを求める場合には、互いの変動指標Ｉ１～Ｉ５を正規化した上で加重平均がなされる。例えば、変動指標Ｉ１～Ｉ５の値のスケールを合わせたり、変動指標Ｉ５の逆数をとることによって正規化を実現する。かかる重みｍ１～重みｍ５は、一例として、ブースティング、ニューラルネットワークやサポートベクターマシンなどの各種の学習手法を用いて予め算出しておくこともできるし、また、上記の信号処理プログラムの開発者等が任意に設定することもできる。
　その後、出力制御部１７ｇは、総合変動指標ＩＴが所定の閾値ＴＨ未満であるか否かを判定する。このとき、総合変動指標ＩＴが閾値ＴＨ未満でない場合には、生成部１７ｄによって生成された脈波信号に重畳しているノイズ成分が大きく、脈波の検出結果に支障が出ると推定できる。この場合には、出力制御部１７ｇは、検出部１７ｅによって検出された脈波の検出結果の出力を抑制する。一方、総合変動指標ＩＴが閾値ＴＨ未満である場合には、生成部１７ｄによって生成された脈波信号に重畳しているノイズ成分が小さく、脈波の検出結果に支障が出にくいと推定できる。この場合には、出力制御部１７ｇは、検出部１７ｅによって検出された脈波の検出結果を所定の出力先へ出力させる。
　このようにして脈波の検出結果、例えば脈拍数や脈波波形を出力させる場合には、脈波検出装置１０が有するタッチパネル１３を始め、任意の出力先へ出力することができる。例えば、脈拍数や脈拍周期のゆらぎから自律神経の働きを診断したり、脈波波形から心疾患等を診断したりする診断プログラムが脈波検出装置１０にインストールされている場合には、診断プログラムを出力先とすることができる。また、診断プログラムをＷｅｂサービスとして提供するサーバ装置などを出力先とすることもできる。さらに、脈波検出装置１０を利用する利用者の関係者、例えば介護士や医者などが使用する端末装置を出力先とすることもできる。これによって、院外、例えば在宅や在席のモニタリングサービスも可能になる。なお、診断プログラムの測定結果や診断結果も、脈波検出装置１０を始め、関係者の端末装置に表示させることができるのも言うまでもない。
　なお、上記の信号処理部１７は、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）などに上記の信号処理プログラムを実行させることによって実現できる。また、上記の各機能部は、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）などのハードワイヤードロジックによっても実現できる。
　また、上記の信号処理部１７が使用するメモリには、半導体メモリ素子や記憶装置を採用できる。例えば、半導体メモリ素子の一例としては、フラッシュメモリ（Flash　Memory）、ＤＲＡＭ（Dynamic　Random　Access　Memory）やＳＲＡＭ（Static　Random　Access　Memory）などが挙げられる。また、記憶装置の一例としては、ハードディスク、光ディスクなどの記憶装置が挙げられる。
［処理の流れ］
　図１１は、実施例１に係る信号処理の手順を示すフローチャートである。この信号処理は、上記の信号処理プログラムがタッチパネル１３等での操作によって起動されるか、あるいはバックグラウンドで動作する場合に繰り返し実行される処理である。なお、タッチパネル１３等を介して中断操作を受け付けた場合には、信号処理を中止することもできる。
　図１１に示すように、取得部１７ａによって画像が取得されると（ステップＳ１０１）、抽出部１７ｂは、ステップＳ１０１で取得された画像から所定の顔パーツ、例えば被験者の鼻を基準とする顔領域に対応する部分画像を抽出する（ステップＳ１０２）。その上で、統計部１７ｃは、Ｒ成分及びＧ成分別にステップＳ１０２で抽出された顔領域の部分画像に含まれる各画素の代表値の時系列データを生成部１７ｄへ出力する（ステップＳ１０３）。
　その後、Ｒ成分及びＧ成分の時系列データが所定の時間にわたって蓄積された場合（ステップＳ１０４Ｙｅｓ）には、生成部１７ｄは、次のような処理を実行する。すなわち、生成部１７ｄは、Ｒ成分及びＧ成分の間で脈波周波数帯以外の特定周波数帯の成分が互いに相殺された信号を生成する（ステップＳ１０５）。続いて、検出部１７ｅは、ステップＳ１０５で生成された脈波信号から脈波、例えば脈拍数や脈波波形を検出する（ステップＳ１０６）。
　そして、算出部１７ｆは、ステップＳ１０５で生成された脈波信号を用いて、上記の変動指標Ｉ１～Ｉ５を算出する（ステップＳ１０７）。その上で、出力制御部１７ｇは、算出部１７ｆによって算出された変動指標Ｉ１～Ｉ５に所定の重みｍ１～重みｍ５を付与し、各々の重みにしたがって変動指標Ｉ１～Ｉ５を加重平均することによって総合変動指標ＩＴを求める（ステップＳ１０８）。
　ここで、出力制御部１７ｇは、ステップＳ１０８で算出された総合変動指標ＩＴが所定の閾値ＴＨ未満であるか否かを判定する（ステップＳ１０９）。このとき、総合変動指標ＩＴが閾値ＴＨ未満でない場合（ステップＳ１０９Ｎｏ）には、ステップＳ１０５で生成された脈波信号に重畳しているノイズ成分が大きく、脈波の検出結果に支障が出ると推定できる。この場合には、検出部１７ｅによって検出された脈波の検出結果を出力させずにステップＳ１０１の処理に戻る。
　一方、総合変動指標ＩＴが閾値ＴＨ未満である場合（ステップＳ１０９Ｙｅｓ）には、ステップＳ１０５で生成された脈波信号に重畳しているノイズ成分が小さく、脈波の検出結果に支障が出にくいと推定できる。この場合には、出力制御部１７ｇは、検出部１７ｅによって検出された脈波の検出結果を所定の出力先へ出力させ（ステップＳ１１０）、ステップＳ１０１の処理へ移行する。
［実施例１の効果］
　上述してきたように、本実施例に係る脈波検出装置１０は、生体画像から生成される脈波信号から脈波の乱れの度合いを評価する変動指標を算出し、変動指標を用いて脈波信号を出力するか否かを制御する。このため、本実施例に係る脈波検出装置１０では、脈波に対応する成分が抽出できないレベルのノイズが信号に重畳することによってノイズ除去が機能しない場合に、脈波の検出結果の出力を抑制できる。本実施例に係る脈波検出装置１０では、変動指標による脈波信号の評価によって脈波と周期が類似するノイズ成分が脈波信号に重畳する場合にも、脈波の検出結果の出力を抑制できる。したがって、本実施例に係る脈波検出装置１０によれば、脈波の検出結果の出力制御を適切に実行できる。
　また、本実施例に係る脈波検出装置１０は、複数の変動指標を用いて、脈波信号を出力するか否かを制御する。このため、本実施例に係る脈波検出装置１０では、脈波信号の良否を多面的に評価できる。すなわち、本実施例に係る脈波検出装置１０では、変動指標間で互いの弱点を補いながら脈波信号の良否を評価できる。それ故、本実施例に係る脈波検出装置１０によれば、脈波の検出結果の出力制御をより適正化できる。
　さて、上記の実施例１では、５つの変動指標Ｉ１～Ｉ５から総合変動指標ＩＴを求める場合を例示したが、必ずしも総合変動指標ＩＴを求めずともよい。そこで、本実施例では、一例として、変動指標をノードとする分類木を用いて脈波信号を良否の２つのクラスにクラス分けさせる場合について例示する。
　図１２は、実施例２に係る判定モデル生成装置の機能的構成を示すブロック図である。図１２に示す判定モデル生成装置２０は、変動指標をノードとする分類木及びノードで脈波信号の良否判定に用いる閾値などの判定モデルを生成するものである。かかる判定モデル生成装置２０は、一例として、脈波検出装置１０の出荷前に上記の分類木や上記の閾値などの判定モデルを生成し、当該判定モデルを脈波検出装置１０に設定する。このため、判定モデル生成装置２０は、上記の脈波検出装置１０と同様に、その機能部が携帯端末装置に実装されることとしてもよいし、出荷する携帯端末装置にパラメータを設定する据置き型のコンピュータ等に機能部が実装されることとしてもかまわない。
　図１２に示すように、判定モデル生成装置２０は、取得部１７ａと、抽出部１７ｂと、統計部１７ｃと、生成部１７ｄと、検出部１７ｅと、算出部１７ｆと、リファレンス記憶部２１ａと、生成部２１とを有する。なお、図１２には、図１に示した機能部と同様の機能を発揮する機能部には同一の符号を付し、その説明を省略することとする。
　このうち、リファレンス記憶部２１ａは、生成部１７ｄによって生成される脈波信号のリファレンスを記憶する記憶部である。かかるリファレンスの一例としては、取得部１７ａによって取得される画像と同期して動作する心電センサによって採取された心電信号が挙げられる。
　生成部２１は、変動指標をノードとする分類木及びノードで脈波信号の良否判定に用いる閾値などの判定モデルを生成する処理部である。一態様としては、生成部２１は、生成部１７ｄによって生成される脈波信号と、リファレンス記憶部２１ａにリファレンスとして記憶された心電信号との誤差を用いて、算出部１７ｆによって算出される変動指標によって脈波信号を良否の２つのクラスに分類する場合の正解率が最高となる分類木及び閾値を含む判定モデルを生成する。その上で、生成部２１は、先に生成された判定モデルを出力制御部１７ｇに設定する。
　具体的には、生成部２１は、リファレンス記憶部２１ａにリファレンスとして記憶された心電信号を参照し、生成部１７ｄによって生成される脈波信号のうち誤差が所定の範囲、例えばＮ拍／分内となる脈波信号を「良」に分類するとともに、誤差が所定の範囲外となる脈波信号を「不良」に分類する。かかるクラス分けの誤差の基準の一例としては、５拍／分を用いることができる。その上で、生成部２１は、算出部１７ｆによって算出される各変動指標を用いて生成部１７ｄによって生成される脈波信号を「良」及び「不良」の２つのクラスのいずれに属するかを分類する分類処理に適用する判定モデルを学習する。かかるクラス分けの機械学習には、ブースティング、ニューラルネットワーク、サポートベクターマシンなどの任意のアルゴリズムを採用することができる。ここでは、一例として、各変動指標をノードとする分類木を生成する場合を例示する。この場合には、生成部２１は、例えば、上記の変動指標Ｉ１～Ｉ５のうちノードとして採用するノード、ノードを配置する階層、さらには、各ノードで設定する閾値をクラス分けの正解率が最も高くなるように分類木を生成する。そして、生成部２１は、生成された分類木及び分類木のノードで判定に用いる閾値、すなわち判定モデルの学習結果を出力制御部１７ｇへ設定する。
　図１３は、判定モデルの一例を示す図である。図１３には、誤差が「５拍／分」未満である脈波信号を「良」のクラスに分類する一方で、誤差が「５拍／分」以上である脈波信号を「不良」のクラスに分類する場合の判定モデルの一例が図示されている。図１３に示す判定モデルが脈波検出装置１０の出力制御部１７ｇで用いられる場合には、次のような判定が実行される。
　図１３に示すように、脈波検出装置１０の算出部１７ｆによって各変動指標が算出されると、まず、ピーク比率Ｉ１が閾値「0.574」未満であるか否かが出力制御部１７ｇによって判定される（ステップＳ１）。続いて、ピーク比率Ｉ１が閾値「0.574」未満である場合（ステップＳ１Ｙｅｓ）には、隣接極値差バラツキＩ４が閾値「0.283」未満であるか否かが出力制御部１７ｇによってさらに判定される（ステップＳ２）。そして、隣接極値差バラツキＩ４が閾値「0.283」未満である場合には、スペクトル分布の面積Ｉ２が閾値「29.0」未満であるか否かが出力制御部１７ｇによってさらに判定される（ステップＳ３）。このとき、スペクトル分布の面積Ｉ２も閾値「29.0」未満である場合には、生成部１７ｄによって生成された脈波信号が「良」のクラスにクラス分けされる（ステップＳ４）。一方、ピーク比率Ｉ１が閾値「0.574」未満でない場合、隣接極値差バラツキＩ４が閾値「0.283」未満でない場合、あるいはスペクトル分布の面積Ｉ２が閾値「29.0」未満でない場合（ステップＳ１Ｎｏ，ステップＳ２ＮｏまたはステップＳ３Ｎｏ）には、生成部１７ｄによって生成された脈波信号が「不良」のクラスにクラス分けされる（ステップＳ５）。
　このように、２つのクラスに分類するために変動指標にどういう重みをかければよいのかという問題を、脈波信号の良否のクラス分けを誤差でクラスタリングするという問題に変換することによって定量的な評価を行う判定モデルを生成できる。
　図１４及び図１５を用いて、クラス分けの判定精度について説明する。図１４は、隣接極値差バラツキ及びピーク比率によるクラス分け結果の一例を示す図であり、図１５は、スペクトル分布の面積及びピーク比率によるクラス分け結果の一例を示す図である。図１４及び図１５には、図１３に示した判定モデルにしたがって脈波信号が「良」及び「不良」のクラスに分類された場合が図示されている。なお、図１４及び図１５に示すグラフの測定条件は、評価人数が５名、波形時間幅が１５秒、機器揺れの有りと無しを両方含み、計数回数がのべ９０回である場合を一例として図示している。
　ここでは、説明の便宜上、ピーク比率、隣接極値差バラツキ及びスペクトル分布の面積の３次元から隣接極値差バラツキ及びピーク比率の平面とスペクトル分布の面積及びピーク比率の平面とに射影を行って図１４及び図１５に図示している。なお、図１４及び図１５に示す「◇」のプロットは、誤差が５拍／分未満である脈波信号を指し、「□」及び「●」のプロットは、誤差が５拍／分以上である脈波信号を指す。さらに、図１４及び図１５に示す太線の枠は、図１３に示した判定モデルの分類木でノードに用いられる閾値が規定する「良」及び「不良」の境界を指す。
　図１３に示した判定モデルによって脈波信号を「良」及び「不良」の２つのクラスに分類した場合には、図１４及び図１５に示すように、良好な結果が得られることがわかる。例えば、図１４に示すように、誤差が「５拍／分」以上であるプロットとして、３つの「●」のプロットが隣接極値差バラツキ及びピーク比率の閾値判定によって「良」に分類されている他は見当たらない。これ以外の「□」のプロットは隣接極値差バラツキ及びピーク比率の閾値判定によって全て「不良」に分類できている。さらに、図１５に示すように、隣接極値差バラツキ及びピーク比率の判定だけでは、「良」に分類される３つの「●」のプロットも、スペクトル分布の面積及びピーク比率の閾値判定で「不良」に分類できることがわかる。一方、スペクトル分布の面積及びピーク比率の閾値判定では「良」に分類される２つの「□」のプロットも、隣接極値差バラツキ及びピーク比率の閾値判定によって「不良」に分類できることがわかる。
［処理の流れ］
　図１６は、実施例２に係る判定モデルの設定処理の手順を示すフローチャートである。この処理は、取得部１７ａによって画像が取得された場合に処理が起動される。
　図１６に示すように、取得部１７ａによって画像が取得されると（ステップＳ３０１）、抽出部１７ｂは、ステップＳ３０１で取得された画像から所定の顔パーツ、例えば被験者の鼻を基準とする顔領域に対応する部分画像を抽出する（ステップＳ３０２）。その上で、統計部１７ｃは、Ｒ成分及びＧ成分別にステップＳ３０２で抽出された顔領域の部分画像に含まれる各画素の代表値の時系列データを生成部１７ｄへ出力する（ステップＳ３０３）。
　その後、Ｒ成分及びＧ成分の時系列データが所定の時間にわたって蓄積された場合（ステップＳ３０４Ｙｅｓ）には、生成部１７ｄは、次のような処理を実行する。すなわち、生成部１７ｄは、Ｒ成分及びＧ成分の間で脈波周波数帯以外の特定周波数帯の成分が互いに相殺された信号を生成する（ステップＳ３０５）。続いて、検出部１７ｅは、ステップＳ３０５で生成された脈波信号から脈波、例えば脈拍数や脈波波形を検出する（ステップＳ３０６）。
　このようにしてステップＳ３０６で脈波が検出された脈波信号と同期して採取された心電波形がリファレンスとしてリファレンス記憶部２１ａへ格納される（ステップＳ３０７）。その後、算出部１７ｆは、ステップＳ３０５で生成された脈波信号を用いて、上記の変動指標Ｉ１～Ｉ５を算出する（ステップＳ３０８）。
　そして、脈波信号のサンプル数が十分に揃った場合（ステップＳ３０９Ｙｅｓ）には、生成部２１は、ステップＳ３０７でリファレンス記憶部２１ａに格納された心電信号を参照し、ステップＳ３０５で生成された脈波信号を「良」及び「不良」のクラスに分類する（ステップＳ３１０）。
　その上で、生成部２１は、ステップＳ３０５で生成された脈波信号と、ステップＳ３０７でリファレンス記憶部２１ａに格納された心電信号との誤差を用いて、ステップＳ３０８で算出された変動指標によって脈波信号を良否の２つのクラスに分類する場合の正解率が最高となる分類木及び閾値を含む判定モデルを生成する（ステップＳ３１１）。その上で、生成部２１は、ステップＳ３１１で生成された判定モデルを出力制御部１７ｇに設定し（ステップＳ３１２）、処理を終了する。
［実施例２の効果］
　上述してきたように、本実施例に係る判定モデル生成装置２０は、リファレンスからの脈波信号の誤差を用いて、変動指標をノードとする分類木及びノードで脈波信号の良否判定に用いる閾値などを含む判定モデルを生成する。このため、本実施例に係る判定モデル生成装置２０では、脈波信号の良否を定量的に評価できる判定モデルを生成できる。さらに、上記の判定モデルを用いて、脈波信号の出力制御を実行させる場合には、図１４及び図１５を用いて説明したように、出力制御に良好な精度を期待できる。
　さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
［変形例１］
　上記の実施例１では、Ｒ成分及びＧ成分の間で脈波周波数帯以外の特定周波数帯の成分が互いに相殺された脈波信号を生成する場合を例示したが、他の方法によって脈波信号を生成することもできる。例えば、生成部１７ｄは、生体領域に対応する部分画像に含まれる各画素のＧ成分の輝度値を平均することによって得た時系列データ、すなわちＧ信号を脈波信号とすることとしてもよい。また、ここでは、Ｇ信号を脈波信号として用いる場合を例示したが、Ｒ信号やＢ信号を脈波信号とすることとしてもかまわない。
［変形例２］
　上記の実施例１では、変動指標Ｉ１～Ｉ５から総合変動指標ＩＴを求める場合を例示したが、必ずしも総合変動指標ＩＴを求めずともよい。例えば、変動指標Ｉ１～Ｉ５の各々に閾値を設ける。その上で、出力制御部１７ｇは、変動指標Ｉ１～Ｉ４の全てが閾値未満であり、かつ変動指標Ｉ５が閾値以上である場合、すなわち全ての変動指標で条件を満たす場合に絞って脈波信号を出力させることもできるし、多数決で条件を満たす変動指標の方が多い場合に脈波信号を出力させることもできる。
［変形例３］
　上記の実施例１及び実施例２では、脈波を検出する場合に入力信号としてＲ信号およびＧ信号の二種類を用いる場合を例示したが、異なる複数の光波長成分を持つ信号であれば任意の種類の信号および任意の数の信号を入力信号とすることができる。例えば、Ｒ、Ｇ、Ｂ、ＩＲおよびＮＩＲなどの光波長成分が異なる信号のうち任意の組合せの信号を２つ用いることもできるし、また、３つ以上用いることもできる。
［応用例１］
　例えば、脈波検出装置１０は、各種のセンサによって採取されたセンサ値から変動指標をさらに算出し、上記の変動指標Ｉ１～Ｉ５とともに脈波信号の良否の判定に用いることもできる。かかるセンサの一例としては、加速度センサ、ジャイロセンサや歩数計などのモーションセンサの他、タッチセンサ、照度センサや距離センサなどが挙げられる。例えば、モーションセンサを用いて変動指標を算出する場合には、次のようにして求めることができる。すなわち、所定の時間長の中でモーションセンサによって採取されたセンサ値が所定の閾値を超える回数を変動指標として算出することができる。また、タッチセンサの場合には、タッチパネル１３に対するタッチ操作の回数を変動指標として算出することができる。また、照度センサの場合には、所定の時間長で照度が変化する変化量を変動指標として算出できる。また、距離センサの場合には、タッチパネル１３と使用者の顔との距離が所定の適正距離から逸脱する回数を変動指標として算出することもできる。
［分散および統合］
　また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、上記の実施例１では、脈波検出装置１０が上記の信号処理をスタンドアローンで実行する場合を例示したが、クライアントサーバシステムとして実装することもできる。例えば、脈波検出装置１０は、信号処理を実行するＷｅｂサーバとして実装することとしてもよいし、アウトソーシングによって信号処理サービスを始めとするサービスを提供するクラウドとして実装することとしてもかまわない。このように、脈波検出装置１０がサーバ装置として動作する場合には、スマートフォンや携帯電話機等の携帯端末装置やパーソナルコンピュータ等の情報処理装置をクライアント端末として収容することができる。これらクライアント端末からネットワークを介して被験者の顔が映った画像が取得された場合に信号処理を実行し、その検出結果やその検出結果を用いてなされた診断結果をクライアント端末へ応答することによって脈波検出サービス及び診断サービスを提供できる。
［信号処理プログラム］
　また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１７を用いて、上記の実施例と同様の機能を有する信号処理プログラムを実行するコンピュータの一例について説明する。
　図１７は、実施例１～実施例３に係る信号処理プログラムを実行するコンピュータの一例について説明するための図である。図１７に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０～１８０の各部はバス１４０を介して接続される。
　ＨＤＤ１７０には、図１７に示すように、上記の実施例１で示した信号処理部１７と同様の機能を発揮する信号処理プログラム１７０ａが予め記憶される。この信号処理プログラム１７０ａについては、図１に示した各々の信号処理部１７の各構成要素と同様、適宜統合又は分離しても良い。すなわち、ＨＤＤ１７０に格納される各データは、常に全てのデータがＨＤＤ１７０に格納される必要はなく、処理に必要なデータのみがＨＤＤ１７０に格納されれば良い。
　そして、ＣＰＵ１５０が、信号処理プログラム１７０ａをＨＤＤ１７０から読み出してＲＡＭ１８０に展開する。これによって、図１７に示すように、信号処理プログラム１７０ａは、信号処理プロセス１８０ａとして機能する。この信号処理プロセス１８０ａは、ＨＤＤ１７０から読み出した各種データを適宜ＲＡＭ１８０上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、信号処理プロセス１８０ａは、図１に示した信号処理部１７にて実行される処理、例えば図１１や図１６に示す処理を含む。また、ＣＰＵ１５０上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ１５０上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。
　なお、上記の信号処理プログラム１７０ａについては、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶させておく必要はない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。
　　１０　　脈波検出装置
　　１１　　カメラ
　　１３　　タッチパネル
　　１５　　通信部
　　１７　　信号処理部
　　１７ａ　取得部
　　１７ｂ　抽出部
　　１７ｃ　統計部
　　１７ｄ　生成部
　　１７ｅ　検出部
　　１７ｆ　算出部
　　１７ｇ　出力制御部

Claims (13)

  1. 　画像を取得する取得部と、
    　前記画像に含まれる生体領域を抽出する抽出部と、
    　前記画像のうち前記生体領域に対応する部分画像が持つ画素値の時系列データから信号を生成する生成部と、
    　前記信号が含む脈波の乱れの度合いを評価する変動指標を算出する算出部と、
    　前記変動指標を用いて、前記信号を出力するか否かを制御する出力制御部と
    　を有することを特徴とする信号処理装置。
  2. 　前記算出部は、前記信号の周波数領域に関する指標を前記変動指標として算出することを特徴とする請求項１に記載の信号処理装置。
  3. 　前記算出部は、前記信号のスペクトルに含まれるピークのうち最大である第１のピークと２番目である第２のピークとの比率を前記変動指標として算出することを特徴とする請求項２に記載の信号処理装置。
  4. 　前記算出部は、前記信号のスペクトル分布が持つ面積の大きさを前記変動指標として算出することを特徴とする請求項２に記載の信号処理装置。
  5. 　前記算出部は、前記信号の時間領域に関する指標を前記変動指標として算出することを特徴とする請求項１に記載の信号処理装置。
  6. 　前記算出部は、前記信号の波形と時間軸に平行な複数の直線との交点間の時間間隔の標準偏差を前記変動指標として算出することを特徴とする請求項５に記載の信号処理装置。
  7. 　前記算出部は、前記信号の波形で隣接する極値間の振幅の差の標準偏差を前記変動指標として算出することを特徴とする請求項５に記載の信号処理装置。
  8. 　前記算出部は、前記信号の波形と前記信号の一部が所定の時間幅で複製された複製波形との間で前記複製波形をシフトさせながら互いの相関係数を算出し、算出された相関係数の最大値を前記変動指標として算出することを特徴とする請求項５に記載の信号処理装置。
  9. 　前記信号と、前記信号に対応する心電信号との誤差を用いて、前記算出部によって算出される複数の変動指標によって前記信号が良否のクラスに分類される場合の正解率が最高となる変動指標の分類木及び前記分類木の判定に用いる閾値を含む判定モデルを生成する生成部をさらに有し、
    　前記出力制御部は、前記算出部によって算出された変動指標を用いて、前記生成部によって生成された判定モデルにしたがって前記信号を出力するか否かを制御することを特徴とする請求項１～８のいずれか１つに記載の信号処理装置。
  10. 　前記算出部は、複数の変動指標を算出し、
    　前記出力制御部は、複数の変動指標に所定の重みを付与した上で各変動指標を合成し、合成後の変動指標と所定の閾値との比較によって前記信号を出力するか否かを制御することを特徴とする請求項１～８のいずれか１つに記載の信号処理装置。
  11. 　前記算出部は、所定のセンサによって採取されたセンサ値を用いて前記変動指標を算出することを特徴とする請求項１に記載の信号処理装置。
  12. 　コンピュータが、
    　画像を取得し、
    　前記画像に含まれる生体領域を抽出し、
    　前記画像のうち前記生体領域に対応する部分画像が持つ画素値の時系列データから信号を生成し、
    　前記信号が含む脈波の乱れの度合いを評価する変動指標を算出し、
    　前記変動指標を用いて、前記信号を出力するか否かを制御する
    　処理を実行することを特徴とする信号処理方法。
  13. 　コンピュータに、
    　画像を取得し、
    　前記画像に含まれる生体領域を抽出し、
    　前記画像のうち前記生体領域に対応する部分画像が持つ画素値の時系列データから信号を生成し、
    　前記信号が含む脈波の乱れの度合いを評価する変動指標を算出し、
    　前記変動指標を用いて、前記信号を出力するか否かを制御する
    　処理を実行させることを特徴とする信号処理プログラム。
PCT/JP2014/053380 2014-02-13 2014-02-13 信号処理装置、信号処理方法及び信号処理プログラム WO2015121949A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015562625A JP6256488B2 (ja) 2014-02-13 2014-02-13 信号処理装置、信号処理方法及び信号処理プログラム
PCT/JP2014/053380 WO2015121949A1 (ja) 2014-02-13 2014-02-13 信号処理装置、信号処理方法及び信号処理プログラム
US15/228,862 US20160338603A1 (en) 2014-02-13 2016-08-04 Signal processing device, signal processing method, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/053380 WO2015121949A1 (ja) 2014-02-13 2014-02-13 信号処理装置、信号処理方法及び信号処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/228,862 Continuation US20160338603A1 (en) 2014-02-13 2016-08-04 Signal processing device, signal processing method, and computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2015121949A1 true WO2015121949A1 (ja) 2015-08-20

Family

ID=53799718

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/053380 WO2015121949A1 (ja) 2014-02-13 2014-02-13 信号処理装置、信号処理方法及び信号処理プログラム

Country Status (3)

Country Link
US (1) US20160338603A1 (ja)
JP (1) JP6256488B2 (ja)
WO (1) WO2015121949A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017085896A1 (ja) * 2015-11-20 2017-05-26 富士通株式会社 情報処理装置、情報処理方法、および情報処理プログラム
WO2017085894A1 (ja) * 2015-11-20 2017-05-26 富士通株式会社 脈波分析装置、脈波分析方法、および脈波分析プログラム
WO2017085895A1 (ja) * 2015-11-20 2017-05-26 富士通株式会社 情報処理装置、情報処理方法、および情報処理プログラム
WO2017154477A1 (ja) * 2016-03-08 2017-09-14 パナソニックＩｐマネジメント株式会社 脈拍推定装置、脈拍推定システムおよび脈拍推定方法
JP2019209041A (ja) * 2018-06-08 2019-12-12 株式会社デンソー 脈波形解析方法、及びプログラム
JPWO2019146025A1 (ja) * 2018-01-24 2020-11-19 富士通株式会社 脈波算出装置、脈波算出方法及び脈波算出プログラム
JP2022156964A (ja) * 2021-03-31 2022-10-14 艾陽科技股▲分▼有限公司 レーダ心拍検知方法及びそのシステム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107072567B (zh) * 2014-10-16 2021-01-15 松下知识产权经营株式会社 生物体信息处理装置和生物体信息处理方法
US10352912B2 (en) * 2016-09-15 2019-07-16 Kabushiki Kaisha Toshiba Structure evaluation system, structure evaluation apparatus, and structure evaluation method
US10458954B2 (en) 2016-09-15 2019-10-29 Kabushiki Kaisha Toshiba Structure evaluation system, structure evaluation apparatus, and structure evaluation method
JP7081452B2 (ja) * 2018-11-14 2022-06-07 オムロン株式会社 情報処理装置および情報処理装置の制御方法
JP7088153B2 (ja) * 2019-09-19 2022-06-21 カシオ計算機株式会社 Ｃａｐ（周期性脳波活動）検出装置、ｃａｐ（周期性脳波活動）検出方法及びプログラム
CN115429241A (zh) * 2020-12-31 2022-12-06 深圳北芯生命科技股份有限公司 用于识别正常压力值的基准获取方法及基准获取模块
CN113069091A (zh) * 2021-03-29 2021-07-06 南京邮电大学 一种ppg信号的脉象分类装置及方法
CN116548928B (zh) * 2023-07-11 2023-09-08 西安浩阳志德医疗科技有限公司 一种基于互联网的护理服务系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276463A (ja) * 1999-03-23 2000-10-06 Seiko Epson Corp データ解析方法及びデータ解析装置並びにデータ解析処理プログラムを記録した記録媒体
JP2002017694A (ja) * 2000-07-03 2002-01-22 Denso Corp 脈拍数検出装置
JP2002065620A (ja) * 2000-08-28 2002-03-05 Tanita Corp 脈波検出装置
JP2004121625A (ja) * 2002-10-04 2004-04-22 Seiko Instruments Inc 脈波検出装置及びフーリエ変換処理装置
JP2006296940A (ja) * 2005-04-25 2006-11-02 Denso Corp 生体センサ、脈波センサ、睡眠情報処理方法、睡眠情報処理装置、プログラム、及び記録媒体
JP2010051592A (ja) * 2008-08-28 2010-03-11 Fujitsu Ltd 脈拍計測装置、脈拍計測方法および脈拍計測プログラム
JP2011130996A (ja) * 2009-12-25 2011-07-07 Denso Corp 生体活動計測装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3470121B2 (ja) * 1993-04-02 2003-11-25 株式会社オサチ 電子血圧測定装置
CN1227843C (zh) * 1997-05-02 2005-11-16 精工爱普生株式会社 生物体用偏光通信系统
JP3583789B2 (ja) * 1997-06-18 2004-11-04 株式会社日立メディコ 連続波送受波型超音波撮像装置及び超音波プローブ
JP3632014B2 (ja) * 2002-05-14 2005-03-23 コーリンメディカルテクノロジー株式会社 血管内皮機能評価装置
JP4855721B2 (ja) * 2005-06-29 2012-01-18 フクダ電子株式会社 血圧測定装置
JP4862730B2 (ja) * 2007-04-05 2012-01-25 コニカミノルタセンシング株式会社 脈波データ解析方法、システム、プログラム
JP5094326B2 (ja) * 2007-10-18 2012-12-12 株式会社日立製作所 生体計測装置
JP5576234B2 (ja) * 2010-10-14 2014-08-20 株式会社デンソー 生体状態監視装置
JP5799581B2 (ja) * 2011-05-24 2015-10-28 ソニー株式会社 生体リズムの乱れ度算出装置、生体リズムの乱れ度算出システム、生体リズムの乱れ度算出方法、プログラム、及び記録媒体
US10143377B2 (en) * 2012-05-02 2018-12-04 Augusta University Research Institute, Inc. Single channel imaging measurement of dynamic changes in heart or respiration rate
JP5771758B2 (ja) * 2012-12-25 2015-09-02 日立アロカメディカル株式会社 超音波診断装置
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
KR20150077684A (ko) * 2013-12-30 2015-07-08 삼성전자주식회사 생체 신호 기반 기능 운용 방법 및 이를 지원하는 전자 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276463A (ja) * 1999-03-23 2000-10-06 Seiko Epson Corp データ解析方法及びデータ解析装置並びにデータ解析処理プログラムを記録した記録媒体
JP2002017694A (ja) * 2000-07-03 2002-01-22 Denso Corp 脈拍数検出装置
JP2002065620A (ja) * 2000-08-28 2002-03-05 Tanita Corp 脈波検出装置
JP2004121625A (ja) * 2002-10-04 2004-04-22 Seiko Instruments Inc 脈波検出装置及びフーリエ変換処理装置
JP2006296940A (ja) * 2005-04-25 2006-11-02 Denso Corp 生体センサ、脈波センサ、睡眠情報処理方法、睡眠情報処理装置、プログラム、及び記録媒体
JP2010051592A (ja) * 2008-08-28 2010-03-11 Fujitsu Ltd 脈拍計測装置、脈拍計測方法および脈拍計測プログラム
JP2011130996A (ja) * 2009-12-25 2011-07-07 Denso Corp 生体活動計測装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017085896A1 (ja) * 2015-11-20 2017-05-26 富士通株式会社 情報処理装置、情報処理方法、および情報処理プログラム
WO2017085894A1 (ja) * 2015-11-20 2017-05-26 富士通株式会社 脈波分析装置、脈波分析方法、および脈波分析プログラム
WO2017085895A1 (ja) * 2015-11-20 2017-05-26 富士通株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JPWO2017085896A1 (ja) * 2015-11-20 2018-07-26 富士通株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JPWO2017085894A1 (ja) * 2015-11-20 2018-08-02 富士通株式会社 脈波分析装置、脈波分析方法、および脈波分析プログラム
US10743783B2 (en) 2015-11-20 2020-08-18 Fujitsu Limited Pulse wave analysis apparatus, pulse wave analysis method, and non-transitory computer-readable storage medium
WO2017154477A1 (ja) * 2016-03-08 2017-09-14 パナソニックＩｐマネジメント株式会社 脈拍推定装置、脈拍推定システムおよび脈拍推定方法
JPWO2019146025A1 (ja) * 2018-01-24 2020-11-19 富士通株式会社 脈波算出装置、脈波算出方法及び脈波算出プログラム
JP2019209041A (ja) * 2018-06-08 2019-12-12 株式会社デンソー 脈波形解析方法、及びプログラム
JP2022156964A (ja) * 2021-03-31 2022-10-14 艾陽科技股▲分▼有限公司 レーダ心拍検知方法及びそのシステム
JP7199673B2 (ja) 2021-03-31 2023-01-06 艾陽科技股▲分▼有限公司 レーダ心拍検知方法及びそのシステム

Also Published As

Publication number Publication date
US20160338603A1 (en) 2016-11-24
JP6256488B2 (ja) 2018-01-10
JPWO2015121949A1 (ja) 2017-03-30

Similar Documents

Publication Publication Date Title
JP6256488B2 (ja) 信号処理装置、信号処理方法及び信号処理プログラム
EP3278722B1 (en) Pulse wave detection device and pulse wave detection program
JP6052027B2 (ja) 脈波検出装置、脈波検出プログラムおよび脈波検出方法
JP6102433B2 (ja) 脈波検出プログラム、脈波検出方法および脈波検出装置
EP3057486B1 (en) Automatic camera adjustment for remote photoplethysmography
US9986922B2 (en) Pulse wave detection method, pulse wave detection apparatus, and recording medium
JP6115263B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
JP6098257B2 (ja) 信号処理装置、信号処理方法及び信号処理プログラム
WO2016006027A1 (ja) 脈波検出方法、脈波検出プログラム及び脈波検出装置
US20150366456A1 (en) Pulse wave velocity measurement method
JP6393984B2 (ja) 脈拍計測装置、脈拍計測方法及び脈拍計測プログラム
JP6098304B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
JP6142664B2 (ja) 脈波検出装置、脈波検出プログラム、脈波検出方法及びコンテンツ評価システム
JP6135255B2 (ja) 心拍測定プログラム、心拍測定方法及び心拍測定装置
Tabei et al. A novel diversity method for smartphone camera-based heart rhythm signals in the presence of motion and noise artifacts
JP6765678B2 (ja) 脈波検出装置および脈波検出プログラム
JP6488722B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
US11701011B2 (en) Biological information detection device and biological information detection method
JP6167849B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
JP2019017555A (ja) 生体信号解析装置、生体信号解析方法及びプログラム
WO2017154477A1 (ja) 脈拍推定装置、脈拍推定システムおよび脈拍推定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14882641

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015562625

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14882641

Country of ref document: EP

Kind code of ref document: A1