WO2014038077A1 - 脈波検出方法、脈波検出装置及び脈波検出プログラム - Google Patents

脈波検出方法、脈波検出装置及び脈波検出プログラム Download PDF

Info

Publication number
WO2014038077A1
WO2014038077A1 PCT/JP2012/072990 JP2012072990W WO2014038077A1 WO 2014038077 A1 WO2014038077 A1 WO 2014038077A1 JP 2012072990 W JP2012072990 W JP 2012072990W WO 2014038077 A1 WO2014038077 A1 WO 2014038077A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
component
pulse wave
frequency band
wavelength
Prior art date
Application number
PCT/JP2012/072990
Other languages
English (en)
French (fr)
Inventor
大輔 内田
雅人 阪田
関口 英紀
明大 猪又
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to CN201280075664.3A priority Critical patent/CN104602594B/zh
Priority to EP12884118.6A priority patent/EP2893872A4/en
Priority to JP2014534134A priority patent/JP5915757B2/ja
Priority to PCT/JP2012/072990 priority patent/WO2014038077A1/ja
Publication of WO2014038077A1 publication Critical patent/WO2014038077A1/ja
Priority to US14/638,570 priority patent/US9986922B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • A61B5/7257Details of waveform analysis characterised by using transforms using Fourier transforms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Definitions

  • the present invention relates to a pulse wave detection method, a pulse wave detection device, and a pulse wave detection program.
  • a technique for detecting blood volume fluctuation, so-called pulse wave, from an image taken by a subject is known.
  • detection accuracy can be improved by taking an image using a light source such as infrared light, or by taking an image by bringing an imaging device into close contact with a living body of a subject.
  • a light source such as infrared light
  • an imaging device into close contact with a living body of a subject.
  • there are also disadvantages such as providing hardware such as a light source or bringing a measuring instrument into contact with a living body.
  • the following signal processing apparatus has been proposed.
  • a signal processing device is provided with a light emitting diode that emits red wavelength light and a light emitting diode that emits infrared wavelength light.
  • the signal processing apparatus obtains a coefficient that minimizes the correlation between the signals obtained from the transmitted light of the two light emitting diodes, and one of the signals multiplied by the coefficient. Is used to remove the noise component from the other signal.
  • the signal processing apparatus comprehensively calculates the correlation for every n hypothetical values, and uses the hypothetical value having the lowest correlation as a coefficient.
  • the disclosed technology has been made in view of the above, and an object thereof is to provide a pulse wave detection method, a pulse wave detection device, and a pulse wave detection program capable of suppressing an increase in processing load or a decrease in accuracy in reducing noise.
  • a computer acquires an image captured by a subject using an imaging device, and a frequency band that can be taken by a pulse wave among signals of a plurality of wavelength components included in the image. For each wavelength component, the intensity representative of the signal component in the specific frequency band whose overlapping section is less than the predetermined length is extracted for each wavelength component, and the signal is calculated between each wavelength component using the intensity extracted for each wavelength component.
  • a weighting coefficient that is multiplied to the signal when the signal is to be calculated, and a weighting coefficient that minimizes the operation value of the signal component of the specific frequency band after the multiplication is calculated, and at least one signal component among the signals of each wavelength component is calculated.
  • a process of multiplying the weighting factor, calculating a signal between each wavelength component after the multiplication of the weighting factor, and detecting the pulse wave of the subject using the calculated signal is executed.
  • the pulse wave detection method disclosed in the present application it is possible to suppress an increase in processing load or a decrease in accuracy in reducing noise.
  • FIG. 1 is a block diagram illustrating a functional configuration of each device included in the pulse wave detection system according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of an image in which the face of the subject is reflected.
  • FIG. 3 is a diagram illustrating an example of signal strength representing signal components in a specific frequency band with R and G components.
  • FIG. 4 is a diagram illustrating an example of the spectrum of each signal of the R component and the G component multiplied by the weighting factor.
  • FIG. 5 is a diagram illustrating an example of a spectrum after multiplication.
  • FIG. 6 is a flowchart illustrating the procedure of the detection process according to the first embodiment.
  • FIG. 7 is a block diagram illustrating a functional configuration of the server apparatus according to the second embodiment.
  • FIG. 1 is a block diagram illustrating a functional configuration of each device included in the pulse wave detection system according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of an image in which the face of the subject is reflected
  • FIG. 8 is a flowchart illustrating the procedure of the detection process according to the second embodiment.
  • FIG. 9 is a diagram illustrating a comparative example of the pulse wave detection result and the ECG reference according to the second embodiment.
  • FIG. 10 is a schematic diagram illustrating an example of a computer that executes a pulse wave detection program according to the first to third embodiments.
  • FIG. 1 is a block diagram illustrating a functional configuration of each device included in the pulse wave detection system according to the first embodiment.
  • the server device 10 shown in FIG. 1 detects a pulse wave of a subject using an image taken by the subject without bringing a measuring instrument into contact with the living body under ambient light such as sunlight or room light. It provides services.
  • the “pulse wave” here refers to an index representing fluctuations in blood volume, that is, an increase or decrease in blood flow, and includes a so-called heart rate, heart rate waveform, and the like.
  • the server device 10 can be implemented by installing an electronic medical record program that provides an electronic medical record service as package software or online software on a desired computer.
  • the server device 10 may be implemented as a Web server that provides the above-described pulse wave detection service, or may be implemented as a cloud that provides the above-described pulse wave detection service by outsourcing.
  • the server device 10 and the client terminal 30 are connected to each other via a desired network so that they can communicate with each other.
  • Any type of communication network such as the Internet (Internet), LAN (Local Area Network), or VPN (Virtual Private Network) can be adopted as such a network, whether wired or wireless.
  • Internet Internet
  • LAN Local Area Network
  • VPN Virtual Private Network
  • the client terminal 30 is a terminal device that receives a pulse wave detection service provided by the server device 10.
  • a mobile terminal such as a mobile phone, a PHS (Personal Handyphone System), and a PDA (Personal Digital Assistants) can be employed in addition to a fixed terminal such as a personal computer.
  • PHS Personal Handyphone System
  • PDA Personal Digital Assistants
  • the client terminal 30 includes a communication I / F (interface) unit 31, a camera 32, and a display unit 33, as shown in FIG.
  • the client terminal 30 includes various functional units included in known computers, such as a carrier communication unit that performs communication via an antenna and a carrier network, and a GPS (Global Positioning System) receiver. It does not matter as having etc.
  • the communication I / F unit 31 is an interface for performing communication control with other devices, for example, the server device 10.
  • a network interface card such as a LAN card can be employed.
  • the communication I / F unit 31 transmits an image in which the face of the subject is captured by the camera 32 to the server device 10 or receives a pulse wave detection result from the server device 10.
  • the camera 32 is an imaging device using an imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the camera 32 can be equipped with three or more light receiving elements such as R (red), G (green), and B (blue).
  • a digital camera or a Web camera may be connected via an external terminal, or the camera can be used when the camera is mounted from the time of shipment like a portable terminal.
  • the client terminal 30 has the camera 32 is illustrated, but the client terminal 30 does not necessarily have the camera 32 when images can be acquired via a network or a storage device.
  • the display unit 33 is a display device that displays various information, for example, a detection result of a pulse wave transmitted from the server device 10.
  • a monitor or a display may be employed, or the display unit 33 may be implemented as a touch panel by being integrated with the input unit. If it is not necessary to display information through the client terminal 30, the display unit 33 may be omitted. It can also be displayed on a display unit such as another client terminal 30.
  • the client terminal 30 is preinstalled or installed with an application program that receives a pulse wave detection service from the server device 10 in cooperation with the server device 10.
  • the client application program may be referred to as a “client application”.
  • the client application activates the camera 32 when activated via an input device (not shown).
  • the camera 32 starts photographing the subject accommodated in the photographing range of the camera 32.
  • the client application can display the image taken by the camera 32 on the display unit 33 and display the target position that reflects the subject's nose as an aim.
  • the client application transmits an image in which the face of the subject is captured by the camera 32 to the server device 10 via the communication I / F unit 31.
  • the client application causes the display unit 33 to display the heart rate and heart rate waveform of the subject.
  • the server device 10 includes a communication I / F unit 11, an acquisition unit 12, a conversion unit 13, an extraction unit 14, a calculation unit 15, a multiplication unit 16, and a calculation unit 17. And a detection unit 18.
  • the server device 10 may include various functional units included in a known server device, such as various input / output devices, in addition to the functional units illustrated in FIG.
  • the communication I / F unit 11 is an interface for performing communication control with another device, for example, the client terminal 30.
  • a network interface card such as a LAN card can be employed.
  • the communication I / F unit 11 receives an image of the subject's face taken from the client terminal 30 or transmits a pulse wave detection result to the client terminal 30.
  • the acquisition unit 12 is a processing unit that acquires an image of a subject taken.
  • the acquisition unit 12 acquires an image captured by the camera 32 of the client terminal 30.
  • the acquisition unit 12 acquires an image from an auxiliary storage device such as a hard disk or an optical disk or a removable medium such as a memory card or a USB (Universal Serial Bus) memory that stores images taken by the subject. You can also.
  • the image acquired by the acquisition unit 12 is output to the extraction unit 14.
  • the acquisition unit 12 can acquire a still image showing the subject intermittently or continuously, or can acquire a stream of moving image encoded data encoded by a predetermined compression encoding method.
  • the acquisition unit 12 the case where processing is executed using image data such as two-dimensional bitmap data or vector data obtained from an output from an image sensor such as a CCD or CMOS is exemplified. It is also possible to acquire the processed signal as it is and execute the subsequent processing.
  • image data such as two-dimensional bitmap data or vector data obtained from an output from an image sensor such as a CCD or CMOS
  • the acquisition unit 12 extracts a partial image based on a predetermined facial part from an image obtained by photographing the subject's face.
  • the acquisition unit 12 performs a specific facial part among facial parts such as the subject's eyes, ears, nose, and mouth by performing image processing such as template matching on an image in which the subject's face is reflected. Detect the subject's nose. Then, the acquisition unit 12 extracts a partial image included in a predetermined range from the center with the subject's nose as the center. As a result, a partial image including the subject's nose and a part of the face center of the cheek located around the nose is extracted as an image used for pulse wave detection. Thereafter, the acquisition unit 12 outputs the partial image extracted from the original image to the conversion unit 13.
  • FIG. 2 is a diagram showing an example of an image in which the face of the subject is reflected.
  • FIG. 2 shows a block in which a region including part or all of the subject's eyes, nose and mouth shown in the image is divided into nine.
  • the subject's eyes are shown in the upper left and right blocks.
  • the subject's mouth is shown in the lower three blocks of the blocks shown in FIG.
  • the acquisition part 12 extracts the image of the middle block shown in FIG. 2 from the original image as a partial image.
  • the conversion unit 13 is a processing unit that converts frequency components into at least two wavelength components included in the partial image.
  • a pulse wave is detected using signals of two wavelength components of the R component and the G component among the R component, the G component, and the B component is illustrated. That is, in this embodiment, the G signal whose optical wavelength is in the 525 nm band has higher absorption sensitivity than other components, and based on the G component, signals of other optical wavelengths such as R signal and B signal, The noise component is canceled together with the signal that has passed through the band stop filter.
  • the conversion unit 13 calculates an average value of pixel values of each pixel included in the partial image for each R component and G component included in the partial image. calculate. Then, when the average value of each component of the partial image is sampled in time series for a predetermined time, for example, 1 second or 1 minute, the conversion unit 13 performs discrete Fourier transform on the sampled R component and G component signals. The so-called DFT (Discrete Fourier Transform) is executed. By performing such DFT, the R signal and the G signal are converted into a spectrum of frequencies. Thus, the spectrum of the frequency obtained for each R signal and G signal by applying DFT is output to the extraction unit 14.
  • DFT Discrete Fourier Transform
  • the disclosed apparatus can apply Fourier transform, fast Fourier transform (FFT), discrete cosine transform (DCT), etc. in addition to discrete Fourier transform.
  • FFT fast Fourier transform
  • DCT discrete cosine transform
  • the extraction unit 14 determines, for each wavelength component, a signal intensity that represents a signal component in a specific frequency band in which a section overlapping with a frequency band that can be taken by a pulse wave is equal to or less than a predetermined length from the frequency spectrum of each wavelength component.
  • a processing unit for extraction is
  • the “specific frequency band” refers to a frequency band in which a noise component appears more prominently than other frequency bands, and can be defined, for example, by comparing with a frequency band that can be taken by a pulse wave.
  • a frequency band that can be taken by a pulse wave is a frequency band that is 0.7 Hz or more and less than 4 Hz, and a frequency band that is 42 bpm or more and 240 bpm or less when converted per minute. From this, as an example of the specific frequency band, a frequency band of less than 0.7 Hz and 4 Hz or more that cannot be measured as a pulse wave can be employed. Further, the specific frequency band may partially overlap with the frequency band that can be taken by the pulse wave.
  • the frequency band that can be taken by the pulse wave in the 0.7 Hz to 1 Hz section that is difficult to be measured as a pulse wave is allowed to overlap with the frequency band that can be taken by the pulse wave in the 0.7 Hz to 1 Hz section that is difficult to be measured as a pulse wave, and the frequency band of less than 1 Hz and 4 Hz or more is adopted as the specific frequency band.
  • Such a specific frequency band can be narrowed down to a frequency band where noise is more prominent with the frequency band of less than 1 Hz and 4 Hz or more as the outer edge. For example, noise appears more noticeably in a low frequency band lower than a frequency band that can take a pulse wave, rather than a high frequency band that is higher than a frequency band that the pulse wave can take. For this reason, a specific frequency band can also be narrowed down to a frequency band of less than 1 Hz. Further, since there are many differences in the sensitivity of the image sensor of each component in the vicinity of the direct current component where the spatial frequency is zero, the specific frequency band can be narrowed down to a frequency band of 3 bpm or more and less than 1 Hz. Further, the specific frequency band can be narrowed down to a frequency band of 3 bpm to less than 20 bpm in which noise such as flickering of ambient light other than human body movement, for example, blinking or shaking of the body, is likely to appear.
  • the extraction unit 14 extracts a signal intensity that represents a signal component in a specific frequency band for each of the R component and the G component.
  • the extraction unit 14 can extract a signal intensity corresponding to a preset frequency in a frequency band of 3 bpm or more and less than 20 bpm.
  • the extraction unit 14 extracts an average value of signal strength by executing an averaging process such as an arithmetic average, a weighted average, and a moving average on a signal strength in a frequency band of 3 bpm or more and less than 20 bpm, An integrated value of the signal strength can be extracted by integrating the signal strength.
  • noise the signal strength that represents the signal component of the specific frequency band with the R component
  • G noise the signal strength that represents the signal component of the specific frequency band with the G component
  • noise may be described as “ noise ”.
  • FIG. 3 is a diagram illustrating an example of signal strength representing signal components in a specific frequency band with R and G components.
  • the vertical axis of the graph shown in FIG. 3 indicates the signal intensity, and the horizontal axis indicates the frequency (bpm).
  • the signal strengths of the two components are different.
  • noise still appears in a specific frequency band of 3 bpm or more and less than 20 bpm. Therefore, in the example of FIG. 3, the signal intensity corresponding to the specified frequency F n included in a specific frequency band less than 3Bpm 20 bpm are extracted as R noise and G noise.
  • the calculation unit 15 is a weighting coefficient that is multiplied by one signal when a signal is calculated between each wavelength component using the signal intensity extracted for each wavelength component by the extraction unit 14, and is specified after multiplication. It is a processing unit that calculates a weighting coefficient that minimizes the calculation value of the signal component in the frequency band.
  • the multiplication unit 16 is a processing unit that multiplies at least one signal component among the signals of each wavelength component by a weighting coefficient. As an aspect, the multiplication unit 16 multiplies the spectrum of each signal of the R component and the G component by a weighting factor. In the above example, the spectrum R all of the R signal is multiplied by the weighting factor a 1 / a 2 and the spectrum G all of the G signal is multiplied by the weighting factor a 2 / a 2 .
  • FIG. 4 is a diagram illustrating an example of the spectrum of each signal of the R component and the G component multiplied by the weighting factor. In the example of FIG. 4, the result of multiplying the absolute value of the weighting coefficient is shown for convenience of explanation.
  • the vertical axis of the graph shown in FIG. 4 indicates the signal intensity
  • the horizontal axis indicates the frequency (bpm).
  • the sensitivity is uniform between each component of R component and G component.
  • the spectrum signal intensity in a specific frequency band is almost the same in most spectrum signals.
  • the signal intensity of the spectrum is not uniform between the R component and the G component.
  • the computing unit 17 is a processing unit that computes a signal between each wavelength component after multiplication by a weighting factor.
  • the calculation unit 17 calculates the multiplication result of the spectrum R all of the R signal and the weighting factor a 1 / a 2 and the multiplication result of the spectrum G all of the G signal and the weighting factor a 2 / a 2. .
  • the weighting factor a 1 / a 2 is negative, the spectrum of the R signal after multiplication of the weighting factor is subtracted from the spectrum of the G signal after multiplication of the weighting factor.
  • FIG. 5 is a diagram illustrating an example of a spectrum after calculation. In FIG.
  • the scale of the signal intensity which is the vertical axis, is enlarged from the viewpoint of improving the visibility of the frequency band in which the pulse wave appears.
  • the intensity of the signal component in which the pulse wave appears is maintained as much as possible. It can be seen that the noise component is reduced in this state. For this reason, from the spectrum of the difference between the two, a peak existing around 70 bpm can be detected without being distracted by the peak of the noise component.
  • the detection unit 18 is a processing unit that detects the pulse wave of the subject using the calculated spectrum.
  • the detection unit 18 may calculate a maximum of a spectrum after calculation in a frequency section assumed as a value that a person's heart rate can take, for example, a frequency section corresponding to a section from a lower limit value 42 bpm to an upper limit value 240 bpm.
  • the subject's heart rate is detected from the peak. For example, in the example of FIG. 5, since the maximum peak is measured at 70 bpm in the calculated spectrum, the detection unit 18 detects the heart rate of the subject as “70 bpm”.
  • the detection unit 18 converts the frequency component of the spectrum into a time-series space signal by applying inverse Fourier transform to the calculated spectrum. A heartbeat waveform is obtained by the inverse Fourier transform.
  • the detection result thus detected can be output to the client terminal 30, for example.
  • the detection unit 18 outputs the heart rate of the subject to a diagnostic program for diagnosing the presence or absence of a heart disease, for example, a Web application implemented in the server device 10.
  • the detection part 18 can also output the diagnostic result which made the test subject's heart disease diagnosed with the diagnostic program to the client terminal 30 with a heart rate.
  • a diagnostic program when a person with high blood pressure has tachycardia, for example, 100 bpm or more, it is diagnosed that angina or myocardial infarction is suspected, or arrhythmia or mental illness such as tension or stress is detected using the heart rate. Or make a diagnosis.
  • a monitoring service outside the hospital for example, at home or at home can be performed.
  • various types of integrated circuits and electronic circuits can be adopted for the acquisition unit 12, the conversion unit 13, the extraction unit 14, the calculation unit 15, the multiplication unit 16, the calculation unit 17, and the detection unit 18.
  • Examples of integrated circuits include ASIC (Application Specific Integrated Circuit) and FPGA (Field Programmable Gate Array).
  • CPU Central Processing Unit
  • MPU Micro Processing Unit
  • FIG. 6 is a flowchart illustrating the procedure of the detection process according to the first embodiment. This detection process is a process that is repeatedly executed every time an image is acquired in a state in which the server apparatus 10 is powered on.
  • the acquisition unit 12 is a partial image based on a predetermined facial part, for example, the subject's nose, from the image acquired in step S101. Is extracted (step S102).
  • the converting unit 13 converts the R component and G component signals into frequency components by applying discrete Fourier transform to the signals (step S103). As a result, the R signal and the G signal are converted into a frequency spectrum.
  • the extraction part 14 extracts the signal strength R noise and G noise which represent the signal component of a specific frequency band from the spectrum of the frequency of each wavelength component (step S104).
  • the calculation unit 15 calculates weight coefficients a 1 / a 2 and a 2 / a 2 that minimize the calculated values of the signal strengths R noise and G noise in the specific frequency band between the R component and the G component. (Step S105).
  • the multiplication unit 16 multiplies the spectrum R all of the R signal by the weighting factor a 1 / a 2 and multiplies the spectrum G all of the G signal by the weighting factor a 2 / a 2 (step S106).
  • the calculation unit 17 calculates the multiplication result of the spectrum R all of the R signal and the weighting coefficient a 1 / a 2 and the multiplication result of the spectrum G all of the G signal and the weighting coefficient a 2 / a 2 (step S107).
  • the detection unit 18 detects a pulse wave such as the heart rate and heart rate waveform of the subject using the calculated spectrum (step S108), and outputs the detection result of the pulse wave to the client terminal 30 (step S109). ), The process is terminated.
  • the server device 10 calculates the noise intensity of the frequency component that does not substantially include the pulse wave among the signals of the plurality of wavelength components, and the noise intensity of the signal of each wavelength component is calculated.
  • the pulse wave is detected from the signal calculated after multiplying the weighting coefficient that minimizes the calculated value. For this reason, in the server apparatus 10 according to the present embodiment, the calculation amount of the weighting coefficient can be reduced. Therefore, according to the server device 10 according to the present embodiment, an increase in processing load or a decrease in accuracy can be suppressed in reducing noise.
  • the disclosed apparatus does not necessarily convert the signal of each wavelength component into the frequency component.
  • the pulse wave can be detected by canceling the component. Therefore, in this embodiment, a case will be described in which a pulse wave is detected by canceling a noise component in a time series space.
  • FIG. 7 is a block diagram illustrating a functional configuration of the server device 50 according to the second embodiment.
  • the server device 50 includes an acquisition unit 51, BPF (Band-Pass Filter) 52A and 52B, extraction units 53A and 53B, LPF (Low-Pass Filter) 54A and 54B, and a calculation unit. 55, BPFs 56A and 56B, a multiplication unit 57, a calculation unit 58, and a detection unit 59.
  • the communication I / F unit is not shown.
  • the acquisition unit 51 calculates the average value of the pixel values of each pixel included in the partial image for each R component and G component included in the partial image every time the partial image is extracted. Then, the acquisition unit 51 samples the average value of the R signal and the G signal included in the partial image in a time series for a predetermined time, for example, 1 second or 1 minute, and the time series of the sampled R signal and G signal. Output the data to the functional unit in the subsequent stage. For example, the acquisition unit 51 outputs the time series data of the R signal to the BPF 52A and the BPF 56A, and outputs the time series data of the G signal to the BPF 52B and the BPF 56B.
  • BPF 52A, BPF 52B, BPF 56A, and BPF 56B are all band-pass filters that pass only signal components in a predetermined frequency band and remove signal components in other frequency bands. These BPF 52A, BPF 52B, BPF 56A, and BPF 56B may be implemented by hardware, or may be implemented by software.
  • the BPF 52A and the BPF 52B pass a signal component in a specific frequency band, for example, a frequency band of 3 bpm or more and less than 20 bpm.
  • a bandpass filter is used to extract a signal component in a specific frequency band
  • a low pass filter can also be used when a signal component in a frequency band of less than 20 bpm is extracted.
  • the BPF 56A and the BPF 56B pass signal components in a frequency band that can be taken by a pulse wave, for example, a frequency band of 42 bpm or more and less than 240 bpm.
  • a frequency band that can be taken by a pulse wave may be referred to as a “pulse wave frequency band”.
  • Extractor 53A extracts the absolute intensity value of the signal component of the specific frequency band of the R signal. For example, the extraction unit 53A extracts the absolute intensity value of the signal component in the specific frequency band by executing a multiplication process that powers the signal component in the specific frequency band of the R component.
  • the extraction unit 53B extracts the absolute intensity value of the signal component in the specific frequency band of the G signal. For example, the extraction unit 53B extracts the absolute intensity value of the signal component in the specific frequency band by executing a multiplication process that raises the power of the signal component in the specific frequency band of the G component.
  • the LPF 54A and the LPF 54B are low-pass filters that perform a smoothing process for responding to time changes on time-series data of absolute intensity values in a specific frequency band.
  • the LPF 54A and the LPF 54B are the same except that the signal input to the LPF 54A is an R signal and the signal input to the LPF 54B is a G signal.
  • the absolute value intensity R'noise and G'noise of a particular frequency band is obtained.
  • the calculating unit 55 the absolute value intensity G'noise of a particular frequency band of the G signal outputted by LPF54B, dividing the absolute value intensity R'noise of a particular frequency band of the R signal output by LPF54A division "G' calculating a weighting coefficient a by performing the noise / R'noise ".
  • the multiplication unit 57 multiplies the signal component in the pulse wave frequency band of the R signal output by the BPF 56A by the weight coefficient a calculated by the calculation unit 55.
  • the calculation unit 58 calculates “a * R” by subtracting the signal component of the pulse wave frequency band of the G signal output by the BPF 56B from the signal component of the pulse wave frequency band of the R signal multiplied by the weighting factor a by the multiplication unit 57.
  • signal -G signal ".
  • the time series data of the signal obtained by such calculation corresponds to a heartbeat waveform.
  • the detection unit 59 detects the pulse wave of the subject using the calculated signal. As one aspect, the detection unit 59 outputs time-series data of signals as a pulse wave detection result. As another aspect, the detection unit 59 can also detect a heart rate from a spectrum converted into a frequency component by applying a Fourier transform to the time-series data of the signal.
  • FIG. 8 is a flowchart illustrating the procedure of the detection process according to the second embodiment.
  • the acquisition unit 51 uses a predetermined facial part, for example, a partial image based on the subject's nose from the image acquired in step S301. Is extracted (step S302).
  • the acquisition unit 51 outputs the R signal time series data to the BPF 52A and the BPF 56A, and outputs the G signal time series data to the BPF 52B and the BPF 56B (step S303).
  • the BPF 52A extracts a signal component of a specific frequency band of the R signal, for example, a frequency band of 3 bpm or more and less than 20 bpm, and the BPF 52B extracts a signal component of the specific frequency band of the G signal (Step S304A).
  • the extraction unit 53A extracts the absolute intensity value of the signal component of the specific frequency band of the R signal
  • the extraction unit 53B extracts the absolute intensity value of the signal component of the specific frequency band of the G signal (step S305). .
  • the LPF 54A executes a smoothing process for responding to a time change on the time-series data of the absolute intensity value in the specific frequency band of the R signal, and the LPF 54B performs the time of the absolute intensity value in the specific frequency band of the G signal.
  • a smoothing process for responding to the time change is executed on the series data (step S306).
  • the calculating unit 55 the absolute value intensity G'noise of a particular frequency band of the G signal outputted by LPF54B, dividing the absolute value intensity R'noise of a particular frequency band of the R signal output by LPF54A division calculating a weighting coefficient a by performing the "G'noise / R'noise" (step S307).
  • the BPF 56A extracts a signal component in a pulse wave frequency band of the R signal, for example, a frequency band of 42 bpm or more and less than 240 bpm, and the BPF 56B is a signal in the pulse wave frequency band of the G signal. Components are extracted (step S304B).
  • the multiplier 57 multiplies the signal component in the pulse wave frequency band of the R signal extracted in step S304B by the weighting coefficient a calculated in step S307 (step S308).
  • the calculation unit 58 then subtracts the signal component in the pulse wave frequency band of the G signal extracted in step S304B from the signal component in the pulse wave frequency band of the R signal multiplied by the weighting factor a in step S308. “A * R signal ⁇ G signal ” is executed (step S309).
  • the detection unit 59 detects pulse waves such as the heart rate and heart rate waveform of the subject using the time-series data of the calculated signal (step S310), and outputs the detection result of the pulse wave to the client terminal 30. (Step S311), and the process ends.
  • the server device 50 according to the present embodiment detects the pulse wave by canceling the noise component in the time series space. Also in this case, since the calculation amount of the weighting coefficient can be reduced as in the first embodiment, an increase in processing load or a decrease in accuracy can be suppressed in reducing noise. Furthermore, the server device 50 according to the present embodiment can obtain a heartbeat waveform that is one aspect of the pulse wave without performing Fourier transform, as compared with the first embodiment. Can be suppressed more effectively.
  • FIG. 9 is a diagram illustrating a comparative example of the pulse wave detection result and the reference according to the second embodiment.
  • the reference of FIG. 9 shows an ECG (Electrocardiogram) measured by electrocardiography.
  • the vertical axis of the graph shown in FIG. 9 indicates the amplitude of the signal, and the horizontal axis indicates time (sec).
  • the time-series data of the signal after the calculation by the calculation unit 58 is approximately similar to the reference electrocardiogram waveform, with the positions of the peaks being substantially the same. .
  • the pulse wave detection accuracy comparable to that of the reference electrocardiographic waveform can be exhibited.
  • [input signal] In the first embodiment and the second embodiment, the case where two types of R signal and G signal are used as input signals is illustrated. However, any type of signal and any number of signals having different light wavelength components may be used. A number of signals can be input signals. For example, two signals of any combination among signals having different optical wavelength components such as R, G, B, IR, and NIR can be used, or three or more signals can be used.
  • each component of each illustrated apparatus does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured.
  • a pulse wave detection program that executes processing corresponding to functional units such as the acquisition unit 12, the conversion unit 13, the extraction unit 14, the calculation unit 15, the multiplication unit 16, the calculation unit 17, and the detection unit 18 included in the server device 10. It is also possible to operate the client terminal 30 in a stand-alone manner by executing it on the client terminal 30.
  • some of the functional units of the acquisition unit 12, the conversion unit 13, the extraction unit 14, the calculation unit 15, the multiplication unit 16, the calculation unit 17, and the detection unit 18 are connected as external devices of the server device 10 via a network. It may be.
  • the conversion unit 13 is mounted on the client terminal 30 and other functional units are provided on the server device 10 from the viewpoint of processing by the server device 10 having high specifications between client servers. It can also be implemented.
  • another device has some of the functional units of the acquisition unit 12, the conversion unit 13, the extraction unit 14, the calculation unit 15, the multiplication unit 16, the calculation unit 17, and the detection unit 18, and is connected to the network for cooperation.
  • the function of the server device 10 may be realized by operating.
  • FIG. 10 is a diagram for explaining an example of a computer that executes a pulse wave detection program according to the first to third embodiments.
  • the computer 100 includes an operation unit 110a, a speaker 110b, a camera 110c, a display 120, and a communication unit 130. Further, the computer 100 includes a CPU 150, a ROM 160, an HDD 170, and a RAM 180. These units 110 to 180 are connected via a bus 140.
  • the HDD 170 has the same functions as the acquisition unit 12, conversion unit 13, extraction unit 14, calculation unit 15, multiplication unit 16, calculation unit 17, and detection unit 18 described in the first embodiment. Is stored in advance.
  • the pulse wave detection program 170a may be integrated or separated as appropriate, similarly to each component of each functional unit shown in FIG. 1 or FIG. In other words, all data stored in the HDD 170 need not always be stored in the HDD 170, and only data necessary for processing may be stored in the HDD 170.
  • the CPU 150 reads the pulse wave detection program 170a from the HDD 170 and develops it in the RAM 180.
  • the pulse wave detection program 170a functions as a pulse wave detection process 180a.
  • the pulse wave detection process 180a expands various data read from the HDD 170 in an area allocated to itself on the RAM 180 as appropriate, and executes various processes based on the expanded various data.
  • the pulse wave detection process 180a includes processing executed by each functional unit shown in FIG. 1 or FIG. 7, for example, processing shown in FIG. 6 and FIG.
  • each processing unit virtually realized on the CPU 150 does not always require that all the processing units operate on the CPU 150, and only a processing unit necessary for processing needs to be virtually realized.
  • the pulse wave detection program 170a is not necessarily stored in the HDD 170 or the ROM 160 from the beginning.
  • each program is stored in a “portable physical medium” such as a flexible disk inserted into the computer 100, so-called FD, CD-ROM, DVD disk, magneto-optical disk, or IC card. Then, the computer 100 may acquire and execute each program from these portable physical media.
  • each program is stored in another computer or server device connected to the computer 100 via a public line, the Internet, a LAN, a WAN, etc., and the computer 100 acquires and executes each program from these. It may be.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

 サーバ装置(10)は、被験者が撮影された画像を取得し、画像に含まれる複数の波長成分の信号のうち、脈波が採り得る周波数帯との間で重複する区間が所定長以下である特定周波数帯の信号成分を代表する強度を波長成分ごとに抽出する。さらに、サーバ装置(10)は、波長成分ごとに抽出された強度を用いて、各波長成分の間で信号が演算される場合に信号へ乗算される重み係数であって乗算後に特定周波数帯の信号成分の演算値が最小化される重み係数を算出する。さらに、サーバ装置(10)は、各波長成分の信号のうち少なくとも一方の信号成分に重み係数を乗算し、重み係数の乗算後に各波長成分の間で信号を演算し、演算後の信号を用いて被験者の脈波を検出する。

Description

脈波検出方法、脈波検出装置及び脈波検出プログラム
 本発明は、脈波検出方法、脈波検出装置及び脈波検出プログラムに関する。
 被験者が撮影された画像から血液の体積の変動、いわゆる脈波を検出する技術が知られている。一般に、赤外光などの光源を用いて画像を撮影したり、被験者の生体に撮像装置を密着させて画像を撮影したりすることによって検出精度の向上が図られる。ところが、この場合には、光源等のハードウェアを設けたり、生体に計測器具を接触させたりといったデメリットもある。
 このことから、太陽光や室内光などの環境光の下で生体に計測器具を接触させずに脈波を検出することが望まれるが、赤外光等を用いずに脈波を測定する場合には、ノイズによる影響が大きく、脈波の検出精度の低下が懸念される。
 例えば、ノイズの低減を図る技術の一例としては、次のような信号処理装置が提案されている。かかる信号処理装置には、赤色波長光を発する発光ダイオードと赤外波長光を発する発光ダイオードとが設けられる。このような構成の下、信号処理装置は、2つの発光ダイオードの透過光から得られた各々の信号の間で相関が最小となる係数を求め、各信号のうち係数が乗算された一方の信号を用いて他方の信号からノイズ成分を除去する。このとき、信号処理装置は、n個の仮定値ごとに相関を網羅的に計算し、最も相関が低い仮定値を係数として用いる。
特開2003-135434号公報 特開2005-185834号公報 特開2005-218507号公報
 しかしながら、上記の従来技術では、ノイズを低減するためにn回にわたる計算を行って係数を導出するので、処理負荷が増大してしまう。また、処理負荷が増大するからと言って仮定値の個数であるnを減らした場合には、係数が適正値から乖離するので、脈波の検出精度が低下してしまう。
 開示の技術は、上記に鑑みてなされたものであって、ノイズの低減にあたって処理負荷の増大または精度低下を抑制できる脈波検出方法、脈波検出装置及び脈波検出プログラムを提供することを目的とする。
 本願の開示する脈波検出方法は、コンピュータが、撮像装置によって被験者が撮影された画像を取得し、前記画像に含まれる複数の波長成分の信号のうち、脈波が採り得る周波数帯との間で重複する区間が所定長以下である特定周波数帯の信号成分を代表する強度を波長成分ごとに抽出し、前記波長成分ごとに抽出された強度を用いて、各波長成分の間で信号が演算される場合に信号へ乗算される重み係数であって乗算後に前記特定周波数帯の信号成分の演算値が最小化される重み係数を算出し、各波長成分の信号のうち少なくとも一方の信号成分に前記重み係数を乗算し、前記重み係数の乗算後に各波長成分の間で信号を演算し、演算後の信号を用いて前記被験者の脈波を検出する処理を実行する。
 本願の開示する脈波検出方法によれば、ノイズの低減にあたって処理負荷の増大または精度低下を抑制できるという効果を奏する。
図1は、実施例1に係る脈波検出システムに含まれる各装置の機能的構成を示すブロック図である。 図2は、被験者の顔が映る画像の一例を示す図である。 図3は、R成分及びG成分で特定周波数帯の信号成分を代表する信号強度の一例を示す図である。 図4は、重み係数が乗算されたR成分及びG成分の各信号のスペクトルの一例を示す図である。 図5は、乗算後のスペクトルの一例を示す図である。 図6は、実施例1に係る検出処理の手順を示すフローチャートである。 図7は、実施例2に係るサーバ装置の機能的構成を示すブロック図である。 図8は、実施例2に係る検出処理の手順を示すフローチャートである。 図9は、実施例2に係る脈波検出結果とECGのリファレンスとの比較例を示す図である。 図10は、実施例1~実施例3に係る脈波検出プログラムを実行するコンピュータの一例について説明するための図である。
 以下に、本願の開示する脈波検出方法、脈波検出装置及び脈波検出プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
 図1は、実施例1に係る脈波検出システムに含まれる各装置の機能的構成を示すブロック図である。図1に示すサーバ装置10は、太陽光や室内光などの環境光の下で生体に計測器具を接触させずに、被験者が撮影された画像を用いて被験者の脈波を検出する脈波検出サービスを提供するものである。ここで言う「脈波」とは、血液の体積の変動、すなわち血流の増減を表す指標を指し、いわゆる心拍数や心拍波形などが含まれる。
 かかるサーバ装置10の一態様としては、パッケージソフトウェアやオンラインソフトウェアとして電子カルテサービスを提供する電子カルテプログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、サーバ装置10は、上記の脈波検出サービスを提供するWebサーバとして実装することとしてもよいし、アウトソーシングによって上記の脈波検出サービスを提供するクラウドとして実装することとしてもかまわない。
 図1に示すように、サーバ装置10及びクライアント端末30は、所望のネットワークを介して、相互に通信可能に接続される。かかるネットワークには、有線または無線を問わず、インターネット(Internet)、LAN(Local Area Network)やVPN(Virtual Private Network)などの任意の種類の通信網を採用できる。なお、図1の例では、サーバ装置10に接続されるクライアント端末30が1つである場合を図示したが、サーバ装置10には複数のクライアント端末をサーバ装置10に接続することもできる。
[クライアント端末30の構成]
 クライアント端末30は、サーバ装置10によって提供される脈波検出サービスの提供を受ける端末装置である。かかるクライアント端末30の一態様としては、パーソナルコンピュータを始めとする固定端末の他、携帯電話機、PHS(Personal Handyphone System)やPDA(Personal Digital Assistants)などの移動体端末も採用できる。
 クライアント端末30は、図1に示すように、通信I/F(interface)部31と、カメラ32と、表示部33とを有する。なお、クライアント端末30は、図1に示した機能部以外にも既知のコンピュータが有する各種の機能部、例えばアンテナ、キャリア網を介して通信を行うキャリア通信部、GPS(Global Positioning System)受信機などを有することとしてもかまわない。
 このうち、通信I/F部31は、他の装置、例えばサーバ装置10との間で通信制御を行うインタフェースである。かかる通信I/F部31の一態様としては、LANカードなどのネットワークインタフェースカードを採用できる。例えば、通信I/F部31は、カメラ32によって被験者の顔が撮影された画像をサーバ装置10へ送信したり、サーバ装置10から脈波の検出結果を受信したりする。
 カメラ32は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を用いた撮像装置である。例えば、カメラ32には、R(red)、G(green)、B(blue)など3種以上の受光素子を搭載することができる。かかるカメラ32の実装例としては、デジタルカメラやWebカメラを外部端子を介して接続することとしてもよいし、携帯端末のようにカメラが出荷時から搭載されている場合にはそのカメラを流用できる。なお、ここでは、クライアント端末30がカメラ32を有する場合を例示したが、ネットワーク経由または記憶デバイス経由で画像を取得できる場合には、必ずしもクライアント端末30がカメラ32を有する必要はない。
 表示部33は、各種の情報、例えばサーバ装置10から送信された脈波の検出結果などを表示する表示デバイスである。かかる表示部33の一態様としては、モニタやディスプレイを採用したり、入力部と一体化することによってタッチパネルとして実装したりすることもできる。クライアント端末30を通じて情報を表示する必要がなければ表示部33が無くても構わない。また、別のクライアント端末30などの表示部に表示することもできる。
 クライアント端末30には、サーバ装置10と協働してサーバ装置10からの脈波検出サービスの提供を受けるアプリケーションプログラムがプリインストールまたはインストールされる。なお、以下では、上記のクライアント用のアプリケーションプログラムのことを「クライアント用アプリ」と記載する場合がある。
 かかるクライアント用アプリは、図示しない入力デバイスを介して起動されると、カメラ32を起動する。これを受けて、カメラ32は、カメラ32の撮影範囲に収容された被写体の撮影を開始する。このとき、クライアント用アプリは、カメラ32が撮影する画像を表示部33に表示しつつ、被験者の鼻を映す目標位置を照準として表示させることもできる。これによって、被験者の眼、耳、鼻や口などの顔パーツの中でも被験者の鼻が撮影範囲の中心部分に収まった画像が撮影できるようにする。そして、クライアント用アプリは、カメラ32によって被験者の顔が撮影された画像を通信I/F部31を介してサーバ装置10へ送信する。その後、クライアント用アプリは、サーバ装置10から脈波の検出結果、例えば被験者の心拍数や心拍波形を受信すると、被験者の心拍数および心拍波形を表示部33へ表示させる。
[サーバ装置10の構成]
 一方、サーバ装置10は、図1に示すように、通信I/F部11と、取得部12と、変換部13と、抽出部14と、算出部15と、乗算部16と、演算部17と、検出部18とを有する。なお、サーバ装置10は、図1に示した機能部以外にも既知のサーバ装置が有する各種の機能部、例えば各種の入出力デバイスなどを有することとしてもかまわない。
 このうち、通信I/F部11は、他の装置、例えばクライアント端末30との間で通信制御を行うインタフェースである。かかる通信I/F部11の一態様としては、LANカードなどのネットワークインタフェースカードを採用できる。例えば、通信I/F部11は、クライアント端末30から被験者の顔が撮影された画像を受信したり、脈波の検出結果をクライアント端末30へ送信したりする。
 取得部12は、被験者が撮影された画像を取得する処理部である。一態様としては、取得部12は、クライアント端末30のカメラ32によって撮影された画像を取得する。他の一態様としては、取得部12は、被験者が撮影された画像を蓄積するハードディスクや光ディスクなどの補助記憶装置またはメモリカードやUSB(Universal Serial Bus)メモリなどのリムーバブルメディアから画像を取得することもできる。このように、取得部12によって取得された画像は抽出部14へ出力される。なお、取得部12は、被験者が映る静止画を断続または連続して取得することもできるし、所定の圧縮符号化方式によってエンコードされた動画符号化データのストリームを取得することもできる。また、取得部12では、CCDやCMOSなどの撮像素子による出力から得られる2次元のビットマップデータやベクタデータなどの画像データを用いて処理を実行する場合を例示したが、1つのディテクタから出力される信号をそのまま取得して後段の処理を実行させることとしてもよい。
 さらに、取得部12は、被験者の顔が撮影された画像から所定の顔パーツを基準とする部分画像を抽出する。一態様としては、取得部12は、被験者の顔が映った画像にテンプレートマッチング等の画像処理を実行することによって被験者の眼、耳、鼻や口などの顔パーツのうち特定の顔パーツ、すなわち被験者の鼻を検出する。その上で、取得部12は、被験者の鼻を中心とし、中心から所定の範囲に含まれる部分画像を抽出する。これによって、被験者の鼻、鼻の周辺に位置する頬の一部の顔中心部分を含んだ部分画像が脈波の検出に使用する画像として抽出される。その後、取得部12は、原画像から抽出した部分画像を変換部13へ出力する。
 図2は、被験者の顔が映る画像の一例を示す図である。図2には、画像に映る被験者の眼、鼻及び口の一部または全部を含む領域が9つに分割されたブロックが図示されている。図2に示すブロックのうち上段の左及び右のブロックには、被験者の眼が映っている。これらのブロックの画像を検出に用いた場合には、眼の瞬きがノイズとなって心拍数の検出精度の低下を招く場合がある。また、図2に示すブロックのうち下段の3つのブロックには、被験者の口が映っている。これらのブロックの画像を検出に用いた場合には、口の動きがノイズとなって心拍数の検出精度の低下を招く場合がある。一方、図2に示す中段の真ん中のブロック、すなわち斜線の塗りつぶしが図示されたブロックは、眼や口が映るブロックから隔てられており、他のブロックに比べてノイズとなる成分が映っている可能性が低いので、良好な検出結果を期待できる。これらのことから、取得部12は、原画像から図2に示す中段の真ん中のブロックの画像を部分画像として抽出する。
 変換部13は、部分画像に含まれる少なくとも2つの波長成分ごとに周波数成分へ変換する処理部である。ここで、本実施例では、R成分、G成分およびB成分のうちR成分とG成分の2つの波長成分の信号を用いて脈波の検出が行われる場合を例示する。すなわち、本実施例では、光波長が525nm帯であるG信号は吸光感度が他の成分よりも高く、かかるG成分を基準とし、他の光波長の信号、例えばR信号やB信号の他、バンドストップフィルタを通過した信号とを併用してノイズ成分をキャンセルする。
 一態様としては、変換部13は、取得部12から部分画像が入力される度に、当該部分画像に含まれるR成分及びG成分ごとに部分画像に含まれる各画素の画素値の平均値を算出する。そして、変換部13は、部分画像の各成分の平均値が所定の時間、例えば1秒間や1分間などにわたって時系列にサンプリングされると、サンプリングされたR成分及びG成分の信号に離散フーリエ変換、いわゆるDFT(Discrete Fourier Transform)を実行する。かかるDFTが実行されることによって、R信号及びG信号が周波数のスペクトルへ変換される。このように、DFTの適用によってR信号及びG信号ごとに得られた周波数のスペクトルは抽出部14へ出力される。なお、ここでは、離散フーリエ変換を適用する場合を例示したが、信号を周波数成分に展開できるものであれば他の手法を適用することもできる。例えば、開示の装置は、離散フーリエ変換の他にも、フーリエ変換、高速フーリエ変換(FFT:Fast Fourier Transform)や離散コサイン変換(DCT:Discrete Cosine Transform)などを適用することができる。
 抽出部14は、各波長成分の周波数のスペクトルから、脈波が採り得る周波数帯との間で重複する区間が所定長以下である特定周波数帯の信号成分を代表する信号強度を波長成分ごとに抽出する処理部である。
 ここで、「特定周波数帯」とは、ノイズ成分が他の周波数帯よりも顕著に現れる周波数帯を指し、例えば、脈波が採り得る周波数帯との間で比較することによって定義することができる。脈波が採り得る周波数帯の一例としては、0.7Hz以上4Hz未満である周波数帯、1分あたりに換算すれば42bpm以上240bpm以下である周波数帯が挙げられる。このことから、特定周波数帯の一例としては、脈波として計測され得ない0.7Hz未満及び4Hz以上の周波数帯を採用することができる。また、特定周波数帯は、脈波が採り得る周波数帯との間でその一部が重複することとしてもよい。例えば、脈波として計測されることが想定しづらい0.7Hz~1Hzの区間で脈波が採り得る周波数帯と重複することを許容し、1Hz未満及び4Hz以上の周波数帯を特定周波数帯として採用することもできる。
 かかる特定周波数帯は、1Hz未満及び4Hz以上の周波数帯を外縁とし、ノイズがより顕著に現れる周波数帯に絞ることもできる。例えば、ノイズは、脈波が採り得る周波数帯よりも高い高周波数帯よりも、脈波が採り得る周波数帯よりも低い低周波数帯でより顕著に現れる。このため、1Hz未満の周波数帯に特定周波数帯を絞ることもできる。また、空間周波数がゼロである直流成分の近傍には、各成分の撮像素子の感度の差が多く含まれるので、3bpm以上1Hz未満の周波数帯に特定周波数帯を絞ることもできる。さらに、人の体の動き、例えば瞬きや体の揺れの他、環境光のチラツキなどのノイズが現れやすい3bpm以上20bpm未満の周波数帯に特定周波数帯を絞ることもできる。
 一態様としては、抽出部14は、R成分及びG成分ごとに特定周波数帯における信号成分を代表する信号強度を抽出する。一例としては、抽出部14は、3bpm以上20bpm未満の周波数帯のうち予め設定された周波数に対応する信号強度を抽出することができる。他の一例としては、抽出部14は、3bpm以上20bpm未満の周波数帯における信号強度に相加平均、加重平均や移動平均などの平均処理を実行することによって信号強度の平均値を抽出したり、信号強度を積分することによって信号強度の積分値を抽出したりできる。なお、以下では、R成分で特定周波数帯の信号成分を代表する信号強度のことを「Rnoise」と記載するとともに、G成分で特定周波数帯の信号成分を代表する信号強度のことを「Gnoise」と記載する場合がある。
 図3は、R成分及びG成分で特定周波数帯の信号成分を代表する信号強度の一例を示す図である。図3に示すグラフの縦軸は、信号強度を指し、また、横軸は、周波数(bpm)を指す。図3に示すように、R成分およびG成分は、撮像素子の感度が異なるので、両者の信号強度はそれぞれ異なる。その一方、R成分およびG成分は、いずれにおいても3bpm以上20bpm未満の特定周波数帯でノイズが現れることには変わりはない。このため、図3の例では、3bpm以上20bpm未満の特定周波数帯に含まれる指定の周波数Fに対応する信号強度がRnoise及びGnoiseとして抽出される。
 算出部15は、抽出部14によって波長成分ごとに抽出された信号強度を用いて、各波長成分の間で信号が演算される場合に一方の信号へ乗算される重み係数であって乗算後に特定周波数帯の信号成分の演算値が最小化される重み係数を算出する処理部である。
 一態様としては、算出部15は、R成分及びG成分の間で特定周波数帯における信号強度の演算値が最小となる重み係数を算出する。例えば、算出部15は、導出式「a*Rnoise+a*Gnoise=0」を満たす係数a及びaを算出する。これら係数a及びaは、脈波が強く現れる周波数周辺の信号強度の差をノイズに対応する特定周波数帯の成分ほどは減衰させずに、各々の成分の間で異なる信号強度のうちノイズに対応する特定周波数帯の信号強度を揃えてキャンセルさせるためのものである。これら係数a及び係数aのうちいずれかの値は、負の値を採ることになる。その後、算出部15は、R信号のスペクトルの重み係数a/a及びG信号のスペクトルの重み係数a/aを算出する。
 乗算部16は、各波長成分の信号のうち少なくとも一方の信号成分に重み係数を乗算する処理部である。一態様としては、乗算部16は、R成分及びG成分の各信号のスペクトルに重み係数を乗算する。上記の例で言えば、R信号のスペクトルRallに重み係数a/aを乗算するとともに、G信号のスペクトルGallに重み係数a/aを乗算する。図4は、重み係数が乗算されたR成分及びG成分の各信号のスペクトルの一例を示す図である。図4の例では、説明の便宜上、重み係数の絶対値を乗算した結果が図示されている。図4に示すグラフの縦軸は、信号強度を指し、また、横軸は、周波数(bpm)を指す。図4に示すように、R成分及びG成分の各信号のスペクトルに重み係数が乗算された場合には、R成分及びG成分の各成分の間で感度が揃う。特に、特定周波数帯におけるスペクトルの信号強度は、大部分においてスペクトルの信号強度が略同一になっている。その一方で、実際に脈波が含まれる周波数の周辺領域40は、R成分及びG成分の各成分の間でスペクトルの信号強度が揃っていない。
 演算部17は、重み係数の乗算後に各波長成分の間で信号を演算する処理部である。一態様としては、演算部17は、R信号のスペクトルRall及び重み係数a/aの乗算結果と、G信号のスペクトルGall及び重み係数a/aの乗算結果とを演算する。この場合には、重み係数a/aが負となるので、重み係数の乗算後のG信号のスペクトルから重み係数の乗算後のR信号のスペクトルが差し引かれることになる。図5は、演算後のスペクトルの一例を示す図である。図5では、脈波が現れている周波数帯の視認性を上げる観点から縦軸である信号強度の尺度を大きくして図示している。図5に示すように、重み係数の乗算後のG信号のスペクトルから重み係数の乗算後のR信号のスペクトルが差し引かれた場合には、脈波が現れる信号成分の強度が可及的に維持された状態でノイズ成分が低減されていることがわかる。このため、両者の差のスペクトルからは、70bpmあたりに存在するピークがノイズ成分のピークに紛れずに検出することが可能になる。
 検出部18は、演算後のスペクトルを用いて、被験者の脈波を検出する処理部である。一態様としては、検出部18は、人の心拍数が採り得る値として想定される周波数の区間、例えば下限値42bpm~上限値240bpmの区間に対応する周波数の区間で演算後のスペクトルの最大のピークから被験者の心拍数を検出する。例えば、図5の例で言えば、演算後のスペクトルにおいて最大のピークが70bpmで計測されるので、検出部18は、被験者の心拍数を「70bpm」と検出する。他の一態様としては、検出部18は、演算後のスペクトルに逆フーリエ変換を適用することによってスペクトルが持つ周波数成分を時系列空間の信号へ変換する。かかる逆フーリエ変換によって、心拍波形が得られる。
 このようにして検出された検出結果、例えば心拍数や心拍波形は、例えば、クライアント端末30へ出力することができる。このとき、検出部18は、心疾患の有無を診断する診断プログラム、例えばサーバ装置10に実装されているWebアプリケーションへ被験者の心拍数を出力する。そして、検出部18は、診断プログラムによって被験者の心疾患を診断させた診断結果を心拍数とともにクライアント端末30へ出力することもできる。例えば、診断プログラムでは、高血圧の人物が頻脈、例えば100bpm以上である場合に狭心症や心筋梗塞の疑いがあると診断したり、心拍数を用いて不整脈や精神疾患、例えば緊張やストレスを診断したりする。かかる診断結果を併せて出力することによって、院外、例えば在宅や在席のモニタリングサービスも可能になる。
 なお、取得部12、変換部13、抽出部14、算出部15、乗算部16、演算部17及び検出部18には、各種の集積回路や電子回路を採用できる。例えば、集積回路としては、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)が挙げられる。また、電子回路としては、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などが挙げられる。
[処理の流れ]
 続いて、本実施例に係るサーバ装置10の処理の流れについて説明する。図6は、実施例1に係る検出処理の手順を示すフローチャートである。この検出処理は、サーバ装置10の電源がONである状態で、画像が取得される度に繰り返し実行される処理である。
 図6に示すように、被験者が映った画像が取得されると(ステップS101)、取得部12は、ステップS101で取得された画像から所定の顔パーツ、例えば被験者の鼻を基準とする部分画像を抽出する(ステップS102)。
 続いて、変換部13は、R成分及びG成分の各信号に離散フーリエ変換を適用することによって周波数成分へ変換する(ステップS103)。これによって、R信号及びG信号が周波数のスペクトルへ変換される。
 そして、抽出部14は、各波長成分の周波数のスペクトルから、特定周波数帯の信号成分を代表する信号強度Rnoise及びGnoiseを抽出する(ステップS104)。その上で、算出部15は、R成分及びG成分の間で特定周波数帯における信号強度Rnoise及びGnoiseの演算値が最小となる重み係数a/a及びa/aを算出する(ステップS105)。
 その後、乗算部16は、R信号のスペクトルRallに重み係数a/aを乗算するとともに、G信号のスペクトルGallに重み係数a/aを乗算する(ステップS106)。続いて、演算部17は、R信号のスペクトルRall及び重み係数a/aの乗算結果と、G信号のスペクトルGall及び重み係数a/aの乗算結果とを演算する(ステップS107)。
 そして、検出部18は、演算後のスペクトルを用いて、被験者の心拍数や心拍波形など脈波を検出した上で(ステップS108)、脈波の検出結果をクライアント端末30へ出力し(ステップS109)、処理を終了する。
[実施例1の効果]
 上述してきたように、本実施例に係るサーバ装置10は、複数の波長成分の信号間で脈波を実質的に含まない周波数成分のノイズ強度を算出し、各波長成分の信号にノイズ強度の演算値が最小となる重み係数を乗算した上で演算した信号から脈波を検出する。このため、本実施例に係るサーバ装置10では、重み係数の計算量を低減できる。したがって、本実施例に係るサーバ装置10によれば、ノイズの低減にあたって処理負荷の増大または精度低下を抑制できる。
 さて、上記の実施例1では、周波数空間にてノイズ成分をキャンセルして脈波を検出する例を説明したが、開示の装置は、必ずしも各波長成分の信号を周波数成分へ変換せずともノイズ成分をキャンセルして脈波を検出することができる。そこで、本実施例では、時系列空間にてノイズ成分をキャンセルして脈波を検出する場合について説明する。
 図7は、実施例2に係るサーバ装置50の機能的構成を示すブロック図である。図7に示すように、サーバ装置50は、取得部51と、BPF(Band-Pass Filter)52A及び52Bと、抽出部53A及び53Bと、LPF(Low-Pass Filter)54A及び54Bと、算出部55と、BPF56A及び56Bと、乗算部57と、演算部58と、検出部59とを有する。なお、図7の例では、通信I/F部の図示は省略している。
 このうち、取得部51は、部分画像を抽出する度に、当該部分画像に含まれるR成分及びG成分ごとに部分画像に含まれる各画素の画素値の平均値を算出する。そして、取得部51は、部分画像に含まれるR信号及びG信号の平均値を所定の時間、例えば1秒間や1分間などにわたって時系列にサンプリングし、サンプリングされたR信号及びG信号の時系列データを後段の機能部へ出力する。例えば、取得部51は、R信号の時系列データをBPF52A及びBPF56Aへ出力するとともに、G信号の時系列データをBPF52B及びBPF56Bへ出力する。
 BPF52A、BPF52B、BPF56A及びBPF56Bは、いずれも所定の周波数帯の信号成分だけを通過させてそれ以外の周波数帯の信号成分を除去するバンドパスフィルタである。これらBPF52A、BPF52B、BPF56A及びBPF56Bは、ハードウェアによって実装されることとしてもよいし、ソフトウェアによって実装されることとしてもよい。
 これらBPFが通過させる周波数帯の違いについて説明する。BPF52A及びBPF52Bは、特定周波数帯、例えば3bpm以上20bpm未満の周波数帯の信号成分を通過させる。ここでは、特定周波数帯の信号成分を抽出するために、バンドパスフィルタを用いる場合を例示したが、20bpm未満の周波数帯の信号成分を抽出する場合などには、ローパスフィルタを用いることもできる。一方、BPF56A及びBPF56Bは、脈波が採り得る周波数帯、例えば42bpm以上240bpm未満の周波数帯の信号成分を通過させる。なお、以下では、脈波が採り得る周波数帯のことを「脈波周波数帯」と記載する場合がある。
 抽出部53Aは、R信号の特定周波数帯の信号成分の絶対強度値を抽出する。例えば、抽出部53Aは、R成分の特定周波数帯の信号成分をべき乗する乗算処理を実行することによって特定周波数帯の信号成分の絶対強度値を抽出する。また、抽出部53Bは、G信号の特定周波数帯の信号成分の絶対強度値を抽出する。例えば、抽出部53Bは、G成分の特定周波数帯の信号成分をべき乗する乗算処理を実行することによって特定周波数帯の信号成分の絶対強度値を抽出する。
 LPF54A及びLPF54Bは、特定周波数帯の絶対強度値の時系列データに対し、時間変化に応答させる平滑化処理を実行するローパスフィルタである。これらLPF54A及びLPF54Bは、LPF54Aへ入力される信号がR信号であり、LPF54Bへ入力される信号がG信号である以外に違いはない。かかる平滑化処理によって、特定周波数帯の絶対値強度R´noise及びG´noiseが得られる。
 算出部55は、LPF54Bによって出力されたG信号の特定周波数帯の絶対値強度G´noiseを、LPF54Aによって出力されたR信号の特定周波数帯の絶対値強度R´noiseで除する除算「G´noise/R´noise」を実行することによって重み係数aを算出する。
 乗算部57は、BPF56Aによって出力されたR信号の脈波周波数帯の信号成分に算出部55によって算出された重み係数aを乗算する。
 演算部58は、乗算部57によって重み係数aが乗算されたR信号の脈波周波数帯の信号成分から、BPF56Bによって出力されたG信号の脈波周波数帯の信号成分を差し引く演算「a*Rsignal-Gsignal」を実行する。かかる演算によって得られた信号の時系列データは、心拍波形に相当する。
 検出部59は、演算後の信号を用いて、被験者の脈波を検出する。一態様としては、検出部59は、信号の時系列データを脈波の検出結果として出力する。他の一態様としては、検出部59は、信号の時系列データにフーリエ変換を適用することによって周波数成分へ変換されたスペクトルから心拍数を検出することもできる。
 図8は、実施例2に係る検出処理の手順を示すフローチャートである。図8に示すように、被験者が映った画像が取得されると(ステップS301)、取得部51は、ステップS301で取得された画像から所定の顔パーツ、例えば被験者の鼻を基準とする部分画像を抽出する(ステップS302)。
 その上で、取得部51は、R信号の時系列データをBPF52A及びBPF56Aへ出力するとともに、G信号の時系列データをBPF52B及びBPF56Bへ出力する(ステップS303)。
 続いて、BPF52Aは、R信号の特定周波数帯、例えば3bpm以上20bpm未満の周波数帯の信号成分を抽出するとともに、BPF52Bは、G信号の特定周波数帯の信号成分を抽出する(ステップS304A)。
 そして、抽出部53Aは、R信号の特定周波数帯の信号成分の絶対強度値を抽出するとともに、抽出部53Bは、G信号の特定周波数帯の信号成分の絶対強度値を抽出する(ステップS305)。
 その後、LPF54Aは、R信号の特定周波数帯の絶対強度値の時系列データに対し、時間変化に応答させる平滑化処理を実行するとともに、LPF54Bは、G信号の特定周波数帯の絶対強度値の時系列データに対し、時間変化に応答させる平滑化処理を実行する(ステップS306)。
 続いて、算出部55は、LPF54Bによって出力されたG信号の特定周波数帯の絶対値強度G´noiseを、LPF54Aによって出力されたR信号の特定周波数帯の絶対値強度R´noiseで除する除算「G´noise/R´noise」を実行することによって重み係数aを算出する(ステップS307)。
 上記のステップS304Aの処理に並行して、BPF56Aは、R信号の脈波周波数帯、例えば42bpm以上240bpm未満の周波数帯の信号成分を抽出するとともに、BPF56Bは、G信号の脈波周波数帯の信号成分を抽出する(ステップS304B)。
 その後、乗算部57は、ステップS304Bで抽出されたR信号の脈波周波数帯の信号成分にステップS307で算出された重み係数aを乗算する(ステップS308)。その上で、演算部58は、ステップS308で重み係数aが乗算されたR信号の脈波周波数帯の信号成分から、ステップS304Bで抽出されたG信号の脈波周波数帯の信号成分を差し引く演算「a*Rsignal-Gsignal」を実行する(ステップS309)。
 そして、検出部59は、演算後の信号の時系列データを用いて、被験者の心拍数や心拍波形など脈波を検出した上で(ステップS310)、脈波の検出結果をクライアント端末30へ出力し(ステップS311)、処理を終了する。
[実施例2の効果]
 上述してきたように、本実施例に係るサーバ装置50では、時系列空間にてノイズ成分をキャンセルして脈波を検出する。この場合にも、上記の実施例1と同様に、重み係数の計算量を低減できるので、ノイズの低減にあたって処理負荷の増大または精度低下を抑制できる。さらに、本実施例に係るサーバ装置50は、上記の実施例1と比べて、フーリエ変換を行わずとも脈波の一態様である心拍波形を得ることができるので、処理負荷の増大または精度低下をより効果的に抑制できる。
 図9は、実施例2に係る脈波検出結果とリファレンスとの比較例を示す図である。図9のリファレンスには、心電図法で計測されたECG(Electrocardiogram)が図示されている。図9に示すグラフの縦軸は、信号の振幅を指し、横軸は、時間(sec)を指す。図9に示すように、演算部58による演算後の信号の時系列データは、リファレンスの心電波形との間で各ピークの位置が略同一の位置にあり、おおよそ相似の関係にあると言える。このように、時系列空間にてノイズ成分をキャンセルして脈波を検出した場合には、リファレンスの心電波形と比べても遜色のない脈波の検出精度を発揮できることがわかる。
 さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
[入力信号]
 上記の実施例1及び実施例2では、入力信号としてR信号およびG信号の二種類を用いる場合を例示したが、異なる複数の光波長成分を持つ信号であれば任意の種類の信号および任意の数の信号を入力信号とすることができる。例えば、R、G、B、IRおよびNIRなどの光波長成分が異なる信号のうち任意の組合せの信号を2つ用いることもできるし、また、3つ以上用いることもできる。
[分散および統合]
 また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、サーバ装置10が有する取得部12、変換部13、抽出部14、算出部15、乗算部16、演算部17及び検出部18などの機能部に対応する処理を実行する脈波検出プログラムをクライアント端末30で実行させることによってクライアント端末30をスタンドアローンで動作させることも可能である。また、取得部12、変換部13、抽出部14、算出部15、乗算部16、演算部17及び検出部18のうち一部の機能部をサーバ装置10の外部装置としてネットワーク経由で接続するようにしてもよい。例えば、DFTなどの演算は処理負荷が高いので、クライアントサーバ間でスペックが高いサーバ装置10によって処理させる観点から、変換部13をクライアント端末30に実装させ、それ以外の機能部をサーバ装置10に実装させることもできる。また、取得部12、変換部13、抽出部14、算出部15、乗算部16、演算部17及び検出部18のうち一部の機能部を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のサーバ装置10の機能を実現するようにしてもよい。
[脈波検出プログラム]
 また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図10を用いて、上記の実施例と同様の機能を有する脈波検出プログラムを実行するコンピュータの一例について説明する。
 図10は、実施例1~実施例3に係る脈波検出プログラムを実行するコンピュータの一例について説明するための図である。図10に示すように、コンピュータ100は、操作部110aと、スピーカ110bと、カメラ110cと、ディスプレイ120と、通信部130とを有する。さらに、このコンピュータ100は、CPU150と、ROM160と、HDD170と、RAM180とを有する。これら110~180の各部はバス140を介して接続される。
 HDD170には、図10に示すように、上記の実施例1で示した取得部12、変換部13、抽出部14、算出部15、乗算部16、演算部17及び検出部18と同様の機能を発揮する脈波検出プログラム170aが予め記憶される。この脈波検出プログラム170aについては、図1または図7に示した各々の機能部の各構成要素と同様、適宜統合又は分離しても良い。すなわち、HDD170に格納される各データは、常に全てのデータがHDD170に格納される必要はなく、処理に必要なデータのみがHDD170に格納されればよい。
 そして、CPU150が、脈波検出プログラム170aをHDD170から読み出してRAM180に展開する。これによって、図10に示すように、脈波検出プログラム170aは、脈波検出プロセス180aとして機能する。この脈波検出プロセス180aは、HDD170から読み出した各種データを適宜RAM180上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、脈波検出プロセス180aは、図1または図7に示した各機能部にて実行される処理、例えば図6や図8に示す処理を含む。また、CPU150上で仮想的に実現される各処理部は、常に全ての処理部がCPU150上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されればよい。
 なお、上記の脈波検出プログラム170aについては、必ずしも最初からHDD170やROM160に記憶させておく必要はない。例えば、コンピュータ100に挿入されるフレキシブルディスク、いわゆるFD、CD-ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ100がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、LAN、WANなどを介してコンピュータ100に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ100がこれらから各プログラムを取得して実行するようにしてもよい。
  10  サーバ装置
  11  通信I/F部
  12  取得部
  13  変換部
  14  抽出部
  15  算出部
  16  乗算部
  17  演算部
  18  検出部
  30  クライアント端末

Claims (10)

  1.  コンピュータが、
     撮像装置によって被験者が撮影された画像を取得し、
     前記画像に含まれる複数の波長成分の信号のうち、脈波が採り得る周波数帯との間で重複する区間が所定長以下である特定周波数帯の信号成分を代表する強度を波長成分ごとに抽出し、
     前記波長成分ごとに抽出された強度を用いて、各波長成分の間で信号が演算される場合に信号へ乗算される重み係数であって乗算後に前記特定周波数帯の信号成分の演算値が最小化される重み係数を算出し、
     各波長成分の信号のうち少なくとも一方の信号成分に前記重み係数を乗算し、
     前記重み係数の乗算後に各波長成分の間で信号を演算し、
     演算後の信号を用いて前記被験者の脈波を検出する
     処理を実行することを特徴とする脈波検出方法。
  2.  前記コンピュータが、
     各波長成分の信号を周波数成分へ変換する処理をさらに実行し、
     前記重み係数を乗算する処理として、
     前記波長成分ごとに周波数成分へ変換されたスペクトルのうち一方のスペクトルに前記重み係数を乗算し、
     前記信号を演算する処理として、
     前記重み係数の乗算後に各波長成分の間でスペクトルを演算し、
     前記脈波を検出する処理として、
     演算後のスペクトルを用いて前記被験者の脈波を検出することを特徴とする請求項1に記載の脈波検出方法。
  3.  前記特定周波数帯の信号成分を代表する強度を抽出する処理として、
     前記波長成分ごとに周波数成分へ変換されたスペクトルから前記特定周波数帯の平均パワー強度を抽出し、
     前記重み係数を算出する処理として、
     各波長成分の間で平均パワー強度の比を計算することによって前記重み係数を算出することを特徴とする請求項2に記載の脈波検出方法。
  4.  前記コンピュータが、
     ローパスフィルタまたはバンドパスフィルタを用いて、各波長成分の信号から前記特定周波数帯の信号成分を抽出し、
     バンドパスフィルタを用いて、各波長成分の信号から前記脈波が採り得る周波数帯の信号成分を抽出する処理をさらに実行し、
     前記重み係数を算出する処理として、
     前記波長成分ごとに抽出された特定周波数帯の信号成分の強度を用いて前記重み係数を算出し、
     前記重み係数を乗算する処理として、
     前記脈波が採り得る周波数帯の信号成分に前記重み係数を乗算し、
     前記信号を演算する処理として、
     前記重み係数の乗算後に各波長成分の間で前記脈波が採り得る周波数帯の信号成分を演算し、
     前記脈波を検出する処理として、
     演算後の信号波形を用いて前記被験者の脈波を検出することを特徴とする請求項1に記載の脈波検出方法。
  5.  前記特定周波数帯の信号成分を代表する強度を抽出する処理として、
     前記波長成分ごとに抽出された特定周波数帯の絶対強度値を抽出し、
     前記重み係数を算出する処理として、
     各波長成分の間で絶対強度値の比を計算することによって前記重み係数として算出することを特徴とする請求項4に記載の脈波検出方法。
  6.  前記複数の波長成分の信号として、ヘモグロビンに対し異なる吸光感度を持つ、2つ以上の波長の信号を用いることを特徴とする請求項1に記載の脈波検出方法。
  7.  前記複数の波長成分の信号のうち、少なくとも1つの信号が光波長525nmを基準とする帯域を持つ信号であり、他の信号が前記帯域以外の光波長の帯域を持つ信号であることを特徴とする請求項6に記載の脈波検出方法。
  8.  前記特定周波数帯の信号成分として、1Hz未満の信号成分を用いることを特徴とする請求項1に記載の脈波検出方法。
  9.  撮像装置によって被験者が撮影された画像を取得する取得部と、
     前記画像に含まれる複数の波長成分の信号のうち、脈波が採り得る周波数帯との間で重複する区間が所定長以下である特定周波数帯の信号成分を代表する強度を波長成分ごとに抽出する抽出部と、
     前記波長成分ごとに抽出された強度を用いて、各波長成分の間で信号が演算される場合に信号へ乗算される重み係数であって乗算後に前記特定周波数帯の信号成分の演算値が最小化される重み係数を算出する算出部と、
     各波長成分の信号のうち少なくとも一方の信号成分に前記重み係数を乗算する乗算部と、
     前記重み係数の乗算後に各波長成分の間で信号を演算する演算部と、
     演算後の信号を用いて前記被験者の脈波を検出する検出部と
     処理を実行することを特徴とする脈波検出装置。
  10.  コンピュータに、
     撮像装置によって被験者が撮影された画像を取得し、
     前記画像に含まれる複数の波長成分の信号のうち、脈波が採り得る周波数帯との間で重複する区間が所定長以下である特定周波数帯の信号成分を代表する強度を波長成分ごとに抽出し、
     前記波長成分ごとに抽出された強度を用いて、各波長成分の間で信号が演算される場合に信号へ乗算される重み係数であって乗算後に前記特定周波数帯の信号成分の演算値が最小化される重み係数を算出し、
     各波長成分の信号のうち少なくとも一方の信号成分に前記重み係数を乗算し、
     前記重み係数の乗算後に各波長成分の間で信号を演算し、
     演算後の信号を用いて前記被験者の脈波を検出する
     処理を実行させることを特徴とする脈波検出プログラム。
PCT/JP2012/072990 2012-09-07 2012-09-07 脈波検出方法、脈波検出装置及び脈波検出プログラム WO2014038077A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201280075664.3A CN104602594B (zh) 2012-09-07 2012-09-07 脉搏检测方法和脉搏检测装置
EP12884118.6A EP2893872A4 (en) 2012-09-07 2012-09-07 PULSE WAVE DETECTION METHOD, PULSE WAVE DETECTION DEVICE, AND PULSE WAVE DETECTION PROGRAM
JP2014534134A JP5915757B2 (ja) 2012-09-07 2012-09-07 脈波検出方法、脈波検出装置及び脈波検出プログラム
PCT/JP2012/072990 WO2014038077A1 (ja) 2012-09-07 2012-09-07 脈波検出方法、脈波検出装置及び脈波検出プログラム
US14/638,570 US9986922B2 (en) 2012-09-07 2015-03-04 Pulse wave detection method, pulse wave detection apparatus, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/072990 WO2014038077A1 (ja) 2012-09-07 2012-09-07 脈波検出方法、脈波検出装置及び脈波検出プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/638,570 Continuation US9986922B2 (en) 2012-09-07 2015-03-04 Pulse wave detection method, pulse wave detection apparatus, and recording medium

Publications (1)

Publication Number Publication Date
WO2014038077A1 true WO2014038077A1 (ja) 2014-03-13

Family

ID=50236724

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/072990 WO2014038077A1 (ja) 2012-09-07 2012-09-07 脈波検出方法、脈波検出装置及び脈波検出プログラム

Country Status (5)

Country Link
US (1) US9986922B2 (ja)
EP (1) EP2893872A4 (ja)
JP (1) JP5915757B2 (ja)
CN (1) CN104602594B (ja)
WO (1) WO2014038077A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2945368A1 (en) * 2014-05-16 2015-11-18 MediaTek, Inc Apparatus and method for obtaining vital sign of subject
WO2016006027A1 (ja) * 2014-07-07 2016-01-14 富士通株式会社 脈波検出方法、脈波検出プログラム及び脈波検出装置
JP2016083342A (ja) * 2014-10-27 2016-05-19 タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited 生理学的パラメータの推定
JP2016140373A (ja) * 2015-01-29 2016-08-08 シャープ株式会社 脈波計測装置、および脈波計測方法
WO2017085894A1 (ja) 2015-11-20 2017-05-26 富士通株式会社 脈波分析装置、脈波分析方法、および脈波分析プログラム
WO2017104056A1 (ja) * 2015-12-17 2017-06-22 オリンパス株式会社 生体情報計測装置、生体情報計測方法および生体情報計測プログラム
EP3278721A4 (en) * 2015-03-31 2018-10-17 Equos Research Co., Ltd. Pulse wave detection device and pulse wave detection program
JP2019532747A (ja) * 2016-10-27 2019-11-14 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 被検体のバイタルサインを得るためのデバイス、システム及び方法
US10595732B2 (en) 2015-03-31 2020-03-24 Equos Research Co., Ltd. Pulse wave detection device and pulse wave detection program
JPWO2022097573A1 (ja) * 2020-11-04 2022-05-12

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6003752B2 (ja) * 2013-03-22 2016-10-05 富士通株式会社 防犯装置、防犯方法及び防犯プログラム
EP2979631B1 (en) * 2013-03-29 2023-05-10 Fujitsu Limited Blood flow index calculation method, blood flow index calculation program and blood flow index calculation device
JP2016195747A (ja) * 2015-04-06 2016-11-24 セイコーエプソン株式会社 生体情報処理装置、生体情報処理システム、生体情報処理方法及び生体情報処理プログラム
JP6653459B2 (ja) * 2015-10-29 2020-02-26 パナソニックIpマネジメント株式会社 画像処理装置及びこれを備えた脈拍推定システムならびに画像処理方法
JP6642055B2 (ja) * 2016-02-02 2020-02-05 富士通株式会社 センサ情報処理装置、センサユニット、及び、センサ情報処理プログラム
CN109480808A (zh) * 2018-09-27 2019-03-19 深圳市君利信达科技有限公司 一种基于ppg的心率检测方法、系统、设备和存储介质
CN110664388B (zh) * 2019-09-05 2022-03-25 广州市蜗牛互动科技有限公司 心率检测方法、装置、存储介质以及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003135434A (ja) 2001-10-30 2003-05-13 Nippon Koden Corp 信号処理方法および脈波信号処理方法
JP2005160640A (ja) * 2003-12-01 2005-06-23 Denso Corp 生体状態検出装置
JP2005185834A (ja) 1991-03-07 2005-07-14 Masimo Corp 信号処理装置
JP2005218507A (ja) 2004-02-03 2005-08-18 Tama Tlo Kk バイタルサイン計測方法と装置
JP2009297234A (ja) * 2008-06-12 2009-12-24 Fujitsu Ltd 脈拍計測装置、脈拍計測プログラムおよび脈拍計測方法
JP2010264095A (ja) * 2009-05-15 2010-11-25 Nissan Motor Co Ltd 心拍数測定装置および心拍数測定方法
JP2011050745A (ja) * 2009-09-03 2011-03-17 Swatch Group Research & Development Ltd 2つの波長の光波によって脈拍を測定するための方法及び装置
JP2011130996A (ja) * 2009-12-25 2011-07-07 Denso Corp 生体活動計測装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5200828A (en) * 1990-03-19 1993-04-06 Sam Jung Co., Ltd. Autofocusing device for use in a video camera and an autofocusing method thereof
GB9011887D0 (en) 1990-05-26 1990-07-18 Le Fit Ltd Pulse responsive device
US20030122954A1 (en) * 1998-01-01 2003-07-03 Kassatly L. Samuel Anthony Video camera and method and device for capturing video, audio and data signals
US6196972B1 (en) * 1998-11-11 2001-03-06 Spentech, Inc. Doppler ultrasound method and apparatus for monitoring blood flow
US6512944B1 (en) * 2000-07-20 2003-01-28 Cardiac Pacemakers, Inc. Low distortion ECG filter
KR100571811B1 (ko) * 2003-05-09 2006-04-17 삼성전자주식회사 귀속형 생체 신호 측정 장치
US7507207B2 (en) 2003-10-07 2009-03-24 Denso Corporation Portable biological information monitor apparatus and information management apparatus
JP2006311314A (ja) * 2005-04-28 2006-11-09 Matsushita Electric Ind Co Ltd 色分離処理方法および色分離処理回路
JPWO2007043328A1 (ja) 2005-10-12 2009-04-16 コニカミノルタホールディングス株式会社 データ検出装置及びデータ検出方法
US8703422B2 (en) * 2007-06-06 2014-04-22 Pacific Biosciences Of California, Inc. Methods and processes for calling bases in sequence by incorporation methods
US11607152B2 (en) * 2007-06-12 2023-03-21 Sotera Wireless, Inc. Optical sensors for use in vital sign monitoring
US20100016732A1 (en) * 2008-07-17 2010-01-21 Lockheed Martin Corporation Apparatus and method for neural-signal capture to drive neuroprostheses or control bodily function
US8542877B2 (en) * 2009-03-06 2013-09-24 Koninklijke Philips N.V. Processing images of at least one living being
US8140143B2 (en) * 2009-04-16 2012-03-20 Massachusetts Institute Of Technology Washable wearable biosensor
US9596999B2 (en) * 2009-06-17 2017-03-21 Sotera Wireless, Inc. Body-worn pulse oximeter
EP3142071A1 (en) * 2009-10-06 2017-03-15 Koninklijke Philips N.V. Method and system for obtaining a first signal for analysis to characterize at least one periodic component thereof
US20110251493A1 (en) * 2010-03-22 2011-10-13 Massachusetts Institute Of Technology Method and system for measurement of physiological parameters
US20150099987A1 (en) * 2010-06-07 2015-04-09 Affectiva, Inc. Heart rate variability evaluation for mental state analysis
US8795173B2 (en) * 2011-05-17 2014-08-05 Massachusetts Institute Of Technology Methods and apparatus for assessment of atypical brain activity

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005185834A (ja) 1991-03-07 2005-07-14 Masimo Corp 信号処理装置
JP2003135434A (ja) 2001-10-30 2003-05-13 Nippon Koden Corp 信号処理方法および脈波信号処理方法
JP2005160640A (ja) * 2003-12-01 2005-06-23 Denso Corp 生体状態検出装置
JP2005218507A (ja) 2004-02-03 2005-08-18 Tama Tlo Kk バイタルサイン計測方法と装置
JP2009297234A (ja) * 2008-06-12 2009-12-24 Fujitsu Ltd 脈拍計測装置、脈拍計測プログラムおよび脈拍計測方法
JP2010264095A (ja) * 2009-05-15 2010-11-25 Nissan Motor Co Ltd 心拍数測定装置および心拍数測定方法
JP2011050745A (ja) * 2009-09-03 2011-03-17 Swatch Group Research & Development Ltd 2つの波長の光波によって脈拍を測定するための方法及び装置
JP2011130996A (ja) * 2009-12-25 2011-07-07 Denso Corp 生体活動計測装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2893872A4

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105078407A (zh) * 2014-05-16 2015-11-25 联发科技股份有限公司 用以取得主体的生命体征的装置与方法
EP2945368A1 (en) * 2014-05-16 2015-11-18 MediaTek, Inc Apparatus and method for obtaining vital sign of subject
WO2016006027A1 (ja) * 2014-07-07 2016-01-14 富士通株式会社 脈波検出方法、脈波検出プログラム及び脈波検出装置
JPWO2016006027A1 (ja) * 2014-07-07 2017-04-27 富士通株式会社 脈波検出方法、脈波検出プログラム及び脈波検出装置
JP2016083342A (ja) * 2014-10-27 2016-05-19 タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited 生理学的パラメータの推定
CN106137175A (zh) * 2014-10-27 2016-11-23 塔塔咨询服务有限公司 生理参数估计
JP2016140373A (ja) * 2015-01-29 2016-08-08 シャープ株式会社 脈波計測装置、および脈波計測方法
EP3278721A4 (en) * 2015-03-31 2018-10-17 Equos Research Co., Ltd. Pulse wave detection device and pulse wave detection program
US10595732B2 (en) 2015-03-31 2020-03-24 Equos Research Co., Ltd. Pulse wave detection device and pulse wave detection program
US10445560B2 (en) 2015-03-31 2019-10-15 Equos Research Co., Ltd. Pulse wave detection device and pulse wave detection program
US10743783B2 (en) 2015-11-20 2020-08-18 Fujitsu Limited Pulse wave analysis apparatus, pulse wave analysis method, and non-transitory computer-readable storage medium
WO2017085894A1 (ja) 2015-11-20 2017-05-26 富士通株式会社 脈波分析装置、脈波分析方法、および脈波分析プログラム
JPWO2017104056A1 (ja) * 2015-12-17 2018-10-04 オリンパス株式会社 生体情報計測装置、生体情報計測方法および生体情報計測プログラム
US9978144B2 (en) 2015-12-17 2018-05-22 Olympus Corporation Biological information measurement apparatus, biological information measurement method, and computer-readable recording medium
WO2017104056A1 (ja) * 2015-12-17 2017-06-22 オリンパス株式会社 生体情報計測装置、生体情報計測方法および生体情報計測プログラム
JP2019532747A (ja) * 2016-10-27 2019-11-14 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 被検体のバイタルサインを得るためのデバイス、システム及び方法
JP7065845B2 (ja) 2016-10-27 2022-05-12 コーニンクレッカ フィリップス エヌ ヴェ 被検体のバイタルサインを得るためのデバイス、システム、方法、及びコンピュータプログラム
JP7065845B6 (ja) 2016-10-27 2022-06-07 コーニンクレッカ フィリップス エヌ ヴェ 被検体のバイタルサインを得るためのデバイス、システム、方法、及びコンピュータプログラム
JPWO2022097573A1 (ja) * 2020-11-04 2022-05-12
WO2022097573A1 (ja) * 2020-11-04 2022-05-12 株式会社 レイマック 非接触血管解析装置
JP7274803B2 (ja) 2020-11-04 2023-05-17 株式会社レイマック 非接触血管解析装置

Also Published As

Publication number Publication date
EP2893872A4 (en) 2015-09-23
JPWO2014038077A1 (ja) 2016-08-08
US20150173630A1 (en) 2015-06-25
EP2893872A1 (en) 2015-07-15
CN104602594B (zh) 2017-03-22
JP5915757B2 (ja) 2016-05-11
US9986922B2 (en) 2018-06-05
CN104602594A (zh) 2015-05-06

Similar Documents

Publication Publication Date Title
JP5915757B2 (ja) 脈波検出方法、脈波検出装置及び脈波検出プログラム
US9713428B2 (en) Physiological parameter monitoring with a mobile communication device
JP6098257B2 (ja) 信号処理装置、信号処理方法及び信号処理プログラム
JP5920465B2 (ja) バイタルサイン検出方法、バイタルサイン検出装置及びバイタルサイン検出プログラム
JP6123885B2 (ja) 血流指標算出方法、血流指標算出プログラム及び血流指標算出装置
JP6256488B2 (ja) 信号処理装置、信号処理方法及び信号処理プログラム
JP6052027B2 (ja) 脈波検出装置、脈波検出プログラムおよび脈波検出方法
JP6167614B2 (ja) 血流指標算出プログラム、血流指標算出装置および血流指標算出方法
JP6115263B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
JP6393984B2 (ja) 脈拍計測装置、脈拍計測方法及び脈拍計測プログラム
JP6135255B2 (ja) 心拍測定プログラム、心拍測定方法及び心拍測定装置
Qayyum et al. Assessment of physiological states from contactless face video: a sparse representation approach
JP6020015B2 (ja) 脈波検出装置、脈波検出プログラム及び脈波検出方法
JP6488722B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
JP6167849B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
JP7106821B2 (ja) 生体信号解析装置、生体信号解析方法及びプログラム
JP2014198199A (ja) 血流指標算出プログラム、端末装置および血流指標算出方法
JP7237768B2 (ja) 生体情報検出装置
US11602311B2 (en) Pulse oximetry system
WO2021044571A1 (ja) 脈拍数推定方法、装置およびシステム
Hernandez Guzman Cardiac Inter Beat Interval and Atrial Fibrillation Detection using Video Plethysmography

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12884118

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014534134

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE