WO2014002276A1 - バイタルサイン検出方法、バイタルサイン検出装置及びバイタルサイン検出プログラム - Google Patents

バイタルサイン検出方法、バイタルサイン検出装置及びバイタルサイン検出プログラム Download PDF

Info

Publication number
WO2014002276A1
WO2014002276A1 PCT/JP2012/066794 JP2012066794W WO2014002276A1 WO 2014002276 A1 WO2014002276 A1 WO 2014002276A1 JP 2012066794 W JP2012066794 W JP 2012066794W WO 2014002276 A1 WO2014002276 A1 WO 2014002276A1
Authority
WO
WIPO (PCT)
Prior art keywords
vital sign
independent component
spectrum
image
signal
Prior art date
Application number
PCT/JP2012/066794
Other languages
English (en)
French (fr)
Inventor
雅人 阪田
大輔 内田
中田　康之
明大 猪又
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2014522344A priority Critical patent/JP5920465B2/ja
Priority to PCT/JP2012/066794 priority patent/WO2014002276A1/ja
Publication of WO2014002276A1 publication Critical patent/WO2014002276A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate

Definitions

  • the present invention relates to a vital sign detection method, a vital sign detection device, and a vital sign detection program.
  • vital signs such as heartbeat and breathing
  • an electrocardiogram method that detects a heart rate using a peak of an electrocardiogram waveform measured by attaching an electrode of an electrocardiograph to a living body, such as a P wave or an R wave.
  • a photoelectric pulse that irradiates a peripheral blood vessel such as a finger or earlobe with infrared rays and detects a pulse that is approximately equivalent to a heartbeat from an optical change in which the reflected light periodically varies depending on blood flow and light absorption characteristics.
  • the wave method is mentioned.
  • the electrodes are attached to the living body or the photosensitive surface is brought into close contact with the living body. Therefore, detection is difficult unless the measuring instrument is in contact with the living body. There is a problem that it is troublesome to live everyday life with the equipment attached.
  • a vital sign detection technique using an image has been proposed in order to detect a vital sign in a state where the measuring instrument does not contact the living body.
  • a detection technique there is a method of improving a signal-to-noise ratio by applying independent component analysis (ICA) to signal components of an image obtained by photographing a subject's face with a camera. .
  • ICA independent component analysis
  • any one of the three signal components calculated by ICA independent component analysis
  • the R (Red) component the R (Red) component
  • the G (Green) component the B (Blue) component. It is not possible to appropriately extract a signal that randomly appears in the component due to the heartbeat. For this reason, in the detection technique using the above-described image, when detection is performed using a component that does not originate from the heartbeat among the three signal components calculated by ICA, the detection accuracy of the heart rate decreases. May end up.
  • the disclosed technology has been made in view of the above, and an object thereof is to provide a vital sign detection method, a vital sign detection device, and a vital sign detection program capable of improving the detection accuracy of vital signs.
  • a computer executes a process of acquiring an image of a subject photographed by a photographing device. Further, the computer executes a process of applying independent component analysis to signals of a plurality of optical wavelength components included in the image. Further, the computer executes a process of converting a plurality of independent component signals obtained by applying the independent component analysis into frequency components. Further, the computer executes a process of performing an operation of combining the spectrum of each independent component signal with respect to the spectrum converted into the frequency component into each independent component signal. Further, the computer executes a process of detecting the vital sign of the subject using the composite spectrum obtained by the calculation.
  • FIG. 1 is a block diagram illustrating a functional configuration of the server apparatus according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of an image in which the face of the subject is reflected.
  • FIG. 3 is a diagram illustrating an example of a spectrum of an ICA signal.
  • FIG. 4 is a diagram illustrating an example of a composite spectrum.
  • FIG. 5 is a diagram illustrating an example of a composite spectrum.
  • FIG. 6 is a flowchart illustrating the procedure of the detection process according to the first embodiment.
  • FIG. 7 is a diagram showing a heart rate detection result in the conventional method.
  • FIG. 8 is a diagram illustrating the heart rate detection result according to the first embodiment.
  • FIG. 9 is a diagram showing an error between the detection result of the heart rate and the reference in the conventional method.
  • FIG. 10 is a diagram illustrating an error between the detection result of the heart rate and the reference according to the first embodiment.
  • FIG. 11 is a diagram illustrating the matching rate with the reference.
  • FIG. 12 is a diagram showing a heart rate detection result when an original image is used and a heart rate detection result when a partial image is used.
  • FIG. 13 is a flowchart illustrating a procedure of detection processing according to the application example.
  • FIG. 14 is a diagram illustrating an example of the detection result of the respiratory rate.
  • FIG. 15 is a diagram illustrating an application example of an input signal to which ICA is applied.
  • FIG. 16 is a schematic diagram illustrating an example of a computer that executes a vital sign detection program according to the first and second embodiments.
  • FIG. 1 is a block diagram illustrating a functional configuration of the server apparatus according to the first embodiment.
  • the server apparatus 10 shown in FIG. 1 provides a vital sign detection service that detects a vital sign of a subject using an image taken by the subject so that the measuring instrument does not contact the living body of the subject.
  • a vital sign detection service that detects a vital sign of a subject using an image taken by the subject so that the measuring instrument does not contact the living body of the subject.
  • the following description will be given on the assumption that a heart rate is detected from an image as an example of vital signs.
  • the server device 10 may be implemented as a Web server that provides the vital sign detection service, or may be implemented as a cloud that provides the vital sign detection service by outsourcing. . As another aspect, it can also be implemented by preinstalling or installing a vital sign detection program provided as package software or online software on a desired computer.
  • the server apparatus 10 is connected to the client terminal 30 through a desired network so that they can communicate with each other.
  • Any type of communication network such as the Internet (Internet), LAN (Local Area Network), or VPN (Virtual Private Network) can be adopted as such a network, whether wired or wireless.
  • Internet Internet
  • LAN Local Area Network
  • VPN Virtual Private Network
  • the client terminal 30 is a terminal device that receives a vital sign detection service provided by the server device 10.
  • a mobile terminal such as a mobile phone, a PHS (Personal Handyphone System), and a PDA (Personal Digital Assistants) can be employed in addition to a fixed terminal such as a personal computer.
  • PHS Personal Handyphone System
  • PDA Personal Digital Assistants
  • the client terminal 30 includes a communication I / F (interface) unit 31, a camera 32, and a display unit 33, as shown in FIG.
  • the client terminal 30 includes various functional units included in known computers, such as a carrier communication unit that performs communication via an antenna and a carrier network, and a GPS (Global Positioning System) receiver. It does not matter as having etc.
  • the communication I / F unit 31 is an interface for performing communication control with other devices, for example, the server device 10.
  • a network interface card such as a LAN card can be employed.
  • the communication I / F unit 31 transmits an image in which the face of the subject is captured by the camera 32 to the server device 10 or receives a vital sign detection result from the server device 10.
  • the camera 32 is a photographing device using an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). In particular, it is preferable that three or more types of light receiving elements such as R, G, and B are mounted.
  • a digital camera or a Web camera may be connected via an external terminal, or the camera can be used when the camera is mounted from the time of shipment like a portable terminal.
  • the client terminal 30 has the camera 32 is illustrated, but the client terminal 30 does not necessarily have the camera 32 when images can be acquired via a network or a storage device.
  • the display unit 33 is a display device that displays various types of information, for example, vital sign detection results transmitted from the server device 10.
  • a monitor or a display may be employed, or the display unit 33 may be implemented as a touch panel by being integrated with the input unit. If it is not necessary to display information through the client terminal 30, the display unit 33 may be omitted. It can also be displayed on a display unit such as another client terminal 30.
  • the client terminal 30 is preinstalled or installed with an application program that receives a vital sign detection service from the server device 10 in cooperation with the server device 10.
  • the client application program may be referred to as a “client application”.
  • the camera 32 When the client application is activated via an input device (not shown), the camera 32 is activated. In response to this, the camera 32 starts photographing the subject accommodated in the photographing range of the camera 32. At this time, the client application can display the image taken by the camera 32 on the display unit 33 and display the target position that reflects the subject's nose as an aim. As a result, among the facial parts such as the subject's eyes, ears, nose and mouth, an image in which the subject's nose is within the center of the imaging range can be taken. Then, the client application transmits an image in which the face of the subject is captured by the camera 32 to the server device 10 via the communication I / F unit 31.
  • the client application receives a vital sign detection result from the server device 10, for example, the heart rate of the subject
  • the client application displays the heart rate of the subject on the display unit 33.
  • an image showing the face of the subject is used to detect the heart rate of the subject.
  • detecting the heart rate as an example of a vital sign a part of the skin of the subject is reflected. If it is an image, it is not always necessary to use a face image.
  • the server device 10 includes a communication I / F unit 11, an acquisition unit 12, an extraction unit 13, an application unit 14, a conversion unit 15, a calculation unit 16, and a detection unit 17. And an output unit 18.
  • the server device 10 may include various functional units included in a known server device, such as various input / output devices, in addition to the functional units illustrated in FIG.
  • the communication I / F unit 11 is an interface for performing communication control with another device, for example, the client terminal 30.
  • a network interface card such as a LAN card can be employed.
  • the communication I / F unit 11 receives an image of the subject's face taken from the client terminal 30 or transmits a vital sign detection result to the client terminal 30.
  • the acquisition unit 12 is a processing unit that acquires an image of a subject taken.
  • the acquisition unit 12 acquires an image captured by the camera 32 of the client terminal 30.
  • the acquisition unit 12 acquires an image from an auxiliary storage device such as a hard disk or an optical disk or a removable medium such as a memory card or a USB (Universal Serial Bus) memory that stores images taken by the subject. You can also.
  • the image acquired by the acquisition unit 12 is output to the extraction unit 13.
  • the acquisition unit 12 can acquire a still image showing the subject intermittently or continuously, or can acquire a stream of moving image encoded data encoded by a predetermined compression encoding method.
  • the extraction unit 13 is a processing unit that extracts a partial image based on a predetermined facial part from the image acquired by the acquisition unit 12.
  • the extraction unit 13 performs a specific facial part among facial parts such as the subject's eyes, ears, nose, and mouth by performing image processing such as template matching on an image of the subject's face. Detect the subject's nose. Then, the extraction unit 13 extracts a partial image included in a predetermined range from the center with the subject's nose as the center. As a result, a partial image including the face center portion of a part of the cheek located around the nose of the subject and the nose is extracted as an image for detecting vital signs. Thereafter, the extraction unit 13 outputs the partial image extracted from the original image acquired by the acquisition unit 12 to the application unit 14.
  • FIG. 2 is a diagram showing an example of an image in which the face of the subject is reflected.
  • FIG. 2 shows a block in which a region including part or all of the subject's eyes, nose and mouth shown in the image is divided into nine.
  • the subject's eyes are shown in the upper left and right blocks.
  • the subject's mouth is shown in the lower three blocks of the blocks shown in FIG.
  • the extraction unit 13 extracts the middle block image shown in FIG. 2 as a partial image from the image acquired by the acquisition unit 12.
  • the application unit 14 is a processing unit that applies independent component analysis, so-called ICA (Independent Component Analysis), for each of a plurality of light wavelength components included in the partial image.
  • ICA Independent Component Analysis
  • ICA here is a method of multivariate analysis, and it is assumed that the signal that is the information source is independent, and the calculation is performed by separating the signal source into independent components from the signals of a plurality of observed values. It is a technique. ICA includes various algorithms such as InfoMAX, FastICA, JADE, and the like, and any algorithm can be used for the application unit 14. In this embodiment, an algorithm using JADE will be described.
  • the application unit 14 uses the R component, G component, and B component signal components sampled over a predetermined time as observation values, and signals that are information sources from the R component, G component, and B component signal components, that is, fine signals
  • the signal of an independent component from which noise due to the body movement is removed is estimated.
  • Each signal obtained by applying the ICA may be referred to as an “ICA signal”. As described above, the ICA signal obtained for each RGB signal component by applying the ICA by the applying unit 14 is output to the converting unit 15.
  • the application unit 14 applies ICA to the RGB signal components of the partial image extracted by the extraction unit 13 is exemplified, but the RGB signal components of the image acquired by the acquisition unit 12 are applied. ICA may be applied.
  • the conversion unit 15 is a processing unit that converts the ICA signal obtained using the light wavelength component into a frequency component.
  • the transform unit 15 performs discrete Fourier transform, so-called DFT (Discrete Fourier Transform), on the ICA signal obtained from the RGB signal components. By performing such DFT, each ICA signal is converted into a spectrum of frequencies.
  • DFT Discrete Fourier Transform
  • each ICA signal is converted into a spectrum of frequencies.
  • the ICA signal obtained for each ICA signal by applying the DFT by the conversion unit 15 is output to the conversion unit 15.
  • the disclosed apparatus can apply Fourier transform, fast Fourier transform (FFT), discrete cosine transform (DCT), etc. in addition to discrete Fourier transform.
  • the calculation unit 16 is a processing unit that executes a calculation for combining the spectrum of each ICA signal with the spectrum of each ICA signal. By such calculation, a composite spectrum in which RGB ICA signals are combined is obtained.
  • the arithmetic unit 16 generates a composite spectrum by integrating the spectrum of each ICA signal.
  • FIG. 3 is a diagram illustrating an example of a spectrum of an ICA signal.
  • FIG. 4 is a diagram illustrating an example of a composite spectrum.
  • FIG. 4 shows a composite spectrum obtained by integrating the spectrum of the ICA signal shown in FIG. 3 and FIG. 4, the vertical axis indicates the signal intensity, and the horizontal axis indicates the frequency (beats / minute).
  • the spectrum of each ICA signal of F 1 (u), F 2 (u), and F 3 (u) shown in FIG. 3 is an independent component derived from the sampling data of each signal component of R component, G component, and B component. is there.
  • the calculation unit 16 integrates the spectrum of each ICA signal of F 1 (u), F 2 (u), and F 3 (u) shown in FIG. With this integration, that is, F 1 (u) * F 2 (u) * F 3 (u), the composite spectrum F Times (u) shown in FIG. 4 is obtained. As shown in FIG. 4, the composite spectrum F Times (u) can make the peak due to the heart rate included in each ICA signal, that is, 60 beats / minute stand out by performing the above integration. . Although the case where there are three ICA signals is illustrated here, the composite spectrum F Times (u) is similarly obtained by integrating the spectrum in the case of two or four or more ICA signals.
  • the arithmetic unit 16 generates a composite spectrum by averaging the spectra of the ICA signals.
  • FIG. 5 is a diagram illustrating an example of a composite spectrum.
  • FIG. 5 shows a composite spectrum obtained by averaging the spectra of the ICA signal shown in FIG.
  • the vertical axis of the graph in FIG. 5 indicates the signal intensity, and the horizontal axis indicates the frequency (beats / minute).
  • the arithmetic unit 16 averages the spectra of the ICA signals F 1 (u), F 2 (u), and F 3 (u) shown in FIG.
  • the composite spectrum F Ave (u) can make the peak due to the heart rate included in each ICA signal, that is, 60 beats / minute stand out by performing the above-mentioned averaging. Become. Although the case where there are three ICA signals is shown here, the composite spectrum F Ave (u) is similarly obtained by averaging the spectra in the case of two or four or more ICA signals.
  • the detection unit 17 is a processing unit that detects a vital sign of a subject using the composite spectrum.
  • the detection unit 17 may detect the composite spectrum in a frequency range assumed as a value that a human heart rate can take, for example, a frequency range corresponding to a lower limit value of 40 times / minute and an upper limit value of 240 times / minute.
  • the heart rate of the subject is detected from the maximum peak. For example, in the example of FIG. 4, since the maximum peak is measured at 60 beats / minute in the composite spectrum F Times (u) obtained by integrating three ICA signals, the detection unit 17 determines the heart rate of the subject. “60 beats / minute” is detected. In the example of FIG. 5 as well, since the maximum peak is measured at 60 beats / minute in the composite spectrum F Ave (u) obtained by averaging three ICA signals, the detection unit 17 determines the heart rate of the subject. “60 beats / minute” is detected.
  • the output unit 18 is a processing unit that outputs a detection result of the vital sign of the subject to the client terminal 30.
  • the output unit 18 outputs the heart rate of the subject detected by the detection unit 17 to the client terminal 30.
  • the output unit 18 outputs the heart rate of the subject to a diagnostic program for diagnosing the presence or absence of a heart disease, for example, a Web application implemented in the server device 10.
  • the output part 18 can also output the diagnostic result which made the test subject's heart disease diagnosed with a diagnostic program to the client terminal 30 with a heart rate.
  • a diagnostic program if a person with high blood pressure has tachycardia, for example, 100 times / minute or more, it is diagnosed that there is a suspicion of angina or myocardial infarction, or arrhythmia or mental disease such as tension And diagnose stress.
  • a monitoring service outside the hospital for example, at home or at home can be performed.
  • various types of integrated circuits and electronic circuits can be employed for the acquisition unit 12, the extraction unit 13, the application unit 14, the conversion unit 15, the calculation unit 16, the detection unit 17, and the output unit 18.
  • Examples of integrated circuits include ASIC (Application Specific Integrated Circuit) and FPGA (Field Programmable Gate Array).
  • CPU Central Processing Unit
  • MPU Micro Processing Unit
  • FIG. 6 is a flowchart illustrating the procedure of the detection process according to the first embodiment. This detection process is a process that is repeatedly executed as long as the power of the server apparatus 10 is in the ON state.
  • the extraction unit 13 extracts a predetermined facial part, for example, the subject's nose from the image acquired by the acquisition unit 12.
  • a reference partial image (a) is extracted (step S102).
  • the application unit 14 applies ICA to the R component, G component, and B component signals in which the average value of each component of the partial image is sampled in a time series over a predetermined time, for example, 1 second or 1 minute. (Step S103).
  • the conversion unit 15 applies a discrete Fourier transform to the ICA signal obtained from the RGB signal components (step S104).
  • the RGB ICA signals are converted into frequency spectra.
  • the calculating part 16 performs the calculation which combines the spectrum of each ICA signal with respect to the spectrum of each ICA signal (step S105). Then, the detection unit 17 detects the heart rate of the subject from the maximum peak of the composite spectrum (step S106). Thereafter, the output unit 18 outputs the heart rate of the subject detected by the detection unit 17 to the client terminal 30 (step S107), and ends the process.
  • the server device 10 applies ICA to each of the RGB components included in the image in which the subject is photographed, and performs an operation of combining the spectrum of each ICA signal to make the peak stand out.
  • the heart rate of the subject is detected from the combined spectrum. Therefore, according to the server device 10 according to the present embodiment, the heart rate detection accuracy can be improved.
  • FIG. 7 is a diagram showing a heart rate detection result in the conventional method.
  • FIG. 8 is a diagram illustrating the heart rate detection result according to the first embodiment.
  • FIG. 7 shows the detection when the measurement time is 1 minute and the heart rate is detected by using the ICA signal of F 2 (u) shown in FIG.
  • a comparison result between the result and a reference that is a measurement result of a pulse detected from the finger pulse wave is illustrated.
  • FIG. 8 shows the detection results when the heart rate is detected from the maximum peak of the composite spectrum after performing the averaging of combining each ICA signal with the measurement time being 1 minute, and the pulse detected from the finger pulse wave.
  • the comparison result with the reference which is the measurement result is shown.
  • FIG. 9 is a diagram showing an error between the detection result of the heart rate and the reference in the conventional method.
  • FIG. 10 is a diagram illustrating an error between the detection result of the heart rate and the reference according to the first embodiment.
  • FIG. 9 and FIG. 10 show the results representing the error from the reference pulse wave when the heart rate is measured from a moving image for a total of 13 people.
  • the mean square error is 12.8 before the addition average is applied, whereas it is 1.4 after the addition average is applied as shown in FIG.
  • FIG. 9 and FIG. 10 it can be confirmed that the error after the application of the addition average is reduced.
  • FIG. 11 is a diagram illustrating the matching rate with the reference.
  • FIG. 11 shows the result of detecting the heart rate from the three ICA signals F 1 (u), F 2 (u), and F 3 (u) to which the averaging is not applied, and the ICA for the three RGB signals.
  • the result of executing the heart rate detection by applying the addition average and the comparison result of the result of executing the heart rate detection by applying both the ICA and the addition average are illustrated.
  • the coincidence rate is shown when the detection result in which the error between the heart rate and the reference within the measurement time is within 2 bpm is regarded as coincidence.
  • the matching rate is 94.4%, and it is confirmed that the matching rate is the highest. it can.
  • the server device 10 extracts ICA for each RGB signal component included in the partial image after extracting a predetermined facial part, for example, a partial image based on the subject's nose from the original image. Apply. Therefore, in the server device 10 according to the present embodiment, it is possible to suppress a decrease in the detection accuracy of the heart rate due to the effects of blinking of the subject's eyes and movement of the mouth.
  • FIG. 12 is a diagram showing a detection result of the heart rate when the original image is used and a detection result of the heart rate when the partial image is used.
  • FIG. 12 shows the detection result when the heart rate is detected using the entire face (80 pixels ⁇ 80 pixels) as a measurement region, and the detection result when the heart rate is detected using the center part of the face (80 pixels ⁇ 80 pixels) as a measurement region.
  • the coincidence rate when the heart rate is detected with the whole face as the measurement region is 48.3%, whereas the coincidence rate when the heart rate is detected with the center part of the face as the measurement region. Is 83.3%, and the heart rate can be detected more stably at the center of the face.
  • the disclosed apparatus compares the peak of the spectrum converted into the frequency component for each ICA signal with the peak of the composite spectrum, and determines the ICA signal having the closest maximum peak to the maximum peak of the composite spectrum among the ICA signals.
  • the heartbeat signal is identified as a signal that is a source of information, a so-called heartbeat signal.
  • the disclosed apparatus when there is only one ICA signal having a maximum peak in a predetermined range with respect to the maximum peak of the composite spectrum, for example, the range of the maximum peak ⁇ 5, the disclosed apparatus is concerned.
  • the signal is identified as a heartbeat signal.
  • the disclosed apparatus when there are a plurality of ICA signals having a maximum peak in a predetermined range based on the maximum peak of the composite spectrum, the disclosed apparatus performs the following process. That is, the disclosed apparatus calculates the moving average of the spectrum of the ICA signal for each ICA signal. Then, the disclosed apparatus regards the frequency of the spectrum after moving average calculation as a probability density function with a probability variable and signal intensity as the probability density, and calculates the variance of the probability distribution resulting from the probability density function for each ICA signal.
  • the disclosed apparatus is configured such that a frequency section assumed as a value that a human heart rate can take in the spectrum of each ICA signal, for example, a frequency section corresponding to a lower limit value of 40 times / minute and an upper limit value of 240 times / minute.
  • a probability density function Is a probability density function, and using the following equation (1), the variance V (x) of the spectrum is calculated for each ICA signal.
  • F (x) indicates a spectrum function
  • X indicates a random variable representing a heart rate
  • E (X)” indicates an expected value of the heart rate.
  • A refers to the lower limit value of the heart rate range
  • “b” refers to the upper limit value of the heart rate.
  • the disclosed apparatus identifies the ICA signal having the smallest spectral dispersion among the ICA signals as the heartbeat signal. Thereafter, the disclosed apparatus detects the heart rate of the subject from the maximum peak of the spectrum of the ICA signal identified as the heart rate signal and before the moving average is performed.
  • FIG. 13 is a flowchart showing a procedure of detection processing according to the application example. Similar to the detection process illustrated in FIG. 6, this detection process is a process that is repeatedly executed as long as the power of the server apparatus 10 is ON.
  • the disclosed apparatus uses a partial image based on a predetermined facial part, for example, the subject's nose, from the image acquired in step S301.
  • a predetermined facial part for example, the subject's nose
  • the disclosed apparatus applies ICA to the R component, G component, and B component signals in which the average value of each component of the partial image is sampled in a time series over a predetermined time, for example, 1 second or 1 minute. (Step S303).
  • the disclosed apparatus applies a discrete Fourier transform to the ICA signal obtained from the RGB signal components (step S304). This converts each ICA signal into a spectrum of frequencies.
  • the disclosed apparatus performs an operation of combining the spectrum of each ICA signal with respect to the spectrum of each ICA signal (step S305). After that, the disclosed apparatus compares the peak of the spectrum converted into the frequency component for each ICA signal with the peak of the composite spectrum (step S306).
  • the ICA signal can be specified as a heartbeat signal. . In this case, the process proceeds to step S312.
  • step S307 No and step S308 Yes when there are a plurality of ICA signals having a maximum peak in a predetermined range based on the maximum peak of the composite spectrum (step S307 No and step S308 Yes), the disclosed apparatus performs the corresponding ICA signal for each ICA signal.
  • the moving average of the spectrum of the ICA signal is calculated (step S309).
  • the disclosed apparatus calculates the variance of the spectrum after the moving average is executed in step S309 for each ICA signal (step S310). Then, the disclosed apparatus identifies the ICA signal having the minimum spectral dispersion as the heartbeat signal among the ICA signals (step S311).
  • the disclosed apparatus detects the heart rate of the subject from the maximum peak of the spectrum of the ICA signal that is the ICA signal identified as the heartbeat signal and before the moving average is executed (step S312).
  • the disclosed apparatus starts the heart rate of the subject detected in step S312, outputs the diagnosis result diagnosed from the heartbeat signal specified in step S312 to the client terminal 30 (step S313), and ends the process. To do.
  • step S309 to step S310 may be executed without performing the processing of step S306 to step S308.
  • the disclosed apparatus can detect a periodic fluctuation of a heartbeat interval, so-called RRI (R-R Interval), from a heartbeat signal as “heartbeat fluctuation” or “heartbeat fluctuation”. This makes it possible to further expand the contents that can monitor the subject from the image.
  • RRI R-R Interval
  • the detectable vital sign is not limited to the heart rate, and other vital signs, for example, the respiratory rate is detected. Is also possible.
  • the disclosed apparatus can detect the respiration rate from an original image or a partial image in which a part of the subject's chest or abdomen is shown.
  • the disclosed apparatus has a maximum peak of the composite spectrum in a frequency section assumed as a value that a human respiratory rate can take, for example, a frequency section corresponding to a lower limit value of 10 times / minute and an upper limit value of 60 times / minute.
  • a human respiratory rate can take, for example, a frequency section corresponding to a lower limit value of 10 times / minute and an upper limit value of 60 times / minute.
  • FIG. 14 is a diagram illustrating an example of the detection result of the respiratory rate.
  • FIG. 14 shows the detection result when the respiratory rate is detected from the maximum peak of the composite spectrum in the frequency range of 0.16 Hz to 1.0 Hz, that is, the interval from 10 times / minute to the upper limit of 60 times / minute.
  • the measurement result of the respiratory rate measured using the expansion and contraction of the rubber-like band is shown in the figure.
  • the measurement result of the respiratory rate described later is used as a reference, as shown in FIG. 14, it is confirmed that the respiratory rate detected from the image of the subject's breast follows the reference with a certain accuracy. it can.
  • the respiratory rate can also be detected from an image taken while the subject is wearing clothes, etc. Can do.
  • RGB three types of RGB are exemplified as input signals, but different wavelength components such as IR may be used as input signals. Further, the input signal may be another combination such as using signals from different measurement sites, for example, G components, or four or more types of input signals.
  • FIG. 15 is a diagram illustrating an application example of an input signal to which ICA is applied.
  • the disclosed apparatus includes a block image b1 in which the subject's right cheek is reflected, a block image b2 in which the subject's nose is reflected, and the subject's left cheek in the original image acquired by the acquisition unit 12.
  • the block image b3 is extracted. Then, every time the block images b1 to b3 are extracted from the frame of the original image, the disclosed apparatus calculates the average value of the pixel values of each pixel for the G component of the block images b1 to b3.
  • the disclosed apparatus has three G components of the sampled block images b1 to b3.
  • ICA is applied to the signals g1, g2 and g3.
  • a plurality of ICA signals can be obtained without necessarily using the three RGB components as in the first embodiment.
  • G signals g1 to g3 of the block images b1 to b3 showing the subject's right cheek, nose and left cheek are extracted from the original image showing the subject's face, and these G signals g1 to g3 are input.
  • ICA can also be applied as the signal.
  • a plurality of ICA signals can be obtained from block images of different parts included in one frame.
  • ICA signals calculated from other parts are used. The influence can be mitigated and vital signs such as heart rate can be detected.
  • two or four or more parts may be extracted.
  • each component of each illustrated apparatus does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured.
  • the client server system that provides the client terminal 30 with the heart rate detected from the image by the server device 10 is illustrated.
  • the client terminal 30 is operated in a stand-alone manner by causing the client terminal 30 to execute a vital sign detection program that executes processing corresponding to functional units such as the conversion unit 15, the calculation unit 16, the detection unit 17, and the output unit 18.
  • functional units of the acquisition unit 12, the extraction unit 13, the application unit 14, the conversion unit 15, the calculation unit 16, the detection unit 17, and the output unit 18 are connected as external devices of the server device 10 via a network. It may be.
  • the acquisition unit 12 and the extraction unit 13 are mounted on the client terminal 30 from the viewpoint of processing by the server device 10 having high specifications between client servers, and the application unit 14,
  • the conversion unit 15, the calculation unit 16, the detection unit 17, and the output unit 18 may be mounted on the server device 10.
  • another device has a part of the acquisition unit 12, the extraction unit 13, the application unit 14, the conversion unit 15, the calculation unit 16, the detection unit 17, and the output unit 18, and is connected to the network to cooperate.
  • the function of the server device 10 may be realized by operating.
  • FIG. 16 is a diagram for explaining an example of a computer that executes a vital sign detection program according to the first and second embodiments.
  • the computer 100 includes an operation unit 110a, a speaker 110b, a camera 110c, a display 120, and a communication unit 130. Further, the computer 100 includes a CPU 150, a ROM 160, an HDD 170, and a RAM 180. These units 110 to 180 are connected via a bus 140.
  • the HDD 170 has the same functions as the acquisition unit 12, extraction unit 13, application unit 14, conversion unit 15, calculation unit 16, detection unit 17, and output unit 18 described in the first embodiment. Is stored in advance.
  • the vital sign detection program 170a is similar to each component of the acquisition unit 12, the extraction unit 13, the application unit 14, the conversion unit 15, the calculation unit 16, the detection unit 17, and the output unit 18 illustrated in FIG. You may integrate or isolate
  • the CPU 150 reads the vital sign detection program 170a from the HDD 170 and develops it in the RAM 180. Accordingly, as shown in FIG. 16, the vital sign detection program 170a functions as a vital sign detection process 180a.
  • the vital sign detection process 180a expands various data read from the HDD 170 in an area allocated to itself on the RAM 180 as appropriate, and executes various processes based on the expanded various data.
  • the vital sign detection process 180a is a process executed by the acquisition unit 12, the extraction unit 13, the application unit 14, the conversion unit 15, the calculation unit 16, the detection unit 17, and the output unit 18 illustrated in FIG. 6 and the process shown in FIG.
  • each processing unit virtually realized on the CPU 150 does not always require that all processing units operate on the CPU 150, and only a processing unit necessary for the processing needs to be virtually realized.
  • each program is stored in a “portable physical medium” such as a flexible disk inserted into the computer 100, so-called FD, CD-ROM, DVD disk, magneto-optical disk, or IC card. Then, the computer 100 may acquire and execute each program from these portable physical media.
  • each program is stored in another computer or server device connected to the computer 100 via a public line, the Internet, a LAN, a WAN, etc., and the computer 100 acquires and executes each program from these. It may be.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

　サーバ装置（１０）は、カメラ（３２）によって被験者が撮影された画像を取得する。さらに、サーバ装置（１０）は、画像に含まれる複数の光波長成分の信号に対して独立成分分析を適用する。さらに、サーバ装置（１０）は、独立成分分析の適用によって得られた複数の独立成分信号を周波数成分へ変換する。さらに、サーバ装置（１０）は、各独立成分信号ごとに周波数成分へ変換されたスペクトルに対し、各独立成分信号のスペクトルを複合する演算を実行する。さらに、サーバ装置（１０）は、演算によって得られた複合スペクトルを用いて、被験者のバイタルサインを検出する。

Description

バイタルサイン検出方法、バイタルサイン検出装置及びバイタルサイン検出プログラム
　本発明は、バイタルサイン検出方法、バイタルサイン検出装置及びバイタルサイン検出プログラムに関する。
　心拍や呼吸などの生命徴候、いわゆるバイタルサインを検出する技術がある。例えば、心拍を検出する技術の一例としては、心電計の電極を生体に装着することによって計測された心電波形のピーク、例えばＰ波やＲ波などを用いて心拍数を検出する心電図法が挙げられる。他の一例としては、指や耳たぶなどの末梢血管に赤外線を照射し、その反射光が血流および吸光特性によって周期的に変動する光学的な変化から心拍とほぼ等価な脈拍を検出する光電脈波法が挙げられる。
　これら心電図法や光電脈波法を用いる場合には、電極を生体に装着したり、あるいは生体に感光面を密着させたりするので、計測器具が生体に接触しないと検出が困難である上、計測器具を装着した状態で日常を生活するのは煩わしいという問題がある。
　このことから、生体に計測器具が接触しない状態でバイタルサインを検出するために、画像を用いたバイタルサインの検出技術が提案されている。かかる検出技術の一例としては、カメラによって被験者の顔が撮影された画像の信号成分に対し、独立成分分析（ＩＣＡ：Independent　Component　Analysis）を適用することによって信号対雑音比を改善する方法が挙げられる。
特開２０１１－１３０９９６号公報 特開２０１０－２６４０９５号公報 特開２００７－０５０１４４号公報 特開２００５－２１８５０７号公報 特開２００７－２１５１６３号公報 国際公開第２００７／０４３３２８号 特開２００５－０９４１８５号公報 特開２００８－１１８６３５号公報
　しかしながら、上記の従来技術では、以下に説明するように、バイタルサインの検出精度におのずから限界があるという問題がある。
　すなわち、上記の画像を用いた検出技術では、Ｒ（Red）成分、Ｇ（Green）成分およびＢ（Blue）成分を用いてＩＣＡ（独立成分分析）によって算出した３つの信号成分のうちいずれかの成分に心拍に起因してランダムに出現する信号を適切に抽出することができない。このため、上記の画像を用いた検出技術では、ＩＣＡによって算出された３つの信号成分のうち心拍に起因しない成分を用いて検出が行われた場合には、心拍数の検出精度が低下してしまう場合がある。
　開示の技術は、上記に鑑みてなされたものであって、バイタルサインの検出精度を向上させることができるバイタルサイン検出方法、バイタルサイン検出装置及びバイタルサイン検出プログラムを提供することを目的とする。
　本願の開示するバイタルサイン検出方法は、コンピュータが、撮影装置によって被験者が撮影された画像を取得する処理を実行する。さらに、前記コンピュータが、前記画像に含まれる複数の光波長成分の信号に対して独立成分分析を適用する処理を実行する。さらに、前記コンピュータが、前記独立成分分析の適用によって得られた複数の独立成分信号を周波数成分へ変換する処理を実行する。さらに、前記コンピュータが、各独立成分信号に周波数成分へ変換されたスペクトルに対し、各独立成分信号のスペクトルを複合する演算を実行する処理を実行する。さらに、前記コンピュータが、前記演算によって得られた複合スペクトルを用いて、前記被験者のバイタルサインを検出する処理を実行する。
　本願の開示するバイタルサイン検出方法の一つの態様によれば、バイタルサインの検出精度を向上させることができるという効果を奏する。
図１は、実施例１に係るサーバ装置の機能的構成を示すブロック図である。 図２は、被験者の顔が映る画像の一例を示す図である。 図３は、ＩＣＡ信号のスペクトルの一例を示す図である。 図４は、複合スペクトルの一例を示す図である。 図５は、複合スペクトルの一例を示す図である。 図６は、実施例１に係る検出処理の手順を示すフローチャートである。 図７は、従来手法における心拍数の検出結果を示す図である。 図８は、実施例１に係る心拍数の検出結果を示す図である。 図９は、従来手法における心拍数の検出結果とリファレンスとの誤差を示す図である。 図１０は、実施例１に係る心拍数の検出結果とリファレンスとの誤差を示す図である。 図１１は、リファレンスとの一致率を示す図である。 図１２は、原画像を用いた場合の心拍数の検出結果および部分画像を用いた場合の心拍数の検出結果を示す図である。 図１３は、応用例に係る検出処理の手順を示すフローチャートである。 図１４は、呼吸数の検出結果の一例を示す図である。 図１５は、ＩＣＡを適用する入力信号の応用例を示す図である。 図１６は、実施例１及び実施例２に係るバイタルサイン検出プログラムを実行するコンピュータの一例について説明するための図である。
　以下に、本願の開示するバイタルサイン検出方法、バイタルサイン検出装置及びバイタルサイン検出プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
　図１は、実施例１に係るサーバ装置の機能的構成を示すブロック図である。図１に示すサーバ装置１０は、計測器具が被験者の生体に接触しないように、被験者が撮影された画像を用いて被験者のバイタルサインを検出するバイタルサイン検出サービスを提供するものである。なお、本実施例では、バイタルサインの一例として、画像から心拍数が検出される場合を想定して以下の説明を行う。
　かかるサーバ装置１０の一態様としては、上記のバイタルサイン検出サービスを提供するＷｅｂサーバとして実装することとしてもよいし、また、アウトソーシングによって上記のバイタルサイン検出サービスを提供するクラウドとして実装することもできる。他の一態様としては、パッケージソフトウェアやオンラインソフトウェアとして提供されるバイタルサイン検出プログラムを所望のコンピュータにプリインストール又はインストールさせることによっても実装できる。
　図１に示すように、サーバ装置１０は、所望のネットワークを介して、クライアント端末３０と相互に通信可能に接続される。かかるネットワークには、有線または無線を問わず、インターネット（Internet）、ＬＡＮ（Local　Area　Network）やＶＰＮ（Virtual　Private　Network）などの任意の種類の通信網を採用できる。なお、図１の例では、サーバ装置１０に接続されるクライアント端末３０が１つである場合を図示したが、サーバ装置１０には複数のクライアント端末をサーバ装置１０に接続することもできる。
［クライアント端末３０の構成］
　クライアント端末３０は、サーバ装置１０によって提供されるバイタルサイン検出サービスの提供を受ける端末装置である。かかるクライアント端末３０の一態様としては、パーソナルコンピュータを始めとする固定端末の他、携帯電話機、ＰＨＳ（Personal　Handyphone　System）やＰＤＡ（Personal　Digital　Assistants）などの移動体端末も採用できる。
　クライアント端末３０は、図１に示すように、通信Ｉ／Ｆ（interface）部３１と、カメラ３２と、表示部３３とを有する。なお、クライアント端末３０は、図１に示した機能部以外にも既知のコンピュータが有する各種の機能部、例えばアンテナ、キャリア網を介して通信を行うキャリア通信部、ＧＰＳ（Global　Positioning　System）受信機などを有することとしてもかまわない。
　このうち、通信Ｉ／Ｆ部３１は、他の装置、例えばサーバ装置１０との間で通信制御を行うインタフェースである。かかる通信Ｉ／Ｆ部３１の一態様としては、ＬＡＮカードなどのネットワークインタフェースカードを採用できる。例えば、通信Ｉ／Ｆ部３１は、カメラ３２によって被験者の顔が撮影された画像をサーバ装置１０へ送信したり、サーバ装置１０からバイタルサインの検出結果を受信したりする。
　カメラ３２は、ＣＣＤ（Charge　Coupled　Device）やＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）などの撮像素子を用いた撮影装置である。特にＲ、Ｇ、Ｂなど３種以上の受光素子が搭載されていることが好ましい。かかるカメラ３２の実装例としては、デジタルカメラやＷｅｂカメラを外部端子を介して接続することとしてもよいし、携帯端末のようにカメラが出荷時から搭載されている場合にはそのカメラを流用できる。なお、ここでは、クライアント端末３０がカメラ３２を有する場合を例示したが、ネットワーク経由または記憶デバイス経由で画像を取得できる場合には、必ずしもクライアント端末３０がカメラ３２を有する必要はない。
　表示部３３は、各種の情報、例えばサーバ装置１０から送信されたバイタルサインの検出結果などを表示する表示デバイスである。かかる表示部３３の一態様としては、モニタやディスプレイを採用したり、入力部と一体化することによってタッチパネルとして実装したりすることもできる。クライアント端末３０を通じて情報を表示する必要がなければ表示部３３が無くても構わない。また、別のクライアント端末３０などの表示部に表示することもできる。
　クライアント端末３０には、サーバ装置１０と協働してサーバ装置１０からのバイタルサイン検出サービスの提供を受けるアプリケーションプログラムがプリインストールまたはインストールされる。なお、以下では、上記のクライアント用のアプリケーションプログラムのことを「クライアント用アプリ」と記載する場合がある。
　かかるクライアントアプリは、図示しない入力デバイスを介して起動されると、カメラ３２を起動する。これを受けて、カメラ３２は、カメラ３２の撮影範囲に収容された被写体の撮影を開始する。このとき、クライアントアプリは、カメラ３２が撮影する画像を表示部３３に表示しつつ、被験者の鼻を映す目標位置を照準として表示させることもできる。これによって、被験者の眼、耳、鼻や口などの顔パーツの中でも被験者の鼻が撮影範囲の中心部分に収まった画像が撮影できるようにする。そして、クライアントアプリは、カメラ３２によって被験者の顔が撮影された画像を通信Ｉ／Ｆ部３１を介してサーバ装置１０へ送信する。その後、クライアントアプリは、サーバ装置１０からバイタルサインの検出結果、例えば被験者の心拍数を受信すると、被験者の心拍数を表示部３３へ表示させる。なお、ここでは、被験者の心拍数を検出するにあたって被験者の顔が映った画像を用いる場合を想定するが、バイタルサインの一例として心拍数を検出する場合には被験者の肌の一部が映った画像であれば必ずしも顔画像を用いる必要はない。
［サーバ装置１０の構成］
　一方、サーバ装置１０は、図１に示すように、通信Ｉ／Ｆ部１１と、取得部１２と、抽出部１３と、適用部１４と、変換部１５と、演算部１６と、検出部１７と、出力部１８とを有する。なお、サーバ装置１０は、図１に示した機能部以外にも既知のサーバ装置が有する各種の機能部、例えば各種の入出力デバイスなどを有することとしてもかまわない。
　このうち、通信Ｉ／Ｆ部１１は、他の装置、例えばクライアント端末３０との間で通信制御を行うインタフェースである。かかる通信Ｉ／Ｆ部１１の一態様としては、ＬＡＮカードなどのネットワークインタフェースカードを採用できる。例えば、通信Ｉ／Ｆ部１１は、クライアント端末３０から被験者の顔が撮影された画像を受信したり、バイタルサインの検出結果をクライアント端末３０へ送信したりする。
　取得部１２は、被験者が撮影された画像を取得する処理部である。一態様としては、取得部１２は、クライアント端末３０のカメラ３２によって撮影された画像を取得する。他の一態様としては、取得部１２は、被験者が撮影された画像を蓄積するハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢ（Universal　Serial　Bus）メモリなどのリムーバブルメディアから画像を取得することもできる。このように、取得部１２によって取得された画像は抽出部１３へ出力される。なお、取得部１２は、被験者が映る静止画を断続または連続して取得することもできるし、所定の圧縮符号化方式によってエンコードされた動画符号化データのストリームを取得することもできる。
　抽出部１３は、取得部１２によって取得された画像から所定の顔パーツを基準とする部分画像を抽出する処理部である。一態様としては、抽出部１３は、被験者の顔が映った画像にテンプレートマッチング等の画像処理を実行することによって被験者の眼、耳、鼻や口などの顔パーツのうち特定の顔パーツ、すなわち被験者の鼻を検出する。その上で、抽出部１３は、被験者の鼻を中心とし、中心から所定の範囲に含まれる部分画像を抽出する。これによって、被験者の鼻、鼻の周辺に位置する頬の一部の顔中心部分を含んだ部分画像がバイタルサインの検出用の画像として抽出される。その後、抽出部１３は、取得部１２によって取得された原画像から抽出した部分画像を適用部１４へ出力する。
　図２は、被験者の顔が映る画像の一例を示す図である。図２には、画像に映る被験者の眼、鼻及び口の一部または全部を含む領域が９つに分割されたブロックが図示されている。図２に示すブロックのうち上段の左及び右のブロックには、被験者の眼が映っている。これらのブロックの画像を検出に用いた場合には、眼の瞬きがノイズとなって心拍数の検出精度の低下を招く場合がある。また、図２に示すブロックのうち下段の３つのブロックには、被験者の口が映っている。これらのブロックの画像を検出に用いた場合には、口の動きがノイズとなって心拍数の検出精度の低下を招く場合がある。一方、図２に示す中段の真ん中のブロック、すなわち斜線の塗りつぶしが図示されたブロックは、眼や口が映るブロックから隔てられており、他のブロックに比べてノイズとなる成分が映っている可能性が低いので、良好な検出結果を期待できる。これらのことから、抽出部１３は、取得部１２によって取得された画像から図２に示す中段の真ん中のブロックの画像を部分画像として抽出する。
　適用部１４は、部分画像に含まれる複数の光波長成分ごとに独立成分分析、いわゆるＩＣＡ（Independent　Component　Analysis）を適用する処理部である。一態様としては、適用部１４は、抽出部１３から部分画像が入力される度に、Ｒ（Red）成分、Ｇ（Green）成分およびＢ（Blue）成分ごとに部分画像に含まれる各画素の画素値の平均値を算出する。そして、適用部１４は、部分画像の各成分の平均値が所定の時間、例えば１秒間や１分間などにわたって時系列にサンプリングされると、サンプリングされたＲ成分、Ｇ成分及びＢ成分の信号にＩＣＡを適用する。
　ここで言う「ＩＣＡ」は、多変量解析の一手法であり、情報源となる信号が独立であると仮定し、複数の観測値の信号から信号源を独立な成分に分離して抽出する計算手法である。ＩＣＡには、ＩｎｆｏＭＡＸ、ＦａｓｔＩＣＡやＪＡＤＥなどの様々なアルゴリズムが挙げられ、適用部１４にはいずれのアルゴリズムを用いることが出来る。本実施例ではＪＡＤＥを用いたアルゴリズムを説明する。適用部１４は、所定の時間にわたってサンプリングされたＲ成分、Ｇ成分及びＢ成分の各信号成分を観測値とし、Ｒ成分、Ｇ成分及びＢ成分の各信号成分から情報源である信号、すなわち微細な体動などによるノイズが除去された独立な成分の信号を推定する。かかるＩＣＡの適用によって得られた各信号のことを「ＩＣＡ信号」と記載する場合がある。このように、適用部１４によるＩＣＡの適用によってＲＧＢの各信号成分ごとに得られたＩＣＡ信号は変換部１５へ出力される。
　なお、ここでは、適用部１４が抽出部１３によって抽出された部分画像のＲＧＢの各信号成分にＩＣＡを適用する場合を例示したが、取得部１２によって取得された画像のＲＧＢの各信号成分にＩＣＡを適用することとしてもかまわない。
　変換部１５は、光波長成分を用いて得られたＩＣＡ信号を周波数成分へ変換する処理部である。一態様としては、変換部１５は、ＲＧＢの各信号成分から得られたＩＣＡ信号に離散フーリエ変換、いわゆるＤＦＴ（Discrete　Fourier　Transform）を実行する。かかるＤＦＴが実行されることによって、各ＩＣＡ信号が周波数のスペクトルへ変換される。このように、変換部１５によるＤＦＴの適用によって各ＩＣＡ信号ごとに得られたＩＣＡ信号は変換部１５へ出力される。なお、ここでは、離散フーリエ変換を適用する場合を例示したが、信号を周波数成分に展開できるものであれば他の手法を適用することもできる。例えば、開示の装置は、離散フーリエ変換の他にも、フーリエ変換、高速フーリエ変換（ＦＦＴ：Fast　Fourier　Transform）や離散コサイン変換（ＤＣＴ：Discrete　Cosine　Transform）などを適用することができる。
　演算部１６は、各ＩＣＡ信号のスペクトルに対し、各ＩＣＡ信号のスペクトルを複合する演算を実行する処理部である。かかる演算によって、ＲＧＢの各ＩＣＡ信号が複合された複合スペクトルが得られる。
　一態様としては、演算部１６は、各ＩＣＡ信号のスペクトルを積算することによって複合スペクトルを生成する。図３は、ＩＣＡ信号のスペクトルの一例を示す図である。図４は、複合スペクトルの一例を示す図である。図４には、図３に示すＩＣＡ信号のスペクトルが積算された複合スペクトルが図示されている。これら図３及び図４のグラフの縦軸は信号強度を示し、横軸は周波数（拍／分）を指す。図３に示すＦ１（ｕ）、Ｆ２（ｕ）及びＦ３（ｕ）の各ＩＣＡ信号のスペクトルは、Ｒ成分、Ｇ成分及びＢ成分の各信号成分のサンプリングデータに由来する独立成分である。演算部１６は、図３に示すＦ１（ｕ）、Ｆ２（ｕ）及びＦ３（ｕ）の各ＩＣＡ信号のスペクトルを積算する。かかる積算、すなわちＦ１（ｕ）＊Ｆ２（ｕ）＊Ｆ３（ｕ）によって、図４に示す複合スペクトルＦTimes（ｕ）が得られる。図４に示すように、複合スペクトルＦTimes（ｕ）は、上記の積算を実行することによって各ＩＣＡ信号に含まれる心拍数に起因するピーク、すなわち６０拍／分を際立たせることが可能になる。ここでは、ＩＣＡ信号が３つの場合を例示したが、２つまたは４つ以上の場合も同様にスペクトルの積算によって複合スペクトルＦTimes（ｕ）が得られる。
　他の一態様としては、演算部１６は、各ＩＣＡ信号のスペクトルを加算平均することによって複合スペクトルを生成する。図５は、複合スペクトルの一例を示す図である。図５には、図３に示したＩＣＡ信号のスペクトルが加算平均された複合スペクトルが図示されている。図５のグラフの縦軸は信号強度を示し、横軸は周波数（拍／分）を指す。演算部１６は、図３に示すＦ１（ｕ）、Ｆ２（ｕ）及びＦ３（ｕ）の各ＩＣＡ信号のスペクトルを加算平均する。かかる加算平均、すなわち（Ｆ１（ｕ）＋Ｆ２（ｕ）＋Ｆ３（ｕ））／３によって、図５に示す複合スペクトルＦAve（ｕ）が得られる。図５に示すように、複合スペクトルＦAve（ｕ）は、上記の加算平均を実行することによって各ＩＣＡ信号に含まれる心拍数に起因するピーク、すなわち６０拍／分を際立たせることが可能になる。ここでは、ＩＣＡ信号が３つの場合を示したが、２つまたは４つ以上の場合も同様にスペクトルの加算平均によって複合スペクトルＦAve（ｕ）が得られる。
　検出部１７は、複合スペクトルを用いて、被験者のバイタルサインを検出する処理部である。一態様としては、検出部１７は、人の心拍数が採り得る値として想定される周波数の区間、例えば下限値４０回／分及び上限値２４０回／分に対応する周波数の区間で複合スペクトルの最大のピークから被験者の心拍数を検出する。例えば、図４の例で言えば、３つのＩＣＡ信号が積算された複合スペクトルＦTimes（ｕ）において最大のピークが６０拍／分で計測されるので、検出部１７は、被験者の心拍数を「６０拍／分」と検出する。また、図５の例においても、３つのＩＣＡ信号が加算平均された複合スペクトルＦAve（ｕ）において最大のピークが６０拍／分で計測されるので、検出部１７は、被験者の心拍数を「６０拍／分」と検出する。
　出力部１８は、被験者のバイタルサインの検出結果をクライアント端末３０へ出力する処理部である。一態様としては、出力部１８は、検出部１７によって検出された被験者の心拍数をクライアント端末３０へ出力する。このとき、出力部１８は、心疾患の有無を診断する診断プログラム、例えばサーバ装置１０に実装されているＷｅｂアプリケーションへ被験者の心拍数を出力する。そして、出力部１８は、診断プログラムによって被験者の心疾患を診断させた診断結果を心拍数とともにクライアント端末３０へ出力することもできる。例えば、診断プログラムでは、高血圧の人物が頻脈、例えば１００回／分以上である場合に狭心症や心筋梗塞の疑いがあると診断したり、心拍数を用いて不整脈や精神疾患、例えば緊張やストレスを診断したりする。かかる診断結果を併せて出力することによって、院外、例えば在宅や在席のモニタリングサービスも可能になる。
　なお、取得部１２、抽出部１３、適用部１４、変換部１５、演算部１６、検出部１７及び出力部１８には、各種の集積回路や電子回路を採用できる。例えば、集積回路としては、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）が挙げられる。また、電子回路としては、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）などが挙げられる。
［処理の流れ］
　続いて、本実施例に係るサーバ装置１０の処理の流れについて説明する。図６は、実施例１に係る検出処理の手順を示すフローチャートである。この検出処理は、サーバ装置１０の電源がＯＮ状態である限り、繰り返し実行される処理である。
　図６に示すように、取得部１２によって被験者が映った画像が取得されると（ステップＳ１０１）、抽出部１３は、取得部１２によって取得された画像から所定の顔パーツ、例えば被験者の鼻を基準とする部分画像（ａ）を抽出する（ステップＳ１０２）。
　そして、適用部１４は、部分画像の各成分の平均値が所定の時間、例えば１秒間や１分間などにわたって時系列にサンプリングされたＲ成分、Ｇ成分及びＢ成分の信号に対してＩＣＡを適用する（ステップＳ１０３）。
　続いて、変換部１５は、ＲＧＢの各信号成分から得られたＩＣＡ信号に離散フーリエ変換を適用する（ステップＳ１０４）。これによって、ＲＧＢの各ＩＣＡ信号が周波数のスペクトルへ変換される。
　そして、演算部１６は、各ＩＣＡ信号のスペクトルに対し、各ＩＣＡ信号のスペクトルを複合する演算を実行する（ステップＳ１０５）。その上で、検出部１７は、複合スペクトルの最大のピークから被験者の心拍数を検出する（ステップＳ１０６）。その後、出力部１８は、検出部１７によって検出された被験者の心拍数をクライアント端末３０へ出力し（ステップＳ１０７）、処理を終了する。
［実施例１の効果］
　上述してきたように、本実施例に係るサーバ装置１０は、被験者が写った画像に含まれるＲＧＢの各成分にＩＣＡを適用し、各ＩＣＡ信号のスペクトルを複合する演算を行ってピークを際立たせた複合スペクトルから被験者の心拍数を検出する。したがって、本実施例に係るサーバ装置１０によれば、心拍数の検出精度を向上させることができる。
　図７は、従来手法における心拍数の検出結果を示す図である。図８は、実施例１に係る心拍数の検出結果を示す図である。図７には、測定時間を１分間とし、各ＩＣＡ信号を複合する加算平均を実行する前、すなわち図３に示したＦ２（ｕ）のＩＣＡ信号を用いて心拍数を検出した場合における検出結果と、指脈波から検出された脈拍の計測結果であるリファレンスとの比較結果が図示されている。図８には、測定時間を１分間とし、各ＩＣＡ信号を複合する加算平均を実行した上で複合スペクトルの最大ピークから心拍数を検出した場合における検出結果と、指脈波から検出された脈拍の計測結果であるリファレンスとの比較結果が図示されている。図７に示す従来手法の方では、断続的にリファレンスの計測結果から乖離した値が検出されているのに対し、図８に示す本実施例の方では、定常的にリファレンスの計測結果に追従していることがわかる。このように、図７及び図８の検出結果を比較すると、各ＩＣＡ信号を複合する加算平均を実行した本実施例の方が従来手法よりもリファレンスの計測結果に良く追従していることが確認できる。
　図９は、従来手法における心拍数の検出結果とリファレンスとの誤差を示す図である。図１０は、実施例１に係る心拍数の検出結果とリファレンスとの誤差を示す図である。これら図９及び図１０は、のべ１３人に対して動画像から心拍数を計測したときの、リファレンスである指脈波との誤差を表した結果である。平均二乗誤差に関しては、図９に示すように、加算平均の適用前は１２．８であるのに対し、図１０に示すように、加算平均の適用後は１．４となっている。このように、図９及び図１０を比較すると、加算平均の適用後の誤差が少なくなっていることが確認できる。
　図１１は、リファレンスとの一致率を示す図である。図１１には、加算平均の適用していないＦ１（ｕ）、Ｆ２（ｕ）及びＦ３（ｕ）の３つのＩＣＡ信号から心拍数を検出した結果と、ＲＧＢの３つの信号にＩＣＡは適用しないが加算平均を適用して心拍数の検出を実行した結果と、ＩＣＡと加算平均との両方を適用して心拍数の検出を実行した結果との比較結果とが図示されている。図１１の例では、測定時間内における心拍数とリファレンスとの誤差が２ｂｐｍ以内である検出結果を一致とみなした場合の一致率が図示されている。図１１に示すように、ＩＣＡと加算平均との両方を適用して心拍数の検出を実行した場合の一致率が９４．４％となっており、最も一致率が高くなっていることが確認できる。
　また、本実施例に係るサーバ装置１０は、原画像から所定の顔パーツ、例えば被験者の鼻を基準とする部分画像を抽出した上で部分画像に含まれるＲＧＢの各信号成分に対してＩＣＡを適用する。それゆえ、本実施例に係るサーバ装置１０では、被験者の眼の瞬きや口の動きなどの影響によって心拍数の検出精度が低下するのを抑制できる。
　図１２は、原画像を用いた場合の心拍数の検出結果および部分画像を用いた場合の心拍数の検出結果を示す図である。図１２には、顔全体（８０pixel×８０pixel）を測定領域として心拍数を検出したときの検出結果および顔の中心部分（８０pixel×８０pixel）を測定領域として心拍数を検出したときの検出結果が図示されている。図１２に示すように、顔全体を測定領域として心拍数を検出した場合の一致率は４８．３％であるのに対し、顔の中心部分を測定領域として心拍数を検出した場合の一致率は８３．３％であり、顔の中心部分の方がより安定して心拍数を検出することが可能である。
　さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
［心拍信号の特定］
　上記の実施例１では、心拍数を検出する場合について説明したが、開示の装置は、ＲＧＢ成分から算出された各ＩＣＡ信号のうちいずれのＩＣＡ信号が心拍信号であるのかを特定することもできる。
　開示の装置は、各ＩＣＡ信号ごとに周波数成分へ変換されたスペクトルのピークと、複合スペクトルのピークとを比較し、各ＩＣＡ信号のうち複合スペクトルの最大ピークと最も最大ピークが近いＩＣＡ信号を被験者の心拍が情報源である信号、いわゆる心拍信号と特定する。
　これを説明すると、開示の装置は、複合スペクトルの最大ピークを基準とする所定の範囲、例えば最大ピーク±５の範囲に最大ピークが存在するＩＣＡ信号が１つだけ存在する場合には、当該ＩＣＡ信号を心拍信号と特定する。
　一方、開示の装置は、複合スペクトルの最大ピークを基準とする所定の範囲に最大ピークが存在するＩＣＡ信号が複数存在する場合には、次のような処理を実行する。すなわち、開示の装置は、各ＩＣＡ信号ごとに当該ＩＣＡ信号のスペクトルの移動平均を算出する。そして、開示の装置は、移動平均算出後のスペクトルの周波数を確率変数、信号強度を確率密度とする確率密度関数とみなし、確率密度関数に起因する確率分布の分散をＩＣＡ信号ごとに算出する。
　例えば、開示の装置は、各ＩＣＡ信号のスペクトルのうち人の心拍数が採り得る値として想定される周波数の区間、例えば下限値４０回／分及び上限値２４０回／分に対応する周波数の区間を確率密度関数とみなし、下記の式（１）を用いて、スペクトルの分散Ｖ（ｘ）をＩＣＡ信号ごとに算出する。なお、下記の式（１）における「Ｆ（ｘ）」は、スペクトルの関数を指し、「Ｘ」は、心拍数を表す確率変数を指し、「Ｅ（Ｘ）」は、心拍数の期待値を指し、「ａ」は、心拍数の範囲の下限値を指し、「ｂ」は、心拍数の上限値を指す。上記の下限値、および上限値の範囲において、スペクトルに複数の際立ったピークが存在する場合がある。複数のピークが存在する場合は分散Ｖで心拍信号を特定することが困難となるため、複数のピークの影響を抑えるために、下限値および上限値を任意に調整することが出来る。
Figure JPOXMLDOC01-appb-M000001
　その上で、開示の装置は、各ＩＣＡ信号のうちスペクトルの分散が最小となるＩＣＡ信号を心拍信号と特定する。その後、開示の装置は、心拍信号と特定されたＩＣＡ信号であって移動平均が実行される前のＩＣＡ信号のスペクトルの最大ピークから被験者の心拍数を検出する。
　図１３は、応用例に係る検出処理の手順を示すフローチャートである。この検出処理は、図６に示した検出処理と同様に、サーバ装置１０の電源がＯＮ状態である限り、繰り返し実行される処理である。
　図１３に示すように、被験者が映った画像が取得されると（ステップＳ３０１）、開示の装置は、ステップＳ３０１で取得された画像から所定の顔パーツ、例えば被験者の鼻を基準とする部分画像（ａ）を抽出する（ステップＳ３０２）。
　そして、開示の装置は、部分画像の各成分の平均値が所定の時間、例えば１秒間や１分間などにわたって時系列にサンプリングされたＲ成分、Ｇ成分及びＢ成分の信号に対してＩＣＡを適用する（ステップＳ３０３）。
　続いて、開示の装置は、ＲＧＢの各信号成分から得られたＩＣＡ信号に離散フーリエ変換を適用する（ステップＳ３０４）。これによって、各ＩＣＡ信号が周波数のスペクトルへ変換される。
　そして、開示の装置は、各ＩＣＡ信号のスペクトルに対し、各ＩＣＡ信号のスペクトルを複合する演算を実行する（ステップＳ３０５）。その後、開示の装置は、各ＩＣＡ信号ごとに周波数成分へ変換されたスペクトルのピークと、複合スペクトルのピークとを比較する（ステップＳ３０６）。
　このとき、複合スペクトルの最大ピークを基準とする所定の範囲に最大ピークが存在するＩＣＡ信号が１つだけ存在する場合（ステップＳ３０７　Ｙｅｓ）には、当該ＩＣＡ信号を心拍信号と特定することができる。この場合には、ステップＳ３１２へ移行する。
　一方、複合スペクトルの最大ピークを基準とする所定の範囲に最大ピークが存在するＩＣＡ信号が複数存在する場合（ステップＳ３０７　ＮｏかつステップＳ３０８　Ｙｅｓ）には、開示の装置は、各ＩＣＡ信号ごとに当該ＩＣＡ信号のスペクトルの移動平均を算出する（ステップＳ３０９）。
　そして、開示の装置は、ステップＳ３０９で移動平均が実行された後のスペクトルの分散をＩＣＡ信号ごとに算出する（ステップＳ３１０）。その上で、開示の装置は、各ＩＣＡ信号のうちスペクトルの分散が最小となるＩＣＡ信号を心拍信号と特定する（ステップＳ３１１）。
　その後、開示の装置は、心拍信号と特定されたＩＣＡ信号であって移動平均が実行される前のＩＣＡ信号のスペクトルの最大ピークから被験者の心拍数を検出する（ステップＳ３１２）。
　最後に、開示の装置は、ステップＳ３１２で検出された被験者の心拍数を始め、ステップＳ３１２で特定された心拍信号から診断された診断結果をクライアント端末３０へ出力し（ステップＳ３１３）、処理を終了する。
　なお、図１３に示したフローチャートでは、複合スペクトルの最大ピークを基準とする所定の範囲に最大ピークが存在するＩＣＡ信号が複数存在する場合にステップＳ３０９～ステップＳ３１０の処理を実行する場合を例示したが、ステップＳ３０６～ステップＳ３０８の処理を行わずにステップＳ３０９～ステップＳ３１０の処理を実行することもできる。
　このように、複数のＩＣＡ信号の中から心拍信号を特定することによって画像から心拍数だけでなく、心拍変動も検出することが可能になる。例えば、開示の装置は、心拍信号から心拍間隔、いわゆるＲＲＩ（R-R　Interval）の周期的な変動を「心拍変動」または「心拍ゆらぎ」として検出できる。これによって、画像から被験者をモニタリングできる内容をさらに拡充することが可能になる。
［呼吸数の検出］
　また、上記の実施例１では、バイタルサインの一例として心拍数を検出する場合を例示したが、検出可能なバイタルサインは心拍数に限定されず、他のバイタルサイン、例えば呼吸数を検出することも可能である。
　例えば、開示の装置は、被験者の胸や腹の一部が映った原画像または部分画像から呼吸数を検出できる。すなわち、開示の装置は、人の呼吸数が採り得る値として想定される周波数の区間、例えば下限値１０回／分及び上限値６０回／分に対応する周波数の区間で複合スペクトルの最大のピークから被験者の心拍数を検出する。
　図１４は、呼吸数の検出結果の一例を示す図である。図１４には、周波数の区間を０．１６Ｈｚ～１．０Ｈｚ、すなわち１０回／分から上限値６０回／分までの区間を対象に複合スペクトルの最大ピークから呼吸数を検出した場合の検出結果と、ゴム様バンドの伸縮を利用して測定された呼吸数の測定結果とが図示されている。後述の呼吸数の測定結果をリファレンスとしたとき、図１４に示すように、被験者の胸が映った画像から検出された呼吸数は、リファレンスに対して一定の精度で追従していることが確認できる。なお、呼吸数を検出する場合には、必ずしも被験者の胸や腹の肌が画像に映っている必要はなく、被験者が衣服等を装着した状態で撮影された画像からでも呼吸数を検出することができる。
［ＩＣＡを適用する入力信号］
　上記の実施例１では、入力信号としてＲＧＢの三種類を例示したが、ＩＲなど異なる波長成分を入力信号としても良い。また、入力信号として、異なる測定部位の信号、例えばＧ成分を用いるなど、その他の組み合わせや４種以上の入力信号であっても良い。
　例えば、開示の装置は、取得部１２によって取得された原画像または抽出部１３によって抽出された部分画像に含まれる異なる部位の成分に対して独立成分分析を適用することもできる。図１５は、ＩＣＡを適用する入力信号の応用例を示す図である。図１５に示すように、開示の装置は、取得部１２によって取得された原画像のうち被験者の右頬が映ったブロック画像ｂ１、被験者の鼻が映ったブロック画像ｂ２および被験者の左頬が映ったブロック画像ｂ３を抽出する。そして、開示の装置は、原画像のフレームからブロック画像ｂ１～ｂ３が抽出される度に、ブロック画像ｂ１～ｂ３のＧ成分を対象に各画素の画素値の平均値を算出する。続いて、開示の装置は、ブロック画像ｂ１～ｂ３の平均値が所定の時間、例えば１秒間や１分間などにわたって時系列にサンプリングされると、サンプリングされたブロック画像ｂ１～ｂ３の３つのＧ成分の信号ｇ１、ｇ２及びｇ３にＩＣＡを適用する。これによって、上記の実施例１のように必ずしもＲＧＢの３つの成分を用いずとも、複数のＩＣＡ信号を得ることが出来る。
　このようにして被験者の顔が映った原画像のうち被験者の右頬、鼻および左頬が映ったブロック画像ｂ１～ｂ３のＧ信号ｇ１～ｇ３を抽出し、これらのＧ信号ｇ１～ｇ３を入力信号としてＩＣＡを適用することもできる。これによって、１つのフレームに含まれる異なる部位のブロック画像から複数のＩＣＡ信号を得ることができる結果、一部の部位に体動が含まれていたとしても他の部位から算出されたＩＣＡ信号によってその影響を緩和して心拍数等のバイタルサインを検出できる。なお、ここでは、右頬、鼻および左頬の３つの部位のＧ信号を抽出する場合を例示したが、抽出する部位は２つまたは４つ以上であってもかまわない。
［分散および統合］
　また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
　例えば、上記の実施例１では、サーバ装置１０が画像から検出した心拍数をクライアント端末３０へ提供するクライアントサーバシステムを例示したが、サーバ装置１０が有する取得部１２、抽出部１３、適用部１４、変換部１５、演算部１６、検出部１７及び出力部１８などの機能部に対応する処理を実行するバイタルサイン検出プログラムをクライアント端末３０で実行させることによってクライアント端末３０をスタンドアローンで動作させることも可能である。また、取得部１２、抽出部１３、適用部１４、変換部１５、演算部１６、検出部１７及び出力部１８のうち一部の機能部をサーバ装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。例えば、ＩＣＡやＤＦＴなどの演算は処理負荷が高いので、クライアントサーバ間でスペックが高いサーバ装置１０によって処理させる観点から、取得部１２および抽出部１３をクライアント端末３０に実装させ、適用部１４、変換部１５、演算部１６、検出部１７および出力部１８をサーバ装置１０に実装させることもできる。また、取得部１２、抽出部１３、適用部１４、変換部１５、演算部１６、検出部１７及び出力部１８のうち一部の機能部を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のサーバ装置１０の機能を実現するようにしてもよい。
［バイタルサイン検出プログラム］
　また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１６を用いて、上記の実施例と同様の機能を有するバイタルサイン検出プログラムを実行するコンピュータの一例について説明する。
　図１６は、実施例１及び実施例２に係るバイタルサイン検出プログラムを実行するコンピュータの一例について説明するための図である。図１６に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０～１８０の各部はバス１４０を介して接続される。
　ＨＤＤ１７０には、図１６に示すように、上記の実施例１で示した取得部１２、抽出部１３、適用部１４、変換部１５、演算部１６、検出部１７及び出力部１８と同様の機能を発揮するバイタルサイン検出プログラム１７０ａが予め記憶される。このバイタルサイン検出プログラム１７０ａについては、図１に示した各々の取得部１２、抽出部１３、適用部１４、変換部１５、演算部１６、検出部１７及び出力部１８の各構成要素と同様、適宜統合又は分離しても良い。すなわち、ＨＤＤ１７０に格納される各データは、常に全てのデータがＨＤＤ１７０に格納される必要はなく、処理に必要なデータのみがＨＤＤ１７０に格納されれば良い。
　そして、ＣＰＵ１５０が、バイタルサイン検出プログラム１７０ａをＨＤＤ１７０から読み出してＲＡＭ１８０に展開する。これによって、図１６に示すように、バイタルサイン検出プログラム１７０ａは、バイタルサイン検出プロセス１８０ａとして機能する。このバイタルサイン検出プロセス１８０ａは、ＨＤＤ１７０から読み出した各種データを適宜ＲＡＭ１８０上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、バイタルサイン検出プロセス１８０ａは、図１に示した取得部１２、抽出部１３、適用部１４、変換部１５、演算部１６、検出部１７及び出力部１８にて実行される処理、例えば図６や図１３に示す処理を含む。また、ＣＰＵ１５０上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ１５０上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。
　なお、上記のバイタルサイン検出プログラム１７０ａについては、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶させておく必要はない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。
　　１０　　サーバ装置
　　１１　　通信Ｉ／Ｆ部
　　１２　　取得部
　　１３　　抽出部
　　１４　　適用部
　　１５　　変換部
　　１６　　演算部
　　１７　　検出部
　　１８　　出力部
　　３０　　クライアント端末
　　３１　　通信Ｉ／Ｆ部
　　３２　　カメラ
　　３３　　表示部

Claims (11)

  1. 　コンピュータが、
    　撮影装置によって被験者が撮影された画像を取得し、
    　前記画像に含まれる複数の光波長成分の信号に対して独立成分分析を適用し、
    　前記独立成分分析の適用によって得られた複数の独立成分信号を周波数成分へ変換し、
    　各独立成分信号に周波数成分へ変換されたスペクトルに対し、各独立成分信号のスペクトルを複合する演算を実行し、
    　前記演算によって得られた複合スペクトルを用いて、前記被験者のバイタルサインを検出する
    　処理を実行することを特徴とするバイタルサイン検出方法。
  2. 　前記演算を実行する処理として、
    　各独立成分信号のスペクトルを積算する処理を実行することを特徴とする請求項１に記載のバイタルサイン検出方法。
  3. 　前記演算を実行する処理として、
    　各独立成分信号のスペクトルを加算平均する処理を実行することを特徴とする請求項１に記載のバイタルサイン検出方法。
  4. 　前記コンピュータが、
    　各独立成分信号ごとに周波数成分へ変換されたスペクトルのピークと、前記演算によって得られた複合スペクトルのピークとを比較することによって各独立成分信号の中から前記被験者の心拍が情報源である信号を特定する処理をさらに実行することを特徴とする請求項１に記載のバイタルサイン検出方法。
  5. 　前記被験者の心拍が情報源である信号を特定する処理として、
    　各独立成分信号のスペクトルの移動平均を算出した上で移動平均の実行後のスペクトルを確率密度関数とみなし、各確率密度関数に起因する分散を算出して比較を行い、分散が最小となる独立成分信号を特定することを特徴とする請求項４に記載のバイタルサイン検出方法。
  6. 　前記被験者の心拍が情報源である信号を特定する処理として、
    　前記複合スペクトルとの間でピークが一致する独立成分信号のスペクトルを対象に移動平均を算出することを特徴とする請求項５に記載のバイタルサイン検出方法。
  7. 　前記画像は、前記被験者の顔を含む画像であって、
    　前記コンピュータが、
    　前記画像から所定の顔パーツを基準とする部分画像を抽出する処理をさらに実行し、
    　前記独立成分分析を適用する処理として、
    　前記部分画像に含まれる各光波長成分の信号ごとに前記独立成分分析を適用する処理を実行することを特徴とする請求項１に記載のバイタルサイン検出方法。
  8. 　前記複数の光波長成分の信号として、
    　画像の異なる部位の成分に対して独立成分分析を適用することを特徴とする請求項１に記載のバイタルサイン検出方法。
  9. 　前記バイタルサインを検出する処理として、
    　前記演算によって得られた複合スペクトルを用いて、前記被験者の心拍数、呼吸数または前記心拍数と前記呼吸数の組合せを検出することを特徴とする請求項１に記載のバイタルサイン検出方法。
  10. 　撮影装置によって被験者が撮影された画像を取得する取得部と、
    　前記画像に含まれる複数の光波長成分の信号に対して独立成分分析を適用する適用部と、
    　前記独立成分分析の適用によって得られた複数の独立成分信号を周波数成分へ変換する変換部と、
    　各独立成分信号ごとに周波数成分へ変換されたスペクトルに対し、各独立成分信号のスペクトルを複合する演算を実行する演算部と、
    　前記演算によって得られた複合スペクトルを用いて、前記被験者のバイタルサインを検出する検出部と
    　を有することを特徴とするバイタルサイン検出装置。
  11. 　コンピュータに、
    　撮影装置によって被験者が撮影された画像を取得し、
    　前記画像に含まれる複数の光波長成分の信号に対し独立成分分析を適用し、
    　前記独立成分分析の適用によって得られた複数の独立成分信号を周波数成分へ変換し、
    　各独立成分信号ごとに周波数成分へ変換されたスペクトルに対し、各独立成分信号のスペクトルを複合する演算を実行し、
    　前記演算によって得られた複合スペクトルを用いて、前記被験者のバイタルサインを検出する
    　処理を実行させることを特徴とするバイタルサイン検出プログラム。
PCT/JP2012/066794 2012-06-29 2012-06-29 バイタルサイン検出方法、バイタルサイン検出装置及びバイタルサイン検出プログラム WO2014002276A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014522344A JP5920465B2 (ja) 2012-06-29 2012-06-29 バイタルサイン検出方法、バイタルサイン検出装置及びバイタルサイン検出プログラム
PCT/JP2012/066794 WO2014002276A1 (ja) 2012-06-29 2012-06-29 バイタルサイン検出方法、バイタルサイン検出装置及びバイタルサイン検出プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/066794 WO2014002276A1 (ja) 2012-06-29 2012-06-29 バイタルサイン検出方法、バイタルサイン検出装置及びバイタルサイン検出プログラム

Publications (1)

Publication Number Publication Date
WO2014002276A1 true WO2014002276A1 (ja) 2014-01-03

Family

ID=49782499

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/066794 WO2014002276A1 (ja) 2012-06-29 2012-06-29 バイタルサイン検出方法、バイタルサイン検出装置及びバイタルサイン検出プログラム

Country Status (2)

Country Link
JP (1) JP5920465B2 (ja)
WO (1) WO2014002276A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015173810A (ja) * 2014-03-14 2015-10-05 富士通株式会社 検出装置、検出プログラム、及び検出方法
JP2015198789A (ja) * 2014-04-08 2015-11-12 富士通株式会社 情報処理装置、脈波計測プログラムおよび脈波計測方法
JP2017093760A (ja) * 2015-11-22 2017-06-01 国立大学法人埼玉大学 心拍に連動する周期的変動の計測装置及び計測方法
JP2017515534A (ja) * 2014-04-01 2017-06-15 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 対象の心拍を用いる目立たない排卵追跡システム及び方法
JP2017148401A (ja) * 2016-02-26 2017-08-31 国立大学法人静岡大学 周波数測定器、周波数測定方法及び周波数測定プログラム
JP2020054014A (ja) * 2015-10-29 2020-04-02 パナソニックＩｐマネジメント株式会社 画像処理装置及びこれを備えた脈拍推定システムならびに画像処理方法
JP2022088472A (ja) * 2016-10-21 2022-06-14 シチズン時計株式会社 検出装置
WO2022130610A1 (ja) * 2020-12-18 2022-06-23 株式会社日立製作所 身体能力評価サーバ、身体能力評価システム、及び身体能力評価方法
US11647913B2 (en) 2015-10-29 2023-05-16 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and pulse estimation system provided therewith, and image processing method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102369059B1 (ko) * 2021-06-25 2022-03-03 주식회사 무하유 비접촉식 심박 측정 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010264095A (ja) * 2009-05-15 2010-11-25 Nissan Motor Co Ltd 心拍数測定装置および心拍数測定方法
JP2011130996A (ja) * 2009-12-25 2011-07-07 Denso Corp 生体活動計測装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010264095A (ja) * 2009-05-15 2010-11-25 Nissan Motor Co Ltd 心拍数測定装置および心拍数測定方法
JP2011130996A (ja) * 2009-12-25 2011-07-07 Denso Corp 生体活動計測装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015173810A (ja) * 2014-03-14 2015-10-05 富士通株式会社 検出装置、検出プログラム、及び検出方法
US9743913B2 (en) 2014-04-01 2017-08-29 Koninklijke Philips N.V. Unobtrusive ovulation tracking system and method using a subject's heart rate
JP2017515534A (ja) * 2014-04-01 2017-06-15 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 対象の心拍を用いる目立たない排卵追跡システム及び方法
JP2015198789A (ja) * 2014-04-08 2015-11-12 富士通株式会社 情報処理装置、脈波計測プログラムおよび脈波計測方法
JP2020054014A (ja) * 2015-10-29 2020-04-02 パナソニックＩｐマネジメント株式会社 画像処理装置及びこれを備えた脈拍推定システムならびに画像処理方法
US11647913B2 (en) 2015-10-29 2023-05-16 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and pulse estimation system provided therewith, and image processing method
JP2017093760A (ja) * 2015-11-22 2017-06-01 国立大学法人埼玉大学 心拍に連動する周期的変動の計測装置及び計測方法
JP2017148401A (ja) * 2016-02-26 2017-08-31 国立大学法人静岡大学 周波数測定器、周波数測定方法及び周波数測定プログラム
JP2022088472A (ja) * 2016-10-21 2022-06-14 シチズン時計株式会社 検出装置
JP7322227B2 (ja) 2016-10-21 2023-08-07 シチズン時計株式会社 検出装置
US11793448B2 (en) 2016-10-21 2023-10-24 Citizen Watch Co., Ltd. Detection device
WO2022130610A1 (ja) * 2020-12-18 2022-06-23 株式会社日立製作所 身体能力評価サーバ、身体能力評価システム、及び身体能力評価方法
JP7461511B2 (ja) 2020-12-18 2024-04-03 株式会社日立製作所 身体能力評価サーバ、身体能力評価システム、及び身体能力評価方法

Also Published As

Publication number Publication date
JPWO2014002276A1 (ja) 2016-05-30
JP5920465B2 (ja) 2016-05-18

Similar Documents

Publication Publication Date Title
JP5920465B2 (ja) バイタルサイン検出方法、バイタルサイン検出装置及びバイタルサイン検出プログラム
JP5915757B2 (ja) 脈波検出方法、脈波検出装置及び脈波検出プログラム
EP3057486B1 (en) Automatic camera adjustment for remote photoplethysmography
JP6098257B2 (ja) 信号処理装置、信号処理方法及び信号処理プログラム
JP6123885B2 (ja) 血流指標算出方法、血流指標算出プログラム及び血流指標算出装置
JP6219279B2 (ja) バイタルサインのリモートモニタリング
JP6098304B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
JP6393984B2 (ja) 脈拍計測装置、脈拍計測方法及び脈拍計測プログラム
WO2015121949A1 (ja) 信号処理装置、信号処理方法及び信号処理プログラム
JP6115263B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
Yu et al. Noncontact monitoring of heart rate and heart rate variability in geriatric patients using photoplethysmography imaging
US11083382B2 (en) Method, information processing apparatus and server for determining a physiological parameter of an individual
Al-Naji et al. Simultaneous tracking of cardiorespiratory signals for multiple persons using a machine vision system with noise artifact removal
Nisar et al. Contactless heart rate monitor for multiple persons in a video
JP6135255B2 (ja) 心拍測定プログラム、心拍測定方法及び心拍測定装置
JP6020015B2 (ja) 脈波検出装置、脈波検出プログラム及び脈波検出方法
Fernández et al. Unobtrusive health monitoring system using video-based physiological information and activity measurements
JP6488722B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
JP6167849B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
WO2017082165A1 (ja) 呼吸推定方法および装置
Beatson et al. Calculating a vagal tone index using webcam photoplethysmography
Anusree et al. A noncontact vital sign monitoring algorithm using a camera
Abbas et al. Contactless Vital Signs Monitoring for Public Health Welfare
Nisar et al. A Non Invasive Heart Rate Measurement System for Multiple People in the Presence of Motion and Varying Illumination
Tangjui et al. Robust Method for Non-Contact Vital Sign Measurement in Videos Acquired in Real-World Light Settings from Skin Less Affected by Blood Perfusion

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12880098

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014522344

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12880098

Country of ref document: EP

Kind code of ref document: A1