WO2017104056A1 - 生体情報計測装置、生体情報計測方法および生体情報計測プログラム - Google Patents

生体情報計測装置、生体情報計測方法および生体情報計測プログラム Download PDF

Info

Publication number
WO2017104056A1
WO2017104056A1 PCT/JP2015/085417 JP2015085417W WO2017104056A1 WO 2017104056 A1 WO2017104056 A1 WO 2017104056A1 JP 2015085417 W JP2015085417 W JP 2015085417W WO 2017104056 A1 WO2017104056 A1 WO 2017104056A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
wavelength side
biological information
pixel
time
Prior art date
Application number
PCT/JP2015/085417
Other languages
English (en)
French (fr)
Inventor
福西　宗憲
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2015/085417 priority Critical patent/WO2017104056A1/ja
Priority to JP2016564289A priority patent/JP6585623B2/ja
Priority to US15/392,431 priority patent/US9978144B2/en
Publication of WO2017104056A1 publication Critical patent/WO2017104056A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30076—Plethysmography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques

Definitions

  • the present invention relates to a biological information measuring device, a biological information measuring method, and a biological information measuring program for measuring biological information based on an image.
  • a technique for grasping a subject's health condition using vital information such as a heart rate and oxygen saturation
  • vital information such as a heart rate and oxygen saturation
  • a technique is known in which a living body irradiated with red light and near-infrared light is imaged by an image sensor, and the heart rate of the living body is acquired based on image data generated by the image sensor ( For example, see Patent Document 1 and Non-Patent Document 1). *
  • the signal values of the respective color components of red (R), green (G), and blue (B) are calculated based on the image signal obtained by imaging the face area of the subject.
  • a plurality of one-dimensional signals are generated in a series, and signal components are separated by using independent component analysis (ICA) to extract heart rate components.
  • ICA independent component analysis
  • Patent Document 1 and Non-Patent Document 1 are based on the premise that each signal value of a general R component, G component, and B component is used, and changes in biological characteristics and lighting environment are taken into consideration. It wasn't what it was. For example, good results can be obtained in an environment where there is no change in indoor lighting, but heartbeats cannot be stably extracted in an environment where lighting conditions vary, such as outdoors.
  • the present invention has been made in view of the above, and provides a biological information measuring device, a biological information measuring method, and a biological information measuring program capable of stably detecting biological information such as a heartbeat regardless of the environment. With the goal.
  • a biological information measuring apparatus is a biological information measuring apparatus that measures biological information based on subject images acquired sequentially in time series.
  • a plurality of first pixels having a sensitivity range in the absorption wavelength band of hemoglobin, generating a first imaging signal based on the received light, and a longer wavelength on the longer wavelength side than the sensitivity range of the first pixel A side sensitivity region, a short wavelength side sensitivity region on the short wavelength side, the width of the long wavelength side sensitivity region and the short wavelength side sensitivity region is smaller than the width of the sensitivity region of the first pixel, and received light
  • a time series in which a plurality of second pixels that generate a second imaging signal based on the first imaging signal and a representative value of the second imaging signal generated in time series are connected in time series
  • a time-series signal generation unit for generating a signal, and the time-series signal includes a plurality of signal components;
  • a signal component separating unit for separating, from a plurality of
  • a biological information measurement method is a biological information measurement apparatus that measures biological information based on subject images acquired sequentially in time series.
  • a plurality of first pixels having a sensitivity range in the absorption wavelength band of hemoglobin generates a first imaging signal based on received light in time series, and the sensitivity of the first pixel
  • a long wavelength side sensitivity region on the long wavelength side and a short wavelength side sensitivity region on the short wavelength side, and the width of the long wavelength side sensitivity region and the short wavelength side sensitivity region is the sensitivity region of the first pixel.
  • a plurality of second pixels smaller than the width of the second pixel generates a second imaging signal based on the received light in time series, and the first imaging signal and the second imaging signal generated in time series Generate a time series signal that connects the representative values along the time series, and Series signal, into a plurality of signal components, a plurality of signal components separated, selects the signal component corresponding to the biometric information, and wherein the.
  • a biological information measurement program is a biological information measurement program that measures biological information based on subject images acquired sequentially in time series.
  • the plurality of first pixels having a sensitivity region in the absorption wavelength band of hemoglobin generates a first imaging signal based on the received light in time series, and is longer than the sensitivity region of the first pixel.
  • a long wavelength side sensitivity region and a short wavelength side sensitivity region on the short wavelength side, and a plurality of widths of the long wavelength side sensitivity region and the short wavelength side sensitivity region are smaller than the width of the sensitivity region of the first pixel.
  • the second pixel of the first pixel generates a second imaging signal based on the received light in time series, and represents the first imaging signal and the second imaging signal generated in time series. Generates a time-series signal that connects values along a time series.
  • a time-series signal generation procedure, a signal separation procedure for separating the time-series signal into a plurality of signal components, and a biological information component selection for selecting a signal component corresponding to the biological information among the separated signal components And having the computer execute the procedure.
  • FIG. 1 is a block diagram showing a functional configuration of a biological information measuring apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating the configuration of the image sensor according to the embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an example of sensitivity characteristics of the image sensor according to the embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of a developed image corresponding to the image data generated by the image sensor according to the embodiment of the present invention.
  • FIG. 5 is a diagram for explaining the signal components generated by the signal component separation unit according to the embodiment of the present invention.
  • FIG. 6 is a diagram showing sensitivity characteristics of each pixel when a general RGB filter is used.
  • FIG. 1 is a block diagram showing a functional configuration of a biological information measuring apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating the configuration of the image sensor according to the embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an example of sensitivity characteristics of
  • FIG. 7 is a diagram for explaining the signal components generated by the signal component separation unit using the developed image data obtained when the RGB filter is used.
  • FIG. 8 is a diagram illustrating a pulse wave measurement result by a contact-type fingertip volume pulse wave (BVP) sensor.
  • FIG. 9 is a diagram illustrating an analysis result obtained by performing signal component separation and frequency analysis based on the imaging signal (RAW image data).
  • FIG. 10 is a diagram illustrating an analysis result obtained by performing signal component separation and frequency analysis based on the imaging signal (RAW image data).
  • FIG. 11 is a diagram illustrating an analysis result obtained by performing signal component separation and frequency analysis based on the imaging signal (RAW image data).
  • FIG. 12 is a diagram illustrating an analysis result obtained by performing signal component separation and frequency analysis based on the imaging signal (RAW image data).
  • FIG. 13 is a diagram illustrating an analysis result obtained by performing signal component separation and frequency analysis based on the imaging signal (RAW image data).
  • FIG. 14 is a diagram illustrating an analysis result obtained by performing signal component separation and frequency analysis based on the imaging signal (RAW image data).
  • FIG. 15 is a diagram illustrating an analysis result obtained by performing signal component separation and frequency analysis based on the imaging signal (RAW image data).
  • FIG. 16 is a graph showing molar extinction coefficients of hemoglobin (HbO 2 , Hb) and melanin (Eumelanin, Pheomelanin).
  • FIG. 17 is a diagram illustrating an example of sensitivity characteristics of the second pixel.
  • FIG. 18 is a diagram illustrating an example of sensitivity characteristics of the second pixel.
  • FIG. 19 is a diagram for explaining the relationship between the sensitivity characteristic of the second pixel and heartbeat detection.
  • FIG. 20 is a diagram for explaining the relationship between the sensitivity characteristic of the second pixel and heartbeat detection.
  • FIG. 21 is a diagram for explaining the relationship between the sensitivity characteristic of the second pixel and heartbeat detection.
  • FIG. 22 is a diagram for explaining the relationship between the sensitivity characteristic of the second pixel and heartbeat detection.
  • FIG. 23 is a diagram for explaining the relationship between the sensitivity characteristic of the second pixel and heartbeat detection.
  • FIG. 24 is a diagram for explaining the relationship between the sensitivity characteristic of the second pixel and heartbeat detection.
  • FIG. 25 is a diagram for explaining the relationship between the sensitivity characteristic of the second pixel and heartbeat detection.
  • FIG. 26 is a diagram for explaining the relationship between the sensitivity characteristic of the second pixel and heartbeat detection.
  • FIG. 27 is a diagram illustrating an analysis result when the sensitivity range of the second pixel is set to a wavelength band of 470 nm to 530 nm on the short wavelength side and 590 nm to 650 nm on the long wavelength side of the first pixel.
  • FIG. 28 is a flowchart for describing processing performed by the biological information measuring apparatus according to the embodiment of the invention.
  • FIG. 29 is a diagram illustrating an example of sensitivity characteristics of an image sensor according to a modification of the embodiment of the present invention.
  • FIG. 1 is a block diagram showing a functional configuration of a biological information measuring apparatus according to an embodiment of the present invention.
  • 1 includes an optical system 21, an image sensor 22, a filter array 23, an A / D conversion unit 24, an image generation unit 25, a face detection unit 26, and an average value calculation unit. 27, a time series data generation unit 28, a trend removal unit 29, a signal component separation unit 30, a frequency analysis unit 31, a signal selection unit 32, an output unit 33, a control unit 34, and a recording unit 35.
  • the optical system 21 is configured by using one or a plurality of lenses, for example, a focus lens, a zoom lens, a squeeze and a shutter, and forms a subject image on the light receiving surface of the image sensor 22.
  • the image sensor 22 continuously generates image data according to a predetermined frame (60 fps) by receiving a subject image transmitted through the filter array 23 and performing photoelectric conversion.
  • the image sensor 22 is a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device) that photoelectrically converts the light transmitted through the filter array 23 by each of a plurality of pixels arranged in a two-dimensional shape, or the like. It is configured using.
  • the filter array 23 is disposed on the light receiving surface of the image sensor 22.
  • FIG. 2 is a diagram illustrating the configuration of the image sensor 22.
  • the filter array 23 includes a first filter that transmits light in the wavelength band of 530 nm to 590 nm and a second filter that transmits light in the wavelength bands of 500 nm to 530 nm and 590 nm to 620 nm. Are arranged in a matrix or in a predetermined pattern. In the following description, as shown in FIG. 2, the pixel in which the first filter is arranged is described as a first pixel P 1 , and the pixel in which the second filter is arranged is described as a second pixel P 2 .
  • FIG. 3 is a diagram illustrating an example of sensitivity characteristics of the image sensor 22.
  • the horizontal axis indicates the wavelength (nm), and the vertical axis indicates the sensitivity.
  • a curve L 1 indicates the sensitivity characteristic of the first pixel P 1 provided with the first filter
  • a curve L 2 indicates the sensitivity characteristic of the second pixel P 2 provided with the second filter. Show.
  • the first pixel P 1 has sensitivity (peak) to light in the wavelength band of 530 nm to 590 nm because the first filter transmits light in the wavelength band of 530 nm to 590 nm.
  • the first pixel P 1 receives the light transmitted through the first filter and generates an electrical signal.
  • the plurality of electrical signals generated by the plurality of first pixels P 1 are collectively referred to as a first imaging signal.
  • the second pixel P 2 receives light having a wavelength band of 500 nm to 530 nm and 590 nm to 620 nm that has passed through the second filter.
  • a curve L 2 indicating the sensitivity of the second pixel P 2 is a sensitivity (peak) with respect to light having a wavelength band of 500 nm to 530 nm (short wavelength side sensitivity range) which is shorter than the sensitivity range of the first pixel P 1.
  • the second curve having a first curve L 21, sensitive to light from the sensitivity region of the first pixel P 1 is a long-wavelength side 590 nm ⁇ wavelength band of 620 nm (long-wavelength side sensitivity range) (peak) with L 22 is included.
  • the sensitivity range of the second pixel P 2 is, may be a duplicate of a portion of the first sensitivity range of the pixel P 1, the first sensitivity range of the pixel P 1, be one having a slight sensitivity May be.
  • the second pixel P 2 receives the light transmitted through the second filter and generates an electrical signal.
  • the width of the sensitivity range of the second pixel P 2 is smaller than the width of the sensitivity range of the first pixel P 1 .
  • the plurality of electrical signals generated by the plurality of second pixels P 2 are collectively referred to as a second imaging signal.
  • the A / D converter 24 converts the analog first and second imaging signals (image data) input from the imaging device 22 into digital image data (RAW image data) to generate an image.
  • the A / D converter 24 sequentially converts analog image data sequentially output from the image sensor 22 for each frame into RAW image data and inputs the RAW image data to the image generator 25.
  • the image generation unit 25 acquires RAW image data generated by the A / D conversion unit 24, performs image generation processing, and a first luminance corresponding to the signal value of each electrical signal of the first imaging signal;
  • the developed image data to which the second luminance corresponding to the signal value of each electrical signal of the second imaging signal is given is generated.
  • the image generation unit 25 inputs the generated developed image data to the face detection unit 26 and the average value calculation unit 27, respectively.
  • the image generation unit 25 may generate a developed image using a so-called demosaicing process in which each channel is interpolated with surrounding pixels to generate a plurality of channel data for each pixel.
  • a developed image may be generated by calculating an average value of the channels. In this case, the image size of the RAW image data and the image size of the developed image are not necessarily the same.
  • the face detection unit 26 detects a region including the face of the subject included in the image corresponding to the developed image data input from the image generation unit 25 (hereinafter also referred to as a face region) using a known pattern matching or the like.
  • the detection result is input to the average value calculation unit 27.
  • a publicly known face detection algorithm such as Active Appearance Models (AAMs), Active Shape Models (ASMs), or Constrained Local Models (CLMs) may be used.
  • AAMs Active Appearance Models
  • ASMs Active Shape Models
  • CLMs Constrained Local Models
  • FIG. 4 is a diagram showing an example of a developed image corresponding to the image data generated by the image sensor 22 according to the embodiment of the present invention.
  • the face detection unit 26 uses a known technique such as pattern matching for a predetermined area image corresponding to image data of each pixel value of the predetermined pixel area included in the developed image W1.
  • a face region R1 including the face of the subject A1 is detected.
  • the average value calculation unit 27 acquires the developed image data generated by the image generation unit 25 and the detection result of the face area detected by the face detection unit 26, and the electrical signal included in the first imaging signal in the face area The average value of the first luminance that is the signal value of the second luminance and the second luminance that is the signal value of the electrical signal included in the second imaging signal in the face region is calculated.
  • the average value calculation unit 27 inputs data relating to the calculated average value to the time series data generation unit 28.
  • the time series data generation unit 28 connects the average value of the first luminance and the average value of the second luminance calculated by the average value calculation unit 27 to a time series of a certain time (a certain number of frames), respectively. Time series signal). As a result, first time series data in which the first luminance values are connected in time series and second time series data in which the second luminance values are connected in time series are respectively generated. The time series data generation unit 28 inputs the generated first and second time series data to the trend removal unit 29.
  • the trend removal unit 29 generates first and second time series data from which offset components (trends) that vary with time are removed from the first and second time series data generated by the time series data generation unit 28. . Specifically, the trend removal unit 29 generates first and second time series data from which low frequency components are removed using a high-pass filter or the like. The trend removal unit 29 inputs the first and second time-series data after the trend removal to the signal component separation unit 30.
  • the time-series data generation unit 28 generates time-series data based on the average signal value of the same face area, but the subject (face detection target) is not necessarily stationary, and the illumination environment Are not always constant. For this reason, the time-series data gradually changes in average magnitude level with time.
  • the final purpose is that the signal selection unit 32 selects a heartbeat signal, and the purpose is to detect a signal fluctuation component of about 30 to 200 times / minute, which is a heartbeat fluctuation component.
  • the trend removal unit 29 removes offset components that gradually change over time from the time-series data before trend removal, and generates time-series data after trend removal.
  • the signal component separation unit 30 acquires the first and second time series data after the trend removal from the trend removal unit 29, and separates a plurality of signal components from the first and second time series data, respectively.
  • the signal component separation unit 30 inputs the separated signal component to the frequency analysis unit 31.
  • the signal component separation processing performed by the signal component separation unit 30 includes independent component analysis (ICA), time frequency masking (Time Frequency Masking: TFM), Space Coding, non-negative matrix factorization (Non- negative Matrix Factorization (NMF).
  • ICA independent component analysis
  • TFM Time Frequency Masking
  • NMF non-negative matrix factorization
  • the original signal s (t) is given by the following vector, and the n-th order signal components of s (t) are stochastically independent of each other, and the observed signal
  • the observed signal x (t) is given by the following equation (1).
  • x (t) A ⁇ s (t) (1)
  • x (t) [x 1 (t), x 2 (t),..., X n (t)]
  • T s (t) [s 1 (t), s 2 (t), ⁇ , s n (t)] T It is.
  • decorrelation of higher-order correlations (E ⁇ y 3 (t) y T (t) ⁇ ⁇ diag) and decorrelation of the original signal probability density function (E ⁇ (y (t)) y T (t) ⁇ ⁇ diag, ⁇ () may be a sigmoid function), and the like.
  • FIG. 5 is a diagram for explaining the signal components generated by the signal component separation unit according to the embodiment of the present invention.
  • the sensor sensitivity feature according to the present embodiment includes a first pixel for heartbeat detection having sensitivity in a wavelength band of 530 to 590 nm, and sensitivity (peak) on both the long wavelength side and the short wavelength side of the first pixel. And having a second pixel for illumination variation estimation that mainly obtains illumination variation components.
  • the light received by the first pixel includes an illumination fluctuation component in the same wavelength band as the heartbeat component.
  • the light received by the second pixel has sensitivity in the long wavelength side and the short wavelength side region outside the sensitivity range of the heart rate component, and therefore mainly obtains the illumination fluctuation of the wavelength component near the sensitivity range of the first pixel. can do.
  • the illumination variation component can be simplified, and the signal component included in each channel (first pixel and second pixel) has little overlap.
  • the heart rate component (black circle) and the illumination variation component (White circle) can be separated with high accuracy.
  • FIG. 6 is a diagram illustrating sensitivity characteristics of each pixel when an RGB filter provided in a general image sensor is used.
  • the sensitivity curve L R represents the sensitivity characteristic of a pixel R (red) filter is provided
  • the sensitivity curve L G represents the sensitivity characteristic of a pixel G (green) filter is provided
  • the sensitivity curve L B indicates the sensitivity characteristic of a pixel provided with a B (blue) filter.
  • the sensitivity curve L R has a sensitivity characteristic having a peak near 470 nm.
  • the sensitivity curve L G has a sensitivity characteristic having a peak near 530 nm.
  • Sensitivity curve L B has a sensitivity characteristic having a peak near 600 nm.
  • An image sensor provided with such an RGB filter has been developed based on the physiological characteristics of the human eye. It acts as a color stimulus on the three types of pyramidal cells in the human retina, increasing the color gamut combining these three types of signals.
  • Such an image sensor having sensitivity in each wavelength band of RGB has been developed for the purpose of improving color reproducibility, and sufficient consideration is given to detecting heartbeats and robustness against illumination fluctuations at that time. It was not.
  • FIG. 7 is a diagram for explaining the signal components generated by the signal component separation unit using the developed image data obtained when the RGB filter is used.
  • FIG. 7 shows a plot of a heart rate component (black circle) signal and an illumination fluctuation component (white circle) signal on three feature amount axes.
  • ICA independent component analysis
  • the signals of the RGB channels which are the inputs, include the heartbeat component and the illumination variation component (disturbance component) that is different for each channel. Therefore, the heartbeat component signal and the illumination fluctuation component signal are distributed so as to overlap each other, and the heartbeat component cannot be separated with high accuracy.
  • the frequency analysis unit 31 acquires a plurality of signal components from the signal component separation unit 31, the frequency analysis unit 31 calculates analysis data by performing frequency analysis on each of the signal components.
  • the analysis data is output as a waveform indicating the relationship between time and amplitude.
  • a known technique such as Fourier transform or wavelet transform can be used.
  • FIG. 8 is a diagram illustrating a pulse wave measurement result obtained by a contact-type finger volume pulse wave (BVP) sensor.
  • the horizontal axis indicates time, and the vertical axis indicates a signal value.
  • FIG. 8 shows the measurement results in the wavelength band of 400 nm to 560 nm.
  • peaks Q 1 , Q 2 , Q 3 are recognized by 0 to 2 seconds.
  • Each peak has two peaks. For example, at peak Q 1 , a first peak Q 11 and a second peak Q 12 are recognized.
  • 9 to 15 are diagrams showing analysis results obtained by performing signal component separation and frequency analysis based on the imaging signal (RAW image data).
  • the horizontal axis indicates time, and the vertical axis indicates intensity.
  • 9 shows frequency analysis results in the wavelength band of 500 nm to 510 nm
  • FIG. 10 shows frequency analysis results in the wavelength band of 520 nm to 530 nm
  • FIG. 11 shows frequency analysis results in the wavelength band of 530 nm to 540 nm
  • FIG. Shows the frequency analysis result in the wavelength band of 560 nm to 570 nm
  • FIG. 13 shows the frequency analysis result in the wavelength band of 580 nm to 590 nm
  • FIG. 14 shows the frequency analysis result in the wavelength band of 590 nm to 600 nm
  • FIG. The frequency analysis results in the wavelength band of ⁇ 620 nm are shown.
  • the above-described peak (see FIG. 8) can be extracted.
  • the above-mentioned peaks are detected from the analysis results in the wavelength bands of 500 nm to 510 nm (see FIG. 9), 520 nm to 530 nm (see FIG. 10), 590 nm to 600 nm (FIG. 14), and 610 nm to 620 nm (see FIG. 15). It is difficult.
  • FIG. 16 is a graph showing molar extinction coefficients of hemoglobin (HbO 2 , Hb) and melanin (Eumelanin, Pheomelanin).
  • Skin reflection includes direct reflection and diffuse reflection, but diffuse reflection is dominant. Diffuse reflection is light that has been once taken into the skin and reflected several times and leaked from the surface layer. At this time, when light is absorbed, the light leaking to the skin surface decreases. Further, when the heart rate fluctuates, the blood flow in the blood vessel fluctuates. Blood contains hemoglobin, and the light absorption characteristics differ depending on the wavelength, as shown in FIG. As shown in FIG.
  • the absorption characteristics of hemoglobin are strong at 530 nm to 590 nm, and this causes fluctuations in the amount of diffuse reflection on the surface layer with heartbeat fluctuations.
  • the hemoglobin absorption characteristic is also large near 400 nm, but the melanin absorption characteristic is also strong, and because it is strongly influenced by Rayleigh scattering that is inversely proportional to the fourth power of the wavelength, the amount of light reaching the vascular region of the dermis is reduced. Therefore, it can be said that the wavelength band of 530 nm to 590 nm is more suitable for heartbeat detection.
  • the sensitivity range of the first pixel P 1 is set to a wavelength band of 530 nm to 590 nm.
  • the sensitivity is in the wavelength band (500 nm to 530 nm and 590 nm to 620 nm) on both the long wavelength side and the short wavelength side of 530 nm to 590 nm, which is the sensitivity range of the first pixel.
  • the horizontal axis indicates the wavelength (nm)
  • the vertical axis indicates the sensitivity.
  • FIG. 17 shows a case where the filter provided in the second pixel is a third filter having a characteristic (only the first curve L 21 ) that transmits light in the wavelength band of 500 nm to 530 nm.
  • FIG. 18 shows a case where the filter provided in the second pixel is a fourth filter having a characteristic (only the second curve L 22 ) that transmits light in the wavelength band of 590 nm to 620 nm.
  • the second pixel has sensitivity (peak) in the wavelength band of 500 nm to 530 nm because the third filter transmits light in the wavelength band of 500 nm to 530 nm.
  • the fourth filter shown in FIG. 18 the second pixel has sensitivity (peak) in the wavelength band of 590 nm to 620 nm because the fourth filter transmits light in the wavelength band of 590 nm to 620 nm. .
  • FIGS. 19 to 26 are diagrams for explaining the relationship between the sensitivity characteristic of the second pixel and heartbeat detection. 19 to 26, the horizontal axis represents time, and the vertical axis represents amplitude.
  • FIG. 19 is a diagram showing analysis data obtained when an RGB filter provided in a general image sensor is used.
  • FIG. 20 is a diagram illustrating an analysis result when the sensitivity characteristic of the second pixel is set to only the short wavelength side (third filter) of the sensitivity range of the first pixel and the sensitivity is not provided on the long wavelength side.
  • FIG. 21 is a diagram illustrating an analysis result when the sensitivity characteristic of the second pixel is set to only the long wavelength side (fourth filter) of the sensitivity range of the first pixel and the sensitivity is not provided to the short wavelength side.
  • FIG. 22 is a diagram illustrating an analysis result when the sensitivity characteristics of the second pixel are provided on the long wavelength side and the short wavelength side of the sensitivity range of the first pixel. 19 to 22 show the analysis results when tungsten light is used as illumination.
  • FIG. 23 is a diagram showing analysis data obtained when an RGB filter provided in a general image sensor is used.
  • FIG. 24 is a diagram illustrating an analysis result when the sensitivity characteristic of the second pixel is set to only the short wavelength side (third filter) of the sensitivity range of the first pixel and the sensitivity is not provided on the long wavelength side.
  • FIG. 25 is a diagram illustrating an analysis result when the sensitivity characteristic of the second pixel is set to only the long wavelength side (fourth filter) of the sensitivity range of the first pixel and the sensitivity is not provided to the short wavelength side.
  • FIG. 26 is a diagram illustrating an analysis result when the sensitivity characteristics of the second pixel are provided on the long wavelength side and the short wavelength side of the sensitivity range of the first pixel. 23 to 26 show analysis results when the fluorescent lamp is used as illumination.
  • the first peak can be detected with either illumination, but the second peak cannot be detected.
  • a good heartbeat detection result can be obtained with the third filter (only on the short wavelength side) (see FIG. 24), but a good heartbeat can be obtained with the fourth filter (only on the long wavelength side). The detection result cannot be obtained (see FIG. 25).
  • FIG. 27 is a diagram illustrating an analysis result when the sensitivity range of the second pixel is set to a wavelength band of 470 nm to 530 nm on the short wavelength side and 590 nm to 650 nm on the long wavelength side of the first pixel.
  • FIG. 27 shows an analysis result when tungsten light is used as illumination.
  • the width of the first sensitivity region on the short wavelength side and the sensitivity region on the long wavelength side is 60 nm, which is the same as the width of the sensitivity region of the first pixel P 1 .
  • FIG. 27 when the width of the sensitivity range of the second pixel is increased, heartbeat detection may not be extracted.
  • the number of maximum positions of heartbeat detection increases.
  • the width of the sensitivity range of the second pixel that is, the width of the sensitivity range of the short wavelength side and the width of the second sensitivity range of the long wavelength side are smaller than the width of the sensitivity range of the first pixel.
  • the signal selection unit 32 generates a signal component for generating vital information, which is biometric information of the face area included in the developed image corresponding to the developed image data, based on the analysis result of the frequency analyzing unit 31. select.
  • vital information is any one of heart rate, oxygen saturation, and blood pressure.
  • the signal selection unit 32 uses this foresight information to periodically change the amplitude (intensity) in the same cycle. Select the component as the heartbeat waveform.
  • the foresight information may be stored in advance in the recording unit 35, for example, or the foresight information may be acquired via a network.
  • the output unit 33 outputs information based on the heartbeat waveform selected by the signal selection unit 32.
  • the information include an image of a heartbeat waveform displayed on a monitor, a numerical value obtained from the heartbeat waveform, and character information.
  • the monitor is configured using a display panel such as liquid crystal or organic EL (Electro Luminescence), for example. Also, numerical values and character information may be printed and output.
  • the control unit 34 comprehensively controls the operation of the biological information measuring device 1 by giving instructions to each unit constituting the biological information measuring device 1 and transferring data.
  • the control unit 34 is configured using a CPU (Central Processing Unit) or the like.
  • the recording unit 35 records various information related to the biological information measuring apparatus 1.
  • the recording unit 35 records the image data generated by the image sensor 22, various programs related to the biological information measuring apparatus 1, parameters related to the process being executed, and the like.
  • the recording unit 35 is configured using an SDRAM (Synchronous Dynamic Random Access Memory), a flash memory, a recording medium, and the like.
  • FIG. 28 is a flowchart for explaining processing performed by the biological information measuring apparatus 1 according to an embodiment of the present invention. The following description is based on the assumption that each unit operates under the control of the control unit 34.
  • the image generation unit 25 acquires the RAW image data generated by the A / D conversion unit 24, performs image generation processing, and each pixel has a first luminance corresponding to the light transmitted through the first filter. Then, the developed image data to which the second luminance corresponding to the light transmitted through the second filter is given is generated (step S1). The image generation unit 25 inputs the generated developed image data to the face detection unit 26 and the average value calculation unit 27, respectively.
  • the face detection unit 26 When the development image data is input from the image generation unit 25, the face detection unit 26 includes an area including the face of the subject included in the image corresponding to the development image data input from the image generation unit 25 (hereinafter referred to as a face area). Is detected using known pattern matching or the like, and the detection result is input to the average value calculation unit 27.
  • the face detection unit 26 detects a face area included in an image corresponding to the developed image data input from the image generation unit 25 (step S2).
  • the face detection unit 26 inputs the detection result to the average value calculation unit 27.
  • the average value calculation unit 27 acquires the developed image data generated by the image generation unit 25 and the detection result of the face area detected by the face detection unit 26, and calculates the average value of the first and second luminances in the face area. Each is calculated (step S3).
  • the time series data generation unit 28 connects the time average data of the first luminance average value and the second luminance average value calculated by the average value calculation unit 27 to a time series of a certain time (a certain number of frames), respectively. Generate (step S4).
  • the time series data generation unit 28 inputs the generated average value to the trend removal unit 29.
  • the trend removal unit 29 removes the first and second time series data from which the offset component (trend) that varies with time is removed from the first and second time series data generated by the time series data generation unit 28. Generate (step S5).
  • the signal component separation unit 30 acquires the first and second time series data after the trend removal from the trend removal unit 29, and separates a plurality of signal components from the first and second time series data, respectively (step S6). .
  • the frequency analysis unit 31 acquires a plurality of signal components from the signal component separation unit 31, the frequency analysis unit 31 calculates analysis data by performing frequency analysis on each of them (step S7).
  • the signal selection unit 32 selects a signal component for generating vital information of the face area included in the developed image corresponding to the developed image data based on the analysis result of the frequency analyzing unit 31 (step S8). Based on the selected image data, the signal selection unit 32 creates an image of a heartbeat waveform to be displayed on a monitor, a numerical value obtained from the heartbeat waveform, character information, and the like. The output unit 33 outputs information based on the heartbeat waveform selected by the signal selection unit 32.
  • the first pixel P 1 having a sensitivity range of the wavelength band of 530 nm to 590 nm, and the longer wavelength side and the shorter wavelength side than the sensitivity range of the first pixel P 1 530 nm to 590 nm.
  • the time-series data generation unit 28 uses the image sensor 22 having the second pixel P 2 having a sensitivity range in the wavelength bands (500 nm to 530 nm and 590 nm to 620 nm) on both sides of the first image sensor 22.
  • the time-series data is generated from the imaging signals obtained by the second pixel and the second pixel, the signal component separation unit 30 separates the time-series data into a plurality of signal components, and the signal selection unit 32 performs the signal component separation unit 30. Since the signal component corresponding to the biological information is selected from the plurality of signal components separated from each other, the heartbeat component and the illumination fluctuation component are separated with high accuracy, and the separated signal component is selected. Are possible, biological information such as heart can be stably detected regardless of the environment.
  • the second pixel includes the sensitivity range of the first pixel, and has sensitivity in a wavelength band from a wavelength on a shorter wavelength side to a wavelength on the longer wavelength side than the sensitivity range of the first pixel.
  • FIG. 29 is a diagram illustrating an example of sensitivity characteristics of an image sensor according to a modification of the embodiment of the present invention.
  • the horizontal axis represents wavelength (nm) and the vertical axis represents sensitivity.
  • a curve L 1 indicates the sensitivity characteristic of the first pixel P 1 provided with the first filter
  • a curve L 3 is provided with a fifth filter that transmits light in the wavelength band of 500 nm to 620 nm.
  • the sensitivity characteristic of the obtained second pixel P 2 is shown.
  • the second pixel P 2 because the fifth filter transmits light in a wavelength band of 500 nm ⁇ 620 nm, curve L 3 has a peak in a wavelength band of 530 nm ⁇ 620 nm.
  • the sensitivity characteristics of the second pixel P 2 include sensitivity to light in a wavelength band of at least 500 nm to 530 nm (short wavelength side sensitivity range) and a wavelength band of 590 nm to 620 nm (long wavelength side sensitivity range) ( As long as it has a peak), and the sensitivities (peaks) in the two sensitivity regions are not necessarily separated from each other.
  • the present invention is not limited to the above-described embodiments and modifications as they are, and can be embodied by modifying the constituent elements within the scope of the invention without departing from the gist of the invention.
  • Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-described embodiments. For example, some constituent elements may be deleted from all the constituent elements described in the above-described embodiments and modifications. Furthermore, you may combine suitably the component demonstrated by each embodiment and the modification.
  • the average value calculation unit 27 has been described as calculating the average value of luminance as the representative value of the first and second imaging signals.
  • the present invention is not limited to this. It may be a total value.
  • face detection is not necessary, such as when the captured image has a uniform background color and the upper body is photographed, the representative value of the entire image may be calculated without performing face detection.
  • the frequency analysis unit 31 is described as performing frequency analysis on the separated signal component. However, when the separated signal component has a pattern of periodic signal values, etc.
  • the signal component separation unit 30 may input a plurality of separated signal components to the signal selection unit 32 without performing frequency analysis.
  • the present invention can include various embodiments and the like not described herein, and appropriate design changes and the like can be made without departing from the technical idea described in the claims. Is possible.
  • the biological information measuring device, the biological information measuring method, and the biological information measuring program according to the present invention are useful for stably detecting biological information such as heartbeats regardless of the environment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本発明にかかる生体情報計測装置は、時系列に連続して取得した被写体画像をもとに生体情報を計測する生体情報計測装置であって、ヘモグロビンの吸収波長帯域に感度域を有し、受光した光に基づく第１の撮像信号を生成する複数の第１の画素と、第１の画素の感度域よりも長波長側に長波長側感度域、短波長側に短波長側感度域を有し、長波長側感度域および短波長側感度域の幅が第１の画素の感度域の幅よりも小さく、受光した光に基づく第２の撮像信号を生成する複数の第２の画素と、時系列で生成された第１の撮像信号および第２の撮像信号の代表値を時系列に沿ってつなげた時系列信号を生成する時系列信号生成部と、時系列信号を複数の信号成分に分離する信号成分分離部と、信号成分分離部が分離した複数の信号成分のうち、生体情報に応じた信号成分を選択する生体情報成分選択部と、を備える。

Description

生体情報計測装置、生体情報計測方法および生体情報計測プログラム
　本発明は、画像をもとに生体情報を計測する生体情報計測装置、生体情報計測方法および生体情報計測プログラムに関する。
　従来、医療分野および健康分野において、人間の健康状態を把握するための情報として、心拍数や、酸素飽和度等のバイタル情報を用いて、被写体の健康状態を把握する技術が知られている。例えば、赤色の光および近赤外の光それぞれを照射した生体をイメージセンサによって撮像し、このイメージセンサによって生成された画像データに基づいて、生体の心拍数を取得する技術が知られている（例えば、特許文献１および非特許文献１を参照）。　
　特許文献１および非特許文献１が開示する技術では、被写体の顔領域を撮像した画像信号をもとに、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の各色成分の信号値を時系列に並べて複数の一次元信号を生成し、独立成分分析（Independent　Component　Analysis：ＩＣＡ）を用いて信号成分を分離して、心拍成分を抽出している。
特許第５６７２１４４号公報
Poh,　M.　Z.,　McDuff,　D.,　and　Picard,　R.　Non-contact,　automated　cardiac　pulse　measurements　using　video　imaging　and　blind　source　separation.　Optics　Express,　Vol.　18,　Issue　10,　pp.10762-10774,　2010.
　しかしながら、特許文献１および非特許文献１が開示する技術では、一般的なＲ成分、Ｇ成分およびＢ成分の各信号値を用いることを前提としており、生体特性や、照明環境の変化が考慮されているものではなかった。例えば、室内の照明変化のない環境においては良好な結果を得ることができるものの、屋外など照明条件が変動する環境においては安定的に心拍を抽出することはできなかった。
　本発明は、上記に鑑みてなされたものであって、心拍など生体情報を環境によらず安定して検出することができる生体情報計測装置、生体情報計測方法および生体情報計測プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る生体情報計測装置は、時系列に連続して取得した被写体画像をもとに生体情報を計測する生体情報計測装置であって、ヘモグロビンの吸収波長帯域に感度域を有し、受光した光に基づく第１の撮像信号を生成する複数の第１の画素と、前記第１の画素の感度域よりも長波長側に長波長側感度域、短波長側に短波長側感度域を有し、前記長波長側感度域および前記短波長側感度域の幅が前記第１の画素の感度域の幅よりも小さく、受光した光に基づく第２の撮像信号を生成する複数の第２の画素と、時系列で生成された前記第１の撮像信号および前記第２の撮像信号の代表値を時系列に沿ってつなげた時系列信号を生成する時系列信号生成部と、前記時系列信号を複数の信号成分に分離する信号成分分離部と、前記信号成分分離部が分離した複数の信号成分のうち、前記生体情報に応じた信号成分を選択する生体情報成分選択部と、を備えることを特徴とする。
　上述した課題を解決し、目的を達成するために、本発明に係る生体情報計測方法は、時系列に連続して取得した被写体画像をもとに生体情報を計測する生体情報計測装置が行う生体情報計測方法であって、ヘモグロビンの吸収波長帯域に感度域を有する複数の第１の画素が、受光した光に基づく第１の撮像信号を時系列で生成するとともに、前記第１の画素の感度域よりも長波長側に長波長側感度域、短波長側に短波長側感度域を有し、前記長波長側感度域および前記短波長側感度域の幅が前記第１の画素の感度域の幅よりも小さい複数の第２の画素が、受光した光に基づく第２の撮像信号を時系列で生成し、時系列で生成された前記第１の撮像信号および前記第２の撮像信号の代表値を時系列に沿ってつなげた時系列信号を生成し、前記時系列信号を、複数の信号成分に分離し、分離した複数の信号成分のうち、前記生体情報に応じた信号成分を選択する、ことを特徴とする。
　上述した課題を解決し、目的を達成するために、本発明に係る生体情報計測プログラムは、時系列に連続して取得した被写体画像をもとに生体情報を計測する生体情報計測プログラムであって、ヘモグロビンの吸収波長帯域に感度域を有する複数の第１の画素が、受光した光に基づく第１の撮像信号を時系列で生成するとともに、前記第１の画素の感度域よりも長波長側に長波長側感度域、短波長側に短波長側感度域を有し、前記長波長側感度域および前記短波長側感度域の幅が前記第１の画素の感度域の幅よりも小さい複数の第２の画素が、受光した光に基づく第２の撮像信号を時系列で生成する撮像信号生成手順と、時系列で生成された前記第１の撮像信号および前記第２の撮像信号の代表値を時系列に沿ってつなげた時系列信号を生成する時系列信号生成手順と、前記時系列信号を、複数の信号成分に分離する信号分離手順と、分離した複数の信号成分のうち、前記生体情報に応じた信号成分を選択する生体情報成分選択手順と、をコンピュータに実行させることを特徴とする。
　本発明によれば、心拍など生体情報を環境によらず安定して検出することができるという効果を奏する。
図１は、本発明の一実施の形態に係る生体情報計測装置の機能構成を示すブロック図である。 図２は、本発明の一実施の形態に係る撮像素子の構成を説明する図である。 図３は、本発明の一実施の形態に係る撮像素子の感度特性の一例を示す図である。 図４は、本発明の一実施の形態に係る撮像素子が生成した画像データに対応する現像画像の一例を示す図である。 図５は、本発明の一実施の形態に係る信号成分分離部が生成した信号成分について説明する図である。 図６は、一般的なＲＧＢフィルタを用いた場合の各画素の感度特性を示す図である。 図７は、ＲＧＢフィルタを用いた場合に得られる現像画像データを用いて信号成分分離部が生成した信号成分について説明する図である。 図８は、接触式指尖容積脈波（Blood　Volume　Pulse：ＢＶＰ）センサによる脈波計測結果を示す図である。 図９は、撮像信号（ＲＡＷ画像データ）をもとに、信号成分分離、周波数解析を行った解析結果を示す図である。 図１０は、撮像信号（ＲＡＷ画像データ）をもとに、信号成分分離、周波数解析を行った解析結果を示す図である。 図１１は、撮像信号（ＲＡＷ画像データ）をもとに、信号成分分離、周波数解析を行った解析結果を示す図である。 図１２は、撮像信号（ＲＡＷ画像データ）をもとに、信号成分分離、周波数解析を行った解析結果を示す図である。 図１３は、撮像信号（ＲＡＷ画像データ）をもとに、信号成分分離、周波数解析を行った解析結果を示す図である。 図１４は、撮像信号（ＲＡＷ画像データ）をもとに、信号成分分離、周波数解析を行った解析結果を示す図である。 図１５は、撮像信号（ＲＡＷ画像データ）をもとに、信号成分分離、周波数解析を行った解析結果を示す図である。 図１６は、ヘモグロビン（HbO2，Hb）およびメラニン（Eumelanin，Pheomelanin）のモル吸光係数を示す図である。 図１７は、第２画素の感度特性の一例を示す図である。 図１８は、第２画素の感度特性の一例を示す図である。 図１９は、第２画素の感度特性と心拍検出との関係を説明するための図である。 図２０は、第２画素の感度特性と心拍検出との関係を説明するための図である。 図２１は、第２画素の感度特性と心拍検出との関係を説明するための図である。 図２２は、第２画素の感度特性と心拍検出との関係を説明するための図である。 図２３は、第２画素の感度特性と心拍検出との関係を説明するための図である。 図２４は、第２画素の感度特性と心拍検出との関係を説明するための図である。 図２５は、第２画素の感度特性と心拍検出との関係を説明するための図である。 図２６は、第２画素の感度特性と心拍検出との関係を説明するための図である。 図２７は、第２画素の感度域を、第１画素の短波長側で４７０ｎｍ～５３０ｎｍ、および長波長側で５９０ｎｍ～６５０ｎｍの波長帯域とした場合の解析結果を示す図である。 図２８は、本発明の一実施の形態に係る生体情報計測装置が行う処理を説明するフローチャートである。 図２９は、本発明の実施の形態の変形例に係る撮像素子の感度特性の一例を示す図である。
　以下、本発明を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、以下の説明において参照する各図は、本発明の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本発明は、各図で例示された形状、大きさ、および位置関係のみに限定されるものではない。また、同一の構成には同一の符号を付して説明する。
　図１は、本発明の一実施の形態に係る生体情報計測装置の機能構成を示すブロック図である。図１に示す生体情報計測装置１は、光学系２１と、撮像素子２２と、フィルタアレイ２３と、Ａ／Ｄ変換部２４と、画像生成部２５と、顔検出部２６と、平均値算出部２７と、時系列データ生成部２８と、トレンド除去部２９と、信号成分分離部３０と、周波数解析部３１と、信号選択部３２と、出力部３３と、制御部３４と、記録部３５と、を備える。
　光学系２１は、一または複数のレンズ、例えばフォーカスレンズやズームレンズ、しぼりおよびシャッタ等を用いて構成され、被写体像を撮像素子２２の受光面に結像する。
　撮像素子２２は、フィルタアレイ２３を透過した被写体像を受光して光電変換を行うことによって、画像データを所定のフレーム（６０ｆｐｓ）に従って連続的に生成する。撮像素子２２は、二次元状に配置された複数の画素の各々がフィルタアレイ２３を透過した光を光電変換し、電気信号を生成するＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）またはＣＣＤ（Charge　Coupled　Device）等を用いて構成される。
　フィルタアレイ２３は、撮像素子２２の受光面に配置される。図２は、撮像素子２２の構成を説明する図である。フィルタアレイ２３は、５３０ｎｍ～５９０ｎｍの波長帯域の光を透過する第１フィルタと、５００ｎｍ～５３０ｎｍおよび５９０ｎｍ～６２０ｎｍの波長帯域の光を透過する第２フィルタとを、撮像素子２２を構成する各画素に対応させてマトリックス状に配置、または所定のパターンで配置している。なお、以下においては、図２に示すように、第１フィルタが配置された画素を第１画素Ｐ1、第２フィルタが配置された画素を第２画素Ｐ2として説明する。
　図３は、撮像素子２２の感度特性の一例を示す図である。図３において、横軸が波長（ｎｍ）を示し、縦軸が感度を示す。また、図３において、曲線Ｌ1が、第１フィルタが設けられた第１画素Ｐ1の感度特性を示し、曲線Ｌ2が、第２フィルタが設けられた第２画素Ｐ2の感度特性を示す。
　具体的には、第１画素Ｐ1は、第１フィルタが５３０ｎｍ～５９０ｎｍの波長帯域の光を透過するため、５３０ｎｍ～５９０ｎｍの波長帯域の光に対して感度（ピーク）を有する。第１画素Ｐ1は、第１フィルタを透過した光を受光して、電気信号を生成する。以下、複数の第１画素Ｐ1が生成した複数の電気信号をまとめて第１の撮像信号という。
　第２画素Ｐ2は、第２フィルタを透過した５００ｎｍ～５３０ｎｍおよび５９０ｎｍ～６２０ｎｍの波長帯域の光を受光する。第２画素Ｐ2の感度を示す曲線Ｌ2は、第１画素Ｐ1の感度域より短波長側である５００ｎｍ～５３０ｎｍの波長帯域（短波長側感度域）の光に対して感度（ピーク）を有する第１曲線Ｌ21と、第１画素Ｐ1の感度域より長波長側である５９０ｎｍ～６２０ｎｍの波長帯域（長波長側感度域）の光に対して感度（ピーク）を有する第２曲線Ｌ22とを含んでいる。なお、第２画素Ｐ2の感度域が、第１画素Ｐ1の感度域の一部と重複していてもよいし、第１画素Ｐ1の感度域において、若干の感度を有するものであってもよい。第２画素Ｐ2は、第２フィルタを透過した光を受光して、電気信号を生成する。また、第２画素Ｐ2の感度域の幅は、第１画素Ｐ1の感度域の幅よりも小さい。以下、複数の第２画素Ｐ2が生成した複数の電気信号をまとめて第２の撮像信号という。
　図１に戻り、Ａ／Ｄ変換部２４は、撮像素子２２から入力されたアナログの第１および第２の撮像信号（画像データ）をデジタルの画像データ（ＲＡＷ画像データ）に変換して画像生成部２５へ出力する。Ａ／Ｄ変換部２４は、撮像素子２２からフレームごとに順次出力されるアナログの画像データについて、順次ＲＡＷ画像データに変換して画像生成部２５に入力する。
　画像生成部２５は、Ａ／Ｄ変換部２４によって生成されたＲＡＷ画像データを取得し、画像生成処理を施して、第１の撮像信号の各電気信号の信号値に対応する第１輝度と、第２の撮像信号の各電気信号の信号値に対応する第２輝度とがそれぞれ付与された現像画像データを生成する。画像生成部２５は、生成した現像画像データを顔検出部２６および平均値算出部２７にそれぞれ入力する。画像生成部２５は、各チャンネルを周囲の画素で補間して画素ごとに複数のチャンネルデータを生成するいわゆるデモザイク処理を用いて現像画像を生成してもよいし、ＲＡＷ画像データから近傍領域の各チャンネルの平均値を計算することで現像画像を生成してもよい。この場合、必ずしもＲＡＷ画像データの画像サイズと現像画像の画像サイズが同一である必要はない。
　顔検出部２６は、画像生成部２５から入力された現像画像データに対応する画像に含まれる被写体の顔を含む領域（以下、顔領域ともいう）を、周知のパターンマッチング等を用いて検出し、この検出結果を平均値算出部２７へ入力する。被写体の顔を含む領域の検出は、一般的に知られる　Active　Appearance　Models（ＡＡＭｓ）、Active　Shape　Models（ＡＳＭｓ）、Constrained　Local　Models（ＣＬＭｓ）など公知の顔検出アルゴリズムを用いてよい。例えば、Sauer,　P.,　Cootes,　T.,　Taylor,　C.:　Accurate　regression　procedures　for　active　appearance　models.　In:　British　Machine　Vision　Conference.(2011)や、Cootes,　T.,　Taylor,　C.,　Cooper,　D.,　Graham,　J.,　et　al.:　Active　shape　models-their　training　and　application.　Computer　vision　and　image　understanding　61　(1995)　38-59、Cristinacce,　D.,　Cootes,　T.:　Automatic　feature　localisation　with　constrained　local　models.　Journal　of　Pattern　Recognition　41　(2008)　3054-3067が挙げられる。
　図４は、本発明の一実施の形態に係る撮像素子２２が生成した画像データに対応する現像画像の一例を示す図である。顔検出部２６は、図４に示すように、現像画像Ｗ１に含まれる所定の画素領域それぞれの画素値の画像データに対応する所定域画像に対して、周知のパターンマッチング等の技術を用いて被写体Ａ１の顔を含む顔領域Ｒ１を検出する。
　平均値算出部２７は、画像生成部２５が生成した現像画像データと、顔検出部２６が検出した顔領域の検出結果とを取得し、該顔領域における第１の撮像信号に含まれる電気信号の信号値である第１輝度、および顔領域における第２の撮像信号に含まれる電気信号の信号値である第２輝度の平均値をそれぞれ算出する。平均値算出部２７は、算出した平均値に係るデータを時系列データ生成部２８に入力する。
　時系列データ生成部２８は、平均値算出部２７が算出した第１輝度の平均値、第２輝度の平均値について、それぞれ一定時間（一定フレーム数）の時系列につなげて、時系列データ（時系列信号）を生成する。これにより、第１輝度値が時系列に沿ってつなげられた第１時系列データと、第２輝度値が時系列に沿ってつなげられた第２時系列データとがそれぞれ生成される。時系列データ生成部２８は、生成した第１および第２時系列データをトレンド除去部２９に入力する。
　トレンド除去部２９は、時系列データ生成部２８が生成した第１および第２時系列データに対し、経時的に変動するオフセット成分（トレンド）を除去した第１および第２時系列データを生成する。具体的に、トレンド除去部２９は、ハイパスフィルタなどを用いて低周波成分を除去した第１および第２時系列データを生成する。トレンド除去部２９は、トレンド除去後の第１および第２時系列データを信号成分分離部３０に入力する。
　ここで、時系列データ生成部２８は、同じ顔領域の信号平均値に基づいて時系列データを生成しているが、被写体（顔検出対象）は必ずしも静止しているわけではなく、また照明環境も一定であるとは限らない。そのため、時系列データは、時刻とともにその平均値の大きさレベルは徐々に変動していく。本発明では、信号選択部３２が心拍信号を選択することが最終的な目的であって、心拍変動成分である、３０～２００回／分程度の信号変動成分を検出することを目的としているが、本トレンド除去処理において、現実的に３０回／分より周期が長い信号変動成分は心拍以外に起因していると考えられるため、除去することが望ましい。本実施の形態では、トレンド除去部２９が、トレンド除去前の時系列データより、経時的に徐々に変動するオフセット成分を除去し、トレンド除去後の時系列データを生成する。
　信号成分分離部３０は、トレンド除去部２９からトレンド除去後の第１および第２時系列データを取得し、該第１および第２時系列データから複数の信号成分をそれぞれ分離する。信号成分分離部３０は、分離した信号成分を周波数解析部３１に入力する。信号成分分離部３０が行う信号成分分離処理としては、独立成分分析（Independent　Component　Analysis：ＩＣＡ）や、時間周波数マスクキング法（Time　Frequency　Masking：ＴＦＭ）、Space　Coding、非負値行列因子分解（Non-negative　Matrix　Factorization：ＮＭＦ）などが挙げられる。例えば、ＩＣＡを用いて信号成分を分離する場合、まず、原信号ｓ(t)が、以下のベクトルで与えられてｓ(t)のｎ次の信号成分が互いに確率的に独立し、観測信号（ここでは時系列データ）が、混合行列Ａを用いて原信号が重み付け合成されたものとして定式化すると、観測信号ｘ(t)は、下式（１）で与えられる。
　　　ｘ(t)　＝　Ａ・ｓ(t)　　　・・・（１）
ここで、ｘ(t)　＝　[ｘ1(t)，ｘ2(t)，・・・，ｘn(t)]T
　　　　ｓ(t)　＝　[ｓ1(t)，ｓ2(t)，・・・，ｓn(t)]T
である。
　データ信号として得られるのは、観測信号ｘ(t)のみであり、ｓ(t)の各成分が互いに確率的に独立であるとの仮定のもと、下式（２）の変換行列Ｗを求めることで、原信号ｓ(t)を得ることができる。
　　　ｓ(t)　＝　Ｗ・ｘ(t)　　　・・・（２）
　分離信号をｙ(t)　＝　[ｙ1(t)，ｙ2(t)，・・・，ｙn(t)]Tとしたとき、信号間の相関が最も小さくなる（Ｅ｛ｙ(t)ｙT(t)｝→diag）ことを基準に変換行列Ｗを求めることで、信号成分が確率的に独立になるように信号を分離することができる。なお、高次相関の無相関化（Ｅ｛ｙ3(t)ｙT(t)｝→diag）や、原信号の確立密度関数の無相関化（Ｅ｛Φ(ｙ(t))ｙT(t)｝→diag、Φ()はシグモイド関数）などによって最適な変換行列を求めてもよい。
　図５は、本発明の一実施の形態に係る信号成分分離部が生成した信号成分について説明する図である。本実施の形態に係るセンサ感度特徴は、５３０～５９０ｎｍの波長帯域に感度を有する心拍検出用の第１画素と、第１画素の長波長側および短波長側の両側にそれぞれ感度（ピーク）を有し、主に照明変動成分を取得する照明変動推定用の第２画素を有している。第１画素が受光する光には、心拍成分と同波長帯の照明変動成分が含まれている。一方、第２画素が受光する光には、心拍成分の感度域外の長波長側及び短波長側領域に感度を持つため、主に、第１画素の感度域近傍の波長成分の照明変動を取得することができる。このため、照明変動成分が単純化することができるとともに、各チャンネル（第１画素および第２画素）に含まれる信号成分にオーバラップが少ない。このため、ＩＣＡなどを用いて最も分離度が高くなる二つの特徴量（特徴量１，２）の特徴量空間へ変換した後、図５に示すように、心拍成分（黒丸）と照明変動成分（白丸）とを高精度に分離することが可能となる。
　図６は、一般的な撮像素子に設けられるＲＧＢフィルタを用いた場合の各画素の感度特性を示す図である。図６において、感度曲線ＬRは、Ｒ（赤色）フィルタが設けられた画素の感度特性を示し、感度曲線ＬGは、Ｇ（緑色）フィルタが設けられた画素の感度特性を示し、感度曲線ＬBは、Ｂ（青色）フィルタが設けられた画素の感度特性を示している。感度曲線ＬRは、４７０ｎｍ付近にピークを有する感度特性となっている。また、感度曲線ＬGは、５３０ｎｍ付近にピークを有する感度特性となっている。感度曲線ＬBは、６００ｎｍ付近にピークを有する感度特性となっている。このようなＲＧＢフィルタが設けられた撮像素子では、人の目の生理的特長に着想を得て開発されている。人の網膜にある３種類の錐体細胞へ色刺激として働きかけ、この３種類の信号を組合せる色域を高めている。このようなＲＧＢの各波長帯域に感度をもつ撮像素子は、色再現性を高めることを目的として開発されており、心拍を検出することや、その際の照明変動に対するロバスト性についての配慮が十分でなかった。
　ＲＧＢフィルタを設けた撮像素子からの撮像信号を入力として、信号分離を行った場合について説明する。図７は、ＲＧＢフィルタを用いた場合に得られる現像画像データを用いて信号成分分離部が生成した信号成分について説明する図である。図７は、３つの特徴量軸に、心拍成分（黒丸）の信号と照明変動成分（白丸）の信号をプロットしたものを表しており、例えば、図６の感度特性のようにＲＧＢチャンネルの入力信号を入力し、独立成分分析（ＩＣＡ）を用いて心拍成分と照明変動成分の分離を試みた場合に、この２成分が最も確率的に独立となるような特徴量空間を表している。この場合において最も成分が分離する空間に変換したとしても、そもそもの入力であるＲＧＢの各チャンネルの信号は、それぞれ心拍成分を含むとともに、各チャンネルで異なる照明変動成分（外乱成分）を含んでいるため、心拍成分の信号と、照明変動成分の信号とがそれぞれ重なりあうように分布してしまい、精度よく心拍成分を分離することができない。
　周波数解析部３１は、信号成分分離部３１から複数の信号成分を取得すると、それぞれに対して周波数解析を行うことにより解析データを算出する。解析データは、時間と振幅との関係を示す波形として出力される。周波数解析処理としては、フーリエ変換や、ウェーブレット変換などの公知の技術を用いることができる。
　図８は、接触式指尖容積脈波（Blood　Volume　Pulse：ＢＶＰ）センサによる脈波計測結果を示す図である。図８において、横軸が時間を示し、縦軸が信号値を示す。図８は、４００ｎｍ～５６０ｎｍの波長帯域における計測結果を示している。図８に示すように、ＢＶＰセンサにより得られた測定結果では、０～２秒までに３つのピーク（ピークＱ1、Ｑ2、Ｑ3）が認められる。また、各ピークには、二つのピークが認められる。例えば、ピークＱ1では、第１ピークＱ11と、第２ピークＱ12とが認められる。
　図９～図１５は、撮像信号（ＲＡＷ画像データ）をもとに、信号成分分離、周波数解析を行った解析結果を示す図である。図９～図１５において、横軸が時間を示し、縦軸が強度を示す。図９は５００ｎｍ～５１０ｎｍの波長帯域における周波数解析結果を示し、図１０は５２０ｎｍ～５３０ｎｍの波長帯域における周波数解析結果を示し、図１１は５３０ｎｍ～５４０ｎｍの波長帯域における周波数解析結果を示し、図１２は５６０ｎｍ～５７０ｎｍの波長帯域における周波数解析結果を示し、図１３は５８０ｎｍ～５９０ｎｍの波長帯域における周波数解析結果を示し、図１４は５９０ｎｍ～６００ｎｍの波長帯域における周波数解析結果を示し、図１５は６１０ｎｍ～６２０ｎｍの波長帯域における周波数解析結果を示している。
　ここで、５３０ｎｍ～５９０ｎｍの波長帯域における解析結果（図１１～図１３参照）では、上述したピーク（図８参照）を抽出することが可能である。一方、５００ｎｍ～５１０ｎｍ（図９参照）、５２０ｎｍ～５３０ｎｍ（図１０参照）、５９０ｎｍ～６００ｎｍ（図１４）および６１０ｎｍ～６２０ｎｍ（図１５参照）の各波長帯域における解析結果から上述したピークを検出することは困難である。
　５３０ｎｍ～５９０ｎｍの波長帯域における解析結果が心拍検出に適している理由について、図１６を用いて説明する。図１６は、ヘモグロビン（HbO2，Hb）およびメラニン（Eumelanin，Pheomelanin）のモル吸光係数を示す図である。肌の反射には直接反射と拡散反射があるが、拡散反射が支配的である。拡散反射とは、一旦、肌の中に取り込まれた光が複数回反射して、表層から漏れ出した光である。この際、光が吸収されると、肌表面に漏れ出す光が減少する。また、心拍が変動すると、血管内の血流量が変動する。血液の中にはヘモグロビンが含まれており、図１６に示すように、波長によって光の吸収特性が異なる。図１６に示すように、５３０ｎｍ～５９０ｎｍにおいてヘモグロビンの吸収特性が強く、これが心拍変動に伴って表層の拡散反射量の変動をもたらす。一方、４００ｎｍ付近もヘモグロビンの吸収特性が大きいが、メラニンの吸収特性も強く、また、波長の４乗に反比例するレイリー散乱の影響を強く受けるため、真皮の血管部位まで到達する光量が少なくなる。このため、５３０ｎｍ～５９０ｎｍの波長帯域の方が、心拍検出に適しているといえる。このようなことから、本実施の形態では、第１画素Ｐ1の感度域を５３０ｎｍ～５９０ｎｍの波長帯域としている。
　次に、第２画素の感度特性において、第１画素の感度域である５３０ｎｍ～５９０ｎｍの長波長側および短波長側の両側の波長帯域（５００ｎｍ～５３０ｎｍおよび５９０ｎｍ～６２０ｎｍ）に感度を有することの利点について説明する。図１７，１８は、第２画素の感度特性の一例を示す図である。図１７，１８において、横軸が波長（ｎｍ）を示し、縦軸が感度を示す。図１７は、第２画素に設けられるフィルタが、５００ｎｍ～５３０ｎｍの波長帯域の光を透過する特性（第１曲線Ｌ21のみ）を有する第３フィルタである場合を示している。また、図１８は、第２画素に設けられるフィルタが、５９０ｎｍ～６２０ｎｍの波長帯域の光を透過する特性（第２曲線Ｌ22のみ）を有する第４フィルタである場合を示している。
　図１７に示す第３フィルタを用いた場合、第２画素は、第３フィルタが５００ｎｍ～５３０ｎｍの波長帯域の光を透過するため、５００ｎｍ～５３０ｎｍの波長帯域に感度（ピーク）を有する。一方で、図１８に示す第４フィルタを用いた場合、第２画素は、第４フィルタが５９０ｎｍ～６２０ｎｍの波長帯域の光を透過するため、５９０ｎｍ～６２０ｎｍの波長帯域に感度（ピーク）を有する。
　図１９～図２６は、第２画素の感度特性と心拍検出との関係を説明するための図である。図１９～図２６において、横軸が時間を示し、縦軸が振幅を示す。
　図１９は、一般的な撮像素子に設けられるＲＧＢフィルタを用いた場合に得られる解析データを示す図である。図２０は、第２画素の感度特性を、第１画素の感度域の短波長側のみ（第３フィルタ）とし、長波長側に感度を有しない場合の解析結果を示す図である。図２１は、第２画素の感度特性を、第１画素の感度域の長波長側のみ（第４フィルタ）とし、短波長側に感度を有しない場合の解析結果を示す図である。図２２は、第２画素の感度特性を、第１画素の感度域の長波長側および短波長側に有する場合の解析結果を示す図である。図１９～図２２はタングステンライトを照明とした場合の解析結果を示している。
　図２３は、一般的な撮像素子に設けられるＲＧＢフィルタを用いた場合に得られる解析データを示す図である。図２４は、第２画素の感度特性を、第１画素の感度域の短波長側のみ（第３フィルタ）とし、長波長側に感度を有しない場合の解析結果を示す図である。図２５は、第２画素の感度特性を、第１画素の感度域の長波長側のみ（第４フィルタ）とし、短波長側に感度を有しない場合の解析結果を示す図である。図２６は、第２画素の感度特性を、第１画素の感度域の長波長側および短波長側に有する場合の解析結果を示す図である。図２３～図２６は蛍光灯を照明とした場合の解析結果を示している。
　図１９および図２３に示すように、ＲＧＢフィルタを用いた場合は、どちらの照明であっても第１ピークは検出できるものの、第２ピークは検出できない。
　また、タングステンライトを用いた照明の場合は、第４フィルタ（長波長側のみ）で良好な心拍検出結果を得ることができるものの（図２１参照）、第３フィルタ（短波長側のみ）では良好な心拍検出結果を得ることができない（図２０）。
　蛍光灯を用いた照明の場合は、第３フィルタ（短波長側のみ）で良好な心拍検出結果を得ることができるものの（図２４参照）、第４フィルタ（長波長側のみ）では良好な心拍検出結果を得ることができない（図２５参照）。
　これに対し、図２２および図２６に示すように、第１画素の感度域の長波長側および短波長側に感度特性を有する第２画素の場合、いずれの照明においても、良好な心拍検出結果を得ることができる。すなわち、第２画素の感度域が第１画素の感度域の片側の波長帯域のみである場合では、照明環境に応じた照明変動成分を安定的に捉えることができない場合があるのに対して、第２画素の感度を第１画素の感度域の両側に持たせることで照明変動に対してロバストに、心拍成分を抽出することが可能となる。
　図２７は、第２画素の感度域を、第１画素の短波長側で４７０ｎｍ～５３０ｎｍ、および長波長側で５９０ｎｍ～６５０ｎｍの波長帯域とした場合の解析結果を示す図である。図２７はタングステンライトを照明とした場合の解析結果を示している。短波長側の第１感度域、および長波長側感度域の幅は６０ｎｍであり、第１画素Ｐ1の感度域の幅と同じになっている。図２７に示すように、第２画素の感度域の幅が大きくなると、心拍検出を抽出できない場合があり、第２画素の感度域の幅が広がるにつれて、心拍検出の極大位置の数が増え、処理（解析結果）が不安定となっていくことが確認できる。このため、第２画素の感度域の幅であって、短波長側感度域の幅、および長波長側の第２感度域の幅は、第１画素の感度域の幅より小さいことが好ましい。
　図１に戻り、信号選択部３２は、周波数解析部３１の解析結果に基づいて、現像画像データに対応する現像画像に含まれる顔領域の生体情報であるバイタル情報を生成するための信号成分を選択する。ここで、バイタル情報とは、心拍、酸素飽和度および血圧のいずれかである。具体的には、通常心拍は５０～１４０回/分であることが知られており、信号選択部３２は、この先見情報を用いて、同周期で振幅（強度）が定期的に変動する信号成分を心拍波形として選択する。先見情報は、例えば、記録部３５に予め記憶されていてもよいし、ネットワークを介して先見情報を取得できるようにしていてもよい。
　出力部３３は、信号選択部３２が選択した心拍波形に基づく情報を出力する。情報としては、モニタなどに表示する心拍波形の画像や、心拍波形から求まる数値、文字情報が挙げられる。モニタは、例えば、液晶または有機ＥＬ（Electro　Luminescence）等の表示パネルを用いて構成される。また、数値や文字情報を印刷して出力してもよい。
　制御部３４は、生体情報計測装置１を構成する各部に対する指示やデータの転送等を行うことによって、生体情報計測装置１の動作を統括的に制御する。制御部３４は、ＣＰＵ（Central　Processing　Unit）等を用いて構成される。
　記録部３５は、生体情報計測装置１に関する各種情報を記録する。記録部３５は、撮像素子２２が生成した画像データおよび生体情報計測装置１に関する各種プログラムや実行中の処理に関するパラメータ等を記録する。記録部３５は、ＳＤＲＡＭ（Synchronous　Dynamic　Random　Access　Memory）、Ｆｌａｓｈメモリおよび記録媒体等を用いて構成される。
　続いて、生体情報計測装置１の各部が行う処理について図面を参照して説明する。図２８は、本発明の一実施の形態に係る生体情報計測装置１が行う処理を説明するフローチャートである。以下、制御部３４による制御のもと、各部が動作するものとして説明する。
　まず、画像生成部２５は、Ａ／Ｄ変換部２４によって生成されたＲＡＷ画像データを取得し、画像生成処理を施して、各画素が、第１フィルタを透過した光に対応する第１輝度と、第２フィルタを透過した光に対応する第２輝度とがそれぞれ付与された現像画像データを生成する（ステップＳ１）。画像生成部２５は、生成した現像画像データを顔検出部２６および平均値算出部２７にそれぞれ入力する。
　画像生成部２５から現像画像データが入力されると、顔検出部２６は、画像生成部２５から入力された現像画像データに対応する画像に含まれる被写体の顔を含む領域（以下、顔領域ともいう）を、周知のパターンマッチング等を用いて検出し、この検出結果を平均値算出部２７へ入力する。
　顔検出部２６は、画像生成部２５から入力された現像画像データに対応する画像に含まれる顔領域を検出する（ステップＳ２）。顔検出部２６は、検出した結果を平均値算出部２７に入力する。
　平均値算出部２７は、画像生成部２５が生成した現像画像データと、顔検出部２６が検出した顔領域の検出結果とを取得し、該顔領域における第１および第２輝度の平均値をそれぞれ算出する（ステップＳ３）。
　時系列データ生成部２８は、平均値算出部２７が算出した第１輝度の平均値、第２輝度の平均値について、それぞれ一定時間（一定フレーム数）の時系列につなげて、時系列データを生成する（ステップＳ４）。時系列データ生成部２８は生成した平均値を、トレンド除去部２９に入力する。
　その後、トレンド除去部２９は、時系列データ生成部２８が生成した第１および第２時系列データに対し、経時的に変動するオフセット成分（トレンド）を除去した第１および第２時系列データを生成する（ステップＳ５）。
　信号成分分離部３０は、トレンド除去部２９からトレンド除去後の第１および第２時系列データを取得し、該第１および第２時系列データから複数の信号成分をそれぞれ分離する（ステップＳ６）。
　周波数解析部３１は、信号成分分離部３１から複数の信号成分を取得すると、それぞれに対して周波数解析を行うことにより解析データを算出する（ステップＳ７）。
　その後、信号選択部３２は、周波数解析部３１の解析結果に基づいて、現像画像データに対応する現像画像に含まれる顔領域のバイタル情報を生成するための信号成分を選択する（ステップＳ８）。信号選択部３２は、選択した画像データをもとに、モニタなどに表示する心拍波形の画像や、心拍波形から求まる数値、文字情報などを作成する。出力部３３は、信号選択部３２が選択した心拍波形に基づく情報を出力する。
　上述した本実施の形態によれば、５３０ｎｍ～５９０ｎｍの波長帯域を感度域とする第１画素Ｐ1と、第１画素Ｐ1の感度域である５３０ｎｍ～５９０ｎｍよりも長波長側および短波長側の両側の波長帯域（５００ｎｍ～５３０ｎｍ、および５９０ｎｍ～６２０ｎｍ）を感度域とする第２画素Ｐ2とを有する撮像素子２２を用いて、時系列データ生成部２８が、該撮像素子２２の第１および第２画素によって得られた撮像信号から、それぞれ時系列データを生成し、信号成分分離部３０が、時系列データを複数の信号成分に分離し、信号選択部３２が、信号成分分離部３０が分離した複数の信号成分のうち、生体情報に応じた信号成分を選択するようにしたので、心拍成分と照明変動成分とを高精度に分離して、分離した信号成分を選択することが可能であり、心拍など生体情報を環境によらず安定して検出することができる。
（実施の形態の変形例）
　上述した実施の形態では、第１画素の感度域よりも短波長側、および長波長側に互いに独立したピークを有するものとして説明したが、本発明はこれに限定されない。本変形例では、第２画素において、第１画素の感度域を含み、第１画素の感度域よりも短波長側の波長から長波長側の波長までの波長帯域に感度を有するようにしてもよい。図２９は、本発明の実施の形態の変形例に係る撮像素子の感度特性の一例を示す図である。図２９において、横軸が波長（ｎｍ）を示し、縦軸が感度を示す。また、図２９において、曲線Ｌ1が、第１フィルタが設けられた第１画素Ｐ1の感度特性を示し、曲線Ｌ3が、５００ｎｍ～６２０ｎｍの波長帯域の光を透過する第５フィルタが設けられた第２画素Ｐ2の感度特性を示す。
　本変形例において、第２画素Ｐ2は第５フィルタが５００ｎｍ～６２０ｎｍの波長帯域の光を透過するため、曲線Ｌ3は、５３０ｎｍ～６２０ｎｍの波長帯域でピークを有している。このように、第２画素Ｐ2の感度特性として、少なくとも５００ｎｍ～５３０ｎｍの波長帯域（短波長側感度域）と、５９０ｎｍ～６２０ｎｍの波長帯域（長波長側感度域）の光に対して感度（ピーク）を有するものであればよく、必ずしも二つの感度域の感度（ピーク）が離間していなくてもよい。
　なお、本発明は、上述した実施の形態および変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上述した実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態および変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、各実施の形態および変形例で説明した構成要素を適宜組み合わせてもよい。
　また、上述した実施の形態では、平均値算出部２７が、第１および第２の撮像信号の代表値として輝度の平均値を算出するものとして説明したが、これに限らず、例えば、輝度の合計値であってもよい。また、撮像した画像が、背景が均一な色であり、上半身を撮影したものなど、顔検出が不要である場合は、顔検出を行わずに画像全体の代表値を算出してもよい。
　また、上述した実施の形態では、周波数解析部３１が、分離された信号成分について周波数解析を行うものとして説明したが、分離された信号成分が、周期的な信号値のパターンを有する場合などは、周波数解析を行わずに、信号成分分離部３０が、信号選択部３２に分離した複数の信号成分を入力するものであってもよい。
　このように、本発明は、ここでは記載していない様々な実施の形態等を含み得るものであり、請求の範囲に記載した技術的思想を逸脱しない範囲内において適宜設計変更等を行うことが可能である。
　以上のように、本発明にかかる生体情報計測装置、生体情報計測方法および生体情報計測プログラムは、心拍など生体情報を環境によらず安定して検出するのに有用である。
　１　生体情報計測装置
　２１　光学系
　２２　撮像素子
　２３　フィルタアレイ
　２４　Ａ／Ｄ変換部
　２５　画像生成部
　２６　顔検出部
　２７　平均値算出部
　２８　時系列データ生成部
　２９　トレンド除去部
　３０　信号成分分離部
　３１　周波数解析部
　３２　信号選択部
　３３　出力部
　３４　制御部
　３５　記録部

Claims (5)

  1. 　時系列に連続して取得した被写体画像をもとに生体情報を計測する生体情報計測装置であって、
    　ヘモグロビンの吸収波長帯域に感度域を有し、受光した光に基づく第１の撮像信号を生成する複数の第１の画素と、
    　前記第１の画素の感度域よりも長波長側に長波長側感度域、短波長側に短波長側感度域を有し、前記長波長側感度域および前記短波長側感度域の幅が前記第１の画素の感度域の幅よりも小さく、受光した光に基づく第２の撮像信号を生成する複数の第２の画素と、
    　時系列で生成された前記第１の撮像信号および前記第２の撮像信号の代表値を時系列に沿ってつなげた時系列信号を生成する時系列信号生成部と、
    　前記時系列信号を複数の信号成分に分離する信号成分分離部と、
    　前記信号成分分離部が分離した複数の信号成分のうち、前記生体情報に応じた信号成分を選択する生体情報成分選択部と、
    　を備えることを特徴とする生体情報計測装置。
  2. 　前記第２の画素は、前記長波長側感度域および前記短波長側感度域に互いに離間したピークを有する
    ことを特徴とする請求項１に記載の生体情報計測装置。
  3. 　前記複数の信号成分に対して周波数解析を行う周波数解析部をさらに備え、
    　前記生体情報成分選択部は、前記複数の信号成分と、前記周波数解析部の解析結果とをもとに、前記生体情報に応じた信号成分を選択する
    　ことを特徴とする請求項１又は２に記載の生体情報計測装置。
  4. 　時系列に連続して取得した被写体画像をもとに生体情報を計測する生体情報計測装置が行う生体情報計測方法であって、
    　ヘモグロビンの吸収波長帯域に感度域を有する複数の第１の画素が、受光した光に基づく第１の撮像信号を時系列で生成するとともに、前記第１の画素の感度域よりも長波長側に長波長側感度域、短波長側に短波長側感度域を有し、前記長波長側感度域および前記短波長側感度域の幅が前記第１の画素の感度域の幅よりも小さい複数の第２の画素が、受光した光に基づく第２の撮像信号を時系列で生成し、
    　時系列で生成された前記第１の撮像信号および前記第２の撮像信号の代表値を時系列に沿ってつなげた時系列信号を生成し、
    　前記時系列信号を、複数の信号成分に分離し、
    　分離した複数の信号成分のうち、前記生体情報に応じた信号成分を選択する、
    　ことを特徴とする生体情報計測方法。
  5. 　時系列に連続して取得した被写体画像をもとに生体情報を計測する生体情報計測プログラムであって、
    　ヘモグロビンの吸収波長帯域に感度域を有する複数の第１の画素が、受光した光に基づく第１の撮像信号を時系列で生成するとともに、前記第１の画素の感度域よりも長波長側に長波長側感度域、短波長側に短波長側感度域を有し、前記長波長側感度域および前記短波長側感度域の幅が前記第１の画素の感度域の幅よりも小さい複数の第２の画素が、受光した光に基づく第２の撮像信号を時系列で生成する撮像信号生成手順と、
    　時系列で生成された前記第１の撮像信号および前記第２の撮像信号の代表値を時系列に沿ってつなげた時系列信号を生成する時系列信号生成手順と、
    　前記時系列信号を、複数の信号成分に分離する信号分離手順と、
    　分離した複数の信号成分のうち、前記生体情報に応じた信号成分を選択する生体情報成分選択手順と、
    　をコンピュータに実行させることを特徴とする生体情報計測プログラム。
PCT/JP2015/085417 2015-12-17 2015-12-17 生体情報計測装置、生体情報計測方法および生体情報計測プログラム WO2017104056A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2015/085417 WO2017104056A1 (ja) 2015-12-17 2015-12-17 生体情報計測装置、生体情報計測方法および生体情報計測プログラム
JP2016564289A JP6585623B2 (ja) 2015-12-17 2015-12-17 生体情報計測装置、生体情報計測方法および生体情報計測プログラム
US15/392,431 US9978144B2 (en) 2015-12-17 2016-12-28 Biological information measurement apparatus, biological information measurement method, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/085417 WO2017104056A1 (ja) 2015-12-17 2015-12-17 生体情報計測装置、生体情報計測方法および生体情報計測プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/392,431 Continuation US9978144B2 (en) 2015-12-17 2016-12-28 Biological information measurement apparatus, biological information measurement method, and computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2017104056A1 true WO2017104056A1 (ja) 2017-06-22

Family

ID=59056099

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/085417 WO2017104056A1 (ja) 2015-12-17 2015-12-17 生体情報計測装置、生体情報計測方法および生体情報計測プログラム

Country Status (3)

Country Link
US (1) US9978144B2 (ja)
JP (1) JP6585623B2 (ja)
WO (1) WO2017104056A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109247924B (zh) * 2018-11-23 2021-11-23 上海海事大学 基于柔性应变传感器的脉搏检测器件及脉搏检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01280442A (ja) * 1988-05-02 1989-11-10 Olympus Optical Co Ltd 内視鏡装置
JPH0417076A (ja) * 1990-05-10 1992-01-21 Olympus Optical Co Ltd 内視鏡用画像処理装置
WO2014038077A1 (ja) * 2012-09-07 2014-03-13 富士通株式会社 脈波検出方法、脈波検出装置及び脈波検出プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5057675B2 (ja) * 2006-03-03 2012-10-24 オリンパスメディカルシステムズ株式会社 生体観察装置
JP5591570B2 (ja) * 2010-03-23 2014-09-17 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム
JP5672144B2 (ja) 2011-05-20 2015-02-18 富士通株式会社 心拍数・呼吸数検出装置，方法およびプログラム
JP5816511B2 (ja) * 2011-10-04 2015-11-18 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理装置の作動方法
JP5789232B2 (ja) * 2011-10-12 2015-10-07 富士フイルム株式会社 内視鏡システム及びその作動方法
US10238345B2 (en) * 2014-10-16 2019-03-26 Panasonic Intellectual Property Management Co., Ltd. Biological information processing device and biological information processing method
US9810650B2 (en) * 2014-10-20 2017-11-07 Andreas Mandelis Systems and methods for performing truncated-correlation photothermal coherence tomography

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01280442A (ja) * 1988-05-02 1989-11-10 Olympus Optical Co Ltd 内視鏡装置
JPH0417076A (ja) * 1990-05-10 1992-01-21 Olympus Optical Co Ltd 内視鏡用画像処理装置
WO2014038077A1 (ja) * 2012-09-07 2014-03-13 富士通株式会社 脈波検出方法、脈波検出装置及び脈波検出プログラム

Also Published As

Publication number Publication date
US9978144B2 (en) 2018-05-22
JP6585623B2 (ja) 2019-10-02
US20170178326A1 (en) 2017-06-22
JPWO2017104056A1 (ja) 2018-10-04

Similar Documents

Publication Publication Date Title
McDuff et al. A survey of remote optical photoplethysmographic imaging methods
McDuff Camera measurement of physiological vital signs
US11229372B2 (en) Systems and methods for computer monitoring of remote photoplethysmography based on chromaticity in a converted color space
EP2486539B1 (en) Method and system for obtaining a first signal for analysis to characterize at least one periodic component thereof
JP6268182B2 (ja) 生理学的情報を抽出する装置及び方法
Blackford et al. Effects of frame rate and image resolution on pulse rate measured using multiple camera imaging photoplethysmography
EP3308702B1 (en) Pulse estimation device, and pulse estimation method
JP6521845B2 (ja) 心拍に連動する周期的変動の計測装置及び計測方法
US9741113B2 (en) Image processing device, imaging device, image processing method, and computer-readable recording medium
JP6098304B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
JP2013506525A (ja) フォトプレチスモグラフィーを実行するための方法及びシステム
JP2015164512A (ja) 医療用皮膚検査装置
Suman et al. Image enhancement using geometric mean filter and gamma correction for WCE images
US9743825B2 (en) Image processing apparatus, image processing method, and computer-readable recording device
Hernandez-Ortega et al. A comparative evaluation of heart rate estimation methods using face videos
US11213256B2 (en) Biological image processing method and biological information detection device
JP7087390B2 (ja) 診断支援装置、画像処理方法及びプログラム
Nguyen et al. Non-contact heart rate measurement from deteriorated videos
JP6585623B2 (ja) 生体情報計測装置、生体情報計測方法および生体情報計測プログラム
JP7237768B2 (ja) 生体情報検出装置
US11304611B2 (en) Image processing apparatus, image processing method, and computer readable recording medium
Chowdhury et al. LGI-rPPG-Net: A shallow encoder-decoder model for rPPG signal estimation from facial video streams
KR102468654B1 (ko) 보정된 이미지 기반 심박 추정 방법 및 그 장치
WO2019187852A1 (ja) モデル設定装置、非接触式血圧測定装置、モデル設定方法、モデル設定プログラム、および記録媒体
JP2016137018A (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016564289

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15910746

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15910746

Country of ref document: EP

Kind code of ref document: A1