WO2018179150A1 - 心拍推定装置 - Google Patents

心拍推定装置 Download PDF

Info

Publication number
WO2018179150A1
WO2018179150A1 PCT/JP2017/012954 JP2017012954W WO2018179150A1 WO 2018179150 A1 WO2018179150 A1 WO 2018179150A1 JP 2017012954 W JP2017012954 W JP 2017012954W WO 2018179150 A1 WO2018179150 A1 WO 2018179150A1
Authority
WO
WIPO (PCT)
Prior art keywords
component
heart rate
region
heartbeat
luminance value
Prior art date
Application number
PCT/JP2017/012954
Other languages
English (en)
French (fr)
Inventor
旭美 梅松
剛範 辻川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2019508436A priority Critical patent/JP6717424B2/ja
Priority to PCT/JP2017/012954 priority patent/WO2018179150A1/ja
Publication of WO2018179150A1 publication Critical patent/WO2018179150A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals

Definitions

  • the present invention relates to a heart rate estimation device.
  • the present invention particularly relates to an apparatus for accurately estimating a heart rate from a face image.
  • Measures attached to a living body such as an electrocardiograph and a wearable sensor are often used for heart rate detection. There is a problem that it is troublesome to live with such a measuring device. Therefore, in order to enable detection of a heartbeat even when a measuring device is not in contact with a living body, a method for detecting a heartbeat in a non-contact manner from a face image taken by a camera has been proposed.
  • a method for estimating a heart rate by capturing a face with a camera and capturing a change in luminance of the face surface caused by blood flow is known. Since the heart surface component is included in the luminance change of the face surface, the average luminance value of the face region is calculated, and the time response waveform is subjected to FFT (Fast Fourier Transform). The maximum value of the spectrum obtained as a result is estimated as the heart rate.
  • FFT Fast Fourier Transform
  • Non-Patent Document 1 An example of this type of method is described in Non-Patent Document 1.
  • the average values of the red component (R), green component (G), and blue component (B) in the face area are calculated and processed by independent component analysis (Independent component analysis (ICA)).
  • ICA Independent component analysis
  • the heart rate is estimated from the peak frequency obtained by frequency analysis of one component waveform (second component waveform).
  • independent component analysis has the property that the order in which the separated independent signals appear cannot be specified. That is, the independent signal estimated to contain the most heartbeat signals cannot be identified by the independent component analysis as one of a plurality of separated output components (first output component to third output component). . That is, there is an indefinite order between components in the output component after ICA.
  • the second output component is determined as the heartbeat component, but in reality, the heartbeat component is included in any of the first to third output components, and every time ICA is applied. Heart rate components are output to different output components. If the output component including the heartbeat component cannot be specified, the output component to be followed in the time direction cannot be specified, and there is a limit to improving the heartbeat estimation accuracy.
  • the second output component is determined as the heartbeat component, but actually, the heartbeat component is included in any of the first to third output components.
  • the output component including the heartbeat component is different every time ICA is performed. If the output component including the heartbeat component cannot be specified, the output component to be followed in the time direction cannot be specified, and there is a limit to improving the heartbeat estimation accuracy.
  • the heart rate is estimated by applying ICA using the principle of Non-Patent Document 1.
  • an output signal which is an independent signal after ICA, is paired and segmented based on the waveform similarity of the spectrum distribution by pairing the spectrum distribution of the independent signal having a high similarity.
  • the peak frequency of each of the segmented spectral distributions is tracked, and the heart rate is estimated based on the frequency value of the peak frequency where the appearance position has converged on the frequency value axis after a certain time has elapsed. By doing so, continuity in the time axis direction is secured.
  • the term “heartbeat” as used herein refers to an index representing fluctuations in blood volume, that is, an increase or decrease in blood flow, and includes so-called heart rate and heart rate waveform.
  • ICA includes not only independent component analysis but also independent vector analysis.
  • the present invention has been made in view of such a situation, and the problem to be solved by the present invention is that it is possible to specify an output component in which a heartbeat component appears, and to ensure time direction continuity in the direction of the output component.
  • a heart rate estimation apparatus, method, and program is provided.
  • a region-of-interest detection unit that detects a region of interest including a face region of a subject from each of a plurality of temporally continuous images; Using a luminance value calculation unit that calculates the luminance value included in the image for each of the predetermined light wavelength components, and a separation matrix having a set of coefficients for each of the predetermined light wavelength components as a row
  • a heart rate component emphasizing unit that emphasizes a heart rate component
  • a heart rate calculating unit that calculates a heart rate based on the heart rate component emphasized by the heart rate component emphasizing unit
  • the separation matrix includes a heartbeat component, the absolute value of the coefficient relating to the luminance value of the light wavelength component of green being larger than the absolute value of the coefficient relating to the luminance value of the light wavelength component of another color Emphasis Providing a heart estimating apparatus including a row of numbers.
  • a region of interest detection step for detecting a region of interest including a face region of a subject from each of a plurality of temporally continuous images, and luminance included in the image in the region of interest
  • a luminance value calculation stage for calculating a value for each of the predetermined light wavelength components, and a separation matrix having a set of coefficients for each of the predetermined light wavelength components as a row for the luminance value
  • the separation matrix includes a heart rate component enhancement step for enhancing a heart rate component by performing independent component analysis on the heart rate, and a heart rate calculation step for calculating a heart rate based on the heart rate component enhanced by the heart rate component enhancement step.
  • Consists of a heartbeat component enhancement coefficient in which the absolute value of the coefficient relating to the luminance value of the light wavelength component of green is larger than the absolute value of the coefficient relating to the luminance value of the light wavelength component of another color.
  • a region of interest detection means for detecting a region of interest including a face region of a subject from each of a plurality of temporally continuous images, and luminance included in the image in the region of interest
  • a luminance value calculating means for calculating a value for each of the predetermined light wavelength components, and a separation matrix having a set of coefficients for each of the predetermined light wavelength components as a row
  • a program that causes a computer to execute a heart rate component emphasizing unit that emphasizes a heart rate component and a heart rate calculating unit that calculates a heart rate based on the heart rate component emphasized by the heart rate component emphasizing unit by performing independent component analysis
  • the absolute value of the coefficient relating to the luminance value of the light wavelength component of green is larger than the absolute value of the coefficient relating to the luminance value of the light wavelength component of another color.
  • Consisting coefficient provides a program including a row of the heartbeat component enhancement factor.
  • an output component in which a heartbeat component appears can be specified by using a fixed coefficient advantageous for heartbeat estimation as an initial value of the ICA mixing matrix.
  • the time direction continuity in the output component direction can be secured. Therefore, it is possible to accurately estimate the heart rate from the face image including the movement of the subject and the facial expression change during daily life such as during work or driving.
  • the heartbeat estimation apparatus 1000 is an apparatus that accurately estimates a heartbeat from a face image that is shown by a subject in daily life such as during work or driving.
  • the heartbeat estimation apparatus 1000 includes a region of interest detection unit 101, a luminance value calculation unit 102, a heartbeat component enhancement unit 103, and a heartbeat calculation unit 104.
  • An imaging device C1 that is a first camera is an imaging device that includes an imaging element such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS).
  • CMOS complementary metal oxide semiconductor
  • a plurality of light receiving elements such as R (Red), G (Green), and B (Blue) can be mounted on the imaging device C1.
  • the imaging device C1 captures and outputs a series of temporally continuous images.
  • the output image may be a still image or a moving image. That is, a series of still image data may be generated and output by continuously capturing still images. Or it is good also as image
  • a digital camera or a Web camera may be connected to the heartbeat estimation device 1000 via an external terminal.
  • the device for inputting the image data 110 may be other than the camera, and the image data 110 may be image data cut out from a medium such as video or DVD or a moving image file stored on the hard disk.
  • the camera or the out-camera may be used as the imaging device C1.
  • a smartphone equipped with a camera such as a so-called in camera or out camera.
  • the image data 110 is given by, for example, a rectangle of 640 horizontal pixels ⁇ 480 vertical pixels.
  • One pixel is given by a brightness gradation value (luminance).
  • luminance luminance
  • the gradation value of the luminance (I) of the pixel at the coordinates (i, j) indicated by the integers i and j is given by an 8-bit digital value I (i, j) or the like.
  • the image data 110 is a color image, for example, one pixel is given by R, G, and B gradation values.
  • the gradation values of R, G, B of the pixel at coordinates (i, j) indicated by integers i, j are, for example, digital values R (i, j), G (i, j), B, respectively. (I, j).
  • the number of colors used for separation corresponds to the number of columns of the separation matrix W described later.
  • the number of colors is three colors of RGB, and the same three colors of RGB are used for separation. Therefore, the number of colors representing one pixel matches the number of columns of the separation matrix W. Yes.
  • the number of colors representing one pixel does not necessarily match the number of colors used for separation.
  • one pixel may be represented by a total of five colors of cyan and magenta, and among these five colors, only three colors of RGB may be used for separation. In this case, the number of colors representing one pixel is 5, and the number of columns of the separation matrix W is 3.
  • the region-of-interest detection unit 101 receives as input image data 110 that is a video signal obtained from the imaging device C1. As shown in FIG. 2, the region-of-interest detection unit 101 includes a face detection unit 101-1 and a face feature point detection unit 101-2.
  • the face detection unit 101-1 detects the position and size of a human face included in the image data 110 and extracts a face area including the face.
  • the face detection an existing face detection technique for detecting the position and size of the target face is used.
  • the face feature point detection unit 101-2 performs face feature point detection.
  • a feature point is detected from the face area detected by the face detection.
  • eyes, nose, mouth, face outline, and the like are detected as face feature points.
  • any algorithm that detects feature points from the detected face area can be used for face feature point detection.
  • a feature point detection algorithm using Haar features and AdaBoost can be used. In this manner, the coordinates (up, vp) of p feature points (p is an integer of 1 or more) are detected from the face area image using an arbitrary feature point detection algorithm.
  • the region of interest (ROI) is determined. From the obtained face feature points, a region surrounding the face feature points is determined as a region of interest. At that time, all face feature points may be used, or some face feature points may be used.
  • the region of interest detection unit 101 outputs image data of the determined region of interest.
  • ⁇ Luminance value calculation unit 102> The luminance value calculation unit 102 receives as input image data of a region of interest that is a face partial region obtained from the region of interest detection unit 101. The luminance value calculation unit 102 obtains the R, G, and B luminance gradation values for each pixel in the region of interest.
  • an average value of luminance in the region of interest is calculated for each of the R, G, and B color components of the region of interest. For example, when an image is acquired at 30 fps (30 frames / second), the average value in the area for each frame is calculated.
  • the luminance gradation values of R, G, and B at the coordinates (i, j) in the frame t are Rt (i, j), Gt (i, j), and Bt (i, j).
  • the average value Gt_ave of the luminance of the G signal in the region of interest is calculated by the following equation (1).
  • the average values Rt_ave and Bt_ave can be calculated similarly for R and B. Although the above example shows a case where the region of interest is a rectangle, the present invention is not limited to this.
  • the luminance value calculation unit 102 outputs the average values Rt_ave, Gt_ave, and Bt_ave of R, G, and B in the region of interest as luminance values.
  • ⁇ Heart rate component enhancement unit 103> The heart rate component emphasizing unit 103 receives the average values Rt_ave, Gt_ave, and Bt_ave of R, G, and B in the region of interest obtained from the luminance value calculating unit 102 as input.
  • Independent component analysis is used for heart rate signal enhancement. Independent component analysis is a method of multivariate analysis, and it is assumed that the signal that is the information source is independent, and the calculation means that separates the signal source into independent components from the signals of multiple observation values It is.
  • the blind signal separation method is formulated as follows. Assuming that n signal sources at time t are s (t) and these are unknown, the following equation (2) is obtained.
  • the separation signal is obtained by using the estimated value W of the separation matrix assuming the independence of the signal source.
  • WA becomes a unit matrix and coincides with the signal source s.
  • n is assumed to be 3.
  • T 900 (30 seconds in the case of 30fps (frames) per second)
  • the average data of the R, G, and B brightness values obtained in this way after normalization is set as Rnormalize, Gnormalize, and Bnormalize, and is used as an input for independent component analysis, that is, an observation signal x (t).
  • Independent component analysis has the property that the order in which the separated independent signals appear is indefinite. That is, it is impossible to specify which of the plurality of separated output components (first component to third component) is the independent signal estimated to contain the most heartbeat signal by the independent component analysis.
  • any one row coefficient of the separation matrix W is set to a value capable of heartbeat enhancement.
  • the green component (G) is most likely to exhibit the change resulting from blood flow.
  • the separation matrix W can be written as the following equation (10).
  • the coefficients w11, w12, and w13 are coefficients for Rnormalize, Gnormalize, and Bnormalize, respectively.
  • a coefficient capable of enhancing the heart rate a value that increases the weight of the coefficient relating to the luminance value of the green wavelength component or the absolute value of the coefficient is selected and set to w11, w12, and w13.
  • w11 ⁇ 1.5
  • it is desirable that the sum of the coefficients relating to the luminance values of the R, G, and B light wavelength components is zero.
  • the luminance value of the green (G) light wavelength component and the light wavelength components other than green It is desirable to set the ratio of the coefficients for R, B) to be (N-1):-1.
  • any other values of w21 to w33 may be used. More desirable coefficients w21 to w33 are coefficients that become orthonormal to the coefficient vector [w11, w12, w13]. The coefficients w21 to w33 that are orthonormal to the coefficient vector of [w11, w12, w13] are obtained, for example, using the Gram-Schmidt orthonormalization method.
  • k is the number of numbers other than 0 in the same row.
  • W is l rows and n columns, it can be summarized as follows.
  • l is a natural number such that l> m.
  • Equation (12) corresponds to equation (12).
  • the separation matrix W By setting the separation matrix W in this way, it is possible to output a component that emphasizes the heart rate component j as the first component, and to determine that the first output component obtained after the independent component analysis is a signal containing a large amount of heart rate signals. it can.
  • the heart rate enhancement coefficients may be determined for w21 to w2N and w31 to w3N instead of w11 to w1N, respectively.
  • the heartbeat component enhancement unit 103 Since many heartbeat components are included in the heartbeat component, the heartbeat component enhancement unit 103 outputs the obtained first output signal component.
  • the output component including the heartbeat component can be determined, the output component including the most heartbeat component can be specified, and in the case of the specific output component, in the above example, By following the first output component, the discontinuity in the time direction can be solved, and the heartbeat can be estimated more accurately from the face image.
  • the heart rate calculation unit 104 receives the first output signal component obtained by the heart rate component enhancement unit 103 as an input. First, a first output signal component having a predetermined time length is converted into a frequency spectrum by performing conversion into a frequency domain such as Fourier transform, for example.
  • a frequency domain such as Fourier transform
  • an arbitrary conversion such as a discrete Fourier transform (DFT), a fast Fourier transform (FFT), a discrete cosine transform (DCT), or a wavelet transform is used.
  • the method can be used.
  • the predetermined time length is 30 seconds (900 frames for 30 fps) or 1 minute (1800 frames for 30 fps). This time length may be the time length used in the heart rate component emphasizing unit 103, but is not limited thereto.
  • the heart rate calculation unit 104 outputs the heart rate calculated in this way as an estimated heart rate estimated from the face image.
  • image data is acquired using the imaging device C ⁇ b> 1 (step (Step: hereinafter simply referred to as S) 101).
  • the imaging device C1 outputs the acquired image data to the region of interest detection unit 101.
  • the region-of-interest detection unit 101 detects a face region every predetermined time (for example, one frame) based on the input image data (S102). Next, the region-of-interest detection unit 101 detects face feature points from the detected face region (S103). Next, the region-of-interest detection unit 101 determines a region of interest based on the detected face feature point (S104), and outputs it to the luminance value calculation unit 102.
  • the luminance value calculation unit 102 calculates the luminance value in the region of interest and outputs it to the heart rate component enhancement unit 103 (S105).
  • the heart rate component emphasizing unit 103 confirms whether or not a certain number of frames have been input, and when a luminance value equal to or greater than the certain number of frames has been calculated (S106, YES), performs independent component analysis (S107). Specifically, for example, when a video is acquired at a constant time of 30 frames per second, a predetermined separation matrix W is used from the R, G, and B luminance values of 900 frames for 30 seconds. Independent component analysis is performed, and the obtained component is output to the heart rate calculation unit 104.
  • the heart rate calculation unit 104 calculates the heart rate from the output component of the independent component analysis by the heart rate component enhancement unit 103 (S108). Then, the heart rate is output, and the process ends.
  • the heartbeat estimating apparatus 1000 repeats the processing after S101. Thus, the processing of the heart rate estimation apparatus 1000 ends.
  • the coefficient of one row of the separation matrix W to a value capable of heartbeat enhancement, it is possible to determine the output independent signal including the most heartbeat signals.
  • a fixed coefficient advantageous for heartbeat estimation as an initial value of the ICA mixing matrix, it is possible to specify an output component in which a heartbeat component appears.
  • the time direction continuity in the output component direction can be secured. Thereby, it is possible to accurately estimate the heart rate from the face image including the movement of the subject and the facial expression change during daily life such as during work or driving.
  • the first modification of the first embodiment has the same configuration as the block diagram of FIG. 1, but the processing is different and will be described below.
  • the initial value of the mixing matrix W used in the heart rate component emphasizing unit 103 is determined from information on luminance values other than the region of interest.
  • the imaging device C1 in the first modification is the same as that in FIG.
  • the region-of-interest detection unit 101 receives as input image data 110 that is a video signal obtained from the imaging device C1.
  • luminance value calculation unit 102 receives as input the image data of the region of interest that is the face partial region obtained from the region of interest detection unit 101 and the image data other than the region of interest.
  • the R, G of the region other than the region of interest B average luminance values Rt_ave_bg, Gt_ave_bg, and Bt_ave_bg are also calculated as luminance values.
  • the luminance value calculation unit 102 calculates the luminance values Rt_ave, Gt_ave, and Bt_ave of the average values Rt_ave, Gt_ave, and Bt_ave in the region of interest, and the average values Rt_ave_bg, Gt_ave_bg, and Bt_ave_bg of R, G, and B other than the region of interest Output the brightness value.
  • the heart rate component emphasizing unit 103 receives R, G, and B luminance average values Rt_ave, Gt_ave, and Bt_ave in the region of interest and R, G, and B luminance average values Rt_ave_bg, Gt_ave_bg, and Bt_ave_bg other than the region of interest as inputs. .
  • R, G, and B luminance average values Rt_ave_bg, Gt_ave_bg, and Bt_ave_bg other than the region of interest as inputs.
  • independent component analysis is used as in the first embodiment.
  • the initial value used for the mixing matrix W is determined using luminance values other than the region of interest. Since it can be assumed that the region of interest and the region other than the region of interest share the same light source, it is considered that the illumination variation is correlated with the luminance change of the region other than the region of interest (background) and the luminance change of the region of interest. For this reason, for example, focusing on the green color in which heartbeat fluctuations are most likely to appear, a value G HR obtained by subtracting a constant multiple of the luminance other than the region of interest (h in Expression (14)) from the luminance value in the region of interest is obtained.
  • h is determined using a Normalized Least Mean Square (NLMS) adaptive filter.
  • NLMS Normalized Least Mean Square
  • the h obtained here is used as a coefficient of the separation matrix W.
  • Independent component analysis is performed using the following equations (15) and (16), where x (t) is the observed signal.
  • the heartbeat component emphasizing unit 103 outputs the obtained first output signal component.
  • the heartbeat component emphasizing unit 103 outputs the obtained first output signal component.
  • ⁇ Heart rate calculator 104> The operation of the heart rate calculation unit 104 in Modification 1 is the same as that in FIG.
  • luminance values other than the region of interest are also used. This makes it possible to estimate heart rate that is robust to the lighting environment.
  • the second modification of the first embodiment has the same configuration as the block diagram of FIG. 1, but the processing is different and will be described below.
  • a signal to be subjected to independent component analysis used in the heart rate component enhancement unit 103 is used after being corrected from information of luminance values other than the region of interest.
  • Imaging device C1> The imaging device C1 in the second modification is the same as that in FIG.
  • ⁇ Region of Interest Detection Unit 101> Similar to the first modification of the first embodiment, the region-of-interest detection unit 101 in the second modification outputs image data other than the region of interest in addition to the image data of the region of interest determined by the output of the region-of-interest detection unit 101. To do.
  • the luminance value calculation unit 102 receives as input the image data of the region of interest that is the face partial region obtained from the region of interest detection unit 101 and the image data other than the region of interest. Since the operation of the luminance value calculation unit 102 in Modification 2 is the same as that in Modification 1 of the first embodiment, description thereof is omitted.
  • the heart rate component emphasizing unit 103 is an average value of luminances Rt_ave, Gt_ave, and Bt_ave of R, G, and B in the region of interest, and an average value of luminances R, G, and B other than the region of interest Rt_ave_bg, Gt_ave_bg, and Bt_ave_bg Is input as a luminance value.
  • Rt_ave_bg the region of interest
  • Gt_ave_bg Gt_ave_bg
  • Bt_ave_bg independent component analysis
  • Rt_ave, Gt_ave, and Bt_ave are corrected using luminance values other than the region of interest, and independent component analysis is performed on the signal. Since it can be assumed that the region of interest and the region other than the region of interest share the same light source, it is considered that the illumination variation is correlated with the luminance change of the region other than the region of interest (background) and the luminance change of the region of interest. For this reason, for example, focusing on the green color in which heartbeat fluctuations are most likely to appear, a value G HR obtained by subtracting a constant multiple of the luminance other than the region of interest (h in Expression (14)) from the luminance value in the region of interest is obtained. For example, h is determined using a Normalized Least Mean Square (NLMS) adaptive filter. Similarly, R HR and B HR are determined for Rt_ave and Bt_ave.
  • NLMS Normalized Least Mean Square
  • the coefficients of the mixing matrix W are subjected to independent component analysis using the same coefficients as in the first embodiment.
  • the heartbeat component emphasizing unit 103 outputs the obtained first output signal component.
  • the second modification of the first embodiment it is possible to estimate the heart rate robust to the illumination environment by correcting the signal using the luminance value other than the region of interest.
  • FIG. 4 is a block diagram showing a configuration of a heartbeat estimation apparatus according to the second embodiment of the present invention.
  • the heart rate estimation device 2000 is a device that accurately estimates a heart rate from a face image of a subject in daily life such as working or driving.
  • the heartbeat estimation device 2000 includes a region of interest detection unit 101, a luminance value calculation unit 102, a heartbeat component enhancement unit 201, and a heartbeat calculation unit 104.
  • ⁇ Imaging device C1> The imaging device C1 in the second embodiment is the same as that shown in FIG.
  • the region-of-interest detection unit 101 in the second embodiment is the same as that shown in FIG. ⁇ Luminance value calculation unit 102>
  • the luminance value calculation unit 102 in the second embodiment is the same as that in FIG. ⁇ Heart rate component enhancement unit 201>
  • the heartbeat component enhancement unit 201 includes a heartbeat component enhancement processing unit 201-1 and a storage unit 201-2.
  • the heart rate component enhancement processing unit 201-1 emphasizes the heart rate component.
  • the storage unit 201-2 stores the coefficients of the separation matrix of Expression (10).
  • the heart rate component enhancement processing unit 201-1 receives the average values Rt_ave, Gt_ave, and Bt_ave of the R, G, and B luminances in the region of interest obtained from the luminance value calculating unit 102.
  • independent component analysis is used as in the first embodiment.
  • [w21, w22, w23] and [w31, w32, w33] are assumed to be coefficient vectors orthogonal to [w11, w12, w13].
  • the first row of the separation matrix W remains fixed until the output component tends to be determined in the update of the independent component analysis.
  • the first line is released.
  • the second and third lines may be released, and all of the first to third lines may be re-learned.
  • the output component For determining whether or not the output component has been determined, for example, using the correlation between the output components, if the correlation between the output components starts to oscillate, it is determined that the learning of the independent component analysis has converged.
  • the value given as the initial value of the separation matrix W is stored.
  • the output component applied to the separation matrix W closest to [w11, w12, w13] given as the initial value is selected as the output component of the heartbeat component.
  • a coefficient vector for emphasizing the heart rate determined by the initial value stored in the storage unit 201-2 is called and compared with each row vector of the separation matrix W obtained after learning.
  • an output component related to a row vector close to 1 is output using a cosine similarity between a vector defined by an initial value and a row vector written by a separation matrix W after learning.
  • the heartbeat component enhancement unit 201 outputs an output signal component relating to the selected row vector.
  • ⁇ Heart rate calculator 104> The heart rate calculation unit 104 receives the output signal component applied to the row vector selected by the heart rate component enhancement unit 201 as an input.
  • the operation of the heart rate calculation unit 104 in the second embodiment is the same as that in FIG.
  • the second embodiment learning is performed with the heart rate component fixed. This increases the possibility that components other than the heart rate component are output to the second and third components.
  • the separation matrix that is robust to the environment can be determined by re-learning the coefficient that emphasizes the heart rate component again. For this reason, heartbeat components can be separated robustly to the environment regardless of variations in lighting and individual differences in skin color.
  • the modification of the second embodiment has the same configuration as that of the block diagram of FIG. 4, but the processing is different and will be described below.
  • ⁇ Imaging device C1> The imaging device C1 in the modification of the second embodiment is the same as that in FIG. ⁇ Region of Interest Detection Unit 101>
  • the region-of-interest detection unit 101 according to the modification of the second embodiment is the same as that shown in FIG.
  • the luminance value calculation unit 102 according to the modification of the second embodiment is the same as that shown in FIG.
  • the heart rate component emphasizing unit 201 includes a heart rate component emphasizing processing unit 201-1 and a storage unit 201-2.
  • the heartbeat component enhancement processing unit 201-1 performs heartbeat component enhancement.
  • the storage unit 201-2 stores the coefficients of the separation matrix of Expression (10).
  • the operation of the heartbeat component emphasizing unit 201 in the modification of the second embodiment is the same as that in FIG.
  • this modification is different from the second embodiment described above in that heart rate estimation is performed using coefficients of a separation matrix W corresponding to a person who is a target of heart rate estimation and an environment in which heart rate estimation is performed.
  • the coefficients of the separation matrix W are stored in the storage unit 201-2 separately for each person or for each environment.
  • the heart rate component enhancement processing unit 201-1 reads out the coefficients of the separation matrix W corresponding to the person who is the target of heart rate estimation and the environment in which heart rate estimation is performed from the storage unit 201-2, and performs independent component analysis.
  • the coefficient of the separation matrix W optimum for each person was estimated from a plurality of separation matrices W based on, for example, a result of a pulse wave such as an electrocardiogram or a wearable sensor or a correct heart rate and an estimated heart rate technique from the video of the present invention.
  • the result of the estimated heart rate is collated, and the one with the smallest difference is held as the optimum coefficient.
  • the optimal separation matrix W coefficient for each environment for example, the optimal coefficient for the office environment, home environment, in-car environment, and outdoor environment is acquired and stored, and the coefficient that matches the person and environment is used. .
  • the operation of the heart rate calculation unit 104 in the second embodiment is the same as that in FIG.
  • the values determined for each person and each environment are used for the separation matrix W. This makes heartbeat estimation robust to individual differences and environmental differences.
  • the heartbeat estimation device 3000 is a device that accurately estimates a heartbeat from a face image that is shown by a subject in daily life such as at work or driving.
  • the heartbeat estimation device 3000 includes a region of interest detection unit 301, a confidence region determination unit 302, a luminance value calculation unit 303, a heartbeat component filter unit 304, a heartbeat component enhancement unit 305, a heartbeat calculation unit 306, and an outlier removal.
  • Part 307. Imaging device C1>
  • the imaging device C1 in the third embodiment is the same as that of the first embodiment in FIG.
  • the operation of the region of interest detection unit 301 in the third embodiment is the same as that of the region of interest detection unit 101 in FIG.
  • the region of interest detection unit 301 outputs the image data of the region of interest and the coordinates of the facial feature points.
  • the trust region determination unit 302 receives the image data of the region of interest that is the face partial region obtained from the region of interest detection unit 301 and the coordinates of the face feature points.
  • the confidence region determination unit 302 determines the reliability in the partial region of the region of interest from the image data of the region of interest. Specifically, in the region of interest, the reliability of the partial region where the heartbeat can be estimated with high accuracy is high, and the reliability of the partial region where the estimation accuracy of the heartbeat is low is determined to be low.
  • the region of interest is divided into M parts (M is an integer of 1 or more) face partial regions based on the coordinates (up, vp) of the face feature points.
  • M is an integer of 1 or more
  • face partial regions based on the coordinates (up, vp) of the face feature points.
  • the reliability is determined for each partial region.
  • three desirable methods will be described as examples of the reliability determination method. However, these are merely examples, and are not limited thereto.
  • the part of the face region where the blood flow rate is particularly high is the vicinity of the facial artery from the jaw to the cheek.
  • the reliability of the partial region including the facial artery is set high. For example, if the reliability is 0 to 1, the reliability is low if 0, the reliability is high if 1, the reliability including the facial artery from the jaw to the cheek is 1, and the others Set to 0.
  • the reliability is set to 0 and 1, but the reliability may be set to 0.5 or the like based on the distance from the facial artery.
  • Other areas where physiological changes in the pulse are likely to occur are areas with thin skin. For example, it is said that the area under the eyelids and eyes is about 1/2 to 1/4 thinner than other areas. Therefore, the reliability of the partial area including the above area may be set high.
  • the flat area in the face area is the forehead. From the position of the face feature point of the right eye and the left eye, the number of pixels between the left eye and the right eye is set as P, and the area surrounded by P ⁇ 2 / P is determined as the forehead area from the area above P / 4. Increase the reliability of the obtained forehead area.
  • a portion having a small luminance gradient may be determined as a flat region based on the luminance gradient of adjacent pixel values.
  • the reliability is calculated from the distribution of luminance values for each partial area.
  • T 900, i.e. R of 30 seconds in the case of 30fps, to obtain G, the data of the average value of the luminance of B, and the dispersion value G [nu below if G component Calculated by equation (17).
  • ⁇ is the average value for 30 seconds in the data string of the average value of the luminance of each color.
  • R ⁇ and B ⁇ are calculated.
  • the reliability is set high. Further, the reciprocal of the variance value may be used as it is as the reliability.
  • the area where movement is intense such as the mouth, tends to have a high variance value. If the movement is intense, the luminance change is large, so that there is a possibility that the error becomes large when used for heartbeat estimation. Therefore, it is possible to extract a partial region advantageous for heartbeat estimation by determining the reliability based on the variance value.
  • the luminance value calculation unit 303 receives the face partial region obtained from the trust region determination unit 302 and the reliability of the region. First, an average value of luminance in the face partial region is calculated for each of the R, G, and B color components of the region of interest from the luminance gradation value. For example, when an image is acquired at 30 fps (30 frames / second), an average value for each frame is calculated.
  • the luminance gradation values of R, G, and B at the coordinates (i, j) in the frame t are Rt (i, j), Gt (i, j), and Bt (i, j).
  • i s , i e , j s , and j e respectively indicate the x-coordinate start position, the x-coordinate end position, the y-coordinate start position, and the y-coordinate end position of the pixel of the image data.
  • the average value Gt_ave of the luminance of the G signal in the region of interest is calculated by Equation (1).
  • the average values Rt_ave and Bt_ave can be calculated for R and B as well.
  • the reliability determined by the trust region determination unit 302 is applied to Rt_ave, Gt_ave, and Bt_ave.
  • the trust area determination unit 302 (a) a triangular area whose vertices are the right eye, nose and mouth, (a) a triangular area whose vertices are the right eye, nose and left eye, and (c) Assume that the face area is divided into three triangular areas with the left eye, nose and mouth as vertices.
  • the heart rate component filter unit 304 receives the average values Rt_AVE, Gt_AVE, and Bt_AVE of R, G, and B luminances taking into account the reliability of the face partial area.
  • a band pass filter that passes only the heart rate component is designed and a signal other than the heart rate component is attenuated by applying the filter.
  • a frequency range corresponding to a range that a human heart rate can take a frequency range corresponding to a range of heart rate 40 to 240 [bpm: beats per] minute] (about 0.7 to 4 [Hz])
  • Apply bandpass filter that only passes Then, inverse Fourier transform is performed to return to the time domain signal, and a signal obtained by applying a band-pass filter to Rt_AVE, Gt_AVE, and Bt_AVE is obtained.
  • the heartbeat component filter unit 304 outputs a signal that has been subjected to a bandpass filter.
  • a band pass filter of a frequency band of about 0.05 to 1 [Hz] is applied instead of the above frequency band.
  • the heartbeat component emphasizing unit 305 performs an independent component analysis with the signal subjected to the bandpass filter as an input.
  • the operation of the heart rate component emphasizing unit 305 in the third embodiment is the same as that of the heart rate component emphasizing unit 201 in FIG.
  • ⁇ Heart rate calculator 306> The heart rate calculation unit 306 in the third embodiment is the same as the heart rate calculation unit 104 in FIG.
  • ⁇ Outlier removal unit 307> The outlier removal unit 307 receives the heart rate obtained from the heart rate calculation unit 306 as an input.
  • the outlier removal unit 307 removes physiologically impossible changes from the obtained heart rate. Specifically, in the time series of the obtained heart rate, for example, the heart rate changed by 12 bpm or more in 1 second is excluded. The value after removal is complemented by the heart rate at the previous time or the average heart rate at the previous and next times.
  • This configuration makes it possible to estimate the heart rate with high accuracy from the face image without contact.
  • Modification 1 of the third embodiment has the same configuration as the block diagram of FIG. 5, but the processing is different and will be described below.
  • the luminance value calculation unit 303 receives the face partial region obtained from the trust region determination unit 302 and the reliability of the region.
  • the luminance value calculation unit 303 outputs Rt_ave_r, Gt_ave_r, and Bt_ave_r taking into account the reliability obtained for each of the M face partial regions.
  • the heart rate component filter unit 304 receives Rt_ave_r, Gt_ave_r, and Bt_ave_r obtained for each of the M face partial regions obtained from the luminance value calculation unit 303 as inputs.
  • the heart rate component filter unit 304 designs a band pass filter that passes only the heart rate component with respect to Rt_ave_r, Gt_ave_r, and Bt_ave_r, and attenuates signals other than the heart rate component by applying the filter.
  • the heartbeat component filter unit 304 outputs a signal obtained by applying a bandpass filter to M Rt_ave_r, Gt_ave_r, and Bt_ave_r.
  • ⁇ Heart rate component enhancement unit 305> The heartbeat component emphasizing unit 305 according to the first modification of the third embodiment is the same as that of the above-described third embodiment, and thus description thereof is omitted.
  • the heartbeat component emphasizing unit 305 performs an independent component analysis for each of the M face partial regions using a signal obtained by applying a bandpass filter for each of the M face partial regions as an observation signal x (t).
  • the heart rate component emphasizing unit 305 outputs a first output component for each of the M face partial regions.
  • ⁇ Heart rate calculator 306> The heart rate calculation unit 306 according to the first modification of the third embodiment receives the first output component for each of the M face partial regions as an input, and is the heart rate calculation method of the heart rate calculation unit 306 described in the third embodiment.
  • the heart rate for each of the M partial areas is calculated. The majority of the calculated heart rate of M results is taken, and the highest heart rate is set as the output of the heart rate calculation unit 306.
  • the heart rate may be calculated from the average value or the median value of the heart rate for each of the M partial areas, and the output from the heart rate calculation unit 306 may be used.
  • the outlier removal unit 307 receives the heart rate obtained from the heart rate calculation unit 306 as an input.
  • the heart rate calculation unit 307 in the first modification of the third embodiment is the same as that in the above-described third embodiment, and thus description thereof is omitted.
  • the heart rate can be calculated from the video with high accuracy by using the heart rate calculation results from the M multiple regions.
  • the second modification of the third embodiment has the same configuration as the block diagram of FIG. 5, but the processing is different and will be described below.
  • the luminance value calculation unit 303 receives the face partial region obtained from the trust region determination unit 302 and the reliability of the region.
  • the luminance value calculation unit 303 outputs Rt_ave_r, Gt_ave_r, and Bt_ave_r taking into account the reliability obtained for each of the M face partial regions.
  • the heart rate component filter unit 304 receives Rt_ave_r, Gt_ave_r, and Bt_ave_r obtained for each of the M face partial regions obtained from the luminance value calculation unit 303 as inputs.
  • the heart rate component filter unit 304 designs a band pass filter that passes only the heart rate component with respect to Rt_ave_r, Gt_ave_r, and Bt_ave_r, and attenuates signals other than the heart rate component by applying the filter.
  • the heartbeat component filter unit 304 outputs a signal obtained by applying a bandpass filter to M Rt_ave_r, Gt_ave_r, and Bt_ave_r.
  • ⁇ Heart rate component enhancement unit 305> The heartbeat component emphasizing unit 305 according to the first modification of the third embodiment is the same as that of the above-described third embodiment, and thus description thereof is omitted.
  • the heartbeat component emphasizing unit 305 performs an independent component analysis for each of the M face partial regions using a signal obtained by applying a bandpass filter for each of the M face partial regions as an observation signal x (t).
  • a common signal is extracted from the first output components of the M partial regions.
  • canonical correlation analysis or the like is used as a common signal extraction method.
  • the obtained common signal is used as the output of the heart rate component enhancement unit 305.
  • ⁇ Heart rate calculator 306> The heart rate calculation unit 306 receives the common signal that is the output of the heart rate component enhancement unit 305 as an input.
  • the heart rate calculation unit 306 according to the second modification of the third embodiment is the same as that of the above-described third embodiment, and thus description thereof is omitted.
  • ⁇ Outlier removal unit 307> The heart rate calculation unit 307 according to the second modification of the third embodiment is the same as that of the third embodiment described above, and a description thereof will be omitted.
  • a heartbeat signal can be enhanced by extracting a common signal from a plurality of facial regions. Therefore, the heart rate component can be calculated from the video with high accuracy.
  • the state detection device 10000 will be described as an example of applying the heart rate obtained by the heart rate estimation device of the first to third embodiments.
  • the state detection device 10000 is a device that accurately estimates the state of the subject by accurately estimating the heart rate from the face image that the subject in daily life such as during work or driving.
  • the state detection device 10000 includes a heartbeat estimation device 4000 and a state detection unit 401.
  • ⁇ Heart rate estimation device 4000> The heartbeat estimation device 4000 according to the fourth embodiment is any one of the first to third embodiments or the heartbeat estimation devices 1000, 2000, and 3000 described as modifications of these embodiments.
  • the heartbeat estimation device 4000 outputs the set of heart rate, for example, the temporal change of the heart rate, by repeating the measurement described in the first to third embodiments at a constant interval for a certain period.
  • the heart rate B1, B2, ..., Bc is obtained at each of the time intervals t0, t1, t2, ..., tc (tc is the current time), and the time series B1, B2, ..., t Output Bc.
  • ⁇ State detection unit 401> receives the heart rate output from the heart rate estimation device 4000 and outputs information indicating the state of the person.
  • the state detection unit 401 detects the state at time tc based on the heart rate time series B1, B2,..., Bc obtained from the heartbeat estimation device 4000.
  • states are sleepiness, fatigue, stress, emotions, and the like.
  • a stress state will be described as an example.
  • the time series of the obtained heart rate is converted into the frequency domain using Fourier transform or the like.
  • the LF / HF value is calculated from the obtained LF (Low Frequency) value in the frequency domain and the HF (High Frequency) value of the measurement subject.
  • a stress state is determined based on the result of having compared the calculated value of LF / HF value, and the reference value of LF / HF value.
  • the LF value is a value indicating the function of the sympathetic nerve of the measurement subject, and is represented by a periodic activity of the brainstem (0.04 to 0.15 Hz, cycle of about 10 seconds) synchronized with blood pressure fluctuation. Value related to cyclic activity.
  • the HF value is a value indicating the function of the parasympathetic nerve of the measurement subject, and is a periodic activity represented by a periodic activity of the brainstem (0.15-0.4 Hz, cycle of about 4 seconds) synchronized with respiration. Value.
  • the reference value of the LF / HF value is generally normal when the value is 0.8 to 2, and when the value is 2 or more, the stress load is large.
  • a stress state detection result in comparison with the LF / HF value and the reference value is output.
  • the stress state detection result indicates, for example, a result of high stress when the LF / HF value is 2 or more, normal when 0.8 to 2, and low stress when 0.8 or less.
  • the stress value given in this way is used for daily stress checks for office workers.
  • the stress state is measured based on the heart rate calculated from the video obtained from the camera attached to the PC. Display the measured stress state on a PC or notify the user with a smartphone.
  • a message prompting rest is displayed together with the measured stress state, for example, “I am tired, so let's refresh for 10 minutes” to prompt the user to take a break.
  • the user himself / herself grasps the stress state and performs stress care, thereby preventing a decline in productivity and preventing sickness and leave of absence.
  • an abnormal psychological state can be grasped by installing a camera at the entrance gate of the facility, measuring the heart rate from the image of the person reflected in the camera, and estimating the emotion from the obtained heart rate .
  • Heart rate can be estimated from the subject's face image with high accuracy so that arousal level, drowsiness, fatigue level, stress, emotion, etc. calculated from the heart rate can be accurately measured without contact and with low load. Become.
  • a region of interest detector that detects a region of interest including the face region of the subject from each of a plurality of temporally continuous images;
  • a luminance value calculation unit for calculating the luminance value included in the image in the region of interest for each of the predetermined light wavelength components;
  • a heart rate component emphasizing unit that emphasizes the heart rate component by performing an independent component analysis on the luminance value using a separation matrix having a set of coefficients applied to each of the predetermined light wavelength components as a row;
  • a heart rate calculation unit that calculates a heart rate based on the heart rate component emphasized by the heart rate component enhancement unit;
  • the separation matrix is a heartbeat component enhancement coefficient, the absolute value of the coefficient relating to the luminance value of the light wavelength component of green being a coefficient larger than the absolute value of the coefficient relating to the luminance value of the light wavelength component of another color
  • a heartbeat estimation device including a line consisting of
  • any one row is composed of the heartbeat component enhancement coefficient
  • the heart rate component enhancement coefficient is zero in the sum of each coefficient applied to the luminance value of the light wavelength component
  • Each row of the separation matrix is composed of N coefficients (N is a natural number) related to the luminance value of the light wavelength component
  • the heart rate component enhancement coefficient is a ratio of a coefficient relating to the luminance value of the light wavelength component of green and a coefficient relating to the luminance value of the light wavelength component other than green is (N-1): (-1).
  • the heartbeat estimation apparatus according to appendix 1, wherein the heartbeat component enhancement unit performs independent component analysis on a value obtained by normalizing the luminance value.
  • the heartbeat component emphasizing unit uses, in the separation matrix, a row vector that is orthogonal to the row vector composed of the heartbeat component enhancement coefficient in a row excluding the row vector composed of the heartbeat component enhancement coefficient.
  • the heartbeat estimation device according to any one of Appendix 3.
  • the heart rate component emphasizing unit fixes the heart rate component emphasis coefficient until an output component of the independent component analysis tends to be determined in the update of the separation matrix when applying the independent component analysis.
  • the heart rate estimation apparatus according to any one of the above.
  • the heartbeat component enhancement unit determines the heartbeat component enhancement coefficient based on a difference between luminance values of the light wavelength components other than the region of interest and the region of interest in the separation matrix.
  • the heart rate estimation apparatus according to any one of the above.
  • Appendix 7 Any one of appendix 1 to appendix 6, wherein the heartbeat component emphasizing unit selects an output component applied to a row of the separation matrix closest to the heartbeat component enhancement coefficient in the separated matrix after learning as an output component of the heartbeat component
  • the heartbeat estimation device according to claim 1.
  • Appendix 8 Further comprising a trust region determination unit that divides the region of interest into partial regions and calculates the reliability thereof;
  • the heart rate estimation device according to any one of appendix 1 to appendix 7, wherein the luminance value calculation unit calculates a luminance value with reference to the reliability value.
  • Appendix 9 The heartbeat according to any one of appendices 1 to 8, further comprising a heartbeat component filter unit that allows passage of only a predetermined frequency region based on a range that a human heart rate can take from an output of the luminance value calculation unit. Estimating device.
  • Appendix 10 The heart rate estimation according to any one of appendix 1 to appendix 9, further comprising an outlier removal unit that removes a predetermined physiologically unchangeable change from the output of the heart rate calculation unit based on human physiology apparatus.
  • a state detection device comprising: a state detection unit that determines the state of a person based on the output of the heartbeat estimation device.
  • a region-of-interest detection stage that detects a region of interest including a face region of the subject from each of a plurality of temporally continuous images;
  • a heart rate calculating step for calculating a heart rate based on the heart rate component emphasized by the heart rate component emphasizing step,
  • the separation matrix is a heartbeat component enhancement coefficient, the absolute value of the coefficient relating to the luminance value of the light wavelength component of green being a coefficient larger than the absolute value of the coefficient relating to the luminance value of the light wavelength component of another color
  • a heart rate estimation method including a line consisting of.
  • any one row is composed of the heartbeat component enhancement coefficient
  • the heart rate component enhancement coefficient is zero in the sum of each coefficient applied to the luminance value of the light wavelength component
  • Each row of the separation matrix is composed of N coefficients (N is a natural number) related to the luminance value of the light wavelength component
  • the heart rate component enhancement coefficient is a ratio of a coefficient relating to the luminance value of the light wavelength component of green and a coefficient relating to the luminance value of the light wavelength component other than green is (N-1): (-1).
  • the heartbeat estimation method according to appendix 12 wherein the heartbeat component enhancement unit performs independent component analysis on a value obtained by normalizing the luminance value.
  • the heartbeat component enhancement step uses, in the separation matrix, a row vector that is orthonormal to the row vector composed of the heartbeat component enhancement coefficient in a row excluding the row vector composed of the heartbeat component enhancement coefficient. 15. The heartbeat estimation method according to any one of appendix 14.
  • the heartbeat component enhancement coefficient is fixed until an output component of the independent component analysis tends to be determined in the update of the separation matrix when applying the independent component analysis.
  • the heart rate estimation method according to any one of the above.
  • the heartbeat component enhancement coefficient is determined based on a difference between luminance values of the light wavelength components other than the region of interest and the region of interest in the separation matrix.
  • Appendix 18 Any one of appendix 12 to appendix 17, wherein the heartbeat component enhancement step selects an output component applied to a row of the separation matrix closest to the heartbeat component enhancement coefficient in the separated matrix after learning as an output component of the heartbeat component
  • Appendix 19 Further comprising a trust region determination step of dividing the region of interest into partial regions and calculating the reliability thereof.
  • the heart rate estimation method according to any one of appendix 12 to appendix 18, wherein the luminance value calculation step calculates a luminance value with reference to the reliability value.
  • Appendix 20 The heartbeat according to any one of appendices 12 to 19, further comprising a heartbeat component filter step of passing only a predetermined frequency region based on a range that a human heart rate can take from an output of the luminance value calculation step. Estimation method.
  • Appendix 21 The heart rate estimation according to any one of appendix 12 to appendix 20, further including an outlier removal step for removing a physiologically incapable change predetermined based on human physiology from the output of the heartbeat calculation step.
  • Appendix 22 Estimating the heart rate by the heart rate estimation method according to any one of appendix 12 to appendix 21, and Determining the state of the person based on the estimated heartbeat.
  • a region of interest detecting means for detecting a region of interest including a face region of the subject from each of a plurality of temporally continuous images;
  • a luminance value calculating means for calculating a luminance value included in the image in the region of interest for each of the predetermined light wavelength components;
  • a heartbeat component enhancing means for enhancing a heartbeat component by performing independent component analysis on the luminance value using a separation matrix having a set of coefficients applied to each of the predetermined light wavelength components as a row;
  • the separation matrix is a heartbeat component enhancement coefficient, the absolute value of the coefficient relating to the luminance value of the light wavelength component of green being a coefficient larger than the absolute value of the coefficient relating to the luminance value of the light wavelength component of another color
  • any one row is composed of the heartbeat component enhancement coefficient
  • the heart rate component enhancement coefficient is zero in the sum of each coefficient applied to the luminance value of the light wavelength component
  • Each row of the separation matrix is composed of N coefficients (N is a natural number) related to the luminance value of the light wavelength component
  • the heart rate component enhancement coefficient is a ratio of a coefficient relating to the luminance value of the light wavelength component of green and a coefficient relating to the luminance value of the light wavelength component other than green is (N-1): (-1).
  • Appendix 25 The program according to appendix 23 or appendix 24, wherein the heartbeat component emphasizing unit applies independent component analysis using at least the heartbeat component enhancement coefficient as an initial value in the separation matrix.
  • the heartbeat component emphasizing unit uses a row vector that is orthogonal to the row vector composed of the heartbeat component enhancement coefficient in a row excluding the row vector composed of the heartbeat component enhancement coefficient in the separation matrix.
  • the program according to any one of Appendix 25.
  • the heart rate component emphasizing unit fixes the heart rate component emphasis coefficient until an output component of the independent component analysis tends to be determined in updating the separation matrix when applying the independent component analysis.
  • the heartbeat component enhancement means determines the heartbeat component enhancement coefficient based on a difference between luminance values of the light wavelength components other than the region of interest and the region of interest in the separation matrix.
  • Appendix 31 Any one of appendix 23 to appendix 30, further causing the computer to execute a heart rate component filter unit that passes only a predetermined frequency region based on a range that a human heart rate can take from an output of the luminance value calculation unit The listed program.
  • Appendix 32 Any one of appendix 23 to appendix 31, further causing the computer to execute outlier removal means for removing, from the output of the heartbeat calculation means, a change that is predetermined based on human physiology and cannot occur physiologically. Program.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Cardiology (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本発明の心拍推定装置（１０００）は、撮像装置（Ｃ１）により被験者が連続的に撮影された画像（１１０）から前記被験者の顔領域を含む関心領域を検出する関心領域検出部（１０１）と、前記関心領域内の各光波長成分の輝度値を算出する輝度値算出部（１０２）と、独立成分分析の分離行列において、緑色の前記光波長成分の輝度値にかかる係数の重みを大きくした心拍成分を強調する係数を用いて、前記輝度値に対して独立成分分析を適用し、心拍成分を抽出する心拍成分強調部（１０３）と、前記心拍成分から心拍数を算出する心拍算出部（１０４）とを備える。

Description

心拍推定装置
　本発明は心拍推定装置に関する。本発明は、特に、顔映像から心拍数を精度良く推定する装置に関する。
　心拍の検出には心電計やウェアラブルセンサ等の生体に装着する計測機器が用いられることが多い。こうした計測機器を装着して生活するのは煩わしいという問題がある。そこで、生体に計測機器が接触していない状態でも心拍の検出を可能にするために、カメラで撮影した顔映像などから非接触で心拍を検出する方式が提案されている。
　例えば、血液中に含まれるヘモグロビンが緑色の光を吸収する特性に着目し、顔をカメラで撮影し、血流から生じる顔表面の輝度変化を捉えることで心拍を推定する方法が知られている。顔表面の輝度変化には心拍成分が含まれているため、顔領域の平均輝度値を算出し、その時間応答波形をＦＦＴ（Fast Fourier Transform、高速フーリエ変換）処理する。その結果得られたスペクトルの最大値を、心拍数として推定する。
　この種の方法の一例が非特許文献１に記載されている。非特許文献１によれば、顔領域内の赤成分（Ｒ）、緑成分（Ｇ）、青成分（Ｂ）の各平均値を算出して独立成分分析(Independent component analysis、ICA)で処理した後に、１つの成分波形（第２成分波形）の周波数分析で得たピーク周波数から心拍数を推定する。
　しかし、独立成分分析には、分離された独立信号の出現する順番を特定できない性質がある。すなわち、心拍信号を最も多く含むと推定される独立信号が、独立成分分析により、分離された複数の出力成分（第一出力成分～第三出力成分）のいずれであるかを特定することができない。つまり、ＩＣＡ後の出力成分には成分間の順序不定性が存在する。
　非特許文献1では、第二出力成分を心拍成分として決定しているが、実際には、第一から第三出力成分までのいずれかに心拍成分が含まれており、それはＩＣＡを施すたびに異なる出力成分に心拍成分が出力されている。心拍成分を含む出力成分を特定できないと、時間方向で追随すべき出力成分も特定できず、心拍推定精度の向上には限界がある。
　非特許文献1では、第二出力成分を心拍成分として決定しているが、実際には、第一から第三出力成分までのいずれかに心拍成分が含まれている。心拍成分を含む出力成分はＩＣＡを施すたびに異なる。心拍成分を含む出力成分を特定できないと、時間方向で追随すべき出力成分も特定できず、心拍推定精度の向上には限界がある。
　特許文献1では、非特許文献1の原理を用いてＩＣＡを適用することにより、心拍数を推定する。特許文献1では、ＩＣＡ後の独立信号である出力信号に対して、スペクトル分布の波形類似度に基づいて、類似度が高い独立信号のスペクトル分布をペアリングして、区分化する。区分化されたスペクトル分布それぞれのピーク周波数を追跡し、一定時間経過後に周波数値軸上で出現位置が収束したピーク周波数の周波数値をもとに心拍数を推定する。このようにすることで、時間軸方向の連続性は担保される。なお、ここで言う「心拍」とは、血液の体積の変動、すなわち血流の増減を表す指標を指し、いわゆる心拍数や心拍波形などが含まれる。
特許05672144号公報
　特許文献1の方式では、出力成分の時間方向でのペアリングが出来ても、そもそもどの出力成分に心拍成分が多く含まれるかを特定することができない。そのため、ペアリングされた出力成分が心拍成分を最も多く含む出力成分であるのか判断ができない。
　このように、特許文献1によれば、ＩＣＡ後の出力成分を時間方向でペアリングできたとしても、そもそもどの出力成分に心拍成分が表れるかを特定できないので、心拍推定精度が低い。なお、ＩＣＡには独立成分分析だけでなく、独立ベクトル分析を含むものとする。
　本発明はこのような状況に鑑みてなされたものであり、本発明が解決しようとする課題は、心拍成分が表れる出力成分を特定可能であって、出力成分方向の時間方向連続性を担保可能な心拍推定装置、方法、プログラムを提供することである。
　上述の課題を解決するため、本発明は、その一態様として、時間的に連続した複数の画像のそれぞれから被験者の顔領域を含む関心領域を検出する関心領域検出部と、前記関心領域内の画像に含まれる輝度値を、予め定められた光波長成分の夫々について算出する輝度値算出部と、前記予め定められた光波長成分のそれぞれにかかる係数の一組を行とする分離行列を用いて前記輝度値に対して独立成分分析を行うことにより、心拍成分を強調する心拍成分強調部と、前記心拍成分強調部によって強調した心拍成分に基づいて、心拍数を算出する心拍算出部とを備え、前記分離行列は、緑色の前記光波長成分の輝度値にかかる係数の絶対値が、他の色の前記光波長成分の輝度値にかかる係数の絶対値よりも大きい係数からなる、心拍成分強調係数からなる行を含む心拍推定装置を提供する。
　また、本発明は、他の一態様として、時間的に連続した複数の画像のそれぞれから被験者の顔領域を含む関心領域を検出する関心領域検出段階と、前記関心領域内の画像に含まれる輝度値を、予め定められた光波長成分の夫々について算出する輝度値算出段階と、前記予め定められた光波長成分のそれぞれにかかる係数の一組を行とする分離行列を用いて前記輝度値に対して独立成分分析を行うことにより、心拍成分を強調する心拍成分強調段階と、前記心拍成分強調段階によって強調した心拍成分に基づいて、心拍数を算出する心拍算出段階とを含み、前記分離行列は、緑色の前記光波長成分の輝度値にかかる係数の絶対値が、他の色の前記光波長成分の輝度値にかかる係数の絶対値よりも大きい係数からなる、心拍成分強調係数からなる行を含む心拍推定方法を提供する。
　また、本発明は、他の一態様として、時間的に連続した複数の画像のそれぞれから被験者の顔領域を含む関心領域を検出する関心領域検出手段と、前記関心領域内の画像に含まれる輝度値を、予め定められた光波長成分の夫々について算出する輝度値算出手段と、前記予め定められた光波長成分のそれぞれにかかる係数の一組を行とする分離行列を用いて前記輝度値に対して独立成分分析を行うことにより、心拍成分を強調する心拍成分強調手段と、前記心拍成分強調手段によって強調した心拍成分に基づいて、心拍数を算出する心拍算出手段とをコンピュータに実行させるプログラムであって、前記分離行列は、緑色の前記光波長成分の輝度値にかかる係数の絶対値が、他の色の前記光波長成分の輝度値にかかる係数の絶対値よりも大きい係数からなる、心拍成分強調係数からなる行を含むプログラムを提供する。
　本発明によれば、心拍推定に有利な固定係数をＩＣＡの混合行列の初期値として用いることにより、心拍成分が表れる出力成分を特定することができる。
　また、本発明によれば、出力成分方向の時間方向連続性も担保できる。これにより、勤務中や運転中など日常生活中の被験者の動きや表情変化などを含む顔映像から、心拍を精度良く推定することができる。
本発明の第１実施形態である心拍推定装置１０００の構成を示すブロック図である。 心拍推定装置１０００の関心領域検出部１０１の構成を示すブロック図である。 心拍推定装置１０００の動作について説明するためのフローチャートである。 本発明の第２実施形態である心拍推定装置２０００の構成を示すブロック図である。 本発明の第３実施形態である心拍推定装置３０００の構成を示すブロック図である。 本発明の第４実施形態である状態検出装置１００００の構成を示すブロック図である。
　次に、本発明の実施の形態について図面を参照して詳細に説明する。
［第１実施形態］
　本発明の第１実施形態としての心拍推定装置１０００について図１を用いて説明する。心拍推定装置１０００は、勤務中や運転中など日常生活中の被験者が映る顔映像から心拍を精度良く推定する装置である。図１に示すように心拍推定装置１０００は、関心領域検出部１０１と輝度値算出部１０２と心拍成分強調部１０３と心拍算出部１０４を含む。
＜撮像装置Ｃ１＞
　第1のカメラである撮像装置Ｃ１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を搭載する撮像装置である。例えば、撮像装置Ｃ１には、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）などの複数の受光素子を搭載することができる。
　撮像装置Ｃ１は、時間的に連続した一連の画像を撮影し、出力する。出力する画像は静止画像であっても動画であってもよい。即ち、連続的に静止画像を撮影することにより、一連の複数の静止画像データを生成し、出力することとしてもよい。或いは、動画として撮影し、出力することとしてもよい。
　撮像装置Ｃ１の実装例としては、デジタルカメラやＷｅｂカメラを、外部端子を介して心拍推定装置１０００に接続することとしてもよい。なお、画像データ１１０を入力するデバイスはカメラ以外でもよく、また、画像データ１１０は、ビデオ、ＤＶＤなどのメディアやハードディスク上に格納されている動画ファイルから切り出した画像データであってもよい。
　また、他の実装例としては、カメラを製造時に搭載した装置を心拍推定装置１０００として用いる場合には、そのカメラ或いはアウトカメラを撮像装置Ｃ１として用いることとしてもよい。このような装置の例としては所謂インカメラ、アウトカメラ等のカメラを備えるスマートホンがある。
　画像データ１１０は、例えば、横６４０画素×縦４８０画素の矩形で与えられる。１つの画素は、明るさの階調値（輝度）で与えられる。例えば、整数ｉ、ｊで示される座標（ｉ，ｊ）の画素の輝度（Ｉ）の階調値は、８ｂｉｔのディジタル値Ｉ（ｉ，ｊ）などで与えられる。画像データ１１０がカラー画像である場合には、例えば、１つの画素は、Ｒ、Ｇ、Ｂの階調値で与えられる。このとき、整数ｉ、ｊで示される座標（ｉ，ｊ）の画素のＲ、Ｇ、Ｂの階調値は、例えばそれぞれ、ディジタル値Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ）で与えられる。
　１つの画素を表す色のうち、分離に用いる色の数が後述する分離行列Ｗの列の数に対応する。本実施形態では、色の数がＲＧＢの３色であり、分離に用いるのも同じくＲＧＢの３色のため、１つの画素を表す色の数と分離行列Ｗの列の数とが一致している。しかし、本発明では、１つの画素を表す色の数と、分離に用いる色の数は必ずしも一致しなくともよい。例えば、ＲＧＢの３色に加えて、シアン、マゼンタの合計５色で１つの画素を表し、これら５色のうち、ＲＧＢの３色のみを分離に用いることとしてもよい。この場合、１つの画素を表す色の数は５であり、分離行列Ｗの列の数は３である。
　なお、画像データ１１０の階調値は、ＲＧＢの組み合わせ、またはＲＧＢ値を変換して求まる他の表色系（ＨＳＶ表色系、ＹＵＶ表色系など）を使用してもよい。以下、画像データ１１０がカラー画像であり、１つの画素がR、G、Bの階調値で与えられることを仮定する。
＜関心領域検出部１０１＞
　関心領域検出部１０１では、撮像装置Ｃ１から得られた映像信号である画像データ１１０を入力とする。図２のように、関心領域検出部１０１は顔検出部１０１－１と顔特徴点検出部１０１－２から構成される。
　顔検出部１０１－１では、画像データ１１０に含まれている人の顔の位置や大きさを検出して、顔を含む顔領域を抽出する。顔検出には、対象となる顔の位置と大きさを検出する既存の顔検出技術を用いる。次に、顔特徴点検出部１０１－２で顔特徴点検出を行う。顔検出によって検出された顔領域から特徴点を検出する。例えば、顔特徴点として、目、鼻、口、及び顔の輪郭等を検出する。なお、顔特徴点検出には検出された顔領域から特徴点を検出する任意のアルゴリズムを用いることができる。例えば、Ｈａａｒ特徴とＡｄａＢｏｏｓｔを利用した特徴点検出アルゴリズムを用いることができる。このようにして任意の特徴点検出アルゴリズムを用いて、顔領域画像からp個（pは１以上の整数）の特徴点の座標（ｕp，ｖp）を検出する。
　次に、関心領域（ROI：Region of interest）の決定を行う。得られた顔特徴点から、顔特徴点を囲む領域を関心領域として決定する。その際に全ての顔特徴点を用いても良いし、一部の顔特徴点を用いてもよい。関心領域検出部１０１は決定した関心領域の画像データを出力する。
＜輝度値算出部１０２＞
　輝度値算出部１０２は関心領域検出部１０１から得られた顔部分領域である関心領域の画像データを入力とする。輝度値算出部１０２では、関心領域に対して、その領域の各画素におけるＲ、Ｇ、Ｂの輝度の階調値を求める。輝度の階調値から、関心領域のＲ、Ｇ、Ｂの各色成分について関心領域内の輝度の平均値を算出する。例えば、30fps（30フレーム/秒）で画像を取得していた場合には、1フレームごとの領域内平均値を算出する。ここで、フレームtにおける座標（i, j）におけるR、G、Bの輝度の階調値をRt（i, j）、Gt（i, j）、Bt（i, j）とする。関心領域の大きさがi=is～ie、j=js～jeの範囲内の座標であると仮定する。is、ie、js、jeはそれぞれ、画像データの画素のx座標の開始位置、x座標の終了位置、y座標の開始位置、y座標の終了位置を示す。その場合、関心領域内のG信号の輝度の平均値Gt_aveは下記の式(1)で算出する。
Figure JPOXMLDOC01-appb-M000001
 RとBに対しても同様に平均値Rt_ave、Bt_aveを計算できる。上記の例は、関心領域が矩形の場合を示しているが、これに限らない。輝度値算出部１０２は関心領域内のR、G、Bの輝度の平均値Rt_ave、Gt_ave、Bt_aveを輝度値として出力する。
＜心拍成分強調部１０３＞
　心拍成分強調部１０３は輝度値算出部１０２から得られた関心領域内のR、G、Bの輝度の平均値Rt_ave、Gt_ave、Bt_aveを入力とする。心拍信号強調には、独立成分分析を用いる。独立成分分析は、多変量解析の一手法であって、情報源となる信号が独立であると仮定し、複数の観測値の信号から、信号源を独立な成分に分離して抽出する計算手段である。
　独立成分分析のなかで、例えばブラインド信号分離法では、次のように定式化される。時刻tにおけるn個の信号源をs(t)とし、これらを未知とすると、次の式(2)で表される。
Figure JPOXMLDOC01-appb-M000002
 ここで
Figure JPOXMLDOC01-appb-M000003
 は転置行列を表す。また、観測値x(t)がm×nの未知の混合行列Aを用いて、信号源s(t)から生成されるものとする。即ち、次の式(3)、(4)
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
 とする。時刻t=1,2,…において、観測値の系列x(1),x(2),…が観測された場合に、信号源の系列s(1),s(2),…を推定する。すなわち独立成分分析では、信号源の独立性を仮定し、分離行列の推定値Wを用いて、分離信号を求める。推定分離信号
Figure JPOXMLDOC01-appb-M000006
 は以下の式(5)、(6)で与えられる。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
 分離行列Wを正しく推定できれば、WAは単位行列となり、信号源sと一致する。
　以下、nを3として説明する。関心領域内のR、G、Bの輝度の平均値Rt_ave、Gt_ave、Bt_aveに対して、ある一定時間1～Tまで、例えばT=900（30fps(frames per second)の場合には30秒間）のR、G、Bの輝度の平均値のデータを取得する。Gの輝度の平均値のデータをGaveとすると、取得したデータは式(7)のようにかける。
Figure JPOXMLDOC01-appb-M000009
 同様にR、Bに関しても、Rave、Baveを取得する。次に、その3つのR、G、Bの輝度の平均値のデータRave、Gave、Baveに対して、正規化を行う。正規化の方法としては、式(8)のように各色の輝度の平均値のデータ列の30秒の平均値で割る。
このようにして得られた正規化後のR、G、Bの輝度の平均値のデータをRnormalize、Gnormalize、Bnormalizeとして、独立成分分析の入力、つまり観測信号x(t)とする。
Figure JPOXMLDOC01-appb-M000011
 独立成分分析には、分離された独立信号の出現する順番が不定となる性質がある。つまり、心拍信号を最も多く含むと推定される独立信号が、独立成分分析により、分離された複数の出力成分（第一成分～第三成分）のいずれであるかを特定することができない。
　本発明では、心拍信号を最も多く含む出力後の独立信号を定めるために、分離行列Wのいずれか一行の係数を心拍強調可能な値に設定する。特に血液中に含まれるヘモグロビンは、緑色の光を吸収する特性があるため、緑色成分（G）に血流から生じる変化が最も表れている可能性が高い。分離行列Wは下記の式(10)のように書ける。
Figure JPOXMLDOC01-appb-M000012
 ここで、第一出力成分に心拍成分を出力する例で、下記説明を行う。w11、w12、w13の係数はそれぞれ、Rnormalize、Gnormalize、Bnormalizeにかかる係数である。心拍強調可能な係数として、緑色の波長成分の輝度値にかかる係数の重み或いは係数の絶対値を大きくするような値を選び、w11、w12、w13に設定する。例えば、w11=-1.5、w12=3、w13=-1.5を用いる。ここで、R、G、Bそれぞれの光波長成分の輝度値にかかる係数の和は0になることが望ましい。
　また、N個（R、G、Bの場合はＮ＝３）の光波長成分の輝度値が得られている場合、緑色（Ｇ）の光波長成分の輝度値と緑色以外の光波長成分（Ｒ，Ｂ）にかかる係数の比が（Ｎ－１）：－１になるように設定することが望ましい。
　それ以外のw21～w33の係数は任意の値を用いて良い。より望ましいw21～w33の係数としては、[w11, w12, w13]の係数ベクトルに対して、正規直交になる係数を用いる。[w11, w12, w13]の係数ベクトルに対して正規直交になるw21～w33の係数は例えば、グラム・シュミットの正規直交化法を用いて求める。
　N個の光波長成分があったと仮定した際に、それぞれの光波長成分から得られた信号を、C(1)～C(N)とすると、観測信号x(t)は式(11)のように書ける。
Figure JPOXMLDOC01-appb-M000013
 　ここでC(2)が緑色の波長成分と仮定し、第一出力成分に心拍成分を出力する分離行列Wの一例は、例えば下記で求められる。
Figure JPOXMLDOC01-appb-M000014
 ここで、kは同一行のなかで0以外の数字が入っている個数である。混合行列Wをｌ行n列とすると、下記のようにまとめられる。ｌはｌ＞ｍなる自然数である。
Figure JPOXMLDOC01-appb-M000015
 ここでm=2としたものが式(12)に相当する。緑色成分が強調されるように、2列目の重みが大きくなる行を1行目のみに作り、他の行は2列目の重みが他の列と比較して小さくなるように係数を設定する。左記を満たすような1行目に直交する行列を2行目以降に用いた混合行列Wを設定する。実際には、[w11, w12,…, w1N]の係数ベクトルに対する、正規直交な係数ベクトルは複数取ることができるため、式(12)に限らないが、緑色成分Gnormalizeにかかる係数を大きくする一例として上記から求められる係数を用いることが望ましい。例えば、N=3の場合には、式(13)の数字を用いればよい。
Figure JPOXMLDOC01-appb-M000016
 このように分離行列Ｗを設定することで、心拍成j分を強調する成分が第一成分として出力でき、独立成分分析後に得られる第一出力成分が心拍信号を多く含む信号になることを決定できる。同様に、第二成分、第三成分に出力したい場合には、それぞれ、w11～w1Nの代わりに、w21～w2N、w31～w3Nに対して、心拍強調可能な係数を定めればよい。
　このように決定した分離行列Wを少なくとも初期値として用いて、独立成分分析を施し、出力信号成分
Figure JPOXMLDOC01-appb-M000017
 を得る。この場合に、出力信号成分のうち、第一出力成分
Figure JPOXMLDOC01-appb-M000018
 に心拍成分が多く含まれているため、心拍成分強調部１０３は得られた第一の出力信号成分を出力する。
　このように、本発明では心拍成分が含まれる出力成分を決定することができるため、最も多く心拍成分が含まれている出力成分を特定でき、その特定の出力成分、上記の例の場合には第一出力成分を追随することで時間方向の不連続性も解決でき、顔映像からより精度よく心拍を推定することが可能になる。
＜心拍算出部１０４＞
　心拍算出部１０４は、心拍成分強調部１０３で得られた第一の出力信号成分を入力とする。まず、所定の時間長の第一の出力信号成分に対して、例えば、フーリエ変換などの周波数領域への変換を施し、周波数スペクトルに変換する。以下では、周波数スペクトルの一態様として、パワースペクトルが求められる場合を例示して説明を行うこととする。なお、周波数スペクトルへの変換には、離散フーリエ変換（ＤＦＴ：Discrete Fourier Transform）、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）や離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）、ウェーブレット変換などの任意の変換方法を用いることができる。所定の時間長は、３０秒間(30fpsなら900フレーム)や１分間(30fpsなら1800フレーム)とする。この時間長は、心拍成分強調部１０３で用いた時間長を用いても良いし、それに限らない。
　得られた周波数スペクトルにおいて、人間の心拍数の取りうる範囲に対応する周波数領域、例えば、心拍数４０～２４０[bpm：beats per minute]の範囲に対応する周波数領域(約０．７～４[Hz])の周波数スペクトルの最大値を求める。求めた最大値に対応する周波数をfとすると、心拍数HRはHR=60fとして算出する。心拍算出部１０４はこのように算出された心拍数を顔映像から推定した推定心拍数として、出力する。
　このような構成をとることにより、非接触でありながら、顔映像から心拍数を高精度に推定することが可能になる。
　次に、心拍推定装置１０００の動作について説明する。図３に示されるように、撮像装置Ｃ１を用いて画像データを取得する（ステップ（Ｓｔｅｐ：以下、単にＳと称する）１０１）。撮像装置Ｃ１は取得した画像データを関心領域検出部１０１へ出力する。
　関心領域検出部１０１は、入力された画像データに基づいて、所定の時間（たとえば、1フレーム）毎に顔領域を検出する（Ｓ１０２）。次に、関心領域検出部１０１は検出した顔領域から顔特徴点を検出する（Ｓ１０３）。次に、関心領域検出部１０１は、検出した顔特徴点を基に、関心領域を決定（Ｓ１０４）し、輝度値算出部１０２に出力する。
　輝度値算出部１０２は、関心領域内の輝度値を算出し、心拍成分強調部１０３に出力する（Ｓ１０５）。
　心拍成分強調部１０３では、一定フレーム数の入力があったかを確認し、一定フレーム数以上の輝度値が算出出来ている場合（Ｓ１０６、ＹＥＳ）に、独立成分分析を施す（Ｓ１０７）。具体的には、例えば一定時間として３０フレーム毎秒で映像を取得している場合には、３０秒分の９００フレームのＲ、Ｇ、Ｂの輝度値から、事前に定めた分離行列Wを用いて、独立成分分析を実施して、心拍算出部１０４に求めた成分を出力する。
　最後に、心拍算出部１０４は、心拍成分強調部１０３による独立成分分析の出力成分から心拍数を算出する（Ｓ１０８）。そして、心拍数を出力し、処理が終了する。
　一方、一定フレーム数以上の輝度値が算出出来ていない場合（Ｓ１０６、ＮＯ）は、心拍推定装置１０００はＳ１０１以降の処理を繰り返す。以上で、心拍推定装置１０００の処理が終了する。
　以上、第１実施形態によれば、分離行列Wの一行の係数を心拍強調可能な値に設定することにより、心拍信号を最も多く含む出力後の独立信号を定めることができる。心拍推定に有利な固定係数をＩＣＡの混合行列の初期値として用いることにより、心拍成分が表れる出力成分を特定することができる。
　また、出力成分方向の時間方向連続性も担保できる。これにより、勤務中や運転中など日常生活中の被験者の動きや表情変化などを含む顔映像から、心拍を精度良く推定することができる。
［第１実施形態の変形例1］
　第１実施形態の変形例1は図１のブロック図と構成は同様であるが、処理が異なるので以下説明する。本変形例１では、心拍成分強調部１０３で用いる混合行列Wの初期値を関心領域以外の輝度値の情報から決定する。
＜撮像装置Ｃ１＞
　本変形例１における撮像装置Ｃ１は、図1と同様であるため説明を省略する。
＜関心領域検出部１０１＞
　関心領域検出部１０１では、撮像装置Ｃ１から得られた映像信号である画像データ１１０を入力とする。第１実施形態と異なり、本変形例１では、関心領域検出部１０１の出力が決定した関心領域の画像データに加えて、関心領域以外の画像データも出力する。
＜輝度値算出部１０２＞
　輝度値算出部１０２は関心領域検出部１０１から得られた顔部分領域である関心領域の画像データと関心領域以外の画像データを入力とする。本変形例１では、第１実施形態での関心領域内のR、G、Bの輝度の平均値Rt_ave、Gt_ave、Bt_aveを輝度値として算出することに加え、関心領域以外の領域のR、G、Bの輝度の平均値Rt_ave_bg、Gt_ave_bg、Bt_ave_bgも輝度値として算出する。輝度値算出部１０２は関心領域内のR、G、Bの輝度の平均値Rt_ave、Gt_ave、Bt_aveである輝度値と、関心領域以外のR、G、Bの輝度の平均値Rt_ave_bg、Gt_ave_bg、Bt_ave_bgである輝度値を出力する。
＜心拍成分強調部１０３＞
　心拍成分強調部１０３は関心領域内のR、G、Bの輝度の平均値Rt_ave、Gt_ave、Bt_aveと、関心領域以外のR、G、Bの輝度の平均値Rt_ave_bg、Gt_ave_bg、Bt_ave_bgを入力とする。心拍信号強調には、第１実施形態と同様に独立成分分析を用いる。
　本変形例1では、混合行列Wに用いる初期値を、関心領域以外の輝度値も用いて決定する。関心領域も関心領域以外も同じ光源を共有していると仮定できるため、照明変動は関心領域以外(背景)の輝度変化と関心領域の輝度変化には相関があると考えられる。そのため、例えば、心拍変動が最も表れやすい緑色に着目し、関心領域内の輝度値から関心領域以外の輝度の定数倍(式(14)のh)を引いた値GHRを求める。
Figure JPOXMLDOC01-appb-M000019
 hの決定には、例えば、Normalized Least Mean Square (NLMS) adaptive filterを用いて決定する。ここで求めたhを分離行列Wの係数として用いる。観測信号をx(t)として、下記の式(15)、(16)を用いて独立成分分析を施す。
Figure JPOXMLDOC01-appb-M000020
Figure JPOXMLDOC01-appb-M000021
 係数をこのような値に設定することで、照明環境に頑健な心拍数の推定が可能になる。心拍成分強調部１０３は得られた第一の出力信号成分を出力する。
＜心拍算出部１０４＞
　本変形例１における心拍算出部１０４の動作は、図1と同様であるため、説明を省略する。
　以上、第１実施形態の変形例１によれば、関心領域以外の輝度値も用いる。このため、照明環境に頑健な心拍数の推定が可能になる
［第１実施形態の変形例２］
　第１実施形態の変形例２は図１のブロック図と構成は同様であるが、処理が異なるので以下説明する。本変形例２では、心拍成分強調部１０３で用いる独立成分分析を施す対象の信号を関心領域以外の輝度値の情報から補正して用いる。
＜撮像装置Ｃ１＞
　本変形例２における撮像装置Ｃ１は、図1と同様であるため説明を省略する。
＜関心領域検出部１０１＞
　本変形例２における関心領域検出部１０１は、第１実施形態の変形例1と同様、関心領域検出部１０１の出力が決定した関心領域の画像データに加えて、関心領域以外の画像データも出力する。
＜輝度値算出部１０２＞
　輝度値算出部１０２は関心領域検出部１０１から得られた顔部分領域である関心領域の画像データと関心領域以外の画像データを入力とする。本変形例２における輝度値算出部１０２の動作は、第１実施形態の変形例1と同様であるため、説明を省略する。
＜心拍成分強調部１０３＞
　心拍成分強調部１０３は関心領域内のR、G、Bの輝度の平均値Rt_ave、Gt_ave、Bt_aveである輝度値と、関心領域以外のR、G、Bの輝度の平均値Rt_ave_bg、Gt_ave_bg、Bt_ave_bgである輝度値を入力とする。心拍信号強調には、第１実施形態と同様に独立成分分析を用いる。
　本変形例２では、関心領域以外の輝度値を用いてRt_ave、Gt_ave、Bt_aveを補正し、その信号に対して独立成分分析を施す。関心領域も関心領域以外も同じ光源を共有していると仮定できるため、照明変動は関心領域以外(背景)の輝度変化と関心領域の輝度変化には相関があると考えられる。そのため、例えば、心拍変動が最も表れやすい緑色に着目し、関心領域内の輝度値から関心領域以外の輝度の定数倍(式(14)のh)を引いた値GHRを求める。hの決定には、例えば、Normalized Least Mean Square (NLMS) adaptive filterを用いて決定する。Rt_ave、Bt_aveも同様にRHR、BHRを定める。
　このRHR、GHR、BHRを観測信号x(t)として、混合行列Wの係数は第１実施形態と同様の係数を用いて、独立成分分析を施す。観測信号x(t)に照明変動を除いた信号を用いることで、照明環境に頑健で高精度な心拍数の推定が可能になる。
　心拍成分強調部１０３は得られた第一の出力信号成分を出力する。
＜心拍算出部１０４＞
　本変形例２における心拍算出部１０４の動作は、図1と同様であるため、説明を省略する。
　以上、第１実施形態の変形例２によれば、関心領域以外の輝度値を用いて信号を補正することにより、照明環境に頑健な心拍数の推定が可能になる。
［第２実施形態］
　本発明の第２実施形態としての心拍推定装置２０００について、図４を用いて説明する。図４は本発明の第２の実施形態に係る心拍推定装置の構成を示すブロック図である。
　心拍推定装置２０００は、勤務中や運転中など日常生活中の被験者が映る顔映像から心拍を精度良く推定する装置である。図４に示すように心拍推定装置２０００は、関心領域検出部１０１と輝度値算出部１０２と心拍成分強調部２０１と心拍算出部１０４を含む。
＜撮像装置Ｃ１＞
　第２実施形態における撮像装置Ｃ１は、図1と同様であるため説明を省略する。
＜関心領域検出部１０１＞
　第２実施形態における関心領域検出部１０１は、図１と同様であるため、説明を省略する。
＜輝度値算出部１０２＞
　第２実施形態における輝度値算出部１０２は、図１と同様であるため、説明を省略する。
＜心拍成分強調部２０１＞
　心拍成分強調部２０１は心拍成分強調処理部２０１－１と保存部２０１－２を備える。心拍成分強調処理部２０１－１は心拍成分を強調する。保存部２０１－２は式(10)の分離行列の係数を保存する。
　まず、心拍成分強調処理部２０１－１は輝度値算出部１０２から得られた関心領域内のR、G、Bの輝度の平均値Rt_ave、Gt_ave、Bt_aveを入力とする。心拍信号強調には、第１実施形態と同様に独立成分分析を用いる。
　ここでも第１実施形態と同様、第一出力成分に心拍成分を出力する例で説明を行う。式(10)の分離行列Wについて、初期値を第１実施形態のようにw11=1.5、w12=-3、w13=1.5を正規化した値、例えば、[w11, w12, w13]=[0.408248, -0.81649655, 0.408248]に定めたとする。[w21, w22, w23]、[w31, w32, w33]は[w11, w12, w13]に正規直交する係数ベクトルとする。このように定めたWに対して、独立成分分析の更新において、出力成分が定まる傾向が見られるまで、分離行列Wの第一行目を固定したままにする。出力成分が定まった段階で、第一行目を解放する。その際、第二行目と第三行目も解放して、第一行目から第三行目まですべてを再学習してもよい。ただし、第二行目と第三行目は出力成分が定まった時点での値に固定したまま、第一行目のみを再学習することが望ましい。つまり、N行の場合には、固定した行を再学習する際には残りのN-1行を固定することが望ましい。
　このようにすることで、心拍成分以外の成分は第二、第三成分に出力される可能性が高まり、心拍成分以外の出力成分が定まった段階で、再度心拍成分を強調する係数を再学習することで、環境に頑健な分離行列の決定ができる。そのため、照明変動や肌色の個人差によらず、環境に頑健に心拍成分を分離することが可能になる。
　なお、出力成分が定まったかどうかの判定には、例えば、出力成分間の相関を用いて、出力成分間の相関が振動し出したら、独立成分分析の学習は収束していると判定する。
　保存部２０１－２には、分離行列Wの初期値として与えた値を保存しておく。
　次に、独立成分分析の学習後に得られる分離行列Wに対して、初期値として与えた[w11, w12, w13]に最も近い分離行列Wにかかる出力成分を、心拍成分の出力成分として選択する。その際に、保存部２０１－２に格納されている初期値で定めた心拍を強調する係数ベクトルを呼び出して、学習後に得られる分離行列Wの各行ベクトルと比較する。比較の方法としては、例えば、初期値で定めたベクトルと学習後の分離行列Wの書く行ベクトルとのコサイン類似度を用いて、1に近い行ベクトルにかかる出力成分を出力とする。心拍成分強調部２０１は選択した行ベクトルにかかる出力信号成分を出力する。
＜心拍算出部１０４＞
　心拍算出部１０４は、心拍成分強調部２０１で選択した行ベクトルにかかる出力信号成分を入力とする。第２実施形態における心拍算出部１０４の動作は、図１と同様であるため、説明を省略する。
　このように、第２実施形態では心拍成分を固定し学習を行う。これにより、心拍成分以外の成分は第二、第三成分に出力される可能性が高まる。また、心拍成分以外の出力成分が定まった段階で、再度心拍成分を強調する係数を再学習することで、環境に頑健な分離行列の決定ができる。そのため、照明変動や肌色の個人差によらず、環境に頑健に心拍成分を分離が可能になる。
［第２実施形態の変形例］
　第２実施形態の変形例は、図4のブロック図と構成は同様であるが、処理が異なるので下記に説明する。
＜撮像装置Ｃ１＞
　第２実施形態の変形例における撮像装置Ｃ１は、図４と同様であるため説明を省略する。
＜関心領域検出部１０１＞
　第２実施形態の変形例における関心領域検出部１０１は、図４と同様であるため、説明を省略する。
＜輝度値算出部１０２＞
　第２実施形態の変形例における輝度値算出部１０２は、図４と同様であるため、説明を省略する。
＜心拍成分強調部２０１＞
　心拍成分強調部２０１は心拍成分強調処理部２０１－１と保存部２０１－２から構成される。心拍成分強調処理部２０１－１は、心拍成分強調を行う。保存部２０１－２は式(10)の分離行列の係数が保存されている。第２実施形態の変形例における心拍成分強調部２０１の動作は、図４と同様である。
　ただし、本変形例は、心拍推定の対象となる人や、心拍推定を行う環境に応じた分離行列Wの係数を用いて心拍推定を行う点で上述の第２実施形態と異なる。本変形例では、分離行列Wの係数を人毎或いは環境毎に別々に保存部２０１－２に保存する。心拍成分強調処理部２０１－１は、心拍推定の対象となる人や、心拍推定を行う環境に対応する分離行列Wの係数を保存部２０１－２から読み出して独立成分分析を行う。
　人毎に最適な分離行列Wの係数は、例えば、心電図やウェアラブルセンサなどの脈波もしくは正解心拍数の結果と、本発明の映像からの推定心拍手法に基づく、複数の分離行列Wから推定した推定心拍数の結果とを照らし合わせ、最も差が小さいものを最適な係数として保持しておく。
　環境毎に最適な分離行列Wの係数は、例えば、オフィス環境、家庭環境、車内環境、屋外環境で最適な係数をそれそれで取得して、保存しておき、人や環境に合わせた係数を用いる。
＜心拍算出部１０４＞
　第２実施形態における心拍算出部１０４の動作は、図４と同様であるため説明を省略する。
　以上、第２実施形態の変形例によれば、人毎や環境毎に定めた値を分離行列Wに用いる。このため個人差や環境の違いに頑健な心拍推定が可能になる
［第３実施形態］
　本発明の第３実施形態としての心拍推定装置３０００について、図５を用いて説明する。心拍推定装置３０００は、勤務中や運転中など日常生活中の被験者が映る顔映像から心拍を精度良く推定する装置である。図５に示すように心拍推定装置３０００は、関心領域検出部３０１と信頼領域決定部３０２と輝度値算出部３０３と心拍成分フィルタ部３０４と心拍成分強調部３０５と心拍算出部３０６と外れ値除去部３０７を含む。
＜撮像装置Ｃ１＞
　第３実施形態における撮像装置Ｃ１は、図１の第１実施形態と同様であるため説明を省略する。
＜関心領域検出部３０１＞
　第３実施形態における関心領域検出部３０１の動作は、図１の関心領域検出部１０１と同様であるため、説明を省略する。関心領域検出部３０１は関心領域の画像データと顔特徴点の座標を出力する。
＜信頼領域決定部３０２＞
　信頼領域決定部３０２は関心領域検出部３０１から得られた顔部分領域である関心領域の画像データと顔特徴点の座標を入力とする。信頼領域決定部３０２は、関心領域の画像データから関心領域の部分領域における信頼度を決定する。具体的には、関心領域のうち、心拍を高精度に推定できる部分領域の信頼度は高く、心拍の推定精度が低い部分領域の信頼度は低くなるように決定する。
　まず、関心領域を顔特徴点の座標（ｕｐ，ｖｐ）を基に、Ｍ箇所（Ｍは１以上の整数）の顔部分領域に分ける。次に、部分領域ごとに信頼度を決定する。ここで、信頼度の決定方法の例として望ましい方法を３つ述べる。ただし、これらはあくまで一例であり、これに限らない。
　１つは、生理的に脈拍の変化が取りやすいと考えられる領域の信頼度を高くする。人間の生理的な性質を考慮すると、顔領域のうち、特に血流量が多い箇所は顎から頬にかけての顔面動脈付近である。この顔面動脈を含む部分領域の信頼度を高く設定する。信頼度を例えば、0～1までの値として、0だと信頼度が低い、1だと信頼度が高いとしておき、顎から頬にかけての顔面動脈を含む領域の信頼度を1、それ以外を0とする。なお、ここでは説明を簡単にするため、信頼度を0と1にするとしたが、顔面動脈からの距離をもとに信頼度を0.5などと設定してもよい。その他の生理的に脈拍の変化が取りやすい領域としては、皮膚の薄い領域がある。例えば、まぶたや目の下の領域は他の領域と比較して1/2～1/4程度皮膚が薄いと言われている。そのため上記の領域を含む部分領域の信頼度を高く設定するのでも良い。
　２つめに、平らな領域の信頼度を高くすることも心拍推定には効果的である。これは、凹凸のある領域は被験者の動きによる輝度変化が大きくなるため、心拍推定精度の低下が大きいためである。顔領域の中で平らな領域は額である。右目と左目の顔特徴点の位置から、左目と右目の間の画素数をPとして、P/4上部の領域から、P×2/Pで囲まれる領域を額領域として決定する。得られた額領域の信頼度を高くする。その他の平らな領域の決定法として、隣り合う画素値の輝度勾配を基に、輝度勾配が少ない箇所を平らな領域として決定するのでもよい。
　３つめに、部分領域ごとの輝度値の分散から信頼度を算出する。ある一定時間1～Tまで、例えばT=900、つまり30fpsの場合に30秒分のR、G、Bの輝度の平均値のデータを取得して、G成分ならその分散値Gνを下記の式(17)によって算出する。μは各色の輝度の平均値のデータ列の30秒の平均値とする。同様に、Rν、Bνを算出する。
Figure JPOXMLDOC01-appb-M000022
 得られた分散値に対して、ある閾値以下かどうか判定し、閾値以下である場合に、信頼度を高く設定する。また、分散値の逆数をそのまま信頼度としても用いても良い。
　顔の領域のなかで、動きの激しい領域、例えば、口元などは分散値が高くなる傾向がある。動きが激しいと、輝度変化も大きいため、心拍推定に用いると誤差が大きくなる可能性がある。そのため、分散値を基に信頼度を決定することで、心拍推定に有利な部分領域を抽出することが可能になる。
　以上のように、信頼領域決定部１０２は、顔部分領域とその領域の信頼度を出力する。
＜輝度値算出部３０３＞
　輝度値算出部３０３は信頼領域決定部３０２から得られた顔部分領域とその領域の信頼度を入力とする。まず、輝度の階調値から、関心領域のＲ、Ｇ、Ｂの各色成分について顔部分領域内の輝度の平均値を算出する。例えば、30fps（30フレーム/秒）で画像を取得していた場合には、1フレームごとの平均値を算出する。ここで、フレームtにおける座標（i, j）におけるR、G、Bの輝度の階調値をRt（i, j）、Gt（i, j）、Bt（i, j）とする。関心領域の大きさがi=is～ie、j=js～jeの範囲内の座標であると仮定する。is、ie、js、jeはそれぞれ、画像データの画素のx座標の開始位置、x座標の終了位置、y座標の開始位置、y座標の終了位置を示す。その場合、関心領域内のG信号の輝度の平均値Gt_aveは式(1)で算出する。
　RとBに対しても同様に平均値Rt_ave、Bt_aveを計算することができる。次に、Rt_ave、Gt_ave、Bt_aveに信頼領域決定部３０２で決定した信頼度をかける。簡単な例として、顔特徴点が、ｐ＝４、Ｍ＝３として右目、左目、鼻、口の中央の位置4箇所とする。信頼領域決定部３０２にて、その際の（ア)顔部分領域を右目、鼻、口を頂点とする三角形の領域、(イ)右目、鼻、左目を頂点とする三角形の領域、(ウ)左目、鼻、口を頂点とする三角形の領域の3箇所に顔部分領域を分けたとする。信頼領域決定部３０２にてそれぞれの(ア)と(ウ)の信頼度を1とし、(イ)が0として信頼度が得られたとする。この場合には、(ア)と(ウ)の領域のRt_ave、Gt_ave、Bt_aveには1をかけ、(イ)の領域のRt_ave、Gt_ave、Bt_aveには0をかけ、Rt_ave_r、Gt_ave_r、Bt_ave_rを得る。
　最後に、(ア)～(ウ)の部分ごとに求められたRt_ave_r、Gt_ave_r、Bt_ave_rの平均を求め、輝度値算出部３０３の出力として、顔部分領域に対する信頼度を加味したR、G、Bの輝度の平均値Rt_AVE、Gt_AVE、Bt_AVEを輝度値として出力する。
＜心拍成分フィルタ部３０４＞
　心拍成分フィルタ部３０４は顔部分領域に対する信頼度を加味したR、G、Bの輝度の平均値Rt_AVE、Gt_AVE、Bt_AVEを入力とする。心拍成分フィルタ部３０４では心拍成分のみを通すようなバンドパスフィルタを設計し、フィルタをかけることで、心拍成分以外の信号を減衰させる。
　例えば、周波数スペクトルにおいて、人間の心拍数の取りうる範囲に対応する周波数領域、心拍数４０～２４０[bpm：beats per minute]の範囲に対応する周波数領域(約０．７～４[Hz])のみ通過するバンドパスフィルタをかける。その後、逆フーリエ変換を施し、時間領域の信号に戻し、Rt_AVE、Gt_AVE、Bt_AVEにバンドパスフィルタをかけた信号を得る。心拍成分フィルタ部３０４はバンドパスフィルタをかけた信号を出力する。
　なお、呼吸信号を強調したい場合には、上記の周波数帯域ではなく、約０．０５～１[Hz]の周波数帯域のバンドパスフィルタをかける。
＜心拍成分強調部３０５＞
　心拍成分強調部３０５はバンドパスフィルタをかけた信号を入力として、独立成分分析を施す。第３実施形態における心拍成分強調部３０５の動作は、図４の心拍成分強調部２０１と同様であるため、説明を省略する。
＜心拍算出部３０６＞
　第３実施形態における心拍算出部３０６は、図１の心拍算出部１０４と同様であるため、説明を省略する。
＜外れ値除去部３０７＞
　外れ値除去部３０７は心拍算出部３０６から得られた心拍数を入力とする。外れ値除去部３０７では得られた心拍数の中から、生理的に起こりえない変化を除去する。具体的には、得られた心拍数の時系列で、例えば、1秒間で12bpm以上変化した心拍数を除く。除いた後の値には、前の時刻の心拍数か、前後の時刻の平均した心拍数で補完する。
　このように外れ値を除去することで、輝度値からの心拍推定を誤った際にも、補正することが可能になり、顔映像から心拍数を高精度に推定することが可能になる。
　このような構成をとることにより、非接触でありながら、顔映像から心拍数を高精度に推定することが可能になる
［第３実施形態の変形例１］
　第３実施形態の変形例１は、図５のブロック図と構成は同様であるが、処理が異なるので下記に説明する。
＜撮像装置Ｃ１＞
　第３実施形態の変形例１における撮像装置Ｃ１は、上述の第３実施形態と同様であるため説明を省略する。
＜関心領域検出部３０１＞
　第３実施形態の変形例１における関心領域検出部３０１は、上述の第３実施形態と同様であるため、説明を省略する。
＜信頼領域決定部３０２＞
　第３実施形態の変形例１における信頼領域決定部３０２は、上述の第３実施形態と同様であるため、説明を省略する。
＜輝度値算出部３０３＞
　輝度値算出部３０３は信頼領域決定部３０２から得られた顔部分領域とその領域の信頼度を入力とする。輝度値算出部３０３はＭ個の顔部分領域ごとに求められた信頼度を加味したRt_ave_r、Gt_ave_r、Bt_ave_rを出力する。
＜心拍成分フィルタ部３０４＞
　心拍成分フィルタ部３０４は輝度値算出部３０３から得られたＭ個の顔部分領域ごとに求められたRt_ave_r、Gt_ave_r、Bt_ave_rを入力とする。心拍成分フィルタ部３０４ではRt_ave_r、Gt_ave_r、Bt_ave_rに対して、心拍成分のみを通すようなバンドパスフィルタを設計し、フィルタをかけることで、心拍成分以外の信号を減衰させる。心拍成分フィルタ部３０４はＭ個のRt_ave_r、Gt_ave_r、Bt_ave_rに対して、バンドパスフィルタをかけた信号を出力する。
＜心拍成分強調部３０５＞
　第３実施形態の変形例１における心拍成分強調部３０５は、上述の第３実施形態と同様であるため、説明を省略する。心拍成分強調部３０５はＭ個の顔部分領域ごとのバンドパスフィルタをかけた信号を観測信号x(t)としてＭ個の顔部分領域ごとに、独立成分分析を施す。心拍成分強調部３０５は、Ｍ個の顔部分領域ごとの第一の出力成分を出力する。
＜心拍算出部３０６＞
　第３実施形態の変形例１における心拍算出部３０６は、Ｍ個の顔部分領域ごとの第一の出力成分を入力として、第３実施形態で説明した心拍算出部３０６の心拍数算出法で、Ｍ個の部分領域ごとの心拍数を算出する。算出したＭ個の結果の心拍数の多数決を取り、最も多かった心拍数を心拍算出部３０６の出力とする。また、多数決に限らず、Ｍ個の部分領域ごとの心拍数の平均値や中央値から、心拍数を算出し、心拍算出部３０６の出力としても良い。
＜外れ値除去部３０７＞
　外れ値除去部３０７は心拍算出部３０６から得られた心拍数を入力とする。第３実施形態の変形例１における心拍算出部３０７は、上述の第３実施形態と同様であるため、説明を省略する。
　以上、第３実施形態の変形例１によれば、Ｍ個の複数領域からの心拍算出結果を用いることにより、映像から心拍数を高精度に算出することができる。
［第３実施形態の変形例２］
　第３実施形態の変形例２は、図５のブロック図と構成は同様であるが、処理が異なるので下記に説明する。
＜撮像装置Ｃ１＞
　第３実施形態の変形例２における撮像装置Ｃ１は、上述の第３実施形態と同様であるため説明を省略する。
＜関心領域検出部３０１＞
　第３実施形態の変形例２における関心領域検出部３０１は、上述の第３実施形態と同様であるため、説明を省略する。
＜信頼領域決定部３０２＞
　第３実施形態の変形例２における信頼領域決定部３０２は、上述の第３実施形態と同様であるため、説明を省略する。
＜輝度値算出部３０３＞
　輝度値算出部３０３は信頼領域決定部３０２から得られた顔部分領域とその領域の信頼度を入力とする。輝度値算出部３０３はＭ個の顔部分領域ごとに求められた信頼度を加味したRt_ave_r、Gt_ave_r、Bt_ave_rを出力する。
＜心拍成分フィルタ部３０４＞
　心拍成分フィルタ部３０４は輝度値算出部３０３から得られたＭ個の顔部分領域ごとに求められたRt_ave_r、Gt_ave_r、Bt_ave_rを入力とする。心拍成分フィルタ部３０４ではRt_ave_r、Gt_ave_r、Bt_ave_rに対して、心拍成分のみを通すようなバンドパスフィルタを設計し、フィルタをかけることで、心拍成分以外の信号を減衰させる。心拍成分フィルタ部３０４はＭ個のRt_ave_r、Gt_ave_r、Bt_ave_rに対して、バンドパスフィルタをかけた信号を出力する。
＜心拍成分強調部３０５＞
　第３実施形態の変形例１における心拍成分強調部３０５は、上述の第３実施形態と同様であるため、説明を省略する。心拍成分強調部３０５はＭ個の顔部分領域ごとのバンドパスフィルタをかけた信号を観測信号x(t)としてＭ個の顔部分領域ごとに、独立成分分析を施す。Ｍ個の部分領域の第一出力成分の中で、共通信号を抽出する。共通信号の抽出方法としては、正準相関分析などを用いる。得られた共通信号を心拍成分強調部３０５の出力とする。
＜心拍算出部３０６＞
　心拍算出部３０６は心拍成分強調部３０５の出力である共通信号を入力とする。第３実施形態の変形例２における心拍算出部３０６は、上述の第３実施形態と同様であるため、説明を省略する。
＜外れ値除去部３０７＞
　第３実施形態の変形例２における心拍算出部３０７は、上述の第３実施形態と同様であるため、説明を省略する。
　以上、第３実施形態の変形例２によれば、顔の複数領域から共通信号を抽出して心拍信号を強調することができる。このため映像から心拍成分を高精度に算出することができる。
［第４実施形態］
　ここでは、第１～３実施形態の心拍推定装置で得られた心拍数を応用する例として、状態検出装置１００００を説明する。状態検出装置１００００は、勤務中や運転中など日常生活中の被験者が映る顔映像から心拍を精度良く推定することで、被験者の状態を精度よく推定する装置である。図６に示すように状態検出装置１００００は、心拍推定装置４０００と状態検出部４０１とを含む。
＜心拍推定装置４０００＞
　実施形態４における心拍推定装置４０００は第１～３実施形態、或いは、これら実施形態の変形例として説明した心拍推定装置１０００、２０００、３０００のいずれかである。心拍推定装置４０００は、第１～第３実施形態で説明した測定を、一定期間、一定の間隔で繰り返して、心拍数の組、例えば、心拍数の時間的な変化を出力する。例えば、一定間隔の時刻t0, t1, t2, ..., tc（tcは現在時刻）のそれぞれにおいて心拍数B1, B2, ..., Bcを求め、時系列B1, B2, ..., Bcを出力する。
＜状態検出部４０１＞
　状態検出部４０１は心拍推定装置４０００が出力する心拍数を入力とし、人の状態を示す情報を出力する。状態検出部４０１では、心拍推定装置４０００から得られた心拍数の時系列B1, B2, ..., Bcに基づいて、時刻tcにおける状態を検出する。状態の例としては、眠気や疲労度、ストレス、感情等である。ここではストレス状態を例に説明する。
　ストレス状態の検出には、得られた心拍数の時系列をフーリエ変換などを用いて、周波数領域に変換する。得られた周波数領域のＬＦ（Low Frequency）値と、測定対象者のＨＦ（High Frequency）値からＬＦ／ＨＦ値を算出する。そして、ＬＦ／ＨＦ値の算出値と、ＬＦ／ＨＦ値の基準値とを比較した結果に基づいて、ストレス状態を判定する。
　なお、ＬＦ値は、測定対象者の交感神経の働きを示す値であって、血圧の変動と同期した脳幹の周期的活動（０．０４～０．１５Ｈｚ、約１０秒周期）に代表される周期的活動に関する値をいう。ＨＦ値とは、測定対象者の副交感神経の働きを示す値であって、呼吸と同期した脳幹の周期的活動（０．１５～０．４Ｈｚ、約４秒周期）に代表される周期的活動に関する値をいう。ここでＬＦ／ＨＦ値の基準値は、一般的に0.8～2の値では正常、2以上の場合にはストレス負荷の大きい状態とされている。
　状態検出部４０１では人の状態を検出した結果、上記の例ではＬＦ／ＨＦ値や基準値と照らし合わせたストレス状態検出結果を出力する。ストレス状態検出結果とは、例えば、ＬＦ／ＨＦ値が2以上の場合には高ストレス、0.8～2では正常、0.8以下では低ストレスという結果のことを指す。
　サービスのイメージとしては、例えば、このように出されたストレス値を、オフィスのワーカーに対しての日々のストレスチェックに用いる。PCの前に座り、作業をしている間に、PCに付属するカメラから取得した映像から算出した心拍を基に、ストレス状態を測定する。測定したストレス状態をPCに表示したり、スマホでユーザーに通知したりする。ストレスが高い場合には、測定したストレス状態と併せて、休息を促すようなメッセージ、例えば「疲れているので、10分間リフレッシュしましょう」などを表示させることで、ユーザーに休憩を促す。このようにユーザー自身がストレス状態を把握し、ストレスケアを行うことで、生産性の低下を防げるとともに、疾病や休職の予防につながる。
　その他にも施設の入場ゲートにてカメラを設置し、そのカメラに映る人物の映像から心拍数を測定し、得られた心拍から感情を推定することで、異常な心理状態の把握が可能になる。このように人の異常な心理状態を把握することで、例えば、一見異常でなくても、心理状態が異常な不審者の検出が可能になり、監視の効率化、安全の維持につながる。
　被験者の顔映像から高精度に心拍の推定が可能になることで、心拍数から算出される覚醒度、眠気、疲労度やストレス、感情などが、非接触かつ低負荷で精度よく測定できるようになる。
　上記の実施形態の一部又は全部は以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　時間的に連続した複数の画像のそれぞれから被験者の顔領域を含む関心領域を検出する関心領域検出部と、
　前記関心領域内の画像に含まれる輝度値を、予め定められた光波長成分の夫々について算出する輝度値算出部と、
　前記予め定められた光波長成分のそれぞれにかかる係数の一組を行とする分離行列を用いて前記輝度値に対して独立成分分析を行うことにより、心拍成分を強調する心拍成分強調部と、
　前記心拍成分強調部によって強調した心拍成分に基づいて、心拍数を算出する心拍算出部とを備え、
　前記分離行列は、緑色の前記光波長成分の輝度値にかかる係数の絶対値が、他の色の前記光波長成分の輝度値にかかる係数の絶対値よりも大きい係数からなる、心拍成分強調係数からなる行を含む
心拍推定装置。
（付記２）
　前記分離行列は、いずれか一行が前記心拍成分強調係数からなり、
　前記心拍成分強調係数は、前記光波長成分の輝度値にかかる各係数の和がゼロであり、
　前記分離行列の各行は、前記光波長成分の輝度値に係るN個（Nは自然数）の係数からなり、
　前記心拍成分強調係数は、緑色の前記光波長成分の輝度値にかかる係数と、緑色以外の前記光波長成分の輝度値にかかる係数との比が(N-1):(-1)であり、
　前記心拍成分強調部は前記輝度値を正規化した値に対して独立成分分析を行う
付記１に記載の心拍推定装置。
（付記３）
　前記心拍成分強調部は、前記分離行列において、前記心拍成分強調係数を少なくとも初期値に用いて、独立成分分析を適用する、付記１または付記２に記載の心拍推定装置。
（付記４）
　前記心拍成分強調部は、前記分離行列において、前記心拍成分強調係数からなる行ベクトルを除いた行に前記心拍成分強調係数からなる行ベクトルに対して正規直交になる行ベクトルを用いる、付記１乃至付記３のいずれかに記載の心拍推定装置。
（付記５）
　前記心拍成分強調部は、独立成分分析を適用する際の、前記分離行列の更新において、独立成分分析の出力成分が定まる傾向が見られるまで前記心拍成分強調係数を固定する、付記１乃至付記４のいずれかに記載の心拍推定装置。
（付記６）
　前記心拍成分強調部は、前記分離行列において、前記関心領域と前記関心領域以外の前記光波長成分の輝度値の差分を基に、前記心拍成分強調係数を定める、付記１、付記３乃至付記５のいずれかに記載の心拍推定装置。
（付記７）
　前記心拍成分強調部は、学習後の前記分離行列において、前記心拍成分強調係数に最も近い前記分離行列の行にかかる出力成分を、心拍成分の出力成分として選択する、付記１乃至付記６のいずれかに記載の心拍推定装置。
（付記８）
　前記関心領域を部分領域に分割し、その信頼度を算出する信頼領域決定部を更に備え、
　前記輝度値算出部は、前記信頼値を参照して輝度値を算出する
付記１乃至付記７のいずれかに記載の心拍推定装置。
（付記９）
　前記輝度値算出部の出力から、人間の心拍数が取り得る範囲に基づいて予め定められた周波数領域のみを通過させる心拍成分フィルタ部を更に備える、付記１乃至付記８のいずれかに記載の心拍推定装置。
（付記１０）
　人間の生理に基づいて予め定められた、生理的に起こりえない変化を、前記心拍算出部の出力から除去する外れ値除去部を更に備える、付記１乃至付記９のいずれかに記載の心拍推定装置。
（付記１１）
　付記１乃至付記１０のいずれかに記載の心拍推定装置と、
　前記心拍推定装置の出力に基づいて、人の状態を判定する状態検出部と
を備える、状態検出装置。
（付記１２）
　時間的に連続した複数の画像のそれぞれから被験者の顔領域を含む関心領域を検出する関心領域検出段階と、
　前記関心領域内の画像に含まれる輝度値を、予め定められた光波長成分の夫々について算出する輝度値算出段階と、
　前記予め定められた光波長成分のそれぞれにかかる係数の一組を行とする分離行列を用いて前記輝度値に対して独立成分分析を行うことにより、心拍成分を強調する心拍成分強調段階と、
　前記心拍成分強調段階によって強調した心拍成分に基づいて、心拍数を算出する心拍算出段階とを含み、
　前記分離行列は、緑色の前記光波長成分の輝度値にかかる係数の絶対値が、他の色の前記光波長成分の輝度値にかかる係数の絶対値よりも大きい係数からなる、心拍成分強調係数からなる行を含む
心拍推定方法。
（付記１３）
　前記分離行列は、いずれか一行が前記心拍成分強調係数からなり、
　前記心拍成分強調係数は、前記光波長成分の輝度値にかかる各係数の和がゼロであり、
　前記分離行列の各行は、前記光波長成分の輝度値に係るN個（Nは自然数）の係数からなり、
　前記心拍成分強調係数は、緑色の前記光波長成分の輝度値にかかる係数と、緑色以外の前記光波長成分の輝度値にかかる係数との比が(N-1):(-1)であり、
　前記心拍成分強調部は前記輝度値を正規化した値に対して独立成分分析を行う
付記１２に記載の心拍推定方法。
（付記１４）
　前記心拍成分強調段階は、前記分離行列において、前記心拍成分強調係数を少なくとも初期値に用いて、独立成分分析を適用する、付記１２または付記１３に記載の心拍推定方法。
（付記１５）
　前記心拍成分強調段階は、前記分離行列において、前記心拍成分強調係数からなる行ベクトルを除いた行に前記心拍成分強調係数からなる行ベクトルに対して正規直交になる行ベクトルを用いる、付記１２乃至付記１４のいずれかに記載の心拍推定方法。
（付記１６）
　前記心拍成分強調段階は、独立成分分析を適用する際の、前記分離行列の更新において、独立成分分析の出力成分が定まる傾向が見られるまで前記心拍成分強調係数を固定する、付記１２乃至付記１５のいずれかに記載の心拍推定方法。
（付記１７）
　前記心拍成分強調段階は、前記分離行列において、前記関心領域と前記関心領域以外の前記光波長成分の輝度値の差分を基に、前記心拍成分強調係数を定める、付記１２、付記１４乃至付記１６のいずれかに記載の心拍推定方法。
（付記１８）
　前記心拍成分強調段階は、学習後の前記分離行列において、前記心拍成分強調係数に最も近い前記分離行列の行にかかる出力成分を、心拍成分の出力成分として選択する、付記１２乃至付記１７のいずれかに記載の心拍推定方法。
（付記１９）
　前記関心領域を部分領域に分割し、その信頼度を算出する信頼領域決定段階を更に含み、
　前記輝度値算出段階は、前記信頼値を参照して輝度値を算出する
付記１２乃至付記１８のいずれかに記載の心拍推定方法。
（付記２０）
　前記輝度値算出段階の出力から、人間の心拍数が取り得る範囲に基づいて予め定められた周波数領域のみを通過させる心拍成分フィルタ段階を更に含む、付記１２乃至付記１９のいずれかに記載の心拍推定方法。
（付記２１）
　人間の生理に基づいて予め定められた、生理的に起こりえない変化を、前記心拍算出段階の出力から除去する外れ値除去段階を更に含む、付記１２乃至付記２０のいずれかに記載の心拍推定方法。
（付記２２）
　付記１２乃至付記２１のいずれかに記載の心拍推定方法によって心拍を推定する段階と、
　前記推定した心拍に基づいて、人の状態を判定する段階と
を含む、状態検出方法。
（付記２３）
　時間的に連続した複数の画像のそれぞれから被験者の顔領域を含む関心領域を検出する関心領域検出手段と、
　前記関心領域内の画像に含まれる輝度値を、予め定められた光波長成分の夫々について算出する輝度値算出手段と、
　前記予め定められた光波長成分のそれぞれにかかる係数の一組を行とする分離行列を用いて前記輝度値に対して独立成分分析を行うことにより、心拍成分を強調する心拍成分強調手段と、
　前記心拍成分強調手段によって強調した心拍成分に基づいて、心拍数を算出する心拍算出手段とをコンピュータに実行させるプログラムであって、
　前記分離行列は、緑色の前記光波長成分の輝度値にかかる係数の絶対値が、他の色の前記光波長成分の輝度値にかかる係数の絶対値よりも大きい係数からなる、心拍成分強調係数からなる行を含む
プログラム。
（付記２４）
　前記分離行列は、いずれか一行が前記心拍成分強調係数からなり、
　前記心拍成分強調係数は、前記光波長成分の輝度値にかかる各係数の和がゼロであり、
　前記分離行列の各行は、前記光波長成分の輝度値に係るN個（Nは自然数）の係数からなり、
　前記心拍成分強調係数は、緑色の前記光波長成分の輝度値にかかる係数と、緑色以外の前記光波長成分の輝度値にかかる係数との比が(N-1):(-1)であり、
　前記心拍成分強調部は前記輝度値を正規化した値に対して独立成分分析を行う
付記２３に記載のプログラム。
（付記２５）
　前記心拍成分強調手段は、前記分離行列において、前記心拍成分強調係数を少なくとも初期値に用いて、独立成分分析を適用する、付記２３または付記２４に記載のプログラム。
（付記２６）
　前記心拍成分強調手段は、前記分離行列において、前記心拍成分強調係数からなる行ベクトルを除いた行に前記心拍成分強調係数からなる行ベクトルに対して正規直交になる行ベクトルを用いる、付記２３乃至付記２５のいずれかに記載のプログラム。
（付記２７）
　前記心拍成分強調手段は、独立成分分析を適用する際の、前記分離行列の更新において、独立成分分析の出力成分が定まる傾向が見られるまで前記心拍成分強調係数を固定する、付記２３乃至付記２６のいずれかに記載のプログラム。
（付記２８）
　前記心拍成分強調手段は、前記分離行列において、前記関心領域と前記関心領域以外の前記光波長成分の輝度値の差分を基に、前記心拍成分強調係数を定める、付記２３、付記２５乃至付記２７のいずれかに記載のプログラム。
（付記２９）
　前記心拍成分強調手段は、学習後の前記分離行列において、前記心拍成分強調係数に最も近い前記分離行列の行にかかる出力成分を、心拍成分の出力成分として選択する、付記２３乃至付記２８のいずれかに記載のプログラム。
（付記３０）
　前記関心領域を部分領域に分割し、その信頼度を算出する信頼領域決定手段を更にコンピュータに実行させ、
　前記輝度値算出手段は、前記信頼値を参照して輝度値を算出する
付記２３乃至付記２９のいずれかに記載のプログラム。
（付記３１）
　前記輝度値算出手段の出力から、人間の心拍数が取り得る範囲に基づいて予め定められた周波数領域のみを通過させる心拍成分フィルタ手段を更にコンピュータに実行させる、付記２３乃至付記３０のいずれかに記載のプログラム。
（付記３２）
　人間の生理に基づいて予め定められた、生理的に起こりえない変化を、前記心拍算出手段の出力から除去する外れ値除去手段を更にコンピュータに実行させる、付記２３乃至付記３１のいずれかに記載のプログラム。
（付記３３）
　前記心拍推定装置の出力に基づいて、人の状態を判定する状態検出手段を更にコンピュータに実行させる付記２３乃至付記３２のいずれかに記載のプログラム。
１０１、３０１　関心領域検出部
１０１－１　顔検出部
１０１－２　顔特徴点検出部
１０２、３０３　輝度値算出部
１０３、２０１、３０５　心拍成分強調部
１０４、３０６　心拍算出部
１１０　画像データ
２０１－１　心拍成分強調処理部
２０１－２　保存部
３０２　信頼領域決定部
３０４　心拍成分フィルタ部
３０７　外れ除去部
４０１　状態検出部
１０００、２０００、３０００、４０００　心拍推定装置
１００００　状態検出装置

 

Claims (10)

  1. 　時間的に連続した複数の画像のそれぞれから被験者の顔領域を含む関心領域を検出する関心領域検出部と、
    　前記関心領域内の画像に含まれる輝度値を、予め定められた光波長成分の夫々について算出する輝度値算出部と、
    　前記予め定められた光波長成分のそれぞれにかかる係数の一組を行とする分離行列を用いて前記輝度値に対して独立成分分析を行うことにより、心拍成分を強調する心拍成分強調部と、
    　前記心拍成分強調部によって強調した心拍成分に基づいて、心拍数を算出する心拍算出部とを備え、
    　前記分離行列は、緑色の前記光波長成分の輝度値にかかる係数の絶対値が、他の色の前記光波長成分の輝度値にかかる係数の絶対値よりも大きい係数からなる、心拍成分強調係数からなる行を含む
    心拍推定装置。
  2. 　前記分離行列は、いずれか一行が前記心拍成分強調係数からなり、
    　前記心拍成分強調係数は、前記光波長成分の輝度値にかかる各係数の和がゼロであり、
    　前記分離行列の各行は、前記光波長成分の輝度値に係るN個（Nは自然数）の係数からなり、
    　前記心拍成分強調係数は、緑色の前記光波長成分の輝度値にかかる係数と、緑色以外の前記光波長成分の輝度値にかかる係数との比が(N-1):(-1)であり、
    　前記心拍成分強調部は前記輝度値を正規化した値に対して独立成分分析を行う
    請求項１に記載の心拍推定装置。
  3. 　前記心拍成分強調部は、前記分離行列において、前記心拍成分強調係数を少なくとも初期値に用いて、独立成分分析を適用する、請求項１または請求項２に記載の心拍推定装置。
  4. 　前記心拍成分強調部は、前記分離行列において、前記心拍成分強調係数からなる行ベクトルを除いた行に前記心拍成分強調係数からなる行ベクトルに対して正規直交になる行ベクトルを用いる、請求項１乃至請求項３のいずれかに記載の心拍推定装置。
  5. 　前記心拍成分強調部は、独立成分分析を適用する際の、前記分離行列の更新において、独立成分分析の出力成分が定まる傾向が見られるまで前記心拍成分強調係数を固定する、請求項１乃至請求項４のいずれかに記載の心拍推定装置。
  6. 　前記心拍成分強調部は、前記分離行列において、前記関心領域と前記関心領域以外の前記光波長成分の輝度値の差分を基に、前記心拍成分強調係数を定める、請求項１、請求項３乃至請求項５のいずれかに記載の心拍推定装置。
  7. 　前記心拍成分強調部は、学習後の前記分離行列において、前記心拍成分強調係数に最も近い前記分離行列の行にかかる出力成分を、心拍成分の出力成分として選択する、請求項１乃至請求項６のいずれかに記載の心拍推定装置。
  8. 　前記関心領域を部分領域に分割し、その信頼度を算出する信頼領域決定部を更に備え、
    　前記輝度値算出部は、前記信頼値を参照して輝度値を算出する
    請求項１乃至請求項７のいずれかに記載の心拍推定装置。
  9. 　時間的に連続した複数の画像のそれぞれから被験者の顔領域を含む関心領域を検出する関心領域検出段階と、
    　前記関心領域内の画像に含まれる輝度値を、予め定められた光波長成分の夫々について算出する輝度値算出段階と、
    　前記予め定められた光波長成分のそれぞれにかかる係数の一組を行とする分離行列を用いて前記輝度値に対して独立成分分析を行うことにより、心拍成分を強調する心拍成分強調段階と、
    　前記心拍成分強調段階によって強調した心拍成分に基づいて、心拍数を算出する心拍算出段階とを含み、
    　前記分離行列は、緑色の前記光波長成分の輝度値にかかる係数の絶対値が、他の色の前記光波長成分の輝度値にかかる係数の絶対値よりも大きい係数からなる、心拍成分強調係数からなる行を含む
    心拍推定方法。
  10. 　時間的に連続した複数の画像のそれぞれから被験者の顔領域を含む関心領域を検出する関心領域検出手段と、
    　前記関心領域内の画像に含まれる輝度値を、予め定められた光波長成分の夫々について算出する輝度値算出手段と、
    　前記予め定められた光波長成分のそれぞれにかかる係数の一組を行とする分離行列を用いて前記輝度値に対して独立成分分析を行うことにより、心拍成分を強調する心拍成分強調手段と、
    　前記心拍成分強調手段によって強調した心拍成分に基づいて、心拍数を算出する心拍算出手段とをコンピュータに実行させるプログラムであって、
    　前記分離行列は、緑色の前記光波長成分の輝度値にかかる係数の絶対値が、他の色の前記光波長成分の輝度値にかかる係数の絶対値よりも大きい係数からなる、心拍成分強調係数からなる行を含む
    プログラム。

     
PCT/JP2017/012954 2017-03-29 2017-03-29 心拍推定装置 WO2018179150A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019508436A JP6717424B2 (ja) 2017-03-29 2017-03-29 心拍推定装置
PCT/JP2017/012954 WO2018179150A1 (ja) 2017-03-29 2017-03-29 心拍推定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/012954 WO2018179150A1 (ja) 2017-03-29 2017-03-29 心拍推定装置

Publications (1)

Publication Number Publication Date
WO2018179150A1 true WO2018179150A1 (ja) 2018-10-04

Family

ID=63674565

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/012954 WO2018179150A1 (ja) 2017-03-29 2017-03-29 心拍推定装置

Country Status (2)

Country Link
JP (1) JP6717424B2 (ja)
WO (1) WO2018179150A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109793506A (zh) * 2019-01-18 2019-05-24 合肥工业大学 一种非接触式桡动脉波形提取方法
CN110269600A (zh) * 2019-08-06 2019-09-24 合肥工业大学 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法
WO2020157972A1 (en) * 2019-02-01 2020-08-06 Nec Corporation Estimation apparatus, method and program
CN111743524A (zh) * 2020-06-19 2020-10-09 联想(北京)有限公司 一种信息处理方法、终端和计算机可读存储介质
WO2022097573A1 (ja) * 2020-11-04 2022-05-12 株式会社 レイマック 非接触血管解析装置
WO2023184832A1 (zh) * 2022-03-31 2023-10-05 上海商汤智能科技有限公司 生理状态检测方法、装置、电子设备、存储介质及程序

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014036801A (ja) * 2012-08-20 2014-02-27 Olympus Corp 生体状態観察システム、生体状態観察方法、およびプログラム
JP5672144B2 (ja) * 2011-05-20 2015-02-18 富士通株式会社 心拍数・呼吸数検出装置，方法およびプログラム
JP2015533325A (ja) * 2012-11-02 2015-11-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 生理学的情報を抽出する装置及び方法
JP2016515846A (ja) * 2013-03-04 2016-06-02 マイクロソフト テクノロジー ライセンシング，エルエルシー ハンドヘルド・デバイスを非侵襲的に用いた脈波伝播時間の判定
WO2016159151A1 (ja) * 2015-03-31 2016-10-06 株式会社エクォス・リサーチ 脈波検出装置、及び脈波検出プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5672144B2 (ja) * 2011-05-20 2015-02-18 富士通株式会社 心拍数・呼吸数検出装置，方法およびプログラム
JP2014036801A (ja) * 2012-08-20 2014-02-27 Olympus Corp 生体状態観察システム、生体状態観察方法、およびプログラム
JP2015533325A (ja) * 2012-11-02 2015-11-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 生理学的情報を抽出する装置及び方法
JP2016515846A (ja) * 2013-03-04 2016-06-02 マイクロソフト テクノロジー ライセンシング，エルエルシー ハンドヘルド・デバイスを非侵襲的に用いた脈波伝播時間の判定
WO2016159151A1 (ja) * 2015-03-31 2016-10-06 株式会社エクォス・リサーチ 脈波検出装置、及び脈波検出プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
X.LI ET AL.: "Remote Heart Rate Measurement From Face Videos Under Realistic Situations", 2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 23 June 2014 (2014-06-23), pages 4264 - 4271, XP032649361 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109793506A (zh) * 2019-01-18 2019-05-24 合肥工业大学 一种非接触式桡动脉波形提取方法
CN109793506B (zh) * 2019-01-18 2022-03-22 合肥工业大学 一种非接触式桡动脉波形提取方法
WO2020157972A1 (en) * 2019-02-01 2020-08-06 Nec Corporation Estimation apparatus, method and program
CN110269600A (zh) * 2019-08-06 2019-09-24 合肥工业大学 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法
CN110269600B (zh) * 2019-08-06 2021-12-21 合肥工业大学 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法
CN111743524A (zh) * 2020-06-19 2020-10-09 联想(北京)有限公司 一种信息处理方法、终端和计算机可读存储介质
WO2022097573A1 (ja) * 2020-11-04 2022-05-12 株式会社 レイマック 非接触血管解析装置
JPWO2022097573A1 (ja) * 2020-11-04 2022-05-12
JP7274803B2 (ja) 2020-11-04 2023-05-17 株式会社レイマック 非接触血管解析装置
WO2023184832A1 (zh) * 2022-03-31 2023-10-05 上海商汤智能科技有限公司 生理状态检测方法、装置、电子设备、存储介质及程序

Also Published As

Publication number Publication date
JPWO2018179150A1 (ja) 2019-11-07
JP6717424B2 (ja) 2020-07-01

Similar Documents

Publication Publication Date Title
WO2018179150A1 (ja) 心拍推定装置
US11229372B2 (en) Systems and methods for computer monitoring of remote photoplethysmography based on chromaticity in a converted color space
EP3664704B1 (en) Device, system and method for determining a physiological parameter of a subject
EP2936432B1 (en) System and method for extracting physiological information from remotely detected electromagnetic radiation
JP6308161B2 (ja) 脈波検出装置、及び脈波検出プログラム
EP3440991A1 (en) Device, system and method for determining a physiological parameter of a subject
JP6521845B2 (ja) 心拍に連動する周期的変動の計測装置及び計測方法
KR102285999B1 (ko) 얼굴 색상과 떨림을 이용한 카메라 기반 심박 측정 방법 및 시스템
KR101738278B1 (ko) 영상을 이용한 감정 인식 방법
Rahman et al. Non-contact physiological parameters extraction using facial video considering illumination, motion, movement and vibration
EP3308702B1 (en) Pulse estimation device, and pulse estimation method
Gibert et al. Face detection method based on photoplethysmography
Dosso et al. Eulerian magnification of multi-modal RGB-D video for heart rate estimation
Nooralishahi et al. Robust remote heart rate estimation from multiple asynchronous noisy channels using autoregressive model with Kalman filter
JP6455761B2 (ja) 脈波検出装置、及び脈波検出プログラム
US10192307B2 (en) System and method for extracting a periodic signal from video
Birla et al. ALPINE: Improving remote heart rate estimation using contrastive learning
Oviyaa et al. Real time tracking of heart rate from facial video using webcam
Ben Salah et al. Contactless heart rate estimation from facial video using skin detection and multi-resolution analysis
Arppana et al. Real time heart beat monitoring using computer vision
Rahman et al. A filter-based method to calculate heart rate from near infrared video
Zarándy et al. Multi-Level Optimization for Enabling Life Critical Visual Inspections of Infants in Resource Limited Environment
Kawamura et al. Mental fatigue estimation based on luminance changes in facial images
KR102132959B1 (ko) 사용자의 신원 파악이 가능한 심박동수 모니터링 방법 및 시스템
Islam et al. Extracting heart rate variability: a summary of camera based Photoplethysmograph

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17903152

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019508436

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17903152

Country of ref document: EP

Kind code of ref document: A1