WO2016104538A1 - 呼吸状態推定装置、携帯機器、装着型デバイス、プログラム、媒体、呼吸状態推定方法及び呼吸状態推定器 - Google Patents

呼吸状態推定装置、携帯機器、装着型デバイス、プログラム、媒体、呼吸状態推定方法及び呼吸状態推定器 Download PDF

Info

Publication number
WO2016104538A1
WO2016104538A1 PCT/JP2015/085889 JP2015085889W WO2016104538A1 WO 2016104538 A1 WO2016104538 A1 WO 2016104538A1 JP 2015085889 W JP2015085889 W JP 2015085889W WO 2016104538 A1 WO2016104538 A1 WO 2016104538A1
Authority
WO
WIPO (PCT)
Prior art keywords
respiratory state
time
state estimation
pulse wave
respiratory
Prior art date
Application number
PCT/JP2015/085889
Other languages
English (en)
French (fr)
Inventor
祥宏 野口
潔 山本
山下　昌哉
Original Assignee
旭化成株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 旭化成株式会社 filed Critical 旭化成株式会社
Priority to DE112015005804.4T priority Critical patent/DE112015005804T5/de
Priority to JP2016566410A priority patent/JP6371410B2/ja
Priority to CN201580070956.1A priority patent/CN107106080A/zh
Publication of WO2016104538A1 publication Critical patent/WO2016104538A1/ja
Priority to US15/628,663 priority patent/US20170281050A1/en
Priority to US17/147,466 priority patent/US11701026B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0806—Detecting, measuring or recording devices for evaluating the respiratory organs by whole-body plethysmography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0826—Detecting or evaluating apnoea events
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms

Definitions

  • the present invention relates to a respiratory state estimation device, a portable device, a wearable device, a program, a medium, a respiratory state estimation method, and a respiratory state estimator.
  • Conventional respiratory state estimation devices include a device using an electrocardiogram and a device using a pulse wave.
  • an electrocardiogram When an electrocardiogram is used, the heartbeat interval is measured from the electrocardiogram, and the respiratory state is estimated from the heartbeat variability that is fluctuation of the heartbeat interval.
  • the baseline pattern by the envelope analysis of the pulse wave is extracted, and the respiratory pattern is measured by measuring the baseline pattern (for example, refer to Patent Document 1).
  • a pulse wave signal acquisition unit that acquires a pulse wave signal from a part of a living body, a pulse rate calculation unit that calculates a pulse rate of the living body based on the pulse wave signal, and a pulse rate And a respiratory state estimation unit for estimating a respiratory state of a living body.
  • a portable device comprising the respiratory state estimating device according to the first aspect and a display for displaying information indicating the respiratory state.
  • a wearable device comprising the respiratory state estimating device according to the first aspect and a display for displaying information indicating the respiratory state.
  • the pulse wave signal is optically acquired from a part of the living body, the pulse rate of the living body is calculated based on the pulse wave signal, and the respiratory state of the living body is calculated from the pulse rate.
  • a respiratory state estimation method comprising: estimating a respiratory state.
  • a respiratory state estimator comprising an image acquisition unit that acquires an image of a living body's skin and a respiratory state estimation unit that estimates a respiratory state of the living body based on the image.
  • a pulse wave signal acquisition unit that optically acquires a pulse wave signal from a part of a living body, and a pulse wave lag that calculates a pulse wave lag time of the living body based on the pulse wave signal.
  • a respiratory state estimation device including a time calculation unit and a respiratory state estimation unit that estimates a respiratory state of a living body based on a pulse wave lag time.
  • summary of a structure of the respiratory condition estimation apparatus 100 is shown.
  • An outline of the configuration of the pulse wave signal acquisition unit 10 is shown.
  • An example of the signal processing algorithm of the pulse wave signal acquisition unit 10 is shown.
  • An example of a method for extracting a window signal will be described.
  • An example of the configuration of the pulse rate calculation unit 20 is shown.
  • An example of the signal processing algorithm of the pulse rate calculation unit 20 is shown.
  • An example of a Hanning window function is shown.
  • An example of a Kaiser-Bessel derived window function is shown.
  • An example of the respiratory condition estimation method which concerns on a comparative example is shown. Shows the correlation between respiratory cycle and pulse rate.
  • An example of a respiratory state estimation method is shown.
  • An example of a respiratory state estimation method is shown.
  • the relationship between pulse rate fluctuation and pulse rate fluctuation speed is shown.
  • An example of the structure of the respiratory condition estimation apparatus 100 is shown.
  • An example of the structure of the pulse wave lag time calculation part 40 is shown.
  • An example of the algorithm of the signal processing of the pulse wave lag time calculation part 40 is shown.
  • An example of a method for calculating the pulse wave lag time is shown.
  • An example of continuous pulse wave lag time fluctuation is shown.
  • An example of a respiratory state estimation method is shown. 1 shows a respiratory state estimation device 100 according to Embodiment 1.
  • the respiratory condition estimation apparatus 100 which concerns on Embodiment 2 is shown.
  • FIG. 1 shows an outline of the configuration of the respiratory condition estimation device 100.
  • the respiratory state estimation device 100 includes a pulse wave signal acquisition unit 10, a pulse rate calculation unit 20, and a respiratory state estimation unit 30.
  • the respiratory state estimation device 100 estimates a respiratory state based on a pulse wave signal acquired from a part of the living body 1.
  • the respiratory state refers to an inspiratory state, an exhaled state, an apnea state, and an instantaneous apnea state.
  • the pulse wave signal acquisition unit 10 acquires a pulse wave signal from an image of a part of the living body 1.
  • the pulse wave signal is an RGB signal or YCbCr signal of an image including pulse wave information.
  • the pulse wave information is information relating to a time waveform indicating the pulsation of a blood vessel in a part of the living body 1.
  • the pulse wave information includes information related to timing at which the pulse wave has a peak.
  • the pulse wave signal acquisition unit 10 optically acquires a pulse wave signal from an image of a part of the living body 1.
  • a method for optically acquiring a pulse wave signal there are a method using a camera image and a method using a photoelectric volume pulse wave (PPG).
  • PPG photoelectric volume pulse wave
  • a respiratory state is estimated based on blood flow information included in an image obtained by photographing a part of the living body 1.
  • a respiratory state is estimated based on a change in blood flow that can be acquired due to the property that hemoglobin absorbs light.
  • the pulse wave signal acquisition unit 10 outputs the acquired pulse wave signal to the pulse rate calculation unit 20.
  • the pulse rate calculation unit 20 calculates the pulse rate of the living body 1 based on the input pulse wave signal.
  • the pulse rate of the living body 1 is calculated by using a predetermined signal processing algorithm.
  • the pulse rate calculator 20 may calculate the pulse rate periodically at predetermined intervals.
  • the pulse rate calculation unit 20 outputs the calculated pulse rate to the respiratory state estimation unit 30.
  • the respiratory state estimation unit 30 estimates the respiratory state of the living body 1 based on the input pulse rate. For example, the respiratory state estimation unit 30 estimates the respiratory state of the living body 1 based on a comparison between the calculated pulse rate and the next calculated pulse rate. Thus, since the respiratory state estimation part 30 compares the adjacent pulse rate and estimates the respiratory state of the biological body 1, it can estimate the respiratory state of the biological body 1 in real time.
  • the respiratory state estimation unit 30 may estimate the respiratory state of the living body 1 based on a comparison between the calculated pulse rate and the next calculated pulse rate. In this case, the breathing state estimation unit 30 estimates the breathing state in a short time because there is no need to extract the baseline signal by envelope detection with a large time constant compared to the case of estimating the breathing state from the baseline signal. can do.
  • the respiratory state estimation part 30 may estimate a respiratory state from the change of a pulse rate. For example, when the amount of change in the pulse rate is greater than or equal to a predetermined positive inspiration estimation threshold, the respiratory state estimation unit 30 is less than or equal to a predetermined negative expiration estimation threshold.
  • the case may be an exhaled state, and the case where the amount of change in the pulse rate is not equal to or greater than the inspiratory estimation threshold but not equal to or less than the expiratory estimated threshold may be estimated as an instantaneous apnea state.
  • the respiratory state estimating unit 30 can accurately estimate the respiratory state by using the amount of change in the pulse rate.
  • the respiratory state estimation unit 30 can accurately identify the inspiratory state, the expired state, and the instantaneous apnea state. Furthermore, the respiratory state estimation unit 30 only uses the amount of change in the pulse rate, and can estimate the respiratory state in a short time.
  • FIG. 2 shows an outline of the configuration of the pulse wave signal acquisition unit 10.
  • the pulse wave signal acquisition unit 10 includes a video acquisition unit 11, a trace signal generation unit 12, a window cutout unit 13, and a signal correction unit 14.
  • the image acquisition unit 11 acquires an image of a part of the living body 1.
  • the video acquisition unit 11 has a camera and captures a video of a part of the living body 1.
  • the image of the living body 1 may be a still image sequence or a moving image.
  • the video acquisition unit 11 may irradiate the living body 1 with light and acquire the reflected light.
  • the video acquisition unit 11 includes a light emitting diode and a photodiode.
  • the trace signal generation unit 12 detects the measurement target region of the living body 1 based on the video acquired by the video acquisition unit 11.
  • the trace signal generator 12 traces the pulse wave signal in the detected area.
  • the trace signal generation unit 12 outputs the generated trace signal to the window cutout unit 13.
  • the window cutout unit 13 cuts out the trace signal with a predetermined window size.
  • the extracted trace signal is referred to as a window signal.
  • the window size refers to the time width of the window signal.
  • the window cutout unit 13 cuts out a window signal at a predetermined interval.
  • the window cutout unit 13 outputs the cut window signal to the signal correction unit 14.
  • the signal correction unit 14 corrects the window signal.
  • Window signal correction includes signal interpolation and removal of unwanted frequencies.
  • the signal correction unit 14 generates a processing window pulse wave fixed at a predetermined sampling rate based on a reference signal indicating time.
  • a processing window pulse wave is generated for each extracted window signal.
  • the signal correction unit 14 outputs the corrected signal to the pulse rate calculation unit 20 as a processing window pulse wave.
  • FIG. 3 shows an example of the signal processing algorithm of the pulse wave signal acquisition unit 10.
  • the pulse wave signal acquisition unit 10 extracts the processing window pulse wave from the camera video.
  • the stable extraction of the processing window pulse wave is a necessary basic technology for accurately estimating the respiratory state.
  • step S100 the video acquisition unit 11 acquires a video of the part of the living body 1.
  • the image of the part of the living body 1 is taken at a frame rate of about 30 times per second (30 fps).
  • the image acquisition unit 11 observes skin blood flow from an image of a part of the living body 1.
  • the blood of the living body 1 changes in the light absorption characteristics of the G component (green component) among the RGB components of light according to the hemoglobin concentration. Since the pulse wave corresponds to a change in blood flow, the period of change in the G component of the light transmitted or reflected through the living body 1 corresponds to the period of the pulse wave in the living body 1. That is, the image of the part of the living body 1 includes a variation waveform of the G component corresponding to the pulse wave. [0] Thereafter, the trace signal generation unit 12 extracts RGB signals from the acquired measurement subject video.
  • the measurement subject video in this example has 640 ⁇ 480 pixels.
  • step S101 the trace signal generation unit 12 converts the extracted RGB signal into a YCbCr signal.
  • Y is a luminance signal
  • Cb and Cr are color difference signals.
  • the trace signal generation unit 12 detects the face area and the target area ROI from the luminance signal Y.
  • the target region ROI is specified based on the luminance signal Y.
  • the target region ROI is a region where blood vessels are concentrated to such an extent that a change in color difference signal including pulse wave information can be detected.
  • the trace signal generation unit 12 can detect a processing window pulse wave having a high S / N ratio by detecting a dense nasal region of capillaries as a part of the living body 1.
  • step S103 the trace signal generator 12 extracts the target region ROI based on the position information and size information of the target region ROI detected in step S102.
  • the trace signal generation unit 12 acquires a Cb + Cr signal in the extracted target region ROI.
  • the target area ROI in this example is an area of 50 ⁇ 50 pixels.
  • step S104 the trace signal generation unit 12 performs Gaussian filtering on the target region ROI based on the acquired Cb + Cr signal.
  • a signal of a region other than the target region ROI accompanying the movement of the living body 1 is mixed around the target region ROI.
  • Gaussian filtering the intensity of the central portion of the target region ROI can be increased and the peripheral portion of the target region ROI can be suppressed. That is, signals around the target region ROI with low reliability are filtered by Gaussian filtering.
  • a Cb + Cr trace signal in which values at arbitrary times are plotted is created based on the filtered signal.
  • the Cb + Cr trace signal is a value obtained by summing up the Cb + Cr signal of each pixel in the entire target region ROI.
  • the Cb + Cr trace signal is the average of the Cb + Cr signals for each pixel. That is, the Cb + Cr trace signal is set so that one value is obtained in the target region ROI.
  • step S106 the window cutout unit 13 cuts out the window signal from the Cb + Cr trace signal.
  • the window signal is cut out with a predetermined window size and period.
  • the signal correction unit 14 corrects the frame rate fluctuation of the camera frame to a fixed sampling rate by spline interpolation.
  • a reference signal included in the video is used.
  • the reference signal is a signal indicating an accurate time when the video acquisition unit 11 acquires the video of the living body 1.
  • the reference signal is a time stamp included in the video frame.
  • the band pass filter BPF cuts the wavelength region other than the pulse wave component.
  • the Cb + Cr trace signal may include a low frequency signal corresponding to the external environment or the movement of the living body. Therefore, the band pass filter BPF cuts a wavelength region other than 0.75 Hz to 4 Hz (pulse rate 45 to 240) corresponding to the pulse rate HR of the general living body 1. Thereby, noises other than the pulse of the living body 1 can be cut.
  • FIG. 4 shows an example of a method for extracting a window signal.
  • the window cutout unit 13 cuts out a plurality of window signals from the Cb + Cr trace signal so as to overlap at a predetermined time interval.
  • the first window signal is the latest window signal.
  • the window signals adjacent to the first window signal are defined as second to fourth window signals, respectively.
  • a shift between adjacent window signals is referred to as an overlap shift time.
  • the overlap shift time is equal to the cycle in which the pulse rate calculation unit 20 calculates the pulse rate. That is, the pulse rate calculation unit 20 calculates the pulse rate for each overlap time shift amount.
  • the overlap shift times in this example are equal to each other. For example, when the respiratory cycle is 15 seconds, the overlap shift time is 1 second.
  • the overlap shift time is preferably less than a half cycle of breathing.
  • the window size may be set to any size.
  • the window size in this example is approximately 200 frames.
  • the window size is preferably equal to or greater than the pulse period of the living body 1.
  • the pulse cycle is the time taken for one beat.
  • FIG. 5 shows an example of the configuration of the pulse rate calculation unit 20.
  • the pulse rate calculation unit 20 includes a window function multiplication unit 21, an integrated output unit 22, and a discrete frequency conversion unit 23.
  • the window function multiplier 21 multiplies the input processing window pulse wave by a predetermined window function.
  • the window function may be a function generally used for signal processing such as a Hanning window, a Kaiser-Bessel derivative window, a Gauss window, a Hamming window, a Tukey window, and a Blackman window.
  • the window function multiplying unit 21 outputs the processed window pulse wave processed by the window function to the integrated output unit 22 as the window processed pulse wave.
  • the integrated output unit 22 generates an integrated window signal obtained by integrating sample data with the input window processing pulse wave.
  • the sample data may be integrated before, after, or before and after the window signal multiplied by the window function. For example, when the integrated output unit 22 performs zero extension of the window processing pulse wave, the sample data is zero. By performing zero extension of the windowed pulse wave, the resolution of the windowed pulse wave is increased.
  • the integrated output unit 22 outputs the generated integrated window signal to the discrete frequency converter 23.
  • the discrete frequency conversion unit 23 performs discrete frequency conversion on the integrated window signal output from the integrated output unit 22 to calculate a pulse wave feature amount.
  • the pulse wave feature amount is an FFT spectrum obtained by executing a fast Fourier transform (FFT) on the integrated window signal.
  • the discrete frequency converter 23 can calculate a high-resolution pulse rate from the FFT spectrum obtained from the high-resolution integrated window signal.
  • the discrete frequency conversion unit 23 outputs the calculated pulse rate to the respiratory state estimation unit 30.
  • FIG. 6 shows an example of the signal processing algorithm of the pulse rate calculation unit 20.
  • the processing window pulse wave input to the pulse rate calculation unit 20 is a highly reliable pulse wave from which unnecessary components have been removed by the pulse wave signal acquisition unit 10.
  • the pulse rate calculator 20 performs the processes of steps S201 to S203 to calculate an accurate pulse rate using the extracted processing window pulse wave.
  • step S201 the window function multiplication unit 21 performs window processing on the processing window pulse wave by using a Hanning window function or a Kaiser-Bessel derived window function. Thereby, temporal weighting becomes possible.
  • the window function may be selected so that the pulse intensities at both ends of the processing window pulse wave are equal.
  • the integrated output unit 22 integrates the sample data behind the window processing pulse wave to generate an integrated window signal.
  • the sample data is data equal to the pulse intensity at both ends of the processing window pulse wave after being multiplied by the window function.
  • the sample data in this example is zero.
  • the size of the integrated window signal is zero-extended to be a power of 2 size. By performing zero extension, the resolution can be increased as compared to before the integration of sample data.
  • step S203 the discrete frequency conversion unit 23 performs FFT on the integrated window signal to calculate an FFT spectrum.
  • the frequency resolution is 0.23 Hz. Since it is 14 bpm in terms of pulse rate, it is impossible to detect a smaller fluctuation in pulse rate.
  • the frequency resolution is 0.029 Hz. Expressed in terms of pulse rate, it is 1.7 bpm.
  • the number of samples after zero extension is not limited, but is preferably a power of 2 and more preferably 256, 512, 1024, 2048, and 4096.
  • the pulse rate calculation unit 20 calculates an integrated window signal from the processing window pulse wave having a sampling rate as low as 30 Hz. Therefore, when acquiring a pulse wave signal optically, it is possible to measure high-resolution pulse rate fluctuations without upsampling the sampling frequency. By using a high-resolution pulse rate, the estimation accuracy of the respiratory state is improved.
  • FIG. 7 shows the Hanning window function.
  • the Hanning window function is an example of an FFT window function.
  • the Hanning window function is a window function in which both ends of the frame are zero.
  • the Hanning window function w (n) is expressed by the following equation (1).
  • n indicates a sample element, and N indicates the number of samples.
  • the Hanning window function is a function having a weight in the window center time (around 64 frames). Therefore, the pulse rate is measured around the pulse wave at the window center time. For example, when a pulse rate is measured from the FFT with a window size of 128 samples at a frame rate of 30 Hz, the pulse rate is measured centering on a pulse wave about 4 seconds ago in the Hanning window. That is, a response time may occur due to a time difference from the pulse rate measurement time to the center time.
  • FIG. 8 shows an example of the Kaiser-Bessel derived window function KBD (Kaiser-Bessel-Derived Window). Similar to the Hanning window function, the KBD window function is a window function in which both ends of the frame are zero.
  • KBD Kaiser-Bessel derived window function
  • the KBD window function d k is expressed by the following equation (Formula 2) using a formula in the term of the Kaiser window w k .
  • Equation (2) defines a window having a length of 2n.
  • the KBD window function is heavily weighted when the number of frames is around 40 to 90.
  • the Hanning window function is weighted by concentrating around 64 frames. Therefore, the KBD window function has a higher weight for the pulse wave closer to the latest extracted sample than the Hanning window function. For this reason, the KBD window can easily reflect the value of the pulse wave closer to the latest extracted sample, so that the response of the respiratory state estimation can be improved.
  • FIG. 9 shows an example of a respiratory state estimation method according to a comparative example.
  • Fig.9 (a) shows the time change of a pulse wave.
  • FIG. 9B shows the time change and baseline fluctuation of the pulse wave.
  • FIG. 9A shows a waveform obtained by enlarging a part of the pulse wave of FIG.
  • the period t indicates the period of the pulse wave
  • the period T indicates the period of baseline fluctuation.
  • the respiratory state is estimated by utilizing the fact that the baseline fluctuation cycle T corresponds to the respiratory cycle.
  • the respiratory state estimation method of the comparative example can estimate the respiratory state only once every 15 seconds.
  • the respiratory state cannot be estimated in real time, and the smooth respiratory state cannot be estimated.
  • the baseline fluctuation is induced by respiration when there is no disturbance such as the body movement of the subject.
  • the period T of the baseline fluctuation has a frequency closer to the noise generated when the image of the living body 1 is optically acquired than the period t of the pulse wave. Therefore, in the respiratory state estimation method of the comparative example, the influence of the error due to the movement of the subject and the error generated when the video is acquired becomes large, and the respiratory state cannot be estimated accurately.
  • FIG. 10 shows the relationship between the respiratory cycle and the pulse rate.
  • the subject in this example changes the respiratory cycle in three stages of 3 bpm, 6 bpm and 12 bpm in addition to the normal state and the breath holding state.
  • the respiratory state estimation unit 30 calculates a high-resolution continuous pulse rate variation from the pulse rate output by the pulse rate calculation unit 20. Continuous pulse rate variation is traced by plotting in response to periodic measurements of pulse rate. And the respiratory state estimation part 30 estimates a respiratory state from continuous pulse rate fluctuation
  • the normal state is a state in which the living body 1 repeats inspiration and expiration as usual.
  • the inspiration and expiration of the living body 1 are linked with the fluctuation of the pulse rate. Specifically, when the living body 1 inhales, the pulse rate increases, and when the living body 1 exhales, the pulse rate decreases. Therefore, the respiratory state can be detected in real time by observing the rise and fall of the pulse rate.
  • the breath holding state is a state in which inspiration and expiration are not performed, or a state in which inspiration and expiration are hardly performed. That is, the breath holding state corresponds to a so-called apnea state. In the breath holding state, the fluctuation of the pulse rate is small compared to the interval in the normal state.
  • Respiration cycle 3 bpm refers to repeating inspiration and expiration 3 times per minute. In this example, inspiration and expiration are equal and each is 10 seconds. Similarly, a breathing cycle of 6 bpm indicates that inspiration and expiration are repeated 6 times per minute. In the respiration cycle of 6 bpm, inspiration and expiration are each 5 seconds. A breathing cycle of 12 bpm refers to repeating inspiration and expiration 12 times per minute. In the breathing cycle of 12 bpm, inspiration and expiration are each 2.5 seconds.
  • the respiratory cycle can be calculated by measuring the fluctuation cycle of the pulse rate.
  • the respiratory state estimation device 100 can detect the respiratory cycle and the respiratory state in real time by analyzing changes in the pulse rate.
  • FIG. 11 shows an example of a respiratory state estimation method.
  • the vertical axis represents the pulse rate, and the horizontal axis represents time.
  • the respiratory state estimation unit 30 of this example estimates the respiratory state from the measurement results of three consecutive pulse rates.
  • the respiratory state estimation unit 30 realizes a smooth respiratory state estimation from the high-resolution continuous pulse rate.
  • Times T C , T C-1 , and T C-2 indicate pulse rate measurement times, respectively. It is assumed that the current time is time T C , the past time is time T C-1 , and the past time is T C-2 . Further, the pulse rates at times T C , T C-1 , and T C-2 are PR c , PR (c-1), and PR (c-2) , respectively.
  • the period from time T C-2 to time T C is preferably smaller than the respiratory cycle of a living body 1.
  • the respiratory state estimation unit 30 estimates that the living body 1 is in the inhalation state. For example, if PR C -PR (C-1) ⁇ 0 and PR (C-1) -PR (C-2) ⁇ 0 and PR C -PR (C-2) ⁇ Tr It is estimated that.
  • Tr indicates the intake air estimation threshold value.
  • the intake air estimation threshold Tr in this example is 5 bpm. That is, during the period from the time T C-2 to time T C, always not reduced pulse rate, and pulse rate is estimated to be the intake state when you are increasing more than 5 bpm.
  • the respiratory state estimation unit 30 estimates that the living body 1 is in the expired state. For example, PR C -PR (C-1 ) ⁇ 0 and, PR (C-1) -PR (C-2) ⁇ 0 and, in the case of PR C -PR (C-2) ⁇ -Tr, expiratory Presumed to be in a state.
  • -Tr was used as the expiration estimation threshold.
  • a value different from the inhalation estimation threshold value may be used as the expiration estimation threshold value.
  • the respiratory state estimation unit 30 estimates that the living body 1 is in the instantaneous apnea state. Further, the respiratory state estimation unit 30 may estimate that the instantaneous apnea state is present when the amount of change in the pulse rate is not equal to or greater than the inspiration estimation threshold value and not equal to or less than the negative expiration estimation threshold value. And when the continuous time of an instantaneous apnea state becomes more than the apnea estimation threshold Ta, the respiratory state estimation part 30 estimates that the biological body 1 is an apnea state. For example, the apnea estimation threshold Ta may be 5 seconds.
  • FIG. 12 shows an example of a respiratory state estimation method.
  • the vertical axis represents the pulse rate, and the horizontal axis represents time.
  • the respiratory state estimation unit 30 of this example estimates the respiratory state from the measurement results of four consecutive pulse rates.
  • Times T C , T C-1 , T C-2 , and T C-3 indicate pulse rate measurement times, respectively.
  • the current time is defined as time T C
  • the past times from the closest to the current time are defined as times T C-1 , T C-2 , and T C-3 , respectively.
  • the pulse rates at times T C , T C-1 , T C-2 , and T C-3 are PR c , PR (c-1), PR (c-2) , and PR (c-3) , respectively.
  • the period from time T C-3 to time T C is preferably smaller than the respiratory cycle of a living body 1.
  • the respiratory state estimating unit 30 estimates that the living body 1 is in an inspiratory state.
  • An increase fluctuation refers to a fluctuation in which the pulse rate tends to increase approximately.
  • the respiratory state estimating unit 30 may change the pulse rate between three adjacent two points (PR C -PR (C-1) , PR (C-1) -PR (C-2) , PR (C-2) -PR (C-3) ) If two or more of them are not negative, the intake state is estimated.
  • the respiratory state estimation unit 30 estimates that the living body 1 is in the expired state.
  • the downward fluctuation refers to fluctuation that tends to decrease the pulse rate.
  • the respiratory state estimation unit 30 may change the pulse rate between three adjacent two points (PR C -PR (C-1) , PR (C-1) -PR (C-2) , PR (C-2) -PR (C-3) ) If two or more of them are not positive, an exhalation state is estimated.
  • the respiratory state estimation unit 30 estimates that the living body 1 is in the instantaneous apnea state. Further, the respiratory state estimation unit 30 may estimate that the instantaneous apnea state is present when the amount of change in the pulse rate is not equal to or greater than the inspiration estimation threshold value and not equal to or less than the negative expiration estimation threshold value. And when the continuous time of an instantaneous apnea state becomes more than the apnea estimation threshold Ta, the respiratory state estimation part 30 estimates that the biological body 1 is an apnea state.
  • the apnea estimation threshold Ta may be 5.
  • FIG. 13 shows the relationship between pulse rate fluctuation and pulse rate fluctuation speed.
  • shaft of Fig.13 (a) shows a pulse rate (bpm), and a horizontal axis shows time (second).
  • the vertical axis indicates the pulse rate fluctuation rate (bpm)
  • the horizontal axis indicates time (seconds).
  • the subject in this example changes the respiratory cycle in three stages of 3 bpm, 6 bpm, and 12 bpm in addition to the normal state and the breath holding state, similarly to the case shown in FIG. As shown in FIG. 13, the pulse rate fluctuation period and the pulse rate fluctuation rate period coincide. That is, the pulse rate fluctuation rate has a correlation with the respiratory state, like the pulse rate. Therefore, the respiratory state estimation device 100 can estimate the respiratory state of the living body 1 by calculating at least one of the pulse rate and the pulse rate fluctuation rate.
  • the respiratory state estimation device 100 estimates the respiratory state from the pulse rate variation by FFT.
  • the respiratory state estimation device 100 according to the second embodiment estimates the respiratory state using the pulse wave lag time variation instead of using the pulse rate variation.
  • the pulse wave lag time refers to the autocorrelation lag time of the processing window pulse wave.
  • FIG. 14 shows an example of the configuration of the respiratory condition estimation device 100.
  • the respiratory state estimation device 100 according to the second embodiment is different from the respiratory state estimation device 100 according to the first embodiment in that a pulse wave lag time calculation unit 40 is provided instead of the pulse rate calculation unit 20.
  • the pulse wave lag time calculation unit 40 calculates the pulse wave lag time of the living body 1 based on the pulse wave trace signal acquired by the pulse wave signal acquisition unit 10.
  • the pulse wave lag time calculation unit 40 outputs the calculated pulse wave lag time to the breathing state estimation unit 30.
  • the respiratory state estimation unit 30 calculates a high-resolution continuous pulse wave lag time variation from the input pulse wave lag time. Continuous pulse wave lag time variation is traced by plotting periodically measured pulse wave lag time. The respiratory state estimation unit 30 estimates the respiratory state of the living body 1 based on the continuous pulse wave lag time fluctuation.
  • FIG. 15 shows an example of the configuration of the pulse wave lag time calculation unit 40.
  • the pulse wave lag time calculation unit 40 includes a bias fluctuation removal unit 41, an autocorrelation calculation unit 42, and a lag time calculation unit 43.
  • the bias fluctuation removing unit 41 removes a bias fluctuation component from the input processing window pulse wave.
  • the method of removing the bias fluctuation component may be a first derivative of the processing window pulse wave.
  • the bias fluctuation removing unit 41 may include a high pass filter.
  • the pulse wave lag time calculation unit 40 does not need to include the bias fluctuation removal unit 41 when the processing window pulse wave is input in a stable bias state.
  • the bias fluctuation removing unit 41 outputs the processed window pulse wave from which the bias fluctuation component has been removed to the autocorrelation calculating unit 42 as the window processed pulse wave.
  • the autocorrelation calculation unit 42 calculates the autocorrelation coefficient of the input window processing pulse wave.
  • the autocorrelation calculation unit 42 outputs the calculated autocorrelation coefficient to the lag time calculation unit.
  • the lag time calculation unit 43 outputs the pulse wave lag time based on the autocorrelation coefficient of the window processed pulse wave output by the autocorrelation calculation unit 42.
  • the pulse wave lag time is the time from the self-correlation coefficient peak of itself to the adjacent autocorrelation coefficient peak.
  • FIG. 16 shows an example of the signal processing algorithm of the pulse wave lag time calculation unit 40.
  • the processing window pulse wave input to the pulse wave lag time calculation unit 40 is a highly reliable pulse wave from which unnecessary components have been removed by the pulse wave signal acquisition unit 10.
  • the pulse wave lag time calculation unit 40 executes steps S301 to S303 in order to calculate an accurate pulse wave lag time using the extracted processing window pulse wave.
  • FIG. 17 shows an example of a method for calculating the pulse wave lag time.
  • FIG. 17A shows the pulse wave trace intensity.
  • FIG. 17B shows the pulse wave tracing speed.
  • FIG. 17C shows the time change of the autocorrelation coefficient.
  • the horizontal axis represents the number of samples when the sampling rate is 30 Hz.
  • step S301 the bias fluctuation removing unit 41 performs a first-order differentiation process on the processing window pulse wave.
  • a windowed pulse wave from which the bias fluctuation is removed is obtained.
  • the pulse wave trace intensity graph shown in FIG. 17A is first-order differentiated to become the pulse wave trace speed graph shown in FIG. 17B.
  • the bias fluctuation removing unit 41 may remove the bias fluctuation by subtracting the bias fluctuation approximate component generated from the processing window pulse wave.
  • a curve approximating the bias fluctuation component having a frequency lower than the pulse period may be used.
  • the autocorrelation calculation unit 42 calculates the autocorrelation coefficient of the window processing pulse wave.
  • FIG. 17C is an example in which the autocorrelation coefficient of the pulse wave tracing speed shown in FIG.
  • an autocorrelation function used in a general signal processing technique may be used.
  • the autocorrelation calculation unit 42 can calculate an autocorrelation coefficient peak adjacent to its own autocorrelation coefficient peak by calculating the autocorrelation coefficient.
  • the lag time calculation unit 43 calculates a pulse wave lag time by calculating a time difference between the self-correlation peak of itself and the adjacent autocorrelation peak.
  • the resolution of the calculated pulse wave lag time is determined by the sampling frequency of the windowed pulse wave. Therefore, the resolution of the pulse wave lag time may be increased by up-sampling the processing window pulse wave or the window processing pulse wave. For example, spline interpolation is used for upsampling.
  • FIG. 18 shows an example of continuous pulse wave lag time fluctuation.
  • the vertical axis represents the pulse wave lag time (1/30 second), and the horizontal axis represents the time (second).
  • the subject in this example changes the respiratory cycle in three stages of 3 bpm, 6 bpm and 12 bpm in addition to the normal state and the breath holding state.
  • the continuous pulse wave lag time fluctuation is linked to the inspiration and expiration of the living body 1.
  • the continuous pulse wave lag time fluctuation has a relationship with the respiratory cycle that is upside down from the pulse rate fluctuation shown in FIG. Specifically, the pulse wave lag time decreases when the living body 1 inhales, and the pulse wave lag time increases when the living body 1 exhales. Therefore, the respiratory state of the living body 1 can be estimated in real time by observing the increase and decrease of the pulse wave lag time.
  • FIG. 19 shows an example of a respiratory state estimation method.
  • the vertical axis represents pulse wave lag time, and the horizontal axis represents time.
  • the respiratory state estimation unit 30 of this example estimates the respiratory state from the measurement results of three consecutive pulse wave lag times.
  • the respiratory state estimation unit 30 realizes a smooth respiratory state estimation from a continuous pulse wave lag time with high resolution.
  • Times T C , T C-1 , and T C-2 indicate measurement times of the pulse wave lag time, respectively. It is assumed that the current time is time T C , the past time is time T C-1 , and the past time is T C-2 . Further, the pulse wave lag times at times T C , T C-1 , and T C-2 are PL c , PL (c-1), and PL (c-2) , respectively.
  • the period from time T C-2 to time T C is preferably smaller than the respiratory cycle of a living body 1.
  • the respiratory state estimation unit 30 estimates that the living body 1 is in the expired state. For example, if PL C -PL (C-1) ⁇ 0 and PL (C-1) -PL (C-2) ⁇ 0 and PL C -PL (C-2) ⁇ Tr, the expiration state It is estimated that.
  • Tr indicates an expiration estimation threshold value. That is, when the pulse wave lag time does not always decrease from time T C-2 to time T C and the pulse wave lag time increases more than the expiration estimation threshold Tr, it is estimated that the patient is in the expiration state. To do.
  • the respiratory state estimation unit 30 estimates that the living body 1 is in an inhalation state. For example, if PL C -PL (C-1) ⁇ 0 and PL (C-1) -PL (C-2) ⁇ 0 and PL C -PL (C-2) ⁇ -Tr, Presumed to be in a state.
  • -Tr is used as the inhalation estimation threshold.
  • a value different from the intake estimation threshold may be used as the intake estimation threshold.
  • the respiratory state estimation unit 30 estimates that the living body 1 is in the instantaneous apnea state. Further, the respiratory state estimation unit 30 may estimate that the instantaneous apnea state is present when the amount of change in the pulse wave lag time is not less than or equal to the inspiration estimation threshold and not more than the positive expiration estimation threshold. And when the continuous time of an instantaneous apnea state becomes more than the apnea estimation threshold Ta, the respiratory state estimation part 30 estimates that the biological body 1 is an apnea state.
  • the apnea estimation threshold Ta may be 5 seconds.
  • the respiratory state estimation device 100 can estimate the respiratory state of the living body 1 in real time by using the pulse wave lag time. Moreover, the respiratory state estimation apparatus 100 may improve the estimation accuracy of the respiratory state by using the estimation of the respiratory state based on the pulse rate and the estimation of the respiratory state based on the pulse wave lag time.
  • FIG. 20 shows the respiratory condition estimation apparatus 100 according to the first embodiment.
  • the respiratory state estimation device 100 of this example is mounted on the smartphone 4.
  • the smartphone 4 includes a camera 5 and a display 6.
  • the smartphone 4 is an example of a mobile device, and may be equipped with a respiratory state estimation device 100 such as a mobile phone or a touch pad.
  • the camera 5 optically acquires the image of the subject 2.
  • the camera 5 is an example of the video acquisition unit 11.
  • the camera 5 of this example acquires an image including a single part of the subject 2.
  • the single part of the subject 2 in this example is the nose 3.
  • the camera 5 may detect the movement of a single part in the subject 2 and follow the part to take an image.
  • the camera 5 controls the pan, tilt, zoom, etc. of the camera 5 when the single part of the subject 2 is moving outside the imaging region of the camera, and the single part is imaged by the camera 5.
  • the display 6 displays the respiratory state of the subject 2 estimated by the respiratory state estimation device 100.
  • the display 6 may be provided outside the smartphone 4.
  • the subject 2 can know the breathing state displayed in real time on the display 6 with a live feeling.
  • the respiratory state estimation device 100 of the present example uses an image of the nose 3 of the subject 2, an image of the fingertip of the subject 2 may be used.
  • the respiratory state estimation device 100 acquires an image of the fingertip using an optical fingerprint sensor provided on the back surface of the smartphone 4.
  • part of the test subject 2 is not restricted to the nose 3 and a fingertip. Since the capillaries are concentrated on the nose 3 and the fingertip, the hemoglobin concentration is high. For this reason, when the video of the nose 3 and the video of the fingertip are used, the extraction sensitivity of the pulse wave information and the calculation accuracy of the pulse information are increased. Further, the pulse wave information may be extracted using a single photoelectric volumetric pulse wave meter attached to the fingertip.
  • the respiratory state estimation device 100 of this example optically extracts pulse wave information and outputs the respiratory state, the burden on the subject 2 is small. Furthermore, since the respiratory state estimation device 100 of this example is configured to extract pulse wave information from an image, the respiratory state can be estimated without contact with the subject 2 and without restraint. The respiratory state estimation device 100 can simultaneously estimate the respiratory state of a plurality of persons if there are a plurality of persons in the video of the subject 2.
  • FIG. 21 shows a respiratory condition estimation device 100 according to the second embodiment.
  • the respiratory state estimation device 100 of this example is mounted in the wristband type PPG sensor 7. Further, a part of the respiratory state estimation device 100 may be mounted in the smartphone 4 that can communicate with the wristband type PPG sensor 7.
  • the wristband type PPG sensor 7 is an example of a wearable device using a photoelectric volume pulse wave sensor.
  • the wristband type PPG sensor 7 includes a light emitting diode 8 and a photodiode 9.
  • the light emitting diode 8 irradiates the wrist part of the subject 2 with light.
  • the photodiode 9 detects the light after being absorbed by the hemoglobin of the subject 2. Thereby, the wristband type PPG sensor 7 optically acquires a pulse wave signal including information related to a change in blood flow of the subject 2.
  • the wristband type PPG sensor 7 wirelessly transmits the video of the subject 2 or the estimated respiratory information to the smartphone 4.
  • a wireless network such as BlueTooth (registered trademark) and Wi-Fi (registered trademark) is used.
  • the smartphone 4 displays the respiratory information on the display 6.
  • the video of the subject 2 is transmitted from the wristband type PPG sensor 7, the smartphone 4 may estimate the respiration information based on the video.
  • the wristband type PPG sensor 7 includes the display 6 and the respiratory state estimation device 100, the respiratory information may be displayed on the display 6 included in the wristband type PPG sensor 7.
  • FIG. 22 shows an example of fixed resampling using illumination.
  • ⁇ indicates a fixed sampling rate
  • X indicates a video sampling rate.
  • the fixed sampling rate refers to an ideal frequency at which the respiratory condition estimation device 100 acquires video.
  • the respiratory state estimation device 100 acquires video at a fixed sampling rate of 30 Hz.
  • the video sampling rate refers to the actual sampling rate acquired by the respiratory condition estimation device 100.
  • the respiratory state estimation device 100 is mounted on a mobile terminal such as the smartphone 4, fluctuations occur in the video sampling rate. For this reason, a deviation occurs between the video sampling rate and the fixed sampling rate. Further, when fluctuation occurs in the video sampling rate, the accurate time of the acquired pulse rate is not known, and the estimation accuracy of the respiratory information is deteriorated.
  • the light emitted by the illumination driven by the AC power supply is not perceived by human eyes but operates accurately at a constant luminance frequency.
  • the video acquired by the respiratory condition estimation device 100 includes information necessary for calculating the phase of illumination.
  • the phase of illumination can be calculated from the intensity of reflected light from illumination in a predetermined area.
  • the predetermined area may be a partial area of the object included in the video. It is preferable that the predetermined area does not move.
  • the respiratory state estimation device 100 may directly shoot the illumination light, not the reflected light of the illumination. For example, the respiratory condition estimation device 100 calculates in advance the maximum intensity and the minimum intensity of reflected light in a predetermined region.
  • the respiratory condition estimation apparatus 100 can calculate the phase of illumination from an image by measuring the intensity of reflected light in a predetermined region. That is, when the video sampling rate is shifted from the target phase, the phase of the video can be corrected from the phase of the illumination.
  • the respiratory state estimation device 100 can improve the estimation accuracy of the respiratory information by correcting the fluctuation of the video sampling rate with the luminance frequency of the illumination. In other words, the respiratory condition estimation device 100 can use the illumination reflected in the image as the reference clock.
  • the respiratory state estimation device 100 can optically estimate the respiratory state of the living body 1 with high accuracy. Since the respiratory state estimation device 100 optically calculates the pulse rate from the part of the living body 1, the respiratory state can be estimated without imposing a burden on the living body 1. On the other hand, when the pulse rate is optically calculated from the part of the living body 1, low-frequency noise is likely to be included due to the movement of the living body 1 or the like. However, since the respiratory state estimation device 100 uses a region having a higher frequency than the respiratory state estimation method using baseline fluctuations, it is easy to remove noise.
  • the respiratory state estimation device 100 calculates the pulse rate for each shift amount of the overlap time of the window signal, it can detect the pulse rate at an arbitrary time. That is, the respiratory state can be estimated even in a state where it is not known whether the next pulse will come.
  • the respiratory state estimation device 100 can estimate the respiratory state in real time without depending on the pulse rate. That is, the respiratory condition estimation device 100 can realize smooth detection of respiration.
  • the real-time measurement of the respiration state can be applied to an application that guides the respiration method of the living body 1 in real time.
  • FIG. 23 shows an example of a hardware configuration of a computer 1900 according to the present embodiment.
  • a computer 1900 according to this embodiment is connected to a CPU peripheral unit having a CPU 2000, a RAM 2020, a graphic controller 2075, and a display device 2080 that are connected to each other by a host controller 2082, and to the host controller 2082 by an input / output controller 2084.
  • Input / output unit having communication interface 2030, hard disk drive 2040, and CD-ROM drive 2060, and legacy input / output unit having ROM 2010, flexible disk drive 2050, and input / output chip 2070 connected to input / output controller 2084 With.
  • the host controller 2082 connects the RAM 2020 to the CPU 2000 and the graphic controller 2075 that access the RAM 2020 at a high transfer rate.
  • the CPU 2000 operates based on programs stored in the ROM 2010 and the RAM 2020 and controls each unit.
  • the graphic controller 2075 acquires image data generated by the CPU 2000 or the like on a frame buffer provided in the RAM 2020 and displays it on the display device 2080.
  • the graphic controller 2075 may include a frame buffer for storing image data generated by the CPU 2000 or the like.
  • the input / output controller 2084 connects the host controller 2082 to the communication interface 2030, the hard disk drive 2040, and the CD-ROM drive 2060, which are relatively high-speed input / output devices.
  • the communication interface 2030 communicates with other devices via a network.
  • the hard disk drive 2040 stores programs and data used by the CPU 2000 in the computer 1900.
  • the CD-ROM drive 2060 reads a program or data from the CD-ROM 2095 and provides it to the hard disk drive 2040 via the RAM 2020.
  • the ROM 2010, the flexible disk drive 2050, and the relatively low-speed input / output device of the input / output chip 2070 are connected to the input / output controller 2084.
  • the ROM 2010 stores a boot program that the computer 1900 executes at startup and / or a program that depends on the hardware of the computer 1900.
  • the flexible disk drive 2050 reads a program or data from the flexible disk 2090 and provides it to the hard disk drive 2040 via the RAM 2020.
  • the input / output chip 2070 connects the flexible disk drive 2050 to the input / output controller 2084 and inputs / outputs various input / output devices via, for example, a parallel port, a serial port, a keyboard port, a mouse port, and the like. Connect to controller 2084.
  • the program provided to the hard disk drive 2040 via the RAM 2020 is stored in a recording medium such as the flexible disk 2090, the CD-ROM 2095, or an IC card and provided by the user.
  • the program is read from the recording medium, installed in the hard disk drive 2040 in the computer 1900 via the RAM 2020, and executed by the CPU 2000.
  • a program installed in the computer 1900 and causing the computer 1900 to function as a respiratory state estimation device includes a pulse wave signal acquisition module, a pulse rate calculation module, and a respiratory state estimation module. These programs or modules work on the CPU 2000 or the like to cause the computer 1900 to function as a respiratory state estimation device.
  • the information processing described in these programs is read by the computer 1900, whereby the pulse wave signal acquisition unit 10 and the pulse rate calculation unit, which are specific means in which the software and the various hardware resources described above cooperate with each other. 20 and the respiratory state estimation unit 30. And the specific respiratory state estimation apparatus 100 according to the intended purpose is constructed
  • the program installed in the computer 1900 and causing the computer 1900 to function as a pulse wave measuring device includes a pulse wave signal acquisition module, a pulse rate calculation module, and a respiratory state estimation module. These programs or modules work on the CPU 2000 or the like to cause the computer 1900 to function as a pulse wave measurement device.
  • the information processing described in these programs is read into the computer 1900, whereby the pulse wave signal acquisition unit 10, pulse wave, which is a specific means in which the software and the various hardware resources described above cooperate. It functions as the lag time calculation unit 40 and the respiratory state estimation unit 30. And the specific respiratory state estimation apparatus 100 according to the intended purpose is constructed
  • the program installed in the computer 1900 and causing the computer 1900 to function as a pulse wave measurement device includes a pulse wave signal acquisition module, a pulse wave lag time calculation module, and a respiratory state estimation module. These programs or modules work on the CPU 2000 or the like to cause the computer 1900 to function as a pulse wave measurement device.
  • the CPU 2000 executes a communication program loaded on the RAM 2020 and executes a communication interface based on the processing content described in the communication program.
  • a communication process is instructed to 2030.
  • the communication interface 2030 reads transmission data stored in a transmission buffer area or the like provided on a storage device such as the RAM 2020, the hard disk drive 2040, the flexible disk 2090, or the CD-ROM 2095, and sends it to the network.
  • the reception data transmitted or received from the network is written into a reception buffer area or the like provided on the storage device.
  • the communication interface 2030 may transfer transmission / reception data to / from the storage device by the DMA (Direct Memory Access) method. Instead, the CPU 2000 transfers the storage device or the communication interface 2030 as the transfer source.
  • the transmission / reception data may be transferred by reading the data from the data and writing the data to the communication interface 2030 or the storage device of the transfer destination.
  • the CPU 2000 is all or necessary from among files or databases stored in an external storage device such as a hard disk drive 2040, a CD-ROM drive 2060 (CD-ROM 2095), and a flexible disk drive 2050 (flexible disk 2090).
  • This portion is read into the RAM 2020 by DMA transfer or the like, and various processes are performed on the data on the RAM 2020. Then, CPU 2000 writes the processed data back to the external storage device by DMA transfer or the like.
  • the RAM 2020 and the external storage device are collectively referred to as a memory, a storage unit, or a storage device.
  • the CPU 2000 can also store a part of the RAM 2020 in the cache memory and perform reading and writing on the cache memory. Even in such a form, the cache memory bears a part of the function of the RAM 2020. Therefore, in the present embodiment, the cache memory is also included in the RAM 2020, the memory, and / or the storage device unless otherwise indicated. To do.
  • the CPU 2000 performs various operations, such as various operations, information processing, condition determination, information search / replacement, etc., described in the present embodiment, specified for the data read from the RAM 2020 by the instruction sequence of the program. Is written back to the RAM 2020. For example, when performing the condition determination, the CPU 2000 determines whether the various variables shown in the present embodiment satisfy the conditions such as large, small, above, below, equal, etc., compared to other variables or constants. When the condition is satisfied (or not satisfied), the program branches to a different instruction sequence or calls a subroutine.
  • the CPU 2000 can search for information stored in a file or database in the storage device. For example, in the case where a plurality of entries in which the attribute value of the second attribute is associated with the attribute value of the first attribute are stored in the storage device, the CPU 2000 displays the plurality of entries stored in the storage device. The entry that matches the condition in which the attribute value of the first attribute is specified is retrieved, and the attribute value of the second attribute that is stored in the entry is read, thereby associating with the first attribute that satisfies the predetermined condition The attribute value of the specified second attribute can be obtained.
  • the programs or modules shown above may be stored in an external recording medium.
  • an optical recording medium such as DVD or CD
  • a magneto-optical recording medium such as MO
  • a tape medium such as an IC card, and the like
  • a storage device such as a hard disk or a RAM provided in a server system connected to a dedicated communication network or the Internet may be used as a recording medium, and the program may be provided to the computer 1900 via the network.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Hematology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

　生体の部位から、脈波信号を取得する脈波信号取得部と、脈波信号に基づいて、生体の脈拍数を算出する脈拍数算出部と、脈拍数に基づいて、生体の呼吸状態を推定する呼吸状態推定部とを備える呼吸状態推定装置を提供する。また、生体の部位から、脈波信号を光学的に取得すること、脈波信号に基づいて、生体の脈拍数を算出すること、脈拍数から、生体の呼吸状態を推定することを備える呼吸状態推定方法を提供する。

Description

呼吸状態推定装置、携帯機器、装着型デバイス、プログラム、媒体、呼吸状態推定方法及び呼吸状態推定器
　本発明は、呼吸状態推定装置、携帯機器、装着型デバイス、プログラム、媒体、呼吸状態推定方法及び呼吸状態推定器に関する。
　従来の呼吸状態推定装置には、心電図を用いる装置と脈波を用いる装置があった。心電図を用いる場合、心電図から心拍間隔を測定し、その心拍間隔の揺らぎである心拍変動から呼吸状態を推定していた。また、脈波を用いる場合、脈波の包絡線解析による基線変動を抽出し、その基線変動パターンを測定することで呼吸パターンを測定していた（例えば、特許文献１参照）。
　特許文献１　特許第４５８１４８０号広報
　しかしながら、心電図を用いる場合、装置が大掛かりであり、被験者に負担がかかるという問題があった。また、脈波を用いる場合、基線変動から短時間で呼吸状態を推定することができない。
　本発明の第１の態様においては、生体の部位から、脈波信号を取得する脈波信号取得部と、脈波信号に基づいて、生体の脈拍数を算出する脈拍数算出部と、脈拍数に基づいて、生体の呼吸状態を推定する呼吸状態推定部とを備える呼吸状態推定装置を提供する。
　本発明の第２の態様においては、第１の態様に記載の呼吸状態推定装置と、呼吸状態を示す情報を表示するディスプレイとを備える携帯機器を提供する。
　本発明の第３の態様においては、第１の態様に記載の呼吸状態推定装置と、呼吸状態を示す情報を表示するディスプレイとを備える装着型デバイスを提供する。
　本発明の第４の態様においては、コンピュータを、第１の態様に記載の呼吸状態推定装置として機能させるプログラムを提供する。
　本発明の第５の態様においては、第４の態様に記載のプログラムが記録されたコンピュータが読み取り可能な媒体を提供する。
　本発明の第６の態様においては、生体の部位から、脈波信号を光学的に取得すること、脈波信号に基づいて、生体の脈拍数を算出すること、脈拍数から、生体の呼吸状態を推定することを備える呼吸状態推定方法を提供する。
　本発明の第７の態様においては、生体の皮膚の映像を取得する映像取得部と、映像に基づいて、生体の呼吸状態を推定する呼吸状態推定部とを備える呼吸状態推定器を提供する。
　本発明の第８の態様においては、生体の部位から、脈波信号を光学的に取得する脈波信号取得部と、脈波信号に基づいて、生体の脈波ラグタイムを算出する脈波ラグタイム算出部と、脈波ラグタイムに基づいて、生体の呼吸状態を推定する呼吸状態推定部とを備える呼吸状態推定装置を提供する。
　なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
呼吸状態推定装置１００の構成の概要を示す。 脈波信号取得部１０の構成の概要を示す。 脈波信号取得部１０の信号処理のアルゴリズムの一例を示す。 ウィンドウ信号の切出し方法の一例を示す。 脈拍数算出部２０の構成の一例を示す。 脈拍数算出部２０の信号処理のアルゴリズムの一例を示す。 ハニング窓関数の一例を示す。 カイザー・ベッセル派生窓関数の一例を示す。 比較例に係る呼吸状態推定方法の一例を示す。 呼吸周期と脈拍数との相関を示す。 呼吸状態の推定方法の一例を示す。 呼吸状態の推定方法の一例を示す。 脈拍数変動と脈拍数変動速度との関係を示す。 呼吸状態推定装置１００の構成の一例を示す。 脈波ラグタイム算出部４０の構成の一例を示す。 脈波ラグタイム算出部４０の信号処理のアルゴリズムの一例を示す。 脈波ラグタイムの算出方法の一例を示す。 連続脈波ラグタイム変動の一例を示す。 呼吸状態の推定方法の一例を示す。 実施形態１に係る呼吸状態推定装置１００を示す。 実施形態２に係る呼吸状態推定装置１００を示す。 照明を用いた固定リサンプリングの一例を示す。 コンピュータ１９００のハードウェア構成の一例を示す。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　（実施例１）
　図１は、呼吸状態推定装置１００の構成の概要を示す。呼吸状態推定装置１００は、脈波信号取得部１０、脈拍数算出部２０及び呼吸状態推定部３０を備える。呼吸状態推定装置１００は、生体１の部位から取得した脈波信号に基づいて呼吸状態を推定する。例えば、呼吸状態とは、吸気状態、呼気状態、無呼吸状態及び瞬時無呼吸状態を指す。
　脈波信号取得部１０は、生体１の部位の映像から、脈波信号を取得する。脈波信号は、脈波情報を含む映像のＲＧＢ信号もしくは、ＹＣｂＣｒ信号である。脈波情報とは、生体１の部位における血管の脈動を示す時間波形に関する情報である。脈波情報は、脈波がピークを示すタイミングに関する情報を含む。
　例えば、脈波信号取得部１０は、生体１の部位の映像から、脈波信号を光学的に取得する。脈波信号を光学的に取得する方法には、カメラ映像を用いる方法と、光電容積脈波（ＰＰＧ：Ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈｙ）を用いる方法がある。カメラ映像を用いる方法では、生体１の部位を撮影した映像に含まれる血流情報に基づいて呼吸状態を推定する。また、映像の濃淡変化に基づいて、呼吸状態を推定してもよい。ＰＰＧを用いる方法では、ヘモグロビンが光を吸収する性質により取得できる血流量変化に基づいて呼吸状態を推定する。脈波信号取得部１０は、取得した脈波信号を脈拍数算出部２０に出力する。
　脈拍数算出部２０は、入力された脈波信号に基づいて生体１の脈拍数を算出する。生体１の脈拍数は、所定の信号処理アルゴリズムを用いることにより算出される。脈拍数算出部２０は、予め定められた間隔で周期的に脈拍数を算出してよい。脈拍数算出部２０は、算出した脈拍数を呼吸状態推定部３０に出力する。
　呼吸状態推定部３０は、入力された脈拍数に基づいて、生体１の呼吸状態を推定する。例えば、呼吸状態推定部３０は、算出した脈拍数と、その次に算出した脈拍数との比較に基づいて、生体１の呼吸状態を推定する。このように、呼吸状態推定部３０は、隣接する脈拍数を比較して生体１の呼吸状態を推定するので、リアルタイムに生体１の呼吸状態を推定できる。また、呼吸状態推定部３０は、算出した脈拍数と、その次の次に算出した脈拍数との比較に基づいて、生体１の呼吸状態を推定してよい。この場合、呼吸状態推定部３０は、基線信号から呼吸状態を推定する場合と比較して、時定数が大きな包絡線検波により基線信号を抽出する処理が不要なため、短時間で呼吸状態を推定することができる。また、呼吸状態推定部３０は、脈拍数の変化から、呼吸状態を推定してよい。例えば、呼吸状態推定部３０は、脈拍数の変化量が予め定められた正の吸気推定閾値以上である場合を吸気状態、脈拍数の変化量が予め定められた負の呼気推定閾値以下である場合を呼気状態、脈拍数の変化量が吸気推定閾値以上でなく呼気推定閾値以下でない場合を瞬時無呼吸状態と推定してよい。このように、呼吸状態推定部３０は、脈拍数の変化量を用いることにより、呼吸状態の推定を精度良く行うことができる。つまり、呼吸状態推定部３０は、吸気状態、呼気状態、瞬時無呼吸状態の識別を精度良く行うことができる。さらに、呼吸状態推定部３０は、脈拍数の変化量を用いるだけであり、短時間で呼吸状態を推定できる。
　図２は、脈波信号取得部１０の構成の概要を示す。脈波信号取得部１０は、映像取得部１１、トレース信号生成部１２、ウィンドウ切出し部１３及び信号補正部１４を備える。
　映像取得部１１は、生体１の部位の映像を取得する。例えば、映像取得部１１は、カメラを有し、生体１の部位の映像を撮影する。生体１の映像は静止画シーケンスであっても、動画であってもよい。また、映像取得部１１は、生体１に光を照射し、その反射光を取得してもよい。この場合、映像取得部１１は、発光ダイオード及びフォトダイオードを有する。
　トレース信号生成部１２は、映像取得部１１が取得した映像に基づいて、生体１の測定対象領域を検出する。トレース信号生成部１２は、検出した領域における脈波信号をトレースする。トレース信号生成部１２は、生成したトレース信号をウィンドウ切出し部１３に出力する。
　ウィンドウ切出し部１３は、トレース信号を予め定められたウィンドウ・サイズで切出す。切出されたトレース信号を本明細書では、ウィンドウ信号と称する。また、ウィンドウ・サイズとは、ウィンドウ信号の時間幅を指す。ウィンドウ切出し部１３は、予め定められた間隔でウィンドウ信号を切り出す。ウィンドウ切出し部１３は、切出したウィンドウ信号を信号補正部１４に出力する。
　信号補正部１４は、ウィンドウ信号を補正する。ウィンドウ信号の補正は、信号の補間及び不要な周波数の除去を含む。例えば、信号補正部１４は、時間を示す基準信号に基づいて、予め定められたサンプリングレートに固定した処理ウィンドウ脈波を生成する。処理ウィンドウ脈波は、切出されたウィンドウ信号ごとに生成される。信号補正部１４は、補正した信号を処理ウィンドウ脈波として脈拍数算出部２０に出力する。
　図３は、脈波信号取得部１０の信号処理のアルゴリズムの一例を示す。本例のアルゴリズムにより、脈波信号取得部１０は、カメラ映像から処理ウィンドウ脈波を抽出する。処理ウィンドウ脈波の安定的な抽出は、呼吸状態を正確に推定するために必要な基盤技術である。
　ステップＳ１００において、映像取得部１１は、生体１の部位の映像を取得する。生体１の部位の映像は、１秒間におよそ３０回（３０ｆｐｓ）のフレームレートで撮影される。例えば、映像取得部１１は、生体１の部位の映像から皮膚血流を観測する。生体１の血液は、ヘモグロビン濃度に応じて、光のＲＧＢ成分のうちＧ成分（緑色成分）の吸光特性が変化する。脈波は、血流量の変動に対応するので、生体１を透過または反射した光のＧ成分の変動の周期は、生体１の脈波の周期に対応する。即ち、生体１の部位の映像には、脈波に応じたＧ成分の変動波形が含まれる。[0]その後、トレース信号生成部１２は、取得した測定対象者映像から、ＲＧＢ信号を抽出する。本例の測定対象者映像は、６４０×４８０の画素を有する。
　ステップＳ１０１において、トレース信号生成部１２は、抽出したＲＧＢ信号をＹＣｂＣｒ信号に変換する。ここで、Ｙは輝度信号であり、Ｃｂ、Ｃｒは色差信号である。
　ステップＳ１０２において、トレース信号生成部１２は、輝度信号Ｙから顔領域及び対象領域ＲＯＩを検出する。対象領域ＲＯＩは、輝度信号Ｙに基づいて特定される。対象領域ＲＯＩは、脈波情報を含む色差信号の変化が検出できる程度に血管が集中している領域である。例えば、トレース信号生成部１２は、生体１の部位として、毛細血管の密集する鼻領域を検出することにより、高いＳ／Ｎ比を有する処理ウィンドウ脈波を検出できる。
　ステップＳ１０３において、トレース信号生成部１２は、ステップＳ１０２で検出した対象領域ＲＯＩの位置情報及びサイズ情報に基づいて、対象領域ＲＯＩを抽出する。また、トレース信号生成部１２は、抽出された対象領域ＲＯＩにおけるＣｂ＋Ｃｒ信号を取得する。本例の対象領域ＲＯＩは、５０×５０画素の領域である。
　ステップＳ１０４において、トレース信号生成部１２は、取得したＣｂ＋Ｃｒ信号に基づいて、対象領域ＲＯＩをガウシアンフィルタリングする。対象領域ＲＯＩの周辺には、生体１の動きに伴う対象領域ＲＯＩ以外の領域の信号が混入する。ガウシアンフィルタリングにより、対象領域ＲＯＩの中心部分の強度を大きくして、対象領域ＲＯＩの周辺部を抑え込むことができる。つまり、信頼性の低い対象領域ＲＯＩの周辺の信号は、ガウシアンフィルタリングによりフィルタリングされる。
　ステップＳ１０５において、フィルタリングされた信号に基づいて、任意の時刻の値をプロットしたＣｂ＋Ｃｒトレース信号を作成する。Ｃｂ＋Ｃｒトレース信号を採用することにより、演算量を低減して、脈波波形を安定的に抽出できる。例えば、Ｃｂ＋Ｃｒトレース信号は、各画素のＣｂ＋Ｃｒ信号を対象領域ＲＯＩ全域において合計した値である。あるいはＣｂ＋Ｃｒトレース信号は、各画素のＣｂ＋Ｃｒ信号の平均である。即ち、Ｃｂ＋Ｃｒトレース信号は、対象領域ＲＯＩにおいて一つの値が得られるように設定される。
　ステップＳ１０６において、ウィンドウ切出し部１３は、Ｃｂ＋Ｃｒトレース信号からウィンドウ信号を切り出す。ウィンドウ信号は、予め定められたウィンドウ・サイズ及び周期で切出される。
　ステップＳ１０７において、信号補正部１４は、カメラ・フレームのフレームレート揺らぎをスプライン補間により固定サンプリングレートに補正する。フレームレートの揺らぎを補正するためには、映像に含まれる基準信号が用いられる。基準信号とは、映像取得部１１が生体１の映像を取得した正確な時刻を示す信号である。例えば、基準信号は、映像フレームに含まれるタイムスタンプである。
　ステップＳ１０８において、バンドパスフィルタＢＰＦにより脈波成分以外の波長領域をカットする。Ｃｂ+Ｃｒトレース信号には、外部環境もしくは生体の運動に対応する低い周波数の信号が含まれる場合がある。そのため、バンドパスフィルタＢＰＦは、一般的な生体１の脈拍数ＨＲに対応する０．７５Ｈｚ～４Ｈｚ（脈拍数４５～２４０）以外の波長領域をカットする。これにより、生体１の脈拍以外のノイズをカットできる。
　図４は、ウィンドウ信号の切出し方法の一例を示す。ウィンドウ切出し部１３は、Ｃｂ＋Ｃｒトレース信号から、予め定められた時間間隔でオーバーラップするように複数のウィンドウ信号を切り出す。第１のウィンドウ信号は、直近のウィンドウ信号である。第１のウィンドウ信号と隣接するウィンドウ信号をそれぞれ第２～第４のウィンドウ信号とする。本明細書において、隣接するウィンドウ信号同士のずれを、オーバーラップ・シフト時間と称する。
　オーバーラップ・シフト時間は、脈拍数算出部２０が脈拍数を算出する周期に等しい。即ち、脈拍数算出部２０は、オーバーラップ時間のシフト量ごとに脈拍数を算出する。本例のオーバーラップ・シフト時間は互いに等しい時間である。例えば、呼吸周期が１５秒の場合、オーバーラップ・シフト時間を１秒とする。オーバーラップ・シフト時間は、呼吸の半周期よりも小さいことが好ましい。
　ウィンドウ・サイズは、任意の大きさに設定されてよい。本例のウィンドウ・サイズは、およそ２００フレームである。但し、ウィンドウ・サイズは生体１の脈拍周期以上であることが好ましい。脈拍周期とは、脈拍の１拍にかかる時間である。
　図５は、脈拍数算出部２０の構成の一例を示す。脈拍数算出部２０は、窓関数掛け算部２１、統合出力部２２及び離散周波数変換部２３を備える。
　窓関数掛け算部２１は、入力された処理ウィンドウ脈波に予め定められた窓関数を掛ける。窓関数は、ハニング窓、カイザー・ベッセル派生窓、ガウス窓、ハミング窓、テューキー窓、ブラックマン窓等の信号処理に一般的に用いられる関数であってよい。窓関数掛け算部２１は、窓関数を掛けて処理した処理ウィンドウ脈波をウィンドウ処理脈波として統合出力部２２に出力する。
　統合出力部２２は、入力されたウィンドウ処理脈波にサンプルデータを統合した統合ウィンドウ信号を生成する。サンプルデータは、窓関数の掛けられたウィンドウ信号の前、後、または前後に統合されてよい。例えば、統合出力部２２がウィンドウ処理脈波のゼロ拡張を行う場合、サンプルデータは零である。ウィンドウ処理脈波のゼロ拡張を行うことにより、ウィンドウ処理脈波の解像度が上がる。統合出力部２２は、生成した統合ウィンドウ信号を離散周波数変換部２３に出力する。
　離散周波数変換部２３は、統合出力部２２が出力した統合ウィンドウ信号を離散周波数変換して、脈波特徴量を算出する。脈波特徴量は、統合ウィンドウ信号に対して、高速フーリエ変換（ＦＦＴ：Ｆａｓｔ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍ）を実行することにより得られるＦＦＴスペクトラムである。離散周波数変換部２３は、高解像度の統合ウィンドウ信号から得られたＦＦＴスペクトラムにより、高分解能な脈拍数を算出できる。離散周波数変換部２３は、算出した脈拍数を呼吸状態推定部３０に出力する。
　図６は、脈拍数算出部２０の信号処理のアルゴリズムの一例を示す。脈拍数算出部２０に入力された処理ウィンドウ脈波は、脈波信号取得部１０により不要な成分が除去された信頼性の高い脈波である。脈拍数算出部２０は、切出された処理ウィンドウ脈波を用いて、正確な脈拍数を算出するためにステップＳ２０１～２０３の処理を施す。
　ステップＳ２０１において、窓関数掛け算部２１は、処理ウィンドウ脈波に、ハニング窓関数又はカイザー・ベッセル派生窓関数を用いてウィンドウ処理を実行する。これにより、時間的な重み付けが可能になる。また、処理ウィンドウ脈波の両端のパルス強度が等しくなるように窓関数を選択してよい。
　ステップＳ２０２において、統合出力部２２は、ウィンドウ処理脈波の後ろにサンプルデータを統合して統合ウィンドウ信号を生成する。例えば、サンプルデータは、窓関数が掛けられた後の処理ウィンドウ脈波の両端のパルス強度と等しいデータである。この場合、本例のサンプルデータは零である。また、統合ウィンドウ信号のサイズは、２のべき乗サイズになるようにゼロ拡張される。ゼロ拡張することにより、サンプルデータの統合前と比較して分解能を上げることができる。
　ステップＳ２０３において、離散周波数変換部２３は、統合ウィンドウ信号にＦＦＴを実行し、ＦＦＴスペクトラムを算出する。ＦＦＴの周波数分解能Δｆは、サンプル数Ｎ及びサンプリングレートｆｓによって、Δｆ＝ｆｓ／Ｎで決まる。したがって、サンプル数Ｎが多いほど、分解能Δｆが改善する。
　例えば、ポイント数１２８のウィンドウ信号をゼロ拡張せずにそのままＦＦＴによる周波数分析をした場合、周波数分解能は０．２３Ｈｚである。脈拍数で表すと１４ｂｐｍであるため、それより小さい脈拍数の変動を検出することができない。一方、同じポイント数１２８のウィンドウ信号に対して、ゼロの信号を８９６個加え、サンプル数を１０２４にすると、周波数分解能は０．０２９Ｈｚになる。脈拍数で表すと１．７ｂｐｍである。ゼロ拡張後のサンプル数に制限はないが、２のべき乗であることが好ましく、２５６、５１２、１０２４、２０４８、４０９６がより好ましい。
　以上の通り、脈拍数算出部２０は、３０Ｈｚという低いサンプリングレートの処理ウィンドウ脈波から、統合ウィンドウ信号を算出する。そのため、脈波信号を光学的に取得する場合に、サンプリング周波数をアップ・サンプリングすることなく、高分解能の脈拍数変動を測定することができる。高分解能の脈拍数を用いることにより、呼吸状態の推定精度が向上する。
　図７は、ハニング窓関数を示す。ハニング窓関数はＦＦＴ用窓関数の一例である。ハニング窓関数は、フレームの両端が零となるような窓関数である。また、ハニング窓関数ｗ（ｎ）は下記の（数１）式により表される。
Figure JPOXMLDOC01-appb-M000001
 　ここで、ｎはサンプル要素を示し、Ｎはサンプル数を示す。
　ハニング窓関数は、ウィンドウ中心時間（フレーム数６４付近）に重みがある関数である。そのため、ウィンドウ中心時間における脈波を中心として、脈拍数を測定することとなる。例えば、３０Ｈｚのフレームレートにおいて、ウィンドウ・サイズを１２８サンプル数としてＦＦＴから脈拍数測定を行う場合、ハニング窓では約４秒前の脈波を中心にした脈拍数測定が行われる。即ち、脈拍数測定時間から、中心時間までの時間差によって、レスポンス・タイムが生じる場合がある。
　図８は、カイザー・ベッセル派生窓関数ＫＢＤ（Ｋａｉｓｅｒ－Ｂｅｓｓｅｌ－Ｄｅｒｉｖｅｄ　Ｗｉｎｄｏｗ）の一例を示す。ＫＢＤ窓関数は、ハニング窓関数と同様に、フレームの両端が零となるような窓関数である。
　ＫＢＤ窓関数ｄｋは、カイザー窓ｗｋの項で公式を用いて下記の（数２）式により表される。
Figure JPOXMLDOC01-appb-M000002
　（数２）式は、長さ２ｎの窓を定義している。ここで、ｄｋは、変形離散コサイン変換（ＭＤＣＴ：ｍｏｄｉｆｉｅｄ　ｄｉｓｃｒｅｔｅ　ｃｏｓｉｎｅ　ｔｒａｎｓｆｏｒｍ）に対する次のプリンセン・ブラッドレイ条件を満たす。即ち、ｄｋは、ｗｎ－ｋ＝ｗｋの場合に、ｄｋ ２+ｄｋ+ｎ ２＝１で表される。また、ＫＢＤ窓は、もう１つのＭＤＣＴ条件である対象性ｄｋ＝ｄ２ｎ－１－ｋも満たす。
　ＫＢＤ窓関数は、フレーム数が４０から９０付近における重み付けが大きい。一方、ハニング窓関数は、フレーム数が６４付近の所に集中して重み付けがある。よって、ＫＢＤ窓関数は、ハニング窓関数と比較して、より最新の抽出サンプルに近い脈波に対する重み付けが高い。そのため、ＫＢＤ窓は、より最新の抽出サンプルに近い脈波の値が反映しやすくなるので、呼吸状態推定のレスポンスを向上できる。
（比較例）
　図９は、比較例に係る呼吸状態の推定方法の一例を示す。図９（ａ）は、脈波の時間変化を示す。図９（ｂ）は、脈波の時間変化及び基線変動を示す。図９（ａ）は、図９（ｂ）の一部の脈波を拡大した波形を示す。図９において、周期ｔは脈波の周期を示し、周期Ｔは基線変動の周期を示す。比較例の呼吸状態推定方法では、基線変動の周期Ｔが呼吸周期に対応することを利用して、呼吸状態を推定している。
　例えば、脈波の周期ｔがおよそ１秒程度であるのに対して、基線変動の周期Ｔはおよそ１５秒程度である。また、比較例の呼吸状態推定方法では、基線変動のパターンに応じて呼吸状態を推定している。そのため、比較例の呼吸状態推定方法は、１５秒程度に１回しか呼吸状態を推定することができない。このように、比較例の方法では、呼吸状態をリアルタイムンに推定することができず、なめらかな呼吸状態の推定ができない。
　また、基線変動は、被験者の体の動きなどの外乱がない場合に呼吸に誘起されたものと推定される。また、基線変動の周期Ｔは、脈波の周期ｔよりも、生体１の画像を光学的に取得する場合に生じるノイズに近い周波数を有する。したがって、比較例の呼吸状態推定方法は、被験者の動きによる誤差及び映像の取得時に生じる誤差の影響が大きくなり、正確に呼吸状態を推定できない。
　図１０は、呼吸周期と脈拍数との関係を示す。本例の被験者は、通常状態、息止め状態に加えて、３ｂｐｍ、６ｂｐｍ及び１２ｂｐｍの３段階に呼吸周期を変化させる。
　呼吸状態推定部３０は、脈拍数算出部２０が出力した脈拍数から、高分解能な連続脈拍数変動を算出する。連続脈拍数変動は、脈拍数の周期的な測定に応じてプロットすることによりトレースされる。そして、呼吸状態推定部３０は、連続脈拍数変動から呼吸状態を推定する。
　通常状態は、生体１が普段通りに、吸気及び呼気を繰り返す状態である。生体１の吸気及び呼気は脈拍数の変動と連動する。具体的には、生体１が吸気すると脈拍数が上昇し、生体１が呼気すると脈拍数が低下する。よって、脈拍数の上昇及び低下を観測することにより、呼吸状態をリアルタイムに検出できる。
　息止め状態は、吸気及び呼気を行わない状態、又は、吸気及び呼気をほとんど行っていないに等しい状態である。つまり、息止め状態は、いわゆる無呼吸状態に対応する。息止め状態では、通常状態の区間と比較して、脈拍数の変動が小さい。
　呼吸周期３ｂｐｍとは、１分間に吸気及び呼気を３回ずつ繰り返すことを指す。本例では、吸気及び呼気がそれぞれ等しく、それぞれ１０秒間となる。同様に、呼吸周期６ｂｐｍとは、１分間に吸気及び呼気を６回ずつ繰り返すことを指す。呼吸周期６ｂｐｍでは、吸気及び呼気は、それぞれ５秒間となる。呼吸周期１２ｂｐｍとは、１分間に吸気及び呼気を１２回ずつ繰り返すことを指す。呼吸周期１２ｂｐｍでは、吸気及び呼気は、それぞれ２．５秒間となる。
　呼吸周期３ｂｐｍ、６ｂｐｍ及び１２ｂｐｍにおける脈拍数をそれぞれ比較すると、脈拍数の変動周期が呼吸周期と一致していることが分かる。即ち、脈拍数の変動周期を測定することにより呼吸周期を算出できる。
　以上の通り、脈拍数の変化は、呼吸状態と相関する。即ち、呼吸状態推定装置１００は、脈拍数の変化を解析することにより、呼吸の周期及び呼吸状態をリアルタイムに検出できる。
　図１１は、呼吸状態の推定方法の一例を示す。縦軸は脈拍数を示し、横軸は時間を示す。本例の呼吸状態推定部３０は、連続する３点の脈拍数の測定結果から、呼吸状態を推定する。呼吸状態推定部３０は、高分解能連続脈拍数からのなめらかな呼吸状態の推定を実現する。
　時刻ＴＣ、ＴＣ－１、ＴＣ－２は、それぞれ脈拍数の測定時間を示す。現時刻を時刻ＴＣとして、過去の時刻を時刻ＴＣ－１とし、さらに過去の時刻をＴＣ－２とする。また、時刻ＴＣ、ＴＣ－１、ＴＣ－２における脈拍数をそれぞれ、ＰＲｃ、ＰＲ（ｃ－１）、ＰＲ（ｃ－２）とする。ここで、時刻ＴＣ－２から時刻ＴＣまでの期間は、生体１の呼吸周期よりも小さいことが好ましい。
　脈拍数が連続的に上昇している場合、呼吸状態推定部３０は、生体１が吸気状態であると推定する。例えば、ＰＲＣ－ＰＲ（Ｃ－１）≧０かつ、ＰＲ（Ｃ－１）－ＰＲ（Ｃ－２）≧０かつ、ＰＲＣ－ＰＲ（Ｃ－２）≧Ｔｒである場合に、吸気状態であると推定される。なお、Ｔｒは吸気推定閾値を指す。本例の吸気推定閾値Ｔｒは５ｂｐｍである。即ち、時刻ＴＣ－２から時刻ＴＣまでの間に、常に脈拍数が減少せず、かつ、脈拍数が５ｂｐｍ以上増加している場合に吸気状態であると推定する。
　一方、脈拍数が連続的に減少している場合、呼吸状態推定部３０は、生体１が呼気状態であると推定する。例えば、ＰＲＣ－ＰＲ（Ｃ－１）≦０かつ、ＰＲ（Ｃ－１）－ＰＲ（Ｃ－２）≦０かつ、ＰＲＣ－ＰＲ（Ｃ－２）≦－Ｔｒである場合に、呼気状態であると推定される。本例では、－Ｔｒを呼気推定閾値として用いた。しかしながら、呼気推定閾値として吸気推定閾値と異なる値を用いてもよい。以上の通り、時刻ＴＣ－２から時刻ＴＣまでの間に、常に脈拍数が増加せず、かつ、脈拍数が５ｂｐｍ以上低下している場合に呼気状態であると推定する。
　また、吸気状態及び呼気状態に該当しない場合、呼吸状態推定部３０は、生体１が瞬時無呼吸状態であると推定する。また、呼吸状態推定部３０は、脈拍数の変化量が吸気推定閾値以上でなく、且つ、負の呼気推定閾値以下でないときに、瞬時無呼吸状態であると推定してもよい。そして、瞬時無呼吸状態の連続時間が無呼吸推定閾値Ｔａ以上となった場合に、呼吸状態推定部３０は、生体１が無呼吸状態であると推定する。例えば、無呼吸推定閾値Ｔａは５秒であってよい。
　図１２は、呼吸状態の推定方法の一例を示す。縦軸は脈拍数を示し、横軸は時間を示す。本例の呼吸状態推定部３０は、連続する４点の脈拍数の測定結果から、呼吸状態を推定する。
　時刻ＴＣ、ＴＣ－１、ＴＣ－２、ＴＣ－３は、それぞれ脈拍数の測定時間を示す。現時刻を時刻ＴＣとして、現時刻に近い方から過去の時刻をそれぞれ、時刻ＴＣ－１、ＴＣ－２、ＴＣ－３とする。また、時刻ＴＣ、ＴＣ－１、ＴＣ－２、ＴＣ－３における脈拍数をそれぞれ、ＰＲｃ、ＰＲ（ｃ－１）、ＰＲ（ｃ－２）、ＰＲ（ｃ－３）とする。なお、時刻ＴＣ－３から時刻ＴＣまでの期間は、生体１の呼吸周期よりも小さいことが好ましい。
　脈拍数が連続的に上昇変動である場合、呼吸状態推定部３０は、生体１が吸気状態であると推定する。上昇変動とは、脈拍数がおよそ上昇している傾向にある変動を指す。例えば、呼吸状態推定部３０は、３つの隣接２点間の脈拍数変動（ＰＲＣ－ＰＲ（Ｃ－１）、ＰＲ（Ｃ－１）－ＰＲ（Ｃ－２）、ＰＲ（Ｃ－２）－ＰＲ（Ｃ－３））の内、２つ以上が負でない場合に吸気状態と推定する。
　一方、脈拍数が連続的に下降変動である場合、呼吸状態推定部３０は、生体１が呼気状態であると推定する。下降変動とは、脈拍数およそ減少傾向になる変動を指す。例えば、呼吸状態推定部３０は、３つの隣接２点間の脈拍数変動（ＰＲＣ－ＰＲ（Ｃ－１）、ＰＲ（Ｃ－１）－ＰＲ（Ｃ－２）、ＰＲ（Ｃ－２）－ＰＲ（Ｃ－３））の内、２つ以上が正でない場合に呼気状態と推定する。
　また、吸気状態及び呼気状態に該当しない場合、呼吸状態推定部３０は、生体１が瞬時無呼吸状態であると推定する。また、呼吸状態推定部３０は、脈拍数の変化量が吸気推定閾値以上でなく、且つ、負の呼気推定閾値以下でないときに、瞬時無呼吸状態であると推定してもよい。そして、瞬時無呼吸状態の連続時間が無呼吸推定閾値Ｔａ以上となった場合に、呼吸状態推定部３０は、生体１が無呼吸状態であると推定する。例えば、無呼吸推定閾値Ｔａは５であってよい。
　図１３は、脈拍数変動と脈拍数変動速度との関係を示す。図１３（ａ）の縦軸は脈拍数（ｂｐｍ）を示し、横軸は時間（秒）を示す。図１３（ｂ）の縦軸は脈拍数変動速度（ｂｐｍ）を示し、横軸に時間（秒）を示す。
　本例の被験者は、図１０で示した場合と同様に、通常状態、息止め状態に加えて、３ｂｐｍ、６ｂｐｍ及び１２ｂｐｍの３段階に呼吸周期を変化させる。図１３に示す通り、脈拍数変動の周期と脈拍数変動速度の周期は一致する。即ち、脈拍数変動速度は、脈拍数と同様に、呼吸状態と相関を有する。したがって、呼吸状態推定装置１００は、脈拍数と脈拍数変動速度の少なくとも１つを算出することにより、生体１の呼吸状態を推定できる。
　（実施例２）
　実施例１に係る呼吸状態推定装置１００は、ＦＦＴによる脈拍数変動から呼吸状態を推定する。一方、実施例２に係る呼吸状態推定装置１００は、脈拍数変動を用いる代わりに、脈波ラグタイム変動を用いて呼吸状態を推定する。脈波ラグタイムとは、処理ウィンドウ脈波の自己相関のラグタイムを指す。
　図１４は、呼吸状態推定装置１００の構成の一例を示す。実施例２に係る呼吸状態推定装置１００は、脈拍数算出部２０の代わりに、脈波ラグタイム算出部４０を備える点で実施例１に係る呼吸状態推定装置１００と異なる。
　脈波ラグタイム算出部４０は、脈波信号取得部１０が取得した脈波トレース信号に基づいて、生体１の脈波ラグタイムを算出する。脈波ラグタイム算出部４０は、算出した脈波ラグタイムを呼吸状態推定部３０に出力する。
　呼吸状態推定部３０は、入力された脈波ラグタイムから、高分解能な連続脈波ラグタイム変動を算出する。連続脈波ラグタイム変動は、周期的に測定した脈波ラグタイムをプロットすることによりトレースされる。呼吸状態推定部３０は、連続脈波ラグタイム変動に基づいて、生体１の呼吸状態を推定する。
　図１５は、脈波ラグタイム算出部４０の構成の一例を示す。脈波ラグタイム算出部４０は、バイアス変動除去部４１、自己相関算出部４２及びラグタイム算出部４３を備える。
　バイアス変動除去部４１は、入力された処理ウィンドウ脈波からバイアス変動成分を除去する。バイアス変動成分を除去する方法は、処理ウィンドウ脈波の１階微分であってよい。また、バイアス変動除去部４１は、ハイパスフィルタを備えてよい。なお、脈波ラグタイム算出部４０は、バイアスの安定した状態で処理ウィンドウ脈波が入力される場合、バイアス変動除去部４１を備える必要はない。バイアス変動除去部４１は、バイアス変動成分が除去された処理ウィンドウ脈波をウィンドウ処理脈波として自己相関算出部４２に出力する。
　自己相関算出部４２は、入力されたウィンドウ処理脈波の自己相関係数を算出する。自己相関算出部４２は、算出した自己相関係数をラグタイム算出部に出力する。
　ラグタイム算出部４３は、自己相関算出部４２が出力したウィンドウ処理脈波の自己相関係数に基づいて、脈波ラグタイムを出力する。脈波ラグタイムは、自分自身の自己相関係数ピークから、隣の自己相関係数ピークまでの時間である。
　図１６は、脈波ラグタイム算出部４０の信号処理のアルゴリズムの一例を示す。脈波ラグタイム算出部４０に入力された処理ウィンドウ脈波は、脈波信号取得部１０により不要な成分が除去された信頼性の高い脈波である。脈波ラグタイム算出部４０は、切出された処理ウィンドウ脈波を用いて、正確な脈波ラグタイムを算出するためにステップＳ３０１～ステップＳ３０３を実行する。
　図１７は、脈波ラグタイムの算出方法の一例を示す。図１７（ａ）は脈波トレース強度を示す。図１７（ｂ）は、脈波トレース速度を示す。図１７（ｃ）は自己相関係数の時間変化を示す。図１７（ａ）～図１７（ｃ）の横軸はいずれもサンプリングレートが３０Ｈｚの場合のサンプル数である。
　ステップＳ３０１において、バイアス変動除去部４１は、処理ウィンドウ脈波に対して、１階微分処理を実行する。これにより、バイアス変動が除去されたウィンドウ処理脈波が得られる。例えば、図１７（ａ）に示した脈波トレース強度のグラフは、１階微分されることにより、図１７（ｂ）に示した脈波トレース速度のグラフとなる。なお、バイアス変動除去部４１は、処理ウィンドウ脈波から生成したバイアス変動近似成分を差し引くことで、バイアスの変動を除去してよい。バイアス変動近似成分の差し引きには、脈拍周期よりも周波数の低いバイアス変動成分を近似した曲線を用いてよい。
　ステップＳ３０２において、自己相関算出部４２は、ウィンドウ処理脈波の自己相関係数を算出する。例えば、図１７（ｃ）は、図１７（ｂ）に示した脈波トレース速度の自己相関係数を算出した例である。自己相関係数の算出には、一般的な信号処理技術に使用される自己相関関数が用いられてよい。自己相関算出部４２は、自己相関係数を算出することにより、自分自身の自己相関係数ピークに隣接する自己相関係数ピークを算出できる。
　ステップＳ３０３において、ラグタイム算出部４３は、自分自身の自己相関ピークと隣接する自己相関ピークの時間差を算出することにより、脈波ラグタイムを算出する。算出する脈波ラグタイムの分解能は、ウィンドウ処理脈波のサンプル周波数で決まる。よって、処理ウィンドウ脈波やウィンドウ処理脈波をアップ・サンプリングすることにより、脈波ラグタイムの分解能を上げてよい。例えば、アップ・サンプリングには、スプライン補間が用いられる。
　図１８は、連続脈波ラグタイム変動の一例を示す。縦軸は脈波ラグタイム（１／３０秒）を示し、横軸は時間（秒）を示す。本例の被験者は、通常状態、息止め状態に加えて、３ｂｐｍ、６ｂｐｍ及び１２ｂｐｍの３段階に呼吸周期を変化させる。
　連続脈波ラグタイム変動は、生体１の吸気及び呼気と連動する。但し、連続脈波ラグタイム変動は、呼吸周期との関係が、図１０に示す脈拍数変動と上下が逆である。具体的には、生体１が吸気すると脈波ラグタイムが低下し、生体１が呼気すると脈波ラグタイムが上昇する。よって、脈波ラグタイムの上昇及び低下を観測することにより、生体１の呼吸状態をリアルタイムに推定できる。
　図１９は、呼吸状態の推定方法の一例を示す。縦軸は脈波ラグタイムを示し、横軸は時間を示す。本例の呼吸状態推定部３０は、連続する３点の脈波ラグタイムの測定結果から、呼吸状態を推定する。呼吸状態推定部３０は、高分解能な連続脈波ラグタイムからのなめらかな呼吸状態の推定を実現する。
　時刻ＴＣ、ＴＣ－１、ＴＣ－２は、それぞれ脈波ラグタイムの測定時間を示す。現時刻を時刻ＴＣとして、過去の時刻を時刻ＴＣ－１とし、さらに過去の時刻をＴＣ－２とする。また、時刻ＴＣ、ＴＣ－１、ＴＣ－２における脈波ラグタイムをそれぞれ、ＰＬｃ、ＰＬ（ｃ－１）、ＰＬ（ｃ－２）とする。ここで、時刻ＴＣ－２から時刻ＴＣまでの期間は、生体１の呼吸周期よりも小さいことが好ましい。
　脈波ラグタイムが連続的に上昇している場合、呼吸状態推定部３０は、生体１が呼気状態であると推定する。例えば、ＰＬＣ－ＰＬ（Ｃ－１）≧０かつ、ＰＬ（Ｃ－１）－ＰＬ（Ｃ－２）≧０かつ、ＰＬＣ－ＰＬ（Ｃ－２）≧Ｔｒである場合に、呼気状態であると推定される。なお、Ｔｒは呼気推定閾値を指す。即ち、時刻ＴＣ－２から時刻ＴＣまでの間に、常に脈波ラグタイムが減少せず、かつ、脈波ラグタイムが呼気推定閾値Ｔｒ以上増加している場合に呼気状態であると推定する。
　一方、脈波ラグタイムが連続的に減少している場合、呼吸状態推定部３０は、生体１が吸気状態であると推定する。例えば、ＰＬＣ－ＰＬ（Ｃ－１）≦０かつ、ＰＬ（Ｃ－１）－ＰＬ（Ｃ－２）≦０かつ、ＰＬＣ－ＰＬ（Ｃ－２）≦－Ｔｒである場合に、吸気状態であると推定される。本例では、－Ｔｒを吸気推定閾値として用いた。しかしながら、吸気推定閾値として吸気推定閾値と異なる値を用いてもよい。以上の通り、時刻ＴＣ－２から時刻ＴＣまでの間に、常に脈波ラグタイムが増加せず、かつ、脈波ラグタイムが呼気推定閾値Ｔｒ以上低下している場合に吸気状態であると推定する。
　また、吸気状態及び呼気状態に該当しない場合、呼吸状態推定部３０は、生体１が瞬時無呼吸状態であると推定する。また、呼吸状態推定部３０は、脈波ラグタイムの変化量が吸気推定閾値以下でなく、且つ、正の呼気推定閾値以上でないときに、瞬時無呼吸状態であると推定してもよい。そして、瞬時無呼吸状態の連続時間が無呼吸推定閾値Ｔａ以上となった場合に、呼吸状態推定部３０は、生体１が無呼吸状態であると推定する。例えば、無呼吸推定閾値Ｔａは５秒であってよい。
　以上の通り、呼吸状態推定装置１００は、脈波ラグタイムを用いることにより、リアルタイムに生体１の呼吸状態を推定できる。また、呼吸状態推定装置１００は、脈拍数に基づいた呼吸状態の推定、及び、脈波ラグタイムに基づいた呼吸状態の推定を併用することにより、呼吸状態の推定精度を高めてもよい。
　（実施形態１）
　図２０は、実施形態１に係る呼吸状態推定装置１００を示す。本例の呼吸状態推定装置１００は、スマートフォン４に搭載される。スマートフォン４は、カメラ５及びディスプレイ６を備える。スマートフォン４は、携帯機器の一例であり、携帯電話、タッチパッド等の呼吸状態推定装置１００を搭載してもよい。
　カメラ５は、被験者２の映像を光学的に取得する。カメラ５は、映像取得部１１の一例である。本例のカメラ５は、被験者２の単一部位を含む映像を取得する。本例の被験者２の単一部位は、鼻３である。また、カメラ５は、被験者２における単一部位の動きを検出して、当該部位に追従して撮影してよい。例えば、カメラ５は、被験者２の単一部位がカメラの撮像領域外に向かって移動している場合に、カメラ５のパン、チルト、ズーム等を制御して、単一部位がカメラ５の撮像領域内となるように追従する。
　ディスプレイ６は、呼吸状態推定装置１００が推定した被験者２の呼吸状態を表示する。ディスプレイ６は、スマートフォン４の外部に設けられてもよい。被験者２は、ディスプレイ６にリアルタイムで表示された呼吸状態をライブ感覚で知ることができる。
　本例の呼吸状態推定装置１００は、被験者２の鼻３の映像を用いているが、被験者２の指先の映像を用いてもよい。例えば、呼吸状態推定装置１００は、スマートフォン４の裏面に設けられた光学式指紋センサを用いて、指先の映像を取得する。また、被験者２の単一部位は、鼻３及び指先に限られない。鼻３及び指先は、毛細血管が集中しているため、ヘモグロビン濃度が高くなる。このため、鼻３の映像と指先の映像を用いると、脈波情報の抽出感度と脈拍情報の算出精度が高くなる。更に、脈波情報は、指先に装着された単一の光電容積脈波計を用いて抽出されてもよい。
　このように、本例の呼吸状態推定装置１００は、光学的に脈波情報を抽出して呼吸状態を出力するので被験者２への負担が小さい。更に、本例の呼吸状態推定装置１００は、映像から脈波情報を抽出する構成であるため、被験者２と非接触かつ非拘束で呼吸状態を推定できる。なお、呼吸状態推定装置１００は、被験者２の映像内に複数人存在すれば、複数人の呼吸状態を同時に推定できる。
　（実施形態２）
　図２１は、実施形態２に係る呼吸状態推定装置１００を示す。本例の呼吸状態推定装置１００は、リストバンド型ＰＰＧセンサ７内に実装されている。また、呼吸状態推定装置１００の一部は、リストバンド型ＰＰＧセンサ７と通信可能なスマートフォン４内に実装されてよい。
　リストバンド型ＰＰＧセンサ７は、光電容積脈波センサを利用した装着型デバイスの一例である。リストバンド型ＰＰＧセンサ７は、発光ダイオード８及びフォトダイオード９を備える。発光ダイオード８は、被験者２のリスト部位に光を照射する。フォトダイオード９は、被験者２のヘモグロビンにより吸収された後の光を検出する。これにより、リストバンド型ＰＰＧセンサ７は、被験者２の血流量変化に関する情報を含む脈波信号を光学的に取得する。
　リストバンド型ＰＰＧセンサ７は、被験者２の映像又は推定した呼吸情報を無線でスマートフォン４に送信する。無線にはＢｌｕｅＴｏｏｔｈ（登録商標）及びＷｉ－Ｆｉ（登録商標）等の無線ネットワークが用いられる。スマートフォン４は、リストバンド型ＰＰＧセンサ７から呼吸情報が入力された場合、ディスプレイ６に呼吸情報を表示する。また、スマートフォン４は、リストバンド型ＰＰＧセンサ７から被験者２の映像が送信された場合は、当該映像に基づいて呼吸情報を推定してよい。なお、リストバンド型ＰＰＧセンサ７がディスプレイ６及び呼吸状態推定装置１００を備える場合は、呼吸情報をリストバンド型ＰＰＧセンサ７が備えるディスプレイ６に表示してもよい。
　図２２は、照明を用いた固定リサンプリングの一例を示す。図２２において、〇印は固定サンプリングレートを示し、×印は映像サンプリングレートを示す。
　固定サンプリングレートとは、呼吸状態推定装置１００が映像を取得する理想的な周波数を指す。例えば、呼吸状態推定装置１００は、３０Ｈｚの固定サンプリングレートで映像を取得する。
　映像サンプリングレートとは、呼吸状態推定装置１００が取得する実際のサンプリングレートを指す。例えば、呼吸状態推定装置１００がスマートフォン４等の携帯端末に搭載された場合、映像サンプリングレートに揺らぎが生じる。そのため、映像サンプリングレートと固定サンプリングレートとの間にずれが生じる。また、映像サンプリングレートに揺らぎが生じると、取得した脈拍数の正確な時間が分からなくなり、呼吸情報の推定精度が悪くなる。
　一方、交流電源により駆動されている照明が発する光は、人の目によって知覚されないが一定の輝度周波数で正確に動作する。また、呼吸状態推定装置１００が取得した映像には、照明の位相を算出するのに必要な情報が含まれる。照明の位相は、予め定められた領域の照明の反射光の強度から算出できる。予め定められた領域とは、映像に含まれる物体の一部の領域であってよい。予め定められた領域は、移動しないことが好ましい。また、呼吸状態推定装置１００は、照明の反射光でなくとも、照明の光を直接撮影してもよい。例えば、呼吸状態推定装置１００は、予め定められた領域の反射光の最大強度及び最小強度を事前に算出する。これにより、呼吸状態推定装置１００は、予め定められた領域の反射光の強度を測定することにより、映像から照明の位相を算出できる。即ち、映像サンプリングレートが目標とする位相とずれていた場合、その映像の位相を照明の位相から補正できる。このように、呼吸状態推定装置１００は、映像サンプリングレートの揺らぎを、照明の輝度周波数で補正することにより、呼吸情報の推定精度を向上できる。言い換えると、呼吸状態推定装置１００は、画像に写り込んだ照明を基準クロックに用いることができる。
　以上の通り、呼吸状態推定装置１００は、光学的に生体１の呼吸状態を高精度に推定できる。呼吸状態推定装置１００は、生体１の部位から光学的に脈拍数を算出しているので、生体１に負担を掛けることなく呼吸状態を推定できる。一方、生体１の部位から光学的に脈拍数を算出すると、生体１の動きなどによって低周波のノイズが含まれやすい。しかしながら、呼吸状態推定装置１００は、基線変動を用いた呼吸状態の推定方法よりも高い周波数の領域を用いるので、ノイズを除去しやすい。
　また、呼吸状態推定装置１００は、ウィンドウ信号のオーバーラップ時間のシフト量ごとに脈拍数を算出するので、任意の時間で脈拍数を検出できる。つまり、次のパルスが来るかどうかが分からない状態でも、呼吸状態を推定できる。呼吸状態推定装置１００は、脈拍数に依存せずにリアルタイムで呼吸状態を推定できる。即ち、呼吸状態推定装置１００は、なめらかな呼吸の検出を実現できる。呼吸状態のリアルタイム測定は、生体１の呼吸法をリアルタイムに誘導するアプリケーションに適用できる。
　図２３は、本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、及びＣＤ－ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部とを備える。
　ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
　入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＣＤ－ＲＯＭドライブ２０６０を接続する。通信インターフェイス２０３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＣＤ－ＲＯＭドライブ２０６０は、ＣＤ－ＲＯＭ２０９５からプログラムまたはデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。
　また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／または、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラムまたはデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。
　ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ－ＲＯＭ２０９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。
　コンピュータ１９００にインストールされ、コンピュータ１９００を呼吸状態推定装置として機能させるプログラムは、脈波信号取得モジュール、脈拍数算出モジュール、呼吸状態推定モジュールとを備える。これらのプログラムまたはモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、呼吸状態推定装置としてそれぞれ機能させる。
　これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である脈波信号取得部１０、脈拍数算出部２０及び呼吸状態推定部３０として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算または加工を実現することにより、使用目的に応じた特有の呼吸状態推定装置１００が構築される。
　また、コンピュータ１９００にインストールされ、コンピュータ１９００を脈波測定装置として機能させるプログラムは、脈波信号取得モジュール、脈拍数算出モジュール、呼吸状態推定モジュールとを備える。これらのプログラムまたはモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、脈波測定装置としてそれぞれ機能させる。
　さらに、これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である脈波信号取得部１０、脈波ラグタイム算出部４０及び呼吸状態推定部３０として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算または加工を実現することにより、使用目的に応じた特有の呼吸状態推定装置１００が構築される。
　また、コンピュータ１９００にインストールされ、コンピュータ１９００を脈波測定装置として機能させるプログラムは、脈波信号取得モジュール、脈波ラグタイム算出モジュール、呼吸状態推定モジュールとを備える。これらのプログラムまたはモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、脈波測定装置としてそれぞれ機能させる。
　一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、またはＣＤ－ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置または通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０または記憶装置へとデータを書き込むことにより送受信データを転送してもよい。
　また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＣＤ－ＲＯＭドライブ２０６０（ＣＤ－ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０及び外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／または記憶装置に含まれるものとする。
　また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合（または不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。
　また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、所定の条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。
　以上に示したプログラムまたはモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＣＤ－ＲＯＭ２０９５の他に、ＤＶＤまたはＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
　請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
１・・・生体、２・・・被験者、３・・・鼻、４・・・スマートフォン、５・・・カメラ、６・・・ディスプレイ、７・・・リストバンド型ＰＰＧセンサ、８・・・発光ダイオード、９・・・フォトダイオード、１０・・・脈波信号取得部、１１・・・映像取得部、１２・・・トレース信号生成部、１３・・・ウィンドウ切出し部、１４・・・信号補正部、２０・・・脈拍数算出部、２１・・・窓関数掛け算部、２２・・・統合出力部、２３・・・離散周波数変換部、３０・・・呼吸状態推定部、４０・・・脈波ラグタイム算出部、４１・・・バイアス変動除去部、４２・・・自己相関算出部、４３・・・ラグタイム算出部、１００・・・呼吸状態推定装置

Claims (46)

  1. 　生体の部位から、脈波信号を取得する脈波信号取得部と、
    　前記脈波信号に基づいて、前記生体の脈拍数を算出する脈拍数算出部と、
    　前記脈拍数に基づいて、前記生体の呼吸状態を推定する呼吸状態推定部と
    　を備える呼吸状態推定装置。
  2. 　前記呼吸状態推定部は、
    　前記脈拍数の変化から、前記呼吸状態を推定する
    　請求項１に記載の呼吸状態推定装置。
  3. 　前記呼吸状態推定部は、
    　前記呼吸状態として、前記生体の吸気状態、呼気状態、及び無呼吸状態のうち少なくともいずれかを推定する
    　請求項１または２に記載の呼吸状態推定装置。
  4. 　前記脈拍数算出部は、
    　予め定められた間隔で前記脈拍数を算出し、
    　前記呼吸状態推定部は、
    　算出した前記脈拍数と、その次に算出した前記脈拍数との比較に基づいて、前記生体の呼吸状態を推定する
    　請求項１から３のいずれか一項に記載の呼吸状態推定装置。
  5. 　前記呼吸状態推定部は、
    　前記脈拍数の変化量が予め定められた正の吸気推定閾値以上であるときに、前記呼吸状態が吸気状態であると推定する
    　請求項１から４のいずれか一項に記載の呼吸状態推定装置。
  6. 　前記呼吸状態推定部は、
    　前記脈拍数の第１の時刻の値と前記第１の時刻よりも過去の第２の時刻の値との差が零以上であり、前記脈拍数の前記第２の時刻の値と前記第２の時刻よりも過去の第３の時刻の値との差が零以上であり、且つ前記第１の時刻の値と前記第３の時刻の値との差が前記吸気推定閾値以上であるときに、前記吸気状態であると推定する
    　請求項５に記載の呼吸状態推定装置。
  7. 　前記第３の時刻から前記第１の時刻までの期間は、前記生体の呼吸周期よりも小さい請求項６に記載の呼吸状態推定装置。
  8. 　前記呼吸状態推定部は、
    　前記脈拍数の変化量が予め定められた負の呼気推定閾値以下であるときに、前記呼吸状態が呼気状態であると推定する
    　請求項１から７のいずれか一項に記載の呼吸状態推定装置。
  9. 　前記呼吸状態推定部は、
    　前記脈拍数の第４の時刻の値と前記第４の時刻よりも過去の第５の時刻の値との差が零以下であり、前記脈拍数の前記第５の時刻の値と前記第５の時刻よりも過去の第６の時刻の値との差が零以下であり、且つ前記第４の時刻の値と前記第６の時刻の値との差が前記呼気推定閾値以下であるときに、前記呼気状態であると推定する
    　請求項８に記載の呼吸状態推定装置。
  10. 　前記第６の時刻から前記第４の時刻までの期間は、前記生体の呼吸周期よりも小さい請求項９に記載の呼吸状態推定装置。
  11. 　前記呼吸状態推定部は、
    　前記脈拍数の変化量が予め定められた正の吸気推定閾値以上でなく、且つ、予め定められた負の呼気推定閾値以下でないときに、前記呼吸状態が瞬時無呼吸状態であると推定する
    　請求項１から１０のいずれか一項に記載の呼吸状態推定装置。
  12. 　前記呼吸状態推定部は、
    　前記推定した前記瞬時無呼吸状態が予め定められた時間継続したときに、前記呼吸状態が無呼吸状態であると推定する
    　請求項１１に記載の呼吸状態推定装置。
  13. 　前記脈波信号取得部は、
    　前記脈波信号の第１のサンプルデータを含むウィンドウ信号を出力し、
    　前記脈拍数算出部は、
    　前記ウィンドウ信号の前、後、または前後に第２のサンプルデータを統合した統合ウィンドウ信号を出力する統合出力部と、
    　前記統合ウィンドウ信号を離散周波数変換して脈波特徴量を算出する離散周波数変換部と
    　を備える請求項１から１２のいずれか一項に記載の呼吸状態推定装置。
  14. 　前記脈拍数算出部は、
    　前記ウィンドウ信号に窓関数を掛ける窓関数掛け算部をさらに備え、
    　前記統合出力部は、
    　前記窓関数が掛けられた前記ウィンドウ信号の前、後、または前後に前記第２のサンプルデータを統合した前記ウィンドウ信号を出力する
    　請求項１３に記載の呼吸状態推定装置。
  15. 　前記窓関数は、ハニング窓である請求項１４に記載の呼吸状態推定装置。
  16. 　前記第２のサンプルデータは、零である請求項１３から１５のいずれか一項に記載の呼吸状態推定装置。
  17. 　前記統合出力部は、
    　前記第１のサンプルデータのサンプル数と前記第２のサンプルデータのサンプル数の合計が２のべき乗となるように、前記第２のサンプルデータを前記第１のサンプルデータに統合した前記統合ウィンドウ信号を出力し、
    　前記離散周波数変換部は、前記ウィンドウ信号に対してＦＦＴを実行する
    　請求項１３から１６のいずれか一項に記載の呼吸状態推定装置。
  18. 　前記脈波信号取得部は、
    　予め定められた時間間隔でそれぞれオーバーラップするように前記ウィンドウ信号を出力する
    　請求項１３から１７のいずれか一項に記載の呼吸状態推定装置。
  19. 　前記ウィンドウ信号の時間幅は、前記生体の脈拍周期以上である請求項１８に記載の呼吸状態推定装置。
  20. 　前記統合出力部が出力した前記統合ウィンドウ信号は、等しい値のサンプルデータを両端に有する請求項１３から１９のいずれか一項に記載の呼吸状態推定装置。
  21. 　前記脈波信号取得部は、
    　前記生体の部位の映像を取得する映像取得部を備え、
    　時間を示す基準信号に基づいて、前記映像から予め定められたサンプリングレートに固定した前記ウィンドウ信号を出力する
    　請求項１３から２０のいずれか一項に記載の呼吸状態推定装置。
  22. 　前記基準信号は、前記映像を構成するフレームに含まれるタイムスタンプである請求項２１に記載の呼吸状態推定装置。
  23. 　前記映像は、交流電源により駆動されている照明が発する光を含む映像であり、
    　前記基準信号は、前記照明の輝度周波数に応じた信号である
    　請求項２１に記載の呼吸状態推定装置。
  24. 　前記脈波信号取得部は、前記脈波信号を光学的に取得する
    　請求項１から２３のいずれか一項に記載の呼吸状態推定装置。
  25. 　請求項２１から２３のいずれか一項に記載の呼吸状態推定装置と、
    　前記呼吸状態を示す情報を表示するディスプレイと
    　を備える携帯機器。
  26. 　請求項１から２０のいずれか一項の記載の呼吸状態推定装置と、
    　前記生体の部位の映像を取得する映像取得部と、
    　前記呼吸状態を示す情報を表示するディスプレイと
    　を備える携帯機器。
  27. 　請求項１から２０のいずれか一項に記載の呼吸状態推定装置と、
    　前記呼吸状態を示す情報を表示するディスプレイと
    　を備える装着型デバイス。
  28. 　コンピュータを、請求項１から２３のいずれか一項に記載の呼吸状態推定装置として機能させるプログラム。
  29. 　請求項２８に記載のプログラムが記録されたコンピュータが読み取り可能な媒体。
  30. 　生体の部位から、脈波信号を光学的に取得すること、
    　前記脈波信号に基づいて、前記生体の脈拍数を算出すること、
    　前記脈拍数の変化から、前記生体の呼吸状態を推定すること
    　を備える呼吸状態推定方法。
  31. 　生体の皮膚の映像を取得する映像取得部と、
    　前記映像に基づいて、前記生体の呼吸状態を推定する呼吸状態推定部と
    　を備える呼吸状態推定器。
  32. 　前記呼吸状態推定部は、
    　前記映像に含まれる血流情報に基づいて、前記呼吸状態を推定する
    　請求項３１に記載の呼吸状態推定器。
  33. 　前記呼吸状態推定部は、
    　前記映像の濃淡変化に基づいて、前記呼吸状態を推定する
    　請求項３１に記載の呼吸状態推定器。
  34. 　前記呼吸状態を示す情報を表示するディスプレイをさらに備える請求項３１に記載の呼吸状態推定器。
  35. 　前記ディスプレイは、前記呼吸状態を示す情報をライブで表示する
    　請求項３４に記載の呼吸状態推定器。
  36. 　生体の部位から、脈波信号を光学的に取得する脈波信号取得部と、
    　前記脈波信号に基づいて、前記生体の脈波ラグタイムを算出する脈波ラグタイム算出部と、
    　前記脈波ラグタイムに基づいて、前記生体の呼吸状態を推定する呼吸状態推定部と
    　を備える呼吸状態推定装置。
  37. 　前記脈波ラグタイム算出部は、
    　前記脈波信号の自己相関を算出する自己相関算出部と、
    　前記自己相関に基づいて、前記脈波ラグタイムを算出するラグタイム算出部と
    　を備える請求項３６に記載の呼吸状態推定装置。
  38. 　前記呼吸状態推定部は、
    　前記脈波ラグタイムの変化量が予め定められた負の吸気推定閾値以下であるときに、前記呼吸状態が吸気状態であると推定する
    　請求項３６または３７に記載の呼吸状態推定装置。
  39. 　前記呼吸状態推定部は、
    　前記脈波ラグタイムの第１の時刻の値と前記第１の時刻よりも過去の第２の時刻の値との差が零以下であり、前記脈波ラグタイムの前記第２の時刻の値と前記第２の時刻よりも過去の第３の時刻の値との差が零以下であり、且つ前記第１の時刻の値と前記第３の時刻の値との差が前記吸気推定閾値以下であるときに、前記吸気状態であると推定する
    　請求項３８に記載の呼吸状態推定装置。
  40. 　前記第３の時刻から前記第１の時刻までの期間は、前記生体の呼吸周期よりも小さい請求項３９に記載の呼吸状態推定装置。
  41. 　前記呼吸状態推定部は、
    　前記脈波ラグタイムの変化量が予め定められた正の呼気推定閾値以上であるときに、前記呼吸状態が呼気状態であると推定する
    　請求項３６から４０のいずれか一項に記載の呼吸状態推定装置。
  42. 　前記呼吸状態推定部は、
    　前記脈波ラグタイムの第４の時刻の値と前記第４の時刻よりも過去の第５の時刻の値との差が零以上であり、前記脈波ラグタイムの前記第５の時刻の値と前記第５の時刻よりも過去の第６の時刻の値との差が零以上であり、且つ前記第４の時刻の値と前記第６の時刻の値との差が前記呼気推定閾値以上であるときに、前記呼気状態であると推定する
    　請求項４１に記載の呼吸状態推定装置。
  43. 　前記第６の時刻から前記第４の時刻までの期間は、前記生体の呼吸周期よりも小さい請求項４２に記載の呼吸状態推定装置。
  44. 　前記呼吸状態推定部は、
    　前記脈波ラグタイムの変化量が予め定められた負の吸気推定閾値以下でなく、且つ、予め定められた正の呼気推定閾値以上でないときに、前記呼吸状態が瞬時無呼吸状態であると推定する
    　請求項３６から４３のいずれか一項に記載の呼吸状態推定装置。
  45. 　前記呼吸状態推定部は、
    　前記推定した前記瞬時無呼吸状態が予め定められた時間継続したときに、前記呼吸状態が無呼吸状態であると推定する
    　請求項４４に記載の呼吸状態推定装置。
  46. 　前記脈波ラグタイム算出部は、
    　前記脈波信号のバイアス変動を除去するバイアス変動除去部をさらに備え、
    　前記自己相関算出部は、
    　前記バイアス変動が除去された前記脈波信号に基づいて、前記自己相関を算出する
    　請求項３７に記載の呼吸状態推定装置。
PCT/JP2015/085889 2014-12-24 2015-12-22 呼吸状態推定装置、携帯機器、装着型デバイス、プログラム、媒体、呼吸状態推定方法及び呼吸状態推定器 WO2016104538A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE112015005804.4T DE112015005804T5 (de) 2014-12-24 2015-12-22 Atemzustandsschätzvorrichtung, tragbare Vorrichtung, an Körper tragbare Vorrichtung, Programm, Medium, Atemzustandsschätzverfahren und Atemzustandsschätzer
JP2016566410A JP6371410B2 (ja) 2014-12-24 2015-12-22 呼吸状態推定装置、携帯機器、装着型デバイス、プログラム、媒体及び呼吸状態推定方法
CN201580070956.1A CN107106080A (zh) 2014-12-24 2015-12-22 呼吸状态估计装置、便携式设备、佩戴型仪器、程序、介质、呼吸状态估计方法以及呼吸状态估计器
US15/628,663 US20170281050A1 (en) 2014-12-24 2017-06-21 Respiratory state estimating device, portable device, wearable device, medium, respiratory state estimating method and respiratory state estimator
US17/147,466 US11701026B2 (en) 2014-12-24 2021-01-13 Respiratory state estimating device, portable device, wearable device, medium, respiratory state estimating method and respiratory state estimator

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-261089 2014-12-24
JP2014261089 2014-12-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/628,663 Continuation US20170281050A1 (en) 2014-12-24 2017-06-21 Respiratory state estimating device, portable device, wearable device, medium, respiratory state estimating method and respiratory state estimator

Publications (1)

Publication Number Publication Date
WO2016104538A1 true WO2016104538A1 (ja) 2016-06-30

Family

ID=56150553

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/085889 WO2016104538A1 (ja) 2014-12-24 2015-12-22 呼吸状態推定装置、携帯機器、装着型デバイス、プログラム、媒体、呼吸状態推定方法及び呼吸状態推定器

Country Status (5)

Country Link
US (2) US20170281050A1 (ja)
JP (1) JP6371410B2 (ja)
CN (1) CN107106080A (ja)
DE (1) DE112015005804T5 (ja)
WO (1) WO2016104538A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018051188A (ja) * 2016-09-30 2018-04-05 パラマウントベッド株式会社 活動状況管理装置
JP2019166152A (ja) * 2018-03-23 2019-10-03 国立大学法人九州大学 生体情報測定装置、及び生体情報測定プログラム
JP2020039480A (ja) * 2018-09-07 2020-03-19 株式会社エクォス・リサーチ 脈波検出装置、車両装置、及び脈波検出プログラム
JP2022188307A (ja) * 2019-09-24 2022-12-20 カシオ計算機株式会社 特徴量抽出装置、状態推定装置、特徴量抽出方法、状態推定方法及びプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2810801T3 (es) * 2015-02-27 2021-03-09 Preventicus Gmbh Aparato y método para determinar la presión sanguínea
JP2016195747A (ja) * 2015-04-06 2016-11-24 セイコーエプソン株式会社 生体情報処理装置、生体情報処理システム、生体情報処理方法及び生体情報処理プログラム
US10335045B2 (en) 2016-06-24 2019-07-02 Universita Degli Studi Di Trento Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions
EP3906853A1 (en) * 2020-05-05 2021-11-10 Withings Method and device to determine sleep apnea of a user
CN114680869B (zh) * 2020-12-31 2023-04-21 深圳融昕医疗科技有限公司 呼吸率计算方法及计算机设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004121668A (ja) * 2002-10-04 2004-04-22 Denso Corp 呼吸異常検出装置及び測定装置並びに呼吸異常検出方法
JP2013248387A (ja) * 2012-06-01 2013-12-12 Xerox Corp 呼吸速度推定のためのビデオプロセッシング

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5682898A (en) * 1995-04-19 1997-11-04 Colin Corporation Respiration rate measuring apparatus
US6980679B2 (en) * 1998-10-23 2005-12-27 Varian Medical System Technologies, Inc. Method and system for monitoring breathing activity of a subject
JP3946108B2 (ja) * 2002-08-27 2007-07-18 パイオニア株式会社 心拍変動解析装置、心拍変動解析方法、および心拍変動解析用プログラム
CA2464029A1 (en) * 2004-04-08 2005-10-08 Valery Telfort Non-invasive ventilation monitor
JP4581480B2 (ja) 2004-05-21 2010-11-17 ソニー株式会社 呼吸情報測定方法及び装置
US8019170B2 (en) * 2005-10-05 2011-09-13 Qualcomm, Incorporated Video frame motion-based automatic region-of-interest detection
US8972197B2 (en) * 2009-09-15 2015-03-03 Numera, Inc. Method and system for analyzing breathing of a user
US9693736B2 (en) * 2011-11-30 2017-07-04 Nellcor Puritan Bennett Ireland Systems and methods for determining respiration information using historical distribution

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004121668A (ja) * 2002-10-04 2004-04-22 Denso Corp 呼吸異常検出装置及び測定装置並びに呼吸異常検出方法
JP2013248387A (ja) * 2012-06-01 2013-12-12 Xerox Corp 呼吸速度推定のためのビデオプロセッシング

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018051188A (ja) * 2016-09-30 2018-04-05 パラマウントベッド株式会社 活動状況管理装置
JP2019166152A (ja) * 2018-03-23 2019-10-03 国立大学法人九州大学 生体情報測定装置、及び生体情報測定プログラム
JP2020039480A (ja) * 2018-09-07 2020-03-19 株式会社エクォス・リサーチ 脈波検出装置、車両装置、及び脈波検出プログラム
US11398112B2 (en) 2018-09-07 2022-07-26 Aisin Corporation Pulse wave detection device, vehicle device, and pulse wave detection program
JP7204077B2 (ja) 2018-09-07 2023-01-16 株式会社アイシン 脈波検出装置、車両装置、及び脈波検出プログラム
JP2022188307A (ja) * 2019-09-24 2022-12-20 カシオ計算機株式会社 特徴量抽出装置、状態推定装置、特徴量抽出方法、状態推定方法及びプログラム

Also Published As

Publication number Publication date
US20210128017A1 (en) 2021-05-06
CN107106080A (zh) 2017-08-29
US20170281050A1 (en) 2017-10-05
US11701026B2 (en) 2023-07-18
JP6371410B2 (ja) 2018-08-08
JPWO2016104538A1 (ja) 2017-11-02
DE112015005804T5 (de) 2017-10-19

Similar Documents

Publication Publication Date Title
JP6371410B2 (ja) 呼吸状態推定装置、携帯機器、装着型デバイス、プログラム、媒体及び呼吸状態推定方法
EP3229676B1 (en) Method and apparatus for physiological monitoring
JP5980720B2 (ja) 呼吸速度推定のためのビデオプロセッシング
CN109414203B (zh) 基于光学测量的在线心率估计
CN109977858B (zh) 一种基于图像分析的心率检测方法及装置
JP6308742B2 (ja) 血圧情報出力装置、血圧情報出力プログラム、媒体、血圧情報出力方法
Tasli et al. Remote PPG based vital sign measurement using adaptive facial regions
JP6121177B2 (ja) ソースビデオ画像から動脈拍動経過時間を導出すること
EP3403574A1 (en) Device for reliable acquisition of photoplethysmographic data
US11234613B2 (en) Respiration estimation method and apparatus
Feng et al. Motion artifacts suppression for remote imaging photoplethysmography
JP2006271731A (ja) 心拍計測装置及び心拍計測方法
Junior et al. Estimation of blood pressure and pulse transit time using your smartphone
US20230056557A1 (en) System and method for pulse transmit time measurement from optical data
EP3292813A1 (en) Method and device for processing bio-signals
Junior et al. Methods for reliable estimation of pulse transit time and blood pressure variations using smartphone sensors
JP7170147B2 (ja) 非一時的なコンピュータ可読記憶媒体、コンピュータ実装方法及びシステム
JP2019097757A5 (ja)
US10980485B2 (en) Measuring apparatus, measuring method and non-transitory computer readable medium
JP2018149183A (ja) 血圧データ処理装置、血圧データ処理方法、およびプログラム
CN106504235B (zh) 基于图像处理的心率监测方法
JP2009095486A (ja) 無呼吸状態判定装置
JP7539034B2 (ja) 酸素飽和度測定装置、携帯装置、及び、酸素飽和度測定プログラム
JP2022128904A (ja) 抽出装置、プログラムおよび抽出方法
KR20220143307A (ko) 컬러영상을 이용한 심박 측정방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15873106

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016566410

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 112015005804

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15873106

Country of ref document: EP

Kind code of ref document: A1