WO2013140525A1 - 覚醒度判定装置、覚醒度判定プログラムおよび覚醒度判定方法 - Google Patents

覚醒度判定装置、覚醒度判定プログラムおよび覚醒度判定方法 Download PDF

Info

Publication number
WO2013140525A1
WO2013140525A1 PCT/JP2012/057073 JP2012057073W WO2013140525A1 WO 2013140525 A1 WO2013140525 A1 WO 2013140525A1 JP 2012057073 W JP2012057073 W JP 2012057073W WO 2013140525 A1 WO2013140525 A1 WO 2013140525A1
Authority
WO
WIPO (PCT)
Prior art keywords
spectral density
unit
frequency
maximum
subject
Prior art date
Application number
PCT/JP2012/057073
Other languages
English (en)
French (fr)
Inventor
裕太 増田
佐野　聡
小田切　淳一
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2014505856A priority Critical patent/JP5831622B2/ja
Priority to EP12872173.5A priority patent/EP2829230B1/en
Priority to PCT/JP2012/057073 priority patent/WO2013140525A1/ja
Publication of WO2013140525A1 publication Critical patent/WO2013140525A1/ja
Priority to US14/479,488 priority patent/US9801579B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/347—Detecting the frequency distribution of signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms

Definitions

  • the present invention relates to a wakefulness determination device, a wakefulness determination program, and a wakefulness determination method.
  • JP 2010-155072 A International Publication No. 2008/065724
  • the disclosed technology has been made in view of the above, and an object thereof is to provide a wakefulness determination device, a wakefulness determination program, and a wakefulness determination method that can determine the wakefulness of a subject.
  • the arousal level determination device disclosed in the present application includes a generation unit, a calculation unit, a specifying unit, and a determination unit.
  • the generation unit generates heartbeat interval variation data indicating a change in heartbeat interval based on a heartbeat signal indicating the heartbeat of the subject.
  • the calculation unit applies a bandpass filter that passes a frequency of a predetermined width to the heartbeat interval variation data to each frequency band while changing the frequency band, and calculates a spectral density for each frequency band to which the bandpass filter is applied. calculate.
  • the specifying unit specifies a feature point at which the spectral density of each frequency band calculated by the calculating unit has a peak.
  • the determination unit determines the arousal level of the subject based on the feature points specified by the specifying unit.
  • arousal level determination device it is possible to determine the arousal level of the subject.
  • FIG. 1 is a diagram illustrating the configuration of the arousal level determination apparatus according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of a heartbeat signal detected by the detection unit.
  • FIG. 3 is a diagram for explaining processing in which the generation unit calculates a heartbeat interval.
  • FIG. 4 is a diagram illustrating an example of heartbeat interval variation data generated by the generation unit.
  • FIG. 5 is a diagram illustrating an example of spectral density data generated by the calculation unit.
  • FIG. 6 is a diagram for explaining the characteristics of the frequency band.
  • FIG. 7 is a diagram illustrating an example in which a plurality of local maximum points exist.
  • FIG. 8 is a diagram illustrating an example of spectral density data in a state where the maximum point is unclear.
  • FIG. 1 is a diagram illustrating the configuration of the arousal level determination apparatus according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of a heartbeat signal detected by the detection unit.
  • FIG. 9 is a diagram for explaining processing for calculating a spectral density by applying a bandpass filter.
  • FIG. 10 is a diagram illustrating an example of the maximum frequency, the maximum spectral density, and the width of the spectrum waveform.
  • FIG. 11 is a diagram showing the maximum frequency in time series.
  • FIG. 12 is a diagram showing the maximum spectral density in time series.
  • FIG. 13 is a diagram illustrating a correlation between the maximum frequency at awakening time and the maximum frequency at non-wakening time.
  • FIG. 14 is a diagram showing a correlation between the maximum spectral density at awakening and the maximum spectral density at non-wakefulness.
  • FIG. 15 is a diagram illustrating an example of the scale set by the setting unit.
  • FIG. 10 is a diagram illustrating an example of the maximum frequency, the maximum spectral density, and the width of the spectrum waveform.
  • FIG. 11 is a diagram showing the maximum frequency in time series.
  • FIG. 12 is a diagram showing the maximum spect
  • FIG. 16 is a diagram for explaining processing in which the setting unit sets the scale.
  • FIG. 17 is a diagram for explaining processing in which the correction unit corrects the reference point.
  • FIG. 18 is a diagram for explaining processing in which the expansion unit expands the scale as a whole.
  • FIG. 19 is a diagram for explaining processing in which the expansion unit partially expands the scale.
  • FIG. 20 is a flowchart showing the procedure of the specifying process.
  • FIG. 21 is a flowchart illustrating a procedure of sleepiness level determination processing.
  • FIG. 22 is a flowchart illustrating the procedure of the risk determination process.
  • FIG. 23 is a diagram illustrating a computer that executes an arousal level determination program.
  • FIG. 1 is a diagram illustrating the configuration of the arousal level determination apparatus according to the first embodiment.
  • the arousal level determination device 100 is a device that determines the level of arousal of a subject, and is, for example, a computer.
  • the arousal level determination device 100 includes a detection unit 110, a generation unit 120, a calculation unit 130, a specification unit 140, an estimation unit 150, and a setting unit 160.
  • the arousal level determination device 100 further includes a storage unit 170, a determination unit 180, a reception unit 190, a correction unit 200, an expansion unit 210, and an output unit 220.
  • the detection unit 110 detects a heartbeat signal of the subject. For example, the detection unit 110 applies a voltage to the electrode that contacts the subject, and acquires the heartbeat signal of the subject from the potential difference between the electrodes.
  • the subject corresponds to, for example, a driver who drives the vehicle.
  • the electrode used by the detection unit 110 corresponds to an electrode embedded in the wristwatch-type small device.
  • FIG. 2 is a diagram illustrating an example of a heartbeat signal detected by the detection unit.
  • the horizontal axis in FIG. 2 indicates the passage of time, and the vertical axis indicates the electrocardiogram strength.
  • the electrocardiogram signal of a healthy person generally has four waveforms and is called a P wave, QRS wave, T wave, and U wave in time series order.
  • the QRS wave is detected as an acute peak, and includes a Q wave that is a peak start point, an R wave that is a peak apex, and an S wave that is a peak end point.
  • Each waveform from P wave to U wave corresponds to one heart beat.
  • the RR interval 2a calculated as the interval from the R wave to the next R wave corresponds to the heartbeat interval indicating the time interval of the heartbeat.
  • the detection unit 110 outputs the detected heartbeat signal data to the generation unit 120 as heartbeat signal data.
  • the generation unit 120 generates heartbeat interval fluctuation data indicating a change in heartbeat interval based on the subject's heartbeat signal data. Below, the process which the production
  • the generation unit 120 calculates a heartbeat interval from the heartbeat signal data input by the detection unit 110.
  • FIG. 3 is a diagram for explaining processing in which the generation unit calculates a heartbeat interval.
  • the horizontal axis in FIG. 3 indicates the passage of time, and the vertical axis indicates the electrocardiogram strength.
  • the generation unit 120 detects an amplitude peak at which the amplitude of the heartbeat signal is equal to or greater than a threshold value as an R wave. Then, each time the R wave is detected, the generation unit 120 calculates the heartbeat interval 3a from the detected appearance time of each R wave.
  • the method for detecting the amplitude peak is not limited to the method described above.
  • the generation unit 120 may use a method that uses a zero cross point where the differential coefficient of the heartbeat signal changes from positive to negative, or a method that performs pattern matching on the amplitude waveform to detect an amplitude peak.
  • the generation unit 120 generates heartbeat interval fluctuation data indicating changes in the heartbeat interval over time based on the calculated heartbeat interval.
  • FIG. 4 is a diagram illustrating an example of heartbeat interval variation data generated by the generation unit. The horizontal axis in FIG. 4 indicates the passage of time, and the vertical axis indicates the heartbeat interval. As illustrated in FIG. 4, for example, the calculation unit 130 generates heartbeat interval fluctuation data in which the calculated heartbeat interval and the R wave detection time are associated with each other.
  • the calculation unit 130 calculates a feature amount indicating the awakening level of the subject. For example, the calculation unit 130 calculates the spectral density for each frequency by performing frequency analysis on the heartbeat interval variation data. For example, the calculation unit 130 calculates the spectral density using an Auto Regressive (AR) model.
  • AR Auto Regressive
  • the AR model is a linear representation of past time-series data. It is a model expressed as a sum. The AR model has a feature that a clear maximum point can be obtained even with a small number of data compared to the Fourier transform.
  • a p-order AR model of time series x (s) is expressed by the following equation (1) using an AR coefficient a (m) and an error term e (s) that are weights for past values.
  • e (s) is white noise.
  • p is the identification order
  • f s is the sampling frequency
  • ⁇ p is the identification error
  • (2) shown below is the k-th order AR coefficient.
  • the calculation unit 130 calculates the spectral density based on the equation (3) and the heartbeat interval fluctuation data. Note that the method for calculating the spectral density is not limited to the above-described method. For example, the calculation unit 130 may calculate the spectral density by using Fourier transform.
  • the calculation unit 130 generates spectral density data indicating the spectral density for each frequency every time the spectral density is calculated.
  • FIG. 5 is a diagram illustrating an example of spectral density data generated by the calculation unit. The horizontal axis in FIG. 5 indicates the frequency, and the vertical axis indicates the spectral density.
  • the spectral density has the following characteristics in the frequency band.
  • FIG. 6 is a diagram for explaining the characteristics of the frequency band.
  • the horizontal axis in FIG. 6 indicates the frequency, and the vertical axis indicates the spectral density.
  • the spectral density component that appears in the region near 0.05 to 0.15 Hz is a low frequency (LF) component that reflects the state of sympathetic nerve activity.
  • the spectral density component that appears in the region near 0.15 to 0.4 Hz is a high frequency (HF) component that reflects the parasympathetic activity state.
  • LF low frequency
  • HF high frequency
  • the calculation unit 130 acquires a local maximum point where the spectral density of the spectral density data is a local maximum. For example, the calculating unit 130 calculates the frequency f in the following equation (4) as the frequency of the maximum point, and calculates the spectral density of the maximum point by substituting the frequency of the maximum point into the equation (3).
  • the calculation unit 130 acquires the maximum point included in the HF component.
  • the calculation unit 130 acquires the maximum point 5.
  • the frequency of the maximum point is expressed as “maximum frequency”
  • the spectral density of the maximum point is expressed as “maximum spectral density”.
  • the local maximum point is selected as follows.
  • FIG. 7 is a diagram illustrating an example in which a plurality of local maximum points exist.
  • the horizontal axis indicates the frequency
  • the vertical axis indicates the spectral density.
  • the calculation unit 130 acquires four maximum points 5a, 5b, 5c, and 5d.
  • the calculation unit 130 selects one maximum point included in the HF component from the acquired maximum points 5a, 5b, 5c, and 5d. As illustrated in FIG. 7, when the HF component includes a plurality of maximum points, the calculation unit 130 selects the maximum point 5b having the lowest frequency. This is because the maximum point on the low frequency side among the maximum points included in the HF component reflects the state of respiration. On the other hand, the maximum point on the high frequency side reflects the state of respiration, but is also affected by, for example, body movement other than respiration. In general, when the subject's sleepiness is strong, when the subject is awake, the subject's breathing is slow. Therefore, it is considered that the subject's sleepiness can be determined more accurately by selecting the maximum point of the component that better reflects the state of breathing. .
  • the change in the heartbeat interval indicated by the heartbeat interval fluctuation data includes components such as noise due to sympathetic nerve activity and body movement in addition to the parasympathetic nerve.
  • components such as noise due to sympathetic nerve activity and body movement in addition to the parasympathetic nerve.
  • the maximum point becomes unclear due to the influence of those components.
  • the sleepiness index value may not be obtained.
  • FIG. 8 is a diagram illustrating an example of spectral density data in a state where the maximum point is unclear.
  • the horizontal axis in FIG. 8 indicates the frequency
  • the vertical axis indicates the spectral density.
  • the change in the spectral density is in a gentle state, and there is no maximum point.
  • the calculation unit 130 calculates a spectral density by applying a bandpass filter when there is no maximum point in the HF component of the calculated spectral density. For example, the calculation unit 130 applies a band-pass filter that passes a frequency of a predetermined width to the heart rate interval variation data while changing the frequency band to each frequency band, and the spectrum for each frequency band to which the band-pass filter is applied. Calculate the density.
  • the bandpass filter tends to increase the power of the spectrum when it is properly applied to a spectrum with an unclear peak, while it decreases when it is off. Therefore, the calculation unit 130 calculates a spectral density by applying a bandpass filter. This facilitates detection of spectral density peaks.
  • the frequency width to pass is a width corresponding to a frequency at which a feature point to be described later changes in accordance with a change in arousal level. A feature point described later changes by about 0.1 to 0.2 Hz according to the change in the arousal level.
  • the frequency width that the band-pass filter passes is 0.2 Hz, but the present invention is not limited to this.
  • the frequency width that the bandpass filter passes may be set to an arbitrary value by a person using the arousal level determination device 100.
  • the calculation unit 130 calculates a spectral density for each frequency band by overlapping a part of the frequency band to which the band pass filter is applied. For example, the calculation unit 130 applies a bandpass filter to the heartbeat interval variation data by changing a band to be applied to the frequency range of the HF component with a step size smaller than a frequency width that the bandpass filter passes through, thereby applying a spectral density. Is calculated.
  • the step width is set to 0.01 Hz which is smaller than the frequency width 0.2 Hz through which the band-pass filter passes.
  • the step size of the bandpass filter may be set to an arbitrary value by a person using the arousal level determination device 100.
  • the calculating unit 130 calculates the spectral density by sliding the HF component frequency range by 0.01 Hz and applying a bandpass filter.
  • FIG. 9 is a diagram for explaining processing for calculating a spectral density by applying a bandpass filter.
  • the horizontal axis indicates the frequency
  • the vertical axis indicates the spectral density.
  • the example of FIG. 9 shows the result of calculating the spectral density by applying a bandpass filter with a passing frequency width of 0.2 Hz at a step size of 0.01 Hz in the frequency range of 0.28 to 0.5 Hz.
  • the identifying unit 140 identifies feature points. For example, the specifying unit 140 specifies a feature point where the spectral density of each frequency band calculated by the calculating unit 130 is a peak. In the example of FIG. 9, the specifying unit 140 compares the calculated spectral density of each frequency band, and specifies a feature point having a peak spectral density in the frequency range of the HF component. Note that the method for specifying the feature points is not limited to the above-described method. For example, the specifying unit 140 uses a method of specifying a feature point at which the spectral density reaches a peak by interpolating each maximum value of the spectral density for each frequency band calculated by the calculating unit 130 by interpolation such as spline interpolation. May be.
  • the calculation unit 130 calculates the maximum frequency and the maximum spectral density at the acquired maximum point as the feature amount. In addition, the calculation unit 130 acquires the value of the width Pw of the spectrum waveform at a certain height L from the maximum point.
  • the height L may be a fixed value or a predetermined ratio of the peak height such as a half width. Further, the height L may be set to an arbitrary value by a person using the arousal level determination device 100.
  • the calculation unit 130 applies the bandpass filter to the maximum frequency and the maximum spectral density at the feature point that is the peak of the spectral density calculated for each frequency band.
  • FIG. 10 is a diagram illustrating an example of the maximum frequency, the maximum spectral density, and the width of the spectrum waveform.
  • the horizontal axis in FIG. 10 indicates the frequency, and the vertical axis indicates the spectral density.
  • the maximum frequency is denoted as P F
  • the maximum spectral density is shown as P H
  • the width of the spectral waveform is shown as P W at a predetermined height L from the maximum point.
  • FIG. 11 is a diagram showing the maximum frequency in time series.
  • the horizontal axis in FIG. 11 indicates the passage of time, and the vertical axis indicates the frequency.
  • FIG. 12 is a diagram showing the maximum spectral density in time series.
  • the horizontal axis in FIG. 12 indicates the passage of time, and the vertical axis indicates the spectral density.
  • the calculation unit 130 calculates the spectral density data at intervals of 10 seconds, the interval between the points in the time series direction shown in FIGS. 11 and 12 is an interval of 10 seconds.
  • the calculation unit 130 calculates the maximum frequency and the maximum spectral density at regular time intervals.
  • the estimation unit 150 estimates the feature amount during non-wakening from the feature amount calculated by the calculation unit 130 based on the correlation between the feature amount during awakening and the feature amount during non-wakening. For example, the estimation unit 150 estimates the value at the time of non-awakening from the value for several minutes from the start of driving, using the correlation between the maximum frequency and the maximum spectral density between the time of awakening and the time of non-wakening.
  • the reason why the value for several minutes from the start of driving is used is that the driver is considered to be waking up during this time period, and thus the characteristic amount at the time of awakening can be obtained with certainty.
  • FIG. 13 is a diagram illustrating a correlation between the maximum frequency at awakening time and the maximum frequency at non-wakening time.
  • the horizontal axis of FIG. 13 shows the maximum frequency at the time of non-wake, and the vertical axis shows the maximum frequency at the time of awake.
  • FIG. 14 is a diagram showing a correlation between the maximum spectral density at awakening and the maximum spectral density at non-wakefulness.
  • the horizontal axis of FIG. 14 shows the maximum spectral density at the time of non-awakening, and the vertical axis shows the maximum spectral density at the time of awakening.
  • FIG. 13 and FIG. 14 are examples of experimental results obtained by conducting an experiment of acquiring a subject's heartbeat signal using a driving simulator. As shown in FIG. 13 and FIG. 14, a regression line is obtained by plotting the value at the time of awakening and the value at the time of non-wakening of each subject. This experimental result shows that the maximum frequency and the maximum spectral density correlate between awake time and non-wake time. In the example shown in FIGS. 13 and 14, the correlation coefficient of the maximum frequency is 0.78, and the correlation coefficient of the maximum spectral density is 0.85.
  • the estimation unit 150 acquires the maximum frequency and the maximum spectral density from the calculation unit 130.
  • the estimation unit 150 sets the acquired maximum frequency and maximum spectral density as a reference point.
  • the estimation unit 150 calculates the maximum frequency and the maximum spectral density when not awake by substituting the maximum frequency and the maximum spectral density of the set reference point into the regression line equations shown in FIGS. 13 and 14. Then, the estimation unit 150 outputs the reference point and the estimation point to the setting unit 160 using the calculated maximum frequency and maximum spectral density at the time of non-awake as the estimation points.
  • the estimation unit 150 outputs the acquired maximum frequency and maximum spectral density to the expansion unit 210.
  • the estimation unit 150 estimates the estimation point using the corrected reference point. Then, the estimation unit 150 outputs the reference point and the estimation point to the setting unit 160.
  • the setting unit 160 sets a range from the feature amount calculated by the calculation unit 130 to the feature amount estimated by the estimation unit 150 as a wakefulness index. For example, the setting unit 160 sets a range in which the frequency and spectral density can change between the reference point and the estimated point as a scale that serves as an index of arousal level.
  • FIG. 15 is a diagram illustrating an example of the scale set by the setting unit.
  • the horizontal axis in FIG. 15 indicates the frequency, and the vertical axis indicates the spectral density.
  • the scale 10a is set so that there is no sleepiness in the upper right and sleepiness in the lower left as shown in the sleepiness direction 10b.
  • the scale 10a is divided into five regions from the upper right to the lower left, and five levels of sleepiness levels are assigned to each of the five regions. That is, the drowsiness level determined by the scale 10a becomes strong in the order of level 1 to level 5, and the arousal level is lowered. As shown in FIG.
  • the setting unit 160 holds the normalized scale 10a.
  • the scale data set by the setting unit 160 is, for example, data including an expression indicating the boundary of each region in the scale and a drowsiness level value.
  • FIG. 15 demonstrated the case where the width
  • the width of each region of the normalized scale 10a may be adjusted so as to become narrower as the drowsiness level increases.
  • the scale data is not limited to the above-described configuration, and may be configured by, for example, the frequency and spectral density of the reference point and the frequency and spectral density of the estimation point.
  • FIG. 16 is a diagram for explaining processing in which the setting unit sets the scale.
  • the horizontal axis in FIG. 16 indicates the frequency, and the vertical axis indicates the spectral density.
  • the setting unit 160 sets the normalized scale 11c using the value of the reference point 11a and the value of the estimated point 11b. For example, the setting unit 160 associates the maximum value of the frequency of the scale 11c normalized to the frequency of the reference point 11a.
  • the setting unit 160 associates the minimum value of the spectral density of the scale 11c normalized with the spectral density of the reference point 11a.
  • the setting unit 160 associates the minimum value of the normalized frequency of the scale 11c with the frequency of the estimated point 11b.
  • the setting unit 160 associates the maximum value of the spectral density of the scale 11c normalized with the spectral density of the estimated point 11b.
  • the setting unit 160 divides the corresponding scale 11c into five equal parts, and sets each area corresponding to the sleepiness level.
  • the setting unit 160 sets the subject's scale 11c by calculating an expression indicating the boundary of each region of the set scale 11c. Then, the setting unit 160 stores the set scale in the storage unit 170.
  • the storage unit 170 stores the wakefulness index set by the setting unit 160.
  • the storage unit 170 stores the scale of the subject set by the setting unit 160 in association with identification information for identifying the subject.
  • the determination unit 180 compares the feature amount calculated by the calculation unit 130 with the wakefulness index set by the setting unit 160 to determine the arousal level of the subject. For example, the determination unit 180 receives input of identification information from the subject, and reads a scale corresponding to the identification information from the storage unit 170. Then, the determination unit 180 determines in which region of the scale the maximum point calculated by the calculation unit 130 is included. Specifically, for example, the determination unit 180 determines a region including the calculated maximum point by substituting the maximum frequency and maximum spectral density of the maximum point into an expression representing each region of the scale. And the determination part 180 determines a test subject's sleepiness level according to the area
  • the method for accepting identification information is not limited to the above-described method.
  • the determination unit 180 may use a method of acquiring identification information from a camera image obtained by photographing the current subject, a method of determining using a region characteristic of an individual among heartbeat signals, and the like.
  • the determination unit 180 determines the state and the risk level of the subject using the feature amount calculated by the calculation unit 130 and the determined drowsiness level. For example, the determination unit 180 compares the maximum frequency, the maximum spectral density, and the spectrum waveform width calculated by the calculation unit 130 with the maximum frequency, the maximum spectral density, and the spectrum waveform width calculated at the previous time. Determine the state.
  • the time before the comparison may be the latest, may be calculated several times before, or may be a certain time before several seconds to several minutes. Further, the time before the comparison is not limited to this example, and a person using the arousal level determination device 100 may set an arbitrary value.
  • the determination unit 180 determines that the subject is sleepy. Judged as a fighting state. In addition, the determination unit 180 determines that if the maximum frequency is equal to or less than the maximum frequency of the previous time, but the maximum spectral density is not equal to or less than the maximum spectral density of the previous time or the width of the spectrum waveform has not increased, Determined to be drowsy.
  • the determination unit 180 determines that the subject is in a concentrated state when the maximum frequency is not less than the maximum frequency of the previous time, the maximum spectral density is equal to or higher than the maximum spectral density of the previous time, and the width of the spectrum waveform is reduced. Is determined. Further, the determination unit 180 has a maximum frequency that is not less than or equal to the maximum frequency of the previous time, but the maximum spectral density has not increased more than the maximum spectral density of the previous time, or the width of the spectrum waveform has not decreased. In this case, the subject is determined to be awake.
  • the determination unit 180 determines a change in sleepiness level. If the sleepiness level increases, the determination unit 180 determines that the waking effect is not exerted by the fighting with sleepiness. The risk is determined to be 5 which is the most dangerous state. In addition, when the subject is in a fighting state with drowsiness and the drowsiness level decreases, the determination unit 180 determines that the waking effect has been obtained by the fighting with drowsiness, and determines that the risk level is 1, and the drowsiness level has not changed. For example, the degree of risk is determined as 2 to maintain the fighting state with sleepiness.
  • the determination unit 180 obtains a transition amount in a direction in which the drowsiness level has increased from a predetermined time ago based on changes in the maximum frequency and the maximum spectral density.
  • the predetermined time is, for example, 10 seconds.
  • the predetermined time is not limited to this example, and a person who uses the arousal level determination device 100 may set an arbitrary value.
  • the determination unit 180 determines whether or not the transition amount is equal to or greater than the predetermined amount. If the transition amount is equal to or greater than the predetermined amount, it is determined that the change in the drowsiness direction is fast and the risk is 4, and the transition amount is equal to or less than the predetermined amount. In this case, the degree of risk is determined to be 3. Then, the determination unit 180 outputs the determination result to the output unit 220.
  • the accepting unit 190 accepts an instruction to correct the feature amount calculated by the calculating unit 130 from the subject.
  • the reception unit 190 corresponds to a touch panel.
  • the reception unit 190 inquires of the subject about the current sleepiness level. For example, if the current sleepiness level received from the subject is not “1”, the reception unit 190 outputs the received current sleepiness level of the subject to the correction unit 200. On the other hand, if the current sleepiness level received from the subject is “1” or if the current sleepiness level is not received from the subject within a predetermined time, the reception unit 190 ends the processing, and the estimation unit 150 Wait until the reference point is set again.
  • the correction unit 200 corrects the feature quantity serving as a reference for the awakening degree index based on the instruction received by the reception unit 190. For example, the correction unit 200 adds predetermined values to the maximum frequency and the maximum spectral density of the reference point set by the estimation unit 150 according to the current sleepiness level of the subject received from the reception unit 190, respectively. Move the reference point. Then, the correction unit 200 sets the moved reference point as a corrected reference point.
  • the predetermined value added to the maximum frequency is, for example, “0.02”
  • the predetermined value added to the maximum spectral density is, for example, “ ⁇ 0.2”.
  • the person using the arousal level determination apparatus 100 may set it to arbitrary values according to a test subject's present sleepiness level.
  • FIG. 17 is a diagram for explaining processing in which the correction unit corrects the reference point.
  • the horizontal axis in FIG. 17 indicates the frequency, and the vertical axis indicates the spectral density.
  • the correction unit 200 adds “0.02” to the maximum frequency of the reference point 12a to obtain the maximum spectral density. By adding “ ⁇ 0.2”, the reference point 12a is moved to the reference point 12b. Then, the correction unit 200 sets the reference point 12b as a corrected reference point.
  • the estimated point estimated based on the reference point 12b is the estimated point 12c.
  • the scale set based on the reference point 12b and the estimated point 12c is the scale 12d.
  • the correction unit 200 corrects the reference point, although the reference point is set using the feature amount at the time point when the subject's sleepiness level is considered to be “1”. This is because the level is not always “1”. For example, when the subject starts driving while feeling sleepy, the estimation unit 150 erroneously sets the maximum frequency and the maximum spectral density calculated when the sleepiness level is not “1” as a reference point, and An estimation point is estimated using an incorrect reference point. For this reason, the correction
  • the expansion unit 210 expands the arousal level index when the feature amount calculated by the calculation unit 130 is outside the preset range of the arousal level index. For example, when the expansion unit 210 acquires the maximum frequency and the maximum spectral density calculated by the calculation unit 130 from the estimation unit 150, the expansion unit 210 determines whether or not the acquired value is outside the scale of the subject stored in the storage unit 170. To do.
  • the extension unit 210 determines whether the distance between the acquired value and the scale is greater than or equal to a threshold value. If the distance is not greater than or equal to the threshold value, the expansion unit 210 expands the subject's scale and stores the expanded scale in the storage unit 170. On the other hand, when the distance is equal to or greater than the threshold, the extension unit 210 waits until the maximum frequency and the maximum spectral density are acquired again.
  • the threshold value used here is a value for excluding errors at the time of heartbeat signal analysis. For example, the threshold value is set to 0.1 for the maximum frequency value. This is because it is determined that a different maximum point is detected when the value of the maximum frequency deviates by 0.1 or more from the scale. About a threshold value, it is not limited to this illustration, The person using the arousal degree determination apparatus 100 may set it to arbitrary values.
  • FIG. 18 is a diagram for explaining processing in which the expansion unit expands the scale as a whole.
  • the horizontal axis indicates the frequency
  • the vertical axis indicates the spectral density.
  • the expansion unit 210 moves the upper side and the right side of the scale 13a so that the preset scale 13a includes a value 13b outside the scale. Then, the extension unit 210 applies the scale normalized for each side to set the scale 13c, thereby expanding the scale 13a as a whole.
  • the expansion unit 210 partially expands only a region close to a value outside the scale in a preset scale.
  • FIG. 19 is a diagram for explaining processing in which the expansion unit partially expands the scale.
  • the horizontal axis indicates the frequency
  • the vertical axis indicates the spectral density.
  • the extension unit 210 extends only the level 1 region with respect to the value 14b outside the scale.
  • the expansion unit 210 expands only the level 5 region with respect to the off-scale value 14c.
  • the expansion unit 210 expands the scale because the determination unit 180 cannot determine the drowsiness level when the maximum frequency and the maximum spectral density calculated by the calculation unit 130 are out of the scale. Therefore, the expansion unit 210 expands the scale in order to determine the drowsiness level even if the calculated maximum frequency and maximum spectral density are out of the scale.
  • the output unit 220 outputs the determination result determined by the determination unit 180.
  • the output unit 220 corresponds to, for example, a monitor or a speaker.
  • the output part 220 is good also as what outputs to the system of a vehicle.
  • the output unit 220 performs various outputs according to the awakening level of the subject, the state of the subject, and the risk level. For example, when the awakening level of the subject is reduced, when the subject is in a fighting state with drowsiness, or when the risk level is 3, the output unit 220 notifies the subject, a person around the subject, or the like. Further, the output unit 220 generates a warning sound from the speaker and notifies when the subject who is more dangerous is sleepy or when the risk level is 4 or more. Further, when the most dangerous degree of risk is 5, the output unit 220 outputs a signal that prompts the vehicle system to stop the vehicle and stops the vehicle.
  • FIG. 20 is a flowchart showing the procedure of the specifying process. This specifying process is executed, for example, when a vehicle system equipped with the arousal level determination device 100 is activated.
  • the generation unit 120 detects heartbeat signal data detected by the detection unit for a certain period of time, and generates heartbeat interval fluctuation data indicating a change in heartbeat interval (step S100).
  • the calculation unit 130 performs frequency analysis on the heartbeat interval variation data, and calculates a spectral density for each frequency (step S101).
  • the calculating unit 130 determines whether there is a maximum point in the HF component of the calculated spectral density (step S102). When the local maximum exists (Yes at Step S102), the calculation unit 130 selects one local maximum included in the HF component from the local maximum at which the spectral density is the local maximum (Step S103). That is, each time the spectral density is calculated, the calculation unit 130 generates spectral density data indicating the spectral density for each frequency, and the maximum included in the HF component among the maximum points at which the spectral density of the spectral density data is maximum. Select one point. The calculation unit 130 calculates a feature amount at the selected maximum point (step S104). That is, the calculation unit 130 calculates the maximum frequency and the maximum spectral density at the selected maximum point. Further, the calculation unit 130 calculates the width of the spectrum waveform at a certain height L from the selected maximum point.
  • the calculation unit 130 applies a bandpass filter to each frequency band while changing the frequency band for the heartbeat interval fluctuation data, and the spectral density for each frequency band. Is calculated (step S105).
  • the specifying unit 140 specifies a feature point at which the spectral density of each frequency band calculated by the calculating unit 130 peaks (step S106).
  • the calculation unit 130 calculates the feature amount at the feature point that is the peak of the spectral density (step S107). That is, the calculation unit 130 calculates the maximum frequency and the maximum spectral density at the feature point at which the spectral density peaks.
  • the calculation unit 130 calculates the width of the spectrum waveform at a certain height L from the feature point that is the peak of the spectral density.
  • the calculation unit 130 determines whether or not the process end is instructed (step S108). For example, when the end of the process is instructed from the vehicle system (Yes at step S108), the process ends. On the other hand, when the end of the process is not instructed (No at Step S108), the process proceeds to Step S100.
  • FIG. 21 is a flowchart illustrating a procedure of sleepiness level determination processing. This drowsiness level determination process is executed, for example, every time the calculation unit 130 calculates a feature amount.
  • the estimation unit 150 acquires the maximum frequency and the maximum spectral density calculated by the calculation unit 130 from the calculation unit 130 (step S110).
  • the estimation unit 150 determines whether or not the subject's scale is set (step S111). When the scale of the subject is not set (No at Step S111), the estimation unit 150 sets the acquired maximum frequency and maximum spectral density as the reference point of the scale (Step S112).
  • the estimation unit 150 determines whether or not the correction of the drowsiness level by the subject has been received (step S113). When the correction of the sleepiness level by the subject is not accepted (No at Step S113), the estimation unit 150 estimates the maximum frequency and the maximum spectral density at the time of non-wakening (Step S114). That is, if the current sleepiness level received by the reception unit 190 from the subject is “1” or if the current sleepiness level is not received from the subject within a predetermined time, the value of the set reference point is used as a regression line. By substituting into the above formula, the value at the time of non-awakening is calculated, and the calculated value is used as the estimated point. Then, the estimation unit 150 outputs the reference point and the estimation point to the setting unit 160.
  • the setting unit 160 sets a scale based on the reference point and the estimated point received from the estimating unit 150 (step S115). That is, the setting unit 160 calculates the amount of change in the frequency and spectral density that change from awakening to non-wakening from the maximum frequency and maximum spectral density of the reference point 11a and the estimated point 11b received from the estimation unit 150. The setting unit 160 sets the scale of the subject by associating the normalized scale 10a with the calculated frequency and spectral density change amount. Then, the setting unit 160 stores the set scale in the storage unit 170.
  • the determination unit 180 determines the arousal level of the subject by comparing the maximum frequency and the maximum spectral density calculated by the calculation unit 130 with the scale (step S116). In other words, the determination unit 180 determines the sleepiness level of the subject according to the scale region including the maximum frequency and the maximum spectral density calculated by the calculation unit 130.
  • the estimation unit 150 corrects the reference point of the scale (Step S117), and proceeds to Step S114. That is, the correction unit 200 adds predetermined values to the maximum frequency and the maximum spectral density of the reference point set by the estimation unit 150 according to the current sleepiness level of the subject received from the reception unit 190, respectively. Move the reference point. Then, the correction unit 200 sets the moved reference point as a corrected reference point.
  • the estimation unit 150 outputs the acquired maximum frequency and maximum spectral density to the expansion unit 210.
  • the expansion unit 210 determines whether or not the acquired value is outside the scale of the subject stored in the storage unit 170 (Step S118). When the acquired value is out of the scale (Yes at Step S118), the expansion unit 210 determines whether or not the distance between the acquired value and the scale is equal to or greater than the threshold (Step S119). If the distance is not greater than or equal to the threshold (No at Step S119), the extension unit 210 extends the subject's scale (Step S120), and proceeds to Step S116.
  • the extension unit 210 ends the process and waits until the maximum frequency and the maximum spectral density are acquired again.
  • Step S118 when the acquired value is not out of the scale (No at Step S118), the extension unit 210 proceeds to Step S116.
  • step S113 and step S117 which are processes which correct
  • step S118 to step S120 which are processes for extending the scale, do not necessarily have to be executed. That is, when it is determined that the scale is set in the process of step S111, the process of step S116 may be executed.
  • FIG. 22 is a flowchart illustrating the procedure of the risk determination process. This risk determination process is executed, for example, every time the calculation unit 130 calculates a feature amount.
  • the determination unit 180 acquires the maximum frequency, the maximum spectral density, and the width of the spectrum waveform calculated from the calculation unit 130 (Step S130).
  • the determination unit 180 determines whether or not the maximum frequency calculated by the calculation unit 130 is equal to or less than the maximum frequency calculated at the previous time (step S131).
  • the determination unit 180 determines whether the maximum spectral density is equal to or lower than the maximum spectral density at the previous time and the width of the spectrum waveform is increased. Determination is made (step S132).
  • the determination unit 180 determines that the subject is in a fighting state with sleepiness (Step S133). And the determination part 180 determines whether the drowsiness level is rising (step S134). When the drowsiness level is rising (Yes at Step S134), the determination unit 180 determines the degree of risk as 5 (Step S135), and ends the process. On the other hand, when the drowsiness level has not increased (No at Step S134), the determination unit 180 determines whether the drowsiness level has decreased (Step S136).
  • Step S137 the determination unit 180 determines the degree of risk as 1 (Step S137), and ends the process.
  • Step S138 determines that the degree of risk is 2 (Step S138), and ends the process.
  • the determination unit 180 determines that the subject is in a sleepy state. (Step S139). And the determination part 180 calculates
  • the determination unit 180 determines that the maximum spectral density is equal to or higher than the maximum spectral density calculated at the previous time and It is determined whether or not the width has decreased (step S143).
  • the determination unit 180 determines that the subject is in a concentrated state (Step S144) and ends the process. To do.
  • the determination unit 180 determines that the subject is in an awake state (Step S145). The process is terminated.
  • the arousal level determination apparatus 100 generates heartbeat interval variation data indicating a change in heartbeat interval based on a heartbeat signal indicating a heartbeat of a subject.
  • the arousal level determination device 100 applies a band-pass filter that passes a frequency of a predetermined width to the heartbeat interval variation data while changing the frequency band to each frequency band, and for each frequency band to which the band-pass filter is applied. Calculate the spectral density.
  • the arousal level determination device 100 identifies a feature point at which the calculated spectral density of each frequency band peaks.
  • the arousal level determination device 100 determines the arousal level of the subject based on the identified feature points. Thereby, the arousal level determination apparatus 100 can determine the awakening level of the subject.
  • the arousal level determination apparatus 100 calculates a spectral density for each frequency band by overlapping a part of the frequency band to which the bandpass filter is applied.
  • the spectral density is calculated by applying a bandpass filter without overlapping frequency bands, if there is a spectral density peak in the band between the applied frequency bands, the position of the spectral density peak is determined. It becomes difficult.
  • the arousal level determination device 100 can accurately determine the position of the peak of the spectral density by calculating the spectral density for each frequency band by overlapping a part of the frequency band to which the bandpass filter is applied.
  • the arousal level determination apparatus 100 calculates a spectral density by applying a bandpass filter that passes a frequency corresponding to a frequency width in which a feature point changes according to a change in the arousal level. Therefore, since the arousal level determination apparatus 100 can extract the heartbeat interval fluctuation data corresponding to the frequency width in which a change occurs due to the change in the arousal level, it can accurately detect the change of the feature point.
  • the arousal level determination apparatus 100 calculates a spectral density by applying a bandpass filter to each frequency band while changing the frequency band in the frequency range of the HF component. Thereby, the arousal level determination apparatus 100 can accurately determine the change in the arousal level from the parasympathetic state.
  • the arousal level determination apparatus 100 calculates a spectral density from heartbeat interval fluctuation data, and applies a bandpass filter to calculate the spectral density when there is no maximum point in the calculated spectral density. calculate.
  • the arousal level determination apparatus 100 can omit the process of specifying a feature point by applying a band-pass filter when a local maximum exists in the spectral density calculated from the heartbeat interval fluctuation data.
  • the arousal level determination apparatus 100 can determine the arousal level of a subject by specifying a feature point by applying a bandpass filter when there is no maximum point in the spectral density calculated from the heartbeat interval fluctuation data.
  • each of these processing units corresponds to an integrated device such as an Application Specific Integrated Circuit (ASIC) or a Field Programmable Gate Array (FPGA).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • Each of these processing units corresponds to an electronic circuit such as a Central Processing Unit (CPU) or a Micro Processing Unit (MPU).
  • the storage unit 170 corresponds to, for example, a random access memory (RAM), a read only memory (ROM), a semiconductor memory element such as a flash memory, a hard disk or an optical disk storage device.
  • RAM random access memory
  • ROM read only memory
  • semiconductor memory element such as a flash memory
  • hard disk or an optical disk storage device.
  • the configuration of the arousal level determination apparatus 100 shown in FIG. 1 is an example, and the awakening level determination apparatus 100 does not necessarily have to include all the processing units illustrated in FIG.
  • the arousal level determination device 100 only needs to include a generation unit, a calculation unit, a specification unit, and a determination unit.
  • the generation unit generates heartbeat interval fluctuation data indicating a change in heartbeat interval based on a heartbeat signal indicating the heartbeat of the subject.
  • the calculation unit applies a bandpass filter that passes a frequency of a predetermined width to the heartbeat interval variation data to each frequency band while changing the frequency band, and calculates a spectral density for each frequency band to which the bandpass filter is applied. calculate.
  • the specifying unit specifies a feature point at which the calculated spectral density of each frequency band becomes a peak.
  • the determination unit can determine the awakening level of the subject by determining the awakening level of the subject based on the identified feature points.
  • the arousal level determination device 100 determines the sleepiness level of the subject using the maximum frequency and the maximum spectral density has been described, but the present invention is not limited to this. That is, the arousal level determination device 100 may determine the drowsiness level of the subject using only one of the maximum frequency and the maximum spectral density. For example, the arousal level determination device 100 generates spectral density data based on the subject's heartbeat signal, and acquires a maximum point from the HF component of the generated spectral density data.
  • the arousal level determination device 100 estimates the maximum frequency at the time of non-awakening from the acquired maximum frequency using the correlation between the maximum frequency at the time of awakening and the time of non-awakening.
  • the arousal level determination device 100 sets an index of arousal level by, for example, dividing the range in which the maximum frequency changes from awakening time to a non-awakening time into five equal parts.
  • the arousal level determination device 100 determines the arousal level of the subject by comparing the maximum frequency calculated from the heartbeat signal of the subject with the index of the arousal level.
  • all or a part of the processes described as being automatically performed can be manually performed, or all or a part of the processes described as being manually performed can be performed.
  • a part can be automatically performed by a known method.
  • the series of processing of the arousal level determination device 100 illustrated in FIG. 20 may be executed in response to receiving an instruction from the driver after the system of the vehicle equipped with the awakening level determination device 100 is activated.
  • the processing procedures, control procedures, specific names, and information including various data and parameters shown in the above-mentioned document and drawings can be arbitrarily changed unless otherwise specified.
  • the scale data set by the setting unit 160 may be composed of the frequency and spectral density of the reference point and the frequency and spectral density of the estimated point.
  • the determination unit 180 since the values of the reference points and the estimated points are stored in the storage unit 170, the determination unit 180 applies a normalized scale to the values of the reference points and the estimated points read from the storage unit 170, and the scales. After resetting, the sleepiness level of the subject is determined.
  • each component of the arousal level determination device 100 shown in FIG. 1 is functionally conceptual and does not necessarily need to be physically configured as illustrated. That is, the specific form of dispersion / integration of the arousal level determination device 100 is not limited to that shown in the figure, and all or a part thereof may be functional or physical in arbitrary units according to various loads or usage conditions. Can be distributed and integrated.
  • the test subject can be obtained by causing the server to have any or all of the functions of the generation unit 120 to the expansion unit 210 illustrated in FIG. 1 and that the server and the arousal level determination device 100 cooperate via a network. You may determine the degree of awakening.
  • the arousal level determination device 100 can also be realized by installing each function of the arousal level determination device 100 in a known information processing device.
  • Known information processing apparatuses correspond to apparatuses such as personal computers, workstations, mobile phones, personal handy-phone system (PHS) terminals, mobile communication terminals, or personal digital assistants (PDAs).
  • PHS personal handy-phone system
  • PDA personal digital assistant
  • FIG. 23 is a diagram illustrating a computer that executes an arousal level determination program.
  • a computer 300 includes an input device 301 that receives data input from a user, a monitor 302, a medium reading device 303 that reads a program and the like from a storage medium, and an interface that exchanges data with other devices.
  • Device 304 The computer 300 also includes a central processing unit (CPU) 305 that executes various arithmetic processes, a random access memory (RAM) 306 that temporarily stores various information, and a hard disk device 307.
  • the devices 301 to 307 are connected to the bus 308.
  • a heartbeat sensor 310 that detects a heartbeat signal of a subject and a speaker 320 are connected via an interface device 304.
  • the hard disk device 307 includes processing units such as the generation unit 120, the calculation unit 130, the specification unit 140, the estimation unit 150, the setting unit 160, the determination unit 180, the reception unit 190, the correction unit 200, and the expansion unit 210 illustrated in FIG. Various programs having the same functions are stored. Further, the hard disk device 307 stores the scale of the subject in association with identification information for identifying the subject.
  • the various programs function as various processes. That is, the various programs function as processes that execute the same processes as the processing units of the calculation unit 130, the estimation unit 150, the setting unit 160, the determination unit 180, the reception unit 190, the correction unit 200, and the expansion unit 210.
  • the computer 300 may read and execute a program stored in a computer-readable recording medium.
  • the computer-readable recording medium corresponds to, for example, a portable recording medium such as a CD-ROM, a DVD disk, and a USB memory, a semiconductor memory such as a flash memory, a hard disk drive, and the like.
  • this program may be stored in a device connected to a public line, the Internet, a local area network (LAN), a wide area network (WAN), etc., and the computer 300 may read the program and execute it. good.
  • arousal level determination device 110 detection unit 120 generation unit 130 calculation unit 140 identification unit 150 estimation unit 160 setting unit 170 storage unit 180 determination unit 190 reception unit 200 correction unit 210 expansion unit 220 output unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Cardiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

　覚醒度判定装置（１００）は、生成部（１２０）と、算出部（１３０）と、特定部（１４０）と、判定部（１８０）とを有する。生成部（１２０）は、被験者の心拍を示す心拍信号に基づき、心拍間隔の変化を示す心拍間隔変動データを生成する。算出部（１３０）は、心拍間隔変動データに対して、所定幅の周波数を通過させるバンドパスフィルタを周波数帯域を変えつつそれぞれの周波数帯域に適用し、当該バンドパスフィルタを適用した周波数帯域毎にスペクトル密度を算出する。特定部（１４０）は、算出された各周波数帯域のスペクトル密度がピークとなる特徴点を特定する。判定部（１８０）は、特定された特徴点に基づき、前記被験者の覚醒度を判定する。

Description

覚醒度判定装置、覚醒度判定プログラムおよび覚醒度判定方法
　本発明は、覚醒度判定装置、覚醒度判定プログラムおよび覚醒度判定方法に関する。
　従来、被験者の生体情報を用いることで、被験者に負担をかけることなく被験者の覚醒度を判定する技術がある。例えば、被験者の心拍信号から周波数解析によって算出されるスペクトル密度が極大となる特徴点の変化を追跡することで、被験者の覚醒度を判定する従来技術がある。例えば、この従来技術を車両に適用することで、運転者の覚醒度を判定し、危険性を報知することができる。
　この従来技術により被験者の覚醒度を判定するためには、特徴点が安定して得られることが必要である。
特開２０１０－１５５０７２号公報 国際公開第２００８／０６５７２４号
　しかしながら、心拍信号から周波数解析によって算出される特徴点が不明確になり、被験者の覚醒度を判定できなくなる場合があるという問題があった。
　開示の技術は、上記に鑑みてなされたものであって、被験者の覚醒度を判定できる覚醒度判定装置、覚醒度判定プログラムおよび覚醒度判定方法を提供することを目的とする。
　本願の開示する覚醒度判定装置は、生成部と、算出部と、特定部と、判定部とを有する。生成部は、被験者の心拍を示す心拍信号に基づき、心拍間隔の変化を示す心拍間隔変動データを生成する。算出部は、心拍間隔変動データに対して、所定幅の周波数を通過させるバンドパスフィルタを周波数帯域を変えつつそれぞれの周波数帯域に適用し、当該バンドパスフィルタを適用した周波数帯域毎にスペクトル密度を算出する。特定部は、算出部により算出された各周波数帯域のスペクトル密度がピークとなる特徴点を特定する。判定部は、特定部により特定された特徴点に基づき、前記被験者の覚醒度を判定する。
　本願の開示する覚醒度判定装置によれば、被験者の覚醒度を判定できる。
図１は、本実施例１にかかる覚醒度判定装置の構成を示す図である。 図２は、検出部により検出される心拍信号の一例を示す図である。 図３は、生成部が心拍間隔を算出する処理を説明するための図である。 図４は、生成部により生成される心拍間隔変動データの一例を示す図である。 図５は、算出部により生成されるスペクトル密度データの一例を示す図である。 図６は、周波数帯域の特徴を説明するための図である。 図７は、極大点が複数存在する一例を示す図である。 図８は、極大点が不明確な状態のスペクトル密度データの一例を示す図である。 図９は、バンドパスフィルタを適用してスペクトル密度を算出する処理を説明するための図である。 図１０は、極大周波数、極大スペクトル密度、スペクトル波形の幅の一例を示す図である。 図１１は、極大周波数を時系列で表した図である。 図１２は、極大スペクトル密度を時系列で表した図である。 図１３は、覚醒時の極大周波数と非覚醒時の極大周波数との相関関係を示す図である。 図１４は、覚醒時の極大スペクトル密度と非覚醒時の極大スペクトル密度との相関関係を示す図である。 図１５は、設定部により設定されるスケールの一例を示す図である。 図１６は、設定部がスケールを設定する処理を説明するための図である。 図１７は、補正部が基準点を補正する処理を説明するための図である。 図１８は、拡張部がスケールを全体的に拡張する処理を説明するための図である。 図１９は、拡張部がスケールを部分的に拡張する処理を説明するための図である。 図２０は、特定処理の手順を示すフローチャートである。 図２１は、眠気レベル判定処理の手順を示すフローチャートである。 図２２は、危険度判定処理の手順を示すフローチャートである。 図２３は、覚醒度判定プログラムを実行するコンピュータを示す図である。
　以下に、本願の開示する覚醒度判定装置、覚醒度判定プログラムおよび覚醒度判定方法の実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
［覚醒度判定装置１００の構成］
　本実施例１にかかる覚醒度判定装置の構成の一例について説明する。図１は、本実施例１にかかる覚醒度判定装置の構成を示す図である。覚醒度判定装置１００は、被験者の覚醒度を判定する装置であり、例えば、コンピュータである。図１に示すように、この覚醒度判定装置１００は、検出部１１０と、生成部１２０と、算出部１３０と、特定部１４０と、推定部１５０と、設定部１６０とを有する。また、覚醒度判定装置１００は、記憶部１７０と、判定部１８０と、受付部１９０と、補正部２００と、拡張部２１０と、出力部２２０とをさらに有する。
　検出部１１０は、被験者の心拍信号を検出する。例えば、検出部１１０は、被験者に接触する電極に対して電圧を印加し、被験者の心拍信号を各電極の電位差から取得する。なお、被験者は、例えば、車両を運転する運転者に対応する。また、検出部１１０によって用いられる電極は、例えば、車両のハンドルに埋め込まれた電極に対応する。また、例えば、覚醒度判定装置１００を腕時計型の小型機器として構成する場合、検出部１１０によって用いられる電極は、腕時計型の小型機器に埋め込まれた電極に対応する。
　図２は、検出部により検出される心拍信号の一例を示す図である。図２の横軸は時間の経過を示し、縦軸は心電の強さを示す。図２に示すように、健常者の心電信号は、一般的に４つの波形を有し、時系列順にＰ波、ＱＲＳ波、Ｔ波、Ｕ波と呼ばれる。特に、ＱＲＳ波は、鋭角なピークとして検出され、ピーク開始点であるＱ波、ピーク頂点であるＲ波、ピーク終了点であるＳ波を含む。Ｐ波からＵ波までの各波形一回分は、心拍一回分に対応する。Ｒ波から次のＲ波までの間隔として算出されるＲ－Ｒインターバル２ａは、心拍の時間間隔を示す心拍間隔に対応する。検出部１１０は、検出した心拍信号のデータを心拍信号データとして生成部１２０に出力する。
　生成部１２０は、被験者の心拍信号データに基づき、心拍間隔の変化を示す心拍間隔変動データを生成する。以下において、生成部１２０が実行する処理を詳細に説明する。生成部１２０は、検出部１１０により入力された心拍信号データから心拍間隔を算出する。図３は、生成部が心拍間隔を算出する処理を説明するための図である。図３の横軸は時間の経過を示し、縦軸は心電の強さを示す。
　図３に示すように、生成部１２０は、心拍信号の振幅が閾値以上となる振幅ピークをＲ波として検出する。そして、生成部１２０は、Ｒ波を検出するごとに、検出した各Ｒ波の出現時間から心拍間隔３ａを算出する。なお、振幅ピークの検出方法は、上述の方法に限定されるものではない。例えば、生成部１２０は、心拍信号の微分係数が正から負に変わるゼロクロス点を用いる方法や、振幅波形につきパターンマッチングを行って振幅ピークを検出する方法などを用いても良い。
　生成部１２０は、算出した心拍間隔に基づいて、心拍間隔の時間経過による変化を示す心拍間隔変動データを生成する。図４は、生成部により生成される心拍間隔変動データの一例を示す図である。図４の横軸は時間の経過を示し、縦軸は心拍間隔を示す。図４に示すように、例えば、算出部１３０は、算出した心拍間隔とＲ波の検出時間とを対応づけた心拍間隔変動データを生成する。
　算出部１３０は、被験者の覚醒度を示す特徴量を算出する。例えば、算出部１３０は、心拍間隔変動データに対して周波数解析を行うことで、周波数ごとのスペクトル密度を算出する。例えば、算出部１３０は、Auto　Regressive（ＡＲ）モデルを用いてスペクトル密度を算出する。ＡＲモデルは、非特許文献（佐藤俊輔、吉川昭、木竜徹、“生体信号処理の基礎”、コロナ社）などに開示されているように、ある時点の状態を過去の時系列データの線形和で表すモデルである。ＡＲモデルは、フーリエ変換と比較して少ないデータ数でも明瞭な極大点が得られるという特徴がある。
　例えば、時系列ｘ（ｓ）のｐ次のＡＲモデルは、過去の値に対する重みであるＡＲ係数ａ（ｍ）及び誤差項ｅ（ｓ）を用いて以下の式（１）によって表される。なお、理想的には、ｅ（ｓ）は、ホワイトノイズである。
Figure JPOXMLDOC01-appb-M000001
　そして、ｐを同定次数、ｆｓをサンプリング周波数、εｐを同定誤差とし、以下に示す（２）をｋ次のＡＲ係数とする。
Figure JPOXMLDOC01-appb-M000002
　この場合、スペクトル密度ＰＡＲ（ｆ）は、以下の式（３）によって表される。
Figure JPOXMLDOC01-appb-M000003
　算出部１３０は、式（３）及び心拍間隔変動データに基づいて、スペクトル密度を算出する。なお、スペクトル密度の算出方法は、上述の方法に限定されるものではない。例えば、算出部１３０は、フーリエ変換を用いることでスペクトル密度を算出しても良い。
　算出部１３０は、スペクトル密度を算出するごとに、周波数ごとのスペクトル密度を示すスペクトル密度データを生成する。図５は、算出部により生成されるスペクトル密度データの一例を示す図である。図５の横軸は周波数を示し、縦軸はスペクトル密度を示す。
　ところで、スペクトル密度には、周波数帯域に次のような特徴がある。図６は、周波数帯域の特徴を説明するための図である。図６の横軸は周波数を示し、縦軸はスペクトル密度を示す。例えば、０．０５～０．１５Ｈｚ近辺の領域に現れるスペクトル密度の成分は、交感神経の活動状態を反映するLow　Frequency（ＬＦ）成分である。また、例えば、０．１５～０．４Ｈｚ近辺の領域に現れるスペクトル密度の成分は、副交感神経の活動状態を反映するHigh　Frequency（ＨＦ）成分である。
　算出部１３０は、スペクトル密度データのスペクトル密度が極大となる極大点を取得する。例えば、算出部１３０は、以下の（４）式となる周波数ｆを極大点の周波数として算出し、この極大点の周波数を式（３）に代入することによって極大点のスペクトル密度を算出する。
Figure JPOXMLDOC01-appb-M000004
　算出部１３０は、ＨＦ成分に含まれる極大点を取得する。図５に示す例では、算出部１３０は、極大点５を取得する。なお、以下の説明では、極大点の周波数を「極大周波数」と表記し、極大点のスペクトル密度を「極大スペクトル密度」と表記する。一方、極大点が複数存在する場合、次のように極大点を選択する。図７は、極大点が複数存在する一例を示す図である。図７の横軸は周波数を示し、縦軸はスペクトル密度を示す。図７に示す例では、４つの極大点５ａ、５ｂ、５ｃ、５ｄが存在する。算出部１３０は、４つの極大点５ａ、５ｂ、５ｃ、５ｄを取得する。
　算出部１３０は、取得した極大点５ａ、５ｂ、５ｃ、５ｄのうち、ＨＦ成分に含まれる極大点を１つ選択する。図７に示すように、ＨＦ成分に極大点が複数含まれる場合には、算出部１３０は、最も周波数が低い極大点５ｂを選択する。これは、ＨＦ成分に含まれる極大点のうち低周波側の極大点は、呼吸の状態を反映するからである。これに対して、高周波側の極大点は、呼吸の状態を反映するものの、呼吸以外、例えば、体動によっても影響を受けてしまう。一般的に、眠気が強い非覚醒時には、被験者の呼吸がゆるやかになるため、呼吸の状態をよりよく反映する成分の極大点を選択することで、被験者の眠気をより正確に判定できると考えられる。
　ところで、心拍間隔変動データにより示される心拍間隔の変化には、副交感神経の他にも交感神経活動や体動等によるノイズ等の成分が含まれる。例えば、ストレスや眠気との格闘によって交感神経活動が活性化されＬＦ成分が増大する状態や、体動などによるノイズ成分が増えた状態では、それらの成分の影響によって、極大点が不明確になり、眠気指標値を得られないことがある。図８は、極大点が不明確な状態のスペクトル密度データの一例を示す図である。図８の横軸は周波数を示し、縦軸はスペクトル密度を示す。図８の例では、スペクトル密度の変化がなだらかな状態となり、極大点が存在しない。このようなスペクトル密度の変化がなだらかな状態は、被験者がなんらかの特定の状態にある場合に現れるわけではなく、被験者の状態との因果関係を見いだせない。そして、このようなスペクトル密度の変化がなだらかな状態となった場合は、極大点が存在しないため、被験者の眠気の状態を判定できない。
　そこで、算出部１３０は、算出されたスペクトル密度のＨＦ成分に極大点が存在しない場合に、バンドパスフィルタを適用してスペクトル密度を算出する。例えば、算出部１３０は、心拍間隔変動データに対して、所定幅の周波数を通過させるバンドパスフィルタを周波数帯域を変えつつそれぞれの周波数帯域に適用し、バンドパスフィルタを適用した周波数帯域毎にスペクトル密度を算出する。
　バンドパスフィルタは、ピークが不明瞭なスペクトルに対して、適切に適用するとスペクトルのパワーが大きくなり、一方、外れているとパワーが小さくなるという傾向がある。このため、算出部１３０は、バンドパスフィルタを適用してスペクトル密度を算出する。これにより、スペクトル密度のピークが検出しやすくなる。このバンドパスフィルタは、通過する周波数幅が、覚醒度の変化に応じて後述の特徴点が変化する周波数分の幅とすることが好ましい。覚醒度の変化に応じて後述の特徴点は、０．１～０．２Ｈｚ程度変化する。本実施例では、バンドパスフィルタの通過する周波数幅を０．２Ｈｚとするが、これに限定されものではない。バンドパスフィルタの通過する周波数幅は、覚醒度判定装置１００を利用する者が任意の値に設定しても良い。
　また、算出部１３０は、バンドパスフィルタを適用する周波数帯域の一部を重複させて周波数帯域毎にスペクトル密度を算出する。例えば、算出部１３０は、心拍間隔変動データに対して、バンドパスフィルタの通過する周波数幅よりも小さい刻み幅でＨＦ成分の周波数範囲について適用する帯域を変えてバンドパスフィルタを適用してスペクトル密度を算出する。本実施例では、バンドパスフィルタの通過する周波数幅０．２Ｈｚよりも小さい０．０１Ｈｚを刻み幅とするが、これに限定されるものではない。バンドパスフィルタの刻み幅は、覚醒度判定装置１００を利用する者が任意の値に設定しても良い。算出部１３０は、ＨＦ成分の周波数範囲について、０．０１Ｈｚずつスライドさせてバンドパスフィルタを適用してスペクトル密度を算出する。図９は、バンドパスフィルタを適用してスペクトル密度を算出する処理を説明するための図である。図９の横軸は周波数を示し、縦軸はスペクトル密度を示す。図９の例は、０．２８～０．５Ｈｚの周波数範囲について、通過する周波数幅が０．２Ｈｚのバンドパスフィルタを０．０１Ｈｚの刻み幅で適用してスペクトル密度を算出した結果を示す。
　特定部１４０は、特徴点を特定する。例えば、特定部１４０は、算出部１３０により算出された各周波数帯域のスペクトル密度がピークとなる特徴点を特定する。図９の例では、特定部１４０は、算出された各周波数帯域のスペクトル密度を比較して、ＨＦ成分の周波数範囲でスペクトル密度がピークとなる特徴点を特定する。なお、特徴点の特定方法は、上述の方法に限定されるものではない。例えば、特定部１４０は、算出部１３０により算出された各周波数帯域毎のスペクトル密度の各最大値をスプライン補間などの補間により補間してスペクトル密度がピークとなる特徴点を特定する方法などを用いても良い。
　算出部１３０は、ＨＦ成分に含まれる極大点が取得できた場合、取得した極大点における極大周波数及び極大スペクトル密度を特徴量として算出する。また、算出部１３０は、極大点より一定の高さＬにおけるスペクトル波形の幅Ｐｗの値を取得する。この高さＬは、固定値としてもよく、半値幅などピークの高さの所定の割合としてもよい。また、高さＬは、覚醒度判定装置１００を利用する者が任意の値に設定しても良い。一方、算出部１３０は、ＨＦ成分に含まれる極大点が取得できなかった場合、バンドパスフィルタを適用して各周波数帯域毎に算出したスペクトル密度のピークとなる特徴点における極大周波数及び極大スペクトル密度を特徴量として算出する。また、算出部１３０は、各周波数帯域毎に算出したスペクトル密度の各最大値をスプライン補間などの補間により補間し、スペクトル密度のピークとなる特徴点より一定の高さＬにおけるスペクトル波形の幅Ｐｗの値を取得する。図１０は、極大周波数、極大スペクトル密度、スペクトル波形の幅の一例を示す図である。図１０の横軸は周波数を示し、縦軸はスペクトル密度を示す。図１０の例では、極大周波数がＰＦとして示され、極大スペクトル密度がＰＨとして示され、極大点より一定の高さＬにおけるスペクトル波形の幅がＰＷとして示されている。
　図１１は、極大周波数を時系列で表した図である。図１１の横軸は時間の経過を示し、縦軸は周波数を示す。図１２は、極大スペクトル密度を時系列で表した図である。図１２の横軸は時間の経過を示し、縦軸はスペクトル密度を示す。算出部１３０が１０秒間隔でスペクトル密度データを算出する場合には、図１１及び図１２に示す時系列方向の点の間隔は１０秒間隔である。図１１及び図１２に示すように、算出部１３０は、一定時間ごとに極大周波数及び極大スペクトル密度を算出する。
　図１の説明に戻る。推定部１５０は、覚醒時の特徴量と非覚醒時の特徴量との間の相関関係に基づいて、算出部１３０により算出された特徴量から非覚醒時の特徴量を推定する。例えば、推定部１５０は、極大周波数及び極大スペクトル密度が、覚醒時と非覚醒時とで相関することを用いて、運転開始から数分間の値から非覚醒時の値を推定する。ここで、運転開始から数分間の値を用いるのは、この時間帯には運転者は起きていると考えられるので、覚醒時の特徴量を確実に取得できるからである。
　ここで、推定部１５０が用いる相関関係について説明する。図１３は、覚醒時の極大周波数と非覚醒時の極大周波数との相関関係を示す図である。図１３の横軸は非覚醒時の極大周波数を示し、縦軸は覚醒時の極大周波数を示す。図１４は、覚醒時の極大スペクトル密度と非覚醒時の極大スペクトル密度との相関関係を示す図である。図１４の横軸は非覚醒時の極大スペクトル密度を示し、縦軸は覚醒時の極大スペクトル密度を示す。
　図１３及び図１４は、ドライビングシミュレータを用いて被験者の心拍信号を取得する実験を行った実験結果の一例である。図１３及び図１４に示すように、各被験者の覚醒時の値と非覚醒時の値とをプロットすると、回帰直線が得られる。この実験結果は、極大周波数及び極大スペクトル密度が覚醒時と非覚醒時とで相関することを示す。なお、図１３及び図１４に示す例では、極大周波数の相関係数は０．７８であり、極大スペクトル密度の相関係数は０．８５である。
　例えば、推定部１５０は、極大周波数及び極大スペクトル密度を算出部１３０から取得する。被験者のスケールが設定されていない場合には、推定部１５０は、取得した極大周波数及び極大スペクトル密度を基準点として設定する。推定部１５０は、設定した基準点の極大周波数及び極大スペクトル密度を、図１３及び図１４に示した回帰直線の式に代入することで、非覚醒時の極大周波数及び極大スペクトル密度を算出する。そして、推定部１５０は、算出した非覚醒時の極大周波数及び極大スペクトル密度を推定点とし、基準点と推定点とを設定部１６０に出力する。一方、被験者のスケールが設定されている場合には、推定部１５０は、取得した極大周波数及び極大スペクトル密度を拡張部２１０に出力する。
　また、推定部１５０は、後述する補正部２００により基準点が補正された場合には、補正後の基準点を用いて推定点を推定する。そして、推定部１５０は、基準点と推定点とを設定部１６０に出力する。
　設定部１６０は、算出部１３０により算出された特徴量から推定部１５０により推定された特徴量までの範囲を覚醒度の指標として設定する。例えば、設定部１６０は、基準点から推定点までの間で周波数及びスペクトル密度が変化しうる範囲を覚醒度の指標となるスケールとして設定する。
　ここで、設定部１６０により設定されるスケールについて説明する。図１５は、設定部により設定されるスケールの一例を示す図である。図１５の横軸は周波数を示し、縦軸はスペクトル密度を示す。図１５に示す例では、スケール１０ａは、眠気方向１０ｂに示すように、右上ほど眠気がなく、左下ほど眠気が強くなるように設定される。この場合、スケール１０ａは、右上から左下へと５つの領域に分割され、５つの領域それぞれに５段階の眠気レベルが割り当てられる。つまり、スケール１０ａにより判定される眠気レベルは、レベル１からレベル５の順に眠気が強くなり、覚醒度が低くなる。設定部１６０は、図１５に示すように、正規化されたスケール１０ａを保持する。設定部１６０により設定されるスケールのデータは、例えば、スケール内の各領域の境界を示す式と眠気レベル値とを含むデータである。なお、図１５では、正規化されたスケール１０ａの各領域の幅が等間隔である場合を説明したが、これに限定されるものではない。例えば、正規化されたスケール１０ａの各領域の幅は、眠気レベルが高くなるほど狭くなるように調整されても良い。また、スケールのデータは、上述の構成に限定されるものではなく、例えば、基準点の周波数及びスペクトル密度と、推定点の周波数及びスペクトル密度とで構成されても良い。
　続いて、設定部１６０がスケールを設定する処理を説明する。図１６は、設定部がスケールを設定する処理を説明するための図である。図１６の横軸は周波数を示し、縦軸はスペクトル密度を示す。図１６に示すように、設定部１６０は、基準点１１ａの値と推定点１１ｂの値とを用いて、正規化されたスケール１１ｃを設定する。例えば、設定部１６０は、基準点１１ａの周波数に正規化されたスケール１１ｃの周波数の最大値を対応させる。設定部１６０は、基準点１１ａのスペクトル密度に正規化されたスケール１１ｃのスペクトル密度の最小値を対応させる。設定部１６０は、推定点１１ｂの周波数に正規化されたスケール１１ｃの周波数の最小値を対応させる。設定部１６０は、推定点１１ｂのスペクトル密度に正規化されたスケール１１ｃのスペクトル密度の最大値を対応させる。設定部１６０は、対応させたスケール１１ｃを５等分し、眠気レベルに対応する各領域を設定する。設定部１６０は、設定したスケール１１ｃの各領域の境界を示す式を算出することで、被験者のスケール１１ｃを設定する。そして、設定部１６０は、設定したスケールを記憶部１７０に格納する。
　図１の説明に戻る。記憶部１７０は、設定部１６０により設定された覚醒度の指標を記憶する。例えば、記憶部１７０は、設定部１６０により設定された被験者のスケールを、被験者を識別する識別情報に対応付けて記憶する。
　判定部１８０は、算出部１３０により算出された特徴量と、設定部１６０により設定された覚醒度の指標とを比較することで、被験者の覚醒度を判定する。例えば、判定部１８０は、被験者による識別情報の入力を受け付けて、識別情報に対応するスケールを記憶部１７０から読み出す。そして、判定部１８０は、算出部１３０により算出された極大点がスケールのどの領域に含まれるかを判定する。具体的には、例えば、判定部１８０は、スケールの各領域を表す式に極大点の極大周波数及び極大スペクトル密度を代入することで、算出された極大点が含まれる領域を判定する。そして、判定部１８０は、極大点が含まれると判定された領域に応じて、被験者の眠気レベルを判定する。なお、識別情報の受け付け方法は、上述の方法に限定されるものではない。例えば、判定部１８０は、現在の被験者を撮影したカメラ画像から識別情報を取得する方法や、心拍信号のうち個人に特徴的な領域を用いて判定する方法などを利用しても良い。
　また、判定部１８０は、算出部１３０により算出された特徴量および判定された眠気レベルを用いて被験者の状態や危険度を判定する。例えば、判定部１８０は、算出部１３０により算出された極大周波数、極大スペクトル密度、スペクトル波形の幅を前の時間に算出された極大周波数、極大スペクトル密度、スペクトル波形の幅と比較して被験者の状態を判定する。比較する前の時間は、直近であってもよく、数個前に算出されたものでもよく、数秒から数分など一定時間前としてもよい。また、比較する前の時間は、この例示に限定されるものではなく、覚醒度判定装置１００を利用する者が任意の値に設定しても良い。例えば、判定部１８０は、極大周波数が前の時間の極大周波数以下であり、極大スペクトル密度が前の時間の極大スペクトル密度以下、かつ、スペクトル波形の幅が増加している場合、被験者が眠気との格闘状態と判定する。また、判定部１８０は、極大周波数が前の時間の極大周波数以下であるが、極大スペクトル密度が前の時間の極大スペクトル密度以下では無い、またはスペクトル波形の幅が増加していない場合、被験者が眠気状態と判定する。また、判定部１８０は、極大周波数が前の時間の極大周波数以下ではなく、極大スペクトル密度が前の時間の極大スペクトル密度以上、かつ、スペクトル波形の幅が減少している場合、被験者が集中状態と判定する。また、判定部１８０は、極大周波数が前の時間の極大周波数以下ではないが、極大スペクトル密度が前の時間の極大スペクトル密度よりも増加していない、または、スペクトル波形の幅が減少していない場合、被験者が覚醒状態と判定する。
　判定部１８０は、判定の結果、被験者が眠気との格闘状態である場合、眠気レベルの変化を判定し、眠気レベルが増加した場合、眠気との格闘によっても覚醒効果が出ていないと判断し、危険度を最も危険な状態である５と判定する。また、判定部１８０は、被験者が眠気との格闘状態であり、眠気レベルが低下した場合、眠気との格闘によって覚醒効果があったとし、危険度を１と判定し、眠気レベルが変わっていなければ、眠気との格闘状態維持として、危険度を２と判定する。また、判定部１８０は、被験者が眠気状態である場合、極大周波数及び極大スペクトル密度の変化に基づいて所定時間前からの眠気レベルの高い方向への推移量を求める。この所定時間は、例えば１０秒とする。この所定時間は、この例示に限定されるものではなく、覚醒度判定装置１００を利用する者が任意の値に設定しても良い。判定部１８０は、推移量が所定量以上か判定し、推移量が所定量以上である場合、眠気方向への変化が早いとし危険度を４と判定し、推移量が所定量以下であった場合は、危険度を３と判定する。そして、判定部１８０は、判定結果を出力部２２０に出力する。
　受付部１９０は、算出部１３０により算出された特徴量を補正する指示を被験者から受け付ける。例えば、受付部１９０は、タッチパネルに対応する。例えば、受付部１９０は、推定部１５０が基準点を設定すると、被験者に対して現在の眠気レベルを問い合わせる。そして、受付部１９０は、例えば、被験者から受け付けた現在の眠気レベルが「１」でない場合には、受け付けた被験者の現在の眠気レベルを補正部２００に出力する。一方、受付部１９０は、被験者から受け付けた現在の眠気レベルが「１」であるか、被験者から所定の時間内に現在の眠気レベルを受け付けなかった場合には、処理を終了し、推定部１５０が基準点を再び設定するまで待機する。
　補正部２００は、受付部１９０により受け付けられた指示に基づいて、覚醒度の指標の基準となる特徴量を補正する。例えば、補正部２００は、受付部１９０から受け付けた被験者の現在の眠気レベルに応じて、推定部１５０により設定された基準点の極大周波数及び極大スペクトル密度にそれぞれ所定の値を加算することで、基準点を移動させる。そして、補正部２００は、移動させた基準点を補正後の基準点として設定する。ここで、極大周波数に加算される所定の値は、例えば、「０．０２」であり、極大スペクトル密度に加算される所定の値は、例えば、「－０．２」である。所定の値については、これらの例示に限定されるものではなく、覚醒度判定装置１００を利用する者が被験者の現在の眠気レベルに応じて任意の値に設定しても良い。
　図１７は、補正部が基準点を補正する処理を説明するための図である。図１７の横軸は周波数を示し、縦軸はスペクトル密度を示す。図１７に示すように、補正部２００は、例えば、被験者の現在の眠気レベルが「２」である場合には、基準点１２ａの極大周波数に「０．０２」を加算し、極大スペクトル密度に「－０．２」を加算することで、基準点１２ａを基準点１２ｂに移動させる。そして、補正部２００は、基準点１２ｂを補正後の基準点として設定する。なお、基準点１２ｂに基づいて推定された推定点は、推定点１２ｃである。また、基準点１２ｂと推定点１２ｃに基づいて設定されたスケールは、スケール１２ｄである。
　なお、補正部２００が基準点を補正するのは、被験者の眠気レベルが「１」であると考えられる時点の特徴量を用いて基準点を設定しているものの、必ずしもこの時点の被験者の眠気レベルが「１」であるとは限らないからである。例えば、被験者が眠気を感じている状態で運転を開始すると、推定部１５０は、眠気レベルが「１」でない時点で算出された極大周波数及び極大スペクトル密度を基準点として誤って設定し、さらには誤った基準点を用いて推定点を推定してしまう。このため、補正部２００は、推定点を正確に推定するために、被験者の現在の眠気レベルを受付部１９０から受け付けることで、誤って設定された基準点を補正する。
　拡張部２１０は、算出部１３０により算出された特徴量が予め設定された覚醒度の指標の範囲外である場合に、覚醒度の指標を拡張する。例えば、拡張部２１０は、算出部１３０により算出された極大周波数及び極大スペクトル密度を推定部１５０から取得すると、取得した値が記憶部１７０に記憶された被験者のスケール外であるか否かを判定する。
　取得した値がスケール外である場合には、拡張部２１０は、取得した値とスケールとの距離が閾値以上であるか否かを判定する。距離が閾値以上でない場合には、拡張部２１０は、被験者のスケールを拡張し、拡張したスケールを記憶部１７０に格納する。一方、距離が閾値以上である場合には、拡張部２１０は、再び極大周波数及び極大スペクトル密度を取得するまで待機する。なお、ここで用いられる閾値は、心拍信号解析時のエラーを除外するための値であり、例えば、極大周波数の値に対して閾値を０．１とする。これはスケールに対して、極大周波数の値が０．１以上外れている場合、異なる極大点を検出していると判断するためである。閾値については、この例示に限定されるものではなく、覚醒度判定装置１００を利用する者が任意の値に設定しても良い。
　拡張部２１０がスケールを拡張する処理について説明する。例えば、拡張部２１０は、予め設定されたスケールがスケール外の値を含むようにスケールの各辺を移動させる。そして、拡張部２１０は、各辺に対して正規化したスケールを当てはめてスケールを設定することで、スケールを全体的に拡張する。図１８は、拡張部がスケールを全体的に拡張する処理を説明するための図である。図１８の横軸は周波数を示し、縦軸はスペクトル密度を示す。図１８に示すように、拡張部２１０は、予め設定されたスケール１３ａがスケール外の値１３ｂを含むようにスケール１３ａの上辺と右辺とを移動させる。そして、拡張部２１０は、各辺に対して正規化したスケールを当てはめてスケール１３ｃを設定することで、スケール１３ａを全体的に拡張する。
　また、例えば、拡張部２１０は、予め設定されたスケールのうち、スケール外の値に近い領域のみを部分的に拡張する。図１９は、拡張部がスケールを部分的に拡張する処理を説明するための図である。図１９の横軸は周波数を示し、縦軸はスペクトル密度を示す。図１９に示すように、例えば、拡張部２１０は、スケール１４ａの右上方向にスケール外の値１４ｂが存在する場合には、スケール外の値１４ｂに対してレベル１の領域のみを拡張する。また、例えば、拡張部２１０は、スケール１４ａの左下方向にスケール外の値１４ｃが存在する場合には、スケール外の値１４ｃに対してレベル５の領域のみを拡張する。
　なお、拡張部２１０がスケールを拡張するのは、算出部１３０により算出された極大周波数及び極大スペクトル密度がスケール外である場合には、判定部１８０が眠気レベルを判定できないからである。このため、拡張部２１０は、算出された極大周波数及び極大スペクトル密度がスケール外であっても、眠気レベルを判定するために、スケールを拡張する。
　出力部２２０は、判定部１８０により判定された判定結果を出力する。出力部２２０は、例えば、モニタやスピーカなどに対応する。なお、出力部２２０は、車両のシステムに出力を行うものとしても良い。出力部２２０は、被験者の覚醒度や、被験者の状態、危険度に応じて各種の出力を行う。例えば、出力部２２０は、被験者の覚醒度が低下した場合や、被験者が眠気との格闘状態である場合、危険度が３の場合、モニタ等により被験者や被験者の周囲の者などに報知する。また、出力部２２０は、被験者がより危険な被験者が眠気状態である場合や、危険度が４以上の場合、スピーカーから警告音を発生させて報知する。また、出力部２２０は、最も危険な危険度が５の場合、車両のシステムに車両の停止を促す信号を出力して車両を停止させる。
［処理の流れ］
　次に、本実施例に係る覚醒度判定装置１００により特徴点を特定する特定処理の流れを説明する。図２０は、特定処理の手順を示すフローチャートである。この特定処理は、例えば、覚醒度判定装置１００を搭載した車両のシステムが起動したことを契機として実行される。
　図２０に示すように、生成部１２０は、検出部により検出される心拍信号データを一定時間検出し、心拍間隔の変化を示す心拍間隔変動データを生成する（ステップＳ１００）。算出部１３０は、心拍間隔変動データに対して周波数解析を行い、周波数ごとのスペクトル密度を算出する（ステップＳ１０１）。
　算出部１３０は、算出したスペクトル密度のＨＦ成分に極大点が存在するか判定する（ステップＳ１０２）。極大点が存在する場合（ステップＳ１０２肯定）、算出部１３０は、スペクトル密度が極大となる極大点のうち、ＨＦ成分に含まれる極大点を１つ選択する（ステップＳ１０３）。つまり、算出部１３０は、スペクトル密度を算出するごとに、周波数ごとのスペクトル密度を示すスペクトル密度データを生成し、スペクトル密度データのスペクトル密度が極大となる極大点のうち、ＨＦ成分に含まれる極大点を１つ選択する。算出部１３０は、選択した極大点での特徴量を算出する（ステップＳ１０４）。すなわち、算出部１３０は、選択した極大点での極大周波数、極大スペクトル密度を算出する。また、算出部１３０は、選択した極大点より一定の高さＬにおけるスペクトル波形の幅を算出する。
　一方、極大点が存在しない場合（ステップＳ１０２否定）、算出部１３０は、心拍間隔変動データに対して、周波数帯域を変えつつそれぞれの周波数帯域にバンドパスフィルタを適用して周波数帯域毎にスペクトル密度を算出する（ステップＳ１０５）。特定部１４０は、算出部１３０により算出された各周波数帯域のスペクトル密度がピークとなる特徴点を特定する（ステップＳ１０６）。算出部１３０は、スペクトル密度のピークとなる特徴点での特徴量を算出する（ステップＳ１０７）。すなわち、算出部１３０は、スペクトル密度のピークとなる特徴点での極大周波数、極大スペクトル密度を算出する。また、算出部１３０は、スペクトル密度のピークとなる特徴点より一定の高さＬにおけるスペクトル波形の幅を算出する。
　算出部１３０は、処理終了が指示されたか否かを判定する（ステップＳ１０８）。例えば、車両のシステムから処理終了が指示された場合（ステップＳ１０８肯定）、処理を終了する。一方、処理終了が指示されていない場合（ステップＳ１０８否定）、上記ステップＳ１００へ移行する。
　次に、本実施例に係る覚醒度判定装置１００により眠気レベルを判定する眠気レベル判定処理の流れを説明する。図２１は、眠気レベル判定処理の手順を示すフローチャートである。この眠気レベル判定処理は、例えば、算出部１３０により特徴量を算出される毎に実行される。
　図２１に示すように、推定部１５０は、算出部１３０により算出された極大周波数及び極大スペクトル密度を算出部１３０から取得する（ステップＳ１１０）。推定部１５０は、被験者のスケールが設定されているか否か判定する（ステップＳ１１１）。被験者のスケールが設定されていない場合には（ステップＳ１１１否定）、推定部１５０は、取得した極大周波数及び極大スペクトル密度をスケールの基準点として設定する（ステップＳ１１２）。
　推定部１５０は、被験者による眠気レベルの補正を受け付けたか否か判定する（ステップＳ１１３）。被験者による眠気レベルの補正を受け付けなかった場合（ステップＳ１１３否定）、推定部１５０は、非覚醒時における極大周波数及び極大スペクトル密度を推定する（ステップＳ１１４）。つまり、受付部１９０が被験者から受け付けた現在の眠気レベルが「１」であるか、被験者から所定の時間内に現在の眠気レベルを受け付けなかった場合には、設定した基準点の値を回帰直線の式に代入することで非覚醒時の値を算出し、算出した値を推定点とする。そして、推定部１５０は、基準点と推定点とを設定部１６０に出力する。
　設定部１６０は、推定部１５０から受け付けた基準点と推定点とに基づいて、スケールを設定する（ステップＳ１１５）。つまり、設定部１６０は、推定部１５０から受け付けた基準点１１ａと推定点１１ｂの極大周波数及び極大スペクトル密度から、覚醒時から非覚醒時にかけて変化する周波数及びスペクトル密度の変化量を算出する。設定部１６０は、算出した周波数及びスペクトル密度の変化量に正規化されたスケール１０ａを対応させることで、被験者のスケールを設定する。そして、設定部１６０は、設定したスケールを記憶部１７０に格納する。
　判定部１８０は、算出部１３０により算出された極大周波数及び極大スペクトル密度と、スケールとを比較することで、被験者の覚醒度を判定する（ステップＳ１１６）。つまり、判定部１８０は、算出部１３０により算出された極大周波数及び極大スペクトル密度が含まれるスケールの領域に応じて、被験者の眠気レベルを判定する。
　一方、被験者による眠気レベルの補正を受け付けた場合には（ステップＳ１１３肯定）、推定部１５０は、スケールの基準点を補正し（ステップＳ１１７）、ステップＳ１１４に移行する。つまり、補正部２００は、受付部１９０から受け付けた被験者の現在の眠気レベルに応じて、推定部１５０により設定された基準点の極大周波数及び極大スペクトル密度にそれぞれ所定の値を加算することで、基準点を移動させる。そして、補正部２００は、移動させた基準点を補正後の基準点として設定する。
　一方、被験者のスケールが設定されている場合には（ステップＳ１１１肯定）、推定部１５０は、取得した極大周波数及び極大スペクトル密度を拡張部２１０に出力する。
　拡張部２１０は、算出部１３０により算出された極大周波数及び極大スペクトル密度を推定部１５０から取得すると、取得した値が記憶部１７０に記憶された被験者のスケール外であるか否かを判定する（ステップＳ１１８）。取得した値がスケール外である場合には（ステップＳ１１８肯定）、拡張部２１０は、取得した値とスケールとの距離が閾値以上であるか否かを判定する（ステップＳ１１９）。距離が閾値以上でない場合には（ステップＳ１１９否定）、拡張部２１０は、被験者のスケールを拡張し（ステップＳ１２０）、ステップＳ１１６に移行する。
　一方、距離が閾値以上である場合には（ステップＳ１１９肯定）、拡張部２１０は、処理を終了し、再び極大周波数及び極大スペクトル密度を取得するまで待機する。
　一方、取得した値がスケール外でない場合には（ステップＳ１１８否定）、拡張部２１０は、ステップＳ１１６に移行する。
　なお、上述した処理手順のうち、基準点を補正する処理であるステップＳ１１３及びステップＳ１１７の処理は、必ずしも実行されなくても良い。つまり、ステップＳ１１２の処理を実行した後に、ステップＳ１１４の処理を実行するようにしても良い。
　また、上述した処理手順のうち、スケールを拡張する処理であるステップＳ１１８からステップＳ１２０までの各処理は、必ずしも実行されなくても良い。つまり、ステップＳ１１１の処理においてスケールが設定されていると判定された場合に、ステップＳ１１６の処理を実行するようにしても良い。
　次に、本実施例に係る覚醒度判定装置１００により危険度を判定する危険度判定処理の流れを説明する。図２２は、危険度判定処理の手順を示すフローチャートである。この危険度判定処理は、例えば、算出部１３０により特徴量を算出される毎に実行される。
　図２２に示すように、判定部１８０は、算出部１３０から算出された極大周波数、極大スペクトル密度、スペクトル波形の幅を取得する（ステップＳ１３０）。判定部１８０は、算出部１３０により算出された極大周波数が前の時間に算出された極大周波数以下であるか否か判定する（ステップＳ１３１）。前の時間に算出された極大周波数以下である場合（ステップＳ１３１肯定）、判定部１８０は、極大スペクトル密度が前の時間の極大スペクトル密度以下、かつ、スペクトル波形の幅が増加しているか否か判定する（ステップＳ１３２）。前の時間に算出された極大スペクトル密度以下、かつ、スペクトル波形の幅が増加している場合（ステップＳ１３２肯定）、判定部１８０は、被験者が眠気との格闘状態と判定する（ステップＳ１３３）。そして、判定部１８０は、眠気レベルが上昇しているか判定する（ステップＳ１３４）。眠気レベルが上昇している場合（ステップＳ１３４肯定）、判定部１８０は、危険度を５と判定し（ステップＳ１３５）、処理を終了する。一方、眠気レベルが上昇していない場合（ステップＳ１３４否定）、判定部１８０は、眠気レベルが低下しているか判定する（ステップＳ１３６）。眠気レベルが低下している場合（ステップＳ１３６肯定）、判定部１８０は、危険度を１と判定し（ステップＳ１３７）、処理を終了する。一方、眠気レベルが低下していない場合（ステップＳ１３６否定）、判定部１８０は、危険度を２と判定し（ステップＳ１３８）、処理を終了する。
　一方、極大スペクトル密度が前の時間に算出された極大スペクトル密度以下ではない、または、スペクトル波形の幅が増加していない場合（ステップＳ１３２否定）、判定部１８０は、被験者が眠気状態と判定する（ステップＳ１３９）。そして、判定部１８０は、眠気レベルの高い方向への推移量を求め、推移量が所定量以上か判定する（ステップＳ１４０）。推移量が所定量以上である場合（ステップＳ１４０肯定）、判定部１８０は、危険度を４と判定し（ステップＳ１４１）、処理を終了する。一方、推移量が所定量以上ではない場合（ステップＳ１４０否定）、判定部１８０は、危険度を３と判定し（ステップＳ１４２）、処理を終了する。
　一方、極大周波数が前の時間に算出された極大周波数以下ではない場合（ステップＳ１３１否定）、判定部１８０は、極大スペクトル密度が前の時間に算出された極大スペクトル密度以上、かつ、スペクトル波形の幅が減少したか否か判定する（ステップＳ１４３）。前の時間に算出された極大スペクトル密度以上、かつ、スペクトル波形の幅が減少している場合（ステップＳ１４３肯定）、判定部１８０は、被験者が集中状態と判定し（ステップＳ１４４）、処理を終了する。一方、前の時間に算出された極大スペクトル密度以上ではない、または、スペクトル波形の幅が減少していない場合（ステップＳ１４３否定）、判定部１８０は、被験者が覚醒状態と判定し（ステップＳ１４５）、処理を終了する。
　次に、本実施例１にかかる覚醒度判定装置１００の効果について説明する。本実施例１にかかる覚醒度判定装置１００は、被験者の心拍を示す心拍信号に基づき、心拍間隔の変化を示す心拍間隔変動データを生成する。覚醒度判定装置１００は、心拍間隔変動データに対して、所定幅の周波数を通過させるバンドパスフィルタを周波数帯域を変えつつそれぞれの周波数帯域に適用し、当該バンドパスフィルタを適用した周波数帯域毎にスペクトル密度を算出する。覚醒度判定装置１００は、算出された各周波数帯域のスペクトル密度がピークとなる特徴点を特定する。覚醒度判定装置１００は、特定された特徴点に基づき、被験者の覚醒度を判定する。これにより、覚醒度判定装置１００は、被験者の覚醒度を判定できる。
　また、本実施例１にかかる覚醒度判定装置１００は、バンドパスフィルタを適用する周波数帯域の一部を重複させて周波数帯域毎にスペクトル密度を算出する。ここで、周波数帯域を重複させずにバンドパスフィルタを適用してスペクトル密度を算出した場合は、適用した周波数帯域の間の帯域にスペクトル密度のピークがあると、スペクトル密度のピークの位置が判別しづらくなる。一方、覚醒度判定装置１００は、バンドパスフィルタを適用する周波数帯域の一部を重複させて周波数帯域毎にスペクトル密度を算出することにより、スペクトル密度のピークの位置を精度よく判別できる。
　また、本実施例１にかかる覚醒度判定装置１００は、覚醒度の変化に応じて特徴点が変化する周波数幅分の周波数を通過させるバンドパスフィルタを適用してスペクトル密度を算出する。これにより、覚醒度判定装置１００は、覚醒度の変化により変化が生じる周波数幅分の心拍間隔変動データを抽出できるため、特徴点の変化を精度良く検出できる。
　また、本実施例１にかかる覚醒度判定装置１００は、ＨＦ成分の周波数範囲について、周波数帯域を変えつつそれぞれの周波数帯域にバンドパスフィルタを適用してスペクトル密度を算出する。これにより、覚醒度判定装置１００は、副交感神経の状態から覚醒度の変化を精度良く判定できる。
　また、本実施例１にかかる覚醒度判定装置１００は、心拍間隔変動データからスペクトル密度を算出し、算出されたスペクトル密度に極大点が存在しない場合に、バンドパスフィルタを適用してスペクトル密度を算出する。これにより、覚醒度判定装置１００は、心拍間隔変動データから算出されたスペクトル密度に極大点が存在する場合、バンドパスフィルタを適用して特徴点を特定する処理を省略することができる。また、覚醒度判定装置１００は、心拍間隔変動データから算出されたスペクトル密度に極大点が存在しない場合、バンドパスフィルタを適用して特徴点を特定することにより、被験者の覚醒度を判定できる。
　なお、上述した検出部１１０、生成部１２０、算出部１３０、特定部１４０、推定部１５０、設定部１６０、判定部１８０、受付部１９０、補正部２００、拡張部２１０の各処理部は、例えば、次のような装置に対応する。すなわち、これらの各処理部は、Application　Specific　Integrated　Circuit（ＡＳＩＣ）やField　Programmable　Gate　Array（ＦＰＧＡ）などの集積装置に対応する。また、これらの各処理部は、Central　Processing　Unit（ＣＰＵ）やMicro　Processing　Unit（ＭＰＵ）などの電子回路に対応する。
　また、記憶部１７０は、例えば、Random　Access　Memory（ＲＡＭ）、Read　Only　Memory（ＲＯＭ）、フラッシュメモリなどの半導体メモリ素子、ハードディスクや光ディスクの記憶装置に対応する。
　ところで、図１に示した覚醒度判定装置１００の構成は一例であり、覚醒度判定装置１００は、必ずしも図１に示した各処理部を全て有していなくても良い。例えば、覚醒度判定装置１００は、生成部、算出部、特定部、判定部とを有していれば良い。
　すなわち、生成部は、被験者の心拍を示す心拍信号に基づき、心拍間隔の変化を示す心拍間隔変動データを生成する。算出部は、心拍間隔変動データに対して、所定幅の周波数を通過させるバンドパスフィルタを周波数帯域を変えつつそれぞれの周波数帯域に適用し、当該バンドパスフィルタを適用した周波数帯域毎にスペクトル密度を算出する。特定部は、算出された各周波数帯域のスペクトル密度がピークとなる特徴点を特定する。判定部は、特定された特徴点に基づき、前記被験者の覚醒度を判定することで、被験者の覚醒度を判定できる。
　以下に、本願の開示する覚醒度判定装置、覚醒度判定プログラム及び覚醒度判定方法の他の実施例について説明する。
　上述した実施例１においては、覚醒度判定装置１００が極大周波数と極大スペクトル密度とを用いて被験者の眠気レベルを判定する場合を説明したが、本発明はこれに限定されるものではない。つまり、覚醒度判定装置１００は、極大周波数と極大スペクトル密度のうちいずれか一方のみを用いて、被験者の眠気レベルを判定するようにしても良い。例えば、覚醒度判定装置１００は、被験者の心拍信号に基づいてスペクトル密度データを生成し、生成したスペクトル密度データのＨＦ成分から極大点を取得する。覚醒度判定装置１００は、極大周波数が覚醒時と非覚醒時とで相関することを利用して、取得した極大周波数から非覚醒時の極大周波数を推定する。覚醒度判定装置１００は、覚醒時から非覚醒時にかけて極大周波数が変化する範囲を、例えば５等分することで、覚醒度の指標を設定する。覚醒度判定装置１００は、被験者の心拍信号から算出される極大周波数と覚醒度の指標とを比較することで、被験者の覚醒度を判定する。
　実施例１において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。例えば、図２０に示した覚醒度判定装置１００の一連の処理は、覚醒度判定装置１００を搭載した車両のシステムが起動した後に、運転者による指示を受け付けることを契機として実行されても良い。
　また、上述文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、設定部１６０により設定されるスケールのデータは、基準点の周波数及びスペクトル密度と、推定点の周波数及びスペクトル密度とで構成されても良い。この場合、記憶部１７０には基準点及び推定点の値が格納されるので、判定部１８０は、記憶部１７０から読み出した基準点及び推定点の値に正規化されたスケールを当てはめて、スケールを再設定した後に、被験者の眠気レベルを判定する。
　また、図１に示した覚醒度判定装置１００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、覚醒度判定装置１００の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図１に示した生成部１２０～拡張部２１０のうち、いずれか又は全ての機能をサーバに持たせ、かかるサーバと覚醒度判定装置１００とがネットワークを介して協働することで、被験者の覚醒度を判定しても良い。
　また、覚醒度判定装置１００は、覚醒度判定装置１００の各機能を既知の情報処理装置に搭載することによって実現することもできる。既知の情報処理装置は、例えば、パーソナルコンピュータ、ワークステーション、携帯電話、Personal　Handy-phone　System（ＰＨＳ）端末、移動体通信端末またはPersonal　Digital　Assistant（ＰＤＡ）などの装置に対応する。
　図２３は、覚醒度判定プログラムを実行するコンピュータを示す図である。図２３に示すように、コンピュータ３００は、ユーザからデータの入力を受け付ける入力装置３０１と、モニタ３０２と、記憶媒体からプログラム等を読み取る媒体読み取り装置３０３と、他の装置とデータの授受を行うインターフェース装置３０４とを有する。また、コンピュータ３００は、各種演算処理を実行するCentral　Processing　Unit（ＣＰＵ）３０５と、各種情報を一時記憶するRandom　Access　Memory（ＲＡＭ）３０６と、ハードディスク装置３０７を有する。また、各装置３０１～３０７は、バス３０８に接続される。また、コンピュータ３００は、被験者の心拍信号を検出する心拍センサ３１０と、スピーカ３２０とがインターフェース装置３０４を介して接続される。
　ハードディスク装置３０７は、図１に示した、生成部１２０、算出部１３０、特定部１４０、推定部１５０、設定部１６０、判定部１８０、受付部１９０、補正部２００、拡張部２１０の各処理部と同様の機能を有する各種プログラムを記憶する。また、ハードディスク装置３０７は、被験者のスケールを、被験者を識別する識別情報に対応付けて記憶する。
　ＣＰＵ３０５が各種プログラムをハードディスク装置３０７から読み出してＲＡＭ３０６に展開することにより、各種プログラムは、各種プロセスとして機能する。すなわち、各種プログラムは、算出部１３０、推定部１５０、設定部１６０、判定部１８０、受付部１９０、補正部２００及び拡張部２１０の各処理部と同様の処理を実行するプロセスとして機能する。
　なお、上記の各種プログラムは、必ずしもハードディスク装置３０７に記憶されている必要はない。例えば、コンピュータが読み取り可能な記録媒体に記憶されたプログラムを、コンピュータ３００が読み出して実行するようにしても良い。コンピュータが読み取り可能な記録媒体は、例えば、ＣＤ－ＲＯＭやＤＶＤディスク、ＵＳＢメモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、Local　Area　Network（ＬＡＮ）、Wide　Area　Network（ＷＡＮ）等に接続された装置にこのプログラムを記憶させておき、コンピュータ３００がこれらからプログラムを読み出して実行するようにしても良い。
１００　覚醒度判定装置
１１０　検出部
１２０　生成部
１３０　算出部
１４０　特定部
１５０　推定部
１６０　設定部
１７０　記憶部
１８０　判定部
１９０　受付部
２００　補正部
２１０　拡張部
２２０　出力部

Claims (7)

  1. 　被験者の心拍を示す心拍信号に基づき、心拍間隔の変化を示す心拍間隔変動データを生成する生成部と、
    　前記心拍間隔変動データに対して、所定幅の周波数を通過させるバンドパスフィルタを周波数帯域を変えつつそれぞれの周波数帯域に適用し、当該バンドパスフィルタを適用した周波数帯域毎にスペクトル密度を算出する算出部と、
    　前記算出部により算出された各周波数帯域のスペクトル密度がピークとなる特徴点を特定する特定部と、
    　前記特定部により特定された特徴点に基づき、前記被験者の覚醒度を判定する判定部と、
    　を有することを特徴とする覚醒度判定装置。
  2. 　前記算出部は、前記バンドパスフィルタを適用する周波数帯域の一部を重複させて周波数帯域毎にスペクトル密度を算出する
    　ことを特徴とする請求項１に記載の覚醒度判定装置。
  3. 　前記算出部は、前記所定幅として、前記覚醒度の変化に応じて前記特徴点が変化する周波数幅分の周波数を通過させるバンドパスフィルタを適用してスペクトル密度を算出する
    　ことを特徴とする請求項１または２に記載の覚醒度判定装置。
  4. 　前記算出部は、ＨＦ成分の周波数範囲について、周波数帯域を変えつつそれぞれの周波数帯域に前記バンドパスフィルタを適用してスペクトル密度を算出する
    　ことを特徴とする請求項１または２に記載の覚醒度判定装置。
  5. 　前記算出部は、前記心拍間隔変動データからスペクトル密度を算出し、算出されたスペクトル密度に極大点が存在しない場合に、前記バンドパスフィルタを適用してスペクトル密度を算出する
    　ことを特徴とする請求項１または２に記載の覚醒度判定装置。
  6. 　コンピュータに、
    　被験者の心拍を示す心拍信号に基づき、心拍間隔の変化を示す心拍間隔変動データを生成し、
    　前記心拍間隔変動データに対して、所定幅の周波数を通過させるバンドパスフィルタを周波数帯域を変えつつそれぞれの周波数帯域に適用し、当該バンドパスフィルタを適用した周波数帯域毎にスペクトル密度を算出し、
    　算出された各周波数帯域のスペクトル密度がピークとなる特徴点を特定し、
    　特定された特徴点に基づき、前記被験者の覚醒度を判定する
    　各処理を実行させるための覚醒度判定プログラム。
  7. 　コンピュータが、
    　被験者の心拍を示す心拍信号に基づき、心拍間隔の変化を示す心拍間隔変動データを生成し、
    　前記心拍間隔変動データに対して、所定幅の周波数を通過させるバンドパスフィルタを周波数帯域を変えつつそれぞれの周波数帯域に適用し、当該バンドパスフィルタを適用した周波数帯域毎にスペクトル密度を算出し、
    　算出された各周波数帯域のスペクトル密度がピークとなる特徴点を特定し、
    　特定された特徴点に基づき、前記被験者の覚醒度を判定する
    　各処理を実行することを特徴とする覚醒度判定方法。
PCT/JP2012/057073 2012-03-19 2012-03-19 覚醒度判定装置、覚醒度判定プログラムおよび覚醒度判定方法 WO2013140525A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014505856A JP5831622B2 (ja) 2012-03-19 2012-03-19 覚醒度判定装置、覚醒度判定プログラムおよび覚醒度判定方法
EP12872173.5A EP2829230B1 (en) 2012-03-19 2012-03-19 Awaking degree determination device, awaking degree determination program, and awaking degree determination method
PCT/JP2012/057073 WO2013140525A1 (ja) 2012-03-19 2012-03-19 覚醒度判定装置、覚醒度判定プログラムおよび覚醒度判定方法
US14/479,488 US9801579B2 (en) 2012-03-19 2014-09-08 Arousal-level determining apparatus and arousal-level determining method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/057073 WO2013140525A1 (ja) 2012-03-19 2012-03-19 覚醒度判定装置、覚醒度判定プログラムおよび覚醒度判定方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/479,488 Continuation US9801579B2 (en) 2012-03-19 2014-09-08 Arousal-level determining apparatus and arousal-level determining method

Publications (1)

Publication Number Publication Date
WO2013140525A1 true WO2013140525A1 (ja) 2013-09-26

Family

ID=49222019

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/057073 WO2013140525A1 (ja) 2012-03-19 2012-03-19 覚醒度判定装置、覚醒度判定プログラムおよび覚醒度判定方法

Country Status (4)

Country Link
US (1) US9801579B2 (ja)
EP (1) EP2829230B1 (ja)
JP (1) JP5831622B2 (ja)
WO (1) WO2013140525A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016147010A (ja) * 2015-02-13 2016-08-18 日本電信電話株式会社 作業覚醒度推定装置、方法およびプログラム
EP3082928A1 (en) * 2013-12-18 2016-10-26 Koninklijke Philips N.V. System and method for enhancing sleep slow wave activity based on cardiac characteristics or respiratory characteristics
JP2017158715A (ja) * 2016-03-08 2017-09-14 富士通株式会社 眠気判定プログラム、眠気判定装置及び眠気判定方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9955925B2 (en) 2015-12-18 2018-05-01 Microsoft Technology Licensing, Llc Drowsiness onset detection
JP2018015462A (ja) * 2016-07-29 2018-02-01 富士通株式会社 眠気検知プログラム、眠気検知方法および眠気検知装置
JP6535694B2 (ja) * 2017-02-22 2019-06-26 株式会社ジンズ 情報処理方法、情報処理装置及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000300528A (ja) * 1999-04-19 2000-10-31 Japan Science & Technology Corp 水面ゆらぎ測定装置及び測定方法
JP2005535359A (ja) * 2002-02-22 2005-11-24 デイテックス−オーメダ インコーポレイテッド フォトプレスチモグラフィ信号の変動に基づく生理的パラメータの監視
WO2008065724A1 (fr) 2006-11-29 2008-06-05 Fujitsu Limited Procédé d'évaluation de niveau d'alerte et programme d'évaluation de niveau d'alerte
JP2010155072A (ja) 2008-12-01 2010-07-15 Fujitsu Ltd 覚醒度判定装置および覚醒度判定方法
WO2010140241A1 (ja) * 2009-06-04 2010-12-09 富士通株式会社 覚醒度判定装置、覚醒度判定方法および覚醒度判定プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1433417B1 (en) * 1995-05-12 2007-12-05 Seiko Epson Corporation Device for controlling a physiological state
US6748272B2 (en) * 2001-03-08 2004-06-08 Cardiac Pacemakers, Inc. Atrial interval based heart rate variability diagnostic for cardiac rhythm management system
US6702752B2 (en) 2002-02-22 2004-03-09 Datex-Ohmeda, Inc. Monitoring respiration based on plethysmographic heart rate signal
US6805673B2 (en) 2002-02-22 2004-10-19 Datex-Ohmeda, Inc. Monitoring mayer wave effects based on a photoplethysmographic signal
US6709402B2 (en) 2002-02-22 2004-03-23 Datex-Ohmeda, Inc. Apparatus and method for monitoring respiration with a pulse oximeter
US6896661B2 (en) 2002-02-22 2005-05-24 Datex-Ohmeda, Inc. Monitoring physiological parameters based on variations in a photoplethysmographic baseline signal
US6783498B2 (en) * 2002-03-26 2004-08-31 Vivometrics, Inc. Method and system for extracting cardiac parameters from plethysmographic signals
WO2007144880A2 (en) * 2006-06-13 2007-12-21 Elfi-Tech Ltd. System and method for measurement of biological parameters of a subject
WO2010082200A1 (en) * 2009-01-14 2010-07-22 Widemed Ltd. Method and system for detecting a respiratory signal
SG183435A1 (en) * 2010-03-15 2012-09-27 Singapore Health Serv Pte Ltd Method of predicting the survivability of a patient

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000300528A (ja) * 1999-04-19 2000-10-31 Japan Science & Technology Corp 水面ゆらぎ測定装置及び測定方法
JP2005535359A (ja) * 2002-02-22 2005-11-24 デイテックス−オーメダ インコーポレイテッド フォトプレスチモグラフィ信号の変動に基づく生理的パラメータの監視
WO2008065724A1 (fr) 2006-11-29 2008-06-05 Fujitsu Limited Procédé d'évaluation de niveau d'alerte et programme d'évaluation de niveau d'alerte
JP2010155072A (ja) 2008-12-01 2010-07-15 Fujitsu Ltd 覚醒度判定装置および覚醒度判定方法
WO2010140241A1 (ja) * 2009-06-04 2010-12-09 富士通株式会社 覚醒度判定装置、覚醒度判定方法および覚醒度判定プログラム
WO2010140273A1 (ja) * 2009-06-04 2010-12-09 富士通株式会社 覚醒度判定装置、覚醒度判定方法および覚醒度判定プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SATO SHUNSUKE; KIKKAWA SHO; KIRYU TOHRU: "Basics of Biosignal Processing", CORONA PUBLISHING CO., LTD.
See also references of EP2829230A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3082928A1 (en) * 2013-12-18 2016-10-26 Koninklijke Philips N.V. System and method for enhancing sleep slow wave activity based on cardiac characteristics or respiratory characteristics
JP2016147010A (ja) * 2015-02-13 2016-08-18 日本電信電話株式会社 作業覚醒度推定装置、方法およびプログラム
JP2017158715A (ja) * 2016-03-08 2017-09-14 富士通株式会社 眠気判定プログラム、眠気判定装置及び眠気判定方法

Also Published As

Publication number Publication date
JPWO2013140525A1 (ja) 2015-08-03
US9801579B2 (en) 2017-10-31
US20140378857A1 (en) 2014-12-25
EP2829230A1 (en) 2015-01-28
EP2829230B1 (en) 2019-03-20
JP5831622B2 (ja) 2015-12-09
EP2829230A4 (en) 2015-01-28

Similar Documents

Publication Publication Date Title
JP5831622B2 (ja) 覚醒度判定装置、覚醒度判定プログラムおよび覚醒度判定方法
JP5696501B2 (ja) 覚醒時データ生成装置、覚醒時データ生成方法、覚醒時データ生成プログラム及び覚醒度判定装置
JP2006020810A (ja) 睡眠状態推定装置及びプログラム
JP5929020B2 (ja) 意識状態推定装置及びプログラム
JP4701694B2 (ja) 覚醒度判定装置及び覚醒度判定方法
JP5360206B2 (ja) 覚醒度判定装置、覚醒度判定方法および覚醒度判定プログラム
JP5609985B2 (ja) 覚醒度判定装置、覚醒度判定方法及び覚醒度判定プログラム
JP6582788B2 (ja) 眠気検知装置、眠気検知方法および眠気検知プログラム
JP6379656B2 (ja) 眠気検知装置、眠気検知方法および眠気検知プログラム
JP6957011B2 (ja) 睡眠段階判定装置、睡眠段階判定方法及びプログラム
JP2015029647A (ja) 情報処理装置および情報処理方法
JP5982910B2 (ja) 解析装置、解析プログラムおよび解析方法
JP2016047305A (ja) 意識状態推定装置及びプログラム
JP6750229B2 (ja) 眠気検知プログラム、眠気検知方法および眠気検知装置
JP2010131061A (ja) 眠気検出装置
JP2018191780A (ja) 状態推定装置、情報処理装置、状態推定システム
CN109567750B (zh) 睡眠分期的确定方法、装置和计算机设备
JP6596847B2 (ja) 覚醒度判定プログラムおよび覚醒度判定装置
JP4797646B2 (ja) 覚醒度推定装置および覚醒度推定方法
JP5962751B2 (ja) 覚醒度判定装置、覚醒度判定プログラムおよび覚醒度判定方法
JP2016036540A (ja) 覚醒度判定プログラムおよび覚醒度判定装置
JP6149450B2 (ja) 呼吸情報推定装置及び方法並びにプログラム
JP2018015462A (ja) 眠気検知プログラム、眠気検知方法および眠気検知装置
JP5817525B2 (ja) 眠気検知適用性判定装置、眠気検知適用性判定方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12872173

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014505856

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2012872173

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE