JP3509839B2 - Wakefulness level estimation apparatus - Google Patents

Wakefulness level estimation apparatus

Info

Publication number
JP3509839B2
JP3509839B2 JP8144297A JP8144297A JP3509839B2 JP 3509839 B2 JP3509839 B2 JP 3509839B2 JP 8144297 A JP8144297 A JP 8144297A JP 8144297 A JP8144297 A JP 8144297A JP 3509839 B2 JP3509839 B2 JP 3509839B2
Authority
JP
Grant status
Grant
Patent type
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP8144297A
Other languages
Japanese (ja)
Other versions
JPH10272959A (en )
Inventor
洋樹 北島
仲穂 沼田
Original Assignee
三菱自動車工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/80Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
    • Y02T10/84Data processing systems or methods, management, administration

Description

【発明の詳細な説明】 【0001】 【発明の属する技術分野】本発明は運転者の瞬きに着目して該運転者の覚醒度、ひいては覚醒度低下を簡易にして確実に検出して警告を発し、運転注意力を喚起するに好適な覚醒度推定装置に関する。 DETAILED DESCRIPTION OF THE INVENTION [0001] The present invention wakefulness of the driver focusing on blinking of the driver BACKGROUND OF THE INVENTION The warning reliably detected in a simple turn of the awareness decrease issued, of the preferred awakening level estimation apparatus arouse driving attention. 【0002】 【関連する背景技術】近時、種々の情報に基づいて運転者の覚醒度を推定し、覚醒度の低下が検出されたときに警報を発する等して運転注意力を喚起するシステムが種々開発されている。 [0002] [Related Art] Recently, arouse system operating attentiveness like to give an alarm when estimating the wakefulness of the driver based on various information, reduction of wakefulness is detected There has been developed. この種の覚醒度を推定する手法の1 1 of the method for estimating this kind of alertness
つに、運転者の瞬きを評価の指標としたものがあり、例えば特開昭61−175129号公報には単位時間当たりの瞬き回数を計数して覚醒度の低下を判定する手法が開示されている。 One in, while others were used as an index of evaluating the blinking of the driver, for example, in JP 61-175129 discloses to method of determining a decrease in the degree of awakening by counting the blink count per unit time is disclosed there. しかし単位時間当たりの瞬き回数を覚醒度評価の指標とした場合、瞬きの個人差に起因する誤差が生じ易く、その推定精度を高めることができないと言う問題があった。 However, if the blink frequency per unit time was used as an indicator of arousal level evaluation, likely to occur errors due to individual differences of the blink, there is a problem that the inability to increase the estimation accuracy. 【0003】そこで本出願人は、先に特願平8−913 [0003] The present applicant Therefore, Japanese Patent Application No. earlier 8-913
24号にて出願し、また社団法人自動車技術会発行の学術講演会前刷集961(1996-5)において論文[52. Filed in the No. 24, also paper in the Society of Automotive Engineers of Japan issue of academic lecture before printing collection of 961 (1996-5) [52.
自動車運転時の覚醒度評価手法(9632415)]として発表したように、運転者の瞬き時間に着目して、覚醒度の低下を推定する手法を提唱した。 As has been announced as the arousal level evaluation method in driving (9632415)], by focusing on the blink time of the driver, it was proposed a method to estimate the decrease in alertness. この瞬き時間に着目した覚醒度の推定手法は、瞬き時間の頻度分布に基づいて、標準的な瞬きの分布時間幅とその分布幅の中心時間とから長い瞬きを判定する為の閾値(瞬き時間)を設定し、所定の期間内における瞬きの総数と上記閾値を越える長い瞬きの発生回数との比率を求め、この比率を評価することで覚醒度の低下を判定するものである。 Estimation of alertness focusing on the blink time, based on the frequency distribution of the blinking time, the threshold value (blink time for determining the long blink the distribution time width of a standard blink and the center time of the distribution width ) sets, obtains the ratio of the number of occurrences of a long blink exceeding the total number and the threshold value of blinks within a predetermined time period, it is to determine the reduction in the arousal level by evaluating this ratio. 【0004】このような手法によれば、瞬き時間や瞬きの頻度等の個人差を吸収して、その覚醒度を精度良く評価することができると言う利点がある。 [0004] According to such a method, to absorb the individual differences, such as the frequency of blinking time and blinking, there is an advantage that the arousal level can be accurately evaluated. 【0005】 【発明が解決しようとする課題】ところで覚醒度を推定する上での指標としては、上述した瞬きのみならず、例えば脳波の変化等を用いることができる。 [0005] As an indicator of in estimating the way wakefulness [0005] not only blinking described above, can be used, for example EEG changes in. しかし自動車に搭載して運転者の覚醒度を推定することを考慮すると、運転者の頭部への電極の貼付等を必要とする脳波の測定は実用性が乏しい。 However, considering that estimating the wakefulness of the driver is mounted on a vehicle, the measurement of brain waves that require sticking of the electrode to the driver's head is poor practicality. これ故、眠気の度合(覚醒度) Hence, the degree of drowsiness (alertness)
によって変化し易い運転者の頭部の前傾または後傾の頻度や、視線の移動頻度、更にはハンドル操作やウィンカー操作等の種々の運転操作の頻度等の運転者の挙動に関する情報(行動的特徴)を、運転者とは非接触に検出することが望ましいと考えられる。 And anteversion or rearward inclination of the frequency of likely driver's head varies with the movement frequency of the line of sight, more information about the behavior of the driver of the frequency, etc. of the various driving operation such as a steering wheel operation or winker operation (behavioral characterized), it may be desirable to detect the non-contact with the driver. 【0006】しかしながら、瞬き時間以外の上述した運転者の挙動に関する情報を用いて、或いはこれらの運転者の挙動に関する情報を瞬きの情報と併用して、如何にして運転者の覚醒度をより簡単に、しかも高精度に推定するかと言う点で幾つかの課題が残されている。 However, by using the information about the aforementioned behavior of the driver has a non blinking time, or in combination with information of blink information about the behavior of these driver easier an awareness of the driver to how to, yet are several challenges remain in terms of say whether estimated with high accuracy. 特に個人差の影響を受けることなく、上記運転者の挙動に関する情報(行動的特徴)を用いて覚醒度を推定するかと言う点で問題が残されている。 Especially without being affected by the individual difference, a problem in that the say or estimate alertness by using information (behavioral characteristics) on the behavior of the driver is left. 【0007】本発明はこのような事情を考慮してなされたもので、その目的は、運転者の瞬きの情報のみならず該運転者のその他の行動的特徴を用いて、該運転者の覚醒度を簡易にして効率良く、しかも高精度に推定することのできる覚醒度推定装置を提供することにある。 [0007] The present invention has been made in view of such circumstances, and its object is using other behavioral characteristics of the driver not only the information of the blinking of the driver, wakefulness of the driver efficiently by a degree in a simple, yet to provide a wakefulness estimating apparatus capable of estimating with high precision. 【0008】 【課題を解決するための手段】上述した目的を達成するべく本発明に係る覚醒度推定装置は、例えばカメラによって撮像される運転者の顔面画像から該運転者の瞬きを検出し、検出された瞬きの時間に基づいて所定時間以上の長い瞬きを検出すると共に、所定の評価期間内における瞬きの総数と長い瞬きの回数とから長い瞬きの生起比率を求める長い瞬きの生起比率算出手段を備えると共に、前記運転者の行動的特徴を示す挙動を検出する挙動検出手段を備え、覚醒度判定手段においては、前記長い瞬きの生起比率と前記運転者の行動的特徴情報との関係 [0008] [Means for Solving the Problems] above awakening level estimation apparatus according to the present invention in order to achieve the object, detects a blink from the driver's face image captured of the driver, for example, by a camera, detects a long blink of a predetermined time or longer based on the time of the detected blink, long blink occurrence ratio calculating means for calculating the occurrence percentage of long blink and a number of total and long blink of blinks within a predetermined evaluation period provided with a, the includes a behavior detection unit that detects a behavior that indicates the behavioral characteristics of the driver, in the awareness determination means, the relationship between the behavioral characteristics information of the driver and occurrence ratio of the long blink
を示す眠気予測モデルを用いた回帰分析により求められる予測式に従って該運転者の覚醒度を評価するようにしたことを特徴としている。 It is characterized in that so as to evaluate the alertness of the driver according to the prediction equation obtained by regression analysis using the sleepiness prediction model showing the. 【0009】特に前記長い瞬きを検出するに際しては、 [0009] In particular, to detect the long blink,
例えば覚醒時における運転者の瞬き時間から該運転者に固有な瞬きの基準時間[To]を求め、この基準時間を所定の割合[r%]だけ増大させた時間[Ts]を超える瞬きを長い瞬きとして検出して、所定時間内における瞬きの総数に対する長い瞬きの生起比率[Lrate]を求めるようにしている。 For example obtains a reference time [the To] the inherent blink from blinking time of the driver to the driver at the time of awakening, a long blink beyond this reference time predetermined ratio [r%] amount of time is increased [Ts] detecting and as blinking, and to obtain the long occurrence ratio of a blink [Lrate] to the total number of blinks in a predetermined time period. 一方、運転者の行動的特徴を示す挙動の情報としては、例えば運転者の視線移動を示す眼球の水平移動の標準偏差[EMH-SD]を求めるようにしている。 On the other hand, the information on the behavior shows the behavioral characteristics of the driver, for example, so as to obtain the standard deviation of the horizontal movement of the eye showing the eye movement of the driver [EMH-SD]. 【0010】そして覚醒度判定手段においては、例えば眠気予測モデルを用いた回帰分析により求められる、覚醒度と長い瞬きの生起比率[Lrate]および前記眼球 [0010] Then, in the awareness determination means, for example, it is determined by regression analysis using the sleepiness prediction model, alertness and occurrence ratio of long blink [Lrate] and the eye
水平移動の標準偏差[EMH-SD]との関係を示す予測式 Y = A + B[Lrate]+ C[EMH-SD] (A,B,Cは予測係数) に基づいて眠気予測値[Y]を算出し、この眠気予測値を所定の閾値で弁別して覚醒度を評価することを特徴としている。 Sleepiness prediction value based on the prediction equation Y = A + B showing the relationship between the standard deviation of the horizontal movement [EMH-SD] [Lrate] + C [EMH-SD] (A, B, C is the prediction coefficient) [Y ] was calculated, is characterized by evaluating the degree of awakening by discriminating the sleepiness prediction value with a predetermined threshold value. 【0011】つまり瞬きに関する情報と、眼球運動の標準偏差等の、その他の行動的特徴を示す情報とを統合して求められる重回帰モデル(眠気予測モデル)に示される予測式に従って覚醒度を推定することで、簡易にして高精度に運転者の覚醒度、ひいては覚醒度の低下を検出するようにしたことを特徴としている。 [0011] information that is related to blinking, the standard deviation or the like of the eye movement, estimating the arousal level according to a prediction formula shown regression model obtained by integrating the information indicating the other behavioral characteristics (sleepiness prediction model) doing, in the simple awareness of the driver with high accuracy, it is characterized in that to detect the lowering of the thus alertness. 【0012】 【発明の実施の形態】以下、図面を参照して本発明に係る覚醒度推定装置の一実施形態について説明する。 DETAILED DESCRIPTION OF THE INVENTION Hereinafter, a description will be given of an embodiment of a wakefulness estimating apparatus according to the present invention with reference to the drawings. 図1 Figure 1
は車両1に搭載される実施例装置の構成を概念的に示すもので、図中2は運転者Dの顔面、特に目の領域を撮像するTVカメラである。 Intended to conceptually illustrating a configuration of Example device mounted on the vehicle 1, FIG. 2 is a TV camera for imaging the face, especially eye region of the driver D. また図中3は種々の情報を画像として表示して運転者Dに提示するディスプレイ(多重情報表示装置)、4は音声メッセージや警報音等を出力するスピーカである。 The display (multiple information display device) FIG. 3 is to be presented to the driver D to display various information as an image, and 4 is a speaker for outputting such audio message or an alarm sound. これらのTVカメラ2,ディスプレイ3,スピーカ4は、例えば運転席前方のインストルメントパネルに組み込まれる。 These TV camera 2, a display 3, the speaker 4 is incorporated in, for example, in front of the driver's seat instrument panel. 【0013】この実施形態に係る覚醒度推定装置は、T [0013] wakefulness estimating apparatus according to this embodiment, T
Vカメラ2により撮像される運転者の顔面画像から該運転者の瞬きを検出して運転者の覚醒度を推定し、覚醒度の低下時に前記ディスプレイ3を介してメッセージを表示し、またスピーカ4から警報を発して運転注意力の喚起を促す役割を担う。 By detecting blinking of the driver estimates the alertness of the driver from the driver's face image captured by the V camera 2, and displays a message through the display 3 during decrease of alertness and speaker 4 play a role in promoting the evocation of operation attention to an alarm from. この装置は、例えばマイクロプロセッサを主体とする電子制御ユニット(ECU)により実現され、概略的には図2に示すように構成される。 This apparatus is realized, for example, by an electronic control unit composed mainly of a microprocessor (ECU), it is configured as shown in FIG. 2 schematically. 【0014】即ち、この覚醒度推定装置は、例えば図2 [0014] That is, the awakening level estimation apparatus, for example, FIG. 2
にその機能的なブロック構成を示すように、TVカメラ2にて撮像入力される運転者の顔面画像を画像処理部1 To to indicate a functional block configuration, the image processing unit 1 the driver's face image captured input in the TV camera 2
0にて認識処理し、例えば所定の周期で目の領域の部分画像を抽出している。 Recognizes treated with 0, for example, extracting a partial image of the eye region in a predetermined cycle. 瞬き検出部11は上記画像の経時的変化から、特に瞼の開閉を検出することで瞬きを検出している。 Blink detector 11 detects the blink by detecting the temporal change of the image, in particular the opening and closing of the eyelids. 瞬き時間計算部12は、上記瞬き検出部11 Blink time calculation unit 12, the blink detector 11
にて瞬きが検出される都度、その閉眼開始から終了までの閉眼時間で示される瞬きの時間(瞬目時間)[t]を計測している。 Blink each time to be detected, and measuring the the eye-closing start of blink indicated by the closing period to the end time (blink time) [t] at. このような瞬き時間の検出処理は、例えばタイマの管理の下で、所定の期間に亘って繰り返し実行される。 Such blinking time of the detection process, for example, under the timer control of repeatedly executed over a predetermined period of time. 【0015】瞬き基準時間計算部14は、例えば運転開始初期時のように「運転を開始する(開始した)」と言う意識が強く働いており、運転者Dが十分に覚醒状態にあると看做し得るときに、前記瞬き時間計算部12により所定の期間に亘って求められる瞬き時間[t]に基づいて、その運転者Dに固有な覚醒時における瞬きの基準時間[To]を求めている。 [0015] blink reference time calculation unit 14, for example consciousness to say that "to start the operation (started)," as at the time of operation start initial has worked strongly, seen as the driver D is in the fully awake state when can 做, on the basis of the blink time calculation unit 12 by blinking time required for a predetermined time period [t], seeking the reference time of the blink [the to] when inherent awakening the driver D there. この基準時間[To]は、前記所定の期間、例えば運転開始時の5分間における瞬き時間[t]の平均値等として算出される。 The reference time [the To], the predetermined time period is calculated for example as an average value of the blink time [t] at the start of operation 5 minutes. 【0016】長い瞬きの時間設定部15は、運転者Dの瞬きの中から、特に覚醒度の低下に伴う長い瞬きを検出する為の瞬き評価時間[Ts]を設定するもので、前記瞬き基準時間計算部14にて求められた基準時間[T The long blink time setting unit 15, from the blinking of the driver D, in particular those setting the estimated blink time for detecting a long blink with decreasing alertness [Ts], the blink reference reference time obtained by the time calculating unit 14 [T
o]を所定の割合[r(%)]だけ増大させることで、 Ts = To + To・r/100 として上記評価時間[Ts]を定めている。 o] a predetermined ratio [r (%)] by increasing only defines a Ts = To + To · r / 100 the evaluation time as [Ts]. 上記割合は、例えば5%,10%,15%,20%として与えられるもので、実際には後述するシミュレーション結果等に基づいて、例えば10%に選択設定される。 The ratio, for example, 5%, 10%, 15%, those given as 20%, in fact, based on the simulation results and the like to be described later, is selected and set, for example, 10%. 即ち、この長い瞬きの時間設定部15では、覚醒度が低下すると、 That is, in the time setting section 15 of the long blink, when the degree of awakening is lowered,
一般的には時間の長い瞬きが発生し易くなることに鑑み、この長い瞬きを覚醒度低下の判定指標として用いるべく、長い瞬きを検出するための瞬き評価時間[Ts] In general view of the fact that long blink of time is likely to occur, so use of this long blink as a determination index of the awareness decrease, the estimated blink time for detecting the long blink [Ts]
を、その運転者Dに固有な瞬きの基準時間[To]に基づいて設定している。 And it is set based on the reference time [the To] the inherent blink the driver D. 【0017】尚、ここでは瞬きの基準時間[To]に基づいて瞬き評価時間[Ts]を設定しているが、本出願人が先に特願平8−91324号にて提唱したように、 [0017] Although here has set estimated blink time based on the reference time of the blink [To] [Ts], as the applicant has proposed previously in Japanese Patent Application No. Hei 8-91324,
瞬き時間[t]の頻度分布に基づいてその標準的な瞬きの分布時間幅とその分布幅の中心時間とを求め、これらの瞬きの頻度分布情報(時間幅と中心時間)に従って前記瞬き評価時間[Ts]を設定することも勿論可能である。 The distribution time width of the standard blink and the center time of the distribution width calculated based on the frequency distribution of the blink time [t], wherein the estimated blink time according to the frequency distribution information of blink (time width and center time) it is of course also possible to set the [Ts]. 【0018】さて長い瞬き検出部16は、上述した如く設定された瞬き評価時間[Ts]に従って、前記瞬き時間計算部12によって順次検出される運転者Dの瞬きの時間[t]から、上記瞬き評価時間[Ts]を越える瞬きを長い瞬きとして検出している。 [0018] Now long blink detection unit 16, according as described above set the estimated blink time [Ts], from the time [t] of blinking of the driver D which are sequentially detected by the blink time calculation unit 12, the winking a blink exceeding the evaluation time [Ts] is detected as long blink. 長い瞬き生起比率計算部17は、例えば前記長い瞬き検出部16にて評価された瞬きの全回数[Ntotal]と、該長い瞬き検出部1 Long blink occurrence ratio calculation unit 17, for example, the the total number of blinks evaluated by long blink detector 16 [Ntotal], the long have blink detector 1
6による検出結果として求められる長い瞬きの数[Nlo The number of long blink obtained as a detection result by 6 [NLO
ng]とをそれぞれ計数している。 ng] and the are counted, respectively. そしてこの生起比率計算部17では、予め設定された所定の評価期間における上記瞬きの総数[Ntotal]と、その瞬きの中の長い瞬きの回数[Nlong]とから、長い瞬きの生起比率[Lra Then, in the occurrence rate calculation unit 17, the total number of the blinking [Ntotal] in a predetermined evaluation period set in advance, since the number of times [Nlong] long blink in that blink, occurrence ratio of long blink [Lra
te(%)]をLrate = 100・Nlong / Ntotal として求めている。 te the (%)] are seeking as Lrate = 100 · Nlong / Ntotal. 【0019】尚、長い瞬き生起比率計算部17においては、長い瞬きの数[Nlong]と、それ以外の標準的な瞬きの回数[Nnormal]とをそれぞれ計数し、 Lrate = 100・Nlong /(Nlong + Nnormal) として長い瞬きの生起比率[Lrate]を求めるようにしても良いことは言うまでもない。 [0019] In the long blink occurrence rate calculation unit 17, a long number of blinks and [Nlong], other standard blink count [Nnormal] and were counted, respectively, Lrate = 100 · Nlong / (Nlong + Nnormal) as long occurrence ratio of a blink [Lrate] may be obtained of course. 【0020】一方、眼球運動検出部21は、前記画像処理部10で求められた運転者Dの目の領域を示す部分画像から、特にその眼球の水平方向の移動を検出している。 Meanwhile, the eye movement detecting portion 21, the eyes of the partial image indicates an area of ​​the driver D obtained by the image processing unit 10, in particular to detect the horizontal movement of the eyeball. この眼球の水平方向の移動は、例えば走行レーンの注目状態から隣接レーンの情報確認、或いはバックミラーやサイドミラーを介する情報確認(ミラーの注視)等の運転者Dの行動的特徴(挙動)を示すものである。 Horizontal movement of the eyeball, for example information confirmation from the target state of the traveling lane adjacent lane, or information confirmation via the rearview mirror and side mirrors behavioral characteristics (behavior) of the driver D, such as (gaze mirrors) It illustrates. しかして標準偏差計算部22は、上記眼球の水平方向の移動の情報(目における瞳の位置)からその移動の標準偏差[EMH-SD]を求めている。 Thus the standard deviation calculation unit 22, seeking horizontal movement of information of the eyeball standard deviation of the movement from (position of the pupil in the eye) [EMH-SD]. この眼球の水平移動の標準偏差は、例えば60秒ステップで求められる単位時間当たりの標準偏差の、5分間における平均値として算出される。 The standard deviation of the horizontal movement of the eyeball, the standard deviation per unit time obtained in example 60 seconds step, is calculated as the average value in 5 minutes. 【0021】しかして覚醒度予測計算部23は、後述するように眠気予測モデルを用いた重回帰分析により求められる、覚醒度と上記長い瞬きの生起比率[Lrate [0021] Thus wakefulness prediction calculating unit 23 is determined by multiple regression analysis using a sleepiness prediction model as described below, alertness and occurrence ratio of the long blink [Lrate
(%)]および眼球運動の標準偏差[EMH-SD]との関係を示す予測式Y = A + B・Lrate + C・EMH-SD (A, (%)] And the prediction equation Y = A + B · Lrate + C · EMH-SD (A showing the relation between the standard deviation of the eye movement [EMH-SD],
B,Cは予測係数) に基づいて眠気予測値[Y]を算出するものである。 B, C is to calculate the sleepiness prediction value [Y] on the basis of the prediction coefficient). 上記予測係数A,B,Cは、例えば覚醒度のレベルを次のように5段階に定義し、種々のシミュレーション結果に基づいて前述した瞬き評価時間[Ts]を設定する上での増大割合[r%]を、後述するように10%とした場合、例えば A = 2.812 , B = 0.032 , C = −0.695 として与えられる。 The prediction coefficients A, B, C, for example increased percentage in terms of the level of wakefulness as follows defined five levels, sets the estimated blink time described above on the basis of various simulation results [Ts] [ If the r%], it was 10%, as described later, for example, a = 2.812, B = 0.032, given as C = -0.695. つまり前記予測式は、 Y = 2.812 + 0.032・Lrate − 0.695・ That the prediction equation, Y = 2.812 + 0.032 · Lrate - 0.695 ·
EMH-SD として与えられ、運転者Dの瞬き中における長い瞬きの生起比率[Lrate(%)]を前述した如く算出し、またそのときの眼球運動の標準偏差[EMH-SD]を求めて上記予測式を演算することで眠気予測値[Y]が求められる。 Given as EMH-SD, long occurrence ratio of a blink [Lrate (%)] was calculated as previously described in the blink of the driver D, also with a standard deviation of eye movement [EMH-SD] at that time the sleepiness prediction value [Y] is obtained by calculating a prediction expression. 【0022】ちなみに眠気予測モデルを用いた重回帰分析により求められる覚醒度と上記長い瞬きの生起比率[Lrate(%)]との関係を示す予測式 y = a + b・Lrate (a,bは予測係数) に基づいて眠気予測値[y]を算出する場合には、同じ評価条件において上記予測係数a,bは、例えばa = 1.238 , b = 0.046 として与えられる。 [0022] Incidentally sleepiness prediction model alertness obtained by multiple regression analysis using the aforementioned long occurrence ratio of a blink [Lrate (%)] and the prediction equation y = a + b · Lrate (a showing a relation, b is to calculate the sleepiness prediction value [y] based on the prediction coefficients), the prediction coefficient a in the same evaluation conditions, b, for example a = 1.238, given as b = 0.046. つまりこの場合の予測式はy = 1.238 + 0.046・Lrate として与えられる。 That prediction equation for this case is given as y = 1.238 + 0.046 · Lrate. 【0023】尚、上記覚醒度の5段階レベルは、例えばレベル1…全く眠くなさそう(視線の動きが早く頻繁である。瞬きが安定し、動きが活発。) レベル2…やや眠そう(視線の動きが遅い。唇が開く。) レベル3…眠そう(瞬きがゆっくりで頻繁。口の動きがある。) レベル4…かなり眠そう(意識的な瞬きがあり、瞬きも視線の動きも遅い。) レベル5…非常に眠そう(瞼を閉じる。頭が前後に傾く。) として設定される。 [0023] It should be noted that the five levels of the arousal level is, for example, level 1 ... exactly the sleepy that seems (which is often fast movement of the line-of-sight. Blinking is stable, movement is active.) Level 2 ... somewhat sleepy (line-of-sight the movement is open late. lips.) level 3 ... sleepy (blinking and there is frequent. neck movement slow.) level 4 ... There is a fairly sleepy (conscious blink, nor slow movement of the line-of-sight blink .) level 5 ... very close the sleepy (eyelids. head tilts back and forth.) is set as. 従って眠気予測値[Y],[y]が[3]を越えるような場合、以下に示すように覚醒度が低く、眠そうであると推定(判定)される。 Therefore sleepiness prediction value [Y], it is when [y] is that exceeds the [3], low alertness as shown below, estimated to be sleepy (determination). 【0024】しかして覚醒度予測計算部23にて、前記長い瞬きの生起比率[Lrate]と、眼球の水平移動に関する標準偏差[EMH-SD]に基づいて求められた眠気予測値[Y]は、覚醒度低下判定部24に与えられて覚醒度低下の判定に供される。 [0024] At Thus wakefulness predictive calculation unit 23, the long occurrence ratio of a blink [Lrate], sleepiness prediction value calculated based on the standard deviation [EMH-SD] about the horizontal movement of the eyeball [Y] is , it is subjected to the determination of the awareness decrease given to the awareness decrease determination unit 24. そしてこの覚醒度低下判定部24にて覚醒度の低下が検出された場合には、前述したディスプレイ3やスピーカ4を用いて警告が発せられ、運転者Dに対して運転注意力の喚起が行われることになる。 And if the decrease in the degree of awakening is detected by the awareness decrease determination unit 24, emitted a warning using the display 3 and the loudspeaker 4 described above, line draw operation attention the driver D It will be divided. 【0025】尚、上述した機能ブロックに示される覚醒度低下の判定処理は、実際的にはマイクロプロセッサの下で、図3に示す制御ルーチンに従って実行される。 [0025] The determination processing of the awareness decrease illustrated in the functional block described above, in practice under microprocessor is executed according to a control routine shown in FIG. 即ち、運転開始初期時に、例えば5分間に亘って運転者D That is, when the operation start initial, for example the driver D over 5 minutes
の瞬きの時間[t]を計測し(ステップS1,S2,S Of measuring the time [t] of the blink (Step S1, S2, S
3)、その瞬き時間の平均を上記運転者Dに固有な瞬きの基準時間[To]として算出する(ステップS4)。 3), and calculates the average of the blink time as a reference time inherent blink the driver D [To] (step S4).
しかる後、1単位の計測対象期間を5分間として、その後の瞬きの時間[t]を計測する(ステップS5,S6, Thereafter, the period of 5 minutes the measurement period of one unit, for measuring a time [t] of a subsequent blink (step S5, S6,
S7)。 S7). 【0026】その後、上述した如く5分間ずつ検出される瞬き時間[t]に従って、前記基準時間[To]を1 [0026] Then, according to the blink time [t], which is detected by 5 minutes as described above, the reference time [the To] 1
0%長くして設定した瞬き評価時間[Ts]の下で検出される長い瞬きの生起比率[Lrate(=Long10)]を計算する(ステップS8)。 Long occurrence of blinks ratio detected under 0% longer to the estimated blink time set [Ts] [Lrate (= Long10)] to calculate the (step S8). また同時に視線の移動を示す眼球の水平移動を検出し、その移動情報に基づいて水平移動の標準偏差[EMH-SD]を求める(ステップS At the same time detects the horizontal movement of the eyeball illustrating the movement of the line of sight, the standard deviation [EMH-SD] of horizontal movement based on the movement information (step S
9)。 9). 【0027】そして長い瞬きの生起比率[Lrate(=Lo [0027] and occurrence ratio of long blink [Lrate (= Lo
ng10)]と眼球運動の標準偏差[EMH-SD]とがそれぞれ求められたならば、次に前述した予測式に従って眠気予測値[Y]を計算し(ステップS10)、例えばこの演算よって求められる眠気予測値(覚醒度)をディスプレイ3に表示する(ステップS11)。 If NG10)] and the standard deviation of the eye movement [EMH-SD] have been determined, respectively, are then sleepiness prediction value [Y] is calculated according to the prediction equation described above (step S10), and for example, the calculation result calculated Show sleepiness prediction value (wakefulness) on the display 3 (step S11). この眠気予測値(覚醒度)のディスプレイ表示は、例えば前述した如く5段階に設定したレベルに従って、その覚醒度を棒グラフ表示したり、更にはその情報の表示色を変更する等して行われる。 Display Viewing the sleepiness prediction value (alertness), for example according to the level set to as 5 the above steps, or bar graph the alertness, even carried out by, for example to change the display color of the information. 【0028】その上で、上述した如く求められた眠気予測値[Y]を評価し(ステップS12)、例えばそのレベル(予測値)が[3]を越える場合には、運転者Dを覚醒させて運転注意力を促すべく警報を発する(ステップS13)。 [0028] On top of that, if sleepiness prediction value calculated as described above to evaluate the Y] (step S12), the example in which the level (predicted value) exceeds [3], aroused driver D It issues a warning to prompt driver attention Te (step S13). また覚醒度のレベルが[3]以下の場合には、前述したステップS5からの処理を繰り返し実行することで、次の5分間における瞬きの情報に基づく覚醒度の推定処理を再度実行する。 Also when the level of alertness is [3] or less, by repeatedly executing the processing from step S5 described above, executes the process of estimating the arousal level based on the information of the blink in the next 5 minutes again. 【0029】ここで前述した長い瞬きの生起比率[Lra [0029] The long blink of the occurrence ratio of the above-described here [Lra
te(=Long10)]と眼球の水平移動の標準偏差[EMH te (= Long10)] and the standard deviation of the horizontal movement of the eyeball [EMH
-SD]とに基づく眠気予測値[Y]の算出と、その評価について今少し詳しく説明する。 The calculation of -SD] and sleepiness prediction value based on [Y], now be described in some detail for the evaluation. 覚醒度の評価指標としては、前述した瞬きのみならず、例えば脳波や心電, As an evaluation indicator of the degree of awakening, not only by blinking described above, for example, brain waves and electrocardiogram,
呼吸等の生理的指標の経時的変化や、ハンドル角によって示されるステアリング操作特性等のパフォーマンス指標の経時的変化を用いることが考えられる。 Time course of and physiological parameters of breathing, etc., it is considered to use a change over time in the performance indicators such as a steering operating characteristics indicated by the steering wheel angle. 図4はこれらの各指標と、そのときに第三者によって客観的に評価された運転者Dの眠気との関係を示すシミュレーション実験結果である。 Figure 4 is a simulation experiment result shown and each of these indicators, the relationship between sleepiness objectively evaluated the driver D by a third party at that time. 【0030】図4においてCz(α/β)およびPz(α/β) [0030] Cz in FIG 4 (α / β) and Pz (α / β)
は、運転者Dの頭頂Cz 部位およびPz 部位において求められる脳波のα波とβ波のスペクトルパワー値の比率である。 Is the ratio of the spectral power value of parietal Cz site and α wave and β wave obtained electroencephalogram in Pz site of the driver D. またBlink-Noは運転者Dの眼球運動から求められる、例えば5秒間における瞬き数であり、Blink-Dur The Blink-No is determined from the eye movement of the driver D, a blinking number in example 5 seconds, Blink-Dur
は平均瞬き時間、またHRは運転者Dの1分間当たりの心拍数、Resp は呼吸数である。 The number of beats per minute average blink time and HR the driver D, Resp is respiratory rate. 更にSpeed は車両の走行速度、Steer はハンドル角の平均値、Steer-SD はハンドル角の偏差である。 Furthermore Speed ​​is the traveling speed of the vehicle, Steer average value of the steering wheel angle, Steer-SD is the deviation of the steering wheel angle. またSleepiness は第三者によって評価される運転者Dの眠気、MWSは運転者D自身による眠気の主観評価である。 The Sleepiness drowsiness of the driver D to be evaluated by a third party, MWS is a subjective evaluation of sleepiness by the driver D itself. 【0031】この図4に例示されるシミュレーション実験結果に現れているように、運転者Dの眠気(Sleepine [0031] As appears in FIG. 4 is the simulation experiment results illustrated in, driver drowsiness D (Sleepine
ss)は運転時間の経過に伴って増大する。 ss) increases with the lapse of operation time. しかも運転者Dの眠気は、瞬きの回数(Blink-No)や瞬き時間(Blin Moreover driver drowsiness D is the number of blinks (Blink-No) or blink time (Blin
k-Dur)との間に強い関係を持っている。 It has a strong relationship between k-Dur) and. つまり時間の経過に伴う運転操作の単調さや慣れ、更には疲労に起因して眠気が増大し、眠気が増すに従って瞬き回数が少なくなり、また瞬き時間が増大化する傾向にある。 That familiar monotony and maneuver over time, further increases drowsiness due to fatigue, less blink count according drowsiness increases, also tend to blink time increases of. 更には運転時間の経過(眠気の増大)に伴って前述した脳波のCz(α/β),Pz(α/β)も増加の傾向を示し、逆にHR Furthermore Cz EEG described above with the passage of operating time (increased sleepiness) (α / β), a tendency of Pz (alpha / beta) also increased, HR conversely
やRespは減少の傾向を示す。 And Resp shows a trend of decrease. 【0032】一方、複数の運転者D(被検者:Subj.1, On the other hand, a plurality of the driver D (subject: Subj.1,
〜12)による運転シミュレーションにおいて、運転者D In operation simulation by 12), the driver D
の眠気表情、例えば第三者によって評価される運転者D Drowsiness facial expressions, driver D, for example, be evaluated by a third party of
の眠気や、運転者D自身による眠気の主観評価MWSから、眠気の表情が高いときに生じる運転者Dの行動的特徴(挙動)について調べてみると、例えば図5に示すように眠気に応じて顕著な変化が生じる行動的特徴がある。 Of or drowsiness, the subjective evaluation MWS of drowsiness by the driver D itself, Examining the behavioral characteristics of the driver D which occurs when the expression of sleepiness is high (behavior), according to the drowsiness as shown in FIG. 5, for example there are behavioral characteristics that significant changes occur Te. 即ち、眠気が強くなると複数の運転者Dに共通に、 In other words, in common to a plurality of driver D and sleepiness is strong,
その瞬きに顕著な変化が生じることのみならず、運転者Dの動き自体が緩慢となる傾向がある。 Not only significant changes in the blink occurs, tends to move itself of the driver D is slow. またスピード調整やミラー確認、ウィンカ操作等の運転操作の頻度についても、眠気が増すに伴って、その頻度が減少することが見出されれた。 The speed adjustment or confirmation mirror, for the frequency of the driving operation, such as the blinker operation, along with the drowsiness increases, the frequency is found to decrease. 【0033】特に前述したシミュレーション実験結果において車線変更時におけるミラー確認やウィンカ操作からなる行動的特徴に着目すると、図6に示すように運転時間の経過による眠気の増大に伴って、例えばミラー確認に示される視線の移動頻度が減少し、またウィンカ操作等の運転操作頻度が減少すると言う一般的傾向があるこが見出された。 [0033] With particular attention to behavioral characteristics consisting of a mirror check blinker operation when changing lanes in a simulation experiment results described above, with increasing drowsiness due to the passage of the operation time as shown in FIG. 6, for example, a mirror confirmation movement frequency of the line of sight indicated is reduced, also driving operation frequency of such blinker operation was found that there is a general tendency to say decreases. 【0034】そこで本発明では、運転者Dと非接触に覚醒度(眠気変動)を評価することを目的として、特に運転者の瞬きと視線移動を示す眼球の水平移動とに着目し、その予測精度を向上させ、且つ個人差を低減するべく検討を進めた。 [0034] In the present invention therefore, for the purpose of evaluating the degree of awakening the driver D and the non-contact (sleepiness variation), especially paying attention to the horizontal movement of the eyeball illustrating the blinking and eye movement of the driver, the prediction improve accuracy, it proceeded studies to and reduces individual difference. 具体的には先ず覚醒度の低下に伴って増加する長い瞬きに着目し、所定期間における長い瞬きの生起比率と覚醒度との関係について調べた。 Specifically focusing on long blink to increase with first reduction in alertness examined the relationship between the degree of awakening and occurrence ratio of long blink in a predetermined period. 特にその前処理として、長い瞬きを判定する上での瞬き評価時間[Ts]を、覚醒時における運転者Dに固有な平均的な瞬き時間を基準時間[To]とし、この基準時間[To] Particularly as a pretreatment, the estimated blink time [Ts] in order to determine the long blink, a reference time [the To] a unique average blink time the driver D at the time of awakening, the reference time [the To]
に対する瞬き時間の増大割合を5%,10%,15%,2 5% increase in the rate of blinking time for 10%, 15%, 2
0%にそれぞれ設定したときの各瞬き評価時間[Ts] 0% in each of the estimated blink time when you set each [Ts]
の下で、所定時間(例えば5分間)における複数の運転者Dの長い瞬きの生起比率[Lrate]を[Long5],[Lo Under long blink of the occurrence ratios of the plurality of the driver D at a predetermined time (e.g. 5 minutes) [Lrate] a [Long5], [Lo
ng10],[Long15],[Long20]としてそれぞれ求め、覚醒度との関係について調べた。 ng10], [Long15], respectively obtained as [Long20], examined the relationship between the degree of awakening. 【0035】即ち、上記長い瞬きの生起比率[Long5], [0035] In other words, the occurrence ratio of the above-mentioned long blink [Long5],
[Long10],[Long15],[Long20]について、そのサンプル中心時間を、例えば60秒周期として与えられる遅れ時間を1単位(Lag)として、移動平均的にそのLag [Long10], [Long15], the [Long20], the sample center time, for example, a given delay time as a unit (Lag) as 60-second period, the moving average, the Lag
値を1単位ずつずらしながら眠気(覚醒度)との関係分析を行い、その関係係数が最も大きくなる条件での関係係数Rを評価した。 Perform the relationship analysis between sleepiness (wakefulness) while shifting the value by one unit, to evaluate the relationship between the coefficient R in conditions that relationship coefficient is largest. この評価結果として上記生起比率[Long5],[Long10],[Long15]に比較して、生起比率[Long20]における関係係数Rが小さくなり、長い瞬きの評価時間[Ts]を、20%以上に長く設定しない方が良いことを見出した。 The occurrence ratio [Long5] As the evaluation result, [Long10], compared to [Long15], relationship coefficient R becomes small in occurrence ratio [Long20], the evaluation time of the long blink [Ts], more than 20% If you do not set long it was found that good. また上記Lag値に関する分散分析では、指標としての長い瞬きの生起比率[Long5], In the variance analysis the Lag value, occurrence ratio of long blink as an indicator [Long5],
[Long10],[Long15]間で格別有意な差が生じないことが確認できた。 [Long10], it was confirmed that no is particularly significant differences between [Long15]. 但し、これらの各指標は、生理学的には意味の異なるデータである。 However, each of these indicators are different data meaningful to physiological. 【0036】尚、この評価は前述した眠気予測モデルを用いた重回帰分析により、覚醒度と上記長い瞬きの生起比率[Lrate(%)]との関係を示す予測式y = a + b・Lrate に基づいて眠気予測値[y]を算出し、この予測値[y]をAIC = 2n logeσ + 2p (但し、nはデータ数,pは回帰係数の数である) で示される赤池の情報量基準AICに従って、該情報量基準AICが最も小さくなる予測モデルを求めることによって行った。 [0036] Incidentally, this rating is multiple regression analysis using a sleepiness prediction model described above, alertness and occurrence ratio of the long blink [Lrate (%)] shows the relationship between the prediction type y = a + b · Lrate calculates a sleepiness prediction value [y] based on this predicted value [y] the AIC = 2n logeσ + 2p (where, n is the number of data, p is the number a is the regression coefficient) information of Akaike represented by according to the criteria AIC, it was carried out by obtaining a predictive model for the information criterion AIC is minimized. 【0037】また上記分散分析は、各指標(長い瞬きの生起比率)を300秒間の平均として求め、また眠気の表情を60秒間の平均として求めた。 Further the analysis of variance obtains the index (occurrence ratio of long blink) as the average of 300 seconds, it was also determined the expression of sleepiness as an average of 60 seconds. 従ってこの分散分析結果は、眠気予測の時間特性に関して、例えば0秒から300秒における指標の平均にて120秒から180 Thus the variance analysis results with respect to time properties of sleepiness prediction, for example, from 120 seconds at an average of indicators in 300 seconds 0 seconds 180
秒時点での眠気の平均を予測していることを意味し、その予想遅れが120秒であることを示している。 The average of drowsiness in seconds the time means that predicts, it indicates that the expected delay is 120 seconds. 従って周期60秒で示されるLag値が[−1]で与えられる場合、実際には300秒後に指標が得られた時点では、2 Therefore if the Lag value indicated by the period of 60 seconds is given in [-1], at the time of actual index after 300 seconds to have been obtained, 2
40秒の時点における眠気を予測していることになり、 We will be expecting to sleepiness at the time of 40 seconds,
その予測遅れは60秒であることが示される。 The prediction lag is shown to be 60 seconds. しかし実際の眠気の平均周期150秒の半分以下の遅れなので、 However, because the actual average period half of the 150 seconds of sleepiness of the following delay,
実用的には眠気の変動を、平均的には90秒分先駆けて予測し得ることになる。 Practical variation of sleepiness to, the average would be predicted ahead 90 seconds. 【0038】一方、瞬きとは別の指標である行動的特徴として、ミラーの注視等の視線の移動、つまり眼球の水平移動の情報に着目し、特に眼球の水平移動と前述した長い瞬きの生起比率とを併用した覚醒度の推定について検討した。 On the other hand, as behavioral characteristics is another indicator and blinking, eye movement of the gaze or the like of the mirror, that is focused on the information of the horizontal movement of the eyeball, especially the occurrence of long blink the aforementioned horizontal movement of the eyeball It was investigated estimation of arousal level using a combination of ratio. 具体的には長い瞬きの生起比率[Lrate]、 Occurrence ratio of specific to long blink [Lrate],
特に[Long10]および眼球の水平移動の標準偏差[EM In particular [Long10] and standard deviation [EM of horizontal movement of the eyeball
H-SD]からなる2種類の指標について覚醒度(眠気)との関係を予測モデル化し、シミュレーションによって得られた複数の運転者Dからのサンプルデータから、その関係を示す予測式をY = A + B・Lrate + C・EMH-SD なる1次式で近似し、その関係が最も高くなるときの予測係数A,B,Cと、そのときの関係係数Rの平均を求めた。 Predicting model relationships between alertness (sleepiness) two types of indicators consisting of H-SD], from the sample data from multiple driver D obtained by simulation, the prediction equation indicating the relationship Y = A + B · Lrate + C · EMH-SD becomes approximated by a linear equation, the prediction coefficient when that relationship becomes highest a, B, and C, and to obtain an average relationship coefficient R at that time. そして前述した赤池の情報量基準AICに従い、情報量基準AICが最も小さくなる予測モデルを評価した。 And in accordance with the information amount reference AIC Akaike described above, the information criterion AIC was evaluated smallest prediction model. この結果、前記予測係数A,B,Cを A = 2.812 , B = 0.032 , C = −0.695 として与えたとき、つまり前記予測式をY = 2.812 + 0.032・Lrate − 0.695・ As a result, the prediction coefficients A, B, C and A = 2.812, B = 0.032, when given as C = -0.695, i.e. the prediction equation Y = 2.812 + 0.032 · Lrate - 0.695 ·
EMH-SD として与えたとき、前述した長い瞬きの生起比率[Long When given as EMH-SD, occurrence ratio of long blink previously described [Long
10]だけを用いる場合よりも、覚醒度との間に高い関係が得られることが確認できた。 10] Only than with, it was confirmed that a high relationship is obtained between the alertness. 【0039】具体的には長い瞬きの生起比率[Long10] The occurrence ratio of concrete in the long blink [Long10]
だけを用いた予測式に基づく覚醒度の予測においては、 In the prediction of alertness based on the prediction equation using only
その重関係係数の平均が[0.71]であった。 The average of the heavy relationship coefficients were [0.71]. これに対して上述したように長い瞬きの生起比率[Long10] Long blinking of the occurrence ratios as described above for this [Long10]
に、眼球の水平移動の標準偏差[EMH-SD]を加えた予測式の下で覚醒度を予測した場合、その重関係係数の平均が[0.75]となり、予測モデルの精度が向上することが確認できた。 , If the predicted standard deviation [EMH-SD] alertness under prediction equation plus the horizontal movement of the eyeball, the average of the heavy relationship coefficient [0.75], and improves the accuracy of the prediction model it was confirmed. また前記赤池の情報量基準AI Also, the Akaike information criteria AI
Cの値も[−134.3]から[−138.7]と向上することが確認できた。 The value of C was also confirmed to be improved with [-138.7] From -134.3. 【0040】図7および図8は複数の運転者D(被検者:Subj.1,〜12)の眠気表情からからそれぞれ求められる眠気の実測値と、前述した長い瞬きの生起比率[Lo [0040] Figures 7 and 8 are a plurality of the driver D (subject: Subj.1, ~12) and the measured value of sleepiness obtained respectively from the drowsiness facial expression, occurrence ratio of long blink previously described [Lo
ng10]に基づく予測式に従って計算される眠気予測値[y]、および上記長い瞬きの生起比率[Long10]と眼球の水平移動の標準偏差[EMH-SD]とに基づく予測式に従って計算される眠気予測値[Y]と示している。 ng10 sleepiness prediction value calculated according to the prediction equation based on] [y], and sleepiness are calculated according to the above long occurrence ratio [Long10] and the standard deviation of the horizontal movement of the eyeball blink [EMH-SD] and the predictions based formula It shows the predicted values ​​[Y]. 尚、図7および図8において太線で示す特性は眠気予測値[y],[Y]を示しており、細線で示される特性は実際の眠気の変動を示している。 The characteristic is sleepiness prediction value indicated by the thick lines in FIGS. 7 and 8 [y], it indicates the [Y], characteristics indicated by the thin line shows the variation of the actual drowsiness. 【0041】これらの図7および図8にそれぞれ示されるように、前述した如く求められる眠気予測値[y], [0041] As respectively shown in Figs. 7 and 8, sleepiness prediction value obtained as described above [y],
[Y]は、実際の眠気を先取りしてその眠気(覚醒度) [Y], the sleepiness preempt the actual sleepiness (wakefulness)
の変化を良好に予測しており、しかも運転者Dの個人性をほぼ良好に吸収して眠気を予測していると言える。 Anticipates changes good, yet it can be said that predicts sleepiness almost absorbed well individuality of a driver D. また図8に示されるように、運転者Dの眼球の水平移動の標準偏差[EMH-SD]を併用した予測モデルに従って眠気予測値を計算する方が、その推定精度を高め得ることが示される。 As also shown in FIG. 8, who calculates the sleepiness prediction value according to the prediction model in combination with the standard deviation of the horizontal movement [EMH-SD] of the eye of the driver D are shown to be capable of increasing the estimation accuracy . 【0042】従って運転者Dの長い瞬きの生起比率[L [0042] Accordingly driver long blink of the occurrence ratio of D [L
rate]のみならず、その他の行動的特徴、具体的には眼球の水平移動の標準偏差[EMH-SD]を併用してその覚醒度の低下(眠気)を予測する本装置によれば、非常に高い予測精度で、しかも種々の個人性を効果的に吸収して運転者Dの覚醒度低下を判定することが可能となる。 rate] not only, other behavioral characteristics, in particular, according to the apparatus for predicting reduce (sleepiness) of the degree of awakening in combination with standard deviation of horizontal movement of the eyeball [EMH-SD], very high predictive accuracy, moreover it is possible to determine the effective absorption to the awareness decrease of the driver D various individuality to. 【0043】特に前述した如く簡単な処理によって、生理的・物理的な意味を異にする長い瞬きの生起比率[L [0043] Particularly in a simple process as described above, occurrence ratio of long blink different biological and physical meaning [L
rate]と、行動的特徴を示す眼球の水平移動の標準偏差[EMH-SD]とに従い、しかも1次式で示される予測式に従って簡単に眠気予測値[Y]を高精度に算出することができる。 A rate], in accordance with the standard deviation of the horizontal movement of the eyeball [EMH-SD] showing behavioral characteristics, yet be calculated easily sleepiness prediction value according to the prediction equation represented by a linear equation [Y] with high precision it can. しかもその処理負担が軽く、システム構成の簡素化を図ることも可能となる。 Moreover lightly its processing load, it is also possible to simplify the system configuration. 更には1次式で示される予測式に従う演算を行うだけで良いので、処理速度の高速化を図ることも可能となり、検出の時間遅れも少なく押さえることができる。 Furthermore it is only performing the calculation according to the prediction equation represented by a linear equation, it becomes possible to increase the speed of processing speed, it is possible to suppress the time lag of the detected less. 【0044】更には個人差を吸収しながら予測精度を高め、その上で処理の単純化と処理速度の高速化を図り、 [0044] Furthermore while absorbing individual differences better predictions, for faster simplified and the processing speed of the processing thereon,
更にシステム構成の簡素化とコストの低減を図ることができる。 Furthermore it is possible to reduce the simplification and cost of the system configuration. 従って個々の車両に搭載される覚醒度推定装置として実用上多大なる利点がある。 Thus there is practically great advantage as awakening level estimation apparatus mounted on individual vehicles. 尚、本発明は上述した実施形態に限定されるものではない。 The present invention is not limited to the embodiments described above. 例えば長い瞬きの評価時間[Ts]を決定する為の基準時間[To]に対する増大割合[r%]は、更に多くのシミュレーション結果等に基づいて設定すれば良い。 For example increasing the ratio to the reference time [the To] for determining the evaluation time of the long blink [Ts] [r%] may be set on the basis of a more simulation results and the like. 即ち、より高い関係が得られるように上記瞬き評価時間[Ts]を設定すれば良い。 That may be setting the estimated blink time so that a higher relation is obtained [Ts]. また眼球の水平移動のみならず、前述した運転者Dの頭部の前傾や後傾等の、他の行動的特徴を示す情報を導入して予測モデルを構築することも勿論可能である。 Further not only the horizontal movement of the eyeball, it is also possible to build a prediction model by introducing information indicating anteversion and rear 傾等 the head of the driver D as described above, other behavioral characteristics. また覚醒度低下の推定結果を用いて、車両のブレーキ機構を作動させて減速させたり、道路上の白線認識や他車との車間距離制御等に基づく自動走行モードを起動することも可能である。 Also by using the estimation result of the awareness decrease, or slowing by operating the brake mechanism of the vehicle, it is possible to start the automatic driving mode based on the inter-vehicle distance control of the white line recognition and other vehicles on the road . その他、本発明はその要旨を逸脱しない範囲で種々変形して実施することができる。 Besides, the present invention can be modified in various ways without departing from the scope thereof. 【0045】 【発明の効果】以上説明したように本発明によれば、運転者の瞬きを検出し、検出された瞬きの時間に基づいて所定時間以上の長い瞬きを検出すると共に、所定の評価期間内における瞬きの総数と長い瞬きの回数とから長い瞬きの生起比率を求める長い瞬きの生起比率算出手段を備えると共に、前記運転者の行動的特徴を示す挙動を検出する挙動検出手段を備えており、特に覚醒度判定手段においては、前記長い瞬きの生起比率と前記運転者の挙動情報とに基づき、眠気予測モデルを用いた回帰分析により求められる予測式に従って該運転者の覚醒度を評価している。 [0045] According to the present invention as described in the foregoing, to detect the blinking of the driver, detects a long blink of a predetermined time or longer based on the time of the detected blink, predetermined evaluation provided with a occurrence ratio calculating means long blink from the number of total and long blink of blinks within a period determined the occurrence ratio of long blink, includes a behavior detection unit that detects a behavior that indicates the behavioral characteristics of the driver cage, especially in awareness determination means, based on the behavior information of the long blink of the occurrence ratio between the driver, to evaluate the alertness of the driver according to the prediction equation obtained by regression analysis using the sleepiness prediction model ing. 【0046】特に運転者の瞬き時間から該運転者に固有な瞬きの基準時間[To]に従って長い瞬きを検出し、 [0046] detecting a long blink according particular reference time inherent blink the driver from blinking time of the driver [the To],
所定時間内における瞬きの総数に対する長い瞬きの生起比率[Lrate]を求めと共に、運転者の行動的特徴を示す挙動の情報としては、例えば運転者の視線移動を示す眼球運動の標準偏差[EMH-SD]を求め、例えば眠気予測モデルを用いた回帰分析により求められる予測式Y = A + B[Lrate]+ C[EMH-SD] Together determine the long occurrence ratio of a blink [Lrate] to the total number of blinks in a predetermined time period, the information behavior indicating the behavioral characteristics of the driver, for example, the standard deviation of eye movements indicating the eye movement of the driver [EMH- seeking SD], for example, the prediction equation Y = a + B obtained by regression analysis using the sleepiness prediction model [Lrate] + C [EMH-SD]
(A,B,Cは予測係数) に基づいて眠気予測値[Y]を算出して覚醒度を評価している。 (A, B, C is the prediction coefficient) is evaluating alertness to calculate the sleepiness prediction value [Y] on the basis of. 【0047】従って簡易にして高精度に運転者の覚醒度、ひいては覚醒度の低下を検出することができ、しかも個人差を効果的に吸収して、その覚醒度を高精度の推定することができる。 [0047] Thus awareness of the driver to easily with high precision, it is possible to detect a decrease in the thus alertness, yet effectively absorb individual differences, to estimate the alertness precision it can. 特に眠気予測モデルを用いた回帰分析により求められる覚醒度と長い瞬きの生起比率との関係を示す予測式に基づいて眠気予測値を算出し、この眠気予測値を所定の閾値で弁別して覚醒度を評価するので、その推定精度を十分に高めながらシステム構成の簡略化と、その処理速度の高速化を図り得る等、実用上多大なる効果が奏せられる。 Particularly calculates a sleepiness prediction value based on the prediction equation showing the relationship between the occurrence ratio of wakefulness and long blink obtained by regression analysis using the sleepiness prediction model, alertness and discriminating the sleepiness prediction value with a predetermined threshold value since assessing, and simplify the system configuration while sufficiently increasing the estimation accuracy, such as obtained for faster processing speed, practically tremendous effects are obtained if.

【図面の簡単な説明】 【図1】本発明の一実施形態に係る覚醒度推定装置を搭載した車両の構成を概念的に示す図。 BRIEF DESCRIPTION OF THE DRAWINGS FIG conceptually showing a mounted configuration of a vehicle wakefulness estimating apparatus according to an embodiment of the present invention; FIG. 【図2】図1に示す覚醒度推定装置の機能的なブロック構成を示す図。 FIG. 2 shows a functional block configuration of the awakening level estimation apparatus shown in FIG. 【図3】図2に示す覚醒度推定装置における覚醒度推定処理の流れを示す図。 FIG. 3 shows a flow of wakefulness estimation process in wakefulness estimating apparatus shown in FIG. 【図4】物理的意味の異なる複数の覚醒度の指標と、客観的に評価された眠気との関係とのシミュレーション結果を示す図。 Shows [4] and indicators different alertness of physical meaning, the simulation results of the relationship between objectively evaluated sleepiness. 【図5】複数の運転者(被検者:Subj.1,〜12)におけるシミュレーション結果に基づく、物理的意味の異なる複数の覚醒度の指標(行動的特徴)と、客観的に評価された眠気との間で強い関係が認められるケースを示す図。 [5] a plurality of driver (subject: Subj.1, ~12) based on the result of the simulation, a plurality of awareness of the indicators with different physical meaning (behavioral characteristics), was objectively evaluated It shows a strong relationship is observed cases between sleepiness. 【図6】シミュレーションによる運転時間の経過に伴う車線変更やミラー確認、ウィンカ操作からなる行動的特徴の変化を示す図。 [6] simulation operation elapsed lane change or confirm the mirror due to the time by a view showing a change in the behavioral characteristics consisting of the blinker operation. 【図7】複数の運転者D(被検者:Subj.1,〜12)の眠気の実測値と、長い瞬きの生起比率から求められる眠気予測値との関係を対比して示す図。 [7] a plurality of the driver D (subject: Subj.1, ~12) shows in comparison the relation between the measured value and, sleepiness prediction value obtained from occurrence ratio of long blink sleepiness. 【図8】複数の運転者D(被検者:Subj.1,〜12)の眠気の実測値と、長い瞬きおよび眼球の水平移動とから求められる眠気予測値との関係を対比して示す図。 [8] a plurality of the driver D (subject: Subj.1, ~12) shows in comparison the relation between the measured value and the long blink and sleepiness prediction value obtained from the horizontal movement of the eyeball sleepiness Fig. 【符号の説明】 1 車両2 TVカメラ3 ディスプレイ4 スピーカ10 画像処理部11 瞬き検出部12 瞬き時間計算部14 瞬き基準時間計算部15 長い瞬きの時間設定部16 長い瞬き検出部17 長い瞬き生起比率計算部21 眼球運動検出部22 標準偏差計算部23 覚醒度予測計算部24 覚醒度判定部 [Description of Reference Numerals] 1 vehicle 2 TV camera 3 display 4 speakers 10 image processing unit 11 blink detector 12 blink time calculation unit 14 blinks a reference time calculating unit 15 longer blink time setting unit 16 long blink detector 17 long blink occurrence ratio calculation unit 21 eye movement detecting portion 22 standard deviation calculation unit 23 wakefulness prediction calculation section 24 awareness determination unit

フロントページの続き (56)参考文献 特開 平6−333183(JP,A) 特開 平7−156682(JP,A) 特開 平6−219181(JP,A) 特開 平6−270711(JP,A) 特開 昭63−258226(JP,A) 特開 昭61−175129(JP,A) (58)調査した分野(Int.Cl. 7 ,DB名) B60K 28/00 - 28/16 G08G 1/16 A61B 5/18 G08B 21/06 G08G 1/16 Following (56) references of the front page Patent flat 6-333183 (JP, A) JP flat 7-156682 (JP, A) JP flat 6-219181 (JP, A) JP flat 6-270711 (JP , a) JP Akira 63-258226 (JP, a) JP Akira 61-175129 (JP, a) (58 ) investigated the field (Int.Cl. 7, DB name) B60K 28/00 - 28/16 G08G 1/16 A61B 5/18 G08B 21/06 G08G 1/16

Claims (1)

  1. (57)【特許請求の範囲】 【請求項1】 運転者の瞬きを検出する瞬き検出手段と、検出された瞬きの時間に基づいて所定時間以上の長い瞬きを検出する手段と、所定の評価期間内における瞬きの総数と長い瞬きの回数とから長い瞬きの生起比率を求める生起比率算出手段と、前記運転者の視線移動を示 (57) and blink detection unit that detects a blink of the Claims 1 driver, it means for detecting a long blink of a predetermined time or longer based on the time of the detected blink, predetermined evaluation and occurrence ratio calculating means and a number of total and long blink of blinks within a period determined the occurrence ratio of long blink, the eye movement of the driver shown
    す眼球の水平移動の標準偏差[EMH - SD]を求める Seek - [SD EMH] standard deviation of the horizontal movement of the eyeball to
    挙動検出手段と、覚醒度[Y]と長い瞬きの生起比率 A behavior detection unit, occurrence ratio of alertness [Y] as long blink
    [L rate ]および前記眼球の水平移動の標準偏差[EM [L rate] and the standard deviation of the horizontal movement of the eyeball [EM
    - SD]との関係を示す眠気予測モデルの回帰分析か H - SD] and regression analysis of the sleepiness prediction model showing the relationship of
    ら求められる予測式 Et al sought prediction formula Y = A + B[L rate ]+ B [L rate] + C[EMH - SD] C [EMH - SD] (A , (A,
    , Cは予測係数) に基づいて眠気予測値[Y]を算出し、この眠気予測値 B, C calculates a sleepiness prediction value [Y] on the basis of the prediction coefficient), the sleepiness prediction value
    を所定の閾値で弁別して 該運転者の覚醒度を評価する覚醒度判定手段とを具備したことを特徴とする覚醒度推定装置。 A predetermined wakefulness estimating apparatus according to claim and discrimination by the threshold that provided the awareness determination means for evaluating the wakefulness of the driver. 【請求項2】 前記長い瞬き検出する手段は、覚醒時における運転者の瞬き時間から該運転者に固有な瞬きの基準時間[To]を求め、この基準時間を所定の割合[r%]だけ増大させた時間[Ts]を超える瞬きを長い瞬きとして検出することを特徴とする請求項1に記載の覚醒度推定装置。 2. A means for detecting the long blink, the reference time inherent blink from blinking time of the driver to the driver at the time of awakening [the To] look, percentage of this reference time of predetermined [r%] awakening level estimation apparatus according to claim 1, characterized in that to detect the blink exceeding time is increased by [Ts] as long blink.
JP8144297A 1997-03-31 1997-03-31 Wakefulness level estimation apparatus Expired - Fee Related JP3509839B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8144297A JP3509839B2 (en) 1997-03-31 1997-03-31 Wakefulness level estimation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8144297A JP3509839B2 (en) 1997-03-31 1997-03-31 Wakefulness level estimation apparatus

Publications (2)

Publication Number Publication Date
JPH10272959A true JPH10272959A (en) 1998-10-13
JP3509839B2 true JP3509839B2 (en) 2004-03-22

Family

ID=13746521

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8144297A Expired - Fee Related JP3509839B2 (en) 1997-03-31 1997-03-31 Wakefulness level estimation apparatus

Country Status (1)

Country Link
JP (1) JP3509839B2 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4514372B2 (en) * 2001-08-28 2010-07-28 パイオニア株式会社 Information providing system, information providing method, an information providing program, the server apparatus and in the information providing system, a terminal device in the information provision system
JP4581356B2 (en) * 2003-09-10 2010-11-17 株式会社豊田中央研究所 Driver psychosomatic state determination device and driver of the driving support device
EP2072010A3 (en) 2003-11-30 2009-10-14 Volvo Technology Corporation Method and system for recognizing workload of a person
US7435227B2 (en) * 2004-09-13 2008-10-14 Biocognisafe (Bcs) Technologies Method and apparatus for generating an indication of a level of vigilance of an individual
JP4840146B2 (en) * 2007-01-09 2011-12-21 株式会社デンソー Drowsiness detection device
JP4582137B2 (en) 2007-10-11 2010-11-17 株式会社デンソー Sleepiness level determination device
JP4992891B2 (en) * 2008-12-18 2012-08-08 トヨタ自動車株式会社 Awareness determination apparatus
JP5585648B2 (en) * 2010-03-23 2014-09-10 アイシン精機株式会社 Awareness determination apparatus, awareness determination method, and a program
WO2011125166A1 (en) 2010-04-05 2011-10-13 トヨタ自動車株式会社 Biological body state assessment device
CN103661095B (en) * 2012-09-11 2015-12-02 财团法人车辆研究测试中心 Driving state detection system
US9351019B2 (en) 2012-12-27 2016-05-24 Automotive Research & Testing Center System for detecting vehicle driving state
JP6217919B2 (en) * 2014-01-27 2017-10-25 株式会社デンソー Vehicle driving evaluation system

Also Published As

Publication number Publication date Type
JPH10272959A (en) 1998-10-13 application

Similar Documents

Publication Publication Date Title
Sahayadhas et al. Detecting driver drowsiness based on sensors: a review
He et al. Mind wandering behind the wheel: performance and oculomotor correlates
US6974414B2 (en) System and method for monitoring and managing driver attention loads
Liu et al. Predicting driver drowsiness using vehicle measures: Recent insights and future challenges
US20040070509A1 (en) Apparatus and method of monitoring a subject and providing feedback thereto
Verwey et al. Preventing drowsiness accidents by an alertness maintenance device
US20050030184A1 (en) Method and arrangement for controlling vehicular subsystems based on interpreted driver activity
Cox et al. Progressive hypoglycemia's impact on driving simulation performance. Occurrence, awareness and correction.
US20100033333A1 (en) Method and apparatus for determining and analyzing a location of visual interest
Verwey et al. Predicting drowsiness accidents from personal attributes, eye blinks and ongoing driving behaviour
Ueno et al. Development of drowsiness detection system
US20090234552A1 (en) Driving Action Estimating Device, Driving Support Device, Vehicle Evaluating System, Driver Model Creating Device, and Driving Action Determining Device
US20160001781A1 (en) System and method for responding to driver state
Reimer et al. A field study on the impact of variations in short-term memory demands on drivers’ visual attention and driving performance across three age groups
US20030153846A1 (en) Method of and an apparatus for measuring a person's ability to perform a motor control task
US20100214087A1 (en) Anti-drowsing device and anti-drowsing method
Knipling et al. Vehicle-based drowsy driver detection: Current status and future prospects
Sussman et al. Driver inattention and highway safety
Eskandarian et al. Evaluation of a smart algorithm for commercial vehicle driver drowsiness detection
Mazza et al. Driving ability in sleep apnoea patients before and after CPAP treatment evaluation on a road safety platform
Kircher et al. Vehicle control and drowsiness
JP2007265377A (en) Driver state determining device and driving support device
US20100007480A1 (en) On-board warning apparatus and warning method
Rimini-Doering et al. Effects of lane departure warning on drowsy drivers' performance and state in a simulator
JPH11314534A (en) Caution ability reduction preventive device for vehicle

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20031210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20031223

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090109

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090109

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100109

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100109

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110109

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees