JP5163440B2 - Sleepiness determination device, program - Google Patents

Sleepiness determination device, program Download PDF

Info

Publication number
JP5163440B2
JP5163440B2 JP2008295811A JP2008295811A JP5163440B2 JP 5163440 B2 JP5163440 B2 JP 5163440B2 JP 2008295811 A JP2008295811 A JP 2008295811A JP 2008295811 A JP2008295811 A JP 2008295811A JP 5163440 B2 JP5163440 B2 JP 5163440B2
Authority
JP
Japan
Prior art keywords
distance
drowsiness
lip
determination
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008295811A
Other languages
Japanese (ja)
Other versions
JP2010122897A (en
Inventor
知理 蜂須賀
健二 石田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2008295811A priority Critical patent/JP5163440B2/en
Publication of JP2010122897A publication Critical patent/JP2010122897A/en
Application granted granted Critical
Publication of JP5163440B2 publication Critical patent/JP5163440B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、人の眠気を判定する眠気判定装置、及びその眠気判定装置を構成する各手段としてコンピュータを機能させるためのプログラムに関する。   The present invention relates to a drowsiness determination apparatus that determines human drowsiness, and a program that causes a computer to function as each means that constitutes the drowsiness determination apparatus.

従来より、人（以下、検出対象者と称す）の顔面を被写体とした画像を撮影するカメラと、カメラで撮影した画像に基づいて、検出対象者の眠気を判定する眠気判定装置とを備えた眠気判定システムが知られている。   2. Description of the Related Art Conventionally, a camera that captures an image of a person (hereinafter referred to as a detection target person) as a subject and a drowsiness determination device that determines drowsiness of the detection target person based on the image captured by the camera are provided. A sleepiness determination system is known.

この眠気判定装置として、検出対象者があくびをかみ殺したことを検知すると、検出対象者に眠気が生じている（即ち、検出対象者の覚醒度が低下している）と判定するものが提案されている（例えば、特許文献１参照）。具体的には、特許文献１に記載の眠気判定装置では、左右の両口角の距離が、覚醒時における両口角の距離よりも長くなると、口周りの筋肉が収縮して、検出対象者は、あくびをかみ殺したものと判定している。
特開２００７−２６４７８５号公報 As this drowsiness determination device, a device that determines that drowsiness has occurred in the detection target person (that is, the awakening level of the detection target person has decreased) is detected when it is detected that the detection target person bites the yawn. (For example, refer to Patent Document 1). Specifically, in the drowsiness determination device described in Patent Document 1, when the distance between the left and right mouth angles is longer than the distance between the mouth angles at the time of awakening, the muscles around the mouth contract, The yawn is judged to have been killed.
JP 2007-264785 A

ところが、人に眠気が生じたとしても、必ずあくびをするとは限らず、また、あくびをする場合に、そのあくびを必ずかみ殺すとは限らない。   However, even if sleepiness occurs in a person, it does not always yawn, and when yawning, it does not always kill the yawn.

このため、あくびをかみ殺した時に初めて眠気が生じているものと判定する特許文献１に記載の眠気判定装置では、眠気が生じているにも拘わらず、あくびが出ない時や、あくびが出てもかみ殺さない時には、眠気が生じているものとして判定されないという問題があった。   For this reason, in the drowsiness determination device described in Patent Document 1 that determines that drowsiness occurs for the first time when a yawn is killed, yawning does not occur even though drowsiness occurs, or yawning occurs. There was a problem that when it was not killed, it was not determined that drowsiness occurred.

つまり、特許文献１に記載の眠気判定装置では、検出対象者に眠気が生じていることを検出する検出精度が良くないという問題があった。   In other words, the drowsiness determination device described in Patent Document 1 has a problem that the detection accuracy for detecting drowsiness in the detection target person is not good.

そこで、本発明は、人の眠気を判定する眠気判定装置において、検出精度を向上させることを目的とする。
Accordingly, an object of the present invention is to improve detection accuracy in a drowsiness determination device that determines human drowsiness.

上記目的を達成するためになされた本発明は、移動体に搭載される眠気判定装置である。   The present invention made to achieve the above object is a drowsiness determination device mounted on a moving body.

本願の発明者らが行った研究の結果、「検出対象者（即ち、乗員）に眠気が生じると口唇接続筋は弛緩する」という知見が得られた。本発明の眠気判定装置は、この知見に基づくものである。   As a result of research conducted by the inventors of the present application, the knowledge that “the connective lip of the lip relaxes when drowsiness occurs in the detection subject (that is, the occupant)” was obtained. The drowsiness determination device of the present invention is based on this finding.

その本発明の眠気判定装置では、人の口周りに存在し、眠気が生じると弛緩する複数の筋肉それぞれを口唇接続筋とし、筋肉状態判定手段が、移動体の乗員が有する口唇接続筋が弛緩した弛緩状態であるか否かを判定し、眠気判定手段が、筋肉状態判定手段にて、少なくとも一つの口唇接続筋が弛緩状態であると判定された場合、乗員に眠気が生じているものと判断する。
さらに、本発明における眠気判定手段は、筋肉状態判定手段での判定の結果、弛緩状態である口唇接続筋の数が多いほど、眠気が強いものと判断する。そして、眠気判定手段は、判断結果として、眠気が強いほど大きな値となる眠気度を導出する。 In the sleepiness determination apparatus of the present invention, each of a plurality of muscles that exist around a person's mouth and relax when sleepiness occurs is used as a lip connection muscle, and the muscle state determination means relaxes the lip connection muscle of a mobile occupant. The sleepiness determining means determines that at least one lip connecting muscle is in a relaxed state by the muscle state determining means, and that the occupant is drowsy. to decide.
Furthermore, the drowsiness determination means in the present invention determines that the drowsiness is stronger as the number of connected lip muscles in the relaxed state is larger as a result of the determination by the muscle state determination means. Then, the sleepiness determination means derives the sleepiness degree that becomes a larger value as the sleepiness is stronger as a determination result.

言い換えれば、本発明の眠気判定装置では、眠気により無意識に生じる現象を検出すると、乗員に眠気が生じているものと判定する。このため、本発明の眠気判定装置によれば、眠気が生じていることを検出する検出精度を向上させることができる。   In other words, in the drowsiness determination device of the present invention, when a phenomenon that occurs unconsciously due to drowsiness is detected, it is determined that the occupant is drowsy. For this reason, according to the drowsiness determination apparatus of the present invention, it is possible to improve the detection accuracy for detecting the occurrence of drowsiness.

ところで、検出対象者に生じている眠気が強いほど、複数ある口唇接続筋の中で多くの筋肉が弛緩する。   By the way, the stronger the drowsiness generated in the detection subject, the more muscles relax among the plurality of connected lip muscles.

このため、本発明の眠気判定装置における眠気判定手段では、筋肉状態判定手段での判定の結果、弛緩状態である口唇接続筋の数が多いほど、眠気が強いものと判断している。 Thus, the sleepiness evaluation unit in the drowsiness determination apparatus of the present invention, the result of the determination in muscle state determining means, as the number of lip connections muscle is relaxed state is larger, has determined that a strong sleepiness.

この結果、本発明の眠気判定装置によれば、弛緩した筋肉の数に応じて、乗員に生じている眠気の強さをより適切に判定することができる。 As a result, according to the drowsiness determination device of the present invention, it is possible to more appropriately determine the strength of drowsiness occurring in the occupant according to the number of relaxed muscles.

このように構成された本発明の眠気判定装置においては、眠気度が予め規定された規定値以上である場合、安全制御実行手段が、移動体の移動が安全になされるように移動体の搭載機器を制御する安全制御を実行するように構成されていても良い。 In drowsiness determination apparatus of the present invention configured as described above, when sleep air permeability is predefined specified value or more, the safety control execution means, the moving object as the moving of the moving body is made safe You may be comprised so that the safety control which controls mounted equipment may be performed.

このように構成された眠気判定装置によれば、規定レベル以上の眠気が乗員に生じている場合には、安全制御を実行するため、移動体の運行を安全に実施させることができる。   According to the drowsiness determination device configured as described above, when sleepiness exceeding a specified level occurs in the occupant, safety control is executed, so that the moving body can be operated safely.

なお、ここで言う安全制御とは、移動体を安全な位置に停止させるように、ブレーキ機構やパワトレ機構を制御することでも良いし、乗員を覚醒させるために乗員に対して刺激を与える（例えば、冷風を吹き付けたり、ラジオ等のオーディオ装置を作動させたりする）ように、空調制御装置や音響機器制御装置を制御することでも良い。さらに、ここで言う安全制御とは、乗員の眠気度が規定値以上であることを乗員に対して報知するように、モニタに警告を表示したり、スピーカを鳴動させたりすることでも良い。   The safety control mentioned here may be controlling the brake mechanism or the power train mechanism so as to stop the moving body at a safe position, or giving a stimulus to the occupant in order to awaken the occupant (for example, The air conditioning control device and the acoustic device control device may be controlled so that cold air is blown or an audio device such as a radio is operated. Furthermore, the safety control mentioned here may be to display a warning on the monitor or to sound a speaker so as to notify the occupant that the sleepiness level of the occupant is equal to or greater than a specified value.

また、本発明の眠気判定装置における筋肉状態検出手段は、人の顔面上で、口唇接続筋それぞれに連動して両者間の距離が変化する一対のポイントを特徴点とし、撮影画像取得手段が、乗員の顔面が写り込んだ撮影画像を取得し、特徴点抽出手段が、その取得した撮影画像の中から特徴点を抽出すると共に、特徴距離導出手段が、特徴点それぞれの間の距離である特徴距離を導出して、判定実行手段が、その導出された特徴距離を、その特徴距離の導出に用いた特徴点の間の覚醒時における距離である覚醒距離と比較することにより、弛緩状態であるか否かを判定するように構成されていても良い。 Further, the muscle state detection means in the drowsiness determination device of the present invention is characterized by a pair of points at which the distance between the two changes in conjunction with each lip connective muscle on a human face, and the captured image acquisition means includes: A feature image in which the occupant's face is captured and the feature point extracting means extracts feature points from the acquired photographed image, and the feature distance deriving means is a distance between the feature points. Deriving the distance, the determination execution means is in a relaxed state by comparing the derived feature distance with the awake distance that is the distance at the time of awakening between the feature points used to derive the feature distance It may be configured to determine whether or not.

なお、発明者らが研究を行った結果、検出対象者に眠気が生じると、大頬骨筋が弛緩するとの知見が得られた。   In addition, as a result of the researches by the inventors, it was found that when the detection subject becomes drowsy, the greater zygomatic muscle relaxes.

このため、本発明の眠気判定装置において、判定実行手段により、弛緩状態であるか否かを判定する口唇接続筋の一つは、大頬骨筋であることが望ましい。 For this reason, in the drowsiness determination apparatus of the present invention, it is desirable that one of the lip connecting muscles that determines whether or not it is in a relaxed state by the determination execution means is the greater zygomatic muscle.

そして、本願の発明者らは、口唇接続筋の一つである大頬骨筋の状態を検出するための特徴点として、目尻と口角とを（即ち、目尻（頬骨弓）と口角と間の距離を特徴距離として）規定して、実験を行った。この結果、図１０（Ａ）に示すように、特徴距離は、眠気が強いほど長くなることが明らかとなった。なお、図１０（Ａ）に示すグラフは、横軸に眠気レベル（本発明の眠気度に相当：数値が大きいほど検出対象者に生じている眠気が強い）をとり、縦軸に特徴距離をとったものである。ただし、眠気レベル０が覚醒状態における実験結果（即ち、覚醒距離）を表すものである。   The inventors of the present application, as a feature point for detecting the state of the great zygomatic muscle that is one of the lip connecting muscles, determines the distance between the corner of the eye and the corner of the mouth (that is, the distance between the corner of the eye (the cheekbone bow) and the mouth corner. Was defined as the feature distance. As a result, as shown in FIG. 10A, it became clear that the feature distance becomes longer as sleepiness is stronger. In the graph shown in FIG. 10A, the horizontal axis represents the drowsiness level (corresponding to the drowsiness level of the present invention: the larger the numerical value, the stronger the drowsiness generated in the detection target person), and the vertical axis represents the feature distance. It is what I took. However, the drowsiness level 0 represents the experimental result (that is, the awake distance) in the awake state.

したがって、特徴点として、目尻と口角とが規定されている場合、本発明の眠気判定装置における判定実行手段は、特徴距離が覚醒距離よりも長くなると、大頬骨筋が弛緩状態であるものと判定するように構成されていることが望ましい。 Thus, as a feature point, if the outer corners and the corners of the mouth is defined, the determination executing means in drowsiness determination apparatus of the present invention, the feature distance is longer than the awake distance, as zygomaticus major muscle is relaxed It is desirable to be configured to determine.

また、発明者らが実験を行った結果、検出対象者に眠気が生じると、笑筋または咬筋の両方が弛緩するとの知見が得られた。   Further, as a result of the experiments conducted by the inventors, it was found that when sleepiness occurs in the detection subject, both the laughing muscle or the masseter muscle relax.

このため、本発明の眠気判定装置において、判定実行手段により、弛緩状態であるか否かを判定する口唇接続筋とは、笑筋及び咬筋であることが望ましい。 Therefore, the drowsiness determination apparatus of the present invention, the determination execution unit, and determines the lips connecting muscle whether a relaxed state, it is desirable that the smile muscle and masseter.

そして、本願の発明者らは、笑筋及び咬筋が弛緩したか否かを判定するための特徴点として、唇の上端と下端とを（即ち、唇の上下端の間の唇縦距離を特徴距離として）規定して、実験を行った。この結果、図１０（Ｂ）に示すように、特徴距離は、検出対象者に眠気が生じると覚醒時に比べて長くなることが明らかとなった。なお、図１０（Ｂ）に示すグラフは、横軸に眠気レベルをとり、縦軸に特徴距離（即ち、唇縦距離）をとったものである。   The inventors of the present application characterize the upper and lower ends of the lips (that is, the vertical distance between the upper and lower lips as a feature point for determining whether the laughing muscle and masseter muscle are relaxed). Experiments were conducted with a defined (as distance). As a result, as shown in FIG. 10 (B), it has been clarified that the feature distance becomes longer than that at awakening when sleepiness occurs in the detection target person. In the graph shown in FIG. 10B, the horizontal axis represents the drowsiness level, and the vertical axis represents the characteristic distance (that is, the lip vertical distance).

また、本願の発明者らは、笑筋及び咬筋が弛緩したか否かを判定するための特徴点として、左右の口角を（即ち、左右の口角の間の唇横距離を特徴距離として）規定して、実験を行った。この結果、図１０（Ｃ）に示すように、特徴距離は、検出対象者に眠気が生じると覚醒時に比べて短くなることが明らかとなった。なお、図１０（Ｃ）に示すグラフは、横軸に眠気レベルをとり、縦軸に特徴距離（即ち、唇横距離）をとったものである。ただし、図１０（Ｂ），（Ｃ）に示すグラフは、眠気レベル０が覚醒状態における実験結果（即ち、覚醒距離）を表すものである。   In addition, the inventors of the present application define the left and right mouth corners (that is, the lip lateral distance between the left and right mouth corners as a feature distance) as a feature point for determining whether or not the laughing muscle and masseter muscle are relaxed. The experiment was conducted. As a result, as shown in FIG. 10C, it has been clarified that the feature distance becomes shorter when the detection target person becomes drowsy than at the time of awakening. In the graph shown in FIG. 10C, the horizontal axis represents the drowsiness level, and the vertical axis represents the characteristic distance (that is, the lip lateral distance). However, the graphs shown in FIGS. 10B and 10C represent the experimental results (that is, the awakening distance) when the drowsiness level 0 is the awakening state.

これらのことから、特徴点として、唇の上下端、及び左右の両口角を規定し、さらに、特徴距離として、唇の上下端の間の唇縦距離、及び左右の口角の間の唇横距離を規定した場合、本発明の眠気判定装置における状態判定手段は、唇縦距離がその唇縦距離に対応する覚醒距離よりも長く、かつ唇横距離がその唇横距離に対応する覚醒距離よりも短くなると、笑筋及び咬筋の両方が弛緩状態であるものと判定するように構成されていることが望ましい。   From these, the upper and lower lips of the lips and the left and right mouth corners are defined as feature points, and the lip vertical distance between the upper and lower lips and the lip lateral distance between the left and right mouth corners as the feature distance. In the drowsiness determination device of the present invention, the state determination means is such that the longitudinal distance of the lips is longer than the awake distance corresponding to the longitudinal distance of the lips, and the lateral distance of the lips is greater than the awake distance corresponding to the lateral distance of the lips. When shortened, it is desirable to be configured to determine that both the smile and masseter muscles are in a relaxed state.

ところで、例えば、検出対象者が、発話や咀嚼といった下あごを上下に動かす行動を実施した場合、大頬骨筋は、眠気が生じた時とは異なり収縮する。このため、口角と目尻との間の距離からなる特徴距離は、覚醒距離よりも距離が短い範囲である規定範囲内となる。また、検出対象者が、あくびや口笛を吹くといった口をすぼめる行動を実施した場合、唇横距離は、唇縦距離よりも短く、かつ覚醒している時の唇横距離に比べて短い範囲である規定範囲内となる。   By the way, for example, when the person to be detected performs an action of moving the lower jaw up and down such as speech and mastication, the greater zygomatic muscle contracts unlike when sleepiness occurs. For this reason, the characteristic distance consisting of the distance between the mouth corner and the corner of the eye falls within a specified range that is a range shorter than the awakening distance. In addition, when the detection subject performs an action to shout his mouth, such as yawning or whistling, the lip lateral distance is shorter than the lip lateral distance and shorter than the lip lateral distance when awake. Within the specified range.

つまり、意識的に行う必要のある特定行動を検出対象者が実施している時には、その検出対象者に眠気が生じていない可能性が高く、特徴距離は、眠気が生じている時とは異なる距離の範囲内となる。   In other words, when a detection target person is performing a specific action that needs to be consciously performed, it is highly likely that the detection target person is not drowsy, and the characteristic distance is different from that when drowsiness occurs. Within range.

この時（即ち、乗員が意識的に特定行動を実施している時点で）、眠気の判定を回避することにより、検出対象者に、眠気が生じていないにも拘わらず、眠気が生じているものと判定することを防止できる。   At this time (that is, when the occupant is consciously performing a specific action), by avoiding sleepiness determination, sleepiness is generated in the detection target person even though sleepiness does not occur It can prevent judging with a thing.

そこで、乗員が覚醒時に実施する特定行動により変化する特徴距離の範囲を規定範囲とした場合、本発明の眠気判定装置は、特徴距離が規定範囲内であれば、判定回避手段が、眠気判定手段による眠気の判定を回避するように構成されていることが望ましい。 Therefore, when the occupant has a defined range of feature distances to vary with the particular area of movement to be carried out during arousal, drowsiness determination apparatus of the present invention, if the feature distance is specified range, determining avoidance means, drowsiness determination It is desirable to be configured to avoid sleepiness determination by means.

ところで、本発明は、プログラムとしてなされたものでも良い。 Incidentally, the present invention may be those made as programs.

このようなプログラムとして本発明がなされた場合、例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードさせて起動することにより用いることができる。   When the present invention is made as such a program, for example, the program is recorded on a computer-readable recording medium such as a DVD-ROM, a CD-ROM, and a hard disk, and is used by being loaded into the computer and started up as necessary. Can do.

以下に本発明の実施形態を図面と共に説明する。   Embodiments of the present invention will be described below with reference to the drawings.

図１は、本発明が適用され、自動車に搭載される眠気警報システムの概略構成を示したブロック図であり、図２は、眠気警報システムを構成する各部が車室内に配置された様子を示した説明図である。
〈眠気警報システムの全体構成について〉
この眠気警報システム１は、運転者の口周りに存在し、かつ眠気が生じると弛緩する筋肉それぞれ（以下、口唇接続筋とする）の弛緩状態を判定し、その判定の結果に従って、運転者に生じている眠気の強さ（以下、眠気レベルと称す）を導出して、車載機器を制御するものである。 FIG. 1 is a block diagram showing a schematic configuration of a drowsiness alarm system applied to an automobile to which the present invention is applied, and FIG. 2 shows a state in which respective parts constituting the drowsiness alarm system are arranged in a vehicle interior. FIG.
<Overall configuration of sleepiness alarm system>
This drowsiness warning system 1 determines the relaxation state of each muscle (hereinafter referred to as the lip connecting muscle) that exists around the driver's mouth and relaxes when drowsiness occurs, and notifies the driver according to the result of the determination. The strength of the sleepiness that occurs (hereinafter referred to as the sleepiness level) is derived to control the in-vehicle device.

これを実現するため、図１，２に示すように、眠気警報システム１は、レンズを運転席へと向けてインストルメントパネル内に配置され、運転者の顔面を含む画像を撮影するカメラ２０と、カメラ２０にて撮影された画像に基づいて、口唇接続筋が弛緩状態であるか否かを判定して、眠気レベルを算出し、その算出された眠気レベルに従って車載機器を制御する眠気判定装置１０と、当該眠気警報システム１を起動する起動信号、及び当該眠気警報システム１の作動を停止する終了信号を使用者（即ち、乗員）に入力させるためのスイッチ３０とを備えている。さらに、眠気警報システム１は、車載機器として、インストルメントパネル上に配置され、車室内に警報を出力する警報装置１５と、運転席のヘッドレスト内に設けられ、運転者に冷風を吹き付ける冷風送気装置２１と、車載ラジオやＣＤプレーヤなどの音響機器を制御する音響機器制御装置２５と、車両に備えられたブレーキの制動力を制御するブレーキ制御装置２７とを備えている。   In order to realize this, as shown in FIGS. 1 and 2, the drowsiness warning system 1 is arranged in the instrument panel with the lens facing the driver's seat, and a camera 20 that captures an image including the driver's face. Then, based on the image taken by the camera 20, it is determined whether or not the lip connecting muscle is in a relaxed state, a drowsiness level is calculated, and a drowsiness determination device that controls the in-vehicle device according to the calculated drowsiness level 10 and a switch 30 for causing a user (that is, an occupant) to input a start signal for starting the sleepiness alarm system 1 and an end signal for stopping the operation of the sleepiness alarm system 1. Furthermore, the drowsiness alarm system 1 is arranged on an instrument panel as an in-vehicle device, and is provided with an alarm device 15 that outputs an alarm in the passenger compartment and a headrest of a driver's seat, and cool air supply air that blows cool air to the driver The device 21 includes an audio device control device 25 that controls an audio device such as an in-vehicle radio or a CD player, and a brake control device 27 that controls the braking force of a brake provided in the vehicle.

このうち、カメラ２０は、予め規定された時間間隔（例えば、１／３０ｓ）にて、レンズを介して撮像素子が受光することにより、その時間間隔毎に画像を撮影する周知のデジタルカメラである。以下では、カメラ２０にて撮影された画像を撮影画像と称す。   Among these, the camera 20 is a well-known digital camera that takes an image at each time interval when the image sensor receives light through a lens at a predetermined time interval (for example, 1/30 s). . Below, the image image | photographed with the camera 20 is called a picked-up image.

また、警報装置１５は、眠気判定装置１０から出力される音声信号に従って鳴動するスピーカ１６と、眠気判定装置１０から出力される映像信号に従って画像を表示するモニタ１７とを備えている。そのモニタ１７は、運転席に着座した運転者が視認可能なように、インストルメントパネル上に配置されている。   The alarm device 15 includes a speaker 16 that rings according to an audio signal output from the drowsiness determination device 10 and a monitor 17 that displays an image according to a video signal output from the drowsiness determination device 10. The monitor 17 is arranged on the instrument panel so that the driver sitting on the driver's seat can visually recognize the monitor 17.

さらに、冷風送気装置２１は、運転席に着座した運転者に冷風を吹きかける周知のものであり、眠気判定装置１０からの制御指令に従って、運転者に冷風を吹き付けるように構成されている。   Further, the cold air supply device 21 is a well-known device that blows cold air on the driver seated in the driver's seat, and is configured to blow cold air on the driver in accordance with a control command from the drowsiness determination device 10.

また、音響機器制御装置２５は、眠気判定装置１０からの制御指令に従って、音響機器を制御し、音響機器のスイッチや音量、チャンネルや楽曲などを切り替えるように構成されている。   In addition, the audio device control device 25 is configured to control the audio device in accordance with a control command from the drowsiness determination device 10 and to switch the switch, volume, channel, music, and the like of the audio device.

さらに、ブレーキ制御装置２７は、眠気判定装置１０からの制御指令に従って、ブレーキ油圧回路に備えられた増圧制御弁・減圧制御弁を開閉するブレーキアクチュエータを制御するように構成されている。
〈眠気判定装置について〉
一方、眠気判定装置１０は、カメラ２０から取得した撮影画像に対して画像処理を実行するものである。このため、眠気判定装置１０は、電源が切断されても内容を保持する必要のあるデータや処理プログラムを記憶するＲＯＭ１０ａと、処理途中で一時的に生じたデータを格納するＲＡＭ１０ｂと、ＲＯＭ１０ａやＲＡＭ１０ｂに記憶された処理プログラムを実行するＣＰＵ１０ｃとを備えた周知のマイクロコンピュータを中心に構成されている。 Further, the brake control device 27 is configured to control a brake actuator that opens and closes a pressure increase control valve and a pressure reduction control valve provided in the brake hydraulic circuit in accordance with a control command from the drowsiness determination device 10.
<Drowsiness determination device>
On the other hand, the sleepiness determination apparatus 10 performs image processing on a captured image acquired from the camera 20. Therefore, the drowsiness determination device 10 includes a ROM 10a that stores data and processing programs that need to retain contents even when the power is turned off, a RAM 10b that stores data temporarily generated during processing, and a ROM 10a and RAM 10b. A known microcomputer including a CPU 10c that executes a processing program stored in the computer is mainly configured.

その眠気判定装置１０は、カメラ２０から取得した撮影画像から、人の顔面上にて、口唇接続筋それぞれに連動して両者間の距離が変化する一対のポイント（即ち、座標）を検出し、それらのポイント間の距離である特徴距離を導出する表情情報取得処理を実行するように構成されている。なお、本実施形態では、以下、一対のポイントを構成する各ポイントを特徴点とし、一対のポイントを特徴点ペアと称す。   The drowsiness determination device 10 detects a pair of points (that is, coordinates) in which the distance between the two changes in conjunction with each of the lip connective muscles on the human face from the captured image acquired from the camera 20. It is configured to execute facial expression information acquisition processing for deriving a feature distance that is a distance between these points. In the present embodiment, hereinafter, each point constituting a pair of points is referred to as a feature point, and the pair of points is referred to as a feature point pair.

その特徴点ペアとして、本実施形態では、図３に示すように、左目尻（以下、特徴点座標を（ｘ１，ｙ１，ｚ１）とする）と左口角（ｘ３，ｙ３，ｚ３）との組合せ、右目尻（ｘ２，ｙ２，ｚ２）と右口角（ｘ４，ｙ４，ｚ４）との組合せが規定されている。すなわち、特徴距離として、左目尻（ｘ１，ｙ１，ｚ１）と左口角（ｘ３，ｙ３，ｚ３）の間の距離（以下、左頬距離Ｌと称す）と、右目尻（ｘ２，ｙ２，ｚ２）と右口角（ｘ４，ｙ４，ｚ４）との間の距離（以下、右頬距離Ｒと称す）とがある。   As the feature point pair, in this embodiment, as shown in FIG. 3, a combination of the left eye corner (hereinafter, the feature point coordinates are (x1, y1, z1)) and the left mouth corner (x3, y3, z3). The combination of the right eye corner (x2, y2, z2) and the right mouth corner (x4, y4, z4) is defined. That is, as the characteristic distance, the distance between the left eye corner (x1, y1, z1) and the left mouth corner (x3, y3, z3) (hereinafter referred to as the left cheek distance L) and the right eye corner (x2, y2, z2) And the right mouth corner (x4, y4, z4) (hereinafter referred to as the right cheek distance R).

また、本実施形態における特徴点ペアとしては、図４に示すように、左の口角（ｘ３，ｙ３，ｚ３）と右の口角（ｘ４，ｙ４，ｚ４）との組合せ、上唇の上端（ｘ５，ｙ５，ｚ５）と下唇の下端（ｘ６，ｙ６，ｚ６）との組合せが規定されている。すなわち、特徴距離として、左の口角（ｘ３，ｙ３，ｚ３）と右の口角（ｘ４，ｙ４，ｚ４）との間の距離（以下、唇横距離Ｂｈと称す）と、上唇の上端（ｘ５，ｙ５，ｚ５）と下唇の下端（ｘ６，ｙ６，ｚ６）との間の距離（以下、唇縦距離Ｂｖと称す）とがある。   Further, as the feature point pair in the present embodiment, as shown in FIG. 4, the combination of the left mouth angle (x3, y3, z3) and the right mouth angle (x4, y4, z4), the upper end of the upper lip (x5, A combination of y5, z5) and the lower end of the lower lip (x6, y6, z6) is defined. That is, as the characteristic distance, the distance between the left mouth angle (x3, y3, z3) and the right mouth angle (x4, y4, z4) (hereinafter referred to as lip lateral distance Bh) and the upper end of the upper lip (x5, y5, z5) and the lower end (x6, y6, z6) of the lower lip (hereinafter referred to as lip vertical distance Bv).

ところで、眠気判定装置１０のＲＯＭ１０ａには、運転者が覚醒状態である時に取得した撮影画像に基づいて導出した各特徴距離に従って、覚醒時における特徴距離それぞれについての代表値（以下、覚醒距離とする）を導出する覚醒時データ収集処理をＣＰＵ１０ｃが実行するための処理プログラムが格納されている。   By the way, the ROM 10a of the drowsiness determination device 10 has a representative value (hereinafter referred to as an awakening distance) for each characteristic distance at the time of awakening according to each characteristic distance derived based on a captured image acquired when the driver is in an awakening state. ) Is stored, a processing program for the CPU 10c to execute the awakening data collection processing is stored.

さらに、ＲＯＭ１０ａには、撮影画像に基づいて導出した特徴距離それぞれについての代表値（以下運転時特徴距離と称す）を、覚醒距離と比較することにより、口唇接続筋それぞれが弛緩状態であるか否かを判定し、その判定結果から眠気レベルを導出すると共に、その導出された眠気レベルに従って車載機器を制御する眠気警報処理をＣＰＵ１０ｃが実行するための処理プログラム等が格納されている。   Further, the ROM 10a compares the representative value for each characteristic distance derived based on the photographed image (hereinafter referred to as the driving characteristic distance) with the awakening distance, thereby determining whether or not each lip connecting muscle is in a relaxed state. A processing program for the CPU 10c to execute a drowsiness alarm process for controlling the in-vehicle device according to the derived drowsiness level is stored.

なお、以下では、眠気判定装置１０のＲＡＭ１０ｂにおいて、眠気警報処理の実行途中で一時的に導出されるデータを格納する領域を一時格納領域と称し、眠気警報処理により導出される特徴距離を格納する領域を特徴距離格納領域と称し、覚醒距離それぞれを格納する領域を覚醒距離納領域と称す。
〈眠気警報処理について〉
次に、ＣＰＵ１０ｃが実行する眠気警報処理について説明する。 In the following, in the RAM 10b of the drowsiness determination device 10, an area for storing data temporarily derived during execution of the drowsiness alarm process is referred to as a temporary storage area, and a characteristic distance derived by the drowsiness alarm process is stored. The area is referred to as a feature distance storage area, and the area for storing each awake distance is referred to as an awake distance storage area.
<About sleepiness alarm processing>
Next, drowsiness alarm processing executed by the CPU 10c will be described.

ここで、図５は、眠気警報処理の処理手順を示すフローチャートである。   Here, FIG. 5 is a flowchart showing a processing procedure of the drowsiness alarm processing.

この眠気警報処理は、起動指令が入力された（即ち、乗員が操作することによりスイッチ３０がＯＮされた）時に起動されるものである。   This drowsiness warning process is started when a start command is input (that is, when the switch 30 is turned on by the operation of the passenger).

そして、眠気警報処理が起動されると、図５に示すように、まず、Ｓ１０では、覚醒時データ収集処理を実行する。これにより、覚醒距離それぞれが導出され、その導出された各覚醒距離がＲＡＭ１０ｂの覚醒距離格納領域に格納される。   When the drowsiness alarm process is activated, as shown in FIG. 5, first, in S10, the awakening data collection process is executed. Thereby, each awake distance is derived, and each derived awake distance is stored in the awake distance storage area of the RAM 10b.

つまり、本実施形態のＳ１０では、眠気警報システム１が起動された直後（例えば、運転者が車両に乗り込んだ直後）に、カメラ２０から取得する撮影画像に基づいて導出した特徴距離に従って、覚醒距離それぞれを導出する。これは、運転者が車両に乗り込んだ直後であれば、運転者に眠気が生じていない可能性が高く、運転者が覚醒状態であるものとみなせるためである。   That is, in S10 of this embodiment, immediately after the drowsiness alarm system 1 is activated (for example, immediately after the driver gets into the vehicle), the awakening distance according to the characteristic distance derived based on the captured image acquired from the camera 20. Each is derived. This is because it is highly possible that the driver is not drowsy immediately after the driver gets into the vehicle, and the driver can be regarded as being awake.

続く、Ｓ３０では、カメラ２０から取得した撮影画像に基づいて特徴距離それぞれを導出し、その導出した特徴距離に従って運転時特徴距離を導出する運転時データ収集処理を実行する。   Subsequently, in S30, a feature distance is derived based on the captured image acquired from the camera 20, and a driving data collection process is performed to derive the driving feature distance according to the derived feature distance.

そして、Ｓ５０では、Ｓ３０で導出された運転時特徴距離を、Ｓ１０で導出された覚醒距離と比較することにより、口唇接続筋それぞれが弛緩状態であるか否かを判定し、その判定結果から眠気レベルを導出すると共に、車載機器を制御する眠気判定処理を実行する。   In S50, the driving characteristic distance derived in S30 is compared with the awake distance derived in S10 to determine whether or not each of the lip connective muscles is in a relaxed state, and sleepiness is determined from the determination result. In addition to deriving the level, drowsiness determination processing for controlling the in-vehicle device is executed.

さらに、Ｓ７０では、終了指令が入力された（即ち、乗員が操作することによりスイッチ３０がＯＦＦされた）か否かを判定する。その判定の結果、終了指令が入力されていなければ、Ｓ３０へと戻り、終了指令が入力されるまで、Ｓ３０での運転時データ収集処理、及びＳ５０での眠気判定処理を繰り返す。一方、Ｓ７０での判定の結果、終了指令が入力されていれば、本眠気警報処理を終了する。
〈表情情報取得処理について〉
次に、覚醒時データ収集処理、及び運転時データ収集処理の両方にて実行される表情情報取得処理について説明する。この表情情報取得処理は、カメラ２０から取得した撮影画像に基づき、特徴距離それぞれを導出するためのものである。 Further, in S70, it is determined whether or not an end command has been input (that is, the switch 30 has been turned OFF by the operation of the occupant). If the end instruction is not input as a result of the determination, the process returns to S30, and the driving data collection process in S30 and the sleepiness determination process in S50 are repeated until the end instruction is input. On the other hand, if the end command is input as a result of the determination in S70, the drowsiness warning process is ended.
<Facial expression information acquisition process>
Next, facial expression information acquisition processing executed in both the awakening data collection processing and the driving data collection processing will be described. This facial expression information acquisition process is for deriving each feature distance based on the captured image acquired from the camera 20.

ここで、図７は、表情情報取得処理の処理手順を示したフローチャートである。   Here, FIG. 7 is a flowchart showing a processing procedure of facial expression information acquisition processing.

この表情情報取得処理は、起動されると、まず、図７に示すように、Ｓ８１０にて、第二カウント値ｊを初期値（本実施形態では、０）に設定する。   When this facial expression information acquisition process is started, first, as shown in FIG. 7, the second count value j is set to an initial value (0 in this embodiment) in S810.

続く、Ｓ８２０では、カメラ２０より撮影画像を取得する。そして、Ｓ８３０では、Ｓ８２０にて取得した撮影画像に対して周知の画像解析を実行して、各特徴点（即ち、座標）を検出する。   In step S820, a captured image is acquired from the camera 20. In S830, a well-known image analysis is performed on the captured image acquired in S820 to detect each feature point (ie, coordinate).

つまり、このＳ８３０での処理が実行されることにより、左目尻（ｘ１，ｙ１，ｚ１），右目尻（ｘ２，ｙ２，ｚ２），左口角（ｘ３，ｙ３，ｚ３），右口角（ｘ４，ｙ４，ｚ４），上唇の上端（ｘ５，ｙ５，ｚ５），下唇の下端（ｘ６，ｙ６，ｚ６）が、両撮影画像から検出される。なお、特徴点を抽出する技術は、特開平０９−２７００１０号公報に記載のように周知であるため、ここでの詳しい説明は省略する。   That is, by executing the process in S830, the left eye corner (x1, y1, z1), the right eye corner (x2, y2, z2), the left mouth corner (x3, y3, z3), the right mouth corner (x4, y4) , Z4), the upper end of the upper lip (x5, y5, z5), and the lower end of the lower lip (x6, y6, z6) are detected from both captured images. Since the technique for extracting feature points is well known as described in Japanese Patent Application Laid-Open No. 09-270010, detailed description thereof is omitted here.

そして、Ｓ８４０では、Ｓ８３０で検出した各特徴点に基づいて、特徴距離（即ち、左頬距離Ｌ、右頬距離Ｒ、唇縦距離Ｂｖ、唇横距離Ｂｈ）それぞれを導出して、それらの導出した特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈを、ＲＡＭ１０ｂの特徴距離格納領域に格納する。   In S840, feature distances (ie, left cheek distance L, right cheek distance R, lip vertical distance Bv, lip lateral distance Bh) are derived based on the feature points detected in S830, and their derivation is performed. The feature distances L, R, Bv, Bh are stored in the feature distance storage area of the RAM 10b.

具体的に、本実施形態では、Ｓ８２０で導出された各特徴点の座標を、次の各式に代入することで、各特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈを導出する。
Ｌ＝｛（ｘ１−ｘ３）2＋（ｙ１−ｙ３）2＋（ｚ１−ｚ３）2｝(1/2)
Ｒ＝｛（ｘ２−ｘ４）2＋（ｙ２−ｙ４）2＋（ｚ２−ｚ４）2｝(1/2)
Ｂｖ＝｛（ｘ５−ｘ６）2＋（ｙ５−ｙ６）2＋（ｚ５−ｚ６）2｝(1/2)
Ｂｈ＝｛（ｘ３−ｘ４）2＋（ｙ３−ｙ４）2＋（ｚ３−ｚ４）2｝(1/2)
そして、Ｓ８５０では、第二カウント値ｊをインクリメント（ｊ＝ｊ＋１）して、Ｓ８６０へと進む。 Specifically, in this embodiment, the feature distances L, R, Bv, and Bh are derived by substituting the coordinates of each feature point derived in S820 into the following equations.
L = {(x1-x3) 2 + (y1-y3) 2 + (z1-z3) 2 } (1/2)
R = {(x2-x4) 2 + (y2-y4) 2 + (z2-z4) 2 } (1/2)
Bv = {(x5-x6) 2 + (y5-y6) 2 + (z5-z6) 2 } (1/2)
Bh = {(x3-x4) 2 + (y3-y4) 2 + (z3-z4) 2 } (1/2)
In S850, the second count value j is incremented (j = j + 1), and the process proceeds to S860.

そのＳ８６０では、第二カウント値ｊが設定数ｍ未満であるか否かを判定する。そして、判定の結果、第二カウント値ｊが設定数ｍ未満であれば、Ｓ８２０へと戻る。一方、第二カウント値ｊが設定数ｍ以上となると、本表情情報取得処理を終了して、覚醒時データ収集処理または運転時データ収集処理へと戻る。   In S860, it is determined whether or not the second count value j is less than the set number m. As a result of the determination, if the second count value j is less than the set number m, the process returns to S820. On the other hand, when the second count value j is equal to or greater than the set number m, the facial expression information acquisition process is terminated, and the process returns to the awakening data collection process or the driving data collection process.

なお、本実施形態における設定数ｍは、予め設定された設定時間（例えば、２秒）の間に、カメラ２０から取得可能な撮影画像の枚数（例えば、６０）である。   Note that the set number m in the present embodiment is the number of captured images (for example, 60) that can be acquired from the camera 20 during a preset time (for example, 2 seconds).

つまり、本実施形態における表情情報取得処理では、カメラ２０から撮影画像を取得する毎に、その取得した撮影画像から全ての特徴点を検出して、それぞれの特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈを導出する。そして、表情情報取得処理では、カメラ２０から取得した撮影画像の枚数が設定数ｍとなるまで、特徴距離の導出をくり返す。したがって、表情情報取得処理を実行することにより、ＲＡＭ１０ｂの特徴距離格納領域には、特徴距離それぞれについて設定数ｍ個ずつ格納されることになる。
〈覚醒時データ収集処理について〉
次に、眠気警報処理のＳ１０にて実行される覚醒時データ収集処理について説明する。 That is, in the facial expression information acquisition process in the present embodiment, every time a captured image is acquired from the camera 20, all feature points are detected from the acquired captured image, and the respective feature distances L, R, Bv, Bh are obtained. To derive. In the facial expression information acquisition process, the derivation of the feature distance is repeated until the number of photographed images acquired from the camera 20 reaches the set number m. Therefore, by executing the facial expression information acquisition process, the set number m for each feature distance is stored in the feature distance storage area of the RAM 10b.
<Awakening data collection process>
Next, the awakening data collection process executed in S10 of the sleepiness alarm process will be described.

ここで、図６は、覚醒時データ収集処理の処理手順を示したフローチャートである。   Here, FIG. 6 is a flowchart showing a processing procedure of awakening data collection processing.

この覚醒時データ収集処理は、起動されると、図６に示すように、まず、Ｓ１１０にて、ＲＡＭ１０ｂの一時格納領域、特徴距離格納領域、及び覚醒距離格納領域に格納されているデータ（即ち、特徴距離、運転時特徴距離、及び覚醒距離）を初期化（即ち、消去）する。続く、Ｓ１２０では、第一カウント値ｉを初期値（即ち、０）に設定する。   When the awakening data collection process is started, as shown in FIG. 6, first, in S110, data stored in the temporary storage area, the feature distance storage area, and the awakening distance storage area of the RAM 10b (ie, the awakening distance storage area). , The characteristic distance, the driving characteristic distance, and the awakening distance) are initialized (ie, deleted). In S120, the first count value i is set to an initial value (that is, 0).

そして、Ｓ１３０では、表情情報取得処理を実行する。つまり、Ｓ１３０では、表情情報取得処理を実行することにより、予め設定された設定時間（例えば、２秒）の間に撮影された撮影画像の枚数分だけ、特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈが導出され、その導出された全特徴距離Ｌ，Ｒ，Ｂｖ，ＢｈがＲＡＭ１０ｂの特徴距離格納領域に格納される。   In S130, facial expression information acquisition processing is executed. That is, in S130, the feature distances L, R, Bv, and Bh are set by the number of shot images shot during a preset setting time (for example, 2 seconds) by executing facial expression information acquisition processing. The derived all feature distances L, R, Bv, and Bh are stored in the feature distance storage area of the RAM 10b.

続く、Ｓ１４０では、今サイクル（ここでは、Ｓ１３０からＳ１７０までの一連のステップを表す）におけるＳ１３０の表情情報取得処理にて導出された特徴距離それぞれ（即ち、左頬距離Ｌ、右頬距離Ｒ、唇横距離Ｂｈ、唇縦距離Ｂｖ）について、予め規定された基準を満たす基準値を導出する。以下、左頬距離Ｌ、右頬距離Ｒ、唇横距離Ｂｈ、唇縦距離Ｂｖそれぞれの基準値には、符合ａを付す。つまり、左頬距離Ｌの基準値であれば、左頬距離Ｌａと記載する。   In S140, the feature distances derived in the facial expression information acquisition process in S130 in the current cycle (here, a series of steps from S130 to S170) (ie, left cheek distance L, right cheek distance R, For lip lateral distance Bh and lip vertical distance Bv), a reference value that satisfies a predetermined standard is derived. Hereinafter, the reference value of each of the left cheek distance L, the right cheek distance R, the lip lateral distance Bh, and the lip vertical distance Bv is denoted by a symbol a. That is, if it is the reference value of the left cheek distance L, it will be described as the left cheek distance La.

具体的に、本実施形態のＳ１４０では、ＲＡＭ１０ｂの特徴距離格納領域に格納されている各特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈを全て読み出し、それらの各特徴距離について度数分布を求める。そして、それぞれの特徴距離についての度数分布に基づき、各特徴距離についての基準値Ｌａ，Ｒａ，Ｂｖａ，Ｂｈａを導出し、ＲＡＭ１０ｂの一時格納領域に格納する。   Specifically, in S140 of the present embodiment, all the feature distances L, R, Bv, and Bh stored in the feature distance storage area of the RAM 10b are read, and a frequency distribution is obtained for each feature distance. Then, based on the frequency distribution for each feature distance, reference values La, Ra, Bva, Bha for each feature distance are derived and stored in the temporary storage area of the RAM 10b.

より具体的には、左頬距離Ｌ、右頬距離Ｒ、唇縦距離Ｂｖのそれぞれについては、それぞれの度数分布において、累積相対度数が最大値から５％となる値を基準値（即ち、左頬距離Ｌａ、右頬距離Ｒａ、唇縦距離Ｂｖａ）として導出する。また、唇横距離Ｂｈについては、唇横距離Ｂｈの度数分布において、累積相対度数が最小値から５％となる値を、基準値（即ち、唇横距離Ｂｈａ）として導出する。   More specifically, for each of the left cheek distance L, the right cheek distance R, and the lip vertical distance Bv, in each frequency distribution, a value at which the cumulative relative frequency is 5% from the maximum value is set as a reference value (ie, left It is derived as cheek distance La, right cheek distance Ra, and lip vertical distance Bva). As for the lip lateral distance Bh, a value at which the cumulative relative frequency is 5% from the minimum value in the frequency distribution of the lip lateral distance Bh is derived as a reference value (that is, lip lateral distance Bha).

そして、Ｓ１５０では、ＲＡＭ１０ｂの特徴距離格納領域に格納されている特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈを削除する。続く、Ｓ１６０では、第一カウント値ｉをインクリメント（ｉ＝ｉ＋１）する。   In S150, the feature distances L, R, Bv, Bh stored in the feature distance storage area of the RAM 10b are deleted. In S160, the first count value i is incremented (i = i + 1).

さらに、Ｓ１７０では、第一カウント値ｉが、所定値ｎ未満であるか否かを判定し、判定の結果、第一カウント値ｉが所定値ｎ未満であれば、Ｓ１３０へと戻り、第一カウント値ｉが所定値ｎ以上となると、Ｓ１８０へと進む。   Further, in S170, it is determined whether or not the first count value i is less than the predetermined value n. If the first count value i is less than the predetermined value n as a result of the determination, the process returns to S130, When the count value i becomes equal to or greater than the predetermined value n, the process proceeds to S180.

なお、所定値ｎは、覚醒距離を導出するために必要な基準値それぞれの個数（例えば、６０）として予め規定されたものである。したがって、本実施形態のＳ１７０では、特徴距離が、ＲＡＭ１０ｂの特徴距離格納領域に、所定値ｎだけ格納されていなければ、所定値ｎだけ格納されるまで、表情情報取得処理を繰り返し、所定値ｎだけ格納されていれば、Ｓ１８０へと進む。   The predetermined value n is defined in advance as the number of reference values necessary for deriving the awakening distance (for example, 60). Therefore, in S170 of the present embodiment, if the feature distance is not stored in the feature distance storage area of the RAM 10b by a predetermined value n, the facial expression information acquisition process is repeated until the predetermined value n is stored. If only the data is stored, the process proceeds to S180.

そのＳ１８０では、Ｓ１４０で導出された各特徴距離の基準値Ｌａ，Ｒａ，Ｂｖａ，Ｂｈａに基づいて、それぞれの特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈについての覚醒距離を導出し、その導出された覚醒距離を、ＲＡＭ１０ｂの覚醒距離格納領域に格納する。以下、左頬距離Ｌ、右頬距離Ｒ、唇横距離Ｂｈ、唇縦距離Ｂｖそれぞれの覚醒距離には、符合ｂを付す。つまり、左頬距離Ｌの基準値であれば、左頬距離Ｌｂと記載する。   In S180, the awakening distance for each feature distance L, R, Bv, Bh is derived based on the reference value La, Ra, Bva, Bha of each feature distance derived in S140, and the derived awakening. The distance is stored in the awake distance storage area of the RAM 10b. In the following, the awakening distance of each of the left cheek distance L, the right cheek distance R, the lip lateral distance Bh, and the lip vertical distance Bv is denoted by a symbol b. That is, if it is the reference value of the left cheek distance L, it will be described as the left cheek distance Lb.

具体的に、本実施形態では、ＲＡＭ１０ｂの一時格納領域に格納されている各特徴距離の基準値（即ち、左頬距離Ｌａ、右頬距離Ｒａ、唇縦距離Ｂｖａ、唇横距離Ｂｈａ）を全て読み出す。まず、各特徴距離それぞれの基準値Ｌａ，Ｒａ，Ｂｖａ，Ｂｈａについて、平均値μ、及び標準偏差σをそれぞれ導出すると共に、各特徴距離それぞれの基準値Ｌａ，Ｒａ，Ｂｖａ，Ｂｈａについて度数分布を求める。このとき、求められる度数分布は、正規分布としてみなせる可能性が高い。   Specifically, in the present embodiment, all the reference values (that is, the left cheek distance La, the right cheek distance Ra, the lip vertical distance Bva, and the lip lateral distance Bha) stored in the temporary storage area of the RAM 10b are used. read out. First, an average value μ and a standard deviation σ are derived for the reference values La, Ra, Bva, and Bha for each feature distance, and a frequency distribution is obtained for the reference values La, Ra, Bva, and Bha for each feature distance. Ask. At this time, the obtained frequency distribution is likely to be regarded as a normal distribution.

そして、左頬距離Ｌ、右頬距離Ｒ、唇縦距離Ｂｖのそれぞれについては、それぞれの基準値についての度数分布において、μ＋２σとなる値を覚醒距離（即ち、左頬距離Ｌｂ、右頬距離Ｒｂ、唇縦距離Ｂｖｂ）として導出する。また、唇横距離Ｂｈについては、唇横距離Ｂｈの覚醒距離についての度数分布において、μ−２σとなる値を覚醒距離（即ち、唇横距離Ｂｈｂ）として導出する。   For each of the left cheek distance L, the right cheek distance R, and the lip vertical distance Bv, in the frequency distribution with respect to each reference value, a value of μ + 2σ is set as the awake distance (that is, the left cheek distance Lb and the right cheek distance Rb). , Lip longitudinal distance Bvb). For the lip lateral distance Bh, a value of μ−2σ is derived as the wake distance (ie, lip lateral distance Bhb) in the frequency distribution of the wake lateral distance Bh.

その後、眠気警報処理へと戻り、Ｓ３０の運転時データ収集処理へと進む。   Thereafter, the process returns to the drowsiness alarm process and proceeds to the driving data collection process of S30.

つまり、本実施形態の覚醒時データ収集処理では、運転者が覚醒状態であるとみなせる時に撮影された撮影画像を取得し、その撮影画像から導出した特徴距離（即ち、左頬距離Ｌ、右頬距離Ｒ、唇縦距離Ｂｖ、唇横距離Ｂｈ）に従って、特徴距離それぞれについての覚醒距離（即ち、左頬距離Ｌｂ、右頬距離Ｒｂ、唇縦距離Ｂｖｂ、唇横距離Ｂｈｂ）を導出する。
〈運転時データ収集処理について〉
次に、眠気警報処理のＳ３０にて実行される運転時データ収集処理について説明する。 That is, in the awakening data collection process of the present embodiment, a captured image that is captured when the driver can be regarded as being in an awake state is acquired, and the characteristic distances derived from the captured image (that is, the left cheek distance L, the right cheek distance) According to the distance R, the vertical lip distance Bv, and the horizontal lip distance Bh), the awakening distance (that is, the left cheek distance Lb, the right cheek distance Rb, the vertical lip distance Bvb, and the horizontal lip distance Bhb) is derived.
<Operation data collection process>
Next, the driving data collection process executed in S30 of the sleepiness alarm process will be described.

ここで、図８は、運転時データ収集処理の処理手順を示したフローチャートである。   Here, FIG. 8 is a flowchart showing a processing procedure of the operation data collection processing.

この運転時データ収集処理は、起動されると、図８に示すように、まず、Ｓ３１０にて、ＲＡＭ１０ｂの一時格納領域に格納されている基準値Ｌａ，Ｒａ，Ｂｖａ，Ｂｈａ、及びＲＡＭ１０ｂの特徴距離格納領域に格納されている全ての特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈを初期化（即ち、削除）する。   When the operation data collection process is started, as shown in FIG. 8, first, in S310, the reference values La, Ra, Bva, Bha, and the characteristics of the RAM 10b stored in the temporary storage area of the RAM 10b are stored. All feature distances L, R, Bv, Bh stored in the distance storage area are initialized (that is, deleted).

続く、Ｓ３２０では、表情情報取得処理を実行する。つまり、Ｓ３２０では、表情情報取得処理を実行することにより、予め設定された設定時間（例えば、２秒）の間に撮影された撮影画像の枚数分だけ、特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈが導出され、その導出された全特徴距離Ｌ，Ｒ，Ｂｖ，ＢｈがＲＡＭ１０ｂの特徴距離格納領域に格納される。   In S320, facial expression information acquisition processing is executed. That is, in S320, the feature distances L, R, Bv, and Bh are set by the number of shot images shot during a preset setting time (for example, 2 seconds) by executing facial expression information acquisition processing. The derived all feature distances L, R, Bv, and Bh are stored in the feature distance storage area of the RAM 10b.

そして、Ｓ３３０では、今サイクル（ここでは、今回、起動された運転時データ収集処理の１サイクルを表す）におけるＳ３２０（表情情報取得処理）にて導出された特徴距離それぞれ（即ち、左頬距離Ｌ、右頬距離Ｒ、唇横距離Ｂｈ、唇縦距離Ｂｖ）について、予め規定された基準を満たす値を運転時特徴距離として導出する。以下、左頬距離Ｌ、右頬距離Ｒ、唇横距離Ｂｈ、唇縦距離Ｂｖそれぞれの運転時特徴距離には、符合ｄを付す。つまり、左頬距離Ｌの運転時特徴距離であれば、左頬距離Ｌｄと記載する。   In S330, each of the feature distances derived in S320 (facial expression information acquisition process) in the current cycle (here, this represents one cycle of the activated data collection process that has been started this time) (that is, the left cheek distance L). For the right cheek distance R, the lip lateral distance Bh, and the lip vertical distance Bv), values satisfying a predetermined standard are derived as driving characteristic distances. Hereinafter, the reference character d is attached to the driving characteristic distances of the left cheek distance L, the right cheek distance R, the lip lateral distance Bh, and the lip vertical distance Bv. That is, if it is the driving characteristic distance of the left cheek distance L, it is described as the left cheek distance Ld.

具体的に、本実施形態のＳ３３０では、ＲＡＭ１０ｂの特徴距離格納領域に格納されている各特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈを全て読み出し、それらの特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈそれぞれについて度数分布を求める。そして、それぞれの度数分布に基づき、各特徴距離についての運転時特徴距離Ｌｄ，Ｒｄ，Ｂｖｄ，Ｂｈｄを導出し、ＲＡＭ１０ｂの一時格納領域に格納する。   Specifically, in S330 of the present embodiment, all the feature distances L, R, Bv, and Bh stored in the feature distance storage area of the RAM 10b are read, and the frequency for each of the feature distances L, R, Bv, and Bh is read. Find the distribution. Based on each frequency distribution, driving characteristic distances Ld, Rd, Bvd, Bhd for each characteristic distance are derived and stored in the temporary storage area of the RAM 10b.

より具体的には、左頬距離Ｌ、右頬距離Ｒ、唇縦距離Ｂｖのそれぞれについては、それぞれの度数分布において、累積相対度数が最小値から５％となる値を運転時特徴距離（即ち、左頬距離Ｌｄ、右頬距離Ｒｄ、唇縦距離Ｂｖｄ）として導出する。また、唇横距離Ｂｈについては、唇横距離Ｂｈの度数分布において、累積相対度数が最大値から５％となる値を、運転時特徴距離（即ち、唇横距離Ｂｈｄ）として導出する。   More specifically, for each of the left cheek distance L, the right cheek distance R, and the lip vertical distance Bv, in each frequency distribution, a value at which the cumulative relative frequency is 5% from the minimum value is set as a driving characteristic distance (that is, , Left cheek distance Ld, right cheek distance Rd, lip vertical distance Bvd). As for the lateral lip distance Bh, a value at which the cumulative relative frequency is 5% from the maximum value in the frequency distribution of the lateral lip distance Bh is derived as a driving characteristic distance (that is, lateral lip distance Bhd).

そして、その後、本運転時データ処理を終了して、眠気警報処理へと戻る。   Then, after that, the actual driving data processing is terminated, and the process returns to the drowsiness warning processing.

つまり、本実施形態の運転時データ収集処理では、運転者が運転中であるとみなせる時に撮影された撮影画像を取得し、その撮影画像から導出した特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈに従って、特徴距離それぞれについての運転時特徴距離（即ち、左頬距離Ｌｄ、右頬距離Ｒｄ、唇縦距離Ｂｖｄ、唇横距離Ｂｈｄ）を導出する。
〈眠気判定処理について〉
次に、眠気警報処理のＳ５０にて実行される眠気判定処理について説明する。 That is, in the driving data collection process of the present embodiment, a captured image that is captured when the driver can be regarded as driving is acquired, and according to the characteristic distances L, R, Bv, and Bh derived from the captured image. A driving characteristic distance (that is, left cheek distance Ld, right cheek distance Rd, lip vertical distance Bvd, lip lateral distance Bhd) is derived for each distance.
<About sleepiness determination processing>
Next, the sleepiness determination process executed in S50 of the sleepiness alarm process will be described.

ここで、図９は、眠気判定処理の処理手順を示したフローチャートである。   Here, FIG. 9 is a flowchart showing a processing procedure of the drowsiness determination processing.

この眠気判定処理は、起動されると、図９に示すように、まず、Ｓ５１０では、詳しくは後述する左頬フラグＬｆ，右頬フラグＲｆ，開口フラグＢａ，比率フラグＢｒを初期化する（即ち、ローレベルへと戻す）。   When this drowsiness determination process is started, as shown in FIG. 9, first, in S510, a left cheek flag Lf, a right cheek flag Rf, an opening flag Ba, and a ratio flag Br, which will be described in detail later, are initialized (ie, , Return to low level).

続く、Ｓ５２０では、左頬距離Ｌｄ（即ち、運転時特徴距離）が左頬距離Ｌｂ（即ち、覚醒距離）よりも長いか否かを判定する。   Subsequently, in S520, it is determined whether or not the left cheek distance Ld (that is, the driving characteristic distance) is longer than the left cheek distance Lb (that is, the awakening distance).

そして、判定の結果、左頬距離Ｌｄが左頬距離Ｌｂよりも長い場合、口唇接続筋の一つである左の大頬骨筋が弛緩状態であるものと判断して、Ｓ５３０へと進む。そのＳ５３０では、左頬フラグＬｆをハイレベル（Ｌｆ＝１）に設定して、Ｓ５４０へと進む。一方、Ｓ５２０での判定の結果、左頬距離Ｌｄが左頬距離Ｌｂ以下である場合、左の大頬骨筋が弛緩状態ではないものと判断し、左頬フラグＬｆをローレベル（Ｌｆ＝０）に維持したまま、Ｓ５４０へと進む。なお、左頬フラグＬｆは、左の大頬骨筋が弛緩状態であるか否かを表すものである。   As a result of the determination, if the left cheek distance Ld is longer than the left cheek distance Lb, it is determined that the left large zygomatic muscle, which is one of the lip connecting muscles, is in a relaxed state, and the process proceeds to S530. In S530, the left cheek flag Lf is set to a high level (Lf = 1), and the process proceeds to S540. On the other hand, if the result of determination in S520 is that the left cheek distance Ld is less than or equal to the left cheek distance Lb, it is determined that the left large cheekbone muscle is not in a relaxed state, and the left cheek flag Lf is set to a low level (Lf = 0). The process proceeds to S540 while maintaining the above. Note that the left cheek flag Lf indicates whether or not the left large zygomatic muscle is in a relaxed state.

そのＳ５４０では、右頬距離Ｒｄ（即ち、運転時特徴距離）が右頬距離Ｒｂ（即ち、覚醒距離）よりも長いか否かを判定する。   In S540, it is determined whether or not the right cheek distance Rd (that is, the driving characteristic distance) is longer than the right cheek distance Rb (that is, the awakening distance).

そして、判定の結果、右頬距離Ｒｄが右頬距離Ｒｂよりも長い場合、口唇接続筋の一つである右の大頬骨筋が弛緩状態であるものと判断して、Ｓ５５０へと進む。そのＳ５５０では、右頬フラグＲｆをハイレベル（Ｒｆ＝１）に設定して、Ｓ５６０へと進む。一方、Ｓ５４０での判定の結果、右頬距離Ｒｄが右頬距離Ｒｂ以下である場合、右の大頬骨筋が弛緩状態ではないものと判断し、右頬フラグＲｆをローレベル（Ｒｆ＝０）に維持したまま、Ｓ５６０へと進む。なお、右頬フラグＲｆは、右の大頬骨筋が弛緩状態であるか否かを表すものである。   As a result of the determination, if the right cheek distance Rd is longer than the right cheek distance Rb, it is determined that the right large zygomatic muscle, which is one of the lip connecting muscles, is in a relaxed state, and the process proceeds to S550. In S550, the right cheek flag Rf is set to a high level (Rf = 1), and the process proceeds to S560. On the other hand, if the result of determination in S540 is that the right cheek distance Rd is less than or equal to the right cheek distance Rb, it is determined that the right large zygomatic muscle is not in a relaxed state, and the right cheek flag Rf is set to the low level (Rf = 0). The process proceeds to S560 while maintaining the above. The right cheek flag Rf indicates whether or not the right large zygomatic muscle is in a relaxed state.

続くＳ５６０では、唇横距離Ｂｈｄ（即ち、運転時特徴距離）が唇縦距離Ｂｖｄ（即ち、運転時特徴距離）よりも長いか否かを判定する。   In subsequent S560, it is determined whether or not the lateral lip distance Bhd (that is, the driving characteristic distance) is longer than the vertical lip distance Bvd (that is, the driving characteristic distance).

そして、判定の結果、唇横距離Ｂｈｄが唇縦距離Ｂｖｄよりも長い場合、運転者があくびや口笛を吹くなどの口をすぼめる行動（以下、開口行動と称す）を実行中では無いものと判断して、Ｓ５７０へと進む。そのＳ５７０では、開口フラグＢａをハイレベル（Ｂａ＝１）に設定して、Ｓ５８０へと進む。一方、Ｓ５６０での判定の結果、唇横距離Ｂｈｄが唇縦距離Ｂｖｄ以下である場合、運転者が開口行動中であるものと判断し、開口フラグＢａをローレベル（Ｂａ＝０）に維持したまま、Ｓ５８０へと進む。なお、開口フラグＢａは、運転者が開口行動を実行中であるか否かを表すものである。   As a result of the determination, if the lateral lip distance Bhd is longer than the longitudinal lip distance Bvd, it is assumed that the driver does not perform an action of squeezing his mouth such as yawning or whistling (hereinafter referred to as opening action). Judge and proceed to S570. In S570, the opening flag Ba is set to a high level (Ba = 1), and the process proceeds to S580. On the other hand, if the result of determination in S560 is that the lip lateral distance Bhd is less than or equal to the lip vertical distance Bvd, it is determined that the driver is performing an opening action, and the opening flag Ba is maintained at a low level (Ba = 0). The process proceeds to S580. The opening flag Ba indicates whether or not the driver is performing an opening action.

さらに、Ｓ５８０では、唇縦距離Ｂｖｄ（即ち、運転時特徴距離）を唇横距離Ｂｈｄ（即ち、運転時特徴距離）で除した運転時開口比率が、唇縦距離Ｂｖｂ（即ち、覚醒距離）を唇横距離Ｂｈｂ（即ち、覚醒距離）で除した覚醒時開口比率よりも大きいか否かを判定する。   Further, in S580, the driving opening ratio obtained by dividing the lip vertical distance Bvd (that is, the driving characteristic distance) by the lip horizontal distance Bhd (that is, the driving characteristic distance) is the lip vertical distance Bvb (that is, the awakening distance). It is determined whether or not the wakefulness opening ratio is larger than the lateral lip distance Bhb (that is, the wakefulness distance).

そして、判定の結果、運転時開口比率が覚醒時開口比率よりも大きい、即ち、覚醒距離Ｂｖｂからの唇縦距離Ｂｖｄの伸び率が、覚醒距離Ｂｈｂからの唇横距離Ｂｈｄの伸び率よりも大きい場合、口唇接続筋を構成する笑筋、咬筋が弛緩状態であるものと判断して、Ｓ５９０へと進む。そのＳ５９０では、比率フラグＢｒをハイレベル（Ｂｒ＝１）に設定して、Ｓ６００へと進む。一方、Ｓ５８０での判定の結果、運転時開口比率が覚醒時開口比率以下である場合、笑筋，咬筋が弛緩状態ではないものと判断し、比率フラグＢｒをローレベル（Ｂｒ＝０）に維持したまま、Ｓ６００へと進む。なお、比率フラグＢｒは、笑筋，咬筋が弛緩状態であるか否かを表すものである。   As a result of the determination, the opening ratio during driving is larger than the opening ratio during awakening, that is, the elongation ratio of the lip vertical distance Bvd from the awakening distance Bvb is larger than the elongation ratio of the lateral lip distance Bhd from the awakening distance Bhb. In this case, it is determined that the laughing and masseter muscles constituting the lip connecting muscle are in a relaxed state, and the process proceeds to S590. In S590, the ratio flag Br is set to the high level (Br = 1), and the process proceeds to S600. On the other hand, if the result of determination in S580 is that the driving opening ratio is less than or equal to the awake opening ratio, it is determined that the laughing muscle and masseter are not relaxed, and the ratio flag Br is maintained at a low level (Br = 0). The process proceeds to S600. The ratio flag Br indicates whether or not the laughing muscle and masseter muscle are in a relaxed state.

そして、Ｓ６００では、左頬フラグＬｆ，右頬フラグＲｆ，開口フラグＢａ，比率フラグＢｒの全てが、ハイレベルであるか否かを判定する。   In S600, it is determined whether all of the left cheek flag Lf, the right cheek flag Rf, the opening flag Ba, and the ratio flag Br are at a high level.

そのＳ６００での判定の結果、これらのフラグＬｆ，Ｒｆ，Ｂａ，Ｂｒ全てがハイレベルであれば、左右の両大頬骨筋、及び笑筋、咬筋が全て弛緩しており、しかも運転者が開口行動を実行中では無いため、運転者に眠気が生じているものと判断する。その結果、眠気の強さが下から２番目の眠気レベル２として、眠気レベルを導出し、Ｓ６１０へと進む。   If all of these flags Lf, Rf, Ba, Br are at a high level as a result of the determination in S600, the left and right large zygomatic muscles, laughing muscles, and masseter muscles are all relaxed, and the driver opens. Since the action is not being executed, it is determined that the driver is drowsy. As a result, the sleepiness level is derived as the second sleepiness level 2 from the bottom, and the process proceeds to S610.

さらに、Ｓ６１０では、運転者の眠気が低下（即ち、覚醒度が増加）するように、運転者に警告を出力するための音声信号及び映像信号を警報装置１５へと出力する。これにより、スピーカ１６から刺激音を出力し、運転者の眠気レベルがレベル２であることを示す画像をモニタ１７に表示する。さらに、冷風送気装置２１に対して制御指令を出力し、その制御指令を受信した冷風送気装置２１は、運転者に冷気を吹きかける。以下では、このＳ６１０にて出力する音声信号、映像信号、及び制御指令を第二レベル制御指令と称す。   Furthermore, in S610, an audio signal and a video signal for outputting a warning to the driver are output to the alarm device 15 so that the drowsiness of the driver is reduced (that is, the arousal level is increased). Thereby, a stimulation sound is output from the speaker 16 and an image indicating that the driver's sleepiness level is level 2 is displayed on the monitor 17. Further, the cold air supply device 21 outputs a control command to the cold air supply device 21 and receives the control command, and blows cold air to the driver. Hereinafter, the audio signal, the video signal, and the control command output in S610 are referred to as a second level control command.

一方、Ｓ６００での判定の結果、左頬フラグＬｆ，右頬フラグＲｆ，開口フラグＢａ，比率フラグＢｒの全てがハイレベルで無い、即ち、少なくとも一つがローレベルである場合、Ｓ６２０へと進む。   On the other hand, as a result of the determination in S600, if all of the left cheek flag Lf, right cheek flag Rf, opening flag Ba, and ratio flag Br are not at a high level, that is, at least one is at a low level, the process proceeds to S620.

そのＳ６２０では、各種フラグＬｆ，Ｒｆ，Ｂａ，Ｂｒが、予め規定された規定条件を満たすか否かを判定する。なお、本実施形態では、「左頬フラグＬｆ，右頬フラグＲｆ，開口フラグＢａの全てがハイレベルであり、かつ比率フラグＢｒがローレベルである（即ち、比率フラグＢｒのみがローレベルである）こと」、または、「左頬フラグＬｆ，右頬フラグＲｆの少なくとも一方がローレベルであり、かつ開口フラグＢａ，比率フラグＢｒの何れもがハイレベルであること」が、規定条件として規定されている。   In S620, it is determined whether or not the various flags Lf, Rf, Ba, Br satisfy a predetermined regulation condition. In the present embodiment, “the left cheek flag Lf, the right cheek flag Rf, and the opening flag Ba are all at a high level, and the ratio flag Br is at a low level (that is, only the ratio flag Br is at a low level). ) ”Or“ At least one of the left cheek flag Lf and the right cheek flag Rf is at a low level and both the opening flag Ba and the ratio flag Br are at a high level ”is defined as a regulation condition. ing.

そして、Ｓ６２０での判定の結果、各種フラグＬｆ，Ｒｆ，Ｂａ，Ｂｒが規定条件を満たしている場合、笑筋及び咬筋の両方、及び左右両方の大頬骨筋のうち、いずれか一方が弛緩状態であることから、運転者にやや弱い眠気が生じているものと判断する。そして、眠気の強さが最も下の眠気レベル１として、眠気レベルを導出し、Ｓ６３０へと進む。   As a result of the determination in S620, when the various flags Lf, Rf, Ba, Br satisfy the specified conditions, either the laughing muscle, the masseter muscle, or both the left and right large zygomatic muscles are in a relaxed state. Therefore, it is determined that the driver is slightly weakly sleepy. Then, the drowsiness level is derived with the drowsiness level 1 having the lowest drowsiness intensity, and the process proceeds to S630.

そのＳ６３０では、運転者の眠気が低下（即ち、覚醒度が増加）するように、運転者への注意を出力するための映像信号を警報装置１５へと出力すると共に、音響機器制御装置２５に対して制御指令を出力する。これにより、その制御指令を受信した音響機器制御装置２５は、音響機器を作動させ、音量を増加させると共に、チャンネルや楽曲を切り替える。さらに、映像信号を受信したモニタ１７は、運転者の眠気レベルがレベル１であることを示す画像を表示する。以下では、このＳ６３０で出力する映像信号及び制御指令を第一レベル制御指令と称す。   In S630, a video signal for outputting a warning to the driver is output to the alarm device 15 so that the driver's drowsiness is reduced (that is, the arousal level is increased), and the audio device control device 25 is also output. In response, a control command is output. Thereby, the audio equipment control device 25 that has received the control command operates the audio equipment to increase the volume, and switches the channel and music. Furthermore, the monitor 17 that has received the video signal displays an image indicating that the driver's sleepiness level is level 1. Hereinafter, the video signal and the control command output in S630 are referred to as a first level control command.

ところで、Ｓ６２０での判定の結果、各種フラグＬｆ，Ｒｆ，Ｂａ，Ｂｒが規定条件を満たしていない場合、眠気が生じていないことを表す眠気レベル０として、眠気レベルを導出して、Ｓ６４０へと進む。すなわち、笑筋及び咬筋の両方、及び左右両方の大頬骨筋それぞれが弛緩状態では無い場合、または運転者が開口行動を実行中である場合には、運転者に眠気が生じていない（即ち、覚醒状態である）ものと判断する。   By the way, as a result of the determination in S620, when the various flags Lf, Rf, Ba, Br do not satisfy the prescribed conditions, the sleepiness level is derived as sleepiness level 0 indicating that sleepiness has not occurred, and the process proceeds to S640. move on. That is, if both the smile and masseter muscles, and both the left and right large zygomatic muscles are not relaxed, or if the driver is performing an opening action, the driver is not drowsy (i.e., (Awake state)

そのＳ６４０では、運転者に眠気が生じていないことから、眠気レベル１以上となった場合に出力される第一，第二レベル制御指令の出力を禁止する。その後、Ｓ６５０へと進む。   In S640, since the driver is not drowsy, the output of the first and second level control commands that are output when the drowsiness level is 1 or higher is prohibited. Thereafter, the process proceeds to S650.

なお、Ｓ６１０にて第二レベル制御指令を出力した後や、Ｓ６３０にて第一レベル制御指令を出力した後にも、Ｓ６５０へと進む。   Note that the process also proceeds to S650 after the second level control command is output in S610 or after the first level control command is output in S630.

そのＳ６５０では、ＲＡＭ１０ｂの特徴距離格納領域に格納されている左頬距離Ｌｄ、右頬距離Ｒｄ、唇縦距離Ｂｖｄ、唇横距離Ｂｈｄの全て（即ち、運転時特徴距離）を削除する。   In S650, all of the left cheek distance Ld, right cheek distance Rd, vertical lip distance Bvd, and lateral lip distance Bhd (that is, the characteristic distance during driving) stored in the characteristic distance storage area of the RAM 10b is deleted.

そして、その後、眠気警報処理のＳ７０へと戻り、終了指令が入力されるまで、Ｓ３０での運転時データ収集処理、Ｓ５０での眠気判定処理を繰り返し実行する。   Thereafter, the process returns to S70 of the sleepiness alarm process, and the driving data collection process in S30 and the sleepiness determination process in S50 are repeatedly executed until an end command is input.

つまり、本実施形態の眠気判定処理では、左右の大頬骨筋それぞれが弛緩状態であるか否かを判定し、さらに、運転者が開口行動を実行中であるか否かを判定して、その後、笑筋及び咬筋の両方が弛緩状態であるか否かを判定する。そして、判定の結果、運転者が開口行動を実行していないと判断されると、それら大頬骨筋、笑筋及び咬筋が弛緩状態であるか否かの判定結果に基づいて、弛緩状態である筋肉の数が多いほど運転者に生じている眠気が強いものと判定して、眠気レベルを導出している。   That is, in the drowsiness determination processing of the present embodiment, it is determined whether each of the left and right great zygomatic muscles is in a relaxed state, further determines whether the driver is performing an opening action, and then Then, it is determined whether both the laughing muscle and the masseter muscle are in a relaxed state. Then, if it is determined that the driver is not performing the opening action as a result of the determination, the driver is in a relaxed state based on a determination result of whether or not the greater zygomatic, laughing and masseter muscles are in a relaxed state. As the number of muscles increases, it is determined that the drowsiness generated in the driver is stronger, and the drowsiness level is derived.

さらに、本実施形態の眠気判定処理では、導出した眠気レベルに応じて、運転者の眠気が低下（即ち、覚醒度が増加）するように、警告や注意を運転者に対して出力する。
［実施形態の効果］
以上説明したように、本実施形態の眠気判定装置１０では、人に眠気が生じると口唇接続筋（即ち、大頬骨筋、笑筋及び咬筋）が弛緩するという、眠気により無意識に生じる現象を検出すると、運転者に眠気が生じているものと判定している。 Furthermore, in the drowsiness determination process of the present embodiment, a warning or caution is output to the driver so that the drowsiness of the driver decreases (that is, the arousal level increases) according to the derived drowsiness level.
[Effect of the embodiment]
As described above, the drowsiness determination device 10 according to the present embodiment detects a phenomenon that occurs unconsciously due to sleepiness, such as the labial connective muscles (ie, the greater zygomatic, laughing, and masseter muscles) relaxing when sleepiness occurs in a person. Then, it is determined that the driver is drowsy.

したがって、本実施形態の眠気判定装置１０によれば、眠気が生じていることを検出する検出精度を向上させることができる。   Therefore, according to the sleepiness determination apparatus 10 of the present embodiment, it is possible to improve the detection accuracy for detecting the occurrence of sleepiness.

そして、本実施形態の覚醒時データ収集処理では、特徴距離それぞれの基準値Ｌａ，Ｒａ，Ｂｖａ，Ｂｈａとして、特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈそれぞれの度数分布において、累積相対度数が最大値または最小値から５％となる値を導出している。これにより、本実施形態の覚醒時データ収集処理によれば、設定時間の間に導出された特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈの中でも、口唇接続筋が自然な（即ち、収縮も弛緩もしていない）状態、換言すれば、運転者が普通の表情をしている時のものを基準値Ｌａ，Ｒａ，Ｂｖａ，Ｂｈａとすることができる。   In the awakening data collection process of the present embodiment, the cumulative relative frequency is the maximum value or the reference value La, Ra, Bva, Bha for each characteristic distance in the frequency distribution for each characteristic distance L, R, Bv, Bh. A value of 5% is derived from the minimum value. Thus, according to the awakening data collection process of the present embodiment, the lip connecting muscle is natural (that is, contracted or relaxed) among the feature distances L, R, Bv, Bh derived during the set time. No) state, in other words, when the driver has a normal expression, the reference values La, Ra, Bva, Bha can be used.

さらに、本実施形態の覚醒時データ収集処理では、特徴距離それぞれの覚醒距離Ｌｂ，Ｒｂ，Ｂｖｂ，Ｂｈｂとして、基準値Ｌａ，Ｒａ，Ｂｖａ，Ｂｈａそれぞれの度数分布において、μ＋２σまたはμ−２σとなる値を導出している。これにより、本実施形態の覚醒時データ収集処理によれば、所定値ｎ分の基準値Ｌａ，Ｒａ，Ｂｖａ，Ｂｈａの中でも、口唇接続筋が弛緩している状態に近い時のものを覚醒距離Ｌｂ、Ｒｂ，Ｂｖｂ，Ｂｈｂとすることができる。   Furthermore, in the awakening data collection process of the present embodiment, the awakening distances Lb, Rb, Bvb, and Bhb of the feature distances are μ + 2σ or μ−2σ in the frequency distribution of the reference values La, Ra, Bva, and Bha, respectively. The value is derived. Thereby, according to the awakening data collection processing of the present embodiment, among the reference values La, Ra, Bva, and Bha for the predetermined value n, the waking distance is calculated when the lip connecting muscle is close to the relaxed state. Lb, Rb, Bvb, Bhb can be used.

また、本実施形態の運転時データ収集処理では、運転時特徴距離Ｌｄ，Ｒｄ，Ｂｖｄ，Ｂｈｄとして、特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈそれぞれの度数分布において、累積相対度数が最大値または最小値から５％となる値を導出している。これにより、本実施形態の運転時データ収集処理によれば、設定時間の間に導出した特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈの中でも、口唇接続筋が収縮している状態に近い時のものを運転時特徴距離Ｌｄ、Ｒｄ，Ｂｖｄ，Ｂｈｄとすることができる。   In the driving data collection process of the present embodiment, the cumulative relative frequency is the maximum value or the minimum value in the frequency distribution of each of the characteristic distances L, R, Bv, Bh as the driving characteristic distances Ld, Rd, Bvd, Bhd. From this, a value of 5% is derived. Thereby, according to the driving data collection process of the present embodiment, the characteristic distances L, R, Bv, Bh derived during the set time are those when the lip connecting muscle is close to the contracted state. The operating characteristic distances Ld, Rd, Bvd, and Bhd can be used.

つまり、本実施形態の眠気判定処理では、導出された特徴距離の中で、収縮している状態に近い時の距離である運転時特徴距離Ｌｄ、Ｒｄ，Ｂｖｄ，Ｂｈｄを、弛緩している状態に近い時の距離である覚醒距離Ｌｂ、Ｒｂ，Ｂｖｂ，Ｂｈｂと比較することで、口唇接続筋が弛緩状態であるか否かを判定している。   That is, in the drowsiness determination process of the present embodiment, among the derived feature distances, the driving feature distances Ld, Rd, Bvd, Bhd, which are distances close to the contracted state, are relaxed. It is determined whether or not the lip connecting muscle is in a relaxed state by comparing with the awakening distances Lb, Rb, Bvb, and Bhb, which are distances close to.

この結果、本実施形態の眠気判定装置１０によれば、運転者に眠気が生じていないにも拘わらず、眠気が生じていると誤判定することを低減できる。   As a result, according to the drowsiness determination device 10 of the present embodiment, it is possible to reduce erroneous determination that drowsiness is occurring even though the driver does not have drowsiness.

ところで、あくびや口笛を吹くといった口をすぼめる行動（即ち、開口行動）は、発生頻度が不確定である。しかし、その開口行動を運転者が実行すると、開口行動時に取得された撮影画像に基づく特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈは、その時に運転者に生じている眠気が正確に反映されたものではなくなる。例えば、運転者が開口行動を実行していれば、唇横距離Ｂｈｄは、唇縦距離Ｂｖｂに比べて短く、かつ唇横距離Ｂｈｂよりも短くなる。   By the way, the occurrence frequency of the action of depressing the mouth such as yawning or whistling (that is, opening action) is uncertain. However, when the driver performs the opening action, the feature distances L, R, Bv, and Bh based on the captured image acquired during the opening action do not accurately reflect the sleepiness that occurs in the driver at that time. Disappear. For example, if the driver is performing an opening action, the lateral lip distance Bhd is shorter than the longitudinal lip distance Bvb and shorter than the lateral lip distance Bhb.

このため、本実施形態の眠気判定処理では、唇横距離Ｂｈｄが唇縦距離Ｂｖｄよりも短くなると、運転者が開口行動を実行中であるものと判断して、運転者に眠気が生じていないことを表す眠気レベル０を導出している。   For this reason, in the sleepiness determination process of the present embodiment, when the lateral lip distance Bhd is shorter than the longitudinal lip distance Bvd, it is determined that the driver is performing the opening action, and the driver is not sleepy. The drowsiness level 0 representing this is derived.

つまり、本実施形態の眠気判定装置１０によれば、運転者にとって不要な警告や注意が出力されることを防止でき、運転者が煩わしさを感じることを防止できる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限るものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。 That is, according to the drowsiness determination device 10 of the present embodiment, it is possible to prevent a warning or caution unnecessary for the driver from being output, and to prevent the driver from feeling troublesome.
[Other Embodiments]
As mentioned above, although embodiment of this invention was described, this invention is not restricted to the said embodiment, In the range which does not deviate from the summary of this invention, it is possible to implement in various aspects.

例えば、上記実施形態の眠気判定装置１０は、一台のカメラ２０にて撮影した画像から、各特徴点について奥行き（即ち、ｚ座標）も求めていたが、眠気判定装置１０は、二台のカメラにて同タイミングに撮影された画像から奥行きを求めてるように構成されていても良い。つまり、眠気警報システム１には、二台のカメラ２０が備えられていても良い。この場合、二台のカメラ２０は、車幅方向に予め規定された間隔を有して配置されていることが望ましい。   For example, the sleepiness determination device 10 according to the above embodiment also obtains the depth (that is, the z coordinate) for each feature point from an image captured by one camera 20, but the sleepiness determination device 10 includes two devices. You may comprise so that a depth may be calculated | required from the image image | photographed with the camera at the same timing. That is, the drowsiness alarm system 1 may be provided with two cameras 20. In this case, it is desirable that the two cameras 20 are arranged with a predetermined interval in the vehicle width direction.

なお、眠気判定装置１０においては、奥行きを求めなくとも良い。   Note that the drowsiness determination device 10 does not need to obtain the depth.

また、上記実施形態の眠気判定処理におけるＳ６２０では、「比率フラグＢｒのみがローレベル」であるか否か、または、「左頬フラグＬｆ，右頬フラグＲｆの少なくとも一方がローレベルであり、かつ開口フラグＢａ，比率フラグＢｒの何れもがハイレベル」であるか否かを判定していたが、Ｓ６２０における判定は、いずれか一方のみでも良い。   In S620 in the sleepiness determination process of the above embodiment, whether or not “only the ratio flag Br is low level” or “at least one of the left cheek flag Lf and the right cheek flag Rf is low level, and Although it has been determined whether or not both the opening flag Ba and the ratio flag Br are at the high level, only one of the determinations in S620 may be performed.

例えば、前者の判定のみを行う場合には、笑筋及び咬筋の両方が弛緩状態で無ければ、後者の判定のみを行う場合には、左右の大頬骨筋の一方が弛緩状態で無ければ、発話や咀嚼といった下あごを動かす行動を運転者が実行しているものと判断し、眠気レベルをレベル０として導出するようにしても良い。これは、大頬骨筋や笑筋、咬筋は、人が下あごをに動かす行動を意識的に実行する場合には、眠気が生じた時とは異なり収縮するという知見に基づくものである。   For example, when only the former determination is performed, if both the laughing muscle and masseter are not relaxed, and only when the latter determination is performed, if one of the left and right large zygomatic muscles is not relaxed, the utterance It may be determined that the driver is performing an action of moving the lower jaw such as chewing or chewing, and the drowsiness level may be derived as level 0. This is based on the finding that the large zygomatic, laughing, and masseter muscles contract differently from when sleepiness occurs when the person consciously executes the action of moving the lower jaw.

そして、Ｓ６２０での判定をいずれか一方のみとすれば、乗員が意識的に行動を実施している時点で、眠気の判定を回避することにより、運転者に、眠気が生じていないにも拘わらず、眠気が生じているものと判定することを防止できる。   Then, if only one of the determinations in S620 is performed, it is possible to avoid the determination of drowsiness at the time when the occupant is consciously performing the action, even though the driver is not drowsy. Therefore, it can be determined that sleepiness is occurring.

さらに、上記実施形態の眠気判定処理におけるＳ６１０，Ｓ６３０では、運転者に対して冷風を吹きかけたり、音響機器の音量を増加させたりすることで、運転者が覚醒するように運転者に刺激を与えたが、運転者に刺激を与える方法は、これに限るもので無く、例えば、シートベルトを巻き上げても良い。さらに、眠気判定処理のＳ６１０では、車両を安全な位置に停止させるように、ブレーキ制御装置２７に対して制御指令を出力しても良いし、自動車に搭載されているパワートレイン機構を制御しても良い。   Further, in S610 and S630 in the drowsiness determination process of the above embodiment, the driver is stimulated to wake up by blowing cool air to the driver or increasing the volume of the audio device. However, the method of stimulating the driver is not limited to this, and for example, a seat belt may be wound up. Further, in S610 of the drowsiness determination process, a control command may be output to the brake control device 27 so as to stop the vehicle at a safe position, or a powertrain mechanism mounted on the automobile is controlled. Also good.

また、上記実施形態の眠気警報処理では、口唇接続筋が弛緩状態であるか否かに基づいて、眠気レベルを導出していたが、これに加えて、運転者の目の動作や、眉の動作などに基づいて、眠気レベルを導出するようにしても良い。   In the sleepiness alarm process of the above embodiment, the sleepiness level is derived based on whether or not the lip connecting muscle is in a relaxed state, but in addition to this, the driver's eye movements and eyebrows The drowsiness level may be derived based on the action or the like.

そして、上記実施形態の眠気警報システム１では、運転者に眠気が生じているか否かを判定したが、判定の対象となる人物は、運転者に限るものではなく、例えば、助手席に着座した人物でも良い。また、眠気警報システム１は、自動車に搭載されなくとも良く、例えば、電車や、飛行機、船舶などに搭載されても良い。   In the sleepiness alarm system 1 of the above embodiment, it is determined whether or not the driver is drowsy. However, the person to be determined is not limited to the driver, for example, sitting in the passenger seat. It can be a person. Further, the drowsiness alarm system 1 may not be mounted on an automobile, and may be mounted on, for example, a train, an airplane, a ship, or the like.

さらに、上記実施形態の眠気警報システム１では、特徴点ペアとして、左目尻と左口角との組合せ、右目尻と右口角との組合せ、左の口角と右の口角との組合せ、上唇の上端と下唇の下端との組合せを規定したが、予め規定された特徴点ペアは、これに限るものではない。例えば、左口角と左の耳珠点との組合せや、右口角と右の耳珠点との組合せを特徴点ペアとしても良い。この場合、前者の組合せに基づく特徴距離を左頬距離Ｌとし、後者の組合せに基づく特徴距離を右頬距離Ｒとしても良い。   Furthermore, in the drowsiness warning system 1 of the above embodiment, as the feature point pair, a combination of the left eye corner and the left mouth corner, a combination of the right eye corner and the right mouth corner, a combination of the left mouth corner and the right mouth corner, Although the combination with the lower end of the lower lip is defined, the predefined feature point pair is not limited to this. For example, a combination of the left mouth corner and the left tragus point or a combination of the right mouth corner and the right tragus point may be used as the feature point pair. In this case, the feature distance based on the former combination may be the left cheek distance L, and the feature distance based on the latter combination may be the right cheek distance R.

そして、上記実施形態の眠気判定処理では、運転者が開口行動を実行しているか否かを、唇縦距離Ｂｖｄと唇横距離Ｂｈｄとを比較することで判定し、笑筋及び咬筋の両方が弛緩状態であるか否かを、運転時開口比率を覚醒時開口比率と比較することで判定していたが、運転者が開口行動を実行しているか否かの判定、及び笑筋，咬筋の両方が弛緩状態であるか否かの判定方法は、これに限るものではない。例えば、左の口角と、右の口角と、上唇の上端と、下唇の下端とを通過し、かつ唇縦距離Ｂｖｄもしくは唇横距離Ｂｈｄと平行である直線に囲まれた矩形（以下、唇矩形と称す）の面積や、唇矩形における両対角線のなす角度を、覚醒時の角度と比較することで判定しても良い。また、覚醒時の唇矩形の形状として予め用意された唇形状パターンを、運転時に撮影された画像にパターンマッチングすることで、判定してもよい。   In the sleepiness determination process of the above embodiment, it is determined by comparing the lip vertical distance Bvd and the lip horizontal distance Bhd whether or not the driver is performing an opening action. Whether or not the driver is in a relaxed state was determined by comparing the opening ratio during driving with the opening ratio during waking. The method for determining whether or not both are in a relaxed state is not limited to this. For example, a rectangle surrounded by a straight line that passes through the left mouth corner, the right mouth corner, the upper end of the upper lip, and the lower end of the lower lip and is parallel to the lip vertical distance Bvd or the lip lateral distance Bhd (hereinafter referred to as lips). It may be determined by comparing the area formed by the rectangle) or the angle formed by the two diagonal lines in the lip rectangle with the angle at the time of awakening. Moreover, you may determine by pattern-matching the lip shape pattern prepared beforehand as a shape of the lip rectangle at the time of awakening to the image image | photographed at the time of a driving | operation.

さらには、上記実施形態における眠気警報システム１では、口唇接続筋として、左右の大頬骨筋，笑筋，咬筋を想定していたが、口唇接続筋はこれに限るものではなく、オトガイ筋や口輪筋が、口唇接続筋として含まれていても良い。つまり、口唇接続筋は、人の口周りに存在し、眠気が生じると弛緩する筋肉であれば、どのようなものでも良い。   Furthermore, in the sleepiness alarm system 1 in the above embodiment, the left and right large zygomatic muscles, the laughing muscles, and the masseter muscles are assumed as the lip connecting muscles, but the lip connecting muscles are not limited to this, and the genital muscles and the mouth muscles. The loop muscle may be included as the lip connecting muscle. That is, the lip connecting muscle may be any muscle that exists around the mouth of a person and relaxes when sleepiness occurs.

なお、上記実施形態における眠気警報システム１では、口唇接続筋が弛緩状態であるか否かを、運転時特徴距離を覚醒距離と比較することで判定していたが、判定方法は、これに限るものではなく、例えば、口唇接続筋それぞれの筋電位を検出して、その検出結果に従って弛緩状態であるか否かを判定しても良い。   In the sleepiness alarm system 1 in the above embodiment, whether or not the lip connecting muscle is in a relaxed state is determined by comparing the driving characteristic distance with the awakening distance, but the determination method is limited to this. For example, the myoelectric potential of each of the lip connecting muscles may be detected, and it may be determined whether or not it is in a relaxed state according to the detection result.

つまり、大頬骨筋や笑筋、咬筋などの口唇接続筋が弛緩状態であるか否かを判定できれば、どのような方法を用いても良い。   That is, any method may be used as long as it can be determined whether or not the lip connecting muscles such as the greater zygomatic muscle, the laughing muscle, and the masseter muscle are in a relaxed state.

本実施形態における眠気警報システムの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the drowsiness warning system in this embodiment. 眠気警報システムが搭載された車両の車室内を示した説明図である。It is explanatory drawing which showed the vehicle interior of the vehicle by which the drowsiness warning system is mounted. 特徴点ペア及び特徴距離を説明するための説明図である。It is explanatory drawing for demonstrating a feature point pair and feature distance. 特徴点ペア及び特徴距離を説明するための説明図である。It is explanatory drawing for demonstrating a feature point pair and feature distance. 眠気警報処理の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of a drowsiness warning process. 覚醒時データ収集処理の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of an awakening data collection process. 表情情報取得処理の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of facial expression information acquisition processing. 運転時データ収集処理の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of an operation time data collection process. 眠気判定処理の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of a drowsiness determination process. 口唇接続筋それぞれに対応する特徴距離と眠気レベルとの関係を示した実験結果である。It is the experimental result which showed the relationship between the characteristic distance and sleepiness level corresponding to each lip connecting muscle.

符号の説明Explanation of symbols

１…眠気警報システム １０…眠気判定装置 １０ａ…ＲＯＭ １０ｂ…ＲＡＭ １０ｃ…ＣＰＵ １５…警報装置 １６…スピーカ １７…モニタ ２０…カメラ ２１…冷風送気装置 ２５…音響機器制御装置 ２７…ブレーキ制御装置 ３０…スイッチ DESCRIPTION OF SYMBOLS 1 ... Drowsiness alarm system 10 ... Drowsiness determination apparatus 10a ... ROM 10b ... RAM 10c ... CPU 15 ... Alarm apparatus 16 ... Speaker 17 ... Monitor 20 ... Camera 21 ... Cool air supply apparatus 25 ... Acoustic equipment control apparatus 27 ... Brake control apparatus 30 …switch

Claims (9)

移動体に搭載される眠気判定装置であって、
人の口周りに存在し、眠気が生じると弛緩する複数の筋肉それぞれを口唇接続筋とし、前記移動体の乗員が有する口唇接続筋が弛緩した弛緩状態であるか否かを判定する筋肉状態判定手段と、
前記筋肉状態判定手段にて、少なくとも一つの口唇接続筋が弛緩状態であると判定された場合、前記乗員に眠気が生じているものと判断する眠気判定手段と
を備え、
前記眠気判定手段は、
前記筋肉状態判定手段での判定の結果、弛緩状態である口唇接続筋の数が多いほど、前記眠気が強いものと判断し、
当該判断の結果として、前記眠気が強いほど大きな値となる眠気度を導出する
ことを特徴とする眠気判定装置。 A drowsiness determination device mounted on a moving body,
A plurality of muscles that exist around a person's mouth and relax when drowsiness is used as a lip connecting muscle, and a muscular state determination that determines whether or not the lip connecting muscle of an occupant of the moving body is in a relaxed and relaxed state Means,
A drowsiness determination unit that determines that the occupant is drowsy when the muscle state determination unit determines that at least one lip connecting muscle is in a relaxed state ;
The drowsiness determining means includes
As a result of the determination by the muscular state determination means, the greater the number of connected lip muscles in a relaxed state, the stronger the drowsiness is determined,
As a result of the determination , a drowsiness determination apparatus that derives a sleepiness level that increases as the drowsiness increases . 前記眠気判定手段にて導出された眠気度が予め規定された規定値以上である場合、前記移動体の移動が安全になされるように前記移動体の搭載機器を制御する安全制御を実行する安全制御実行手段と
を備えることを特徴とする請求項１に記載の眠気判定装置。 When the sleepiness degree derived by the drowsiness determination means is equal to or greater than a predetermined value, a safety that executes safety control for controlling the equipment mounted on the mobile body so that the mobile body can be safely moved The drowsiness determination device according to claim 1 , further comprising: a control execution unit. 前記筋肉状態判定手段は、
前記乗員の顔面が写り込んだ撮影画像を取得する撮影画像取得手段と、
人の顔面上で、前記口唇接続筋それぞれに連動して両者間の距離が変化する一対のポイントを特徴点とし、前記撮影画像取得手段で取得した撮影画像の中から前記特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段で抽出した前記特徴点それぞれの間の距離である特徴距離を導出する特徴距離導出手段と、
前記特徴距離導出手段で導出される特徴距離を、その特徴距離の導出に用いた前記特徴点の間の覚醒時における距離である覚醒距離と比較することにより、前記弛緩状態であるか否かを判定する判定実行手段と
を備えることを特徴とする請求項１または請求項２に記載の眠気判定装置。 The muscle state determination means includes
Captured image acquisition means for acquiring a captured image in which the face of the occupant is reflected;
A feature of extracting a feature point from a photographed image acquired by the photographed image acquisition means using a pair of points whose distance between the lip connecting muscles is changed in conjunction with each of the lip connecting muscles on a human face. Point extraction means;
Feature distance deriving means for deriving a feature distance that is a distance between each of the feature points extracted by the feature point extracting means;
By comparing the feature distance derived by the feature distance deriving means with the awake distance that is the distance at the time of awakening between the feature points used for deriving the feature distance, it is determined whether or not the relaxed state. drowsiness determination apparatus according to claim 1 or claim 2, characterized in that it comprises a determination executing means. 前記口唇接続筋とは、大頬骨筋であることを特徴とする請求項３に記載の眠気判定装置。 4. The drowsiness determination device according to claim 3 , wherein the lip connecting muscle is a large zygomatic muscle. 前記特徴点抽出手段が抽出する前記特徴点として、目尻と口角とが規定され、
前記判定実行手段は、
前記特徴距離が前記覚醒距離よりも長くなると、前記大頬骨筋が弛緩状態であるものと判定することを特徴とする請求項４に記載の眠気判定装置。 The feature points extracted by the feature point extraction means are defined as the corners of the eyes and the corners of the mouth,
The determination execution means includes
The drowsiness determination device according to claim 4 , wherein when the characteristic distance is longer than the awakening distance, the large zygomatic muscle is determined to be in a relaxed state. 前記口唇接続筋とは、笑筋及び咬筋であることを特徴とする請求項３ないし請求項５のいずれかに記載の眠気判定装置。 Wherein A lip connected muscle, drowsiness determination apparatus according to any one of claims 3 to 5, characterized in that a risorius and masseter. 前記特徴点抽出手段が抽出する前記特徴点として、唇の上下端、及び左右の両口角が規定され、前記特徴距離導出手段が導出する特徴距離として、唇の上下端の間の唇縦距離、及び左右の口角の間の唇横距離が規定され、
前記状態判定手段は、
前記唇縦距離が前記覚醒距離よりも長く、かつ前記唇横距離が前記覚醒距離よりも短くなると、前記笑筋及び前記咬筋の両方が弛緩状態であるものと判定することを特徴とする請求項６に記載の眠気判定装置。 The feature points extracted by the feature point extraction means are defined as upper and lower lips and left and right mouth angles, and the feature distance derived by the feature distance derivation means is the lip vertical distance between the upper and lower lips, And the lateral lip distance between the left and right mouth corners,
The state determination means includes
When the lip vertical distance is longer than the awake distance and the lateral lip distance is shorter than the awake distance, it is determined that both the laughing muscle and the masseter muscle are in a relaxed state. 6. The drowsiness determination device according to 6 . 前記乗員が覚醒時に実施する特定行動により変化する前記特徴距離の範囲を規定範囲とし、前記特徴距離導出手段で導出された特徴距離が、前記規定範囲内である場合、前記眠気判定手段による眠気の判定を回避する判定回避手段を備えることを特徴とする請求項３ないし請求項７のいずれかに記載の眠気判定装置。 When the range of the characteristic distance that changes according to the specific action performed when the occupant is awake is defined as the specified range, and the characteristic distance derived by the characteristic distance deriving unit is within the specified range, drowsiness determination apparatus according to any one of claims 3 to 7, characterized in that it comprises the determination avoidance means for avoiding decision. コンピュータを、
請求項１ないし請求項８のいずれかに記載された眠気判定装置を構成する各手段として機能させるためのプログラム。 Computer
The program for functioning as each means which comprises the drowsiness determination apparatus in any one of Claim 1 thru | or 8 .
JP2008295811A 2008-11-19 2008-11-19 Sleepiness determination device, program Expired - Fee Related JP5163440B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008295811A JP5163440B2 (en) 2008-11-19 2008-11-19 Sleepiness determination device, program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008295811A JP5163440B2 (en) 2008-11-19 2008-11-19 Sleepiness determination device, program

Publications (2)

Publication Number Publication Date
JP2010122897A JP2010122897A (en) 2010-06-03
JP5163440B2 true JP5163440B2 (en) 2013-03-13

Family

ID=42324184

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008295811A Expired - Fee Related JP5163440B2 (en) 2008-11-19 2008-11-19 Sleepiness determination device, program

Country Status (1)

Country Link
JP (1) JP5163440B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292471B2 (en) 2011-02-18 2016-03-22 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
US8698639B2 (en) 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
US9751534B2 (en) 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
US10499856B2 (en) 2013-04-06 2019-12-10 Honda Motor Co., Ltd. System and method for biological signal processing with highly auto-correlated carrier sequences
JP6535694B2 (en) * 2017-02-22 2019-06-26 株式会社ジンズ INFORMATION PROCESSING METHOD, INFORMATION PROCESSING DEVICE, AND PROGRAM
DE112017007252T5 (en) 2017-03-14 2019-12-19 Omron Corporation DRIVER MONITORING DEVICE, DRIVER MONITORING METHOD, LEARNING DEVICE AND LEARNING METHOD
WO2019073732A1 (en) * 2017-10-10 2019-04-18 株式会社 資生堂 Stress evaluation method
JP6888542B2 (en) * 2017-12-22 2021-06-16 トヨタ自動車株式会社 Drowsiness estimation device and drowsiness estimation method
JP7090245B2 (en) * 2018-09-28 2022-06-24 株式会社Ｎｔｔドコモ Jaw evaluation system and jaw evaluation method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09154835A (en) * 1995-12-07 1997-06-17 Matsushita Electric Ind Co Ltd Doze detecting device
JP4082203B2 (en) * 2002-12-13 2008-04-30 日産自動車株式会社 Open / close eye determination device
JP4677940B2 (en) * 2006-03-27 2011-04-27 トヨタ自動車株式会社 Sleepiness detection device
JP4811255B2 (en) * 2006-12-04 2011-11-09 トヨタ自動車株式会社 State estimation device
JP4743137B2 (en) * 2007-03-01 2011-08-10 株式会社豊田中央研究所 Sleepiness determination apparatus and program
JP4375420B2 (en) * 2007-03-26 2009-12-02 株式会社デンソー Sleepiness alarm device and program

Also Published As

Publication number Publication date
JP2010122897A (en) 2010-06-03

Similar Documents

Publication Publication Date Title
JP5163440B2 (en) Sleepiness determination device, program
JP4375420B2 (en) Sleepiness alarm device and program
US20210268902A1 (en) Driving assistance apparatus and driving assistance method
JP4882766B2 (en) Awakening level calculation device
JP4867215B2 (en) Physiological / psychological state determination device, physiological / psychological state determination method, reference data generation device, and reference data generation method.
US7948387B2 (en) Drowsiness determination apparatus, program, and method
JP2010128649A (en) Awakening state determining device and awakening state determining method
US10899356B2 (en) Drowsiness prevention device, drowsiness prevention method, and recording medium
WO2015072069A1 (en) Driver monitoring device
WO2019208450A1 (en) Driving assistance device, driving assistance method, and program
WO2012160830A1 (en) Sleepiness-estimating device and sleepiness-estimating method
KR20150139229A (en) Hmd utilizing driver&#39;s drowsiness warning apparatus and method thereof
JP6888542B2 (en) Drowsiness estimation device and drowsiness estimation method
JP2006034576A (en) Motion sickness countermeasure device and motion sickness countermeasure method
JP6958982B2 (en) Electronic devices with awakening function, awakening programs and awakening methods
JP5292671B2 (en) Awakening degree estimation apparatus, system and method
JP2008068665A (en) Vehicle control apparatus and vehicle control method
JP6776681B2 (en) Driver status determination device and driver status determination program
JP6701951B2 (en) Driving support device
JP2008197916A (en) Sleep preventing device for vehicle driver
JP2008250859A (en) Arousal determining device
US11430231B2 (en) Emotion estimation device and emotion estimation method
JP7046748B2 (en) Driver status determination device and driver status determination method
JP6358071B2 (en) Interactive control device for vehicle
JP2021189704A (en) Control device and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121203

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151228

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5163440

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151228

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees