JP6024231B2

JP6024231B2 - State determination device, driving support system, state determination method and program

Info

Publication number: JP6024231B2
Application number: JP2012137373A
Authority: JP
Inventors: 晋大須賀
Original assignee: Aisin Seiki Co Ltd; Aisin Corp
Current assignee: Aisin Corp
Priority date: 2012-06-18
Filing date: 2012-06-18
Publication date: 2016-11-09
Anticipated expiration: 2032-06-18
Also published as: JP2014002561A

Description

本発明は、状態判定装置、運転支援システム、状態判定方法及びプログラムに関し、更に詳しくは、車両を運転するドライバの状態を判定する状態判定装置、ドライバの運転を支援する運転支援システム、車両を運転するドライバの状態を判定するための状態判定方法及びプログラムに関する。 The present invention relates to a state determination device, a driving support system, a state determination method, and a program. More specifically, the present invention relates to a state determination device that determines the state of a driver driving a vehicle, a driving support system that supports driving of the driver, and driving a vehicle. The present invention relates to a state determination method and a program for determining the state of a driver.

近年、交通事故の死者数は減少傾向にあるものの、事故の発生件数自体は依然として高い水準で推移している。事故の原因は様々であるが、ドライバが漫然な状態で車両の運転（漫然運転）を行うことも、事故を誘発する原因の１つである。漫然な状態は、運転中の会話や、携帯電話の使用など、ドライバが運転以外の行動を行うことにより、運転に対する注意力が散漫になる状態と、疲労や眠気などによってドライバの注意力が低下する状態に概ね二分される。 In recent years, the number of traffic fatalities has been decreasing, but the number of accidents has remained at a high level. There are various causes of accidents, but driving a vehicle in a vague state (rough driving) is also one of the causes of an accident. The state of ambiguity is a state where the driver's attention is distracted when the driver performs actions other than driving, such as conversation while driving or using a mobile phone, and the driver's attention decreases due to fatigue or sleepiness. It is roughly divided into two states.

疲労や眠気を原因とする漫然運転については、ドライバ自身での予防が困難である。そこで、ドライバの居眠りや覚醒度の低下を検出した場合に警報を発令して、漫然運転による事故を未然に防止するためのシステムが種々提案されている（例えば特許文献１参照）。 It is difficult for the driver himself to prevent casual driving caused by fatigue or sleepiness. In view of this, various systems have been proposed for preventing an accident caused by an unintentional driving by issuing an alarm when a driver's drowsiness or a decrease in arousal level is detected (see, for example, Patent Document 1).

特開２００８−２０６６８８号公報JP 2008-206688 A

特許文献１に開示された装置は、ドライバに刺激を与えたときに、当該ドライバが何の反応も示さないときには、警報を発令してドライバの覚醒を促す。これにより、覚醒度の低下に起因する交通事故を、未然に防止することができる。しかしながら、当該装置では、ドライバの応答が警報に対するものでない場合にも、ドライバが覚醒していると判定されてしまうことがある。 The device disclosed in Patent Document 1 issues an alarm and prompts the driver to awaken when the driver does not show any response when the driver is stimulated. Thereby, the traffic accident resulting from the fall of arousal level can be prevented beforehand. However, the device may determine that the driver is awake even when the driver's response is not to the alarm.

本発明は、上述の事情の下になされたもので、ドライバの状態を正確に判定し、覚醒度の低下に起因する交通事故を未然に防止することを目的とする。 The present invention has been made under the circumstances described above, and it is an object of the present invention to accurately determine the state of a driver and prevent a traffic accident caused by a decrease in arousal level.

上記目的を達成するため、本発明の第１の観点に係る状態判定装置は、
車両のドライバに警報を出力する警報出力手段と、
前記警報が出力されたときに、前記ドライバによって行われる、前記警報に対する予め定められた反射動作を検出する反射動作検出手段と、
前記警報が出力されたときに、前記反射動作検出手段によって、前記反射動作が検出されなかった場合に、前記ドライバの状態が運転に適していないと判定する状態判定手段と、
前記ドライバの眼の画像を撮影する撮影手段と、
前記撮影手段によって撮影された画像に基づいて、前記ドライバの眼の開度を計測する開度計測手段と、
を備え、
前記警報出力手段は、前記ドライバの眼の開度が、閾値以下である場合に、前記ドライバに警報音を出力し、
前記反射動作検出手段は、前記撮影手段によって撮影された画像に基づいて、前記ドライバの眼の開度の変化を検出する。
また、上記目的を達成するため、本発明の第２の観点に係る状態判定装置は、
車両のドライバに警報を出力する警報出力手段と、
前記警報が出力されたときに、前記ドライバによって行われる、前記警報に対する予め定められた反射動作を検出する反射動作検出手段と、
前記警報が出力されたときに、前記反射動作検出手段によって、前記反射動作が検出されなかった場合に、前記ドライバの状態が運転に適していないと判定する状態判定手段と、
を備え、
前記警報出力手段は、前記ドライバが着座するシートを動作させ、
前記反射動作検出手段は、前記ドライバの姿勢変化を検出する。
また、上記目的を達成するため、本発明の第３の観点に係る状態判定装置は、
車両のドライバに警報を出力する警報出力手段と、
前記警報が出力されたときに、前記ドライバによって行われる、前記警報に対する予め定められた反射動作を検出する反射動作検出手段と、
前記警報が出力されたときに、前記反射動作検出手段によって、前記反射動作が検出されなかった場合に、前記ドライバの状態が運転に適していないと判定する状態判定手段と、
前記ドライバの眼の画像を撮影する撮影手段と、
前記撮影手段によって撮影された画像に基づいて、前記ドライバの眼の開度を計測する開度計測手段と、
を備え、
前記警報出力手段は、前記ドライバの眼の開度が、閾値以下である場合に、前記ドライバが着座するシートを動作させ、
前記反射動作検出手段は、前記ドライバの姿勢変化を検出する。
また、上記目的を達成するため、本発明の第４の観点に係る状態判定装置は、
車両のドライバに警報を出力する警報出力手段と、
前記警報が出力されたときに、前記ドライバによって行われる、前記警報に対する予め定められた反射動作を検出する反射動作検出手段と、
前記警報が出力されたときに、前記反射動作検出手段によって、前記反射動作が検出されなかった場合に、前記ドライバの状態が運転に適していないと判定する状態判定手段と、
を備え、
前記警報出力手段は、前記ドライバが運転する車両の制動装置を駆動して、前記ドライバに慣性力を作用させ、
前記反射動作検出手段は、前記ドライバの姿勢変化を検出する。
また、上記目的を達成するため、本発明の第５の観点に係る状態判定装置は、
車両のドライバに警報を出力する警報出力手段と、
前記警報が出力されたときに、前記ドライバによって行われる、前記警報に対する予め定められた反射動作を検出する反射動作検出手段と、
前記警報が出力されたときに、前記反射動作検出手段によって、前記反射動作が検出されなかった場合に、前記ドライバの状態が運転に適していないと判定する状態判定手段と、
前記ドライバの眼の画像を撮影する撮影手段と、
前記撮影手段によって撮影された画像に基づいて、前記ドライバの眼の開度を計測する開度計測手段と、
を備え、
前記警報出力手段は、前記ドライバの眼の開度が、閾値以下である場合に、前記ドライバが運転する車両の制動装置を駆動して、前記ドライバに慣性力を作用させ、
前記反射動作検出手段は、前記ドライバの姿勢変化を検出する。
また、上記目的を達成するため、本発明の第６の観点に係る状態判定装置は、
車両のドライバに警報を出力する警報出力手段と、
前記警報が出力されたときに、前記ドライバによって行われる、前記警報に対する予め定められた反射動作を検出する反射動作検出手段と、
前記警報が出力されたときに、前記反射動作検出手段によって、前記反射動作が検出されなかった場合に、前記ドライバの状態が運転に適していないと判定する状態判定手段と、
前記ドライバの眼の画像を撮影する撮影手段と、
前記撮影手段によって撮影された画像に基づいて、前記ドライバの眼の開度を計測する開度計測手段と、
を備え、
前記警報出力手段は、前記ドライバの眼の開度が、閾値以下である場合に、前記ドライバにフラッシュ光を照射し、
前記反射動作検出手段は、前記撮影手段によって撮影された画像に基づいて、前記ドライバの眼の開度の変化を検出する。 In order to achieve the above object, a state determination apparatus according to the first aspect of the present invention provides:
An alarm output means for outputting an alarm to a vehicle driver;
A reflection operation detecting means for detecting a predetermined reflection operation for the alarm, which is performed by the driver when the alarm is output;
A state determination unit that determines that the state of the driver is not suitable for driving when the reflection operation is not detected by the reflection operation detection unit when the alarm is output;
Photographing means for photographing an image of the eyes of the driver;
Based on the image photographed by the photographing means, an opening degree measuring means for measuring the eye opening degree of the driver,
With
The alarm output means outputs an alarm sound to the driver when the eye opening of the driver is not more than a threshold value,
The reflection operation detecting means detects a change in the eye opening of the driver based on an image photographed by the photographing means.
In order to achieve the above object, a state determination apparatus according to the second aspect of the present invention provides:
An alarm output means for outputting an alarm to a vehicle driver;
A reflection operation detecting means for detecting a predetermined reflection operation for the alarm, which is performed by the driver when the alarm is output;
A state determination unit that determines that the state of the driver is not suitable for driving when the reflection operation is not detected by the reflection operation detection unit when the alarm is output;
With
The alarm output means operates a seat on which the driver is seated,
The reflection operation detecting means detects a change in the posture of the driver.
In order to achieve the above object, a state determination apparatus according to the third aspect of the present invention provides:
An alarm output means for outputting an alarm to a vehicle driver;
A reflection operation detecting means for detecting a predetermined reflection operation for the alarm, which is performed by the driver when the alarm is output;
A state determination unit that determines that the state of the driver is not suitable for driving when the reflection operation is not detected by the reflection operation detection unit when the alarm is output;
Photographing means for photographing an image of the eyes of the driver;
Based on the image photographed by the photographing means, an opening degree measuring means for measuring the eye opening degree of the driver,
With
The alarm output means operates the seat on which the driver is seated when the eye opening of the driver is less than or equal to a threshold value.
The reflection operation detecting means detects a change in the posture of the driver.
In order to achieve the above object, a state determination apparatus according to the fourth aspect of the present invention provides:
An alarm output means for outputting an alarm to a vehicle driver;
A reflection operation detecting means for detecting a predetermined reflection operation for the alarm, which is performed by the driver when the alarm is output;
A state determination unit that determines that the state of the driver is not suitable for driving when the reflection operation is not detected by the reflection operation detection unit when the alarm is output;
With
The warning output means drives a braking device of a vehicle driven by the driver, and applies an inertial force to the driver,
The reflection operation detecting means detects a change in the posture of the driver.
In order to achieve the above object, a state determination apparatus according to the fifth aspect of the present invention provides:
An alarm output means for outputting an alarm to a vehicle driver;
A reflection operation detecting means for detecting a predetermined reflection operation for the alarm, which is performed by the driver when the alarm is output;
A state determination unit that determines that the state of the driver is not suitable for driving when the reflection operation is not detected by the reflection operation detection unit when the alarm is output;
Photographing means for photographing an image of the eyes of the driver;
Based on the image photographed by the photographing means, an opening degree measuring means for measuring the eye opening degree of the driver,
With
The warning output means, when the driver's eye opening is below a threshold value, drives a braking device of a vehicle driven by the driver, and exerts an inertial force on the driver,
The reflection operation detecting means detects a change in the posture of the driver.
In order to achieve the above object, a state determination apparatus according to the sixth aspect of the present invention provides:
An alarm output means for outputting an alarm to a vehicle driver;
A reflection operation detecting means for detecting a predetermined reflection operation for the alarm, which is performed by the driver when the alarm is output;
A state determination unit that determines that the state of the driver is not suitable for driving when the reflection operation is not detected by the reflection operation detection unit when the alarm is output;
Photographing means for photographing an image of the eyes of the driver;
Based on the image photographed by the photographing means, an opening degree measuring means for measuring the eye opening degree of the driver,
With
The alarm output means irradiates the driver with flash light when the eye opening of the driver is equal to or less than a threshold value.
The reflection operation detecting means detects a change in the eye opening of the driver based on an image photographed by the photographing means.

本発明の第７の観点に係る運転支援システムは、
本発明の状態判定装置と、
前記状態判定装置によって、前記ドライバの状態が運転に適していないと判定された場合に、前記車両を自動制御する制御手段と、
を備える。 The driving support system according to the seventh aspect of the present invention is:
A state determination device of the present invention;
Control means for automatically controlling the vehicle when the state determination device determines that the state of the driver is not suitable for driving;
Is provided.

本発明の第８の観点に係る状態判定方法は、
車両のドライバに警報を出力する警報出力工程と、
前記警報が出力されたときに、前記ドライバによって行われる、前記警報に対する予め定められた反射動作を検出する反射動作検出工程と、
前記警報が出力されたときに、前記反射動作が検出されなかった場合に、前記ドライバの状態が運転に適していないと判定する状態判定工程と、
前記ドライバの眼の画像を撮影する撮影工程と、
前記撮影工程によって撮影された画像に基づいて、前記ドライバの眼の開度を計測する開度計測工程と、
を含み、
前記警報出力工程では、前記ドライバの眼の開度が、閾値以下である場合に、前記ドライバに警報音を出力し、
前記反射動作検出工程では、前記撮影工程によって撮影された画像に基づいて、前記ドライバの眼の開度の変化を検出する。 The state determination method according to the eighth aspect of the present invention includes:
An alarm output process for outputting an alarm to a vehicle driver;
A reflection operation detecting step for detecting a predetermined reflection operation for the alarm performed by the driver when the alarm is output;
A state determination step of determining that the state of the driver is not suitable for driving when the reflection operation is not detected when the alarm is output;
A photographing step of photographing an image of the eye of the driver;
Based on the image photographed by the photographing step, an opening degree measuring step for measuring the eye opening of the driver,
Including
In the alarm output step, when the driver's eye opening is less than or equal to a threshold value, an alarm sound is output to the driver,
In the reflection operation detecting step, a change in the eye opening of the driver is detected based on the image taken in the photographing step.

本発明の第９の観点に係るプログラムは、
コンピュータに、
車両のドライバに警報を出力する警報出力手順と、
前記警報が出力されたときに、前記ドライバによって行われる、前記警報に対する予め定められた反射動作を検出する反射動作検出手順と、
前記警報が出力されたときに、前記反射動作が検出されなかった場合に、前記ドライバの状態が運転に適していないと判定する状態判定手順と、
前記ドライバの眼の画像を撮影する撮影手順と、
前記撮影手順によって撮影された画像に基づいて、前記ドライバの眼の開度を計測する開度計測手順と、
を実行させ、
前記警報出力手順では、前記ドライバの眼の開度が、閾値以下である場合に、前記ドライバに警報音を出力し、
前記反射動作検出手順では、前記撮影手順によって撮影された画像に基づいて、前記ドライバの眼の開度の変化を検出する。
A program according to the ninth aspect of the present invention is:
On the computer,
An alarm output procedure for outputting an alarm to a vehicle driver;
A reflection operation detection procedure for detecting a predetermined reflection operation for the alarm performed by the driver when the alarm is output;
A state determination procedure for determining that the state of the driver is not suitable for driving when the reflection operation is not detected when the alarm is output;
A shooting procedure for shooting an image of the eye of the driver;
Based on the image photographed by the photographing procedure, an opening measurement procedure for measuring the eye opening of the driver,
And execute
In the alarm output procedure, when the eye opening of the driver is below a threshold value, an alarm sound is output to the driver,
In the reflection operation detection procedure, a change in the opening degree of the eyes of the driver is detected based on an image photographed by the photographing procedure.

本発明によれば、車両を運転するドライバに対して警報が出力されたときに、ドライバの反射動作の検出を試みる。そして、反射動作が検出されなかった場合には、ドライバの状態が運転に適していないと判定する。これにより、ドライバの状態を正確に判定し、覚醒度の低下に起因する交通事故を未然に防止することが可能となる。 According to the present invention, when a warning is output to the driver who drives the vehicle, detection of the reflection operation of the driver is attempted. And when reflection operation is not detected, it determines with the state of a driver not being suitable for a driving | operation. As a result, it is possible to accurately determine the state of the driver and prevent a traffic accident caused by a decrease in the arousal level.

第１の実施形態に係る運転支援システムのブロック図である。It is a block diagram of the driving support system concerning a 1st embodiment. 撮影装置の配置図である。FIG. ＣＰＵによって実行される一連処理を示すフローチャートである。It is a flowchart which shows the series of processes performed by CPU. 開度算出処理を示すフローチャートである。It is a flowchart which shows an opening degree calculation process. 判定処理を示すフローチャートである。It is a flowchart which shows a determination process. 第２の実施形態に係る運転支援システムのブロック図である。It is a block diagram of the driving assistance system concerning a 2nd embodiment. 圧力検出装置のブロック図である。It is a block diagram of a pressure detection apparatus. 判定処理を示すフローチャートである。It is a flowchart which shows a determination process. 第３の実施形態に係る運転支援システムのブロック図である。It is a block diagram of the driving assistance system concerning a 3rd embodiment. シート揺動装置のブロック図である。It is a block diagram of a sheet swing device. シート揺動装置のブロック図である。It is a block diagram of a sheet swing device. 判定処理を示すフローチャートである。It is a flowchart which shows a determination process. 第４の実施形態に係る運転支援システムのブロック図である。It is a block diagram of the driving assistance system concerning a 4th embodiment. 発光装置の配置図である。It is a layout view of a light emitting device. 判定処理のフローチャートである。It is a flowchart of a determination process.

《第１の実施形態》
以下、本発明の第１の実施形態を、図面を参照しつつ説明する。図１は本実施形態に係る運転支援システム１０のブロック図である。運転支援システム１０は、車両を運転するドライバの覚醒度が低下した場合に、当該車両を安全に停止させるための装置である。この運転支援システム１０は、図１に示されるように、制御装置２０、撮影装置３１、音声出力装置３２、制動装置３３を有している。 << First Embodiment >>
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram of a driving support system 10 according to the present embodiment. The driving support system 10 is a device for safely stopping the vehicle when the awakening level of the driver driving the vehicle is lowered. As shown in FIG. 1, the driving support system 10 includes a control device 20, a photographing device 31, an audio output device 32, and a braking device 33.

撮影装置３１は、ＣＣＤ（Charge Coupled Device）カメラを有している。この撮影装置３１は、図２に示されるように、例えばハンドルコラムに設置されている。そして、視野中心にドライバ６０の顔が位置するように、視野角及び姿勢が調整されている。撮影装置３１は、シート６１に着座するドライバ６０の顔を順次撮影し、撮影により得た画像情報を順次出力する。 The imaging device 31 has a CCD (Charge Coupled Device) camera. As shown in FIG. 2, the photographing device 31 is installed, for example, on a handle column. Then, the viewing angle and the posture are adjusted so that the face of the driver 60 is positioned at the center of the viewing field. The imaging device 31 sequentially captures the face of the driver 60 seated on the seat 61 and sequentially outputs image information obtained by the imaging.

音声出力装置３２は、制御装置２０からの指示に基づいて、ドライバ６０に対して音声を出力する。この音声出力装置３２は、音声を出力するための増幅器やスピーカを有している。 The audio output device 32 outputs audio to the driver 60 based on an instruction from the control device 20. The audio output device 32 has an amplifier and a speaker for outputting audio.

制動装置３３は、ドライバ６０が運転する車両を停止させるための装置である。この制動装置３３は、制御装置２０の指示に基づいて、車両に装備されたブレーキを動作させて当該車両を減速し停止させる。 The braking device 33 is a device for stopping the vehicle that the driver 60 drives. The braking device 33 operates a brake mounted on the vehicle based on an instruction from the control device 20 to decelerate and stop the vehicle.

制御装置２０は、ＣＰＵ（Central Processing Unit）２１、主記憶部２２、補助記憶部２３、表示部２４、入力部２５、及びインタフェース部２６を有するコンピュータである。 The control device 20 is a computer having a CPU (Central Processing Unit) 21, a main storage unit 22, an auxiliary storage unit 23, a display unit 24, an input unit 25, and an interface unit 26.

ＣＰＵ２１は、補助記憶部２３に記憶されているプログラムに従って、後述する処理を実行する。 The CPU 21 executes processing to be described later according to a program stored in the auxiliary storage unit 23.

主記憶部２２は、ＲＡＭ（Random Access Memory）等を有している。主記憶部２２は、ＣＰＵ２１の作業領域として用いられる。 The main storage unit 22 includes a RAM (Random Access Memory) and the like. The main storage unit 22 is used as a work area for the CPU 21.

補助記憶部２３は、ＲＯＭ（Read-Only Memory）、磁気ディスク、半導体メモリ等の不揮発性メモリを有している。補助記憶部２３は、ＣＰＵ２１が実行するプログラム、及び各種パラメータなどを記憶している。また、撮影装置３１から出力される画像情報、及びＣＰＵ２１による処理結果などを順次記憶する。 The auxiliary storage unit 23 includes a nonvolatile memory such as a ROM (Read-Only Memory), a magnetic disk, and a semiconductor memory. The auxiliary storage unit 23 stores programs executed by the CPU 21, various parameters, and the like. In addition, the image information output from the imaging device 31 and the processing result by the CPU 21 are sequentially stored.

表示部２４は、ＬＣＤ（Liquid Crystal Display）などの表示ユニットを有している。表示部２４は、ＣＰＵ２１の処理結果等を表示する。 The display unit 24 includes a display unit such as an LCD (Liquid Crystal Display). The display unit 24 displays the processing result of the CPU 21 and the like.

入力部２５は、入力キーや、タッチパネル等のポインティングデバイスを有している。オペレータの指示は、入力部２５を介して入力され、システムバス２７を経由してＣＰＵ２１に通知される。 The input unit 25 includes input keys and a pointing device such as a touch panel. The operator's instruction is input via the input unit 25 and is notified to the CPU 21 via the system bus 27.

インタフェース部２６は、シリアルインタフェースや、パラレルインタフェースを有している。撮影装置３１、音声出力装置３２、制動装置３３は、インタフェース部２６を介して、システムバス２７に接続される。 The interface unit 26 has a serial interface and a parallel interface. The photographing device 31, the audio output device 32, and the braking device 33 are connected to the system bus 27 via the interface unit 26.

上述のように構成された制御装置２０は、ドライバ６０に対する警報を発令することにより変化するドライバ６０の眼の開度を計測する。そして、例えば２秒以上の間、眼の開度が閾値以下であった場合には、ドライバ６０の意思にかかわらず、当該ドライバ６０が運転する車両を停止させる。以下、本実施形態に係る運転支援システム１０の動作について、図面を参照しつつ説明する。 The control device 20 configured as described above measures the eye opening of the driver 60 that changes by issuing an alarm to the driver 60. For example, when the eye opening is equal to or less than the threshold value for 2 seconds or longer, the vehicle driven by the driver 60 is stopped regardless of the driver's intention. Hereinafter, operation | movement of the driving assistance system 10 which concerns on this embodiment is demonstrated, referring drawings.

図３のフローチャートは、ＣＰＵ２１によって実行されるプログラムの一連の処理アルゴリズムに対応している。図３のフローチャートに示される一連の処理は、例えば車両のイグニッションスイッチがオンになると実行される。 The flowchart in FIG. 3 corresponds to a series of processing algorithms of a program executed by the CPU 21. A series of processes shown in the flowchart of FIG. 3 is executed, for example, when the ignition switch of the vehicle is turned on.

まず、最初のステップＳ２０１では、ＣＰＵ２１は、ドライバ６０の眼の開度を算出するための開度算出処理を実行する。この開度算出処理は、ＣＰＵ２１が、図４に示されるサブルーチンＳ３００を実行することにより実現する。 First, in the first step S201, the CPU 21 executes an opening degree calculation process for calculating the eye opening degree of the driver 60. This opening degree calculation process is realized by the CPU 21 executing a subroutine S300 shown in FIG.

サブルーチンＳ３００の最初のステップＳ３０１では、ＣＰＵ２１は、撮影装置３１から出力される画像情報を取得する。 In the first step S301 of the subroutine S300, the CPU 21 acquires image information output from the imaging device 31.

次のステップＳ３０２では、ＣＰＵ２１は、取得した画像情報によって規定される画像から、ドライバの顔を構成する眼や鼻等が写り込む顔領域を検出する。 In the next step S 302, the CPU 21 detects a face area in which an eye, a nose, and the like constituting the driver's face are reflected from an image defined by the acquired image information.

例えば、顔領域の検出は、まず、画像に対してソーベルフィルタを用いた画像処理を実行し、画像に含まれるエッジを抽出する。次に、抽出したエッジの中から、ドライバの顔の輪郭を示すエッジを検出する。そして、ドライバの顔の輪郭に囲まれた領域を、顔領域として検出する。 For example, in the detection of a face area, first, image processing using a Sobel filter is performed on an image, and an edge included in the image is extracted. Next, an edge indicating the contour of the driver's face is detected from the extracted edges. Then, an area surrounded by the contour of the driver's face is detected as a face area.

次のステップＳ３０３では、ＣＰＵ２１は、画像から検出した顔領域に含まれる瞼のエッジの特定を行う。エッジの特定は、例えば、水平エッジ検出オペレータや、垂直エッジ検出オペレータを用いることが考えられる。 In the next step S303, the CPU 21 specifies the edge of the eyelid included in the face area detected from the image. For example, the edge may be specified by using a horizontal edge detection operator or a vertical edge detection operator.

具体的には、ＣＰＵ２１は、まず水平エッジ検出オペレータを用いて、顔領域に含まれる各画素のエッジ値を算出する。そして、算出結果から水平エッジを構成する画素を抽出する。次に、ＣＰＵ２１は、垂直エッジ検出オペレータを用いて、同様に、顔領域に含まれる各画素のエッジ値を算出する。そして、算出結果から垂直エッジを構成する画素を抽出する。次に、ＣＰＵ２１は、抽出された画素からなるエッジの位置関係や大きさ等に基づいて、ドライバ６０の眼の上瞼及び下瞼のエッジを特定する。 Specifically, the CPU 21 first calculates an edge value of each pixel included in the face area using a horizontal edge detection operator. And the pixel which comprises a horizontal edge is extracted from a calculation result. Next, the CPU 21 similarly calculates the edge value of each pixel included in the face area using the vertical edge detection operator. Then, the pixels constituting the vertical edge are extracted from the calculation result. Next, the CPU 21 specifies the upper eyelid and lower eyelid edges of the eye of the driver 60 based on the positional relationship and size of the edges formed of the extracted pixels.

上述の上瞼及び下瞼のエッジを検出する手法については、種々の公知技術が知られている。 Various known techniques are known for detecting the upper and lower eyelid edges.

次のステップＳ３０４では、ＣＰＵ２１は、特定した上瞼のエッジの重心を上瞼の位置として検出する。また、ＣＰＵ２１は、特定した下瞼のエッジの重心を下瞼の位置として検出する。 In the next step S304, the CPU 21 detects the center of gravity of the identified upper eyelid edge as the position of the upper eyelid. Further, the CPU 21 detects the center of gravity of the identified lower eyelid edge as the position of the lower eyelid.

次のステップＳ３０５では、ＣＰＵ２１は、上瞼の位置から下瞼の位置までの距離を、ドライバ６０の眼の開度として算出する。ＣＰＵ２１は、ステップＳ３０５の処理が終了すると、図３のステップＳ２０２へ移行する。 In the next step S305, the CPU 21 calculates the distance from the upper eyelid position to the lower eyelid position as the eye opening of the driver 60. When the process of step S305 ends, the CPU 21 proceeds to step S202 of FIG.

次のステップＳ２０２では、ＣＰＵ２１は、ステップＳ２０１で算出した開度と閾値を比較する。そして、ドライバ６０の眼の開度が閾値よりも大きい場合には（ステップＳ２０２：Ｙｅｓ）、ＣＰＵ２１は、ドライバ６０は開眼しており、覚醒度が比較的高いと判定し、ステップＳ２０１へ移行する。以降、ＣＰＵ２１は、ステップＳ２０２での判定が否定されるまで、ステップＳ２０１，Ｓ２０２の処理を繰り返し実行する。 In the next step S202, the CPU 21 compares the opening calculated in step S201 with a threshold value. When the eye opening of the driver 60 is larger than the threshold value (step S202: Yes), the CPU 21 determines that the driver 60 is open and the arousal level is relatively high, and the process proceeds to step S201. . Thereafter, the CPU 21 repeatedly executes the processes in steps S201 and S202 until the determination in step S202 is negative.

一方、ドライバ６０の眼の開度が、例えば２秒以上の間、閾値以下である場合には（ステップＳ２０２：Ｎ０）、ＣＰＵ２１は、ドライバ６０が閉眼しており、覚醒度が比較的低いと判定して、ステップＳ２０３へ移行する。 On the other hand, when the opening degree of the eyes of the driver 60 is, for example, not more than the threshold value for 2 seconds or more (step S202: NO), the CPU 21 indicates that the driver 60 is closed and the arousal level is relatively low. Determination is made and the process proceeds to step S203.

ステップＳ２０３では、ＣＰＵ２１は、ドライバ６０の覚醒度が高いか否かを判定するための判定処理を実行する。この判定処理は、ＣＰＵ２１が、図５に示されるサブルーチンＳ４００を実行することにより実現する。 In step S203, the CPU 21 executes a determination process for determining whether or not the driver 60 has a high arousal level. This determination process is realized by the CPU 21 executing a subroutine S400 shown in FIG.

サブルーチンＳ４００の最初のステップＳ４０１では、ＣＰＵ２１は、音声出力装置３２に対して、ドライバ６０に対する警報の発令を指示する。これにより、音声出力装置３２から、ドライバ６０に対して警報音が出力される。 In the first step S401 of the subroutine S400, the CPU 21 instructs the sound output device 32 to issue a warning to the driver 60. Thereby, an alarm sound is output from the audio output device 32 to the driver 60.

次のステップＳ４０２では、ＣＰＵ２１は、ドライバ６０の眼の開度を算出するための開度算出処理を実行する。この開度算出処理は、ＣＰＵ２１が、図４に示されるサブルーチンＳ３００を実行することにより実現する。 In the next step S402, the CPU 21 executes an opening calculation process for calculating the opening of the eyes of the driver 60. This opening degree calculation process is realized by the CPU 21 executing a subroutine S300 shown in FIG.

次のステップＳ４０３では、ＣＰＵ２１は、ステップＳ４０２で算出した開度と閾値を比較する。そして、ドライバ６０の眼の開度が閾値よりも大きい場合には（ステップＳ４０３：Ｙｅｓ）、ＣＰＵ２１は、ドライバ６０は開眼しており、覚醒度が比較的高いと判定して、サブルーチンＳ４００を終了し、図３のステップＳ２０１へ移行する。以降、ＣＰＵ２１は、ステップＳ２０１〜Ｓ２０３の処理を繰り返し実行する。 In the next step S403, the CPU 21 compares the opening calculated in step S402 with the threshold value. When the eye opening degree of the driver 60 is larger than the threshold value (step S403: Yes), the CPU 21 determines that the driver 60 is open and the arousal level is relatively high, and ends the subroutine S400. Then, the process proceeds to step S201 in FIG. Thereafter, the CPU 21 repeatedly executes the processes of steps S201 to S203.

一方、例えば２秒以上の間、ドライバ６０の眼の開度が閾値以下である場合には（ステップＳ４０３：Ｎ０）、ＣＰＵ２１は、ドライバ６０が閉眼しており、覚醒度比較的が低いと判定して、ステップＳ４０４へ移行する。 On the other hand, for example, when the opening degree of the eye of the driver 60 is equal to or less than the threshold value for 2 seconds or more (step S403: NO), the CPU 21 determines that the driver 60 is closed and the arousal level is relatively low. Then, the process proceeds to step S404.

ステップＳ４０４では、ＣＰＵ２１は、制動装置３３へ、停止指示を出力する。これにより、ドライバ６０が運転する車両のブレーキが動作し、車両が停止する。ＣＰＵ２１は、ステップＳ４０４の処理が終わると、サブルーチンＳ４００を終了し、図３のステップＳ２０１へ移行する。以降、ＣＰＵ２１は、ステップＳ２０１〜Ｓ２０３の処理を繰り返し実行する。 In step S 404, the CPU 21 outputs a stop instruction to the braking device 33. Thereby, the brake of the vehicle which the driver 60 drives operates, and the vehicle stops. When the process of step S404 ends, the CPU 21 ends the subroutine S400 and proceeds to step S201 in FIG. Thereafter, the CPU 21 repeatedly executes the processes of steps S201 to S203.

以上説明したように、本実施形態では、ドライバ６０が車両の運転を開始すると、当該ドライバ６０の眼の開度を逐次算出する（ステップＳ２０２）。次に、例えば２秒以上の間、ドライバ６０の眼の開度が閾値以下になった場合には、ドライバ６０の覚醒度が低下したと判定し、ドライバ６０に対して警報音を出力する（ステップＳ４０１）。次に、警報音に対するドライバ６０の反射の検出を試みる（ステップＳ４０２，Ｓ４０３）。すなわち、警報音に対する予め定められた反射動作の検出を試みる。その結果、眼の開度が閾値より大きくなったことが認められなかったときには（ステップＳ４０３：Ｎｏ）、ドライバ６０の覚醒度が低下している、または、ドライバ６０が、運転ができない状態になっていると判定し、ドライバ６０が運転する車両を速やかに停止させる（ステップＳ４０４）。これにより、ドライバの覚醒度が低下すること、または、ドライバ６０が、運転ができない状態になっていることに起因する交通事故を未然に防止することができる。 As described above, in the present embodiment, when the driver 60 starts driving the vehicle, the eye opening of the driver 60 is sequentially calculated (step S202). Next, for example, when the eye opening of the driver 60 is equal to or lower than the threshold value for 2 seconds or more, it is determined that the awakening level of the driver 60 has decreased, and an alarm sound is output to the driver 60 ( Step S401). Next, detection of reflection of the driver 60 with respect to the alarm sound is attempted (steps S402 and S403). That is, detection of a predetermined reflection operation for the alarm sound is attempted. As a result, when it is not recognized that the opening degree of the eye is larger than the threshold value (step S403: No), the arousal level of the driver 60 is reduced or the driver 60 becomes unable to drive. The vehicle that the driver 60 drives is promptly stopped (step S404). Thereby, it is possible to prevent a traffic accident caused by a decrease in the driver's arousal level or when the driver 60 is in a state where the driver cannot drive.

また、本実施形態では、警報音に対するドライバ６０の反射に基づいて、ドライバ６０が、覚醒度が低下した状態にあるか否かを判定する。このため、ドライバ６０が運転に適している状態にあるか否かを正確に判定することができる。 In this embodiment, based on the reflection of the driver 60 with respect to the alarm sound, the driver 60 determines whether or not the arousal level is reduced. Therefore, it can be accurately determined whether or not the driver 60 is in a state suitable for driving.

なお、本実施形態では、制御装置２０、撮影装置３１及び音声出力装置３２によって、ドライバ６０の覚醒度を判定する判定装置が構成されている。 In the present embodiment, the control device 20, the imaging device 31, and the audio output device 32 constitute a determination device that determines the awakening level of the driver 60.

《第２の実施形態》
次に本発明の第２の実施形態について説明する。本実施形態に係る運転支援システム１０は、車両を減速させたときのドライバ６０の反射を利用する点で、第１の実施形態に係る運転支援システム１０と相違する。 << Second Embodiment >>
Next, a second embodiment of the present invention will be described. The driving support system 10 according to the present embodiment is different from the driving support system 10 according to the first embodiment in that the reflection of the driver 60 when the vehicle is decelerated is used.

以下、図面を参照しつつ本実施形態に係る運転支援システム１０について説明する。なお、第１の実施形態の説明と重複する説明については、その記載を省略或いは簡略する。 Hereinafter, the driving support system 10 according to the present embodiment will be described with reference to the drawings. In addition, about the description which overlaps with description of 1st Embodiment, the description is abbreviate | omitted or simplified.

図６は、本実施形態に係る運転支援システム１０のブロック図である。図６に示されるように、運転支援システム１０は、圧力検出装置３４を有している。図７は、圧力検出装置３４の概略的な構成を示すブロック図である。図７に示されるように、圧力検出装置３４は、圧力検出回路３４ａ、及び４つの圧力センサ３４ｂ〜３４ｅを有している。 FIG. 6 is a block diagram of the driving support system 10 according to the present embodiment. As shown in FIG. 6, the driving support system 10 includes a pressure detection device 34. FIG. 7 is a block diagram illustrating a schematic configuration of the pressure detection device 34. As shown in FIG. 7, the pressure detection device 34 includes a pressure detection circuit 34 a and four pressure sensors 34 b to 34 e.

圧力センサ３４ｂ〜３４ｅは、作用する力に比例して電気的な抵抗の値が変化するセンサである。圧力センサ３４ｂ〜３４ｅは、それぞれ、ドライバ６０の足下、シート６１の着座部６１ａ、シート６１の背もたれ部６１ｂ、ステアリングコラムに配置されている。 The pressure sensors 34b to 34e are sensors whose electrical resistance values change in proportion to the acting force. The pressure sensors 34b to 34e are arranged at the feet of the driver 60, the seat 61a of the seat 61, the backrest 61b of the seat 61, and the steering column, respectively.

圧力センサ３４ｂには、ドライバ６０の体重が、ドライバ６０の足を介して作用する。このため、車両が加速或いは減速する際に、ドライバ６０が、慣性力に抗って足で体重を支える動作を行ったり、当該動作を停止したりすることで、圧力センサ３４ｂの抵抗値が増減する。 The weight of the driver 60 acts on the pressure sensor 34b through the foot of the driver 60. For this reason, when the vehicle accelerates or decelerates, the resistance of the pressure sensor 34b increases or decreases by the driver 60 performing an operation of supporting the weight with the foot against the inertial force or stopping the operation. To do.

圧力センサ３４ｃ，３４ｄには、シート６１に着座するドライバ６０の体重が直接作用する。このため、車両の減速時或いは加速時には、ドライバ６０の重心が移動することにより、圧力センサ３４ｃ，３４ｄの抵抗値が増減する。 The weight of the driver 60 seated on the seat 61 directly acts on the pressure sensors 34c and 34d. For this reason, when the vehicle is decelerated or accelerated, the resistance value of the pressure sensors 34c and 34d increases or decreases as the center of gravity of the driver 60 moves.

圧力センサ３４ｅには、ドライバ６０の体重が、ドライバ６０の手を介して作用する。このため、車両が加速或いは減速する際に、ドライバ６０が、慣性力に抗って手で体重を支える動作を行ったり、当該動作を停止したりすることで、圧力センサ３４ｅの抵抗値が増減する。 The weight of the driver 60 acts on the pressure sensor 34e through the hand of the driver 60. For this reason, when the vehicle accelerates or decelerates, the resistance of the pressure sensor 34e is increased or decreased by the driver 60 performing an operation of supporting the body weight against the inertial force or stopping the operation. To do.

圧力検出回路３４ａは、圧力センサ３４ｂ〜３４ｅの抵抗値をそれぞれ検出する。そして、圧力センサ３４ｂ〜３４ｅの抵抗値に応じた値の信号Ｓ１〜Ｓ４を出力する。 The pressure detection circuit 34a detects the resistance values of the pressure sensors 34b to 34e, respectively. And the signal S1-S4 of the value according to the resistance value of the pressure sensors 34b-34e is output.

制御装置２０は、制動装置３３が、ドライバ６０が運転する車両を減速させたときに、シート６１に設けられた圧力センサ３４ｂ〜３４ｅに作用する圧力を計測する。そして、計測結果に基づいて、ドライバ６０が運転する車両を停止させる。以下、本実施形態に係る運転支援システム１０の動作について、図面を参照しつつ説明する。 The control device 20 measures the pressure acting on the pressure sensors 34 b to 34 e provided on the seat 61 when the braking device 33 decelerates the vehicle driven by the driver 60. And based on a measurement result, the vehicle which the driver 60 drives is stopped. Hereinafter, operation | movement of the driving assistance system 10 which concerns on this embodiment is demonstrated, referring drawings.

まず、運転支援システム１０を構成する制御装置２０のＣＰＵ２１は、図３に示されるステップＳ２０１，Ｓ２０２を実行する。次に、ステップＳ２０２での判定が否定された場合に（ステップＳ２０２：Ｎｏ）、ステップＳ２０３へ移行する。そして、判定処理として、図８に示されるサブルーチンＳ５００を実行する。 First, CPU21 of the control apparatus 20 which comprises the driving assistance system 10 performs step S201, S202 shown by FIG. Next, when the determination in step S202 is negative (step S202: No), the process proceeds to step S203. Then, as a determination process, a subroutine S500 shown in FIG. 8 is executed.

サブルーチンＳ５００の最初のステップＳ５０１では、ＣＰＵ２１は、制動装置３３に、減速指示を出力する。これにより、ドライバ６０が運転する車両のブレーキが動作し、車両が減速する。そして、ドライバ６０には、車両の減速による慣性力が作用する。 In the first step S501 of the subroutine S500, the CPU 21 outputs a deceleration instruction to the braking device 33. Thereby, the brake of the vehicle which the driver 60 drives operates, and the vehicle decelerates. Then, an inertial force due to deceleration of the vehicle acts on the driver 60.

次のステップＳ５０２では、ＣＰＵ２１は、圧力検出回路３４ａから出力される信号Ｓ１〜Ｓ４について、ステップＳ５０１の処理を行う前と、ステップＳ５０１の処理を行った後での値の変化を比較する。そして、信号Ｓ１〜Ｓ４についての比較結果から、車両の減速に対して、ドライバ６０の反応があったか否かを判定する。 In the next step S502, the CPU 21 compares changes in values of the signals S1 to S4 output from the pressure detection circuit 34a before the process of step S501 and after the process of step S501. And from the comparison result about signal S1-S4, it is determined whether there was reaction of the driver 60 with respect to deceleration of a vehicle.

具体的には、当該ドライバ６０が運転する車両が減速したときに、ドライバ６０の覚醒度が高い場合には、ドライバ６０は、手と足で重心の移動を回避する動作をする。この場合には、信号Ｓ１，Ｓ４の値の変化が、信号Ｓ２，Ｓ３の値の変化よりも大きくなる。一方、ドライバ６０の覚醒度が低い場合には、ドライバ６０によって重心の移動を回避する動作が行われない。この場合には、信号Ｓ２，Ｓ３の値の変化が、信号Ｓ１，Ｓ４の値の変化よりも大きくなる。 Specifically, when the vehicle driven by the driver 60 decelerates and the driver 60 has a high arousal level, the driver 60 operates to avoid the movement of the center of gravity with the hands and feet. In this case, the change in the values of the signals S1 and S4 is larger than the change in the values of the signals S2 and S3. On the other hand, when the awakening level of the driver 60 is low, the driver 60 does not perform an operation for avoiding the movement of the center of gravity. In this case, the change in the values of the signals S2 and S3 is larger than the change in the values of the signals S1 and S4.

そこで、ＣＰＵ２１は、上記点を考慮して、信号Ｓ１〜Ｓ４の変化から、重心の移動を回避する動作（以下、回避動作という）を、ドライバ６０が行ったか否かを判定する。そして、ＣＰＵ２１は、ドライバ６０が回避動作を行ったと判定した場合には（ステップＳ５０２：Ｙｅｓ）、サブルーチンＳ５００を終了し、図３のステップＳ２０１へ移行する。以降、ＣＰＵ２１は、ステップＳ２０１〜Ｓ２０３の処理を繰り返し実行する。一方、ＣＰＵ２１は、ドライバ６０が回避動作を行わなかったと判定した場合には（ステップＳ５０２：Ｎｏ）、ステップＳ５０３へ移行する。 Therefore, in consideration of the above points, the CPU 21 determines whether or not the driver 60 has performed an operation for avoiding the movement of the center of gravity (hereinafter referred to as an avoidance operation) from changes in the signals S1 to S4. When the CPU 21 determines that the driver 60 has performed the avoidance operation (step S502: Yes), the CPU 21 ends the subroutine S500 and proceeds to step S201 in FIG. Thereafter, the CPU 21 repeatedly executes the processes of steps S201 to S203. On the other hand, if the CPU 21 determines that the driver 60 has not performed the avoidance operation (step S502: No), the CPU 21 proceeds to step S503.

ステップＳ５０３では、ＣＰＵ２１は、制動装置３３へ、停止指示を出力する。これにより、ドライバ６０が運転する車両のブレーキが動作し、車両が停止する。ＣＰＵ２１は、ステップＳ５０３の処理が終わると、サブルーチンＳ５００を終了し、図３のステップＳ２０１へ移行する。以降、ＣＰＵ２１は、ステップＳ２０１〜Ｓ２０３の処理を繰り返し実行する。 In step S 503, the CPU 21 outputs a stop instruction to the braking device 33. Thereby, the brake of the vehicle which the driver 60 drives operates, and the vehicle stops. When the process of step S503 is completed, the CPU 21 ends the subroutine S500 and proceeds to step S201 in FIG. Thereafter, the CPU 21 repeatedly executes the processes of steps S201 to S203.

以上説明したように、本実施形態では、ドライバ６０の覚醒度が低下したと考えられる場合に、ドライバ６０が運転する車両を減速する（ステップＳ５０１）。次に、車両の減速に対するドライバ６０の反射の検出を試みる（ステップＳ５０２）。すなわち、車両の減速に対する予め定められた反射動作の検出を試みる。その結果、ドライバ６０の反射としての回避動作がなかったと判定されたときには（ステップＳ５０２：Ｎｏ）、ドライバ６０の覚醒度が低下している、または、ドライバ６０が、運転ができない状態になっていると判定し、ドライバ６０が運転する車両を速やかに停止させる（ステップＳ５０３）。これにより、ドライバの覚醒度が低下すること、または、ドライバ６０が、運転ができない状態になっていることに起因する交通事故を未然に防止することができる。 As described above, in the present embodiment, when it is considered that the awakening level of the driver 60 has decreased, the vehicle driven by the driver 60 is decelerated (step S501). Next, detection of reflection of the driver 60 with respect to deceleration of the vehicle is attempted (step S502). That is, it tries to detect a predetermined reflection operation with respect to deceleration of the vehicle. As a result, when it is determined that there is no avoidance operation as reflection of the driver 60 (step S502: No), the arousal level of the driver 60 is lowered or the driver 60 is in a state where it cannot drive. And the vehicle driven by the driver 60 is immediately stopped (step S503). Thereby, it is possible to prevent a traffic accident caused by a decrease in the driver's arousal level or when the driver 60 is in a state where the driver cannot drive.

なお、本実施形態では、制御装置２０、制動装置３３及び圧力検出装置３４によって、ドライバ６０の覚醒度を判定する判定装置が構成されている。 In the present embodiment, the control device 20, the braking device 33, and the pressure detection device 34 constitute a determination device that determines the awakening level of the driver 60.

《第３の実施形態》
次に本発明の第３の実施形態について説明する。本実施形態に係る運転支援システム１０は、ドライバ６０が着座するシート６１を揺動させたときのドライバ６０の反射を利用する点で、第２の実施形態に係る運転支援システム１０と相違する。 << Third Embodiment >>
Next, a third embodiment of the present invention will be described. The driving support system 10 according to the present embodiment is different from the driving support system 10 according to the second embodiment in that the reflection of the driver 60 when the seat 61 on which the driver 60 is seated is swung.

以下、図面を参照しつつ本実施形態に係る運転支援システム１０について説明する。なお、上記実施形態の説明と重複する説明については、その記載を省略或いは簡略する。 Hereinafter, the driving support system 10 according to the present embodiment will be described with reference to the drawings. In addition, about the description which overlaps with description of the said embodiment, the description is abbreviate | omitted or simplified.

図９は、本実施形態に係る運転支援システム１０のブロック図である。図９に示されるように、運転支援システム１０は、シート揺動装置３５を有している。図１０及び図１１は、シート揺動装置３５の概略的な構成を示すブロック図である。図１０及び図１１に示されるように、シート揺動装置３５は、駆動回路３５ａ、及び３つのアクチュエータ３５ｂ〜３５ｄを有している。 FIG. 9 is a block diagram of the driving support system 10 according to the present embodiment. As shown in FIG. 9, the driving support system 10 includes a seat swing device 35. 10 and 11 are block diagrams showing a schematic configuration of the seat swinging device 35. FIG. As shown in FIGS. 10 and 11, the seat swinging device 35 includes a drive circuit 35 a and three actuators 35 b to 35 d.

アクチュエータ３５ｂ〜３５ｄは、上下方向に伸縮するアクチュエータである。シート６１を構成する着座部６１ａは、３つのアクチュエータ３５ｂ〜３５ｄによって、ほぼ水平に支持されている。 The actuators 35b to 35d are actuators that expand and contract in the vertical direction. The seat portion 61a constituting the seat 61 is supported substantially horizontally by the three actuators 35b to 35d.

駆動回路３５ａは、制御装置２０の指示に基づいて、アクチュエータ３５ｂ〜３５ｄを個別に駆動する。例えば、駆動回路３５ａは、アクチュエータ３５ｂ〜３５ｄそれぞれを、適当に伸縮させることによって、シート６１に着座するドライバ６０を前後、或いは左右に揺動することができる。 The drive circuit 35a individually drives the actuators 35b to 35d based on instructions from the control device 20. For example, the drive circuit 35a can swing the driver 60 seated on the seat 61 back and forth or left and right by appropriately expanding and contracting each of the actuators 35b to 35d.

制御装置２０は、駆動回路３５ａがドライバ６０を揺動させたときに、シート６１に設けられた圧力センサ３４ｂ〜３４ｅに作用する圧力を計測する。そして、計測結果に基づいて、ドライバ６０が運転する車両を停止させる。以下、本実施形態に係る運転支援システム１０の動作について、図面を参照しつつ説明する。 The control device 20 measures the pressure acting on the pressure sensors 34 b to 34 e provided on the seat 61 when the drive circuit 35 a swings the driver 60. And based on a measurement result, the vehicle which the driver 60 drives is stopped. Hereinafter, operation | movement of the driving assistance system 10 which concerns on this embodiment is demonstrated, referring drawings.

まず、運転支援システム１０を構成する制御装置２０のＣＰＵ２１は、図３に示されるステップＳ２０１，Ｓ２０２を実行する。次に、ステップＳ２０２での判定が否定された場合に（ステップＳ２０２：Ｎｏ）、ステップＳ２０３へ移行する。そして、判定処理として、図１２に示されるサブルーチンＳ６００を実行する。 First, CPU21 of the control apparatus 20 which comprises the driving assistance system 10 performs step S201, S202 shown by FIG. Next, when the determination in step S202 is negative (step S202: No), the process proceeds to step S203. Then, as a determination process, a subroutine S600 shown in FIG. 12 is executed.

サブルーチンＳ６００の最初のステップＳ６０１では、ＣＰＵ２１は、シート揺動装置３５を構成する駆動回路３５ａに、揺動指示を出力する。これにより、ドライバ６０が着座するシート６１が揺動する。 In the first step S601 of the subroutine S600, the CPU 21 outputs a swing instruction to the drive circuit 35a constituting the seat swing device 35. As a result, the seat 61 on which the driver 60 is seated swings.

次のステップＳ６０２では、ＣＰＵ２１は、圧力検出装置３４から出力される信号Ｓ１〜Ｓ４について、ステップＳ６０１の処理を行う前と、ステップＳ６０１の処理を行った後での値の変化を比較する。そして、信号Ｓ１〜Ｓ４についての比較結果から、シート６１の揺動に対して、ドライバ６０の反応があったか否かを判定する。 In the next step S602, the CPU 21 compares changes in values of the signals S1 to S4 output from the pressure detection device 34 before the process of step S601 and after the process of step S601. Then, it is determined from the comparison result for the signals S1 to S4 whether or not the driver 60 has reacted to the swing of the sheet 61.

そして、ＣＰＵ２１は、信号Ｓ１〜Ｓ４の変化から、重心の移動を回避するための回避動作をドライバ６０が行ったと判定した場合には（ステップＳ６０２：Ｙｅｓ）、サブルーチンＳ６００を終了し、図３のステップＳ２０１へ移行する。以降、ＣＰＵ２１は、ステップＳ２０１〜Ｓ２０３の処理を繰り返し実行する。一方、ＣＰＵ２１は、ドライバ６０が回避動作を行わなかったと判定した場合には（ステップＳ６０２：Ｎｏ）、ステップＳ６０３へ移行する。 When the CPU 21 determines from the change in the signals S1 to S4 that the driver 60 has performed an avoidance operation for avoiding the movement of the center of gravity (step S602: Yes), the CPU 21 ends the subroutine S600, as shown in FIG. The process proceeds to step S201. Thereafter, the CPU 21 repeatedly executes the processes of steps S201 to S203. On the other hand, when the CPU 21 determines that the driver 60 has not performed the avoidance operation (step S602: No), the CPU 21 proceeds to step S603.

ステップＳ６０３では、ＣＰＵ２１は、制動装置３３へ、停止指示を出力する。これにより、ドライバ６０が運転する車両のブレーキが動作し、車両が停止する。ＣＰＵ２１は、ステップＳ６０３の処理が終わると、サブルーチンＳ６００を終了し、図３のステップＳ２０１へ移行する。以降、ＣＰＵ２１は、ステップＳ２０１〜Ｓ２０３の処理を繰り返し実行する。 In step S 603, the CPU 21 outputs a stop instruction to the braking device 33. Thereby, the brake of the vehicle which the driver 60 drives operates, and the vehicle stops. When the process of step S603 ends, the CPU 21 ends the subroutine S600 and proceeds to step S201 in FIG. Thereafter, the CPU 21 repeatedly executes the processes of steps S201 to S203.

以上説明したように、本実施形態では、ドライバ６０の覚醒度が低下したと考えられる場合に、ドライバ６０が着座するシート６１を揺動する（ステップＳ６０１）。次に、シート６１の揺動に対するドライバ６０の反射の検出を試みる（ステップＳ６０２）。すなわち、シート６１の揺動に対する予め定められた反射動作の検出を試みる。その結果、ドライバ６０の反射としての回避動作がなかったと判定されたときには（ステップＳ６０２：Ｎｏ）、ドライバ６０の覚醒度が低下している、または、ドライバ６０が、運転ができない状態になっていると判定し、ドライバ６０が運転する車両を速やかに停止させる（ステップＳ６０３）。これにより、ドライバの覚醒度が低下すること、または、ドライバ６０が、運転ができない状態になっていることに起因する交通事故を未然に防止することができる。 As described above, in the present embodiment, when it is considered that the arousal level of the driver 60 has decreased, the seat 61 on which the driver 60 is seated is swung (step S601). Next, detection of reflection of the driver 60 with respect to the swing of the sheet 61 is attempted (step S602). In other words, an attempt is made to detect a predetermined reflection operation with respect to the swing of the sheet 61. As a result, when it is determined that there is no avoidance operation as reflection of the driver 60 (step S602: No), the awakening level of the driver 60 is reduced, or the driver 60 is in a state where it cannot be driven. And the vehicle driven by the driver 60 is immediately stopped (step S603). Thereby, it is possible to prevent a traffic accident caused by a decrease in the driver's arousal level or when the driver 60 is in a state where the driver cannot drive.

なお、本実施形態では、制御装置２０、圧力検出装置３４及びシート揺動装置３５によって、ドライバ６０の覚醒度を判定する判定装置が構成されている。 In the present embodiment, the control device 20, the pressure detection device 34, and the seat swing device 35 constitute a determination device that determines the awakening level of the driver 60.

《第４の実施形態》
次に本発明の第４の実施形態について説明する。本実施形態に係る運転支援システム１０は、ドライバ６０にフラッシュを照射したときのドライバ６０の反射を利用する点で、第１の実施形態に係る運転支援システム１０と相違する。 << Fourth Embodiment >>
Next, a fourth embodiment of the present invention will be described. The driving support system 10 according to the present embodiment is different from the driving support system 10 according to the first embodiment in that the reflection of the driver 60 when the driver 60 is irradiated with flash is used.

以下、図面を参照しつつ本実施形態に係る運転支援システム１０について説明する。なお、上記実施形態の説明と重複する説明については、その記載を省略又は簡略する。 Hereinafter, the driving support system 10 according to the present embodiment will be described with reference to the drawings. In addition, about the description which overlaps with description of the said embodiment, the description is abbreviate | omitted or simplified.

図１３は、本実施形態に係る運転支援システム１０のブロック図である。図１３に示されるように、運転支援システム１０は、音声出力装置３２に代わる発光装置３６を有している。図１４に示されるように、例えば発光装置３６は、運転を妨げることがないように、ドライバ６０が運転する車両のルーフ等に配置されている。そして、制御装置２０からの発光指示を受信すると、ドライバ６０にフラッシュを照射する。 FIG. 13 is a block diagram of the driving support system 10 according to the present embodiment. As illustrated in FIG. 13, the driving support system 10 includes a light emitting device 36 that replaces the audio output device 32. As shown in FIG. 14, for example, the light emitting device 36 is arranged on the roof of a vehicle driven by the driver 60 so as not to hinder driving. When a light emission instruction is received from the control device 20, the driver 60 is irradiated with a flash.

制御装置２０は、ドライバ６０にフラッシュを照射することにより変化するドライバ６０の眼の開度を計測する。そして、例えば２秒以上の間、眼の開度が閾値以下であった場合に、ドライバ６０の意思にかかわらず、当該ドライバ６０が運転する車両を停止させる。以下、本実施形態に係る運転支援システム１０の動作について、図面を参照しつつ説明する。 The control device 20 measures the opening degree of the eye of the driver 60 that changes by irradiating the driver 60 with flash. For example, when the eye opening is equal to or less than the threshold value for 2 seconds or longer, the vehicle driven by the driver 60 is stopped regardless of the driver's intention. Hereinafter, operation | movement of the driving assistance system 10 which concerns on this embodiment is demonstrated, referring drawings.

まず、運転支援システム１０を構成する制御装置２０のＣＰＵ２１は、図３に示されるステップＳ２０１，Ｓ２０２を実行する。次に、ステップＳ２０２での判定が否定された場合に（ステップＳ２０２：Ｎｏ）、ステップＳ２０３へ移行する。そして、判定処理として、図１５に示されるサブルーチンＳ７００を実行する。 First, CPU21 of the control apparatus 20 which comprises the driving assistance system 10 performs step S201, S202 shown by FIG. Next, when the determination in step S202 is negative (step S202: No), the process proceeds to step S203. Then, as a determination process, a subroutine S700 shown in FIG. 15 is executed.

サブルーチンＳ７００の最初のステップＳ７０１では、ＣＰＵ２１は、発光装置３６に対して、発光指令を出力する。これにより、発光装置３６が発光し、ドライバ６０にフラッシュが照射される。 In the first step S701 of the subroutine S700, the CPU 21 outputs a light emission command to the light emitting device 36. As a result, the light emitting device 36 emits light and the driver 60 is irradiated with flash.

次のステップＳ７０２では、ＣＰＵ２１は、ドライバ６０の眼の開度を算出するための開度算出処理を実行する。この開度算出処理は、ＣＰＵ２１が、図４に示されるサブルーチンＳ３００を実行することにより実現する。 In the next step S 702, the CPU 21 executes an opening degree calculation process for calculating the eye opening degree of the driver 60. This opening degree calculation process is realized by the CPU 21 executing a subroutine S300 shown in FIG.

次のステップＳ７０３では、ＣＰＵ２１は、ステップＳ７０２で算出した開度と閾値を比較する。そして、ドライバ６０の眼の開度が閾値よりも大きい場合には（ステップＳ７０３：Ｙｅｓ）、ＣＰＵ２１は、ドライバ６０は開眼しており、覚醒度が比較的高いと判定して、サブルーチンＳ７００を終了する。そして、図３のステップＳ２０１へ移行する。以降、ＣＰＵ２１は、ステップＳ２０１〜Ｓ２０３の処理を繰り返し実行する。 In the next step S703, the CPU 21 compares the opening calculated in step S702 with a threshold value. When the eye opening degree of the driver 60 is larger than the threshold value (step S703: Yes), the CPU 21 determines that the driver 60 is open and the arousal level is relatively high, and ends the subroutine S700. To do. And it transfers to step S201 of FIG. Thereafter, the CPU 21 repeatedly executes the processes of steps S201 to S203.

一方、例えば２秒以上の間、ドライバ６０の眼の開度が閾値以下である場合には（ステップＳ７０３：Ｎｏ）、ＣＰＵ２１は、ドライバ６０が閉眼しており、覚醒度が比較的低いと判定して、ステップＳ７０４へ移行する。 On the other hand, for example, when the opening degree of the eyes of the driver 60 is not more than the threshold value for 2 seconds or more (step S703: No), the CPU 21 determines that the driver 60 is closed and the arousal level is relatively low. Then, the process proceeds to step S704.

ステップＳ７０４では、ＣＰＵ２１は、制動装置３３へ、停止指示を出力する。これにより、ドライバ６０が運転する車両のブレーキが動作し、車両が停止する。ＣＰＵ２１は、ステップＳ７０４の処理が終わると、サブルーチンＳ７００を終了し、図３のステップＳ２０１へ移行する。以降、ＣＰＵ２１は、ステップＳ２０１〜Ｓ２０３の処理を繰り返し実行する。 In step S 704, the CPU 21 outputs a stop instruction to the braking device 33. Thereby, the brake of the vehicle which the driver 60 drives operates, and the vehicle stops. When the process of step S704 ends, the CPU 21 ends the subroutine S700, and proceeds to step S201 in FIG. Thereafter, the CPU 21 repeatedly executes the processes of steps S201 to S203.

以上説明したように、本実施形態では、ドライバ６０の覚醒度が低下したと考えられる場合に、ドライバ６０にフラッシュを照射する（ステップＳ７０１）。次に、フラッシュの照射に対するドライバ６０の反射の検出を試みる（ステップＳ７０３）。すなわち、フラッシュの照射に対する予め定められた反射動作の検出を試みる。その結果、眼の開度が閾値より大きくなったことが認められなかったときには（ステップＳ７０３：Ｎｏ）、ドライバ６０の覚醒度が低下している、または、ドライバ６０が、運転ができない状態になっていると判定し、ドライバ６０が運転する車両を速やかに停止させる（ステップＳ７０４）。これにより、ドライバの覚醒度が低下すること、または、ドライバ６０が、運転ができない状態になっていることに起因する交通事故を未然に防止することができる。 As described above, in this embodiment, when it is considered that the awakening level of the driver 60 has decreased, the driver 60 is irradiated with a flash (step S701). Next, detection of reflection of the driver 60 with respect to flash irradiation is attempted (step S703). In other words, an attempt is made to detect a predetermined reflection operation for flash irradiation. As a result, when it is not recognized that the opening degree of the eye is larger than the threshold value (step S703: No), the arousal level of the driver 60 is reduced or the driver 60 becomes unable to drive. The vehicle that the driver 60 drives is immediately stopped (step S704). Thereby, it is possible to prevent a traffic accident caused by a decrease in the driver's arousal level or when the driver 60 is in a state where the driver cannot drive.

なお、本実施形態では、制御装置２０、撮影装置３１、発光装置３６によって、ドライバ６０の覚醒度を判定する判定装置が構成されている。 In the present embodiment, the control device 20, the imaging device 31, and the light emitting device 36 constitute a determination device that determines the awakening level of the driver 60.

以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。例えば、上記実施形態では、制御装置２０は、ドライバ６０の眼の開度を監視して、ドライバ６０の眼の開度が２秒間閾値以下になった場合に（ステップＳ２０２：Ｎｏ）、種々の判定処理を実行した（ステップＳ２０３）。本発明は、これに限定されるものではない。例えば、制御装置２０は、定期的に、判定処理を実行することとしてもよい。 As mentioned above, although embodiment of this invention was described, this invention is not limited by the said embodiment. For example, in the above embodiment, the control device 20 monitors the opening degree of the eyes of the driver 60, and when the opening degree of the eyes of the driver 60 is equal to or less than the threshold value for 2 seconds (step S202: No), A determination process is executed (step S203). The present invention is not limited to this. For example, the control device 20 may perform the determination process periodically.

上記実施形態では、ドライバ６０の状態を、眼の開度、受信の移動を阻止する回避動作等を利用して判定した。これに限らず、ドライバ６０の全身、或いは上半身の画像から、ドライバ６０の姿勢を検出し、この検出の結果を利用して、ドライバ６０の状態を判定することとしてもよい。 In the embodiment described above, the state of the driver 60 is determined using the opening degree of the eye, the avoidance operation for preventing the movement of reception, and the like. Not limited to this, the posture of the driver 60 may be detected from an image of the entire body of the driver 60 or the upper body, and the state of the driver 60 may be determined using the detection result.

上記実施形態では、ドライバ６０の覚醒度が低下したと判定されたときに、ドライバ６０が運転する車両を停止させる場合について説明した。これに限らず、ドライバ６０の覚醒度が低下したと判定されたときに、ドライバ６０が運転する車両を減速させたり、路側帯や路肩に寄せて停止させたりしてもよい。また、ドライバ６０に対して、種々の警報を新たに出力する等の制御を行ってもよい。 In the above embodiment, the case where the vehicle driven by the driver 60 is stopped when it is determined that the awakening level of the driver 60 has decreased has been described. Not limited to this, when it is determined that the awakening level of the driver 60 has decreased, the vehicle driven by the driver 60 may be decelerated, or may be stopped by approaching the roadside belt or the road shoulder. Further, the driver 60 may be controlled to newly output various alarms.

上記実施形態に係る各装置の機能は、専用のハードウエアによっても、また、通常のコンピュータシステムによっても実現することができる。 The functions of the devices according to the above-described embodiments can be realized by dedicated hardware or by a normal computer system.

上記実施形態において、制御装置２０の補助記憶部２３に記憶されているプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical disk）等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。 In the above embodiment, a program stored in the auxiliary storage unit 23 of the control device 20 is a flexible disk, a CD-ROM (Compact Disk Read-Only Memory), a DVD (Digital Versatile Disk), or an MO (Magneto-Optical disk). A device that executes the above-described processing may be configured by storing and distributing the program in a computer-readable recording medium such as the computer and installing the program in the computer.

本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。 Various embodiments and modifications can be made to the present invention without departing from the broad spirit and scope of the present invention. Further, the above-described embodiment is for explaining the present invention, and does not limit the scope of the present invention.

本発明の状態判定装置、状態判定方法及びプログラムは、車両を運転するドライバの状態の判定に適している。また、本発明の運転支援システムは、ドライバの運転の支援に適している。 The state determination device, the state determination method, and the program according to the present invention are suitable for determining the state of a driver driving a vehicle. In addition, the driving support system of the present invention is suitable for driving support of a driver.

１０運転支援システム
２０制御装置
２１ＣＰＵ
２２主記憶部
２３補助記憶部
２４表示部
２５入力部
２６インタフェース部
２７システムバス
３１撮影装置
３２音声出力装置
３３制動装置
３４圧力検出装置
３４ａ圧力検出回路
３４ｂ〜３４ｅ圧力センサ
３５シート揺動装置
３５ａ駆動回路
３５ｂ〜３５ｄアクチュエータ
３６発光装置
６０ドライバ
６１シート
６１ａ着座部
６１ｂ背もたれ部 10 driving support system 20 control device 21 CPU
DESCRIPTION OF SYMBOLS 22 Main memory | storage part 23 Auxiliary memory | storage part 24 Display part 25 Input part 26 Interface part 27 System bus 31 Image pick-up device 32 Audio | voice output device 33 Braking device 34 Pressure detection device 34a Pressure detection circuit 34b-34e Pressure sensor 35 Sheet rocking device 35a Drive Circuit 35b to 35d Actuator 36 Light emitting device 60 Driver 61 Seat 61a Seating part 61b Backrest part

Claims

An alarm output means for outputting an alarm to a vehicle driver;
A reflection operation detecting means for detecting a predetermined reflection operation for the alarm, which is performed by the driver when the alarm is output;
A state determination unit that determines that the state of the driver is not suitable for driving when the reflection operation is not detected by the reflection operation detection unit when the alarm is output;
Photographing means for photographing an image of the eyes of the driver;
Based on the image photographed by the photographing means, an opening degree measuring means for measuring the eye opening degree of the driver,
With
The alarm output means outputs an alarm sound to the driver when the eye opening of the driver is not more than a threshold value,
The state determination device is configured to detect a change in an eye opening of the driver based on an image photographed by the photographing means .

An alarm output means for outputting an alarm to a vehicle driver;
A reflection operation detecting means for detecting a predetermined reflection operation for the alarm, which is performed by the driver when the alarm is output;
A state determination unit that determines that the state of the driver is not suitable for driving when the reflection operation is not detected by the reflection operation detection unit when the alarm is output;
With
The alarm output means operates a seat on which the driver is seated,
The reflection operation detection means that detect a change in posture of the driver state determination device.

An alarm output means for outputting an alarm to a vehicle driver;
A reflection operation detecting means for detecting a predetermined reflection operation for the alarm, which is performed by the driver when the alarm is output;
A state determination unit that determines that the state of the driver is not suitable for driving when the reflection operation is not detected by the reflection operation detection unit when the alarm is output;
Photographing means for photographing an image of the eyes of the driver;
Based on the image photographed by the photographing means, an opening degree measuring means for measuring the eye opening degree of the driver,
With
The alarm output means operates the seat on which the driver is seated when the eye opening of the driver is less than or equal to a threshold value .
The reflection operation detection means that detect a change in posture of the driver state determination device.

An alarm output means for outputting an alarm to a vehicle driver;
A reflection operation detecting means for detecting a predetermined reflection operation for the alarm, which is performed by the driver when the alarm is output;
A state determination unit that determines that the state of the driver is not suitable for driving when the reflection operation is not detected by the reflection operation detection unit when the alarm is output;
With
The warning output means drives a braking device of a vehicle driven by the driver, and applies an inertial force to the driver,
The reflection operation detection means that detect a change in posture of the driver state determination device.

An alarm output means for outputting an alarm to a vehicle driver;
A reflection operation detecting means for detecting a predetermined reflection operation for the alarm, which is performed by the driver when the alarm is output;
A state determination unit that determines that the state of the driver is not suitable for driving when the reflection operation is not detected by the reflection operation detection unit when the alarm is output;
Photographing means for photographing an image of the eyes of the driver;
Based on the image photographed by the photographing means, an opening degree measuring means for measuring the eye opening degree of the driver,
With
The warning output means, when the driver's eye opening is below a threshold value , drives a braking device of a vehicle driven by the driver, and exerts an inertial force on the driver,
The reflection operation detection means that detect a change in posture of the driver state determination device.

The state determination apparatus according to claim 2 , wherein the reflection operation detection unit detects a change in the center of gravity of the driver.

An alarm output means for outputting an alarm to a vehicle driver;
A reflection operation detecting means for detecting a predetermined reflection operation for the alarm, which is performed by the driver when the alarm is output;
A state determination unit that determines that the state of the driver is not suitable for driving when the reflection operation is not detected by the reflection operation detection unit when the alarm is output;
Photographing means for photographing an image of the eyes of the driver;
Based on the image photographed by the photographing means, an opening degree measuring means for measuring the eye opening degree of the driver,
With
The alarm output means irradiates the driver with flash light when the eye opening of the driver is equal to or less than a threshold value .
The reflection operation detection means, on the basis of the images taken by the photographing means, eye detection to that state determination device changes the degree of opening of the driver.

A state determination device according to any one of claims 1 to 7,
Control means for automatically controlling the vehicle when the state determination device determines that the state of the driver is not suitable for driving;
A driving support system comprising:

An alarm output process for outputting an alarm to a vehicle driver;
A reflection operation detecting step for detecting a predetermined reflection operation for the alarm performed by the driver when the alarm is output;
A state determination step of determining that the state of the driver is not suitable for driving when the reflection operation is not detected when the alarm is output;
A photographing step of photographing an image of the eye of the driver;
Based on the image photographed by the photographing step, an opening degree measuring step for measuring the eye opening of the driver,
Including
In the alarm output step, when the driver's eye opening is less than or equal to a threshold value, an alarm sound is output to the driver,
In the reflection operation detection step, a state determination method for detecting a change in the eye opening of the driver based on the image photographed in the photographing step .

On the computer,
An alarm output procedure for outputting an alarm to a vehicle driver;
A reflection operation detection procedure for detecting a predetermined reflection operation for the alarm performed by the driver when the alarm is output;
A state determination procedure for determining that the state of the driver is not suitable for driving when the reflection operation is not detected when the alarm is output;
A shooting procedure for shooting an image of the eye of the driver;
Based on the image photographed by the photographing procedure, an opening measurement procedure for measuring the eye opening of the driver,
And execute
In the alarm output procedure, when the eye opening of the driver is below a threshold value, an alarm sound is output to the driver,
In the reflection operation detection procedure, a program for detecting a change in the eye opening of the driver based on an image photographed by the photographing procedure .