JP5644414B2 - Awakening level determination device, awakening level determination method, and program - Google Patents
Awakening level determination device, awakening level determination method, and program Download PDFInfo
- Publication number
- JP5644414B2 JP5644414B2 JP2010260660A JP2010260660A JP5644414B2 JP 5644414 B2 JP5644414 B2 JP 5644414B2 JP 2010260660 A JP2010260660 A JP 2010260660A JP 2010260660 A JP2010260660 A JP 2010260660A JP 5644414 B2 JP5644414 B2 JP 5644414B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- angle
- standard deviation
- calculating
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、覚醒度判定装置、覚醒度判定方法及びプログラムに関し、更に詳しくは、ドライバーの覚醒度を判定する覚醒度判定装置、ドライバーの覚醒度を判定するための覚醒度判定方法及びプログラムに関する。 The present invention relates to an arousal level determination device, an arousal level determination method, and a program, and more particularly, to an arousal level determination device that determines a driver's arousal level, and an arousal level determination method and a program for determining a driver's arousal level.
近年、交通事故の死者数は減少傾向にあるものの、事故の発生件数は依然として高い水準にある。事故の原因は様々であるが、ドライバーが覚醒度が低下した状態で車両の運転を行うことも、事故を誘発する原因の1つである。 Although the number of fatalities in traffic accidents has been decreasing in recent years, the number of accidents has remained at a high level. There are various causes of accidents, but driving a vehicle while the driver's arousal level is reduced is one of the causes of accidents.
そこで、ドライバーの覚醒度が低下した場合に、警報を発令することで、交通事故を未然に回避するための装置が種々提案されている(例えば特許文献1参照)。特許文献1に開示された装置は、ドライバーの顔の画像に基づいて、ドライバーの眼の開度を算出する。そして、算出した眼の開度が閾値以下である状態が継続した場合に、ドライバーが居眠りしていると判定し、警報を発令する。
Thus, various devices have been proposed for avoiding traffic accidents by issuing a warning when the driver's arousal level is reduced (see, for example, Patent Document 1). The apparatus disclosed in
ドライバーが居眠りしているときには、ドライバーの眼の開度が閾値以下となることが多いのは統計的な事実である。しかしながら、眼の開度が閾値以下であっても、ドライバーは、運転に支障がない程度に覚醒している場合がある。このような場合に、ドライバーに対して警報が発令されると、ドライバーが不快感を覚え、運転に対する注意力が散漫になることが考えられる。 It is a statistical fact that the driver's eye opening often falls below a threshold when the driver is asleep. However, even if the opening degree of the eye is less than or equal to the threshold value, the driver may be awake to an extent that does not hinder driving. In such a case, if an alarm is issued to the driver, the driver may feel uncomfortable and distract from the driver's attention.
また、ドライバーの眼が大きく開いている場合であっても、ドライバーの覚醒度が低下していることがある。このような場合には、ドライバーの眼の開度以外の情報に基づいて、ドライバーの状態を判定する必要がある。 Even when the driver's eyes are wide open, the driver's arousal level may be reduced. In such a case, it is necessary to determine the state of the driver based on information other than the eye opening of the driver.
本発明は、上述の事情の下になされたもので、ドライバーの覚醒度の低下を正確に検出することを目的とする。 The present invention has been made under the above-described circumstances, and an object thereof is to accurately detect a decrease in a driver's arousal level.
上記目的を達成するために、本発明の第1の観点に係る覚醒度判定装置は、
ドライバーの顔を撮影することにより得られる画像に基づいて、前記ドライバーの右眼の視線と左眼の視線とによって規定される角度を算出する角度算出手段と、
算出された前記角度の標準偏差を算出する標準偏差算出手段と、
前記標準偏差が閾値以上の場合に、前記ドライバーの覚醒度が低下していると判定する判定手段と、
を備える。
In order to achieve the above object, a wakefulness level determination device according to a first aspect of the present invention includes:
An angle calculating means for calculating an angle defined by the right eye line of sight and the left eye line of sight based on an image obtained by photographing the face of the driver;
A standard deviation calculating means for calculating a standard deviation of the calculated angle;
When the standard deviation is greater than or equal to a threshold value, a determination unit that determines that the driver's arousal level is reduced;
Is provided.
前記角度は、前記右眼の視線と前記左眼の視線とによって規定される輻輳角であることとしてもよい。 The angle may be a convergence angle defined by the line of sight of the right eye and the line of sight of the left eye.
前記角度は、水平面と前記右眼の視線とのなす角と、水平面と前記左眼の視線とのなす角との差であることとしてもよい。 The angle may be a difference between an angle formed by a horizontal plane and the line of sight of the right eye and an angle formed by a horizontal plane and the line of sight of the left eye.
前記判定手段は、
前記標準偏差が閾値未満のときには、算出された角度が所定の範囲にない場合に、前記ドライバーの覚醒度が低下していると判定することとしてもよい。
The determination means includes
When the standard deviation is less than the threshold value, it may be determined that the driver's arousal level is lowered when the calculated angle is not within a predetermined range.
本発明の第2の観点に係る覚醒度判定方法は、
ドライバーの顔を撮影することにより得られる画像に基づいて、前記ドライバーの右眼の視線と左眼の視線とによって規定される角度を算出する角度算出手段によって、前記角度を算出する工程と、
算出された前記角度の標準偏差を算出する標準偏差算出手段によって、前記標準偏差を算出する工程と、
前記標準偏差が閾値以上の場合に、前記ドライバーの覚醒度が低下していると判定する判定手段によって、判定する工程と、
を含む。
The arousal level determination method according to the second aspect of the present invention includes:
A step of calculating the angle by an angle calculating means for calculating an angle defined by a gaze of the right eye and a gaze of the left eye of the driver based on an image obtained by photographing the driver's face;
A step of calculating the standard deviation by a standard deviation calculating means for calculating a standard deviation of the calculated angle;
When the standard deviation is greater than or equal to a threshold value , a step of determining by the determination unit that determines that the driver's arousal level is reduced;
including.
本発明の第3の観点に係るプログラムは、
コンピュータに、
ドライバーの顔を撮影することにより得られる画像に基づいて、前記ドライバーの右眼の視線と左眼の視線とによって規定される角度を算出する角度算出手段によって、前記角度を算出する手順と、
算出された前記角度の標準偏差を算出する標準偏差算出手段によって、前記標準偏差を算出する手順と、
前記標準偏差が閾値以上の場合に、前記ドライバーの覚醒度が低下していると判定する判定手段によって、判定する手順と、
を実行させる。
The program according to the third aspect of the present invention is:
On the computer,
A procedure for calculating the angle by an angle calculation means for calculating an angle defined by the right eye line of sight and the left eye line of sight based on an image obtained by photographing the driver's face;
A step of calculating the standard deviation by a standard deviation calculating means for calculating a standard deviation of the calculated angle;
When the standard deviation is greater than or equal to a threshold value , a procedure for determining by the determining means that determines that the driver's arousal level has decreased; and
Is executed.
本発明によれば、車両を運転するドライバーの顔が写る画像に基づいて、前記ドライバーの両眼の視線のなす角度が順次算出される。そして、算出された視線のなす角度の標準偏差に基づいて、ドライバーの覚醒度が低下した状態であるか否かが判定される。このため、眼の開度とドライバーの覚醒度とに相関がない場合であっても、ドライバーの覚醒度の低下を正確に検出することができる。 According to the present invention, the angle formed by the lines of sight of the eyes of the driver is sequentially calculated based on the image of the face of the driver driving the vehicle. Then, based on the calculated standard deviation of the angle formed by the line of sight, it is determined whether or not the driver's arousal level is reduced. For this reason, even if there is no correlation between the opening degree of the eye and the driver's arousal level, it is possible to accurately detect a decrease in the driver's arousal level.
《第1の実施形態》
以下、本発明の第1の実施形態を、図面を参照しつつ説明する。図1は本実施形態に係る覚醒度判定装置10の概略的な構成を示すブロック図である。覚醒度判定装置10は、車両を運転するドライバーの覚醒度が低下しているか否かを判定する装置である。この覚醒度判定装置10は、図1に示されるように、演算装置20、及び撮影装置30を有している。
<< First Embodiment >>
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of a
図2は、撮影装置30の配置を示す図である。図2に示されるように、撮影装置30は、車両のステアリング62を支持するステアリングコラム、或いはダッシュボード等に取り付けられている。この撮影装置30は、フレームレートが約30のビデオカメラである。そして、シート61に着座するドライバー50の顔を撮影することにより取得した画像を電気信号に変換して、演算装置20へ順次出力する。
FIG. 2 is a diagram illustrating the arrangement of the
図3には、撮影装置30によって撮影された画像IMが示されている。画像IMを参照するとわかるように、撮影装置30によって撮影された画像には、そのほぼ中心にシート61に着座したドライバー50の顔が写りこむ。ここで、説明の便宜上、画像IMの左下のコーナーを原点とするXY座標系を定義し、以下、適宜XY座標系を用いた説明を行う。
In FIG. 3, an image IM photographed by the photographing
図1に戻り、演算装置20は、CPU(Central Processing Unit)21、主記憶部22、補助記憶部23、表示部24、入力部25、及びインターフェイス部26を有するコンピュータである。
Returning to FIG. 1, the
CPU21は、補助記憶部23に記憶されたプログラムを読み出して実行する。CPU21の具体的な動作については後述する。
The
主記憶部22は、RAM(Random Access Memory)等の揮発性メモリを有している。主記憶部22は、CPU21の作業領域として用いられる。
The
補助記憶部23は、ROM(Read Only Memory)、磁気ディスク、半導体メモリ等の不揮発性メモリを有している。補助記憶部23は、CPU21が実行するプログラム、及び各種パラメータなどを記憶している。また、撮影装置30から出力される画像に関する情報、及びCPU21による処理結果などを含む情報を順次記憶する。
The
表示部24は、LCD(Liquid Crystal Display)などの表示ユニットを有している。表示部24は、CPU21の処理結果等を表示する。
The
入力部25は、入力キーや、タッチパネル等のポインティングデバイスを有している。オペレータの指示は、入力部25を介して入力され、システムバス27を経由してCPU21へ通知される。
The
インターフェイス部26は、シリアルインターフェイス、パラレルインタフェース、LAN(Local Area Network)インターフェイス等を含んで構成されている。撮影装置30は、インターフェイス部26を介してシステムバス27に接続される。
The
図4のフローチャートは、CPU21によって実行されるプログラムの一連の処理アルゴリズムに対応している。以下、図4を参照しつつ、覚醒度判定装置10の動作について説明する。図4のフローチャートに示される一連の処理は、車両のイグニッションスイッチがオンになると実行される。
The flowchart of FIG. 4 corresponds to a series of processing algorithms of a program executed by the
まず、最初のステップS201では、CPU21は、ドライバー50に遠方の目視を指示する。この指示は、例えば表示部24に、遠方の目視を促すためのテキストを表示するか、或いは音声を出力することによって行われる。
First, in the first step S201, the
次のステップS202では、CPU21は、ドライバー50が遠方を目視していることを前提として、ドライバー50の視線によって規定される輻輳角を算出するための第1基準値を計測する。
In the next step S202, the
図5は画像IMに写ったドライバー50の両眼の画像を示す図である。CPU21は、例えばパターンマッチングや、画像上の特徴点の分布に基づく推定方法を実行して、画像IMに含まれるドライバー50の右眼51の画像と、左眼52の画像を特定する。そして、右眼51の画像における目頭から瞳51aまでのX軸方向の距離X1を計測する。この距離は、例えば、右眼51の目頭を構成する画素と、瞳51aを構成する画素の間に存在する画素の数で表すことができる。同様に、CPU21は、左眼52の画像における目頭から瞳52aまでの距離X2を計測する。
FIG. 5 is a diagram showing images of both eyes of the
CPU21は、距離X1,X2をそれぞれ計測すると、以降この距離X1,X2を基準値として用いて、ドライバー50の両眼の視線によって規定される輻輳角を算出する。
After measuring the distances X1 and X2, the
次のステップS203では、CPU21は、ドライバー50が遠方を目視していることを前提として、ドライバー50の両眼51,52の俯角を算出するための第2基準値を計測する。
In the next step S203, the
CPU21は、例えば、右眼51の画像における目頭から瞳51aまでのY軸方向の距離Y1と、左眼52の画像における目頭から瞳52aまでのY軸方向の距離Y2とを計測する。そして、CPU21は、距離Y1,Y2をそれぞれ計測すると、以降この距離Y1,Y2を基準値として用いて、ドライバー50の右眼51及び左眼52の俯角を算出する。
For example, the
次のステップS204では、CPU21は、ドライバー50の両眼の視線の向きを測定する。具体的には、CPU21は、撮影装置30によって撮影された最新の画像から、ドライバー50の眼の画像を抽出する。そして、ステップS203での処理と同様の処理を実行することで、右眼51の画像における目頭から瞳51aまでのY軸方向の距離YY1と、左眼52の画像における目頭から瞳52aまでのY軸方向の距離YY2とを計測する。
In the next step S204, the
次のステップS205では、CPU21は、ドライバー50が車外前方を見ているか否かを判定する。上述したように、ステップS203での処理は、ドライバー50が車外前方を目視していることが前提として行われている。そこで、CPU21は、ステップS202で算出された第2基準値としての距離Y1,Y2と、ステップS204で計測した距離YY1,YY2とを比較する。
In the next step S205, the
そして、CPU21は、距離Y1と距離YY1との差、又は距離Y2と距離YY2との差が、所定の閾値以上である場合に、ドライバー50は車外前方を目視していないと判定する(ステップS205;No)。一方、CPU21は、距離Y1と距離YY1との差、及び距離Y2と距離YY2との差それぞれが、所定の閾値未満である場合に、ドライバー50は車外前方を目視していると判定する(ステップS205:Yes)。
Then, when the difference between the distance Y1 and the distance YY1 or the difference between the distance Y2 and the distance YY2 is equal to or greater than a predetermined threshold, the
ステップS205での判定が否定された場合には、CPU21は、ステップS204に戻り、ステップS205での判定が肯定されるまで、ステップS204及びステップS205の処理を繰り返し実行する。ステップS205での判定が肯定されると、CPU21は、ステップS206へ移行する。
If the determination in step S205 is negative, the
ステップS206では、CPU21は、ドライバー50の視線によって規定される輻輳角を算出する。具体的には、CPU21は、撮影装置30によって撮影された最新の画像から、ドライバー50の眼51,52の画像を抽出する。次に、ステップS202での処理と同様の処理を実行することで、右眼51の画像における目頭から瞳51aまでのX軸方向の距離XX1と、左眼52の画像における目頭から瞳52aまでのX軸方向の距離XX2とを計測する。そして、距離X1,X2と、距離XX1,XX2とからドライバー50の両眼の視線によって規定される輻輳角を算出する。
In step S <b> 206, the
例えば図6には、ドライバー50が無限遠を目視しているときの両眼51,52の瞳51a,52aが破線で示され、無限遠の手前に位置する注視点を目視しているときの両眼51,52の瞳51a,52aが実線で示されている。無限遠を目視するドライバー50が、無限遠よりも近くに位置する注視点を目視した場合には、図6に示されるように、ドライバー50の右眼51の瞳51aは、図中に破線で示される位置から実線で示される位置まで、+X方向へ移動する。同時に、左眼52の瞳52aは、図中の破線で示される位置から実線で示される位置まで、−X方向へ移動する。このため、距離XX1は、距離X1よりも小さくなり、距離XX2は、距離X2よりも小さくなる。
For example, in FIG. 6, the
そこで、CPU21は、無限遠を目視したときの右眼51の視線と、左眼52の視線とがほぼ平行であることを前提として、距離X1,X2と、距離XX1,XX2との相違に基づいて、右眼51の視線と、左眼52の視線によって規定される輻輳角を算出する。
Therefore, the
図7に示される直線LH11は、ドライバー50が遠方を目視しているときの右眼51の視線を示し、直線LH21は、左眼52の視線を示している。そして、直線LH12は、ドライバー50が、注視点を目視しているときの右眼51の視線を示し、直線LH22は、左眼52の視線を示している。また、直線LH11と直線LH21は平行である。
A straight line LH1 1 shown in FIG. 7 indicates the line of sight of the
図7を参照するとわかるように、直線LH12と直線LH22とによって規定される輻輳角θhは、直線LH11と直線LH12とによって規定される角度θh1と、直線LH21と直線LH22とによって規定される角度θh2とを足し合わせたものである。そこで、CPU21は、まず距離X1と距離XX1との差に基づいて、角度θh1を算出する。例えば、角度θh1は、眼球の半径をrとすると次式を用いておおよそ算出することができる。
As seen with reference to FIG. 7, the convergence angle [theta] h which is defined by a straight line LH1 2 and the straight line LH2 2 is an angle [theta] h 1 defined by a straight line LH1 1 and the straight line LH1 2, straight lines LH2 1 and the straight line LH2 2 And an angle θh 2 defined by the above. Therefore, the
次に、CPU21は、同様の手順で角度θh2を算出すると、角度θh1とθh2とを足し合わせて輻輳角θhを算出する。
Next, when calculating the angle θh 2 in the same procedure, the
次のステップS207では、CPU21は、所定の時間ごとに、輻輳角θhの標準偏差を算出する。例えばCPU21は、過去1秒間に撮影された画像に基づいて算出された輻輳角の標準偏差を算出する。本実施形態に係る撮影装置30のフレームレートは約30である。このため、CPU21によって、最新の画像を含む30枚の画像に基づいて算出された輻輳角θhについての標準偏差が算出される。なお、図4に示される処理が開始されてから、1秒を経過していない場合には、CPU21は、既に算出された輻輳角θhについての標準偏差を算出する。
In the next step S207, the
次のステップS208では、算出した標準偏差が閾値以上であるか否かを判定する。図8は、覚醒度の低下が認められた後の輻輳角θhの時間的な変化を示す図である。また、図9は、輻輳角θhに関する標準偏差の時間的な変化を示す図である。輻輳角θhは、ドライバーの覚醒度が高い場合には、変動が少なく0度近傍に落ち着く。しかしながら、図8に示されるように、輻輳角θhは、ドライバーの覚醒度が低下し、前方の注視が困難な状態になるにつれて、0度から大きくはずれるようになる。この場合には、輻輳角θhの標準偏差も、輻輳角θhの変動にシンクロして大きくなる。そこで、CPU21は、算出した標準偏差が、閾値N1を超えた場合に(ステップS208:Yes)、ドライバー50の覚醒度が低下していると判定し、ステップS210へ移行する。
In the next step S208, it is determined whether or not the calculated standard deviation is greater than or equal to a threshold value. FIG. 8 is a diagram illustrating a temporal change in the convergence angle θh after the reduction in the arousal level is recognized. FIG. 9 is a diagram showing a temporal change in the standard deviation regarding the convergence angle θh. When the driver's arousal level is high, the convergence angle θh varies little and settles near 0 degrees. However, as shown in FIG. 8, the convergence angle θh deviates greatly from 0 degrees as the driver's arousal level decreases and the forward gaze becomes difficult. In this case, the standard deviation of the convergence angle θh also increases in synchronization with the fluctuation of the convergence angle θh. Therefore, when the calculated standard deviation exceeds the threshold value N1 (step S208: Yes), the
ステップS210では、CPU21は、警報を発令する。警報の発令は、例えば、表示部24に、覚醒度低下を示すテキストを表示するか、或いはアラーム音や音声を用いてドライバー50に警告を発することが考えられる。また、CPU21は、覚醒度低下を示す信号を外部へ出力することとしてもよい。
In step S210, the
一方、ステップS208において、算出した標準偏差が、閾値以下である場合には(ステップS208:No)、CPU21は、ステップS209へ移行する。
On the other hand, when the calculated standard deviation is equal to or smaller than the threshold value in step S208 (step S208: No), the
ステップS209では、CPU21は、ステップS206で算出した輻輳角θhが、適正範囲に有るか否かを判定する。ドライバーの覚醒度が低下し、前方の注視が困難な状態になるにつれて、輻輳角θhが0度から大きくはずれるようになるのは先に述べたとおりである。そこで、図8を参照するとわかるように、CPU21は、輻輳角θhが零より小さい値a1から、零より大きい値a2までの範囲に含まれるか否かを判定する。そして、CPU21は、輻輳角が、値a1以上で値a2以下である場合に(ステップS209:No)は、ステップS204へ戻り、以下、ステップS209での判定が肯定されるまで、ステップS204〜ステップS209までの処理を繰り返し実行する。
In step S209, the
一方、ステップS209において、輻輳角θhが値a1未満、或いは値a2より大きい場合には(ステップS209:Yes)、CPU21は、ステップS210へ移行し、警報を発令する。
On the other hand, if the convergence angle θh is less than the value a1 or greater than the value a2 in step S209 (step S209: Yes), the
CPU21は、ステップS210の処理が終了すると、ステップS204へ戻り、以降は、イグニッションスイッチがオフになるまで、ステップS204〜S210までの処理を繰り返し実行する。
When the process of step S210 is completed, the
以上説明したように、本実施形態では、車両を運転するドライバー50の顔が写る画像に基づいて、前記ドライバー50の両眼51,52の視線によって規定される輻輳角θhが順次算出される。そして、算出された輻輳角θhの標準偏差に基づいて、ドライバー50の覚醒度が低下した状態であるか否かが判定される(ステップS208)。このため、ドライバー50の眼51,52の開度と覚醒度との間に相関がない場合であっても、ドライバー50の覚醒度の低下を正確に検出することができる。これにより、正確に、ドライバー50に警報を発令することが可能となる。
As described above, in the present embodiment, the convergence angle θh defined by the line of sight of the
また、輻輳角θhの標準偏差が閾値以下である場合には、更に輻輳角θhそれ自体が、一定の範囲にあるか否かが判定される。そして、この判定結果に基づいて、ドライバー50の覚醒度が低下しているか否かが判定される。このため、ドライバー50の眼51,52の開度と覚醒度との間に相関がない場合であっても、同様にドライバー50の覚醒度の低下を正確に検出することができる。
When the standard deviation of the convergence angle θh is equal to or smaller than the threshold value, it is further determined whether or not the convergence angle θh itself is in a certain range. Then, based on this determination result, it is determined whether or not the awakening level of the
ドライバーの覚醒度が低下すると、右眼51の向きと、左眼52の向きが相関なく変動する。このため、ドライバー50は、前方を走行する車両等の対象物を注視することができなくなる。この場合には、図7における角度θh1の値と、角度θh2の値とがかけ離れることとなる。本実施形態では、角度θh1と角度θh2との和として算出される輻輳角θhの標準偏差に基づいて、ドライバー50の覚醒度の低下が検出される。したがって、覚醒度の低下に起因する視線のばらつきに基づいて、ドライバー50の覚醒度の低下を正確に検出することが可能となる。
When the driver's arousal level decreases, the direction of the
なお、本実施形態では、ドライバー50が車外を目視している場合にのみ輻輳角を算出した(ステップS205,S206)。この輻輳角は、視線を車外から車内の計器等へ移動したときや、車外をぼんやり見ていた状態から、ある対象物に注意を向けたとき等にも大きく変化する。この場合には、輻輳角は比較的急峻に変化する。そこで、輻輳角が比較的緩やかに変化するときにのみ輻輳角の標準偏差を算出し、この標準偏差に基づいて、ドライバーの覚醒度を評価することとしてもよい。
In the present embodiment, the convergence angle is calculated only when the
《第2の実施形態》
次に、本発明の第2の実施形態について説明する。なお、第1の実施形態と同一又は同等の構成については、同等の符号を用いる。
<< Second Embodiment >>
Next, a second embodiment of the present invention will be described. In addition, about the structure which is the same as that of 1st Embodiment, or equivalent, an equivalent code | symbol is used.
本実施形態に係る覚醒度判定装置10は、ドライバー50の視線によって規定される輻輳角ではなくて、ドライバー50の眼51,52の俯角に基づいて、覚醒度の低下を判定する点で、第1の実施形態に係る覚醒度判定装置10と相違している。
The arousal
以下、第2の実施形態に係る覚醒度判定装置10の動作について、図10を参照しつつ説明する。図10のフローチャートは、CPU21によって実行されるプログラムの一連の処理アルゴリズムに対応している。
Hereinafter, the operation of the arousal
ステップS201〜ステップS205では、CPU21は、上述した第1の実施形態での処理と同様の処理を実行する。
In step S201 to step S205, the
ステップS306では、CPU21は、ドライバー50の眼51,52の俯角を算出する。具体的には、CPU21は、撮影装置30によって撮影された最新の画像から、ドライバー50の眼51,52の画像を抽出する。そして、ステップS203での処理と同様の処理を実行することで、右眼51の画像における目頭から瞳51aまでのY軸方向の距離YY1と、左眼52の画像における目頭から瞳52aまでのY軸方向の距離YY2とを計測する。そして、距離Y1,Y2と、距離YY1,YY2とからドライバー50の眼51,52の俯角をそれぞれ算出する。
In step S306, the
例えば図11には、ドライバー50が無限遠を注視し、視線がほぼ水平であるときの両眼51,52の瞳51a,52aが破線で示され、ドライバー50が、例えば計器を視認するために視線を下方に移動させたときの両眼51,52の瞳51a,52aが実線で示されている。ドライバー50が視線を下方へ移動させた場合には、図11に示されるように、ドライバー50の両眼51,52の瞳51a,52aは、図中に破線で示される位置から実線で示される位置まで、−Y方向へ移動する。このため、距離YY1は、距離Y1よりも小さくなり、距離YY2は、距離Y2よりも小さくなる。
For example, FIG. 11 shows the
そこで、CPU21は、無限遠を目視したときには視線がほぼ水平であることを前提として、距離Y1,Y2と、距離YY1,YY2との相違に基づいて、右眼51及び右眼52の俯角をそれぞれ算出する。
Therefore, the
図12に示される直線LV11は、ドライバー50が遠方を目視しているときの右眼51の視線を示している。そして、直線LV12は、ドライバー50が、下方を目視しているときの右眼51の視線を示している。CPU21は、距離Y1と距離YY1との差に基づいて、俯角θv1を算出する。例えば、俯角θv1は、眼球の半径をrとすると次式を用いておおよそ算出することができる。
Straight LV1 1 shown in FIG. 12 shows the line of sight of the
また、図13に示される直線LV21は、ドライバー50が遠方を目視しているときの左眼52の視線を示している。そして、直線LV22は、ドライバー50が、下方を目視しているときの左眼52の視線を示している。CPU21は、距離Y2と距離YY2との差に基づいて、同様に俯角θv2を算出する。
A straight line LV2 1 shown in FIG. 13 shows the line of sight of the
次のステップS307では、CPU21は、所定の時間ごとに、右眼51の俯角θv1と、左眼52の俯角θv2との差角θv(=θv1−θv2)の標準偏差を算出する。例えばCPU21は、過去1秒間に撮影された画像に基づいて算出された差角θvの標準偏差を算出する。本実施形態に係る撮影装置30のフレームレートは約30である。このため、CPU21によって、最新の画像を含む30枚の画像に基づいて算出された差角θvについての標準偏差が算出される。なお、図4に示される処理が開始されてから、1秒を経過していない場合には、CPU21は、既に算出された差角θvについての標準偏差を算出する。
In the next step S307, the
次のステップS308では、算出した標準偏差が閾値以上であるか否かを判定する。図14は、覚醒度の低下が認められた後の差角θvの時間的な変化を示す図である。また、図15は、差角θvに関する標準偏差の時間的な変化を示す図である。ドライバー50の覚醒度が高い場合には、一般に右眼51の俯角と、左眼52の俯角とがほぼ一致する。このため、両眼の俯角の差である差角θvは、ドライバーの覚醒度が高い場合には、変動が少なく0度近傍に落ち着く。しかしながら、図14に示されるように、差角θvは、ドライバーの覚醒度が低下し、前方の注視が困難な状態になるにつれて、0度から大きくはずれるようになる。この場合には、差角θvの標準偏差も、差角θvの変動にシンクロして大きくなる。そこで、CPU21は、算出した標準偏差が、閾値N2を超えた場合に(ステップS308:Yes)、ドライバー50の覚醒度が低下していると判定し、ステップS210へ移行する。
In the next step S308, it is determined whether or not the calculated standard deviation is greater than or equal to a threshold value. FIG. 14 is a diagram illustrating a temporal change in the difference angle θv after the decrease in the arousal level is recognized. FIG. 15 is a diagram showing a temporal change in the standard deviation regarding the difference angle θv. When the driver's 50 awakening level is high, the depression angle of the
一方、ステップS308において、算出した標準偏差が、閾値以下である場合には(ステップS308:No)、CPU21は、ステップS309へ移行する。
On the other hand, when the calculated standard deviation is equal to or smaller than the threshold value in step S308 (step S308: No), the
ステップS309では、CPU21は、ステップS307で算出した差角θvが、適正範囲に有るか否かを判定する。ドライバーの覚醒度が低下し、前方の注視が困難な状態になるにつれて、差角θvが0度から大きくはずれるようになるのは先に述べたとおりである。そこで、図14を参照するとわかるように、CPU21は、差角θvが零より小さい値b1から、零より大きい値b2までの範囲に含まれるか否かを判定する。そして、CPU21は、差角θvが、値b1以上で値b2以下である場合に(ステップS309:No)は、ステップS204へ戻り、以下、ステップS309での判定が否定されるまで、ステップS204〜ステップS309までの処理を繰り返し実行する。
In step S309, the
一方、ステップS309において、差角θvが値a1未満、或いは値a2より大きい場合には(ステップS309:Yes)、CPU21は、ステップS210へ移行し、警報を発令する。
On the other hand, when the difference angle θv is less than the value a1 or greater than the value a2 in step S309 (step S309: Yes), the
CPU21は、ステップS210の処理が終了すると、ステップS204へ戻り、イグニッションスイッチがオフになるまで、ステップS204以降の処理を繰り返し実行する。
When the process of step S210 is completed, the
以上説明したように、本実施形態では、車両を運転するドライバー50の顔が写る画像に基づいて、前記ドライバー50の右眼51の俯角θv1と、左眼52の俯角θv2との差角θvが順次算出される。そして、算出された差角θvの標準偏差に基づいて、ドライバー50の覚醒度が低下した状態であるか否かが判定される(ステップS308)。このため、ドライバー50の眼51,52の開度と覚醒度との間に相関がない場合であっても、ドライバー50の覚醒度の低下を正確に検出することができる。これにより、正確に、ドライバー50に警報を発令することが可能となる。
As described above, in the present embodiment, the difference angle between the depression angle θv 1 of the
また、差角θvの標準偏差が閾値以下である場合には、更に差角θvそれ自体が、一定の範囲にあるか否かが判定される。そして、この判定結果に基づいて、ドライバー50の覚醒度が低下しているか否かが判定される。このため、ドライバー50の眼51,52の開度と覚醒度との間に相関がない場合であっても、同様にドライバー50の覚醒度の低下を正確に検出することができる。
If the standard deviation of the difference angle θv is less than or equal to the threshold value, it is further determined whether or not the difference angle θv itself is within a certain range. Then, based on this determination result, it is determined whether or not the awakening level of the
ドライバー50の覚醒度が低下すると、右眼51の向きと、左眼52の向きが相関なく変動する。このため、ドライバー50は、前方を走行する車両等の対象物を注視することができなくなる。例えば、この場合には、図12における俯角θv1と、図13における俯角θv2との値がかけ離れることとなる。本実施形態では、俯角θv1と俯角θv2との差として算出される差角θvの標準偏差に基づいて、ドライバー50の覚醒度の低下が検出される。したがって、覚醒度低下に起因する視線のばらつきに基づいて、ドライバー50の覚醒度の低下を正確に検出することができる。
When the awakening level of the
なお、本実施形態では、右眼51の俯角と左眼52の俯角との差(差角θv)に基づいて、ドライバー50の覚醒度を評価する。このため、必ずしも無限遠を目視したときの視線を基準にして、右眼51の俯角及び左眼52の俯角を算出しなくてもよい。例えば、計器を目視したときの視線に基づいて、右眼51の俯角及び左眼52の俯角との差を算出することとしてもよい。
In the present embodiment, the arousal level of the
《第3の実施形態》
次に、本発明の第3の実施形態について説明する。なお、上記実施形態と同一又は同等の構成については、同等の符号を用いる。
<< Third Embodiment >>
Next, a third embodiment of the present invention will be described. In addition, about the structure which is the same as that of the said embodiment, or equivalent, an equivalent code | symbol is used.
本実施形態に係る覚醒度判定装置10Aは、演算装置20がハードウェアによって構成されている点で、上記実施形態に係る覚醒度判定装置10と相違している。
The arousal
図16は、ハードウェアによって構成された覚醒度判定装置10Aのブロック図である。図10に示されるように、覚醒度判定装置10Aを構成する演算装置20は、記憶部20a、基準値計測部20b、目視方向特定部20c、輻輳角算出部20d、標準偏差算出部20e、判定部20f、及び警報発令部20gを備えている。
FIG. 16 is a block diagram of the arousal
記憶部20aは、撮影装置30から出力される画像に関する情報、及び上記各部20b〜20fの処理結果などを含む情報を順次記憶する。
The
基準値計測部20bは、ドライバー50が遠方を目視していることを前提として、ドライバー50の視線によって規定される輻輳角や、ドライバー50の両眼51,52の俯角を算出するための基準値X1,X2,Y1,Y2を計測する。
The reference
目視方向特定部20cは、ドライバー50の両眼51,52の向きを測定する。具体的には、CPU21は、撮影装置30によって撮影された最新の画像から、ドライバー50の眼51,52の画像を抽出する。そして、右眼51の画像における目頭から瞳51aまでのY軸方向の距離YY1と、左眼52の画像における目頭から瞳52aまでのY軸方向の距離YY2とを計測する。
The visual
そして、目視方向特定部20cは、距離Y1,Y2と、計測した距離YY1,YY2とを比較し、距離Y1と距離YY1との差、又は距離Y2と距離YY2との差が、所定の閾値未満である場合に、ドライバー50は車外前方を目視していると判定する。
Then, the visual
輻輳角算出部20dは、ドライバー50が車外前方を目視していると判定された場合に、ドライバー50の視線によって規定される輻輳角を算出する。具体的には、CPU21は、撮影装置30によって撮影された最新の画像から、ドライバー50の眼の画像を抽出する。次に、右眼51の画像における目頭から瞳51aまでのX軸方向の距離XX1と、左眼52の画像における目頭から瞳52aまでのX軸方向の距離XX2とを計測する。そして、距離X1,X2と、距離XX1,XX2とからドライバー50の両眼の視線によって規定される輻輳角θhを算出する。
The convergence
標準偏差算出部20eは、輻輳角θhの標準偏差を算出する。例えば標準偏差算出部20eは、過去1秒間に撮影された画像に基づいて算出された輻輳角θhの標準偏差を算出する。本実施形態に係る撮影装置30のフレームレートは約30である。このため、CPU21によって、最新の画像を含む30枚の画像に基づいて算出された輻輳角θhについての標準偏差が算出される。
The standard deviation calculator 20e calculates a standard deviation of the convergence angle θh. For example, the standard deviation calculation unit 20e calculates a standard deviation of the convergence angle θh calculated based on images taken in the past one second. The frame rate of the photographing
判定部20fは、算出された標準偏差が、閾値N1を超えた場合に、ドライバー50の覚醒度が低下していると判定し、判定結果を警報発令部20gへ通知する。また、判定部20fは、算出された標準偏差が、閾値N1を超えていない場合であっても、輻輳角θhが適正範囲にない場合には、ドライバー50の覚醒度が低下していると判定し、判定結果を警報発令部20gへ通知する。
When the calculated standard deviation exceeds the threshold value N1, the determination unit 20f determines that the arousal level of the
警報発令部20gは、判定部20fから判定結果が通知されると、ドライバー50に警報を発令する。この警報の発令は、例えば、不図示の液晶モニタ等に、覚醒度低下を示すテキストを表示するか、或いはアラーム音や音声を用いてドライバー50に警告を発することが考えられる。また、CPU21は、覚醒度低下を示す信号を外部へ出力することとしてもよい。
The warning issuing unit 20g issues a warning to the
以上説明したように、本実施形態では、算出された輻輳角θhの標準偏差に基づいて、車両を運転するドライバー50の覚醒度が低下した状態であるか否かが判定される。このため、ドライバー50の眼51,52の開度と覚醒度との間に相関がない場合であっても、ドライバー50の覚醒度の低下を正確に検出することができる。これにより、正確に、ドライバー50に警報を発令することが可能となる。
As described above, in the present embodiment, it is determined based on the calculated standard deviation of the convergence angle θh whether or not the awakening level of the
以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。例えば、上記実施形態では、目頭と瞳との距離に基づいて、輻輳角及び俯角を算出した。これに限らず、下瞼と瞳との距離に基づいて、輻輳角及び俯角を算出してもよい。その他、輻輳角及び俯角を算出する方法として、種々の公知技術を用いることが考えられる。 As mentioned above, although embodiment of this invention was described, this invention is not limited by the said embodiment. For example, in the above embodiment, the convergence angle and the depression angle are calculated based on the distance between the eyes and the pupil. Not limited to this, the convergence angle and the depression angle may be calculated based on the distance between the lower eyelid and the pupil. In addition, as a method for calculating the convergence angle and the depression angle, various known techniques may be used.
また、上記実施形態では、CPU21が補助記憶部に記憶されたプログラムを実行することにより、図4或いは図10に示される一連の処理が実行される。これに限らず、演算装置20の一部又は全部を、ハードウェアによって構成してもよい。
Moreover, in the said embodiment, when CPU21 runs the program memorize | stored in the auxiliary memory part, a series of processes shown by FIG. 4 or FIG. 10 are performed. However, the present invention is not limited to this, and part or all of the
また、演算装置20の補助記憶部23に記憶されているプログラムは、フレキシブルディスク、CD−ROM(Compact Disk Read-Only Memory)、DVD(Digital Versatile Disk)、MO(Magneto-Optical disk)等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。
The programs stored in the
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するようにしても良い。 Further, the program may be stored in a disk device or the like included in a predetermined server device on a communication network such as the Internet, and may be downloaded onto a computer by being superimposed on a carrier wave, for example.
なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。 It should be noted that the present invention can be variously modified and modified without departing from the broad spirit and scope of the present invention. Further, the above-described embodiment is for explaining the present invention, and does not limit the scope of the present invention.
本発明の覚醒度判定装置、覚醒度判定方法及びプログラムは、ドライバーの覚醒度の低下を検出するのに適している。 The arousal level determination device, the arousal level determination method, and the program according to the present invention are suitable for detecting a decrease in a driver's arousal level.
10,10A 覚醒度判定装置
20 演算装置
20a 記憶部
20b 基準値計測部
20c 目視方向特定部
20d 輻輳角算出部
20e 標準偏差算出部
20f 判定部
20g 警報発令部
21 CPU
22 主記憶部
23 補助記憶部
24 表示部
25 入力部
26 インターフェイス部
27 システムバス
30 撮影装置
50 ドライバー
51 右眼
52 左眼
51a,52a 瞳
61 シート
62 ステアリング
IM 画像
10, 10A Arousal
DESCRIPTION OF
Claims (6)
算出された前記角度の標準偏差を算出する標準偏差算出手段と、
前記標準偏差が閾値以上の場合に、前記ドライバーの覚醒度が低下していると判定する判定手段と、
を備える覚醒度判定装置。 An angle calculating means for calculating an angle defined by the right eye line of sight and the left eye line of sight based on an image obtained by photographing the face of the driver;
A standard deviation calculating means for calculating a standard deviation of the calculated angle;
When the standard deviation is greater than or equal to a threshold value, a determination unit that determines that the driver's arousal level is reduced;
A wakefulness determination device comprising:
前記標準偏差が閾値未満のときには、算出された角度が所定の範囲にない場合に、前記ドライバーの覚醒度が低下していると判定する請求項1乃至3のいずれか一項に記載の覚醒度判定装置。 The determination means includes
The arousal level according to any one of claims 1 to 3, wherein when the standard deviation is less than a threshold value, it is determined that the awakening level of the driver is lowered when the calculated angle is not within a predetermined range. Judgment device.
算出された前記角度の標準偏差を算出する標準偏差算出手段によって、前記標準偏差を算出する工程と、
前記標準偏差が閾値以上の場合に、前記ドライバーの覚醒度が低下していると判定する判定手段によって、判定する工程と、
を含む覚醒度判定方法。 A step of calculating the angle by an angle calculating means for calculating an angle defined by a gaze of the right eye and a gaze of the left eye of the driver based on an image obtained by photographing the driver's face;
A step of calculating the standard deviation by a standard deviation calculating means for calculating a standard deviation of the calculated angle;
When the standard deviation is greater than or equal to a threshold value , a step of determining by the determination unit that determines that the driver's arousal level is reduced;
Awakening degree determination method including:
ドライバーの顔を撮影することにより得られる画像に基づいて、前記ドライバーの右眼の視線と左眼の視線とによって規定される角度を算出する角度算出手段によって、前記角度を算出する手順と、
算出された前記角度の標準偏差を算出する標準偏差算出手段によって、前記標準偏差を算出する手順と、
前記標準偏差が閾値以上の場合に、前記ドライバーの覚醒度が低下していると判定する判定手段によって、判定する手順と、
を実行させるためのプログラム。 On the computer,
A procedure for calculating the angle by an angle calculation means for calculating an angle defined by the right eye line of sight and the left eye line of sight based on an image obtained by photographing the driver's face;
A step of calculating the standard deviation by a standard deviation calculating means for calculating a standard deviation of the calculated angle;
When the standard deviation is greater than or equal to a threshold value , a procedure for determining by the determining means that determines that the driver's arousal level has decreased; and
A program for running
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010260660A JP5644414B2 (en) | 2010-11-22 | 2010-11-22 | Awakening level determination device, awakening level determination method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010260660A JP5644414B2 (en) | 2010-11-22 | 2010-11-22 | Awakening level determination device, awakening level determination method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012113450A JP2012113450A (en) | 2012-06-14 |
JP5644414B2 true JP5644414B2 (en) | 2014-12-24 |
Family
ID=46497614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010260660A Expired - Fee Related JP5644414B2 (en) | 2010-11-22 | 2010-11-22 | Awakening level determination device, awakening level determination method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5644414B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6047318B2 (en) * | 2012-07-06 | 2016-12-21 | 矢崎総業株式会社 | Driver state detection device and driver state notification device |
US9298994B2 (en) * | 2014-01-09 | 2016-03-29 | Harman International Industries, Inc. | Detecting visual inattention based on eye convergence |
KR101570870B1 (en) | 2014-06-03 | 2015-11-23 | (주)스마트웨어 | System for estimating difficulty level of video using video watching history based on eyeball recognition |
JP7068647B2 (en) * | 2017-03-07 | 2022-05-17 | マツダ株式会社 | Driving support device |
JP2019017800A (en) | 2017-07-19 | 2019-02-07 | 富士通株式会社 | Computer program, information processing device, and information processing method |
CN109969195B (en) * | 2019-03-25 | 2024-02-27 | 陕西科技大学 | Driver facial behavior abnormality alarm system and method and vehicle based on system and method |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11227489A (en) * | 1998-02-16 | 1999-08-24 | Isuzu Motors Ltd | Critical operation judging device for vehicle |
JP2002254956A (en) * | 2001-03-02 | 2002-09-11 | Toyota Industries Corp | Device for detecting falling-off awakened condition |
JP2006151287A (en) * | 2004-11-30 | 2006-06-15 | Nissan Motor Co Ltd | Illumination device for vehicle |
JP4760113B2 (en) * | 2005-04-27 | 2011-08-31 | トヨタ自動車株式会社 | Driver state estimation device |
JP4647387B2 (en) * | 2005-05-10 | 2011-03-09 | 富士重工業株式会社 | Vehicle driving support device |
JP4793269B2 (en) * | 2007-01-09 | 2011-10-12 | 株式会社デンソー | Sleepiness detection device |
JP5210773B2 (en) * | 2008-09-16 | 2013-06-12 | トヨタ自動車株式会社 | Sleepiness determination apparatus and program |
-
2010
- 2010-11-22 JP JP2010260660A patent/JP5644414B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012113450A (en) | 2012-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6343808B2 (en) | Visual field calculation device and visual field calculation method | |
JP6394281B2 (en) | In-vehicle alert system, alarm control device | |
JP5644414B2 (en) | Awakening level determination device, awakening level determination method, and program | |
JP6497915B2 (en) | Driving support system | |
JP4926437B2 (en) | Vehicle driving support device | |
JP4277081B2 (en) | Driving assistance device | |
JP5092776B2 (en) | Gaze direction detection device and gaze direction detection method | |
JP2010018201A (en) | Driver assistant device, driver assistant method, and driver assistant processing program | |
JP2017111469A (en) | Road sign visual recognition determination system, road sign visual recognition determination method, and program | |
CN107527000B (en) | Apparatus and method for monitoring driver concentration using eye tracking | |
JPWO2011118393A1 (en) | Awakening level determination device, awakening level determination method, and program | |
EP3575929B1 (en) | Eye tracking application in virtual reality and augmented reality | |
WO2012140782A1 (en) | Eyelid-detection device, eyelid-detection method, and program | |
JP2017027180A (en) | Vehicle control device and vehicle control method | |
JP2008079737A (en) | Concentration degree evaluating apparatus and display device for vehicle equipped with the same | |
US11427206B2 (en) | Vehicle operation assistance device, vehicle operation assistance method, and program | |
JP2015085719A (en) | Gazing object estimation device | |
JP2016062330A (en) | Hyperprosexia state determination device and hyperprosexia state determination program | |
JP7058800B2 (en) | Display control device, display control method, and display control program | |
JP4173083B2 (en) | Arousal state determination device and arousal state determination method | |
JP2018101212A (en) | On-vehicle device and method for calculating degree of face directed to front side | |
JP2011159214A (en) | Action detection device | |
US11276378B2 (en) | Vehicle operation system and computer readable non-transitory storage medium | |
JP2017191367A (en) | Safe driving support device and safe driving support program | |
JP2007280203A (en) | Information presenting device, automobile and information presenting method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131010 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140617 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140618 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140807 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141007 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141020 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5644414 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |