JP4788786B2 - 眠気検出装置,プログラムおよび眠気検出方法 - Google Patents

眠気検出装置,プログラムおよび眠気検出方法 Download PDF

Info

Publication number
JP4788786B2
JP4788786B2 JP2009027186A JP2009027186A JP4788786B2 JP 4788786 B2 JP4788786 B2 JP 4788786B2 JP 2009027186 A JP2009027186 A JP 2009027186A JP 2009027186 A JP2009027186 A JP 2009027186A JP 4788786 B2 JP4788786 B2 JP 4788786B2
Authority
JP
Japan
Prior art keywords
drowsiness
eyebrow
drowsiness detection
eyebrows
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009027186A
Other languages
English (en)
Other versions
JP2010179034A (ja
Inventor
健二 石田
知理 蜂須賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2009027186A priority Critical patent/JP4788786B2/ja
Priority to US12/654,976 priority patent/US8433095B2/en
Publication of JP2010179034A publication Critical patent/JP2010179034A/ja
Application granted granted Critical
Publication of JP4788786B2 publication Critical patent/JP4788786B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/56Heating or ventilating devices
    • B60N2/5607Heating or ventilating devices characterised by convection
    • B60N2/5621Heating or ventilating devices characterised by convection by air
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/56Heating or ventilating devices
    • B60N2/5607Heating or ventilating devices characterised by convection
    • B60N2/5621Heating or ventilating devices characterised by convection by air
    • B60N2/5657Heating or ventilating devices characterised by convection by air blown towards the seat surface
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/56Heating or ventilating devices
    • B60N2/5607Heating or ventilating devices characterised by convection
    • B60N2/5621Heating or ventilating devices characterised by convection by air
    • B60N2/5671Heating or ventilating devices characterised by convection by air forming a windbreak, e.g. warm air blown on the neck of the passenger of an open vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Description

本発明は、対象者の眠気を検出する眠気検出装置,プログラムおよび眠気検出方法に関する。
従来、車両の運転者の居眠り運転を防止するため、運転者の眠気を検出するための技術が多数提案されている。例えば、車両内に搭載したカメラで運転者の顔を撮影し、得られた画像を処理して眠気を検出する装置が提案されている(特許文献1参照)。
この装置は、目の開度および眉の上がり具合を判定する。眠気が亢進すると徐々に目が閉じるため、目の開度を測定することで眠気を検出できる。また、運転中など、眠気に抵抗する必要がある場合には、目を開けようと眠気に抵抗して眉が上がるため、眉の上がり具合を測定することで眠気を検出することができる。
特開2008−220424号公報
眠気に抵抗したときの眉の上がり方には個人差があり、眉頭のみが上がる人や、眉尻のみが上がる人などが存在する。そのため、眉上がりを検出するために例えば眉の左右の中心点のみを測定すると、眉頭のみや眉尻のみが上がる人の眉上がりを検出できないということが起こりうる。
よって、従来のように単一の位置のみを測定して眉上がりを判定すると、対象者によっては眉上がりを感度よく検知できず、眠気の検出精度が低くなってしまうという問題があった。
本発明は、このような問題に鑑みてなされたものであり、高い精度で眠気の検出を行うことができる眠気検出装置、プログラムおよび眠気検出方法を提供することを目的とする。
上述した問題を解決するためになされた請求項1に記載の発明は、眉位置測定手段と、眠気検出手段とを備える眠気検出装置である。
眉位置測定手段は、眉の左右方向に間隔を開けて2つ以上設定されている測定点の位置を測定する。なお、左右どちらか一方の眉において2つ以上の測定点が設定されていてもよいし、両方の眉それぞれにおいて2つ以上の測定点が設定されていてもよい。眠気検出手段は、2つ以上の測定点のうち、少なくともいずれか1つの測定点が上下方向に移動したこと基づいて眠気を検出する。
よって、このように構成された眠気検出装置であれば、眉の上下方向の移動を眉における複数の測定点において測定することができる。そのため、対象者の眉が眠気に抵抗して上下方向に移動したときに、その眉上がりを感度よく検知できるため、高い精度で眠気の検出を行うことができるようになる。
このように構成された眠気検出装置であれば、眠気を検出する対象者の眉が、眠気の抵抗に伴って眉の一部分しか上下に移動しない場合であっても、1つの測定点が上下に移動するだけで眠気の検出を行うことができるため、高い精度で眠気の検出を行うことができるようになる。
ところで、眠気の亢進に伴って眉は上下方向に移動するが、より具体的には、眠気が発生すると目が閉じるため、その目を開けようと抵抗することで眉が上がり、さらに眠気が亢進すると、目を開けようとする抵抗がなくなり、再び眉が元の位置に下がる。つまり、眉は眠気が発生すると必ず一旦上がるため、眉上がりを検出することで、眠気を確実に検出することができる。
そこで、請求項6に記載のように、測定点が上方向に移動したことに基づいて眠気を検出するように構成してもよい。
このように構成された眠気検出装置であれば、眉が上がったときに眠気を検出するため、眠気を確実に検出することができる。
請求項に記載の発明は、請求項1から請求項のいずれかに記載の眠気検出装置において、覚醒時に測定された測定点の位置と、眠気を検出すべきタイミングで測定された測定点の位置と、を比較することで、測定点の上下方向の移動を検出することを特徴とする。
このように構成された眠気検出装置であれば、覚醒している状態における眉の位置と比較して眉の移動を判断することができるため、眠気に抵抗して眉が移動したことを正しく検出することができる。
眉に設定される測定点は、左右方向に間隔を開けて設定されていればよい。例えば、請求項に記載の眠気検出装置のように、測定点が、眉の眉頭,眉尻,および左右方向に関して眉頭と眉尻の略中央に位置する点,の3箇所に設定してもよい。
眉の上下方向の動作は主に前頭筋によって行われる。眉頭、眉尻、それらの中央の3点に測定点を設定することで、前頭筋の内側、中央、外側の動きを測定することができるため、多くの眉上がりのパターンに対応することができる。
請求項に記載の発明は、請求項1に記載の眠気検出装置において、眠気検出手段が、予め設定され、測定点の上下方向の移動に伴って移動しない基準点または基準線を基準として、測定点の位置の移動を検出することを特徴とする。
このように構成された眠気検出装置であれば、眉上がりを基準点または基準線に基づいて検出できるので、より高精度に眠気を検出することができる。
なお、基準点を基準として測定点の上下方向の移動を検出する方法としては、基準点と測定点との間の距離を測定する方法や、基準点および測定点の位置座標を求め、y軸方向(上下方向)の距離の差を算出する方法などが考えられる。また、基準線を基準として測定点の上下方向の移動を検出する方法としては、基準線と測定点との間の距離を測定する方法や、基準線と測定点のy軸方向の距離を測定する方法などが考えられる。
なお、ここでいう基準点、基準線とは、例えば、請求項に記載の眠気検出装置のように、基準線を目頭と目尻とを結ぶ直線とし、基準点を目頭,目尻,および鼻孔のうち、少なくとも1つ以上の位置する点とすることが考えられる。
このように構成された眠気検出装置であれば、目頭,目尻,および鼻孔を基準として眉の位置を測定することができる。目頭,目尻,および鼻孔は、眠気によって表情が変化してもその顔面上の位置が変化しにくい。そのため、それらの位置を基準とすることで、眉の位置を正しく測定することができる。
請求項に記載の眠気検出装置は、請求項1に記載の眠気検出装置であって、眠気検出手段が、目頭,目尻,鼻孔のうち1つ以上と、2つ以上の測定点と、を頂点とする多角形の面積に基づいて、多角形の頂点となった測定点のうち少なくともいずれか1つが上下方向に移動したことを検出することを特徴とする。
目頭、目尻、鼻孔は、上述したように顔面上の位置が変化しにくい。よって、それらの点と2つ以上の測定点とを頂点とした多角形の面積の変化は測定点の移動によって生じる。よって、このように構成された眠気検出装置であれば、多角形の面積を計測することで、眉の上下方向の移動を検出することができ、それにより眠気を検出することができる。なお、多角形の面積は眉が上がれば増大し、眉が下がれば減少する。
請求項に記載の眠気検出装置は、請求項1に眠気検出装置であって、眠気検出手段が、少なくとも、目の上端点と、2つ以上の測定点と、を頂点とする多角形の面積に基づいて、その多角形の頂点となった測定点のうち少なくともいずれか1つが上下方向に移動したことを検出することを特徴とする。
眠気が発生すると、目の開度が小さくなるため、目の上端点は下がり、その結果上述した多角形の面積は大きくなる。眠気が亢進すると、眉が上がるため、上述した多角形の面積は大きくなる。したがって、上述した多角形の面積を測定することで、眠気を検出することができる。
ところで、眉における測定点、目頭、目尻、および鼻孔の位置を測定する具体的な方法については特に限定されない。例えば、電極を顔面に貼り付け、顔の筋肉が動くときにその力の大きさに比例して発生する微弱な電気を検出して眉の移動を検出することが考えられる。
また、上述したもの以外には、請求項に記載の眠気検出装置のように、顔画像を示す画像データに基づいて、測定点の位置を測定するように構成してもよいし、請求項10に記載の眠気検出装置のように、顔画像を示す画像データに基づいて、測定点の位置と、目頭,目尻,鼻孔のうち、いずれか1つ以上の位置と、を測定するように構成してもよい。また、請求項11に記載の眠気検出装置のように、顔画像を示す画像データに基づいて、測定点の位置と、目の上端点の位置と、を測定するように構成してもよい。
このように構成された眠気検出装置であれば、撮影手段により撮影された顔画像を示す画像データに基づいて、眠気を検出することができる。よって、眉の移動を検出するための電極などを、眠気を検出する対象者に直接取り付けることなく、簡便に眠気を検出することができる。
また、請求項から請求項11のいずれかに記載した眠気検出装置は、請求項12に記載した眠気検出装置のように、顔画像を示す画像データを生成する撮影手段を備えた車両に搭載されて用いられる構成であってもよい。
このような眠気検出装置であれば、車両に搭載して用いることができるので、車両の運転者等の乗員を対象として眠気を検出することができる。なお、眠気の検出結果に応じて運転者の居眠りを防止する動作を行う装置を車両に備え、その装置と連携することで、運転者の居眠りを防止することができる。例えば、上記眠気検出装置をカーナビゲーションシステムと連携して、眠気の検出結果に応じた画面表示および音声出力をすることが考えられる。
また、請求項13に記載のプログラムは、請求項1から12のいずれかに記載の眉位置測定手段および眠気検出手段として機能させるための処理手順を、コンピュータシステムに実行させるためのプログラムである。
このようなプログラムにより制御されるコンピュータシステムは、請求項1から請求項12のいずれかに記載の眠気検出装置の一部を構成することができる。
なお、上述したプログラムは、コンピュータシステムによる処理に適した命令の順番付けられた列からなるものであって、各種記録媒体や通信回線を介して眠気検出装置や、これを利用するユーザに提供されるものである。
また、請求項14に記載の眠気検出方法は、少なくとも左右いずれか一方の眉において、左右方向に所定の間隔を開けて2つ以上設定された測定点の位置を測定し、測定した2つ以上の測定点のうち、少なくともいずれか1つの前記測定点が上下方向に移動したこと基づいて眠気を検出する眠気検出方法である。
このような方法により眠気の検出を行う場合、請求項1から請求項12のいずれかに記載の眠気検出装置と同様の作用,効果を得ることができる。
居眠り防止システムを示す側面図 眠気検出装置を示すブロック図 実施例1および実施例2の覚醒時データ収集処理の手順を示すフローチャート 位置情報検出の方法を示す図 実施例1の眉上がりの測定方法を示す図 実施例1および実施例2の眠気検出処理の手順を示すフローチャート 履歴フラグを示す図 実施例2の眉上がりの測定方法を示す図 実施例3の覚醒時データ収集処理の手順を示すフローチャート 実施例3の眉上がりの測定方法を示す図 実施例3の眠気検出処理の手順を示すフローチャート 眠気レベルと上まぶた面積および目の開度との関係を示すグラフ 実施例4の覚醒時データ収集処理の手順を示すフローチャート 実施例4にて測定する顔上の点および面積計算方法を示す図 実施例4の眠気検出処理の手順を示すフローチャート 前頭筋の各部位を示す図 トラッキングタスク画面を示す図 前頭筋の各部位の筋活動を示すグラフ
[実施例1]
(1.1)全体構成
実施例1における居眠り防止システム1は、車両2に搭載されて用いられるものであり、図1に示すように、運転者3の顔画像を撮影する撮影装置10と、顔画像に基づいて眠気を検出する眠気検出装置20と、眠気が検出された際に居眠り運転による事故防止のための動作を行う複数の装置(警報装置30,首元空調アクチュエータ40,および香り成分発生装置50)と、から構成される。
これらのうち、撮影装置10は、車両2における運転者3の正面方向にて運転者3に向けて配置されており、運転者3の正面の顔画像を撮影するように構成されている。
また、眠気検出装置20は、図2に示すように、制御部21,受信部22,入力部23,記憶部24,出力部25,などを備えている。
この眠気検出装置20の制御部21は、記憶部24に記憶されているプログラムに従って、眠気検出装置20全体を制御する。
また、この制御部21は、撮影装置10により撮影された顔画像を示す画像データを受信部22より受信する毎に、内蔵するメモリにその画像データを記憶させる。その後、その画像データに基づいて、後述する覚醒時データ収集処理,眠気検出処理を行う。
入力部23は、運転者3からの外部操作による指令を入力するための各種操作ボタンを備えており、運転者3の覚醒時における眉位置の情報を取得するための後述する覚醒時データ収集処理を開始するための入力操作を行なうことができる。
記憶部24は、データを記憶する記憶領域として、制御部21を制御するプログラム用の記憶領域、後述する各種データ、各種フラグを記憶するための記憶領域などを有している。
出力部25は、制御部21が実行する眠気検出処理において眠気が検出された際に、警報装置30,首元空調アクチュエータ40,および香り成分発生装置50に対し、以下に記す居眠り防止の動作をさせる。
上述した装置のうち、警報装置30は、ディスプレイおよびスピーカを備えている。この警報装置30は、制御部21により眠気が検出されたときに、運転者3に居眠り運転の注意を促す表示(例えば、「早めに休憩を取りましょう」、「運転を中止してください」など)をディスプレイに表示すると共に、上述した表示内容をスピーカにて音声で出力する。
また、首元空調アクチュエータ40は、運転者3のシートにおけるヘッドレストに配置されており、制御部21により眠気が検出されたときに、運転者3の首元に送風する。
また、香り成分発生装置50は、制御部21により眠気が検出されたときに、覚醒効果を有する香りを車内に発生させる。
なお、眠気を検出したときには、上述した各装置以外に、シートベルトを引き込んだり振動させたりする装置や、自動的にブレーキを作動させる装置などを作動させることとしてもよい。
(1.2)制御部21による処理
実施例1における居眠り防止システム1の制御部21により実行される各種処理について説明する。
(1.2.1)覚醒時データ収集処理
以下に、制御部21による覚醒時データ収集処理の処理手順を、図3に基づいて説明する。この覚醒時データ収集処理は、入力部23に備えられた操作ボタンにより本処理を開始する操作が入力されたときに開始され、覚醒状態における眉位置の情報を取得する。
この覚醒時データ収集処理では、まず変数iを1に設定する(S1)。
次に、撮影装置10により撮影された顔画像を示す画像データに基づき、この画像データに示される顔画像における眉と目における複数の部位,および鼻孔の位置を示す位置情報を検出する(S2)。ここでは、まず、撮影装置10により運転者3の顔画像を撮影する。その顔画像を示す画像データに基づき、図4(a)に示すように、画像データを黒色部分と白色部分とに分ける2値化処理を行う。具体的には、例えば、特願平03−220633号に記載されている技術を用いるとよい。
上述した2値化処理の後、図4(b)に示すように、上記画像データに示される画像をx−y平面で表した場合の(x,y)座標として、左目頭(x1,y1),左目尻(x2,y2),左眉頭(x3、y3),左眉中央(x4,y4),左眉尻(x5,y5),右目頭(x6,y6),右目尻(x7,y7),右眉頭(x8、y8),右眉中央(x9,y9),右眉尻(x10,y10),左鼻孔(x11,y11),右鼻孔(x12,y12)の各座標を検出する。具体的には、例えば、特願平08−101904号に記載されている技術を応用するとよい。なお、上述した左眉中央は、左右方向に関して左眉頭と左眉尻との中央に位置する。右眉中央に関しても同様に左右方向に関して右眉頭と右眉尻との中央に位置する。
次に、S2による検出結果に基づいて、眉の上がり具合を示す数値L1〜L3,R1〜R3(図5参照)を算出する(S3)。
上述したL1は、顔画像における左目頭(x1,y1)と左目尻(x2,y2)とを結ぶ直線Aと、左眉頭(x3、y3)との顔画像上の距離をd1としたとき、次に示す式で計算される。
L1=d1/{(x1−x6)2+(y1−y6)20.5
上式のうち、「{(x1−x6)2+(y1−y6)20.5」は、左右の目頭間の距離を表す。通常、左右の目頭間は、表情の変化に伴う距離の変化が小さい。そこで、距離d1を左右の目頭間の距離で除して基準化することで、左右の目頭間の距離を基準とした相対的な値を得ることができる。
これにより、撮影装置10と運転者3の頭部との距離の変化による影響を受けなくなるため、運転者3の位置が前後に移動することによって顔画像上の距離に与える影響を無くすことができる。なお、これは以下に示すL2〜R3においても同様である。
またL2は、直線Aと左眉中央(x4,y4)との顔画像上の距離をd2としたとき、次に示す式で計算される。
L2=d2/{(x1−x6)2+(y1−y6)20.5
また、L3は、直線Aと左眉尻(x5,y5)との顔画像上の距離をd3としたとき、次に示す式で計算される。
L3=d3/{(x1−x6)2+(y1−y6)20.5
また、R1は、顔画像における右目頭(x6,y6)と右目尻(x7,y7)とを結ぶ直線Bと、右眉頭(x8、y8)との顔画像上の距離をd4としたとき、次に示す式で計算される。
R1=d4/{(x1−x6)2+(y1−y6)20.5
またR2は、直線Bと右眉中央(x9,y9)との顔画像上の距離をd5としたとき、次に示す式で計算される。
R2=d5/{(x1−x6)2+(y1−y6)20.5
また、R3は、直線Bと右眉尻(x10,y10)との顔画像上の距離をd6としたとき、次に示す式で計算される。
R3=d6/{(x1−x6)2+(y1−y6)20.5
そして、このように算出したL1〜L3,R1〜R3それぞれの値を記憶部24に記憶する。
次に、変数iをインクリメント(i=i+1)して(S4)、変数iが所定数m以下ならば(S5:YES)、処理がS2に戻る。一方、変数iが所定数m以下でなければ(S5:NO)、処理がS6に移行する。このとき記憶部24には、L1〜L3およびR1〜R3がそれぞれm個ずつ記憶されている。
次に、後述する眠気検出処理で用いられる眉上がり判定閾値L1a〜L3aおよびR1a〜R3aを算出する(S6)。
ここでは、まず、記憶部24に記憶されたm個のL1をすべて読み出す。そして、すべてのL1による度数分布に基づき、累積相対度数が最大値より5%に該当する値をL1aとして決定する。同様の手法により、L2,L3,R1〜R3に基づいてL2a,L3a,R1a〜R3aを決定する。決定した値は記憶部24に記憶し、記憶部24に記憶されていたL1〜L3およびR1〜R3をすべて削除する。
次に、眠気検出処理を開始し(S7)、その後、本処理を終了する。
(1.2.2)眠気検出処理
以下に、制御部21による眠気検出処理の処理手順を、図6に基づいて説明する。この眠気検出処理は、覚醒時データ収集処理のS7にて開始される。
この眠気検出処理では、まず、車両の運転が開始されるまで待機する(S21)。
車両の運転が開始されると、眉上がりフラグ(L1f,L2f,L3f,R1f,R2f,R3f)および履歴フラグ(F0〜Fn)を「0」に設定する(S22)。
次に、位置情報を検出し(S23)、検出した位置情報に基づいてL1〜L3およびR1〜R3を算出する(S24)。ここでは、図3のS2およびS3と同様の処理を行う。
次に、眉上がりフラグ設定を行う(S25)。上記S24にて算出したL1と、S6にて算出したL1aとを比較し、L1>L1aであれば、L1fを「1」に設定する。一方、L1>L1aでなければ、L1fを「0」に設定する。L2f,L3f,R1f〜R3fのフラグに関しても同様に、S24にて算出したL2,L3,R1〜R3と、図3のS6にて算出した閾値と比較し、閾値を超えて大きいものに対応するフラグは「1」を設定し、閾値以下のものに対応するフラグは「0」を設定する。
次に、履歴フラグを更新する(S26)。記憶部24には、図7(a)に示すように、F0からFnまでのn+1個のフラグを示すデータテーブルが形成されている。ここでは、Fi(i=0,1,2…n−1,n)に対応するフラグの情報を、図7(b)に示すようにFi-1にずらして設定する。このとき、F0に記憶されていたフラグの情報は削除し、Fnには新たに0を設定する。
次に、何れかの眉上がりフラグに「1」が設定されているか否かを判定する(S27)。ここでは、S25にて設定した眉上がりフラグL1f〜L3f,R1f〜R3fのうち、1つでも「1」に設定されているものがあれば(S27:YES)、Fn=1に設定する(S28)。一方、眉上がりフラグすべてが「0」に設定されていれば(S27:NO)、Fn=0に設定する(S29)。
次に、履歴フラグF0〜Fnまでのすべてが「1」であるか否かを判定する(S30)。履歴フラグのすべてが「1」である場合とは、n+1回以上連続で履歴フラグFnに「1」が設定された状態である。これにより、所定時間眉上がりが継続していることが分かる。この所定時間は、本処理のS23〜S33をループする時間とnの値により定まる。例えばループが1秒ごとに行われ、nの値が9であれば、n+1回履歴フラグFnに「1」が設定されるまで10秒間掛かるので、10秒間眉上がりが継続した場合に、履歴フラグF0〜Fnまでのすべてが「1」という状態になる。よって、上述したループの時間とnの値とを定めることで、上記所定時間を定めることができる。
履歴フラグF0〜Fnまでのすべてが「1」であれば(S30:YES)、つまり所定時間眉上がりが継続していれば、眠気を検出したものとして、眠気抑制制御を開始する(S31)。具体的には、警報装置30、首元空調アクチュエータ40、香り成分発生装置を作動させる信号を出力部25から出力する。なお、既に眠気抑制制御を開始している場合には、その制御を継続する。
また、F0〜Fnまでのいずれか1つでも「0」であれば(S30:NO)、眠気抑制制御を停止する(S32)。
次に、車両の運転が終了しているか否かを判定する(S33)。具体的には、シフトレバーがパーキングレンジに位置している場合や、イグニッションキーがアクセサリーに合わせてあり、エンジンがストップしている場合などに、車両の運転が終了していると判定する。運転が終了していれば(S33:YES)、処理がS21に戻る。一方、運転が終了していなければ(S33:NO)、処理がS23に戻る。
(1.3)効果
このように構成された居眠り防止システム1であれば、眉の位置を眉頭、眉尻、およびそれらの左右方向の中央の3点で測定しているため、眠気に抵抗したときの運転者3の眉上がりを高い精度で検出することができる。また、眠気を検出した際に眠気を抑制するための装置を作動させることができるため、居眠り運転による事故などを抑制することができるようになる。
また、眉上がりを覚醒している状態で測定した眉の高さと比較して検出するため、眠気に抵抗して眉が移動したことを正しく検出することができる。
また、眉上がりを、表情の変化によって位置が移動しにくい目頭と目尻とを結ぶ直線からの距離に基づいて測定しているため、眉の位置を正しく測定することができる。
また、眉上がりの測定を、車両2に搭載された撮影装置10が撮影した画像データを処理することで実現しているため、運転者3の顔面に、眉の動きを測定するための装置などを取り付ける必要がなく、簡便に眠気の検出を行うことができる。
[実施例2]
(2.1)全体構成
実施例2における居眠り防止システム1は、基本的に実施例1と同じ構成である。しかしながら、制御部21による処理が一部変更されている。
(2.2)制御部21による処理
以下に、制御部21により実行される各種処理について説明する。
(2.2.1)覚醒時データ収集処理
実施例2における覚醒時データ収集処理は、基本的に実施例1の覚醒時データ収集処理(図3)と同様であるが、S3における処理の内容が異なるのでその点のみを説明する。
本実施例では、図8に示すように、L1は、顔画像における左鼻孔(x11,y11)と左眉頭(x3、y3)との距離に基づく値であって、次の式で計算される。
L1={(x11−x3)2+(y11−y3)20.5/{(x1−x6)2+(y1−y6)20.5
上式のうち、「{(x1−x6)2+(y1−y6)20.5」は、左右の目頭間の距離を表しており、この値によって基準化することで、撮影装置10と運転者3の頭部との距離の変化による影響を受けなくなる。
またL2は、顔画像における左鼻孔(x11,y11)と左眉中央(x4,y4)との距離に基づく値であって、次の式で計算される。
L2={(x11−x4)2+(y11−y4)20.5/{(x1−x6)2+(y1−y6)20.5
またL3は、顔画像における左鼻孔(x11,y11)と左眉尻(x5,y5)との距離に基づく値であって、次の式で計算される。
L3={(x11−x5)2+(y11−y5)20.5/{(x1−x6)2+(y1−y6)20.5
またR1は、顔画像における右鼻孔(x12,y12)と右眉頭(x8、y8)との距離に基づく値であって、次の式で計算される。
R1={(x12−x8)2+(y12−y8)20.5/{(x1−x6)2+(y1−y6)20.5
またR2は、顔画像における右鼻孔(x12,y12)と右眉中央(x9,y9)との距離に基づく値であって、次の式で計算される。
R2={(x12−x9)2+(y12−y9)20.5/{(x1−x6)2+(y1−y6)20.5
またR3は、顔画像における右鼻孔(x12,y12)と右眉尻(x10,y10)との距離に基づく値であって、次の式で計算される。
R3={(x12−x10)2+(y12−y10)20.5/{(x1−x6)2+(y1−y6)20.5
以上の計算により算出されたL1〜L3およびR1〜R3を記憶部24に記憶させた後、処理がS4に移行する。
(2.2.2)眠気検出処理
実施例2における眠気検出処理は、基本的に実施例1の眠気検出処理(図6)と同様であるが、S24における処理の内容のみ、上記(2.2.1)にて説明したS3の処理と同様となる。
(2.3)効果
このように構成された居眠り防止システム1であれば、鼻孔の位置を基準として眉上がりを検出することができる。よって、サングラス使用中など、目頭や目尻の情報が使えない場合であっても、眠気を検出することができる。
なお、鼻孔以外の基準点(例えば、目頭や目尻)を基準として眉上がりを検出することとしてもよい。また、眉頭は目頭を基準とし、眉尻は目尻を基準とするなど、眉における測定点ごとに異なる基準点からの距離を測定することで眉上がりを検出することとしてもよい。
[実施例3]
(3.1)全体構成
実施例3における居眠り防止システム1は、基本的に実施例1と同じ構成である。しかしながら、制御部21による処理が一部変更されているため、変更された処理を以下に説明する。
(3.2)制御部21による処理
以下に、制御部21により実行される各種処理について説明する。この実施例3は、上述した実施例1および実施例2と異なり、眉上がりを検出するために眉上の複数の点と、顔面に設定された基準となる点とを頂点とする多角形の面積を求める。
(3.2.1)覚醒時データ収集処理
以下に、実施例3における覚醒時データ収集処理の処理手順を、図9に基づいて説明する。
この覚醒時データ収集処理において、S1、S2、S4、S5は実施例1の覚醒時データ収集処理と同様の処理であり、S3に代えてS41の処理を実行し、S6に代えてS42の処理を実行する。
まずS41について説明する。S2において画像データにおける各座標を検出した後、その検出結果に基づいて、SlおよびSrを算出する(S41)。
上述したSlは、図10に示すように、顔画像における左目頭(x1,y1),左目尻(x2,y2),左眉頭(x3、y3),左眉中央(x4,y4),左眉尻(x5,y5)の5点を頂点とする五角形の面積に基づく値であり、その五角形の顔画像上の面積をS1としたとき、次に示す式で計算される。
Sl=S1/(x1−x6)2+(y1−y6)2
上式のうち、「(x1−x6)2+(y1−y6)2」は、左右の目頭間の距離1辺とする面積であり、この値で基準化することにより、撮影装置10と運転者3の頭部との距離の変化による影響を受けなくなる。これは、下記Srについても同様である。
またSrは、顔画像における右目頭(x6,y6),右目尻(x7,y7),右眉頭(x8、y8),右眉中央(x9,y9),右眉尻(x10,y10)の5点を頂点とする五角形の面積に基づく値であり、その五角形の顔画像上の面積をS2としたとき、次に示す式で計算される。
Sr=S2/(x1−x6)2+(y1−y6)2
このようにSlおよびSrを算出し記憶部24に記憶させた後、処理がS4に移行する。
続いてS42について説明する。S5にて変数iが所定数m以下でなければ(S5:NO)、後述する眠気検出処理で用いられる眉上がり判定閾値SlaおよびSraを算出する(S42)。
ここでは、まず、記憶部24に記憶されたm個のSlをすべて読み出す。そして、すべてのSlによる度数分布に基づき、累積相対度数が最大値より5%に該当する値をSlaとして算出する。同様の手法により、Srに基づいてSraを算出する。そして算出したSla,Sraを記憶部24に記憶し、記憶部24に記憶されていたSlおよびSrをすべて削除する。その後、処理がS7に移行する。
(3.2.2)眠気検出処理
以下に、制御部21による眠気検出処理の処理手順を、図11に基づいて説明する。この眠気検出処理は、覚醒時データ収集処理のS7にて開始される。
この眠気検出処理では、まず、車両の運転が開始されるまで待機する(S51)。
車両の運転が開始されていれば、眉上がりフラグ(Lf,Rf)および履歴フラグ(F0〜Fn)を「0」に設定する(S52)。
次に、位置情報を検出し(S53)、検出した位置情報に基づいてSlおよびSrを算出する(S54)。ここでは、図9のS2およびS41と同様の処理を行う。
次に、眉上がりフラグ設定を行う(S55)。ここでは、上記S54にて算出したSlと図9のS42にて算出したSlaとを比較し、Sl>SlaであればLfを「1」に設定する。一方、上記Sl>Slaでなければ、Lfを「0」に設定する。同様に、Sr>SraであればRfを「1」に設定し、Sr>SraでなければRfを「0」に設定する。
次に、履歴フラグを更新する(S56)。ここでは図6のS26と同様の処理を行う。
次に、何れかの眉上がりフラグに「1」が設定されているか否かを判定する(S57)。ここでは、S55にて設定した眉上がりフラグLf,Rfのうち、1つでも「1」に設定されているものがあれば(S57:YES)、Fn=1に設定する(S58)。一方、眉上がりフラグすべてが「0」に設定されていれば(S57:NO)、Fn=0に設定する(S59)。
次に、履歴フラグF0〜Fnまでのすべてが「1」であるか否かを判定する(S60)。履歴フラグF0〜Fnまでのすべてが「1」であれば(S60:YES)、つまり所定時間眉上がりが継続していれば、眠気抑制制御を開始する(S61)。ここでは、図6のS31と同様の処理を行う。
また、F0〜Fnまでのいずれか1つでも「0」であれば(S60:NO)、眠気抑制制御を停止する(S62)。
次に、車両の運転が終了しているか否かを判定し(S63)、運転が終了していれば(S63:YES)、処理がS51に戻る。一方、運転が終了していなければ(S63:NO)、処理がS53に戻る。
(3.3)効果
このように構成された居眠り防止システム1であれば、目頭,目尻,眉頭,眉中央,眉尻の5点を頂点とする五角形の面積に基づいて眉上がりを検出することができる。なお、面積を測定する対象は上記五角形に限られず、例えば目頭,目尻の一方のみを用いて四角形を構成し、その面積を測定することとしてもよいし、目頭,目尻に鼻孔を加えた六角形の面積を測定することとしてもよい。
[実施例4]
(4.1)全体構成
実施例4における居眠り防止システム1は、基本的に実施例1と同じ構成である。しかしながら、制御部21による処理が一部変更されているため、変更された処理を以下に説明する。
(4.2)制御部21による処理
以下に、制御部21により実行される各種処理について説明する。この実施例4では、上まぶたの面積を測定することで、眠気の有無を検出する。従来、目の開度を測定し、目の開度が小さくなるときに「眠気あり」と判定することは提案されている。しかしながら、眠気に抵抗するために眉が上がると、一時的に目の開度が小さくなることが抑制されたり、目の開度が大きくなったりする(図12参照)。そのため、「眠気なし」と誤判定される虞がある。
そこで、本実施例では、上まぶたの面積を測定することで眠気を検出する。なお、上まぶたの面積とは、目の上端と眉との間の面積である。
(4.2.1)覚醒時データ収集処理
以下に、実施例4における覚醒時データ収集処理の処理手順を、図13に基づいて説明する。
この覚醒時データ収集処理において、S1,S4,S5,S7は実施例1の覚醒時データ収集処理と同様の処理であり、S2,S3,S6に代えて、S71,S72,S73の処理を実行する。
まずS71について説明する。ここでは、目および眉の位置を示す位置情報を検出する(S71)。具体的には、まず、撮影装置10により運転者3の顔画像を撮影する。その顔画像を示す画像データに基づき、図4(a)に示すように、画像データを黒色部分と白色部分とに分ける2値化処理を行う。
次に、図14(a)に示すように、上記画像データに示される画像をx−y平面で表した場合の(x,y)座標として、左目頭(x1,y1),左目尻(x2,y2),左目上端,(x3、y3),左眉頭(x4,y4),左眉中央(x5,y5),左眉尻(x6,y6),右目頭(x7,y7),右目尻(x8、y8),右目上端(x9,y9),右眉頭(x10,y10),右眉中央(x11,y11),右眉尻(x12,y12)の各座標を検出する。
なお、このS71では、AAM(Active Appearance Model)を用いて、1台のカメラで撮影した顔画像から上記各点の3次元座標を検出することとしてもよい。
次に、S71における検出結果に基づいて、LpおよびRpを算出する(S72)。ここでいうLpとは、図14(a)に示すように、顔画像における左目頭(x1,y1),左目尻(x2,y2),左目上端,(x3、y3),左眉頭(x4,y4),左眉中央(x5,y5),左眉尻(x6,y6)の6点を頂点とする六角形の面積に基づく値であり、その六角形の顔画像上の面積をS1としたとき、次に示す式で計算される。
Lp=S1/(x1−x7)2+(y1−y7)2
画像上の多角形の面積S1を求める手法は公知であるため、説明は割愛する。上式のうち、「(x1−x7)2+(y1−y7)2」は、左右の目頭間の距離1辺とする正方形の面積であり、この値で基準化することにより、撮影装置10と運転者3の頭部との距離の変化による影響を受けなくなる。これは、下記Rpについても同様である。
またRpは、顔画像における右目頭(x7,y7),右目尻(x8、y8),右目上端(x9,y9),右眉頭(x10,y10),右眉中央(x11,y11),右眉尻(x12,y12)の6点を頂点とする六角形の面積に基づく値であり、その六角形の顔画像上の面積をS2としたとき、次に示す式で計算される。
Rp=S2/(x1−x7)2+(y1−y7)2
このようにLpおよびRpを算出し記憶部24に記憶させた後、処理がS4に移行する。
なお、S71において顔上の各点を3次元座標として検出した場合には、図14(b)に示すように、六角形を複数の三角形に分割し、各三角形の面積をベクトルの外積により求め、各三角形の面積の和を六角形の面積として算出してもよい。この場合にも、左右の目頭間の3次元上の距離を一辺とする正方形の面積により基準化を行うとよい。
続いてS73について説明する。S5にて変数iが所定数m以下でなければ(S5:NO)、後述する眠気検出処理で用いられる眉上がり判定閾値LbおよびRbを算出する(S73)。
ここでは、まず、記憶部24に記憶されたm個のLpをすべて読み出す。そして、すべてのLpによる度数分布に基づき、累積相対度数が最大値より5%に該当する値をLbとして算出する。同様の手法により、Rpに基づいてRbを算出する。そして算出したLb,Rbを記憶部24に記憶し、記憶部24に記憶されていたLpおよびRpをすべて削除する。その後、処理がS7に移行する。
(4.2.2)眠気検出処理
以下に、制御部21による眠気検出処理の処理手順を、図15に基づいて説明する。この眠気検出処理は、覚醒時データ収集処理のS7にて開始される。
この眠気検出処理では、まず、車両の運転が開始されるまで待機する(S81)。
車両の運転が開始されていれば、眉上がりフラグ(Lf,Rf)および履歴フラグ(F0〜Fn)を「0」に設定する(S82)。
次に、位置情報を検出し(S83)、検出した位置情報に基づいてLpおよびRpを算出する(S84)。ここでは、図13のS71およびS72と同様の処理を行う。
次に、眉上がりフラグ設定を行う(S85)。ここでは、上記S84にて算出したLpと図12のS73にて算出したLbとを比較し、Lp>LbであればLfを「1」に設定する。一方、上記Lp>Lbでなければ、Lfを「0」に設定する。同様に、Rp>RbであればRfを「1」に設定し、Rp>RbでなければRfを「0」に設定する。
次に、履歴フラグを更新する(S86)。ここでは図6のS26と同様の処理を行う。
次に、何れかの眉上がりフラグに「1」が設定されているか否かを判定する(S87)。ここでは、S85にて設定した眉上がりフラグLf,Rfのうち、1つでも「1」に設定されているものがあれば(S87:YES)、Fn=1に設定する(S88)。一方、眉上がりフラグすべてが「0」に設定されていれば(S87:NO)、Fn=0に設定する(S89)。
次に、履歴フラグF0〜Fnまでのすべてが「1」であるか否かを判定する(S90)。履歴フラグF0〜Fnまでのすべてが「1」であれば(S90:YES)、つまり所定時間眉上がりが継続していれば、眠気抑制制御を開始する(S91)。ここでは、図6のS31と同様の処理を行う。
また、F0〜Fnまでのいずれか1つでも「0」であれば(S90:NO)、眠気抑制制御を停止する(S92)。
次に、車両の運転が終了しているか否かを判定し(S93)、運転が終了していれば(S93:YES)、処理がS81に戻る。一方、運転が終了していなければ(S93:NO)、処理がS83に戻る。
(4.3)効果
上まぶたの面積は、目の開度が小さくなったときと、眉が上がったときに大きくなる。つまり、上まぶたの面積が大きくなったことにより、目の開度が小さくなったこと、または眉が上がったことを検出することができる。
したがって、上記構成の居眠り防止システム1であれば、眠気が発生して目の開度が小さくなったことに加えて、眠気が亢進し、眠気に抵抗して眉が上がったことを確実に検出することができるため、目の開度のみを測定する場合よりも高精度に眠気を検出することができる。
従来のように目の開度のみを測定して眠気を検出する場合、運転者3が眠気を感じると目の開度が小さくなるが、さらに眠気が亢進して眉が上がると、目の開度は眉の上がりに引っ張られることにより小さくならないことがあるため、眉が上がるタイミングでは目の開度のみに着目していても眠気の亢進を検出することができない。しかしながら、上記構成の居眠り防止システム1ではそのような問題が発生せず都合がよい。
なお、面積を測定する対象は上記六角形に限られない。例えば、目上端の測定位置は左右の目それぞれにおいて1箇所ずつである構成を例示したが、左右方向に間隔を開けた複数の点の位置を測定し、その点を頂点とする多角形の面積を求める構成であってもよい。また、目頭および目尻の位置を測定しない構成であってもよい。例えば、目上端の点と眉上の測定点とから構成される多角形の面積を求める構成が考えられる。
[変形例]
以上、本発明の実施例について説明したが、本発明は、上記各実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。
例えば上記各実施例においては、眉上がりを検出したことによって眠気を検出する構成を例示したが、眉が下がったことを検出したときに眠気を検出する構成としてもよい。既に説明したように、眉上がりは眠気により目の開度が小さくなることに抵抗する行動であるが、さらに眠気が亢進すると眉が再び元の位置まで下がる。この状態を検出することで、より亢進した眠気を検出することができる。また、目の開度を測定し、目の開度と眉上がりとを組み合わせて眠気の程度を判定する構成としてもよい。
また、上記各実施例では、眉頭、眉尻、眉頭と眉尻の左右方向の中心の3点で眉の移動を測定する方法を例示したが、左右方向に間隔を開けて設定された点であれば、その他の位置にて測定してもよいし、3点でなくともよい。例えば、眉において左右方向に等間隔に配置された4点や5点で測定してもよい。
また、上記各実施例では、覚醒時データ収集処理により覚醒時の眉高さの基準となる値を算出し、その値を閾値として眉上がりを判定する構成を例示したが、例えばt検定などの他の判定方法を用いて眉上がりの判定を行ってもよい。
また、上記各実施例では、顔画像の画像処理により眉の移動を測定する方法を例示したが、顔面の筋電図を用いて眉の移動を測定してもよい。
また、上記各実施例では、左右両方の眉に対して眉の移動を測定する構成を例示したが、左右いずれか一方の眉の移動のみを測定する構成であってもよい。
[眉の上がる位置の個人差を確認する試験]
以下に、眉の上がる位置の個人差を確認する試験を説明する。
(1)概要
本試験では、対象者に高速運転を模擬した眠くなりやすい単調なタスクを行わせ、眠気を評定すると共に前頭筋(内側・中央・外側)(図16参照)の筋電位を計測した。被験者は男女7名である。
(2)タスク
被験者に、2本のS字カーブのちょうど中央をポイントが通過するようにステアリングを操作するトラッキングタスクを行わせた(図17参照)。
(3)眠気の評定
上記タスクを行っている対象者の表情を覚醒時の表情と比較し、5秒毎に以下の6のレベルに分けて評定した。評定者は5〜7名で、代表値は全評定者の平均値とした。
眠気のレベルは、全く眠くなさそうな状態をレベル0,やや眠そうな状態をレベル1,眠そうな状態をレベル2,かなり眠そうな状態をレベル3,非常に眠そうな状態をレベル4,眠っている状態をレベル5とした。
なお、より具体的な眠気の評定方法は、下記の論文に記載の方法に準じたものである。
北島洋樹ほか:自動車運転時の眠気の予測手法についての研究(第1報),日本機械学会論文集(C編),Vol.63,No.613,p93‐100(1997)
(4)解析・結果
眠気に対する抵抗が生じる眠気レベル3(かなり眠そう)のときの筋電位を解析した。筋電位1サンプル(5秒間)ごとにRMS値を算出し、10サンプルのRMS値の平均値を算出した。そして筋電位測定のための電極装着状態(装着位置・電極と皮膚間の抵抗値等)による相違や個人差を排除するために、上述した平均値のRMSを無表情時(覚醒時)のRMS値で基準化した基準化RMSを算出した。
基準化RMS=レベル3の平均値RMS/無表情時のRMS
図18に、レベル3における前頭筋の筋活動を表すグラフを示す。縦軸は基準化RMSの値であり、横軸は前頭筋の部位を示す。基準化RMSの値が1である場合には、無表情時(覚醒時)と比較して前頭筋が収縮も弛緩もせず筋電位が変化していないこととなり、無表情時(覚醒時)と眉が同じ位置であるといえる。そして、基準化RMSの値が大きいほど筋肉が収縮して眉が上がっていることとなる。
図14のグラフを見ると、7名全員とも前頭筋の何れかの部位が収縮しているため、眉のいずれかの部分が上昇していることが分かった。
また、その上がり方には個人差があることが確認できることから、眉における単一の位置のみを測定する方法では、眉上がりが正確に測定できないことが分かった。
1…居眠り防止システム、2…車両、3…運転者、10…撮影装置、20…眠気検出装置、21…制御部、22…受信部、23…入力部、24…記憶部、25…出力部、30…警報装置、40…首元空調アクチュエータ、50…香り成分発生装置

Claims (14)

  1. 少なくとも左右いずれか一方の眉において、左右方向に所定の間隔を開けて2つ以上設定された測定点の位置を測定する眉位置測定手段と、
    前記眉位置測定手段が測定した前記2つ以上の測定点のうち、少なくともいずれか1つの前記測定点が上下方向に移動したことに基づいて眠気を検出する眠気検出手段と、を備える
    ことを特徴とする眠気検出装置。
  2. 前記眠気検出手段は、目頭,目尻,鼻孔のうち1つ以上と、2つ以上の前記測定点と、を頂点とする多角形の面積に基づいて、前記多角形の頂点となった測定点のうち少なくともいずれか1つが上下方向に移動したことを検出する
    ことを特徴とする請求項1に記載の眠気検出装置。
  3. 前記眠気検出手段は、少なくとも、目の上端点と、2つ以上の前記測定点と、を頂点とする多角形の面積に基づいて、前記多角形の頂点となった測定点のうち少なくともいずれか1つが上下方向に移動したことを検出する
    ことを特徴とする請求項1に記載の眠気検出装置。
  4. 前記眠気検出手段は、前記測定点の上下方向の移動に伴って移動しない予め設定された基準点または基準線を基準として、前記測定点の位置の上下方向の移動を検出する
    ことを特徴とする請求項1に記載の眠気検出装置。
  5. 前記基準線は、目頭と目尻とを結ぶ直線であり、
    前記基準点は、目頭,目尻,および鼻孔のうち、少なくとも1つ以上の位置する点である
    ことを特徴とする請求項4に記載の眠気検出装置。
  6. 前記眠気検出手段は前記測定点が上方向に移動したことに基づいて眠気を検出する
    ことを特徴とする請求項1から請求項5のいずれか1項に記載の眠気検出装置。
  7. 前記眠気検出手段は、覚醒時に測定された前記測定点の位置と、眠気を検出すべきタイミングで測定された前記測定点の位置と、を比較することで前記測定点の上下方向の移動を検出する
    ことを特徴とする請求項1から請求項のいずれか1項に記載の眠気検出装置。
  8. 前記測定点は、前記眉の眉頭と、眉尻と、左右方向に関して前記眉頭および前記眉尻の略中央に位置する点と、の3箇所に設定される
    ことを特徴とする請求項1から請求項のいずれか1項に記載の眠気検出装置。
  9. 前記眉位置測定手段は、顔画像を示す画像データに基づいて前記測定点の位置を測定する
    ことを特徴とする請求項1から請求項のいずれかに記載の眠気検出装置。
  10. 前記眉位置測定手段は、顔画像を示す画像データに基づいて前記測定点の位置を測定し、
    前記眠気検出手段は、顔画像を示す画像データに基づいて前記目頭,前記目尻,および前記鼻孔のうち、いずれか1つ以上の位置を測定する
    ことを特徴とする請求項2,請求項5,および,請求項2および請求項5のいずれか1項を引用する請求項6から請求項8,のいずれか1項に記載の眠気検出装置。
  11. 前記眉位置測定手段は、顔画像を示す画像データに基づいて前記測定点の位置を測定し、
    前記眠気検出手段は、顔画像を示す画像データに基づいて前記目の上端点の位置を測定する
    ことを特徴とする請求項3,および,請求項3を引用する請求項6から請求項8,のいずれか1項に記載の眠気検出装置。
  12. 車両に搭載されて用いられるものであって、
    前記顔画像を示す画像データを生成する撮影手段を備える
    ことを特徴とする請求項から請求項11のいずれか1項に記載の眠気検出装置。
  13. 請求項1から12のいずれか1項に記載の眉位置測定手段および眠気検出手段として機能させるための処理手順を、コンピュータシステムに実行させるためのプログラム。
  14. 少なくとも左右いずれか一方の眉において、左右方向に所定の間隔を開けて2つ以上設定された測定点の位置を測定し、測定した前記2つ以上の測定点のうち、少なくともいずれか1つの前記測定点が上下方向に移動したことに基づいて眠気を検出する
    ことを特徴とする眠気検出方法。
JP2009027186A 2009-02-09 2009-02-09 眠気検出装置,プログラムおよび眠気検出方法 Expired - Fee Related JP4788786B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009027186A JP4788786B2 (ja) 2009-02-09 2009-02-09 眠気検出装置,プログラムおよび眠気検出方法
US12/654,976 US8433095B2 (en) 2009-02-09 2010-01-12 Drowsiness detector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009027186A JP4788786B2 (ja) 2009-02-09 2009-02-09 眠気検出装置,プログラムおよび眠気検出方法

Publications (2)

Publication Number Publication Date
JP2010179034A JP2010179034A (ja) 2010-08-19
JP4788786B2 true JP4788786B2 (ja) 2011-10-05

Family

ID=42540456

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009027186A Expired - Fee Related JP4788786B2 (ja) 2009-02-09 2009-02-09 眠気検出装置,プログラムおよび眠気検出方法

Country Status (2)

Country Link
US (1) US8433095B2 (ja)
JP (1) JP4788786B2 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5208711B2 (ja) * 2008-12-17 2013-06-12 アイシン精機株式会社 眼開閉判別装置及びプログラム
JP4788786B2 (ja) * 2009-02-09 2011-10-05 株式会社デンソー 眠気検出装置,プログラムおよび眠気検出方法
JP5221436B2 (ja) * 2009-04-02 2013-06-26 トヨタ自動車株式会社 顔特徴点検出装置及びプログラム
US8339268B2 (en) * 2009-11-10 2012-12-25 GM Global Technology Operations LLC Driver configurable drowsiness prevention
US20120150387A1 (en) * 2010-12-10 2012-06-14 Tk Holdings Inc. System for monitoring a vehicle driver
US9177202B2 (en) * 2011-07-11 2015-11-03 Toyota Jidosha Kabushiki Kaisha Red-eye detection device
US8847771B2 (en) * 2013-01-25 2014-09-30 Toyota Motor Engineering & Manufacturing North America, Inc. Method and apparatus for early detection of dynamic attentive states for providing an inattentive warning
US8952819B2 (en) * 2013-01-31 2015-02-10 Lytx, Inc. Direct observation event triggering of drowsiness
TW201501044A (zh) * 2013-06-24 2015-01-01 Utechzone Co Ltd 偵測臉部動作以產生訊號的裝置、方法以及電腦可讀取紀錄媒體
JP6304999B2 (ja) 2013-10-09 2018-04-04 アイシン精機株式会社 顔検出装置、方法およびプログラム
CN104688252B (zh) * 2015-03-16 2017-04-05 清华大学 采用方向盘转角信息的驾驶人疲劳状态检测方法
CN105975935B (zh) * 2016-05-04 2019-06-25 腾讯科技(深圳)有限公司 一种人脸图像处理方法和装置
CN106446812B (zh) * 2016-09-13 2017-09-26 西安科技大学 基于近似熵模板匹配的驾驶状态辨识方法
KR102485324B1 (ko) * 2016-11-18 2023-01-06 현대자동차주식회사 운전자 졸음 표정감지 장치, 그를 포함하는 시스템 및 그 방법
US11117515B2 (en) * 2017-05-19 2021-09-14 Yazaki Corporation Monitoring system
KR102444666B1 (ko) 2017-12-20 2022-09-19 현대자동차주식회사 차량용 3차원 입체 영상의 제어 방법 및 장치
JP2019118448A (ja) * 2017-12-28 2019-07-22 日本電気株式会社 精神状態推定システムおよび精神状態推定方法
JP2021511606A (ja) * 2018-04-25 2021-05-06 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド 顔の特徴点に基づく瞬き動作認識のためのシステムおよび方法
JP6784282B2 (ja) * 2018-07-24 2020-11-11 ダイキン工業株式会社 環境設備制御装置および環境設備制御システム
JP6710883B1 (ja) * 2018-12-03 2020-06-17 B−by−C株式会社 美容促進装置、美容促進システム、美容促進方法、および美容促進プログラム
US11707971B2 (en) * 2019-12-20 2023-07-25 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus, and program for delivering a scent alert

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2522859B2 (ja) * 1990-12-14 1996-08-07 日産自動車株式会社 眼位置検出装置
JP2705388B2 (ja) 1991-08-30 1998-01-28 日産自動車株式会社 運転者の眼位置検出装置
JP3350296B2 (ja) * 1995-07-28 2002-11-25 三菱電機株式会社 顔画像処理装置
US5729619A (en) * 1995-08-08 1998-03-17 Northrop Grumman Corporation Operator identity, intoxication and drowsiness monitoring system and method
JP3451832B2 (ja) 1996-04-01 2003-09-29 日産自動車株式会社 顔画像の特徴量認識装置
FR2773521B1 (fr) * 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
JP2001167283A (ja) * 1999-12-10 2001-06-22 Yukinobu Kunihiro 顔面運動解析装置および顔面運動解析のためのプログラムを記憶した記憶媒体
JP4790444B2 (ja) * 2005-03-03 2011-10-12 富士フイルム株式会社 画像抽出装置、画像抽出方法、及び画像抽出プログラム
US7796785B2 (en) * 2005-03-03 2010-09-14 Fujifilm Corporation Image extracting apparatus, image extracting method, and image extracting program
JP4604173B2 (ja) * 2005-03-16 2010-12-22 学校法人東海大学 遠隔会議・教育システム
JP4788319B2 (ja) 2005-12-05 2011-10-05 日産自動車株式会社 開閉眼判定装置及び方法
JP4259585B2 (ja) * 2007-03-08 2009-04-30 株式会社デンソー 眠気判定装置,プログラムおよび眠気判定方法
JP4375420B2 (ja) * 2007-03-26 2009-12-02 株式会社デンソー 眠気警報装置、及びプログラム
JP4788786B2 (ja) * 2009-02-09 2011-10-05 株式会社デンソー 眠気検出装置,プログラムおよび眠気検出方法

Also Published As

Publication number Publication date
US8433095B2 (en) 2013-04-30
JP2010179034A (ja) 2010-08-19
US20100202658A1 (en) 2010-08-12

Similar Documents

Publication Publication Date Title
JP4788786B2 (ja) 眠気検出装置,プログラムおよび眠気検出方法
JP5326521B2 (ja) 覚醒状態判断装置及び覚醒状態判断方法
JP5679066B2 (ja) 居眠り検出方法と装置
JP6778872B2 (ja) 運転支援装置及び運転支援方法
US7948387B2 (en) Drowsiness determination apparatus, program, and method
JP4845886B2 (ja) 個人の警戒レベルの指示を生成するための方法及び装置
JP5666383B2 (ja) 眠気推定装置及び眠気推定方法
JP5423872B2 (ja) 生体状態判定装置
US10899356B2 (en) Drowsiness prevention device, drowsiness prevention method, and recording medium
US20080212828A1 (en) Device, program, and method for determining sleepiness
US20100322507A1 (en) System and method for detecting drowsy facial expressions of vehicle drivers under changing illumination conditions
JP4458146B2 (ja) 眠気判定装置およびプログラム
JP2011523867A (ja) 微睡み検出方法及び装置
JP2007006970A (ja) 生理・心理状態判定装置、生理・心理状態判定方法、リファレンスデータ生成装置、及びリファレンスデータ生成方法。
JP4977856B2 (ja) 覚醒状態検知方法および覚醒状態検知装置
WO2018155098A1 (ja) 情報処理方法、情報処理装置及びプログラム
JP6459856B2 (ja) 車両運転支援装置、車両運転支援方法、およびプログラム
JP5447335B2 (ja) 報知システム
JPWO2020161768A1 (ja) 感情推定装置及び感情推定方法
JPWO2020070839A1 (ja) ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム
JP6534729B1 (ja) 在床状態監視システム、及びこれを備えるベッド
JP3362664B2 (ja) 状態監視装置
KR20190094598A (ko) 감지기의 상태센서를 이용한 블루투스 베이비 모니터링 서비스
JP7212295B2 (ja) 表示システム、表示方法、及びプログラム
Thaware et al. Accident prevention and automatic speed control using eye blinking head movement and alcohol detection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110621

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110704

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140729

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4788786

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees