JP7328089B2 - 閉眼判定装置 - Google Patents
閉眼判定装置 Download PDFInfo
- Publication number
- JP7328089B2 JP7328089B2 JP2019162079A JP2019162079A JP7328089B2 JP 7328089 B2 JP7328089 B2 JP 7328089B2 JP 2019162079 A JP2019162079 A JP 2019162079A JP 2019162079 A JP2019162079 A JP 2019162079A JP 7328089 B2 JP7328089 B2 JP 7328089B2
- Authority
- JP
- Japan
- Prior art keywords
- eye
- degree
- limit value
- closed
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ophthalmology & Optometry (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Traffic Control Systems (AREA)
Description
以下、図を参照しつつ、一つの実施形態による閉眼判定システムについて説明する。この閉眼判定システムは、例えば車両に搭載され、ドライバの運転を支援する運転支援システムに用いられる。一例として、閉眼判定システムは、ドライバがステアリングの手放しをした状態での走行(ハンズオフ走行)が可能な車両に搭載される。このような走行として、例えば、米国自動車技術会(SAE)が定めるレベル2またはレベル3程度の走行が想定される。
以上のように、開眼度と閉眼判定閾値との比較に基づき、開眼度が閉眼判定閾値以下になると閉眼と判定される。この際、ドライバの閉眼を判定する閉眼判定閾値を固定値とすると、個人毎に平常時の眼の大きさにバラツキがあるため、平常時に眼が小さい人の場合、開眼度が閉眼判定閾値以下になり易く、閉眼していないにも関わらず閉眼判定されてしまう可能性がある。
閉眼判定閾値=(基準上限値-基準下限値)×係数+基準下限値 ・・・(1)
次に、図4のステップS102において、基準下限値設定部13が基準下限値を設定する処理について説明する。基準下限値を設定するにあたり、先ず、プロセッサ10の極小値抽出部12が、直近の一定期間Tの間において、瞬きに対応する開眼度の極小値を抽出する。
次に、図4のステップS101において、基準上限値設定部15が基準上限値を設定する処理について説明する。
次に、本実施形態のいくつかの変形例について説明する。上述した実施形態では、式(1)の係数の値を固定値としたが、式(1)における係数の値は、ドライバの覚醒度(眠気レベル)に応じて変化させてもよい。例えば、ドライバが覚醒している場合は係数の値を0.5とし、ドライバに眠気がある場合は係数を0.3とする。ドライバが眠い場合ほど開眼度の最大値、最小値が小さくなるため、ドライバの眠気レベルが高い場合ほど係数を小さくすることで、ドライバの眠気レベルに応じて精度よく閉眼判定を行うことができる。眠気レベルを上述した5段階のレベル1~5で判定する場合、レベル1~5にそれぞれ対応するように、係数の値を0.5/0.48/・・・/0.4と動的に変化させるようにする。
2 表示装置
10 プロセッサ
11 開眼度検出部
12 極小値抽出部
13 基準下限値設定部
14 眠気レベル検出部
15 基準上限値設定部
16 閾値設定部
17 閉眼判定部
18 瞬き予想回数算出部
100 制御装置(ECU)
200 閉眼判定システム
Claims (2)
- 撮像部により得られた、直近の一定期間における時系列の一連のドライバの顔の画像のそれぞれから、ドライバの開眼度を検出する開眼度検出部と、
前記一定期間における前記開眼度の時系列の変化から、前記開眼度の極小値を抽出する極小値抽出部と、
前記一定期間における前記開眼度の複数の極小値のうちの最大値を前記開眼度の基準下限値とする基準下限値設定部と、
前記基準下限値に基づいて閉眼判定閾値を設定する閾値設定部と、
前記一定期間以降に前記撮像部により得られた画像から検出された前記開眼度が前記閉眼判定閾値以下である場合、ドライバの眼が閉じていると判定する閉眼判定部と、
前記一定期間における前記開眼度の最大値を前記開眼度の基準上限値とする基準上限値設定部と、
ドライバの顔の画像からドライバの眠気レベルを検出する眠気レベル検出部と、
を有し、
前記閾値設定部は、前記基準上限値と前記基準下限値との差分の所定の割合を前記基準下限値に加算した値を前記閉眼判定閾値として設定し、ドライバの眠気レベルが高いほど前記所定の割合を低く設定し、
前記基準上限値設定部は、前記眠気レベルが所定レベル以下の場合は、前記基準上限値を前記一定期間における前記最大値に更新し、前記眠気レベルが前記所定レベルを超える場合は、前記基準上限値を更新しない、
閉眼判定装置。 - 前記基準上限値設定部は、前記一定期間が車両の運転開始直後の期間である場合、前記眠気レベルによらず前記基準上限値を前記一定期間における前記最大値に更新する、請求項1に記載の閉眼判定装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019162079A JP7328089B2 (ja) | 2019-09-05 | 2019-09-05 | 閉眼判定装置 |
US17/007,385 US11453401B2 (en) | 2019-09-05 | 2020-08-31 | Closed eye determination device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019162079A JP7328089B2 (ja) | 2019-09-05 | 2019-09-05 | 閉眼判定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021037216A JP2021037216A (ja) | 2021-03-11 |
JP7328089B2 true JP7328089B2 (ja) | 2023-08-16 |
Family
ID=74847780
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019162079A Active JP7328089B2 (ja) | 2019-09-05 | 2019-09-05 | 閉眼判定装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11453401B2 (ja) |
JP (1) | JP7328089B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7127661B2 (ja) * | 2020-03-24 | 2022-08-30 | トヨタ自動車株式会社 | 開眼度算出装置 |
JP7374386B2 (ja) * | 2021-06-21 | 2023-11-06 | 三菱電機株式会社 | 状態判定装置および状態判定方法 |
US20230036402A1 (en) * | 2021-07-22 | 2023-02-02 | Microsoft Technology Licensing, Llc | Focused Computer Detection Of Objects In Images |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004041485A (ja) | 2002-07-12 | 2004-02-12 | Tokai Rika Co Ltd | 開閉眼モニタ装置 |
JP2010068848A (ja) | 2008-09-16 | 2010-04-02 | Toyota Central R&D Labs Inc | 眠気判定装置及びプログラム |
US20100245093A1 (en) | 2009-03-30 | 2010-09-30 | Tobii Technology Ab | Eye closure detection using structured illumination |
JP2017176641A (ja) | 2016-03-31 | 2017-10-05 | オムロンオートモーティブエレクトロニクス株式会社 | 顔画像処理装置および顔画像処理システム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3286887B2 (ja) * | 1995-11-28 | 2002-05-27 | 三菱電機株式会社 | 顔画像処理装置及び顔画像処理方法 |
JP2000198369A (ja) | 1998-12-28 | 2000-07-18 | Niles Parts Co Ltd | 眼の状態検出装置、居眠り運転警報装置 |
JP2000199703A (ja) | 1999-01-06 | 2000-07-18 | Niles Parts Co Ltd | 眼の状態検出装置、居眠り運転警報装置 |
JP4811255B2 (ja) | 2006-12-04 | 2011-11-09 | トヨタ自動車株式会社 | 状態推定装置 |
JP4974360B2 (ja) | 2007-02-27 | 2012-07-11 | 国立大学法人九州大学 | 居眠り運転防止装置 |
JP4727688B2 (ja) * | 2008-04-23 | 2011-07-20 | トヨタ自動車株式会社 | 覚醒度推定装置 |
JP5208711B2 (ja) | 2008-12-17 | 2013-06-12 | アイシン精機株式会社 | 眼開閉判別装置及びプログラム |
DE112011105439B4 (de) * | 2011-07-11 | 2021-06-17 | Toyota Jidosha Kabushiki Kaisha | Rote-Augen-Erfassungsvorrichtung |
JP6314435B2 (ja) * | 2013-11-13 | 2018-04-25 | 株式会社デンソー | ドライバ監視装置 |
US10331942B2 (en) * | 2017-05-31 | 2019-06-25 | Facebook, Inc. | Face liveness detection |
-
2019
- 2019-09-05 JP JP2019162079A patent/JP7328089B2/ja active Active
-
2020
- 2020-08-31 US US17/007,385 patent/US11453401B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004041485A (ja) | 2002-07-12 | 2004-02-12 | Tokai Rika Co Ltd | 開閉眼モニタ装置 |
JP2010068848A (ja) | 2008-09-16 | 2010-04-02 | Toyota Central R&D Labs Inc | 眠気判定装置及びプログラム |
US20100245093A1 (en) | 2009-03-30 | 2010-09-30 | Tobii Technology Ab | Eye closure detection using structured illumination |
JP2017176641A (ja) | 2016-03-31 | 2017-10-05 | オムロンオートモーティブエレクトロニクス株式会社 | 顔画像処理装置および顔画像処理システム |
Also Published As
Publication number | Publication date |
---|---|
US11453401B2 (en) | 2022-09-27 |
JP2021037216A (ja) | 2021-03-11 |
US20210070306A1 (en) | 2021-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7328089B2 (ja) | 閉眼判定装置 | |
US20200334477A1 (en) | State estimation apparatus, state estimation method, and state estimation program | |
JP5326521B2 (ja) | 覚醒状態判断装置及び覚醒状態判断方法 | |
US7821409B2 (en) | Drowsiness alarm apparatus and program | |
US7948387B2 (en) | Drowsiness determination apparatus, program, and method | |
US9526448B2 (en) | State estimation device and state estimation program | |
US11084424B2 (en) | Video image output apparatus, video image output method, and medium | |
CN110580436B (zh) | 驾驶员监视装置 | |
JP2008065776A (ja) | 居眠り検知装置、居眠り検知方法 | |
US20220036101A1 (en) | Methods, systems and computer program products for driver monitoring | |
US11430231B2 (en) | Emotion estimation device and emotion estimation method | |
JP2007236488A (ja) | 覚醒度推定装置及びシステム並びに方法 | |
JP5050794B2 (ja) | 眠気検知装置、眠気検知方法 | |
JP7046748B2 (ja) | 運転者状態判定装置および運転者状態判定方法 | |
JP6689470B1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
WO2022113275A1 (ja) | 睡眠検出装置及び睡眠検出システム | |
JP7212251B2 (ja) | 眼の開閉検出装置、乗員監視装置 | |
CN113879319B (zh) | 困倦征兆通知系统 | |
Bhargava et al. | Drowsiness detection while driving using eye tracking | |
JP2019079285A (ja) | 安全運転促進装置及び安全運転促進方法 | |
JP7127661B2 (ja) | 開眼度算出装置 | |
US20240112337A1 (en) | Vehicular driver monitoring system with health monitoring | |
JP7371591B2 (ja) | 走行制御装置および走行制御方法 | |
JP2023085085A (ja) | 覚醒度判定装置 | |
Kaur et al. | Driver’s Drowsiness Detection System Using Machine Learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230703 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230711 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230803 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7328089 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |