JP6809262B2 - ドライバ状態検出装置 - Google Patents
ドライバ状態検出装置 Download PDFInfo
- Publication number
- JP6809262B2 JP6809262B2 JP2017021185A JP2017021185A JP6809262B2 JP 6809262 B2 JP6809262 B2 JP 6809262B2 JP 2017021185 A JP2017021185 A JP 2017021185A JP 2017021185 A JP2017021185 A JP 2017021185A JP 6809262 B2 JP6809262 B2 JP 6809262B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- face
- state detection
- hidden
- detection unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J49/00—Particle spectrometers or separator tubes
- H01J49/004—Combinations of spectrometers, tandem spectrometers, e.g. MS/MS, MSn
- H01J49/0086—Accelerator mass spectrometers
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J49/00—Particle spectrometers or separator tubes
- H01J49/26—Mass spectrometers or separator tubes
- H01J49/34—Dynamic spectrometers
- H01J49/40—Time-of-flight spectrometers
- H01J49/403—Time-of-flight spectrometers characterised by the acceleration optics and/or the extraction fields
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Mechanical Engineering (AREA)
- Optics & Photonics (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Description
以下、図1〜図6を参照して、本発明の第一実施形態について説明する。図1は、本発明の第一実施形態に係るドライバ状態検出装置の構成を示すブロック図である。ドライバ状態検出装置1は、車両に搭載され、車両のドライバの状態を検出する。ドライバ状態検出装置1はドライバモニタカメラ10と電子制御ユニット(ECU)20とを備える。
第二実施形態に係るドライバ状態検出装置の構成及び制御は、以下に説明する点を除いて、基本的に第一実施形態に係るドライバ状態検出装置の構成及び制御と同様である。このため、以下、本発明の第二実施形態について、第一実施形態と異なる部分を中心に説明する。
10 ドライバモニタカメラ
20 電子制御ユニット(ECU)
21 ドライバ状態検出部
80 車両
Claims (6)
- 車両のドライバの顔を撮影して該ドライバの顔画像を生成するドライバモニタカメラと、
前記顔画像に基づいて前記ドライバの状態を検出するドライバ状態検出部と
を備え、
前記ドライバ状態検出部は、前記顔画像において前記ドライバの顔部品の一部が隠れている場合、前記顔画像において隠れていない前記ドライバの顔部品と、前記ドライバの顔部品の一部が隠れる前の前記顔画像とに基づいて前記ドライバの顔向きを検出する、ドライバ状態検出装置。 - 前記ドライバ状態検出部は、前記顔画像において隠れていない前記ドライバの顔部品の状態の変化量が閾値以下である場合には前記ドライバの顔向きが前記ドライバの顔部品の一部が隠れる前から変化していないと判定し、前記変化量が前記閾値よりも大きい場合には前記ドライバの顔向きを検出しない、請求項1に記載のドライバ状態検出装置。
- 前記ドライバ状態検出部は、前記顔画像において隠れていない前記ドライバの顔部品の位置及びサイズの変化量が閾値以下である場合には前記ドライバの顔向きが前記ドライバの顔部品の一部が隠れる前から変化していないと判定し、前記位置及びサイズの変化量の少なくとも一方が前記閾値よりも大きい場合には前記ドライバの顔向きを検出しない、請求項1に記載のドライバ状態検出装置。
- 前記ドライバ状態検出部は、前記顔画像と顔形状データとのマッチングを行うことによって前記ドライバの顔向きを検出する、請求項1から3のいずれか1項に記載のドライバ状態検出装置。
- 前記ドライバ状態検出部は、前記顔画像における顔部品と前記顔形状データにおける顔部品とのマッチングを行うことによって前記ドライバの顔向きを検出する、請求項4に記載のドライバ状態検出装置。
- 前記ドライバ状態検出部は、前記顔画像において前記ドライバの顔部品の一部が隠れている場合、前記顔画像において隠れている前記ドライバの顔部品と前記顔形状データにおける顔部品とのマッチングを行わない、請求項5に記載のドライバ状態検出装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017021185A JP6809262B2 (ja) | 2017-02-08 | 2017-02-08 | ドライバ状態検出装置 |
DE102018102431.2A DE102018102431A1 (de) | 2017-02-08 | 2018-02-05 | Fahrerzustandserkennungssystem |
US15/891,455 US10769460B2 (en) | 2017-02-08 | 2018-02-08 | Driver condition detection system |
US16/986,879 US10970572B2 (en) | 2017-02-08 | 2020-08-06 | Driver condition detection system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017021185A JP6809262B2 (ja) | 2017-02-08 | 2017-02-08 | ドライバ状態検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018128834A JP2018128834A (ja) | 2018-08-16 |
JP6809262B2 true JP6809262B2 (ja) | 2021-01-06 |
Family
ID=62910368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017021185A Active JP6809262B2 (ja) | 2017-02-08 | 2017-02-08 | ドライバ状態検出装置 |
Country Status (3)
Country | Link |
---|---|
US (2) | US10769460B2 (ja) |
JP (1) | JP6809262B2 (ja) |
DE (1) | DE102018102431A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6514651B2 (ja) * | 2016-02-15 | 2019-05-15 | ルネサスエレクトロニクス株式会社 | 開眼度検出システム、居眠り検知システム、自動シャッタシステム、開眼度検出方法及び開眼度検出プログラム |
JP6939580B2 (ja) * | 2018-01-10 | 2021-09-22 | 株式会社デンソー | 車両用画像合成装置 |
JP6973298B2 (ja) * | 2018-05-31 | 2021-11-24 | トヨタ自動車株式会社 | 物体監視装置 |
GB2577270B (en) * | 2018-09-19 | 2021-04-07 | Jaguar Land Rover Ltd | Apparatus and method for monitoring vehicle operation |
JP7232008B2 (ja) * | 2018-09-27 | 2023-03-02 | 株式会社アイシン | 乗員モニタリング装置、乗員モニタリング方法、および乗員モニタリングプログラム |
FR3087029B1 (fr) * | 2018-10-08 | 2022-06-24 | Aptiv Tech Ltd | Systeme de detection faciale d’un conducteur et methode associee |
CN110264670A (zh) * | 2019-06-24 | 2019-09-20 | 广州鹰瞰信息科技有限公司 | 基于客运车辆司机疲劳驾驶状态分析装置 |
JP7346969B2 (ja) * | 2019-07-22 | 2023-09-20 | トヨタ自動車株式会社 | 運転支援装置 |
CN111179552A (zh) * | 2019-12-31 | 2020-05-19 | 苏州清研微视电子科技有限公司 | 基于多传感器融合的驾驶员状态监测方法和系统 |
JP7522676B2 (ja) | 2021-02-08 | 2024-07-25 | ダイハツ工業株式会社 | 運転者支援システム |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3452685B2 (ja) | 1995-05-10 | 2003-09-29 | 三菱電機株式会社 | 顔画像の処理装置 |
JPH1166320A (ja) * | 1997-08-12 | 1999-03-09 | Mitsubishi Electric Corp | 目画像追跡装置 |
US6496594B1 (en) * | 1998-10-22 | 2002-12-17 | Francine J. Prokoski | Method and apparatus for aligning and comparing images of the face and body from different imagers |
JP2003308533A (ja) * | 2002-04-17 | 2003-10-31 | Mitsubishi Electric Corp | ドライバの顔画像処理装置 |
JP3093959U (ja) | 2002-11-11 | 2003-05-23 | 宣夫 芦立 | 非常事態伝達システムを内蔵した箱体 |
US7689008B2 (en) * | 2005-06-10 | 2010-03-30 | Delphi Technologies, Inc. | System and method for detecting an eye |
JP4445454B2 (ja) * | 2005-10-20 | 2010-04-07 | アイシン精機株式会社 | 顔中心位置検出装置、顔中心位置検出方法、及び、プログラム |
JP4568223B2 (ja) | 2005-12-21 | 2010-10-27 | 株式会社デンソー | 推定装置 |
JP4509042B2 (ja) * | 2006-02-13 | 2010-07-21 | 株式会社デンソー | 自動車用もてなし情報提供システム |
JP2008037218A (ja) | 2006-08-03 | 2008-02-21 | Aisin Aw Co Ltd | 車両制御装置 |
EP2407947B8 (en) * | 2006-10-13 | 2014-04-23 | Toyota Jidosha Kabushiki Kaisha | On-board warning apparatus and warning method |
US20080166052A1 (en) * | 2007-01-10 | 2008-07-10 | Toshinobu Hatano | Face condition determining device and imaging device |
JP5088669B2 (ja) * | 2007-03-23 | 2012-12-05 | 株式会社デンソー | 車両周辺監視装置 |
JP4992823B2 (ja) * | 2008-05-22 | 2012-08-08 | トヨタ自動車株式会社 | 顔検出装置及び顔検出方法 |
US9460601B2 (en) * | 2009-09-20 | 2016-10-04 | Tibet MIMAR | Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance |
US8989456B2 (en) * | 2010-06-30 | 2015-03-24 | Nec Solution Innovators, Ltd. | Attribute determining method, attribute determining apparatus, program, recording medium, and attribute determining system |
JP2012011975A (ja) * | 2010-07-05 | 2012-01-19 | Honda Motor Co Ltd | 車両用顔画像撮像装置 |
WO2012053311A1 (ja) * | 2010-10-22 | 2012-04-26 | Necソフト株式会社 | 属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システム |
US8552873B2 (en) * | 2010-12-28 | 2013-10-08 | Automotive Research & Testing Center | Method and system for detecting a driving state of a driver in a vehicle |
JP5335038B2 (ja) * | 2011-07-15 | 2013-11-06 | 日立オムロンターミナルソリューションズ株式会社 | 自動処理装置 |
JP2014019301A (ja) | 2012-07-18 | 2014-02-03 | Toyota Motor Corp | 緊急退避装置 |
JP2014115859A (ja) * | 2012-12-11 | 2014-06-26 | Mitsubishi Motors Corp | 脇見判定装置 |
US9751534B2 (en) | 2013-03-15 | 2017-09-05 | Honda Motor Co., Ltd. | System and method for responding to driver state |
JP6056746B2 (ja) * | 2013-12-18 | 2017-01-11 | 株式会社デンソー | 顔画像撮影装置、および運転者状態判定装置 |
JP6497158B2 (ja) * | 2014-05-16 | 2019-04-10 | 株式会社リコー | 表示装置、移動体 |
WO2015198542A1 (ja) | 2014-06-23 | 2015-12-30 | 株式会社デンソー | ドライバの運転不能状態検出装置 |
JP6350145B2 (ja) | 2014-09-09 | 2018-07-04 | 株式会社デンソーアイティーラボラトリ | 顔向き検出装置及び車両用警告システム |
JP6528787B2 (ja) * | 2017-01-17 | 2019-06-12 | トヨタ自動車株式会社 | 車両の制御装置 |
JP6693427B2 (ja) | 2017-01-18 | 2020-05-13 | トヨタ自動車株式会社 | ドライバ状態検出装置 |
JP6915502B2 (ja) | 2017-11-09 | 2021-08-04 | トヨタ自動車株式会社 | ドライバ状態検出装置 |
-
2017
- 2017-02-08 JP JP2017021185A patent/JP6809262B2/ja active Active
-
2018
- 2018-02-05 DE DE102018102431.2A patent/DE102018102431A1/de active Granted
- 2018-02-08 US US15/891,455 patent/US10769460B2/en active Active
-
2020
- 2020-08-06 US US16/986,879 patent/US10970572B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10970572B2 (en) | 2021-04-06 |
DE102018102431A1 (de) | 2018-08-09 |
US20180225532A1 (en) | 2018-08-09 |
JP2018128834A (ja) | 2018-08-16 |
US10769460B2 (en) | 2020-09-08 |
US20200381242A1 (en) | 2020-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6809262B2 (ja) | ドライバ状態検出装置 | |
US10800424B2 (en) | Driver condition detection system | |
US10604160B2 (en) | Driver condition detection system | |
WO2018046015A1 (zh) | 车辆报警方法、装置及终端 | |
CN109703554B (zh) | 泊车车位确认方法及装置 | |
JP6870660B2 (ja) | ドライバ監視装置 | |
US10706299B2 (en) | Control system of vehicle | |
US20180232588A1 (en) | Driver state monitoring device | |
JP2016143060A (ja) | 視覚補助装置及びオブジェクトの分類の検出方法 | |
JP6791108B2 (ja) | 顔位置検出装置 | |
JP5061563B2 (ja) | 検出装置、生体判定方法、およびプログラム | |
JP2016115117A (ja) | 判定装置および判定方法 | |
JP6971582B2 (ja) | 状態検出装置、状態検出方法、及びプログラム | |
US11685372B2 (en) | Processing unit and processing method for collision warning system, collision warning system, and motorcycle | |
JP2016115120A (ja) | 開閉眼判定装置および開閉眼判定方法 | |
JP6962141B2 (ja) | ドライバ状態検出装置 | |
JP2022149287A (ja) | ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラム | |
JP6852407B2 (ja) | ドライバ状態検出装置 | |
EP3640917A1 (en) | Processing unit and processing method for intervehicular distance warning system, intervehicular distance warning system, and motorcycle | |
CN112417921A (zh) | 驾驶员状况检测系统 | |
JP2019101520A (ja) | 視認対象検知装置、視認対象検知方法、およびプログラム | |
JP2021152729A (ja) | あくび検出装置 | |
JP6973298B2 (ja) | 物体監視装置 | |
JP2022042239A (ja) | オブジェクト認識制御装置およびオブジェクト認識制御方法 | |
JP2022048481A (ja) | オブジェクト認識制御装置およびオブジェクト認識制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180827 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190827 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200317 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200515 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201123 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6809262 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |