JP6812952B2 - 脇見判定装置、脇見判定方法、およびプログラム - Google Patents
脇見判定装置、脇見判定方法、およびプログラム Download PDFInfo
- Publication number
- JP6812952B2 JP6812952B2 JP2017219858A JP2017219858A JP6812952B2 JP 6812952 B2 JP6812952 B2 JP 6812952B2 JP 2017219858 A JP2017219858 A JP 2017219858A JP 2017219858 A JP2017219858 A JP 2017219858A JP 6812952 B2 JP6812952 B2 JP 6812952B2
- Authority
- JP
- Japan
- Prior art keywords
- inattentive
- vehicle
- determination
- traveling
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 26
- 238000003384 imaging method Methods 0.000 claims description 41
- 238000007689 inspection Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 4
- 238000013500 data storage Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 8
- 238000012790 confirmation Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
- B60W40/076—Slope angle of the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Emergency Alarm Devices (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Description
(構成)
先ず、本発明の実施形態に係る脇見判定方法が適用された脇見判定装置を、図面を用いて説明する。
脇見判定装置10は、このような構成であるから、車両1の走行中、運転者が脇見をした場合には、それを検出し、警報を発報することができる。また特に、車両1が下り方向に向かって走行している状態では、下り方向に向かって走行していない状態よりも、運転者の上方向の顔向きおよび視線に対する判定基準を変更し、変更された判定基準と運転者の撮像データとに基づいて、脇見を判定することができる。
次に、第1の実施形態に係る脇見判定装置10について詳細に説明する。
図2は、本実施形態に係る脇見判定装置10の構成例を示す機能ブロック図である。
次に、以上のように構成した本実施形態に係る脇見判定装置10の動作を、図4に例示するような道路60上を、車両1が図中左側から右側へ走行する場合を例に、図6に示すフローチャートを用いて説明する。
上述したように、本実施形態に係る脇見判定装置10によれば、車両1が下り方向に向かって走行している状態では、走行方向に対する運転者50による上方向への目視確認時間が必然的に長くなるという固有の事情を考慮し、非脇見領域Gのサイズを上方向に拡大したり、脇見領域Iに設定されている許容存在時間を延長したり、あるいはこれらを組み合わせることによって、判定基準Eの内容を緩和することができる。
以下に、第2の実施形態に係る脇見判定装置について詳細に説明する。
図7は、第2の実施形態に係る脇見判定装置11が備えられた車両1の構成例を示す概念図である。
次に、以上のように構成した本実施形態に係る脇見判定装置11の動作を、図9に例示するような下り坂を含む道路60上を、車両1が図中左側から右側へ走行する場合を例に、図10に示すフローチャートを用いて説明する。図10のフローチャートでは、図6のフローチャートと同一の動作について、同一のステップ番号を付すことによって、以下では、図6と同一のステップ番号の動作については、簡単な説明にとどめ、図6のフローチャートに示されていない動作について詳しく説明する。
上述したように、本実施形態に係る脇見判定装置11によれば、傾斜角センサ6を備えていなくても、代わりに、GPS受信機8を用いることによって、第1の実施形態と同様に、車両1が、下り方向に向かって走行している状態では、走行方向に対する運転者50による上方向への目視確認時間が必然的に長くなるといった固有の事情を考慮し、非脇見領域Gのサイズを上方向に拡大したり、脇見領域I2に設定されている許容存在時間を延長したり、あるいはこれらを組み合わせることによって、判定基準Eの内容を緩和することができる。
車両の運転者の脇見を判定する脇見判定装置であって、ハードウェアプロセッサを有し、
前記ハードウェアプロセッサは、
前記車両に搭載された撮像手段から、前記運転者の撮像データを取得し、
前記撮像データに撮像された前記運転者の顔向きおよび視線と、前記運転者の脇見を判定するために設定された判定基準とに基づいて、前記脇見を判定し、
前記車両に搭載された走行状態取得手段から、前記車両の走行状態データを取得し、
前記取得された走行状態データに基づいて、前記車両が下り方向に向かって走行していることを判定し、
前記車両が下り方向に向かって走行していると判定されている状態では、前記車両が下り以外の方向に向かって走行している状態よりも、前記運転者の上方向への顔向きおよび視線に対する前記判定基準を変更するように構成された、脇見判定装置。
車両の運転者の脇見を判定する装置が行う脇見判定方法であって、
前記装置が、前記車両に搭載された撮像手段から、前記運転者の撮像データを取得する工程と、
前記装置が、前記撮像データに撮像された前記運転者の顔向きおよび視線と、前記運転者の脇見を判定するために設定された判定基準とに基づいて、前記脇見を判定する工程と、
前記装置が、前記車両に搭載された走行状態取得手段から、前記車両の走行状態データを取得する工程と、
前記装置が、前記走行状態データに基づいて、前記車両が下り方向に向かって走行していることを判定する工程と、
前記車両が下り方向に向かって走行していると判定されている状態では、前記車両が下り以外の方向に向かって走行している状態よりも、前記運転者の上方向への顔向きおよび視線に対する前記判定基準を、前記装置が変更する工程とを含む、脇見判定方法。
Claims (10)
- 車両の運転者の脇見を判定する脇見判定装置であって、
前記車両に搭載された撮像手段から、前記運転者の撮像データを取得する撮像データ取得部と、
前記撮像データに撮像された前記運転者の顔向きおよび視線と、前記運転者の脇見を判定するために設定された判定基準とに基づいて、前記脇見を判定する脇見判定部と、
前記車両に搭載された走行状態取得手段から、前記車両の走行状態データを取得する走行状態取得部と、
前記取得された走行状態データに基づいて、前記車両が下り方向に向かって走行していることを判定する走行状態判定部と、
前記車両が下り方向に向かって走行していると判定されている状態では、前記車両が下り以外の方向に向かって走行している状態よりも、前記運転者の上方向への顔向きおよび視線に対する前記判定基準を変更する判定基準変更部とを備えた、脇見判定装置。 - 前記判定基準は、前記運転者の視線方向が存在していても脇見と見なされない領域である非脇見領域の位置またはサイズと、前記運転者の視線方向が、前記非脇見領域以外の領域である脇見領域に存在している場合であっても脇見と見なされない時間長さである許容存在時間とを含む、請求項1に記載の脇見判定装置。
- 前記判定基準変更部は、前記許容存在時間を延長する処理と、前記非脇見領域の位置またはサイズを前記車両の走行方向に対して上方向へ拡大する処理とのうちの少なくとも何れかによって、前記判定基準を変更する、請求項2に記載の脇見判定装置。
- 前記判定基準は、複数の前記脇見領域を含み、前記複数の脇見領域の各々に対して、前記非脇見領域からの近さに応じて、前記許容存在時間の値が設定される、請求項2に記載の脇見判定装置。
- 前記複数の脇見領域のうち、前記非脇見領域により近い脇見領域ほど、前記許容存在時間がより長く設定される、請求項4に記載の脇見判定装置。
- 前記走行状態取得手段は、前記車両に搭載された傾斜角センサであり、
前記走行状態データは、前記傾斜角センサによって取得された、地平面に対する前記車両の傾斜角データである、請求項1に記載の脇見判定装置。 - 前記走行状態取得手段は、前記車両に搭載された測位センサであり、
前記走行状態データは、前記測位センサによって取得された前記車両の走行位置データであり、
前記走行状態判定部は、前記走行位置データと、地図データとに基づいて、前記車両が下り方向に向かって走行していることを判定する、請求項1に記載の脇見判定装置。 - 前記脇見判定部によって、前記脇見が判定された場合、警報を発するように警報発生器を制御する警報制御部をさらに備えた、請求項1乃至7のうち何れか1項に記載の脇見判定装置。
- 車両の運転者の脇見を判定する装置が行う脇見判定方法であって、
前記装置が、前記車両に搭載された撮像手段から、前記運転者の撮像データを取得する工程と、
前記装置が、前記撮像データに撮像された前記運転者の顔向きおよび視線と、前記運転者の脇見を判定するために設定された判定基準とに基づいて、前記脇見を判定する工程と、
前記装置が、前記車両に搭載された走行状態取得手段から、前記車両の走行状態データを取得する工程と、
前記装置が、前記走行状態データに基づいて、前記車両が下り方向に向かって走行していることを判定する工程と、
前記車両が下り方向に向かって走行していると判定されている状態では、前記車両が下り以外の方向に向かって走行している状態よりも、前記運転者の上方向への顔向きおよび視線に対する前記判定基準を、前記装置が変更する工程とを含む、脇見判定方法。 - 請求項1乃至8のうち何れか1項に記載の脇見判定装置が備える各部の処理をコンピュータに実行させる脇見判定のためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017219858A JP6812952B2 (ja) | 2017-11-15 | 2017-11-15 | 脇見判定装置、脇見判定方法、およびプログラム |
DE102018216009.0A DE102018216009A1 (de) | 2017-11-15 | 2018-09-20 | Vorrichtung zum bestimmen abgelenkten fahrens, verfahren zum bestimmen abgelenkten fahrens und programm |
CN201811118132.9A CN109795409A (zh) | 2017-11-15 | 2018-09-25 | 旁视判定装置、旁视判定方法以及记录介质 |
US16/143,459 US20190143993A1 (en) | 2017-11-15 | 2018-09-27 | Distracted driving determination apparatus, distracted driving determination method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017219858A JP6812952B2 (ja) | 2017-11-15 | 2017-11-15 | 脇見判定装置、脇見判定方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019091268A JP2019091268A (ja) | 2019-06-13 |
JP6812952B2 true JP6812952B2 (ja) | 2021-01-13 |
Family
ID=66335471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017219858A Expired - Fee Related JP6812952B2 (ja) | 2017-11-15 | 2017-11-15 | 脇見判定装置、脇見判定方法、およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20190143993A1 (ja) |
JP (1) | JP6812952B2 (ja) |
CN (1) | CN109795409A (ja) |
DE (1) | DE102018216009A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6915502B2 (ja) * | 2017-11-09 | 2021-08-04 | トヨタ自動車株式会社 | ドライバ状態検出装置 |
WO2019198179A1 (ja) * | 2018-04-11 | 2019-10-17 | 三菱電機株式会社 | 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法 |
KR20200056187A (ko) * | 2018-11-14 | 2020-05-22 | 현대자동차주식회사 | 운전자의 부주의 경고 제어 장치 및 방법 |
JP7309480B2 (ja) * | 2019-06-27 | 2023-07-18 | フォルシアクラリオン・エレクトロニクス株式会社 | 車載装置、及び車載装置の制御方法 |
JP7342744B2 (ja) * | 2020-03-11 | 2023-09-12 | いすゞ自動車株式会社 | 安全運転判定装置 |
JP7302534B2 (ja) * | 2020-06-01 | 2023-07-04 | トヨタ自動車株式会社 | 状態判定装置および状態判定方法 |
CN112141119B (zh) * | 2020-09-23 | 2022-03-11 | 上海商汤临港智能科技有限公司 | 智能驾驶控制方法及装置、车辆、电子设备和存储介质 |
CN112277957B (zh) * | 2020-10-27 | 2022-06-24 | 广州汽车集团股份有限公司 | 一种用于驾驶员分心纠正的预警方法及其系统、存储介质 |
US11794753B2 (en) * | 2021-04-09 | 2023-10-24 | Ford Global Technologies, Llc | Eyes-on-road detection |
CN113335296B (zh) * | 2021-06-24 | 2022-11-29 | 东风汽车集团股份有限公司 | 一种分心驾驶自适应检测系统及方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0796768A (ja) * | 1993-09-27 | 1995-04-11 | Nissan Motor Co Ltd | 前方注視度検知装置 |
JPH07139260A (ja) * | 1993-11-22 | 1995-05-30 | Nippondenso Co Ltd | 車両用パワーウインド制御装置 |
JP4314257B2 (ja) * | 2006-09-28 | 2009-08-12 | トヨタ自動車株式会社 | 車両の表示装置および車両の表示装置の制御方法、プログラム、およびプログラムを記録した記録媒体 |
JP4893507B2 (ja) * | 2007-07-04 | 2012-03-07 | オムロン株式会社 | 脇見検出装置および方法、並びに、プログラム |
CN102982316A (zh) * | 2012-11-05 | 2013-03-20 | 安维思电子科技(广州)有限公司 | 一种对驾驶员非正常驾驶行为的识别装置和方法 |
JP6369106B2 (ja) * | 2014-04-16 | 2018-08-08 | 株式会社デンソー | ヘッドアップディスプレイ装置 |
JP2017111469A (ja) * | 2015-12-14 | 2017-06-22 | 富士通株式会社 | 道路標識視認判定システム、道路標識視認判定方法、及びプログラム |
-
2017
- 2017-11-15 JP JP2017219858A patent/JP6812952B2/ja not_active Expired - Fee Related
-
2018
- 2018-09-20 DE DE102018216009.0A patent/DE102018216009A1/de not_active Withdrawn
- 2018-09-25 CN CN201811118132.9A patent/CN109795409A/zh active Pending
- 2018-09-27 US US16/143,459 patent/US20190143993A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
CN109795409A (zh) | 2019-05-24 |
US20190143993A1 (en) | 2019-05-16 |
JP2019091268A (ja) | 2019-06-13 |
DE102018216009A1 (de) | 2019-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6812952B2 (ja) | 脇見判定装置、脇見判定方法、およびプログラム | |
KR102534353B1 (ko) | 검출된 배리어에 기반한 차량의 항법 | |
JP6799592B2 (ja) | 自律走行車を完全に停止させるための速度制御 | |
JP6323385B2 (ja) | 車両走行制御装置 | |
US10353394B2 (en) | Driving assistance device and driving assistance method | |
JP6690952B2 (ja) | 車両走行制御システム、及び車両走行制御方法 | |
US20150371542A1 (en) | Warning device and travel control device | |
JP4240118B2 (ja) | 運転支援装置 | |
KR20200110702A (ko) | 기본 미리 보기 영역 및 시선 기반 운전자 주의 산만 검출 | |
US20170076606A1 (en) | System and method to provide driving assistance | |
JP6690582B2 (ja) | 運転モード切替制御装置、方法およびプログラム | |
US20160207539A1 (en) | Method for executing vehicle function using wearable device and vehicle for carrying out the same | |
US20190144003A1 (en) | Distracted driving determination apparatus, distracted driving determination method, and program | |
JP6711631B2 (ja) | 監視システム | |
JP2003123196A (ja) | 車両の周辺監視装置及びプログラム | |
JP2016132374A (ja) | 衝突回避制御装置 | |
JP6777060B2 (ja) | 脇見判定装置、運転支援システム、脇見判定方法及び脇見判定のためのプログラム | |
KR20200017971A (ko) | 차량 및 그 제어방법 | |
KR20180135847A (ko) | 자율 주행 차량을 위한 감속 연석 기반 방향 검출 및 차선 유지 시스템 | |
JP2018188029A (ja) | 停車意図判定装置、及び停車意図判定方法 | |
KR102052405B1 (ko) | 차량 및 사용자 동작 인식에 따른 화면 제어 장치 및 그 운영방법 | |
US11092458B2 (en) | Navigation system with operation obstacle alert mechanism and method of operation thereof | |
JP2016066231A (ja) | 衝突防止装置、衝突防止方法、衝突防止プログラムおよび記録媒体 | |
JP6947099B2 (ja) | 余所見判定装置、余所見判定システム、余所見判定方法、プログラム | |
JP2022047580A (ja) | 情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20190311 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190318 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200326 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200526 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200611 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201130 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6812952 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |