JP5576134B2 - 脇見警報装置 - Google Patents
脇見警報装置 Download PDFInfo
- Publication number
- JP5576134B2 JP5576134B2 JP2010023531A JP2010023531A JP5576134B2 JP 5576134 B2 JP5576134 B2 JP 5576134B2 JP 2010023531 A JP2010023531 A JP 2010023531A JP 2010023531 A JP2010023531 A JP 2010023531A JP 5576134 B2 JP5576134 B2 JP 5576134B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- face
- determination
- state
- gaze
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 claims description 40
- 238000003384 imaging method Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 description 18
- 238000000034 method Methods 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 6
- 230000003247 decreasing effect Effects 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
Landscapes
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Description
さらに、本発明の第3態様に係る脇見警報装置は、前記運転者により操作可能な操作部を有する車載機器(例えば、実施の形態での車載機器15)と、前記操作部が操作されているか否かを判定して判定結果を出力する操作判定手段(例えば、実施の形態での操作判定部27)とを備え、前記記憶手段に記憶されている前記脇見方向領域は前記車載機器が配置される方向を含み、前記時間設定手段は、前記脇見判定手段により前記前記運転者が前記車載機器に対する前記脇見状態であると判定され、かつ、前記操作判定手段から出力された前記判定結果において前記操作部が操作されていると判定された場合に、前記操作判定手段から出力された前記判定結果において前記操作部が操作されていないと判定された場合に比べて、より短い時間を前記所定時間として設定する。
本実施の形態による脇見警報装置10は、例えば図1に示すように、撮像制御装置11と、乗員カメラ12と、処理装置13と、報知装置14と、車載機器15と、車速センサ16とを備えて構成され、さらに、処理装置13は、視線方向検出部21と、顔向き検知部22と、注視判定部23と、記憶部24と、脇見判定部25と、時間設定部26と、操作判定部27と、警報制御部28とを備えて構成されている。
また、注視判定部23は、視線方向検出部21により検出された視線方向および顔向き検知部22により検知された顔向き方向に基づき、運転者による特定対象物の注視が、視線方向のみに拠る状態(視線注視)であるか、あるいは、顔向き方向に拠る状態(顔向き注視)であるかを判定する。
また、記憶部24は、各注視判定時間として、例えば、各特定対象物毎に対して、かつ、顔向き注視および視線注視の各注視状態毎に対して、特定対象物注視判定時間と特定対象物操作時注視判定時間とを記憶している。なお、特定対象物注視判定時間は、運転者が各特定対象物を注視している場合に対応する注視判定時間であって、特定対象物操作時注視判定時間は、運転者が注視している各特定対象物を運転者が操作している場合に対応する注視判定時間である。そして、特定対象物操作時注視判定時間は特定対象物注視判定時間よりも短く設定されている。また、各注視判定時間に対して、顔向き注視での注視判定時間は、視線注視での注視判定時間よりも短く設定されている。
また、脇見判定部25は、視線方向検出部21により検出された視線方向および顔向き検知部22により検知された顔向き方向に基づき、運転者の脇見が、視線方向のみに拠る状態(視線脇見)であるか、あるいは、顔向き方向に拠る状態(顔向き脇見)であるかを判定する。
例えば、時間設定部26は、顔向き注視および視線注視の各注視状態毎に対して、運転者が注視している各種の車載機器15などの特定対象物と、運転者が注視している特定対象物に対する運転者による操作の有無とに応じて、注視判定部23により記憶部24から取得される各注視判定時間を設定する。
また、例えば、時間設定部26は、顔向き脇見および視線脇見の各脇見状態毎に対して、車速センサ16により検出される車両の速度と、注視角度とに応じて、脇見判定部25により記憶部24から取得される脇見判定時間を設定する。
置とを備えて構成されている。
触覚的伝達装置は、例えばシートベルト装置や操舵制御装置などであって、警報制御部28から出力される制御信号に応じて、例えばシートベルトに所定の張力を発生させて自
車両の乗員が触覚的に知覚可能な締め付け力を作用させたり、例えばステアリングホイー
ルに自車両の運転者が触覚的に知覚可能な振動(ステアリング振動)を発生させる。
視覚的伝達装置は、例えば表示装置などであって、警報制御部28から入力される制御
信号に応じて、例えば表示装置に所定の情報を表示したり、所定の灯体を点滅させる。
聴覚的伝達装置は、例えばスピーカなどであって、警報制御部28から入力される制御
信号に応じて所定の音や音声などを出力する。
また、例えば運転者が特定対象物を操作せずに注視している状態であると注視判定部23により判定された場合には、警報種別を「特定対象物注視」として、視覚的伝達装置において黄色の発光表示を行ない、聴覚的伝達装置において所定の単音を出力し、触覚的伝達装置においては警報の出力を禁止する。
また、例えば運転者が特定対象物を操作して注視している状態であると注視判定部23により判定された場合には、警報種別を「特定対象物操作」として、視覚的伝達装置において赤色の発光表示を行ない、聴覚的伝達装置において所定の繰り返し音を出力し、触覚的伝達装置において振動を発生させる。
つまり、運転者の脇見状態に対する危険の度合いに応じて視覚的伝達装置および聴覚的伝達装置および触覚的伝達装置における警報の出力態様を変化させ、危険度の度合いが高いほど運転者の注意を喚起するように、運転者が煩わしいと感じる警報を行なう。
次に、ステップS02においては、乗員カメラ12から出力された顔画像に基づき視線方向を検出する。
次に、ステップS03においては、車両の速度(車速)を取得する。
次に、ステップS04においては、後述する特定対象物注視判定の処理を実行する。
この判定結果が「YES」の場合には、後述するステップS08に進む。
一方、この判定結果が「NO」の場合には、ステップS06に進む。
そして、ステップS06においては、後述する脇見判定の処理を実行する。
次に、ステップS07においては、運転者が脇見状態であるか否かを判定する。
この判定結果が「YES」の場合には、ステップS08に進む。
そして、ステップS08においては、上述したステップS04またはステップS06にて判定された警報種別に応じた警報を実行し、エンドに進む。
先ず、例えば図6に示すステップS11においては、視線方向検出部21により検出された視線方向または顔向き検知部22により検知された顔向き方向に基づき、車両に搭載されて運転者により操作される各種の車載機器15などの複数の特定対象物から、運転者が注視している特定対象物(注視特定対象物)を判定する。
この判定結果が「YES」の場合には、ステップS13に進み、このステップS13においては、特定対象物注視判定時間および特定対象物操作時注視判定時間として、顔向き注視に対応する特定対象物注視判定時間および特定対象物操作時注視判定時間を設定する。
一方、この判定結果が「NO」の場合には、ステップS14に進み、このステップS14においては、特定対象物注視判定時間および特定対象物操作時注視判定時間として、視線注視に対応する特定対象物注視判定時間および特定対象物操作時注視判定時間を設定する。
この判定結果が「NO」の場合には、リターンに進む。
一方、この判定結果が「YES」の場合には、ステップS16に進む。
そして、ステップS16においては、運転者は、注視している特定対象物を操作しているか否かを判定する。
この判定結果が「YES」の場合には、ステップS17に進む。
一方、この判定結果が「NO」の場合には、後述するステップS20に進む。
この判定結果が「NO」の場合には、リターンに進む。
一方、この判定結果が「YES」の場合には、ステップS18に進む。
そして、ステップS18においては、警報種別を「特定対象物操作」とする。
そして、ステップS19においては、運転者が特定対象物を注視する状態(特定対象物注視の状態)であると判定して、リターンに進む。
この判定結果が「NO」の場合には、リターンに進む。
一方、この判定結果が「YES」の場合には、ステップS21に進む。
そして、ステップS21においては、警報種別を「特定対象物注視」とし、上述したステップS19に進む。
先ず、例えば図7に示すステップS31においては、例えば車速センサ16により検出される車両の速度に応じて、脇見判定角度を設定する。
次に、ステップS32においては、顔向き角度が所定の閾値(例えば、30°など)以上、または、顔向き角度と注視角度との差(例えば、5°など)が所定値未満であるか否かを判定する。
この判定結果が「YES」の場合には、ステップS33に進み、このステップS33においては、脇見判定時間として、顔向き脇見に対応する脇見判定時間を設定する。
一方、この判定結果が「NO」の場合には、ステップS34に進み、このステップS34においては、脇見判定時間として、視線脇見に対応する脇見判定時間を設定する。
この判定結果が「NO」の場合には、リターンに進む。
一方、この判定結果が「YES」の場合には、ステップS36に進む。
そして、ステップS36においては、注視角度が脇見判定角度よりも大きい状態の継続時間(脇見継続時間)が脇見判定時間よりも長いか否かを判定する。
この判定結果が「NO」の場合には、リターンに進む。
一方、この判定結果が「YES」の場合には、ステップS37に進む。
そして、ステップS37においては、運転者が脇見状態であると判定する。
そして、ステップS38においては、警報種別を「脇見」として、リターンに進む。
さらに、特定対象物に対する運転者の操作を伴わない注視に比べて、正面方向への復帰に要する時間が長くなる特定対象物に対する運転者の操作を伴う注視に対して、より短い注視判定時間(つまり、特定対象物注視判定時間より短い特定対象物操作時注視判定時間)を設定することにより、運転者による特定対象物の注視の詳細に応じて警報を行なうタイミングを変更する(早める)ことができ、運転者の脇見状態に応じて適切な警報を行なうことができる。
12 乗員カメラ(撮像手段)
14 報知装置(警報手段)
15 車載機器
21 視線方向検出部(視線方向検出手段)
22 顔向き検知部(顔向き検知手段)
23 注視判定部(脇見判定手段、脇見状態判別手段)
24 記憶部(記憶手段)
25 脇見判定部(脇見判定手段、脇見状態判別手段)
26 時間設定部(時間設定手段)
27 操作判定部(操作判定手段)
28 警報制御部(警報手段)
Claims (3)
- 運転席に着座した運転者の顔を撮像して顔画像を出力する撮像手段と、該撮像手段から出力された前記顔画像に基づき前記運転者の視線方向を検出して検出結果を出力する視線方向検出手段と、前記撮像手段から出力された前記顔画像に基づき前記運転者の顔向き方向を検知して検知結果を出力する顔向き検知手段と、
前記視線方向および前記顔向き方向に対して設定された所定の脇見方向領域を記憶する記憶手段と、
前記視線方向検出手段から出力された前記検出結果の前記視線方向または前記顔向き検知手段から出力された前記検知結果の前記顔向き方向が、前記記憶手段に記憶された前記脇見方向領域内に所定時間に亘って継続して含まれる場合に、前記運転者が脇見状態であると判定して判定結果を出力する脇見判定手段と、
該脇見判定手段から出力された前記判定結果において前記運転者が脇見状態であると判定された場合に所定の警報を行なう警報手段と、
前記運転者の脇見状態に応じて前記所定時間を設定する時間設定手段とを備える脇見警報装置であって、
前記脇見状態は、前記視線方向のみに拠る状態であるか、あるいは、前記顔向き方向に拠る状態であるか、を判別する脇見状態判別手段を備え、
前記時間設定手段は、前記脇見状態判別手段により前記脇見状態は前記顔向き方向に拠る状態であると判別された場合に、前記脇見状態判別手段により前記脇見状態は前記視線方向のみに拠る状態であると判別された場合に比べて、より短い時間を前記所定時間として設定することを特徴とする脇見警報装置。 - 前記脇見状態判別手段は、
前記視線方向が前記脇見方向領域内に含まれ、かつ前記顔向き方向が前記脇見方向領域内に含まれない状態を、前記視線方向のみに拠る状態であると判別し、
前記視線方向および前記顔向き方向の差が所定程度未満かつ前記視線方向および前記顔向き方向が前記脇見方向領域内に含まれる状態を、前記顔向き方向に拠る状態であると判別する、
ことを特徴とする請求項1に記載の脇見警報装置。 - 前記運転者により操作可能な操作部を有する車載機器と、
前記操作部が操作されているか否かを判定して判定結果を出力する操作判定手段とを備え、
前記記憶手段に記憶されている前記脇見方向領域は前記車載機器が配置される方向を含み、
前記時間設定手段は、前記脇見判定手段により前記前記運転者が前記車載機器に対する前記脇見状態であると判定され、かつ、前記操作判定手段から出力された前記判定結果において前記操作部が操作されていると判定された場合に、前記操作判定手段から出力された前記判定結果において前記操作部が操作されていないと判定された場合に比べて、より短い時間を前記所定時間として設定することを特徴とする請求項1または請求項2に記載の脇見警報装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010023531A JP5576134B2 (ja) | 2010-02-04 | 2010-02-04 | 脇見警報装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010023531A JP5576134B2 (ja) | 2010-02-04 | 2010-02-04 | 脇見警報装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011164712A JP2011164712A (ja) | 2011-08-25 |
JP5576134B2 true JP5576134B2 (ja) | 2014-08-20 |
Family
ID=44595362
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010023531A Expired - Fee Related JP5576134B2 (ja) | 2010-02-04 | 2010-02-04 | 脇見警報装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5576134B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5367037B2 (ja) * | 2011-09-26 | 2013-12-11 | 本田技研工業株式会社 | 顔向き検出装置 |
JP2013147856A (ja) * | 2012-01-19 | 2013-08-01 | Yamaken Co Ltd | 防水シート及び防水シートの設置方法 |
JP6047318B2 (ja) * | 2012-07-06 | 2016-12-21 | 矢崎総業株式会社 | ドライバ状態検出装置及びドライバ状態報知装置 |
JP2014089589A (ja) * | 2012-10-30 | 2014-05-15 | Denso Corp | 運転支援装置 |
JP6224342B2 (ja) * | 2013-04-25 | 2017-11-01 | 京セラ株式会社 | 携帯端末装置 |
JP6023654B2 (ja) * | 2013-05-15 | 2016-11-09 | 本田技研工業株式会社 | 運転支援装置および運転支援方法 |
JP6203421B2 (ja) * | 2014-10-17 | 2017-09-27 | 三菱電機株式会社 | ドライバー支援装置および警報タイミング制御方法 |
JP6531719B2 (ja) * | 2016-05-23 | 2019-06-19 | 株式会社デンソー | ドライバ状態検知装置、ドライバ状態検知方法 |
JP2018088119A (ja) * | 2016-11-29 | 2018-06-07 | パイオニア株式会社 | 制御装置、制御方法及びプログラム |
WO2019026199A1 (ja) * | 2017-08-02 | 2019-02-07 | 本田技研工業株式会社 | 車両制御装置、および車両制御方法、プログラム |
JP7133337B2 (ja) * | 2018-04-10 | 2022-09-08 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、及びプログラム |
CN110517520A (zh) * | 2019-08-06 | 2019-11-29 | 赵天钰 | 一种智能行车系统及其控制方法 |
US11636609B2 (en) * | 2019-12-16 | 2023-04-25 | Nvidia Corporation | Gaze determination machine learning system having adaptive weighting of inputs |
JP7327199B2 (ja) * | 2020-02-18 | 2023-08-16 | いすゞ自動車株式会社 | 警告制御装置 |
JP2021144504A (ja) * | 2020-03-12 | 2021-09-24 | ダイハツ工業株式会社 | 脇見検出システム |
CN113887288A (zh) * | 2021-08-31 | 2022-01-04 | 际络科技(上海)有限公司 | 基于驾车使用移动终端的状态检测方法及装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4725254B2 (ja) * | 2005-09-05 | 2011-07-13 | トヨタ自動車株式会社 | 脇見判定装置 |
JP2007233477A (ja) * | 2006-02-27 | 2007-09-13 | Toyota Motor Corp | 車両用警報装置 |
JP2010049383A (ja) * | 2008-08-20 | 2010-03-04 | Mazda Motor Corp | 車両の警報装置 |
-
2010
- 2010-02-04 JP JP2010023531A patent/JP5576134B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011164712A (ja) | 2011-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5576134B2 (ja) | 脇見警報装置 | |
JP6339235B2 (ja) | 制御装置および関連方法 | |
JP6976089B2 (ja) | 運転支援装置および運転支援方法 | |
JP6454368B2 (ja) | 車両の表示システム及び車両の表示システムの制御方法 | |
JP5278461B2 (ja) | 視線検出装置および視線検出方法 | |
JP5088669B2 (ja) | 車両周辺監視装置 | |
JP4481187B2 (ja) | 車両用操作装置 | |
WO2015125243A1 (ja) | 表示制御装置、表示制御装置の表示制御方法、視線方向検出システムおよび視線方向検出システムのキャリブレーション制御方法 | |
JP5033902B2 (ja) | 脇見判定装置 | |
US10207640B2 (en) | Method and system for a warning message in a vehicle | |
US9758098B2 (en) | Vehicle periphery monitoring device | |
US20180257565A1 (en) | Drive assist apparatus | |
JP5588764B2 (ja) | 車載機器操作装置 | |
JP2016055801A (ja) | 車載表示装置 | |
JPH09238905A (ja) | 視線方向計測装置 | |
JP2014201174A (ja) | 車両制御システム | |
JP2021105981A (ja) | 運転者監視装置及び運転者監視方法 | |
JP2018013811A (ja) | ドライバ状態判定装置、及びドライバ状態判定プログラム | |
US11881054B2 (en) | Device and method for determining image data of the eyes, eye positions and/or a viewing direction of a vehicle user in a vehicle | |
JP4720979B2 (ja) | 車両用監視装置 | |
US20210166659A1 (en) | Head-up display device | |
JP5576198B2 (ja) | 脇見判定装置 | |
JP2019095892A (ja) | 車両用運転支援装置、および車両用運転支援プログラム | |
JP4534788B2 (ja) | 車両用運転支援装置 | |
JP2011086125A (ja) | 視認検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140617 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140703 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5576134 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |