JP5184596B2 - 脇見判定装置 - Google Patents
脇見判定装置 Download PDFInfo
- Publication number
- JP5184596B2 JP5184596B2 JP2010198167A JP2010198167A JP5184596B2 JP 5184596 B2 JP5184596 B2 JP 5184596B2 JP 2010198167 A JP2010198167 A JP 2010198167A JP 2010198167 A JP2010198167 A JP 2010198167A JP 5184596 B2 JP5184596 B2 JP 5184596B2
- Authority
- JP
- Japan
- Prior art keywords
- curve
- driver
- vehicle
- unit
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
- B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Description
しかしながら、運転者は通常、カーブに進入する手前の直進路を走行する直進状態から前方での旋回方向を目視確認する動作を行なうことから、上記従来技術のようにカーブ進入後に角度閾値を変更する場合には、角度閾値の変更が遅れてしまい、誤った脇見判定が行なわれてしまうという問題が生じる。つまり、カーブに進入する手前の直進路を走行する直進状態で前方に存在するカーブの旋回方向を目視確認する状態が脇見状態であると誤判定されてしまう虞がある。
本実施の形態による脇見判定装置10は、例えば図1に示すように、光源11と、乗員カメラ12と、車両状態センサ13と、ナビゲーション装置14と、処理装置15と、表示装置16とを備えて構成されている。
乗員カメラ12は、少なくとも運転席に着座した運転者の顔を撮像対象として撮像領域内に含み、例えば可視光領域または赤外線領域にて撮像可能であって、運転者の顔を含む顔画像を出力する。
また、ナビゲーション装置14は、車両状態センサ13の車速センサおよびヨーレートセンサ(図示略)などから出力される自車両の速度(車速)およびヨーレートの検出信号に基づく自律航法の算出処理によって、自車両の現在位置を算出する。
さらに、ナビゲーション装置14は、経路探索や経路誘導などの処理に必要とされるデータ、例えば交差点および分岐点などの所定位置の緯度および経度からなる座標点であるノードと、各ノード間を結ぶ線であるリンクと、各リンクの距離と、道路の形状(例えば、カーブの曲率半径に関する情報)および幅員および交差角度および種別となどの道路データを地図データとして備えている。
撮像制御部22は、乗員カメラ12による撮像を制御する。
視線方向検知部24は、顔画像取得部23により取得された顔画像から運転者の左右の眼球を検知対象物とした特徴量算出および形状判別などの認識処理を行ない、この処理結果に基づき、例えば、眼の虹彩や瞳孔の中心位置や、角膜表面における赤外線の反射像であるプルキニエ像の中心位置や、眼球中心位置や、目頭の位置などを用いた所定の視線検知処理により運転者の視線方向および注視点を検知する。
例えば、車両状態取得部25は、自車両の走行挙動の情報として、自車両の速度(車速)と、車体の姿勢と、進行方向および旋回方向と、ステアリングホイールの舵角(操舵角度)に応じた実舵角(転舵角度)との情報を取得する。
なお、カーブ検出部26は、例えば自車両の外界を撮像する外界カメラ(図示略)から出力される画像に基づいてカーブを検出してもよいし、例えば外部から受信した走行路に関する情報に基づきカーブを検出してもよい。
具体的には、脇見判定部27は、運転者の視線方向の角度(例えば、運転席に着座した運転者の正面方向を基準とした視線方向の角度)が、非脇見判定範囲を規定する所定の非脇見角度範囲を逸脱している状態が所定時間(例えば、2秒など)以上維持された場合には、運転者が脇見をしていると判定し、判定結果の信号を出力する。
一方、運転者の視線方向の角度が所定の非脇見角度範囲内であれば、運転者が脇見をしていないと判定し、判定結果の信号を出力する。
なお、自車両の旋回方向がカーブ方向に変化する以前の所定タイミングは、例えば視線方向検知部24により検知される視線方向が、この時点で設定されている非脇見判定範囲をカーブ方向側に逸脱して、この非脇見判定範囲の外の範囲に向かうときなどである。
これにより、例えば自車両Pがカーブに進入した後のタイミングのカーブ通過中の位置(P2)で転舵方向Aがカーブ方向に変化することに応じて、非脇見判定範囲Cをカーブ方向に変位させる場合に比べて、非脇見判定範囲Cの変更が遅れてしまうことが防止される。
つまり、下記数式(1)において、曲率半径Rがホイールベースlに比べて大きい場合には、下記数式(2)が成り立ち、さらに、下記数式(2)から下記数式(3)が導かれる。
これにより、判定範囲変更部28は、下記数式(3)に基づき、下記数式(4)に示すように、転舵角度δと距離αとホイールベースlとにより所定角度θを算出する。
基準点算出部30は、カーブ検出部26によって検出されたカーブ方向と、自車位置推定部29により推定された自車両の相対位置とに基づいて、自車両のフロントガラス上で運転者が視認すべき点である基準点(例えば、図5に示す接点Eなど)を算出する。
表示装置16は、例えば図5に示すように、車両のフロントウィンドWを表示画面とするヘッドアップディスプレイなどである。
表示装置16は、視線方向検知部24により検知された運転者の視線方向に応じた注視点(例えば、図5に示す注視点F)の位置および基準点算出部30により算出された基準点(例えば、図5に示す接点Eなど)の位置に各所定画像の虚像(例えば、円形画像など)を結像させるようにしてフロントウィンドW上に表示をおこなう。
12 乗員カメラ(撮像手段)
24 視線方向検知部(視線方向検出手段)
25 車両状態取得部(情報取得手段)
26 カーブ検出部(カーブ検出手段)
27 脇見判定部(脇見判定手段)
28 判定範囲変更部(範囲変更手段)
Claims (4)
- 車両の運転席に着座した運転者の顔を撮像して顔画像を出力する撮像手段と、該撮像手段から出力された前記顔画像から前記運転者の視線方向を検出して検出結果を出力する視線方向検出手段と、該視線方向検出手段から出力された前記検出結果の前記視線方向が所定範囲以外の範囲に向かう場合に前記運転者が脇見状態であると判定する脇見判定手段と、前記車両の旋回方向を含む走行挙動の情報を取得して取得結果を出力する情報取得手段と、該情報取得手段から出力された前記取得結果に基づいて前記所定範囲を所定量だけ変位させるようにして変更する範囲変更手段とを備える脇見判定装置であって、
前記車両から所定距離以内の前方におけるカーブの存在有無および当該カーブのカーブ方向を検出して検出結果を出力するカーブ検出手段を備え、
前記範囲変更手段は、前記カーブ検出手段から前記カーブの存在を示す前記検出結果が出力された場合に、前記情報取得手段から出力された前記取得結果の前記旋回方向が前記カーブ検出手段から出力された前記検出結果の前記カーブ方向に変化する以前であって、かつ、前記視線方向検出手段から出力された前記検出結果の前記視線方向が前記所定範囲から前記カーブ方向側に前記所定範囲の外の範囲に向かうときに前記所定範囲を前記カーブ方向に前記所定量だけ変位させるようにして変更し、
前記脇見判定手段は、前記範囲変更手段により変更された前記所定範囲に基づいて前記運転者が脇見状態であるか否かを判定することを特徴とする脇見判定装置。 - 前記情報取得手段は、前記車両の旋回方向および転舵角度を含む走行挙動の情報を取得して取得結果を出力しており、
前記脇見判定手段は、前記情報取得手段から出力された前記取得結果の前記転舵角度が所定値以上である場合には、前記運転者が脇見状態であるか否かの判定を禁止することを特徴とする請求項1に記載の脇見判定装置。 - 前記車両のフロントガラス上に所定画像を表示可能な表示手段と、
前記カーブ検出手段から前記カーブの存在を示す前記検出結果が出力された場合に、前記カーブに対する前記車両の相対位置を推定して推定結果を出力する位置推定手段と、
前記カーブ検出手段から出力された前記検出結果の前記カーブ方向と、前記位置推定手段から出力された前記推定結果の前記相対位置とに基づいて前記フロントガラス上で前記運転者が視認すべき点である基準点を算出して算出結果を出力する基準点算出手段とを備え、
前記表示手段は、前記カーブ検出手段から前記カーブの存在を示す前記検出結果が出力された場合に、前記基準点算出手段から出力された前記算出結果の前記基準点を示す前記所定画像を表示することを特徴とする請求項1または請求項2に記載の脇見判定装置。 - 前記基準点算出手段は、前記基準点として、前記位置推定手段から出力された前記推定結果の前記相対位置を含む直線が前記カーブの内周の接線になるときの接点を算出することを特徴とする請求項3に記載の脇見判定装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010198167A JP5184596B2 (ja) | 2010-09-03 | 2010-09-03 | 脇見判定装置 |
US13/221,001 US8447072B2 (en) | 2010-09-03 | 2011-08-30 | Inattention determining device |
EP11179567.0A EP2426001B1 (en) | 2010-09-03 | 2011-08-31 | Inattention determining device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010198167A JP5184596B2 (ja) | 2010-09-03 | 2010-09-03 | 脇見判定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012058769A JP2012058769A (ja) | 2012-03-22 |
JP5184596B2 true JP5184596B2 (ja) | 2013-04-17 |
Family
ID=44651210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010198167A Active JP5184596B2 (ja) | 2010-09-03 | 2010-09-03 | 脇見判定装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8447072B2 (ja) |
EP (1) | EP2426001B1 (ja) |
JP (1) | JP5184596B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11654923B2 (en) | 2021-03-31 | 2023-05-23 | Honda Motor Co., Ltd. | Act-of-looking-aside determination device |
US12080082B2 (en) | 2021-03-31 | 2024-09-03 | Honda Motor Co., Ltd | Act-of-looking-aside determination device |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8825304B2 (en) * | 2010-06-30 | 2014-09-02 | Microsoft Corporation | Mediation of tasks based on assessments of competing cognitive loads and needs |
EP2564765B1 (en) * | 2011-09-02 | 2017-12-13 | Volvo Car Corporation | System and method for improving a performance estimation of an operator of a vehicle |
JP5367037B2 (ja) * | 2011-09-26 | 2013-12-11 | 本田技研工業株式会社 | 顔向き検出装置 |
JP6056323B2 (ja) * | 2012-09-24 | 2017-01-11 | 富士通株式会社 | 視線検出装置、視線検出用コンピュータプログラム |
US9043098B2 (en) * | 2012-10-05 | 2015-05-26 | Komatsu Ltd. | Display system of excavating machine and excavating machine |
US9834221B2 (en) | 2012-10-19 | 2017-12-05 | Autoliv Development Ab | Driver attentiveness detection method and device |
JP6319349B2 (ja) * | 2015-04-03 | 2018-05-09 | 株式会社デンソー | 情報提示装置 |
JP6500711B2 (ja) * | 2015-09-07 | 2019-04-17 | コベルコ建機株式会社 | 脇見検出装置 |
FR3048544B1 (fr) * | 2016-03-01 | 2021-04-02 | Valeo Comfort & Driving Assistance | Dispositif et methode de surveillance d'un conducteur d'un vehicule automobile |
JP6583144B2 (ja) * | 2016-05-30 | 2019-10-02 | 株式会社デンソー | 安全運転支援装置及び安全運転支援プログラム |
JP6737057B2 (ja) * | 2016-08-10 | 2020-08-05 | 富士通株式会社 | 視線検出装置、視線検出方法、及び視線検出プログラム |
JP6727985B2 (ja) * | 2016-08-18 | 2020-07-22 | 株式会社東芝 | 情報処理装置、情報処理方法、および移動体 |
JP6627787B2 (ja) | 2017-01-17 | 2020-01-08 | トヨタ自動車株式会社 | ドライバ状態検出装置 |
JP6693427B2 (ja) | 2017-01-18 | 2020-05-13 | トヨタ自動車株式会社 | ドライバ状態検出装置 |
DE112017007073B4 (de) * | 2017-02-15 | 2024-03-07 | Mitsubishi Electric Corporation | Fahrzustandsbestimmungsvorrichtung, Bestimmungsvorrichtung und Fahrzustandsbestimmungsverfahren |
JP7180067B2 (ja) * | 2017-11-06 | 2022-11-30 | 日本電気株式会社 | 運転支援装置 |
JP6915502B2 (ja) * | 2017-11-09 | 2021-08-04 | トヨタ自動車株式会社 | ドライバ状態検出装置 |
JP2019091267A (ja) * | 2017-11-15 | 2019-06-13 | オムロン株式会社 | 脇見判定装置、脇見判定方法、およびプログラム |
JP6777060B2 (ja) * | 2017-11-15 | 2020-10-28 | オムロン株式会社 | 脇見判定装置、運転支援システム、脇見判定方法及び脇見判定のためのプログラム |
JP2019091281A (ja) * | 2017-11-15 | 2019-06-13 | オムロン株式会社 | 脇見判定装置、脇見判定方法及び脇見判定のためのプログラム |
CN109849659B (zh) * | 2017-11-30 | 2021-01-01 | 长城汽车股份有限公司 | 一种驾驶的安全保护方法及装置 |
JP7180228B2 (ja) * | 2018-09-20 | 2022-11-30 | いすゞ自動車株式会社 | 車両用監視装置 |
CN112149473B (zh) * | 2019-06-28 | 2023-04-07 | 北京眼神科技有限公司 | 虹膜图像采集方法 |
US11455744B2 (en) | 2020-02-07 | 2022-09-27 | Toyota Research Institute, Inc. | Systems and methods for determining a viewing direction of a user |
CN112381025A (zh) * | 2020-11-23 | 2021-02-19 | 恒大新能源汽车投资控股集团有限公司 | 一种驾驶员注意力检测方法、装置、电子设备及存储介质 |
JP2024103261A (ja) * | 2023-01-20 | 2024-08-01 | トヨタ自動車株式会社 | ドライバ状態検出装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6496117B2 (en) | 2001-03-30 | 2002-12-17 | Koninklijke Philips Electronics N.V. | System for monitoring a driver's attention to driving |
BRPI0411056A (pt) * | 2003-06-06 | 2007-04-17 | Volvo Technology Corp | método e disposição para controlar subsistemas veiculares baseados na atividade interpretativa do condutor |
JP4186749B2 (ja) * | 2003-08-11 | 2008-11-26 | トヨタ自動車株式会社 | 脇見判定装置 |
DE102005057267A1 (de) * | 2005-12-01 | 2007-06-06 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Fahrerzustandserkennung |
JP2007230491A (ja) * | 2006-03-03 | 2007-09-13 | Nissan Motor Co Ltd | 視覚情報呈示装置及び視覚情報呈示方法 |
JP4793092B2 (ja) * | 2006-05-16 | 2011-10-12 | トヨタ自動車株式会社 | 車両用情報提供装置 |
JP2009294753A (ja) * | 2008-06-03 | 2009-12-17 | Toyota Motor Corp | 画像処理装置および画像処理方法 |
US8028789B2 (en) * | 2008-07-31 | 2011-10-04 | GM Global Technology Operations LLC | Control adaptation of variable gear ratio steering |
DE102009005730A1 (de) | 2009-01-22 | 2010-07-29 | Hella Kgaa Hueck & Co. | Verfahren und Vorrichtung zur Überwachung der Aufmerksamkeit eines Fahrzeugführers |
US8344894B2 (en) * | 2009-04-02 | 2013-01-01 | GM Global Technology Operations LLC | Driver drowsy alert on full-windshield head-up display |
JP5353416B2 (ja) * | 2009-04-27 | 2013-11-27 | トヨタ自動車株式会社 | ドライバ状態監視装置及び車両制御装置 |
-
2010
- 2010-09-03 JP JP2010198167A patent/JP5184596B2/ja active Active
-
2011
- 2011-08-30 US US13/221,001 patent/US8447072B2/en active Active
- 2011-08-31 EP EP11179567.0A patent/EP2426001B1/en not_active Not-in-force
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11654923B2 (en) | 2021-03-31 | 2023-05-23 | Honda Motor Co., Ltd. | Act-of-looking-aside determination device |
US12080082B2 (en) | 2021-03-31 | 2024-09-03 | Honda Motor Co., Ltd | Act-of-looking-aside determination device |
Also Published As
Publication number | Publication date |
---|---|
EP2426001B1 (en) | 2015-01-14 |
US20120057749A1 (en) | 2012-03-08 |
JP2012058769A (ja) | 2012-03-22 |
US8447072B2 (en) | 2013-05-21 |
EP2426001A1 (en) | 2012-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5184596B2 (ja) | 脇見判定装置 | |
EP2535224B1 (en) | Driving support equipment for vehicles | |
KR102051142B1 (ko) | 차량용 운전자 위험 지수 관리 시스템 및 그 방법 | |
JP7307550B2 (ja) | 車両の運転制御システム | |
JP4926437B2 (ja) | 車両の運転支援装置 | |
JP6428713B2 (ja) | 情報表示装置 | |
JP4749958B2 (ja) | 運転支援装置 | |
JP6350145B2 (ja) | 顔向き検出装置及び車両用警告システム | |
JP4735676B2 (ja) | 走行支援装置 | |
WO2016151638A1 (ja) | ドライバ支援システム | |
JP7307549B2 (ja) | 車両の運転制御システム | |
JP4815960B2 (ja) | 視認状態判断装置、自動車、及び視認状態判断方法 | |
JP2018116495A (ja) | ドライバ状態検出装置 | |
JP6187155B2 (ja) | 注視対象物推定装置 | |
JP2016091192A (ja) | 虚像表示装置、制御方法、プログラム、及び記憶媒体 | |
JP7140154B2 (ja) | 車両制御装置 | |
JP6259680B2 (ja) | 安全確認判定装置、及び運転支援装置 | |
CN113631411B (zh) | 显示控制装置、显示控制方法及记录介质 | |
JP2010262478A (ja) | 車両制御システム及び安全確認判定装置 | |
JP2016118859A (ja) | 情報表示装置、制御方法、プログラム、及び記憶媒体 | |
US12080082B2 (en) | Act-of-looking-aside determination device | |
US11654923B2 (en) | Act-of-looking-aside determination device | |
US20230394702A1 (en) | Device, method, and computer program for estimating seat position | |
JP2010066968A (ja) | 視線状態検出装置 | |
JP7159716B2 (ja) | 準備状態推定装置、方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120828 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121005 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130116 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5184596 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160125 Year of fee payment: 3 |