JP6762157B2 - 乗員の視線方向を予測する方法および装置 - Google Patents
乗員の視線方向を予測する方法および装置 Download PDFInfo
- Publication number
- JP6762157B2 JP6762157B2 JP2016142095A JP2016142095A JP6762157B2 JP 6762157 B2 JP6762157 B2 JP 6762157B2 JP 2016142095 A JP2016142095 A JP 2016142095A JP 2016142095 A JP2016142095 A JP 2016142095A JP 6762157 B2 JP6762157 B2 JP 6762157B2
- Authority
- JP
- Japan
- Prior art keywords
- head
- occupant
- movement
- eye
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Eye Examination Apparatus (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Traffic Control Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
乗員の初期視線方向を読み取るステップ;
最新の頭部の動きおよび/または目の動きを表す乗員の視線角度変化に関するセンサデータを使用して、初期視線方向を起点として乗員の最新の頭部の動きおよび/または目の動きの最大速度を検出するステップと;
検出された最大速度を使用して所定モデルによって表わされる最新の頭部の動きおよび/または目の動きの予想値を決定するステップと;
初期視線方向および最新の頭部の動きおよび/または目の動きの予測値を使用して乗員の視線方向を予想するステップと
を含む。
A=−ln(1−Vpeak/Vmax)×C
104 トラッキングシステム(ヘッドトラッキングシステム、アイトラッキングシステム)
106 車両カメラ
108 光学センサ
110 装置
112 頭部
114 初期視線方向
116 目
118 センサデータ
120 視線方向
200 方法
202 読取ステップ
204 読取ステップ
206 検出ステップ
208 決定ステップ
210 使用ステップ
300 グラフ
400 回転軸線
400 頭部中心
402 検出範囲
404 停止位置
406 グラフ
500 最大速度
502 視線方向
Claims (12)
- 車両(100)の乗員(102)の視線方向(120)を予測する方法(200)において、前記方法(200)が、
前記乗員(102)の初期視線方向(114)を読み取る読取ステップ(202)と、
最新の頭部の動きおよび/または目の動きを表す前記乗員(102)の視線角度変化に関するセンサデータ(118)を使用して、初期視線方向(114)を起点として前記乗員(102)の最新の頭部の動きおよび/または目の動きの最大速度(500)を検出する検出ステップ(206)と、
検出された最大速度(500)を使用して、所定モデル(406)によって前記初期視線方向から動き終了時までの頭部または目の回転量の予想値を決定する決定ステップ(208)と、
乗員(102)の動き終了時の視線方向(120)を予想するために、初期視線方向(114)および前期初期視線方向から動き終了時までの頭部または目の回転量の予想値を使用する使用ステップ(210)と、
を含む方法(200)。 - 請求項1に記載の方法(200)において、
前記車両(100)の光学センサ(108)のインターフェイスを介して、最新の頭部の動きおよび/または目の動きを表す乗員(102)の視線角度変化についての前記センサデータ(118)を読み取る読取ステップ(204)、
を含む方法(200)。 - 請求項1または2に記載の方法(200)において、
前記検出ステップ(206)で検出された前記最大速度(500)が所定の速度閾値を超過した場合に、前記検出された最大速度(500)を使用して、所定モデル(406)によって前記初期視線方向から動き終了時までの頭部または目の回転量の予想値を決定する決定ステップ(208)を実施する方法(200)。 - 請求項1〜3までのいずれか一項に記載の方法(200)において、
前記検出された最大速度(500)を使用して、所定モデル(406)によって前記初期視線方向から動き終了時までの頭部または目の回転量の予想値を決定する決定ステップ(208)で、保存された式によって計算可能なモデルを前記所定モデル(406)として使用する方法(200)。 - 請求項1〜3までのいずれか一項に記載の方法(200)において、
前記検出された最大速度(500)を使用して、所定モデル(406)によって前記初期視線方向から動き終了時までの頭部または目の回転量の予想値を決定する決定ステップ(208)で、ルックアップテーブルとして実施されるモデルを前記所定モデル(406)として使用する方法(200)。 - 請求項1〜3までのいずれか一項に記載の方法(200)において、
前記検出された最大速度(500)を使用して、所定モデル(406)によって前記初期視線方向から動き終了時までの頭部または目の回転量の予想値を決定する決定ステップ(208)で、人および/または乗員の頭部の動きおよび/または目の動きの経験的な評価に基づいたモデルを前記所定モデル(406)として使用する方法(200)。 - 請求項1〜6までのいずれか一項に記載の方法(200)において、
前記検出された最大速度(500)を使用して、所定モデル(406)によって前記初期視線方向から動き終了時までの頭部または目の回転量の予想値を決定する決定ステップ(208)で、少なくとも1つの調整パラメータを使用して調整可能であり、特に少なくとも1つの調整パラメータによって車両の使用環境に適合させることができるモデルを前記所定モデル(406)として使用する方法(200)。 - 請求項7に記載の方法(200)において、
調整パラメータとして、乗員に固有に設定可能な調整パラメータを使用する方法(200)。 - 請求項8に記載の方法(200)において、
乗員に固有に設定可能および/または設定された調整パラメータとして、統計的な推定方法によって検出される乗員に固有に設定可能な設定された調整パラメータを使用する方法(200)。 - 請求項1〜9までのいずれか一項に記載の方法(200)を実施するように構成された装置(110)。
- 請求項1〜9までのいずれか一項に記載の方法(200)を実施するように構成されたコンピュータプログラム。
- 請求項11に記載のコンピュータプログラムが記憶された機械読取可能な記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015213769.4A DE102015213769A1 (de) | 2015-07-22 | 2015-07-22 | Verfahren und Vorrichtung zum Prädizieren einer Blickrichtung eines Fahrzeuginsassen |
DE102015213769.4 | 2015-07-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017024711A JP2017024711A (ja) | 2017-02-02 |
JP6762157B2 true JP6762157B2 (ja) | 2020-09-30 |
Family
ID=57738649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016142095A Active JP6762157B2 (ja) | 2015-07-22 | 2016-07-20 | 乗員の視線方向を予測する方法および装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10074023B2 (ja) |
JP (1) | JP6762157B2 (ja) |
CN (1) | CN106372568B (ja) |
DE (1) | DE102015213769A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10962780B2 (en) * | 2015-10-26 | 2021-03-30 | Microsoft Technology Licensing, Llc | Remote rendering for virtual images |
JP6895837B2 (ja) | 2017-07-25 | 2021-06-30 | 三菱電機株式会社 | 表示装置 |
FR3069657A1 (fr) * | 2017-07-31 | 2019-02-01 | Valeo Comfort And Driving Assistance | Dispositif optique pour l'observation d'un habitacle de vehicule |
CN107770561A (zh) * | 2017-10-30 | 2018-03-06 | 河海大学 | 一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法 |
DE102017221871A1 (de) * | 2017-12-05 | 2019-06-06 | Volkswagen Aktiengesellschaft | Verfahren zur Berechnung der Bewegungsdaten des Kopfes eines Fahrers eines Fahrzeuges, Datenbrille sowie Fahrzeug zur Verwendung bei dem Verfahren und Computerprogramm |
CN111731311B (zh) * | 2020-05-29 | 2023-04-07 | 阿波罗智联(北京)科技有限公司 | 车机行驶的安全控制方法、装置、设备以及存储介质 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2758023B2 (ja) * | 1989-05-17 | 1998-05-25 | 日本放送協会 | 画像表示装置 |
JP2688526B2 (ja) * | 1989-09-25 | 1997-12-10 | 日本電信電話株式会社 | 注視方向予測装置 |
US5287437A (en) * | 1992-06-02 | 1994-02-15 | Sun Microsystems, Inc. | Method and apparatus for head tracked display of precomputed stereo images |
US5793310A (en) * | 1994-02-04 | 1998-08-11 | Nissan Motor Co., Ltd. | Portable or vehicular navigating apparatus and method capable of displaying bird's eye view |
CN100398065C (zh) * | 2002-10-15 | 2008-07-02 | 沃尔沃技术公司 | 解释对象的头部和眼睛活动的方法和装置 |
US20060209013A1 (en) * | 2005-03-17 | 2006-09-21 | Mr. Dirk Fengels | Method of controlling a machine connected to a display by line of vision |
CN101512617B (zh) * | 2006-09-04 | 2012-02-01 | 松下电器产业株式会社 | 行驶信息提供装置 |
JP4811259B2 (ja) * | 2006-12-11 | 2011-11-09 | 日産自動車株式会社 | 視線方向推定装置及び視線方向推定方法 |
WO2009041055A1 (ja) * | 2007-09-26 | 2009-04-02 | Panasonic Corporation | ビーム走査型表示装置、その表示方法、プログラム、及び集積回路 |
JP2011047902A (ja) * | 2009-08-28 | 2011-03-10 | Honda Motor Co Ltd | 乗員移動量算出装置 |
RU2514924C2 (ru) * | 2009-12-18 | 2014-05-10 | Хонда Мотор Ко., Лтд. | Прогнозирующий человеко-машинный интерфейс с использованием технологии обнаружения взгляда, индикаторов "мертвых" зон и водительского опыта |
KR101544524B1 (ko) * | 2010-12-16 | 2015-08-17 | 한국전자통신연구원 | 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법 |
US8885882B1 (en) * | 2011-07-14 | 2014-11-11 | The Research Foundation For The State University Of New York | Real time eye tracking for human computer interaction |
US20150022664A1 (en) * | 2012-01-20 | 2015-01-22 | Magna Electronics Inc. | Vehicle vision system with positionable virtual viewpoint |
CN102963298A (zh) * | 2012-09-29 | 2013-03-13 | 重庆长安汽车股份有限公司 | 基于视线检测的异常行为监控方法 |
KR101970577B1 (ko) * | 2013-04-09 | 2019-04-19 | 엘지디스플레이 주식회사 | 입체 영상 표시 장치 및 그의 아이-트랙킹 방법 |
DE102013210746A1 (de) * | 2013-06-10 | 2014-12-11 | Robert Bosch Gmbh | System und Verfahren zum Überwachen und/oder Bedienen einer technischen Anlage, insbesondere eines Fahrzeugs |
WO2015019542A1 (ja) * | 2013-08-08 | 2015-02-12 | パナソニックIpマネジメント株式会社 | 視野算出装置および視野算出方法 |
CN103439801B (zh) * | 2013-08-22 | 2016-10-26 | 北京智谷睿拓技术服务有限公司 | 视力保护成像装置及方法 |
US20150054951A1 (en) * | 2013-08-22 | 2015-02-26 | Empire Technology Development, Llc | Influence of line of sight for driver safety |
JP2015087824A (ja) * | 2013-10-28 | 2015-05-07 | オムロン株式会社 | 画面操作装置および画面操作方法 |
US9529199B2 (en) * | 2014-01-21 | 2016-12-27 | Osterhout Group, Inc. | See-through computer display systems |
US9563805B2 (en) * | 2014-09-02 | 2017-02-07 | Hong Kong Baptist University | Method and apparatus for eye gaze tracking |
CN104391574A (zh) * | 2014-11-14 | 2015-03-04 | 京东方科技集团股份有限公司 | 视线处理方法、系统、终端设备及穿戴式设备 |
US9857871B2 (en) * | 2015-09-04 | 2018-01-02 | Sony Interactive Entertainment Inc. | Apparatus and method for dynamic graphics rendering based on saccade detection |
JP6692650B2 (ja) * | 2016-02-02 | 2020-05-13 | 株式会社デンソーテン | 情報処理装置および情報処理方法 |
-
2015
- 2015-07-22 DE DE102015213769.4A patent/DE102015213769A1/de active Pending
-
2016
- 2016-07-15 US US15/211,186 patent/US10074023B2/en active Active
- 2016-07-20 JP JP2016142095A patent/JP6762157B2/ja active Active
- 2016-07-21 CN CN201610576462.7A patent/CN106372568B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN106372568B (zh) | 2021-06-29 |
CN106372568A (zh) | 2017-02-01 |
JP2017024711A (ja) | 2017-02-02 |
DE102015213769A1 (de) | 2017-01-26 |
US10074023B2 (en) | 2018-09-11 |
US20170024624A1 (en) | 2017-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6762157B2 (ja) | 乗員の視線方向を予測する方法および装置 | |
US10159436B2 (en) | Method and apparatus for recognizing fatigue affecting a driver | |
US9526448B2 (en) | State estimation device and state estimation program | |
JP6768390B2 (ja) | 車両の乗員の視線方向を推定する方法および装置、ならびに車両の乗員に特有の頭部動作増強パラメータを決定する方法および装置 | |
US20180173975A1 (en) | Driver state monitoring using corneal reflection detection | |
CN103568992B (zh) | 用于为车辆的驾驶员定位声音图像的设备和方法 | |
CN110448316A (zh) | 数据处理装置及方法、监测系统、唤醒系统以及记录介质 | |
JP2008079737A (ja) | 集中度評価装置及びこれを用いた車両用表示装置 | |
JP2015207163A (ja) | 状態推定装置、および状態推定プログラム | |
EP3440592B1 (en) | Method and system of distinguishing between a glance event and an eye closure event | |
US10684695B2 (en) | Data processing device, monitoring system, awakening system, data processing method, and data processing program | |
US20210276581A1 (en) | Vehicle controller | |
JP6418342B1 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
EP3270764B1 (en) | Situational awareness monitoring method and apparatus | |
US20230227044A1 (en) | Apparatus, method, and computer program for monitoring driver | |
JP5003705B2 (ja) | 開閉眼状態判定装置、前横向き状態判定装置、及びプログラム | |
JP2018045451A (ja) | 車両制御装置 | |
JP6770488B2 (ja) | 注視対象物推定装置、注視対象物推定方法、およびプログラム | |
US20230394702A1 (en) | Device, method, and computer program for estimating seat position | |
JP6948254B2 (ja) | 視覚負担定量装置 | |
JP2010267206A (ja) | 開閉眼状態判定装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190711 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200626 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200807 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200904 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200908 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6762157 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |