JP5230748B2 - 視線方向判定装置及び視線方向判定方法 - Google Patents
視線方向判定装置及び視線方向判定方法 Download PDFInfo
- Publication number
- JP5230748B2 JP5230748B2 JP2010530731A JP2010530731A JP5230748B2 JP 5230748 B2 JP5230748 B2 JP 5230748B2 JP 2010530731 A JP2010530731 A JP 2010530731A JP 2010530731 A JP2010530731 A JP 2010530731A JP 5230748 B2 JP5230748 B2 JP 5230748B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- coordinate
- unit
- gaze direction
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 48
- 210000001508 eye Anatomy 0.000 claims description 178
- 210000004087 cornea Anatomy 0.000 claims description 106
- 238000001514 detection method Methods 0.000 claims description 102
- 210000001747 pupil Anatomy 0.000 claims description 91
- 238000004364 calculation method Methods 0.000 claims description 62
- 238000003384 imaging method Methods 0.000 claims description 58
- 230000001678 irradiating effect Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 13
- 210000005252 bulbus oculi Anatomy 0.000 description 12
- 230000001815 facial effect Effects 0.000 description 9
- 238000005259 measurement Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000005484 gravity Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000005204 segregation Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/68—Analysis of geometric attributes of symmetry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Pathology (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Developmental Disabilities (AREA)
- Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Psychiatry (AREA)
- Eye Examination Apparatus (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
中心座標である第1座標と、他方の目の瞳孔の中心座標である第2座標とを検出する瞳孔検出部と、前記顔画像から、前記一方の目の角膜における前記光源の角膜反射像の中心座標である第3座標と、前記他方の目の角膜における前記光源の角膜反射像の中心座標である第4座標とを検出する角膜反射像検出部と、前記第1座標と前記第2座標とを結ぶ第1の線分の垂直二等分線を算出し、前記垂直二等分線に対して前記第3座標と線対称の位置座標である線対称位置座標を算出する線対称位置算出部と、前記第4座標と前記線対称位置座標との座標距離を算出し、前記座標距離と所定の閾値との比較に基づいて、前記両目の視線方向を判定する視線方向判定部と、を備える構成を採る。
本発明は、照明手段を備える撮像装置で取得した顔画像から、瞳、もしくは瞳孔の中心と、照明の角膜反射像を検出し、それらの線対称性から、被験者の視線方向を判定する視線方向判定装置に関する。ここに、視線方向判定とは、被験者の視線が、特定の方向を向いているか否かを判定することを表す。但し、特定方向とは必ずしも1つである必要はなく、複数の方向であってもよい。
r)などのイメージセンサを備えており、同期部113から入力される同期信号に合わせて、画像を取得する。
なわち、視線方向判定装置100は、制御部であるCPU、制御プログラムが記録されたROM、及びプログラム実行用のRAM等、撮像装置であるカメラ、表示・警報装置である表示部を有し、この制御部が視線方向判定装置100の各部の動作を制御する。図1の各部は、制御部が実行する視線方向判定処理を行うブロックとして明示したものである。
[アルゴリズム]
1.瞳孔と角膜反射像を検出
2.左右瞳孔の垂直二等分線に関して対称な位置に片方の反射像を投影
3.投影反射像ともう一方の反射像のずれを検出
4.ずれ量が閾値以下ならその時の視線方向をカメラ方向と判定
図5は、視線方向判定アルゴリズムを説明する図であり、図5Aは顔画像を示し、図5Bは顔画像と顔画像に基づいて算出された両目の瞳孔を結ぶ線分の垂直二等分線を示す。
本アルゴリズムの実現手段については、図6の視線方向判定処理フローにより後述する。
端点や鼻の穴などの2次元座標を検出する。
線対称性評価値から、視線方向が特定の方向であるか否かを判定する。例えば、線対称性評価値があらかじめ定められた閾値以上であれば、特定の方向を向いていると判定する。
また、本実施の形態では、左右の角膜反射像の線対称性を表す評価値を算出する評価値算出160を備え、視線方向判定部170は、この評価値を基に、まず左右角膜反射像の線対称性を判断し、次に特定の視線方向を判定するので、より一層精度の良い視線方向判定が可能になる。
図9は、本発明の実施の形態2に係る視線方向判定装置の構成を示すブロック図である。本実施の形態の説明に当たり、図1と同一構成部分には同一番号を付して重複箇所の説明を省略する。
実施の形態3は、視線方向検出装置の検出誤差を自動的に補正する機能を有する、自動校正機能付き視線方向検出装置の適用例である。
すブロック図である。
a.視線方向検出は、次のように、顔部品検出部190で検出した目尻及び目頭と、瞳孔検出部141で検出した瞳孔の中心から視線方向を算出する。
b.まず、目尻及び目頭の位置から、眼球の中心位置を推定する。例えば、目尻及び目頭を結ぶ線分の法線方向に、あらかじめ定められた距離だけ進んだところに眼球中心があるとみなす。
c.また、あらかじめ、目尻及び目頭に対する眼球中心の位置を多数の被験者に対して計測し、その平均を採るなど統計的な手法を採ってもよい。
d.次に、推定した眼球中心と瞳孔中心を結ぶ直線を算出する。
e.最後に、前記直線の方向ベクトルを算出し、これを視線方向ベクトルとして取得する。
って煩雑で負荷のかかる作業を必要としない優れた効果がある。これにより、以下の効果を得ることができる。
図14は、本発明の実施の形態4に係る視線方向判定装置の構成を示すブロック図である。
し、両目の瞳孔の中心座標を算出する。具体的には、瞳孔検出部1402は、顔画像に含まれる両目に対して円形分離度フィルタを適用することにより、最も輝度の分離度が高い円を瞳孔として検出し、顔画像における瞳孔の中心座標を算出する。
、両目の角膜の形状が同一である等の条件の下においては、角膜投影像1611aと左目の角膜反射像1608aとは、同一座標となる。
110 画像入力部
111 撮像部
112 照射部
113 同期部
120 顔検出部
130 顔部品検出部
140 画像特徴検出部
141 瞳孔検出部
142 角膜反射像検出部
150 線対称位置算出部
160 評価値算出部
170 視線方向判定部
501 顔方向算出部
502 顔視線方向判定部
600 自動校正機能付き視線方向検出装置
610 視線方向算出部
620 視線検出校正部
630 校正パラメータ記憶部
640 出力部
1400 視線方向判定装置
1401 撮像部
1402 瞳孔検出部
1403 角膜反射像検出部
1404 線対称位置算出部
1405 視線方向判定部
1501 右目の瞳孔
1502 左目の瞳孔
1503 右目の眼球
1504 左目の眼球
1505 右目の瞳孔の中心と左目の瞳孔の中心とを結ぶ線分
1506 平面
1507 垂線
1508 垂線
1509 垂直二等分線
1510 垂線の足
1511 垂線の足
1600 顔画像
1601 右目
1602 左目
1603 右目の角膜
1604 左目の角膜
1605 右目の瞳孔
1606 左目の瞳孔
1607 右目の角膜反射像
1608 左目の角膜反射像
1609 線分
1610 垂直二等分線
1611 角膜投影像 1700 視線方向判定装置
1701 警報装置部
Claims (7)
- 両目を含む顔画像を撮像する撮像部と、
前記両目の角膜を光源によって照射する照射部と、
前記顔画像から、前記両目のうち、一方の目の瞳孔の中心座標である第1座標と、他方の目の瞳孔の中心座標である第2座標とを検出する瞳孔検出部と、
前記顔画像から、前記一方の目の角膜における前記光源の角膜反射像の中心座標である第3座標と、前記他方の目の角膜における前記光源の角膜反射像の中心座標である第4座標とを検出する角膜反射像検出部と、
前記第1座標と前記第2座標とを結ぶ第1の線分の垂直二等分線を算出し、前記垂直二等分線に対して前記第3座標と線対称の位置座標である線対称位置座標を算出する線対称位置算出部と、
前記第4座標と前記線対称位置座標との座標距離を算出し、前記座標距離と所定の閾値との比較に基づいて、前記両目の視線方向を判定する視線方向判定部と、
を備える視線方向判定装置。 - 前記撮像部から前記第1の線分を含む平面への垂線の足と、前記照射部から前記平面への垂線の足とを結ぶ第2の線分が、前記第1の線分と直行する請求項1記載の視差方向判定装置。
- 警報装置を更に有し、
前記警報装置は、前記視線方向判定部における判定結果を受け、前記視線方向が特定の方向ではないという判定結果を受けた回数をカウントし、前記カウント数が所定の回数を超えた場合は警告を発する請求項1記載の視線方向判定装置。 - 前記警報装置は、前記視線方向が前記特定の方向であるという判定結果を受けた場合、前記カウント数をゼロにする請求項3記載の視線方向判定装置。
- 前記顔画像に基づいて顔方向を判定する顔方向算出部と、
前記顔方向算出部において前記顔方向が前記特定の方向であると判定された場合は、前記座標距離と前記所定の閾値とに基づいて、視線方向を判定する顔視線方向判定部を更に有し、
前記視線方向判断部は、顔の方向をパラメータにして、視線方向を判定する請求項1記載の視線方向判定装置。 - 前記撮像部において取得した前記顔画像から視線方向情報を算出する視線方向算出部と、
前記視線方向判定部における判定結果と、前記視線方向算出情報とに基づいて、前記視線方向のずれ値を算出し、前記ずれ値に基づいて視線方向を校正する校正部と、
を備える請求項1記載の視線方向判定装置。 - 両目を含む顔画像を撮像し、
前記両目の角膜を光源によって照射し、
前記顔画像から、前記両目のうち、一方の目の瞳孔の中心座標である第1座標と、他方の目の瞳孔の中心座標である第2座標とを検出し、
前記顔画像から、前記一方の目の角膜における前記光源の角膜反射像の中心座標である第3座標と、前記他方の目の角膜における前記光源の角膜反射像の中心座標である第4座標とを検出し、
前記第1座標と前記第2座標とを結ぶ第1の線分の垂直二等分線を算出し、前記垂直二等分線に対して前記第3座標と線対称の位置座標である線対称位置座標を算出し、
前記第4座標と前記線対称位置座標との座標距離を算出し、前記座標距離と所定の閾値との比較に基づいて、前記両目の視線方向を判定する視線方向判定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010530731A JP5230748B2 (ja) | 2008-09-26 | 2009-09-25 | 視線方向判定装置及び視線方向判定方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008248877 | 2008-09-26 | ||
JP2008248877 | 2008-09-26 | ||
PCT/JP2009/004853 WO2010035472A1 (ja) | 2008-09-26 | 2009-09-25 | 視線方向判定装置及び視線方向判定方法 |
JP2010530731A JP5230748B2 (ja) | 2008-09-26 | 2009-09-25 | 視線方向判定装置及び視線方向判定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2010035472A1 JPWO2010035472A1 (ja) | 2012-02-16 |
JP5230748B2 true JP5230748B2 (ja) | 2013-07-10 |
Family
ID=42059485
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010530731A Active JP5230748B2 (ja) | 2008-09-26 | 2009-09-25 | 視線方向判定装置及び視線方向判定方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US8538044B2 (ja) |
EP (1) | EP2338416B1 (ja) |
JP (1) | JP5230748B2 (ja) |
CN (1) | CN102149325B (ja) |
WO (1) | WO2010035472A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101470243B1 (ko) * | 2013-11-15 | 2014-12-05 | 현대자동차주식회사 | 시선 검출 장치 및 그 시선 검출 방법 |
US10757337B2 (en) | 2016-05-10 | 2020-08-25 | Sony Corporation | Information processing apparatus and information processing method to control exposure for imaging the eye |
Families Citing this family (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5634111B2 (ja) * | 2010-04-28 | 2014-12-03 | キヤノン株式会社 | 映像編集装置、映像編集方法及びプログラム |
JP5387763B2 (ja) * | 2010-05-25 | 2014-01-15 | 富士通株式会社 | 映像処理装置、映像処理方法及び映像処理プログラム |
JP5529660B2 (ja) * | 2010-07-20 | 2014-06-25 | パナソニック株式会社 | 瞳孔検出装置及び瞳孔検出方法 |
JP5618686B2 (ja) * | 2010-08-03 | 2014-11-05 | キヤノン株式会社 | 視線検出装置、視線検出方法及びプログラム |
US9329683B2 (en) * | 2010-12-08 | 2016-05-03 | National University Corporation Shizuoka University | Method for detecting point of gaze and device for detecting point of gaze |
JP5714951B2 (ja) * | 2011-03-22 | 2015-05-07 | パナソニック株式会社 | 両眼瞳孔検査装置 |
IL215883A0 (en) * | 2011-10-24 | 2012-03-01 | Iriss Medical Technologies Ltd | System and method for indentifying eye conditions |
CN104094197B (zh) * | 2012-02-06 | 2018-05-11 | 索尼爱立信移动通讯股份有限公司 | 利用投影仪的注视追踪 |
US9148537B1 (en) * | 2012-05-18 | 2015-09-29 | hopTo Inc. | Facial cues as commands |
US9395826B1 (en) | 2012-05-25 | 2016-07-19 | hopTo Inc. | System for and method of translating motion-based user input between a client device and an application host computer |
CN103054548A (zh) * | 2012-07-05 | 2013-04-24 | 东北电力大学 | 凝视点测量装置及瞳孔、普尔钦亮斑识别方法 |
JP2014048936A (ja) * | 2012-08-31 | 2014-03-17 | Omron Corp | ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム |
US8937552B1 (en) * | 2013-01-02 | 2015-01-20 | The Boeing Company | Heads down warning system |
US9730655B2 (en) * | 2013-01-21 | 2017-08-15 | Tracy J. Stark | Method for improved detection of nodules in medical images |
JP6157165B2 (ja) * | 2013-03-22 | 2017-07-05 | キヤノン株式会社 | 視線検出装置及び撮像装置 |
KR102037417B1 (ko) * | 2013-08-13 | 2019-10-28 | 삼성전자주식회사 | 홍채 영상 촬영 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 홍채 영상 촬영 장치 |
WO2015064080A1 (ja) * | 2013-11-01 | 2015-05-07 | パナソニックIpマネジメント株式会社 | 視線方向検出装置および視線方向検出方法 |
CN103594003B (zh) * | 2013-11-13 | 2015-11-25 | 安徽三联交通应用技术股份有限公司 | 一种用于驾驶人的远程监控与异常预警的方法 |
US9189692B2 (en) * | 2014-02-14 | 2015-11-17 | GM Global Technology Operations LLC | Methods and systems for detecting driver attention to objects |
TWI577327B (zh) | 2014-08-14 | 2017-04-11 | 由田新技股份有限公司 | 瞳孔定位方法與裝置及其電腦程式產品 |
KR101610496B1 (ko) * | 2014-08-26 | 2016-04-07 | 현대자동차주식회사 | 시선 추적 방법 및 장치 |
KR20160025316A (ko) * | 2014-08-27 | 2016-03-08 | 현대자동차주식회사 | 동공 검출 시스템 및 그 방법 |
JP6346525B2 (ja) * | 2014-08-29 | 2018-06-20 | アルプス電気株式会社 | 視線検出装置 |
JP2016106668A (ja) * | 2014-12-02 | 2016-06-20 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN107003752B (zh) | 2014-12-17 | 2020-04-10 | 索尼公司 | 信息处理装置、信息处理方法以及程序 |
JP2015159550A (ja) * | 2015-03-19 | 2015-09-03 | オリンパス株式会社 | 撮像装置、撮像方法およびプログラム |
JP2017063995A (ja) * | 2015-09-29 | 2017-04-06 | 株式会社トプコン | 眼科装置 |
CN105704369B (zh) * | 2016-01-20 | 2019-02-15 | 努比亚技术有限公司 | 一种信息处理方法及装置、电子设备 |
CN105913487B (zh) * | 2016-04-09 | 2018-07-06 | 北京航空航天大学 | 一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法 |
CN106123819B (zh) * | 2016-06-29 | 2018-07-24 | 华中科技大学 | 一种注意力焦点测量方法 |
US9875398B1 (en) * | 2016-06-30 | 2018-01-23 | The United States Of America As Represented By The Secretary Of The Army | System and method for face recognition with two-dimensional sensing modality |
CN110167823B (zh) * | 2016-07-01 | 2022-08-12 | 视力移动技术有限公司 | 用于驾驶员监测的系统和方法 |
JP6737057B2 (ja) * | 2016-08-10 | 2020-08-05 | 富士通株式会社 | 視線検出装置、視線検出方法、及び視線検出プログラム |
JP6800091B2 (ja) * | 2017-06-09 | 2020-12-16 | 株式会社豊田中央研究所 | 視線計測装置及びプログラム |
CN107323338B (zh) * | 2017-07-03 | 2020-04-03 | 北京汽车研究总院有限公司 | 车用转向灯控制系统、控制方法及车辆 |
JP6953247B2 (ja) * | 2017-09-08 | 2021-10-27 | ラピスセミコンダクタ株式会社 | ゴーグル型表示装置、視線検出方法及び視線検出システム |
JP7180067B2 (ja) * | 2017-11-06 | 2022-11-30 | 日本電気株式会社 | 運転支援装置 |
EP3480729B1 (en) * | 2017-11-07 | 2023-03-01 | Tata Consultancy Services Limited | System and method for face position tracking and alerting user |
KR102460665B1 (ko) * | 2017-12-14 | 2022-10-31 | 삼성전자주식회사 | 응시 거리를 결정하는 방법 및 디바이스 |
JP6717330B2 (ja) | 2018-03-15 | 2020-07-01 | オムロン株式会社 | 視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、及びコンピュータプログラム |
US12076087B2 (en) * | 2018-03-29 | 2024-09-03 | Sony Corporation | Information processing apparatus and information processing method |
CN108891414A (zh) * | 2018-05-22 | 2018-11-27 | 通化市聚诚网络科技有限公司 | 一种车道变换辅助方法及装置 |
KR102115150B1 (ko) * | 2018-05-29 | 2020-06-08 | 상명대학교산학협력단 | 얼굴 대칭성 측정 장치 및 방법 |
JP7180228B2 (ja) * | 2018-09-20 | 2022-11-30 | いすゞ自動車株式会社 | 車両用監視装置 |
WO2020065790A1 (ja) * | 2018-09-26 | 2020-04-02 | 日本電気株式会社 | 推定装置、推定方法、および記憶媒体 |
US11348370B2 (en) * | 2018-10-16 | 2022-05-31 | Nec Corporation | Iris authentication device, iris authentication method, and recording medium |
JP7173836B2 (ja) * | 2018-11-05 | 2022-11-16 | 京セラ株式会社 | コントローラ、位置判定装置、位置判定システム、表示システム、プログラム、および記録媒体 |
JP7192570B2 (ja) * | 2019-02-27 | 2022-12-20 | 株式会社Jvcケンウッド | 記録再生装置、記録再生方法およびプログラム |
WO2020183732A1 (ja) * | 2019-03-14 | 2020-09-17 | 日本電気株式会社 | 情報処理装置、情報処理システム、情報処理方法及び記録媒体 |
TWI725441B (zh) * | 2019-05-15 | 2021-04-21 | 劉恩銓 | 生物訊號檢測分析方法 |
CN110363133B (zh) * | 2019-07-10 | 2021-06-01 | 广州市百果园信息技术有限公司 | 一种视线检测和视频处理的方法、装置、设备和存储介质 |
US20230043992A1 (en) * | 2020-01-08 | 2023-02-09 | Mitsubishi Electric Corporation | Pupil detection device, line-of-sight detection device, occupant monitoring system, and pupil detection method |
WO2021171395A1 (ja) * | 2020-02-26 | 2021-09-02 | 三菱電機株式会社 | 瞳孔位置検出装置、視線検出装置、及び瞳孔位置検出方法 |
WO2021171396A1 (ja) * | 2020-02-26 | 2021-09-02 | 三菱電機株式会社 | 瞳孔位置検出装置、視線検出装置、及び瞳孔位置検出方法 |
JP7538647B2 (ja) | 2020-07-27 | 2024-08-22 | キヤノン株式会社 | 視線位置処理装置、撮像装置、学習装置、視線位置処理方法、学習方法、及びプログラム |
KR102497805B1 (ko) * | 2020-07-31 | 2023-02-10 | 주식회사 펫타버스 | 인공지능 기반 반려동물 신원확인 시스템 및 방법 |
CN111860440B (zh) * | 2020-07-31 | 2024-08-06 | 广州繁星互娱信息科技有限公司 | 人脸特征点的位置调整方法、装置、终端及存储介质 |
CN112270283A (zh) * | 2020-11-04 | 2021-01-26 | 北京百度网讯科技有限公司 | 异常驾驶行为确定方法、装置、设备、车辆和介质 |
CN112541400B (zh) * | 2020-11-20 | 2024-06-21 | 小米科技(武汉)有限公司 | 基于视线估计的行为识别方法及装置、电子设备、存储介质 |
CN113116292B (zh) * | 2021-04-22 | 2023-07-11 | 上海交通大学医学院附属第九人民医院 | 基于眼部外观图像的眼位测量方法、装置、终端和设备 |
EP4250064A4 (en) * | 2021-06-29 | 2024-04-24 | Samsung Electronics Co., Ltd. | ELECTRONIC DEVICE FOR ERROR CORRECTION DURING GAZE DIRECTION DETECTION AND OPERATING METHOD FOR AN ELECTRONIC DEVICE |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH024313A (ja) * | 1988-06-13 | 1990-01-09 | Nippon Telegr & Teleph Corp <Ntt> | 注視位置検出装置 |
JP2002119478A (ja) * | 2000-10-19 | 2002-04-23 | Canon Inc | 視線検出機能付き装置 |
WO2008007781A1 (fr) * | 2006-07-14 | 2008-01-17 | Panasonic Corporation | Dispositif de détection de la direction d'axe visuel et procédé de détection de la direction de ligne visuelle |
JP2008126329A (ja) * | 2006-11-17 | 2008-06-05 | Toyota Motor Corp | 音声認識ロボットおよび音声認識ロボットの制御方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3186072B2 (ja) | 1991-01-08 | 2001-07-11 | キヤノン株式会社 | 視線検出装置を有する機器 |
JPH08297019A (ja) * | 1995-04-27 | 1996-11-12 | Nissan Motor Co Ltd | 車両用視線方向計測装置 |
US5926655A (en) * | 1995-08-15 | 1999-07-20 | Canon Kabushiki Kaisha | Line of sight detection device and an apparatus having a line of sight detection device |
JP2005066023A (ja) | 2003-08-25 | 2005-03-17 | Nissan Motor Co Ltd | 運転者状態検出装置 |
JP4376685B2 (ja) * | 2004-04-16 | 2009-12-02 | 本田技研工業株式会社 | 視線検出装置 |
US7580545B2 (en) * | 2005-10-03 | 2009-08-25 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Method and system for determining gaze direction in a pupil detection system |
-
2009
- 2009-09-25 CN CN2009801354621A patent/CN102149325B/zh active Active
- 2009-09-25 EP EP09815894.2A patent/EP2338416B1/en active Active
- 2009-09-25 WO PCT/JP2009/004853 patent/WO2010035472A1/ja active Application Filing
- 2009-09-25 US US13/121,220 patent/US8538044B2/en active Active
- 2009-09-25 JP JP2010530731A patent/JP5230748B2/ja active Active
-
2013
- 2013-09-16 US US14/027,501 patent/US20140043459A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH024313A (ja) * | 1988-06-13 | 1990-01-09 | Nippon Telegr & Teleph Corp <Ntt> | 注視位置検出装置 |
JP2002119478A (ja) * | 2000-10-19 | 2002-04-23 | Canon Inc | 視線検出機能付き装置 |
WO2008007781A1 (fr) * | 2006-07-14 | 2008-01-17 | Panasonic Corporation | Dispositif de détection de la direction d'axe visuel et procédé de détection de la direction de ligne visuelle |
JP2008126329A (ja) * | 2006-11-17 | 2008-06-05 | Toyota Motor Corp | 音声認識ロボットおよび音声認識ロボットの制御方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101470243B1 (ko) * | 2013-11-15 | 2014-12-05 | 현대자동차주식회사 | 시선 검출 장치 및 그 시선 검출 방법 |
US10757337B2 (en) | 2016-05-10 | 2020-08-25 | Sony Corporation | Information processing apparatus and information processing method to control exposure for imaging the eye |
Also Published As
Publication number | Publication date |
---|---|
EP2338416A4 (en) | 2018-02-14 |
EP2338416A1 (en) | 2011-06-29 |
US8538044B2 (en) | 2013-09-17 |
US20110249868A1 (en) | 2011-10-13 |
WO2010035472A1 (ja) | 2010-04-01 |
CN102149325A (zh) | 2011-08-10 |
US20140043459A1 (en) | 2014-02-13 |
EP2338416B1 (en) | 2019-02-27 |
CN102149325B (zh) | 2013-01-02 |
JPWO2010035472A1 (ja) | 2012-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5230748B2 (ja) | 視線方向判定装置及び視線方向判定方法 | |
JP5137833B2 (ja) | 視線方向検出装置および視線方向検出方法 | |
US10521683B2 (en) | Glare reduction | |
JP4926437B2 (ja) | 車両の運転支援装置 | |
WO2015064080A1 (ja) | 視線方向検出装置および視線方向検出方法 | |
JP6840697B2 (ja) | 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム | |
US11455810B2 (en) | Driver attention state estimation | |
JP2016173313A (ja) | 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム | |
JP2018154153A (ja) | 車両の表示システム及び車両の表示システムの制御方法 | |
WO2018051681A1 (ja) | 視線計測装置 | |
US10997861B2 (en) | Luminance control device, luminance control system, and luminance control method | |
JP2010191793A (ja) | 警告表示装置及び警告表示方法 | |
JP6669182B2 (ja) | 乗員監視装置 | |
JP2019215688A (ja) | 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム | |
JP2018101212A (ja) | 車載器および顔正面度算出方法 | |
JP7046347B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6906943B2 (ja) | 車載器 | |
JP6572841B2 (ja) | 情報処理装置及びプログラム | |
JP2017138645A (ja) | 視線検出装置 | |
US10572730B2 (en) | Visual line measuring device and visual line measuring method | |
JP4118773B2 (ja) | 視線方向検出装置及び視線方向検出方法 | |
JP2015206764A (ja) | 対象者存在範囲推定装置及び対象者存在範囲推定方法 | |
JP2024120464A (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
JP2024015666A (ja) | 視線推定装置、視線推定用コンピュータプログラム及び視線推定方法 | |
JP2021133801A (ja) | 車両用表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120608 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130319 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160329 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5230748 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |