JP6757949B1 - 画像処理方法、画像処理装置、及び画像処理プログラム - Google Patents
画像処理方法、画像処理装置、及び画像処理プログラム Download PDFInfo
- Publication number
- JP6757949B1 JP6757949B1 JP2020093190A JP2020093190A JP6757949B1 JP 6757949 B1 JP6757949 B1 JP 6757949B1 JP 2020093190 A JP2020093190 A JP 2020093190A JP 2020093190 A JP2020093190 A JP 2020093190A JP 6757949 B1 JP6757949 B1 JP 6757949B1
- Authority
- JP
- Japan
- Prior art keywords
- region
- detected
- pupil
- information
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 60
- 238000003672 processing method Methods 0.000 title claims description 16
- 210000001747 pupil Anatomy 0.000 claims abstract description 241
- 238000001514 detection method Methods 0.000 claims abstract description 156
- 210000001508 eye Anatomy 0.000 claims abstract description 154
- 210000004709 eyebrow Anatomy 0.000 claims description 19
- 230000001815 facial effect Effects 0.000 claims description 10
- 230000008921 facial expression Effects 0.000 claims description 9
- 230000003595 spectral effect Effects 0.000 claims description 7
- 230000002238 attenuated effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 abstract description 20
- 238000000034 method Methods 0.000 description 81
- 230000008569 process Effects 0.000 description 56
- 238000003708 edge detection Methods 0.000 description 19
- 230000008859 change Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 210000003205 muscle Anatomy 0.000 description 7
- 210000005252 bulbus oculi Anatomy 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000007717 exclusion Effects 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 210000000720 eyelash Anatomy 0.000 description 3
- 210000000744 eyelid Anatomy 0.000 description 3
- 230000001179 pupillary effect Effects 0.000 description 3
- 230000011514 reflex Effects 0.000 description 3
- 241001469893 Oxyzygonectes dovii Species 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 208000034656 Contusions Diseases 0.000 description 1
- 235000002673 Dioscorea communis Nutrition 0.000 description 1
- 241000544230 Dioscorea communis Species 0.000 description 1
- 208000035753 Periorbital contusion Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 208000034526 bruise Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
出した前記顔領域において、前記人物の目の検出に用いられる第1領域を設定し、前記第1領域を所定の基準に基づいて絞りこむことにより、瞳孔又は虹彩が含まれると推定される第2領域を設定し、前記第2領域において、前記瞳孔又は前記虹彩を示す瞳情報を検出し、検出した前記瞳情報を出力する。
三次元眼球モデルにより視線を検出する方法においては、瞳孔又は虹彩の中心位置に基づいて視線が検出される。瞳孔又は虹彩の中心位置は、例えば、顔を含む画像の画像データから人物の顔を含む顔領域を検出し、検出した顔領域から目を検出するための目検出領域を設定し、目検出領域を解析することにより得られる。ここで、目検出領域とは、目そのものを切り出した領域ではなく、目を含む例えば矩形状の領域である。
を含んでいるため、本構成は、瞳情報を検出するうえで可能な限り不要な情報を省きつつ必要な情報が残存されるように第2領域を設定できる。
図1は、本開示の実施の形態1に係る画像処理システム1の全体構成の一例を示す図である。画像処理システム1は、人物400を撮影し、得られた人物の画像データから人物の視線を示す視線情報を検出するシステムである。図1の例では、画像処理システム1は、表示装置300に表示された複数のオブジェクト301のうち、どのオブジェクト301を人物が注視しているかを特定している。但し、これは一例であり、画像処理システム1は、表示装置300の表示画面上に表示されたオブジェクト301のみならず、実空間内において人物400が注視するオブジェクト301を特定してもよい。
)における注視点の座標データが含まれてもよい。注視点は、例えば対象面と視線を示すベクトルとが交差する位置である。
及び左目のそれぞれに対応する2つの第1領域50を設定している。
フレームがより正確に取り除かれ、且つ、瞳情報の検出に必要となる情報が欠落しないように第2領域70を設定できる。
睫毛が一つの島64とみなされ、島64に「4」のラベリング番号が付与されている。
実施の形態2は、顔領域40から目尻及び目頭が検出できた場合、目尻及び目頭を取り囲む囲み、且つ目尻及び目頭が検出されなかった場合に設定される第1領域50よりも小さな領域を第1領域50として設定するものである。本実施の形態2おいて、実施の形態1と同一の構成要素については同一の符号を付し、説明を省略する。図15は、実施の形態2に係る画像処理システム1Aの詳細な構成の一例を示すブロック図である。なお、図15において、図2と同一名称であるが、機能が異なるブロックには末尾にAの符号が付されている。
される第1領域50よりも小さい。
実施の形態3は、人物400の関心度を推定するものである。図17は、実施の形態3に係る画像処理システム1Bの詳細な構成を示すブロック図である。なお、本実施の形態
において実施の形態1、2と同一の構成要素には同一の符号を付し、説明を省略する。また、図17において、図2と名称が同一であるが機能が異なるブロックには末尾にBの符号が付されている。
(1)カメラ200として赤外光カメラが採用された場合、赤外光カメラは、太陽光のスペクトル強度が所定の第1波長よりも減衰した所定の第2波長の帯域の赤外光を用いる赤外光カメラで構成すればよい。所定の第1波長は、例えば850nmである。所定の第2波長は、例えば940nmである。第2波長の帯域は、例えば850nmを含まず、且つ940nmを基準(例えば中心)とする所定幅の帯域である。近赤外光を撮影する赤外光カメラとして、850nmの赤外光を用いるものが知られている。しかし、850nmでは太陽光のスペクトル強度が十分に減衰していないため、太陽光のスペクトル強度が強い屋外において高精度な視線検出ができない可能性がある。そこで、本開示は、赤外光カメラとして例えば940nmの帯域の赤外光を用いるカメラを採用する。これにより、太陽光のスペクトル強度が強い屋外においても高精度な視線検出を行うことができる。ここでは、所定の第2波長は940nmとしたが、これは一例であり、940nmから多少ずれた波長であってもよい。なお、第2波長の赤外光を用いる赤外光カメラは、例えば第2波長の赤外光を照射する投光器を備えるカメラである。
100 :画像処理装置
110 :プロセッサ
120 :瞳情報検出装置
121 :画像取得部
122 :顔検出部
123 :第1設定部
124 :第2設定部
125 :瞳情報検出部
126 :特徴点検出部
130 :顔向き検出部
140 :視線情報検出部
150 :関心度推定部
200 :カメラ
300 :表示装置
301 :オブジェクト
400 :人物
Claims (12)
- 画像処理装置における瞳情報を検出する画像処理方法であって、
画像データを取得し、
前記画像データから、人物の顔の少なくとも一部を含む顔領域を検出し、
検出した前記顔領域において、前記人物の目の検出に用いられる第1領域を設定し、
前記第1領域を所定の基準に基づいて絞りこむことにより、瞳孔又は虹彩が含まれると推定される第2領域を設定し、
前記第2領域において、前記瞳孔又は前記虹彩を示す瞳情報を検出し、
検出した前記瞳情報を出力し、
さらに、検出した前記顔領域から目尻及び目頭を検出し、
前記目尻及び前記目頭を検出できた場合、
前記第1領域の設定では、前記目尻及び前記目頭を取り囲み、且つ前記目尻及び前記目頭を検出できなかった場合に設定される第1領域よりも小さな領域を前記第1領域として設定し、前記瞳情報の検出では、前記第1領域において、前記瞳情報を検出する、
画像処理方法。 - 前記所定の基準は、前記第1領域の一部を除去することによって、前記第1領域の中心を含む所定形状の領域を前記第2領域として設定するという基準である、
請求項1記載の画像処理方法。 - さらに、検出した前記顔領域から目尻及び目頭を検出し、
前記目尻及び前記目頭を検出できた場合、前記所定の基準は、前記第1領域の一部を除去することによって、前記目尻及び前記目頭を取り囲む領域を前記第2領域として設定するという基準である、
請求項1記載の画像処理方法。 - さらに、検出した前記顔領域から顔の特徴点を検出し、
さらに、前記顔の特徴点に基づき前記人物の顔の向きを示す顔向き情報を検出し、
さらに、検出した前記瞳情報と前記顔向き情報とに基づいて前記人物の視線を示す視線情報を検出し、
さらに、検出した前記視線情報を出力する、
請求項1記載の画像処理方法。 - さらに、検出した前記顔領域からまゆげ及び口角の少なくとも一方を検出し、
さらに、前記視線情報と、検出した前記まゆげの位置及び前記口角の位置の少なくとも一方に基づいて前記人物の関心度を推定する、
請求項4記載の画像処理方法。 - 検出した前記まゆげの位置及び前記口角の位置の少なくとも一方に基づいて前記人物の表情を推定し、
前記視線情報と、前記推定された表情を示す情報とに基づいて前記人物の関心度を推定する、
請求項5記載の画像処理方法。 - 前記視線情報は、所定の対象面における前記人物の注視点を基準とする所定範囲の領域である注視面を示す情報を含む、
請求項4〜6のいずれかに記載の画像処理方法。 - 前記画像データは、可視光カメラにより撮影されたものであり、
前記瞳情報は、前記虹彩の中心位置と前記虹彩の大きさとを示す情報を含む、
請求項1記載の画像処理方法。 - 前記画像データは、赤外光カメラにより撮影されたものであり、
前記瞳情報は、前記瞳孔の中心位置と前記瞳孔の大きさとを示す情報、及び、前記虹彩の中心位置と前記虹彩の大きさとを示す情報、の少なくとも一方を含む、
請求項1記載の画像処理方法。 - 前記画像データは、太陽光のスペクトル強度が所定の第1波長よりも減衰した所定の第2波長の帯域の赤外光を用いる赤外光カメラで撮影された画像データである、
請求項9に記載の画像処理方法。 - 画像データを取得する取得部と、
前記画像データから、人物の顔の全部または一部を含む顔領域を検出する顔検出部と、
検出した前記顔領域において、前記人物の目の検出に用いられる第1領域を設定する第1設定部と、
前記第1領域を所定の基準に基づいて絞りこむことにより、瞳孔又は虹彩が含まれると推定される第2領域を設定する第2設定部と、
前記第2領域において、前記瞳孔又は前記虹彩を示す瞳情報を検出し、前記瞳情報を出力する瞳情報検出部とを備え、
前記第1設定部は、検出した前記顔領域から目尻及び目頭を検出し、前記目尻及び前記目頭を検出できた場合、前記目尻及び前記目頭を取り囲み、且つ前記目尻及び前記目頭を検出できなかった場合に設定される第1領域よりも小さな領域を前記第1領域として設定し、
前記瞳情報検出部は、前記第1設定部が前記目尻及び前記目頭を検出できた場合、前記第1領域において、前記瞳情報を検出する、
画像処理装置。 - 画像データを取得する取得部と、
前記画像データから、人物の顔の全部または一部を含む顔領域を検出する顔検出部と、
検出した前記顔領域において、前記人物の目の検出に用いられる第1領域を設定する第1設定部と、
前記第1領域を所定の基準に基づいて絞りこむことにより、瞳孔又は虹彩が含まれると推定される第2領域を設定する第2設定部と、
前記第2領域において、前記瞳孔又は前記虹彩を示す瞳情報を検出し、前記瞳情報を出力する瞳情報検出部としてコンピュータを機能させ、
前記第1設定部は、検出した前記顔領域から目尻及び目頭を検出し、前記目尻及び前記目頭を検出できた場合、前記目尻及び前記目頭を取り囲み、且つ前記目尻及び前記目頭を検出できなかった場合に設定される第1領域よりも小さな領域を前記第1領域として設定し、
前記瞳情報検出部は、第1設定部が前記目尻及び前記目頭を検出できた場合、前記第1領域において、前記瞳情報を検出する、
画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020093190A JP6757949B1 (ja) | 2020-05-28 | 2020-05-28 | 画像処理方法、画像処理装置、及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020093190A JP6757949B1 (ja) | 2020-05-28 | 2020-05-28 | 画像処理方法、画像処理装置、及び画像処理プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019167213A Division JP6717477B1 (ja) | 2019-09-13 | 2019-09-13 | 画像処理方法、画像処理装置、及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6757949B1 true JP6757949B1 (ja) | 2020-09-23 |
JP2021043946A JP2021043946A (ja) | 2021-03-18 |
Family
ID=72517926
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020093190A Active JP6757949B1 (ja) | 2020-05-28 | 2020-05-28 | 画像処理方法、画像処理装置、及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6757949B1 (ja) |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008129665A (ja) * | 2006-11-17 | 2008-06-05 | Sony Corp | 画像処理装置、撮影装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム |
JP4826506B2 (ja) * | 2007-02-27 | 2011-11-30 | 日産自動車株式会社 | 視線推定装置 |
JP5982840B2 (ja) * | 2012-01-31 | 2016-08-31 | 富士通株式会社 | 対話装置、対話プログラムおよび対話方法 |
WO2015136908A1 (ja) * | 2014-03-13 | 2015-09-17 | パナソニックIpマネジメント株式会社 | 視線検出装置 |
KR101533686B1 (ko) * | 2014-06-30 | 2015-07-09 | 숭실대학교산학협력단 | 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체 |
JP6377566B2 (ja) * | 2015-04-21 | 2018-08-22 | 日本電信電話株式会社 | 視線計測装置、視線計測方法、およびプログラム |
KR102463169B1 (ko) * | 2015-09-07 | 2022-11-04 | 삼성전자주식회사 | 시점 추적 방법 및 장치 |
JP6737057B2 (ja) * | 2016-08-10 | 2020-08-05 | 富士通株式会社 | 視線検出装置、視線検出方法、及び視線検出プログラム |
JP6963820B2 (ja) * | 2016-08-12 | 2021-11-10 | 国立大学法人静岡大学 | 視線検出装置 |
JP7044504B2 (ja) * | 2016-11-21 | 2022-03-30 | 矢崎総業株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
-
2020
- 2020-05-28 JP JP2020093190A patent/JP6757949B1/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2021043946A (ja) | 2021-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11250241B2 (en) | Face image processing methods and apparatuses, and electronic devices | |
Fuhl et al. | Fast and robust eyelid outline and aperture detection in real-world scenarios | |
JP2021049354A (ja) | 眼の特徴を用いる眼ポーズ識別 | |
JP6930223B2 (ja) | 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法 | |
US9939893B2 (en) | Eye gaze tracking | |
Lee et al. | Blink detection robust to various facial poses | |
US20220270287A1 (en) | Eye gaze detection method, eye gaze detection device, and non-transitory computer readable storage medium | |
TWI694809B (zh) | 檢測眼球運動的方法、其程式、該程式的記憶媒體以及檢測眼球運動的裝置 | |
JP5578603B2 (ja) | 視線制御装置、視線制御方法、及びそのプログラム | |
US20220148333A1 (en) | Method and system for estimating eye-related geometric parameters of a user | |
JP2022538669A (ja) | 眼追跡待ち時間向上 | |
US20220075983A1 (en) | Image processing method, image processing device, and non-transitory computer readable storage medium | |
CN110619303A (zh) | 注视点追踪方法、装置、终端及计算机可读存储介质 | |
WO2022129591A1 (en) | System for determining one or more characteristics of a user based on an image of their eye using an ar/vr headset | |
Chen et al. | Real-time eye localization, blink detection, and gaze estimation system without infrared illumination | |
JPWO2018220963A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
Wojciechowski et al. | Single web camera robust interactive eye-gaze tracking method | |
JP6745518B1 (ja) | 視線検出方法、視線検出装置、及び制御プログラム | |
JP6757949B1 (ja) | 画像処理方法、画像処理装置、及び画像処理プログラム | |
WO2021095278A1 (ja) | 画像処理方法、画像処理装置、及び画像処理プログラム | |
WO2022137605A1 (ja) | 虹彩検出方法、虹彩検出装置、及び虹彩検出プログラム | |
García-Dopico et al. | Precise Non-Intrusive Real-Time Gaze Tracking System for Embedded Setups. | |
Chinsatitf et al. | Improvement of eye detection performance for inside-out camera | |
Li et al. | Iris center localization using integral projection and gradients | |
WO2024059927A1 (en) | Methods and systems for gaze tracking using one corneal reflection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200803 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200803 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200805 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200811 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200824 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6757949 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |