JP7030317B2 - 瞳孔検出装置及び瞳孔検出方法 - Google Patents
瞳孔検出装置及び瞳孔検出方法 Download PDFInfo
- Publication number
- JP7030317B2 JP7030317B2 JP2016245664A JP2016245664A JP7030317B2 JP 7030317 B2 JP7030317 B2 JP 7030317B2 JP 2016245664 A JP2016245664 A JP 2016245664A JP 2016245664 A JP2016245664 A JP 2016245664A JP 7030317 B2 JP7030317 B2 JP 7030317B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pupil
- pupils
- subject
- center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
[第1実施形態]
VE=VP+t(VC-VP)=(1-t)VP+tVC …(1)
によって、眼球の回転中心の二次元位置を示す位置ベクトルVEを算出する。ここで、上記式(1)中の係数tは、想定する眼球モデルに対応して予め設定される。特徴点検出部17は、同様の手順で、対象者の2つの眼球の回転中心の二次元位置を算出する。
[第2実施形態]
長径LA=A1 …(2)
短径LB=A1・cos(θS) …(3)
楕円度=長径LA/短径LB …(4)
θS=cos-1(短径LB/長径LA)=cos-1(1/楕円度) …(5)
θSa=θS-θ0 …(6)
上記式(6)において、傾きθSaは、視軸を示す視線ベクトルに対応する。ずれ角θ0は、視軸に対する光軸L2のずれを示すベクトルである。ずれ角θ0は、ずれ角θ0の大きさ|θ0|と傾きφ0とにより定義され、θ0=(|θ0|,φ0)として示される。
WE=WP-κE・W0 …(7)
上記式(7)中、κEは、予め設定された瞳孔中心Pと回転中心Eとの間の距離を示す数値である。そして、特徴点検出部17Aは、求めた眼球の回転中心Eの三次元位置をカメラ2のピンホールモデルを用いて顔画像上の二次元位置に変換する。同様の手順で、特徴点検出部17は、2つの眼球の回転中心Eの二次元位置を算出する。算出した2つの眼球の回転中心Eの二次元位置は、処理対象の画像フレームにおける顔姿勢検出部18による顔姿勢の検出に用いられる。
[第3実施形態]
Claims (4)
- 対象者の顔を撮像する撮像装置と前記顔を照明する照明装置とを含む光学システムと、
前記撮像装置によって出力された画像を基に前記対象者の2つの瞳孔の三次元位置を算出する処理部と、
を備え、
前記処理部は、
前記画像上で検出した前記2つの瞳孔のそれぞれの位置と、前記2つの瞳孔のそれぞれに対応して生じる角膜反射の画像上の位置とを基に、前記対象者の2つの眼球のそれぞれの光軸の画像上の方向と、前記2つの眼球のそれぞれの光軸の画像上の位置とを特定し、前記2つの眼球のそれぞれの光軸の画像上の方向と、前記2つの眼球のそれぞれの光軸の画像上の位置とを基に、前記対象者の2つの眼球のそれぞれの回転中心の前記画像上の位置を算出する回転中心算出部と、
前記2つの眼球の回転中心の前記画像上の位置と、前記対象者の鼻孔の画像上の位置とを基に、前記2つの眼球の回転中心の三次元位置を算出し、前記2つの眼球の回転中心の三次元位置と、前記2つの瞳孔の画像上の位置とを基に、前記2つの瞳孔の三次元位置を算出する瞳孔位置算出部と、を有し、
前記瞳孔位置算出部は、前記2つの眼球のそれぞれにおいて、前記眼球の回転中心の三次元位置から所定の距離に位置する平面であり、前記撮像装置の光軸に略垂直な平面のうち、前記撮像装置に近い側に位置する平面を設定し、前記2つの眼球のそれぞれにおいて、前記瞳孔の画像上の位置を基に、前記撮像装置の中心と前記瞳孔の三次元位置とを通る直線を導出し、前記2つの眼球のそれぞれにおいて、前記平面と前記直線との交点を導出し、該交点を前記瞳孔の三次元位置として算出し、
前記直線は、前記撮像装置の中心と、前記撮像装置の中心から前記撮像装置の焦点距離ほど離れて配置された前記画像上の前記瞳孔の二次元位置とを通る三次元的直線である、
瞳孔検出装置。 - 前記瞳孔位置算出部は、前記2つの眼球の回転中心の前記画像上の位置と、前記対象者の鼻孔の画像上の位置とを基に、前記2つの眼球の回転中心の三次元位置と前記鼻孔の三次元位置とを算出することにより、前記対象者の顔方向を検出する、
請求項1に記載の瞳孔検出装置。 - 前記光学システムを少なくとも2系統備え、
前記処理部は、少なくとも2系統の前記光学システムから出力された画像を基に、前記2つの瞳孔の間の第1の距離、及び前記瞳孔と前記鼻孔との間の第2の距離とを計測し、前記第1の距離及び第2の距離とを用いて、前記2つの瞳孔の三次元位置を算出する、
請求項1又は2に記載の瞳孔検出装置。 - 対象者の顔を照明装置によって照明しながら前記顔を撮像装置によって撮像するステップと、
前記撮像装置によって出力された画像を基に前記対象者の2つの瞳孔の三次元位置を算出するステップと、
を備え、
前記三次元位置を算出するステップは、
前記画像上で検出した前記2つの瞳孔のそれぞれの位置と、前記2つの瞳孔のそれぞれに対応して生じる角膜反射の画像上の位置とを基に、前記対象者の2つの眼球のそれぞれの光軸の画像上の方向と、前記2つの眼球のそれぞれの光軸の画像上の位置とを特定し、前記2つの眼球のそれぞれの光軸の画像上の方向と、前記2つの眼球のそれぞれの光軸の画像上の位置とを基に、前記対象者の2つの眼球のそれぞれの回転中心の前記画像上の位置を算出するステップと、
前記2つの眼球の回転中心の前記画像上の位置と、前記対象者の鼻孔の画像上の位置とを基に、前記2つの眼球の回転中心の三次元位置を算出し、前記2つの眼球の回転中心の三次元位置と、前記2つの瞳孔の画像上の位置とを基に、前記2つの瞳孔の三次元位置を算出するステップと、を有し、
前記2つの瞳孔の三次元位置を算出するステップでは、前記2つの眼球のそれぞれにおいて、前記眼球の回転中心の三次元位置から所定の距離に位置する平面であり、前記撮像装置の光軸に略垂直な平面のうち、前記撮像装置に近い側に位置する平面を設定し、前記2つの眼球のそれぞれにおいて、前記瞳孔の画像上の位置を基に、前記撮像装置の中心と前記瞳孔の三次元位置とを通る直線を導出し、前記2つの眼球のそれぞれにおいて、前記平面と前記直線との交点を導出し、該交点を前記瞳孔の三次元位置として算出し、
前記2つの瞳孔の三次元位置を算出するステップにおいて、前記直線は、前記撮像装置の中心と、前記撮像装置の中心から前記撮像装置の焦点距離ほど離れて配置された前記画像上の前記瞳孔の二次元位置とを通る三次元的直線である、
瞳孔検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016245664A JP7030317B2 (ja) | 2016-12-19 | 2016-12-19 | 瞳孔検出装置及び瞳孔検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016245664A JP7030317B2 (ja) | 2016-12-19 | 2016-12-19 | 瞳孔検出装置及び瞳孔検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018099174A JP2018099174A (ja) | 2018-06-28 |
JP7030317B2 true JP7030317B2 (ja) | 2022-03-07 |
Family
ID=62714795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016245664A Active JP7030317B2 (ja) | 2016-12-19 | 2016-12-19 | 瞳孔検出装置及び瞳孔検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7030317B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7198023B2 (ja) * | 2018-09-27 | 2022-12-28 | 株式会社アイシン | 眼球情報推定装置、眼球情報推定方法および眼球情報推定プログラム |
KR20200134022A (ko) * | 2019-05-21 | 2020-12-01 | (의) 삼성의료재단 | 3d 심도 카메라를 이용한 안구 돌출 측정 장치, 방법 및 시스템 |
KR102293824B1 (ko) * | 2019-05-21 | 2021-08-24 | (의) 삼성의료재단 | 이동통신 단말기에서의 안면 인식을 이용한 관련 질환 모니터링 방법 및 시스템 |
WO2023277548A1 (ko) | 2021-06-30 | 2023-01-05 | 주식회사 타이로스코프 | 안구의 돌출도 분석을 위한 측면 이미지를 획득하는 방법, 이를 수행하는 촬영 장치 및 기록 매체 |
WO2023277589A1 (ko) | 2021-06-30 | 2023-01-05 | 주식회사 타이로스코프 | 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템 |
KR102477699B1 (ko) * | 2022-06-28 | 2022-12-14 | 주식회사 타이로스코프 | 안구의 돌출도 분석을 위한 측면 이미지를 획득하는 방법, 이를 수행하는 촬영 장치 및 기록 매체 |
WO2023277622A1 (ko) | 2021-06-30 | 2023-01-05 | 주식회사 타이로스코프 | 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004167152A (ja) | 2002-11-22 | 2004-06-17 | National Institute Of Advanced Industrial & Technology | 視線位置計測における頭部の動きのズレを補正する方法及びシステム |
JP2008102902A (ja) | 2006-07-18 | 2008-05-01 | Advanced Telecommunication Research Institute International | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム |
JP2013252301A (ja) | 2012-06-07 | 2013-12-19 | Toyota Central R&D Labs Inc | 眼球中心推定装置及びプログラム |
JP2016106668A (ja) | 2014-12-02 | 2016-06-20 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02224637A (ja) * | 1988-11-16 | 1990-09-06 | A T R Tsushin Syst Kenkyusho:Kk | 視線検出方法 |
-
2016
- 2016-12-19 JP JP2016245664A patent/JP7030317B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004167152A (ja) | 2002-11-22 | 2004-06-17 | National Institute Of Advanced Industrial & Technology | 視線位置計測における頭部の動きのズレを補正する方法及びシステム |
JP2008102902A (ja) | 2006-07-18 | 2008-05-01 | Advanced Telecommunication Research Institute International | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム |
JP2013252301A (ja) | 2012-06-07 | 2013-12-19 | Toyota Central R&D Labs Inc | 眼球中心推定装置及びプログラム |
JP2016106668A (ja) | 2014-12-02 | 2016-06-20 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2018099174A (ja) | 2018-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7030317B2 (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
JP6902075B2 (ja) | 構造化光を用いた視線追跡 | |
US11867978B2 (en) | Method and device for determining parameters for spectacle fitting | |
US11468640B2 (en) | Depth plane selection for multi-depth plane display systems by user categorization | |
US6659611B2 (en) | System and method for eye gaze tracking using corneal image mapping | |
US20200372678A1 (en) | Systems and techniques for estimating eye pose | |
JP6631951B2 (ja) | 視線検出装置及び視線検出方法 | |
US11422620B2 (en) | Display systems and methods for determining vertical alignment between left and right displays and a user's eyes | |
US11269181B2 (en) | Systems and methods for operating a head-mounted display system based on user identity | |
US20240077943A1 (en) | Eye center of rotation determination with one or more eye tracking cameras | |
US20220100268A1 (en) | Eye tracking device and a method thereof | |
US11624907B2 (en) | Method and device for eye metric acquisition | |
JPH0351407B2 (ja) | ||
JP7046347B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6555707B2 (ja) | 瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム | |
Borsato et al. | Episcleral surface tracking: challenges and possibilities for using mice sensors for wearable eye tracking | |
JP2017102731A (ja) | 視線検出装置及び視線検出方法 | |
CN111587397B (zh) | 图像生成装置、眼镜片选择系统、图像生成方法以及程序 | |
JP2015123262A (ja) | 角膜表面反射画像を利用した視線計測方法及びその装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210902 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7030317 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |