JP6504788B2 - 瞳孔検出用光源装置の制御方法 - Google Patents
瞳孔検出用光源装置の制御方法 Download PDFInfo
- Publication number
- JP6504788B2 JP6504788B2 JP2014230099A JP2014230099A JP6504788B2 JP 6504788 B2 JP6504788 B2 JP 6504788B2 JP 2014230099 A JP2014230099 A JP 2014230099A JP 2014230099 A JP2014230099 A JP 2014230099A JP 6504788 B2 JP6504788 B2 JP 6504788B2
- Authority
- JP
- Japan
- Prior art keywords
- pupil
- image
- light source
- pupil image
- dark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000001747 pupil Anatomy 0.000 title claims description 916
- 238000001514 detection method Methods 0.000 title claims description 76
- 238000000034 method Methods 0.000 title claims description 73
- 210000001508 eye Anatomy 0.000 claims description 43
- 238000005286 illumination Methods 0.000 claims description 27
- 230000002093 peripheral effect Effects 0.000 claims description 14
- 230000001678 irradiating effect Effects 0.000 claims description 7
- 238000005282 brightening Methods 0.000 claims description 2
- 235000019557 luminance Nutrition 0.000 description 155
- 239000011521 glass Substances 0.000 description 27
- 230000008859 change Effects 0.000 description 26
- 230000008569 process Effects 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 13
- 210000003128 head Anatomy 0.000 description 12
- 229920006395 saturated elastomer Polymers 0.000 description 9
- 238000009826 distribution Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000005096 rolling process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 210000004087 cornea Anatomy 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004904 shortening Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 206010041349 Somnolence Diseases 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 210000000720 eyelash Anatomy 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000001179 pupillary effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Eye Examination Apparatus (AREA)
Description
まず、本実施形態の制御方法により制御される瞳孔検出用光源装置を備えた瞳孔検出装置の構成について、図面を参照しながら説明する。本瞳孔検出装置は、瞳孔移動を検出することによってパーソナルコンピュータのモニター画面上のカーソルを移動させるポインティングデバイスや、瞳孔と角膜反射を検出してモニター画面上の注視点位置を検出する注視点検出装置、瞳孔と鼻孔を検出して頭部姿勢を検出する頭部姿勢検出装置、瞳孔の動きを監視して運転者の眠気を検知する眠気検知システム等として利用される。
TD=a・TB ・・・(1)
TB i+1=TB i(Si+1/Si) ・・・(2)
TD i+1=a・TB i+1 ・・・(3)
次に、図4を参照して、光源3A,3Bの制御方法について説明する。まず、明瞳孔画像取得部11が、カメラ2から明瞳孔画像を取得する(ステップS1)。次に、暗瞳孔画像取得部12が、カメラ2から暗瞳孔画像を取得する(ステップS2)。次に、差分画像計算部13が、明瞳孔画像と暗瞳孔画像との画素値の差分を計算することにより、差分画像を計算する(ステップS3)。次に、瞳孔輝度取得部14が、差分画像から対象者Aの瞳孔輝度を取得する(ステップS4)。次に、時間幅決定部15が、対象者Aの瞳孔輝度に基づいて、第1発光素子31及び第2発光素子32に供給されるパルス電流の時間幅を決定する(ステップS5)。最後に、電流供給部16が、時間幅決定部15により決定された時間幅のパルス電流を、第1発光素子31及び第2発光素子32に供給する(ステップS6)。
明瞳孔画像と暗瞳孔画像との差分画像を計算するにあたっては、単に明瞳孔画像と暗瞳孔画像との間で対応する各画素の差分値を計算することに代えて、明瞳孔画像と暗瞳孔画像とで瞳孔周辺輝度が等しくなるように明瞳孔画像及び暗瞳孔画像の少なくとも一方の画素値を調整し、その後に明瞳孔画像と暗瞳孔画像との差分を計算してもよい。以下、そのような方法及びその利点について説明する。
さらに、明瞳孔画像と暗瞳孔画像との差分画像を計算するにあたって、単に明瞳孔画像と暗瞳孔画像との間で対応する各画素の差分値を計算することに代えて、差分明瞳孔画像と差分暗瞳孔画像との間で瞳孔周辺輝度が等しくなるように差分明瞳孔画像及び差分暗瞳孔画像の少なくとも一方の画素値を計算し、その後に明瞳孔画像と暗瞳孔画像との差分を計算してもよい。なお、差分明瞳孔画像は、明瞳孔画像と無照明画像との差分により得られる画像である。差分暗瞳孔画像は、暗瞳孔画像と無照明画像との差分により得られる画像である。以下、そのような方法及びその利点について説明する。
複数の対象者が存在する場合に、上述した瞳孔検出用光源装置の制御方法を、時分割方式によって、複数の瞳孔に対して、対象者毎に実行するようにしてもよい。前述したように、一般に、差分画像における瞳孔輝度は、左右の眼で異なる。また、複数の対象者が画像中に存在し、2つを超える瞳孔を同時に検出する場合には、瞳孔輝度が対象者間で大きく異なる場合がある。このような場合でも、全ての瞳孔輝度を一定化する方法について次の方法が考えられる。この方法は、特に、高速度カメラを使用した場合に有効である。
次に、上述した光源の制御方法を用いて対象者の瞳孔を検出した実験例とその結果について説明する。この実験は、左カメラ2A及び右カメラ2Bを、パーソナルコンピュータのディスプレイ装置の近傍に配置し、対象者としての被験者をディスプレイ装置の前に座らせて行われた。本実験において、被験者は、その頭部をディスプレイ装置に対して前後方向に3段階にステップ状に移動させた。そして、被験者の頭部の移動に合わせて、被験者の頭部の位置、差分画像上における被験者の瞳孔の面積、第1発光素子31及び第2発光素子32に供給されるパルス電流の時間幅(パルス幅)、被験者の右眼、左眼それぞれの瞳孔輝度及びその平均輝度が記録された。被験者の瞳孔の位置は、世界座標系Z座標として示されている。ここで、世界座標系Z座標とは、ディスプレイ装置の表示面に対して垂直方向にZ軸をとり、左カメラ2A及び右カメラ2Bの位置をZ座標がゼロであるとし、左カメラ2A及び右カメラ2Bから離れる方向にZ軸の正方向をとった場合の座標である。また、被験者の瞳孔の面積は、ピクセル数として示されている。
Claims (12)
- 対象者の顔に光を照射することにより前記対象者の瞳孔を明るくする明瞳孔画像用光源と、前記対象者の顔に光を照射することにより前記明瞳孔画像用光源と比して前記対象者の瞳孔を暗くする暗瞳孔画像用光源と、を備える瞳孔検出用光源装置の制御方法であって、
前記明瞳孔画像用光源にパルス電流を供給すると共に前記対象者の顔の画像を明瞳孔画像として取得するステップと、
前記暗瞳孔画像用光源にパルス電流を供給すると共に前記対象者の顔の画像を暗瞳孔画像として取得するステップと、
前記明瞳孔画像と前記暗瞳孔画像との差分画像を計算するステップと、
前記差分画像から前記対象者の瞳孔輝度レベルを取得するステップと、
瞳孔輝度レベルの目標値を前記取得された瞳孔輝度レベルにより除した値を、前記明瞳孔画像用光源及び前記暗瞳孔画像用光源にパルス電流を供給した際の前記明瞳孔画像用光源及び前記暗瞳孔画像用光源の前記パルス電流の時間幅に乗ずることにより、次の明瞳孔画像及び次の暗瞳孔画像を取得する際の前記明瞳孔画像用光源及び前記暗瞳孔画像用光源の前記パルス電流の時間幅を制御することで、前記明瞳孔画像用光源及び前記暗瞳孔画像用光源の発光量を決定するステップと、
前記明瞳孔画像用光源及び前記暗瞳孔画像用光源を、前記決定された発光量で発光させるためのパルス電流を前記明瞳孔画像用光源及び前記暗瞳孔画像用光源に供給するステップと、
を備え、
前記明瞳孔画像用光源の発光量及び前記暗瞳孔画像用光源の発光量を決定するステップでは、瞳孔画像内の瞳孔を含む小領域であるウィンドウ内の前記対象者の瞳孔の周辺の輝度である瞳孔周辺輝度が、前記明瞳孔画像と前記暗瞳孔画像との間で等しくなるように、前記発光量を決定し、
前記明瞳孔画像用光源及び前記暗瞳孔画像用光源の発光量を決定するステップでは、前記明瞳孔画像の前記瞳孔周辺輝度と前記暗瞳孔画像の前記瞳孔周辺輝度とが等しくなるときの前記明瞳孔画像用光源の発光量と前記暗瞳孔画像用光源の発光量とに応じて、前記明瞳孔画像用光源及び前記暗瞳孔画像用光源の前記パルス電流の時間幅を制御する、
瞳孔検出用光源装置の制御方法。 - 前記明瞳孔画像用光源及び前記暗瞳孔画像用光源の発光量を決定するステップでは、前記明瞳孔画像の前記瞳孔周辺輝度と前記暗瞳孔画像の前記瞳孔周辺輝度とが等しくなるときの前記明瞳孔画像用光源の発光量と前記暗瞳孔画像用光源の発光量との比を輝度比として、前記明瞳孔画像用光源及び前記暗瞳孔画像用光源の一方の前記パルス電流の時間幅に該輝度比を乗ずることで、前記明瞳孔画像用光源及び前記暗瞳孔画像用光源の他方の前記パルス電流の時間幅を決定する、請求項1に記載の瞳孔検出用光源装置の制御方法。
- 前記明瞳孔画像用光源及び前記暗瞳孔画像用光源の発光量を決定するステップを、前記差分画像の所定数のフレーム毎に繰り返し実行する、請求項1または2に記載の瞳孔検出用光源装置の制御方法。
- 前記所定数のフレームは、1フレームである、請求項3に記載の瞳孔検出用光源装置の制御方法。
- 前記明瞳孔画像用光源及び前記暗瞳孔画像用光源の発光量を決定するステップでは、前記瞳孔輝度レベルとして、対象者の両眼のうち瞳孔輝度レベルが小さい方の目の瞳孔輝度レベルを用いる、請求項1〜4のいずれか一項に記載の瞳孔検出用光源装置の制御方法。
- 前記明瞳孔画像用光源及び前記暗瞳孔画像用光源の発光量を決定するステップでは、前記対象者の瞳孔を検出できなかった場合に、前記パルス電流の時間幅を複数の異なる値に設定して瞳孔検出を行い、前記対象者の瞳孔を検出できた場合のパルス電流の時間幅に基づいてパルス電流の時間幅を決定する、請求項1〜5のいずれか一項に記載の瞳孔検出用光源装置の制御方法。
- 前記明瞳孔画像用光源及び前記暗瞳孔画像用光源の発光量を決定するステップでは、前記対象者の瞳孔を検出できなかった場合に、前記パルス電流の時間幅を複数の異なる値に順次設定して繰り返して瞳孔検出を行い、最初に前記対象者の瞳孔を検出できたときの前記対象者の瞳孔輝度を計測し、前記瞳孔輝度に対応する前記パルス電流の時間幅に基づいてパルス電流の時間幅を決定する、請求項1〜5のいずれか一項に記載の瞳孔検出用光源装置の制御方法。
- 前記明瞳孔画像用光源及び前記暗瞳孔画像用光源の少なくとも一方は、複数の発光素子を各々含む複数のグループを構成する複数の発光素子を有し、前記グループを構成する複数の発光素子に供給されるパルス電流の時間幅及び電流量の少なくとも一方は、前記グループ毎に互いに異なる、請求項1〜7のいずれか一項に記載の瞳孔検出用光源装置の制御方法。
- 前記明瞳孔画像用光源が有する複数の発光素子は、前記グループとして第1のグループを構成し、
前記暗瞳孔画像用光源が有する複数の発光素子は、前記グループとして第2のグループ及び第3のグループを構成し、
前記第1のグループを構成する複数の発光素子は、前記対象者の瞳孔からの光をカメラに導入するために前記カメラに設けられた開口部の周囲に配置され、
前記第2のグループを構成する複数の発光素子は、前記第1のグループを構成する複数の発光素子に近接して配置され、
前記第3のグループを構成する複数の発光素子は、前記第1のグループを構成する複数の発光素子から離間して配置され、
前記パルス電流を前記明瞳孔画像用光源及び前記暗瞳孔画像用光源に供給するステップでは、前記第2のグループを構成する複数の発光素子に供給されるパルス電流の時間幅及び電流量は、対象者の瞳孔輝度によらず一定である、請求項8に記載の瞳孔検出用光源装置の制御方法。 - 前記差分画像を計算するステップでは、前記対象者の瞳孔の周辺の輝度である瞳孔周辺輝度が等しくなるように前記明瞳孔画像及び前記暗瞳孔画像の少なくとも一方の画素値を調整した後に前記明瞳孔画像と前記暗瞳孔画像との差分を計算することにより差分画像を計算する、請求項1〜9のいずれか一項に記載の瞳孔検出用光源装置の制御方法。
- 前記明瞳孔画像用光源及び前記暗瞳孔画像用光源のいずれにも電流を供給せずに前記対象者の顔の画像を無照明画像として取得するステップと、
前記明瞳孔画像と前記無照明画像との差分である差分明瞳孔画像を取得するステップと、
前記暗瞳孔画像と前記無照明画像との差分である差分暗瞳孔画像を取得するステップと、
をさらに備え、
前記差分画像を計算するステップでは、前記対象者の瞳孔の周辺の輝度である瞳孔周辺輝度が等しくなるように前記差分明瞳孔画像及び前記差分暗瞳孔画像の少なくとも一方の画素値を調整した後に前記差分明瞳孔画像を前記差分暗瞳孔画像で除算することにより差分画像を計算する、請求項1〜9のいずれか一項に記載の瞳孔検出用光源装置の制御方法。 - 請求項1〜11のいずれか一項に記載の瞳孔検出用光源装置の制御方法を、時分割で複数の瞳孔に対して実行する、瞳孔検出用光源装置の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014230099A JP6504788B2 (ja) | 2014-11-12 | 2014-11-12 | 瞳孔検出用光源装置の制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014230099A JP6504788B2 (ja) | 2014-11-12 | 2014-11-12 | 瞳孔検出用光源装置の制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016093253A JP2016093253A (ja) | 2016-05-26 |
JP6504788B2 true JP6504788B2 (ja) | 2019-04-24 |
Family
ID=56069838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014230099A Active JP6504788B2 (ja) | 2014-11-12 | 2014-11-12 | 瞳孔検出用光源装置の制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6504788B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018164104A1 (ja) * | 2017-03-08 | 2018-09-13 | 国立大学法人静岡大学 | 眼部画像処理装置 |
JP2018181025A (ja) * | 2017-04-17 | 2018-11-15 | アルプス電気株式会社 | 視線検出装置 |
US11179035B2 (en) | 2018-07-25 | 2021-11-23 | Natus Medical Incorporated | Real-time removal of IR LED reflections from an image |
JP7142350B2 (ja) * | 2018-09-12 | 2022-09-27 | 株式会社トーメーコーポレーション | 検眼装置 |
EP3900629A4 (en) * | 2018-12-18 | 2022-04-13 | NEC Corporation | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND STORAGE MEDIA |
CN111700586B (zh) * | 2020-07-01 | 2023-09-29 | 业成科技(成都)有限公司 | 眼动追踪装置及应用其的电子装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3520618B2 (ja) * | 1995-08-16 | 2004-04-19 | 日産自動車株式会社 | 車両用視線方向計測装置 |
JP4839432B2 (ja) * | 2003-12-17 | 2011-12-21 | 国立大学法人静岡大学 | 瞳孔位置検出によるポインティング装置及び方法 |
US7091471B2 (en) * | 2004-03-15 | 2006-08-15 | Agilent Technologies, Inc. | Using eye detection for providing control and power management of electronic devices |
US7430365B2 (en) * | 2005-03-31 | 2008-09-30 | Avago Technologies Ecbu (Singapore) Pte Ltd. | Safe eye detection |
JP5145555B2 (ja) * | 2007-03-30 | 2013-02-20 | 国立大学法人静岡大学 | 瞳孔検出方法 |
US8550626B2 (en) * | 2009-04-01 | 2013-10-08 | Centervue S.P.A. | Instrument for eye examination |
CN104114080B (zh) * | 2011-10-17 | 2017-04-19 | 爱迪尔扫描有限责任公司 | 用于确定眼地形图的方法和设备 |
EP2975997B1 (en) * | 2013-03-18 | 2023-07-12 | Mirametrix Inc. | System and method for on-axis eye gaze tracking |
JP5835264B2 (ja) * | 2013-04-05 | 2015-12-24 | 株式会社網膜情報診断研究所 | 無散瞳眼底撮影システムと無散瞳眼底撮影方法 |
-
2014
- 2014-11-12 JP JP2014230099A patent/JP6504788B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016093253A (ja) | 2016-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6504788B2 (ja) | 瞳孔検出用光源装置の制御方法 | |
US11543883B2 (en) | Event camera system for pupil detection and eye tracking | |
US9962078B2 (en) | Gaze tracking variations using dynamic lighting position | |
CN107533362B (zh) | 眼睛跟踪设备和用于操作眼睛跟踪设备的方法 | |
WO2018177311A1 (zh) | 视线追踪装置及头戴式显示设备 | |
CN106175801B (zh) | 眨眼测量方法、眨眼测量装置及眨眼测量程序 | |
JP6617662B2 (ja) | 視線検出装置、視線検出方法、及びコンピュータプログラム | |
JP6201956B2 (ja) | 視線検出装置および視線検出方法 | |
JP2017102687A (ja) | 視線検出装置及び視線検出方法 | |
CN108140244B (zh) | 视线检测装置以及视线检测方法 | |
JP5479068B2 (ja) | 画像処理装置及び画像処理方法 | |
JPWO2014181775A1 (ja) | 瞳孔検出用光源装置、瞳孔検出装置及び瞳孔検出方法 | |
JP7401013B2 (ja) | 情報処理装置、制御装置、情報処理方法及びプログラム | |
JP6957048B2 (ja) | 眼部画像処理装置 | |
JP6381654B2 (ja) | 視線検出装置 | |
JP2016028669A (ja) | 瞳孔検出装置、および瞳孔検出方法 | |
JP2020038734A (ja) | 視線検出装置及び視線検出方法 | |
JP2016171849A (ja) | 診断支援装置および診断支援方法 | |
JP6593133B2 (ja) | 診断支援装置および診断支援方法 | |
JP6687195B2 (ja) | 眼部画像処理装置 | |
JP2020140637A (ja) | 瞳孔検出装置 | |
KR20140147748A (ko) | 시력 보조 기구 착용시에도 안정적인 시선 추적 방법 | |
JP2015146961A (ja) | 眼科装置及び眼科装置の制御方法 | |
JP2016049258A (ja) | 照明撮像装置及びそれを備えた視線検出装置 | |
JP2022131345A (ja) | 瞳孔検出装置及び瞳孔検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171031 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180814 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181012 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20181120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190214 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190326 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6504788 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |