JP6780161B2 - 視線検出装置及び視線検出方法 - Google Patents
視線検出装置及び視線検出方法 Download PDFInfo
- Publication number
- JP6780161B2 JP6780161B2 JP2015235889A JP2015235889A JP6780161B2 JP 6780161 B2 JP6780161 B2 JP 6780161B2 JP 2015235889 A JP2015235889 A JP 2015235889A JP 2015235889 A JP2015235889 A JP 2015235889A JP 6780161 B2 JP6780161 B2 JP 6780161B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- line
- pupil
- camera
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
まず、図1〜3を用いて、実施形態に係る視線検出装置1の構成を説明する。視線検出装置1は、対象者の眼を撮像することで対象者の視線方向を検出するコンピュータシステムであり、この装置により、本実施形態に係る視線検出方法が実施される。対象者とは、視線方向を検出する対象となる人であり、被験者ともいうことができる。視線検出装置1および視線検出方法の利用目的は何ら限定されず、例えば、よそ見運転の検出、運転者の眠気の検出、運転者のサイドミラーやルームミラーの安全確認動作の確認、商品の興味の度合いの調査、アミューズメント装置等に利用されるコンピュータへのデータ入力、乳幼児の自閉症診断等の診断用装置などに視線検出装置1を利用することができる。特に、本実施形態に係る視線検出装置1は、公共の場所に設置されたデジタルサイネージ等の対象物に対する対象者の視線方向を検出する装置、商品の陳列棚においてどの商品を見ているかを検出する装置等、対象者と装置との間の距離が変動する状況下での使用に適している。ただし、このような状況下での使用に限定されるものではない。
次に、図4〜7を用いて、視線検出装置1の動作について説明するとともに、本実施形態に係る視線検出方法について説明する。
視線検出方法の概要を図4に示す。視線検出装置1による視線検出処理は外部からのユーザの指示入力に応じて開始され、まず、対象者検出装置20によって対象者の頭部の3次元座標が取得され、その3次元座標が画像処理装置40に出力される(ステップS01)。そして、画像処理装置40のカメラ/光源制御部41によって、狭視野カメラ30の姿勢及びズーム値が調整されるとともに、狭視野カメラ30のオートフォーカス機能が起動される。それと同時に、カメラ/光源制御部41によって、広視野カメラ10及び狭視野カメラ30の撮影タイミングと、光源13及び光源33の点灯タイミングとが制御される(ステップS02)。その後、画像処理装置40の瞳孔座標算出部42により、一対の広視野カメラ10から出力された画像データを基に、対象者の瞳孔中心の3次元座標が検出される(ステップS03)。次に、画像処理装置40の瞳孔/角膜反射座標算出部43により、狭視野カメラ30から出力された画像データを対象に、瞳孔中心の画像上の座標が検出される(ステップS04)。それとともに、瞳孔/角膜反射座標算出部43により、狭視野カメラ30から出力された画像データを対象に、2つの光源33による2つの角膜反射の画像上の座標が検出される(ステップS05)。その後、画像処理装置40の拡大率算出部44により、対象者の瞳孔中心の3次元座標と、2つの角膜反射の画像上の座標とを基に、狭視野カメラ30による画像の拡大率が算出される(ステップS06)。さらに、画像処理装置40の注視点算出部45によって、算出された拡大率と、瞳孔中心の画像上の座標と、2つの角膜反射のうちの少なくとも1つの角膜反射の画像上の座標とを基に、対象者の視線ベクトルが算出され、その視線ベクトルを基に対象者のディスプレイ装置50の表示画面上の注視点が検出および出力される(ステップS07)。
眼に入った光は網膜で乱反射し、反射光のうち瞳孔を通り抜けた光は強い指向性をもって光源へ戻る性質がある。カメラの開口部近くにある光源が発光した時にカメラを露光させると、網膜で反射した光の一部がその開口部に入るため、瞳孔が瞳孔周辺よりも明るく写った画像を取得することができる。この画像が明瞳孔画像である。これに対して、カメラの開口部から離れた位置にある光源が発光した時にカメラを露光させると、眼から戻ってきた光はカメラの開口部にほとんど戻らないため、瞳孔が暗く写った画像を取得することができる。この画像が暗瞳孔画像である。また、透過率が高い波長の光を眼に照射すると、網膜での光の反射が多くなるので瞳孔が明るく写り、透過率が低い波長の光を眼に照射すると、網膜での光の反射が少なくなるので瞳孔が暗く写る。
瞳孔座標算出部42は、一対の広視野カメラ10から、上記の一連の制御により得られる明瞳孔画像および暗瞳孔画像を取得する。得られる画像データは、奇数フィールド又は偶数フィールドのみに有効画素を有しているため、瞳孔座標算出部42は、隣接する有効画素の画素ラインの輝度平均をそのライン間の画素値に埋め込むことによって、明瞳孔画像または暗瞳孔画像を生成する。
瞳孔/角膜反射座標算出部43は、広視野カメラ10からの画像データの取得と同様にして、狭視野カメラ30から1フレーム毎に明瞳孔画像及び暗瞳孔画像を取得する。瞳孔/角膜反射座標算出部43は、入力された明瞳孔画像および暗瞳孔画像のそれぞれから、2つの光源33によって生じる2つの角膜反射を検出する。明瞳孔画像からは2つの発光素子33aによって生じる2つの角膜反射を検出し、暗瞳孔画像からは2つの発光素子33bによって生じる2つの角膜反射を検出する。具体的には、瞳孔/角膜反射座標算出部43は、1枚の画像に対してPタイル法による2値化とラベリングとを行い、形状や輝度平均などの情報に基づいてその画像から2つの角膜反射を選択する。このとき、2つの光源33の配置関係から2つの角膜反射は画像上で水平方向に並ぶと予測されるので、その幾何学的特徴を利用して角膜反射の候補位置から2つの角膜反射の位置を選択する。さらに、瞳孔/角膜反射座標算出部43は、選択された2つの角膜反射のうち、処理対象の画像が取得された狭視野カメラ30に取り付けられた光源33に対応する1つの角膜反射の位置に基づいて明瞳孔画像と暗瞳孔画像との間での角膜反射の移動量を位置補正量として計算する。続いて、瞳孔/角膜反射座標算出部43はそれらの画像間で角膜反射の位置が一致するように、前フィールド(i番目のフィールド)の画像を、次フィールド((i+1)番目のフィールド)の画像に位置補正量だけずらした上で、これら2画像から差分画像を生成する。そして、瞳孔/角膜反射座標算出部43は一致させた画像上の2つの角膜反射の座標(位置)を取得する。
続いて、拡大率算出部44は、瞳孔/角膜反射座標算出部43によって算出された瞳孔中心の画像上の座標及び2つの角膜反射の画像上の座標を基に、狭視野カメラ30の画像の拡大率を算出する。図6は、拡大率算出部44による拡大率の算出原理を説明するための概念図である。このような拡大率の算出は、狭視野カメラ30Lから取得された画像データを基にした差分画像GL1上の瞳孔中心CPの座標及び2つの角膜反射G1,G2の座標と、瞳孔座標算出部42によって算出された瞳孔中心の3次元座標とを用いて実行される一方で、狭視野カメラ30Rから取得された画像データを基にした差分画像GR1上の瞳孔中心CPの座標及び2つの角膜反射G1,G2の座標と、瞳孔座標算出部42によって算出された瞳孔中心の3次元座標とを用いても実行される。以下では、差分画像GL1を用いた処理方法のみ説明する。
により計算する。さらに、拡大率算出部44は、角膜球CB上の一方の角膜反射R2の3次元座標を示す位置ベクトルを下記式(2);
により計算する。ここで、dは角膜球CBの半径であり既知の値として与えられる。例えば、標準的な角膜球CBの半径としてd=7.7mmが設定される。
により、他方の角膜反射R1の3次元座標を示す位置ベクトルを計算することができる。そして、拡大率算出部44は、2つの角膜反射の位置ベクトルR1,R2を基に、下記式(4);
を用いて、2つの角膜反射R1,R2の3次元座標間の距離(実寸距離)を算出する。
e=||R2−R1||/||G1G2|| (5)
により、狭視野カメラ30による画像の拡大率eを算出する。なお、予め角膜球半径dの値を7.7mmと与えたが、上記式(5)から分かるように、上記式(4)中のd(角膜球半径)の誤差はeで補償されるため,結果的にdは任意の正の値に設定されていても良いことになる。
注視点算出部45は、瞳孔/角膜反射座標算出部43によって算出された瞳孔中心の画像上の座標及び2つの角膜反射のうちの少なくとも1つの角膜反射の画像上の座標と、拡大率算出部44によって算出された拡大率eとを基に、対象者の視線方向を検出する。一例として、注視点算出部45は、瞳孔中心の画像上の座標、及び2つの角膜反射のうち処理対象の画像データが取得された狭視野カメラ30に取り付けられた光源33に対応する角膜反射の画像上の座標を用いて、視線方向を検出する。他の例として、注視点算出部45は、瞳孔中心の画像上の座標、及び2つの角膜反射の画像上の座標を用いて、視線方向を検出することもできる。図7は、注視点算出部45による1つの角膜反射を用いた視線方向の検出原理を説明するための概念図である。このような視線方向の算出は、狭視野カメラ30Lから取得された画像データを基にした差分画像を対象に実行される一方で、狭視野カメラ30Rから取得された画像データを基にした差分画像を対象にも実行される。図7に示すように、瞳孔中心の3次元位置Pに基づいて、狭視野カメラ30の開口部32の中心を原点Oとし、その原点Oと瞳孔中心Pを結ぶ基準線OPを法線とする仮想視点平面X’−Y’を考える。ここで、X’軸は、世界座標系のXW−ZW平面と仮想視点平面との交線に相当する。
θ=f1(r)=k×|r−r0| (6)
Q=αPT+P (7)
R3=C+d・n3 (8)
R4=C+d・n4 (9)
と表せる。
そして、||CN3||=||CN4||とみなすことにより、拡大率算出部44は、下記式(12)を用いて、2つの角膜反射間の距離を算出することができ、この距離を基に画像の拡大率eを計算できる。
ここで、狭視野カメラ30が角度的に光源N3もしくは光源N4に近いときも同様に計算できる。つまり、狭視野カメラ30の光軸が2つの光源を結ぶ直線上のどこにあったとしても、2つの角膜反射の間の距離は式(12)で与えられることに変わりはない。
Claims (5)
- 対象者の眼を撮像することで前記眼の3次元位置を検出する3次元位置検出手段と、
前記対象者の眼を撮像する少なくも1台のカメラと、
前記対象者に向けられた異なる位置に配置された第1及び第2の光源と、
前記カメラによって撮像された前記眼の画像を基に、前記対象者の瞳孔の前記画像上の座標と、前記第1及び第2の光源による第1及び第2の角膜反射の前記画像上の座標とを検出し、前記瞳孔の前記座標と前記第1の角膜反射及び前記第2の角膜反射のうちの少なくとも1つの前記座標とを基に前記対象者の視線の方向を算出する視線算出手段とを備え、
前記視線算出手段は、前記眼の前記3次元位置と既知の前記第1及び第2の光源の3次元位置とから、前記眼における前記第1及び第2の角膜反射の間の実寸距離を算出し、前記第1の角膜反射の前記座標と前記第2の角膜反射の前記座標との間の画像上距離を算出し、前記画像上距離と前記実寸距離とを基に前記カメラによる画像の拡大率を算出し、前記拡大率を基に前記視線の方向を算出する、
視線検出装置。 - 前記視線算出手段は、前記画像上距離と前記実寸距離との比を計算することにより、前記カメラによる画像の拡大率を算出する、
請求項1記載の視線検出装置。 - 前記視線算出手段は、前記第1の角膜反射又は前記第2の角膜反射のいずれかの前記座標から前記瞳孔の前記座標までの角膜反射−瞳孔ベクトルを算出し、前記角膜反射−瞳孔ベクトルに前記拡大率を乗ずることで、前記カメラと前記瞳孔を結ぶ線からの前記視線の方向のなす角度を算出する、
請求項1又は2に記載の視線検出装置。 - 前記第1及び第2の光源は、前記第1及び第2の光源を結ぶ線が前記カメラを通るように配置されている、
請求項1〜3のいずれか1項に記載の視線検出装置。 - 対象者の眼を撮像する少なくも1台のカメラと、前記対象者に向けられた異なる位置に配置された第1及び第2の光源と、前記対象者の視線の方向を算出する視線検出手段と、を備える視線検出装置が、対象者の眼を撮像することで前記眼の3次元位置を検出する3次元位置検出ステップと、
前記視線検出装置が、前記カメラによって撮像された前記眼の画像を基に、前記対象者の瞳孔の前記画像上の座標と、前記第1及び第2の光源による第1及び第2の角膜反射の前記画像上の座標とを検出し、前記瞳孔の前記座標と前記第1の角膜反射及び前記第2の角膜反射のうちの少なくとも1つの前記座標とを基に前記対象者の視線の方向を算出する視線算出ステップとを備え、
前記視線算出ステップでは、前記眼の前記3次元位置と既知の前記第1及び第2の光源の3次元位置とから、前記眼における前記第1及び第2の角膜反射の間の実寸距離を算出し、前記第1の角膜反射の前記座標と前記第2の角膜反射の前記座標との間の画像上距離を算出し、前記画像上距離と前記実寸距離とを基に前記カメラによる画像の拡大率を算出し、前記拡大率を基に前記視線の方向を算出する、
視線検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015235889A JP6780161B2 (ja) | 2015-12-02 | 2015-12-02 | 視線検出装置及び視線検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015235889A JP6780161B2 (ja) | 2015-12-02 | 2015-12-02 | 視線検出装置及び視線検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017102731A JP2017102731A (ja) | 2017-06-08 |
JP6780161B2 true JP6780161B2 (ja) | 2020-11-04 |
Family
ID=59016596
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015235889A Active JP6780161B2 (ja) | 2015-12-02 | 2015-12-02 | 視線検出装置及び視線検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6780161B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7269617B2 (ja) * | 2018-11-30 | 2023-05-09 | 国立大学法人静岡大学 | 顔画像処理装置、画像観察システム、及び瞳孔検出システム |
CN112101064A (zh) * | 2019-06-17 | 2020-12-18 | 北京七鑫易维科技有限公司 | 一种视线追踪方法、装置、设备及存储介质 |
CN114500839A (zh) * | 2022-01-25 | 2022-05-13 | 青岛根尖智能科技有限公司 | 一种基于注意力跟踪机制的视觉云台控制方法及系统 |
-
2015
- 2015-12-02 JP JP2015235889A patent/JP6780161B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017102731A (ja) | 2017-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5858433B2 (ja) | 注視点検出方法及び注視点検出装置 | |
JP5915981B2 (ja) | 注視点検出方法及び注視点検出装置 | |
JP6631951B2 (ja) | 視線検出装置及び視線検出方法 | |
JP5467303B1 (ja) | 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体 | |
JP6474900B2 (ja) | ヘッドマウントディスプレイ | |
US10896324B2 (en) | Line-of-sight detection device and method for detecting line of sight | |
JP6548171B2 (ja) | 瞳孔検出システム、視線検出システム、瞳孔検出方法、および瞳孔検出プログラム | |
JPWO2018030515A1 (ja) | 視線検出装置 | |
KR20120057033A (ko) | Iptv 제어를 위한 원거리 시선 추적 장치 및 방법 | |
JP2017102687A (ja) | 視線検出装置及び視線検出方法 | |
JP7030317B2 (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
CN108697321B (zh) | 用于在限定操作范围内进行视线跟踪的装置 | |
JP6324119B2 (ja) | 回転角度算出方法、注視点検出方法、情報入力方法、回転角度算出装置、注視点検出装置、情報入力装置、回転角度算出プログラム、注視点検出プログラム及び情報入力プログラム | |
US11624907B2 (en) | Method and device for eye metric acquisition | |
JP6780161B2 (ja) | 視線検出装置及び視線検出方法 | |
JP7046347B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6856017B2 (ja) | 角膜反射位置検出装置、視線検出装置及び角膜反射位置検出方法 | |
JP6288770B2 (ja) | 顔検出方法、顔検出システム、および顔検出プログラム | |
KR101817436B1 (ko) | 안구 전위 센서를 이용한 영상 표시 장치 및 제어 방법 | |
JP2020140637A (ja) | 瞳孔検出装置 | |
JP6430813B2 (ja) | 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置 | |
JP6687195B2 (ja) | 眼部画像処理装置 | |
JP6370168B2 (ja) | 照明撮像装置及びそれを備えた視線検出装置 | |
JP2016057906A (ja) | 視点位置の計測方法及び計測システム | |
US8967803B2 (en) | Image capturing apparatus and auto-focusing method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191021 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200630 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200709 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6780161 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |