JP5626039B2 - 視線検出装置及び視線検出方法 - Google Patents
視線検出装置及び視線検出方法 Download PDFInfo
- Publication number
- JP5626039B2 JP5626039B2 JP2011051579A JP2011051579A JP5626039B2 JP 5626039 B2 JP5626039 B2 JP 5626039B2 JP 2011051579 A JP2011051579 A JP 2011051579A JP 2011051579 A JP2011051579 A JP 2011051579A JP 5626039 B2 JP5626039 B2 JP 5626039B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pupil
- line
- user
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
Description
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
上述したように、ユーザの周囲の環境が明るい場合には、ユーザの眼を含む顔の少なくとも一部を撮影した画像上でプルキンエ像を識別することが困難になる場合がある。また一般に、ユーザの周囲の環境が明るいと、瞳孔が小さくなる。そして瞳孔が小さくなると、ユーザの視線方向によっては、プルキンエ像が瞳孔と重ならなくなり、さらにプルキンエ像の検出が困難となることがある。
そこでこの視線検出装置は、ユーザの眼を含む顔の少なくとも一部を撮影した画像を解析することで瞳孔のサイズを求める。そしてこの視線検出装置は、瞳孔のサイズが一定の基準値よりも小さい場合、プルキンエ像を利用しない方法によって視線方向を検出し、一方、瞳孔のサイズがその基準値以上である場合、プルキンエ像と瞳孔の相対的な位置の差に基づいて視線方向を検出する。
なお、視線検出装置1が有する光源2の数は、1個に限られず、複数個であってもよい。
制御部6は、ユーザの視線方向の情報を用いるアプリケーションが、視線検出装置1が実装されている装置で実行されている間、視線検出処理を実行する。また制御部6は、視線検出装置1の起動時、あるいは上記のようなアプリケーションの起動時など、特定のタイミングにおいてキャリブレーション処理を実行する。
制御部6が有するこれらの各部は、制御部6が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールである。
また制御部6が有するこれらの各部は、それぞれ制御部6が有するプロセッサとは別個の回路として形成されてもよい。あるいは、制御部6が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として視線検出装置1に実装されてもよい。
本実施形態では、撮影時において、ユーザの顔は光源2からの赤外光で照明されており、赤外光に対する肌の反射率は比較的高い(例えば、肌の反射率は近赤外の波長域で数10%)ので、画像上で顔の肌の部分が写っている画素の輝度は高い。一方、画像上で髪の毛またはユーザの背後の領域は赤外光に対する反射率が低いかまたは光源から遠いため、髪の毛またはユーザの背後の領域が写っている画素の輝度は、相対的に低くなる。
そこで、顔検出部13は、画像の各画素の値がRGB表色系により表されているカラー画像である場合、各画素の値をYUV表色系により表される値に変換する。そして顔検出部13は、各画素の輝度成分(Y成分)の値が所定の閾値以上の画素を、顔が写っている可能性がある顔領域候補画素として抽出する。なお、画像の各画素の値が輝度を表すモノクロ画像である場合、顔検出部13は、各画素の値を所定の閾値と比較する。所定の閾値は、例えば、画像上の輝度成分の最大値に0.8を乗じた値に設定される。
そこで顔検出部13は、顔領域候補画素に対してラベリング処理を行って、互いに隣接している顔領域候補画素の集合を顔候補領域とする。そして顔検出部13は、顔候補領域の大きさがユーザの顔の大きさに相当する基準範囲に含まれているか否か判定する。顔候補領域の大きさがユーザの顔の大きさに相当する基準範囲に含まれていれば、顔検出部13はその顔候補領域をユーザの顔が写っている顔領域と判定する。
なお、顔候補領域の大きさは、例えば、顔候補領域の水平方向の最大幅の画素数で表される。この場合、基準範囲は、例えば、画像の水平方向画素数の1/4以上〜2/3以下に設定される。あるいは、顔候補領域の大きさは、例えば、顔候補領域に含まれる画素数で表されてもよい。この場合、基準範囲は、例えば、画像全体の画素数の1/16以上〜4/9以下に設定される。
そして顔検出部13は、顔領域を表す情報を瞳孔サイズ検出部14、プルキンエ像検出部16及び第2視線検出部18へ渡す。
このように、画像上での瞳孔のサイズは、ユーザの視線方向の検出にプルキンエ像が利用できるか否かを判断するために有用な情報となることが分かる。
あるいは、瞳孔サイズ検出部14は、画像上の眼の像を表すテンプレートと、顔領域とのテンプレートマッチングにより、顔領域内でテンプレートに最も一致する領域を検出し、その検出した領域を眼の領域としてもよい。
また瞳孔サイズ検出部14は、画像上で瞳孔領域を検出する他の様々な方法の何れかを用いて、瞳孔領域を検出してもよい。
また瞳孔サイズ検出部14は、画像上での瞳孔領域を表す情報を第1視線検出部17及び第2視線検出部18へ渡す。
このように基準値を設定することにより、視線検出方法選択部15は、プルキンエ像を用いた視線検出方法が利用可能か否かを適切に判定できる。
光源2のプルキンエ像が写っている領域の輝度は、その周囲の領域の輝度よりも高い。また、光源2のプルキンエ像が写っている領域の形状は、各光源の発光面の形状と略一致する。そこでプルキンエ像検出部16は、眼の領域内で、光源の発光面の輪郭形状と略一致する形状を持ち、かつ、大きさが異なるとともに中心が一致する2本のリングを設定する。そしてプルキンエ像検出部16は、内側のリングに相当する画素の輝度の平均値である内部輝度平均値から外側の画素の輝度の平均値を引いた差分値が所定の差分閾値よりも大きく、かつ内側輝度平均値が所定の輝度閾値よりも高い領域を検出する。そしてプルキンエ像検出部16は、その検出された領域内の内側のリングで囲まれた領域を光源2のプルキンエ像とする。なお、差分閾値は、例えば、眼の領域内の近傍画素間の差分値の平均値とすることができる。また所定の輝度閾値は、例えば、眼の領域内での輝度値の最高値の80%とすることができる。
なお、プルキンエ像検出部16は、画像上で光源のプルキンエ像が写っている領域を検出する他の様々な方法の何れかを用いて、光源のプルキンエ像が写っている領域を検出してもよい。
プルキンエ像検出部16は、キャリブレーション処理の実行時の場合、プルキンエ像の重心及び瞳孔重心をキャリブレーション部19へ通知する。一方、プルキンエ像検出部16は、視線検出処理の実行時には、プルキンエ像の重心及び瞳孔重心を第1視線検出部17へ通知する。
本実施形態では、第2視線検出部18は、画像上でのユーザの顔の特徴的な部位の位置を基準とした、瞳孔重心の相対的な位置に基づいてユーザの視線方向を検出する。
例えば、第2視線検出部18は、鼻尖点または目頭といった、眼との相対的な位置関係の変動が小さい特徴的な部位の画像上での座標を求める。そのために、第2視線検出部18は、例えば、顔領域とそれら特徴的な部位の一般的な形状に相当するテンプレートとの間で相対的な位置を変えつつテンプレートマッチングを行って、顔領域とテンプレートとの一致度を算出する。そして第2視線検出部18は、顔領域内の特定位置で一致度が所定値以上である場合に、その特定位置にテンプレートに相当する部位が写っていると判定する。
第2視線検出部18は、キャリブレーション処理の実行時に更新され、かつメモリ5に記憶されている瞳孔−視線方向参照テーブルを参照することにより、補正後の瞳孔重心位置に対応するユーザの視線方向を決定する。第2視線検出部18は、ユーザの視線方向を、インターフェース部4を介して出力する。
キャリブレーション部19は、例えば、制御部6から視線検出装置1が起動したことを示す信号を受信したときに、キャリブレーション処理を実行する。キャリブレーション処理が開始されると、キャリブレーション部19は、例えば、視線検出装置1が実装された装置のディスプレイなどのユーザインターフェースを介して、ユーザに、所定の基準位置を見ることを指示するメッセージを報知する。基準位置は、例えば、視線検出装置1が実装された装置のディスプレイの中心、あるいはカメラ3の設置位置などとすることができる。またキャリブレーションの実行中、ユーザは、その基準位置を注視するものとする。
さらに、キャリブレーション部19は、その他の視線方向に対するプルキンエ像の重心を基準とする瞳孔重心の相対的な位置を、既に求められている視線方向に対応する瞳孔重心の相対的な位置を用いて例えば線形補間することにより決定する。
キャリブレーション部19は、更新された視線方向参照テーブルをメモリ5に保存する。
キャリブレーション部19は、更新された瞳孔−視線方向参照テーブルをメモリ5に保存する。
制御部6のカメラ制御部12は、カメラ3からユーザの顔を撮影した画像を取得する(ステップS101)。そしてカメラ制御部12は、画像をメモリ5に一時的に記憶させる。また、そして制御部6の顔検出部13は、画像上で顔が写っている顔領域を抽出する(ステップS102)。顔検出部13は、顔領域の抽出に成功したか否か判定する(ステップS103)。顔領域の抽出に失敗した場合(ステップS103−No)、ユーザはカメラ3の方を向いていない可能性がある。そのため、制御部6は、視線検出処理を終了する。その後制御部6は、キャリブレーション処理を実行してもよい。あるいは、制御部6は、ステップS101以降の処理を再度実行してもよい。この場合には、カメラ制御部12は、前回の撮影時の露出条件と異なる露出条件でユーザの顔を撮影するようにカメラ3に制御信号を送信してもよい。
視線検出方法選択部15は、瞳孔径が所定の基準値以上か否か判定する(ステップS105)。瞳孔径が所定の基準値以上であれば(ステップS105−Yes)、視線検出方法選択部15は、プルキンエ像を用いた視線検出処理を選択する。そしてプルキンエ像検出部16は、画像上の顔領域に対してプルキンエ像を検出する(ステップS106)。そしてプルキンエ像検出部16は、プルキンエ像の重心を第1視線検出部17へ渡す。
第1視線検出部17は、視線方向参照テーブルを参照することにより、プルキンエ像の重心と瞳孔重心の相対的な位置関係に対応するユーザの視線方向を決定する(ステップS107)。
この場合、第2視線検出部は、例えば、顔領域内で眼、鼻の穴、口などの特徴的な部位を検出する。そのために、例えば、第2視線検出部は、顔領域と一般的なそれらの部位の形状に相当するテンプレートとの間で相対的な位置を変えつつテンプレートマッチングを行って、顔領域とテンプレートとの一致度を算出する。そして第2視線検出部は、顔領域内の特定位置で一致度が所定値以上である場合に、その特定位置にテンプレートに相当する部位が写っていると判定する。
第2視線検出部は顔中心線の左右の顔領域の画素数の比率、あるいは、顔中心線上の所定の点から顔領域の左右の端点までの最大距離の比率を求める。そして第2視線検出部は、その比率と、顔の向きとの関係を表す顔向き参照テーブルを参照することにより、ユーザの顔の向きを決定する。なお、その比率と顔の向きとの関係は、予め実験により決定され、その関係を表す顔向き参照テーブルは、予めメモリに記憶される。
(付記1)
ユーザの顔を照明する光源と、
前記顔を撮影した画像を生成する撮像部と、
前記画像から前記ユーザの少なくとも一方の眼の瞳孔を検出して該瞳孔のサイズを求める瞳孔サイズ検出部と、
前記画像から前記光源のプルキンエ像を検出するプルキンエ像検出部と、
前記画像上での前記ユーザの瞳孔と当該プルキンエ像の位置関係に基づいて前記ユーザの視線方向を検出する第1視線検出部と、
前記画像上の前記瞳孔の重心または前記画像上の前記ユーザの顔向きに基づいて前記ユーザの視線方向を検出する第2視線検出部と、
前記瞳孔のサイズが基準値以上である場合、前記第1視線検出部に前記ユーザの視線方向を検出させ、一方、前記瞳孔のサイズが前記基準値未満である場合、前記第2視線検出部に前記ユーザの視線方向を検出させる選択部と、
を有する視線検出装置。
(付記2)
前記基準値は、前記ユーザが注視対象物の一端から他端まで視線を移動させたときの前記画像上での前記プルキンエ像の移動量に対応する値である、付記1に記載の視線検出装置。
(付記3)
前記ユーザの顔を撮影した基準画像上での当該顔の特徴的な部位の基準位置及び当該基準画像における前記ユーザの瞳孔の重心の位置と前記ユーザの視線方向とを対応付けた参照テーブルを記憶する記憶部をさらに有し、
前記第2視線検出部は、前記画像から前記顔の前記部位の位置を検出し、当該部位の位置と前記基準位置との差を求め、前記画像上での前記瞳孔の重心の位置を補正して当該差を打ち消すとともに、前記参照テーブルを参照することにより、補正後の瞳孔の重心の位置に対応する前記ユーザの視線方向を検出する、付記1または2に記載の視線検出装置。
(付記4)
光源により照明されたユーザの顔を撮影した画像を生成し、
前記画像から前記ユーザの少なくとも一方の眼の瞳孔を検出して該瞳孔のサイズを求め、
前記瞳孔のサイズを基準値と比較し、
前記瞳孔のサイズが前記基準値以上である場合、前記画像から前記光源のプルキンエ像を検出し、前記画像上での前記ユーザの瞳孔と当該プルキンエ像の位置関係に基づいて前記ユーザの視線方向を検出し、一方、前記瞳孔のサイズが前記所定の基準値未満である場合、前記画像上の前記瞳孔の重心または前記画像上の前記ユーザの顔向きに基づいて前記ユーザの視線方向を検出する、
ことを含む視線検出方法。
(付記5)
光源により照明されたユーザの顔を撮影した画像から当該ユーザの少なくとも一方の眼の瞳孔を検出して該瞳孔のサイズを求め、
前記瞳孔のサイズを所定の基準値と比較し、
前記瞳孔のサイズが前記所定の基準値以上である場合、前記画像から前記光源のプルキンエ像を検出し、前記画像上での前記ユーザの瞳孔と当該プルキンエ像の位置関係に基づいて前記ユーザの視線方向を検出し、一方、前記瞳孔のサイズが前記所定の基準値未満である場合、前記画像上の前記瞳孔の重心または前記画像上の前記ユーザの顔向きに基づいて前記ユーザの視線方向を検出する、
ことをコンピュータに実行させる視線検出用コンピュータプログラム。
2 光源
3 カメラ
4 インターフェース部
5 メモリ
6 制御部
11 光源制御部
12 カメラ制御部
13 顔検出部
14 瞳孔サイズ検出部
15 視線検出方法選択部
16 プルキンエ像検出部
17 第1視線検出部
18 第2視線検出部
19 キャリブレーション部
Claims (3)
- ユーザの顔を照明する光源と、
前記顔を撮影した画像を生成する撮像部と、
前記画像から前記ユーザの少なくとも一方の眼の瞳孔を検出して該瞳孔のサイズを求める瞳孔サイズ検出部と、
前記画像から前記光源のプルキンエ像を検出するプルキンエ像検出部と、
前記画像上での前記ユーザの瞳孔と当該プルキンエ像の位置関係に基づいて前記ユーザの視線方向を検出する第1視線検出部と、
前記画像上の前記瞳孔の重心または前記画像上の前記ユーザの顔向きに基づいて前記ユーザの視線方向を検出する第2視線検出部と、
前記瞳孔のサイズが基準値以上である場合、前記第1視線検出部に前記ユーザの視線方向を検出させ、一方、前記瞳孔のサイズが前記基準値未満である場合、前記第2視線検出部に前記ユーザの視線方向を検出させる選択部と、
を有する視線検出装置。 - 前記基準値は、前記ユーザが注視対象物の一端から他端まで視線を移動させたときの前記画像上での前記プルキンエ像の移動量に対応する値である、請求項1に記載の視線検出装置。
- 光源により照明されたユーザの顔を撮影した画像を生成し、
前記画像から前記ユーザの少なくとも一方の眼の瞳孔を検出して該瞳孔のサイズを求め、
前記瞳孔のサイズを基準値と比較し、
前記瞳孔のサイズが前記基準値以上である場合、前記画像から前記光源のプルキンエ像を検出し、前記画像上での前記ユーザの瞳孔と当該プルキンエ像の位置関係に基づいて前記ユーザの視線方向を検出し、一方、前記瞳孔のサイズが前記所定の基準値未満である場合、前記画像上の前記瞳孔の重心または前記画像上の前記ユーザの顔向きに基づいて前記ユーザの視線方向を検出する、
ことを含む視線検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011051579A JP5626039B2 (ja) | 2011-03-09 | 2011-03-09 | 視線検出装置及び視線検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011051579A JP5626039B2 (ja) | 2011-03-09 | 2011-03-09 | 視線検出装置及び視線検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012187190A JP2012187190A (ja) | 2012-10-04 |
JP5626039B2 true JP5626039B2 (ja) | 2014-11-19 |
Family
ID=47081029
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011051579A Active JP5626039B2 (ja) | 2011-03-09 | 2011-03-09 | 視線検出装置及び視線検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5626039B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5847058B2 (ja) | 2012-11-08 | 2016-01-20 | 本田技研工業株式会社 | 車両表示装置 |
JP6241107B2 (ja) * | 2013-07-23 | 2017-12-06 | リコーイメージング株式会社 | 視線方向検出装置および視線方向検出方法 |
JP6316559B2 (ja) | 2013-09-11 | 2018-04-25 | クラリオン株式会社 | 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム |
US20150185831A1 (en) * | 2013-12-26 | 2015-07-02 | Dinu Petre Madau | Switching between gaze tracking and head tracking |
KR101601508B1 (ko) * | 2014-10-20 | 2016-03-09 | 현대자동차주식회사 | 시선 추적 방법 |
JP6561639B2 (ja) | 2015-07-09 | 2019-08-21 | 富士通株式会社 | 関心度判定装置、関心度判定方法および関心度判定プログラム |
JP6908339B2 (ja) * | 2017-04-24 | 2021-07-28 | アルパイン株式会社 | 視線検知装置、視線検知プログラムおよび視線検知方法 |
CN109840449A (zh) * | 2017-11-27 | 2019-06-04 | 上海聚虹光电科技有限公司 | 消除环境光影响的瞳孔缩放情绪判断方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0810228A (ja) * | 1994-06-28 | 1996-01-16 | Canon Inc | 眼底カメラ |
JP2600114B2 (ja) * | 1994-11-28 | 1997-04-16 | 工業技術院長 | ノイズに強い正確な楕円近似による計測方法 |
JP3785669B2 (ja) * | 1996-03-05 | 2006-06-14 | 日産自動車株式会社 | 視線方向計測装置 |
JP3726122B2 (ja) * | 2000-07-28 | 2005-12-14 | 独立行政法人産業技術総合研究所 | 視線検出システム |
JP2004021870A (ja) * | 2002-06-20 | 2004-01-22 | Matsushita Electric Ind Co Ltd | 視線入力機能付携帯電話 |
JP4604190B2 (ja) * | 2004-02-17 | 2010-12-22 | 国立大学法人静岡大学 | 距離イメージセンサを用いた視線検出装置 |
JP5109750B2 (ja) * | 2008-03-26 | 2012-12-26 | トヨタ自動車株式会社 | 運転者状態検出装置、意識状態検出方法 |
JP5294889B2 (ja) * | 2009-01-08 | 2013-09-18 | ソニーモバイルコミュニケーションズ, エービー | 撮像装置及び撮像方法 |
-
2011
- 2011-03-09 JP JP2011051579A patent/JP5626039B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012187190A (ja) | 2012-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5626039B2 (ja) | 視線検出装置及び視線検出方法 | |
CN113729611B (zh) | 使用眼球中心位置的眼睛追踪 | |
US10747995B2 (en) | Pupil tracking device | |
JP6056323B2 (ja) | 視線検出装置、視線検出用コンピュータプログラム | |
JP5949319B2 (ja) | 視線検出装置及び視線検出方法 | |
JP5621456B2 (ja) | 視線検出装置、視線検出方法及び視線検出用コンピュータプログラムならびに携帯端末 | |
JP5655644B2 (ja) | 視線検出装置及び視線検出方法 | |
JP6577454B2 (ja) | 軸上視線追跡システム及び方法 | |
US20170286771A1 (en) | Gaze detection apparatus and gaze detection method | |
JP6036065B2 (ja) | 注視位置検出装置及び注視位置検出方法 | |
JP5601179B2 (ja) | 視線検出装置及び視線検出方法 | |
US10893802B2 (en) | Information processing apparatus, information processing method, and recording medium | |
US10342425B1 (en) | Method and system for controlling illuminators | |
US10757337B2 (en) | Information processing apparatus and information processing method to control exposure for imaging the eye | |
WO2019185136A1 (en) | Method and system for controlling illuminators | |
JP4451195B2 (ja) | 視線検出装置 | |
WO2017154356A1 (ja) | 視線検出装置および視線検出方法 | |
JP6370168B2 (ja) | 照明撮像装置及びそれを備えた視線検出装置 | |
JP2017162233A (ja) | 視線検出装置および視線検出方法 | |
JP6575353B2 (ja) | 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム | |
JP2018120299A (ja) | 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140829 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140902 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140915 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5626039 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |