JP5655644B2 - 視線検出装置及び視線検出方法 - Google Patents
視線検出装置及び視線検出方法 Download PDFInfo
- Publication number
- JP5655644B2 JP5655644B2 JP2011051351A JP2011051351A JP5655644B2 JP 5655644 B2 JP5655644 B2 JP 5655644B2 JP 2011051351 A JP2011051351 A JP 2011051351A JP 2011051351 A JP2011051351 A JP 2011051351A JP 5655644 B2 JP5655644 B2 JP 5655644B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- image
- face
- user
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Eye Examination Apparatus (AREA)
- Telephone Function (AREA)
Description
このような視線検出装置では、ユーザが注視する位置を正確に検出するために、ユーザが視線検出装置が搭載された装置を利用する前に、いわゆるキャリブレーション処理が行われる。キャリブレーション処理では、例えば、視線検出装置は、予め指定された複数の方向をユーザが注視した時の画像上のプルキンエ像の位置と瞳孔の位置の差を測定し、参照テーブルにその差と注視位置とを対応付けて格納する。そして視線検出装置は、視線検出処理を実行する際には、測定されたプルキンエ像の位置と瞳孔の位置の差に対応する注視位置を、参照テーブルを参照することで決定する。そして視線検出装置が求めた注視位置に応じて、視線検出装置が搭載された装置が画面スクロール等の制御動作を実行することで、ユーザの操作の手間を軽減できる。
また他の公知技術の一例による装置は、ユーザの顔を撮影した画像から顔の複数の特徴点及び輪郭を抽出し、複数の特徴点間の位置関係に基づいて顔の向きを求めるとともに、輪郭の大きさに基づいて装置からユーザの顔までの距離を求める。そしてこの装置は、顔の向きまたは装置からユーザの顔までの距離に応じて、表示部の表示画面のスクロール、拡大、縮小などの制御を実行する。
また、画像から抽出された顔の特徴点または輪郭に基づいて画面表示を制御する装置は、ユーザが顔を動かさず、視線のみを動かすと、ユーザが注視している位置が移動したことを検知できないので、画面表示を適切に制御できないおそれがあった。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
この視線検出装置は、光源のプルキンエ像を撮影した画像を解析し、プルキンエ像と瞳孔の重心間の距離に基づいてユーザの視線方向を検出する。さらにこの視線検出装置は、その画像上で、視線検出装置が搭載された装置の表示部からユーザの顔までの距離に応じて変化する距離特徴量として、顔の複数の特徴的な部位間の間隔を求め、その間隔に応じて表示部からユーザの顔までの距離を求める。そしてこの視線検出装置は、視線検出装置が搭載された装置の表示部からユーザの顔までの距離とユーザの視線方向とに基づいて、表示部の画面上のユーザの注視位置を特定する。なお、この実施形態では、視線検出装置が搭載された装置が有するカメラの光学系の前側主点とその装置の表示部の位置の差は、ユーザの顔から表示部までの距離に対して無視できる程度に小さい。そこで以下では、便宜上、視線検出装置が搭載された装置の表示部からユーザの顔までの距離を被写体距離と呼ぶ。
なお、ユーザインターフェース2は、液晶ディスプレイといった表示装置と、キーパッドなどの複数の操作スイッチを有していてもよい。
なお、視線検出装置10の記憶部として機能するメモリ回路は、メモリ3とは別個に携帯端末1に実装されてもよい。
また制御部4は、視線検出装置10の制御部としても機能する。なお、視線検出装置10の制御部としての機能及び動作に関しては後述する。
さらに、制御部4は、アプリケーション実行部の一例であり、例えば、視線検出装置10により求められた、ユーザが注視している位置とメモリ3に記憶されているユーザインターフェース2の表示画面上の各アイコンの表示領域とを比較する。そして制御部4は、ユーザが注視している位置と何れかのアイコンまたは操作ボタンの表示領域とが重なっている場合、そのアイコンまたは操作ボタンに応じた処理を実行する。
この場合、ユーザが注視する位置がスクロールボタン202〜205の何れかの表示領域と重なっていれば、制御部4は、そのスクロールボタンに関して予め設定された方向に画面をスクロールさせる。また、ユーザの注視位置が地図201が表示された領域内であり、かつ、ユーザが表示画面2aに顔を近づけると、制御部4はユーザインターフェース2に地図を拡大表示させてもよい。
光源11は、携帯端末1を操作するユーザの顔、特に眼及びその周囲を照明する。そのため、光源11は、例えば、少なくとも一つの赤外発光ダイオードと、制御部4からの制御信号に応じて、赤外発光ダイオードに図示しない電源からの電力を供給する駆動回路とを有する。そして光源11は、制御部4から光源を点灯させる制御信号を受信している間、照明光を発する。
なお、視線検出装置10が有する光源11の数は、1個に限られず、視線検出装置10は、互いに異なる位置に配置される複数個の光源を有してもよい。
カメラ12は、視線検出処理が実行されている間、光源11が点灯している間に所定の周期でユーザの顔を撮影することにより、点灯している光源により照明されたユーザの顔が写った画像を生成する。そしてカメラ12は、画像を生成する度に、生成した画像を制御部4へ出力する。
光源11は、表示画面2aに対向するユーザの顔を照明できるように、ユーザインターフェース2の外周に配置される。この例では、光源11は、ユーザインターフェース2の上端に近接し、カメラ12と並んで配置される。
また制御部4は、ユーザが注視している位置の情報を用いるアプリケーションが携帯端末1で実行されている間、ユーザが注視している位置を求める視線方向検出処理を実行する。また、制御部4は、携帯端末1の起動時、あるいは上記のようなアプリケーションの起動時など、特定のタイミングにおいて、光源のプルキンエ像と瞳孔重心との相対的な位置関係とユーザの視線方向との関係を求めるキャリブレーション処理を実行する。
制御部4が有するこれらの各部は、制御部4が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールである。また制御部4が有するこれらの各部は、それぞれ、制御部4が有するプロセッサとは別個の回路として形成されてもよい。あるいは制御部4が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として、制御部4が有するプロセッサとは別個に携帯端末1に実装されてもよい。この場合、その集積回路は、メモリ3とは別個に、参照テーブルなどを記憶して、視線検出装置10が有する記憶部として機能する記憶回路を含んでいてもよい。
本実施形態では、撮影時において、ユーザの顔は光源11からの赤外光で照明されており、赤外光に対する肌の反射率は比較的高い(例えば、肌の反射率は近赤外の波長域で数10%)ので、画像上で顔の肌の部分が写っている画素の輝度は高い。一方、画像上で髪の毛またはユーザの背後の領域は赤外光に対する反射率が低いかまたは光源から遠いため、髪の毛またはユーザの背後の領域が写っている画素の輝度は、相対的に低くなる。
そこで、顔検出部23は、画像の各画素の値がRGB表色系により表されているカラー画像である場合、各画素の値をYUV表色系により表される値に変換する。そして顔検出部23は、各画素の輝度成分(Y成分)の値が所定の閾値以上の画素を、顔が写っている可能性がある顔領域候補画素として抽出する。なお、画像の各画素の値が輝度を表すモノクロ画像である場合、顔検出部23は、各画素の値を所定の閾値と比較する。所定の閾値は、例えば、画像上の輝度成分の最大値に0.8を乗じた値に設定される。
そこで顔検出部23は、顔領域候補画素に対してラベリング処理を行って、互いに隣接している顔領域候補画素の集合を顔候補領域とする。そして顔検出部23は、顔候補領域の大きさがユーザの顔の大きさに相当する基準範囲に含まれているか否か判定する。顔候補領域の大きさがユーザの顔の大きさに相当する基準範囲に含まれていれば、顔検出部23はその顔候補領域をユーザの顔が写っている顔領域と判定する。
なお、顔候補領域の大きさは、例えば、顔候補領域の水平方向の最大幅の画素数で表される。この場合、基準範囲は、例えば、画像の水平方向画素数の1/4以上〜2/3以下に設定される。あるいは、顔候補領域の大きさは、例えば、顔候補領域に含まれる画素数で表されてもよい。この場合、基準範囲は、例えば、画像全体の画素数の1/16以上〜4/9以下に設定される。
そして顔検出部23は、顔領域を表す情報をプルキンエ像検出部24へ渡す。
眼に相当する画素の輝度は、眼の周囲に相当する画素の輝度と大きく異なる。そこでプルキンエ像検出部24は、顔領域内の各画素に対して、例えば、Sobelフィルタを用いて垂直方向の近傍画素間差分演算を行って垂直方向に輝度が変化するエッジ画素を検出する。そしてプルキンエ像検出部24は、例えば、エッジ画素が略水平方向に眼の大きさに相当する所定数以上連結された2本のエッジ線で囲まれた領域を眼の領域とする。
あるいは、プルキンエ像検出部24は、画像上の眼の像を表すテンプレートと、顔領域とのテンプレートマッチングにより、顔領域内でテンプレートに最も一致する領域を検出し、その検出した領域を眼の領域としてもよい。
プルキンエ像検出部24は、瞳孔領域の検出に成功した場合、瞳孔領域に含まれる各画素の水平方向座標値の平均値及び垂直方向座標値の平均値を、瞳孔領域の重心の座標として算出する。一方、プルキンエ像検出部24は、瞳孔領域の検出に失敗した場合、制御部4へその旨を表す信号を返す。
なお、プルキンエ像検出部24は、画像上で瞳孔が写っている領域を検出する他の様々な方法の何れかを用いて、瞳孔が写っている領域を検出してもよい。同様に、プルキンエ像検出部24は、画像上で光源のプルキンエ像が写っている領域を検出する他の様々な方法の何れかを用いて、光源のプルキンエ像が写っている領域を検出してもよい。
プルキンエ像検出部24は、キャリブレーション処理の実行時の場合、プルキンエ像の重心及び瞳孔重心をキャリブレーション部29へ通知する。一方、プルキンエ像検出部24は、視線検出処理の実行時には、プルキンエ像の重心及び瞳孔重心を視線検出部25へ通知する。
本実施形態では、視線検出部25は、光源のプルキンエ像の重心を基準とする瞳孔重心の相対的な位置を、例えば、瞳孔重心の水平方向座標及び垂直方向座標からプルキンエ像の重心の水平方向座標及び垂直方向座標を減算することにより求める。そして視線検出部25は、瞳孔重心の相対的な位置とユーザの視線方向との関係を表す参照テーブルを参照することにより、ユーザの注視位置を決定する。
そして視線検出部25は、ユーザの視線方向を注視位置検出部28へ通知する。
そこで本実施形態では、距離特徴量抽出部26は、顔領域内で眼、鼻の穴、口角点などの特徴的な部位を少なくとも二つ検出し、その特徴的な部位間の距離を距離特徴量とする。
距離特徴量抽出部26は、視線検出処理の実行時には、距離特徴量を距離推定部27へ渡す。一方、距離特徴量抽出部26は、キャリブレーション処理の実行時の場合、距離特徴量をキャリブレーション部29へ通知する。
あるいは、距離推定部27は、距離特徴量と被写体距離との関係式に、距離特徴量抽出部26により求められた距離特徴量を入力することにより、被写体距離を求めてもよい。なお、距離参照テーブル及び距離特徴量と被写体距離との関係式は、それぞれ、距離情報の一例である。
距離推定部27は、視線検出処理の実行時には、被写体距離を注視位置検出部28へ通知する。一方、距離推定部27は、キャリブレーション処理の実行時の場合、その距離をキャリブレーション部29へ通知する。
本実施形態では、注視位置検出部28は、ユーザの視線方向及び被写体距離と表示画面2a上でのユーザの注視位置との関係を表す注視位置テーブルを参照することにより、ユーザの注視位置を決定する。
vx = R(vrx-cx) + cx
vy = R(vry-cy) + cy
ここで、vrx、vryは、それぞれ、表示画面上の基準注視位置の水平座標及び垂直座標であり、cx、cyは、視線方向が(0,0)のときの注視位置の座標である。そしてRは、基準距離に対する距離推定部27により推定された距離の比である。
注視位置検出部28は、ユーザの注視位置を制御部4で実行中のアプリケーションプログラムへ通知する。
キャリブレーション部29は、例えば、制御部4から携帯端末1が起動したことを示す信号を受信したとき、あるいは、特定のアプリケーションが起動されたことを示す信号を受信したときに、キャリブレーション処理を実行する。
さらに、キャリブレーション部29は、キャリブレーション中において、携帯端末1の表示画面2aからどれだけ離した位置に顔を配置するのかを指示するために、表示画面2aからユーザの顔までの指定距離を表示画面2a上に表示させる。
キャリブレーションの実行中、ユーザは、表示画面2a上に表示されているキャリブレーション用のマークを注視するものとする。
さらに、キャリブレーション部29は、他の視線方向に対するプルキンエ像の重心を基準とした瞳孔重心の相対的位置を、既に求めた上記の5個のマークの位置に対応する瞳孔重心の相対的な位置を用いて例えば線形補間することにより決定する。そしてキャリブレーション部29は、様々な視線方向に対する瞳孔重心の相対的な位置を対応づけるように参照テーブルを更新する。
キャリブレーション部29は、更新された参照テーブル及び距離参照テーブルをメモリ3に保存する。
制御部4は、ユーザインターフェース2の表示画面2a上の基準位置に所定のマークを表示させる(ステップS101)。次に、制御部4は、光源11が点灯した状態でユーザの顔を撮影した画像をカメラ12から取得する(ステップS102)。制御部4の顔検出部23は、画像上で顔が写っている顔領域を抽出する(ステップS103)。そして顔検出部23は、顔領域を表す情報を制御部4のプルキンエ像検出部24及び距離特徴量抽出部26へ渡す。
一方、プルキンエ像検出部24が瞳孔重心及び光源のプルキンエ像の検出に成功した場合(ステップS107−Yes)、プルキンエ像検出部24は、光源のプルキンエ像の重心及び瞳孔重心を制御部4のキャリブレーション部29へ通知する。
キャリブレーション部29は、プルキンエ像の重心を基準とする瞳孔重心の相対的な位置を求める。そしてキャリブレーション部29は、その相対的な位置と表示画面2aに表示されているマークの位置により決定される視線方向とに基づいて、参照テーブルを更新する(ステップS109)。
ステップS111の後、制御部4は、キャリブレーション処理を終了する。なお、プルキンエ像検出部24は、ステップS105の処理とステップS106の処理の順序を入れ替えてもよい。またプルキンエ像検出部24は、顔領域全体でユーザの瞳孔及び光源のプルキンエ像を探索してもよい。この場合、ステップS104の処理は省略される。さらに、制御部4は、ステップS104〜S109の処理とステップS110及びS111の処理の順序を入れ替えてもよい。
制御部4は、光源11が点灯した状態でユーザの顔を撮影した画像をカメラ12から取得する(ステップS201)。そして制御部4の顔検出部23は、画像上で顔が写っている顔領域を抽出する(ステップS202)。顔検出部23は、顔領域の抽出に成功したか否か判定する(ステップS203)。顔領域の抽出に失敗した場合(ステップS203−No)、ユーザは携帯端末1を向いていない。そのため、制御部4は、視線検出処理を終了する。その後制御部4は、キャリブレーション処理を実行してもよい。あるいは、制御部4は、ステップS201以降の処理を再度実行してもよい。この場合には、制御部4のカメラ制御部22は、前回の撮影時の露出条件と異なる露出条件でユーザの顔を撮影するようにカメラ12に制御信号を送信してもよい。
プルキンエ像検出部24は、顔領域内で眼の領域を検出する(ステップS204)。そしてプルキンエ像検出部24は、眼の領域内で瞳孔重心を検出する(ステップS205)。またプルキンエ像検出部24は、眼の領域内で光源11のプルキンエ像を検出する(ステップS206)。そしてプルキンエ像検出部24は、瞳孔重心及び光源のプルキンエ像の検出に成功したか否か判定する(ステップS207)。
一方、プルキンエ像検出部24が瞳孔重心及び光源のプルキンエ像の検出に成功した場合(ステップS207−Yes)、プルキンエ像検出部24は、光源のプルキンエ像の重心及び瞳孔重心を制御部4の視線検出部25へ通知する。
視線検出部25は、参照テーブルを参照してプルキンエ像の重心を基準とする瞳孔重心の位置に対応する視線方向を検出する(ステップS208)。そして視線検出部25は、その視線方向を表す情報を、制御部4の注視位置検出部28へ渡す。
その後、制御部4は、視線検出処理を終了する。なお、プルキンエ像検出部24は、ステップS205の処理とステップS206の処理の順序を入れ替えてもよい。またプルキンエ像検出部24は、顔領域全体でユーザの瞳孔及び光源のプルキンエ像を探索してもよい。この場合、ステップS204の処理は省略される。あるいは、プルキンエ像検出部24が着目画像上で瞳孔重心または光源のプルキンエ像の何れか一方の検出に失敗した時点で、他方の検出処理を行わずに、制御部4は、ステップS201以降の処理を再実行してもよい。
また、被写体距離が近いほど、画像上でのプルキンエ像のサイズも大きくなる。そのため、被写体距離が近いほど、プルキンエ像のサイズに相当する、ほぼ最大輝度値となる画素の数が増加する。
点1001〜1004に示されるように、飽和画素数は、被写体距離が大きくなるほど少なくなることが分かる。また被写体距離が最大となるとき(500mm)の飽和画素数に対して、被写体距離が最小となるとき(200mm)となるときの飽和画素数は5倍になっている。このように、画像上でプルキンエ像のサイズに相当する飽和画素の数は、距離特徴量として使用可能である。
距離特徴量抽出部26は、視線検出処理の実行時には、距離特徴量としてその飽和画素の数を距離推定部27へ渡す。一方、距離特徴量抽出部26は、キャリブレーション処理の実行時の場合、距離特徴量としてその飽和画素の数をキャリブレーション部29へ通知する。
なお、変形例によれば、距離特徴量抽出部26は、プルキンエ像の領域内に含まれる飽和画素の総数を距離特徴量として算出してもよい。
また、キャリブレーション部29は、様々な指定距離における飽和画素数を距離特徴量抽出部26から受け取る。そしてキャリブレーション部29は、各指定距離とその指定距離における飽和画素数を対応付けるように距離参照テーブルを更新する。
距離特徴量抽出部26は、視線検出処理の実行時には、距離特徴量としてプルキンエ像の重心間の距離を距離推定部27へ渡す。
注視位置検出部28は、被写体距離及び視線検出部25により求められた視線方向に基づいて、表示画面上の注視位置を求める。このように、この実施形態では、距離参照テーブルは、プルキンエ像の重心間の距離と被写体距離との対応関係を表す。
なお、他の実施形態と同様に、キャリブレーション部29は、距離参照テーブルを更新してもよい。この場合、キャリブレーション部29は、様々な指定距離における、画像上でのプルキンエ像間の距離を距離特徴量抽出部26から受け取る。そしてキャリブレーション部29は、各指定距離とその指定距離におけるプルキンエ像間の距離を対応付けるように距離参照テーブルを更新する。
このように、この視線検出装置は、被写体距離によらず、注視位置の移動量に応じた画面制御を携帯端末の制御部に実行させることができる。
そして上側の光源11−1のプルキンエ像の飽和画素数が下側の光源11−2のプルキンエ像の飽和画素数と略等しければ、表示画面2aとユーザの顔は略平行になっている。
傾き検出部30は、上側の光源11−1のプルキンエ像の飽和画素数と下側の光源11−2のプルキンエ像の飽和画素数を求める(ステップS301)。そして傾き検出部30は、上側の光源11−1のプルキンエ像の飽和画素数cuと下側の光源11−2のプルキンエ像の飽和画素数clの差を所定数Thと比較する(ステップS302)。そして上側の光源11−1のプルキンエ像の飽和画素数cuが下側の光源11−2のプルキンエ像の飽和画素数clよりも所定数Th以上多ければ、傾き検出部30は、ユーザの顔が下向きに傾いていると判定する(ステップS303)。そして傾き検出部30は、ユーザの顔が下向きに傾いていることを制御部4で実行中のアプリケーションプログラムへ通知する。一方、下側の光源11−2のプルキンエ像の飽和画素数clが上側の光源11−1のプルキンエ像の飽和画素数cuよりも所定数Th以上多ければ、傾き検出部30は、ユーザの顔が上向きに傾いていると判定する(ステップS304)。そして傾き検出部30は、ユーザの顔が上向きに傾いていることを制御部4で実行中のアプリケーションプログラムへ通知する。また二つの光源のプルキンエ像の飽和画素数の差の絶対値|cu-cl|が所定値Th未満であれば、傾き検出部30は、ユーザの顔が携帯端末1の表示画面と略平行になっていると判定する(ステップS305)。そして傾き検出部30は、ユーザの顔が携帯端末1の表示画面と略平行になっていることを制御部4で実行中のアプリケーションプログラムへ通知する。ステップS303〜S305の後、傾き検出部30は傾き検出処理を終了する。なお、所定数Thは、例えば、実験あるいはシミュレーションにより求められ、例えば、'1'に設定される。
同様に、傾き検出部は、水平方向に沿ったユーザの顔の傾きを検出するために、画像上で、向かって左側の二つの光源に対応する二つのプルキンエ像間の距離と、向かって右側の二つの光源に対応する二つのプルキンエ像間の距離とをそれぞれ求めてもよい。例えば、向かって右側の二つの光源に対応する二つのプルキンエ像間の距離が向かって左側の二つの光源に対応する二つのプルキンエ像間の距離よりも大きければ、傾き検出部は、ユーザの顔は、左側ほど携帯端末の表示画面から離れるように傾いていると判定する。
(付記1)
ユーザの眼を照射する光源と、
前記光源が点灯している間に、前記眼を含む領域であって、前記ユーザの顔の少なくとも一部の領域を撮影した画像を生成する撮像部と、
表示部から前記顔までの距離と、該距離に応じて変化する前記画像上での距離特徴量との関係を表す距離情報を記憶する記憶部と、
前記画像から前記距離特徴量を求める距離特徴量抽出部と、
前記距離情報を参照することにより前記距離特徴量に対応する前記表示部から前記顔までの距離を推定する距離推定部と、
前記画像に含まれる前記眼を含む領域から、前記光源の角膜反射像と前記ユーザの瞳孔重心とを検出するプルキンエ像検出部と、
前記瞳孔重心と角膜反射像との位置関係に応じて前記ユーザの視線方向を検出する視線検出部と、
前記視線方向と前記表示部から前記顔までの距離に基づいて、前記表示部上の前記ユーザの注視位置を求める注視位置検出部と、
を有する視線検出装置。
(付記2)
前記距離特徴量抽出部は、前記画像上の前記顔の少なくとも二つの部位の位置を求め、当該少なくとも二つの部位間の間隔を前記距離特徴量として求める、付記1に記載の視線検出装置。
(付記3)
前記距離特徴量抽出部は、前記画像上の前記角膜反射像のサイズを前記距離特徴量として求める、付記1に記載の視線検出装置。
(付記4)
前記距離特徴量抽出部は、前記画像上の前記角膜反射像に相当する領域に含まれる、輝度値が飽和した画素の数を前記角膜反射像のサイズとする、付記3に記載の視線検出装置。
(付記5)
前記光源は、互いに異なる位置に配置された第1の発光素子と第2の発光素子とを有し、
前記プルキンエ像検出部は、前記角膜反射像として、前記画像上の前記第1の発光素子の第1の角膜反射像と前記第2の発光素子の第2の角膜反射像を検出し、
前記距離特徴量抽出部は、前記画像上の前記第1の角膜反射像と前記第2の角膜反射像間の間隔を前記距離特徴量として求める、付記1に記載の視線検出装置。
(付記6)
前記第1の発光素子と前記第2の発光素子は、所定方向に沿って配置され、
前記第1の角膜反射像のサイズと前記第2の角膜反射像のサイズを求め、前記第1の角膜反射像のサイズよりも前記第2の角膜反射像のサイズが小さい場合に、前記第1の発光素子と前記顔との距離が、前記第2の発光素子と該顔との距離よりも小さくなる方向に、前記顔が前記表示部に対して傾いていると判定する傾き検出部をさらに有する、付記5に記載の視線検出装置。
(付記7)
前記光源は、前記表示部の外周に沿って互いに異なる位置に配置された少なくとも4個の発光素子を有し、前記発光素子のうちの第1の発光素子及び第2の発光素子は、前記表示部の垂直方向の中心よりも上側に配置され、一方、前記発光素子のうちの第3の発光素子及び第4の発光素子は、前記表示部の垂直方向の中心よりも下側に配置され、
前記プルキンエ像検出部は、前記角膜反射像として、前記画像上の前記第1〜第4の発光素子の角膜反射像をそれぞれ検出し、
前記画像上の前記第1の発光素子の角膜反射像と前記第2の発光素子の角膜反射像間の第1の間隔及び前記第3の発光素子の角膜反射像と前記第4の発光素子の角膜反射像間の第2の間隔をそれぞれ求め、前記第2の間隔よりも前記第1の間隔が小さい場合に、前記表示部の下端が前記表示部の上端よりもユーザの顔に近くなる方向に、前記顔が前記表示部に対して傾いていると判定する傾き検出部をさらに有する、付記1に記載の視線検出装置。
(付記8)
表示部と、
ユーザの眼を照明する光源と、
前記光源が点灯している間に、前記眼を含む領域であって、前記ユーザの顔の少なくとも一部の領域を撮影した画像を生成する撮像部と、
前記表示部から前記顔までの距離と、該距離に応じて変化する前記画像上での距離特徴量との関係を表す距離情報を記憶する記憶部と、
前記画像から前記距離特徴量を求める距離特徴量抽出部と、
前記距離情報を参照することにより前記距離特徴量に対応する前記表示部から前記顔までの距離を推定する距離推定部と、
前記画像に含まれる前記眼を含む領域から、前記光源の角膜反射像と前記ユーザの瞳孔重心とを検出するプルキンエ像検出部と、
前記瞳孔重心と角膜反射像との位置関係に応じて前記ユーザの視線方向を検出する視線検出部と、
前記視線方向と前記表示部から前記顔までの距離に基づいて、前記表示部上の前記ユーザの注視位置を求める注視位置検出部と、
前記注視位置と関連付けられた処理を実行するアプリケーション実行部と、
を有する携帯端末。
(付記9)
ユーザの眼を照射する光源が点灯している間に、前記眼を含む領域であって、前記ユーザの顔の少なくとも一部の領域を撮影した画像を生成し、
前記画像から、表示部から前記顔までの距離に応じて変化する前記画像上での距離特徴量を求め、
前記表示部から前記顔までの距離と前記距離特徴量との関係を表す距離情報を参照することにより前記距離特徴量に対応する前記表示部から前記顔までの距離を推定し、
前記画像に含まれる前記眼を含む領域から、前記光源の角膜反射像と前記ユーザの瞳孔重心とを検出し、
前記瞳孔重心と角膜反射像との位置関係に応じて前記ユーザの視線方向を検出し、
前記視線方向と前記表示部から前記顔までの距離に基づいて、前記表示部上の前記ユーザの注視位置を求める、
ことを含む視線検出方法。
(付記10)
ユーザの眼を照射する光源が点灯している間に、前記眼を含む領域であって、前記ユーザの顔の少なくとも一部の領域を撮影した画像を撮像部から取得し、
前記画像から、表示部から前記顔までの距離に応じて変化する前記画像上での距離特徴量を求め、
前記表示部から前記顔までの距離と前記距離特徴量との関係を表す距離情報を参照することにより前記距離特徴量に対応する前記表示部から前記顔までの距離を推定し、
前記画像に含まれる前記眼を含む領域から、前記光源の角膜反射像と前記ユーザの瞳孔重心とを検出し、
前記瞳孔重心と角膜反射像との位置関係に応じて前記ユーザの視線方向を検出し、
前記視線方向と前記表示部から前記顔までの距離に基づいて、前記表示部上の前記ユーザの注視位置を求める、
ことをコンピュータに実行させる視線検出用コンピュータプログラム。
2 ユーザインターフェース
2a 表示画面
3 メモリ
4 制御部
5 筺体
10 視線検出装置
11、11−1〜11−2 光源
12 カメラ
21 光源制御部
22 カメラ制御部
23 顔検出部
24 プルキンエ像検出部
25 視線検出部
26 距離特徴量抽出部
27 距離推定部
28 注視位置検出部
29 キャリブレーション部
30 傾き検出部
Claims (3)
- ユーザの眼を照射する光源と、
前記光源が点灯している間に、前記眼を含む領域であって、前記ユーザの顔の少なくとも一部の領域を撮影した画像を生成する撮像部と、
表示部から前記顔までの距離と、該距離に応じて変化する前記画像上での距離特徴量との関係を表す距離情報を記憶する記憶部と、
前記画像に含まれる前記眼を含む領域から、前記光源の角膜反射像と前記ユーザの瞳孔重心とを検出するプルキンエ像検出部と、
前記瞳孔重心と角膜反射像との位置関係に応じて前記ユーザの視線方向を検出する視線検出部と、
前記画像上の前記角膜反射像のサイズを前記距離特徴量として求める距離特徴量抽出部と、
前記距離情報を参照することにより前記距離特徴量に対応する前記表示部から前記顔までの距離を推定する距離推定部と、
前記視線方向と前記表示部から前記顔までの距離に基づいて、前記表示部上の前記ユーザの注視位置を求める注視位置検出部と、
を有する視線検出装置。 - 前記距離特徴量抽出部は、前記画像上の前記顔の少なくとも二つの部位の位置を求め、当該少なくとも二つの部位間の間隔を前記距離特徴量として求める、請求項1に記載の視線検出装置。
- ユーザの眼を照射する光源が点灯している間に、前記眼を含む領域であって、前記ユーザの顔の少なくとも一部の領域を撮影した画像を生成し、
前記画像に含まれる前記眼を含む領域から、前記光源の角膜反射像と前記ユーザの瞳孔重心とを検出し、
前記瞳孔重心と角膜反射像との位置関係に応じて前記ユーザの視線方向を検出し、
前記画像上の前記角膜反射像のサイズを、表示部から前記顔までの距離に応じて変化する前記画像上での距離特徴量として求め、
前記表示部から前記顔までの距離と前記距離特徴量との関係を表す距離情報を参照することにより前記距離特徴量に対応する前記表示部から前記顔までの距離を推定し、
前記視線方向と前記表示部から前記顔までの距離に基づいて、前記表示部上の前記ユーザの注視位置を求める、
ことを含む視線検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011051351A JP5655644B2 (ja) | 2011-03-09 | 2011-03-09 | 視線検出装置及び視線検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011051351A JP5655644B2 (ja) | 2011-03-09 | 2011-03-09 | 視線検出装置及び視線検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012187178A JP2012187178A (ja) | 2012-10-04 |
JP5655644B2 true JP5655644B2 (ja) | 2015-01-21 |
Family
ID=47081018
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011051351A Expired - Fee Related JP5655644B2 (ja) | 2011-03-09 | 2011-03-09 | 視線検出装置及び視線検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5655644B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6256165B2 (ja) * | 2014-04-09 | 2018-01-10 | 富士通株式会社 | 視線検出装置、視線検出プログラム及び視線検出方法 |
WO2017203769A1 (ja) * | 2016-05-23 | 2017-11-30 | アルプス電気株式会社 | 視線検出方法 |
WO2018037641A1 (ja) * | 2016-08-24 | 2018-03-01 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US11265460B2 (en) * | 2017-09-20 | 2022-03-01 | Sharp Kabushiki Kaisha | Electronic device, control device, and control method |
CN109600508B (zh) * | 2018-04-10 | 2019-08-30 | 利辛县雨若信息科技有限公司 | 手机播放故障自查方法 |
EP3914143A1 (en) * | 2019-03-26 | 2021-12-01 | Haag-Streit Ag | Device and method for determining the orientation of an ophthalmologic microscope device |
US20220202287A1 (en) * | 2019-03-26 | 2022-06-30 | Haag-Streit Ag | Device and method for measuring at least one geometric parameter of the eye |
KR102097390B1 (ko) * | 2019-10-10 | 2020-04-06 | 주식회사 메디씽큐 | 시선 검출 기반의 스마트 안경 표시 장치 |
JP2022035203A (ja) * | 2020-08-20 | 2022-03-04 | 株式会社Jvcケンウッド | 角膜曲率半径算出装置、視線検出装置、角膜曲率半径算出方法、及び角膜曲率半径算出プログラム |
US11978266B2 (en) | 2020-10-21 | 2024-05-07 | Nvidia Corporation | Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications |
CN112434741A (zh) * | 2020-11-25 | 2021-03-02 | 杭州盛世传奇标识系统有限公司 | 一种互动介绍标识的使用方法、系统、装置和存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06148513A (ja) * | 1992-10-30 | 1994-05-27 | Canon Inc | 視線検出装置 |
JPH11249804A (ja) * | 1998-12-11 | 1999-09-17 | Canon Inc | 視線検出を用いた文字,符号等の入力方法および装置 |
JP4649319B2 (ja) * | 2005-11-21 | 2011-03-09 | 日本電信電話株式会社 | 視線検出装置、視線検出方法、および視線検出プログラム |
JPWO2007141857A1 (ja) * | 2006-06-08 | 2009-10-15 | オリンパス株式会社 | 外観検査装置 |
JP2010239583A (ja) * | 2009-03-31 | 2010-10-21 | Brother Ind Ltd | 通信端末装置、通信端末装置の通信制御方法、通信制御プログラム |
JP2010259605A (ja) * | 2009-05-01 | 2010-11-18 | Nippon Hoso Kyokai <Nhk> | 視線測定装置および視線測定プログラム |
-
2011
- 2011-03-09 JP JP2011051351A patent/JP5655644B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012187178A (ja) | 2012-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5655644B2 (ja) | 視線検出装置及び視線検出方法 | |
JP5949319B2 (ja) | 視線検出装置及び視線検出方法 | |
JP6056323B2 (ja) | 視線検出装置、視線検出用コンピュータプログラム | |
EP3453316B1 (en) | Eye tracking using eyeball center position | |
JP6930223B2 (ja) | 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法 | |
JP5621456B2 (ja) | 視線検出装置、視線検出方法及び視線検出用コンピュータプログラムならびに携帯端末 | |
JP2017182739A (ja) | 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム | |
US20120098852A1 (en) | Image display device | |
JP5626039B2 (ja) | 視線検出装置及び視線検出方法 | |
JP6957993B2 (ja) | ユーザの解答に対する自信レベルを推定する情報処理プログラム、情報処理装置及び情報処理方法 | |
KR20100046066A (ko) | 화상투영장치 및 그 제어 방법 | |
JP6870474B2 (ja) | 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法 | |
US10146306B2 (en) | Gaze position detection apparatus and gaze position detection method | |
US11928291B2 (en) | Image projection device | |
JP2018205819A (ja) | 注視位置検出用コンピュータプログラム、注視位置検出装置及び注視位置検出方法 | |
JP2016184362A (ja) | 入力装置、入力操作検出方法及び入力操作検出用コンピュータプログラム | |
JP2012115505A (ja) | 視線検出装置及び視線検出方法 | |
KR100960269B1 (ko) | 눈동자 시선 추정 장치 및 추정 방법 | |
JP2017199148A (ja) | 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム | |
CN107223255B (zh) | 一种基于虹膜识别的图像预览方法及装置 | |
KR101492832B1 (ko) | 영상 제어 방법 및 이를 이용한 영상 표시 장치 | |
JP2018011681A (ja) | 視線検出装置、視線検出プログラムおよび視線検出方法 | |
JP6575353B2 (ja) | 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム | |
JP2018120299A (ja) | 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法 | |
JP6398755B2 (ja) | 入力装置、入力方法及び入力処理用コンピュータプログラムならびに入力システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140902 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141010 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141028 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5655644 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |