JP6210023B2 - 視線検出支援装置および視線検出支援方法 - Google Patents

視線検出支援装置および視線検出支援方法 Download PDF

Info

Publication number
JP6210023B2
JP6210023B2 JP2014111699A JP2014111699A JP6210023B2 JP 6210023 B2 JP6210023 B2 JP 6210023B2 JP 2014111699 A JP2014111699 A JP 2014111699A JP 2014111699 A JP2014111699 A JP 2014111699A JP 6210023 B2 JP6210023 B2 JP 6210023B2
Authority
JP
Japan
Prior art keywords
center
unit
line
distance
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014111699A
Other languages
English (en)
Other versions
JP2015126857A (ja
Inventor
賢 二宮
賢 二宮
首藤 勝行
勝行 首藤
修二 箱嶋
修二 箱嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2014111699A priority Critical patent/JP6210023B2/ja
Priority to PCT/JP2014/081123 priority patent/WO2015080104A1/ja
Priority to EP14865795.0A priority patent/EP3075304B1/en
Publication of JP2015126857A publication Critical patent/JP2015126857A/ja
Priority to US15/160,058 priority patent/US9993154B2/en
Application granted granted Critical
Publication of JP6210023B2 publication Critical patent/JP6210023B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/107Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining the shape or measuring the curvature of the cornea
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、視線検出支援装置および視線検出支援方法に関する。
操作者または被験者がモニタ画面などの観察面上で注視している位置を検出する、視線検出装置が提案されている。例えば、被験者の顔に何らかの装置を取り付けることなく、視線方向を確実に検出する非接触視線検出を可能とする方法が知られている。この方法では、光源から照射した光の眼球反射を検出して、瞳孔中心と角膜曲率中心を算出し、瞳孔中心と角膜曲率中心とを結ぶ直線を視線として検出する。この方法の多くは2つ以上の光源から照射した光の眼球反射を検出して、視線を算出しているものであった。
特許文献1の方法では、2台のカメラおよび2つの光源を使用し、1つの眼球内に2つの角膜反射点を検出し、この2点の角膜反射点から角膜曲率中心を算出して、瞳孔中心との位置関係から視線を検出する。特許文献2の方法では、1台のカメラおよび2つの光源を使用し、それぞれ2つの角膜反射点を含む平面の交線から角膜曲率中心を算出し、瞳孔中心との位置関係から視線を検出する。
特許第2739331号公報 特許第4824420号公報
しかしながら、上記各文献の方法では、装置構成が複雑になり、装置のサイズが大きくなるという問題があった。例えば、2つの光源を用いる場合、各光源に対応する2つの反射点を分離して検出するため、2つの光源間の距離を一定以上離す必要がある。光源間の距離が近いと2つの反射点が重なり分離することが困難となるためである。
本発明は、上記に鑑みてなされたものであって、装置構成を簡略化できる視線検出支援装置および視線検出支援方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、光を照射する光源を含む照明部と、複数の撮像部と、前記照明部によって光が照射され、前記撮像部によって撮像された被験者の眼球の画像から瞳孔の中心を示す第1位置と、角膜反射の中心を示す第2位置と、を検出する位置検出部と、前記光源の位置と、表示部上の第3位置と、前記第1位置と、前記第2位置と、に基づいて、角膜の曲率中心を示す第4位置を算出する算出部と、を備える。
本発明にかかる視線検出支援装置および視線検出支援方法は、装置構成を簡略化できるという効果を奏する。
図1は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。 図2は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。 図3は、診断支援装置の機能の概要を示す図である。 図4は、図3に示す各部の詳細な機能の一例を示すブロック図である。 図5は、本実施形態の診断支援装置により実行される処理の概要を説明する図である。 図6は、2つの光源を用いる方法と、1つの光源を用いる本実施形態との違いを示す説明図である。 図7は、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。 図8は、本実施形態の算出処理の一例を示すフローチャートである。 図9は、事前に求めた距離を使用して角膜曲率中心の位置を算出する方法を示した図である。 図10は、本実施形態の視線検出処理の一例を示すフローチャートである。 図11は、変形例の算出処理を説明するための図である。 図12は、変形例の算出処理の一例を示すフローチャートである。
以下に、本発明にかかる視線検出支援装置および視線検出支援方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、以下では、視線検出結果を用いて発達障がいなどの診断を支援する診断支援装置に視線検出支援装置を用いた例を説明する。適用可能な装置は診断支援装置に限られるものではない。
本実施形態の視線検出支援装置(診断支援装置)は、1ヵ所に設置された照明部を用いて視線を検出する。また、本実施形態の視線検出支援装置(診断支援装置)は、視線検出前に被験者に1点を注視させて測定した結果を用いて、角膜曲率中心位置を高精度に算出する。
なお、照明部とは、光源を含み、被験者の眼球に光を照射可能な要素である。光源とは、例えばLED(Light Emitting Diode)などの光を発生する素子である。光源は、1個のLEDから構成されてもよいし、複数のLEDを組み合わせて1ヵ所に配置することにより構成されてもよい。以下では、このように照明部を表す用語として「光源」を用いる場合がある。
図1および2は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。
図1に示すように、本実施形態の診断支援装置は、表示部101と、ステレオカメラ102と、LED光源103と、を含む。ステレオカメラ102は、表示部101の下に配置される。LED光源103は、ステレオカメラ102に含まれる2つのカメラの中心位置に配置される。LED光源103は、例えば波長850nmの近赤外線を照射する光源である。図1では、9個のLEDによりLED光源103(照明部)を構成する例が示されている。なお、ステレオカメラ102は、波長850nmの近赤外光を透過できるレンズを使用する。
図2に示すように、ステレオカメラ102は、右カメラ202と左カメラ203とを備えている。LED光源103は、被験者の眼球111に向かって近赤外光を照射する。ステレオカメラ102で取得される画像では、瞳孔112が低輝度で反射して暗くなり、眼球111内に虚像として生じる角膜反射113が高輝度で反射して明るくなる。従って、瞳孔112および角膜反射113の画像上の位置を2台のカメラ(右カメラ202、左カメラ203)それぞれで取得することができる。
さらに2台のカメラにより得られる瞳孔112および角膜反射113の位置から、瞳孔112および角膜反射113の位置の三次元世界座標値を算出する。本実施形態では、三次元世界座標として、表示部101の画面の中央位置を原点として、上下をY座標(上が+)、横をX座標(向かって右が+)、奥行きをZ座標(手前が+)としている。
図3は、診断支援装置100の機能の概要を示す図である。図3では、図1および2に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図3に示すように、診断支援装置100は、右カメラ202と、左カメラ203と、LED光源103と、スピーカ205と、駆動・IF(interface)部313と、制御部300と、記憶部150と、表示部101と、を含む。図3において、表示画面201は、右カメラ202および左カメラ203との位置関係を分かりやすく示しているが、表示画面201は表示部101において表示される画面である。なお、駆動部とIF部は一体でもよいし、別体でもよい。
スピーカ205は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する音声出力部として機能する。
駆動・IF部313は、ステレオカメラ102に含まれる各部を駆動する。また、駆動・IF部313は、ステレオカメラ102に含まれる各部と、制御部300とのインタフェースとなる。
制御部300は、例えば、CPU(Central Processing Unit)などの制御装置と、ROM(Read Only Memory)やRAM(Random Access Memory)などの記憶装置と、ネットワークに接続して通信を行う通信I/Fと、各部を接続するバスを備えているコンピュータなどにより実現できる。
記憶部150は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。記憶部150は、例えば、表示部101に表示する画像等を記憶する。表示部101は、診断のための対象画像等、各種情報を表示する。
図4は、図3に示す各部の詳細な機能の一例を示すブロック図である。図4に示すように、制御部300には、表示部101と、駆動・IF部313が接続される。駆動・IF部313は、カメラIF314、315と、LED駆動制御部316と、スピーカ駆動部322と、を備える。
駆動・IF部313には、カメラIF314、315を介して、それぞれ、右カメラ202、左カメラ203が接続される。駆動・IF部313がこれらのカメラを駆動することにより、被験者を撮像する。
スピーカ駆動部322は、スピーカ205を駆動する。なお、診断支援装置100が、印刷部としてのプリンタと接続するためのインタフェース(プリンタIF)を備えてもよい。また、プリンタを診断支援装置100の内部に備えるように構成してもよい。
制御部300は、診断支援装置100全体を制御する。制御部300は、第1算出部351と、第2算出部352と、第3算出部353と、視線検出部354と、視点検出部355と、出力制御部356と、評価部357と、を備えている。なお、視線検出支援装置としては、少なくとも第1算出部351、第2算出部352、第3算出部353、および、視線検出部354が備えられていればよい。
制御部300に含まれる各要素(第1算出部351、第2算出部352、第3算出部353、視線検出部354、視点検出部355、出力制御部356、および、評価部357)は、ソフトウェア(プログラム)で実現してもよいし、ハードウェア回路で実現してもよいし、ソフトウェアとハードウェア回路とを併用して実現してもよい。
プログラムで実現する場合、当該プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM(Compact Disk Read Only Memory)、フレキシブルディスク(FD)、CD−R(Compact Disk Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、プログラムを、ROM等に予め組み込んで提供するように構成してもよい。
第1算出部351は、ステレオカメラ102により撮像された眼球の画像から、瞳孔の中心を示す瞳孔中心の位置(第1位置)を算出する。第2算出部352は、撮像された眼球の画像から、角膜反射の中心を示す角膜反射中心の位置(第2位置)を算出する。第1算出部351および第2算出部352が、瞳孔の中心を示す第1位置と、角膜反射の中心を示す第2位置と、を検出する位置検出部に相当する。
第3算出部353は、LED光源103と角膜反射中心とを結ぶ直線(第1直線)から、角膜曲率中心(第4位置)を算出する。例えば、第3算出部353は、この直線上で、角膜反射中心からの距離が所定値となる位置を、角膜曲率中心として算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値を用いることができる。
角膜の曲率半径値には個人差が生じうるため、事前に定められた値を用いて角膜曲率中心を算出すると誤差が大きくなる可能性がある。従って、第3算出部353が、個人差を考慮して角膜曲率中心を算出してもよい。この場合、第3算出部353は、まず目標位置(第3位置)を被験者に注視させたときに算出された瞳孔中心および角膜反射中心を用いて、瞳孔中心と目標位置とを結ぶ直線(第2直線)と、角膜反射中心とLED光源103とを結ぶ直線(第1直線)と、の交点を算出する。そして第3算出部353は、瞳孔中心と算出した交点との距離(第1距離)を算出し、例えば記憶部150に記憶する。
目標位置は、予め定められ、三次元世界座標値が算出できる位置であればよい。例えば、表示画面201の中央位置(三次元世界座標の原点)を目標位置とすることができる。この場合、例えば出力制御部356が、表示画面201上の目標位置(中央)に、被験者に注視させる画像(目標画像)等を表示する。これにより、被験者に目標位置を注視させることができる。
目標画像は、被験者を注目させることができる画像であればどのような画像であってもよい。例えば、輝度や色などの表示態様が変化する画像、および、表示態様が他の領域と異なる画像などを目標画像として用いることができる。
なお、目標位置は表示画面201の中央に限られるものではなく、任意の位置でよい。表示画面201の中央を目標位置とすれば、表示画面201の任意の端部との距離が最小になる。このため、例えば視線検出時の測定誤差をより小さくすることが可能となる。
距離の算出までの処理は、例えば実際の視線検出を開始するまでに事前に実行しておく。実際の視線検出時には、第3算出部353は、LED光源103と角膜反射中心とを結ぶ直線上で、瞳孔中心からの距離が、事前に算出した距離となる位置を、角膜曲率中心として算出する。第3算出部353が、LED光源103の位置と、表示部上の目標画像を示す所定の位置(第3位置)と、瞳孔中心の位置と、角膜反射中心の位置と、から角膜曲率中心(第4位置)を算出する算出部に相当する。
視線検出部354は、瞳孔中心と角膜曲率中心とから被験者の視線を検出する。例えば視線検出部354は、角膜曲率中心から瞳孔中心へ向かう方向を被験者の視線方向として検出する。
視点検出部355は、検出された視線方向を用いて被験者の視点を検出する。視点検出部355は、例えば、表示画面201で被験者が注視する点である視点(注視点)を検出する。視点検出部355は、例えば図2のような三次元世界座標系で表される視線ベクトルとXY平面との交点を、被験者の注視点として検出する。
出力制御部356は、表示部101およびスピーカ205などに対する各種情報の出力を制御する。例えば、出力制御部356は、表示部101上の目標位置に目標画像を出力させる。また、出力制御部356は、診断画像、および、評価部357による評価結果などの表示部101に対する出力を制御する。
診断画像は、視線(視点)検出結果に基づく評価処理に応じた画像であればよい。例えば発達障がいを診断する場合であれば、発達障がいの被験者が好む画像(幾何学模様映像など)と、それ以外の画像(人物映像など)と、を含む診断画像を用いてもよい。
評価部357は、診断画像と、視点検出部355により検出された注視点とに基づく評価処理を行う。例えば発達障がいを診断する場合であれば、評価部357は、診断画像と注視点とを解析し、発達障がいの被験者が好む画像を注視したか否かを評価する。
図5は、本実施形態の診断支援装置100により実行される処理の概要を説明する図である。図1〜図4で説明した要素については同一の符号を付し説明を省略する。
瞳孔中心407および角膜反射中心408は、それぞれ、LED光源103を点灯させた際に検出される瞳孔の中心、および、角膜反射点の中心を表している。角膜曲率半径409は、角膜表面から角膜曲率中心410までの距離を表す。
図6は、2つの光源(照明部)を用いる方法(以下、方法Aとする)と、1つの光源(照明部)を用いる本実施形態との違いを示す説明図である。図1〜図4で説明した要素については同一の符号を付し説明を省略する。
方法Aは、LED光源103の代わりに、2つのLED光源511、512を用いる。方法Aでは、LED光源511を照射したときの角膜反射中心513とLED光源511とを結ぶ直線515と、LED光源512を照射したときの角膜反射中心514とLED光源512とを結ぶ直線516との交点が算出される。この交点が角膜曲率中心505となる。
これに対し、本実施形態では、LED光源103を照射したときの、角膜反射中心522とLED光源103とを結ぶ直線523を考える。直線523は、角膜曲率中心505を通る。また角膜の曲率半径は個人差による影響が少なくほぼ一定の値になることが知られている。このことから、LED光源103を照射したときの角膜曲率中心は、直線523上に存在し、一般的な曲率半径値を用いることにより算出することが可能である。
しかし、一般的な曲率半径値を用いて求めた角膜曲率中心の位置を使用して視点を算出すると、眼球の個人差により視点位置が本来の位置からずれて、正確な視点位置検出ができない場合がある。
図7は、視点検出(視線検出)を行う前に、角膜曲率中心位置と、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。図1〜図4で説明した要素については同一の符号を付し説明を省略する。
目標位置605は、表示部101上の一点に目標画像等を出して、被験者に見つめさせるための位置である。本実施形態では表示部101の画面の中央位置としている。直線613は、LED光源103と角膜反射中心612とを結ぶ直線である。直線614は、被験者が見つめる目標位置605(注視点)と瞳孔中心611とを結ぶ直線である。角膜曲率中心615は、直線613と直線614との交点である。第3算出部353は、瞳孔中心611と角膜曲率中心615との距離616を算出して記憶しておく。
図8は、本実施形態の算出処理の一例を示すフローチャートである。
まず出力制御部356は、表示部101の画面上の1点に目標画像を再生し(ステップS101)、被験者にその1点を注視させる。次に、制御部300は、LED駆動制御部316を用いてLED光源103を被験者の目に向けて点灯させる(ステップS102)。制御部300は、左右カメラ(右カメラ202、左カメラ203)で被験者の目を撮像する(ステップS103)。
LED光源103の照射により、瞳孔部分は暗い部分(暗瞳孔)として検出される。またLED照射の反射として、角膜反射の虚像が発生し、明るい部分として角膜反射点(角膜反射中心)が検出される。すなわち、第1算出部351は、撮像された画像から瞳孔部分を検出し、瞳孔中心の位置を示す座標を算出する。第1算出部351は、例えば目を含む一定領域の中で最も暗い部分を含む所定の明るさ以下の領域を瞳孔部分として検出し、最も明るい部分を含む所定の明るさ以上の領域を角膜反射として検出する。また、第2算出部352は、撮像された画像から角膜反射部分を検出し、角膜反射中心の位置を示す座標を算出する。なお、第1算出部351および第2算出部352は、左右カメラで取得した2つの画像それぞれに対して、各座標値を算出する(ステップS104)。
なお、左右カメラは、三次元世界座標を取得するために、事前にステレオ較正法によるカメラ較正が行われており、変換パラメータが算出されている。ステレオ較正法は、Tsaiのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。
第1算出部351および第2算出部352は、この変換パラメータを使用して、左右カメラの座標から、瞳孔中心と角膜反射中心の三次元世界座標に変換を行う(ステップS105)。第3算出部353は、求めた角膜反射中心の世界座標と、LED光源103の中心位置の世界座標とを結ぶ直線を求める(ステップS106)。次に、第3算出部353は、表示部101の画面上の1点に表示される目標画像の中心の世界座標と、瞳孔中心の世界座標とを結ぶ直線を算出する(ステップS107)。第3算出部353は、ステップS106で算出した直線とステップS107で算出した直線との交点を求め、この交点を角膜曲率中心とする(ステップS108)。第3算出部353は、このときの瞳孔中心と角膜曲率中心との間の距離を算出して記憶部150などに記憶する(ステップS109)。記憶された距離は、その後の視点(視線)検出時に、角膜曲率中心を算出するために使用される。
算出処理で表示部101上の1点を見つめる際の瞳孔中心と角膜曲率中心との間の距離は、表示部101内の視点を検出する範囲で一定に保たれている。瞳孔中心と角膜曲率中心との間の距離は、目標画像を再生中に算出された値全体の平均から求めてもよいし、再生中に算出された値のうち何回かの値の平均から求めてもよい。
図9は、視点検出を行う際に、事前に求めた瞳孔中心と角膜曲率中心との距離を使用して、補正された角膜曲率中心の位置を算出する方法を示した図である。注視点805は、一般的な曲率半径値を用いて算出した角膜曲率中心から求めた注視点を表す。注視点806は、事前に求めた距離を用いて算出した角膜曲率中心から求めた注視点を表す。
瞳孔中心811および角膜反射中心812は、それぞれ、視点検出時に算出された瞳孔中心の位置、および、角膜反射中心の位置を示す。直線813は、LED光源103と角膜反射中心812とを結ぶ直線である。角膜曲率中心814は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離815は、事前の算出処理により算出した瞳孔中心と角膜曲率中心との距離である。角膜曲率中心816は、事前に求めた距離を用いて算出した角膜曲率中心の位置である。角膜曲率中心816は、角膜曲率中心が直線813上に存在すること、および、瞳孔中心と角膜曲率中心との距離が距離815であることから求められる。これにより一般的な曲率半径値を用いる場合に算出される視線817は、視線818に補正される。また、表示部101の画面上の注視点は、注視点805から注視点806に補正される。
図10は、本実施形態の視線検出処理の一例を示すフローチャートである。例えば、診断画像を用いた診断処理の中で視線を検出する処理として、図10の視線検出処理を実行することができる。診断処理では、図10の各ステップ以外に、診断画像を表示する処理、および、注視点の検出結果を用いた評価部357による評価処理などが実行される。
ステップS201〜ステップS205は、図8のステップS102〜ステップS106と同様であるため説明を省略する。
第3算出部353は、ステップS205で算出した直線上であって、瞳孔中心からの距離が、事前の算出処理によって求めた距離と等しい位置を角膜曲率中心として算出する(ステップS206)。
視線検出部354は、瞳孔中心と角膜曲率中心とを結ぶベクトル(視線ベクトル)を求める(ステップS207)。このベクトルが、被験者が見ている視線方向を示している。視点検出部355は、この視線方向と表示部101の画面との交点の三次元世界座標値を算出する(ステップS208)。この値が、被験者が注視する表示部101上の1点を世界座標で表した座標値である。視点検出部355は、求めた三次元世界座標値を、表示部101の二次元座標系で表される座標値(x,y)に変換する(ステップS209)。これにより、被験者が見つめる表示部101上の視点(注視点)を算出することができる。
(変形例)
瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理は、図7および図8で説明した方法に限られるものではない。以下では、算出処理の他の例について図11および図12を用いて説明する。
図11は、本変形例の算出処理を説明するための図である。図1〜図4および図7で説明した要素については同一の符号を付し説明を省略する。
線分1101は、目標位置605とLED光源103とを結ぶ線分(第1線分)である。線分1102は、線分1101と平行で、瞳孔中心611と直線613とを結ぶ線分(第2線分)である。本変形例では、以下のように、線分1101、線分1102を用いて瞳孔中心611と角膜曲率中心615との距離616を算出して記憶しておく。
図12は、本変形例の算出処理の一例を示すフローチャートである。
ステップS301〜ステップS307は、図8のステップS101〜ステップS107と同様であるため説明を省略する。
第3算出部353は、表示部101の画面上の1点に表示される目標画像の中心と、LED光源103の中心とを結ぶ線分(図11では線分1101)を算出するとともに、算出した線分の長さ(L1101とする)を算出する(ステップS308)。
第3算出部353は、瞳孔中心611を通り、ステップS308で算出した線分と平行な線分(図11では線分1102)を算出するとともに、算出した線分の長さ(L1102とする)を算出する(ステップS309)。
第3算出部353は、角膜曲率中心615を頂点とし、ステップS308で算出した線分を下辺とする三角形と、角膜曲率中心615を頂点とし、ステップS309で算出した線分を下辺とする三角形とが相似関係にあることに基づき、瞳孔中心611と角膜曲率中心615との間の距離616を算出する(ステップS310)。例えば第3算出部353は、線分1101の長さに対する線分1102の長さの比率と、目標位置605と角膜曲率中心615との間の距離に対する距離616の比率と、が等しくなるように、距離616を算出する。
距離616は、以下の(1)式により算出することができる。なおL614は、目標位置605から瞳孔中心611までの距離である。
距離616=(L614×L1102)/(L1101−L1102)・・・(1)
第3算出部353は、算出した距離616を記憶部150などに記憶する(ステップS311)。記憶された距離は、その後の視点(視線)検出時に、角膜曲率中心を算出するために使用される。
以上のように、本実施形態によれば、例えば以下のような効果が得られる。
(1)光源(照明部)を2ヶ所に配置する必要がなく、1ヵ所に配置した光源で視線検出を行うことが可能となる。
(2)光源が1ヵ所になったため、装置をコンパクトにすることが可能となり、コストダウンも実現できる。
100 診断支援装置
101 表示部
102 ステレオカメラ
103 LED光源
150 記憶部
201 表示画面
202 右カメラ
203 左カメラ
205 スピーカ
300 制御部
313 駆動・IF部
316 LED駆動制御部
322 スピーカ駆動部
351 第1算出部
352 第2算出部
353 第3算出部
354 視線検出部
355 視点検出部
356 出力制御部
357 評価部

Claims (5)

  1. 光を照射する光源を含む照明部と、
    複数の撮像部と、
    前記照明部によって光が照射され、前記撮像部によって撮像された被験者の眼球の画像から瞳孔の中心を示す第1位置と、角膜反射の中心を示す第2位置と、を検出する位置検出部と、
    前記光源の位置と、表示部上の第3位置と、前記第1位置と、前記第2位置と、に基づいて、角膜の曲率中心を示す第4位置を算出する算出部と、
    を備える視線検出支援装置。
  2. 前記第1位置と前記第4位置とに基づいて視線を検出する視線検出部をさらに備える、
    請求項1に記載の視線検出支援装置。
  3. 前記算出部は、
    前記光源の位置と前記第2位置とを結ぶ第1直線と、
    前記第1位置と前記第3位置とを結ぶ第2直線と、を算出し、
    前記第1直線と前記第2直線との交点と、前記第1位置との距離を第1距離として、
    前記第1直線上に存在し、前記第1位置からの距離が前記第1距離となる前記第4位置を算出する、
    請求項1又は2に記載の視線検出支援装置。
  4. 前記算出部は、
    前記光源の位置と前記第3位置とを結ぶ第1線分と、
    前記第1線分に平行で、前記第1位置から前記第1直線に向かう第2線分と、を算出し、
    前記第1線分の長さに対する前記第2線分の長さの比率と、
    前記第3位置と前記第4位置との距離に対する前記第1距離の比率と、が等しくなる前記第1距離を算出する、
    請求項3に記載の視線検出支援装置。
  5. 光源を含む照明部によって光が照射され、複数の撮像部によって撮像された被験者の眼球の画像から瞳孔の中心を示す第1位置と、角膜反射の中心を示す第2位置と、を検出する位置検出ステップと、
    前記光源の位置と、表示部上の第3位置と、前記第1位置と、前記第2位置と、に基づいて、角膜の曲率中心を示す第4位置を算出する算出ステップと、
    を含む視線検出支援方法。
JP2014111699A 2013-11-28 2014-05-29 視線検出支援装置および視線検出支援方法 Active JP6210023B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014111699A JP6210023B2 (ja) 2013-11-28 2014-05-29 視線検出支援装置および視線検出支援方法
PCT/JP2014/081123 WO2015080104A1 (ja) 2013-11-28 2014-11-25 視線検出支援装置および視線検出支援方法
EP14865795.0A EP3075304B1 (en) 2013-11-28 2014-11-25 Line-of-sight detection assistance device and line-of-sight detection assistance method
US15/160,058 US9993154B2 (en) 2013-11-28 2016-05-20 Eye gaze detection supporting device and eye gaze detection supporting method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013246725 2013-11-28
JP2013246725 2013-11-28
JP2014111699A JP6210023B2 (ja) 2013-11-28 2014-05-29 視線検出支援装置および視線検出支援方法

Publications (2)

Publication Number Publication Date
JP2015126857A JP2015126857A (ja) 2015-07-09
JP6210023B2 true JP6210023B2 (ja) 2017-10-11

Family

ID=53199044

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014111699A Active JP6210023B2 (ja) 2013-11-28 2014-05-29 視線検出支援装置および視線検出支援方法

Country Status (4)

Country Link
US (1) US9993154B2 (ja)
EP (1) EP3075304B1 (ja)
JP (1) JP6210023B2 (ja)
WO (1) WO2015080104A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9874934B1 (en) 2016-07-29 2018-01-23 International Business Machines Corporation System, method, and recording medium for tracking gaze with respect to a moving plane with a camera with respect to the moving plane
US10503252B2 (en) 2016-09-26 2019-12-10 Ihab Ayoub System and method for eye-reactive display
US10281980B2 (en) 2016-09-26 2019-05-07 Ihab Ayoub System and method for eye-reactive display
WO2018123266A1 (ja) * 2016-12-28 2018-07-05 株式会社Jvcケンウッド 視機能検査装置、視機能検査方法、及びコンピュータプログラム
JP6776970B2 (ja) * 2017-03-24 2020-10-28 株式会社Jvcケンウッド 視線検出装置、視線検出方法及び視線検出プログラム
EP4235263A3 (en) * 2017-09-29 2023-11-29 Apple Inc. Gaze-based user interactions
US10200753B1 (en) 2017-12-04 2019-02-05 At&T Intellectual Property I, L.P. Resource management for video streaming with inattentive user
JP6856017B2 (ja) * 2017-12-28 2021-04-07 株式会社Jvcケンウッド 角膜反射位置検出装置、視線検出装置及び角膜反射位置検出方法
US11314396B2 (en) 2018-05-09 2022-04-26 Apple Inc. Selecting a text input field using eye gaze
US11301677B2 (en) * 2019-06-14 2022-04-12 Tobil AB Deep learning for three dimensional (3D) gaze prediction
JP2022035177A (ja) * 2020-08-20 2022-03-04 株式会社Jvcケンウッド 距離算出装置、距離算出方法及び距離算出プログラム
WO2024059927A1 (en) * 2022-09-22 2024-03-28 Huawei Technologies Co., Ltd. Methods and systems for gaze tracking using one corneal reflection

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2739331B2 (ja) 1988-11-16 1998-04-15 株式会社エイ・ティ・アール通信システム研究所 非接触視線検出装置
JPH06319701A (ja) * 1993-05-11 1994-11-22 Fuji Xerox Co Ltd 視線認識装置
US6578962B1 (en) * 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking
US6659611B2 (en) * 2001-12-28 2003-12-09 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
US7747068B1 (en) * 2006-01-20 2010-06-29 Andrew Paul Smyth Systems and methods for tracking the eye
JP4824420B2 (ja) 2006-02-07 2011-11-30 アイテック株式会社 視線ベクトル検出方法及び同装置
JP5163982B2 (ja) * 2008-06-16 2013-03-13 国立大学法人神戸大学 視線計測装置、視線計測プログラム、視線計測方法、および視線計測装置用ディスプレイ
NL2003372C2 (en) * 2009-08-20 2011-02-22 Univ Delft Tech Apparatus and method for automatically determining a strabismus angle.
JP5949319B2 (ja) * 2012-08-21 2016-07-06 富士通株式会社 視線検出装置及び視線検出方法
JP6217445B2 (ja) * 2013-03-07 2017-10-25 株式会社Jvcケンウッド 診断支援装置および診断支援方法
EP3015075B1 (en) * 2013-06-28 2018-12-19 JVC Kenwood Corporation Diagnosis assistance device and diagnosis assistance method

Also Published As

Publication number Publication date
WO2015080104A1 (ja) 2015-06-04
US9993154B2 (en) 2018-06-12
EP3075304B1 (en) 2018-04-04
JP2015126857A (ja) 2015-07-09
EP3075304A1 (en) 2016-10-05
EP3075304A4 (en) 2016-12-21
US20160262614A1 (en) 2016-09-15

Similar Documents

Publication Publication Date Title
JP6210023B2 (ja) 視線検出支援装置および視線検出支援方法
JP6201956B2 (ja) 視線検出装置および視線検出方法
WO2015146491A1 (ja) 検出装置および検出方法
EP2965689B1 (en) Diagnosis support apparatus and diagnosis support method
US20180235466A1 (en) Gaze detection apparatus and gaze detection method
US20150238087A1 (en) Biological information measurement device and input device utilizing same
US11023039B2 (en) Visual line detection apparatus and visual line detection method
JP6245093B2 (ja) 診断支援装置および診断支援方法
JP6900994B2 (ja) 視線検出装置及び視線検出方法
JP2016028669A (ja) 瞳孔検出装置、および瞳孔検出方法
US10123695B2 (en) Diagnosis supporting device and method of supporting diagnosis
JP6380178B2 (ja) 診断支援装置および診断支援方法
JP2015144635A (ja) 検出装置および検出方法
JP6327171B2 (ja) 注視点検出装置および注視点検出方法
JP6187347B2 (ja) 検出装置および検出方法
JP6269177B2 (ja) 瞳孔検出装置、視線検出装置および瞳孔検出方法
JP6471533B2 (ja) 視線検出装置および視線検出方法
JP2015181797A (ja) 検出装置および検出方法
JP2020119583A (ja) 視線検出装置及び視線検出方法
JP2016157326A (ja) 視線検出装置および視線検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170828

R150 Certificate of patent or registration of utility model

Ref document number: 6210023

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150