JP6909391B2 - 視線検出装置及び視線検出方法 - Google Patents

Description

本発明は、視線検出装置及び視線検出方法に関する。

操作者又は被験者がモニタ画面などの観察面上で注視している位置を検出する、視線検出装置が提案されている。顔に装置を取り付けることなく被験者の視線方向を非接触で検出する方法として、被験者の眼球に検出光を照射し、検出光が照射された眼球の画像から瞳孔中心と角膜曲率中心とを算出し、角膜曲率中心から瞳孔中心へ向かうベクトルを被験者の視線方向として検出する方法がある。従来においては、角膜曲率半径が左右の眼球で同じ値であり、左右の眼球の視線方向は同じであるとの仮定のもと、視線方向が検出されていた。

特許第２７３９３３１号公報

しかし、従来技術では、角膜曲率半径が左右の眼球で大きく異なる被験者、又は斜視などの影響により左右の眼球の視線方向が大きく異なる被験者について、視線方向を正確に検出することが困難であるという問題があった。

本発明は、様々な被験者について視線方向を正確に検出できる視線検出装置及び視線検出方法を提供することを目的とする。

本発明の視線検出装置は、指標画像を表示する表示部と、被験者の眼球に検出光を照射する光源と、前記検出光が照射された前記眼球の画像から、左右それぞれの眼球の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する位置検出部と、前記光源の位置と前記角膜反射中心の位置とから、左右それぞれの眼球の角膜曲率半径を算出する曲率半径算出部と、前記瞳孔中心の位置と前記角膜曲率半径とから、左右それぞれの眼球の視線方向を検出する視線検出部と、前記視線検出部で検出された前記視線方向から、左右それぞれの眼球の視点を検出する視点検出部と、前記視点検出部で検出した左右それぞれの眼球の前記視点を、前記指標画像が表示された前記表示部に表示させる出力制御部とを備える。
また、本発明の視線検出方法は、指標画像を表示部に表示させるステップと、光源から射出された検出光を被験者の眼球に照射するステップと、前記検出光が照射された前記眼球の画像から、左右それぞれの眼球の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出するステップと、前記光源の位置と前記角膜反射中心の位置とから、左右それぞれの眼球の角膜曲率半径を算出するステップと、前記瞳孔中心の位置と前記角膜曲率半径とから、左右それぞれの眼球の視線方向を検出するステップと、検出された前記視線方向から、左右それぞれの眼球の視点を検出するステップと、左右それぞれの眼球の前記視点を、前記指標画像が表示された前記表示部に表示させるステップとを含む。

本発明に係る視線検出装置及び視線検出方法は、様々な被験者について視線方向を正確に検出できるという効果を奏する。

図１は、１つの光源を使用した場合の被験者の目の様子を示す図である。 図２は、２つの光源を使用した場合の被験者の目の様子を示す図である。 図３は、本実施形態の表示部、ステレオカメラ、赤外線光源及び被験者の配置の一例を示す図である。 図４は、本実施形態の表示部、ステレオカメラ、赤外線光源及び被験者の配置の一例を示す図である。 図５は、診断支援装置の機能の概要を示す図である。 図６は、図５に示す各部の詳細な機能の一例を示すブロック図である。 図７は、１つの光源を用いると仮定した場合の処理の概要を説明する図である。 図８は、本実施形態の診断支援装置により実行される処理の概要を説明する図である。 図９は、瞳孔中心位置と角膜曲率中心位置との距離を算出するキャリブレーション処理を説明するための図である。 図１０は、本実施形態のキャリブレーション処理の一例を示すフローチャートである。 図１１は、事前に求めた距離を使用して角膜曲率中心の位置を算出する方法を示した図である。 図１２は、本実施形態の視線検出処理の一例を示すフローチャートである。 図１３は、本実施形態の表示部の表示例を示す図である。 図１４は、本実施形態のキャリブレーション処理の一例を示すフローチャートである。 図１５は、本実施形態の視線検出処理の一例を示すフローチャートである。 図１６は、本実施形態の表示部の表示例を示す図である。 図１７は、本実施形態の表示部の表示例を示す図である。 図１８は、本実施形態の表示部の表示例を示す図である。 図１９は、本実施形態の評価方法の一例を示すフローチャートである。 図２０は、本実施形態の評価方法の一例を説明するための模式図である。 図２１は、本実施形態の評価方法の一例を説明するための模式図である。 図２２は、変形例の算出処理を説明するための図である。 図２３は、変形例の算出処理の一例を示すフローチャートである。

以下、本発明に係る視線検出装置及び視線検出方法の実施形態について図面を参照しながら詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、以下では、視線検出結果を用いて斜視などの診断を支援する診断支援装置に視線検出装置を用いた例を説明する。適用可能な装置は診断支援装置に限られるものではない。

被験者によっては、角膜曲率半径が左右の眼球で大きく異なっていたり、斜視などの影響により左右の眼球の視線方向が大きく異なっていたりする場合がある。本実施形態の診断支援装置は、左右の眼球の角膜曲率半径を個別に求め、更にモニタ画面に対する被験者の左右の眼球の視点を個別に検出することで、様々な被験者についての視点検出を適切に実施可能である。

本実施形態の視線検出装置は、２ヵ所に設置された照明部を用いて視線を検出する。また、本実施形態の視線検出装置は、視線検出前に被験者に１点を注視させて測定した結果を用いて、角膜曲率中心の位置及び角膜曲率半径を高精度に算出する。

なお、照明部とは、光源を含み、被験者の眼球に光を照射可能な要素である。光源とは、例えばＬＥＤ（Light Emitting Diode）などの光を発生する素子である。光源は、１個のＬＥＤから構成されてもよいし、複数のＬＥＤを組み合わせて１ヵ所に配置することにより構成されてもよい。以下では、このように照明部を表す用語として「光源」を用いる場合がある。

視点検出を精度良く行うためには、瞳孔の位置を正しく検出できることが重要となっている。近赤外の光源を点灯させカメラで撮影した場合、カメラと光源との距離が一定以上離れていると、瞳孔は他の部分より暗くなることがわかっている。この特徴を用いて瞳孔位置が検出される。

本実施形態では、２台のカメラに対して、光源をそれぞれのカメラの外側に２ヶ所配置する。そして、これらの２つの光源を相互に異なるタイミングで点灯させ、点灯している光源からの距離が長い方（遠い方）のカメラで撮影する。これにより、瞳孔をより暗く撮影し、瞳孔と他の部分とを、より高精度に区別することが可能となる。

この場合、点灯させる光源が異なるため、通常のステレオ方式による三次元計測を単純に適用することができない。すなわち、視点を求める際の光源と角膜反射とを結ぶ直線を世界座標で算出することができない。そこで本実施形態では、２つのタイミングでの、撮像に用いるカメラ相互の位置関係、及び、点灯させる光源相互の位置関係を、仮想的な光源の位置を示す仮想光源位置に対してそれぞれ対称とする。そして、２つの光源それぞれの点灯時に得られる２つの座標値を、左カメラによる座標値及び右カメラによる座標値として世界座標に変換する。これにより、２つの光源それぞれの点灯時に得られる角膜反射の位置を用いて、仮想光源と角膜反射とを結ぶ直線を世界座標で算出すること、及び、この直線に基づき視点を算出することが可能となる。

図１は、１つの光源を使用した場合の被験者の目１１の様子を示す図である。図１に示すように、虹彩１２と瞳孔１３との暗さの差が十分ではなく、区別が困難となる。図２は、２つの光源を使用した場合の被験者の目２１の様子を示す図である。図２に示すように、虹彩２２と瞳孔２３との暗さの差は、図１と比較して大きくなっている。

図３及び図４は、本実施形態の表示部、ステレオカメラ、赤外線光源及び被験者の配置の一例を示す図である。

図３に示すように、本実施形態の診断支援装置は、表示部１０１と、ステレオカメラを構成する右カメラ１０２ａ及び左カメラ１０２ｂと、ＬＥＤ光源１０３ａ，１０３ｂと、を含む。右カメラ１０２ａ及び左カメラ１０２ｂは、表示部１０１の下に配置される。ＬＥＤ光源１０３ａ，１０３ｂは、右カメラ１０２ａ及び左カメラ１０２ｂそれぞれの外側の位置に配置される。ＬＥＤ光源１０３ａ，１０３ｂは、例えば波長８５０［ｎｍ］の近赤外線を照射する光源である。図３では、９個のＬＥＤによりＬＥＤ光源１０３ａ，１０３ｂを構成する例が示されている。なお、右カメラ１０２ａ及び左カメラ１０２ｂは、波長８５０［ｎｍ］の近赤外光を透過できるレンズを使用する。なお、ＬＥＤ光源１０３ａ，１０３ｂと、右カメラ１０２ａ及び左カメラ１０２ｂとの位置を逆にして、ＬＥＤ光源１０３ａ，１０３ｂが、右カメラ１０２ａ及び左カメラ１０２ｂそれぞれの内側の位置に配置されていてもよい。

図４に示すように、ＬＥＤ光源１０３ａ，１０３ｂは、被験者の眼球１１１に向かって検出光である近赤外光を照射する。ＬＥＤ光源１０３ａを照射したときに左カメラ１０２ｂで撮影を行い、ＬＥＤ光源１０３ｂを照射したときに右カメラ１０２ａで撮影を行う。右カメラ１０２ａ及び左カメラ１０２ｂと、ＬＥＤ光源１０３ａ，１０３ｂとの位置関係を適切に設定することにより、撮影される画像では、瞳孔１１２が低輝度で反射して暗くなり、眼球１１１内に虚像として生じる角膜反射１１３が高輝度で反射して明るくなる。したがって、瞳孔１１２及び角膜反射１１３の画像上の位置を２台のカメラ（右カメラ１０２ａ及び左カメラ１０２ｂ）それぞれで取得することができる。

さらに２台のカメラにより得られる瞳孔１１２及び角膜反射１１３の位置から、瞳孔１１２及び角膜反射１１３の位置の三次元世界座標値を算出する。本実施形態では、三次元世界座標として、表示部１０１の画面の中央位置を原点として、上下をＹ座標（上が＋）、横をＸ座標（向かって右が＋）、奥行きをＺ座標（手前が＋）としている。

図５は、診断支援装置１００の機能の概要を示す図である。図５では、図３及び図４に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図５に示すように、診断支援装置１００は、右カメラ１０２ａと、左カメラ１０２ｂと、左カメラ１０２ｂ用のＬＥＤ光源１０３ａと、右カメラ１０２ａ用のＬＥＤ光源１０３ｂと、スピーカ２０５と、駆動・ＩＦ（interface）部３１３と、制御部３００と、記憶部１５０と、表示部１０１と、を含む。図５において、表示画面２０１は、右カメラ１０２ａ及び左カメラ１０２ｂとの位置関係を分かりやすく示しているが、表示画面２０１は表示部１０１において表示される画面である。なお、駆動部とＩＦ部とは一体でもよいし、別体でもよい。

スピーカ２０５は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する音声出力部として機能する。

駆動・ＩＦ部３１３は、ステレオカメラに含まれる各部を駆動する。また、駆動・ＩＦ部３１３は、ステレオカメラに含まれる各部と、制御部３００とのインタフェースとなる。

制御部３００は、例えば、ＣＰＵ（Central Processing Unit）などの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置と、ネットワークに接続して通信を行う通信ＩＦと、各部を接続するバスを備えているコンピュータなどにより実現できる。

記憶部１５０は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。記憶部１５０は、例えば、表示部１０１に表示する画像等を記憶する。表示部１０１は、診断のための対象画像等、各種情報を表示する。

図６は、図５に示す各部の詳細な機能の一例を示すブロック図である。図６に示すように、制御部３００には、表示部１０１と、駆動・ＩＦ部３１３とが接続される。駆動・ＩＦ部３１３は、カメラＩＦ３１４，３１５と、ＬＥＤ駆動制御部３１６と、スピーカ駆動部３２２と、を備える。

駆動・ＩＦ部３１３には、カメラＩＦ３１４，３１５を介して、それぞれ、右カメラ１０２ａ及び左カメラ１０２ｂが接続される。駆動・ＩＦ部３１３がこれらのカメラを駆動することにより、被験者を撮像する。右カメラ１０２ａからはフレーム同期信号が出力される。フレーム同期信号は、左カメラ１０２ｂとＬＥＤ駆動制御部３１６とに入力される。これにより、ＬＥＤ光源１０３ａ，１０３ｂを発光させ、それに対応して左右カメラによる画像を取り込んでいる。

スピーカ駆動部３２２は、スピーカ２０５を駆動する。なお、診断支援装置１００が、印刷部としてのプリンタと接続するためのインタフェース（プリンタＩＦ）を備えてもよい。また、プリンタを診断支援装置１００の内部に備えるように構成してもよい。

制御部３００は、診断支援装置１００全体を制御する。制御部３００は、点灯制御部３５１と、位置検出部３５２と、曲率半径算出部３５３と、視線検出部３５４と、視点検出部３５５と、出力制御部３５６と、評価部３５７と、判定部３５８と、を備えている。

制御部３００に含まれる各要素（点灯制御部３５１、位置検出部３５２、曲率半径算出部３５３、視線検出部３５４、視点検出部３５５、出力制御部３５６、評価部３５７、及び、判定部３５８）は、ソフトウェア（プログラム）で実現してもよいし、ハードウェア回路で実現してもよいし、ソフトウェアとハードウェア回路とを併用して実現してもよい。

プログラムで実現する場合、当該プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブ
ルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、プログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。また、プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

点灯制御部３５１は、ＬＥＤ駆動制御部３１６を用いて、ＬＥＤ光源１０３ａ，１０３ｂの点灯を制御する。例えば点灯制御部３５１は、ＬＥＤ光源１０３ａ，１０３ｂを、相互に異なるタイミングで点灯するように制御する。タイミングの差（時間）は、例えば、被験者の視線の移動等による視線検出結果への影響が生じない時間として予め定められた時間とすればよい。

位置検出部３５２は、近赤外光が照射されステレオカメラにより撮像された被験者の左右の眼球の画像から、左右それぞれの眼球の瞳孔を示す瞳孔領域、及び、左右それぞれの眼球の角膜反射を示す角膜反射領域を検出する。また位置検出部３５２は、瞳孔領域に基づき、左右それぞれの眼球の瞳孔の中心を示す瞳孔中心の位置を検出する。例えば位置検出部３５２は、瞳孔領域の輪郭上の複数の点を選択し、選択した複数の点を通る円の中心を、瞳孔中心の位置として算出する。同様に、位置検出部３５２は、角膜反射領域に基づき、左右それぞれの眼球の角膜反射の中心を示す角膜反射中心の位置を検出する。

曲率半径算出部３５３は、仮想光源位置と角膜反射中心とを結ぶ第１直線から、角膜曲率中心の位置を算出する。また、曲率半径算出部３５３は、仮想光源位置と角膜反射中心の位置とから、被験者の左右それぞれの眼球の角膜表面と角膜曲率中心との距離である角膜曲率半径を算出する。

曲率半径算出部３５３は、目標位置を被験者に注視させたときに算出された瞳孔中心及び角膜反射中心を用いて、瞳孔中心と目標位置とを結ぶ第２直線と、角膜反射中心と仮想光源位置とを結ぶ第１直線と、の交点を算出する。算出された交点が、角膜曲率中心である。曲率半径算出部３５３は、瞳孔中心と角膜曲率中心との距離を算出し、記憶部１５０に記憶する。また、曲率半径算出部３５３は、角膜表面と角膜曲率中心との距離である角膜曲率半径を算出し、記憶部１５０に記憶する。

目標位置は、予め定められ、三次元世界座標値が算出できる位置であればよい。例えば、表示画面２０１の中央位置（三次元世界座標の原点）を目標位置とすることができる。この場合、例えば出力制御部３５６が、表示画面２０１上の目標位置（中央位置）に、被験者に注視させる目標画像等を表示する。これにより、被験者に目標位置を注視させることができる。

目標画像は、被験者を注目させることができる画像であればどのような画像であってもよい。例えば、輝度や色などの表示態様が変化する画像、及び、表示態様が他の領域と異なる画像などを目標画像として用いることができる。

なお、目標位置は表示画面２０１の中央位置に限られるものではなく、任意の位置でよい。表示画面２０１の中央位置を目標位置とすれば、表示画面２０１の任意の端部との距離が最小になる。このため、例えば視線検出時の測定誤差をより小さくすることが可能となる。

瞳孔中心と角膜曲率中心との距離の算出及び角膜曲率半径の算出までの処理は、例えば実際の視線検出を開始するまでに事前に実行しておく。視線検出時には、曲率半径算出部３５３は、仮想光源位置と角膜反射中心とを結ぶ第１直線上で、瞳孔中心からの距離が、事前に算出した距離となる位置を、角膜曲率中心として算出可能である。曲率半径算出部３５３は、仮想光源位置と、表示部上の目標画像を示す所定の位置と、瞳孔中心の位置と、角膜反射中心の位置と、から角膜曲率中心の位置を算出し、角膜曲率半径を算出する。

視線検出部３５４は、瞳孔中心の位置と角膜曲率半径又は角膜曲率中心の位置とから、被験者の左右それぞれの眼球の視線方向を検出する。例えば視線検出部３５４は、角膜曲率中心から瞳孔中心へ向かう方向を被験者の視線方向として検出する。

視点検出部３５５は、視線検出部３５４で検出された視線方向から、被験者の左右それぞれの眼球の視点を検出する。視点検出部３５５は、例えば、表示画面２０１で被験者が注視する点である視点（注視点）を検出する。視点検出部３５５は、例えば図２のような三次元世界座標系で表される視線ベクトルとＸＹ平面との交点を、被験者の視点として検出する。

出力制御部３５６は、表示部１０１及びスピーカ２０５などに対する各種情報の出力を制御する。本実施形態において、出力制御部３５６は、被験者の左右それぞれの眼球の視線方向を表示部１０１に表示させる。出力制御部３５６は、視線検出部３５４で検出された視線方向を用いて視点検出部３５５により検出された左右それぞれの眼球の視点を表示部１０１に表示させる。また、出力制御部３５６は、表示部１０１上の目標位置に目標画像を出力させる。また、出力制御部３５６は、診断画像、及び、評価部３５７による評価結果などの表示部１０１に対する出力を制御する。

評価部３５７は、左右それぞれの眼球の視点の移動軌跡から、左右の眼球それぞれの状態を評価する。例えば、評価部３５７は、左右それぞれの眼球の視点の移動軌跡から、左右の眼球の動き方を評価したり、左右の眼球のいずれか一方が斜視であるか否かを評価したりする。

判定部３５８は、視線検出部３５４で検出された視線方向又は視点検出部３５５で検出された視点から、左右それぞれの眼球が目標方向を向いているか否かを判定する。例えば、判定部３５８は、左の眼球の視点の第１移動軌跡及び右の眼球の視点の第２移動軌跡の少なくとも一方に基づいて、左右の眼球が目標方向を向いているか否かを判定する。ここでいう目標方向とは、後述する目標軌跡に沿って左右の眼球が動いている方向のことを指す。

図７は、１つの光源を用いると仮定した場合の処理の概要を説明する図である。図３から図６で説明した要素については同一の符号を付し説明を省略する。図７の例では、２つのＬＥＤ光源１０３ａ，１０３ｂの代わりに、１つのＬＥＤ光源２０３が用いられる。

瞳孔中心４０７及び角膜反射中心４０８は、それぞれ、１つのＬＥＤ光源２０３を点灯させた際に検出される瞳孔中心、及び、角膜反射中心を表している。角膜反射中心４０８は、ＬＥＤ光源２０３と角膜曲率中心４１０とを結んだ直線上に存在し、その位置は角膜曲率中心４１０と角膜表面との中間点に現れる。角膜曲率半径４０９は、角膜表面から角膜曲率中心４１０までの距離を表す。ＬＥＤ光源２０３は、ここでは１個のＬＥＤとしているが、数個の小さいＬＥＤを組み合わせて１ヵ所に配置されたものであっても構わない。

図８は、本実施形態の診断支援装置１００により実行される処理の概要を説明する図である。図３から図６で説明した要素については同一の符号を付し説明を省略する。

角膜反射点６２１は左カメラ１０２ｂで撮影したときの画像上の角膜反射点を表す。角膜反射点６２２は右カメラ１０２ａで撮影したときの画像上の角膜反射点を表す。本実施形態では、右カメラ１０２ａと右カメラ用のＬＥＤ光源１０３ｂ、及び、左カメラ１０２ｂと左カメラ用のＬＥＤ光源１０３ａは、例えば右カメラ１０２ａと左カメラ１０２ｂの中間位置を通る直線に対して左右対称の位置関係にある。このため、右カメラ１０２ａと左カメラ１０２ｂの中間位置（仮想光源位置）に仮想光源３０３があるとみなすことができる。角膜反射点６２４は、仮想光源３０３に対応する角膜反射点を表す。角膜反射点６２１の座標値と角膜反射点６２２の座標値を、左右カメラの座標値を三次元世界座標に変換する変換パラメータを用いて変換することにより、角膜反射点６２４の世界座標値が算出される。仮想光源３０３と角膜反射点６２４を結ぶ直線５２３上に角膜曲率中心５０５が存在する。角膜曲率中心５０５の位置及び角膜表面の位置が算出されることにより、角膜曲率半径５０９が算出される。このように、図７で表した光源が１ヵ所の視線検出方法と同等の方法で視点検出が可能である。

なお右カメラ１０２ａと左カメラ１０２ｂとの位置関係、及び、ＬＥＤ光源１０３ａとＬＥＤ光源１０３ｂとの位置関係は、上述の位置関係に限られるものではない。例えば同一の直線に対して、それぞれの位置関係が左右対称となる関係であってもよいし、右カメラ１０２ａと左カメラ１０２ｂと、ＬＥＤ光源１０３ａとＬＥＤ光源１０３ｂとは同一直線上になくてもよい。

図９は、視線検出又は視点検出を行う前に、角膜曲率中心６１５の位置、及び、瞳孔中心６１１の位置と角膜曲率中心６１５の位置との距離６１６を算出するキャリブレーション処理を説明するための図である。図３から図６で説明した要素については同一の符号を付し説明を省略する。

目標位置６０５は、表示部１０１上の一点に目標画像等を出して、被験者に見つめさせるための位置である。本実施形態では表示部１０１の画面の中央位置としている。直線６１３は、仮想光源３０３と角膜反射中心６１２とを結ぶ直線である。直線６１４は、被験者が見つめる注視点である目標位置６０５と瞳孔中心６１１とを結ぶ直線である。角膜曲率中心６１５は、直線６１３と直線６１４との交点である。角膜曲率半径６０９は、角膜表面と角膜曲率中心６１５との距離である。曲率半径算出部３５３は、瞳孔中心６１１と角膜曲率中心６１５との距離６１６及び角膜曲率半径６０９を算出して記憶部１５０に記憶する。

図１０は、本実施形態のキャリブレーション処理の一例を示すフローチャートである。出力制御部３５６は、表示部１０１の画面上の１点に目標画像を再生し（ステップＳ１０１）、被験者にその１点を注視させる。次に、点灯制御部３５１は、ＬＥＤ駆動制御部３１６を用いてＬＥＤ光源１０３ａ，１０３ｂのうち一方を被験者の眼に向けて点灯させる（ステップ１０２）。制御部３００は、左右カメラ（右カメラ１０２ａ，左カメラ１０２ｂ）のうち点灯したＬＥＤ光源からの距離が長い方のカメラで被験者の眼を撮像する（ステップＳ１０３）。次に、点灯制御部３５１は、ＬＥＤ光源１０３ａ，１０３ｂのうち他方を被験者の眼に向けて点灯させる（ステップＳ１０４）。制御部３００は、左右カメラのうち点灯したＬＥＤ光源からの距離が長い方のカメラで被験者の眼を撮像する（ステップＳ１０５）。

なお、点灯したＬＥＤ光源からの距離が長いカメラ以外のカメラによる撮像を停止しなくてもよい。すなわち、少なくとも点灯したＬＥＤ光源からの距離が長い方のカメラで被験者の眼を撮像し、撮像した画像が座標算出等に利用可能となっていればよい。

ステップＳ１０５の後、左の眼球である左眼についての処理と、右の眼球である右眼についての処理とが別々に実施される。まず、左眼についてのキャリブレーション処理について説明する。

ＬＥＤ光源１０３ａ又はＬＥＤ光源１０３ｂの照射により、左眼の瞳孔領域は暗い部分（暗瞳孔）として検出される。またＬＥＤ照射の反射として、左眼の角膜反射の虚像が発生し、明るい部分として角膜反射点（角膜反射中心）が検出される。すなわち、位置検出部３５２は、撮像された画像から左眼の瞳孔領域を検出し、左眼の瞳孔中心の位置を示す座標を算出する。位置検出部３５２は、例えば左眼を含む一定領域の中で最も暗い部分を含む所定の明るさ以下の領域を瞳孔領域として検出し、最も明るい部分を含む所定の明るさ以上の領域を角膜反射として検出する。また、位置検出部３５２は、撮像された画像から左眼の角膜反射領域を検出し、角膜反射中心の位置を示す座標を算出する。なお、位置検出部３５２は、左右カメラで取得した２つの画像それぞれに対して、左眼の瞳孔中心の座標値及び角膜反射中心の座標値を算出する（ステップＳ１０６Ｌ）。

なお、左右カメラは、三次元世界座標を取得するために、事前にステレオ較正法によるカメラ較正が行われており、変換パラメータが算出されている。ステレオ較正法は、Ｔｓａｉのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。

位置検出部３５２は、この変換パラメータを使用して、左右カメラの座標から、左眼の瞳孔中心と角膜反射中心の三次元世界座標に変換を行う（ステップＳ１０７Ｌ）。例えば位置検出部３５２は、ＬＥＤ光源１０３ａが点灯されたときに左カメラ１０２ｂにより撮像された画像から得られた座標を左カメラの座標とし、ＬＥＤ光源１０３ｂが点灯されたときに右カメラ１０２ａにより撮像された画像から得られた座標を右カメラの座標として、変換パラメータを用いて三次元世界座標への変換を行う。この結果得られる世界座標値は、仮想光源３０３から光が照射されたと仮定したときに左右カメラで撮像された画像から得られる世界座標値に対応する。曲率半径算出部３５３は、求めた角膜反射中心の世界座標と、仮想光源３０３の中心位置の世界座標とを結ぶ直線を求める（ステップＳ１０８Ｌ）。次に、曲率半径算出部３５３は、表示部１０１の画面上の１点に表示される目標画像の中心の世界座標と、左眼の瞳孔中心の世界座標とを結ぶ直線を算出する（ステップＳ１０９Ｌ）。曲率半径算出部３５３は、ステップＳ１０８Ｌで算出した直線とステップＳ１０９Ｌで算出した直線との交点を求め、この交点を左眼の角膜曲率中心とする（ステップＳ１１０Ｌ）。曲率半径算出部３５３は、このときの瞳孔中心と角膜曲率中心との間の距離を算出して記憶部１５０に記憶する（ステップＳ１１１Ｌ）。また、曲率半径算出部３５３は、左眼の角膜曲率半径を算出する（ステップＳ１１２Ｌ）。

キャリブレーション処理で表示部１０１上の１点を見つめる際の瞳孔中心と角膜曲率中心との距離は、表示部１０１内の視点を検出する範囲で一定に保たれている。瞳孔中心と角膜曲率中心との距離は、目標画像を再生中に算出された値全体の平均から求めてもよいし、再生中に算出された値のうち何回かの値の平均から求めてもよい。

以上、左眼の角膜曲率半径の算出までの手順について説明した。左眼についてのステップＳ１０６ＬからステップＳ１１２Ｌと同様の手順が、右眼についても実施され（ステップＳ１０６ＲからステップＳ１１２Ｒ）、右眼の角膜曲率半径が算出される。右眼の角膜曲率半径の算出までの手順についての説明は省略する。

左眼の角膜曲率半径が算出され、右眼の角膜曲率半径が算出された後、曲率半径算出部３５３は、左右の眼球の角膜曲率半径を平均化する（ステップＳ１１３）。すなわち、左眼の角膜曲率半径をｒ１、右眼の角膜曲率半径をｒ２とした場合、曲率半径算出部３５３は、（ｒ１＋ｒ２）／２の演算を実施して、平均化された角膜曲率半径ｒａを算出する。曲率半径算出部３５３は、平均化された角膜曲率半径ｒａを記憶部１５０に記憶する（ステップＳ１１４）。

図１１は、視点検出を行う際に、事前に求めた瞳孔中心と角膜曲率中心との距離を使用して、補正された角膜曲率中心の位置を算出する方法を示した図である。注視点８０５は、一般的な曲率半径値を用いて算出した角膜曲率中心から求めた注視点を表す。注視点８０６は、事前に求めた距離を用いて算出した角膜曲率中心から求めた注視点を表す。

瞳孔中心８１１及び角膜反射中心８１２は、それぞれ、視点検出時に算出された瞳孔中心の位置、及び、角膜反射中心の位置を示す。直線８１３は、仮想光源３０３と角膜反射中心８１２とを結ぶ直線である。角膜曲率中心８１４は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離８１５は、事前のキャリブレーション処理により算出した瞳孔中心と角膜曲率中心との距離である。角膜曲率中心８１６は、事前に求めた距離を用いて算出した角膜曲率中心の位置である。角膜曲率中心８１６は、角膜曲率中心が直線８１３上に存在すること、及び、瞳孔中心と角膜曲率中心との距離が距離８１５であることから求められる。これにより一般的な曲率半径値を用いる場合に算出される視線８１７は、視線８１８に補正される。また、表示部１０１の画面上の注視点は、注視点８０５から注視点８０６に補正される。

図１２は、本実施形態の視線検出処理の一例を示すフローチャートである。まず、図１２に示すステップＳ２０１からステップＳ２０４までの処理が実施される。ステップＳ２０１からステップＳ２０４は、図１０のステップＳ１０２からステップＳ１０４と同様であるため説明を省略する。

ステップＳ２０４の後、左の眼球である左眼についての処理と、右の眼球である右眼についての処理とが別々に実施される。まず、左眼についての視線検出処理について説明する。なお、図１２に示すステップＳ２０５ＬからステップＳ２０７Ｌまでの処理は、図１０のステップＳ１０６ＬからステップＳ１０８Ｌまでの処理と同様であるため説明を省略する。

曲率半径算出部３５３は、ステップＳ２０７Ｌで算出した直線上であって、図１０のステップＳ１１４で記憶部１５０に記憶した角膜曲率半径ｒａの角膜曲率中心と等しい位置を左眼の角膜曲率中心として算出する（ステップＳ２０８Ｌ）。

視線検出部３５４は、左眼の瞳孔中心と角膜曲率中心とを結ぶ視線ベクトルを求める（ステップＳ２０９Ｌ）。このベクトルが、被験者の左眼が見ている視線方向を示している。視点検出部３５５は、この視線方向と表示部１０１の画面との交点の三次元世界座標値を算出する（ステップＳ２１０Ｌ）。この値が、被験者の左眼が注視する表示部１０１上の１点を世界座標で表した座標値である。視点検出部３５５は、求めた三次元世界座標値を、表示部１０１の二次元座標系で表される座標値（ｘ，ｙ）に変換する（ステップＳ２１１Ｌ）。これにより、被験者の左眼が見つめる表示部１０１上の視点（注視点）が算出される。

以上、左眼の視点の算出までの手順について説明した。左眼についてのステップＳ２０５ＬからステップＳ２１１Ｌと同様の手順が、右眼についても実施され（ステップＳ２０５ＲからステップＳ２１１Ｒ）、右眼の視点が算出される。右眼の視点の算出までの手順についての説明は省略する。

左眼の視線方向及び視点が算出され、右眼の視線方向及び視点が算出された後、視点検出部３５５は、左右の眼球の視点を平均化する（ステップＳ２１２）。すなわち、左眼の注視点の座標値が（ｘ１，ｙ１）であり、右眼の注視点の座標値が（ｘ２，ｙ２）である場合、視点検出部３５５は、（ｘ１＋ｘ２）／２の演算を実施して平均化されたＸ座標ｘａを算出し、（ｙ１＋ｙ２）／２の演算を実施して平均化されたＹ座標ｙａを算出する。出力制御部３５６は、平均化された視点の座標値（ｘａ，ｙａ）を表示部１０１に表示する（ステップＳ２１３）。

図１３は、ステップＳ２１３において出力制御部３５６により表示部１０１に表示される視点の一例を示す図である。図１５に示すように、表示部１０１には、指標画像Ｃ１，Ｃ２，Ｃ３，Ｃ４、Ｃ５が表示される。被験者の眼球の動き方を評価するために、左右両方の眼球の視点が、指標画像Ｃ１、Ｃ２，Ｃ３，Ｃ４，Ｃ５の順番で移動するように、被験者に指示がなされる。

左右両方の眼球の平均化された視点を示すプロット点Ｐが表示部１０１に表示される。視点の検出が実施された後、診断支援装置１００に設けられた操作入力部が操作者又は被験者によって操作され、その操作によりプロット点Ｐが表示部１０１に表示される。視点の検出は、左右カメラから出力されるフレーム同期信号の周期（例えば５０［ｍｓｅｃ］毎）に実施される。したがって、プロット点Ｐの間隔が大きいほど視点の動きが速いことを示す。

図１０及び図１２を参照して説明した処理は、左右の眼球の角膜曲率半径を平均化し、左右の眼球の視線方向又は視点を平均化している。角膜曲率半径が左右の眼球で同じ値であるとの仮定のもと左右の眼球の角膜曲率半径が平均化され、左右の眼球の視線方向は同じであるとの仮定のもと左右の眼球の視点が平均化される。角膜曲率半径が左右の眼球でほぼ等しい被験者の場合、又は左右の眼球の視線方向がほぼ等しい被験者の場合には、図１０及び図１２を参照して説明した処理でも視線方向を正確に検出することが可能である。しかし、角膜曲率半径（角膜曲率中心の位置）が左右の眼球で大きく異なる被験者、又は斜視などの影響により左右の眼球の視線方向が大きく異なる被験者について、左右の眼球の角膜曲率半径を平均化したり、左右の眼球の視線方向又は視点を平均化したりすると、正しい視線方向又は視点を検出することが困難となる。

そこで、本実施形態においては、制御部３００は、左眼の角膜曲率半径と右眼の角膜曲率半径とを記憶部１５０に個別に記憶し、左眼の視線方向又は視点と右眼の視線方向又は視点とを表示部１０１に個別に表示させる。

図１４は、左右の眼球の角膜曲率半径を個別に記憶部１５０に記憶させるときのキャリブレーション処理の一例を示すフローチャートである。図１５は、左右の眼球の視点を表示部１０１に個別に表示させるときの視線検出処理の一例を示すフローチャートである。

まず、図１４を参照して、本実施形態に係るキャリブレーション処理について説明する。ステップＳ３０１からステップＳ３０５までの処理は、図１０を参照して説明したステップＳ１０１からステップＳ１０５までの処理と同様であるため説明を省略する。左眼についてのステップＳ３０６ＬからステップＳ３１２Ｌまでの処理は、図１０を参照して説明したステップＳ１０６ＬからステップＳ１１２Ｌまでの処理と同様であるため説明を省略する。右眼についてのステップＳ３０６ＲからステップＳ３１２Ｒまでの処理は、図１０を参照して説明したステップＳ１０６ＲからステップＳ１１２Ｒまでの処理と同様であるため説明を省略する。

曲率半径算出部３５３は、被験者の左眼の角膜曲率半径ｒ１を算出し（ステップＳ３１２Ｌ）、算出した右眼の角膜曲率半径ｒ１を記憶部１５０に記憶する（ステップＳ３１３Ｌ）。また、曲率半径算出部３５３は、被験者の右眼の角膜曲率半径ｒ２を算出し（ステップＳ３１２Ｒ）、算出した右眼の角膜曲率半径ｒ２を記憶部１５０に記憶する（ステップＳ３１３Ｒ）。

次に、図１５を参照して、本実施形態に係る視線検出処理について説明する。ステップＳ４０１からステップＳ４０４までの処理は、図１２を参照して説明したステップＳ２０１からステップＳ２０４までの処理と同様であるため説明を省略する。左眼についてのステップＳ４０５ＬからステップＳ４０７Ｌまでの処理は、図１２を参照して説明したステップＳ２０５ＬからステップＳ２０７Ｌまでの処理と同様であるため説明を省略する。右眼についてのステップＳ４０５ＲからステップＳ４０７Ｒまでの処理は、図１０を参照して説明したステップＳ２０５ＲからステップＳ２０７Ｒまでの処理と同様であるため説明を省略する。

視線検出部３５４は、被験者の左眼の瞳孔中心及び角膜反射中心の世界座標値を算出し、図１４のステップＳ３１３Ｌで記憶部１５０に記憶した角膜曲率半径ｒ１に基づいて、被験者の左眼の角膜曲率中心を算出する（ステップＳ４０８Ｌ）。

視線検出部３５４は、左眼の瞳孔中心と角膜曲率中心とを結ぶ視線ベクトルを求める（ステップＳ４０９Ｌ）。視点検出部３５５は、左眼の視線ベクトルと表示部１０１の画面との交点の三次元世界座標値を算出する（ステップＳ４１０Ｌ）。視点検出部３５５は、求めた三次元世界座標値を、表示部１０１の二次元座標系で表される座標値（ｘ１，ｙ１）に変換する。これにより、被験者の左眼が見つめる表示部１０１上の視点の位置が算出される（ステップＳ４１１Ｌ）。出力制御部３５６は、ステップＳ４１１Ｌで算出された左眼の視点の座標値（ｘ１，ｙ１）を表示部１０１に表示する（ステップＳ４１２Ｌ）。

また、視線検出部３５４は、被験者の右眼の瞳孔中心及び角膜反射中心の世界座標値を算出し、図１４のステップＳ３１３Ｒで記憶部１５０に記憶した角膜曲率半径ｒ２に基づいて、被験者の右眼の角膜曲率中心を算出する（ステップＳ４０８Ｒ）。

視線検出部３５４は、右眼の瞳孔中心と角膜曲率中心とを結ぶ視線ベクトルを求める（ステップＳ４０９Ｒ）。視点検出部３５５は、右眼の視線ベクトルと表示部１０１の画面との交点の三次元世界座標値を算出する（ステップＳ４１０Ｒ）。視点検出部３５５は、求めた三次元世界座標値を、表示部１０１の二次元座標系で表される座標値（ｘ２，ｙ２）に変換する。これにより、被験者の右眼が見つめる表示部１０１上の視点の位置が算出される（ステップＳ４１１Ｒ）。出力制御部３５６は、ステップＳ４１１Ｒで算出された右眼の視点の座標値（ｘ２，ｙ２）を表示部１０１に表示する（ステップＳ４１２Ｒ）。

図１６は、ステップＳ４１２Ｌ，Ｓ４１２Ｒにおいて出力制御部３５６により表示部１０１に表示される視点の一例を示す図である。表示部１０１には、指標画像Ｃ１，Ｃ２，Ｃ３，Ｃ４、Ｃ５が表示される。被験者の眼球の動き方を評価するために、左右両方の眼球の視点が、指標画像Ｃ１、Ｃ２，Ｃ３，Ｃ４，Ｃ５の順番で移動するように、被験者に指示がなされる。

視点の検出が実施された後、診断支援装置１００に設けられた操作入力部が操作者又は被験者によって操作され、その操作により左眼の視点を示すプロット点Ｐ１と、右眼の視点を示すプロット点Ｐ２とが、表示部１０１に別々に表示される。

図１６に示すように、出力制御部３５６は、左右それぞれの眼球の視点を示すプロット点Ｐ１，Ｐ２を異なる態様で表示部１０１に表示させる。表示部１０１に表示されるプロット点Ｐ１，Ｐ２の態様は、色、形、及び大きさの少なくとも一つを含む。例えば、プロット点Ｐ１が「青」で表示され、プロット点Ｐ２が「グレー」で表示されてもよいし、プロット点Ｐ１が「○」で表示され、プロット点Ｐ２が「×」で表示されてもよいし、プロット点Ｐ１が大きい「○」で表示され、プロット点Ｐ２が小さい「○」で表示されてもよい。

また、図１７に示すように、出力制御部３５６は、左眼の視点を示すプロット点Ｐ１と右眼の視点を示すプロット点Ｐ２との表示態様を切り替えることができる。例えば、図１６に示した例において、プロット点Ｐ１が「青」で表示され、プロット点Ｐ２が「グレー」で表示されている場合、出力制御部３５６は、図１７に示すように、プロット点Ｐ１を「グレー」で表示し、プロット点Ｐ２を「青」で表示することができる。同様に、出力制御部３５６は、プロット点Ｐ１が「○」で表示され、プロット点Ｐ２が「×」で表示されている状態から、プロット点Ｐ１が「×」で表示され、プロット点Ｐ２が「○」で表示されている状態へ切り替えることができる。

左右それぞれの眼球の視点が異なる態様で表示部１０１に表示されることにより、操作者又は被験者は、どちらのプロット点が左眼の視点又は右眼の視点を表しているのかを容易に知ることができる。

図１８は、本実施形態に係る表示部１０１の一部を拡大した図である。例えば、斜視などの影響により左右の眼球の視線方向が大きく異なる被験者においては、図１８に示すように、左眼の視点を示すプロット点Ｐ１の第１移動軌跡Ｔ１と、右眼の視点を示すプロット点Ｐ２の第２移動軌跡Ｔ２とが大きく異なる可能性が高い。図１８に示すように、例えば指標画像Ｃ２から指標画像Ｃ３に視点が移動するように被験者が指示された場合において、右眼が斜視である場合、斜視でない方の左眼の注視点を示すプロット点Ｐ１の第１移動軌跡Ｔ１は、指標画像Ｃ２と指標画像Ｃ３とを結ぶ直線状の目標軌跡Ｔｒに沿って移動するのに対し、斜視である方の右眼の注視点を示すプロット点Ｐ２の第２移動軌跡Ｔ２は、目標軌跡Ｔｒから大きく逸脱する可能性が高い。第１移動軌跡Ｔ１と第２移動軌跡Ｔ２とが大きく異なる被験者について左右の眼球の注視点が平均化された注視点Ｐａが算出されると、その注視点Ｐａの移動軌跡Ｔａは、正しい第１移動軌跡Ｔ１から外れてしまい、正しい視線方向又は視点を検出することが困難となる。

また、例えば、右眼が斜視である場合であって、表示画面の右側に物体Ａ、左側に物体Ｂが表示されたとき、右眼の視点が物体Ａ付近にあるときには、左眼の視点は表示画面上において物体Ａより左側に存在することとなる。同様に、左眼の視点が物体Ｂ付近にあるときには、右眼の視点は表示画面上において物体Ｂより右側に存在することとなる。それら視点の位置を平均化すると、平均化された視点は物体Ａ，Ｂ上に存在しないこととなり、正確な診断を実施できないこととなる。

本実施形態によれば、左右それぞれの眼球の角膜曲率半径が記憶部１５０に記憶され、視線方向又は視点の位置が表示部１０１に個別に表示される。そのため、正確な診断を実施することができる。

次に、本実施形態に係る左右の眼球のそれぞれの状態の評価方法について説明する。図１９は、本実施形態に係る評価方法の一例を示すフローチャートである。図２０は、本実施形態に係る評価方法の一例を説明するための模式図である。

視点検出部３５５は、左眼の視点を示すプロット点Ｐ１の第１移動軌跡Ｔ１と、右眼の視点を示すプロット点Ｐ２の第２移動軌跡Ｔ２とのそれぞれを算出する（ステップＳ５０１）。視点検出部３５５は、予め決められた期間又は視点の移動距離における、複数のプロット点Ｐ１を抽出し、それら複数のプロット点Ｐ１をフィッティング処理して、第１移動軌跡Ｔ１を算出する。同様に、視点検出部３５５は、抽出した複数のプロット点Ｐ２をフィッティング処理して、第２移動軌跡Ｔ２を算出する。

例えば図２０に示すように、予め決められた期間又は視点の移動距離において、７つのプロット点ｐ１が抽出され、７つのプロット点ｐ２が抽出された場合、視点検出部３５５は、７つのプロット点Ｐ１をフィッティング処理して第１移動軌跡Ｔ１を示す曲線を求め、７つのプロット点Ｐ２をフィッティング処理して第２移動軌跡Ｔ２を示す曲線を求める。

視点検出部３５５は、第１移動軌跡Ｔ１と第２移動軌跡Ｔ２とで規定される面積ＡＴを算出する（ステップＳ５０２）。具体的には、視点検出部３５５は、予め決められた期間又は移動距離の始点に最も近いプロット点Ｐ１とプロット点Ｐ２とを結ぶ直線と、その期間又は移動距離の終点に最も近いプロット点Ｐ１とプロット点Ｐ２とを結ぶ直線と、第１移動軌跡Ｔ１を示す曲線と、第２移動軌跡Ｔ２を示す曲線とで囲まれた領域の面積ＡＴを算出する。

判定部３５８は、ステップＳ５０２で算出された面積ＡＴが予め決められている閾値以上であるか否かを判定する（ステップＳ５０３）。

ステップＳ５０３において、面積ＡＴは閾値以上であると判定された場合（ステップＳ５０３：Ｙｅｓ）、判定部３５８は、左右の眼球の少なくとも一方が目標方向を向いていないと判定する。

評価部３５７は、左右それぞれの眼球の視点の移動軌跡Ｔ１，Ｔ２から、左右の眼球それぞれの状態を評価する。評価部３５７は、第１移動軌跡Ｔ１と第２移動軌跡Ｔ２と目標移動軌跡Ｔｒとを比べて、目標移動軌跡Ｔｒからの第１移動軌跡Ｔ１の逸脱量（シフト量）が小さく、目標移動軌跡Ｔｒからの第２移動軌跡Ｔ２の逸脱量が大きく、且つ、面積ＡＴが閾値以上である場合、評価部３５７は、右眼の状態が斜視のような何らかの非正常状態であると評価する（ステップＳ５０４）。

判定部３５８において左右のいずれか一方の眼球が目標方向を向いていないと判定されたとき、出力制御部３５６は、左眼の視点を示すプロット点Ｐ１と右眼の視点を示すプロット点Ｐ２とを別々に表示部１０１に表示させる。

本実施形態においては、判定部３５８において左右のいずれか一方の眼球が目標方向を向いていないと判定されたとき、出力制御部３５６は、目標方向を向いていないと判定された眼球の視線方向又は視点と、目標方向を向いていると判定された眼球の視線方向又は視点とを異なる態様で表示部１０１に表示させる（ステップＳ５０５）。例えば、左眼が目標方向を向いており、右眼が目標方向を向いていない（斜視である）と判定された場合、出力制御部３５６は、プロット点Ｐ１を高い明度で表示したり、プロット点Ｐ１を大きく表示したり、プロット点Ｐ１を連続点灯表示させたりして、強調表示させ、プロット点Ｐ２を低い明度で表示したり、プロット点Ｐ２を小さく表示したり、プロット点Ｐ２を点滅表示させたりすることができる。また、出力制御部３５６は、プロット点Ｐ１を表示し、プロット点Ｐ２を表示しないようにしてもよい。

ステップＳ５０３において、面積ＡＴは閾値よりも小さいと判定された場合（ステップＳ５０３：Ｎｏ）、判定部３５８は、左右両方の眼球が目標方向を向いていると判定する。すなわち、判定部３５８は、左眼の視線方向と右眼の視線方向とは一致していると判定する。

評価部３５７は、第１移動軌跡Ｔ１と第２移動軌跡Ｔ２と目標移動軌跡Ｔｒとを比べて、目標移動軌跡Ｔｒからの第１移動軌跡Ｔ１の逸脱量及び第２移動軌跡Ｔ２の逸脱量が小さく、且つ、面積ＡＴが閾値よりも小さい場合、評価部３５７は、被験者は斜視ではなく、左右それぞれの眼球は正常状態であると評価する（ステップＳ５０６）。

判定部３５８において左右両方の眼球が目標方向を向いていると判定されたとき、出力制御部３５６は、左の眼球の視線方向と左の眼球の視線方向とが合成された合成視線方向を表示部１０１に表示させる（ステップＳ５０７）。すなわち、本実施形態においては、被験者が斜視ではないと判定されたとき、出力制御部３５６は、左眼の視点と右眼の視点とを別々に表示するのではなく、図１３等を参照して説明したように、右の眼球の視点の位置と左の眼球の視点の位置とを平均化し、右の眼球の視線方向と左の眼球の視線方向とが合成された合成視線方向を表示部１０１に表示させる。

なお、判定部３５８において左右両方の眼球が目標方向を向いていると判定されたときにおいても、出力制御部３５６は、左の眼球の視線方向又は視点と右の眼球の視線方向又は視点とを別々に表示部１０１に表示させてもよい。

以上説明したように、本実施形態によれば、左右それぞれの眼球の角膜曲率半径が算出されて別々に記憶部１５０に記憶され、左右それぞれの眼球の視線方向が検出されて別々に表示部１０１に表示される。これにより、左右の眼球の視線方向が大きく異なる被験者及び左右の眼球の視線方向がほぼ等しい被験者の両方について、視線方向を正確に検出することができる。

また、本実施形態によれば、左眼の視線方向又は視点と、右眼の視点方向又は視点との両方が表示部１０１に表示される。したがって、操作者又は被験者は、表示部１０１を見て左眼の状態及び右眼の状態をそれぞれ把握することができる。

また、本実施形態においては、左眼の視点と右眼の視点とが表示部１０１において異なる態様で表示されることにより、操作者又は被験者は、表示部１０１を見て、左眼の視点と右眼の視点とを容易に区別することができる。

また、本実施形態においては、左眼の視点の第１移動軌跡Ｔ１と右眼の視点の第２移動軌跡Ｔ２とがそれぞれ算出されることにより、左眼の状態と右眼の状態とを個別に評価することができる。

また、本実施形態においては、左眼の視線方向及び右眼の視線方向が別々に検出されることにより、左右それぞれの眼球が目標方向に向いているか否かを判定することができ、左右のいずれか一方の眼球が目標方向を向いていないと判定されたとき、目標方向を向いていないと判定された眼球の視線方向と、目標方向を向いていると判定された眼球の視線方向とを異なる態様で表示部１０１に表示させる。これにより、操作者又は被験者は、表示部１０１を見て左眼及び右眼のうちどちらの眼が目標方向を向いていないのかを容易に把握することができる。また、目標方向を向いていると判定された方の眼の視点を強調表示したり、目標方向を向いていない判定された方の眼の視点を表示しないようにしたりすることにより、操作者又は被験者は、表示部１０１を見て正常な状態の方の眼の視点を円滑に把握することができる。

また、本実施形態においては、左右両方の眼球が目標方向を向いていると判定されたときには、右の眼球の視線方向と左の眼球の視線方向とが合成された合成視線方向（平均化された視点）が表示部１０１に表示される。これにより、操作者又は被験者は、斜視ではない被験者の視線の動きを把握することができる。

また、本実施形態においては、左眼の視点の第１移動軌跡Ｔ１と、右眼の視点の第２移動軌跡Ｔ２と、第１移動軌跡Ｔ１と第２移動軌跡Ｔ２とで規定される面積ＡＴとに基づいて、左右両方の眼球が目標方向を向いているか否かを正確に判定することができる。

なお、本実施形態においては、被験者が斜視であるか否かを評価する例について主に説明した。被験者が斜視でない場合においても、評価部３５７は、左右それぞれの眼球の視点の移動軌跡から、左右の眼球それぞれの状態を評価することができる。例えば図２１に示すように、評価部３５７は、プロット点Ｐ１からその隣のプロット点Ｐ１へ向かうベクトルに基づいて、左眼の動き方を評価することができるし、プロット点Ｐ２からその隣のプロット点Ｐ２へ向かうベクトルに基づいて、右眼の動き方を評価することができる。プロット点Ｐ１とプロット点Ｐ２との両方が表示されるので、左眼の動き方と右眼の動き方とを別々に評価することができる。また、左眼の視点の動き及び右眼の視点の動きの少なくとも一方がぶれてしまい、図２１に示すように、第１移動軌跡Ｔ１と第２移動軌跡Ｔ２とが交差する場合がある。また、左右の眼のまばたきの長さの違い又はタイミングの違いにより、所定の期間又は視線の移動距離において、取得されるプロット点の数が左眼と右眼とで異なる可能性がある。その場合、被験者の視点は、第１移動軌跡Ｔ１の一部と第２移動軌跡Ｔ２の一部とを含む直線状のラインＴｓに沿って動いたと評価されてもよい。

（変形例）
瞳孔中心位置と角膜曲率中心位置との距離を算出するキャリブレーション処理は、図９及び図１０で説明した方法に限られるものではない。以下では、算出処理の他の例について図２２及び図２３を用いて説明する。

図２２は、本変形例の算出処理を説明するための図である。図３から図６及び図９で説明した要素については同一の符号を付し説明を省略する。

線分１１０１は、目標位置６０５と仮想光源位置とを結ぶ線分（第１線分）である。線分１１０２は、線分１１０１と平行で、瞳孔中心６１１と直線６１３とを結ぶ線分（第２線分）である。本変形例では、以下のように、線分１１０１、線分１１０２を用いて瞳孔中心６１１と角膜曲率中心６１５との距離６１６を算出して記憶しておく。

図２３は、本変形例の算出処理の一例を示すフローチャートである。なお、図２３は、左右の眼球のうち一方の眼球についての処理を示す。

ステップＳ６０１からステップＳ６０９は、図１０のステップＳ１０１ＬからステップＳ１０９Ｌと同様であるため説明を省略する。

曲率半径算出部３５３は、表示部１０１の画面上の１点に表示される目標画像の中心と、仮想光源位置とを結ぶ線分（図２２では線分１１０１）を算出するとともに、算出した線分の長さ（Ｌ１１０１とする）を算出する（ステップＳ６１０）。

曲率半径算出部３５３は、瞳孔中心６１１を通り、ステップＳ６１０で算出した線分と平行な線分（図２２では線分１１０２）を算出するとともに、算出した線分の長さ（Ｌ１１０２とする）を算出する（ステップＳ６１１）。

曲率半径算出部３５３は、角膜曲率中心６１５を頂点とし、ステップＳ６１０で算出した線分を下辺とする三角形と、角膜曲率中心６１５を頂点とし、ステップＳ３１１で算出した線分を下辺とする三角形とが相似関係にあることに基づき、瞳孔中心６１１と角膜曲率中心６１５との間の距離６１６を算出する（ステップＳ６１２）。例えば曲率半径算出部３５３は、線分１１０１の長さに対する線分１１０２の長さの比率と、目標位置６０５と角膜曲率中心６１５との間の距離に対する距離６１６の比率と、が等しくなるように、距離６１６を算出する。

距離６１６は、以下の（１）式により算出することができる。なおＬ６１４は、目標位置６０５から瞳孔中心６１１までの距離である。
距離６１６＝（Ｌ６１４×Ｌ１１０２）／（Ｌ１１０１−Ｌ１１０２）・・・（１）

曲率半径算出部３５３は、算出した距離６１６を記憶部１５０などに記憶する（ステップＳ６１３）。記憶された距離は、その後の視点（視線）検出時に、角膜曲率中心を算出するために使用される。

１１ 目
１２ 虹彩
１３ 瞳孔
２１ 目
２２ 虹彩
２３ 瞳孔
１００ 診断支援装置
１０１ 表示部
１０２ａ 右カメラ
１０２ｂ 左カメラ
１０３ａ ＬＥＤ光源
１０３ｂ ＬＥＤ光源
１１１ 眼球
１１２ 瞳孔
１１３ 角膜反射
１５０ 記憶部
２０１ 表示画面
２０３ ＬＥＤ光源
２０５ スピーカ
３００ 制御部
３０３ 仮想光源
３１３ 駆動・ＩＦ部
３１４ カメラＩＦ
３１５ カメラＩＦ
３１６ ＬＥＤ駆動制御部
３２２ スピーカ駆動部
３５１ 点灯制御部
３５２ 位置検出部
３５３ 曲率半径算出部
３５４ 視線検出部
３５５ 視点検出部
３５６ 出力制御部
３５７ 評価部
３５８ 判定部
４０７ 瞳孔中心
４０８ 角膜反射中心
４０９ 角膜曲率半径
５０５ 角膜曲率中心
５０９ 角膜曲率半径
５２３ 直線
６０５ 目標位置
６０９ 角膜曲率半径
６１１ 瞳孔中心
６１２ 角膜反射中心
６１３ 直線
６１４ 直線
６１５ 角膜曲率中心
６１６ 距離
６２１ 角膜反射点
６２２ 角膜反射点
６２４ 角膜反射点
８０５ 注視点
８０６ 注視点
８１１ 瞳孔中心
８１２ 角膜反射中心
８１３ 直線
８１４ 角膜曲率中心
８１５ 距離
８１６ 角膜曲率中心
８１７ 視線
８１８ 視線

Claims (6)

1. 指標画像を表示する表示部と、
   被験者の眼球に検出光を照射する光源と、
   前記検出光が照射された前記眼球の画像から、左右それぞれの眼球の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する位置検出部と、
   前記光源の位置と前記角膜反射中心の位置とから、左右それぞれの眼球の角膜曲率半径を算出する曲率半径算出部と、
   前記瞳孔中心の位置と前記角膜曲率半径とから、左右それぞれの眼球の視線方向を検出する視線検出部と、
   前記視線検出部で検出された前記視線方向から、左右それぞれの眼球の視点を検出する視点検出部と、
   前記視点検出部で検出した左右それぞれの眼球の前記視点を、前記指標画像が表示された前記表示部に表示させる出力制御部と
   を備える視線検出装置。
2. 前記出力制御部は、左右それぞれの眼球の前記視点を異なる態様で前記表示部に表示させる、
   請求項１に記載の視線検出装置。
3. 前記視線検出部で検出された前記視線方向から、左右それぞれの眼球が前記指標の方向を向いているか否かを判定する判定部を備え、
   前記判定部において左右のいずれか一方の眼球が前記指標の方向を向いていないと判定されたとき、
   前記出力制御部は、前記指標の方向を向いていないと判定された眼球の視点と、前記指標の方向を向いていると判定された眼球の視点とを異なる態様で前記表示部に表示させる、
   請求項１または２に記載の視線検出装置。
4. 前記判定部において左右両方の眼球が前記指標の方向を向いていると判定されたとき、
   前記出力制御部は、右の眼球の視点と左の眼球の視点とが合成された合成視点を前記表示部に表示させる
   請求項３に記載の視線検出装置。
5. 前記表示部は、前記指標画像を前記表示部内で移動させる
   請求項１から４のいずれか１項に記載の視線検出装置。
6. 指標画像を表示部に表示させるステップと、
   光源から射出された検出光を被験者の眼球に照射するステップと、
   前記検出光が照射された前記眼球の画像から、左右それぞれの眼球の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出するステップと、
   前記光源の位置と前記角膜反射中心の位置とから、左右それぞれの眼球の角膜曲率半径を算出するステップと、
   前記瞳孔中心の位置と前記角膜曲率半径とから、左右それぞれの眼球の視線方向を検出するステップと、
   検出された前記視線方向から、左右それぞれの眼球の視点を検出するステップと、
   左右それぞれの眼球の前記視点を前記指標画像が表示された前記表示部に表示させるステップと
   を含む視線検出方法。
   
   

Images