以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
以下の説明においては、3次元のグローバル座標系を設定して各部の位置関係について説明する。所定面のX軸と平行な方向をX軸方向とし、X軸と直交する所定面のY軸と平行な方向をY軸方向とし、X軸及びY軸のそれぞれと直交するZ軸と平行な方向をZ軸方向とする。所定面はXY平面を含む。
[視線検出装置の概要]
図1は、本実施形態に係る視線検出装置100の一例を模式的に示す斜視図である。本実施形態において、視線検出装置100は、発達障がいの診断を支援する診断支援装置に使用される。
図1に示すように、視線検出装置100は、表示装置101と、ステレオカメラ装置102と、光源103とを備える。
表示装置101は、液晶ディスプレイ(Liquid Crystal Display:LCD)又は有機ELディスプレイ(Organic Electroluminescence Display:OELD)のようなフラットパネルディスプレイを含む。
本実施形態において、表示装置101の表示画面101Sは、XY平面と実質的に平行である。X軸方向は表示画面101Sの左右方向であり、Y軸方向は表示画面101Sの上下方向であり、Z軸方向は表示画面101Sと直交する奥行方向である。
ステレオカメラ装置102は、被験者を撮影して被験者の画像データを取得する。ステレオカメラ装置102は、異なる位置に配置された第1カメラ102A及び第2カメラ102Bを有する。ステレオカメラ装置102は、表示装置101の表示画面101Sよりも下方に配置される。第1カメラ102Aと第2カメラ102BとはX軸方向に配置される。第1カメラ102Aは、第2カメラ102Bよりも−X方向に配置される。第1カメラ102A及び第2カメラ102Bはそれぞれ、赤外線カメラを含み、例えば波長850[nm]の近赤外光を透過可能な光学系と、近赤外光を受光可能な撮像素子とを有する。
光源103は、検出光を射出する。光源103は、異なる位置に配置された第1光源103A及び第2光源103Bを含む。光源103は、表示装置101の表示画面101Sよりも下方に配置される。第1光源103Aと第2光源103BとはX軸方向に配置される。第1光源103Aは、第1カメラ102Aよりも−X方向に配置される。第2光源103Bは、第2カメラ102Bよりも+X方向に配置される。第1光源103A及び第2光源103Bはそれぞれ、LED(Light Emitting Diode)光源を含み、例えば波長850[nm]の近赤外光を射出可能である。なお、第1光源103A及び第2光源103Bは、第1カメラ102Aと第2カメラ102Bとの間に配置されてもよい。
図2は、本実施形態に係る表示装置101とステレオカメラ装置102と光源103と被験者の眼111との位置関係を模式的に示す図である。
光源103は、検出光である赤外光を射出して、被験者の眼111を照明する。ステレオカメラ装置102は、第1光源103Aから射出された検出光が眼111に照射されたときに第2カメラ102Bで眼111を撮影し、第2光源103Bから射出された検出光が眼111に照射されたときに第1カメラ102Aで眼111を撮影する。
第1カメラ102A及び第2カメラ102Bの少なくとも一方からフレーム同期信号が出力される。第1光源103A及び第2光源103Bは、フレーム同期信号に基づいて検出光を射出する。第1カメラ102Aは、第2光源103Bから射出された検出光が眼111に照射されたときに、眼111の画像データを取得する。第2カメラ102Bは、第1光源103Aから射出された検出光が眼111に照射されたときに、眼111の画像データを取得する。
眼111に検出光が照射されると、検出光の一部は瞳孔112で反射する。瞳孔112で反射した光は、ステレオカメラ装置102に入射する。また、眼111に検出光が照射されると、角膜反射像113が眼111に形成される。角膜反射像113は、角膜表面における光源103の反射像である。角膜反射像113からの光は、ステレオカメラ装置102に入射する。
第1カメラ102A及び第2カメラ102Bと第1光源103A及び第2光源103Bとの相対位置が適切に設定されることにより、瞳孔112からステレオカメラ装置102に入射する光の強度は低くなり、角膜反射像113からステレオカメラ装置102に入射する光の強度は高くなる。すなわち、ステレオカメラ装置102で取得される瞳孔112の画像は低輝度となり、角膜反射像113の画像は高輝度となる。ステレオカメラ装置102は、取得される画像の輝度に基づいて、瞳孔112の位置及び角膜反射像113の位置を検出することができる。
[ハードウェア構成]
図3は、本実施形態に係る視線検出装置100のハードウェア構成の一例を示す図である。図3に示すように、視線検出装置100は、表示装置101と、ステレオカメラ装置102と、光源103と、コンピュータシステム20と、入出力インターフェース装置30と、駆動回路40と、出力装置50と、入力装置60と、音声出力装置70とを備える。コンピュータシステム20は、演算処理装置20A及び記憶装置20Bを含む。コンピュータプログラム20Cが記憶装置20Bに記憶されている。
コンピュータシステム20と、駆動回路40と、出力装置50と、入力装置60と、音声出力装置70とは、入出力インターフェース装置30を介してデータ通信する。
演算処理装置20Aは、CPU(Central Processing Unit)のようなマイクロプロセッサを含む。記憶装置20Bは、ROM(Read Only Memory)のような不揮発性メモリ又はRAM(Random Access Memory)のような揮発性メモリを含む。演算処理装置20Aは、記憶装置20Bに記憶されているコンピュータプログラム20Cに従って演算処理を実施する。
駆動回路40は、駆動信号を生成して、表示装置101、ステレオカメラ装置102、及び光源103に出力する。また、駆動回路40は、ステレオカメラ装置102で取得された眼111の画像データを、入出力インターフェース装置30を介してコンピュータシステム20に供給する。
出力装置50は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置50は、印刷装置を含んでもよい。入力装置60は、操作されることにより入力データを生成する。入力装置60は、コンピュータシステム用のキーボード又はマウスを含む。なお、入力装置60が表示装置である出力装置50の表示画面に設けられたタッチセンサを含んでもよい。音声出力装置70は、スピーカを含み、例えば被験者に注意を促すための音声を出力する。
本実施形態においては、表示装置101とコンピュータシステム20とは別々の装置である。なお、表示装置101とコンピュータシステム20とが一体でもよい。例えば視線検出装置100がタブレット型パーソナルコンピュータを含む場合、タブレット型パーソナルコンピュータに、コンピュータシステム20、入出力インターフェース装置30、駆動回路40、及び表示装置101が搭載されてもよい。
図4は、本実施形態に係る視線検出装置100の一例を示す機能ブロック図である。図4に示すように、入出力インターフェース装置30は、入出力部302を有する。駆動回路40は、表示装置101を駆動するための駆動信号を生成して表示装置101に出力する表示装置駆動部402と、第1カメラ102Aを駆動するための駆動信号を生成して第1カメラ102Aに出力する第1カメラ入出力部404Aと、第2カメラ102Bを駆動するための駆動信号を生成して第2カメラ102Bに出力する第2カメラ入出力部404Bと、第1光源103A及び第2光源103Bを駆動するための駆動信号を生成して第1光源103A及び第2光源103Bに出力する光源駆動部406とを有する。また、第1カメラ入出力部404Aは、第1カメラ102Aで取得された眼111の画像データを、入出力部302を介してコンピュータシステム20に供給する。第2カメラ入出力部404Bは、第2カメラ102Bで取得された眼111の画像データを、入出力部302を介してコンピュータシステム20に供給する。
コンピュータシステム20は、視線検出装置100を制御する。コンピュータシステム20は、表示制御部202と、光源制御部204と、画像データ取得部206と、入力データ取得部208と、位置検出部210と、曲率中心算出部212と、注視点検出部214と、移動データ取得部216と、エリア設定部218と、判定部220と、演算部222と、記憶部224と、評価部226と、出力制御部228とを有する。コンピュータシステム20の機能は、演算処理装置20A、記憶装置20B、及び記憶装置20Bに記憶されているコンピュータプログラム20Cによって発揮される。
表示制御部202は、発達障がいの診断を支援するための診断画像を示す診断画像データを表示装置101に表示させる。
光源制御部204は、光源駆動部406を制御して、第1光源103A及び第2光源103Bの作動状態を制御する。光源制御部204は、第1光源103Aと第2光源103Bとが異なるタイミングで検出光を射出するように第1光源103A及び第2光源103Bを制御する。
画像データ取得部206は、第1カメラ102A及び第2カメラ102Bを含むステレオカメラ装置102によって取得された被験者の眼111の画像データを、入出力部302を介してステレオカメラ装置102から取得する。画像データ取得部206は、光源103からの検出光である赤外光が照射された眼111の画像データをステレオカメラ装置102から取得する。
入力データ取得部208は、入力装置60が操作されることにより生成された入力データを、入出力部302を介して入力装置60から取得する。
位置検出部210は、画像データ取得部206で取得された眼111の画像データに基づいて、瞳孔中心の位置データを検出する。また、位置検出部210は、画像データ取得部206で取得された眼111の画像データに基づいて、角膜反射中心の位置データを検出する。瞳孔中心は、瞳孔112の中心である。角膜反射中心は、角膜反射像113の中心である。位置検出部210は、被験者の左右それぞれの眼111について、瞳孔中心の位置データ及び角膜反射中心の位置データを検出する。
曲率中心算出部212は、画像データ取得部206で取得された眼111の画像データに基づいて、眼111の角膜曲率中心の位置データを算出する。
注視点検出部214は、画像データ取得部206で取得された眼111の画像データに基づいて、被験者の注視点の位置データを検出する。本実施形態において、注視点の位置データとは、3次元のグローバル座標系で規定される被験者の視線ベクトルと表示装置101の表示画面101Sとの交点の位置データをいう。注視点検出部214は、眼111の画像データから取得された瞳孔中心の位置データ及び角膜曲率中心の位置データに基づいて、被験者の左右それぞれの眼111の視線ベクトルを検出する。視線ベクトルが検出された後、注視点検出部214は、視線ベクトルと表示画面101Sとの交点を示す注視点の位置データを検出する。
移動データ取得部216は、画像データ取得部206で取得された眼111の画像データに基づいて、被験者の眼の移動データを取得する。眼の移動データは、瞳孔112の移動データ及び角膜表面における光源103の反射像である角膜反射像113の移動データの少なくとも一方を含む。
エリア設定部218は、表示装置101の表示画面101Sにおいて特定エリアを設定する。
判定部220は、注視点の位置データに基づいて、注視点が特定エリアに存在するか否かを判定する。
演算部222は、判定部220の判定データに基づいて、被験者の注視点が表示画面101Sの特定エリアに存在した存在時間を示す時間データを算出する。
記憶部224は、発達障がいの診断を支援するためのデータを記憶する。本実施形態において、記憶部224は、眼の移動データについての閾値を示す閾値データを記憶する。
評価部226は、記憶部224に記憶されている閾値データと、移動データ取得部216で取得された眼の移動データとに基づいて、被験者の評価データを出力する。また、評価部226は、演算部222で算出された時間データと、移動データ取得部216で取得された眼の移動データとに基づいて、被験者の評価データを出力する。
出力制御部228は、表示装置101、出力装置50、及び音声出力装置70の少なくとも一つにデータを出力する。本実施形態において、出力制御部228は、移動データ取得部216で取得された眼の移動データを出力して、表示装置101又は出力装置50に表示させる。また、出力制御部228は、被験者の左右それぞれの眼111の注視点の位置データを出力して、表示装置101又は出力装置50に表示させる。また、出力制御部228は、評価部226から出力された評価データを出力して、表示装置101又は出力装置50に表示させる。
[視線検出の原理]
次に、本実施形態に係る視線検出の原理について説明する。以下の説明では、主に曲率中心算出部212の処理の概要について説明する。曲率中心算出部212は、眼111の画像データに基づいて、眼111の角膜曲率中心の位置データを算出する。
図5及び図6は、本実施形態に係る角膜曲率中心110の位置データの算出方法を説明するための模式図である。図5は、1つの光源103Cで眼111が照明される例を示す。図6は、第1光源103A及び第2光源103Bで眼111が照明される例を示す。
まず、図5に示す例について説明する。光源103Cは、第1カメラ102Aと第2カメラ102Bとの間に配置される。瞳孔中心112Cは、瞳孔112の中心である。角膜反射中心113Cは、角膜反射像113の中心である。図5において、瞳孔中心112Cは、眼111が1つの光源103Cで照明されたときの瞳孔中心を示す。角膜反射中心113Cは、眼111が1つの光源103Cで照明されたときの角膜反射中心を示す。
角膜反射中心113Cは、光源103Cと角膜曲率中心110とを結ぶ直線上に存在する。角膜反射中心113Cは、角膜表面と角膜曲率中心110との中間点に位置付けられる。角膜曲率半径109は、角膜表面と角膜曲率中心110との距離である。
角膜反射中心113Cの位置データは、ステレオカメラ装置102によって検出される。角膜曲率中心110は、光源103Cと角膜反射中心113Cとを結ぶ直線上に存在する。曲率中心算出部212は、その直線上において角膜反射中心113Cからの距離が所定値となる位置データを、角膜曲率中心110の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部224に記憶されている。
次に、図6に示す例について説明する。本実施形態においては、第1カメラ102A及び第2光源103Bと、第2カメラ102B及び第1光源103Aとは、第1カメラ102Aと第2カメラ102Bとの中間位置を通る直線に対して左右対称の位置に配置される。第1カメラ102Aと第2カメラ102Bとの中間位置に仮想光源103Vが存在するとみなすことができる。
角膜反射中心121は、第2カメラ102Bで眼111を撮影した画像における角膜反射中心を示す。角膜反射中心122は、第1カメラ102Aで眼111を撮影した画像における角膜反射中心を示す。角膜反射中心124は、仮想光源103Vに対応する角膜反射中心を示す。
角膜反射中心124の位置データは、ステレオカメラ装置102で取得された角膜反射中心121の位置データ及び角膜反射中心122の位置データに基づいて算出される。ステレオカメラ装置102は、ステレオカメラ装置102に規定されるローカル座標系において角膜反射中心121の位置データ及び角膜反射中心122の位置データを検出する。ステレオカメラ装置102について、事前にステレオ較正法によるカメラ較正が実施され、ステレオカメラ装置102の3次元のローカル座標系を3次元のグローバル座標系に変換する変換パラメータが算出される。その変換パラメータは、記憶部224に記憶されている。
曲率中心算出部212は、ステレオカメラ装置102で取得された角膜反射中心121の位置データ及び角膜反射中心122の位置データを、変換パラメータを使って、グローバル座標系における位置データに変換する。曲率中心算出部212は、グローバル座標系で規定される角膜反射中心121の位置データ及び角膜反射中心122の位置データに基づいて、グローバル座標系における角膜反射中心124の位置データを算出する。
角膜曲率中心110は、仮想光源103Vと角膜反射中心124とを結ぶ直線123上に存在する。曲率中心算出部212は、直線123上において角膜反射中心124からの距離が所定値となる位置データを、角膜曲率中心110の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部224に記憶されている。
図6を参照して説明したように、光源が2つある場合でも、光源が1つである場合の方法と同様の方法で、角膜曲率中心110が算出される。
角膜曲率半径109は、角膜表面と角膜曲率中心110との距離である。したがって、角膜表面の位置データ及び角膜曲率中心110の位置データが算出されることにより、角膜曲率半径109が算出される。
このように、本実施形態においては、グローバル座標系における角膜曲率中心110の位置データ、角膜反射中心124の位置データ、及び瞳孔中心112Cの位置データが算出される。
注視点検出部214は、瞳孔中心112Cの位置データ及び角膜曲率中心110の位置データに基づいて、被験者の視線ベクトルを検出することができる。また、注視点検出部214は、視線ベクトルと表示画面101Sとの交点を示す注視点の位置データを検出することができる。
[視線検出方法]
次に、本実施形態に係る視線検出方法の一例について説明する。図7は、本実施形態に係る視線検出方法の一例を示すフローチャートである。本実施形態においては、角膜曲率中心110の位置データの算出処理及び瞳孔中心112Cと角膜曲率中心110との距離データの算出処理を含むキャリブレーション処理(ステップS100)と、注視点検出処理(ステップS200)が実施される。
(キャリブレーション処理)
キャリブレーション処理(ステップS100)について説明する。図8は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。キャリブレーション処理は、角膜曲率中心110の位置データを算出すること、及び瞳孔中心112Cと角膜曲率中心110との距離126を算出することを含む。
被験者に注視させるための目標位置130が設定される。目標位置130は、グローバル座標系において規定される。本実施形態において、目標位置130は、例えば表示装置101の表示画面101Sの中央位置に設定される。なお、目標位置130は、表示画面101Sの端部位置に設定されてもよい。
表示制御部202は、設定された目標位置130に目標画像を表示させる。これにより、被験者は、目標位置130を注視し易くなる。
直線131は、仮想光源103Vと角膜反射中心113Cとを結ぶ直線である。直線132は、目標位置130と瞳孔中心112Cとを結ぶ直線である。角膜曲率中心110は、直線131と直線132との交点である。曲率中心算出部212は、仮想光源103Vの位置データと、目標位置130の位置データと、瞳孔中心112Cの位置データと、角膜反射中心113Cの位置データとに基づいて、角膜曲率中心110の位置データを算出することができる。
図9は、本実施形態に係るキャリブレーション処理(ステップS100)の一例を示すフローチャートである。出力制御部228は、表示装置101の表示画面101Sに目標画像を表示させる(ステップS101)。被験者は、目標画像を注視することにより、目標位置130を注視することができる。
次に、光源制御部204は、光源駆動部406を制御して、第1光源103A及び第2光源103Bのうち一方の光源から検出光を射出させる(ステップS102)。ステレオカメラ装置102は、第1カメラ102A及び第2カメラ102Bのうち検出光を射出した光源からの距離が長い方のカメラで被験者の眼を撮影する(ステップS103)。
次に、光源制御部204は、光源駆動部406を制御して、第1光源103A及び第2光源103Bのうち他方の光源から検出光を射出させる(ステップS104)。ステレオカメラ装置102は、第1カメラ102A及び第2カメラ102Bのうち検出光を射出した光源からの距離が長い方のカメラで被験者の眼を撮影する(ステップS105)。
瞳孔112は、暗い部分としてステレオカメラ装置102に検出され、角膜反射像113は、明るい部分としてステレオカメラ装置102に検出される。すなわち、ステレオカメラ装置102で取得される瞳孔112の画像は低輝度となり、角膜反射像113の画像は高輝度となる。位置検出部210は、取得される画像の輝度に基づいて、瞳孔112の位置データ及び角膜反射像113の位置データを検出することができる。また、位置検出部210は、瞳孔112の画像データに基づいて、瞳孔中心112Cの位置データを算出する。また、位置検出部210は、角膜反射像113の画像データに基づいて、角膜反射中心113Cの位置データを算出する(ステップS106)。
ステレオカメラ装置102によって検出された位置データは、3次元のローカル座標系で規定される位置データである。位置検出部210は、記憶部224に記憶されている変換パラメータを使用して、ステレオカメラ装置102で検出された瞳孔中心112Cの位置データ及び角膜反射中心113Cの位置データを座標変換して、グローバル座標系で規定される瞳孔中心112Cの位置データ及び角膜反射中心113Cの位置データを算出する(ステップS107)。
曲率中心算出部212は、グローバ0ル座標系で規定される角膜反射中心113Cと仮想光源103Vとを結ぶ直線131を算出する(ステップS108)。
次に、曲率中心算出部212は、表示装置101の表示画面101Sに規定される目標位置130と瞳孔中心112Cとを結ぶ直線132を算出する(ステップS109)。曲率中心算出部212は、ステップS108で算出した直線131とステップS109で算出した直線132との交点を求め、この交点を角膜曲率中心110とする(ステップS110)。
曲率中心算出部212は、瞳孔中心112Cと角膜曲率中心110との距離126を算出して、記憶部224に記憶する(ステップS111)。記憶された距離は、ステップS200の注視点検出において、角膜曲率中心110を算出するために使用される。
(注視点検出処理)
次に、注視点検出処理(ステップS200)について説明する。注視点検出処理は、キャリブレーション処理の後に実施される。注視点検出部214は、眼111の画像データに基づいて、被験者の視線ベクトル及び注視点の位置データを算出する。
図10は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。注視点検出処理は、キャリブレーション処理(ステップS100)で求めた瞳孔中心112Cと角膜曲率中心110との距離126を用いて、角膜曲率中心110の位置を補正すること、及び補正された角膜曲率中心110の位置データを使って注視点を算出することを含む。
図10において、注視点165は、一般的な曲率半径値を用いて算出された角膜曲率中心から求めた注視点を示す。注視点166は、キャリブレーション処理で求められた距離126を用いて算出された角膜曲率中心から求めた注視点を示す。
瞳孔中心112Cは、キャリブレーション処理において算出された瞳孔中心を示し、角膜反射中心113Cは、キャリブレーション処理において算出された角膜反射中心を示す。
直線173は、仮想光源103Vと角膜反射中心113Cとを結ぶ直線である。角膜曲率中心110は、一般的な曲率半径値から算出した角膜曲率中心の位置である。
距離126は、キャリブレーション処理により算出した瞳孔中心112Cと角膜曲率中心110との距離である。
角膜曲率中心110Hは、距離126を用いて角膜曲率中心110を補正した補正後の角膜曲率中心の位置を示す。
角膜曲率中心110Hは、角膜曲率中心110が直線173上に存在すること、及び瞳孔中心112Cと角膜曲率中心110との距離が距離126であることから求められる。これにより、一般的な曲率半径値を用いる場合に算出される視線177は、視線178に補正される。また、表示装置101の表示画面101S上の注視点は、注視点165から注視点166に補正される。
図11は、本実施形態に係る注視点検出処理(ステップS200)の一例を示すフローチャートである。なお、図11に示すステップS201からステップS207までの処理は、図9に示したステップS102からステップS108までの処理と同様であるため説明を省略する。
曲率中心算出部212は、ステップS207で算出した直線173上であって、瞳孔中心112Cからの距離がキャリブレーション処理によって求めた距離126と等しい位置を角膜曲率中心110Hとして算出する(ステップS208)。
注視点検出部214は、瞳孔中心112Cと角膜曲率中心110Hとを結ぶ視線ベクトルを算出する(ステップS209)。視線ベクトルは、被験者が見ている視線方向を示す。注視点検出部214は、視線ベクトルと表示装置101の表示画面101Sとの交点の位置データを算出する(ステップS210)。視線ベクトルと表示装置101の表示画面101Sとの交点の位置データが、グローバル座標系で規定される表示画面101Sにおける被験者の注視点の位置データである。
注視点検出部214は、グローバル座標系で規定される注視点の位置データを、2次元座標系で規定される表示装置101の表示画面101Sにおける位置データに変換する(ステップS211)。これにより、被験者が見つめる表示装置101の表示画面101S上の注視点の位置データが算出される。
[診断支援方法]
次に、本実施形態に係る発達障がいの診断支援方法について説明する。本実施形態において、視線検出装置100は、被験者の発達障がいのリスクの診断を支援する診断支援装置に使用される。本実施形態に係る視線検出装置100は、特に被験者の注意欠陥・多動性障がいのリスクの診断を支援する診断支援装置に使用される。以下の説明においては、視線検出装置100を適宜、診断支援装置100、と称する。また、以下の説明においては、注意欠陥・多動性障がいを適宜、ADHD、と称する。
(診断画像)
発達障がいのリスクの診断支援において、診断支援装置100の表示制御部202は、特定の診断画像を表示装置101に表示させる。被験者の発達障がいのリスクの評価のために、被験者には、表示装置101に表示された診断画像を注視するように指示がなされる。
図12は、本実施形態に係る表示制御部202が表示装置101に表示させる診断画像の一例を示す図である。図12に示すように、診断画像は、領域A1、領域A2、領域A3、及び領域A4を含む。領域A1は、診断画像の中心を含む領域である。領域A2及び領域A3は、診断画像の中心を含まない領域であり、領域A1の周囲に配置される。本実施形態において、領域A2は、領域A1の周囲に複数設けられる。領域A3は、領域A1の周囲に複数設けられる。表示装置101の表示画面101Sにおいて、領域A1と、複数の領域A2と、複数の領域A3とは、離れている。領域A4は、領域A1、領域A2、及び領域A3以外の余白領域である。領域A2は、領域A1の上方、下方、左方、及び右方のそれぞれに配置される。領域A3は、領域A1の上方、下方、左方、及び右方のそれぞれに配置される。
図12に示す例においては、領域A1の周囲において、領域A2は11カ所に配置され、領域A3は3カ所に配置される。なお、領域A2及び領域A3の数及び領域A1に対する位置は、図12の例に限定されない。
中央の領域A1には、人物を含む特定の画像が表示される。複数の領域A2及び複数の領域A3のそれぞれには、領域A1に表示される画像よりも目立たない画像が表示される。換言すれば、領域A2及び領域A3には、領域A1に表示される画像よりも注目され難い画像が表示される。
本実施形態において、領域A1には、人物を含む自然画の動画又は大きい人物画像が表示される。領域A2及び領域A3には、動きが遅い動画又は領域A1に表示される画像よりも低コントラストの静止画が表示される。
本実施形態において、領域A2には、静止画であるイラスト又は動画であるアニメーションが表示される。領域A3には、幾何学模様を含む画像が表示される。幾何学模様を含む画像は、静止画でもよいし動画でもよい。
発達障がいのリスクの診断支援処理において、被験者には、表示装置101に表示された診断画像のうち領域A1に表示された画像を注視するように指示がなされる。例えば、出力制御部228は、「中央の画像をじっと見てください」のような音声を音声出力装置70から出力させる。
被験者が定型発達である場合、被験者は、指示に従って、領域A1に表示されている画像を所定時間注視することができる。
被験者がADHDである場合、被験者は、領域A1に表示されている画像を注視することが困難である。ADHDの被験者は、領域A1の周囲の領域A2及び領域A3の少なくとも一方に表示されている画像を多く見る傾向がある。また、被験者が自閉症スペクトラム症(Autistic Spectrum Disorder:ASD)である場合、幾何学模様を好む傾向があるため、被験者は、領域A3の画像を多く見る傾向がある。
すなわち、領域A1に表示された画像を注視するように指示がなされた場合において、定型発達の被験者は、領域A1に表示されている画像を注視し続けることができる。ADHDの被験者は、領域A1の周囲の領域A2及び領域A3の少なくとも一方に表示されている画像を見る傾向にある。ASDの被験者は、領域A3に表示されている幾何学模様を含む画像を見る傾向にある。このように、表示装置101の表示画面101Sに特定の診断画像が表示され、被験者が見る領域が検出されることにより、定型発達、ADHD、及びASDを区別することができる。
(ADHDのリスクの診断支援の原理)
発達障がいの者、特にADHDの者は、じっとしていることが困難であり、頭部又は体全体を頻繁に揺らす傾向にある。一方、定型発達の者は、頭部又は体全体を大きく揺らさない。すなわち、定型発達の者とADHDの者とでは、頭部又は体全体の移動状態の傾向が異なる。本実施形態において、診断支援装置100は、ADHDの者が頭部又は体全体を頻繁に揺らす特徴を利用して、被験者のADHDのリスクの診断を支援する。
本実施形態において、診断支援装置100は、被験者の眼の移動データを取得して、被験者のADHDのリスクの診断を支援する。被験者が頭部又は体全体を揺らすと、頭部又は体全体の揺れに伴って、被験者の眼の位置が変動する。すなわち、被験者が頭部又は体全体を揺らして、被験者の頭部の位置が変動すれば、被験者の眼の位置も変動する。したがって、診断支援装置100は、被験者の眼の位置の変動状態を示す眼の移動データを取得することにより、被験者の頭部の位置の変動状態を示す頭部の移動データを導出して、被験者のADHDのリスクの診断支援及び評価を実施することができる。
被験者の眼の移動データは、規定時間における被験者の眼の移動距離、規定時間における被験者の眼の移動速度、及び規定時間における被験者の眼の移動ベクトルの変曲点の数の少なくとも一つを含む。眼の移動ベクトルの変曲点とは、移動ベクトルの方向が実質的に90[°]以上変化する点をいう。
移動データ取得部216は、規定時間における被験者の眼の移動距離を示す移動距離データを取得して、規定時間における被験者の頭部の移動距離を導出する。また、移動データ取得部216は、規定時間における被験者の眼の移動速度を示す移動速度データを取得して、規定時間における被験者の頭部の移動速度を導出する。また、移動データ取得部216は、規定時間における被験者の眼の移動ベクトルの変曲点の数を示す変曲点データを取得して、規定時間における被験者の頭部の移動ベクトルの変曲点の数を導出する。
上述したように、注視点検出処理においては、被験者に赤外光が照射され、赤外光が照射された被験者の眼111がステレオカメラ装置102で撮影される。赤外光が照射された被験者の眼111の画像データは画像データ取得部206に取得される。位置検出部210は、画像データ取得部206で取得された眼111の画像データに基づいて、グローバル座標系における瞳孔112の中心を示す瞳孔中心112Cの位置データを検出する。また、位置検出部210は、画像データ取得部206で取得された眼111の画像データに基づいて、グローバル座標系における角膜反射像113の中心を示す角膜反射中心113Cの位置データを検出する。
移動データ取得部216は、位置検出部210で検出された、瞳孔112の位置データ及び角膜反射像113の位置データの少なくとも一方を含む被験者の眼の位置データを取得して、被験者の眼の移動データを取得することができる。被験者の眼の移動データは、規定時間における被験者の眼の位置の変動状態を含む。移動データ取得部216は、位置検出部210で検出されるグローバル座標系における瞳孔112の位置データ及び角膜反射像113の位置データの少なくとも一方に基づいて、グローバル座標系における被験者の眼の移動データを取得することができる。移動データ取得部216は、被験者の眼の移動データを取得して、被験者の頭部の移動データを導出する。被験者の眼の移動データ又は頭部の移動データに基づいて、被験者のADHDのリスクが評価される。
また、注視点検出部214は、グローバル座標系における被験者の瞳孔中心112Cと角膜反射中心113Cとの相対位置により、被験者の視線ベクトルを算出し、被験者の視線ベクトルと表示装置101の表示画面101Sとの交点である注視点を検出する。
すなわち、本実施形態においては、画像データ取得部206に取得される眼111の画像データに基づいて、グローバル座標系で規定される被験者の眼の移動データが取得される。また、画像データ取得部206に取得される眼111の画像データに基づいて、表示装置101の表示画面101Sにおける被験者の注視点の位置データが取得される。
図13は、定型発達の被験者の眼の移動データを模式的に示す図である。図13は、3次元のグローバル座標系における被験者の眼の移動軌跡を模式的に示す図である。また、図13は、規定時間における被験者の眼の移動軌跡を示す。なお、図13においては、被験者の眼が2次元平面内で移動するように示されているが、実際には、被験者の眼は3次元空間において移動する。
被験者の眼の移動データは、グローバル座標系における瞳孔112の移動データ及び角膜反射像113の移動データの少なくとも一方を含む。図9のステップS107などで説明したように、位置検出部210は、グローバル座標系における瞳孔112の中心を示す瞳孔中心112Cの位置データ及び角膜反射像113の中心を示す角膜反射中心113Cの位置データを検出することができる。以下の説明においては、説明の簡略化のため、被験者の眼の移動データが、被験者の瞳孔112の移動データ又は瞳孔中心112Cの移動データであることとする。なお、上述のように、被験者の眼の移動データは、被験者の角膜反射像113の移動データ又は角膜反射中心113Cの移動データでもよい。
本実施形態においては、被験者の眼の移動データは、規定時間における被験者の眼の移動距離、規定時間における被験者の眼の移動速度、及び規定時間における被験者の眼の移動ベクトルの変曲点の数の少なくとも一つを含む。移動データ取得部216は、予め定められた規定時間において、被験者の瞳孔112の位置データを規定のサンプリング周期で複数取得し、取得した瞳孔112の複数の位置データに基づいて、被験者の瞳孔112の移動データを取得する。
図13において、点S21は、規定時間の開始時点における瞳孔112の位置を示す。点E21は、規定時間の終了時点における瞳孔112の位置を示す。点A21は、瞳孔112の移動ベクトルの変曲点の位置である。図13のドット「●」で示す検出点は、規定のサンプリング周期で取得された瞳孔112の位置を示す。瞳孔112の移動軌跡は、複数の検出点を結ぶラインで示される。瞳孔112の移動ベクトルの変曲点とは、瞳孔112の移動ベクトルの方向が実質的に90[°]以上変化する点をいう。
点S21と点E21との間のラインで示す瞳孔112の移動軌跡が長いほど、規定時間における瞳孔112の移動距離が長く、ラインで示す瞳孔112の移動軌跡が短いほど、規定時間における瞳孔112の移動距離が短いことを示す。また、検出点の間隔が大きいほど、瞳孔112の移動速度が高く、検出点の間隔が小さいほど、瞳孔112の移動速度が低いことを示す。
定型発達の被験者は、頭部又は体全体を大きく揺らさない。図13に示すように、定型発達の被験者においては、規定時間における瞳孔112の移動距離は短く、移動速度は低い。また、規定時間における瞳孔112の移動ベクトルの変曲点の数は少ない。
図14は、ADHDの被験者の眼の移動データを模式的に示す図である。図14は、3次元のグローバル座標系における被験者の眼の移動軌跡を模式的に示す図である。また、図14は、規定時間における被験者の眼の移動軌跡を示す。図13を参照して説明した定型発達の被験者の眼の移動軌跡についての規定時間と、図14を参照して説明するADHDの被験者の眼の移動軌跡についての規定時間とは、等しい。
図14において、点S22は、規定時間の開始時点における瞳孔112の位置を示す。点E22は、規定時間の終了時点における瞳孔112の位置を示す。点A22(A22a,A22b,A22c,A22d,A22e)は、瞳孔112の移動ベクトルの変曲点の位置である。図14のドット「●」で示す検出点は、規定のサンプリング周期で取得された瞳孔112の位置を示す。瞳孔112の移動軌跡は、複数の検出点を結ぶラインで示される。
点S22と点E22との間のラインで示す瞳孔112の移動軌跡が長いほど、規定時間における瞳孔112の移動距離が長く、ラインで示す瞳孔112の移動軌跡が短いほど、規定時間における瞳孔112の移動距離が短いことを示す。また、検出点の間隔が大きいほど、瞳孔112の移動速度が高く、検出点の間隔が小さいほど、瞳孔112の移動速度が低いことを示す。
ADHDの被験者は、頭部又は体全体を頻繁に揺らす傾向にある。図14に示すように、ADHDの被験者においては、規定時間における瞳孔112の移動距離は長く、移動速度は高い。また、規定時間における瞳孔112の移動ベクトルの変曲点の数は多い。
このように、定型発達の被験者とADHDの被験者とでは、同一の規定時間において、瞳孔112の移動距離、移動速度、及び移動ベクトルの変曲点の数が異なる。同一の規定時間において、ADHDの被験者の瞳孔112の移動距離は、定型発達の被験者の瞳孔112の移動距離よりも長い。同一の規定時間において、ADHDの被験者の瞳孔112の移動速度は、定型発達の被験者の瞳孔112の移動速度よりも高い。同一の規定時間において、ADHDの被験者の瞳孔112の移動ベクトルの変曲点の数は、定型発達の被験者の瞳孔112の移動ベクトルの変曲点の数よりも多い。
図15は、本実施形態に係る被験者の眼の移動データの取得方法の一例を説明するための模式図である。図15において、被験者の眼が2次元平面内で移動するように示されているが、実際には、被験者の眼は3次元空間において移動する。
規定のサンプリング周期で瞳孔112の位置データが検出される。本実施形態においては、移動データ取得部216は、規定のサンプリング周期で検出された瞳孔112の位置についての移動平均を算出する。
図15において、ドット「●」で示す検出点は、規定のサンプリング周期で位置検出部210により検出された、グローバル座標系における瞳孔112の位置を示す。「△」で示す移動平均点は、移動データ取得部216において10ポイントの検出点に基づいて算出された移動平均点を示す。
本実施形態において、規定時間における被験者の瞳孔112の移動軌跡は、複数の移動平均点を結ぶ移動平均軌跡を含む。
図16は、グローバル座標系における移動平均点と移動距離との関係を模式的に示す図である。移動データ取得部216は、複数の移動平均点を結ぶラインによって規定される移動平均軌跡に基づいて、規定時間における瞳孔112の移動距離を導出する。瞳孔112の移動距離は、3次元のグローバル座標系における移動距離である。移動データ取得部216は、グローバル座標系における複数の移動平均点Pnの座標(xn,yn,zn)を算出する。複数の移動平均点Pnの間の距離の合計が、規定時間における瞳孔112の移動距離である。図16は、一例として、移動平均点P1の座標(x1,y1,z1)、移動平均点P2の座標(x2,y2,z2)、及び移動平均点P3の座標(x3,y3,z3)を示す。瞳孔112の移動距離は、移動平均点P1と移動平均点P2との距離d12と、移動平均点P2と移動平均点P3との距離d23との合計である。
また、移動データ取得部216は、複数の移動平均点を結ぶラインによって規定される移動平均軌跡に基づいて、規定時間における瞳孔112の移動速度、及び規定時間における瞳孔112の移動ベクトルの変曲点の数を導出する。
位置検出部210で検出された複数の検出点の座標の移動平均が算出され、移動平均点の座標が算出されることにより、瞳孔112の移動データの精度が向上する。位置検出部210は、ステレオカメラ装置102で取得された画像データのうち小範囲を占める瞳孔112の画像データに基づいて検出点を算出する。瞳孔112の画像データに含まれるノイズなどの影響により、検出点の位置データに誤差が含まれる可能性が高い。本実施形態によれば、移動データ取得部216は、位置検出部210で検出された検出点から移動平均点を算出し、算出した移動平均点に基づいて、瞳孔112の移動データを取得する。したがって、誤差が抑制された瞳孔112の移動データが取得される。
なお、移動データ取得部216は、複数の検出点を最小二乗法に基づいてフィッティングして、瞳孔112の移動軌跡を含む移動データを取得してもよい。
なお、移動データ取得部216は、被験者の左右の眼それぞれの位置データを取得し、左右の眼それぞれの位置データに基づいて、被験者の眼の移動距離、移動速度、及び移動ベクトルの変曲点の数の少なくとも一つを含む被験者の眼の移動データを取得してもよい。移動データ取得部216は、被験者の左の眼の移動データ、及び被験者の右の眼の移動データのそれぞれを取得して、被験者の左の眼の移動データと被験者の右の眼の移動データとを平均化することにより、眼の移動データを高精度に取得することができる。
(診断支援処理)
次に、本実施形態に係る診断支援方法の一例について説明する。図17は、本実施形態に係る診断支援方法の一例を示すフローチャートである。なお、図17に示す診断支援処理の前に、図9を参照して説明したキャリブレーション処理が実施される。
表示制御部202は、図12を参照して説明した診断画像を表示装置101に表示させる。
被験者には、表示装置101に表示された診断画像を注視するように指示がなされる。本実施形態において、被験者には、表示装置101の表示画面101Sの中央の領域A1の画像を注視するように指示がなされる。出力制御部228は、被験者に領域A1の画像を注視させるために、「中央の画像をじっと見てください」のような音声を音声出力装置70から出力させる(ステップS301)。
本実施形態において、表示制御部202は、領域A1に動画を表示させる。表示制御部202は、動画の再生を開始する(ステップS302)。
表示制御部202は、動画の再生時間を管理するタイマをリセットする(ステップS303)。本実施形態において、動画の再生時間は、被験者の眼の移動データについての規定時間に設定される。
エリア設定部218は、表示装置101の表示画面101Sにおいて、動画が表示される領域A1を第1の特定エリアに設定する。また、エリア設定部218は、表示装置101の表示画面101Sにおいて、イラスト又はアニメーションが表示される領域A2を第2の特定エリアに設定する。また、エリア設定部218は、表示装置101の表示画面101Sにおいて、幾何学模様を含む画像が表示される領域A3を第3の特定エリアに設定する。
評価部226は、被験者の注視点が第1の特定エリアである領域A1に存在した存在時間を算出するためのカウンタCA1と、被験者の注視点が第2の特定エリアである領域A2及び第3の特定エリアである領域A3の少なくとも一方に存在した存在時間を算出するためのカウンタCA23をリセットする(ステップS304)。
注視点検出部214は、表示画面101Sにおける被験者の注視点を検出する(ステップS305)。注視点の検出は、図11を参照して説明したステップS200の手順に従って実施される。
注視点検出部214は、規定のサンプリング周期で、表示画面101Sにおける被験者の注視点の位置を検出する。本実施形態において、注視点検出部214は、ステレオカメラ装置102からフレーム同期信号が出力される度に、被験者の注視点の位置を検出する。換言すれば、注視点検出部214は、ステレオカメラ装置102の1フレーム毎に、注視点を検出する。注視点が特定エリアに存在した存在時間は、1フレーム毎に検出された注視点と特定エリアとの相対位置に基づいて算出される。
注視点検出部214は、注視点の検出が失敗したか否かを判定する(ステップS306)。例えば、被験者が瞬きすることにより、注視点の検出が失敗する場合がある。
ステップS306において、注視点の検出が失敗したと判定された場合(ステップS306:Yes)、ステップS315の処理が実施される。
ステップS306において、注視点の検出が成功したと判定された場合(ステップS306:No)、移動データ取得部216は、グローバル座標系における右眼の瞳孔中心112Cの位置データ、及び左眼の瞳孔中心112Cの位置データを取得する(ステップS307)。
記憶部226は、移動データ取得部216によって取得されたグローバル座標系における右眼の瞳孔中心112Cの位置データ、及び左眼の瞳孔中心112Cの位置データを記憶する(ステップS308)。
次に、評価部226は、注視点の位置データに基づいて、エリア設定部218で設定された複数の特定エリアのうち、注視点が存在する特定エリアを検出する(ステップS309)。
判定部220は、注視点の位置データに基づいて、注視点が第1の特定エリアである領域A1に存在するか否かを判定する(ステップS310)。
ステップS310において、注視点が領域A1に存在すると判定された場合(ステップS310:Yes)、評価部226は、カウンタCA1をインクリメントする(ステップS311)。
ステップS310において、注視点が領域A1に存在しないと判定された場合(ステップS310:No)、判定部220は、注視点の位置データに基づいて、注視点が第2の特定エリアである領域A2に存在するか否かを判定する(ステップS312)。
ステップS312において、注視点が領域A2に存在すると判定された場合(ステップS312:Yes)、評価部226は、カウンタCA23をインクリメントする(ステップS314)。
ステップS312において、注視点が領域A2に存在しないと判定された場合(ステップS312:No)、判定部220は、注視点の位置データに基づいて、注視点が第3の特定エリアである領域A3に存在するか否かを判定する(ステップS313)。
ステップS313において、注視点が領域A3に存在すると判定された場合(ステップS313:Yes)、評価部226は、カウンタCA23をインクリメントする(ステップS314)。
ステップS313において、注視点が領域A3に存在しないと判定された場合(ステップS313:No)、ステップS315の処理が実施される。ステップS313において、注視点が領域A3に存在しないと判定されることは、エリア設定部218において設定された特定エリアである領域A1、領域A2、及び領域A3に注視点が存在しないことを意味する。
次に、表示制御部202は、タイマに基づいて、領域A1における動画の再生時間が規定時間を経過したか否かを判定する(ステップS315)。
ステップS315において、動画の再生時間が規定時間を経過していないと判定された場合(ステップS315:No)、ステップS305に戻り、注視点検出が継続される。
ステップS315において、動画の再生時間が規定時間を経過したと判定された場合(ステップS315:Yes)、表示制御部202は、領域A1における動画の再生を停止させる(ステップS316)。
本実施形態において、被験者の瞳孔中心112Cの移動データを評価するときの規定時間は、領域A1における動画の再生が開始されてから動画の再生が停止されるまでの時間である。図13を参照して説明した点S21及び図14を参照して説明した点S22は、動画の再生が開始されたときに検出された被験者の瞳孔中心112Cの位置を含む。図13を参照して説明した点E21及び図14を参照して説明した点E22は、動画の再生が停止されたときに検出された被験者の瞳孔中心112Cの位置を含む。
次に、移動データ取得部216は、規定時間における被験者の右眼の瞳孔中心112Cの移動距離、規定時間における被験者の右眼の瞳孔中心112Cの移動速度、及び規定時間における被験者の右眼の瞳孔中心112Cの移動ベクトルを含む移動データを取得する。また、移動データ取得部216は、規定時間における被験者の左眼の瞳孔中心112Cの移動距離、規定時間における被験者の左眼の瞳孔中心112Cの移動速度、及び規定時間における被験者の左眼の瞳孔中心112Cの移動ベクトルを含む移動データを取得する(ステップS317)。
瞳孔中心112Cの移動ベクトルは、瞳孔中心112Cの移動方向を含む。瞳孔中心112Cの移動ベクトルが算出されることにより、移動データ取得部216は、瞳孔中心112Cの移動ベクトルの変曲点の数を導出することができる。
また、移動データ取得部216は、右眼の瞳孔中心112Cの移動データと左眼の瞳孔中心112Cの移動データとの平均値を算出する(ステップS318)。
右眼の瞳孔中心112Cの移動データと左眼の瞳孔中心112Cの移動データとの平均値は、右眼の瞳孔中心112Cの移動距離と左眼の瞳孔中心112Cの移動距離との平均値、右眼の瞳孔中心112Cの移動速度と左眼の瞳孔中心112Cの移動速度との平均値、及び右眼の瞳孔中心112Cの移動ベクトルの変曲点の数と左眼の瞳孔中心112Cの移動ベクトルの変曲点の数との平均値を含む。
例えば被験者が左眼及び右眼のいずれか一方の瞼を閉じてしまい、被験者の左右の眼のいずれか一方の眼の瞳孔中心112Cの移動データのみが取得された場合でも、右眼の瞳孔中心112Cの移動データと左眼の瞳孔中心112Cの移動データとの平均値が算出されることにより、取得される眼の移動データの精度の低下が抑制される。
次に、評価演算が実施される。評価演算は、瞳孔移動評価演算、注視点評価演算、及び総合評価演算を含む。瞳孔移動評価演算は、被験者の瞳孔中心112Cの移動データに基づいて、被験者の頭部の移動状態についての評価データを算出する処理である。注視点評価演算は、被験者の注視点の位置データに基づいて、被験者の注視点の移動状態についての評価データを算出する処理である。総合評価演算は、瞳孔移動評価演算で算出された評価データと注視点評価演算で算出された評価データとに基づいて、被験者のADHDのリスクについての評価データを算出する処理である。
演算部222は、瞳孔移動評価演算を実施する(ステップS319)。本実施形態において、演算部222は、(1)式の評価関数の演算を実施する。
Ans1=(K1×dis)+(K2×sp)+(K3×n) …(1)
但し、
Ans1:評価値、
dis:移動距離、
sp:移動速度、
n:変曲点の数、
K1:移動距離についての重み係数、
K2:移動速度についての重み係数、
K3:変曲点の数についての重み係数、
である。
本実施形態において、移動速度spは、規定時間における平均移動速度である。重み係数K1,K2,K3は、例えば過去において複数の被験者から収集された多数のデータに基づいて適宜設定されてもよいし、被験者の状態に応じて適宜設定されてもよい。
評価値Ans1は、被験者の頭部の移動状態についての評価データを示す。評価値Ans1が大きいほど、被験者の頭部が大きく移動したり速く移動したり振動するように移動したりすることを意味する。評価値Ans1は、被験者の頭部の変動状態の評価値を示すため、評価値Ans1が大きいほど、被験者のADHDのリスクが高いことを意味する。
次に、演算部222は、注視点評価演算を実施する(ステップS320)。本実施形態において、演算部222は、カウンタCA1の計数値とカウンタCA23の計数値との比を評価値として算出する。カウンタCA1の計数値は、注視点が第1の特定エリアである領域A1に存在した存在時間を示す時間データを示す。カウンタCA23の計数値は、注視点が第2の特定エリアである領域A2及び第3の特定エリアである領域A3の少なくとも一方に存在した存在時間を示す時間データを示す。演算部222は、ステップS310における判定部220の判定データに基づいて、カウンタCA1をインクリメントし、注視点が第1の特定エリアである領域A1に存在した存在時間を示す時間データを算出する。演算部222は、ステップS312及びステップS313における判定部220の判定データに基づいて、カウンタCA23をインクリメントし、注視点が第2の特定エリアである領域A2及び第3の特定エリアである領域A3の少なくとも一方に存在した存在時間を示す時間データを算出する。
本実施形態において、評価部226は、(2)式の評価関数の演算を実施する。
Ans2=CA23/CA1 …(2)
評価値Ans2は、被験者の注視点の移動状態についての評価データを示す。評価値Ans2が大きいほど、すなわちカウンタCA23の割合が高いほど、被験者は指示された領域A1を注視できていないことを意味する。評価値Ans2は、被験者の注視点の変動状態の評価値を示すため、評価値Ans2が大きいほど、被験者のADHDのリスクが高いことを意味する。
次に、評価部226は、総合評価演算を実施する(ステップS321)。評価部226は、ステップS319で算出された被験者の瞳孔中心112Cの移動データについての評価値Ans1と、ステップS320で算出された注視点が特定エリアに存在した存在時間を示す時間データについての評価値Ans2とに基づいて、総合評価演算を実施して、被験者の評価データを出力する。
本実施形態においては、評価部226は、(3)式の評価関数の演算を実施する。
Ans3=(K4×Ans1)+(K5×Ans2) …(3)
但し、
K4:頭部の変動状態についての重み係数、
K5:注視点の変動状態についての重み係数、
である。
重み係数K4,K5は、例えば過去において複数の被験者から収集された多数のデータに基づいて適宜設定されてもよいし、被験者の状態に応じて適宜設定されてもよい。
次に、出力制御部228は、評価部226において算出された被験者の評価データである評価値Ans3を表示装置101又は出力装置50に出力する(ステップS322)。また、出力制御部228は、移動データ取得部216で取得された被験者の瞳孔中心112Cの移動データを表示装置101又は出力装置50に出力する。また、出力制御部228は、被験者の評価データである評価値Ans1及び評価値Ans2を表示装置101又は出力装置50に出力する。
出力制御部228は、被験者の評価データである評価値Ans1、評価値Ans2、及び評価値Ans3の少なくとも一つを表示装置101又は出力装置50に表示させる。また、出力制御部228は、被験者の瞳孔中心112Cの移動データを表示装置101又は出力装置50に表示させる。出力制御部228は、被験者の眼の移動データとして、例えば図13又は図14などを参照して説明した被験者の眼の移動軌跡の画像データを表示装置101又は出力装置50に表示させる。また、出力制御部228は、被験者の注視点の位置データを表示装置101又は出力装置50に表示させる。
本実施形態において、評価部226は、評価値Ans1に基づいて、被験者のADHDのリスクが高いか否かを示す評価データを算出する。記憶部224には、評価値Ans1についての閾値を示す閾値データが記憶されている。評価値Ans1についての閾値は、例えば過去において複数の被験者から収集された多数のデータに基づいて予め規定される。評価部226は、記憶部224に記憶されている閾値データと、演算部222において算出された評価値Ans1とに基づいて、被験者の評価データを出力することができる。評価部226は、評価値Ans1が記憶部224に記憶されている閾値未満のときに、被験者のADHDのリスクが低いことを示す第1評価データを出力することができる。評価部226は、評価値Ans1が記憶部224に記憶されている閾値以上のときに、被験者のADHDのリスクが高いことを示す第2評価データを出力することができる。評価部226から出力された第1評価データ及び第2評価データのいずれか一方が、表示装置101又は出力装置50に表示される。
(1)式に示したように、本実施形態においては、規定時間における被験者の瞳孔中心112Cの移動距離disが重み係数K1により重み付けされ、規定時間における被験者の瞳孔中心112Cの移動速度spが重み係数K2により重み付けされ、規定時間における被験者の瞳孔中心112Cの移動ベクトルの変曲点の数nが重み係数K3により重み付けされる。評価部226は、重み付けされた移動距離disと移動速度spと移動ベクトルの変曲点の数nとの和である評価値Ans1が閾値未満のときに、被験者のADHDのリスクが低いことを示す第1評価データを出力し、評価値Ans1が閾値以上のときに、被験者のADHDのリスクが高いことを示す第2評価データを出力することができる。
また、本実施形態において、評価部226は、評価値Ans2に基づいて、被験者のADHDのリスクが高いか否かを示す評価データを算出する。記憶部224には、評価値Ans2についての閾値を示す閾値データが記憶されている。評価値Ans2についての閾値は、例えば過去において複数の被験者から収集された多数のデータに基づいて予め規定される。評価部226は、記憶部224に記憶されている閾値データと、演算部222において算出された評価値Ans2とに基づいて、被験者の評価データを出力することができる。評価部226は、評価値Ans2が記憶部224に記憶されている閾値未満のときに、被験者のADHDのリスクが低いことを示す第1評価データを出力することができる。評価部226は、評価値Ans2が記憶部224に記憶されている閾値以上のときに、被験者のADHDのリスクが高いことを示す第2評価データを出力することができる。評価部226から出力された第1評価データ及び第2評価データのいずれか一方が、表示装置101又は出力装置50に表示される。
また、本実施形態において、評価部226は、評価値Ans3に基づいて、被験者のADHDのリスクが高いか否かを示す評価データを算出する。記憶部224には、評価値Ans3についての閾値を示す閾値データが記憶されている。評価値Ans3についての閾値は、例えば過去において複数の被験者から収集された多数のデータに基づいて予め規定される。評価部226は、記憶部224に記憶されている閾値データと、演算部222において算出された評価値Ans3とに基づいて、被験者の評価データを出力することができる。評価部226は、評価値Ans3が記憶部224に記憶されている閾値未満のときに、被験者のADHDのリスクが低いことを示す第1評価データを出力することができる。評価部226は、評価値Ans3が記憶部224に記憶されている閾値以上のときに、被験者のADHDのリスクが高いことを示す第2評価データを出力することができる。評価部226から出力された第1評価データ及び第2評価データのいずれか一方が、表示装置101又は出力装置50に表示される。
なお、(1)式に基づいて算出される評価値Ans1は、重み係数K1で重み付けされた移動距離disと、重み係数K2で重み付けされた移動速度spと、重み係数K3で重み付けされた変曲点の数nとの和である。移動距離dis、移動速度sp、及び変曲点の数nの少なくとも一つが重み付けされなくてもよい。また、評価部226は、移動距離disのみに基づいて被験者の評価データを出力してもよいし、移動速度spのみに基づいて被験者の評価データを出力してもよいし、変曲点の数nのみに基づいて被験者の評価データを出力してもよい。
評価部226は、移動データ取得部216で取得された被験者の瞳孔中心112Cの移動データに基づいて、被験者のADHDのリスクが高いか否かを示す評価データを算出することができる。記憶部224には、被験者の瞳孔中心112Cの移動データについての閾値を示す閾値データが記憶されている。移動データについての閾値は、例えば複数の被験者から収集された多数のデータに基づいて予め規定される。評価部226は、記憶部224に記憶されている閾値データと、移動データ取得部216で取得された被験者の瞳孔中心112Cの移動データとに基づいて、被験者の評価データを出力することができる。
本実施形態において、記憶部224には、規定時間における被験者の瞳孔中心112Cの移動距離についての閾値が記憶されている。評価部226は、移動データ取得部216によって取得された被験者の瞳孔中心112Cの移動距離が、記憶部224に記憶されている閾値未満のときに、被験者のADHDのリスクが低いことを示す第1評価データを出力することができる。評価部226は、移動データ取得部216によって取得された被験者の瞳孔中心112Cの移動距離が、記憶部224に記憶されている閾値以上のときに、被験者のADHDのリスクが高いことを示す第2評価データを出力することができる。評価部226から出力された第1評価データ及び第2評価データのいずれか一方が、表示装置101又は出力装置50に表示される。
また、本実施形態において、記憶部224には、規定時間における被験者の瞳孔中心112Cの移動速度についての閾値が記憶されている。評価部226は、移動データ取得部216によって取得された被験者の瞳孔中心112Cの移動速度が、記憶部224に記憶されている閾値未満のときに、被験者のADHDのリスクが低いことを示す第1評価データを出力することができる。評価部226は、移動データ取得部216によって取得された被験者の瞳孔中心112Cの移動速度が、記憶部224に記憶されている閾値以上のときに、被験者のADHDのリスクが高いことを示す第2評価データを出力することができる。評価部226から出力された第1評価データ及び第2評価データのいずれか一方が、表示装置101又は出力装置50に表示される。
また、本実施形態において、記憶部224には、規定時間における被験者の瞳孔中心112Cの移動ベクトルの変曲点の数についての閾値が記憶されている。評価部226は、移動データ取得部216によって取得された被験者の瞳孔中心112Cの移動ベクトルの変曲点の数が、記憶部224に記憶されている閾値未満のときに、被験者のADHDのリスクが低いことを示す第1評価データを出力することができる。評価部226は、移動データ取得部216によって取得された被験者の瞳孔中心112Cの移動ベクトルの変曲点の数が、記憶部224に記憶されている閾値以上のときに、被験者のADHDのリスクが高いことを示す第2評価データを出力することができる。評価部226から出力された第1評価データ及び第2評価データのいずれか一方が、表示装置101又は出力装置50に表示される。
[作用及び効果]
以上説明したように、本実施形態によれば、グローバル座標系で規定される被験者の眼の移動データが移動データ取得部216によって取得される。被験者の眼の移動データは、被験者の頭部の移動状態を示す。ADHDの被験者は、頭部又は体全体を頻繁に揺らす特徴を有する。本実施形態においては、移動データ取得部216が被験者の眼の移動データを取得し、取得された被験者の眼の移動データが出力制御部228から出力される。そのため、診断支援装置100は、被験者の頭部の移動状態を取得し、被験者のADHDのリスクを評価することができる。したがって、診断支援装置100は、被験者のADHDのリスクの診断を高精度に支援することができる。
また、本実施形態においては、角膜反射法に基づいて、被験者の注視点が検出される。角膜反射法は、光源103から射出された赤外光を被験者に照射し、赤外光が照射された被験者の眼をカメラで撮影し、角膜表面における光源の反射像である角膜反射像113に対する瞳孔112の位置を検出して、被験者の視線及び注視点を検出する方法である。本実施形態において、眼の移動データは、瞳孔112の移動データ及び角膜反射像113の移動データの少なくとも一方を含む。したがって、診断支援装置100は、画像データ取得部206で取得された被験者の眼111の画像データに基づいて、被験者の注視点の位置データの検出と被験者の眼の移動データの取得とを並行して実施することができる。
また、本実施形態においては、被験者の眼の移動データは、規定時間における眼の移動距離dis、規定時間における眼の移動速度sp、及び規定時間における眼の移動ベクトルの変曲点の数nの少なくとも一つを含む。定型発達の者とADHDの者とでは、移動距離dis、移動速度sp、及び変曲点の数nの傾向が顕著に異なる。したがって、被験者の眼の移動データとして、移動距離dis、移動速度sp、及び変曲点の数nの少なくとも一つが取得されることにより、診断支援装置100は、被験者のADHDのリスクの診断を高精度に支援することができる。
また、本実施形態においては、被験者の眼の移動データについての閾値を示す閾値データが規定される。したがって、評価部226は、閾値データと被験者の眼の移動データとに基づいて、被験者のADHDのリスクが低いことを示す第1評価データ、及び被験者のADHDのリスクが高いことを示す第2評価データの少なくとも一方を出力することができる。
また、本実施形態においては、表示装置101の表示画面101Sにおいて、領域A1、領域A2、及び領域A3が、エリア設定部218によって特定エリアに設定される。診断支援処理において、被験者の注視点が特定エリアに存在するか否かが判定部220において判定される。演算部222は、判定部220の判定データに基づいて、注視点が第1の特定エリアである領域A1に存在した存在時間を示す第1時間データと、注視点が第2の特定エリアである領域A2及び第3の特定エリアである領域A3の少なくとも一方に存在した存在時間を示す第2時間データとを算出する。本実施形態においては、第1時間データとしてカウンタCA1の計数値が算出され、第2時間データとしてカウンタCA23の計数値が算出される。(2)式に示したように、評価部226は、カウンタCA1の計数値で示される第1時間データと、カウンタCA23の計数値で示される第2時間データとに基づいて、被験者の注視点の移動状態を示す評価値Ans2を算出する。評価部226は、被験者の注視点の移動状態に基づいて、被験者のADHDのリスクが低いことを示す第1評価データ、及び被験者のADHDのリスクが高いことを示す第2評価データの少なくとも一方を出力することができる。
本実施形態においては、(3)式に示したように、評価部226は、被験者の眼の移動データについての評価値Ans1と、被験者の注視点の時間データについての評価値Ans2との両方を用いて、被験者のADHDのリスクについての総合的な評価データである評価値Ans3を算出することができる。したがって、診断支援装置100は、被験者のADHDのリスクを高精度に評価することができる。
なお、上述の実施形態においては、注視点が領域A1に存在した存在時間を示すカウンタCA1の計数値と、注視点が領域A2及び領域A3の少なくとも一方に存在した存在時間を示すカウンタCA23の計数値とが算出され、カウンタCA1の計数値とカウンタCA23の計数値とに基づいて、被験者の注視点の移動状態が取得されることとした。注視点が領域A1に存在した存在時間を示すカウンタCA1の計数値と、注視点が領域A2、領域A3、及び領域A4の少なくとも1つに存在した存在時間を示すカウンタCA234の計数値とが算出され、カウンタCA1の計数値とカウンタCA234の計数値とに基づいて、被験者の注視点の移動状態が取得されてもよい。
また、上述の実施形態において、注視点が領域A1に存在した存在時間を示すカウンタCA1の計数値と、注視点が領域A2に存在する存在時間を示すカウンタCA2の計数値と、注視点が領域A3に存在する存在時間を示すカウンタCA3とが算出され、カウンタCA1の計数値とカウンタCA3の計数値とに基づいて、被験者の注視点の移動状態が取得されてもよい。上述のように、領域A3には、ASDの被験者が見る傾向にある幾何学模様が表示される。評価部226は、カウンタCA3の計数値とカウンタCA1の計数値との比に基づいて、被験者のASDのリスクを高精度に評価することができる。
なお、上述の実施形態においては、診断画像の領域A1には、人物を含む自然画の動画又は大きい人物画像が表示されることとした。領域A1には、人物が含まれるアニメーションの動画が表示されてもよい。