JP6736920B2 - 診断支援装置及び診断支援方法 - Google Patents

診断支援装置及び診断支援方法 Download PDF

Info

Publication number
JP6736920B2
JP6736920B2 JP2016047264A JP2016047264A JP6736920B2 JP 6736920 B2 JP6736920 B2 JP 6736920B2 JP 2016047264 A JP2016047264 A JP 2016047264A JP 2016047264 A JP2016047264 A JP 2016047264A JP 6736920 B2 JP6736920 B2 JP 6736920B2
Authority
JP
Japan
Prior art keywords
specific area
data
gazing point
unit
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016047264A
Other languages
English (en)
Other versions
JP2017158866A (ja
Inventor
首藤 勝行
勝行 首藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2016047264A priority Critical patent/JP6736920B2/ja
Publication of JP2017158866A publication Critical patent/JP2017158866A/ja
Application granted granted Critical
Publication of JP6736920B2 publication Critical patent/JP6736920B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Rehabilitation Tools (AREA)
  • Eye Examination Apparatus (AREA)

Description

本発明は、診断支援装置及び診断支援方法関する。
視覚認知障がいとは、視力に問題が無いにもかかわらず、眼から入力された情報を正しく認知できない状態をいう。視覚認知障がいは、文字又は図形のような対象物をしっかりと見ること、又は見た対象物を正しく認識することが困難な症状を引き起こす。視覚認知障がいは、トレーニングにより改善されることが知られている。そのため、視覚認知障がいの早期診断、及びトレーニングの早期開始が要望される。
しかし、視覚認知障がいに対応できる医師又は保健師の数は不足していると言われており、視覚認知障がいについて早期対応が困難な現状にある。そのため、視覚認知障がいの診断を支援できる技術、及び視覚認知障がいのトレーニングを支援できる技術の開発が要望される。特許文献1には、注視点検出により診断を支援する技術が開示されている。
特開2011−206542号公報
従来、視覚認知障がいの診断において、提供した図形を被験者に書き写させ、その書き写させた図形を評価することが行われている。しかし、このような手法では、視覚認知障がいの症状を特定することが困難である。すなわち、対象物をしっかりと見る力及び見た対象物を正しく認識する力のいずれの力に問題があるのかを切り分けることが困難である。また、視覚認知障がいの症状を特定できない場合、効果的なトレーニングを実施することが困難である。
本発明は、視覚認知障がいの診断を効果的に支援できる診断支援装置及び診断支援方法を提供することを目的とする
本発明は、被験者の眼球の画像データを取得する画像データ取得部と、前記画像データに基づいて、前記被験者の注視点の位置データを検出する注視点検出部と、特徴点を有し、直線及び曲線の少なくとも一方により形成される図形を表示部に表示させる表示制御部と、前記表示部の表示画面において前記特徴点を含む特定エリアを設定するエリア設定部と、前記注視点の位置データに基づいて、前記注視点が前記特定エリアに存在するか否かを判定する判定部と、前記判定部の判定データに基づいて、前記注視点が前記特定エリアに存在した存在時間を示す時間データを算出する演算部と、前記時間データを出力する出力制御部と、を備える診断支援装置を提供する。
本発明によれば、視覚認知障がいの診断を効果的に支援できる診断支援装置及び診断支援方法が提供される
図1は、第1実施形態に係る視線検出装置の一例を模式的に示す斜視図である。 図2は、第1実施形態に係る表示装置とステレオカメラ装置と照明装置と被験者の眼球との位置関係を模式的に示す図である。 図3は、第1実施形態に係る視線検出装置のハードウェア構成の一例を示す図である。 図4は、第1実施形態に係る視線検出装置の一例を示す機能ブロック図である。 図5は、第1実施形態に係る角膜曲率中心の位置データの算出方法を説明するための模式図である。 図6は、第1実施形態に係る角膜曲率中心の位置データの算出方法を説明するための模式図である。 図7は、第1実施形態に係るキャリブレーション処理の一例を説明するための模式図である。 図8は、第1実施形態に係るキャリブレーション処理の一例を示すフローチャートである。 図9は、第1実施形態に係る注視点検出処理の一例を説明するための模式図である。 図10は、第1実施形態に係る注視点検出処理の一例を示すフローチャートである。 図11は、第1実施形態に係る表示制御部が表示装置に表示させる図形の一例を示す図である。 図12は、第1実施形態に係る特定エリアの一例を模式的に示す図である。 図13は、被験者の注視点の動きの一例を示す図である。 図14は、被験者の注視点の動きの一例を示す図である。 図15は、被験者の注視点の動きの一例を示す図である。 図16は、本実施形態に係る出力装置の一例を示す図である。 図17は、第1実施形態に係る診断支援方法の一例を示すフローチャートである。 図18は、第1実施形態に係る特定エリアの一例を模式的に示す図である。 図19は、第2実施形態に係る視線検出装置の一例を示す機能ブロック図である。 図20は、第2実施形態に係る特定エリアの一例を模式的に示す図である。 図21は、第2実施形態に係る特定エリアが強調表示された状態の一例を示す図である。 図22は、第2実施形態に係る特定エリアが強調表示された状態の一例を示す図である。 図23は、第2実施形態に係る特定エリアが強調表示された状態の一例を示す図である。 図24は、第2実施形態に係る特定エリアが強調表示された状態の一例を示す図である。 図25は、第2実施形態に係る特定エリアが強調表示された状態の一例を示す図である。 図26は、第2実施形態に係る特定エリアが強調表示された状態の一例を示す図である。 図27は、第2実施形態に係るトレーニング支援方法の一例を示すフローチャートである。 図28は、第3実施形態に係る表示制御部が表示装置に表示させる図形の一例を示す図である。 図29は、第3実施形態に係る特定エリアの一例を模式的に示す図である。 図30は、第3実施形態に係る特定エリアが強調表示された状態の一例を示す図である。 図31は、第3実施形態に係る特定エリアが強調表示された状態の一例を示す図である。 図32は、第3実施形態に係る特定エリアが強調表示された状態の一例を示す図である。 図33は、第3実施形態に係る特定エリアが強調表示された状態の一例を示す図である。 図34は、第3実施形態に係る特定エリアが強調表示された状態の一例を示す図である。 図35は、第3実施形態に係る特定エリアが強調表示された状態の一例を示す図である。
以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
以下の説明においては、3次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第1軸と平行な方向をX軸方向とし、第1軸と直交する所定面の第2軸と平行な方向をY軸方向とし、第1軸及び第2軸のそれぞれと直交する第3軸と平行な方向をZ軸方向とする。所定面はXY平面を含む。
<第1実施形態>
第1実施形態について説明する。図1は、本実施形態に係る視線検出装置100の一例を模式的に示す斜視図である。本実施形態において、視線検出装置100は、視覚認知障がいの診断を支援する診断支援装置に使用される。
図1に示すように、視線検出装置100は、表示装置101と、ステレオカメラ装置102と、照明装置103とを備える。
表示装置100は、液晶ディスプレイ(liquid crystal display:LCD)又は有機ELディスプレイ(organic electroluminescence display:OLED)のようなフラットパネルディスプレイを含む。表示装置100は、表示部として機能する。
本実施形態において、表示装置100の表示画面101Sは、XY平面と実質的に平行である。X軸方向は表示画面101Sの左右方向であり、Y軸方向は表示画面101Sの上下方向であり、Z軸方向は表示画面101Sと直交する奥行方向である。
ステレオカメラ装置102は、第1カメラ102A及び第2カメラ102Bを有する。ステレオカメラ装置102は、表示装置101の表示画面101Sよりも下方に配置される。第1カメラ102Aと第2カメラ102BとはX軸方向に配置される。第1カメラ102Aは、第2カメラ102Bよりも−X方向に配置される。第1カメラ102A及び第2カメラ102Bはそれぞれ、赤外線カメラを含み、例えば波長850[nm]の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。
照明装置103は、第1光源103A及び第2光源103Bを有する。照明装置103は、表示装置101の表示画面101Sよりも下方に配置される。第1光源103Aと第2光源103BとはX軸方向に配置される。第1光源103Aは、第1カメラ102Aよりも−X方向に配置される。第2光源103Bは、第2カメラ102Bよりも+X方向に配置される。第1光源103A及び第2光源103Bはそれぞれ、LED(light emitting diode)光源を含み、例えば波長850[nm]の近赤外光を射出可能である。なお、第1光源103A及び第2光源103Bは、第1カメラ102Aと第2カメラ102Bとの間に配置されてもよい。
図2は、本実施形態に係る表示装置101とステレオカメラ装置102と照明装置103と被験者の眼球111との位置関係を模式的に示す図である。
照明装置103は、検出光である近赤外光を射出して、被験者の眼球111を照明する。ステレオカメラ装置102は、第1光源103Aから射出された検出光が眼球111に照射されたときに第2カメラ102Bで眼球111を撮影し、第2光源103Bから射出された検出光が眼球111に照射されたときに第1カメラ102Aで眼球111を撮影する。
第1カメラ102A及び第2カメラ102Bの少なくとも一方からフレーム同期信号が出力される。第1光源103A及び第2光源103Bは、フレーム同期信号に基づいて検出光を射出する。第1カメラ102Aは、第2光源103Bから射出された検出光が眼球111に照射されたときに、眼球111の画像データを取得する。第2カメラ102Bは、第1光源103Aから射出された検出光が眼球111に照射されたときに、眼球111の画像データを取得する。
眼球111に検出光が照射されると、その検出光の一部は瞳孔112で反射し、その瞳孔112からの光がステレオカメラ装置102に入射する。また、眼球111に検出光が照射されると、角膜の虚像である角膜反射像113が眼球111に形成され、その角膜反射像113からの光がステレオカメラ装置102に入射する。
第1カメラ102A及び第2カメラ102Bと第1光源103A及び第2光源103Bとの相対位置が適切に設定されることにより、瞳孔112からステレオカメラ装置102に入射する光の強度は低くなり、角膜反射像113からステレオカメラ装置102に入射する光の強度は高くなる。すなわち、ステレオカメラ装置102で取得される瞳孔112の画像は低輝度となり、角膜反射像113の画像は高輝度となる。ステレオカメラ装置102は、取得される画像の輝度に基づいて、瞳孔112の位置及び角膜反射像113の位置を検出することができる。
図3は、本実施形態に係る視線検出装置100のハードウェア構成の一例を示す図である。図3に示すように、視線検出装置100は、表示装置101と、ステレオカメラ装置102と、照明装置103と、コンピュータシステム20と、入出力インターフェース装置30と、駆動回路40と、出力装置50と、入力装置60と、音声出力装置70とを備える。コンピュータシステム20は、演算処理装置20A及び記憶装置20Bを含む。
コンピュータシステム20と、駆動回路40と、出力装置50と、入力装置60と、音声出力装置70とは、入出力インターフェース装置30を介してデータ通信する。
演算処理装置20Aは、CPU(central processing unit)のようなマイクロプロセッサを含む。記憶装置20Bは、ROM(read only memory)及びRAM(random access memory)のようなメモリ又はストレージを含む。演算処理装置20Aは、記憶装置20Bに記憶されているコンピュータプログラムに従って演算処理を実施する。
駆動回路40は、駆動信号を生成して、表示装置101、ステレオカメラ装置102、及び照明装置103に出力する。また、駆動回路40は、ステレオカメラ装置102で取得された眼球111の画像データを、入出力インターフェース装置30を介してコンピュータシステム20に供給する。
出力装置50は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置50は、印刷装置を含んでもよい。入力装置60は、操作されることにより入力データを生成する。入力装置60は、コンピュータシステム用のキーボード又はマウスを含む。なお、入力装置60が表示装置である出力装置50の表示画面に設けられたタッチセンサを含んでもよい。音声出力装置70は、スピーカを含み、例えば被験者に注意を促すための音声を出力する。
本実施形態においては、表示装置101とコンピュータシステム20とは別々の装置である。なお、表示装置101とコンピュータシステム20とが一体でもよい。例えば視線検出装置100がタブレット型パーソナルコンピュータを含む場合、そのタブレット型コンピュータに、コンピュータシステム20、入出力インターフェース装置30、駆動回路40、及び表示装置101が搭載されてもよい。
図4は、本実施形態に係る視線検出装置100の一例を示す機能ブロック図である。図4に示すように、入出力インターフェース装置30は、入出力部302を有する。駆動回路40は、表示装置101を駆動するための駆動信号を生成して表示装置101に出力する表示装置駆動部402と、第1カメラ102Aを駆動するための駆動信号を生成して第1カメラ102Aに出力する第1カメラ入出力部404Aと、第2カメラ102Bを駆動するための駆動信号を生成して第2カメラ102Bに出力する第2カメラ入出力部404Bと、第1光源103A及び第2光源103Bを駆動するための駆動信号を生成して第1光源103A及び第2光源103Bに出力する光源駆動部406とを有する。また、第1カメラ入出力部404Aは、第1カメラ102Aで取得された眼球111の画像データを、入出力部302を介してコンピュータシステム20に供給する。第2カメラ入出力部404Bは、第2カメラ102Bで取得された眼球111の画像データを、入出力部302を介してコンピュータシステム20に供給する。
コンピュータシステム20は、視線検出装置100を制御する。コンピュータシステム20は、表示制御部202と、光源制御部204と、画像データ取得部206と、入力データ取得部208と、位置検出部210と、曲率中心算出部212と、注視点検出部214と、エリア設定部216と、判定部218と、演算部220と、評価部222と、記憶部224と、出力制御部226とを有する。コンピュータシステム20の機能は、演算処理装置20A及び記憶装置20Bによって発揮される。
表示制御部202は、視覚認知障がいの診断を支援するための特定の図形を表示装置101に表示させる。本実施形態において、表示制御部202は、特徴点を有し、直線及び曲線の少なくとも一方により形成される図形を表示装置101に表示させる。特徴点は複数あり、例えば図形の交点及び端点の一方又は両方を含む。
光源制御部204は、光源駆動部406を制御して、第1光源103A及び第2光源103Bの作動状態を制御する。光源制御部204は、第1光源103Aと第2光源103Bとが異なるタイミングで検出光を射出するように第1光源103A及び第2光源103Bを制御する。
画像データ取得部206は、第1カメラ102A及び第2カメラ102Bを含むステレオカメラ装置102によって取得された被験者の眼球111の画像データを、入出力部302を介してステレオカメラ装置102から取得する。
入力データ取得部208は、入力装置60が操作されることにより生成された入力データを、入出力部302を介して入力装置60から取得する。
位置検出部210は、画像データ取得部206で取得された眼球111の画像データに基づいて、瞳孔中心の位置データを検出する。また、位置検出部210は、画像データ取得部206で取得された眼球111の画像データに基づいて、角膜反射中心の位置データを検出する。瞳孔中心は、瞳孔112の中心である。角膜反射中心は、角膜反射像113の中心である。位置検出部210は、被験者の左右それぞれの眼球111について、瞳孔中心の位置データ及び角膜反射中心の位置データを検出する。
曲率中心算出部212は、画像データ取得部206で取得された眼球111の画像データに基づいて、眼球111の角膜曲率中心の位置データを算出する。
注視点検出部214は、画像データ取得部206で取得された眼球111の画像データに基づいて、被験者の注視点の位置データを検出する。本実施形態において、注視点の位置データとは、三次元グローバル座標系で規定される被験者の視線ベクトルと表示装置101の表示画面101Sとの交点の位置データをいう。注視点検出部214は、眼球111の画像データから取得された瞳孔中心の位置データ及び角膜曲率中心の位置データに基づいて、被験者の左右それぞれの眼球111の視線ベクトルを検出する。視線ベクトルが検出された後、注視点検出部214は、視線ベクトルと表示画面101Sとの交点を示す注視点の位置データを検出する。
エリア設定部216は、表示装置101の表示画面101Sにおいて図形の特徴点を含む特定エリアを設定する。
判定部218は、注視点の位置データに基づいて、注視点が特定エリアに存在するか否かを判定する。
演算部220は、判定部218の判定データに基づいて、注視点が特定エリアに存在した存在時間を示す時間データを算出する。本実施形態において、時間データは、予め定められた制限時間のうち注視点が特定エリアに存在した存在時間を示す。制限時間とは、予め定められており、被験者に視覚認知障がいの診断を支援するための特定の図形を表示装置101に表示させる時間のことを指す。
評価部222は、演算部220で算出された時間データに基づいて、被験者の評価データを出力する。
記憶部224は、視覚認知障がいの診断を支援するためのデータを記憶する。本実施形態において、記憶部224は、制限時間のうち注視点が特定エリアに存在した存在時間についての閾値を示す閾値データを記憶する。
出力制御部226は、表示装置101、出力装置50、及び音声出力装置70の少なくとも一つにデータを出力する。本実施形態において、出力制御部226は、演算部220で算出された時間データを表示装置101又は出力装置50に表示させる。また、出力制御部226は、被験者の左右それぞれの眼球111の注視点の位置データを表示装置101又は出力装置50に表示させる。また、出力制御部226は、評価部222から出力された評価データを表示装置101又は出力装置50に表示させる。
次に、本実施形態に係る曲率中心算出部212の処理の概要について説明する。曲率中心算出部212は、眼球111の画像データに基づいて、眼球111の角膜曲率中心の位置データを算出する。
図5及び図6は、本実施形態に係る角膜曲率中心110の位置データの算出方法を説明するための模式図である。図5は、1つの光源103Cで眼球111が照明される例を示す。図6は、第1光源103A及び第2光源103Bで眼球111が照明される例を示す。
まず、図5に示す例について説明する。光源103Cは、第1カメラ102Aと第2カメラ102Bとの間に配置される。瞳孔中心112Cは、瞳孔112の中心である。角膜反射中心113Cは、角膜反射像113の中心である。図5において、瞳孔中心112Cは、眼球111が1つの光源103Cで照明されたときの瞳孔中心を示す。角膜反射中心113Cは、眼球111が1つの光源103Cで照明されたときの角膜反射中心を示す。
角膜反射中心113Cは、光源103Cと角膜曲率中心110とを結ぶ直線上に存在する。角膜反射中心113Cは、角膜表面と角膜曲率中心110との中間点に位置付けられる。角膜曲率半径109は、角膜表面と角膜曲率中心110との距離である。
角膜反射中心113Cの位置データは、ステレオカメラ装置102によって検出される。角膜曲率中心110は、光源103Cと角膜反射中心113Cとを結ぶ直線上に存在する。曲率中心算出部212は、その直線上において角膜反射中心113Cからの距離が所定値となる位置データを、角膜曲率中心110の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部224に記憶されている。
次に、図6に示す例について説明する。本実施形態においては、第1カメラ102A及び第2光源103Bと、第2カメラ102B及び第1光源103Aとは、第1カメラ102Aと第2カメラ102Bとの中間位置を通る直線に対して左右対称の位置に配置される。第1カメラ102Aと第2カメラ102Bとの中間位置に仮想光源103Vが存在するとみなすことができる。
角膜反射中心121は、第2カメラ102Bで眼球111を撮影した画像における角膜反射中心を示す。角膜反射中心122は、第1カメラ102Aで眼球111を撮影した画像における角膜反射中心を示す。角膜反射中心124は、仮想光源103Vに対応する角膜反射中心を示す。
角膜反射中心124の位置データは、ステレオカメラ装置102で取得された角膜反射中心121の位置データ及び角膜反射中心122の位置データに基づいて算出される。ステレオカメラ装置102は、ステレオカメラ装置102に規定される三次元ローカル座標系において角膜反射中心121の位置データ及び角膜反射中心122の位置データを検出する。ステレオカメラ装置102について、事前にステレオ較正法によるカメラ較正が実施され、ステレオカメラ装置102の三次元ローカル座標系を三次元グローバル座標系に変換する変換パラメータが算出される。その変換パラメータは、記憶部224に記憶されている。
曲率中心算出部212は、ステレオカメラ装置102で取得された角膜反射中心121の位置データ及び角膜反射中心122の位置データを、変換パラメータを使って、三次元グローバル座標系における位置データに変換する。曲率中心算出部212は、三次元グローバル座標系で規定される角膜反射中心121の位置データ及び角膜反射中心122の位置データに基づいて、三次元グローバル座標系における角膜反射中心124の位置データを算出する。
角膜曲率中心110は、仮想光源103Vと角膜反射中心124とを結ぶ直線123上に存在する。曲率中心算出部212は、直線123上において角膜反射中心124からの距離が所定値となる位置データを、角膜曲率中心110の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部224に記憶されている。
このように、光源が2つある場合でも、光源が1つである場合の方法と同様の方法で、角膜曲率中心110が算出される。
角膜曲率半径109は、角膜表面と角膜曲率中心110との距離である。したがって、角膜表面の位置データ及び角膜曲率中心110の位置データが算出されることにより、角膜曲率半径109が算出される。
次に、本実施形態に係る注視点検出部214の処理の概要について説明する。注視点検出部214は、眼球111の画像データに基づいて、注視点の位置データを算出する。
本実施形態においては、角膜曲率中心110の位置データの算出処理、及び瞳孔中心112Cと角膜曲率中心110との距離データの算出処理を含むキャリブレーション処理(ステップS100)が実施された後、注視点検出処理(ステップS200)が実施される。
図7は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。キャリブレーション処理は、角膜曲率中心110の位置データを算出すること、及び瞳孔中心112Cと角膜曲率中心110との距離126を算出することを含む。
被験者に注視させるための目標位置130が設定される。目標位置130は、三次元グローバル座標系において規定される。本実施形態において、目標位置130は、例えば表示装置101の表示画面101Sの中央位置に設定される。なお、目標位置130は、表示画面101Sの端部位置に設定されてもよい。
表示制御部202は、設定された目標位置130に目標画像を表示させる。これにより、被験者は、目標位置130を注視し易くなる。
直線131は、仮想光源103Vと角膜反射中心113Cとを結ぶ直線である。直線132は、目標位置130と瞳孔中心112Cとを結ぶ直線である。角膜曲率中心110は、直線131と直線132との交点である。曲率中心算出部212は、仮想光源103Vの位置データと、目標位置130の位置データと、瞳孔中心112Cの位置データと、角膜反射中心113Cの位置データとに基づいて、角膜曲率中心110の位置データを算出することができる。
図8は、本実施形態に係るキャリブレーション処理(ステップS100)の一例を示すフローチャートである。出力制御部226は、表示装置101の表示画面101Sに目標画像を表示させる(ステップS101)。被験者は、目標画像を注視することにより、目標位置130を注視することができる。
次に、光源制御部204は、光源駆動部406を制御して、第1光源103A及び第2光源103Bのうち一方の光源から検出光を射出させる(ステップS102)。ステレオカメラ装置102は、第1カメラ102A及び第2カメラ102Bのうち検出光を射出した光源からの距離が長い方のカメラで被験者の眼を撮影する(ステップS103)。
次に、光源制御部204は、光源駆動部406を制御して、第1光源103A及び第2光源103Bのうち他方の光源から検出光を射出させる(ステップS104)。ステレオカメラ装置102は、第1カメラ102A及び第2カメラ102Bのうち検出光を射出した光源からの距離が長い方のカメラで被験者の眼を撮影する(ステップS105)。
瞳孔112は、暗い部分としてステレオカメラ装置102に検出され、角膜反射像113は、明るい部分としてステレオカメラ装置102に検出される。すなわち、ステレオカメラ装置102で取得される瞳孔112の画像は低輝度となり、角膜反射像113の画像は高輝度となる。位置検出部210は、取得される画像の輝度に基づいて、瞳孔112の位置データ及び角膜反射像113の位置データを検出することができる。また、位置検出部210は、瞳孔112の画像データに基づいて、瞳孔中心112Cの位置データを算出する。また、位置検出部210は、角膜反射像113の画像データに基づいて、角膜反射中心113Cの位置データを算出する(ステップS106)。
ステレオカメラ装置102によって検出された位置データは、三次元ローカル座標系で規定される位置データである。位置検出部210は、記憶部224に記憶されている変換パラメータを使用して、ステレオカメラ装置102で検出された瞳孔中心112Cの位置データ及び角膜反射中心113Cの位置データを座標変換して、三次元グローバル座標系で規定される瞳孔中心112Cの位置データ及び角膜反射中心113Cの位置データを算出する(ステップS107)。
曲率中心算出部212は、三次元グローバル座標系で規定される角膜反射中心113Cと仮想光源103Vとを結ぶ直線131を求める(ステップS108)。
次に、曲率中心算出部212は、表示装置101の表示画面101Sに規定される目標位置130と瞳孔中心112Cとを結ぶ直線132を算出する(ステップS109)。曲率中心算出部212は、ステップS108で算出した直線131とステップS109で算出した直線132との交点を求め、この交点を角膜曲率中心110とする(ステップS110)。
曲率中心算出部212は、瞳孔中心112Cと角膜曲率中心110との距離126を算出して、記憶部224に記憶する(ステップS111)。記憶された距離は、ステップS200の注視点検出において、角膜曲率中心110を算出するために使用される。
図9は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。注視点検出処理は、キャリブレーション処理(ステップS100)で求めた瞳孔中心112Cと角膜曲率中心110との距離126を用いて、角膜曲率中心110の位置を補正すること、及び補正された角膜曲率中心110の位置データを使って注視点を算出することを含む。
図9において、注視点165は、一般的な曲率半径値を用いて算出された角膜曲率中心から求めた注視点を示す。注視点166は、キャリブレーション処理で求められた距離126を用いて算出された角膜曲率中心から求めた注視点を示す。
瞳孔中心112Cは、キャリブレーション処理において算出された瞳孔中心を示し、角膜反射中心113Cは、キャリブレーション処理において算出された角膜反射中心を示す。
直線173は、仮想光源103Vと角膜反射中心113Cとを結ぶ直線である。角膜曲率中心110は、一般的な曲率半径値から算出した角膜曲率中心の位置である。
距離126は、キャリブレーション処理により算出した瞳孔中心112Cと角膜曲率中心110との距離である。
角膜曲率中心110Hは、距離126を用いて角膜曲率中心110を補正した補正後の角膜曲率中心の位置を示す。
角膜曲率中心110Hは、角膜曲率中心110が直線173上に存在すること、及び瞳孔中心112Cと角膜曲率中心110との距離が距離126であることから求められる。これにより、一般的な曲率半径値を用いる場合に算出される視線177は、視線178に補正される。また、表示装置101の表示画面101S上の注視点は、注視点165から注視点166に補正される。
図10は、本実施形態に係る注視点検出処理(ステップS200)の一例を示すフローチャートである。なお、図10に示すステップS201からステップS207までの処理は、図8に示したステップS102からステップS108までの処理と同様であるため説明を省略する。
曲率中心算出部212は、ステップS207で算出した直線173上であって、瞳孔中心112Cからの距離がキャリブレーション処理によって求めた距離126と等しい位置を角膜曲率中心110Hとして算出する(ステップS208)。
注視点検出部214は、瞳孔中心112Cと角膜曲率中心110Hとを結ぶ視線ベクトルを求める(ステップS209)。視線ベクトルは、被験者が見ている視線方向を示す。注視点検出部214は、視線ベクトルと表示装置101の表示画面101Sとの交点の位置データを算出する(ステップS210)。視線ベクトルと表示装置101の表示画面101Sとの交点の位置データが、三次元グローバル座標系で規定される表示画面101Sにおける被験者の注視点の位置データである。
注視点検出部214は、三次元グローバル座標系で規定される注視点の位置データを、二次元座標系で規定される表示装置101の表示画面101Sにおける位置データに変換する(ステップS211)。これにより、被験者が見つめる表示装置101の表示画面101S上の注視点の位置データが算出される。
次に、本実施形態に係る視覚認知障がいの診断支援方法について説明する。本実施形態において、視線検出装置100は、視覚認知障がいの診断を支援する診断支援装置に使用される。以下の説明においては、視線検出装置100を適宜、診断支援装置100、と称する。
視覚認知障がいの診断の支援において、診断支援装置100の表示制御部202は、特定の図形を表示装置101に表示させる。被験者の視覚認知障がいの症状の評価のために、被験者には、表示装置101に表示された図形を見て、その図形を紙に書き写すように指示がなされる。なお、被験者には、紙ではなくタブレット型パーソナルコンピュータのような情報端末に図形を書き写させる指示がなされてもよい。
図11は、本実施形態に係る表示制御部202が表示装置101に表示させる特定の図形500の一例を示す図である。図11に示すように、図形500は、複数のラインの集合体である。本実施形態において、図形500は、ライン501,502,503,504,505の集合体である。本実施形態において、ライン501,502,503,504,505はそれぞれ直線である。また、本実施形態において、ライン501,502,503,504,505の長さはそれぞれ異なる。
なお、ライン501,502,503,504,505の少なくとも1つが曲線でもよい。なお、ライン501,502,503,504,505の少なくとも2つが同じ長さでもよい。
ライン501は、2つの端を有する。ライン501の一方の端は、他のライン502,503,504,505と接続されない。ライン501の他方の端は、他のライン502,503,504,505と接続される。
以下の説明において、ラインの端のうち、他のラインから離れていて他のラインとは接続されない端を適宜、ラインの端点E、と称する。
本実施形態において、ライン501の一方の端は、端点Eを形成する。同様に、ライン502の一方の端、ライン503の一方の端、ライン504の一方の端、及びライン505の一方の端はそれぞれ、端点Eを形成する。
本実施形態において、端点Eは、ライン501の端点E1、ライン502の端点E2、ライン503の端点E3、ライン504の端点E4、及びライン505の端点E5を含む。
ライン501の他方の端と、ライン502の他方の端と、ライン503の他方の端と、ライン504の他方の端と、ライン505の他方の端とは、接続される。以下の説明において、少なくとも2つのラインが接続された接続部を適宜、ラインの交点F、と称する。
図11に示す図形500において、交点Fは、5つのライン501,502,503,504,505が交わった部分である。5つのライン501,502,503,504,505は、交点Fから放射状に配置される。
また、以下の説明において、端点E及び交点Fを総称して適宜、特徴点C、と称する。
本実施形態において、図形500は、特徴点Cを複数有する。本実施形態において、特徴点Cは、5つの端点E(E1,E2,E3,E4,E5)と、1つの交点Fとを含む。すなわち、本実施形態において、図形500は、6つの特徴点Cを有する。
交点Fを中心とする回転方向において、ライン501の端点E1とライン502の端点E2とは隣り合う。ライン502の端点E2とライン503の端点E3とは隣り合う。ライン503の端点E3とライン504の端点E4とは隣り合う。ライン504の端点E4とライン505の端点E5とは隣り合う。ライン505の端点E5とライン501の端点E1とは隣り合う。
端点E1と端点E2とは距離W1だけ離れている。端点E2と端点E3とは距離W2だけ離れている。端点E3と端点E4とは距離W3だけ離れている。端点E4と端点E5とは距離W4だけ離れている。端点E5と端点E1とは距離W5だけ離れている。
距離W1と、距離W2と、距離W3と、距離W4と、距離W5とは、異なる。本実施形態において、距離W1,W2,W3,W4,W5のうち、距離W3が最も長く、距離W3に次いで距離W1が長く、距離W1に次いで距離W5が長く、距離W5に次いで距離W2が長く、距離W4が最も短い。
本実施形態において、エリア設定部216は、表示装置101の表示画面101Sにおいて特徴点Cを含むように特定エリアAを設定する。
図12は、本実施形態に係る特定エリアAの一例を模式的に示す図である。エリア設定部216は、複数の特徴点Cのそれぞれについて特定エリアAを設定する。
本実施形態において、特定エリアAは、第1の特徴点Cである端点E1を含む特定エリアA1、第2の特徴点Cである端点E2を含む特定エリアA2、第3の特徴点Cである端点E3を含む特定エリアA3、第4の特徴点Cである端点E4を含む特定エリアA4、第5の特徴点Cである端点E5を含む特定エリアA5、及び第6の特徴点Cである交点Fを含む特定エリアA6を含む。
エリア設定部216は、交点Fを中心とする回転方向において、特定エリアA1の隣に特定エリアA2を設定し、特定エリアA2の隣に特定エリアA3を設定し、特定エリアA3の隣に特定エリアA4を設定し、特定エリアA4の隣に特定エリアA5を設定し、特定エリアA5の隣に特定エリアA1を設定する。特定エリアA1,A2,A3,A4,A5は、特定エリアA6の周囲に設定される。エリア設定部216は、複数の特定エリアA1,A2,A3,A4,A5,A6が重複しないように、それら特定エリアAを設定する。
本実施形態において、特定エリアA1は、端点E1を中心とする円形エリアである。特定エリアA2は、端点E2を中心とする円形エリアである。特定エリアA3は、端点E3を中心とする円形エリアである。特定エリアA4は、端点E4を中心とする円形エリアである。特定エリアA5は、端点E5を中心とする円形エリアである。特定エリアA6は、交点Fを中心とする円形エリアである。
また、本実施形態において、複数の特定エリアA1,A2,A3,A4,A5,A6は、同一の大きさである。
本実施形態において、隣り合う特定エリアAの距離Dは、その特定エリアAの半径rよりも長い。特定エリアAの半径rとは、特徴点Cと、その特徴点Cについて設定された特定エリアAのエッジとの距離をいう。エッジとは、特定エリアAの半径rの円周であり、特徴点Cを含む特定エリアAと特定エリアAの周辺領域との境界のことを指す。
特定エリアA1に関する距離D及び半径rについて説明する。特定エリアA1の半径r1とは、端点E1と、その端点E1を含む特定エリアA1のエッジとの距離をいう。特定エリアA1は、特定エリアA2、特定エリアA5、及び特定エリアA6と隣り合う。特定エリアA1と特定エリアA2との距離D12とは、特定エリアA1のエッジと特定エリアA2のエッジとの距離をいう。特定エリアA1と特定エリアA5との距離D15とは、特定エリアA1のエッジと特定エリアA5のエッジとの距離をいう。特定エリアA1と特定エリアA6との距離D16とは、特定エリアA1のエッジと特定エリアA6のエッジとの距離をいう。特定エリアA1のエッジと特定エリアA2のエッジとは、距離D12だけ離れている。特定エリアA1のエッジと特定エリアA5のエッジとは、距離D15だけ離れている。特定エリアA1のエッジと特定エリアA6のエッジとは、距離D16だけ離れている。本実施形態において、距離D12,D15,D16は、特定エリアA1の半径r1、特定エリアA2の半径r2、特定エリアA5の半径r5、及び特定エリアA6の半径r6よりも長い。
以上、特定エリアA1に関する距離D及び半径rについて説明した。特定エリアA2,A3,A4,A5,A6のそれぞれに関する距離D及び半径rについても同様である。
本実施形態に係る視覚認知障がいの診断の支援においては、上述の図形500を被験者に見せたときの被験者の注視点に基づいて、視覚認知障がいの症状が特定される。
視覚認知障がいでは、対象物をしっかりと見る力、又は見た対象物を正しく認識する力のいずれかの力に問題があると言われている。本実施形態においては、表示装置101に表示された図形500を被験者に見せたときの被験者の注視点に基づいて、対象物をしっかりと見る力、又は見た対象物を正しく認識する力のいずれの力に問題があるのかを切り分ける。
以下の説明においては、対象物をしっかりと見る力を適宜、認知入力、と称し、見た対象物を正しく認識する力を適宜、認知処理力、と称する。
被験者に図形500を見せてその図形500を書き写すように指示した場合において、被験者の認知入力に問題が無い場合、被験者は、端点E及び交点Fを含む特徴点Cをよく見ながら、図形500を書き写す。一方、被験者の認知入力に問題が有る場合、被験者は、端点E及び交点Fを含む特徴点Cをよく見ずに、図形500を書き写す。
図13及び図14は、被験者の注視点の動きの一例を示す図であって、出力制御部226により表示装置101に表示される注視点の一例を示す図である。出力制御部226は、被験者の注視点の位置データを示すプロット点Pを表示装置101に表示させる。注視点の位置データの検出は、第1カメラ102A及び第2カメラ102Bから出力されるフレーム同期信号の周期で(例えば50[msec]毎に)実施される。したがって、表示画面101Sのうちプロット点Pが密集している領域ほど、被験者が注視していることを示す。また、プロット点Pの数が多い領域ほど、被験者がその領域を注視している時間が長いことを示す。
被験者の認知入力に問題が無い場合、図13に示すように、注視点を示すプロット点Pは特徴点Cの近傍に密集し、特定エリアAに存在するプロット点Pの数が多くなる。すなわち、被験者の認知入力に問題が無い場合、被験者は特徴点Cを長時間注視する。一方、被験者の認知入力に問題が有る場合、図14に示すように、注視点を示すプロット点Pは、特徴点Cの近傍に密集せずに表示画面101Sにおいて分散し、特定エリアAに存在するプロット点Pの数は少なくなる。すなわち、被験者の認知入力に問題が有る場合、被験者は特徴点Cを長時間注視しない。
本実施形態においては、注視点の位置データから算出される、被験者が特徴点Cを見ている時間に基づいて、視覚認知障がいの症状のうち、認知入力又は認知処理力のいずれの力に問題があるのかを切り分ける。図13に示したようなプロット点Pの分布が得られた場合、書き写された図形が元の図形500と似ていなくても、被験者が特徴点Cを注視する時間は長く、被験者の認知入力は正常であると評価することができる。図14に示したようなプロット点Pの分布が得られた場合、被験者が特徴点Cを注視する時間は短く、被験者の認知入力に問題が有ると評価することができる。
本実施形態において、診断支援装置100は、表示装置101に表示された図形500を被験者に見せる時間に制限時間Tcを設ける。判定部218は、注視点検出部214で検出された注視点の位置データに基づいて、注視点が特定エリアAに存在するか否かを判定する。演算部220は、判定部218の判定データに基づいて、制限時間Tcのうち注視点が特定エリアAに存在した存在時間Trを示す時間データを算出する。
存在時間Trは、注視点が特定エリアAに存在している滞留時間を示す。存在時間Trは、被験者が特定エリアAの特徴点Cを見る時間とみなされる。存在時間Trが長いほど、被験者はその特定エリアAに含まれる特徴点Cを長時間注視していると判定される。
本実施形態において、時間データは、制限時間Tcのうち、被験者が特徴点Cを見ていると判定される存在時間Trの割合を含む。すなわち、時間データは、制限時間Tcに対する存在時間Trの割合を示し、[Tr/Tc]の値を含む。時間データの値が大きいほど、存在時間Trが長く、被験者はその特定エリアAに含まれる特徴点Cを長時間注視していると判定される。
演算部220は、判定部218の判定データに基づいて、制限時間Tcのうち注視点が特定エリアAに存在した存在時間Trを示す時間データを算出する。出力制御部226は、演算部220で算出された時間データを出力装置50に出力する。時間データが出力装置50に出力されることにより、診断者は、その時間データに基づいて、認知入力又は認知処理力のいずれの力に問題があるのかを切り分けることができる。診断者は、時間データの値が大きい場合、認知入力に問題が無いと評価し、時間データの値が小さい場合、認知入力に問題が有ると評価することができる。
また、本実施形態においては、診断支援装置100は、被験者の評価データを出力する。評価部222は、演算部220で算出された時間データに基づいて、被験者の評価データを出力する。本実施形態においては、存在時間Trについての閾値を示す閾値データが記憶部224に記憶されている。評価部222は、制限時間Tcに対する存在時間Trの割合が閾値以上のときに、被験者の認知入力に問題が無いことを示す第1評価データを出力し、制限時間Tcに対する存在時間Trの割合が閾値未満のときに、被験者の認知入力に問題が有ることを示す第2評価データを出力する。出力制御部226は、評価部222の評価データを出力装置50に出力する。
本実施形態において、存在時間Trについての閾値は、複数の特定エリアAのそれぞれについて設定される。評価部222は、複数の特定エリアAのそれぞれについての制限時間Tcに対する存在時間Trの割合の全部が閾値以上のときに、被験者の認知入力に問題が無いことを示す第1評価データを出力する。
図15は、被験者の注視点の動きの一例を示す図であって、出力制御部226により表示装置101に表示される注視点の一例を示す図である。図15に示す例では、被験者は、端点E1及び端点E5をしっかりと見ていると評価されるものの、端点E2,E3,E4,E6を十分に見ていないと評価される。この場合、被験者の認知入力に問題が有る可能性が高い。本実施形態においては、被験者が複数の特徴点Cを満遍無く見たと判定された場合、すなわち、被験者の注視点が複数の特定エリアAに満遍無く存在したと判定された場合、評価部222は、第1評価データを出力する。評価部222は、複数の特定エリアAのそれぞれについての制限時間Tcに対する存在時間Trの割合の全部が閾値以上のときに、第1評価データを出力する。
本実施形態においては、評価部222は、交点Fを含む特定エリアA6に注視点が存在した存在時間Trに、端点E1,E2,E3,E4,E5を含む特定エリアA1,A2,A3,A4,A5に注視点が存在した存在時間Trよりも重みを付けて、評価データを出力する。例えば、特定エリアA6に注視点が存在した存在時間をTrf、特定エリアA1,A2,A3,A4,A5に注視点が存在した存在時間をTre、とした場合、存在時間Trは、以下の(1A)式で表される。なお、存在時間Treは、特定エリアA1に注視点が存在した存在時間Tre1と、特定エリアA2に注視点が存在した存在時間Tre2と、特定エリアA3に注視点が存在した存在時間Tre3と、特定エリアA4に注視点が存在した存在時間Tre4と、特定エリアA5に注視点が存在した存在時間Tre5との和である。
Tr=k1×Tre+k2×Trf …(1A)
但し、
Tre=Tre1+Tre2+Tre3+Tre4+Tre5、
k1+k2=1、
k1<k2、である。
被験者は、端点Eよりも交点Fを注視し難い傾向にある。そのため、交点Fに重み付けすることにより、評価データの精度が向上する。
また、図形500が端点Eを複数有する場合、被験者は、端点E同士の距離が長い2つの端点Eよりも、端点E同士の距離が短い2つの端点Eを認識し難い傾向にある。そのため、端点E同士の距離が短い2つの端点Eに重み付けすることにより、評価データの精度が向上する。
図11を参照して説明したように、本実施形態において、図形500は、距離W4だけ離れた端点E4及び端点5と、距離W4よりも長い距離W3だけ離れた端点E3及び端点E4とを有する。評価部222は、距離W4だけ離れた端点E4及び端点E5の少なくとも一方を含む特定エリアAに注視点が存在した存在時間Trに、距離W3だけ離れた端点E3及び端点E4の少なくとも一方を含む特定エリアAに注視点が存在した存在時間Trよりも重みを付けて、評価データを出力する。例えば、評価部222は、以下の(2A)式で示すように、端点E5に重み付けして評価データを生成する。
Tre=k1×Tre1+k2×Tre2+k3×Tre3+k4×Tre4+k5×Tre5 …(2A)
但し、
k1+k2+k3+k4+k5=1、
k1=k2=k3=k4<k5、である。
評価部222が第1評価データを出力した場合、出力制御部226は、例えば図16に示すように、「被験者の認知入力に問題無し」の文字データを出力装置50に出力させる。一方、評価部222が第2評価データを出力した場合、出力制御部226は、例えば「被験者の認知入力に問題有り」の文字データを出力装置50に出力させる。
次に、本実施形態に係る診断支援方法の一例について、図17のフローチャートを参照しながら説明する。本実施形態においては、表示制御部202は、表示装置101に図形500の静止画を表示させる。表示装置101に表示された図形500を被験者に見せた状態で、注視点検出部214は、規定のサンプリング周期(例えば50[msec]毎)に、表示装置101の表示画面101Sにおける被験者の注視点の位置データを検出する。演算部220は、制限時間Tcのうち特定エリアAに配置された注視点の位置データのサンプリング数に基づいて、時間データを算出する。
診断者又は被験者は、入力装置60を操作して、注視点検出の開始を示す入力データを生成する。入力装置60が操作されることにより、注視点検出の開始を示す入力データが生成される(ステップS301)。入力装置60の操作により生成された入力データは、入出力部302を介して入力データ取得部208に出力される。入力データ取得部208は、入力装置60から入力データを取得する。入力データ取得部208は、取得した入力データに基づいて、表示制御部202に図形500の表示を開始させる。表示制御部202は、入力データに基づいて、端点E及び交点Fの一方又は両方を含む特徴点Cを有する図形500を示す図形データを表示装置101に出力して表示させる(ステップS302)。
また、エリア設定部216は、特定エリアAを示す特定エリアデータを、入出力部302を介して表示装置101に出力する(ステップS303)。これにより、表示装置101の表示画面101Sにおいて、特徴点Cを含む特定エリアAが表示画面101Sに設定される。
注視点検出の開始を示す入力データが入力データ取得部208に取得され、表示制御部202から図形データが表示装置101に出力され、表示装置101による図形500の表示が開始された時点が、制限時間Tcの開始時点である。表示装置101が図形500の表示を開始することにより、被験者は表示装置101に表示された図形500を見て、書き写しを行うことができる。
演算部220は、注視点が特定エリアA1に存在した存在時間Tre1を算出するためのカウンタCNT1、注視点が特定エリアA2に存在した存在時間Tre2を算出するためのカウンタCNT2、注視点が特定エリアA3に存在した存在時間Tre3を算出するためのカウンタCNT3、注視点が特定エリアA4に存在した存在時間Tre4を算出するためのカウンタCNT4、注視点が特定エリアA5に存在した存在時間Tre5を算出するためのカウンタCNT5、注視点が特定エリアA6に存在した存在時間Tre6を算出するためのカウンタCNT6、及び注視点が特定エリアA(A1,A2,A3,A4,A5,A6)に存在しない(特定エリアA以外のエリアに存在した)非存在時間を算出するためのカウンタCNT0をリセットする(ステップS304)。
光源制御部204は、照明装置103を制御して、被験者の眼に検出光を照射する。画像データ取得部206は、ステレオカメラ装置102で取得された被験者の眼球111の画像データを取得する(ステップS305)。注視点検出部214は、被験者の眼球111の画像データに基づいて、表示画面101Sにおける被験者の注視点の位置データを検出する(ステップS306)。
注視点検出部214は、被験者の注視点の位置データの検出が失敗したか否かを判定する(ステップS307)。例えば、被験者の瞬きにより注視点の位置データの検出を失敗する場合がある。
ステップS307において、被験者の注視点の位置データの検出が失敗したと判定された場合(ステップS307:Yes)、ステップS316の処理が実施される。
ステップS307において、被験者の注視点の位置データの検出が成功したと判定された場合(ステップS307:No)、判定部218は、表示画面101Sにおける注視点の位置データと、表示画面101Sに設定された特定エリアAの位置データとに基づいて、複数の特定エリアAのうち、注視点が存在する特定エリアAを検出する(ステップS308)。
判定部218は、注視点の位置データに基づいて、注視点が特定エリアA1に存在するか否かを判定する(ステップS309)。
ステップS309において、注視点が特定エリアA1に存在すると判定された場合(ステップS309:Yes)、判定部218は、注視点が特定エリアA1に存在すると判定した判定結果を示す判定データを生成して演算部220に出力する。演算部220は、カウンタCNT1をインクリメントする(ステップS321)。
ステップS309において、注視点が特定エリアA1に存在しないと判定された場合(ステップS309:No)、判定部218は、注視点が特定エリアA1に存在しないと判定した判定結果を示す判定データを生成し、注視点の位置データに基づいて、注視点が特定エリアA2に存在するか否かを判定する(ステップS310)。
ステップS310において、注視点が特定エリアA2に存在すると判定された場合(ステップS310:Yes)、判定部218は、注視点が特定エリアA2に存在すると判定した判定結果を示す判定データを生成して演算部220に出力する。演算部220は、カウンタCNT2をインクリメントする(ステップS322)。
ステップS310において、注視点が特定エリアA2に存在しないと判定された場合(ステップS310:No)、判定部218は、注視点が特定エリアA2に存在しないと判定した判定結果を示す判定データを生成し、注視点の位置データに基づいて、注視点が特定エリアA3に存在するか否かを判定する(ステップS311)。
ステップS311において、注視点が特定エリアA3に存在すると判定された場合(ステップS311:Yes)、判定部218は、注視点が特定エリアA3に存在すると判定した判定結果を示す判定データを生成して演算部220に出力する。演算部220は、カウンタCNT3をインクリメントする(ステップS323)。
ステップS311において、注視点が特定エリアA3に存在しないと判定された場合(ステップS311:No)、判定部218は、注視点が特定エリアA3に存在しないと判定した判定結果を示す判定データを生成し、注視点の位置データに基づいて、注視点が特定エリアA4に存在するか否かを判定する(ステップS312)。
ステップS312において、注視点が特定エリアA4に存在すると判定された場合(ステップS312:Yes)、判定部218は、注視点が特定エリアA4に存在すると判定した判定結果を示す判定データを生成して演算部220に出力する。演算部220は、カウンタCNT4をインクリメントする(ステップS324)。
ステップS312において、注視点が特定エリアA4に存在しないと判定された場合(ステップS312:No)、判定部218は、注視点が特定エリアA4に存在しないと判定した判定結果を示す判定データを生成し、注視点の位置データに基づいて、注視点が特定エリアA5に存在するか否かを判定する(ステップS313)。
ステップS313において、注視点が特定エリアA5に存在すると判定された場合(ステップS313:Yes)、判定部218は、注視点が特定エリアA5に存在すると判定した判定結果を示す判定データを生成して演算部220に出力する。演算部220は、カウンタCNT5をインクリメントする(ステップS325)。
ステップS313において、注視点が特定エリアA5に存在しないと判定された場合(ステップS313:No)、判定部218は、注視点が特定エリアA5に存在しないと判定した判定結果を示す判定データを生成し、注視点の位置データに基づいて、注視点が特定エリアA6に存在するか否かを判定する(ステップS314)。
ステップS314において、注視点が特定エリアA6に存在すると判定された場合(ステップS314:Yes)、判定部218は、注視点が特定エリアA6に存在すると判定した判定結果を示す判定データを生成して演算部220に出力する。演算部220は、カウンタCNT6をインクリメントする(ステップS326)。
ステップS314において、注視点が特定エリアA6に存在しないと判定された場合(ステップS314:No)、判定部218は、注視点が特定エリアA6に存在しないと判定した判定結果を示す判定データを生成して演算部220に出力する。
ステップS314において、注視点が特定エリアA6に存在しないと判定された場合、注視点は複数の特定エリアA1,A2,A3,A4,A5,A6のいずれにも存在しないと判定される。判定部218は、カウンタCNT0をインクリメントする(ステップS315)。
演算部220は、入力データ取得部208に注視点検出の終了を示す入力データが取得されたか否かを確認する(ステップS316)。演算部220は、注視点検出の終了を示す入力データの有無に基づいて、注視点検出を終了するか否かを判定する(ステップS317)。
ステップS317において、注視点検出は終了しないと判定された場合(ステップS317:No)、ステップS305の処理を実施する。
ステップS317において、注視点検出は終了すると判定された場合(ステップS317:Yes)、表示制御部202は、図形500を表示装置101に表示させる処理を終了する(ステップ318)。
注視点検出の終了を示す入力データが入力データ取得部208に取得され、表示制御部202が図形500を表示装置101に表示させる処理を終了した時点が、制限時間Tcの終了時点である。
本実施形態においては、ステップS305からステップ317までの処理、及びステップ321からステップS326までの処理が、規定のサンプリング周期で実施される。
演算部220は、判定部218で生成された判定データに基づいて、制限時間Tcのうち注視点が特定エリアAに存在した存在時間Trを示す時間データを算出する(ステップS319)。
本実施形態において、判定データは、カウンタCNT0のカウント値M0、カウンタCNT1のカウント値M1、カウンタCNT2のカウント値M2、カウンタCNT3のカウント値M3、カウンタCNT4のカウント値M4、カウンタCNT5のカウント値M5、及びカウンタCNT6のカウント値M6を含む。
制限時間Tcは、カウント値M0とカウント値M1とカウント値M2とカウント値M3とカウント値M4とカウント値M5とカウント値M6との和のカウント値Mcを含む。
存在時間Tre1はカウント値M1を含み、存在時間Tre2はカウント値M2を含み、存在時間Tre3はカウント値M3を含み、存在時間Tre4はカウント値M4を含み、存在時間Tre5はカウント値M5を含み、存在時間Tre6はカウント値M6を含む。複数の特定エリアAに注視点が存在する存在時間Trは、カウント値M1とカウント値M2とカウント値M3とカウント値M4とカウント値M5とカウント値M6との和のカウント値Mrである。
時間データは、カウント値Mcに対するカウント値Mrの割合を含む。演算部220は、[Mr/Mc]の演算処理を実施して、時間データを算出する。
(1A)式を参照して説明したように、交点Fに重み付けする場合、演算部220は、以下の(1B)式の演算処理を実施して、カウント値Mrを算出する。カウント値Mreは、カウント値M1とカウント値M2とカウント値M3とカウント値M4とカウント値M5との和である。カウント値Mrfは、カウント値M6を示す。
Mr=k1×Mre+k2×Mrf …(1B)
但し、
Mre=M1+M2+M3+M4+M5、
k1+k2=1、
k1<k2、である。
(2A)式を参照して説明したように、端点Eとその隣の端点Eとの距離に基づいて重み付けする場合、演算部220は、以下の(2B)式の演算処理を実施して、カウント値Mreを算出する。
Mre=k1×M1+k2×M2+k3×M3+k4×M4+k5×M5 …(2B)
但し、
k1+k2+k3+k4+k5=1、
k1=k2=k3=k4<k5、である。
時間データが算出された後、評価部222は、演算部220で算出された時間データと、記憶部224に記憶されている閾値データとに基づいて、被験者の認知入力に問題が無いことを示す第1評価データ、及び被験者の認知入力に問題が有ることを示す第2評価データのいずれか一方を出力する。出力制御部226は、図16を参照して説明したように、評価データを出力装置50に出力する(ステップS320)。
以上説明したように、本実施形態によれば、端点E及び交点Fの一方又は両方を含む特徴点Cを有する図形500が表示装置101に表示され、表示装置101の表示画面101Sにおいて特徴点Cを含む特定エリアAが設定される。視覚認知障がいの症状のうち認知入力の問題の有無を特定するとき、端点E又は交点Fのような図形500の構成上重要な特徴点Cをしっかり見ているか否かを判定することが重要である。本実施形態によれば、被験者の注視点の位置データに基づいて、注視点が特定エリアAに存在するか否かが判定され、その判定データに基づいて、注視点検出が実施される時間である制限時間Tcのうち注視点が特定エリアAに存在した存在時間Trを示す時間データが算出されるので、その時間データに基づいて、図形500の特徴点Cをしっかりと見る力(認知入力)、又は見た図形500を正しく認識する力(認知処理力)のいずれの力に問題があるのかを切り分けることができる。したがって、診断支援装置100は、視覚認知障がいの診断を効果的に支援することができる。
また、本実施形態によれば、存在時間Trについての閾値を示す閾値データが予め求められ記憶部224に記憶されている。したがって、評価部222は、制限時間Tcに対する存在時間Trの割合が閾値以上のときに、被験者の認知入力に問題が無いことを示す第1評価データを出力し、制限時間Tcに対する存在時間Trの割合が閾値未満のときに、被験者の認知入力に問題が有ることを示す第2評価データを出力することができる。
また、本実施形態によれば、評価部222は、複数の特定エリアAのそれぞれについての制限時間Tcに対する存在時間Trの割合の全部が閾値以上のときに第1評価データを出力する。これにより、評価部222は、正しい評価データを出力することができる。
また、本実施形態によれば、評価部222は、交点Fを含む特定エリアA6に注視点が存在した存在時間Trfに、端点Eを含む特定エリアA1,A2,A3,A4,A5に注視点が存在した存在時間Treよりも重みを付けて評価データを出力する。これにより、評価データの精度は向上する。
また、本実施形態によれば、評価部222は、お互いの距離が短い2つの端点Eの少なくとも一方を含む特定エリアAに注視点が存在した存在時間Trに、お互いの距離が長い2つの端点Eの少なくとも一方を含む特定エリアAに注視点が存在した存在時間Trよりも重みを付けて評価データを出力する。こうすることによっても、評価データの精度は向上する。
また、本実施形態によれば、エリア設定部216は、複数の特定エリアAが重複しないように特定エリアAを設定する。これにより、判定部218は、複数の特徴点Cのうちどの特徴点Cが被験者に注視されているのかを正確に判定することができる。
また、本実施形態によれば、隣り合う特定エリアAの距離Dは、その特定エリアAの半径rよりも長い。したがって、判定部218は、注視点の位置データに基づいて、被験者が特徴点Cを注視しているか否かを正確に判定することができる。
また、本実施形態によれば、複数の特定エリアAは同一の大きさである。したがって、判定部218は、被験者が複数の特徴点Cを満遍無く注視しているか否かを正確に判定することができる。
また、本実施形態によれば、特定エリアAは、特徴点Cを中心とする円形エリアである。したがって、判定部218は、注視点が特定エリアAに存在するか否かを判定することにより、被験者が複数の特徴点Cを注視しているか否かを正確に判定することができる。
なお、上述の実施形態においては、特定エリアAが特徴点Cを中心とする円形エリアであることとした。特定エリアAは、特徴点Cを中心とする点対称エリアであればよい。例えば、図18に示すように、特定エリアAが、特徴点Cを中心とする正方形エリアでもよい。
<第2実施形態>
第2実施形態について説明する。以下の説明において上述の実施形態と同一又は同等の構成要素については同一の符号を付し、その説明を簡略又は省略する。
本実施形態においては、視線検出装置100が、視覚認知障がいのトレーニングを支援するトレーニング支援装置に使用される例について説明する。以下の説明においては、視線検出装置100を適宜、トレーニング支援装置100、と称する。
図19は、本実施形態に係るトレーニング支援装置100のコンピュータシステム20を示す機能ブロック図である。本実施形態において、コンピュータシステム20は、第1表示制御部202Aと第2表示制御部202Bとを有する。
第1表示制御部202Aは、端点E及び交点Fの一方又は両方を含む複数の特徴点Cを有する図形500を表示装置101に表示させる。
画像データ取得部206は、被験者の眼球11の画像データを取得する。注視点検出部214は、画像データ取得部206で取得された画像データに基づいて、被験者の注視点の位置データを検出する。
エリア設定部216は、表示装置101の表示画面101Sにおいて、複数の特徴点Cのそれぞれについて、特徴点Cを含む特定エリアBを設定する。
第2表示制御部202Bは、複数の特定エリアBのそれぞれを順次強調して表示装置101に表示させる。
判定部218は、注視点の位置データに基づいて、注視点が強調して表示された特定エリアBに存在するか否かを判定する。
評価部222は、判定部218の判定データに基づいて、被験者の評価データを出力する。評価部222は、判定部218の判定データに基づいて、特定エリアBが強調して表示された強調時間のうち注視点が強調して表示された特定エリアBに存在した存在時間を算出して、評価データを出力する。
視覚認知障がいは、トレーニングにより改善されることが知られている。視覚認知障がいのトレーニングの支援において、トレーニング支援装置100の第1表示制御部202Aは、特定の図形を表示装置101に表示させる。
図20は、本実施形態に係る第1表示制御部202Aが表示装置101に表示させた特定の図形500の一例を示す図である。本実施形態において、第1表示制御部202Aは、上述の実施形態で説明した図形500を表示装置101に表示させる。
エリア設定部216は、表示装置101の表示画面101Sにおいて特徴点Cを含むように特定エリアBを設定する。特定エリアBは、上述の実施形態で説明した特定エリアAと同様に設定される。特定エリアBは、端点E1を含む特定エリアB1と、端点E2を含む特定エリアB2と、端点E3を含む特定エリアB3と、端点E4を含む特定エリアB4と、端点E5を含む特定エリアB5と、交点Fを含む特定エリアB6とを含む。
第2表示制御部202Bは、複数の特定エリアBのそれぞれを順次強調して表示装置101に表示させる。
図21は、特定エリアB1が強調表示された状態の一例を示す図である。図22は、特定エリアB2が強調表示された状態の一例を示す図である。図23は、特定エリアB3が強調表示された状態の一例を示す図である。図24は、特定エリアB4が強調表示された状態の一例を示す図である。図25は、特定エリアB5が強調表示された状態の一例を示す図である。図26は、特定エリアB6が強調表示された状態の一例を示す図である。
第2表示制御部202Bは、特定エリアBを高輝度で表示することによって特定エリアBを強調表示してもよい。第2表示制御部202Bは、特定エリアBを高輝度で表示する状態と低輝度で表示する状態とを繰り返すことによって特定エリアBを強調表示してもよい。第2表示制御部202Bは、特定エリアBを高明度の色で表示することによって特定エリアBを強調表示してもよい。第2表示制御部202Bは、特定エリアBの彩度又は色相を変化させることによって特定エリアBを強調表示してもよい。第2表示制御部202Bは、特定エリアBの大きさを変化させることによって特定エリアBを強調表示してもよい。第2表示制御部202Bは、特定エリアBのエッジを特定色で縁取り表示することによって特定エリアBを強調表示してもよい。エッジとは、特定エリアBの半径rの円周であり、特徴点Cを含む特定エリアBと特定エリアBの周辺領域との境界のことを指す。
なお、端点Eを含む特定エリアB(B1,B2,B3,B4,B5)の強調表示の形態と、交点Fを含む特定エリアB6の強調表示の形態とが異なってもよい。例えば、交点Fを含む特定エリアB6が端点Eを含む特定エリアBよりも強調されるように、端点Eを含む特定エリアBを強調表示させるときの色相と、交点Fを含む特定エリアB6を強調表示させるときの色相とが異なってもよい。
1つの特定エリアBが強調表示される強調時間Tdは、例えば1[秒]以上3[秒]以下に設定される。強調時間Tdは、特定エリアB1が強調表示される強調時間Td1、特定エリアB2が強調表示される強調時間Td2、特定エリアB3が強調表示される強調時間Td3、特定エリアB4が強調表示される強調時間Td4、特定エリアB5が強調表示される強調時間Td5、及び特定エリアB6が強調表示される強調時間Td6を含む。
特定エリアB1が強調時間Td1だけ強調表示された後、特定エリアB2が強調時間Td2だけ強調表示される。特定エリアB2が強調時間Td2だけ強調表示された後、特定エリアB3が強調時間Td3だけ強調表示される。以下同様に、特定エリアB4,B5,B6が強調時間Td4,Td5,Td6だけ順次強調表示される。
次に、本実施形態に係る被験者のトレーニング支援方法の一例について説明する。トレーニング支援装置100は、特定エリアBが順次強調表示される図形500を被験者に見せて、視覚認知障がいの改善を図る。本実施形態においては、トレーニング支援装置100は、視覚認知障がいの症状のうち、認知入力のトレーニングを支援して、その認知入力の改善を図る。
特徴点Cを含む特定エリアBが強調表示されることにより、認知入力に問題が有る被験者は、その強調表示された特定エリアBの特徴点Cを注視するようになる。これにより、被験者の認知入力の改善が図られる。特定エリアBの強調表示は1つずつ順次行われるので、被験者の混乱を来たすことなく、効果的なトレーニングが実施される。
本実施形態においては、トレーニング支援装置100は、被験者の認知入力をトレーニングしながら、トレーニングの効果を示す評価データを取得する。トレーニング支援装置100は、被験者の注視点の位置データに基づいて、強調表示された特定エリアBの特徴点Cをしっかりと見ているかどうかを評価する。
第2表示制御部202Bは、表示装置101に表示された図形500の特徴点Cを含む特定エリアBを強調時間Tdだけ強調表示させる。
判定部218は、その強調時間Tdにおいて注視点検出部214で検出された注視点の位置データに基づいて、注視点が強調表示された特定エリアBに存在するか否かを判定する。
評価部222は、判定部218の判定データに基づいて、特定エリアBが強調表示された強調時間Tdのうち、注視点がその強調表示された特定エリアBに存在した存在時間Tsを算出して、被験者の評価データを出力する。
存在時間Tsは、注視点が強調表示された特定エリアBに存在している滞留時間を示す。存在時間Tsが長いほど、被験者はその強調表示された特定エリアBに含まれる特徴点Cを長時間注視していると判定される。
評価データは、強調時間Tdのうち、被験者が特徴点Cを見ていると判定される存在時間Tsの割合を含む。すなわち、評価データは、強調時間Tdに対する存在時間Tsの割合を示し、[Ts/Td]の値を示す。この値が大きいほど、存在時間Tsが長く、被験者はその特定エリアBに含まれる特徴点Cを長時間注視していると判定される。すなわち、この値が大きいほど、トレーニングの効果が表れていると判定される。
出力制御部226は、評価部222から出力された評価データを出力装置50に出力する。強調時間Tdに対する存在時間Tsの割合を示す評価データが出力装置50に出力されることにより、訓練者は、その評価データに基づいて、被験者の視覚認知障がいの症状のうち、認知入力が改善されているか否か、すなわち、トレーニングの効果が表れているか否かを判定することができる。訓練者は、強調時間Tdに対する存在時間Tsの割合が大きい場合、被験者の認知入力が改善されていると評価し、強調時間Tdに対する存在時間Tsの割合が小さい場合、被験者の認知入力は十分に改善されていないと評価することができる。
評価部222は、評価データを出力する。本実施形態においては、存在時間Tsについての閾値を示す閾値データが記憶部224に記憶されている。評価部222は、強調時間Tdに対する存在時間Tsの割合が閾値以上のときに、被験者の認知入力が改善したことを示す第3評価データを出力し、強調時間Tdに対する存在時間Tsの割合が閾値未満のときに、被験者の認知入力が十分に改善されていないことを示す第4評価データを出力する。出力制御部226は、評価部222の評価データを出力装置50に出力する。
本実施形態において、存在時間Tsについての閾値は、複数の特定エリアBのそれぞれについて設定される。評価部222は、複数の特定エリアBのそれぞれについての強調時間Tdに対する存在時間Tsの割合の全部が閾値以上のときに、被験者の認知入力が改善したことを示す第3評価データを出力する。
本実施形態においては、評価部222は、交点Fを含む特定エリアB6に注視点が存在した存在時間Tsに、端点E1,E2,E3,E4,E5を含む特定エリアB1,B2,B3,B4,B5に注視点が存在した存在時間Tsよりも重みを付けて、評価データを出力する。例えば、強調表示された特定エリアB6に注視点が存在した存在時間をTsf、強調表示された特定エリアB1,B2,B3,B4,B5に注視点が存在した存在時間をTse、とした場合、存在時間Tsは、以下の(3A)式で表される。なお、存在時間Tseは、強調表示された特定エリアB1に注視点が存在した存在時間Tse1と、強調表示された特定エリアB2に注視点が存在した存在時間Tse2と、強調表示された特定エリアB3に注視点が存在した存在時間Tse3と、強調表示された特定エリアB4に注視点が存在した存在時間Tse4と、強調表示された特定エリアB5に注視点が存在した存在時間Tse5との和である。
Ts=k1×Tse+k2×Tsf …(3A)
但し、
Tse=Tse1+Tse2+Tse3+Tse4+Tse5、
k1+k2=1、
k1<k2、である。
また、図形500は、距離W4だけ離れた端点E4及び端点5と、距離W4よりも長い距離W3だけ離れた端点E3及び端点E4とを有する。評価部222は、距離W4だけ離れた端点E4及び端点E5の少なくとも一方を含み強調表示された特定エリアBに注視点が存在した存在時間Tsに、距離W3だけ離れた端点E3及び端点E4の少なくとも一方を含み強調表示された特定エリアBに注視点が存在した存在時間Tsよりも重みを付けて、評価データを出力する。これにより、評価データの精度が向上する。
評価部222が第3評価データを出力した場合、出力制御部226は、例えば、「被験者の認知入力が改善」の文字データを出力装置50に出力させる。一方、評価部222が第4評価データを出力した場合、出力制御部226は、例えば「被験者の認知入力が未改善」の文字データを出力装置50に出力させる。
次に、本実施形態に係る診断支援方法の一例について、図27のフローチャートを参照しながら説明する。第1表示制御部202Aは、端点E及び交点Fの一方又は両方を含む特徴点Cを有する図形500を示す図形データを表示装置101に出力して表示させる(ステップS401)。
エリア設定部216は、特定エリアBを示す特定エリアデータを表示装置101に出力する(ステップS402)。これにより、表示装置101の表示画面101Sにおいて、特徴点Cを含む特定エリアBが表示画面101Sに設定される。
第2表示制御部202Bは、特定エリアBを強調させる強調指令データを表示装置101に出力する(ステップS403)。これにより、複数の特定エリアBのそれぞれが順次強調表示される動画の再生が開始される。
評価部222は、動画の再生時間を確認するためのタイマをリセットする(ステップS404)。
演算部220は、注視点が特定エリアB1に存在した存在時間Tse1を算出するためのカウンタCNT1、注視点が特定エリアB2に存在した存在時間Tse2を算出するためのカウンタCNT2、注視点が特定エリアB3に存在した存在時間Tse3を算出するためのカウンタCNT3、注視点が特定エリアB4に存在した存在時間Tse4を算出するためのカウンタCNT4、注視点が特定エリアB5に存在した存在時間Tse5を算出するためのカウンタCNT5、注視点が特定エリアB6に存在した存在時間Tse6を算出するためのカウンタCNT6、及び注視点が特定エリアB(B1,B2,B3,B4,B5,B6)に存在しない(特定エリアB以外のエリアに存在した)非存在時間を算出するためのカウンタCNT0をリセットする(ステップS405)。
光源制御部204は、照明装置103を制御して、被験者の眼に検出光を照射する。画像データ取得部206は、ステレオカメラ装置102で取得された被験者の眼球111の画像データを取得する(ステップS406)。注視点検出部214は、被験者の眼球111の画像データに基づいて、表示画面101Sにおける被験者の注視点の位置データを検出する(ステップS407)。
注視点検出部214は、被験者の注視点の位置データの検出が失敗したか否かを判定する(ステップS408)。
ステップS408において、被験者の注視点の位置データの検出が失敗したと判定された場合(ステップS408:Yes)、ステップS417の処理が実施される。
ステップS408において、被験者の注視点の位置データの検出が成功したと判定された場合(ステップS408:No)、判定部218は、第2表示制御部202Bから出力される強調指令データに基づいて、複数の特定エリアBのうち、強調表示されている特定エリアBを検出する(ステップS409)。
判定部218は、注視点の位置データに基づいて、注視点が特定エリアB1に存在するか否かを判定する(ステップS410)。
ステップS410において、注視点が特定エリアB1に存在すると判定された場合(ステップS410:Yes)、判定部218は、注視点が特定エリアB1に存在すると判定した判定結果を示す判定データを生成して評価部222に出力する。評価部222は、カウンタCNT1をインクリメントする(ステップS421)。
ステップS410において、注視点が特定エリアB1に存在しないと判定された場合(ステップS410:No)、判定部218は、注視点が特定エリアB1に存在しないと判定した判定結果を示す判定データを生成し、注視点の位置データに基づいて、注視点が特定エリアB2に存在するか否かを判定する(ステップS411)。
ステップS411において、注視点が特定エリアB2に存在すると判定された場合(ステップS411:Yes)、判定部218は、注視点が特定エリアB2に存在すると判定した判定結果を示す判定データを生成して評価部222に出力する。評価部222は、カウンタCNT2をインクリメントする(ステップS422)。
ステップS411において、注視点が特定エリアB2に存在しないと判定された場合(ステップS411:No)、判定部218は、注視点が特定エリアB2に存在しないと判定した判定結果を示す判定データを生成し、注視点の位置データに基づいて、注視点が特定エリアB3に存在するか否かを判定する(ステップS412)。
ステップS412において、注視点が特定エリアB3に存在すると判定された場合(ステップS412:Yes)、判定部218は、注視点が特定エリアB3に存在すると判定した判定結果を示す判定データを生成して評価部222に出力する。評価部222は、カウンタCNT3をインクリメントする(ステップS423)。
ステップS412において、注視点が特定エリアB3に存在しないと判定された場合(ステップS412:No)、判定部218は、注視点が特定エリアB3に存在しないと判定した判定結果を示す判定データを生成し、注視点の位置データに基づいて、注視点が特定エリアB4に存在するか否かを判定する(ステップS413)。
ステップS413において、注視点が特定エリアB4に存在すると判定された場合(ステップS413:Yes)、判定部218は、注視点が特定エリアB4に存在すると判定した判定結果を示す判定データを生成して評価部222に出力する。評価部222は、カウンタCNT4をインクリメントする(ステップS424)。
ステップS413において、注視点が特定エリアB4に存在しないと判定された場合(ステップS413:No)、判定部218は、注視点が特定エリアB4に存在しないと判定した判定結果を示す判定データを生成し、注視点の位置データに基づいて、注視点が特定エリアB5に存在するか否かを判定する(ステップS414)。
ステップS414において、注視点が特定エリアB5に存在すると判定された場合(ステップS414:Yes)、判定部218は、注視点が特定エリアB5に存在すると判定した判定結果を示す判定データを生成して評価部222に出力する。評価部222は、カウンタCNT5をインクリメントする(ステップS425)。
ステップS414において、注視点が特定エリアB5に存在しないと判定された場合(ステップS414:No)、判定部218は、注視点が特定エリアB5に存在しないと判定した判定結果を示す判定データを生成し、注視点の位置データに基づいて、注視点が特定エリアB6に存在するか否かを判定する(ステップS415)。
ステップS415において、注視点が特定エリアB6に存在すると判定された場合(ステップS415:Yes)、判定部218は、注視点が特定エリアB6に存在すると判定した判定結果を示す判定データを生成して評価部222に出力する。評価部222は、カウンタCNT6をインクリメントする(ステップS426)。
ステップS415において、注視点が特定エリアB6に存在しないと判定された場合(ステップS415:No)、判定部218は、注視点が特定エリアB6に存在しないと判定した判定結果を示す判定データを生成して評価部222に出力する。
ステップS415において、注視点が特定エリアB6に存在しないと判定された場合、注視点は複数の特定エリアB1,B2,B3,B4,B5,B6のいずれにも存在しないと判定される。判定部218は、カウンタCNT0をインクリメントする(ステップS416)。
評価部222は、動画の再生時間のタイマが終了したか否かを確認する(ステップS417)。
ステップS417において、タイマは終了していないと判定された場合(ステップS417:No)、ステップS406の処理を実施する。
ステップS417において、タイマが終了したと判定された場合(ステップS417:Yes)、第1表示制御部202A及び第2表示制御部202Bは、図形500を表示装置101に表示させる処理を終了する(ステップ418)。
本実施形態においては、ステップS406からステップ417までの処理、及びステップ421からステップS426までの処理が、規定のサンプリング周期で実施される。
評価部222は、判定部218で生成された判定データに基づいて、強調時間Tdのうち注視点が特定エリアBに存在した存在時間Tsを示す評価データを算出する(ステップS419)。
本実施形態において、判定データは、カウンタCNT0のカウント値M0、カウンタCNT1のカウント値M1、カウンタCNT2のカウント値M2、カウンタCNT3のカウント値M3、カウンタCNT4のカウント値M4、カウンタCNT5のカウント値M5、及びカウンタCNT6のカウント値M6を含む。
強調時間Tdは、ある特定エリアBが強調表示されている強調時間Tdにおける、カウント値M0とカウント値M1とカウント値M2とカウント値M3とカウント値M4とカウント値M5とカウント値M6との和のカウント値Mdを含む。
存在時間Tse1は、特定エリアB1が強調表示されているときのカウント値M1を含む。存在時間Tse2は、特定エリアB2が強調表示されているときのカウント値M2を含む。存在時間Tse3は、特定エリアB3が強調表示されているときのカウント値M3を含む。存在時間Tse4は、特定エリアB4が強調表示されているときのカウント値M4を含む。存在時間Tse5は、特定エリアB5が強調表示されているときのカウント値M5を含む。存在時間Tse6は、特定エリアB6が強調表示されているときのカウント値M6を含む。
強調表示されている特定エリアBに注視点が存在するトータルの存在時間Tsは、特定エリアB1が強調表示されているときのカウント値M1と、特定エリアB2が強調表示されているときのカウント値M2と、特定エリアB3が強調表示されているときのカウント値M3と、特定エリアB4が強調表示されているときのカウント値M4と、特定エリアB5が強調表示されているときのカウント値M5と、特定エリアB6が強調表示されているときのカウント値M6との和のカウント値Msを含む。
評価データは、ある特定エリアBが強調表示されているときのカウント値Mdに対する、その強調表示されている特定エリアBについてカウントされたカウント値Msの割合を含む。演算部220は、[Md/Ms]の演算処理を実施して、時間データを算出する。
(3A)式を参照して説明したように、交点Fに重み付けする場合、演算部220は、以下の(3B)式の演算処理を実施して、カウント値Msを算出する。カウント値Mseは、特定エリアB1が強調表示されているときのカウント値M1と、特定エリアB2が強調表示されているときのカウント値M2と、特定エリアB3が強調表示されているときのカウント値M3と、特定エリアB4が強調表示されているときのカウント値M4と、特定エリアB5が強調表示されているときのカウント値M5との和である。カウント値Msfは、特定エリアB6が強調表示されているときのカウント値M6を示す。
Ms=k1×Mse+k2×Msf …(3B)
但し、
Mse=M1+M2+M3+M4+M5、
k1+k2=1、
k1<k2、である。
評価データが算出された後、評価部222は、演算部220で算出された時間データと、記憶部224に記憶されている閾値データとに基づいて、被験者の認知入力が改善したことを示す第3評価データ、及び被験者の認知入力が十分に改善されていないことを示す第4評価データのいずれか一方を出力する。出力制御部226は、評価データを出力装置50に出力する(ステップS420)。
以上説明したように、本実施形態によれば、端点E及び交点Fの一方又は両方を含む特徴点Cを複数有する図形500が表示装置101に表示され、表示装置101の表示画面101Sにおいて特徴点Cを含む特定エリアBが複数設定される。それら複数の特定エリアBのそれぞれが順次強調表示されるので、被験者が強調表示された特定エリアBの特徴点Cを見ることにより、被験者の認知入力を改善するためのトレーニングが効果的に支援される。また、注視点が強調表示された特定エリアBに存在するか否かが判定され、その判定データに基づいて評価データが出力されるので、訓練者は、トレーニングの効果を把握することができる。
また、本実施形態においては、評価部222は、判定部218の判定データに基づいて、強調時間Tdに対する存在時間Tsを算出して、評価データを出力する。これにより、訓練者は、トレーニングの効果を客観的に判断することができる。
また、本実施形態によれば、存在時間Tsについての閾値を示す閾値データが予め求められ記憶部224に記憶されている。したがって、評価部222は、強調時間Tdに対する存在時間Tsの割合が閾値以上のときに、被験者の認知入力が改善されていることを示す第3評価データを出力し、強調時間Tdに対する存在時間Tsの割合が閾値未満のときに、被験者の認知入力が十分に改善されていないことを示す第4評価データを出力することができる。
また、本実施形態によれば、評価部222は、複数の特定エリアBのそれぞれについての強調時間Tdに対する存在時間Tsの割合の全部が閾値以上のときに第3評価データを出力する。これにより、評価部222は、正しい評価データを出力することができる。
また、本実施形態によれば、評価部222は、交点Fを含む特定エリアB6に注視点が存在した存在時間Tsfに、端点Eを含む特定エリアB1,B2,B3,B4,B5に注視点が存在した存在時間Tseよりも重みを付けて評価データを出力する。これにより、評価データの精度は向上する。
<第3実施形態>
第3実施形態について説明する。以下の説明において上述の実施形態と同一又は同等の構成要素については同一の符号を付し、その説明を簡略又は省略する。
本実施形態においては、視覚認知障がいの診断支援方法及びトレーニング支援方法に仕様される特定の図形600の一例について説明する。図28は、本実施形態に係る図形600の一例を示す図である。
図28に示すように、図形600は、ライン601,602,603,604,605,606の集合体である。ライン601,602,603,604,605,606はそれぞれ直線である。なお、ライン601,602,603,604,605,606の少なくとも1つが曲線でもよい。
ライン601の端とライン602の端とライン606の端とが接続され、交点F1が形成される。ライン602の端とライン603の端とが接続され、交点F2が形成される。ライン603の中央部とライン605の端とが接続され、交点F3が形成される。ライン603の端とライン604の端とライン606の端とが接続され、交点F4が形成される。ライン601の端とライン604の端とライン605の端とが接続され、交点F5が形成される。交点F1と交点F4を結んだ直線をライン606として、ライン605(の中央部)とライン606(の中央部)とが交差し、交点F6が形成される。
本実施形態において、特徴点Cは、6つの交点F(F1,F2,F3,F4,F5,F6)を含む。本実施形態において、図形600は、端点Eを有しない。
図29は、本実施形態に係る特定エリアA(A1,A2,A3,A4,A5,A6)の一例を示す図である。図29に示すように、複数の交点Fのそれぞれに特定エリアAが設定される。図29に示す例において、特定エリアAは、交点Fを中心とする円形エリアである。
図30から図35は、トレーニング支援方法において、複数の交点Fに設定された特定エリアBが強調表示される例を示す。図30は、特定エリアB1が強調表示された状態の一例を示す図である。図31は、特定エリアB2が強調表示された状態の一例を示す図である。図32は、特定エリアB3が強調表示された状態の一例を示す図である。図33は、特定エリアB4が強調表示された状態の一例を示す図である。図34は、特定エリアB5が強調表示された状態の一例を示す図である。図35は、特定エリアB6が強調表示された状態の一例を示す図である。
以上説明したように、診断支援方法及びトレーニング支援方法に使用される図形は、端点を有しなくてもよい。本実施形態に係る図形600を用いることによっても、視覚認知障がいの診断及びトレーニングを効果的に支援することができる。
なお、上述の実施形態において、診断支援方法及びトレーニング支援方法に使用される図形は、端点を有し、交点を有しなくてもよい。例えば、相互に離れた複数のラインからなる図形を使って、診断支援方法及びトレーニング支援方法が実施されてもよい。
20 コンピュータシステム、20A 演算処理装置、20B 記憶装置、30 入出力インターフェース装置、40 駆動回路、50 出力装置、60 入力装置、70 音声出力装置、100 視線検出装置(診断支援装置、トレーニング支援装置)、101 表示装置、101S 表示画面、102 ステレオカメラ装置、102A 第1カメラ、102A 第2カメラ、103 照明装置、103A 第1光源、103B 第2光源、103C 光源、103V 仮想光源、109 角膜曲率半径、110 角膜曲率中心、111 眼球、112 瞳孔、112C 瞳孔中心、113 角膜反射像、113C 角膜反射中心、121 角膜反射中心、122 角膜反射中心、123 直線、124 角膜反射中心、126 距離、130 目標位置、165 注視点、166 注視点、202 表示制御部、202A 第1表示制御部、202B 第2表示制御部、204 光源制御部、206 画像データ取得部、208 入力データ取得部、210 位置検出部、212 曲率中心算出部、214 注視点検出部、216 エリア設定部、218 判定部、220 演算部、222 評価部、224 記憶部、226 出力制御部、302 入出力部、402 表示装置駆動部、404A 第1カメラ入出力部、404B 第2カメラ入出力部、406 光源駆動部、500 図形、501 ライン、502 ライン、503 ライン、504 ライン、505 ライン、600 図形、601 ライン、602 ライン、603 ライン、604 ライン、605 ライン、606 ライン、A 特定エリア、A1,A2,A3,A4,A5,A6 特定エリア、B 特定エリア、B1,B2,B3,B4,B5,B6 特定エリア、C 特徴点、E 端点、E1,E2,E3,E4、E5 端点、F 交点。

Claims (4)

  1. 被験者の眼球の画像データを取得する画像データ取得部と、
    前記画像データに基づいて、前記被験者の注視点の位置データを検出する注視点検出部と、
    複数の特徴点を有し、直線及び曲線の少なくとも一方により形成される図形を表示部に表示させる表示制御部と、
    前記表示部の表示画面において前記複数の特徴点それぞれを含む複数の特定エリアを設定するエリア設定部と、
    前記注視点の位置データに基づいて、前記注視点が前記複数の特定エリアそれぞれに存在するか否かを判定する判定部と、
    前記判定部の判定データに基づいて、前記注視点が前記複数の特定エリアそれぞれに存在した存在時間を示す時間データを算出する演算部と、
    前記複数の特定エリアの全てについて、予め定められた制限時間に対する前記存在時間の割合が、予め定められた閾値以上のときに第1評価データを出力し、前記複数の特定エリアのいずれかにおいて前記制限時間に対する前記存在時間の割合が前記閾値未満のときに第2評価データを出力する評価部と、
    を備える診断支援装置。
  2. 前記特徴点は、前記図形の交点及び端点の一方又は両方を含み、
    前記評価部は、前記交点を含む前記特定エリアに前記注視点が存在した前記存在時間に、前記端点を含む前記特定エリアに前記注視点が存在した前記存在時間よりも重みを付けて前記第1評価データ又は前記第2評価データを出力する、
    請求項に記載の診断支援装置。
  3. 前記図形は、第1距離だけ離れた第1端点及び第2端点と、前記第1距離よりも長い第2距離だけ離れた第3端点及び第4端点とを有し、
    前記評価部は、前記第1端点及び前記第2端点の少なくとも一方を含む前記特定エリアに前記注視点が存在した前記存在時間に、前記第3端点及び前記第4端点の少なくとも一方を含む前記特定エリアに前記注視点が存在した前記存在時間よりも重みを付けて前記第1評価データ又は前記第2評価データを出力する、
    請求項又は請求項に記載の診断支援装置。
  4. 被験者の眼球の画像データを取得し、
    前記画像データに基づいて、前記被験者の注視点の位置データを検出し、
    複数の特徴点を有し、直線及び曲線の少なくとも一方により形成される図形を示す図形データを表示部に出力して表示させ、
    前記表示部の表示画面において設定される前記複数の特徴点それぞれを含む複数の特定エリアを示す特定エリアデータ表示装置に出力し、
    前記注視点の位置データに基づいて、前記注視点が前記複数の特定エリアそれぞれに存在するか否かの判定結果を示す判定データを生成し、
    前記判定データに基づいて、前記注視点が前記複数の特定エリアそれぞれに存在した存在時間を示す時間データを算出し、
    前記複数の特定エリアの全てについて、予め定められた制限時間に対する前記存在時間の割合が、予め定められた閾値以上のときに第1評価データを出力し、前記複数の特定エリアのいずれかにおいて前記制限時間に対する前記存在時間の割合が前記閾値未満のときに第2評価データを出力する、
    診断支援方法。
JP2016047264A 2016-03-10 2016-03-10 診断支援装置及び診断支援方法 Active JP6736920B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016047264A JP6736920B2 (ja) 2016-03-10 2016-03-10 診断支援装置及び診断支援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016047264A JP6736920B2 (ja) 2016-03-10 2016-03-10 診断支援装置及び診断支援方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020009866A Division JP6849110B2 (ja) 2020-01-24 2020-01-24 トレーニング支援装置、及びトレーニング支援方法

Publications (2)

Publication Number Publication Date
JP2017158866A JP2017158866A (ja) 2017-09-14
JP6736920B2 true JP6736920B2 (ja) 2020-08-05

Family

ID=59854449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016047264A Active JP6736920B2 (ja) 2016-03-10 2016-03-10 診断支援装置及び診断支援方法

Country Status (1)

Country Link
JP (1) JP6736920B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111343927B (zh) * 2017-11-14 2023-10-13 国立大学法人大阪大学 认知功能障碍诊断装置以及认知功能障碍诊断程序记录介质
EP3747351B1 (en) 2018-03-01 2022-07-06 JVCKenwood Corporation Visual function detection device, visual function detection method, and program
JP7167737B2 (ja) * 2018-03-26 2022-11-09 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
WO2020031471A1 (ja) * 2018-08-08 2020-02-13 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
JP7047676B2 (ja) * 2018-08-31 2022-04-05 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
JP6988787B2 (ja) * 2018-12-28 2022-01-05 株式会社Jvcケンウッド 表示装置、表示方法、およびプログラム
JP7056550B2 (ja) * 2018-12-28 2022-04-19 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
JP6958540B2 (ja) * 2018-12-28 2021-11-02 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
JP7115424B2 (ja) * 2019-06-20 2022-08-09 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
EP4129200A1 (en) 2020-03-27 2023-02-08 Osaka University Cognitive impairment diagnostic device and cognitive impairment diagnostic program
JP6988030B1 (ja) * 2020-09-23 2022-01-05 NPO法人Ubdobe リハビリテーション装置及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4626980B2 (ja) * 2005-01-21 2011-02-09 独立行政法人情報通信研究機構 視覚訓練装置及び視覚訓練方法
JP5912351B2 (ja) * 2011-09-05 2016-04-27 国立大学法人浜松医科大学 自閉症診断支援システム及び自閉症診断支援装置
JP5971066B2 (ja) * 2012-09-28 2016-08-17 株式会社Jvcケンウッド 診断支援装置および診断支援装置の作動方法
JP5974790B2 (ja) * 2012-09-28 2016-08-23 株式会社Jvcケンウッド 診断支援装置および診断支援方法

Also Published As

Publication number Publication date
JP2017158866A (ja) 2017-09-14

Similar Documents

Publication Publication Date Title
JP6736920B2 (ja) 診断支援装置及び診断支援方法
JP6737234B2 (ja) 評価装置、評価方法、及び評価プログラム
EP3075304B1 (en) Line-of-sight detection assistance device and line-of-sight detection assistance method
JP6848526B2 (ja) 評価装置、評価方法、及び評価プログラム
WO2015146491A1 (ja) 検出装置および検出方法
JP2019171022A (ja) 評価装置、評価方法、及び評価プログラム
JP6747172B2 (ja) 診断支援装置、診断支援方法、及びコンピュータプログラム
WO2020137028A1 (ja) 表示装置、表示方法、およびプログラム
JP7067502B2 (ja) 評価装置、評価方法、及び評価プログラム
JP2019046438A (ja) 評価装置、及び評価方法
JP6849110B2 (ja) トレーニング支援装置、及びトレーニング支援方法
JP6996343B2 (ja) 評価装置、評価方法、及び評価プログラム
JP7239856B2 (ja) 評価装置、評価方法、及び評価プログラム
JP6883242B2 (ja) 評価装置、評価方法、及び評価プログラム
WO2020031471A1 (ja) 評価装置、評価方法、及び評価プログラム
JP7057483B2 (ja) 評価装置、評価方法、及び評価プログラム
WO2020183792A1 (ja) 表示装置、表示方法、及び表示プログラム
WO2020044691A1 (ja) 評価装置、評価方法、及び評価プログラム
WO2019188152A1 (ja) 評価装置、評価方法、及び評価プログラム
JP6776970B2 (ja) 視線検出装置、視線検出方法及び視線検出プログラム
JP7074221B2 (ja) 評価装置、評価方法、及び評価プログラム
JP7247690B2 (ja) 評価装置、評価方法、及び評価プログラム
JP7027958B2 (ja) 評価装置、評価方法、及び評価プログラム
JP6187347B2 (ja) 検出装置および検出方法
JP2015181797A (ja) 検出装置および検出方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160419

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191210

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200629

R150 Certificate of patent or registration of utility model

Ref document number: 6736920

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150