以下、本発明に係る評価装置、評価方法、及び評価プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第1軸と平行な方向をX軸方向とし、第1軸と直交する所定面の第2軸と平行な方向をY軸方向とし、第1軸及び第2軸のそれぞれと直交する第3軸と平行な方向をZ軸方向とする。所定面はXY平面を含む。
[視線検出装置]
図1は、本実施形態に係る視線検出装置100の一例を模式的に示す斜視図である。視線検出装置100は、認知機能障害および脳機能障害の評価を行う評価装置として用いられる。図1に示すように、視線検出装置100は、表示装置101と、ステレオカメラ装置102と、照明装置103とを備える。
表示装置101は、液晶ディスプレイ(liquid crystal display:LCD)又は有機ELディスプレイ(organic electroluminescence display:OLED)のようなフラットパネルディスプレイを含む。本実施形態において、表示装置101は、表示部101Sを有する。表示部101Sは、画像を表示する。本実施形態において、表示部101Sは、例えば被験者の視機能を評価するための指標を表示する。表示部101Sは、XY平面と実質的に平行である。X軸方向は表示部101Sの左右方向であり、Y軸方向は表示部101Sの上下方向であり、Z軸方向は表示部101Sと直交する奥行方向である。
ステレオカメラ装置102は、第1カメラ102A及び第2カメラ102Bを有する。ステレオカメラ装置102は、表示装置101の表示部101Sよりも下方に配置される。第1カメラ102Aと第2カメラ102BとはX軸方向に配置される。第1カメラ102Aは、第2カメラ102Bよりも-X方向に配置される。第1カメラ102A及び第2カメラ102Bはそれぞれ、赤外線カメラを含み、例えば波長850[nm]の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。
照明装置103は、第1光源103A及び第2光源103Bを有する。照明装置103は、表示装置101の表示部101Sよりも下方に配置される。第1光源103Aと第2光源103BとはX軸方向に配置される。第1光源103Aは、第1カメラ102Aよりも-X方向に配置される。第2光源103Bは、第2カメラ102Bよりも+X方向に配置される。第1光源103A及び第2光源103Bはそれぞれ、LED(light emitting diode)光源を含み、例えば波長850[nm]の近赤外光を射出可能である。なお、第1光源103A及び第2光源103Bは、第1カメラ102Aと第2カメラ102Bとの間に配置されてもよい。
照明装置103は、検出光である近赤外光を射出して、被験者の眼球111を照明する。ステレオカメラ装置102は、第1光源103Aから射出された検出光が眼球111に照射されたときに第2カメラ102Bで眼球111の一部(以下、これを含めて「眼球」とする)を撮影し、第2光源103Bから射出された検出光が眼球111に照射されたときに第1カメラ102Aで眼球111を撮影する。
第1カメラ102A及び第2カメラ102Bの少なくとも一方からフレーム同期信号が出力される。第1光源103A及び第2光源103Bは、フレーム同期信号に基づいて検出光を射出する。第1カメラ102Aは、第2光源103Bから射出された検出光が眼球111に照射されたときに、眼球111の画像データを撮影する。第2カメラ102Bは、第1光源103Aから射出された検出光が眼球111に照射されたときに、眼球111の画像データを撮影する。
眼球111に検出光が照射されると、その検出光の一部は瞳孔112で反射し、その瞳孔112からの光がステレオカメラ装置102に入射する。また、眼球111に検出光が照射されると、角膜の虚像である角膜反射像113が眼球111に形成され、その角膜反射像113からの光がステレオカメラ装置102に入射する。
第1カメラ102A及び第2カメラ102Bと第1光源103A及び第2光源103Bとの相対位置が適切に設定されることにより、瞳孔112からステレオカメラ装置102に入射する光の強度は低くなり、角膜反射像113からステレオカメラ装置102に入射する光の強度は高くなる。すなわち、ステレオカメラ装置102で撮影される瞳孔112の画像は低輝度となり、角膜反射像113の画像は高輝度となる。ステレオカメラ装置102は、撮影される画像の輝度に基づいて、瞳孔112の位置及び角膜反射像113の位置を検出することができる。
図2は、本実施形態に係る視線検出装置100のハードウェア構成の一例を示す図である。図2に示すように、視線検出装置100は、表示装置101と、ステレオカメラ装置102と、照明装置103と、コンピュータシステム20と、入出力インターフェース装置30と、駆動回路40と、出力装置50と、入力装置60とを備える。
コンピュータシステム20と、駆動回路40と、出力装置50と、入力装置60とは、入出力インターフェース装置30を介してデータ通信する。コンピュータシステム20は、演算処理装置20A及び記憶装置20Bを含む。演算処理装置20Aは、CPU(central processing unit)のようなマイクロプロセッサを含む。記憶装置20Bは、ROM(read only memory)及びRAM(random access memory)のようなメモリ又はストレージを含む。演算処理装置20Aは、記憶装置20Bに記憶されているコンピュータプログラム20Cに従って演算処理を実施する。
駆動回路40は、駆動信号を生成して、表示装置101、ステレオカメラ装置102、及び照明装置103に出力する。また、駆動回路40は、ステレオカメラ装置102で撮影された眼球111の画像データを、入出力インターフェース装置30を介してコンピュータシステム20に供給する。
出力装置50は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置50は、印刷装置を含んでもよい。入力装置60は、操作されることにより入力データを生成する。入力装置60は、コンピュータシステム用のキーボード又はマウスを含む。なお、入力装置60が表示装置である出力装置50の表示部に設けられたタッチセンサを含んでもよい。
本実施形態においては、表示装置101とコンピュータシステム20とは別々の装置である。なお、表示装置101とコンピュータシステム20とが一体でもよい。例えば視線検出装置100がタブレット型パーソナルコンピュータを含む場合、そのタブレット型パーソナルコンピュータに、コンピュータシステム20、入出力インターフェース装置30、駆動回路40、及び表示装置101が搭載されてもよい。
図3は、本実施形態に係る視線検出装置100の一例を示す機能ブロック図である。図3に示すように、入出力インターフェース装置30は、入出力部302を有する。駆動回路40は、表示装置101を駆動するための駆動信号を生成して表示装置101に出力する表示装置駆動部402と、第1カメラ102Aを駆動するための駆動信号を生成して第1カメラ102Aに出力する第1カメラ入出力部404Aと、第2カメラ102Bを駆動するための駆動信号を生成して第2カメラ102Bに出力する第2カメラ入出力部404Bと、第1光源103A及び第2光源103Bを駆動するための駆動信号を生成して第1光源103A及び第2光源103Bに出力する光源駆動部406とを有する。また、第1カメラ入出力部404Aは、第1カメラ102Aで撮影された眼球111の画像データを、入出力部302を介してコンピュータシステム20に供給する。第2カメラ入出力部404Bは、第2カメラ102Bで撮影された眼球111の画像データを、入出力部302を介してコンピュータシステム20に供給する。
コンピュータシステム20は、視線検出装置100を制御する。コンピュータシステム20は、表示制御部202と、光源制御部204と、画像データ取得部206と、入力データ取得部208と、位置検出部210と、曲率中心算出部212と、注視点検出部214と、領域設定部216と、判定部218と、演算部220と、記憶部222と、評価部224と、出力制御部226とを有する。コンピュータシステム20の機能は、演算処理装置20A及び記憶装置20Bによって発揮される。
表示制御部202は、被験者に注視させる課題対象物と、課題対象物に関する課題である指示情報とを表示部101Sに表示する指示表示動作を行う。課題対象物は、課題特徴部分を有する。課題特徴部分は、被験者が記憶する際に外観上の特徴となり得る部分である。例えば、課題対象物を構成する図柄の凹部、凸部、又は複数の図柄の接続部分等を課題特徴部分とすることができる。複数の図柄の接続部分としては、例えば複数の図柄の重複部分、接触部分並びに交差部分等が挙げられる。指示情報は、表示部101Sに表示可能な文字、図形等を含む。課題としては、例えば課題対象物を被験者に記憶させ、記憶した課題対象物と同一の対象物を選択させる課題等が挙げられる。
また、表示制御部202は、指示表示動作の後に、指示情報に対して正解となる特定対象物と、特定対象物とは異なる比較対象物とを表示部101Sに表示する対象表示動作を行う。特定対象物は、課題特徴部分に対応する特定特徴部分を有する。課題特徴部分と同様に、特定対象物を構成する図柄の凹部、凸部、又は複数の図柄の接続部分等を特定特徴部分とすることができる。複数の図柄の接続部分としては、例えば複数の図柄の重複部分、接触部分並びに交差部分等が挙げられる。なお、上記のような、例えば記憶した課題対象物と同一の対象物を選択させる課題が出された場合、特定対象物は、課題対象物と外観上同一の対象物となる。したがって、この場合、特定特徴部分は、課題特徴部分とは、同一の部分である。
上記の課題対象物、指示情報、特定対象物及び比較対象物は、例えば被験者に視認させる評価用映像又は評価用画像に含まれている。表示制御部202は、このような評価用映像又は評価用画像を表示部101Sに表示する。なお、指示情報は、文字を用いた文章等の態様に限定されない。指示情報は、被験者に課題が伝達可能であれば、例えば図形の組み合わせ等、文字を用いない態様であってもよい。
光源制御部204は、光源駆動部406を制御して、第1光源103A及び第2光源103Bの作動状態を制御する。光源制御部204は、第1光源103Aと第2光源103Bとが異なるタイミングで検出光を射出するように第1光源103A及び第2光源103Bを制御する。
画像データ取得部206は、第1カメラ102A及び第2カメラ102Bを含むステレオカメラ装置102によって撮影された被験者の眼球111の画像データを、入出力部302を介してステレオカメラ装置102から取得する。
入力データ取得部208は、入力装置60が操作されることにより生成された入力データを、入出力部302を介して入力装置60から取得する。
位置検出部210は、画像データ取得部206で取得された眼球111の画像データに基づいて、瞳孔中心の位置データを検出する。また、位置検出部210は、画像データ取得部206で取得された眼球111の画像データに基づいて、角膜反射中心の位置データを検出する。瞳孔中心は、瞳孔112の中心である。角膜反射中心は、角膜反射像113の中心である。位置検出部210は、被験者の左右それぞれの眼球111について、瞳孔中心の位置データ及び角膜反射中心の位置データを検出する。
曲率中心算出部212は、画像データ取得部206で取得された眼球111の画像データに基づいて、眼球111の角膜曲率中心の位置データを算出する。
注視点検出部214は、画像データ取得部206で取得された眼球111の画像データに基づいて、被験者の注視点の位置データを検出する。本実施形態において、注視点の位置データとは、三次元グローバル座標系で規定される被験者の視線ベクトルと表示装置101の表示部101Sとの交点の位置データをいう。注視点検出部214は、眼球111の画像データから取得された瞳孔中心の位置データ及び角膜曲率中心の位置データに基づいて、被験者の左右それぞれの眼球111の視線ベクトルを検出する。視線ベクトルが検出された後、注視点検出部214は、視線ベクトルと表示部101Sとの交点を示す注視点の位置データを検出する。
領域設定部216は、指示表示動作が行われる指示表示期間において、課題対象物の課題特徴部分に対応した課題特徴領域と、指示情報に対応した指示領域とを表示部101Sに設定する。また、領域設定部216は、対象表示動作が行われる対象表示期間において、特定対象物の特定特徴部分に対応した特定特徴領域と、比較対象物に対応した比較領域とを表示部101Sに設定する。
判定部218は、指示表示期間において、視点の位置データに基づいて、注視点が課題特徴領域及び指示領域に存在するか否かをそれぞれ判定し、判定データを出力する。判定部218は、例えば一定時間毎に注視点が課題特徴領域及び指示領域に存在するか否かを判定する。また、判定部218は、対象表示期間において、視点の位置データに基づいて、注視点が特定特徴領域及び比較領域に存在するか否かをそれぞれ判定し、判定データを出力する。判定部218は、例えば一定時間毎に注視点が特定領域及び比較領域に存在するか否かを判定する。一定時間としては、例えば第1カメラ102A及び第2カメラ102Bから出力されるフレーム同期信号の周期(例えば20[msec]毎)とすることができる。
演算部220は、判定部218の判定データに基づいて、指示表示期間における注視点の移動の経過を示す指示移動経過データを算出する。また、演算部220は、判定部218の判定データに基づいて、対象表示期間における注視点の移動の経過を示す対象移動経過データを算出する。
指示移動経過データは、指示表示期間に注視点が課題特徴領域に存在した存在時間を示す第1存在時間データと、指示表示期間に注視点が指示領域に存在した存在時間を示す第2存在時間データと、指示表示期間の開始時点から注視点が課題特徴領域に到達した到達時点までの時間を示す指示到達時間データと、課題特徴領域と指示領域との間で注視点の位置が移動する回数を示す指示移動回数データと、を含む。
対象移動経過データは、対象表示期間の開始時点から注視点が特定特徴領域に到達した到達時点までの時間を示す対象到達時間データと、注視点が最初に特定特徴領域に到達するまでに複数の比較領域の間で注視点の位置が移動する回数を示す対象移動回数データと、表示期間に注視点が特定特徴領域に存在した存在時間を示す対象存在時間データと、特定特徴領域及び比較領域のうち表示時間において注視点が最後に存在していた領域を示す最終領域データと、を含む。
なお、演算部220は、映像の再生時間を管理する管理タイマと、表示部101Sに映像が表示されてからの経過時間を検出する検出タイマT1を有する。演算部220は、特定領域について、注視点が存在すると判定された判定回数をカウントするカウンタを有する。
評価部224は、対象移動経過データに基づいて、被験者の評価データを求める。また、評価部224は、指示移動経過データ及び対象移動経過データに基づいて、被験者の評価データを求めることが可能である。評価データは、指示表示動作において、表示部101Sに表示される課題対象物および指示情報を被験者が注視できているかを評価するデータを含む。また、評価データは、対象表示動作において、表示部101Sに表示される特定対象物および比較対象物を被験者が注視できているかを評価するデータを含む。
記憶部222は、上記の判定データ、指示移動経過データ(第1存在時間データ、第2存在時間データ、指示到達時間データ、指示移動回数データ)、対象移動経過データ(対象存在時間データ、対象移動回数データ、最終領域データ、対象到達時間データ)、及び評価データを記憶する。また、記憶部222は、表示部101Sに画像を表示する処理と、表示部101Sを観察する被験者の注視点の位置データを検出する処理と、課題特徴部分を有し被験者に注視させる課題対象物と、課題対象物に関する課題である指示情報とを表示部101Sに表示した後に、課題特徴部分に対応する特定特徴部分を有し指示情報に対して正解となる特定対象物と、特定対象物とは異なる比較対象物とを表示部101Sに表示する処理と、特定特徴部分に対応した特定特徴領域と、比較対象物に対応した比較領域とを表示部101Sに設定する処理と、注視点の位置データに基づいて、注視点が特定特徴領域及び比較領域に存在するかをそれぞれ判定する処理と、判定結果に基づいて、注視点の対象移動経過データを算出する処理と、対象移動経過データに基づいて、被験者の評価データを求める処理とをコンピュータに実行させる評価プログラムを記憶する。
出力制御部226は、表示装置101及び出力装置50の少なくとも一方にデータを出力する。
次に、本実施形態に係る曲率中心算出部212の処理の概要について説明する。曲率中心算出部212は、眼球111の画像データに基づいて、眼球111の角膜曲率中心の位置データを算出する。図4及び図5は、本実施形態に係る角膜曲率中心110の位置データの算出方法を説明するための模式図である。図4は、1つの光源103Cで眼球111が照明される例を示す。図5は、第1光源103A及び第2光源103Bで眼球111が照明される例を示す。
まず、図4に示す例について説明する。光源103Cは、第1カメラ102Aと第2カメラ102Bとの間に配置される。瞳孔中心112Cは、瞳孔112の中心である。角膜反射中心113Cは、角膜反射像113の中心である。図4において、瞳孔中心112Cは、眼球111が1つの光源103Cで照明されたときの瞳孔中心を示す。角膜反射中心113Cは、眼球111が1つの光源103Cで照明されたときの角膜反射中心を示す。角膜反射中心113Cは、光源103Cと角膜曲率中心110とを結ぶ直線上に存在する。角膜反射中心113Cは、角膜表面と角膜曲率中心110との中間点に位置付けられる。角膜曲率半径109は、角膜表面と角膜曲率中心110との距離である。角膜反射中心113Cの位置データは、ステレオカメラ装置102によって検出される。角膜曲率中心110は、光源103Cと角膜反射中心113Cとを結ぶ直線上に存在する。曲率中心算出部212は、その直線上において角膜反射中心113Cからの距離が所定値となる位置データを、角膜曲率中心110の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部222に記憶されている。
次に、図5に示す例について説明する。本実施形態においては、第1カメラ102A及び第2光源103Bと、第2カメラ102B及び第1光源103Aとは、第1カメラ102Aと第2カメラ102Bとの中間位置を通る直線に対して左右対称の位置に配置される。第1カメラ102Aと第2カメラ102Bとの中間位置に仮想光源103Vが存在するとみなすことができる。角膜反射中心121は、第2カメラ102Bで眼球111を撮影した画像における角膜反射中心を示す。角膜反射中心122は、第1カメラ102Aで眼球111を撮影した画像における角膜反射中心を示す。角膜反射中心124は、仮想光源103Vに対応する角膜反射中心を示す。角膜反射中心124の位置データは、ステレオカメラ装置102で撮影された角膜反射中心121の位置データ及び角膜反射中心122の位置データに基づいて算出される。ステレオカメラ装置102は、ステレオカメラ装置102に規定される三次元ローカル座標系において角膜反射中心121の位置データ及び角膜反射中心122の位置データを検出する。ステレオカメラ装置102について、事前にステレオ較正法によるカメラ較正が実施され、ステレオカメラ装置102の三次元ローカル座標系を三次元グローバル座標系に変換する変換パラメータが算出される。その変換パラメータは、記憶部222に記憶されている。曲率中心算出部212は、ステレオカメラ装置102で撮影された角膜反射中心121の位置データ及び角膜反射中心122の位置データを、変換パラメータを使って、三次元グローバル座標系における位置データに変換する。曲率中心算出部212は、三次元グローバル座標系で規定される角膜反射中心121の位置データ及び角膜反射中心122の位置データに基づいて、三次元グローバル座標系における角膜反射中心124の位置データを算出する。角膜曲率中心110は、仮想光源103Vと角膜反射中心124とを結ぶ直線123上に存在する。曲率中心算出部212は、直線123上において角膜反射中心124からの距離が所定値となる位置データを、角膜曲率中心110の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部222に記憶されている。
このように、光源が2つある場合でも、光源が1つである場合の方法と同様の方法で、角膜曲率中心110が算出される。
角膜曲率半径109は、角膜表面と角膜曲率中心110との距離である。したがって、角膜表面の位置データ及び角膜曲率中心110の位置データが算出されることにより、角膜曲率半径109が算出される。
次に、本実施形態に係る視線検出方法の一例について説明する。図6は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。キャリブレーション処理では、被験者に注視させるため、目標位置130が設定される。目標位置130は、三次元グローバル座標系において規定される。本実施形態において、目標位置130は、例えば表示装置101の表示部101Sの中央位置に設定される。なお、目標位置130は、表示部101Sの端部位置に設定されてもよい。出力制御部226は、設定された目標位置130に目標画像を表示する。直線131は、仮想光源103Vと角膜反射中心113Cとを結ぶ直線である。直線132は、目標位置130と瞳孔中心112Cとを結ぶ直線である。角膜曲率中心110は、直線131と直線132との交点である。曲率中心算出部212は、仮想光源103Vの位置データと、目標位置130の位置データと、瞳孔中心112Cの位置データと、角膜反射中心113Cの位置データとに基づいて、角膜曲率中心110の位置データを算出することができる。
次に、注視点検出処理について説明する。注視点検出処理は、キャリブレーション処理の後に実施される。注視点検出部214は、眼球111の画像データに基づいて、被験者の視線ベクトル及び注視点の位置データを算出する。図7は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。図7において、注視点165は、一般的な曲率半径値を用いて算出された角膜曲率中心から求めた注視点を示す。注視点166は、キャリブレーション処理で求められた距離126を用いて算出された角膜曲率中心から求めた注視点を示す。瞳孔中心112Cは、キャリブレーション処理において算出された瞳孔中心を示し、角膜反射中心113Cは、キャリブレーション処理において算出された角膜反射中心を示す。直線173は、仮想光源103Vと角膜反射中心113Cとを結ぶ直線である。角膜曲率中心110は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離126は、キャリブレーション処理により算出した瞳孔中心112Cと角膜曲率中心110との距離である。角膜曲率中心110Hは、距離126を用いて角膜曲率中心110を補正した補正後の角膜曲率中心の位置を示す。角膜曲率中心110Hは、角膜曲率中心110が直線173上に存在すること、及び瞳孔中心112Cと角膜曲率中心110との距離が距離126であることから求められる。これにより、一般的な曲率半径値を用いる場合に算出される視線177は、視線178に補正される。また、表示装置101の表示部101S上の注視点は、注視点165から注視点166に補正される。
[評価方法]
次に、本実施形態に係る評価方法について説明する。本実施形態に係る評価方法では、上記の視線検出装置100を用いることにより、被験者の認知機能障害および脳機能障害を評価する。
図8は、指示表示動作において表示部101Sに表示する内容の一例を示す図である。図8に示すように、表示制御部202は、指示表示動作において、被験者に注視させる課題対象物M01と、課題対象物M01に関する課題を解決するように被験者に指示する指示情報I1とを表示部101Sに表示する。この場合、課題対象物M01の図形を記憶し、記憶した課題対象物M01と同一の対象物を選択させる、という内容の課題が例として示されている。この場合、表示制御部202は、課題対象物M01と指示情報I1とが重ならないように表示部101Sに表示することができる。図8に示す例において、課題対象物M01は、複数の図柄を組み合わせた形状を有している。具体的には、課題対象物M01は、円形と正三角形とを組み合わせた形状を有しており、正三角形の一の頂点が円周に接触している。課題対象物M01において、正三角形の一の頂点が円周に接触する接触部分は、被験者が記憶する際に外観上の特徴となり得る部分、すなわち、課題特徴部分C01である。
指示表示動作が行われる指示表示期間において、領域設定部216は、例えば課題対象物M01のうち課題特徴部分C01を含む矩形の範囲に課題特徴領域Aを設定する。課題特徴領域Aは、課題特徴部分C01が含まれていればよく、課題対象物M1の全体が含まれる必要はない。また、領域設定部216は、例えば指示情報I1を含む矩形の範囲に指示領域Bを設定する。領域設定部216は、課題特徴領域Aと指示領域Bとが重ならないように表示部101Sに設定する。なお、課題特徴領域A、指示領域Bの形状については、矩形に限定されず、円形、楕円形、多角形等、他の形状であってもよい。
図9は、対象表示動作において表示部101Sに複数の対象物を表示する場合の一例を示す図である。表示制御部202は、指示表示動作を所定期間行った後、対象表示動作として、図9に示すように、指示情報I1に対して正解となる特定対象物M1と指示情報I1に対して不正解となる複数の比較対象物M2~M4を表示部101Sに表示する。
ここで、指示情報I1の内容に基づくと、課題対象物M01と特定対象物M1とは、外観が同一の対象物となる。したがって、特定対象物M1は、課題対象物M01と同様、円形と正三角形とを組み合わせた形状を有しており、正三角形の一の頂点が円周に接触している。比較対象物M2~M4は、特定対象物M1と類似する形状を有してもよいし、特定対象物M1とは非類似の形状を有してもよい。図9に示す例では、比較対象物M2は台形と円形とを組み合わせた形状、比較対象物M3は正方形と円形を組み合わせた形状、比較対象物M4は円形と正六角形とを組み合わせた形状をそれぞれ有している。表示制御部202は、特定対象物M1と比較対象物M2~M4とを含む複数の対象物を表示部101Sに表示することにより、被験者に特定対象物M1を見つけさせると共に、見つけさせた特定対象物M1を注視させる。
なお、図9では、表示部101Sにおいて、例えば計測後に結果表示される注視点Pの一例を示しているが、当該注視点Pは、実際には表示部101Sには表示されない。注視点の位置データの検出は、例えば第1カメラ102A及び第2カメラ102Bから出力されるフレーム同期信号の周期で(例えば20[msec]毎に)実施される。第1カメラ102A及び第2カメラ102Bは、同期して撮像する。
対象表示動作が行われる対象表示期間において、領域設定部216は、特定対象物M1の特定特徴部分C1に対応した矩形の範囲に特定特徴領域A1を設定する。特定特徴部分C1は、課題対象物M01の課題特徴部分C01に対応する部分である。ここでは、特定対象物M1の特定特徴部分C1は、課題対象物M01の課題特徴部分C01と同一の部分となる。つまり、特定対象物M1のうち、正三角形の一の頂点が円周に接触する接触部分が、特定特徴部分C1である。また、領域設定部216は、比較対象物M2~M4のそれぞれに対応した矩形の範囲に比較領域A2~A4を設定する。なお、特定特徴領域A1及び比較領域A2~A4は、表示部101Sには表示されない。また、特定特徴領域A1、比較領域A2~A4の形状については、矩形に限定されず、円形、楕円形、多角形等、他の形状であってもよい。
認知機能障害および脳機能障害の症状は、被験者の認知能力及び記憶力に影響することが知られている。被験者が認知機能障害および脳機能障害ではない場合、指示表示動作において表示部101Sに表示される指示情報I1を見た後、指示情報I1が示す課題対象物M01を注視して課題対象物M01の形状を記憶しようとする。また、被験者が認知機能障害および脳機能障害ではない場合、対象表示動作において表示部101Sに表示される比較対象物M2~M4を1つ1つ見て、指示表示動作において記憶した特定対象物M1と比べた上で同一ではないと判定し、最終的には特定対象物M1を発見して注視することができる。また、被験者が認知機能障害および脳機能障害ではない場合、指示表示動作においては課題対象物M01の課題特徴部分C01を注視して記憶し、対象表示動作においては特定対象物M1の特定特徴部分C1を注視することで判定を行う傾向にある。
これに対して、被験者が認知機能障害および脳機能障害である場合、指示表示動作において指示情報I1を見続けたり、指示情報I1と課題対象物M01とを交互に見たりして、課題対象物M01を集中して見ない傾向にある。また、被験者が認知機能障害および脳機能障害である場合、指示表示動作において特定対象物M1を記憶することができないことがあり、または記憶しても直ぐに忘れてしまうことがある。そのため、対象表示動作において上記のような比較ができず、特定対象物M1を注視できないことがある。
また、対象表示動作において複数の対象物M1、M2、M3、M4を表示部101Sに表示する方式では、対象表示動作の開始時に、被験者の注視点が正解である特定対象物M1等に偶然配置されてしまう場合がある。このような場合、被験者が認知機能障害および脳機能障害であるか否かに関わらず正解として判定される可能性があるため、被験者を高精度に評価することが困難となる。このため、例えば以下の手順を行うことにより、被験者を評価することが可能である。
まず、指示表示動作として、表示制御部202は、課題特徴部分C01を含む課題対象物M01と指示情報I1とを表示部101Sに表示する。この場合に、被験者が表示部101Sに表示される指示情報I1を見た後、指示情報I1が示す課題対象物M01の課題特徴部分C01を注視して課題対象物M01の形状を記憶しようとしているか否かの観点から被験者を評価することが可能である。また、逆に指示表示動作において被験者が指示情報I1を見続けたりしていないか、指示情報I1と課題対象物M01とを交互に見たりしていないか、課題対象物M01の課題特徴部分C01を集中して見ないことはないか、という観点から被験者を評価することが可能である。
また、対象表示動作として、表示部101Sに特定対象物M1と複数の比較対象物M2~M4とを表示させた状態とする。この場合に、被験者が複数の比較対象物M2~M4を1つ1つ注視しているか否か、被験者が最終的に正解となる特定対象物M1に到達できるか否か、被験者が特定対象物M1に到達するまでに要する時間の長さはどれだけか、被験者が特定対象物M1の特定特徴部分C1を注視できているか否か、等の観点から被験者を評価することが可能である。
例えば、指示表示動作において、被験者の注視点Pの位置データが検出された場合、判定部218は、被験者の注視点が課題特徴領域A及び指示領域Bに存在するかを判定し、判定データを出力する。
演算部220は、判定データに基づいて、指示表示期間における注視点Pの移動の経過を示す指示移動経過データを算出する。演算部220は、指示移動経過データとして、第1存在時間データと、第2存在時間データと、指示到達時間データと、指示移動回数データとを算出する。
第1存在時間データは、注視点Pが課題特徴領域Aに存在した存在時間を示す。本実施形態では、判定部218により例えば一定時間毎に注視点Pが課題特徴領域A及び指示領域Bに存在するか否かを判定した結果、注視点が課題特徴領域Aに存在すると判定された回数が多いほど、課題特徴領域Aに注視点Pが存在した存在時間が長いと推定することができる。したがって、第1存在時間データは、課題特徴領域Aに注視点が存在すると判定部218に判定された回数とすることができる。つまり、演算部220は、カウンタにおけるカウント値CNTAを第1存在時間データとすることができる。
第2存在時間データは、注視点Pが指示領域Bに存在した存在時間を示す。本実施形態では、判定部218により例えば一定時間毎に注視点Pが課題特徴領域A及び指示領域Bに存在するか否かを判定した結果、注視点が指示領域Bに存在すると判定された回数が多いほど、指示領域Bに注視点Pが存在した存在時間が長いと推定することができる。したがって、第2存在時間データは、指示領域Bに注視点が存在すると判定部218に判定された回数とすることができる。つまり、演算部220は、カウンタにおけるカウント値CNTBを第1存在時間データとすることができる。
指示到達時間データは、指示表示期間の開始時点から注視点が課題特徴領域Aに最初に到達した到達時点までの時間を示す。したがって、演算部220は、指示表示期間の開始からの経過時間をタイマT1によって測定し、注視点が最初に課題特徴領域Aに到達した時点でフラグ値を1としてタイマT1の測定値を検出することで、当該タイマT1の検出結果を指示到達時間データとすることができる。
指示移動回数データは、注視点Pが課題特徴領域Aと指示領域Bとの間で移動する移動回数を示す。したがって、演算部220は、課題特徴領域A及び指示領域Bの領域間で注視点Pが何回移動したかをカウントし、カウント結果を指示移動回数データとすることができる。
指示表示動作について、評価部224は、第1存在時間データ、第2存在時間データ、指示到達時間データ及び指示移動回数データに基づいて評価データを求める。
ここで、第1存在時間データのデータ値をD11、第2存在時間データのデータ値をD12、指示到達時間データのデータ値をD13、指示移動回数データのデータ値をD14とする。ただし、第1存在時間データのデータ値D11は、課題特徴領域Aに注視点Pが存在した秒数とし、所定の上限値α以上の場合にはαとする。また、第2存在時間データのデータ値D12は、上記の値αから指示領域Bに注視点Pが存在した秒数を減じた値とする。また、指示到達時間データのデータ値D13は、到達時間の逆数(例えば、1/(到達時間)÷10)(10:到達時間の最小値を0.1秒として到達時間評価値を1以下とするための係数)とする。また、指示移動回数データのデータ値D14は、1からカウンタ値を減じた値とする。なお、データ値D14を算出する場合、1から減じるカウンタ値には、上限を設けてもよい。
この場合、評価値ANSは、例えば、
ANS1=D11・K11+D12・K12+D13・K13+D14・K14
と表すことができる。なお、K11~K14は、重みづけのための定数である。定数K11~K14については、適宜設定することができる。
上記式で示される評価値ANS1は、第1存在時間データのデータ値D11が大きい場合、第2存在時間データのデータ値D12が大きい場合、指示到達時間データのデータ値D13が大きい場合、指示移動回数データのデータ値D14が大きい場合に、値が大きくなる。つまり、課題特徴領域Aにおける注視点Pの存在時間が長く、指示領域Bにおける注視点Pの存在時間が短く、指示表示期間の開始時点から課題特徴領域Aに注視点Pが到達する到達時間が短く、注視点Pが課題特徴領域Aと指示領域Bとの間を移動する移動回数が少ないほど、評価値ANS1が大きくなる。
一方、評価値ANS1は、第1存在時間データのデータ値D11が小さい場合、第2存在時間データのデータ値D12が小さい場合、指示到達時間データのデータ値D13が小さい場合、指示移動回数データのデータ値D14が小さい場合に、値が小さくなる。つまり、課題特徴領域Aにおける注視点Pの存在時間が短く、指示領域Bにおける注視点Pの存在時間が長く、指示表示期間の開始時点から課題特徴領域Aに注視点Pが到達する到達時間が長く、注視点Pが課題特徴領域Aと指示領域Bとの間を移動する移動回数が多いほど、評価値ANS1が小さくなる。
したがって、評価部224は、評価値ANS1が所定値以上か否かを判断することで評価データを求めることができる。例えば評価値ANS1が所定値以上である場合、被験者が認知機能障害および脳機能障害である可能性は低いと評価することができる。また、評価値ANS1が所定値未満である場合、被験者が認知機能障害および脳機能障害である可能性は高いと評価することができる。
また、例えば対象表示動作において、被験者の注視点Pの位置データが検出された場合、判定部218は、被験者の注視点が特定特徴領域A1、及び複数の比較領域A2~A4に存在するかを判定し、判定データを出力する。
演算部220は、判定データに基づいて、対象表示期間における注視点Pの移動の経過を示す対象移動経過データを算出する。演算部220は、対象移動経過データとして、対象存在時間データと、対象移動回数データと、最終領域データと、対象到達時間データとを算出する。
対象存在時間データは、注視点Pが特定特徴領域A1に存在した存在時間を示す。本実施形態では、判定部218により例えば一定時間毎に注視点Pが特定特徴領域A1に存在するか否かを判定した結果、特定特徴領域A1に存在すると判定された回数が多いほど、特定特徴領域A1に注視点Pが存在した存在時間が長いと推定することができる。したがって、対象存在時間データは、特定特徴領域A1に注視点が存在すると判定部218に判定された回数とすることができる。つまり、演算部220は、カウンタにおけるカウント値CNTA1を対象存在時間データとすることができる。
対象移動回数データは、注視点Pが最初に特定特徴領域A1に到達するまでに複数の比較領域A2~A4の間で注視点Pの位置が移動する移動回数を示す。したがって、演算部220は、特定特徴領域A1及び比較領域A2~A4の領域間で注視点Pが何回移動したかをカウントし、注視点Pが特定特徴領域A1に到達するまでのカウント結果を対象移動回数データとすることができる。
また、最終領域データは、特定特徴領域A1及び比較領域A2~A4のうち対象表示期間において注視点Pが最後に存在していた領域、つまり被験者が回答として最後に注視していた領域を示す。演算部220は、注視点Pが存在する領域を当該注視点Pの検出毎に更新することにより、対象表示期間が終了した時点における検出結果を最終領域データとすることができる。
また、対象到達時間データは、対象表示期間の開始時点から注視点が特定特徴領域A1に最初に到達した到達時点までの時間を示す。したがって、演算部220は、対象表示期間の開始からの経過時間をタイマT1によって測定し、注視点が最初に特定特徴領域A1に到達した時点でフラグ値を1としてタイマT1の測定値を検出することで、当該タイマT1の検出結果を対象到達時間データとすることができる。
対象表示動作について、評価部224は、対象存在時間データ、対象移動回数データ、最終領域データ、及び対象到達時間データに基づいて評価データを求める。
ここで、最終領域データのデータ値をD21、対象存在時間データのデータ値をD22、対象到達時間データのデータ値をD23、対象移動回数データのデータ値をD24とする。ただし、最終領域データのデータ値D21は、被験者の最終的な注視点Pが特定特徴領域A1に存在していれば(つまり、正解であれば)1、特定特徴領域A1に存在していなければ(つまり、不正解であれば)0とする。また、対象存在時間データのデータ値D22は、特定特徴領域A1に注視点Pが存在した秒数とする。なお、データ値D22は、表示期間よりも短い秒数の上限値が設けられてもよい。また、対象到達時間データのデータ値D23は、到達時間の逆数(例えば、1/(到達時間)÷10)(10:到達時間の最小値を0.1秒として到達時間評価値を1以下とするための係数)とする。また、対象移動回数データのデータ値D24は、カウンタ値をそのまま用いることとする。なお、データ値D24は、適宜上限値が設けられてもよい。
この場合、評価値ANSは、例えば、
ANS2=D21・K21+D22・K22+D23・K23+D24・K24
と表すことができる。なお、K21~K24は、重みづけのための定数である。定数K21~K24については、適宜設定することができる。
上記式で示される評価値ANS2は、最終領域データのデータ値D21が1である場合、対象存在時間データのデータ値D22が大きい場合、対象到達時間データのデータ値D23が大きい場合、対象移動回数データのデータ値D24の値が大きい場合に、値が大きくなる。つまり、最終的な注視点Pが特定特徴領域A1に存在し、特定特徴領域A1における注視点Pの存在時間が長く、対象表示期間の開始時点から特定特徴領域A1に注視点Pが到達する到達時間が短く、注視点Pが各領域を移動する移動回数が多いほど、評価値ANS2が大きくなる。
一方、評価値ANS2は、最終領域データのデータ値D21が0である場合、対象存在時間データのデータ値D22が小さい場合、対象到達時間データのデータ値D23が小さい場合、対象移動回数データのデータ値D24が小さい場合に、値が小さくなる。つまり、最終的な注視点Pが特定特徴領域A1に存在せず、特定特徴領域A1における注視点Pの存在時間が短く、対象表示期間の開始時点から特定特徴領域A1に注視点Pが到達する到達時間が長く、注視点Pが各領域を移動する移動回数が少ないほど、評価値ANS2が小さくなる。
したがって、評価部224は、評価値ANS2が所定値以上か否かを判断することで評価データを求めることができる。例えば評価値ANS2が所定値以上である場合、被験者が認知機能障害および脳機能障害である可能性は低いと評価することができる。また、評価値ANS2が所定値未満である場合、被験者が認知機能障害および脳機能障害である可能性は高いと評価することができる。
また、評価部224は、評価値ANS2の値を記憶部222に記憶させておくことができる。例えば、同一の被験者についての評価値ANS2を累積的に記憶し、過去の評価値と比較した場合の評価を行ってもよい。例えば、評価値ANS2が過去の評価値よりも高い値となった場合、認知機能及び脳機能が前回の評価に比べて改善されている旨の評価を行うことができる。また、評価値ANS2の累積値が徐々に高くなっている場合等には、認知機能及び脳機能が徐々に改善されている旨の評価を行うことができる。
また、評価部224は、対象存在時間データ、対象移動回数データ、最終領域データ、及び対象到達時間データを個別又は複数組み合わせて評価を行ってもよい。例えば、多くの対象物を見ている間に、偶発的に特定特徴領域A1に注視点Pが到達した場合には、対象移動回数データのデータ値D24は小さくなる。この場合には、上述した対象存在時間データのデータ値D22と併せて評価を行うことができる。例えば、移動回数が少ない場合であっても存在時間が長い場合には、正解となる特定特徴領域A1を注視できていると評価することができる。また、移動回数が少ない場合であって存在時間も短い場合、偶発的に注視点Pが特定特徴領域A1を通過したものがあると評価することができる。
また、移動回数が少ない場合において、最終領域が特定特徴領域A1であれば、例えば正解の特定特徴領域A1に注視点移動が少なくて到達したと評価することができる。一方、上述した移動回数が少ない場合において、最終領域が特定特徴領域A1でなければ、例えば偶発的に注視点Pが特定特徴領域A1を通過したものあると評価することができる。
なお、評価部224は、指示表示動作における評価値ANS1と、対象表示動作における評価値ANS2とを組み合わせて評価を行ってもよい。
本実施形態において、出力制御部226は、評価部224が評価データを出力した場合、評価データに応じて、例えば「被験者は認知機能障害および脳機能障害である可能性が低いと思われます」の文字データや、「被験者は認知機能障害および脳機能障害である可能性が高いと思われます」の文字データ等を出力装置50に出力させることができる。また、出力制御部226は、同一の被験者についての評価値ANSが過去の評価値ANSに比べて高くなっている場合、「認知機能および脳機能が改善されています」等の文字データ等を出力装置50に出力させることができる。
図10は、指示表示動作において表示部101Sに表示する内容の他の例を示す図である。図10に示すように、表示制御部202は、指示表示動作において、表示部101Sに課題対象物M02を表示すると共に、当該課題対象物M02と同一の図形を注視するように被験者に指示するための指示情報I2を表示部101Sに同時に表示する。課題対象物M02は、同一の形状(例、五角形)を複数用いて形成された図柄である。具体的には、課題対象物M02は、2つの五角形を組み合わせた形状を有しており、五角形の一の角部同士が重なっている。課題対象物M02において、五角形の角部同士が重なった重複部分は、被験者が記憶する際に外観上の特徴となり得る部分、すなわち、課題特徴部分C02である。
領域設定部216は、例えば課題対象物M02の課題特徴部分C02を含む矩形の範囲に課題特徴領域Aを設定する。また、領域設定部216は、例えば指示情報I2を含む矩形の範囲に指示領域Bを設定する。領域設定部216は、課題特徴領域Aと指示領域Bとが重ならないように表示部101Sに設定する。
図11は、対象表示動作において表示部101Sに複数の対象物を表示する場合の他の例を示す図である。表示制御部202は、指示表示動作の後、対象表示動作において、図11に示すように、指示情報I2に対して正解となる特定対象物M5と指示情報I2に対して不正解となる比較対象物M6、M7とを表示する。
上記同様、指示情報I2の内容に基づくと、課題対象物M02と特定対象物M5とは、外観が同一の対象物となる。したがって、特定対象物M5は、課題対象物M02と同様、2つの五角形を組み合わせた形状を有しており、五角形の一の角部同士が重なっている。また、比較対象物M6、M7は、特定対象物M5と同様に、2つの五角形を組み合わせた形状を有している。ただし、比較対象物M6、M7は、特定対象物M5とは異なる位置の角部同士が重なった形状である。
領域設定部216は、特定対象物M5の特定特徴部分C5に対応した特定特徴領域A1を設定し、比較対象物M6、M7に対応した比較領域A2、A3を設定することができる。特定特徴部分C5は、課題対象物M02の課題特徴部分C02に対応する部分である。ここでは、特定対象物M5の特定特徴部分C5は、課題対象物M02の課題特徴部分C02と同一の部分となる。つまり、特定対象物M5のうち、五角形の一の角部同士が重なった重複部分が、特定特徴部分C5である。領域設定部216は、特定特徴領域A1と比較領域A2、A3とが重ならないように表示部101Sに設定する。このように、対象表示動作において、類似する図形である特定対象物M5と比較対象物M6、M7とを表示することにより、被験者の図形認識機能についても評価することができる。
図12は、指示表示動作において表示部101Sに表示する内容の他の例を示す図である。図12に示すように、表示制御部202は、指示表示動作において、表示部101Sに課題対象物M03を表示すると共に、当該課題対象物M03と同一の図形を注視するように被験者に指示するための指示情報I3を表示部101Sに同時に表示する。課題対象物M03は、例えば90°回転させたハート形を左右対称に配置して凸状の端部同士を重ねた形状から重複部分の線を削除した図柄である。この場合、2つのハート型の重複部分は、外観上は凹部となる。課題対象物M03において、このような凹部は、被験者が記憶する際に外観上の特徴となり得る部分、すなわち、課題特徴部分C03である。
領域設定部216は、例えば課題対象物M03の課題特徴部分C03を含む矩形の範囲に課題特徴領域Aを設定する。また、領域設定部216は、例えば指示情報I3を含む矩形の範囲に指示領域Bを設定する。領域設定部216は、課題特徴領域Aと指示領域Bとが重ならないように表示部101Sに設定する。
図13は、対象表示動作において表示部101Sに複数の対象物を表示する場合の他の例を示す図である。表示制御部202は、指示表示動作の後、対象表示動作において、図13に示すように、指示情報I3に対して正解となる特定対象物M8と指示情報I3に対して不正解となる比較対象物M9~M11とを表示する。
上記同様、指示情報I3の内容に基づくと、課題対象物M03と特定対象物M8とは、外観が同一の対象物となる。したがって、特定対象物M8は、課題対象物M03と同様、90°回転させたハート形を左右対称に配置して凸状の端部同士を重ねた形状から重複部分の線を削除した図柄である。また、比較対象物M9~M11は、特定対象物M8と同様に、2つの図形を左右対称に配置して端部同士を重ねた形状から重複部分の線を削除した図柄である。比較対象物M9は円形、比較対象物M10は四角形、比較対象物M11は三角形をそれぞれ基本とした図柄である。
領域設定部216は、特定対象物M8の特定特徴部分C8に対応した特定特徴領域A1を設定し、比較対象物M9~M11に対応した比較領域A2~A4を設定することができる。特定特徴部分C8は、課題対象物M03の課題特徴部分C03に対応する部分である。ここでは、特定対象物M8の特定特徴部分C8は、課題対象物M03の課題特徴部分C03と同一の部分となる。つまり、特定対象物M8のうち、2つのハート型の重複部分に形成される凹部が、特定特徴部分C8である。領域設定部216は、特定特徴領域A1と比較領域A2~A4とが重ならないように表示部101Sに設定する。このように、対象表示動作において、類似する図形である特定対象物M8と比較対象物M9~M11とを表示することにより、被験者の図形認識機能を評価することができる。
次に、本実施形態に係る評価方法の一例について説明する。図14及び図15は、本実施形態に係る評価方法の一例を示すフローチャートである。本実施形態では、指示表示動作及び対象表示動作を続けて行う場合の評価方法の一例を説明する。図14では指示表示動作の一例を主として示し、対象表示動作の一例については図15において示している。
図14に示すように、指示表示動作において、表示制御部202は、映像の再生を開始させ(ステップS101)、その後、タイマT1をリセットし(ステップS102)、カウンタのカウント値CNTA、CNTBをリセットし(ステップS103)、フラグ値Fを0にする(ステップS104)。
注視点検出部214は、表示装置101に表示された映像を被験者に見せた状態で、規定のサンプリング周期(例えば20[msec])毎に、表示装置101の表示部101Sにおける被験者の注視点の位置データを検出する(ステップS105)。位置データが検出された場合(ステップS106のNo)、判定部218は、位置データに基づいて注視点Pが存在する領域を判定する(ステップS107)。また、位置データが検出されない場合(ステップS106のYes)、後述するステップS119以降の処理を行う。
注視点Pが課題特徴領域Aに存在すると判定された場合(ステップS108のYes)、演算部220は、フラグ値Fが1であるか否か、つまり、注視点Pが課題特徴領域Aに到達したのが最初か否か(1:到達済み、0:未到達)を判定する(ステップS109)。フラグ値Fが1である場合(ステップS109のYes)、演算部220は、以下のステップS110及びステップS111を飛ばして後述するステップS112の処理を行う。
また、フラグ値Fが1ではない場合、つまり、課題特徴領域Aに注視点Pが到達したのが最初である場合(ステップS109のNo)、演算部220は、タイマT1の計測結果を指示到達時間データとして抽出する(ステップS110)。その後、演算部220は、フラグ値を1に変更する(ステップS111)。
次に、演算部220は、直近の検出において注視点Pが存在した領域、つまり最終領域が課題特徴領域Aであるか否かを判定する(ステップS112)。演算部220は、最終領域が課題特徴領域Aであると判定した場合(ステップS112のYes)、以下のステップS113を飛ばして後述するステップS114の処理を行う。また、最終領域が課題特徴領域Aではないと判定した場合(ステップS112のNo)、演算部220は、注視点Pが領域間で何回移動したかを示す積算回数を+1とし(ステップS113)、課題特徴領域Aでの第1存在時間データを示すカウント値CNTAを+1とする(ステップS114)。その後、演算部220は、後述するステップS119以降の処理を行う。
また、注視点Pが課題特徴領域Aに存在しないと判定された場合(ステップS108のNo)、演算部220は、注視点Pが指示領域Bに存在するか否かを判定する(ステップS115)。注視点Pが指示領域Bに存在すると判定された場合(ステップS115のYes)、演算部220は、直近の検出において注視点Pが存在した領域、つまり最終領域が指示領域Bであるか否かを判定する(ステップS116)。演算部220は、最終領域が指示領域Bであると判定した場合(ステップS116のYes)、以下のステップS117を飛ばして後述するステップS118の処理を行う。また、最終領域が指示領域Bではないと判定した場合(ステップS116のNo)、演算部220は、注視点Pが領域間で何回移動したかを示す積算回数を+1とし(ステップS117)、指示領域Bでの第2存在時間データを示すカウント値CNTBを+1とする(ステップS118)。ステップS118の後、及びステップS115において注視点Pが指示領域Bに存在しないと判定された場合(ステップS115のNo)、演算部220は、後述するステップS119以降の処理を行う。
その後、演算部220は、検出タイマT1の検出結果に基づいて、映像の再生が完了する時刻に到達したか否かを判断する(ステップS119)。演算部220により映像の再生が完了する時刻に到達していないと判断された場合(ステップS119のNo)、上記のステップS105以降の処理を繰り返し行う。
演算部220により映像の再生が完了する時刻に到達したと判断された場合(ステップS119のYes)、対象表示動作を行う(ステップS200)。図15に示すように、対象表示動作において、表示制御部202は、映像の再生を開始させる(ステップS201)。評価用映像部分までの待ち時間を経過した後(ステップS202)、タイマTT1をリセットし(ステップS203)、カウンタのカウント値CNTA1をリセットし(ステップS204)、フラグ値FFを0にする(ステップS205)。
注視点検出部214は、表示装置101に表示された映像を被験者に見せた状態で、規定のサンプリング周期(例えば20[msec])毎に、表示装置101の表示部101Sにおける被験者の注視点の位置データを検出する(ステップS206)。位置データが検出されなかった場合(ステップS207のYes)、演算部220は、後述するステップS230以降の処理を行う。位置データが検出された場合(ステップS207のNo)、判定部218は、位置データに基づいて注視点Pが存在する領域を判定する(ステップS208)。
注視点Pが特定特徴領域A1に存在すると判定された場合(ステップS209のYes)、演算部220は、フラグ値FFが1であるか否か、つまり、注視点Pが特定特徴領域A1に到達したのが最初か否か(1:到達済み、0:未到達)を判定する(ステップS210)。フラグ値FFが1である場合(ステップS210のYes)、演算部220は、以下のステップS211からステップS213を飛ばして後述するステップS214の処理を行う。
また、フラグ値FFが1ではない場合、つまり、特定特徴領域A1に注視点Pが到達したのが最初である場合(ステップS210のNo)、演算部220は、タイマTT1の計測結果を対象到達時間データとして抽出する(ステップS211)。また、演算部220は、特定特徴領域A1に到達するまでに注視点Pが領域間の移動を何回行ったかを示す移動回数データを記憶部222に記憶させる(ステップS212)。その後、演算部220は、フラグ値FFを1に変更する(ステップS213)。
次に、演算部220は、直近の検出において注視点Pが存在した領域、つまり最終領域が特定特徴領域A1であるか否かを判定する(ステップS214)。演算部220は、最終領域が特定特徴領域A1であると判定した場合(ステップS214のYes)、以下のステップS215及びステップS216を飛ばして後述するステップS217の処理を行う。また、最終領域が特定特徴領域A1ではないと判定した場合(ステップS214のNo)、演算部220は、注視点Pが領域間で何回移動したかを示す積算回数を+1とし(ステップS215)、最終領域を特定特徴領域A1に変更する(ステップS216)。また、演算部220は、特定特徴領域A1での対象存在時間データを示すカウント値CNTA1を+1とする(ステップS217)。その後、演算部220は、後述するステップS230以降の処理を行う。
また、注視点Pが特定特徴領域A1に存在しないと判定された場合(ステップS209のNo)、演算部220は、注視点Pが比較領域A2に存在するか否かを判定する(ステップS218)。注視点Pが比較領域A2に存在すると判定された場合(ステップS218のYes)、演算部220は、直近の検出において注視点Pが存在した領域、つまり最終領域が比較領域A2であるか否かを判定する(ステップS219)。演算部220は、最終領域が比較領域A2であると判定した場合(ステップS219のYes)、以下のステップS220及びステップS221を飛ばして後述するステップS230の処理を行う。また、最終領域が比較領域A2ではないと判定した場合(ステップS219のNo)、演算部220は、注視点Pが領域間で何回移動したかを示す積算回数を+1とし(ステップS220)、最終領域を比較領域A2に変更する(ステップS221)。その後、演算部220は、後述するステップS230以降の処理を行う。
また、注視点Pが比較領域A2に存在しないと判定された場合(ステップS218のNo)、演算部220は、注視点Pが比較領域A3に存在するか否かを判定する(ステップS222)。注視点Pが比較領域A3に存在すると判定された場合(ステップS222のYes)、演算部220は、直近の検出において注視点Pが存在した領域、つまり最終領域が比較領域A3であるか否かを判定する(ステップS223)。演算部220は、最終領域が比較領域A3であると判定した場合(ステップS223のYes)、以下のステップS224及びステップS225を飛ばして後述するステップS230の処理を行う。また、最終領域が比較領域A3ではないと判定した場合(ステップS223のNo)、演算部220は、注視点Pが領域間で何回移動したかを示す積算回数を+1とし(ステップS224)、最終領域を比較領域A3に変更する(ステップS225)。その後、演算部220は、後述するステップS230以降の処理を行う。
また、注視点Pが比較領域A3に存在しないと判定された場合(ステップS222のNo)、演算部220は、注視点Pが比較領域A4に存在するか否かを判定する(ステップS226)。注視点Pが比較領域A4に存在すると判定された場合(ステップS226のYes)、演算部220は、直近の検出において注視点Pが存在した領域、つまり最終領域が比較領域A4であるか否かを判定する(ステップS227)。演算部220は、最終領域が比較領域A4であると判定した場合(ステップS227のYes)、以下のステップS228及びステップS229を飛ばして後述するステップS230の処理を行う。また、最終領域が比較領域A4ではないと判定した場合(ステップS227のNo)、演算部220は、注視点Pが領域間で何回移動したかを示す積算回数を+1とし(ステップS228)、最終領域を比較領域A4に変更する(ステップS229)。ステップS229の後、及びステップS226において注視点Pが比較領域A4に存在しないと判定された場合(ステップS226のNo)、演算部220は、後述するステップS230以降の処理を行う。
その後、演算部220は、検出タイマT1の検出結果に基づいて、映像の再生が完了する時刻に到達したか否かを判断する(ステップS230)。演算部220により映像の再生が完了する時刻に到達していないと判断された場合(ステップS230のNo)、上記のステップS206以降の処理を繰り返し行う。
演算部220により映像の再生が完了する時刻に到達したと判断された場合(ステップS230のYes)、対象表示動作を完了する。対象表示動作が完了した後、図14に示すように、表示制御部202は、指示表示動作に関する映像の再生を停止させる(ステップS120)。映像の再生が停止された後、評価部224は、上記の処理結果から得られる評価値を算出し、評価値に基づいて評価データを求める(ステップS121)。ステップS121において、評価部224は、例えば指示表示動作における処理結果から得られる第1存在時間データと、第2存在時間データと、指示移動回数データと、指示到達時間データとに基づいて、評価値ANS1を算出し(ステップS121)、評価値ANS1に基づいて評価データを求める。また、評価部224は、例えば対象表示動作における処理結果から得られる対象存在時間データと、対象移動回数データと、最終領域データと、対象到達時間データに基づいて、評価値ANS2を算出し(ステップS121)、評価値ANS2に基づいて評価データを求める。その後、出力制御部226は、評価部224で求められた評価データを出力する(ステップS122)。なお、上記の例では、指示表示動作及び対象表示動作を続けて行った後に評価データを出力する場合を説明したが、これに限定されず、指示表示動作及び対象表示動作のそれぞれの動作が完了するごとに評価を行ってもよい。
なお、上記実施形態では、領域設定部216は、対象表示動作において、特定対象物の特定特徴領域に特定特徴領域A1を設定する場合を例に挙げて説明した。これに対して、領域設定部216は、対象表示動作において、特定対象物の特定特徴領域に対応する特定特徴領域A1を設定すると共に、特定対象物の全体に対応する特定領域を設定してもよい。
図16から図18は、図9、図11、図13でそれぞれ示す対象表示動作において、特定対象物の特定特徴領域に対応する特定特徴領域A1に加えて、特定対象物の全体に対応する特定領域を設定した場合の一例を示す図である。図16に示すように、領域設定部215は、対象表示動作において、特定対象物M1の特定特徴領域C1に対応する特定特徴領域A1に加えて、特定対象物M1の全体に対応した矩形の範囲に特定領域A5を設定することができる。また、図17に示すように、領域設定部215は、対象表示動作において、特定対象物M5の特定特徴領域C5に対応する特定特徴領域A1に加えて、特定対象物M5の全体に対応した矩形の範囲に特定領域A5を設定することができる。また、図18に示すように、領域設定部215は、対象表示動作において、特定対象物M8の特定特徴領域C8に対応する特定特徴領域A1に加えて、特定対象物M8の全体に対応した矩形の範囲に特定領域A5を設定することができる。なお、図16から図18に示す各特定領域A5の形状については、矩形に限定されず、円形、楕円形、多角形等、他の形状であってもよい。
図19は、本実施形態に係る評価方法の他の例を示すフローチャートである。図19では、対象表示動作において、特定対象物の特定特徴領域に対応する特定特徴領域A1に加えて、特定対象物の全体に対応する特定領域を設定した場合に判定を行う動作を示している。
図19に示すように、表示制御部202は、上記実施形態と同様に、対象表示動作において、表示制御部202は、映像の再生を開始させる(ステップS201)。評価用映像部分までの待ち時間を経過した後(ステップS202)、タイマTT1をリセットし(ステップS203)、カウンタのカウント値CNTA1をリセットし(ステップS204)、フラグ値FFを0にする(ステップS205)。注視点検出部214は、表示装置101の表示部101Sにおける被験者の注視点の位置データを検出する(ステップS206)。位置データが検出された場合(ステップS207のNo)、判定部218は、位置データに基づいて注視点Pが存在する領域を判定する(ステップS208)。
上記実施形態では、注視点Pが特定特徴領域A1に存在すると判定されたか否かの判定を行ったが、ここでは、注視点Pが特定領域A5に存在すると判定されたか否かの判定を行う(ステップS231)。注視点Pが特定領域A5に存在しないと判定された場合(ステップS231のNo)、上記実施形態と同様にステップS218以降の処理を行う。この場合、ステップS218以降の処理内容については、上記実施形態と同様である。
一方、注視点Pが特定領域A5に存在すると判定された場合(ステップS231のYes)、演算部220は、フラグ値FFが1であるか否か、つまり、注視点Pが特定領域A5に到達したのが最初か否か(1:到達済み、0:未到達)を判定する(ステップS232)。フラグ値FFが1である場合(ステップS232のYes)、演算部220は、以下のステップS233からステップS235を飛ばして後述するステップS236の処理を行う。
また、フラグ値FFが1ではない場合、つまり、特定領域A5に注視点Pが到達したのが最初である場合(ステップS232のNo)、演算部220は、タイマTT1の計測結果を対象到達時間データとして抽出する(ステップS233)。また、演算部220は、特定領域A5に到達するまでに注視点Pが領域間の移動を何回行ったかを示す移動回数データを記憶部222に記憶させる(ステップS234)。その後、演算部220は、フラグ値FFを1に変更する(ステップS235)。
次に、演算部220は、直近の検出において注視点Pが存在した領域、つまり最終領域が特定領域A5であるか否かを判定する(ステップS236)。演算部220は、最終領域が特定領域A5であると判定した場合(ステップS236のYes)、以下のステップS237及びステップS238を飛ばして後述するステップS239の処理を行う。また、最終領域が特定領域A5ではないと判定した場合(ステップS236のNo)、演算部220は、注視点Pが領域間で何回移動したかを示す積算回数を+1とし(ステップS237)、最終領域を特定領域A5に変更する(ステップS238)。また、演算部220は、特定領域A5での対象存在時間データを示すカウント値CNTA1を+1とする(ステップS239)。
その後、演算部220は、注視点Pが特定特徴領域A1に存在すると判定されたか否かの判定を行う(ステップS240)。注視点Pが特定特徴領域A1に存在すると判定された場合(ステップS240のYes)、演算部220は、特定領域A5での対象存在時間データを示すカウント値CNTA1を+1とする(ステップS241)。一方、注視点Pが特定特徴領域A1に存在しないと判定された場合(ステップS240のNo)、ステップS241を飛ばしてステップS230以降の処理を行う。
つまり、注視点Pが特定特徴領域A1に存在すると判定された場合には、ステップS239に加えてステップS241においても、対象存在時間データを示すカウント値CNTA1が+1となる。したがって、注視点Pが特定特徴領域A1に存在すると判定された場合には、対象存在時間データを示すカウント値CNTA1が合計で+2となる。一方、注視点Pが特定領域A5には存在するが、特定特徴領域A1には存在しないと判定された場合には、ステップS239では対象存在時間データを示すカウント値CNTA1が+1となるが、ステップS241ではカウント値CNTA1が+1とはならない。したがって、注視点Pが特定領域A5には存在するが、特定特徴領域A1には存在しないと判定された場合には、対象存在時間データを示すカウント値CNTA1が合計で+1となる。このように、注視点Pが特定特徴領域A1に存在すると判定された場合と、注視点Pが特定領域A5には存在するが、特定特徴領域A1には存在しないと判定された場合とで、対象存在時間データに異なる重み付けがされることになる。
以上のように、本実施形態に係る評価装置100は、画像を表示する表示部101Sと、表示部101Sを観察する被験者の注視点の位置を検出する注視点検出部214と、課題特徴部分を有し被験者に注視させる課題対象物と、課題対象物に関する課題である指示情報とを表示部101Sに表示した後に、課題特徴部分に対応する特定特徴部分を有し指示情報に対して正解となる特定対象物と、特定対象物とは異なる比較対象物とを表示部101Sに表示する表示制御部202と、特定特徴部分に対応した特定特徴領域A1と、比較対象物に対応した比較領域A2~A4とを表示部101Sに設定する領域設定部216と、注視点の位置データに基づいて、注視点が特定特徴領域A1及び比較領域A2~A4に存在するかをそれぞれ判定する判定部218と、判定部218の判定結果に基づいて、注視点の対象移動経過データを算出する演算部220と、対象移動経過データに基づいて、被験者の評価データを求める評価部224とを備える。
また、本実施形態に係る評価方法は、表示部101Sに画像を表示することと、表示部101Sを観察する被験者の注視点の位置を検出することと、課題特徴部分を有し被験者に注視させる課題対象物と、課題対象物に関する課題である指示情報とを表示部101Sに表示した後に、課題特徴部分に対応する特定特徴部分を有し指示情報に対して正解となる特定対象物と、特定対象物とは異なる比較対象物とを表示部101Sに表示することと、特定特徴部分に対応した特定特徴領域A1と、比較対象物に対応した比較領域A2~A4とを表示部101Sに設定することと、注視点の位置データに基づいて、注視点が特定特徴領域A1及び比較領域A2~A4に存在するかをそれぞれ判定することと、判定結果に基づいて、注視点の対象移動経過データを算出することと、対象移動経過データに基づいて、被験者の評価データを求めることとを含む。
また、本実施形態に係る評価プログラムは、表示部101Sに画像を表示する処理と、表示部101Sを観察する被験者の注視点の位置を検出する処理と、課題特徴部分を有し被験者に注視させる課題対象物と、課題対象物に関する課題である指示情報とを表示部101Sに表示した後に、課題特徴部分に対応する特定特徴部分を有し指示情報に対して正解となる特定対象物と、特定対象物とは異なる比較対象物とを表示部101Sに表示する処理と、特定特徴部分に対応した特定特徴領域A1と、比較対象物に対応した比較領域A2~A4とを表示部101Sに設定する処理と、注視点の位置データに基づいて、注視点が特定特徴領域A1及び比較領域A2~A4に存在するかをそれぞれ判定する処理と、判定結果に基づいて、注視点の対象移動経過データを算出する処理と、対象移動経過データに基づいて、被験者の評価データを求める処理とをコンピュータに実行させる。
本実施形態によれば、対象表示動作において特定特徴部分に対応した特定特徴領域を設定することにより、被験者が特定対象物の特定特徴部分を注視することで判定を行っているか否かを評価することが可能となる。したがって、被験者の注視点が特定対象物に偶然配置されてしまう場合に正解として判定されることを抑制できる。これにより、被験者の評価を高精度に行うことが可能となる。
また、本実施形態に係る評価装置100において、課題特徴部分及び特定特徴部分は、課題対象物及び特定対象物を構成する図柄の凹部、凸部、又は複数の図柄の接続部分である。被験者が課題特徴部分及び特定特徴部分を注視しやすくなるため、被験者の注視点が特定対象物に偶然配置されてしまう場合に正解として判定されることを抑制できる。
また、本実施形態に係る評価装置100において、領域設定部216は、課題特徴部分に対応する課題特徴領域Aと、指示情報に対応する指示領域Bとを表示部に設定し、判定部218は、注視点の位置データに基づいて、注視点が課題特徴領域A及び指示領域Bに存在するかをそれぞれ判定し、演算部220は、判定部218の判定結果に基づいて、注視点の移動の経過を示す指示移動経過データを算出する。これにより、被験者が表示部101Sに表示される指示情報を見た後、指示情報が示す課題対象物の課題特徴領域Aを注視しようとしているか否かの観点から被験者を評価することが可能である。
また、本実施形態に係る評価装置100において、領域設定部216は、更に特定部分に対応した特定領域A5を表示部101Sに設定し、判定部218は、注視点の位置データに基づいて、注視点が特定特徴領域A1、特定領域A5及び比較領域A2~A4に存在するかをそれぞれ判定し、評価部220は、注視点が特定特徴領域A1に存在する場合と、注視点が特定特徴領域A1には存在しないが特定領域A5に存在する場合とで異なる重み付けをして評価データを求める。したがって、被験者が特定特徴部分を注視する場合と、特定特徴部分以外の特定対象物を注視する場合とを区別することができる。これにより、被験者の評価を高精度に行うことが可能となる。
本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記実施形態において、領域設定部216は、特定対象物を構成する図柄の凹部、凸部、又は複数の図柄の接続部分を特定特徴部分として特定特徴領域A1を設定する構成を例に挙げて説明したが、これに限定されない。例えば、指示表示動作において被験者が注視していた課題対象物の部分に対応する領域を特定特徴領域A1としてもよい。
この場合、指示表示動作において、注視点検出部214は、被検者が注視していた領域を検出する。このとき、注視点検出部214は、表示部101Sにおいて課題対象物が表示される部分の座標と、被験者が注視していた領域の座標との相対的な位置関係を求める。その後、対象表示動作において、領域設定部216は、表示部101Sに表示される特定対象物のうち、注視点検出部214において検出された領域に対応する領域に特定特徴領域A1を設定する。この場合、領域設定部216は、表示部101Sにおいて課題対象物が表示される部分の座標と、被験者が注視していた領域の座標との相対的な位置関係を考慮し、表示部101Sにおいて特定対象物が表示される部分の座標に対応した位置に特定特徴領域A1を設定する。
以下、この場合の評価方法の一例について説明する。図20及び図21は、変形例に係る評価方法を示すフローチャートである。図20では指示表示動作の例を主として示し、対象表示動作の例については図21において示している。
図20に示すように、指示表示動作においては、ステップS101からステップS119までの処理を上記実施形態と同様に行う。ステップS119において、演算部220により映像の再生が完了する時刻に到達したと判断された場合(ステップS119のYes)、注視点検出部214は、被検者が注視していた領域を検出し、当該領域の座標と課題対象物が表示される部分の座標との位置関係を求める(ステップS130)。その後、対象表示動作を行う(ステップS200)。
図21に示すように、対象表示動作においては、ステップS201からステップS208までの処理を上記実施形態と同様に行う。ステップS208が行われた後、領域設定部216は、表示部101Sに表示される特定対象物のうち、注視点検出部214において検出された領域に対応する領域に特定特徴領域A1を設定する(ステップS250)。その後、設定した特定特徴領域A1に基づいて、ステップS209以降の処理を行う。この場合、ステップS209以降の処理内容については、上記実施形態と同様である。
このように、課題対象物において被験者が注視していた領域に対応する領域を特定特徴領域とすることにより、被験者が課題対象物の課題特徴領域を注視して記憶しているか否か、特定対象物の特定特徴領域を注視して判断しているか否かの観点から被験者をより高精度に評価することが可能である。