JP7215246B2 - 表示装置、表示方法、及び表示プログラム - Google Patents

Description

本発明は、表示装置、表示方法、及び表示プログラムに関する。

視覚認知機能とは、眼から情報を入力する機能と、入力された情報を認識する機能とからなる。眼から情報を入力する機能では、視線を見たい物に向ける眼球運動などの視機能が重要である。視機能を評価する方法としては、例えば、表示部に図形を表示して被験者に注視させ、注視点の位置を検出して、図形における所定領域の注視時間を算出する技術が開示されている（例えば、特許文献１参照）。

特開２０１７－１５８８６８号公報

特許文献１に記載の技術では、被験者の注視点を検出することで、注視時間を算出し評価者が評価をおこなう技術が記載されている。しかしながら、特許文献1に記載の技術は、被験者の視機能を評価することは記載されているものの、被験者に対して視機能の状況をフィードバックすることに関しては、言及されていない。

本発明は、上記に鑑みてなされたものであり、被験者に対して視機能の状況をフィードバックすることが可能な表示装置、表示方法、及び表示プログラムを提供することを目的とする。

本発明に係る表示装置は、被験者に注視させる所定の対象物を表示する表示部と、前記表示部を観察する被験者の注視点の位置を検出する注視点検出部と、前記所定の対象物に対応した特定領域を設定する領域設定部と、前記注視点が前記特定領域に存在するかを判定する判定部と、前記判定部の判定結果に基づいて、注視点データを算出する演算部と、前記注視点データが所定の指標表示条件を満たす場合に、前記表示部において前記注視点に対応する位置に指標を表示する表示制御部とを備える。

本発明に係る表示方法は、被験者に注視させる所定の対象物を表示部に表示することと、前記表示部を観察する被験者の注視点の位置を検出することと、前記所定の対象物に対応した特定領域を設定することと、前記注視点が前記特定領域に存在するかを判定することと、判定結果に基づいて、注視点データを算出することと、前記注視点データが指標表示条件を満たす場合に、前記表示部において前記注視点に対応する位置に指標を表示することとを含む。

本発明に係る表示プログラムは、被験者に注視させる所定の対象物を表示部に表示する処理と、前記表示部を観察する被験者の注視点の位置を検出する処理と、前記所定の対象物に対応した特定領域を設定する処理と、前記注視点が前記特定領域に存在するかを判定する処理と、判定結果に基づいて、注視点データを算出する処理と、前記注視点データが指標表示条件を満たす場合に、前記表示部において前記注視点に対応する位置に指標を表示する処理とをコンピュータに実行させる。

本発明によれば、被験者に対して視機能の状況をフィードバックすることが可能な表示装置、表示方法、及び表示プログラムを提供することができる。

図１は、本実施形態に係る表示装置の一例を模式的に示す図である。 図２は、表示装置の一例を示す機能ブロック図である。 図３は、表示部に表示する内容の一例を示す図である。 図４は、表示部に表示する内容の一例を示す図である。 図５は、表示部に表示する内容の一例を示す図である。 図６は、表示部に表示する内容の一例を示す図である。 図７は、表示部に表示する内容の一例を示す図である。 図８は、表示部に表示する内容の一例を示す図である。 図９は、表示部に表示する内容の一例を示す図である。 図１０は、表示部に表示する内容の他の例を示す図である。 図１１は、表示部に表示する内容の他の例を示す図である。 図１２は、表示部に表示する内容の他の例を示す図である。 図１３は、表示部に表示する内容の他の例を示す図である。 図１４は、本実施形態に係る表示方法の一例を示すフローチャートである。 図１５は、本実施形態に係る表示方法の他の例を示すフローチャートである。

以下、本発明に係る表示装置、表示方法、及び表示プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第１軸と平行な方向をＸ軸方向とし、第１軸と直交する所定面の第２軸と平行な方向をＹ軸方向とし、第１軸及び第２軸のそれぞれと直交する第３軸と平行な方向をＺ軸方向とする。所定面はＸＹ平面を含む。

［表示装置］
図１は、本実施形態に係る表示装置１００の一例を模式的に示す図である。本実施形態に係る表示装置１００は、被験者の視線を検出し、検出結果を用いることで、被験者に対して視機能の状況をフィードバックする。表示装置１００は、例えば被験者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する装置、又は被験者の目頭の位置と虹彩の位置とに基づいて視線を検出する装置等、被験者の視線を検出可能な各種の装置を用いることができる。

図１に示すように、表示装置１００は、表示装置１０と、画像取得装置２０と、コンピュータシステム３０と、出力装置４０と、入力装置５０と、入出力インターフェース装置６０とを備える。表示装置１０、画像取得装置２０、コンピュータシステム３０、出力装置４０及び入力装置５０は、入出力インターフェース装置６０を介してデータ通信を行う。表示装置１０及び画像取得装置２０は、それぞれ不図示の駆動回路を有する。

表示装置１０は、液晶ディスプレイ（liquid crystal display：ＬＣＤ）又は有機ＥＬディスプレイ（organic electroluminescence display：ＯＬＥＤ）のようなフラットパネルディスプレイを含む。本実施形態において、表示装置１０は、表示部１１を有する。表示部１１は、画像等の情報を表示する。表示部１１は、ＸＹ平面と実質的に平行である。Ｘ軸方向は表示部１１の左右方向であり、Ｙ軸方向は表示部１１の上下方向であり、Ｚ軸方向は表示部１１と直交する奥行方向である。表示装置１０は、ヘッドマウント型ディスプレイ装置であってもよい。表示装置１０がヘッドマウント型ディスプレイ装置である場合、ヘッドマウントモジュール内に画像取得装置２０のような構成が配置されることになる。

画像取得装置２０は、被験者の左右の眼球ＥＢの画像データを取得し、取得した画像データをコンピュータシステム３０に送信する。画像取得装置２０は、撮影装置２１を有する。撮影装置２１は、被験者の左右の眼球ＥＢを撮影することで画像データを取得する。撮影装置２１は、被験者の視線を検出する方法に応じた各種カメラを有する。例えば被験者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する方式の場合、撮影装置２１は、赤外線カメラを有し、例えば波長８５０［ｎｍ］の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。また、例えば被験者の目頭の位置と虹彩の位置とに基づいて視線を検出する方式の場合、撮影装置２１は、可視光カメラを有する。撮影装置２１は、フレーム同期信号を出力する。フレーム同期信号の周期は、例えば２０［ｍｓｅｃ］とすることができるが、これに限定されない。撮影装置２１は、例えば第１カメラ２１Ａ及び第２カメラ２１Ｂを有するステレオカメラの構成とすることができるが、これに限定されない。

また、例えば被験者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する方式の場合、画像取得装置２０は、被験者の眼球ＥＢを照明する照明装置２２を有する。照明装置２２は、ＬＥＤ（light emitting diode）光源を含み、例えば波長８５０［ｎｍ］の近赤外光を射出可能である。なお、例えば被験者の目頭の位置と虹彩の位置とに基づいて視線ベクトルを検出する方式の場合、照明装置２２は設けられなくてもよい。照明装置２２は、撮影装置２１のフレーム同期信号に同期するように検出光を射出する。照明装置２２は、例えば第１光源２２Ａ及び第２光源２２Ｂを有する構成とすることができるが、これに限定されない。

コンピュータシステム３０は、表示装置１００の動作を統括的に制御する。コンピュータシステム３０は、演算処理装置３０Ａ及び記憶装置３０Ｂを含む。演算処理装置３０Ａは、ＣＰＵ（central processing unit）のようなマイクロプロセッサを含む。記憶装置３０Ｂは、ＲＯＭ（read only memory）及びＲＡＭ（random access memory）のようなメモリ又はストレージを含む。演算処理装置３０Ａは、記憶装置３０Ｂに記憶されているコンピュータプログラム３０Ｃに従って演算処理を実施する。

出力装置４０は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置４０は、印刷装置を含んでもよい。入力装置５０は、操作されることにより入力データを生成する。入力装置５０は、コンピュータシステム用のキーボード又はマウスを含む。なお、入力装置５０が表示装置である出力装置４０の表示部に設けられたタッチセンサを含んでもよい。

本実施形態に係る表示装置１００は、表示装置１０とコンピュータシステム３０とが別々の装置である。なお、表示装置１０とコンピュータシステム３０とが一体でもよい。例えば表示装置１００がタブレット型パーソナルコンピュータを含んでもよい。この場合、当該タブレット型パーソナルコンピュータに、表示装置、画像取得装置、コンピュータシステム、入力装置、出力装置等が搭載されてもよい。

図２は、表示装置１００の一例を示す機能ブロック図である。図２に示すように、コンピュータシステム３０は、表示制御部３１と、注視点検出部３２と、領域設定部３３と、判定部３４と、演算部３５と、評価部３６と、入出力制御部３７と、記憶部３８とを有する。コンピュータシステム３０の機能は、演算処理装置３０Ａ及び記憶装置３０Ｂ（図１参照）によって発揮される。なお、コンピュータシステム３０は、一部の機能が表示装置１００の外部に設けられてもよい。

注視点検出部３２は、被験者の注視点の位置データを検出する。本実施形態において、注視点検出部３２は、画像取得装置２０によって取得される被験者の左右の眼球ＥＢの画像データに基づいて、三次元グローバル座標系で規定される被験者の視線ベクトルを検出する。注視点検出部３２は、検出した被験者の視線ベクトルと表示装置１０の表示部１１との交点の位置データを、被験者の注視点の位置データとして検出する。つまり、本実施形態において、注視点の位置データは、三次元グローバル座標系で規定される被験者の視線ベクトルと、表示装置１０の表示部１１との交点の位置データである。本実施形態において、注視点は、被験者に注視されることで指定される表示部１１上の指定点である。注視点検出部３２は、規定のサンプリング周期毎に被験者の注視点の位置データを検出する。このサンプリング周期は、例えば撮影装置２１から出力されるフレーム同期信号の周期（例えば２０［ｍｓｅｃ］毎）とすることができる。

領域設定部３３は、表示部１１に特定領域を設定する。特定領域は、例えば円形、楕円形、多角形、これらの組み合わせの形状等、各種の平面形状とすることができる。領域設定部３３は、表示部１１の全体に特定領域を設定してもよいし、表示部１１の一部に特定領域を設定してもよい。本実施形態において、領域設定部３３で設定される各領域は、原則として表示部１１には表示されない。なお、例えば表示制御部３１の制御により、各領域が表示部１１に表示されるようにしてもよい。

判定部３４は、領域設定部３３によって特定領域が設定される期間に、注視点が特定領域に存在するか否かを判定し、判定データを出力する。判定部３４は、規定の判定周期毎に注視点が特定領域に存在するか否かを判定する。判定周期としては、例えば撮影装置２１から出力されるフレーム同期信号の周期（例えば２０［ｍｓｅｃ］毎）と同一の周期とすることができる。この場合、判定部３４の判定周期は、注視点検出部３２のサンプリング周期と同一である。

演算部３５は、判定部３４の判定データに基づいて、上記の特定領域が設定される期間における注視点の移動の経過を示す注視点データを算出する。演算部３５は、注視点データとして、例えば存在時間データを算出する。存在時間データは、注視点が特定領域に存在した存在時間を示すデータである。判定部３４において注視点が存在すると判定された判定回数が多い特定領域ほど、その特定領域に注視点が存在した存在時間が長いと推定することができる。したがって、本実施形態において、存在時間は、判定部３４による判定回数とすることができる。つまり、存在時間は、特定領域において検出される注視点のサンプリング回数とすることができる。演算部３５は、判定部３４により特定領域に注視点が存在すると判定された判定回数をカウントするカウンタを有する。

表示制御部３１は、被験者の視機能を評価するための評価用画像を表示部１１に表示する。評価用画像の表示形態は、動画及び静止画のいずれであってもよい。また、表示制御部３１は、注視点データが指標表示条件を満たす場合に、表示部１１において注視点に対応する位置に指標を表示する。この場合、表示制御部３１は、指標表示条件として存在時間が所定時間以上である場合に、表示部１１に指標を表示する。

指標は、例えば移動用指標と固定用指標とを含む。移動用指標は、注視点検出部３２で注視点が検出されるごとに注視点の位置に表示される。つまり、移動用指標は、注視点検出部３２によってサンプリングされるごとに、サンプリングされた注視点の位置に表示される。固定用指標は、注視点データが指標表示条件を満たした時点での注視点の位置に表示される。つまり、固定用指標は、指標表示条件を満たすこととなった注視点の位置に表示される。

指標の外観のうち、指標の形状については、例えば円形、楕円形、多角形、又はこれらを組み合わせた形状等、各種の形状とすることができる。また、指標の形状は、幾何学的形状に限定されず、動物や植物等を示す画像であってもよい。指標の外観のうち、指標の色については、例えば表示部１１に表示可能な色であればどのような色であってもよく、単色または複数の色の組み合わせでもよい。指標の外観のうち、指標の大きさについては、例えば表示部１１に表示可能な大きさであれば、どのような大きさであってもよい。表示制御部３１は、表示部１１に指標を表示させた状態で、注視点データが指標表示条件を満たさなくなった場合に、指標を非表示とする。上記した指標は、指標データとして記憶部３８に記憶される。

評価部３６は、注視点データに基づいて、被験者の評価データを求める。評価データは、例えば表示部１１に表示される評価用画像の所定領域を被験者が注視できているかを評価するデータを含む。

入出力制御部３７は、画像取得装置２０及び入力装置５０の少なくとも一方からのデータ（眼球ＥＢの画像データ、入力データ等）を取得する。また、入出力制御部３７は、表示装置１０及び出力装置４０の少なくとも一方にデータを出力する。入出力制御部３７は、被験者に対する課題をスピーカ等の出力装置４０から出力してもよい。

記憶部３８は、上記の判定データ、注視点データ（存在時間データ）、指標データを記憶する。また、記憶部３８は、表示部１１を観察する被験者の注視点の位置を検出する処理と、表示部１１に特定領域を設定する処理と、注視点が特定領域に存在するかをそれぞれ判定する処理と、判定結果に基づいて、注視点データを算出する処理と、注視点データが指標表示条件を満たす場合に、表示部１１において注視点に対応する位置に指標を表示する処理とをコンピュータに実行させる表示プログラムを記憶する。

［表示方法］
次に、本実施形態に係る表示方法について説明する。本実施形態に係る表示方法では、上記の表示装置１００を用いることにより、被験者に対して視機能の状況をフィードバックする。

図３は、表示部１１に表示する内容の一例を示す図である。表示制御部３１は、被験者の視機能を評価するための評価用画像を表示部１１に表示する。表示制御部３１は、例えば対象物Ｑを表示部１１に表示している。対象物Ｑは、例えば円形状である。なお、被験者には、対象物Ｑをしばらくの間注視するように、表示部１１、出力装置４０等により予め指示を与えておくことができる。なお、対象物Ｑは、円形状には限定されない。

領域設定部３３は、対象物Ｑに対応した特定領域ＡＲを設定する。本実施形態において、特定領域ＡＲは、基準位置Ａを中心とする円形である。なお、特定領域ＡＲは、円形に限定されず、他の形状であってもよい。基準位置Ａは、例えば対象物Ｑの中心位置であってもよい。領域設定部３３は、例えば対象物Ｑを含む領域に特定領域ＡＲを設定することができる。

注視点検出部３２は、規定のサンプリング周期（例えば２０［ｍｓｅｃ］）毎に、表示部１１における被験者の注視点Ｐの位置を検出する。表示部１１には、注視点検出部３２によって検出される注視点Ｐの位置を破線で示しているが、当該注視点Ｐは、図３の時点では表示部１１には表示されていない。このように、注視点Ｐが表示されない場合、被験者は、自分が注視している位置を把握することが困難となる。例えば、被験者が注視していると認識する位置と、検出される注視点の位置とが異なる場合、被験者が認識している注視位置と検出された注視点位置とのずれを把握できず、被験者の認識とは異なる位置を注視しているという結果が得られる可能性がある。

本実施形態において、表示制御部３１は、注視点データが指標表示条件を満たす場合に、表示部１１において注視点Ｐに対応する位置に指標を表示する。被験者が注視する位置を被験者本人にリアルタイムに把握させることで、例えば被験者が注視していると認識する位置と、検出される注視点の位置とが異なる場合、被験者に注視点Ｐの位置を修正する機会を与えることができる。

判定部３４は、領域設定部３３によって特定領域ＡＲが設定される期間に、注視点Ｐが特定領域ＡＲに存在するか否かを判定し、判定データを出力する。判定部３４は、規定の判定周期毎に注視点Ｐが特定領域ＡＲに存在するか否かを判定する。判定周期としては、注視点検出部３２のサンプリング周期と同一である。

演算部３５は、判定部３４の判定データに基づいて、特定領域ＡＲが設定される期間における注視点Ｐの移動の経過を示す注視点データを算出する。演算部３５は、注視点データとして、例えば存在時間データを算出する。

表示制御部３１は、注視点データが指標表示条件を満たす場合に、表示部１１において注視点Ｐに対応する位置に指標を表示する。この場合、表示制御部３１は、第１の指標表示条件（以下、「条件１」と表記する）として、第１の存在時間が所定時間以上である場合に、注視点の位置が検出されるごとに、表示部１１の注視点に対応する位置に指標を表示する。表示部１１に指標を表示する。条件１として、例えば直近の５０回の注視点Ｐが連続して特定領域ＡＲ内でサンプリングされること、とすることができる。また、条件１を満たすことで表示される指標は、移動用指標であるとする。

図４から図９は、表示部１１に表示する内容の一例を示す図である。図４に示す場合、被験者の注視点Ｐが対象物Ｑ上に位置しており、被験者が対象物Ｑを注視している状態である。この場合、注視点Ｐは、対象物Ｑを含む特定領域ＡＲ内に位置する。注視点Ｐが特定領域ＡＲに位置してから直近の５０回の注視点Ｐが連続して特定領域ＡＲ内でサンプリングされるまでの間、指標は表示されない。

特定領域ＡＲ内の位置で連続して５０回の注視点Ｐがサンプリングされた場合、図５に示すように、注視点Ｐの位置に移動用指標Ｍが表示される。移動用指標Ｍは、注視点Ｐがサンプリングされるごとに、サンプリングされた注視点の位置に表示される。つまり、移動用指標Ｍは、注視点Ｐの移動に対応して移動する。図５では、移動用指標Ｍが黒丸状である例が示されているが、移動用指標Ｍの表示形態についてはこれに限定されない。注視点Ｐが特定領域ＡＲ内に位置し続ける場合、移動用指標Ｍが表示された状態が継続する。

一方、移動用指標Ｍが表示された状態で、被験者の注視点Ｐが特定領域ＡＲの外側で検出された場合、特定領域ＡＲの内側における検出ではないため、条件１を満たさないことになる。このように、表示制御部３１は、移動用指標Ｍを表示させた状態で条件１を満たさない状態となった場合、図６に示すように、移動用指標Ｍを非表示とすることができる。

表示制御部３１は、第２の指標表示条件（以下、「条件２」と表記する）として、第２の存在時間が所定時間以上である場合に、当該第２の存在時間が所定時間以上となった時点での表示部１１の注視点に対応する位置に指標を表示する。条件２として、例えば、移動用指標Ｍが表示されてから直近の５０回の注視点Ｐが連続して特定領域ＡＲ内でサンプリングされること、とすることができる。また、条件２を満たすことで表示される指標は、固定用指標であるとする。更に、条件２を満たすことにより、条件２の注視点Ｐのカウントがリセットされるとする。

例えば、移動用指標Ｍが表示された図５に示す状態から、直近の５０回の注視点Ｐが更に連続して特定領域ＡＲ内でサンプリングされる場合、条件２を満たすことになる。したがって、この場合、表示制御部３１は、図７に示すように、５０回目にサンプリングされた注視点Ｐの位置に固定用指標Ｓを表示させる。固定用指標Ｓは、注視点Ｐの移動に関わらず、５０回目にサンプリングした注視点Ｐの位置に留まった状態で表示される。図７では、固定用指標Ｓが白丸状である例が示されているが、固定用指標Ｓの表示形態についてはこれに限定されない。注視点Ｐが特定領域ＡＲ内に位置し続ける場合、移動用指標Ｍが表示された状態が継続する。固定用指標Ｓが１つ表示されたため、条件２の注視点Ｐのカウントはリセットされる。

したがって、移動用指標Ｍ及び固定用指標Ｓが表示された状態から、直近の５０回の注視点Ｐが更に連続して特定領域ＡＲ内でサンプリングされる場合、再び条件２を満たすことになる。この場合、表示制御部３１は、図８に示すように、５０回目にサンプリングされた注視点Ｐの位置に固定用指標Ｓ１を表示させる。固定用指標Ｓ１は、固定用指標Ｓと同様に、白丸状であるが、これに限定されず、固定用指標Ｓとは異なる表示形態であってもよい。例えば、対象物Ｑをしばらくの間注視するという指示に対して、固定用指標Ｓが表示されるように設定してもよい。この場合、固定用指標Ｓを表示することにより、視機能が正常であると判定できる。

表示制御部３１は、移動用指標Ｍ及び固定用指標Ｓ、Ｓ１が表示された状態で、被験者の注視点Ｐが特定領域ＡＲの外側で検出された場合、特定領域ＡＲの内側における検出ではないため、条件１を満たさないことになる。表示制御部３１は、移動用指標Ｍを表示させた状態で条件１を満たさない状態となった場合、図９に示すように、移動用指標Ｍを非表示とすることができる。なお、この場合において、表示制御部３１は、固定用指標Ｓ、Ｓ１については表示部１１に表示させておくことができる。なお、移動用指標Ｍと同様に固定用指標Ｓ、Ｓ１についても非表示としてもよい。

図１０及び図１１は、表示部１１に表示する内容の他の例を示す図である。図１０に示すように、表示制御部３１は、例えば被験者に対する課題情報Ｉ１及び回答対象物Ｑ１～Ｑ４を表示部１１に表示する。本実施形態において、課題情報Ｉ１は、「五角形」を示す図柄をしばらく見つめさせる、という内容の課題が例として示されている。回答対象物としては、三角形を示す回答対象物Ｑ１と、四角形を示す回答対象物Ｑ２と、五角形を示す回答対象物Ｑ３と、六角形を示す回答対象物Ｑ４とが含まれる。課題情報Ｉ１に対する正解（五角形）である回答対象物Ｑ３を含む領域には、領域設定部３３により特定領域ＡＲが設定されている。表示制御部３１は、上記の条件１（直近の５０回の注視点Ｐが連続して特定領域ＡＲ内でサンプリングされる）を指標表示条件とする。また、条件１を満たすことで表示される指標は、移動用指標Ｍであるとする。

被験者が五角形を示す回答対象物Ｑ３をしばらく見つめることにより、被験者の注視点Ｐが特定領域ＡＲ内に留まった状態となる。この状態で、特定領域ＡＲ内の位置で連続して５０回の注視点Ｐがサンプリングされた場合、図１１に示すように、注視点Ｐの位置に移動用指標Ｍが表示される。表示制御部３１は、移動用指標Ｍが表示されたことをトリガーとして、表示部１１に課題に対する回答が終了した旨の指示情報Ｉ２を表示させる。このように、表示部１１に指標（移動用指標Ｍ）が表示されるまで被験者が対象物（回答対象物Ｑ３）を見続けることを、回答終了の条件とすることができる。この場合、被験者に対して回答対象物をしばらく見つめることにより回答が終了するという回答方式の趣旨を容易に把握させることができる。

図１２及び図１３は、表示部１１に表示する内容の他の例を示す図である。図１２に示すように、表示制御部３１は、図１０と同様の課題情報Ｉ１及び回答対象物Ｑ１～Ｑ４を表示部１１に表示する。なお、図１２に示す例では、領域設定部３３により、回答対象物Ｑ１～Ｑ４のそれぞれを含む領域に特定領域ＡＲが設定されている。表示制御部３１は、上記の条件１（直近の５０回の注視点Ｐが連続して特定領域ＡＲ内でサンプリングされる）及び条件２（移動用指標Ｍが表示されてから直近の５０回の注視点Ｐが連続して特定領域ＡＲ内でサンプリングされる）を指標表示条件とする。また、条件１を満たすことで表示される指標は、移動用指標Ｍであり、条件２を満たすことで表示される指標は、固定用指標Ｓであるとする。

このような条件において、被験者が五角形を示す回答対象物Ｑ１～Ｑ４のいずれかをしばらく見つめることにより、被験者の注視点Ｐが特定領域ＡＲ内に留まった状態となる。この状態で条件１を満たす場合、つまり、特定領域ＡＲ内の位置で連続して５０回の注視点Ｐがサンプリングされた場合、図１２に示すように、注視点Ｐの位置に移動用指標Ｍが表示される。移動用指標Ｍが表示されることにより、例えば被験者が注視していると認識する位置と、検出される注視点の位置とが異なる場合、被験者に注視点Ｐの位置を修正する機会を与えることができる。例えば、図１２に示す例では、移動用指標Ｍが回答対象物Ｑ２上に表示されている。被験者は、例えば回答対象物Ｑ３を注視しているという認識であった場合、視点を右にずらすことで、注視点Ｐの位置を修正することができる。

また、所定の回答対象物Ｑ１～Ｑ４のいずれかに対応する位置に移動用指標Ｍが表示された状態から、被験者が同じ領域を更に注視し続けて条件２を満たした場合、つまり、特定領域ＡＲ内の位置で連続して更に５０回の注視点Ｐがサンプリングされた場合、図１３に示すように、表示制御部３１は、回答が確定したとして固定用指標Ｓを表示してもよい。なお、図１３では、移動用指標Ｍに固定用指標Ｓが重なった状態を示しているが、この態様に限定されない。更に、表示制御部３１は、固定用指標Ｓが表示されたことをトリガーとして、課題に対する回答が終了した旨の指示情報Ｉ２を表示してもよい。これにより、移動用指標Ｍを表示して被験者に注視点の位置のずれを修正する機会を与えた上で、最終的に被験者が注視した回答を固定用指標Ｓにより決定して、検査を終了とすることができる。したがって、決定した回答に基づいて評価を行うことができる。

図１４は、本実施形態に係る表示方法の一例を示すフローチャートである。図１４では、移動用指標Ｍを表示させる場合の一例を示している。図１４に示すように、まず、指標表示条件Ｃを設定する（ステップＳ１０１）。ステップＳ１０１において、表示制御部３１は、例えば使用者に入力装置５０等を介して指標表示条件Ｃを入力するよう案内する情報を出力装置４０に出力する。そして、入力装置５０に対する入力結果に基づいて、指標表示条件Ｃを設定する。指標表示条件Ｃは、例えば特定領域ＡＲの位置及び範囲と、特定領域ＡＲにおける注視点Ｐの存在時間とが含まれる。領域設定部３３は、設定された指標表示条件Ｃに基づいて、表示部１１に特定領域ＡＲを設定する。

次に、表示制御部３１は、指標の外観を設定する（ステップＳ１０２）。ステップＳ１０２では、ステップＳ１０１と同様、表示制御部３１は、例えば記憶部３８に記憶された指標の画像データの中から候補を出力装置４０に出力し、使用者に入力装置５０等を介して画像データを選択する入力するよう案内する。そして、入力装置５０に対する入力結果に基づいて、指標の外観を設定する。

次に、注視点の検出を開始する（ステップＳ１０３）。注視点検出部３２は、被験者の注視点Ｐを検出し、検出した注視点Ｐの位置を算出する（ステップＳ１０４）。判定部３４は、算出された注視点Ｐの位置に基づいて、注視点検出部３２のサンプリング周期と同一の判定周期で、注視点Ｐが特定領域ＡＲに存在するか否かを判定して、判定データを出力する。演算部３５は、判定部３４の判定データに基づいて、注視点Ｐの存在時間データを算出する。

表示制御部３１は、演算部３５で算出される存在時間データに基づいて、注視点Ｐが指標表示条件Ｃを満たすか否かを判断する（ステップＳ１０５）。注視点Ｐが指標表示条件Ｃを満たすと判定された場合（ステップＳ１０５のＹｅｓ）、ステップＳ１０２にて設定された指標を、表示部１１における注視点Ｐの位置に表示する（ステップＳ１０６）。また、注視点Ｐが指標表示条件Ｃを満たさないと判定された場合（ステップＳ１０５のＮｏ）、指標表示条件Ｃに応じて注視点Ｐの表示状態を更新する（ステップＳ１０８）。ステップＳ１０８では、例えば表示部１１に注視点Ｐの指標が表示された状態から指標表示条件Ｃを満たさない状態となった場合、表示制御部３１は、指標の表示をクリアする。また、表示部１１に注視点Ｐの指標が表示されていない状態において指標表示条件Ｃを満たさない場合、表示制御部３１は、表示部１１に指標を表示しないままの状態を維持する。

ステップＳ１０６又はステップＳ１０８の処理の後、演算部３５は、注視点Ｐの検出が終了したか否かを判定する（ステップＳ１０７）。注視点Ｐの検出が終了したと判定された場合（ステップＳ１０７のＹｅｓ）、処理を終了する。注視点Ｐの検出が終了していないと判定された場合（ステップＳ１０７のＮｏ）、ステップＳ１０４以降の処理を繰り返し行う。

図１５は、本実施形態に係る表示方法の他の例を示すフローチャートである。図１５では、移動用指標Ｍ及び固定用指標Ｓ、Ｓ１、…、を表示させる場合の一例を示している。図１５に示すように、まず、指標表示条件を設定して注視点Ｐの検出を開始する（ステップＳ２０１）。ステップＳ２０１では、移動用指標Ｍを表示するための第１の指標表示条件（以下、指標表示条件Ｃ１と表記する）及び固定用指標Ｓ、Ｓ１、…、を表示するための第２の指標表示条件（以下、指標表示条件Ｃ２と表記する）を設定する。ここでは、指標表示条件Ｃ１は、特定領域ＡＲにおける第１の存在時間が所定時間以上である場合、例えば、直近の５０回の注視点Ｐが連続して特定領域ＡＲ内でサンプリングされること、とする。また、指標表示条件Ｃ２は、特定領域ＡＲにおける第２の存在時間が所定時間以上である場合、例えば、移動用指標Ｍが表示されてから直近の５０回の注視点Ｐが連続して特定領域ＡＲ内でサンプリングされること、とする。また、指標表示条件Ｃ２が満たされた場合、注視点Ｐのカウントがリセットされるとする。また、ステップＳ２０１では、移動用指標Ｍ及び固定用指標Ｓ、Ｓ１、…、の外観を設定する。また、ステップＳ２０１では、特定領域ＡＲの位置及び範囲と、特定領域ＡＲにおける注視点Ｐの存在時間とを設定する。

次に、注視点検出部３２は、被験者の注視点Ｐを検出し、検出した注視点Ｐの位置を算出する（ステップＳ２０２）。判定部３４は、上記同様に、算出された注視点Ｐの位置に基づいて、注視点検出部３２のサンプリング周期と同一の判定周期で、注視点Ｐが特定領域ＡＲに存在するか否かを判定して、判定データを出力する。演算部３５は、判定部３４の判定データに基づいて、注視点Ｐの存在時間データを算出する。

表示制御部３１は、演算部３５で算出される存在時間データに基づいて、指標表示条件Ｃ１に規定される特定領域内に注視点Ｐが位置するか否かを判定する（ステップＳ２０３）。特定領域ＡＲ内に注視点Ｐが位置すると判定された場合（ステップＳ２０３のＹｅｓ）、表示制御部３１は、指標表示条件Ｃ１に規定される所定回数（ここでは５０回）連続であるか否かを判定する（ステップＳ２０４）。所定回数連続であると判定された場合（ステップＳ２０４のＹｅｓ）、表示制御部３１は、移動用指標が非表示であるか否かを判定する（ステップＳ２０５）。非表示であると判定された場合（ステップＳ２０５のＹｅｓ）、表示制御部３１は、表示部１１の注視点Ｐの位置に移動用指標Ｍを表示する（ステップＳ２０６）。

また、ステップＳ２０３において特定領域ＡＲ内に注視点Ｐが位置しないと判定された場合（ステップＳ２０３のＮｏ）、演算部３５は、指標表示条件Ｃ１の連続判定回数をクリアする（ステップＳ２０７）。その後、表示制御部３１は、移動用指標Ｍが表示されているか否かを判定する（ステップＳ２０８）。移動用指標Ｍが表示されていると判定された場合（ステップＳ２０８のＹｅｓ）、移動用指標Ｍの表示をクリアし（ステップＳ２０９）、後述するステップＳ２１４以降の処理を行う。移動用指標Ｍが表示されていないと判定された場合（ステップＳ２０８のＮｏ）、後述するステップＳ２１５以降の処理を行う。

また、ステップＳ２０４において、注視点Ｐが特定領域ＡＲ内に位置するが、所定回数連続ではないと判定された場合（ステップＳ２０４のＮｏ）、後述するステップＳ２１５以降の処理を行う。

また、ステップＳ２０５において、移動用指標Ｍが非表示ではない（既に表示されている）と判定された場合（ステップＳ２０５のＮｏ）、表示制御部３１は、移動用指標Ｍの表示を継続して行う（ステップＳ２１０）。

ステップＳ２０６又はＳ２１０の処理を行った後は、表示部１１に移動用指標Ｍが表示された状態である。この状態において、表示制御部３１は、指標表示条件Ｃ２に規定される特定領域に注視点Ｐが位置するか否かを判定する（ステップＳ２１１）。本実施形態では、指標表示条件Ｃ１、Ｃ２の特定領域が共に特定領域ＡＲと同一であるため、ステップＳ２１１の判定結果は、ステップＳ２０３と同様となる。一方、指標表示条件Ｃ１と指標表示条件Ｃ２とで特定領域の設定が異なる場合、ステップＳ２１１において判定される。

ステップＳ２１１において、指標表示条件Ｃ２に規定される特定領域内に注視点Ｐが位置すると判定された場合（ステップＳ２１１のＹｅｓ）、表示制御部３１は、指標表示条件Ｃ２に規定される所定回数（ここでは５０回）連続であるか否かを判定する（ステップＳ２１２）。所定回数連続であると判定された場合（ステップＳ２１２のＹｅｓ）、表示制御部３１は、連続で５０回目にサンプリングされた注視点Ｐの位置に固定用指標Ｓを表示する（ステップＳ２１３）。その後、指標表示条件Ｃ２における連続判定回数のカウンタをリセットする（ステップＳ２１４）。

また、ステップＳ２１１において特定領域ＡＲ内に注視点Ｐが位置しないと判定された場合（ステップＳ２１１のＮｏ）、ステップＳ２１４以降の処理を行う。また、ステップＳ２１２において、注視点Ｐが特定領域ＡＲ内に位置するが、所定回数連続ではないと判定された場合（ステップＳ２１２のＮｏ）、後述するステップＳ２１５以降の処理を行う。

ステップＳ２０４のＮｏ、ステップＳ２０８のＮｏ、ステップＳ２１２のＮｏ、又はステップＳ２１４の処理が行われた後、演算部３５は、注視点Ｐの検出が終了したか否かを判定する（ステップＳ２１５）。注視点Ｐの検出が終了したと判定された場合（ステップＳ２１５のＹｅｓ）、処理を終了する。注視点Ｐの検出が終了していないと判定された場合（ステップＳ２１５のＮｏ）、ステップＳ２０２以降の処理を繰り返し行う。

以上のように、本実施形態に係る表示装置１００は、被験者に注視させる所定の対象物を表示する表示部１１と、表示部１１を観察する被験者の注視点の位置を検出する注視点検出部３２と、所定の対象物に対応した特定領域ＡＲを設定する領域設定部３３と、注視点が特定領域ＡＲに存在するかをそれぞれ判定する判定部３４と、判定部３４の判定結果に基づいて、注視点データを算出する演算部３５と、注視点データが指標表示条件を満たす場合に、表示部１１において注視点に対応する位置に指標を表示する表示制御部３１とを備える。

本実施形態に係る表示方法は、被験者に注視させる所定の対象物を表示部１１に表示することと、表示部１１を観察する被験者の注視点の位置を検出することと、所定の対象物に対応した特定領域ＡＲを設定することと、注視点が特定領域ＡＲに存在するかをそれぞれ判定することと、判定結果に基づいて、注視点データを算出することと、注視点データが指標表示条件を満たす場合に、表示部１１において注視点に対応する位置に指標を表示することとを含む。

本実施形態に係る表示プログラムは、被験者に注視させる所定の対象物を表示部１１に表示する処理と、表示部１１を観察する被験者の注視点の位置を検出する処理と、所定の対象物に対応した特定領域ＡＲを設定する処理と、注視点が特定領域ＡＲに存在するかをそれぞれ判定する処理と、判定結果に基づいて、注視点データを算出する処理と、注視点データが指標表示条件を満たす場合に、表示部１１において注視点に対応する位置に指標を表示する処理とをコンピュータに実行させる。

本実施形態によれば、注視点データが指標表示条件を満たす場合に、表示制御部３１が表示部１１において注視点Ｐに対応する位置に指標を表示する。被験者が注視する位置を被験者本人にリアルタイムに把握させることで、例えば被験者が注視していると認識する位置と、検出される注視点の位置とが異なる場合、被験者が認識している注視位置と検出された注視点位置とのずれを把握させ、被験者に注視点Ｐの位置のずれを修正する機会を与えることができる。これにより、被験者が認識している注視位置と検出された注視点位置とのずれが無く、被験者の注視点を表示することが可能となる。

本実施形態に係る表示装置１００において、注視点データは、特定領域ＡＲに注視点が連続して存在した第１の存在時間を含み、所定の指標表示条件は第１の指標表示条件を含み、第１の指標表示条件は、第１の存在時間が所定時間以上である場合に、注視点の位置が検出されるごとに、表示部の注視点に対応する位置に指標として移動用指標Ｍを表示する。移動用指標Ｍを表示することにより、被験者が認識している注視位置と検出された注視点位置とのずれを把握させることができる。これにより、被験者に注視点の位置のずれを修正する機会を与えることができる。

本実施形態に係る表示装置１００において、注視点データは、特定領域ＡＲに注視点が連続して存在した第２の存在時間を含み、所定の指標表示条件は第２の指標表示条件を含み、第２の指標表示条件は、第２の存在時間が所定時間以上である場合に、注視点データが第２の指標表示条件を満たした時点での表示部１１の注視点に対応する位置に、指標として固定用指標Ｓを表示する。固定用指標Ｓが表示されることで、被験者の最終的な注視点を把握することができる。

本実施形態に係る表示装置１００において、第２の指標表示条件は、第１の指標表示条件により移動用指標を表示した後、更に第２の存在時間が所定時間以上である場合に、固定用指標Ｓを表示する。これにより、移動用指標Ｍを表示して被験者に注視点の位置のずれを修正する機会を与えた上で、最終的に被験者が注視した回答を固定用指標Ｓにより決定して、検査を終了とすることができる。したがって、決定した回答に基づいて評価を行うことができる。

本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記各実施形態では、表示装置１００を、被験者に対して視機能の状況をフィードバックする表示装置として用いる場合を例に挙げて説明したが、これに限定されない。例えば、表示装置１００は、発達障がいや認知機能障害および脳機能障害などの被験者の評価に用いてもよい。

また、本実施形態では、移動用指標を表示した後、固定用指標を表示する形態を例に挙げて説明したが、これに限定されない。例えば、移動用指標を表示するが、固定用指標を表示しない形態であってもよい。また、移動用指標を表示せずに、固定用指標を表示する形態であってもよい。

Ａ…基準位置、Ｃ，Ｃ１，Ｃ２…指標表示条件、Ｉ１…課題情報、Ｉ２…指示情報、Ｍ…移動用指標、ＥＢ…眼球、Ｐ…注視点、Ｑ…対象物、Ｑ１～Ｑ４…回答対象物、Ｓ，Ｓ１…固定用指標、ＡＲ…特定領域、１０…表示装置、１１…表示部、２０…画像取得装置、２１…撮影装置、２１Ａ…第１カメラ、２１Ｂ…第２カメラ、２２…照明装置、２２Ａ…第１光源、２２Ｂ…第２光源、３０…コンピュータシステム、３０Ａ…演算処理装置、３０Ｂ…記憶装置、３０Ｃ…コンピュータプログラム、３１…表示制御部、３２…注視点検出部、３３…領域設定部、３４…判定部、３５…演算部、３６…評価部、３７…入出力制御部、３８…記憶部、４０…出力装置、５０…入力装置、６０…入出力インターフェース装置、１００…表示装置

Claims (5)

1. 被験者に注視させる所定の対象物を表示する表示部と、
   前記表示部を観察する被験者の注視点の位置を検出する注視点検出部と、
   前記所定の対象物に対応した特定領域を設定する領域設定部と、
   前記注視点が前記特定領域に存在するかを判定する判定部と、
   前記判定部の判定結果に基づいて、注視点データを算出する演算部と、
   前記注視点データが所定の指標表示条件を満たす場合、前記注視点検出部が前記被験者の注視点の位置を検出している期間に、前記表示部における前記被験者の注視点に対応する位置に指標を表示する表示制御部と
   を備える表示装置。
2. 前記注視点データは、前記特定領域に前記注視点が連続して存在した第１の存在時間を含み、
   前記所定の指標表示条件は第１の指標表示条件を含み、
   前記第１の指標表示条件は、前記第１の存在時間が所定時間以上である場合に、前記注視点の位置が検出されるごとに、前記表示部の前記注視点に対応する位置に前記指標として移動用指標を表示する、
   請求項１に記載の表示装置。
3. 前記注視点データは、前記特定領域に前記注視点が連続して存在した第２の存在時間を含み、
   前記所定の指標表示条件は第２の指標表示条件を含み、
   前記第２の指標表示条件は、前記第２の存在時間が所定時間以上である場合に、前記注視点データが前記第２の指標表示条件を満たした時点での前記表示部の前記注視点に対応する位置に、前記指標として固定用指標を表示する、
   請求項１に記載の表示装置。
4. 被験者に注視させる所定の対象物を表示部に表示することと、
   前記表示部を観察する被験者の注視点の位置を検出することと、
   前記所定の対象物に対応した特定領域を設定することと、
   前記注視点が前記特定領域に存在するかを判定することと、
   判定結果に基づいて、注視点データを算出することと、
   前記注視点データが指標表示条件を満たす場合、前記被験者の注視点の位置を検出している期間に、前記表示部における前記被験者の注視点に対応する位置に指標を表示することと
   を含む表示方法。
5. 被験者に注視させる所定の対象物を表示部に表示する処理と、
   前記表示部を観察する被験者の注視点の位置を検出する処理と、
   前記所定の対象物に対応した特定領域を設定する処理と、
   前記注視点が前記特定領域に存在するかを判定する処理と、
   判定結果に基づいて、注視点データを算出する処理と、
   前記注視点データが指標表示条件を満たす場合、前記被験者の注視点の位置を検出している期間に、前記表示部における前記被験者の注視点に対応する位置に指標を表示する処理と
   をコンピュータに実行させる表示プログラム。

Images