以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第一軸と平行な方向をX軸方向とし、第1軸と直交する所定面の第二軸と平行な方向をY軸方向とし、第1軸および第2軸と直交する第三軸と平行な方向をZ軸方向とする。本実施形態において、所定面はXY平面である。
図1は、本実施形態に係る評価装置の一例を模式的に示す斜視図である。図1に示すように、評価装置100は、表示装置101と、ステレオカメラ装置102と、照明装置103とを備える。
表示装置101は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Organic Electro Luminescence)ディスプレイを含むディスプレイである。表示装置101は、被験者に視認させる評価用画像を表示する。
本実施形態において、表示装置101の表示画面101Sは、XY平面に平行な平面である。X軸方向は、表示画面101Sの左右方向である。Y軸方向は、表示画面101Sの上下方向である。Z軸方向は、表示画面101Sと直交する奥行方向である。また、表示画面101Sに向かって右方向、左方向が-X方向である。言い換えると、表示画面101Sと対面する被験者の右手方向が+X方向、左手方向が-X方向である。表示画面101Sの上方向が+Y方向、下方向が-Y方向である。表示画面101Sの手前方向が+Z方向、奥方向が-Z方向である。言い換えると、被験者に向かう方向が+Z方向、反対方向が-Z方向である。
-Z方向である。
ステレオカメラ装置102は、表示装置101の表示画面101Sより下側に配置されている。ステレオカメラ装置102は、被験者の眼球を撮影可能に配置されている。ステレオカメラ装置102は、X軸方向に離間して配置された第一カメラ102Aと第二カメラ102Bとを有する。本実施形態では、第一カメラ102Aは、第二カメラ102Bより-X方向に配置されている。ステレオカメラ装置102は、第一カメラ102Aと第二カメラ102Bとによって、赤外線によるステレオ撮影が可能である。第一カメラ102Aと第二カメラ102Bとは、例えば、波長850[nm]の近赤外光を透過可能なレンズと、その近赤外光を受光可能な撮像素子とを有する。
照明装置103は、表示装置101の表示画面101Sより下側に配置されている。照明装置103は、第一カメラ102Aと第二カメラ102Bとの間の距離の中間位置に配置されている。照明装置103は、近赤外線LED(Light Emitting Diode)光源である。より詳しくは、照明装置103は、検出光として、例えば、波長850[nm]の近赤外光を射出可能である。照明装置103は、複数のLEDを組み合わせて配置されたものである。照明装置103は、被験者の眼球に向けて近赤外光を射出する。
図2を用いて、表示装置101とステレオカメラ装置102と照明装置103と被験者の眼球111との位置関係を説明する。図2は、本実施形態に係る表示装置とステレオカメラ装置と照明装置と被験者の眼球との位置関係を模式的に示す図である。
照明装置103は、近赤外光を被験者の眼球111に向けて射出して、被験者の眼球111を照射する。ステレオカメラ装置102は、照明装置103から射出された近赤外光が眼球111に照射されたとき、眼球111を撮影する。
第一カメラ102Aと第二カメラ102Bとは、フレーム同期信号によって同期する。これにより、第一カメラ102Aと第二カメラ102Bとは、照明装置103から射出された近赤外光が眼球111に照射されると、同じタイミングで、眼球111を撮影して画像データを取得する。
眼球111に近赤外光が照射されると、近赤外光の一部は瞳孔112において反射し、瞳孔112からの反射光がステレオカメラ装置102に入射する。また、眼球111に近赤外光が照射されると、角膜の虚像である角膜反射像113が眼球111に形成され、角膜反射像113からの反射光がステレオカメラ装置102に入射する。
第一カメラ102Aおよび第二カメラ102Bと、照明装置103との相対位置を適切に設定することにより、瞳孔112からステレオカメラ装置102に入射する光の強度は低くなり、角膜反射像113からステレオカメラ装置102に入射する光の強度は高くなる。これにより、ステレオカメラ装置102が撮影する瞳孔112の画像は低輝度となり、角膜反射像113の画像は高輝度となる。ステレオカメラ装置102が撮影した画像の輝度に基づいて、瞳孔112の位置と角膜反射像113の位置とを画像上で検出可能である。さらに、このようにして取得した瞳孔112の位置と角膜反射像113の位置とに基づいて、瞳孔112と角膜反射像113との三次元世界座標を算出可能である。
図3を用いて、評価装置100について説明する。図3は、本実施形態に係る評価装置のハードウェア構成の一例を示す図である。評価装置100は、上述した表示装置101とステレオカメラ装置102と照明装置103とに加えて、さらに、制御装置20と、入出力装置30と、駆動制御回路40と、出力装置50と、スピーカ60とを備える。
制御装置20は、評価装置100の全体を制御して、結果を出力するコンピュータである。制御装置20は、入出力装置30と接続されている。制御装置20は、制御部20Aと、記憶部20Bとを有する。制御部20Aは、例えば、CPU(Central Processing Unit)などを含んで構成された演算処理装置である。制御部20Aは、記憶部20Bに記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部20Aの構成は後述する。記憶部20Bは、評価装置100におけるデータの一時記憶などに用いられる。記憶部20Bは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。または、外部記憶装置であってもよい。記憶部20Bは、評価用画像を記憶している。制御装置20の機能は、制御部20Aと記憶部20Bとによって発揮される。制御部20Aについては、後述する。
入出力装置30は、評価装置100の各部のインターフェース部である。入出力装置30は、出力装置50に対して、例えば、評価装置100の動作状態、測定結果、または、評価結果を表示させる画像信号を出力する。入出力装置30は、スピーカ60に対して、音声を出力させる音声信号を出力する。入出力装置30は、駆動制御回路40を介して、表示装置101に対して、評価用画像を表示させる画像信号を出力する。入出力装置30は、駆動制御回路40を介して、ステレオカメラ装置102による撮影を開始したり終了したりする駆動信号を出力する。入出力装置30は、駆動制御回路40を介して、ステレオカメラ装置102から撮影した画像データを取得する。入出力装置30は、取得した画像データを制御装置20へ出力する。入出力装置30は、駆動制御回路40を介して、照明装置103に対して、点灯と消灯とを切換える駆動信号を出力する。
図4を用いて、駆動制御回路40について説明する。図4は、本実施形態に係る評価装置の一例を示す機能ブロック図である。駆動制御回路40は、評価装置100の各部を駆動する駆動回路である。より詳しくは、駆動制御回路40は、表示装置101と、ステレオカメラ装置102と、照明装置103とに対して駆動信号を出力する。駆動制御回路40は、表示装置駆動部402と、第一カメラ入出力部404Aと、第二カメラ入出力部404Bと、光源駆動部406とを有する。
表示装置駆動部402は、表示装置101に対して評価用画像を表示させる映像信号を出力する。第一カメラ入出力部404Aは、第一カメラ102Aに対して撮影を行わせる駆動信号を出力する。第一カメラ入出力部404Aは、第一カメラ102Aが撮影した眼球111の画像データを取得する。第一カメラ入出力部404Aは、取得した画像データを入出力装置30に出力する。第二カメラ入出力部404Bは、第二カメラ102Bに対して撮影を行わせる駆動信号を出力する。第二カメラ入出力部404Bは、第二カメラ102Bが撮影した眼球111の画像データを取得する。第二カメラ入出力部404Bは、取得した画像データを入出力装置30に出力する。光源駆動部406は、照明装置103に対して点灯と消灯とを切換える駆動信号を出力する。
出力装置50は、例えば、液晶ディスプレイまたは有機ELディスプレイを含むディスプレイである。出力装置50は、制御装置20のディスプレイである。出力装置50は、評価装置100の操作や、評価装置100の動作状態、測定結果、または、評価結果を表示する。または、出力装置50は、印刷装置であってもよい。
スピーカ60は、音声を出力する音声出力部である。スピーカ60は、被験者に注意を促すための音声などを出力する。
図1ないし図3に示すように、本実施形態において、表示装置101と制御装置20とは別々の装置である。表示装置101と制御装置20とは、一体であってもよい。例えば、評価装置100は、タブレット型パーソナルコンピュータであってもよい。この場合、タブレット型コンピュータは、制御装置20と入出力装置30と駆動制御回路40と表示装置101とを有する。
図4に戻って、制御装置20の制御部20Aについて説明する。制御部20Aは、表示制御部202と、光源制御部204と、画像データ取得部206と、位置検出部210と、曲率中心算出部212と、補正位置算出部214と、注視点検出部216と、領域設定部218と、判定部220と、演算部222と、評価部224と、出力制御部226と、記憶部228とを有する。
表示制御部202は、表示装置駆動部402を制御して、被験者に視認させる評価用画像を表示装置101に表示させる。評価用画像は、静止画と動画とを含む。評価用画像は、例えば複数用意される。表示制御部202は、当該複数の評価用画像を表示装置101に順次表示する。また、表示制御部202は、表示画面101S上において所望の位置に注視点を位置させるためのアイキャッチ映像を表示装置101に表示させる。
光源制御部204は、光源駆動部406を制御して、照明装置103の作動状態を制御する。
画像データ取得部206は、入出力部302を介して、ステレオカメラ装置102が撮影した被験者の眼球111の画像データを取得する。
位置検出部210は、画像データ取得部206で取得された眼球111の画像データに基づいて、瞳孔中心112C(図5参照)の位置データを検出する。また、位置検出部210は、画像データ取得部206で取得された眼球111の画像データに基づいて、角膜反射中心113C(図5参照)の位置データを検出する。瞳孔中心112Cは、瞳孔112の中心である。角膜反射中心113Cは、角膜反射像113の中心である。位置検出部210は、被験者の左右それぞれの眼球111について、瞳孔中心112Cの位置データと角膜反射中心113Cの位置データとを検出する。
曲率中心算出部212は、画像データ取得部206で取得された眼球111の画像データに基づいて、眼球111の角膜曲率中心110(図5参照)の位置データを算出する。
補正位置算出部214は、位置検出部210で検出された瞳孔中心112Cと、曲率中心算出部212で算出された角膜曲率中心110との距離に基づいて、角膜曲率中心110の位置を補正し、左右それぞれの眼球の補正後の角膜曲率中心110Hの位置を算出する。
注視点検出部216は、画像データ取得部206で取得された眼球111の画像データに基づいて、被験者の注視点の位置データを検出する。本実施形態において、注視点の位置データとは、三次元グローバル座標系で規定される被験者の視線ベクトルと表示装置101の表示画面101Sとの交点の位置データである。注視点検出部216は、眼球111の画像データから取得された瞳孔中心112Cの位置データと角膜曲率中心110の位置データとに基づいて、被験者の左右それぞれの眼球111の視線ベクトルを検出する。視線ベクトルを検出した後、注視点検出部216は、視線ベクトルと表示画面101Sとの交点を示す注視点の位置データを検出する。
領域設定部218は、表示装置101の表示画面101Sに表示された評価用画像に対応した第一領域と第二領域とを設定する。領域設定部218は、例えば表示画面101Sにおいて自然画が表示された領域の少なくとも一部に第一領域を設定し、幾何学画像が表示された領域に第二領域を設定する。
判定部220は、注視点の位置データに基づいて、注視点が第一領域と第二領域とのどちらを長く注視したかを判定する。判定部220は、例えば、一定時間毎に注視点が第一領域または第二領域に存在するか否かを判定する。一定時間としては、例えば第一カメラ102Aと第二カメラ102Bとから出力されるフレーム同期信号の周期(例えば50[msec]毎)としてもよい。
演算部222は、判定部220の判定結果に基づいて、注視点が第一領域または第二領域に存在すると判定された判定回数をカウントする。演算部222は、第一領域または第二領域について判定回数をカウントするカウンタCNTAとカウンタCNTBとを有する。なお、演算部222は、評価用画像の再生時間を管理する管理タイマと、表示画面101Sに評価用画像が表示されてからの経過時間を検出する検出タイマとを有する。
評価部224は、演算部222の演算結果に基づいて、例えば、自然画よりも幾何学画像が注視される場合、発達障がいの可能性が高いことを示す評価値を算出する。評価部224は、例えば、後述する図15ないし図19の評価用画像を表示した際の被験者の注視点の位置に基づいて、評価用画像における第一領域または第二領域を注視した時間を評価値として算出し、評価値が低いほど、発達障がいの可能性が高いことを示すような評価値を算出する。
出力制御部226は、入出力装置30を介して、出力装置50と音声出力装置70との少なくとも一つにデータを出力する。出力制御部226は、出力装置50に評価装置100の動作状態、測定結果、または、評価結果を出力させる。出力制御部226は、音声出力装置70に被験者に対して指示を行う指示用音声を出力させる。
記憶部228は、表示画面101Sに表示させる評価用画像の画像データと、音声出力装置70から出力させる指示用音声の音声データと、判定部220の判定結果、評価部224の評価結果とを記憶する。表示画面101Sに表示させる画像は、静止画と動画とを含む。
次に、図5、図6を用いて、本実施形態に係る曲率中心算出部212の処理について説明する。図5は、本実施形態に係る角膜曲率中心の位置の算出方法を説明するための模式図である。図6は、本実施形態に係る角膜曲率中心の位置の算出方法を説明するための模式図である。
まず、図5を用いて、1つの光源を使用する場合について説明する。図5において、眼球111は、1つの光源103Cで照明されている。光源103Cは、第一カメラ102Aと第二カメラ102Bとの間に配置される。瞳孔中心112Cは、光源103Cを点灯させた際に検出される瞳孔112の中心である。角膜反射中心113Cは、光源103Cを点灯させた際に検出される角膜反射像113の中心である。
角膜反射中心113Cは、光源103Cと角膜曲率中心110とを結ぶ直線上に位置する。角膜反射中心113Cは、角膜の表面(以下、「角膜表面」という。)と角膜曲率中心110との中間点に位置付けられる。角膜曲率半径109は、角膜表面と角膜曲率中心110との距離である。
角膜反射中心113Cの位置は、ステレオカメラ装置102が撮影した画像データから検出される。角膜曲率中心110は、光源103Cと角膜反射中心113Cとを結ぶ直線上に位置する。曲率中心算出部212は、その直線上において角膜反射中心113Cからの距離が所定値となる位置を、角膜曲率中心110の位置として算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部228に記憶されている。
つづいて、図6を用いて、2つの第一光源103Aと第二光源103Bとを使用する場合について説明する。本実施形態においては、第一カメラ102A及び第二光源103Bと、第二カメラ102B及び第一光源103Aとは、第一カメラ102Aと第二カメラ102Bとの中間位置を通る直線123に対して左右対称の位置に配置される。第一カメラ102Aと第二カメラ102Bとの中間位置に仮想光源103Vが位置するとみなす。
角膜反射中心121は、第二カメラ102Bによって眼球111を撮影した画像における角膜反射中心である。角膜反射中心122は、第一カメラ102Aによって眼球111を撮影した画像における角膜反射中心である。角膜反射中心124は、仮想光源103Vに対応する角膜反射中心である。
角膜反射中心124の位置は、ステレオカメラ装置102が撮影した画像データから検出された角膜反射中心121の位置と角膜反射中心122の位置とに基づいて算出される。ステレオカメラ装置102は、ステレオカメラ装置102に規定される三次元ローカル座標系において角膜反射中心121の位置と角膜反射中心122の位置とを検出する。ステレオカメラ装置102について、事前にステレオ較正法によるカメラ較正が実施され、ステレオカメラ装置102の三次元ローカル座標系を三次元グローバル座標系に変換する変換パラメータが算出される。その変換パラメータは、記憶部228に記憶されている。
曲率中心算出部212は、ステレオカメラ装置102が撮影した画像データから検出された角膜反射中心121の位置と角膜反射中心122の位置とを、変換パラメータを使って、三次元グローバル座標系における位置に変換する。曲率中心算出部212は、三次元グローバル座標系で規定される角膜反射中心121の位置と角膜反射中心122の位置とに基づいて、三次元グローバル座標系における角膜反射中心124の位置を算出する。
角膜曲率中心110は、仮想光源103Vと角膜反射中心124とを結ぶ直線123上に位置する。曲率中心算出部212は、直線123上において角膜反射中心124からの距離が所定値となる位置を、角膜曲率中心110の位置として算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部228に記憶されている。
このように、光源が2つある場合でも、光源が1つである場合の方法と同様の方法で、角膜曲率中心110が算出される。
角膜曲率半径109は、角膜表面と角膜曲率中心110との距離である。したがって、角膜表面の位置と角膜曲率中心110の位置とが算出されることにより、角膜曲率半径109が算出される。
次に、図7を用いて、本実施形態に係る視線検出処理の一例について説明する。図7は、本実施形態に係る視線検出処理の一例を示すフローチャートである。図8は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。図9は、本実施形態に係るキャリブレーション処理の一例を示すフローチャートである。
制御部20Aは、角膜曲率中心110の位置データの算出処理及び瞳孔中心112Cと角膜曲率中心110との距離データの算出処理を含むキャリブレーション処理(ステップS100)を実行する。そして、制御部20Aは、注視点検出処理(ステップS200)を実行する。
まず、図8を用いて、キャリブレーション処理の概略を説明する。キャリブレーション処理では、被験者に注視させるため、目標位置130が設定される。目標位置130は、三次元グローバル座標系において規定される。本実施形態において、目標位置130は、例えば、表示装置101の表示画面101Sの中央位置に設定される。目標位置130は、表示画面101Sの端部位置に設定されてもよい。
表示制御部202は、設定された目標位置130に目標画像を表示させる。これにより、被験者は、目標位置130を注視し易くなる。
直線131は、仮想光源103Vと角膜反射中心113Cとを結ぶ直線である。直線132は、目標位置130と瞳孔中心112Cとを結ぶ直線である。角膜曲率中心110は、直線131と直線132との交点である。曲率中心算出部212は、仮想光源103Vの位置データと、目標位置130の位置データと、瞳孔中心112Cの位置データと、角膜反射中心113Cの位置データとに基づいて、角膜曲率中心110の位置データが算出可能である。
つづいて、図9を用いて、キャリブレーション処理の方法について、フローチャートに沿って説明する。ステップS101ないしステップS109の処理は、図7のステップS100に対応する。
制御部20Aは、表示装置101の一点(中央)に目標画像を表示させる(ステップS101)。より詳しくは、制御部20Aは、表示制御部202によって、表示画面101Sの中央位置に目標画像を表示させる。被験者は、目標画像を注視することにより、目標位置130を注視可能になる。
制御部20Aは、近赤外LEDを点灯する(ステップS102)。より詳しくは、制御部20Aは、光源制御部204によって、光源駆動部406を制御して、照明装置103を被験者の目に向けて点灯させる。
制御部20Aは、左右のカメラで目を撮影する(ステップS103)。より詳しくは、制御部20Aは、第一カメラ入出力部404Aと第二カメラ入出力部404Bとを制御して、ステレオカメラ装置102によって被験者の目を撮像する。
ステップS103においては、照明装置103が照射されているので、瞳孔112は、暗い部分としてステレオカメラ装置102に検出され、角膜反射像113は、明るい部分としてステレオカメラ装置102に検出される。すなわち、ステレオカメラ装置102で撮影される瞳孔112の画像は低輝度となり、角膜反射像113の画像は高輝度となる。
制御部20Aは、瞳孔中心と角膜反射点(角膜反射中心)との画像上の座標を算出する(ステップS104)。より詳しくは、制御部20Aは、位置検出部210によって、取得される画像の輝度に基づいて、瞳孔112の位置と角膜反射像113の位置とを検出する。また、制御部20Aは、位置検出部210によって、瞳孔112の画像データに基づいて、瞳孔中心112Cの位置を算出する。また、制御部20Aは、位置検出部210によって、角膜反射像113の画像データに基づいて、角膜反射中心113Cの位置を算出する。
制御部20Aは、左右のカメラの座標から瞳孔中心と角膜反射点とを世界座標(三次元グローバル座標)に変換する(ステップS105)。ステップS104において、ステレオカメラ装置102によって検出された位置は、3次元のローカル座標系で規定される位置である。制御部20Aは、位置検出部210によって、記憶部228に記憶されている変換パラメータを使用して、ステレオカメラ装置102で検出された瞳孔中心112Cの位置と角膜反射中心113Cの位置とを座標変換して、三次元グローバル座標系で規定される瞳孔中心112Cの位置と角膜反射中心113Cの位置とを算出する。
制御部20Aは、LED中心位置と角膜反射点とを結ぶ直線131を算出する(ステップS106)。より詳しくは、制御部20Aは、曲率中心算出部212によって、グローバル座標系で規定される角膜反射中心113Cと仮想光源103Vとを結ぶ直線131を算出する。
制御部20Aは、目標画像を再生した表示装置101の一点と瞳孔とを結ぶ直線132を算出する(ステップS107)。より詳しくは、制御部20Aは、曲率中心算出部212によって、表示画面101Sに規定される目標位置130と瞳孔中心112Cとを結ぶ直線132を算出する。
制御部20Aは、2本の直線131と直線132との交点を角膜曲率中心110として算出する(ステップS108)。より詳しくは、制御部20Aは、曲率中心算出部212によって、ステップS106で算出した直線131とステップS107で算出した直線132との交点を求め、この交点を角膜曲率中心110とする。
制御部20Aは、瞳孔中心112Cと角膜曲率中心110との距離を算出して記憶する(ステップS109)。より詳しくは、制御部20Aは、曲率中心算出部212によって、瞳孔中心112Cと角膜曲率中心110との距離126を算出して、キャリブレーション結果として記憶部228に記憶する。記憶された距離126は、ステップS200の注視点検出処理において、角膜曲率中心110を算出する際の補正に使用される。
次に、図10、図11を用いて、本実施形態に係る注視点検出処理の一例について説明する。図10は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。図11は、本実施形態に係る視線検出処理の一例を示すフローチャートである。注視点検出処理は、キャリブレーション処理の後に実施される。注視点検出処理は、キャリブレーション処理で求めた瞳孔中心112Cと角膜曲率中心110との距離126を用いて、角膜曲率中心110の位置を補正することと、補正された角膜曲率中心110の位置を使って注視点を算出することとを含む。
まず、図10を用いて、注視点検出処理の概略を説明する。注視点165は、一般的な曲率半径値を用いて算出された角膜曲率中心から求めた注視点である。注視点166は、キャリブレーション処理で求められた距離126を用いて算出された角膜曲率中心110Hから求めた注視点である。
瞳孔中心112Cは、キャリブレーション処理において算出された瞳孔中心を示し、角膜反射中心113Cは、キャリブレーション処理において算出された角膜反射中心を示す。
直線173は、仮想光源103Vと角膜反射中心113Cとを結ぶ直線である。角膜曲率中心110は、一般的な曲率半径値から算出した角膜曲率中心の位置である。
距離126は、キャリブレーション処理により算出した瞳孔中心112Cと角膜曲率中心110との距離である。
角膜曲率中心110Hは、距離126を用いて角膜曲率中心110を補正した補正後の角膜曲率中心の位置を示す。
角膜曲率中心110Hは、角膜曲率中心110が直線173上に位置することと、瞳孔中心112Cと角膜曲率中心110との距離が距離126であることとから求められる。
このようにして、一般的な曲率半径値を用いる場合に算出される視線177は、視線178に補正される。また、表示装置101の表示画面101S上の注視点は、注視点165から注視点166に補正される。
つづいて、図11を用いて、視線検出処理の方法について、フローチャートに沿って説明する。ステップS201ないしステップS209の処理は、図7のステップS200に対応する。ステップS201~ステップS205は、図9のステップS102~ステップS106と同様の処理を行う。例えば、評価用画像を用いた評価処理の中で視線を検出する処理として、図11に示す視線検出処理が実行される。評価処理では、図11に示す処理以外に、評価用画像を表示する処理、および、注視点の検出結果を用いた評価部357による評価処理などが実行される。
制御部20Aは、算出した直線173と、キャリブレーション処理で求めた瞳孔中心112Cと角膜曲率中心110Hとの距離126とから角膜曲率中心110Hを算出する(ステップS206)。より詳しくは、制御部20Aは、補正位置算出部214によって、ステップS205で算出した直線173上であって、瞳孔中心112Cからの距離がキャリブレーション処理によって求めた距離126と等しい位置を、補正後の角膜曲率中心110Hとして算出する。
制御部20Aは、瞳孔中心112Cと角膜曲率中心110Hとを結ぶ視線ベクトルを算出する(ステップS207)。より詳しくは、制御部20Aは、注視点検出部216によって、瞳孔中心112Cと角膜曲率中心110Hとを結ぶベクトル(視線ベクトル)を求める。このベクトルは、被験者が見ている視線方向を示す。
制御部20Aは、視線ベクトルと表示装置101との交点の世界座標を算出する(ステップS208)。より詳しくは、制御部20Aは、注視点検出部216によって、視線ベクトルと表示画面101Sとの交点の位置を算出する。視線ベクトルと表示画面101Sとの交点の位置が、三次元グローバル座標系で規定される表示画面101Sにおける被験者の注視点の位置である。
制御部20Aは、世界座標を表示装置101の座標に変換して視点位置を取得する(ステップS209)。より詳しくは、制御部20Aは、注視点検出部216によって、三次元グローバル座標系で規定される注視点の位置を、2次元座標系で規定される表示画面101Sにおける位置に変換する。これにより、被験者が見つめる表示画面101S上の視点(注視点)が算出可能である。
次に、本実施形態に係る評価方法について説明する。本実施形態において、評価装置100は、例えば、被験者に評価用画像を視認させて関心対象を評価することで診断を支援する。
まず、評価用画像について説明する。
図12ないし図14を用いて、従来の評価用画像の例について説明する。図12は、従来の評価用画像の一例を示す図である。図13は、従来の評価用画像の他の例を示す図である。図14は、従来の評価用画像の他の例を示す図である。
従来の評価用画像は、自然画と幾何学画像とを含む。発達障がい者は、自然画よりも幾何学画像の映像を好むためである。自然画は、幾何学画像以外の、自然物または自然物を連想させるような画像であればよい。例えば、人物、動物、植物、および自然の景観などをカメラで撮像した画像(静止画、動画)を自然画として用いてもよい。また、人物および動物などを模したキャラクタの画像(静止画、動画)を自然画として用いてもよい。
図12に示す評価用画像は、右側に自然画1000である人物映像を表示し、左側に幾何学画像1010を表示している。ここでは、自然画1000と幾何学画像1010とを対比して比較する課題であり、左右の均衡をとるため、自然画1000と幾何学画像1010との色彩、輝度、動きなどを近いように設計されている。これにより、どちらかを偏って見ることがなくなる。被験者が3歳程度までの低年齢であると、好みの映像を見た状態が維持されるが、5歳以上の年齢になると、好みの映像は見るが、反対側の映像も気になって見るようになる。また、目を引くような幾何学画像にも興味を持ち、幾何学画像を注視することがある。これにより、このような評価用画像を使用すると、被験者が定型発達に近いか、発達障がいの可能性があるかの評価において、感度と特異度の低下が発生する。
また、評価のため、評価用画像には、人物の顔付近に円形状の第一領域1001を設定し、幾何学模様部分に円形状の第二領域1011を設定している。第一領域と第二領域の注視の比率を求めることにより、被験者が定型発達に近いか、発達障がいの可能性があるかを評価する。
図13に示す評価用画像は、図12に対して、左側に自然画1020を表示し、右側に幾何学画像1030を表示している。人物の顔付近に円形状の第一領域1021を設定し、幾何学模様部分に矩形状の第二領域1031を設定している。
図14に示す評価用画像は、図12と同じ配置である。右側に自然画1040を表示し、左側に幾何学画像1050を表示している。人物の顔付近に円形状の第一領域1041を設定し、幾何学模様部分に矩形状の第二領域1051を設定している。これは、このような評価用画像を見せる場合、被験者の癖で右から見始める場合や、左をより多く見る場合などがあり、この影響を軽減するために左右配置の異なった映像を同数制作し、これを見せる方法(カウンターバランス)がある。しかしながら、この影響を完全に取ることは困難である。
図15ないし図19を用いて、本実施形態の評価用画像の例について説明する。図15は、評価用画像の一例を示す図である。図16は、評価用画像の他の例を示す図である。図17は、評価用画像の他の例を示す図である。図18は、評価用画像の他の例を示す図である。図19は、評価用画像の他の例を示す図である。本実施形態の評価用画像は、自然画と、自然画の外周の少なくとも一部を囲んで配置された幾何学画像とを含む。外周の少なくとも一部とは、例えば、自然画が矩形状であるとき、幾何学画像が、外周のすべてを囲む矩形の枠状に限定されず、例えば、いずれか一方が開口した形状、Uの字形状などであってもよい。評価用画像は、自然画と、自然画の外周のすべてを均等に囲む額縁状に配置された幾何学画像とを含むことが好ましい。
本実施形態の評価用画像は、従来と同様の自然画と、幾何学画像とを含む。本実施形態の幾何学画像は、1以上の幾何学模様を含む画像を表す。幾何学画像は、1以上の幾何学模様を規則的に繰り返す画像であることが好ましい。
図15に示す評価用画像は、中央に自然画1060を表示し、周辺に市松模様の幾何学画像1070を表示している。幾何学画像1070を中央にすることにより、図12の従来例と比較して、自然画1060の面積が大きくなり見やすくなっている。また、周辺に幾何学画像1070を表示しているので、無駄なスペースがなく、幾何学画像1070の面積も十分に確保できている。
幾何学画像1070は、定型発達者が気にならないように、あまり派手でないほうが望ましい。また、幾何学画像1070は、同様な理由でシンプルな模様の方が望ましい。また、幾何学画像1070は、額縁のように見えるので、定型発達者は、初見で気になったとしても、すぐに飽きてしまう。発達障がいの可能性のある者は、自然画1060より幾何学画像1070を好む傾向があるので、周辺のシンプルな幾何学画像1070でも、飽きずに見続ける傾向が強い。
また、幾何学画像1070は、自然画1060との境界において、模様の区切りであることが好ましい。例えば、幾何学画像1070が市松模様である場合、格子が途中で切れたような配置とならずに、格子の区切りが自然画1060との境界となっていることが好ましい。
また、評価のため、従来例と同様に、人物の顔付近に第一領域1061を設定し、幾何学模様部分の全体に第二領域1071を設定している。第一領域1061と、第二領域1071の注視の比率を求めることにより、被験者が定型発達に近いか、発達障がいの可能性があるかを評価する。
図15に示す自然画1060は中央に表示されているが、左右・上下に偏っても問題ない。このような配置では、被験者がどちらを見るかの課題であると意識しないので、定型発達者は自然画1060を見るようになる。
また、自然画1060は動画であるが、幾何学画像1070は動きが極端に遅いか、動く幅が少ないなど、目立たないことが望ましい。幾何学画像1070は、静止画であってもよい。
評価用画像における自然画と幾何学画像との割合は、自然画の被撮影物が被験者にとって認識しやすい割合であり、幾何学画像が自然画に対して突出して注意を惹かない割合であることが好ましい。評価用画像における自然画と幾何学画像との割合は、特に限定されないが、ほぼ等しい面積、または、幾何学模様を少し大きい面積とすることが好ましい。
図16、図17に示す評価用画像は、図15と同様に、中央に自然画1080または自然画1100を表示し、周辺に幾何学画像1090または幾何学画像1110を表示している。人物の顔付近に円形状の第一領域1081または第一領域1101を設定し、幾何学模様部分の全体に第二領域1091または第二領域1111を設定している。
通常、複数の自然画と幾何学画像との組み合わせであるパターンを被験者に見せて、総合的に発達障がいの可能性があるかを評価する。これは、偶然性を排除するためと、たまたま好みに近い映像が出て、発達障がいの特性と異なる見方をしてしまう場合の影響を軽減するためである。そこで、例えば、評価用画像を図15→図16→図17というように視聴してもらう。このとき、いずれの評価用画像においても、自然画1060と自然画1080と自然画1100とは中央付近にあり、カウンターバランスを配慮する必要はなく、影響もない。
また、定型発達者は、変化しないものに興味が薄れやすい傾向があるが、発達障がい者は、好きなものであれば、飽きずに長時間見続けられる傾向もある。つまり、図15→図16→図17のように、中央の自然画が自然画1060→自然画1080→自然画1100と変更されても、周辺の幾何学画像1070と幾何学画像1090と幾何学画像1110とは変化せず、同一の幾何学画像にすることも、定型発達者が中央の自然画を見続け、発達障がい者が幾何学画像を見続けるという傾向を高めることができる。このような評価用画像を使用することにより、発達障がいの可能性があるかの評価において、感度と特異度とを向上させる要因となる。
図18に示す評価用画像は、周辺の幾何学画像1130の輝度とコントラストと彩度との少なくともいずれかを、自然画1120に対して下げたもので、より一層、定型発達者が幾何学画像1130を見てしまう確率が低下する。このような評価用画像を使用することにより、発達障がいの可能性があるかの評価において、感度と特異度とが向上する。
図19に示す評価用画像は、図15の幾何学画像1070とは異なる幾何学画像1150を表示したものである。自然画1140は、図15の自然画1060と同じである。このように複数の種類の幾何学画像を使用することも可能である。
このような評価用画像を被験者に視認させると、被験者が発達障がい者ではない場合、幾何学画像よりも人物映像に興味を示す傾向にある。この場合、注視点が人物映像に移動し、人物映像を幾何学画像よりも長い時間注視する傾向にある。一方、被験者が発達障がい者である場合、人物映像よりも幾何学画像に対して興味を示す傾向にある。この場合、注視点が幾何学画像に移動し、幾何学画像を人物映像よりも長い時間注視する傾向にある。このため、人物映像と幾何学画像とを含む評価用画像を表示して、どちらを長く注視するかを検出することにより、被験者に発達障がいの可能性があるかを評価することが可能である。
本実施形態に係る評価装置100において、演算部222は、注視点が第一領域に入った場合、カウンタCNTAをカウントアップする。演算部222は、注視点が第二領域に入った場合、カウンタCNTBをカウントアップする。
本実施形態において、評価部224は、例えば、カウンタCNTAとカウンタCNTBとを比較することで、評価を行うことが可能である。評価部224は、カウンタCNTAが大きいほど、被験者の関心度は自然画の方が高く、幾何学画像の方が低いと評価することが可能である。また、この場合、被験者が発達障がい者である可能性は低いと評価することが可能である。評価部224は、カウンタCNTBが大きいほど、被験者の関心度は幾何学画像の方が高く、自然画の方が低いと評価することが可能である。また、この場合、被験者が発達障がい者である可能性は高いと評価することが可能である。
本実施形態において、出力制御部226は、評価部224の評価結果に応じて、例えば「被験者は発達障がい者である可能性が低いと思われます」の文字データや、「被験者は発達障がい者である可能性が高いと思われます」の文字データ等を出力装置50に出力させる。
次に、図20を用いて、評価装置100における評価処理について説明する。図20は、本実施形態における評価処理の一例を示すフローチャートである。
制御部20Aは、映像再生を開始する(ステップS301)。より詳しくは、制御部20Aは、表示制御部202によって、表示装置101に評価用画像の再生を開始させる。
制御部20Aは、被験者の注視点の計測に先立ち、カウンタCNTA、カウンタCNTBをリセットする(ステップS302)。
制御部20Aは、評価用画像の再生開始からの経過時間である映像再生経過時間を取得する(ステップS303)。
制御部20Aは、注視点検出部216によって、所定間隔ごとに、注視点を検出する(ステップS304)。
制御部20Aは、注視点検出部216による注視点検出が失敗したか成功したかを判断する(ステップS305)。制御部20Aは、注視点検出に失敗した場合(ステップS305でYes)、ステップS311に進む。制御部20Aは、注視点検出に成功した場合(ステップS305でYes)、ステップS306に進む。
制御部20Aは、注視点検出部216によって、注視点が検出された領域を注視点座標から検出する(ステップS306)。
制御部20Aは、注視点が第一領域にあるか否かを判断する(ステップS307)。制御部20Aは、判定部220によって、注視点が第一領域にあると判断した場合(ステップS307でYes)、ステップS309に進む。制御部20Aは、判定部220によって、注視点が第一領域にないと判断した場合(ステップS307でNo)、ステップS308に進む。
制御部20Aは、注視点が第二領域にあるか否かを判断する(ステップS308)。制御部20Aは、判定部220によって、注視点が第二領域にあると判断した場合(ステップS308でYes)、ステップS310に進む。制御部20Aは、判定部220によって、注視点が第二領域にないと判断した場合(ステップS308でNo)、ステップS311に進む。
注視点が第一領域にある場合(ステップS307でYes)、制御部20Aは、演算部222によって、カウンタCNTAをカウントアップする(ステップS309)。制御部20Aは、ステップS311に進む。
注視点が第二領域にある場合(ステップS308でYes)、制御部20Aは、演算部222によって、カウンタCNTBをカウントアップする(ステップS310)。制御部20Aは、ステップS311に進む。
制御部20Aは、映像再生が完了したか否かを判断する(ステップS311)。制御部20Aは、映像の再生可能な時間と、ステップS303で取得した映像再生経過時間とを比較して、映像が最後まで再生されたか否かを判断する。制御部20Aは、再生中の映像が最後まで再生されたと判断した場合(ステップS311でYes)、ステップS312に進む。制御部20Aは、再生中の映像が最後まで再生されていないと判断した場合(ステップS311でNo)、ステップS303に戻って処理を継続する。
映像再生が完了した場合(ステップS311でYes)、制御部20Aは、評価部224によって、評価値を演算する(ステップS312)。より詳しくは、制御部20Aは、評価部224によって、カウンタCNTA値とカウンタCNTB値とを比較して判断支援のための評価値を算出する。また、制御部20Aは、評価部224によって、評価値を算出する際に、発達障がいの可能性があるかと評価された者のみが好む傾向にある、感度の高い評価用画像の評価値に重み付けを行って、発達障がいの可能性があるかの評価における感度と特異度とを上げるようにしてもよい。制御部20Aは、ステップS313に進む。
制御部20Aは、出力制御部226によって、出力装置50に評価値を出力する(ステップS314)。
なお、ステップS301において、評価用画像が表示画面101Sに表示される場合に、被験者の注視点を基準位置から開始させるため、表示画面101Sにアイキャッチ映像を表示させた後、評価用画像を表示させる。本実施形態では、基準位置は、表示画面101Sの中央位置とする。
アイキャッチ映像について説明する。アイキャッチ映像は、被験者が評価用画像の基準位置から見始めるようにするものである。基準位置は、評価用画像の表示開始時に、被験者を注視させたい評価用画像内の位置を設定可能である。例えば、基準位置は、評価用画像の中央としてもよいし、評価用画像に設定される第一領域としてもよい。アイキャッチ映像は、被験者に注視させて基準位置を注視するようにすることで、偶然のタイミングで注視基準位置が変わり、評価に影響することを防止する。例えば、アイキャッチ映像は、アニメーションのキャラクタが急速に小さくなるなどのパターンである。この場合、収縮する前に何であるか視認させる必要があるため、ウサギのキャラクタを見せて認識させた後に、収縮する映像になる。この場合、しっかり視認させる必要があり、映像全体の尺が伸びるおそれがある。
そこで、次のような方法がある。この方法は、表示されている映像全体を収縮させ視線をその場所に集めるものである。図21、図22を用いて、従来のアイキャッチパターンについて説明する。図21は、従来のアイキャッチ画像の一例を示す図である。図22は、図21から動作した後のアイキャッチ画像の一例を示す図である。図21は従来例の収縮前、図22は、収縮後の映像である。図21の自然画1160と幾何学画像1170とに比べて、図22の自然画1180と幾何学画像1190とは、収縮されている。この方法を使用する場合の問題点は、幾何学画像も収縮するので、幾何学画像にも動きが出てしまい、幾何学画像に対する注視状況にリセットがかかることである。このため、次の映像が出た時に、定型発達者の視線が必要以上に動きやすい問題がある。
図23、図24を用いて、本発明のアイキャッチパターンについて説明する。図23は、アイキャッチ画像の一例を示す図である。図24は、図23から動作した後のアイキャッチ画像の一例を示す図である。この方法は、表示されている映像の中で、中央の自然画1200の部分のみ収縮させるものである。図22は収縮前、図23は、収縮後のものである。図24の自然画1220は、図23の自然画1200に比べて収縮している。図24の幾何学画像1230は、図23の幾何学画像1210に比べて変化していない。このように、幾何学画像1230は収縮しないので、幾何学画像1230は動かないままで、背景の幾何学画像1230に対して注視状況にリセットがかかることがない。このため、次の映像が出た時に、定型発達者の視線が必要以上に動かない利点がある。このため、感度と特異度とを向上させることが可能である。
アイキャッチ映像は、例えば、自然画と幾何学画像との境界のいずれかの一点を基準位置として、基準位置に向かって収縮させてもよい。これにより、自然画を注視していた定型発達者も、幾何学画像を注視していた発達障がい者にも、より中立な基準位置に導くアイキャッチ映像になる。
アイキャッチ映像は、複数の自然画と幾何学画像との組合わせであるパターンにおいて、次に表示される映像に応じて、収縮させる基準位置を設定してもよい。例えば、次に表示される映像において注視させたい位置の近くに、基準位置を設定してもよい。
上述したように、本実施形態は、自然画と、自然画の外周の少なくとも一部を囲んで配置された幾何学画像とを含む評価用画像を被験者に視認させて、注視点のデータから、発達障がいの可能性があるか否かの評価を支援する。本実施形態によれば、幾何学画像が額縁のように見えるので、定型発達者は、初見で気になったとしても、すぐに飽きてしまう。また、本実施形態によれば、発達障がいの可能性のある者は、自然画より幾何学画像を好む傾向があるので、額縁状のシンプルな幾何学画像でも、飽きずに見続ける傾向が強い。これらにより、本実施形態によれば、被験者が5歳以上である場合でも、良好な感度と特異度とを得ることができる。このように、本実施形態は、感度と特異度とを向上させることができる。本実施形態は、被験者の評価を高精度に行うことができる。
本実施形態は、アイキャッチ映像として、幾何学画像は大きさを変化させず、中央の自然画の部分のみ収縮させる。本実施形態は、幾何学画像が収縮せず動かないので、背景の幾何学画像に対して注視状況にリセットがかかることを抑制することができる。このため、次の映像が出た時に、定型発達者の視線が必要以上に動かない利点を得ることができる。このように、本実施形態によれば、感度と特異度とを向上させることができる。
これに対して、幾何学画像が収縮すると、発達障がい者は、収縮する幾何学画像を見てしまい、視点を基準位置に誘導することが困難である。
本実施形態は、評価に使用した評価用画像をアイキャッチ映像として使用するので、注視点の検出の終了とともに、すぐに収縮開始することができる。これにより、評価に要する全体の時間を短縮することができる。これに対して、評価用画像とは異なるキャラクタなどのアイキャッチ映像を使用すると、収縮する前に何であるか視認させる必要があるため、評価に要する全体の時間が長くなるおそれがある。
本実施形態は、幾何学画像は、自然画に比べて、輝度とコントラストと彩度との少なくともいずれかを低減した画像である。本実施形態は、このような幾何学画像を含む評価用画像を使用することにより、定型発達者が幾何学画像を見てしまう確率をより低減することができる。これにより、本実施形態によれば、感度と特異度とが向上することができる。
本実施形態は、幾何学画像は自然画に比べて動きが極端に遅いか、動く幅が少ないなど、目立たないものとする。被験者は、動きの激しい自然画に視点が移動する傾向があることが知られている。本実施形態は、定型発達者が幾何学画像を見てしまう確率をより低減することができる。これにより、本実施形態によれば、感度と特異度とが向上することができる。
これまで本発明に係る評価装置100について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。
図示した評価装置100の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
評価装置100の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
上記では、自然画と幾何学画像との間に空白部分を設けていないが、空白部分を設けてもよい。この場合、アイキャッチ映像の空白部分を基準位置として収縮させてもよい。
上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。