以下に、本発明にかかる診断支援装置および診断支援方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。
(第1の実施形態)
図1は、第1の実施形態で用いる表示部、ステレオカメラ、および光源の配置の一例を示す図である。図1に示すように、第1の実施形態では、表示画面101の下側に、1組のステレオカメラ102を配置する。ステレオカメラ102は、赤外線によるステレオ撮影が可能な撮像部であり、右カメラ202と左カメラ204とを備えている。
右カメラ202および左カメラ204の各レンズの直前には、円周方向に赤外LED(Light Emitting Diode)光源203および205がそれぞれ配置される。赤外LED光源203および205は、発光する波長が相互に異なる内周のLEDと外周のLEDとを含む。赤外LED光源203および205により被験者の瞳孔を検出する。瞳孔の検出方法としては、例えば特許文献2に記載された方法などを適用できる。
視線を検出する際には、空間を座標で表現して位置を特定する。本実施形態では、表示画面101の画面の中央位置を原点として、上下をY座標(上が+)、横をX座標(向かって右が+)、奥行きをZ座標(手前が+)としている。
図2は、診断支援装置100の機能の概要を示す図である。図2では、図1に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図2に示すように、診断支援装置100は、右カメラ202と、左カメラ204と、赤外LED光源203および205と、スピーカ105と、駆動・IF部208と、制御部300と、記憶部150と、表示部210と、を含む。図2において、表示画面101は、右カメラ202および左カメラ204との位置関係を分かりやすく示しているが、表示画面101は表示部210において表示される画面である。
スピーカ105は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する音声出力部として機能する。
駆動・IF部208は、ステレオカメラ102に含まれる各部を駆動する。また、駆動・IF部208は、ステレオカメラ102に含まれる各部と、制御部300とのインタフェースとなる。
記憶部150は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。記憶部150は、例えば、表示部210に表示する画像等を記憶する。表示部210は、診断のための対象画像等、各種情報を表示する。
図3は、図2に示す各部の詳細な機能の一例を示すブロック図である。図3に示すように、制御部300には、表示部210と、駆動・IF部208が接続される。駆動・IF部208は、カメラIF314、315と、LED駆動制御部316と、スピーカ駆動部322と、プリンタIF323と、を備える。
駆動・IF部208には、カメラIF314、315を介して、それぞれ、右カメラ202、左カメラ204が接続される。駆動・IF部208がこれらのカメラを駆動することにより、被験者を撮像する。
右カメラ202からはフレーム同期信号が出力される。フレーム同期信号は、左カメラ204とLED駆動制御部316とに入力される。これにより、第1フレームで、タイミングをずらして左右の波長1の赤外線光源(波長1−LED303、波長1−LED305)を発光させ、それに対応して左右カメラ(右カメラ202、左カメラ204)による画像を取り込み、第2フレームで、タイミングをずらして左右の波長2の赤外線光源(波長2−LED304、波長2−LED306)を発光させ、それに対応して左右カメラによる画像を取り込んでいる。
赤外LED光源203は、波長1−LED303と、波長2−LED304と、を備えている。赤外LED光源205は、波長1−LED305と、波長2−LED306と、を備えている。
波長1−LED303、305は、波長1の赤外線を照射する。波長2−LED304、306は、波長2の赤外線を照射する。
波長1および波長2は、それぞれ例えば900nm未満の波長および900nm以上の波長とする。900nm未満の波長の赤外線を照射して瞳孔で反射された反射光を撮像すると、900nm以上の波長の赤外線を照射して瞳孔で反射された反射光を撮像した場合に比べて、明るい瞳孔像が得られるためである。
スピーカ駆動部322は、スピーカ105を駆動する。プリンタIF323は、印刷部としてのプリンタ324と接続するためのインタフェースである。なお、プリンタ324を診断支援装置100の内部に備えるように構成してもよい。
制御部300は、診断支援装置100全体を制御する。制御部300は、視線検出部351と、視点検出部352と、距離検出部353と、出力制御部354と、較正部355と、領域分割部356と、領域特定部357と、補正部358と、評価部359と、を備えている。
視線検出部351は、撮像部(ステレオカメラ102)により撮像された撮像画像から、被験者の視線(視線方向)を検出する。視線を検出する処理には、被験者の目の位置を検出する処理が含まれる(位置検出部)。視点検出部352は、検出された視線方向を用いて被験者の視点を検出する。視点検出部352は、例えば、表示画面101に表示された対象画像のうち、被験者が注視する点である視点(注視点)を検出する。視線検出部351による視線検出方法、および、視点検出部352による視点検出方法としては、従来から用いられているあらゆる方法を適用できる。以下では、特許文献3と同様に、ステレオカメラを用いて被験者の視線方向および注視点を検出する場合を例に説明する。
この場合、まず視線検出部351は、ステレオカメラ102で撮影された画像から、被験者の視線方向を検出する。視線検出部351は、例えば、特許文献1および2に記載された方法などを用いて、被験者の視線方向を検出する。具体的には、視線検出部351は、波長1の赤外線を照射して撮影した画像と、波長2の赤外線を照射して撮影した画像との差分を求め、瞳孔像が明確化された画像を生成する。視線検出部351は、左右のカメラ(右カメラ202、左カメラ204)で撮影された画像それぞれから上記のように生成された2つの画像を用いて、ステレオ視の手法により被験者の瞳孔の位置(目の位置)を算出する。また、視線検出部351は、左右のカメラで撮影された画像を用いて被験者の角膜反射の位置を算出する。そして、視線検出部351は、被験者の瞳孔の位置と角膜反射位置とから、被験者の視線方向を表す視線ベクトルを算出する。
なお、被験者の目の位置および視線の検出方法はこれに限られるものではない。例えば、赤外線ではなく、可視光を用いて撮影した画像を解析することにより、被験者の目の位置および視線を検出してもよい。
視点検出部352は、例えば図1のような座標系で表される視線ベクトルとXY平面との交点を、被験者の注視点として検出する。両目の視線方向が得られた場合は、被験者の左右の視線の交点を求めることによって注視点を計測してもよい。
距離検出部353は、撮像部(ステレオカメラ102)から被験者の目の位置までの距離を検出する。本実施形態では、距離検出部353は、ステレオカメラ102から被験者の目との間の奥行方向(Z座標方向)の距離dzを、撮像部(ステレオカメラ102)から被験者の目の位置までの距離として検出する。
図4は、2台のカメラ(右カメラ202、左カメラ204)を使用した場合の目および距離の検出の一例を示す図である。2台のカメラは、事前にステレオ較正法によるカメラキャリブレーション理論を適用し、カメラパラメータを求めておく。ステレオ較正法は、Tsaiのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。右カメラ202で撮影された画像から検出した目の位置と、左カメラ204で撮影された画像から検出した目の位置と、カメラパラメータとを用いて、世界座標系における目の3次元座標が得られる。これにより、目とステレオカメラ102間の距離、および、瞳孔座標を推定することができる。瞳孔座標とは、XY平面上での被験者の目(瞳孔)の位置を表す座標値である。瞳孔座標は、例えば、世界座標系で表される目の位置をXY平面に投影した座標値とすることができる。通常は、左右両目の瞳孔座標が求められる。
表示画面101には、マーカ402と、目の位置画像403とが表示される。目の位置画像403とは、被験者の目の位置を示す画像である。マーカ402は、予め定められた基準距離における被験者の目の位置画像403の大きさに対応する画像である。図4では、矩形のマーカを表示しているが、マーカ402の形状は矩形に限られるものではない。例えば、矩形(四角形)以外の多角形、円形、または、楕円形のマーカを用いてもよい。
図1に示すような座標系(世界座標系)を用いている場合、表示画面101の中央位置が原点である。このため、検出された目の位置のZ座標値が、ステレオカメラ102から被験者の目との間の奥行方向の距離dzに相当する。なお、実際のステレオカメラ102の位置と、視線検出部351によって算出された被験者の目の位置とから、両者間の距離を算出してもよい。例えば、視点検出部352が、右カメラ202および左カメラ204のいずれかの位置、または、右カメラ202の位置と左カメラ204の位置との中間位置から、被験者の目までの距離を検出するように構成してもよい。
図3に戻り、出力制御部354は、表示部210、スピーカ105、および、プリンタ324などに対する各種情報の出力を制御する。例えば、出力制御部354は、視線方向の検出のためのパラメータの較正(キャリブレーション)に用いる画像(第1画像)、注視点の位置を補正するための補正用注視点の検出に用いる画像(第2画像)、診断に用いる画像(診断画像(第3画像))、および、評価部359による評価結果などの表示部210に対する出力を制御する。
後述するように、出力制御部354は、キャリブレーションに用いる画像、補正用注視点の検出に用いる画像、および、診断画像を、この順に表示部210に表示させるように制御してもよい。これにより、診断に必要な各処理を円滑に実行し、診断の精度を向上させることができる。
また、出力制御部354は、被験者の位置を調整するための画像(位置調整用画像)を表示部210に表示させる。例えば、出力制御部354は、被験者の目の位置画像、基準領域の範囲を示す基準画像、および、撮像領域の範囲を示す撮像範囲画像のうち少なくとも1つを位置調整用画像として、設定領域と被験者の目の位置との位置関係に応じて表示態様を変化させて表示画面101に表示させる。出力制御部354は、例えば、距離に応じて目の位置画像403の大きさを変化させて表示画面101に表示させる。なお、表示態様は大きさに限られるものではない。例えば、色、画像の色調、画像の輝度、および、画像中に含まれる文字または記号または図形であってもよい。
基準領域は、撮像領域に含まれる領域であって、例えば被験者の目の適切な位置の範囲を表す領域として予め定められる。例えば、撮像領域の中心を含む撮像領域内の所定の大きさの領域を基準領域とすることができる。設定領域は、被験者の目の位置を検出するために適切な領域を表す。例えば、基準領域を設定領域としてもよいし、撮像領域を設定領域としてもよい。
基準画像は、基準領域に対応する範囲を表す画像として表示画面101に表示する画像である。基準画像は、例えば表示画面101の中央部に表示される。出力制御部354は、例えば、位置関係に応じて基準画像の色を変化させて表示画面101に表示させる。なお、表示態様は色に限られるものではなく、明るさなどを変化させてもよい。
出力制御部354は、基準画像内に動画像を表示させてもよい。動画像としては、例えば、人物や動物などを模したキャラクタが動く映像などを用いることができる。これにより、被験者に表示画面101を注目させ、被験者の位置を適切に調整させることができる。
また、出力制御部354は、注視点位置の補正処理に用いられる目標注視点位置(ターゲットポイント)の目印を表示画面101に表示させる。ここで、ターゲットポイントとは、被験者に注視させる位置である。
図5は、ターゲットポイントの目印の一例を示す図である。図5に示すように、目印として所定の半径の円の画像を用いてもよい。また、目印として、所定形状の枠と枠内に表示する画像(静止画、動画)とを用いてもよい。本実施形態においては、出力制御部354は、表示部210に、その表示領域内の異なる5つのターゲットポイントを示す5つの目印(SP0〜SP4)を表示する。目印の形状や個数はこれらに限られるものではない。
本実施形態においては、長方形の画面(表示領域)の各辺に平行な4辺を有する四角形の頂点位置を、SP1〜SP4のターゲットポイントとする。また、画面のほぼ中央を、SP0のターゲットポイントとする。すなわち、SP0は、表示領域において、SP1〜SP4に比べて内側の位置を示す中心目印である。なお、本実施形態においては、SP0は、XYZ座標系の原点、すなわち表示部210の画面の中央位置に一致するものとする。ターゲットポイントの目印の画像の種類および表示位置は、記憶部150等に予め設定されているものとする。
ターゲットポイントの目印は、表示部210の他の領域と、輝度や彩度が異なる画像であればよく、円画像以外の画像であってもよい。また、他の例としては、ターゲットポイントの配置位置に光を照射するなどによりターゲットポイントの目印を示すこととしてもよい。すなわち、目印は、画像以外に光であってもよい。このように、目印は、被験者が注視すべき位置を認識可能な態様であればよく、その表示態様は実施形態に限定されるものではない。
図3に戻り、較正部355は、視線方向を検出するために用いる計算パラメータを較正(視線検出用較正)する。一般に個人ごとに目の光軸と視線方向とが異なる。このため、光軸と視線方向が一致するように補正する必要があるためである。視線検出用較正処理では、所定の座標系上で既知である所定の位置(例えば視線検出用較正に用いる画像)を被験者に注視させて、その時の瞳孔の中心(瞳孔の位置)と角膜反射位置とを測定する。そして、較正部355は、測定された瞳孔の位置と角膜反射位置とから求められる視線方向が、所定の位置に向くように、視線検出のための計算パラメータを修正する。
領域分割部356は、補正用に表示されたターゲットポイントの目印に対して検出された注視点(補正用注視点)に基づいて、表示部210の画面を複数の部分領域に分割する。
領域特定部357は、診断画像に対して検出された注視点(分析用注視点)が、表示領域中のいずれの部分領域に属するかを特定する。
補正部358は、分析用注視点が属する部分領域に基づいて、分析用注視点の位置を補正する。
ここで、領域分割部356、領域特定部357および補正部358の処理について図6〜図9を参照しつつ詳述する。
図6に示す点SP0a〜SP4aは、それぞれターゲットポイントの目印SP0〜SP4を被験者が注視することによって得られた被験者の補正用注視点である。
領域分割部356は、まず点SP0aをXY座標系の原点に一致させる。具体的には、領域分割部356は、XY座標系の原点からSP0aへの原点変位値を算出する。ここで、原点とSP0の位置とは一致する。そして、領域分割部356は、SP1a〜SP4aそれぞれを、原点変位値だけ移動させたSP1b〜SP4bの座標を求める。例えば、SP0aの座標が(x0,y0)である場合には、原点変位値は、(−x0,−y0)となる。したがって、領域分割部356は、SP1a〜SP4aそれぞれの座標に(−x0,−y0)を加算することにより、SP1b〜SP4bの座標を得る。
図7は、フレームFと図6の点SP0aをXY座標系の原点に移動させた後のフレームFeとを示す図である。フレームFは、ターゲットポイント点F1〜F4により定まるフレーム(枠)である。点F1〜F4は、それぞれ点SP1〜SP4に相当する。フレームFeは、ターゲットポイントに対応して検出された補正用注視点に対応する点Fe1〜Fe4により定まるフレーム(枠)である。点Fe1〜Fe4は、それぞれ点SP1b〜SP4bに相当する。すなわち、フレームFは、表示画面のXY座標系に対応する基準フレームであり、フレームFeは、被験者固有の誤差等を含む誤差フレームである。なお、フレームFとフレームFeとは、左右カメラ(右カメラ202、左カメラ204)の撮像対象となるフレームとは異なる概念のものである。
視点検出部352により算出される分析用注視点は、フレームFe上の点である。さらに、被験者の眼球の非球面な形状などに起因して、視線方向により、すなわち目印位置によって、誤差の程度が異なる。そこで、本実施の形態にかかる診断支援装置100においては、対象領域を8つの部分領域に分割し、部分領域単位で分析用注視点のフレームFe上の座標値をフレームF上の座標値に変換することにより、分析用注視点の補正を行うこととする。
領域分割部356は、点Fe1〜Fe4の位置に基づいて、対象領域を8つの部分領域に分割する。図8は、8つの部分領域を示す図である。各部分領域は、原点O、点Fe1〜Fe4、X軸、Y軸により定まる領域である。ここで、点Fe1〜Fe4は、それぞれSP1b〜SP4bに対応する点である。そして、SP1b〜SP4bは、それぞれSP1a〜SP4aに基づいて定まる点である。すなわち、領域分割部356は、SP1a〜SP4aの位置に基づいて、対象領域を8つの部分領域に分割するものである。
ここで、点Fe1と点Fe4を通る直線と、X軸との交点を点Fe5とする。点Fe1と点Fe2を通る直線と、Y軸との交点を点Fe6とする。点Fe2と点Fe3を通る直線と、X軸との交点を点Fe7とする。点Fe3と点Fe4を通る直線と、Y軸との交点を点Fe8とする。
領域分割部356は、図8に示す第1象限下側領域A、第1象限上側領域B、第2象限上側領域C、第2象限下側領域D、第3象限上側領域E、第3象限下側領域F、第4象限下側領域Gおよび第4象限上側領域Hの8つの部分領域に分割する。また、領域特定部357は、分析用注視点の座標と、領域分割部356により分割された8つの部分領域の位置とに基づいて、視点検出部352により検出された分析用注視点がこの8つの部分領域のうちいずれの部分領域に属する点であるかを特定する。
ここで、第1象限下側領域Aは、原点Oと点Fe1を通る直線および原点Oと点Fe5を通る直線(X軸)を境界位置とする領域である。第1象限上側領域Bは、原点Oと点Fe1を通る直線および原点Oと点Fe6を通る直線(Y軸)を境界位置とする領域である。
第2象限上側領域Cは、原点Oと点Fe2を通る直線および原点Oと点Fe6を通る直線(Y軸)を境界位置とする領域である。第2象限下側領域Dは、原点Oと点Fe2を通る直線および原点Oと点Fe7を通る直線(X軸)を境界位置とする領域である。
第3象限上側領域Eは、原点Oと点Fe3を通る直線および原点Oと点Fe7を通る直線(X軸)を境界位置とする領域である。第3象限下側領域Fは、原点Oと点Fe3を通る直線および原点Oと点Fe8を通る直線(Y軸)を境界位置とする領域である。
第4象限下側領域Gは、原点Oと点Fe4を通る直線および原点Oと点Fe8を通る直線(Y軸)を境界位置とする領域である。第4象限上側領域Hは、原点Oと点Fe4を通る直線および原点Oと点Fe5(X軸)を通る直線を境界位置とする領域である。
図9は、第1象限下側領域A、第1象限上側領域B、第2象限上側領域C、第2象限下側領域D、第3象限上側領域E、第3象限下側領域F、第4象限下側領域Gおよび第4象限上側領域Hそれぞれに対応する、フレームFの部分領域(A’〜H’)を示す図である。
第1象限下側領域A’、第1象限上側領域B’、第2象限上側領域C’、第2象限下側領域D’、第3象限上側領域E’、第3象限下側領域F’、第4象限下側領域G’および第4象限上側領域H’は、それぞれ第1象限下側領域A、第1象限上側領域B、第2象限上側領域C、第2象限下側領域D、第3象限上側領域E、第3象限下側領域F、第4象限下側領域Gおよび第4象限上側領域Hに対応する領域である。
領域特定部357は、上述のように分析用注視点が属するフレームFe上の部分領域を特定するのに加えて、特定したフレームFe上の部分領域に対応する、フレームF上の部分領域を特定する。例えば、フレームFe上の第1象限下側領域Aが特定された場合に、フレームF上の第1象限下側領域A’が対応する部分領域として特定される。すなわち、領域特定部357は、フレームFe上の部分領域と、これに対応するフレームF上の部分領域を特定するものであり、第1部分領域特定部および第2部分領域特定部に相当するものである。
図9を参照しつつ、フレームF上の部分領域について説明する。点F1と点F4を通る直線と、X軸との交点を点F5とする。点F1と点F2を通る直線と、Y軸との交点を点F6とする。点F2と点F3を通る直線と、X軸との交点を点F7とする。点F3と点F4を通る直線と、Y軸との交点を点F8とする。
第1象限下側領域A’は、原点Oと点F1を通る直線および原点Oと点F5を通る直線(X軸)を境界位置とする領域である。第1象限上側領域B’は、原点Oと点F1を通る直線および原点Oと点F6を通る直線(Y軸)を境界位置とする領域である。
第2象限上側領域C’は、原点Oと点F2を通る直線および原点Oと点F6を通る直線(Y軸)を境界位置とする領域である。第2象限下側領域D’は、原点Oと点F2を通る直線および原点Oと点F7を通る直線(X軸)を境界位置とする領域である。
第3象限上側領域E’は、原点Oと点F3を通る直線および原点Oと点F7を通る直線(X軸)を境界位置とする領域である。第3象限下側領域F’は、原点Oと点F3を通る直線および原点Oと点F8とを通る直線(Y軸)を境界位置とする領域である。
第4象限下側領域G’は、原点Oと点F4を通る直線および原点Oと点F8を通る直線(Y軸)を境界位置とする領域である。第4象限上側領域H’は、原点Oと点F4を通る直線および原点Oと点F5を通る直線(X軸)を境界位置とする領域である。
補正部358は、フレームFe上の部分領域とフレームFにおける対応する部分領域の相関関係、すなわちフレームFeからフレームFへの変位値に基づいて、注視点の位置を補正する。
以下、図10〜図14を参照しつつ、補正部358の処理について詳述する。図10は、各点の座標を示す図である。図10に示すように、点F1の座標を(x4,y4)、点F2の座標を(x10,y4)、点F3の座標を(x10,y8)、点F4の座標を(x4,y8)、点F5の座標を(x4,0)、点F6の座標を(0,y4)、点F7の座標を(x10,0)、点F8の座標を(0,y8)とする。また、点Fe1の座標を(x6,y6)、点Fe2の座標を(x11,y11)、点Fe3の座標を(x13,y13)、点Fe4の座標を(x9,y9)、点Fe5の座標を(x7,0)、点Fe6の座標を(0,y7)、点Fe7の座標を(x20,0)、点Fe8の座標を(0,y20)とする。
さらに、図11に示すように、第1象限下側領域Aにおいて検出された分析用注視点を点P2Aとし、点P2Aの座標を(x2A,y2A)とする。また、点P2Aの補正後の分析用注視点を点P0Aとし、点P0Aの座標を(x0A,y0A)とする。
さらに、点Fe1と点Fe5を通る直線をL1A、点F1と点F5を通る直線をL2Aとする。点P2Aと原点Oを通る直線をL3A、点P0Aと原点を通る直線をL4A、点Fe1と原点を通る直線をL5A、点F1と原点を通る直線をL6Aとする。
また、直線L2Aと直線L4Aの交点を点P1Aとし、点P1Aの座標を(x4,y1A)とする。また、直線L1Aと直線L3Aの交点を点P3Aとし、点P3Aの座標を(x3A,y3A)とする。
また、原点と点P0Aの間の距離をd0A、原点と点P1Aの間の距離をd1A、原点と点P2Aの間の距離をd2A、原点と点P3Aの間の距離をd3Aとする。
また、直線L3AとX軸のなす角0Aの角度をθ0A、直線L5AとX軸のなす角1Aの角度をθ1A、直線L4AとX軸のなす角2Aの角度をθ2A、直線L6AとX軸のなす角3Aの角度をθ3Aとする。
以上の条件の下、補正部358は、角0Aの角度θ0Aの角1Aの角度θ1Aに対する割合と、角2Aの角度θ2Aの角3Aの角度θ3Aに対する割合が等しいとして、角2Aの角度θ2Aを求め、さらに、距離d2Aの距離d3Aに対する割合と、距離d0Aの距離d1Aに対する割合が等しいとして、距離d0Aを求めることにより、補正用注視点の補正後の位置を算出する。
補正部358は、まず、(式1)〜(式3)により、角度θ0A、角度θ1Aおよび角度θ3Aを算出する。
角0Aの角度θ0Aの角1Aの角度θ1Aに対する割合と、角2Aの角度θ2Aの角3Aの角度θ3Aに対する割合が等しいことから、(式4)が成り立つ。補正部358は、(式4)に(式1)〜(式3)により算出した角度θ0A、角度θ1Aおよび角度θ3Aを代入することにより、角度θ2Aを算出する。
補正部358はまた、点P3Aが直線L1Aと直線L3Aの交点であるとして、点P3Aの座標(x3A,y3A)を算出する。ここで、直線L1Aは、(式5)により示される。
(式5)は、(式6)のように示すことができる。
(式6)において、alおよびblはそれぞれ(式7)および(式8)で示される。
また、直線L3Aは、(式9)により示される。
(式9)を(式6)に代入することにより、(式10)および(式11)が得られる。
補正部358は、(式10)および(式11)により、点P3Aの座標(x3A,y3A)を算出する。
補正部358はさらに、(式12)により、距離d3Aに対する距離d2Aの比k0を算出する。
補正部358はまた、点P1Aの座標(x4,y1A)を算出する。ここで、直線L2Aは、(式13)により示される。
(式13)を用いて、(式14)および(式15)が得られる。
以上に基づき、補正部358は、(式14)および(式15)により、点P1Aの座標(x4,y1A)を算出する。
補正部358はさらに、(式16)により、距離d1Aを算出する。
補正部358は、点P0Aが距離d1Aに対する距離d0Aの比がk0となるような点であるとして、(式17)および(式18)により、点P0Aの座標(x0A,y0A)を算出する。
なお、補正部358は、他の部分領域においても、同様の演算式により、各部分領域に属する分析用注視点の位置を補正する。
図12は、第4象限上側領域Hを示す図である。分析用注視点が第4象限上側領域Hに属する場合には、X軸を基準として、角0B〜3Bを定め、また、直線L1B〜L6Bを定める。そして、補正部358は、角0Bの角度θ0Bの角1Bの角度θ1Bに対する割合と、角2Bの角度θ2Bの角3Bの角度θ3Bに対する割合が等しいとして、角2Bの角度θ2Bを求める。さらに、補正部358は、距離d2Bの距離d3Bに対する割合と、距離d0Bの距離d1Bに対する割合が等しいとして、距離d0Bを求める。これにより、補正部358は、分析用注視点P2B(x2B,y2B)の補正後の分析用注視点P0Bの座標(x0B,y0B)を算出する。
図13は、第2象限上側領域Cを示す図である。分析用注視点が第2象限上側領域Cに属する場合には、Y軸を基準として、角0C〜3Cを定め、また、直線L1C〜L6Cを定める。そして、補正部358は、角0Cの角度θ0Cの角1Cの角度θ1Cに対する割合と、角2Cの角度θ2Cの角3Cの角度θ3Cに対する割合が等しいとして、角2Cの角度θ2Cを求める。さらに、補正部358は、距離d2Cの距離d3Cに対する割合と、距離d0Cの距離d1Cに対する割合が等しいとして、距離d0Cを求める。これにより、補正部358は、分析用注視点P2C(x2C,y2C)の補正後の分析用注視点P0Cの座標(x0C,y0C)を算出する。
図14は、第1象限上側領域Bを示す図である。分析用注視点が第1象限上側領域Bに属する場合には、Y軸を基準として、角0D〜3Dを定め、また、直線L1D〜L6Dを定める。そして、補正部358は、角0Dの角度θ0Dの角1Dの角度θ1Dに対する割合と、角2Dの角度θ2Dの角3Dの角度θ3Dに対する割合が等しいとして、角2Dの角度θ2Dを求める。さらに、補正部358は、距離d2Dの距離d3Dに対する割合と、距離d0Dの距離d1Dに対する割合が等しいとして、距離d0Dを求める。これにより、補正部358は、分析用注視点P2D(x2D,y2D)の補正後の分析用注視点P0Dの座標(x0D,y0D)を算出する。
図3に戻り、評価部359は、診断画像と、補正後の分析用注視点とに基づいて、発達障害の程度に関する指標として評価値を算出する。評価部359は、例えば、後述する図39から図44などの診断画像を表示した際の被験者の分析用注視点の位置に基づいて、診断画像としての顔画像の目を見ている割合を評価値として算出し、評価値が低いほど、発達障害の可能性が高いことを示すような評価値を算出する。評価部359は、診断画像と分析用注視点とに基づいて、評価値を算出すればよく、その算出方法は、実施の形態に限定されるものではない。
次に、このように構成された第1の実施形態にかかる診断支援装置100による診断支援処理について図15を用いて説明する。図15は、第1の実施形態における診断支援処理の一例を示すフローチャートである。
まず、出力制御部354は、メニュー画面を表示する(ステップS1)。図16は、メニュー画面の一例を示す図である。図16に示すように、メニュー画面は、分析ボタン501と、結果表示ボタン502と、プログラム終了ボタン503と、を含む。分析ボタン501が押下されると、出力制御部354は、診断画像を用いた分析処理を実行するための画面である分析メニュー画面を表示部210に表示させる。結果表示ボタン502が押下されると、出力制御部354は、結果表示画面(後述)を表示部210に表示させる。プログラム終了ボタン503が押下されると、出力制御部354は、診断支援処理を終了する。
図17は、分析メニュー画面の一例を示す図である。図17に示すように、分析メニュー画面は、「分析を始める」ボタン601と、「基本メニューに戻る」ボタン602と、キャリブレーション用コンテンツを選択するためのプルダウン611と、分析用コンテンツを選択するためのプルダウン612と、情報入力欄613と、を含む。
「分析を始める」ボタン601が押下されると、診断画像を用いた処理(図15のステップS2以降の処理)が開始される。「基本メニューに戻る」ボタン602が押下されると、図16のメニュー画面に戻る。キャリブレーション用コンテンツとは、較正部355によるキャリブレーション(視線検出用較正)で使用する画像などのコンテンツを表す。キャリブレーション用コンテンツの一例は、図21、22である。プルダウン611を用いて選択されたコンテンツが、較正部355によるキャリブレーションで使用される。分析用コンテンツとは、診断に用いられる画像(診断画像)などのコンテンツを表す。プルダウン612を用いて選択されたコンテンツが、診断画像として使用される。情報入力欄613は、被験者の情報などの診断に必要な各種情報を入力するための欄である。
図15に戻る。分析の開始が指示された場合、例えば、メニュー画面で分析ボタン501が押下され、分析メニュー画面で「分析を始める」ボタン601が押下された場合、出力制御部354は、位置調整用画像を表示部210に表示させる(ステップS2)。
図18は、位置調整用画像701の一例を示す図である。位置調整用画像701は、基準画像としてのスケール703と、撮像範囲画像としての枠702と、目の位置画像705と、マーカ704と、動画像であるキャラクタ画像706と、を含む。図18の例では、被験者が適切な距離に位置するため、目の位置画像705の直径とマーカ704の幅とが一致するように表示されている。この場合、出力制御部354は、例えば目の位置画像705を、距離が適切であることを示す色(例えば緑)で表示してもよい。また、図18の例では、被験者が基準領域内に存在するため、出力制御部354は、スケール703を基準領域内であることを示す色(例えば緑)で表示してもよい。被験者の左右の目の位置画像705の少なくとも一方が基準領域外となったことを検出した場合に、出力制御部354が、スケール703を基準領域外であることを示す色(例えば赤)で表示してもよい。また、出力制御部354は、被験者の左右の目の位置画像705の少なくとも一方が基準領域外となったことを検出した場合に、「もっと右へ」または「もっと左へ」などの音声を出力してもよい。出力制御部354は、キャラクタ画像706を、スケール703内で時間と共に移動させるとともに、目の位置(視線の向き)、形状が変化するように表示する。動画像は、キャラクタ画像706ではなく、注目を集めさせるものであればよい。例えば、動画像として花火のような画像や、輝度、色が変化する画像などが考えられる。
本実施形態では、出力制御部354は、基準画像(スケール703)内にキャラクタ画像706を表示させる。これにより、表示画面101内の適切な位置を被験者に注目させることができる。
図19は、位置調整用画像の他の例を示す図である。図19は、例えば、図18から時間が経過した後の位置調整用画像の例である。また、図19は、被験者の目の位置がステレオカメラ102に近づいたため、目の位置画像805がマーカ804より大きく表示された例を示している。この場合、出力制御部354は、例えば目の位置画像805を、距離が適切でないことを示す色(例えば赤)で表示してもよい。また、出力制御部354は、目の位置画像805がマーカ804より大きく表示された場合、「もっと後ろ」等の音声を出力してもよい。また、出力制御部354は、目の位置画像805がマーカ804より小さく表示された場合、「もっと前へ」などの音声を出力してもよい。
図20は、位置調整用画像の他の例を示す図である。図20は、例えば、図19からさらに時間が経過した後の位置調整用画像の例である。図19および図20に示すように、出力制御部354は、基準画像内を移動するキャラクタ画像806、906を表示する。
図15に戻る。ステップS2で位置調整用画像を表示することにより、被験者の位置を適切に調整できる。この結果、以降の処理を高精度に実行可能となる。次に、診断支援装置100は、視線検出のためのキャリブレーション(視線検出用較正)を実行する(ステップS3)。
キャリブレーション処理では、まず出力制御部354が、キャリブレーション用の画像(例えば、図17のプルダウン611で選択されたキャリブレーション用コンテンツ)を表示部210に表示させる。
図21および図22は、キャリブレーション用の画像の一例を示す図である。出力制御部354は、まず、図21に示すようなキャリブレーション用の画像を表示部210に表示させる。キャリブレーション用の画像は、表示画面101の中央付近に位置する円形の枠1001と、枠1001の中央付近に位置する物体の画像1002とを含む。出力制御部354は、最初に図21に示すような画像を表示させた後、徐々に枠1001を中心に向かって縮小するように表示させる。図22は、このようにして縮小された後に表示されるキャリブレーション用の画像の一例である。縮小後のキャリブレーション用の画像は、円形の枠1101と、枠1101の中央付近に位置する物体の画像1102とを含む。このような画像を表示することにより、被験者を、表示画面101の中央付近に注目させることができる。
較正部355は、被験者が表示画面101の中央を注視しているものとして、視線検出部351が検出した視線方向が表示画面101の中央に向くように、視線検出のための計算パラメータを較正する。
図15に戻る。ステップS3のキャリブレーションの後、診断支援装置100は、分析用注視点の位置補正のための補正用注視点検出処理を実行する(ステップS4)。補正用注視点検出処理においては、診断支援装置100は、ターゲットポイントを示す目印に対する注視点、すなわち補正用注視点を検出する。補正用注視点検出処理については、後述する。
次に、診断支援装置100は、診断画像を用いた分析処理を実行する(ステップS5)。分析処理では、出力制御部354が診断画像を表示し、視点検出部352が分析用注視点を検出する。また、補正部358が補正用注視点を用いて、分析用注視点の位置を補正した後、評価部359が補正後の分析用注視点を用いて発達障害の程度に関する指標として評価値を算出する。分析処理の詳細は後述する。なお、評価部359による評価値の算出を行わず、例えば、図50から図54で説明するように、分析用注視点の検出結果を表示することで、診断者の診断を支援することも可能である。
次に、出力制御部354が、分析処理による分析結果(評価結果)を表示部210等に出力する(ステップS6)。結果を出力する処理の詳細は後述する。
次に、ステップS4の補正用注視点検出処理の詳細について説明する。図23は、第1の実施形態における補正用注視点検出処理の一例を示すフローチャートである。
補正用注視点検出処理においては、まず、出力制御部354は、ターゲットポイントを示す目印SP0を所定位置(原点位置)に表示する(ステップS110)。次に、視点検出部352は、目印SP0に対して得られた補正用注視点の位置を検出する(ステップS111)。視点検出部352は、所定数の補正用注視点を検出し、これらのデータ分布を計算する(ステップS112)。
図24は、データ分布の計算処理を説明するための図である。目印(SP0〜SP4)を中心とした判定用領域が各目印に対して予め設定されている。なお、本実施の形態においては、目印を中心とする所定の半径の円を判定用領域とする。判定用領域内に所定数以上の補正用注視点が得られない場合には、被験者がターゲットポイントの目印をしっかり注視していなかった可能性が高く、補正に有効な補正用注視点を検出していない可能性が高い。そこで、本実施の形態においては、視点検出部352は、目印を表示している間の所定時間において、判定用領域内の注視点が所定数以上検出されたか否かにより、検出された補正用注視点が適正か否かを判断することとする。
ステップS112におけるデータ分布計算処理においては、視点検出部352は、判定用領域内に属する補正用注視点の数を計測する。そして、視点検出部352は、判定用領域内に属する補正用注視点の数が予め設定された閾値以上である場合に、検出された補正用注視点が適正であると判断し(ステップS113,Yes)、検出された複数の補正用注視点のうち、判定用領域に属さない補正用注視点を除いた判定用領域内データ群を特定する(ステップS114)。
なお、ステップS113において、補正用注視点が適正でないと判断した場合には(ステップS113,No)、ステップS111に戻り、視点検出部352は、再び補正用注視点の検出をやり直す。
次に、視点検出部352は、判定用領域内データ群の各補正用注視点の座標に基づいて、判定用領域内データ群の代表値を算出する(ステップS115)。本実施の形態においては、代表値として、判定用領域内データ群の平均値を算出する。なお、代表値は、平均値以外の値であってもよい。代表値は、例えば標準偏差であってもよい。以降の処理においては、ステップS115により算出された代表値が補正用注視点として利用される。
次に、すべてのターゲットポイントの目印に対する代表値が算出されていない場合には(ステップS116,No)、出力制御部354は、次のターゲットポイントを示す目印を表示する(ステップS117)。そして、ステップS111に戻り、表示中の目印に対する代表値を算出する(ステップS111〜115)。
ステップS116において、すべてのターゲットポイントの目印に対する代表値が算出されると(ステップS116,Yes)、補正用注視点検出処理(ステップS4)が完了する。
図25−1〜図25−5は、補正用注視点検出処理(ステップS4)における各ターゲットポイントの目印の表示処理を説明するための図である。出力制御部354は、図23に示すステップS110において、まず図25−1に示すように目印SP0を表示部210に表示する。次に、出力制御部354は、ステップS117において、残りのターゲットポイントの目印を1つずつ順番に表示部210に表示する。
すなわち、出力制御部354は、図25−2に示すようにステップS117において、SP0の表示をやめ、新たにSP1を表示し、SP1の代表値算出後に再びステップS117において、図25−3に示すようにSP1の表示をやめ、新たにSP2を表示する。同様に、出力制御部354は、続けて、図25−4に示すように、SP2の表示をやめ、新たにSP3のターゲットポイントを表示する。続いて、図25−5に示すように、SP3の表示をやめ、新たにSP4のターゲットポイントを表示する。
このように、各ターゲットポイントを順番に1つずつ表示することにより、被験者の補正用注視点を検出することができる。
次に、ターゲットポイントの目印の他の例について説明する。図68〜図36は、ターゲットポイントの目印の一例を示す図である。図26〜図36の例では、所定形状の枠と枠内に表示する画像とを含む目印が用いられる。また、出力制御部354は、複数のターゲットポイントごとに、相互に異なる画像を表示させる。さらに、出力制御部354は、枠内の画像として、枠の中心を含む部分の表示態様が変化するような動画を表示させる。これにより、ターゲットポイントの目印のうち、より中心に近い位置を被験者に注視させることができる。なお、枠内の表示態様が変化する部分は、厳密に枠の中心点を含んでいなくともよい。例えば、注目させたい点を決めておけば、中心でなくともよい。その場合には、補正用注視点の算出の際に、中心ではない点を注目させる点としたことを考慮する必要がある。
なお、図26〜図36では、5つのターゲットポイントの目印を、図5のSP0→SP2→SP3→SP4→SP1の順に表示する。このように、ターゲットポイントの目印の表示順は任意に変更してもよい。
図26では、出力制御部354は、まず、枠1201と、枠内に位置するキャラクタの画像1202とを、SP0に相当する位置に表示させる。画像1202は、中心付近が動く動画である。図27は、中心付近の鼻の部分が拡大されるように動いた後のキャラクタの画像1302が、枠1301内に表示された様子を表している。
図28に示すように、出力制御部354は、枠を先にターゲットポイントに表示させ、その後にターゲットポイントに向かってキャラクタの画像が移動するように表示させてもよい。これにより、被験者に注視点を次のターゲットポイントに適切に誘導することができる。図28は、枠1401がターゲットポイント(図5のSP2の位置)に表示され、キャラクタの画像1402が枠1401に向かって移動している途中の様子を表している。
図29は、図28のキャラクタの画像1402が枠1401の位置まで移動した後に、画像1402と異なるキャラクタの画像1502が表示された様子を表している。このように、ターゲットポイントごとに相互に異なる画像を表示させることで、被験者を飽きさせずに画像に注目させることができる。図30は、画像1502の中心付近の目の部分が拡大されるように動いた後のキャラクタの画像1602が、枠1401内に表示された様子を表している。
図31は、図30のキャラクタの画像1602が枠1701の位置(図5のSP3の位置)まで移動した後に、画像1602と異なるキャラクタの画像1702が表示された様子を表している。図32は、画像1702の中心付近の色が変化した後のキャラクタの画像1802が、枠1701内に表示された様子を表している。
図33は、図32のキャラクタの画像1802が枠1901の位置(図5のSP4の位置)まで移動した後に、画像1802と異なるキャラクタの画像1902が表示された様子を表している。図34は、画像1902の中心付近の鼻の部分が拡大されるように動いた後のキャラクタの画像2002が、枠1901内に表示された様子を表している。
図35は、図34のキャラクタの画像2002が枠2101の位置(図5のSP1の位置)まで移動した後に、画像2002と異なるキャラクタの画像2102が表示された様子を表している。図36は、画像2102の中心付近の目の部分が拡大されるように動いた後のキャラクタの画像2202が、枠2101内に表示された様子を表している。
次に、ステップS5の分析処理の詳細について説明する。ステップS5の分析処理においては、1つの分析処理であってもよいし、複数の分析処理を行うものであってもよい。複数の分析処理を行う場合、評価部359は、それぞれの分析処理の結果を総合して、評価値を算出する。図37は、第1の実施形態における分析処理の一例を示すフローチャートである。
まず、診断支援装置100は、分析用注視点検出処理を実行する(ステップS101)。分析用注視点検出処理においては、まず、出力制御部354は、診断画像を表示部210に表示する。次に、視点検出部352は、表示部210に診断画像が表示されている際の被験者の注視点、すなわち分析用注視点を検出する。
続いて、領域分割部356が、ターゲットポイントの目印に対する代表値である補正用注視点に基づいて、対象領域を8つの部分領域(A〜H)に分割する(ステップS102)。次に、補正部358は、ステップS101において得られた分析用注視点が属する、フレームFeにおける部分領域を特定し、さらに、特定した部分領域に対応する、フレームFにおける部分領域を特定する(ステップS103)。
図38は、部分領域特定処理(ステップS103)において、フレームFeにおける部分領域を特定する処理を示すフローチャートである。図38に示すように、まず領域特定部357は、ステップS101において得られた分析用注視点の座標を視点検出部352から取得する(ステップS120)。
次に、領域特定部357は、分析用注視点の座標とフレームFe上の部分領域(A〜H)に基づいて、分析用注視点が属する部分領域を特定する。領域特定部357は、具体的には、分析用注視点のx座標の符号を特定し、続いてy座標の符号を特定する。分析用注視点のx座標が0以上であり、かつ分析用注視点のy座標が0以上である場合には(ステップS121,Yes、ステップS122,Yes)、領域特定部357は、さらに分析用注視点のxy座標と、点Fe1の座標とに基づいて、分析用注視点が原点Oと点Fe1を結ぶ直線(直線O−Fe1)より上側に位置するか否かを特定する(ステップS123)。
分析用注視点が直線O−Fe1上または直線O−Fe1より下側に位置する場合には(ステップS123,No)、領域特定部357は、分析用注視点が第1象限下側領域Aに属すると判断する(ステップS124)。
分析用注視点が直線O−Fe1より上側に位置する場合には(ステップS123,Yes)、領域特定部357は、分析用注視点が第1象限上側領域Bに属すると判断する(ステップS125)。
分析用注視点のx座標が0以上であり、かつ分析用注視点のy座標が0より小さい場合には(ステップS121,Yes、ステップS122,No)、領域特定部357は、さらに分析用注視点のxy座標と、点Fe4の座標とに基づいて、分析用注視点が原点Oと点Fe4を結ぶ直線(直線O−Fe4)より上側に位置するか否かを特定する(ステップS126)。
分析用注視点が直線O−Fe4上または直線O−Fe4より下側に位置する場合には(ステップS126,No)、領域特定部357は、分析用注視点が第4象限下側領域Gに属すると判断する(ステップS127)。
分析用注視点が直線O−Fe4より上側に位置する場合には(ステップS126,Yes)、領域特定部357は、分析用注視点が第4象限上側領域Hに属すると判断する(ステップS128)。
分析用注視点のx座標が0より小さく、かつ分析用注視点のy座標が0以上である場合には(ステップS121,No、ステップS129,Yes)、領域特定部357は、さらに分析用注視点のxy座標と、点Fe2の座標とに基づいて、分析用注視点が原点Oと点Fe2を結ぶ直線(直線O−Fe2)より上側に位置するか否かを特定する(ステップS130)。
分析用注視点が直線O−Fe2上または直線O−Fe2より下側に位置する場合には(ステップS130,No)、領域特定部357は、分析用注視点が第2象限下側領域Dに属すると判断する(ステップS131)。
分析用注視点が直線O−Fe2より上側に位置する場合には(ステップS130,Yes)、領域特定部357は、分析用注視点が第2象限上側領域Cに属すると判断する(ステップS132)。
分析用注視点のx座標が0より小さく、かつ分析用注視点のy座標が0より小さい場合には(ステップS121,No、ステップS129,No)、領域特定部357は、さらに分析用注視点のxy座標と、点Fe3の座標とに基づいて、分析用注視点が原点Oと点Fe3を結ぶ直線(直線O−Fe3)より上側に位置するか否かを特定する(ステップS133)。
分析用注視点が直線O−Fe3上または直線O−Fe3より下側に位置する場合には(ステップS133,No)、領域特定部357は、分析用注視点が第3象限下側領域Fに属すると判断する(ステップS134)。
分析用注視点が直線O−Fe3より上側に位置する場合には(ステップS133,Yes)、領域特定部357は、分析用注視点が第3象限上側領域Eに属すると判断する(ステップS135)。
以上で、ステップS103における分析用注視点が属する部分領域を特定する処理が完了する。
図37に戻り、分析用注視点が属する、フレームFeにおける部分領域を特定し、さらに、特定した部分領域に対応する、フレームFにおける部分領域を特定した後、補正部358は、分析用注視点の位置を補正する(ステップS104)。ステップS104における分析用注視点補正処理においては、補正部358は、ステップS103において特定した部分領域毎に異なる演算処理を実行することにより、分析用注視点の補正後の位置を算出する。演算処理の詳細は、上述したとおりである。
次に、評価部359は、補正後の分析用注視点の位置に基づいて、評価値を算出する(ステップS105)。例えば、評価部359は、複数の評価項目を総合して評価値を算出する。評価部359は例えば分析用注視点の位置が図39〜図44で説明する診断画像の評価領域内に含まれる割合によって、評価値を算出する。評価部359は、分析用注視点の位置が一箇所に留まる時間により算出される集中度によって、評価値を算出してもよい。以上で、分析処理が完了する。なお、図51から図54に示すように診断者(医師など)に出力する結果表示を行う場合は、ステップS105の評価値を算出する処理は、省略し、診断画像の表示中に視点検出部352は、表示部210に診断画像が表示されている際の被験者の注視点、すなわち分析用注視点の位置がどの評価領域に含まれるか、または、集中度の指標を算出するのみでもよい。
なお、補正部358による補正方法は一例であり、これに限られるものではない。所定数(例えば5つ)のターゲットポイントに対応する目印から検出した補正用注視点を用いて、分析用注視点を補正する方法であれば、他のあらゆる方法を適用できる。
次に、診断画像の例について説明する。図39〜図44は、診断画像の一例を示す図である。図39〜図44は、自然画と幾何学画像とを含む診断画像の例を示す。幾何学画像とは、1以上の幾何学模様を含む画像を表す。発達障害児は、自然画よりも幾何学画像の映像を好むためである。自然画は、幾何学画像以外の、自然物または自然物を連想させるような画像であればよい。例えば、人物、動物、植物、および自然の景観などをカメラで撮像した画像(静止画、動画)を自然画として用いてもよい。また、人物および動物などを模したキャラクタの画像(静止画、動画)を自然画として用いてもよい。
評価部359は、例えば、自然画よりも幾何学画像が注視される場合に、発達障害の程度が高いことを示す評価値を算出する。評価部359は例えば、視点検出部により検出された視点が幾何学模様を表示した評価領域内か自然画を表示した評価領域内かを判定する。また、評価部359は例えば、視点検出部により検出された視点が幾何学模様を表示した評価領域内かどうかを判定する。幾何学模様を表示した評価領域内である確率が高い場合、発達障害の評価値を高く算出するようにする。
診断画像を動画とした場合であって自然画と比較して幾何学画像の動作が速い場合、および、幾何学画像の色が鮮やかである場合などのように、幾何学画像に注目が集まりやすい診断画像を用いると、健常者であっても幾何学画像を注視する可能性がある。そこで、図39〜図44の例に示すように、自然画に類似する幾何学画像を含む診断画像を表示してもよい。例えば、色調、輝度の分布、形状、動作速度、および、画像内の位置(構図)の少なくとも1つが自然画と類似または一致する幾何学画像を用いることができる。また、自然画に人物や動物などの物体が含まれる場合、物体の個数と同じ個数の幾何学模様を含む幾何学画像を用いてもよい。この場合、人物に対応する幾何学模様を円または楕円としてもよい。
また、自然画に人物、動物、および、人物や動物を模したキャラクタなどの顔が含まれる場合、顔の大きさと同程度の大きさの幾何学模様を含む幾何学画像を用いてもよい。例えば、顔の横または縦の長さと半径との差分が第1閾値以下の円、または、顔の横の長さと短軸の長さとの差分が第2閾値以下の楕円、または、顔の縦の長さと長軸の長さとの差分が第3閾値以下の楕円を、幾何学模様として含む幾何学画像を用いてもよい。
また、複数の診断画像を用いる場合、自然画と幾何学画像の配置が相互に異なる複数の診断画像を用いてもよい。例えば、自然画と、自然画に対して第1方向に配置された幾何学模様とを含む診断画像を用いた後、自然画と、自然画に対して第1方向と異なる第2方向(例えば第1方向の逆方向)に配置された幾何学模様とを含む診断画像を用いてもよい。これにより診断の精度を向上させることができる。
図39は、幾何学画像2301と、自然画2302とを含む診断画像の例である。なお、図39では、公園の広場および木を背景にして3人の人物を含む自然画2302を模式的に示しているが、このような構図の写真を自然画2302として用いてもよい。図39では色を示していないが、カラーの自然画2302を用いる場合は、自然画2302の色に類似させた色の幾何学模様を含む幾何学画像2301を用いてもよい。例えば、背景の森や広場の草の緑色に合わせて、幾何学模様の背景を緑色としてもよい。また、人物の服装の色と類似する色の幾何学模様(図39の例では、線が多数重なる部分など)を含む幾何学画像2301を用いてもよい。
図40は、幾何学画像2401と、自然画2402とを含む診断画像の例である。図40では、公園の広場および木を背景にして2人の人物を含む自然画2402を模式的に示している。図40では、2人の人物の顔の大きさと同程度の大きさの2つの円形の幾何学模様を含む幾何学画像2401の例が示されている。図40では色を示していないが、例えば、2人の人物の服装の色それぞれと一致または類似する色の円形の幾何学模様を用いてもよい。
図41は、幾何学画像2501と、自然画2502とを含む診断画像の例である。図41では、1人の乳児を含む自然画2502を模式的に示している。また、図41では、この乳児の顔の大きさと同程度の大きさの楕円形の幾何学模様を含む幾何学画像2501の例が示されている。図41では色を示していないが、例えば、自然画内の乳児や背景の色と同じまたは類似する色の幾何学模様または背景を含む幾何学模様を用いてもよい。また、自然画内の色の配置と、幾何学模様の色の配置は同じまたは類似してもよい。また、自然画内の色の濃淡の配置と、幾何学模様の色の濃淡の配置は同じまたは類似してもよい。
図42は、幾何学画像2602と、自然画2601とを含む診断画像の例である。図42では、空を背景にして4人の人物を含む自然画2601を模式的に示している。図42では色を示していないが、例えば、背景の空の青色に合わせて、青色の幾何学模様を含む幾何学画像2602を用いてもよい。
図43は、幾何学画像2702と、自然画2701とを含む診断画像の例である。図43では、料理をする2人の人物を含む自然画2701を模式的に示している。また、図43では、2人の人物と、円形のフライパンとに対応する3つの円形の幾何学模様を含む幾何学画像2702の例が示されている。図43では色を示していないが、例えば、手前の人物の服装の色(例えば線の色)と同じまたは類似する色の円形の幾何学模様を含む幾何学画像2702を用いてもよい。
図44は、幾何学画像2802と、自然画2801とを含む診断画像の例である。図44では、公園の広場および木を背景にして3人の人物を含む自然画2801を模式的に示している。図44では色を示していないが、例えば、背景の森や広場の草の緑色に合わせて、幾何学模様の背景を緑色としてもよい。
なお、図39〜図41と比較して、図42〜図44では、幾何学画像と、自然画の配置が左右で入れ替わっている。従って、複数の診断画像を用いる場合は、例えば、図39〜図41のいずれかの診断画像と、図42〜図44のいずれかの診断画像とを順に表示するように構成してもよい。
次に、診断画像の他の例について説明する。図45−1、図45−2は、診断画像の一例を示す図である。図45−1は、ドット4511で人物の形状を表した動画像である第1オブジェクト4501、第2オブジェクト4502を含む診断画像の例を示す。第1オブジェクト4502は、上下逆向き(180度回転)とした人物の形状をドットで表した画像である。なお、第2オブジェクト4502は上下逆向きに限られるものではなく、正しい向き以外に回転させた動画像であればよい。第2オブジェクト4502として、動画像4501を逆再生(逆の順序で動作)し、回転させた動画像を用いてもよい。健常者は、人物の形状の向きが正しい動画像の方を注視する傾向があることを利用して、発達障害の程度を評価するためである。例えば、評価部359は、人物の形状の向きが正しい動画像が注視される場合に、発達障害の程度に関する指標としての評価値を低くするよう算出する。なお、図面ではドット4511を繋ぐ点線4512が描かれているが、点線4512は実際には表示されていない。
出力制御部354は、スピーカ105に音声を出力するとともに、この音声に合わせて動作する人物の形状を模した動画像である第1オブジェクト4501を表示部210に表示させるとともに、音楽と合わない動作をする人物の形状を上下逆に模した動画像である第2オブジェクト4502を表示部210に表示させる。出力制御部354は、第1オブジェクト4501と逆の順序で動作し、かつ、第1オブジェクト4501を180度回転させたオブジェクトとして、第2オブジェクト4502を表示部210に表示させてもよい。第2オブジェクト4502は音楽例えば、乳幼児によく知られている音楽等をスピーカ105から流すとともに、この音楽に合わせて踊る人物の形状をドット4511で表した動画像を表示させてもよい。ラジオ体操の音楽とともにラジオ体操の動作を表す動画像を表示させてもよい。これにより、馴染みのある音楽および動作と類似した正しい向きの動画像を、健常者がより注視しやすくなるように構成できる。
なお、図45−1のような診断画像を複数用いて分析を行ってもよい。この場合、正しい向きの動画像の配置が相互に異なる複数の診断画像を用いてもよい。例えば、正しい向きの動画像と、この動画像に対して第1方向に配置された逆向きの動画像とを含む診断画像を用いた後、正しい向きの動画像と、この動画像に対して第1方向と異なる第2方向(例えば第1方向の逆方向)に配置された逆向きの動画像とを含む診断画像を用いてもよい。これにより診断の精度を向上させることができる。第1方向は、例えば、表示部210に向って右である。例えば、2枚の診断画像を用いる場合、図45−1に示すような音声に合わせて動作する人物の形状を模した第1オブジェクト4501と、音声に合わせて動作する第1オブジェクト4501を回転させた第2オブジェクト4502と、を含む第1診断画像を表示部に表示させた後、図45−2に示すような、音声に合わせて動作する人物の形状を模した動画像である第3オブジェクト4503と、第3オブジェクトに対して第1方向と異なる第2方向に配置され、第3オブジェクト4503を回転させた動画像である第4オブジェクト4504と、を含む第2診断画像を表示部210に表示させる。第2方向は例えば表示部210に向って左である。第1診断画像と第2診断画像は、音声に合わせて動作するオブジェクトが左右入れ替えられたものであってもよい。第3オブジェクトは人物の形状をドットで表しており、ドットが音楽に合わせて踊るように動く。第4オブジェクトは上下逆向き(180度回転)とした人物の形状をドットで表した画像であり、ドットの動きは音楽にあっていない。
次に、診断画像を表示する前後に表示するアイキャッチ画像の例について説明する。アイキャッチ画像とは、被験者を注目させるために表示する画像(診断前画像)を表す。図46〜図48は、アイキャッチ画像の一例を示す図である。図46に示すように、被験者に注目させる位置(図46の例では表示画面101の中央)に、キャラクタの顔3001と、キャラクタが所持する食物3002とを含むアイキャッチ画像が表示される。出力制御部354は、例えば、診断画像を表示する前に、被験者に注目させるために図46のようなアイキャッチ画像を表示する。
出力制御部354は、診断画像の背景と、アイキャッチ画像の背景とを、異なる表示態様で表示してもよい。例えば、診断画像の背景の色と、アイキャッチ画像の背景の色とを異なるように表示してもよい。これにより、異なる画像に切り替えられたことを被験者が容易に認識できるようになる。この結果、被験者を表示画面101に、より注目させることができる。なお、表示態様は色に限られるものではなく、例えば、色調および輝度などでもよい。
出力制御部354は、特定位置(例えば、注視させる位置)を中心に縮小するように動作する動画像をアイキャッチ画像として表示してもよい。また、出力制御部354は、スピーカ105に音声を出力するとともに、この音声に合わせて動作するアイキャッチ画像を表示してもよい。例えば、「見て見て」のように被験者に呼びかける音声を出力するとともに、アイキャッチ画像を表示してもよい。これにより、被験者を表示画面101の特定位置に注目させることができる。この結果、分析処理時に被験者の視点を正しく検出し、分析(診断)の精度を向上させることができる。
出力制御部354は、音声に合わせてアイキャッチ画像を動作させた後、特定位置を中心に縮小するようにアイキャッチ画像を表示してもよい。図47は、図46から動作した後のアイキャッチ画像の例を示している。図48は、縮小させた後のアイキャッチ画像(顔3201、食物3202)の例を示す。出力制御部354は、枠内の画像のうち一部のみを音声に合わせて動作させるように表示してもよい。例えば、キャラクタの顔3101は動作させず、食物3102のみを動作させてもよい。図47では、キャラクタの鼻の部分も変化する画像の例が示されている。このように画像の中心に近い部分のみを動作させれば、被験者に、より中心に近い位置を注視させることができる。
図49は、アイキャッチ画像の表示と音声出力のタイミングの例を示す図である。図49の例では、出力制御部354は、サイズが大きいキャラクタのアイキャッチ画像の表示とともに、「見て、見てー」と呼びかける音声の出力を開始する。出力制御部354は、アイキャッチ画像として、音声とともに動作する画像(動画像)を用いることができる。この場合、例えば図49の「画像E1の表示」と記載したタイミングで、図46のアイキャッチ画像が表示される。また、例えば「画像E2の表示」と記載したタイミングで、図47のアイキャッチ画像が表示される。
音声の出力が終了すると、出力制御部354は、アイキャッチ画像の収縮を開始する。アイキャッチ画像を収縮表示する間、出力制御部354は、音声を出力しない(無音)こととしてもよい。出力制御部354は、アイキャッチ画像のサイズが0になるまで収縮表示を継続する。例えば図49の「画像E3の表示」と記載したタイミングで、図48のアイキャッチ画像が表示される。
次に、結果表示画面、および、結果を出力する処理の詳細について説明する。上述のように、例えばメニュー画面で結果表示ボタン502が押下されると、出力制御部354は、結果表示画面を表示部210に表示させる。図51〜図54は、結果表示画面の一例を示す図である。
出力制御部354は、評価結果を出力する対象者ごとに異なる結果表示画面を表示してもよい。例えば、出力制御部354は、被験者に出力する結果表示方法、診断者(医師など)に出力する結果表示方法、のうち、指定された結果表示方法で結果を表示してもよい。例えば、被験者に対しては自己の評価結果のみを表示する結果表示方法で結果を表示し、診断者に対しては複数の被験者に対する複数の評価結果を表示する結果表示方法で結果を表示してもよい。このように対象者に応じて表示方法を切り替えることにより、利便性を向上させることができる。
出力制御部354がどの結果表示方法で結果を表示するかを指定する指定方法は任意であるが、例えば、外部ファイル(INIファイル等)などに結果表示方法の指定を保存し、保存した指定を参照して結果表示方法を決定する方法、表示する結果表示方法を指定する機能をメニュー画面に追加する方法、および、ログイン認証機能により認証された対象者の権限に応じて指定を切り替える方法などを適用できる。
図50は、被験者に出力する結果表示画面の一例である。図50に示すように、被験者に対しては、当該被験者に対する評価結果(分析結果)のみを表示する結果表示方法で結果を表示してもよい。図50では、分析結果出力欄3301に、評価部359が算出した発達障害の程度に関する指標である評価値がパーセンテージで表示される例が示されている。基本メニューに戻るボタン3302が押下されると、例えば図16のようなメニュー画面が表示される。評価部359は、複数の評価項目によって、評価値を算出する。評価部359は上述した複数の評価項目のそれぞれで、評価値を高くするか低くするかを判定し、最終的な評価値として、分析結果出力欄3301に出力する。評価部359は、それぞれの評価項目において、評価値をポイントとして付与してもよい。
図50のように評価結果を表示部210に表示する代わりに、または、評価結果を表示部210に表示するとともに、出力制御部354が、評価結果を印字した紙などの記録媒体をプリンタ324に出力させるように構成してもよい。
図51〜図54は、診断者に出力する結果表示画面の一例である。図51に示すように、診断者に対しては、複数の被験者に対する複数の評価結果を表示する結果表示方法で結果を表示してもよい。図51の結果表示画面は、基本メニューに戻るボタン3401と、表示ボタン3402と、情報表示欄3403と、被験者リスト3404と、評価項目リスト3405と、結果表示欄3406と、を含む。
基本メニューに戻るボタン3401が押下されると、例えば図16のようなメニュー画面が表示される。注視点を表示するための注視点表示ボタン3402が押下されると、注視点表示ボタン3402の右のラジオボタンで選択された表示方式により、検出された注視点が表示される。選択できる注視点の表示方式としては、例えば、「ヒートマップ表示」、「視点移動軌跡で表示」、「タイル表示」、「視点移動をリプレイ」が挙げられる。「ヒートマップ表示」は、図55で示すような一定時間に検出された被験者の視線を画面上にプロットする表示方式である。座標が重なる場合は、出力制御部354は、色を「青系→緑系→黄色系→オレンジ系→赤系」へ変化させて表示する。「視点移動軌跡で表示」は図56で示すように一定時間に検出された被験者の視線を画面上にプロットし、時間的に連続した点を線で繋いだ表示方式である。「タイル表示」は、図57で示すように一定面積のブロックに含まれる注視点の検出数に応じて、注視点を検出したブロックの色を変化させる表示方式である。例えば、出力制御部354は、注視点の検出数に応じて色を「青系→緑系→黄色系→オレンジ系→赤系」へ変化させて表示する。「視点移動をリプレイ」は、被験者の注視点の動きを動画で再現する表示方式である。例えば、図58で示すように、注視点を小さな丸で表現する。
情報表示欄3403は、現在選択されている被験者に関する情報を表示する欄である。情報表示欄3403には、例えば、図17の分析メニュー画面の情報入力欄613で入力された情報、および、分析日時などが表示される。情報の編集ボタンが押下された場合に、表示されている情報を編集するための編集画面(図示せず)を表示してもよい。
被験者リスト3404は、被験者を選択可能に表示する領域(第1領域)である。図51では、上から1番目の行に対応する被験者が選択された例が示されている。評価項目リスト3405は、分析に用いられた評価項目を選択可能に表示する領域(第2領域)である。例えば、被験者リスト3404で選択された被験者に対して表示された1以上の評価項目が、評価項目リスト3405に表示される。評価項目リスト3405は、評価項目ごとに番号が振られており(No.)、一連の診断画像(動画)のどのシーンか(Scene)、タイトル(Title)、診断画像のどの領域の視点を評価するかなどの評価方法の種類(Type)、一連の診断画像(動画)のうちの該当評価項目の開始時間、該当評価項目の測定時間、測定時間内に診断画像内で注視点が検出された割合を表すデータ取得率(data rate)が対応付けられている。また、この例の評価項目リスト3405には、評価領域外に視点が検出された割合(Object以外の割合)、オブジェクト1の評価領域内に視点が検出された回数(Scan Object数1)、オブジェクト2の評価領域内に視点が検出された回数(Scan Object数2)、オブジェクト1の評価領域内に注視点が検出された割合(Object1の割合)、オブジェクト1の評価領域内に視点が検出された割合(Object2の割合)が表示されている。
評価方法の種類Typeは、例えば、Type−Dでは、オブジェクト1として目、オブジェクト2として口、Type−Eでは、オブジェクト1として診断画像の左半分、オブジェクト2として診断画像の右半分がある。診断支援装置100は、一連の診断画像(動画)のどの再生時間にどの評価を行うかを対応付けて記憶しており、評価リストとして表示する。オブジェクト1または2の評価領域内に視点が検出された割合は、以下のように算出される。診断支援装置100は、例えば、1秒間に50回、注視点を検出する。例えば、測定時間が4秒間の評価項目の場合、200回の注視点の検出を行う。診断画像内で注視点が検出された回数が180回、オブジェクト1の評価領域内に注視点が検出された回数が、54回、オブジェクト2の評価領域内に注視点が検出された回数が108回の場合は、(data rate)=0.900、(Object以外の割合)=0.100、(Scan Object数1)=54、(Scan Object数2)=108となり、(Object1の割合)=0.300、(Object2の割合)=0.600となる。視点検出部352は少なくとも、診断画像が表示されている間の被験者の視点を検出する。
結果表示欄3406は、検出結果を表示する領域(第3領域)である。結果表示欄3406は、被験者リスト3404から選択された被験者に対して表示された診断画像、例えば、評価項目リスト3405に表示された評価項目のうち、選択された評価項目に対する検出結果が表示される。評価項目が選択されていない場合は、複数の評価項目に対する検出結果を総合して表示してもよい。図51の結果表示欄3406は、このように複数の評価項目に対する検出結果を総合して表示する場合の例を示している。また、評価項目リスト3501で選択された評価項目とTypeが共通する他の評価項目の検出結果を総合して結果表示欄に表示してもよい。
図51に示すように、結果表示欄3406で、評価結果の表示態様を、複数の表示態様から指定できるように構成してもよい。図51では、「DataRate」、「Type−A」〜「Type−F」の7種類の表示態様のいずれかを選択タブにより指定可能にする例が示されている。
図52は、「Type−D」が指定された場合の結果表示画面の例である。図52では、Type−Dに対応する複数の評価項目による評価結果をグラフ化した結果表示欄3511の例が示されている。このように、種類(Type)が共通する複数の評価項目を総合して結果表示欄に表示してもよい。なお、図52の評価項目リスト3501の例では、「Type」欄に評価項目の種類が表示されている。
図53は、「Type−E」が指定された場合の結果表示画面の例である。図53では、Type−Eに対応する複数の評価項目による評価結果をグラフ化した結果表示欄3611の例が示されている。
図54は、「Type−F」が指定された場合の結果表示画面の例である。図54では、Type−Fに対応する複数の評価項目による評価結果をグラフ化した結果表示欄3711の例が示されている。
出力制御部354は、被験者リスト内で選択された被験者、および、評価項目リスト内で選択された評価項目の少なくとも一方が変更された場合に、変更後の被験者および変更後の評価項目に対応する評価結果を結果表示欄に表示するように構成してもよい。本実施形態では、このように被験者を選択する欄(被験者リスト)、評価項目を選択する欄(評価項目リスト)、および、結果表示欄を1つの画面内に表示する。そして、被験者および評価項目の選択が切り替えられた場合に、結果表示欄に表示する評価結果が、変更された被験者および評価項目に対応する評価結果に切り替えられる。これにより、診断者は、簡単な操作で所望の評価結果を表示させることができる。
以上のように、本実施形態によれば、例えば以下のような効果が得られる。
(1)キャリブレーションに用いる画像、補正用注視点の検出に用いる画像、および、診断画像を、この順に表示させるため、診断に必要な各処理を円滑に実行し、診断の精度を向上させることができる。
(2)自然画と、当該自然画に類似する幾何学画像とを含む診断画像を用いて診断できるため、健常者が誤って幾何学画像を注視する可能性を低減できる。これにより、診断の精度を向上させることができる。
(3)適正位置を示すスケールに対して目を表す画像が表示されるため、被験者はカメラに対して自分の位置が正しいか判断して調整することができる。また、目の適切な位置の範囲を表す基準領域に対応する画像内に、動画像を表示させるため、被験者に表示画面を注目させ、被験者の位置を適切に調整させることができる。これにより、診断の精度を向上させることができる。
(4)補正用注視点の検出に用いる画像として、相互に異なる複数の画像を用いるため、被験者を飽きさせずに画像に注目させることができる。これにより、診断の精度を向上させることができる。
(5)音声に合わせて動作する正しい向きの人物の形状の動画像と、正しくない向きの動画像とを含む診断画像を用いるため、正しい向きの動画像を、健常者がより注視しやすくなる。これにより、診断の精度を向上させることができる。
(6)診断画像の背景と、被験者を注目させるために表示するアイキャッチ画像の背景とを、異なる表示態様で表示するため、異なる画像に切り替えられたことを被験者が容易に認識できるようになる。この結果、被験者を表示画面に注目させることができ、診断の精度を向上させることができる。
(7)音声に合わせて動作した後、特定位置を中心に縮小するように、診断前画像を、診断画像を表示する前に表示部に表示させるアイキャッチ画像を表示するため、最初被験者の注意を引きながら診断映像を始める直前には無音で落ち着いた診断しやすい状況を作りながら表示画面の特定位置に注目させることができる。この結果、分析処理時に被験者の視点を正しく検出し、診断の精度を向上させることができる。
(8)評価結果を出力する対象者に応じて、評価結果を表示する結果表示画面を切り替えることができる。これにより、操作者の利便性を向上させることができる。
(9)被験者を選択する欄、診断画像を選択する欄、および、結果表示欄を1つの画面内に表示し、被験者および診断画像の選択が切り替えられた場合に、結果表示欄に表示する評価結果が、変更された被験者および診断画像に対応する評価結果に切り替えられる。これにより、診断者は、簡単な操作で所望の評価結果を表示させることができ、診断者の利便性を向上させることができる。