以下、添付図面を参照しながら、本発明に係る診断支援装置および診断支援装置の作動方法の実施形態を詳細に説明する。なお、以下の各実施形態により本発明が限定されるものではない。
(第1実施形態)
本実施形態では、被験者が観察する対象となる診断用画像(対象画像)を表示部(モニタ)に表示して被験者の発達障害を診断する例を挙げて説明する。図1は、本実施形態で用いる表示部、ステレオカメラ、および光源の配置の一例を示す図である。図1の例では、表示部101の横近傍に、1組のステレオカメラ102が配置される。ステレオカメラ102は、赤外線によるステレオ撮影が可能な撮像部であり、右カメラ202と左カメラ204とを備えている。
右カメラ202および左カメラ204の各レンズの直前には、円周方向に赤外LED(Light Emitting Diode)光源203および205がそれぞれ配置される。赤外LED光源203および205は、発光する波長が相互に異なる内周のLEDと外周のLEDとを含む。赤外LED光源203および205により被験者の瞳孔を検出する。瞳孔の検出方法としては、例えば特開2008−125619号公報に記載された方法などを適用できる。
視線を検出する際には、空間を座標で表現して位置を特定する。本実施形態では、表示部101の画面の中央位置を原点として、上下をY座標(上が+)、横をX座標(向かって右が+)、奥行きをZ座標(手前が+)としている。
図2は、診断支援装置100の機能の概要を示す図である。図2では、図1に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図2に示すように、診断支援装置100は、右カメラ202と、左カメラ204と、赤外LED光源203および205と、スピーカ105と、駆動・IF部208と、制御部300と、表示部101と、表示部210と、記憶部150と、を含む。
スピーカ105は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する。
駆動・IF部208は、ステレオカメラ102に含まれる各部を駆動する。また、駆動・IF部208は、ステレオカメラ102に含まれる各部と、制御部300とのインタフェースとなる。
表示部101は、対象画像を表示する。表示部210は、装置の操作や、診断支援結果を表示する。
記憶部150は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。また、記憶部150は、例えば表示部101に表示する画像等を記憶する。
図3は、図2に示す各部の詳細な機能の一例を示すブロック図である。図3に示すように、制御部300には、表示部210と、駆動・IF部208と、記憶部150とが接続される。駆動・IF部208は、カメラIF314、315と、LED駆動制御部316と、スピーカ駆動部322と、を備える。
駆動・IF部208には、カメラIF314、315を介して、それぞれ、右カメラ202、左カメラ204が接続される。駆動・IF部208がこれらのカメラを駆動することにより、被験者を撮像する。
右カメラ202からはフレーム同期信号が出力される。フレーム同期信号は、左カメラ204とLED駆動制御部316とに入力される。これにより、第1フレームで、タイミングをずらして左右の波長1の赤外線光源(波長1−LED303、波長1−LED305)を発光させ、それに対応して左右カメラ(右カメラ202、左カメラ204)による画像を取り込み、第2フレームで、タイミングをずらして左右の波長2の赤外線光源(波長2−LED304、波長2−LED306)を発光させ、それに対応して左右カメラによる画像を取り込んでいる。
赤外LED光源203は、波長1−LED303と、波長2−LED304と、を備えている。赤外LED光源205は、波長1−LED305と、波長2−LED306と、を備えている。
波長1−LED303、305は、波長1の赤外線を照射する。波長2−LED304、306は、波長2の赤外線を照射する。
波長1および波長2は、それぞれ例えば900nm未満の波長および900nm以上の波長とする。900nm未満の波長の赤外線を照射して瞳孔で反射された反射光を撮像すると、900nm以上の波長の赤外線を照射して瞳孔で反射された反射光を撮像した場合に比べて、明るい瞳孔像が得られるためである。
スピーカ駆動部322は、スピーカ105を駆動する。
制御部300は、診断支援装置100全体を制御して、結果を表示部210およびスピーカ105などに出力する。制御部300は、表示制御部351と、視点検出部352と、算出部353と、判定部354と、を備えている。
表示制御部351は、表示部101および表示部210に対する各種情報の表示を制御する。例えば、表示制御部351は、被験者が観察する対象となる診断用画像(対象画像)を表示部101に表示する。また、表示制御部351は、診断結果を表示部210に表示する。なお、表示部101と表示部210は別の表示部であってもよいが、共通の表示部で実現することが好ましい。
視点検出部352は、被験者の視点を検出する。本実施形態では、視点検出部352は、表示部101に表示された対象画像のうち、被験者が注視する点を示す視点(注視点)を検出する。視点検出部352による視点検出方法としては、従来から用いられているあらゆる方法を適用できる。以下では、特開2005−198743号公報と同様に、ステレオカメラ102を用いて被験者の視点を検出する場合を例に説明する。
この場合、まず視点検出部352は、ステレオカメラ102で撮影された画像から、被験者の視線方向を検出する。視点検出部352は、例えば、特許文献1および特開2008−125619号公報に記載された方法などを用いて、被験者の視線方向を検出する。具体的には、視点検出部352は、波長1の赤外線を照射して撮影した画像と、波長2の赤外線を照射して撮影した画像との差分を求め、瞳孔像が明確化された画像を生成する。視点検出部352は、左右のカメラ(右カメラ202、左カメラ204)で撮影された画像それぞれから上記のように生成された2つの画像を用いて、ステレオ視の手法により被験者の瞳孔の位置を算出する。また、視点検出部352は、左右のカメラで撮影された画像を用いて被験者の角膜反射の位置を算出する。そして、視点検出部352は、被験者の瞳孔の位置と角膜反射位置とから、被験者の視線方向を表す視線ベクトルを算出する。
視点検出部352は、例えば図1のような座標系で表される視線ベクトルとXY平面との交点を、被験者の視点として検出する。両目の視線方向が得られた場合は、被験者の左右の視線の交点を求めることによって視点を計測してもよい。
なお、被験者の視点の検出方法はこれに限られるものではない。例えば、赤外線ではなく、可視光を用いて撮影した画像を解析することにより、被験者の視点を検出してもよい。
図4は、2台のカメラ(右カメラ202、左カメラ204)を使用した場合の目の検出の一例を示す図である。2台のカメラは、事前にステレオ較正法によるカメラキャリブレーション理論を適用し、カメラパラメータを求めておく。ステレオ較正法は、Tsaiのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。右カメラ202で撮影された画像から検出した目の位置と、左カメラ204で撮影された画像から検出した目の位置と、カメラパラメータとを用いて、世界座標系における目の3次元座標が得られる。これにより、瞳孔座標を推定することができる。瞳孔座標とは、XY平面上での被験者の目(瞳孔)の位置を表す座標値である。瞳孔座標は、例えば、世界座標系で表される目の位置をXY平面に投影した座標値とすることができる。通常は、左右両目の瞳孔座標が求められる。
図3に戻って説明を続ける。算出部353は、予め定められた期間(後述の所定の測定時間)内において視点検出部352で検出された複数の視点のうち、表示部101に表示された画像上の基準点と視点との間の距離が第1閾値よりも小さい視点が占める割合を算出する。第1閾値は、視点の集中度が高いか否かを判別するための閾値である。第1閾値は、例えば実験により決める。実際には、発達障害の被験者は視点がほとんど動かない場合があるので、第1閾値は、比較的狭い範囲で設定される。診断支援装置100には、記憶部150に第1閾値として所定の距離があらかじめ設定されている。
判定部354は、表示部101に表示された画像上の任意の点に視点が集まる度合いを示す集中度が高いと判定した場合は、被験者の発達障害の可能性が高いと判定する。より具体的には、判定部354は、算出部353により算出された上記割合が第2閾値よりも大きい場合は、被験者の集中度が高いと判定し、その被験者が発達障害を有する可能性が高いと判定する。
詳しくは後述するが、本実施形態の制御部300は、2つの映像パターンの対象画像(2種類の対象画像)を用いて、診断支援処理を行う。図5は、2つの映像パターンのうちの1つの対象画像(以下、「第1対象画像」と呼ぶ場合がある)が表示部101に表示された状態の一例を示す図である。図5の例では、第1対象画像として、幾何学的な模様の画像400が採用されているが、これに限られるものではない。図5の黒丸の点は、発達障害を有する可能性が高い被験者の視点を示している。
ここで、本実施形態では、発達障害を有する可能性が高い被験者は、表示部101に表示された画像のうちの任意の位置(点)を凝視する傾向があり、視点の移動が極めて少ない場合があることを見出した。したがって、表示部101に表示された画像上の任意の点に視点が集まる度合いを示す集中度が高い被験者は、発達障害を有する可能性が高いと判定することができる。その判定方法の一例として、本実施形態では、予め定められた期間内において視点検出部352で検出された複数の視点のうち、表示部101に表示された画像上の基準点と視点との間の距離が第1閾値よりも小さい視点が占める割合が、第2閾値より大きい場合は、被験者の集中度は高いと判定し、被験者が発達障害を有する可能性は高いと判定する。第2閾値は、画像上の基準点との距離が第1閾値よりも小さい視点の特定の期間内に視点検出部352で検出された複数の視点により視点の集中度が高いか否かを判別するための閾値である。第2閾値は、例えば実験により決める。例えば、発達障害及び定型発達の被験者を多数測定して分布の中間値から第2閾値を決める。第2閾値は、視点診断支援装置100には、記憶部150に第2閾値として所定値があらかじめ設定されている。より具体的な内容については後述する。
ここでは、上記基準点は、予め定められた期間内において視点検出部352で検出された複数の視点の重心位置(中心位置)であり、各視点の重心位置から半径R0(R0の大きさ=第1閾値)の円で表される領域P(図5参照)に視点が存在する確率に応じて、被験者の集中度が高いか否か(被験者が発達障害を有する可能性が高いか否か)を判定していると捉えることもできる。発達障害を有する可能性がある被験者の場合、領域P内に視点が存在する確率が、定型発達の被験者に比べて高くなる。
ここで、発達障害を有する可能性が高い被験者の視点は常に移動しない訳ではない。定型発達の被験者のように視点が移動する場合の方が多いが、定型発達の被験者では、視点が移動しないパターンとなる場合が極めて低いため、上記判定方法による判定が可能になる。
図6は、同じ幾何学的な模様の画像400(第1対象画像)を表示したときの定型発達の被験者の視点を表す図である。図6の黒丸の点は、定型発達の被験者の視点を示している。定型発達の被験者の場合、図形を順次に見るように視点が移動するパターンが多く見られるので、各視点の重心位置から半径R0の円で表される領域P内に視点が存在する確率は、発達障害を有する被験者の場合に比べて低くなる。
図7は、2つの映像パターンのうちの別の対象画像(以下、「第2対象画像」と呼ぶ場合がある)が表示部101に表示された状態の一例を示す図である。図7の例では、第2対象画像として、人の顔の画像500が採用されているが、これに限られるものではない。図7の黒丸の点は、発達障害のある可能性が高い被験者の視点を示している。前述したように、発達障害のある可能性が高い被験者は、表示部101に表示された画像上の任意の位置(点)を凝視する傾向にあり、視点の移動が極めて少ないので、各視点の重心位置から半径R0の円で表される領域Pに視点が存在する確率が、定型発達の被験者に比べて高くなる。
図8は、同じ人の顔の画像500(第2対象画像)を表示したときの定型発達の被験者の視点を表す図である。図8の黒丸の点は、定型発達の被験者の視点を示している。定型発達の被験者の場合、両目や鼻、口を順次に見るように視点が移動するパターンが多く見られるので、各視点の重心位置から半径R0の円で表される領域P内に視点が存在する確率は、発達障害を有する被験者の場合に比べて低くなる。
次に、以上のように構成された第1実施形態の診断支援装置100が実行する診断支援処理について説明する。図9は、第1実施形態における診断支援処理の一例を示すフローチャートである。
まず、表示制御部351は、アイキャッチ映像を表示部101に表示する(ステップS1101)。図10は、アイキャッチ映像の一例を示す図であり、アイキャッチ映像が表示される前に個別のキャリブレーションは完了しているものとする。アイキャッチ映像とは、測定のための映像を表示する前に、被験者の視点を画面の所定の位置に移動させるための映像であり、図10の例では、画面の中央位置で、円形の画像が、膨張・収縮して表示され、または、色相を変えて視覚的に目立つように表示されることにより、被験者の視点を画面の中央位置付近に移動させることができる。
再び図9に戻って説明を続ける。ステップS1101の後、表示制御部351は、第1対象画像を表示部101に表示する(ステップS1102)。ここでは、表示制御部351は、第1対象画像として、図5、図6に例示された幾何学的な模様の画像400を表示部101に表示する。次に、所定の測定時間を計測するために、制御部300は、タイマーをセットする(ステップS1103)。
次に、制御部300は、視点の計測が完了するまで(タイマーにより計測された時間が、所定の測定時間に到達するまで)、表示部101に対する被験者の視点を検出し、検出した視点の位置データ(座標値)を保存し続ける(ステップS1104〜ステップS1105)。より具体的には、視点検出部352は、瞳孔中心と角膜反射位置との関係を用いて、被験者の視線方向を計算し、計算した視線方向と表示部101(図1ではXY方向)との交点(視点)を検出する(ステップS1104)。視点検出部352は、検出した視点の座標値を例えば記憶部150等に保存する(ステップS1105)。
制御部300は、計測が終了したか否かを判断する(ステップS1106)。本実施形態では、制御部300は、タイマーにより計測された時間が所定の測定時間に到達した場合は、計測が終了したと判断する。なお、測定時間の値は任意であり、被験者の年齢や状況を考慮して適切な値を決定する。
計測が終了していない場合(ステップS1106:No)、ステップS1104に戻り処理を繰り返す。計測が終了した場合(ステップS1106:Yes)、制御部300は、計測した座標値を用いて、被験者の集中度が高いか否かを判定する集中度判定処理を実行する(ステップS1107)。集中度判定処理の詳細な内容については後述する。
次に、表示制御部351は、第2対象画像を表示部101に表示する(ステップS1108)。ここでは、表示制御部351は、第2対象画像として、図7、図8に例示された人の顔の画像500を表示部101に表示する。次に、所定の測定時間を計測するために、制御部300は、タイマーをセットする(ステップS1109)。
次に、制御部300は、視点の計測が完了するまで(タイマーにより計測された時間が、所定の測定時間に到達するまで)、表示部101に対する被験者の視点を検出し、検出した視点の位置データ(座標値)を保存し続ける(ステップS1110〜ステップS1111)。ステップS1110〜ステップS1111の内容は、上述のステップS1104〜ステップS1105の内容と同様なので、詳細な説明は省略する。
計測が終了していない場合(ステップS1112:No)、ステップS1110に戻り処理を繰り返す。計測が終了した場合(ステップS1112:Yes)、制御部300は、計測した座標値を用いて、被験者の集中度が高いか否かを判定する集中度判定処理を実行する(ステップS1113)。集中度判定処理の詳細な内容については後述する。
次に、制御部300(判定部354)は、ステップS1107およびステップS1113の集中度判定処理の両方において集中度が高いと判定されたか否かを判断する(ステップS1114)。2回の集中度判定処理の両方において集中度が高いと判定された場合(ステップS1114:YES)、判定部354は、被験者が発達障害を有する可能性が非常に高いと判定する(ステップS1118)。
2回の集中度判定処理の両方において集中度が高いと判定されていない場合(ステップS1114:NO)、制御部300(判定部354)は、ステップS1107およびステップS1113の集中度判定処理の何れかにおいて集中度が高いと判定されたか否かを判断する(ステップS1115)。2回の集中度判定処理のうちの何れか一方のみにおいて集中度が高いと判定された場合(ステップS1115:YES)、判定部354は、被験者が発達障害を有する可能性が高いと判定する(ステップS1117)。
一方、2回の集中度判定処理のうちの何れにおいても集中度が高いと判定されていない場合(ステップS1115:NO)、判定部354は、被験者が発達障害を有する可能性は低いと判断する(ステップS1116)。
次に、ステップS1107およびステップS1113の各々における集中度判定処理の詳細な内容を説明する。図11は、集中度判定処理の詳細な内容の一例を示すフローチャートである。ここでは、所定の測定時間内において計測された複数の視点の重心位置(平均位置)を求め、求めた重心位置から所定距離R0(第1閾値R0)以内の範囲に、各視点がどれくらいの割合で入っているのかを求め、求めた割合が第2閾値よりも大きい場合は、集中度が高いと判定し、求めた割合が第2閾値よりも小さい場合は、集中度が低いと判定する。以下、具体的に説明する。
まず、算出部353は、所定の測定時間内において測定された複数の視点の各々の位置データ(座標値)の重心位置(平均位置)を計算する(ステップS1201)。ステップS1201で計算された重心位置は、請求項の「基準点」に対応する。次に、算出部353は、カウント値cntを「0」にクリアする(ステップS1202)。次に、算出部353は、変数nを「1」に設定する(ステップS1203)。
次に、算出部353は、保存してあった視点の位置データ(所定の測定時間内において視点検出部352により検出された複数の視点の各々の座標値)を順次に読み出す(ステップS1204)。次に、算出部353は、読み出した視点の位置データと、ステップS1201で計算した重心位置との間の距離rrを計算する(ステップS1205)。
次に、算出部353は、ステップS1205で算出した距離rrが第1閾値R0よりも小さいか否かを判定する(ステップS1206)。距離rrが第1閾値R0よりも小さい場合(ステップS1206:YES)、算出部353は、現在のカウント値cntに対して「1」を加算する(ステップS1207)。そして、算出部353は、現在の変数nに対して「1」を加算する(ステップS1208)。一方、ステップS1206において、距離rrが第1閾値R0よりも大きい場合(ステップS1206:NO)、算出部353は、現在のカウント値cntに対するカウント値の加算を行わずに、現在の変数nに対して「1」を加算する(ステップS1208)。
次に、算出部353は、保存してあった全ての視点の位置データについて、上述のステップS1204〜ステップS1208の処理が行われたか否かを判断する(ステップS1209)。全ての位置データについて処理が終了していない場合(ステップS1209:NO)、ステップS1204に戻り処理を繰り返す。全ての位置データについて処理が終了した場合(ステップS1209:YES)、算出部353は、現時点の変数nに対するカウント値cntの割合rate1を計算する(ステップS1210)。割合rate1は、所定の測定時間内において視点検出部352で検出された複数(n個)の視点のうち、各視点の重心位置(基準点)と視点との間の距離rrが第1閾値R0より小さい視点が占める割合であると捉えることができる。
次に、判定部354は、ステップS1210で計算された割合rate1が第2閾値K1より大きいか否かを判断する(ステップS1211)。ステップS1210で計算された割合rate1が第2閾値K1よりも大きい場合(ステップS1211:YES)、判定部354は、被験者の集中度が高いと判定する(ステップS1212)。一方、ステップS1210で計算された割合rate1が第2閾値K1よりも小さい場合(ステップS1211:NO)、判定部354は、被験者の集中度が低いと判定する(ステップS1213)。
以上に説明したように、本実施形態では、発達障害を有する可能性が高い被験者は、表示部101に表示された画像上の任意の位置(点)を凝視する傾向があり、視点の移動が極めて少ない場合があることを見出し、表示部101に表示された画像上の任意の点に視点が集まる度合いを示す集中度が高い被験者は、発達障害を有する可能性が高いと判定する。これにより、被験者が発達障害を有する可能性を適切に診断することが可能になる。
また、上述の制御部300および制御部300内の各部の一部または全部は、専用のハードウェア回路により実現してもよいし、CPUなどにより実行されるソフトウェア(プログラム)により実現してもよい。
本実施形態の診断支援装置100で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本実施形態の診断支援装置100で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の診断支援装置100で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、本実施形態の診断支援装置100で実行されるプログラムを、ROM等に予め組み込んで提供するように構成してもよい。
本実施形態の診断支援装置100で実行されるプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。
(第1実施形態の変形例1)
上述の第1実施形態では、判定部354は、算出部353により算出された割合rate1が第2閾値K1より大きい場合、集中度が高いと判定しているが、これに限られるものではない。例えば視点の移動速度が閾値よりも小さい場合は、被験者の集中度が高いと判定する形態であってもよい。例えば算出部353は、所定の測定時間内における視点の平均移動速度を算出し、判定部354は、算出部353により算出された移動速度が閾値より小さい場合、被験者の集中度が高いと判定することもできる。以下、具体的な内容について説明する。
図12は、第1実施形態の変形例1における集中度判定処理の詳細な内容の一例を示すフローチャートである。まず、算出部353は、視点の移動距離の和sumを「0」にクリアする(ステップS1301)。次に、算出部353は、変数nを「1」に設定する(ステップS1302)。次に、算出部353は、保存してあった視点の位置データ(所定の測定時間内において視点検出部352により検出された複数の視点の各々の座標値)を順次に読み出す(ステップS1303)。次に、算出部353は、現時点の変数nの値が「1」であるか否かを判断する(ステップS1304)。最初に視点の位置データが読み出された場合、前回読み出された視点の位置データは存在しないので、この場合は、視点の移動距離rを「0」に設定するためである。
現時点の変数nの値が「1」である場合(ステップS1304:YES)算出部353は、視点の移動距離rを「0」に設定する(ステップS1305)。一方、現時点の変数nの値が「1」ではない場合(ステップS1304:NO)、算出部353は、ステップS1304で読み出した視点の位置データ(今回の位置データ)と、前回の位置データ(前回のステップS1304で読み出した視点の位置データ)との差分を、移動距離rとして計算する(ステップS1306)。
次に、算出部353は、直前の移動距離rの和sumに、ステップS1306で計算した移動距離rを加算して(ステップS1307)、移動距離rの和sumを更新する。図13は、移動距離rを順次に加算して、移動距離rの和sumを求めていく様子を模式的に示す図である。今回の移動距離がr4で、直前の移動距離rの和sumがr1+r2+r3の場合、移動距離rの和sumは、r1+r2+r3+r4に更新されるという具合である。
次に、算出部353は、ステップS1304で読み出した今回の位置データを、前回の位置データとして設定する(ステップS1308)。次に、算出部353は、変数nに「1」を加算する(ステップS1309)。次に、算出部353は、保存してあった全ての視点の位置データについて、上述のステップS1303〜ステップS1309の処理が行われたか否かを判断する(ステップS1310)。全ての位置データについて処理が終了していない場合(ステップS1310:NO)、ステップS1303に戻り処理を繰り返す。全ての位置データについて処理が終了した場合(ステップS1310:YES)、算出部353は、現時点の移動距離rの和sumを、測定時間の長さ(時間長)tで除算することで、視点の移動速度V0(所定の測定時間内における視点の平均移動速度)を計算する(ステップS1311)。
次に、判定部354は、ステップS1311で計算された移動速度V0が所定の閾値K0より大きいか否かを判断する(ステップS1312)。閾値K0は、視点の移動速度V0の移動速度を比較することにより視点の集中度が高いか否かを判定するための閾値である。閾値K0は、例えば実験により決める。実際には、発達障害の被験者の視点はほとんど動かない場合があるので、閾値K0は比較的遅い移動速度で設定される。第1実施形態の変形例1においては、診断支援装置100には、記憶部150に閾値K0として所定の速度があらかじめ設定されている。ステップS1311で計算された移動速度V0が閾値K0よりも小さい場合(ステップS1312:NO)、判定部354は、被験者の集中度が高いと判定する(ステップS1313)。一方、ステップS1311で計算された移動速度V0が閾値K0よりも大きい場合(ステップS1312:YES)、判定部354は、被験者の集中度が低いと判定する(ステップS1314)。
なお、測定時間の時間長tが決まっていて、いつも同じ値である場合は、移動速度V0を求めずに、移動距離rの和sumから、被験者の集中度が高いか否かを判定することもできる。例えば算出部353は、視点の移動量(例えば所定の測定時間内における視点の移動距離rの和sum)を求め、判定部354は、算出部353により算出された移動量が閾値よりも小さい場合、集中度が高いと判定する形態であってもよい。
(第1実施形態の変形例2)
例えば算出部353は、所定の測定時間内において視点検出部352で検出された複数の視点の各々の位置データの分散を算出し、判定部354は、算出部353により算出された分散が所定の閾値よりも小さい場合、被験者の集中度が高いと判定する形態であってもよい。
(第1実施形態の変形例3)
例えば算出部353は、所定の測定時間内において視点検出部352で検出された複数の視点の各々の位置データの偏差を算出し、判定部354は、算出部353により算出された偏差が所定の閾値よりも小さい場合、被験者の集中度が高いと判定する形態であってもよい。要するに、表示部101に表示される画像上の任意の点に被験者の視点が集まる度合いを示す集中度が高いかを判定する方法は。特定の方法に限定されるものではなく、様々な方法を取り得る。
(第1実施形態の変形例4)
上述の第1実施形態では、2つの映像パターンの対象画像を用いて、集中度判定処理を2回行っているが、これに限らず、集中度判定処理の回数は任意に変更可能である。例えば1つの映像パターンの対象画像(例えば幾何学的な模様の画像400であってもよいし、人の顔の画像500であってもよい)を用いて、集中度判定処理を1回だけ行って、被験者の集中度が高いか否かを判定する形態であってもよい。
図14は、第1実施形態の変形例4における診断支援処理の一例を示すフローチャートである。まず、表示制御部351は、アイキャッチ映像を表示部101に表示する(ステップS1401)。次に、表示制御部351は、対象画像を表示部101に表示する(ステップS1402)。対象画像の種類は任意であり、例えば図5、図6に例示された幾何学的な模様の画像400を対象画像として表示部101に表示してもよいし、図7、図8に例示された人の顔の画像500を対象画像として表示部101に表示してもよい。
ステップS1402の後のステップS1403〜ステップS1406の内容は、図9のステップS1103〜ステップS1106の内容と同様であるので、詳細な説明は省略する。ステップS1406の後、制御部300は、集中度判定処理を行う(ステップS1407)。制御部300は、第1実施形態で説明した集中度判定処理(図11参照)を行うこともできるし、第1実施形態の変形例1(図12等参照)、変形例2および変形例3の各々で説明した集中度判定処理を行うこともできる。
次に、制御部300(判定部354)は、ステップS1407の集中度判定処理の結果、被験者の集中度が高いと判定されたか否かを判断する(ステップS1408)。被験者の集中度が高いと判定された場合(ステップS1408:YES)、判定部354は、被験者が発達障害を有する可能性が高いと判定する(ステップS1409)。一方、被験者の集中度が高いと判定されていない場合(ステップS1408:NO)、判定部354は、被験者が発達障害を有する可能性が低いと判定する(ステップS1410)。
(第1実施形態の変形例5)
上述の第1実施形態の診断支援処理では、ステップS1107およびステップS1113の各々において、同じ内容の集中度判定処理(図9)が行われているが、これに限らず、例えばステップS1107およびステップS1113の各々において、異なる内容の集中度判定処理(図11、図12に例示された集中度判定処理であってもよいし、第1実施形態の変形例2および3に例示された集中度判定処理であってもよい)が行われる形態であってもよい。
以上、説明した第1実施形態によれば、他の診断映像と共存可能であり、診断の精度を向上できる上に専用の映像を必要としないため、時間的な効率を向上できるという効果を奏する。
(第2実施形態)
次に、第2実施形態について説明する。第2実施形態では、被験者の母親などの対象者の画像を含む対象画像を複数のブロック(領域)に分割し、分割されたブロックのうち、対象者の特定要素(目、口など)が含まれるブロックを特定し、特定したブロックを被験者が注視するかによって発達障害を判定する判定処理と、第1実施形態における診断支援処理(以下の説明では、「第1診断支援処理」と呼ぶ場合がある)とを組み合わせた診断支援処理(以下の説明では、「第2診断支援処理」と呼ぶ場合がある)を実行可能な点で第1実施形態と相違する。以下、具体的な内容を説明する。なお、第1実施形態と重複する部分については適宜に説明を省略する。
図15は、第2実施形態の診断支援装置1000の各部の詳細な機能の一例を示すブロック図である。第2実施形態の制御部3000は、表示制御部351、視点検出部352、算出部353、判定部354に加えて、分割部355と領域検出部356と第2判定部357と第3判定部358とをさらに備える点で第1実施形態と相違する。
分割部355は、表示部101に表示される画像を複数の領域に分割する。領域検出部356は、分割された領域のうち、特定要素の画像を含む特定領域を検出する。特定要素とは、例えば、対象者の目および口の少なくとも一方である。なお、特定要素はこれに限られるものではない。例えば、対象者以外の動作する物体を特定要素としてもよい。
第2判定部357は、視点検出部352によって検出された視点が、領域検出部356によって検出された特定領域に含まれるか否かを判断する。第2判定部357は、判断結果に基づいて被験者の発達障害の程度を判定する。第3判定部358は、判定部354による判定結果(以下の説明では、「第2評価」と呼ぶ場合がある)と、第2判定部357による判定結果(以下の説明では、「第1評価」と呼ぶ場合がある)とから、被験者が発達障害を有する可能性を最終的に判断する。具体的な内容については後述する。
次に、第2実施形態の診断支援装置1000による第2診断支援処理について説明する。図16は、第2診断支援処理の一例を示すフローチャートである。なお、本実施形態では被験者が対象画像の人物の目を見る割合が規定値(例えば60%)以上であるか否かを判断基準とする。
まず、表示制御部351は、被験者が見る人物(対象者)の顔の画像を含む対象画像を表示部101に表示する(ステップS101)。図17は、表示部101に表示される画像の一例を示す図である。図17では、対象画像として、対象者の顔の画像501を含む画像が表示される例が示されている。顔の画像501は、対象者の目502を含んでいる。
次に、制御部3000は、視点の計測が終了するまで、表示部101に対する被験者の視点座標を検出し、検出した座標を保存し続ける(ステップS102〜ステップS104)。
具体的には、視点検出部352は、瞳孔中心と角膜反射位置との関係を用いて、被験者の視線方向を計算する(ステップS102)。視点検出部352は、視線方向と表示部101(図1ではXY平面)との交点(視点)を検出する(ステップS103)。視点検出部352は、検出した視点の座標値を例えば記憶部150等に保存する(ステップS104)。
制御部3000は、計測が終了したか否かを判断する(ステップS105)。制御部3000は、例えば、所定の測定時間を経過したか、または、予め定められた個数分の視点の座標値が得られたか、などによって計測が終了したかを判断する。測定時間(回数)および座標値の個数は、被験者の年齢や状況を考慮して適切な値を決定する。
計測が終了していない場合(ステップS105:No)、ステップS102に戻り処理を繰り返す。計測が終了した場合(ステップS105:Yes)、制御部300は、計測した座標値を用いた診断処理を実行する(ステップS106〜ステップS111)。なお、座標値の検出処理(ステップS101〜ステップS105)を実行しながら、判定処理(ステップS106〜ステップS111)も実行するように構成してもよい。図16のように検出処理と判定処理とを分離すれば、処理負荷を分散することができる。
図18〜図21は視点検出結果の一例を示す図である。図18の画像は、図17の画像上に被験者の視点を示す複数のマーカ601を重ねて表示した画像の例である。表示制御部351は、図18のような画像を、被験者用の表示部101および結果出力用の表示部210の少なくとも一方に表示する。
判定処理では、まず、分割部355が、対象画像全体を複数のブロックに分割する(ステップS106)。本実施形態では、分割部355は、対象画像を横方向に23分割し、縦方向に33分割している。なお、分割方法はこれに限られるものではなく、対象画像を複数の領域に分割する方法であればあらゆる方法を適用できる。例えば、分割数は23および33に限られるものではない。また、分割して得られる領域の形状は矩形(正方形)に限られるものではなく、任意の形状とすることができる。
図19は、図18の対象画像の分割例を示す模式図である。なお、図19の下部は説明のために一部のブロック(目の画像付近のブロック)を拡大したものである。A−0〜A−11およびB−0〜B−6は、横方向に12個、縦方向に7個並んだ各ブロックを特定するための情報であり、説明の便宜上付与したものである。
図16に戻り、領域検出部356は、分割されたブロックのうち、特定要素として人物の目が含まれているブロック(特定領域)を抽出する(ステップS107)。領域検出部356は、例えば、パターンマッチングなどの一般的に利用されている画像認識技術を用いて、画像から目を検出する。そして、領域検出部356は、検出した目が含まれるブロックを特定領域として検出する。なお、ブロックの検出(抽出)方法はこれに限られるものではない。例えば、表示する対象画像が事前に分かっている場合等であれば、目が含まれているブロックを予め手作業によって設定しておく方法を用いてもよい。
次に、第2判定部357は、ブロックごとの注視点の検出回数をカウントする(ステップS108)。例えば、第2判定部357は、ステップS104で記憶された視点の座標値と、ステップS106で分割された各ブロックの座標値等を参照し、各ブロックに含まれる注視点の個数をカウントする。このカウント値が、ブロックごとの注視点の検出回数に相当する。
図20および図21は、それぞれのブロックに含まれる視点マーカの数をカウントした結果の一例を示す図である。図21では、説明のために、目の画像が含まれているブロック(特定領域)の背景を網点としている。
図16に戻る。第2判定部357は、検出された視点が特定領域に含まれるか否かを判断する。第2判定部357は、予め決められたルールと判断結果とから、被験者の発達障害の程度を判定する。上述のように、本実施形態では、第2判定部357は、被験者が対象画像の人物の目を見る割合が規定値以上であるか否かをルールとして発達障害の程度を判定する(ステップS109)。
図18の例では、以下のように判定される。
視点全体の検出回数=57
人物の目が含まれているブロックを見た回数=37
人物の目を見た割合=37/57=64.9%
仮に規定値を60%と仮定すると、割合が規定値を超えているため発達障害の可能性は低いと判断される。なお、図20(図21)内では視点の検出回数は51である。図18に示すように、目の周辺以外でも視点が検出されるため、視点全体の検出回数は57としている。
次に別の判定例を図22〜図25に示す。図22の画像は、図17の画像上に被験者の視点を示す複数のマーカ1001を重ねて表示した画像の例である。図23は、図22の対象画像の分割例を示す模式図である。図24および図25は、それぞれのブロックに含まれる注視点マーカの数をカウントした結果の一例を示す図である。図25では、説明のために、目の画像が含まれているブロック(特定領域)の背景を網点としている。
図22の例では、以下のように判定される。
視点全体の検出回数=44
人物の目が含まれているブロックを見た回数=4
人物の目を見た割合=4/44=9.1%
同様に規定値を60%と仮定すると、図22の診断例では規定値を大きく下回るため発達障害の可能性が高いと判断される。
上述のステップS109において、対象画像の人物の目を見る割合が規定値未満であると判定した場合(ステップS109:NO)、第2判定部357は、被験者が発達障害を有する可能性は高いと判定する。つまり、第2判定部357による判定結果を示す第1評価は、被験者が障害を有する可能性は高いことを示すものとなる(第1評価:発達障害の可能性「高」、ステップS110)。一方、上述のステップS109において、対象画像の人物の目を見る割合が規定値以上であると判定した場合(ステップS109:YES)、第2判定部357は、被験者が障害を有する可能性は低いと判定する。つまり、第2判定部357による判定結果を示す第1評価は、被験者が障害を有する可能性は低いことを示すものとなる(第1評価:発達障害の可能性「低」、ステップS111)。
次に、制御部3000は、上述の集中度判定処理を行う(ステップS112)。例えば制御部3000は、第1実施形態で説明した集中度判定処理(図11参照)を行うこともできるし、第1実施形態の変形例1(図12等参照)、変形例2および変形例3の各々で説明した集中度判定処理を行うこともできる。
次に、制御部3000(判定部354)は、ステップS112の集中度判定処理において集中度が高いと判定されたか否かを判断する(ステップS113)。ステップS112の集中度判定処理において集中度が高いと判定された場合(ステップS113:YES)、判定部354は、被験者が発達障害を有する可能性が高いと判定する。つまり、判定部354による判定結果を示す第2評価は、被験者が障害を有する可能性は高いことを示すものとなる(第2評価:発達障害の可能性「高」、ステップS114)。一方、ステップS112の集中度判定処理において集中度が低いと判定された場合(ステップS113:NO)、判定部354は、被験者が発達障害を有する可能性は低いと判定する。つまり、判定部354による判定結果を示す第2評価は、被験者が障害を有する可能性は低いことを示すものとなる(第2評価:発達障害の可能性「低」、ステップS115)。
次に、第3判定部358は、第2判定部357による判定結果を示す第1評価が、被験者が発達障害を有する可能性は高いことを示し、かつ、判定部354による判定結果を示す第2評価が、被験者が発達障害を有する可能性は高いことを示すか否かを判断する(ステップS116)。第1評価が、被験者が発達障害を有する可能性は高いことを示し、かつ、第2評価が、被験者が発達障害を有する可能性は高いことを示すと判断した場合(ステップS116:YES)、第3判定部358は、被験者が発達障害を有する可能性は高いと判断する(ステップS119)。
上述のステップS116において、第1評価が、被験者が発達障害を有する可能性は高いことを示し、かつ、第2評価が、被験者が発達障害を有する可能性は高いことを示すという条件を満たさないと判断した場合(ステップS116:NO)、第3判定部358は、第1評価が、被験者が発達障害を有する可能性は高いことを示し、かつ、第2評価が、被験者が発達障害を有する可能性は低いことを示すか否かを判断する(ステップS117)。
上述のステップS117において、第1評価が、被験者が発達障害を有する可能性は高いことを示し、かつ、第2評価が、被験者が発達障害を有する可能性は低いことを示すと判断した場合(ステップS117:YES)、第3判定部358は、被験者が発達障害を有する可能性がやや高いと判断する(ステップS120)。一方、上述のステップS117において、第1評価が、被験者が発達障害を有する可能性は高いことを示し、かつ、第2評価が、被験者が発達障害を有する可能性は低いことを示すという条件を満たさないと判断した場合(ステップS117:NO)、第3判定部358は、第1評価が、被験者が発達障害を有する可能性は低いことを示し、かつ、第2評価が、被験者が発達障害を有する可能性は高いことを示すか否かを判断する(ステップS118)。
上述のステップS118において、第1評価が、被験者が発達障害を有する可能性は低いことを示し、かつ、第2評価が、被験者が発達障害を有する可能性は高いことを示すと判断した場合(ステップS118:YES)、第3判定部358は、被験者が発達障害を有する可能性がやや低いと判断する(ステップS121)。一方、上述のステップS118において、第1評価が、被験者が発達障害を有する可能性は低いことを示し、かつ、第2評価が、被験者が発達障害を有する可能性は低いことを示すという条件を満たさないと判断した場合(ステップS118:NO)、第3判定部358は、第1評価が、被験者が発達障害を有する可能性は低いことを示し、かつ、第2評価が、被験者が発達障害を有する可能性は低いことを示していると判断し、被験者が発達障害を有する可能性は低いと判断する(ステップS122)。
以上に説明したように、上述の判定処理(図16のステップS106〜ステップS111)と、上述の第1診断支援処理とを組み合わせた第2診断支援処理を行うことにより、被験者が発達障害を有する可能性を精度良く診断することが可能になる。なお、上述のステップS117と上述のステップS118の順番は反対であってもよい。この例では、第1評価が、被験者が発達障害を有する可能性は低いことを示し、かつ、第2評価が、被験者が発達障害を有する可能性は高いことを示す場合(ステップS118:YES)、第3判定部358は、被験者が発達障害を有する可能性はやや高いと判断する一方、第1評価が、被験者が発達障害を有する可能性は高いことを示し、かつ、第2評価が、被験者が発達障害を有する可能性は低いことを示す場合(ステップS117:YES)、第3判定部358は、被験者が発達障害を有する可能性はやや低いと判断することになる。
以上に説明したように、第2実施形態では、検出された被験者の視線位置をブロック単位で扱うことにより、数値化された明確な判断ルールに基づいた診断支援を行うことが可能になる。また、本実施形態では、対象者の特定要素(目、口など)が含まれるブロックを特定し、特定したブロックを被験者が注視するかによって発達障害を判定する。これにより、対象者の画像が変更される場合であっても、特定要素が含まれるブロックを適切に特定でき、診断の精度が低下することを回避できる。
(第2実施形態の変形例)
上述の第2実施形態では、上述の判定処理の後に、図16のステップ112〜ステップS115の処理(説明の便宜上、「第2判定処理」と呼ぶ)が行われているが、これに限らず、例えば第2判定処理の後に、上述の判定処理が行われてもよい。要するに、判定処理と第2判定処理とが順番に行われるものであればよい。
また、例えば図26に示すように、判定処理と第2判定処理とが並行に実行されてもよい。図26に示すステップS201〜ステップS205の内容は、図16に示すステップS101〜ステップS105の内容と同様であるため、詳細な説明は省略する。
図26に示すように、ステップS206の後、制御部3000は、判定処理(図26のステップS206〜ステップS211)と、第2判定処理(図26のステップS212〜ステップS215)とを並行に実行する。図26のステップS206〜ステップS211の内容は、図16のステップS106〜ステップS111の内容と同様であるため、詳細な説明は省略する。また、図26のステップS212〜ステップS215の内容は、図16のステップS112〜ステップS115の内容と同様であるため、詳細な説明は省略する。
判定処理および第2判定処理が終了すると、処理は、ステップS216に移行する。ステップS216〜ステップS222の内容は、図16のステップS116〜ステップS122の内容と同様であるため、詳細な説明は省略する。
以上、本発明の実施形態を説明したが、上述の各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。本発明は、上述の各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、上述の各実施形態と変形例とを任意に組み合わせることも可能である。