JP5983131B2 - Diagnosis support apparatus and diagnosis support method - Google Patents
Diagnosis support apparatus and diagnosis support method Download PDFInfo
- Publication number
- JP5983131B2 JP5983131B2 JP2012160869A JP2012160869A JP5983131B2 JP 5983131 B2 JP5983131 B2 JP 5983131B2 JP 2012160869 A JP2012160869 A JP 2012160869A JP 2012160869 A JP2012160869 A JP 2012160869A JP 5983131 B2 JP5983131 B2 JP 5983131B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- evaluation
- time
- stopped
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
Description
本発明は、診断支援装置および診断支援方法に関する。 The present invention relates to a diagnosis support apparatus and a diagnosis support method.
最近、発達障害者が増加傾向にあると言われている。発達障害は、早期に発見し、療育を開始することで、その症状を軽減し、社会に適応できる効果が高くなることがわかっている。我が国においても、1歳半検診時の問診などによる早期発見を目指している。 Recently, people with developmental disabilities are said to be on the rise. It is known that developmental disabilities are detected early and treatment begins, thereby reducing the symptoms and increasing the effect of adapting to society. In Japan as well, we aim for early detection through interviews at the age of 1 and a half.
発達障害児の特徴として、対面する人物の目を見ない(視線をそらす)ことが挙げられる。また、発達障害児は、人物映像よりも幾何学模様の映像を好むことも知られている(非特許文献1参照)。 One characteristic of children with developmental disabilities is that they do not look at the eyes of the person they face (looks away). It is also known that children with developmental disabilities prefer geometrical images over human images (see Non-Patent Document 1).
対面する人物の画像を見ないという特徴を利用した診断方法として、受診者に人物の顔画像を見せ、その際の受診者の注視点位置に基づいて、発達障害を診断する方法が知られている(例えば、特許文献1参照)。 As a diagnostic method using the feature of not seeing the person's face-to-face image, the person's face image is shown to the examinee, and a method for diagnosing developmental disorders based on the gaze position of the examinee at that time is known (For example, refer to Patent Document 1).
特許文献1に開示されている装置は、受診者が人物の顔画像を見ているときに、受診者の顔をカメラで撮影し、受診者の注視点が顔画像中の目の領域および目以外の領域と一致する時間を計測し、計測結果に基づいて発達障害のスクリーニングを支援する数値を算出するものである。
The apparatus disclosed in
しかしながら、乳幼児は、動きの少ないものを注視しない傾向にあり、検査において、乳幼児に上述の顔画像のような検査用の画像を注視させるのが困難であるという問題があった。さらに、正確な注視点が得られないことは、診断支援の指標を正確に算出できないことにつながり、高精度な評価を行うことができないという問題があった。 However, infants tend not to gaze at things with little movement, and there is a problem that it is difficult for an infant to gaze at an inspection image such as the face image described above. Furthermore, the fact that an accurate gaze point cannot be obtained leads to an inability to accurately calculate an index for diagnosis support, and there is a problem that a highly accurate evaluation cannot be performed.
本発明は、上記に鑑みてなされたものであって、診断評価の精度を向上させることのできる診断支援装置および診断支援方法を提供することを目的とする。 The present invention has been made in view of the above, and an object thereof is to provide a diagnosis support apparatus and a diagnosis support method capable of improving the accuracy of diagnosis evaluation.
上述した課題を解決し、目的を達成するために、本発明は、発達障害の診断を支援する診断支援装置であって、人物の画像である第1画像と、非人物の画像である第2画像とを同時に表示部に表示し、前記第1画像と前記第2画像を前記表示部内で移動させ、また移動を停止させる表示制御部と、前記第1画像および前記第2画像が表示されているときの、前記診断を受ける受診者の注視点を検出する注視点検出部と、前記注視点が前記第1画像または前記第2画像の領域内に移動または停止している時間に基づく評価値が閾値よりも大きいか否かに基づいて、前記受診者の前記発達障害の程度を評価する評価部とを備えることを特徴とする。 In order to solve the above-described problems and achieve the object, the present invention is a diagnosis support apparatus that supports diagnosis of developmental disorders, and includes a first image that is an image of a person and a second image that is an image of a non-person. A display control unit for simultaneously displaying the image on the display unit, moving the first image and the second image in the display unit, and stopping the movement; and displaying the first image and the second image. And a gaze point detection unit that detects a gaze point of the examinee who receives the diagnosis, and an evaluation value based on a time during which the gaze point is moved or stopped in the area of the first image or the second image And an evaluation unit that evaluates the degree of the developmental disorder of the examinee based on whether or not is greater than a threshold value .
また、本発明は、発達障害の診断を支援する診断支援方法であって、人物の画像である第1画像と、非人物の画像である第2画像とを同時に表示部に表示し、前記第1画像と前記第2画像を前記表示部内で移動させ、また移動を停止させる表示制御ステップと、前記第1画像および前記第2画像が表示されているときの、前記診断を受ける受診者の注視点を検出する注視点検出ステップと、評価部が、前記注視点が前記第1画像または前記第2画像の領域内に移動または停止している時間に基づく評価値が閾値よりも大きいか否かに基づいて、前記受診者の前記発達障害の程度を評価する評価ステップとを含むことを特徴とする。 The present invention is also a diagnosis support method for supporting diagnosis of developmental disorders, wherein a first image that is a human image and a second image that is a non-human image are simultaneously displayed on a display unit, A display control step of moving one image and the second image in the display unit and stopping the movement; and a note of a patient who receives the diagnosis when the first image and the second image are displayed A gazing point detection step for detecting a viewpoint, and the evaluation unit determines whether an evaluation value based on a time during which the gazing point is moved or stopped in the area of the first image or the second image is greater than a threshold value. And an evaluation step for evaluating the degree of the developmental disorder of the examinee.
本発明によれば、注視点の検出精度を向上させ、診断評価の精度を向上させることができるという効果を奏する。 According to the present invention, it is possible to improve the accuracy of detecting a gazing point and improve the accuracy of diagnostic evaluation.
以下に添付図面を参照して、診断支援装置および診断支援方法の実施の形態を詳細に説明する。 Embodiments of a diagnosis support apparatus and a diagnosis support method will be described below in detail with reference to the accompanying drawings.
図1は、実施の形態にかかる診断支援装置100の概略構成を示す図である。本実施の形態にかかる診断支援装置100は、医師による発達障害診断の支援の指標となる評価値を得るための検査を行う装置である。
FIG. 1 is a diagram illustrating a schematic configuration of a
診断支援装置100は、第1表示部101と、第2表示部102と、スピーカ103と、ステレオカメラ110と、赤外LED光源121,122と、駆動・IF部130と、制御部140と、記憶部150とを備えている。
The
第1表示部101は、診断を受ける受診者に注視させる画像等を表示する。第2表示部102は、当該診断支援装置100の操作内容や、診断結果などを表示する。第1表示部101および第2表示部102は、例えばモニタ画面である。スピーカ103は、診断結果などを音声出力する。また、スピーカ103は、検査時に受診者に注意を促すための音声を出力する。なお、第2表示部102は備えなくともよく、この場合には、操作内容や、診断結果などは、第1表示部101が表示する。
The
ステレオカメラ110は、受診者から見て第1表示部101の下側に設置されている。ステレオカメラ110は、赤外線によるステレオ撮影が可能な撮像部であり、右カメラ111と左カメラ112の1組のカメラを備えている。以下、右カメラ111と左カメラ112とを、適宜左右カメラ111,112と称する。
The
右カメラ111および左カメラ112の各レンズの周囲には、円周方向に赤外LED(Light Emitting Diode)光源121,122がそれぞれ配置されている。赤外LED光源121,122は、内周のLEDと外周のLEDとを含む。内周のLEDと外周のLEDについては、後述する。
Around each lens of the
ステレオカメラ110は、受診者の顔を撮像する。ステレオカメラ110は、赤外LED光源121,122から赤外線が照射されているタイミングにおいて、画像を撮像する。すなわち、ステレオカメラ110は、赤外線の反射光の画像を撮像する。
The
なお、ステレオカメラ110は、受診者の顔を撮像可能な位置に設置されていればよく、その設置位置は実施の形態に限定されるものではない。また、撮像される画像(以下、撮像画像と称する)は、受診者の瞳孔を含む画像であればよく、瞳孔を含む顔の一部のみを含む画像であってもよく、また顔に加えて、顔以外を含む画像であってもよい。
The
駆動・IF部130は、ステレオカメラ110に含まれる各部を駆動する。また、駆動・IF部130は、ステレオカメラ110に含まれる各部と、制御部140とのインタフェースとして機能する。
The drive /
制御部140は、第1表示部101、第2表示部102および駆動・IF部130と接続している。制御部140は、第1表示部101および第2表示部102に表示すべき画像等を制御する。
The
制御部140はまた、ステレオカメラ110により得られた撮像画像に基づいて、受診者の注視点を検出し、検出した注視点の位置を較正(キャリブレーション)する。制御部140は、検出された注視点に基づいて、発達障害の診断のための評価値を算出する。
The
記憶部150は、各種情報を記憶する。記憶部150は例えば、第1表示部101に表示する画像等を記憶する。
The
図2は、診断支援装置100の処理に利用される座標系を説明するための図である。本実施の形態にかかる第1表示部101は、横方向を長辺とする長方形の画面である。診断支援装置100は、図2に示すような、第1表示部101の画面の中央位置を原点として、上下をY座標(上を+方向とする)、横をX座標(第1表示部101に向かって右を+方向とする)、奥行きをZ座標(第1表示部101の手前を+方向とする)とするXYZ座標系において処理を行う。
FIG. 2 is a diagram for explaining a coordinate system used for processing of the
図3は、図1に示す各部の詳細な機能の一例を示すブロック図である。赤外LED光源121は、内周のLEDである波長1−LED123と、外周のLEDである波長2−LED124とを備えている。赤外LED光源122は、内周のLEDである波長1−LED125と、外周のLEDである波長2−LED126とを備えている。
FIG. 3 is a block diagram illustrating an example of detailed functions of each unit illustrated in FIG. 1. The infrared
波長1−LED123,125は、波長1の赤外線を照射する。波長2−LED124,126は、波長2の赤外線を照射する。波長1および波長2は、互いに異なる波長である。波長1および波長2は、それぞれ例えば900nm未満の波長および900nm以上の波長である。900nm未満の波長の赤外線を照射して瞳孔で反射された反射光を撮像すると、900nm以上の波長の赤外線を照射して瞳孔で反射された反射光を撮像した場合に比べて、明るい瞳孔像が得られるためである。
Wavelength 1-
駆動・IF部130は、カメラIF131,132と、LED駆動制御部133と、スピーカ駆動部134とを備えている。カメラIF131およびカメラIF132は、それぞれ右カメラ111および左カメラ112と接続する。カメラIF131,132は、左右カメラ111,112を駆動する。右カメラ111は、左カメラ112およびLED駆動制御部133にフレーム同期信号を送信する。
The drive /
LED駆動制御部133は、波長1−LED123,125および波長2−LED124,126の発光を制御する。具体的には、LED駆動制御部133は、このフレーム同期信号に基づいて、第1フレームで、タイミングをずらして左右の波長1の赤外線光源(波長1−LED123、波長1−LED125)を発光させる。この発光タイミングに対応して、左右カメラ111,112は、画像を撮像する。撮像された画像は、カメラIF131,132を介して制御部140に入力される。
The LED
同様に、LED駆動制御部133は、第2フレームで、タイミングをずらして左右の波長2の赤外線光源(波長2−LED124、波長2−LED126)を発光させる。この発光タイミングに対応して、左右カメラ111,112は、画像を撮像する。撮像された画像は、カメラIF131,132を介して制御部140に入力される。
Similarly, the LED
スピーカ駆動部134は、スピーカ103を駆動する。制御部140は、診断支援装置100全体を制御する。制御部140は、具体的には、表示制御部141と、注視点検出部142と、評価部143とを備えている。
The
表示制御部141は、第1表示部101および第2表示部102への各種情報の表示を制御する。表示制御部141は、例えば第1表示部101に診断画像を表示する。診断画像は、診断に用いられる画像であり、具体的には、人物の顔画像と、幾何学模様の画像である幾何学画像とを含んでいる。
The display control unit 141 controls display of various types of information on the
なお、顔画像および幾何学画像は、静止画でもよく動画でもよい。また、顔画像は、受診者の母親の撮影画像が好ましいが、これに限定されるものではない。例えば、母親以外の人物の撮影画像であってもよく、また他の例としては、人物のアニメーション画像であってもよい。 The face image and the geometric image may be a still image or a moving image. The face image is preferably a photographed image of the mother of the examinee, but is not limited to this. For example, a photographed image of a person other than the mother may be used, and as another example, an animation image of a person may be used.
また、本実施の形態においては、発達障害児が人物に比べてより好む画像として、幾何学画像を用いることとしているが、人物の顔画像とともに表示させる画像は、発達障害児が人物の顔画像に比べてより好む画像であればよく、幾何学画像に限定されるものではない。 In this embodiment, a geometric image is used as an image that a child with developmental disabilities prefers compared to a person. However, an image displayed together with a face image of a person is a face image of a person with a developmental disability. As long as the image is more preferable than the image, it is not limited to a geometric image.
図4は、診断画像200を示す図である。図4に示すように、診断画像200は、顔画像210と幾何学画像220とを含んでいる。表示制御部141は、診断画像200中の、顔画像210と幾何学画像220を時間の経過とともに所定の方向に所定量だけ移動させた後に移動を停止し、停止後一定時間が経過すると再び顔画像210と幾何学画像220を移動させるという処理を繰り返す。
FIG. 4 is a diagram showing a
図5−1〜図5−7は、表示制御部141の処理を説明するための図である。図5−1は、診断開始時の第1表示部101を示している。表示制御部141は、図5−1に示すように、第1表示部101の中央に円形画像230を表示する。このように、第1表示部101の中央に円形の画像を表示することにより、検査開始時等に受診者の注視点を、第1表示部101の中央に向けることができる。
FIGS. 5-1 to 5-7 are diagrams for explaining the processing of the display control unit 141. FIG. 5A illustrates the
続いて、表示制御部141は、図5−2に示すように、第1表示部101の中央の円形画像230を消去し、顔画像210を徐々に拡大しながら、第1表示部101の中央から左側の領域に移動させる。さらに、表示制御部141は、顔画像210の移動と同時に、幾何学画像220を徐々に拡大しながら、第1表示部101の中央から右側の領域に移動させる。
Subsequently, as shown in FIG. 5B, the display control unit 141 erases the
続いて、表示制御部141は、図5−3に示すように、顔画像210が左領域301に到達すると、顔画像210の移動を停止する。これにより、顔画像210は左領域301に停止した状態で表示される。表示制御部141は、顔画像210が左領域301に到達するのと同時に、幾何学画像220を第1表示部101の右領域302に到達させ、幾何学画像220の移動を停止する。これにより、幾何学画像220は右領域302に停止した状態で表示される。
Subsequently, as illustrated in FIG. 5C, the display control unit 141 stops the movement of the
続いて、表示制御部141は、図5−4に示すように、顔画像210および幾何学画像220を、同じ速度で同一経路を移動させる。なお、本実施の形態においては、顔画像210および幾何学画像220は、第1表示部101に向かって右回りに円周方向に移動する。
Subsequently, as shown in FIG. 5-4, the display control unit 141 moves the
続いて、表示制御部141は、図5−5に示すように、顔画像210および幾何学画像220がそれぞれ第1表示部101の上領域303および下領域304に同時に到達すると、顔画像210および幾何学画像220の移動を停止する。これにより、顔画像210および幾何学画像220は、それぞれ停止した状態で上領域303および下領域304に表示される。
Subsequently, when the
さらに、表示制御部141は、図5−6に示すように、顔画像210および幾何学画像220を同じ速度で右回りに円周方向に移動させる。
Further, as shown in FIG. 5-6, the display control unit 141 moves the
続いて、表示制御部141は、図5−7に示すように、顔画像210および幾何学画像220がそれぞれ第1表示部101の右領域302および左領域301に同時に到達すると、それぞれの移動を停止し、右領域302および左領域301にそれぞれ顔画像210および幾何学画像220を表示する。
Subsequently, as shown in FIG. 5-7, when the
表示制御部141は、さらに図5−1〜図5−7を参照しつつ説明した一連の映像に続き、顔画像210と幾何学画像220の位置が図5−1〜図5−7と左右逆になり、逆方向に移動する一連の映像を第1表示部101に表示する。
The display control unit 141 further follows the series of images described with reference to FIGS. 5-1 to 5-7, and the positions of the
なお、顔画像210および幾何学画像220の移動経路、停止位置および移動速度は、予め設計者等により設定される。なお、各停止位置は、任意に設定することができる。また、顔画像210および幾何学画像220の移動経路は、実施の形態に限定されるものではなく、円周方向に沿って移動させるのにかえて、例えば、第1表示部101の外枠に沿って、長方形の辺に沿った方向に移動させてもよい。なお、顔画像210と幾何学画像220の移動経路および移動速度は、同様にするのが好ましい。
Note that the movement path, stop position, and movement speed of the
また、本実施の形態においては、表示制御部141が、顔画像210と幾何学画像220の表示位置を制御することとしたが、他の例としては、表示制御部141の制御により実現される映像を予め、記憶部150等に記憶しておき、表示制御部141は、この映像を再生することとしてもよい。
In the present embodiment, the display control unit 141 controls the display positions of the
図3に戻り、注視点検出部142は、ステレオカメラ110により撮像された画像に基づいて、受診者の注視点を検出する。これにより、受診者が診断画像200中のいずれの領域を注視しているかを特定することができる。
Returning to FIG. 3, the gaze
注視点検出部142による注視点検出方法としては、従来から用いられているあらゆる方法を適用できる。以下では、特開2005−198743号公報に記載された技術と同様に、ステレオカメラを用いて被験者の視点を検出する場合を例に説明する。
As a gazing point detection method by the gazing
注視点検出部142は、ステレオカメラ110で撮影された画像から、受診者の視線方向を検出する。注視点検出部142は、例えば、特開2011−206542号公報および特開2008−125619号公報に記載された方法を用いて、受診者の視線方向を検出する。具体的には、注視点検出部142は、波長1の赤外線を照射して撮影した画像と、波長2の赤外線を照射して撮影した画像との差分を求め、瞳孔像が明確化された画像を生成する。注視点検出部142は、左右カメラ111,112で撮影された画像それぞれから上記のように生成された2つの画像を用いて、ステレオ視の手法により受診者の瞳孔の位置を算出する。また、注視点検出部142は、左右カメラ111,112で撮影された画像を用いて受診者の角膜反射の位置を算出する。そして、左右カメラ111,112は、被験者の瞳孔の位置と角膜反射位置とから、受診者の視線方向を表す視線ベクトルを算出する。
The gazing
注視点検出部142は、例えば図2のような座標系で表される視線ベクトルとXY平面との交点を、受診者の注視点として検出する。両目の視線方向が得られた場合は、受診者の左右の視線の交点を求めることによって注視点を計測してもよい。
The gazing
なお、受診者の注視点の検出方法はこれに限られるものではない。例えば、赤外線ではなく、可視光を用いて撮影した画像を解析することにより、受診者の注視点を検出してもよい。 Note that the method of detecting the gaze point of the examinee is not limited to this. For example, the gaze point of the examinee may be detected by analyzing an image captured using visible light instead of infrared rays.
図6は、受診者の瞳孔の位置を検出する方法を模式的に示す説明図である。注視点検出部142は、右カメラ111で検出した瞳孔の位置と角膜反射の位置関係とから、右カメラ111から見た受診者の視線の方向を算出する。また、注視点検出部142は、左カメラ112で検出した瞳孔の位置と角膜反射の位置関係とから、左カメラ112から見た受診者の視線の方向を算出する。そして、注視点検出部142は、求められた2つの視線の方向の交点から、図2に示すXY座標系における、受診者の注視点の位置を算出する。
FIG. 6 is an explanatory view schematically showing a method for detecting the position of the pupil of the examinee. The gaze
図3に戻り、評価部143は、表示制御部141により診断画像200が表示されている間に検出された受診者の注視点の位置に基づいて、発達障害の診断支援の指標となる評価値を算出する。より詳しくは、評価部143は、診断画像200中の顔画像210および幾何学画像220の移動が停止している間に検出された注視点の位置に基づいて、評価値を算出する。
Returning to FIG. 3, the evaluation unit 143 is an evaluation value that serves as an index for supporting diagnosis of developmental disability based on the position of the gaze point of the examinee detected while the
図7は、評価部143の処理を説明するための図である。図7に示すように、顔画像210を中心とする領域であるFエリア211と、幾何学画像220を中心とする領域であるPエリア221とを定める。そして、評価部143は、Fエリア211内の注視点が検出された場合に、顔画像210に対する注視点が検出されたと判断する。評価部143はまた、Pエリア221内の注視点が検出された場合に、幾何学画像220に対する注視点が検出されたと判断する。
FIG. 7 is a diagram for explaining the processing of the evaluation unit 143. As shown in FIG. 7, an F area 211 that is an area centered on the
評価部143はさらに、表示制御部141が顔画像210と幾何学画像220が移動を停止した移動停止時点から、受診者の注視点が顔画像210のFエリア211内または幾何学画像220のPエリア221内に到達する到達時点までの時間(以下、到達時間と称する)を計測する。なお、到達時点は、注視点検出部142がFエリア211内またはPエリア221内の注視点を検出する時点である。ここで、到達時間は、移動停止時点から到達時点までの時間であり、第2の時間に相当する。顔画像210と幾何学画像220が移動している間、受診者は、自身の好みに合わせて、顔画像210または幾何学画像220のいずれかの画像に追従して注視点を移動させる。到達時間は、この移動停止時点から、移動停止に対応して受診者の注視点の位置がいずれかの画像のエリアに到達するまでの時間である。
The evaluation unit 143 further determines that the gaze point of the examinee is within the F area 211 of the
評価部143はまた、到達時点から受診者の注視点が顔画像210のFエリア211内または幾何学画像220のPエリア221内に停留する停留時間を計測する。すなわち、停留時間は、注視点検出部142が継続してFエリア211内またはPエリア221内の注視点を検出する時間である。ここで、停留時間は、到達時点から継続してFエリア211内またはPエリア221内の注視点が検出される時間であり、第1の時間に相当する。
The evaluation unit 143 also measures a stop time during which the gaze point of the examinee stops in the F area 211 of the
すなわち、評価部143は、表示制御部141により診断画像が表示されている間、顔画像210に対する到達時間と停留時間を計測し、かつ幾何学画像220に対する到達時間と停留時間を計測する。なお、第1表示部101に1秒間に所定フレーム数(例えば30フレーム)が表示される場合には、評価部143は、フレーム数に基づいて、到達時間と停留時間を計測する。
That is, the evaluation unit 143 measures the arrival time and the retention time for the
図8は、診断支援装置100による診断支援処理を示すフローチャートである。なお、診断支援処理に先立ち、個別のキャリブレーションは完了しているものとする。診断支援処理においては、まず、評価部143は、変数nに1をセットする(ステップS101)。次に、評価部143は、変数nが1か否かを確認する(ステップS102)。変数nが1である場合には(ステップS102,Yes)、表示制御部141は、図5−1に示すような円形画像230を第1表示部101の中心に表示する(ステップS103)。この円形画像230がアイキャッチ画像となる。
FIG. 8 is a flowchart illustrating a diagnosis support process performed by the
次に、図5−2および図5−3に示すように、表示制御部141は、顔画像210を拡大しながら第1表示部101の左側に移動させ、左領域301に停止させる。表示制御部141はさらに、顔画像210の移動と同時に、幾何学画像220を拡大しながら第1表示部101の右側に移動させ、顔画像210の停止と同時に幾何学画像220を右領域302に停止させる。さらに、評価部143は、到達計測のための計測時計をリセットする(ステップS104)。
Next, as illustrated in FIGS. 5-2 and 5-3, the display control unit 141 moves the
次に、スピーカ103は、音声を出力する(ステップS105)。スピーカ103は、例えば、「おはよう」など、呼びかけるような言葉を出力する。スピーカ103による音声出力は、顔画像210に同期したものである。スピーカ103は、顔画像210が映像である場合には、口の動きに合わせて音声を出力する。
Next, the
次に、顔画像210および幾何学画像220がそれぞれ左領域301および右領域302に停止すると、注視点検出部142は、受診者の注視点の位置を検出し、評価部143は、注視点位置に基づいて、Fエリア211に対する到達時間t1Fと、Pエリア221に対する到達時間t1Pとを計測する(ステップS106)。
Next, when the
さらに、顔画像210および幾何学画像220の移動が停止した後所定時間が経過すると、評価部143はさらに、Fエリア211に対する停留時間T1Fと、Pエリア221に対する停留時間T1Pとを計測する(ステップS107)。
Further, when a predetermined time has elapsed after the movement of the
次に、表示制御部141は、図5−4および図5−5に示すように、顔画像210および幾何学画像220を右回りに回転移動させ(ステップS108)、顔画像210および幾何学画像220がそれぞれ上領域303および下領域304に到達すると、移動を停止させる。さらに、評価部143は、計測時計をリセットする(ステップS109)。そして、ステップS105と同様にスピーカ103は、音声を出力する(ステップS110)。
Next, as shown in FIGS. 5-4 and 5-5, the display control unit 141 rotates and moves the
次に、評価部143は、上領域303に停止した顔画像210のFエリア211に対する到達時間t2Fと、下領域304に停止した幾何学画像220のPエリア221に対する到達時間t2Pとを計測する(ステップS111)。次に、評価部143は、上領域303に停止した顔画像210のFエリア211に対する停留時間T2Fと、下領域304に停止した幾何学画像220のPエリア221に対する停留時間T2Pとを計測する(ステップS112)。
Next, the evaluation unit 143 measures the arrival time t2F for the F area 211 of the
ステップS113〜ステップS117において、ステップS108〜ステップS112と同様の処理により、評価部143は、図5−7に示すように、右領域302に停止した顔画像210のFエリア211に対する到達時間t3Fと、左領域301に停止した幾何学画像220のPエリア221に対する到達時間t3Pを計測し、さらに、右領域302に停止した顔画像210のFエリア211に対する停留時間T3F、左領域301に停止した幾何学画像220のPエリア221に対する停留時間T3Pを計測する。
In steps S113 to S117, by the same processing as in steps S108 to S112, the evaluation unit 143 determines the arrival time t3F for the F area 211 of the
次に、評価部143は、変数nが1か否かを確認する(ステップS118)。変数nが1である場合には(ステップS118,Yes)、変数nに2をセットし(ステップS119)、ステップS102に戻る。 Next, the evaluation unit 143 checks whether or not the variable n is 1 (step S118). When the variable n is 1 (step S118, Yes), 2 is set to the variable n (step S119), and the process returns to step S102.
ステップS102において、変数nが1でない場合には(ステップS102,No)、ステップS120へ進む。なお、ステップS103〜ステップS117の処理の完了後に、変数nが2となり、ステップS120に進む。 In step S102, when the variable n is not 1 (No in step S102), the process proceeds to step S120. Note that the variable n becomes 2 after the completion of the processing of step S103 to step S117, and the process proceeds to step S120.
ステップS120〜ステップS134においては、顔画像210と幾何学画像220を、ステップS103〜ステップS117と逆方向に移動させつつ、各停止位置におけるFエリア211およびPエリア221の到達時間と、各停止位置におけるFエリア211およびPエリア221の停留時間を計測する。
In steps S120 to S134, the
すなわち、まずステップS120において、表示制御部141は、ステップS103と同様に、図5−1に示すような円形画像230を第1表示部101に表示する(ステップS120)。
That is, first, in step S120, the display control unit 141 displays a
次に、表示制御部141は、顔画像210を拡大しながら第1表示部101の右側に移動させ、右領域302に停止させる。表示制御部141はさらに、顔画像210の移動と同時に、幾何学画像220を拡大しながら第1表示部101の左側に移動させ、顔画像210の停止と同時に幾何学画像220を左領域301に停止させる。さらに、評価部143は、到達計測のための計測時計をリセットする(ステップS121)。
Next, the display control unit 141 moves the
次に、スピーカ103は、音声を出力する(ステップS122)。次に、評価部143は、右領域302に停止した顔画像210のFエリア211に対する到達時間t4Fと、左領域301に停止した幾何学画像220のPエリア221に対する到達時間t4Pとを計測する(ステップS123)。
Next, the
次に、評価部143は、右領域302に停止した顔画像210のFエリア211に対する停留時間T4Fと、左領域301に停止した幾何学画像220のPエリア221に対する停留時間T4Pとを計測する(ステップS124)。
Next, the evaluation unit 143 measures a retention time T4F for the F area 211 of the
次に、表示制御部141は、顔画像210および幾何学画像220を左回りに回転移動させ(ステップS125)、顔画像210および幾何学画像220がそれぞれ下領域304および上領域303に到達すると、移動を停止させる。さらに、評価部143は、計測時計をリセットする(ステップS126)。
Next, the display control unit 141 rotates and moves the
ステップS127〜ステップS134においては、ステップS122〜ステップS126と同様の処理により、評価部143は、下領域304に停止した顔画像210のFエリア211に対する到達時間t5Fと、上領域303に停止した幾何学画像220のPエリア221に対する到達時間t5Pを計測し、さらに下領域304に停止した顔画像210のFエリア211に対する停留時間T5Fと、上領域303に停止した幾何学画像220のPエリア221に対する停留時間T5Pを計測する。
In steps S127 to S134, the evaluation unit 143 performs the same processing as in steps S122 to S126, so that the evaluation unit 143 reaches the arrival time t5F for the F area 211 of the
続いて、評価部143は、右領域302に停止した顔画像210のFエリア211に対する到達時間t6Fと、左領域301に停止した幾何学画像220のPエリア221に対する到達時間t6Pを計測し、さらに、右領域302に停止した顔画像210のFエリア211に対する停留時間T6Fと、左領域301に停止した幾何学画像220のPエリア221に対する停留時間T6Pを計測する。
Subsequently, the evaluation unit 143 measures the arrival time t6F for the F area 211 of the
ステップS118において、変数nが1でない場合、すなわち、変数nが2である場合には(ステップS118,No)、評価部143は、発達障害の指標となる評価値を算出し、評価値に基づいて、発達障害の可能性を評価する(ステップS135)。以上で、診断支援装置100による診断支援処理が完了する。
If the variable n is not 1 in step S118, that is, if the variable n is 2 (No in step S118), the evaluation unit 143 calculates an evaluation value that serves as an index of developmental disability, and based on the evaluation value Then, the possibility of developmental disorder is evaluated (step S135). Thus, the diagnosis support process by the
図9は、図8に示す評価処理(ステップS135)における詳細な処理を示すフローチャートである。評価処理(ステップS135)において、評価部143は、まず(式1)により顔画像210に対応するFエリア211に対する停留時間の合計(TF)を計算する(ステップS201)。
TF=T1F+T2F+T3F+T4F+T5F+T6F …(式1)
FIG. 9 is a flowchart showing detailed processing in the evaluation processing (step S135) shown in FIG. In the evaluation process (step S135), the evaluation unit 143 first calculates the total stop time (TF) for the F area 211 corresponding to the
TF = T1F + T2F + T3F + T4F + T5F + T6F (Formula 1)
次に、評価部143は、(式2)により幾何学画像220に対応するPエリア221に対する停留時間の合計(TP)を計算する(ステップS202)。
TP=T1P+T2P+T3P+T4P+T5P+T6P …(式2)
Next, the evaluation unit 143 calculates the total stop time (TP) for the P area 221 corresponding to the
TP = T1P + T2P + T3P + T4P + T5P + T6P (Formula 2)
次に、評価部143は、(式3)によりFエリア211に対する到達時間の合計(tF)を計算する(ステップS203)。
tF=t1F+t2F+t3F+t4F+t5F+t6F …(式3)
Next, the evaluation unit 143 calculates the total arrival time (tF) for the F area 211 using (Equation 3) (step S203).
tF = t1F + t2F + t3F + t4F + t5F + t6F (Formula 3)
次に、評価部143は、(式4)によりPエリア221に対する到達時間の合計(tP)を計算する(ステップS204)。
tP=t1P+t2P+t3P+t4P+t5P+t6P …(式4)
Next, the evaluation unit 143 calculates the total arrival time (tP) for the P area 221 using (Equation 4) (step S204).
tP = t1P + t2P + t3P + t4P + t5P + t6P (Formula 4)
次に、評価部143は、(式5)により評価値Aを算出する(ステップS205)。
A=TP−TF+k(tF−tP) …(式5)
ここで、kは、停留時間と到達時間の重み付けを行う所定値の係数である。
Next, the evaluation unit 143 calculates the evaluation value A using (Equation 5) (step S205).
A = TP−TF + k (tF−tP) (Formula 5)
Here, k is a coefficient of a predetermined value that weights the stop time and the arrival time.
次に、評価部143は、評価値Aと閾値Kとを比較する(ステップS206)。AがKより大きい場合には(ステップS206,Yes)、評価部143は、発達障害の可能性が高いと判断する(ステップS207)。AがK以下である場合には(ステップS206,No)、評価部143は、発達障害の可能性が低いと判断する(ステップS208)。以上で、評価処理(ステップS135)が完了する。 Next, the evaluation unit 143 compares the evaluation value A with the threshold value K (step S206). When A is larger than K (step S206, Yes), the evaluation unit 143 determines that the possibility of developmental disorder is high (step S207). When A is K or less (step S206, No), the evaluation unit 143 determines that the possibility of developmental disorder is low (step S208). Thus, the evaluation process (step S135) is completed.
受診者に顔画像210と幾何学画像220とを見せた場合に、健常者は、顔画像210を見続ける傾向が高いのに対し、発達障害の可能性のある人物の場合には、幾何学画像220を見る傾向が高いことがわかっている。そこで、本実施の形態にかかる診断支援装置100においては、第1表示部101に顔画像210と幾何学画像220とを同時に表示し、受診者がいずれの画像を見るかにより発達障害の診断支援を行うこととした。
When the
さらに、特に乳幼児においては、動きの少ないものを注視しない傾向にあることから、本実施の形態にかかる診断支援装置100においては、第1表示部101に表示される顔画像210と幾何学画像220を適宜移動させることにより、受診者が顔画像210または幾何学画像220を注視するように誘導することとした。
Further, particularly in infants and young children, since there is a tendency not to gaze at things with little movement, in the
これにより、受診者は顔画像210または幾何学画像220をしっかり注視するようになるので、本実施の形態にかかる診断支援装置100においては、正確な注視点位置を特定することができ、したがって高精度な診断評価を行うことができる。
As a result, the examinee can pay close attention to the
さらに、本実施の形態にかかる診断支援装置100においては、評価部143による到達時間および停留時間の計測のための注視点検出の前に、音声を出力することとした。健常者の場合には、診断支援処理における音声出力のように、人物の顔に同期して音声が出力された場合には、音声につられて顔画像210を見る傾向が高い。これに対し、発達障害の可能性のある人物の場合には、このように音声が出力された場合であっても、幾何学画像220を見る傾向が高い。したがって、本実施の形態にかかる診断支援処理のように、注視点を検出する前に音声を出力することにより、より精度よく診断評価を行うことができる。
Furthermore, in the
以上、本発明を実施の形態を用いて説明したが、上記実施の形態に多様な変更または改良を加えることができる。 As described above, the present invention has been described using the embodiment, but various changes or improvements can be added to the above embodiment.
100 診断支援装置
101 第1表示部
103 スピーカ
110 ステレオカメラ
121,122 赤外LED光源
140 制御部
141 表示制御部
142 注視点検出部
143 評価部
DESCRIPTION OF
Claims (5)
人物の画像である第1画像と、非人物の画像である第2画像とを同時に表示部に表示し、前記第1画像と前記第2画像を前記表示部内で移動させ、また移動を停止させる表示制御部と、
前記第1画像および前記第2画像が表示されているときの、前記診断を受ける受診者の注視点を検出する注視点検出部と、
前記注視点が前記第1画像または前記第2画像の領域内に移動または停止している時間に基づく評価値が閾値よりも大きいか否かに基づいて、前記受診者の前記発達障害の程度を評価する評価部と
を備えることを特徴とする診断支援装置。 A diagnosis support device for supporting developmental diagnosis,
A first image that is a human image and a second image that is a non-human image are simultaneously displayed on the display unit, and the first image and the second image are moved in the display unit, and the movement is stopped. A display control unit;
A gazing point detection unit for detecting a gazing point of the examinee who receives the diagnosis when the first image and the second image are displayed;
Based on whether or not an evaluation value based on a time during which the gazing point is moved or stopped in the region of the first image or the second image is greater than a threshold value , the degree of the developmental disorder of the examinee is determined. A diagnostic support apparatus comprising an evaluation unit for evaluation.
前記評価部は、前記第1表示制御中および前記第2表示制御中に検出された前記注視点が前記第1画像または前記第2画像の領域内に移動または停止している時間に基づく前記評価値が前記閾値よりも大きいか否かに基づいて、前記発達障害の程度を評価することを特徴とする請求項1に記載の診断支援装置。 The display control unit moves the first image and the second image in the first direction in the display unit, and after the first display control for stopping the movement, the first image and the second image. , Performing a second display control for moving in the direction opposite to the first direction in the display unit and stopping the movement,
The evaluation unit is configured to evaluate the time based on a time during which the gazing point detected during the first display control and the second display control is moved or stopped in a region of the first image or the second image. The diagnosis support apparatus according to claim 1, wherein the degree of the developmental disorder is evaluated based on whether the value is larger than the threshold value .
人物の画像である第1画像と、非人物の画像である第2画像とを同時に表示部に表示し、前記第1画像と前記第2画像を前記表示部内で移動させ、また移動を停止させる表示制御ステップと、
前記第1画像および前記第2画像が表示されているときの、前記診断を受ける受診者の注視点を検出する注視点検出ステップと、
評価部が、前記注視点が前記第1画像または前記第2画像の領域内に移動または停止している時間に基づく評価値が閾値よりも大きいか否かに基づいて、前記受診者の前記発達障害の程度を評価する評価ステップと
を含むことを特徴とする診断支援方法。 A diagnostic support method for supporting the diagnosis of developmental disorders,
A first image that is a human image and a second image that is a non-human image are simultaneously displayed on the display unit, and the first image and the second image are moved in the display unit, and the movement is stopped. A display control step;
A gazing point detection step of detecting a gazing point of the examinee who receives the diagnosis when the first image and the second image are displayed;
Evaluation unit, based on whether the evaluation value based on the moving or stopped time is greater than the threshold to the gaze point is the first image or the second image in the area, the development of the examinee A diagnostic support method, comprising: an evaluation step for evaluating a degree of failure.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012160869A JP5983131B2 (en) | 2012-07-19 | 2012-07-19 | Diagnosis support apparatus and diagnosis support method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012160869A JP5983131B2 (en) | 2012-07-19 | 2012-07-19 | Diagnosis support apparatus and diagnosis support method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014018484A JP2014018484A (en) | 2014-02-03 |
JP5983131B2 true JP5983131B2 (en) | 2016-08-31 |
Family
ID=50194033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012160869A Active JP5983131B2 (en) | 2012-07-19 | 2012-07-19 | Diagnosis support apparatus and diagnosis support method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5983131B2 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4554102A (en) * | 1983-09-26 | 1985-11-19 | Shell Oil Company | Cyanohydrination catalyst comprising non-crystalline or amorphous dipeptide |
JPS6092888A (en) * | 1983-10-27 | 1985-05-24 | Tokyo Electric Co Ltd | Electronic typewriter |
JP6187347B2 (en) * | 2014-03-25 | 2017-08-30 | 株式会社Jvcケンウッド | Detection apparatus and detection method |
CN106163418B (en) * | 2014-03-25 | 2019-06-18 | Jvc建伍株式会社 | Detection device and detection method |
JP2015181797A (en) * | 2014-03-25 | 2015-10-22 | 株式会社Jvcケンウッド | Detection apparatus and detection method |
JP6788445B2 (en) * | 2016-09-09 | 2020-11-25 | 株式会社トプコン | Ophthalmic equipment |
JP6848526B2 (en) * | 2017-02-28 | 2021-03-24 | 株式会社Jvcケンウッド | Evaluation device, evaluation method, and evaluation program |
JP7247690B2 (en) * | 2019-03-22 | 2023-03-29 | 株式会社Jvcケンウッド | Evaluation device, evaluation method, and evaluation program |
JP7074221B2 (en) * | 2021-02-26 | 2022-05-24 | 株式会社Jvcケンウッド | Evaluation device, evaluation method, and evaluation program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8371693B2 (en) * | 2010-03-30 | 2013-02-12 | National University Corporation Shizuoka University | Autism diagnosis support apparatus |
WO2012077713A1 (en) * | 2010-12-08 | 2012-06-14 | 国立大学法人静岡大学 | Method for detecting point of gaze and device for detecting point of gaze |
JP5926210B2 (en) * | 2012-03-21 | 2016-05-25 | 国立大学法人浜松医科大学 | Autism diagnosis support system and autism diagnosis support apparatus |
-
2012
- 2012-07-19 JP JP2012160869A patent/JP5983131B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014018484A (en) | 2014-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5983131B2 (en) | Diagnosis support apparatus and diagnosis support method | |
JP6217445B2 (en) | Diagnosis support apparatus and diagnosis support method | |
JP6693105B2 (en) | Eye-gaze detecting device and eye-gaze detecting method | |
WO2014208761A1 (en) | Diagnosis assistance device and diagnosis assistance method | |
WO2015146491A1 (en) | Detection device and detection method | |
JP6201956B2 (en) | Gaze detection device and gaze detection method | |
JP5998863B2 (en) | Gaze detection device and gaze detection method | |
JP6638354B2 (en) | Eye gaze detection device and eye gaze detection method | |
JP2015126857A (en) | Line of sight detection support device and line of sight detection support method | |
JP6245093B2 (en) | Diagnosis support apparatus and diagnosis support method | |
JP5983135B2 (en) | Diagnosis support apparatus and diagnosis support method | |
JP6380178B2 (en) | Diagnosis support apparatus and diagnosis support method | |
JP6142822B2 (en) | Diagnosis support apparatus and diagnosis support method | |
JP6593133B2 (en) | Diagnosis support apparatus and diagnosis support method | |
JP6135550B2 (en) | Diagnosis support apparatus and diagnosis support method | |
JP2015144635A (en) | detection device and detection method | |
JP6019684B2 (en) | Diagnosis support apparatus and diagnosis support method | |
JP6217446B2 (en) | Control device, diagnosis support device, control method, and control program | |
JP5838894B2 (en) | Diagnosis support apparatus and diagnosis support method | |
JP6327171B2 (en) | Gaze point detection device and gaze point detection method | |
JP6187347B2 (en) | Detection apparatus and detection method | |
JP6142825B2 (en) | Diagnosis support apparatus and diagnosis support method | |
JP7052471B2 (en) | Evaluation device, evaluation method and evaluation program | |
JP6003277B2 (en) | Diagnosis support apparatus and diagnosis support method | |
JP2020119583A (en) | Visual line detection device and visual line detection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150331 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160202 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160705 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160718 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5983131 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |