JP5983131B2 - Diagnosis support apparatus and diagnosis support method - Google Patents

Diagnosis support apparatus and diagnosis support method Download PDF

Info

Publication number
JP5983131B2
JP5983131B2 JP2012160869A JP2012160869A JP5983131B2 JP 5983131 B2 JP5983131 B2 JP 5983131B2 JP 2012160869 A JP2012160869 A JP 2012160869A JP 2012160869 A JP2012160869 A JP 2012160869A JP 5983131 B2 JP5983131 B2 JP 5983131B2
Authority
JP
Japan
Prior art keywords
image
unit
evaluation
time
stopped
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012160869A
Other languages
Japanese (ja)
Other versions
JP2014018484A (en
Inventor
首藤 勝行
勝行 首藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2012160869A priority Critical patent/JP5983131B2/en
Publication of JP2014018484A publication Critical patent/JP2014018484A/en
Application granted granted Critical
Publication of JP5983131B2 publication Critical patent/JP5983131B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)

Description

本発明は、診断支援装置および診断支援方法に関する。   The present invention relates to a diagnosis support apparatus and a diagnosis support method.

最近、発達障害者が増加傾向にあると言われている。発達障害は、早期に発見し、療育を開始することで、その症状を軽減し、社会に適応できる効果が高くなることがわかっている。我が国においても、1歳半検診時の問診などによる早期発見を目指している。   Recently, people with developmental disabilities are said to be on the rise. It is known that developmental disabilities are detected early and treatment begins, thereby reducing the symptoms and increasing the effect of adapting to society. In Japan as well, we aim for early detection through interviews at the age of 1 and a half.

発達障害児の特徴として、対面する人物の目を見ない(視線をそらす)ことが挙げられる。また、発達障害児は、人物映像よりも幾何学模様の映像を好むことも知られている(非特許文献1参照)。   One characteristic of children with developmental disabilities is that they do not look at the eyes of the person they face (looks away). It is also known that children with developmental disabilities prefer geometrical images over human images (see Non-Patent Document 1).

対面する人物の画像を見ないという特徴を利用した診断方法として、受診者に人物の顔画像を見せ、その際の受診者の注視点位置に基づいて、発達障害を診断する方法が知られている(例えば、特許文献1参照)。   As a diagnostic method using the feature of not seeing the person's face-to-face image, the person's face image is shown to the examinee, and a method for diagnosing developmental disorders based on the gaze position of the examinee at that time is known (For example, refer to Patent Document 1).

特許文献1に開示されている装置は、受診者が人物の顔画像を見ているときに、受診者の顔をカメラで撮影し、受診者の注視点が顔画像中の目の領域および目以外の領域と一致する時間を計測し、計測結果に基づいて発達障害のスクリーニングを支援する数値を算出するものである。   The apparatus disclosed in Patent Document 1 captures the face of the examinee with a camera when the examinee is looking at the face image of the person, and the gaze point of the examinee is the eye region and the eye in the face image. The time that coincides with other areas is measured, and a numerical value that supports screening for developmental disorders is calculated based on the measurement result.

特開2011−206542号公報JP 2011-206542 A

RCH GEN PSYCHIATRY/VOL 68 (NO.1), JAN 2011 「Preference for Geometric Patterns Early in Life as a Risk Factor for Autism」RCH GEN PSYCHIATRY / VOL 68 (NO.1), JAN 2011 `` Preference for Geometric Patterns Early in Life as a Risk Factor for Autism ''

しかしながら、乳幼児は、動きの少ないものを注視しない傾向にあり、検査において、乳幼児に上述の顔画像のような検査用の画像を注視させるのが困難であるという問題があった。さらに、正確な注視点が得られないことは、診断支援の指標を正確に算出できないことにつながり、高精度な評価を行うことができないという問題があった。   However, infants tend not to gaze at things with little movement, and there is a problem that it is difficult for an infant to gaze at an inspection image such as the face image described above. Furthermore, the fact that an accurate gaze point cannot be obtained leads to an inability to accurately calculate an index for diagnosis support, and there is a problem that a highly accurate evaluation cannot be performed.

本発明は、上記に鑑みてなされたものであって、診断評価の精度を向上させることのできる診断支援装置および診断支援方法を提供することを目的とする。   The present invention has been made in view of the above, and an object thereof is to provide a diagnosis support apparatus and a diagnosis support method capable of improving the accuracy of diagnosis evaluation.

上述した課題を解決し、目的を達成するために、本発明は、発達障害の診断を支援する診断支援装置であって、人物の画像である第1画像と、非人物の画像である第2画像とを同時に表示部に表示し、前記第1画像と前記第2画像を前記表示部内で移動させ、また移動を停止させる表示制御部と、前記第1画像および前記第2画像が表示されているときの、前記診断を受ける受診者の注視点を検出する注視点検出部と、前記注視点が前記第1画像または前記第2画像の領域内に移動または停止している時間に基づく評価値が閾値よりも大きいか否かに基づいて、前記受診者の前記発達障害の程度を評価する評価部とを備えることを特徴とする。 In order to solve the above-described problems and achieve the object, the present invention is a diagnosis support apparatus that supports diagnosis of developmental disorders, and includes a first image that is an image of a person and a second image that is an image of a non-person. A display control unit for simultaneously displaying the image on the display unit, moving the first image and the second image in the display unit, and stopping the movement; and displaying the first image and the second image. And a gaze point detection unit that detects a gaze point of the examinee who receives the diagnosis, and an evaluation value based on a time during which the gaze point is moved or stopped in the area of the first image or the second image And an evaluation unit that evaluates the degree of the developmental disorder of the examinee based on whether or not is greater than a threshold value .

また、本発明は、発達障害の診断を支援する診断支援方法であって、人物の画像である第1画像と、非人物の画像である第2画像とを同時に表示部に表示し、前記第1画像と前記第2画像を前記表示部内で移動させ、また移動を停止させる表示制御ステップと、前記第1画像および前記第2画像が表示されているときの、前記診断を受ける受診者の注視点を検出する注視点検出ステップと、評価部が、前記注視点が前記第1画像または前記第2画像の領域内に移動または停止している時間に基づく評価値が閾値よりも大きいか否かに基づいて、前記受診者の前記発達障害の程度を評価する評価ステップとを含むことを特徴とする。 The present invention is also a diagnosis support method for supporting diagnosis of developmental disorders, wherein a first image that is a human image and a second image that is a non-human image are simultaneously displayed on a display unit, A display control step of moving one image and the second image in the display unit and stopping the movement; and a note of a patient who receives the diagnosis when the first image and the second image are displayed A gazing point detection step for detecting a viewpoint, and the evaluation unit determines whether an evaluation value based on a time during which the gazing point is moved or stopped in the area of the first image or the second image is greater than a threshold value. And an evaluation step for evaluating the degree of the developmental disorder of the examinee.

本発明によれば、注視点の検出精度を向上させ、診断評価の精度を向上させることができるという効果を奏する。   According to the present invention, it is possible to improve the accuracy of detecting a gazing point and improve the accuracy of diagnostic evaluation.

図1は、診断支援装置の概略構成を示す図である。FIG. 1 is a diagram illustrating a schematic configuration of a diagnosis support apparatus. 図2は、診断支援装置の処理に利用される座標系を説明するための図である。FIG. 2 is a diagram for explaining a coordinate system used for processing of the diagnosis support apparatus. 図3は、図1に示す各部の詳細な機能の一例を示すブロック図である。FIG. 3 is a block diagram illustrating an example of detailed functions of each unit illustrated in FIG. 1. 図4は、診断画像を示す図である。FIG. 4 is a diagram showing a diagnostic image. 図5−1は、表示制御部の処理を説明するための図である。FIG. 5A is a diagram for explaining processing of the display control unit. 図5−2は、表示制御部の処理を説明するための図である。FIG. 5-2 is a diagram for explaining processing of the display control unit. 図5−3は、表示制御部の処理を説明するための図である。FIG. 5C is a diagram for explaining processing of the display control unit. 図5−4は、表示制御部の処理を説明するための図である。5-4 is a figure for demonstrating the process of a display control part. 図5−5は、表示制御部の処理を説明するための図である。FIG. 5-5 is a diagram for explaining processing of the display control unit. 図5−6は、表示制御部の処理を説明するための図である。FIGS. 5-6 is a figure for demonstrating the process of a display control part. 図5−7は、表示制御部の処理を説明するための図である。FIGS. 5-7 is a figure for demonstrating the process of a display control part. 図6は、受診者の瞳孔の位置を検出する方法を模式的に示す説明図である。FIG. 6 is an explanatory view schematically showing a method for detecting the position of the pupil of the examinee. 図7は、評価部の処理を説明するための図である。FIG. 7 is a diagram for explaining the processing of the evaluation unit. 図8は、診断支援処理を示すフローチャートである。FIG. 8 is a flowchart showing the diagnosis support process. 図9は、図8に示す評価処理(ステップS135)における詳細な処理を示すフローチャートである。FIG. 9 is a flowchart showing detailed processing in the evaluation processing (step S135) shown in FIG.

以下に添付図面を参照して、診断支援装置および診断支援方法の実施の形態を詳細に説明する。   Embodiments of a diagnosis support apparatus and a diagnosis support method will be described below in detail with reference to the accompanying drawings.

図1は、実施の形態にかかる診断支援装置100の概略構成を示す図である。本実施の形態にかかる診断支援装置100は、医師による発達障害診断の支援の指標となる評価値を得るための検査を行う装置である。   FIG. 1 is a diagram illustrating a schematic configuration of a diagnosis support apparatus 100 according to the embodiment. The diagnosis support apparatus 100 according to the present embodiment is an apparatus that performs a test for obtaining an evaluation value that serves as an index of support for developmental disorder diagnosis by a doctor.

診断支援装置100は、第1表示部101と、第2表示部102と、スピーカ103と、ステレオカメラ110と、赤外LED光源121,122と、駆動・IF部130と、制御部140と、記憶部150とを備えている。   The diagnosis support apparatus 100 includes a first display unit 101, a second display unit 102, a speaker 103, a stereo camera 110, infrared LED light sources 121 and 122, a drive / IF unit 130, a control unit 140, And a storage unit 150.

第1表示部101は、診断を受ける受診者に注視させる画像等を表示する。第2表示部102は、当該診断支援装置100の操作内容や、診断結果などを表示する。第1表示部101および第2表示部102は、例えばモニタ画面である。スピーカ103は、診断結果などを音声出力する。また、スピーカ103は、検査時に受診者に注意を促すための音声を出力する。なお、第2表示部102は備えなくともよく、この場合には、操作内容や、診断結果などは、第1表示部101が表示する。   The 1st display part 101 displays the image etc. which a patient who receives a diagnosis gazes at. The second display unit 102 displays the operation content of the diagnosis support apparatus 100, the diagnosis result, and the like. The first display unit 101 and the second display unit 102 are, for example, monitor screens. The speaker 103 outputs a diagnosis result or the like as a sound. In addition, the speaker 103 outputs a sound for urging the examinee to pay attention during the examination. Note that the second display unit 102 may not be provided, and in this case, the first display unit 101 displays the operation content, the diagnosis result, and the like.

ステレオカメラ110は、受診者から見て第1表示部101の下側に設置されている。ステレオカメラ110は、赤外線によるステレオ撮影が可能な撮像部であり、右カメラ111と左カメラ112の1組のカメラを備えている。以下、右カメラ111と左カメラ112とを、適宜左右カメラ111,112と称する。   The stereo camera 110 is installed below the first display unit 101 when viewed from the examinee. The stereo camera 110 is an imaging unit that can perform stereo shooting with infrared rays, and includes a pair of cameras, a right camera 111 and a left camera 112. Hereinafter, the right camera 111 and the left camera 112 are referred to as left and right cameras 111 and 112, as appropriate.

右カメラ111および左カメラ112の各レンズの周囲には、円周方向に赤外LED(Light Emitting Diode)光源121,122がそれぞれ配置されている。赤外LED光源121,122は、内周のLEDと外周のLEDとを含む。内周のLEDと外周のLEDについては、後述する。   Around each lens of the right camera 111 and the left camera 112, infrared LED (Light Emitting Diode) light sources 121 and 122 are respectively arranged in the circumferential direction. The infrared LED light sources 121 and 122 include an inner peripheral LED and an outer peripheral LED. The inner and outer peripheral LEDs will be described later.

ステレオカメラ110は、受診者の顔を撮像する。ステレオカメラ110は、赤外LED光源121,122から赤外線が照射されているタイミングにおいて、画像を撮像する。すなわち、ステレオカメラ110は、赤外線の反射光の画像を撮像する。   The stereo camera 110 images the face of the examinee. The stereo camera 110 captures an image at a timing when infrared rays are emitted from the infrared LED light sources 121 and 122. That is, the stereo camera 110 captures an image of infrared reflected light.

なお、ステレオカメラ110は、受診者の顔を撮像可能な位置に設置されていればよく、その設置位置は実施の形態に限定されるものではない。また、撮像される画像(以下、撮像画像と称する)は、受診者の瞳孔を含む画像であればよく、瞳孔を含む顔の一部のみを含む画像であってもよく、また顔に加えて、顔以外を含む画像であってもよい。   The stereo camera 110 only needs to be installed at a position where the face of the examinee can be imaged, and the installation position is not limited to the embodiment. Further, the image to be captured (hereinafter referred to as a captured image) may be an image including the pupil of the examinee, may be an image including only a part of the face including the pupil, and in addition to the face An image including other than the face may be used.

駆動・IF部130は、ステレオカメラ110に含まれる各部を駆動する。また、駆動・IF部130は、ステレオカメラ110に含まれる各部と、制御部140とのインタフェースとして機能する。   The drive / IF unit 130 drives each unit included in the stereo camera 110. The drive / IF unit 130 functions as an interface between each unit included in the stereo camera 110 and the control unit 140.

制御部140は、第1表示部101、第2表示部102および駆動・IF部130と接続している。制御部140は、第1表示部101および第2表示部102に表示すべき画像等を制御する。   The control unit 140 is connected to the first display unit 101, the second display unit 102, and the drive / IF unit 130. The control unit 140 controls images to be displayed on the first display unit 101 and the second display unit 102.

制御部140はまた、ステレオカメラ110により得られた撮像画像に基づいて、受診者の注視点を検出し、検出した注視点の位置を較正(キャリブレーション)する。制御部140は、検出された注視点に基づいて、発達障害の診断のための評価値を算出する。   The control unit 140 also detects the gaze point of the examinee based on the captured image obtained by the stereo camera 110, and calibrates the position of the detected gaze point. The control unit 140 calculates an evaluation value for diagnosis of developmental disorder based on the detected gazing point.

記憶部150は、各種情報を記憶する。記憶部150は例えば、第1表示部101に表示する画像等を記憶する。   The storage unit 150 stores various information. For example, the storage unit 150 stores an image to be displayed on the first display unit 101.

図2は、診断支援装置100の処理に利用される座標系を説明するための図である。本実施の形態にかかる第1表示部101は、横方向を長辺とする長方形の画面である。診断支援装置100は、図2に示すような、第1表示部101の画面の中央位置を原点として、上下をY座標(上を+方向とする)、横をX座標(第1表示部101に向かって右を+方向とする)、奥行きをZ座標(第1表示部101の手前を+方向とする)とするXYZ座標系において処理を行う。   FIG. 2 is a diagram for explaining a coordinate system used for processing of the diagnosis support apparatus 100. The first display unit 101 according to the present embodiment is a rectangular screen having a long side in the horizontal direction. As shown in FIG. 2, the diagnosis support apparatus 100 uses the center position of the screen of the first display unit 101 as an origin, the Y coordinate (upward is the + direction), and the horizontal coordinate X (the first display unit 101). The process is performed in an XYZ coordinate system in which the right is the + direction and the depth is the Z coordinate (the front of the first display unit 101 is the + direction).

図3は、図1に示す各部の詳細な機能の一例を示すブロック図である。赤外LED光源121は、内周のLEDである波長1−LED123と、外周のLEDである波長2−LED124とを備えている。赤外LED光源122は、内周のLEDである波長1−LED125と、外周のLEDである波長2−LED126とを備えている。   FIG. 3 is a block diagram illustrating an example of detailed functions of each unit illustrated in FIG. 1. The infrared LED light source 121 includes a wavelength 1-LED 123 that is an inner peripheral LED and a wavelength 2-LED 124 that is an outer peripheral LED. The infrared LED light source 122 includes a wavelength 1-LED 125 that is an inner peripheral LED and a wavelength 2-LED 126 that is an outer peripheral LED.

波長1−LED123,125は、波長1の赤外線を照射する。波長2−LED124,126は、波長2の赤外線を照射する。波長1および波長2は、互いに異なる波長である。波長1および波長2は、それぞれ例えば900nm未満の波長および900nm以上の波長である。900nm未満の波長の赤外線を照射して瞳孔で反射された反射光を撮像すると、900nm以上の波長の赤外線を照射して瞳孔で反射された反射光を撮像した場合に比べて、明るい瞳孔像が得られるためである。   Wavelength 1-LEDs 123 and 125 emit infrared light having a wavelength 1. The wavelength 2-LEDs 124 and 126 emit infrared light having a wavelength 2. Wavelength 1 and wavelength 2 are different from each other. Wavelength 1 and wavelength 2 are, for example, a wavelength of less than 900 nm and a wavelength of 900 nm or more, respectively. When the reflected light reflected by the pupil is irradiated with infrared light having a wavelength of less than 900 nm, a bright pupil image is obtained as compared with the case where reflected light reflected by the pupil is irradiated with infrared light having a wavelength of 900 nm or more. It is because it is obtained.

駆動・IF部130は、カメラIF131,132と、LED駆動制御部133と、スピーカ駆動部134とを備えている。カメラIF131およびカメラIF132は、それぞれ右カメラ111および左カメラ112と接続する。カメラIF131,132は、左右カメラ111,112を駆動する。右カメラ111は、左カメラ112およびLED駆動制御部133にフレーム同期信号を送信する。   The drive / IF unit 130 includes camera IFs 131 and 132, an LED drive control unit 133, and a speaker drive unit 134. The camera IF 131 and the camera IF 132 are connected to the right camera 111 and the left camera 112, respectively. The camera IFs 131 and 132 drive the left and right cameras 111 and 112. The right camera 111 transmits a frame synchronization signal to the left camera 112 and the LED drive control unit 133.

LED駆動制御部133は、波長1−LED123,125および波長2−LED124,126の発光を制御する。具体的には、LED駆動制御部133は、このフレーム同期信号に基づいて、第1フレームで、タイミングをずらして左右の波長1の赤外線光源(波長1−LED123、波長1−LED125)を発光させる。この発光タイミングに対応して、左右カメラ111,112は、画像を撮像する。撮像された画像は、カメラIF131,132を介して制御部140に入力される。   The LED drive control unit 133 controls light emission of the wavelength 1-LEDs 123 and 125 and the wavelength 2 -LEDs 124 and 126. Specifically, the LED drive control unit 133 causes the left and right wavelength 1 infrared light sources (wavelength 1-LED 123, wavelength 1-LED 125) to emit light in the first frame at different timings based on the frame synchronization signal. . Corresponding to this light emission timing, the left and right cameras 111 and 112 capture images. The captured image is input to the control unit 140 via the camera IFs 131 and 132.

同様に、LED駆動制御部133は、第2フレームで、タイミングをずらして左右の波長2の赤外線光源(波長2−LED124、波長2−LED126)を発光させる。この発光タイミングに対応して、左右カメラ111,112は、画像を撮像する。撮像された画像は、カメラIF131,132を介して制御部140に入力される。   Similarly, the LED drive control unit 133 causes the left and right wavelength 2 infrared light sources (wavelength 2-LED 124, wavelength 2-LED 126) to emit light at different timings in the second frame. Corresponding to this light emission timing, the left and right cameras 111 and 112 capture images. The captured image is input to the control unit 140 via the camera IFs 131 and 132.

スピーカ駆動部134は、スピーカ103を駆動する。制御部140は、診断支援装置100全体を制御する。制御部140は、具体的には、表示制御部141と、注視点検出部142と、評価部143とを備えている。   The speaker driving unit 134 drives the speaker 103. The control unit 140 controls the entire diagnosis support apparatus 100. Specifically, the control unit 140 includes a display control unit 141, a gazing point detection unit 142, and an evaluation unit 143.

表示制御部141は、第1表示部101および第2表示部102への各種情報の表示を制御する。表示制御部141は、例えば第1表示部101に診断画像を表示する。診断画像は、診断に用いられる画像であり、具体的には、人物の顔画像と、幾何学模様の画像である幾何学画像とを含んでいる。   The display control unit 141 controls display of various types of information on the first display unit 101 and the second display unit 102. For example, the display control unit 141 displays a diagnostic image on the first display unit 101. The diagnostic image is an image used for diagnosis, and specifically includes a human face image and a geometric image that is an image of a geometric pattern.

なお、顔画像および幾何学画像は、静止画でもよく動画でもよい。また、顔画像は、受診者の母親の撮影画像が好ましいが、これに限定されるものではない。例えば、母親以外の人物の撮影画像であってもよく、また他の例としては、人物のアニメーション画像であってもよい。   The face image and the geometric image may be a still image or a moving image. The face image is preferably a photographed image of the mother of the examinee, but is not limited to this. For example, a photographed image of a person other than the mother may be used, and as another example, an animation image of a person may be used.

また、本実施の形態においては、発達障害児が人物に比べてより好む画像として、幾何学画像を用いることとしているが、人物の顔画像とともに表示させる画像は、発達障害児が人物の顔画像に比べてより好む画像であればよく、幾何学画像に限定されるものではない。   In this embodiment, a geometric image is used as an image that a child with developmental disabilities prefers compared to a person. However, an image displayed together with a face image of a person is a face image of a person with a developmental disability. As long as the image is more preferable than the image, it is not limited to a geometric image.

図4は、診断画像200を示す図である。図4に示すように、診断画像200は、顔画像210と幾何学画像220とを含んでいる。表示制御部141は、診断画像200中の、顔画像210と幾何学画像220を時間の経過とともに所定の方向に所定量だけ移動させた後に移動を停止し、停止後一定時間が経過すると再び顔画像210と幾何学画像220を移動させるという処理を繰り返す。   FIG. 4 is a diagram showing a diagnostic image 200. As shown in FIG. 4, the diagnostic image 200 includes a face image 210 and a geometric image 220. The display control unit 141 stops the movement after moving the face image 210 and the geometric image 220 in the diagnostic image 200 by a predetermined amount in a predetermined direction with the passage of time. The process of moving the image 210 and the geometric image 220 is repeated.

図5−1〜図5−7は、表示制御部141の処理を説明するための図である。図5−1は、診断開始時の第1表示部101を示している。表示制御部141は、図5−1に示すように、第1表示部101の中央に円形画像230を表示する。このように、第1表示部101の中央に円形の画像を表示することにより、検査開始時等に受診者の注視点を、第1表示部101の中央に向けることができる。   FIGS. 5-1 to 5-7 are diagrams for explaining the processing of the display control unit 141. FIG. 5A illustrates the first display unit 101 at the start of diagnosis. The display control unit 141 displays a circular image 230 at the center of the first display unit 101 as illustrated in FIG. In this way, by displaying a circular image at the center of the first display unit 101, the gaze point of the examinee can be directed to the center of the first display unit 101 at the start of the examination.

続いて、表示制御部141は、図5−2に示すように、第1表示部101の中央の円形画像230を消去し、顔画像210を徐々に拡大しながら、第1表示部101の中央から左側の領域に移動させる。さらに、表示制御部141は、顔画像210の移動と同時に、幾何学画像220を徐々に拡大しながら、第1表示部101の中央から右側の領域に移動させる。   Subsequently, as shown in FIG. 5B, the display control unit 141 erases the circular image 230 at the center of the first display unit 101 and gradually enlarges the face image 210 while the center of the first display unit 101 is displayed. To the left area. Further, the display control unit 141 moves the geometric image 220 from the center of the first display unit 101 to the right region while gradually expanding the geometric image 220 simultaneously with the movement of the face image 210.

続いて、表示制御部141は、図5−3に示すように、顔画像210が左領域301に到達すると、顔画像210の移動を停止する。これにより、顔画像210は左領域301に停止した状態で表示される。表示制御部141は、顔画像210が左領域301に到達するのと同時に、幾何学画像220を第1表示部101の右領域302に到達させ、幾何学画像220の移動を停止する。これにより、幾何学画像220は右領域302に停止した状態で表示される。   Subsequently, as illustrated in FIG. 5C, the display control unit 141 stops the movement of the face image 210 when the face image 210 reaches the left region 301. Thereby, the face image 210 is displayed in the left area 301 in a stopped state. The display control unit 141 causes the geometric image 220 to reach the right region 302 of the first display unit 101 at the same time when the face image 210 reaches the left region 301 and stops the movement of the geometric image 220. As a result, the geometric image 220 is displayed in a stopped state in the right region 302.

続いて、表示制御部141は、図5−4に示すように、顔画像210および幾何学画像220を、同じ速度で同一経路を移動させる。なお、本実施の形態においては、顔画像210および幾何学画像220は、第1表示部101に向かって右回りに円周方向に移動する。   Subsequently, as shown in FIG. 5-4, the display control unit 141 moves the face image 210 and the geometric image 220 along the same route at the same speed. In the present embodiment, the face image 210 and the geometric image 220 move clockwise in the circumferential direction toward the first display unit 101.

続いて、表示制御部141は、図5−5に示すように、顔画像210および幾何学画像220がそれぞれ第1表示部101の上領域303および下領域304に同時に到達すると、顔画像210および幾何学画像220の移動を停止する。これにより、顔画像210および幾何学画像220は、それぞれ停止した状態で上領域303および下領域304に表示される。   Subsequently, when the face image 210 and the geometric image 220 reach the upper region 303 and the lower region 304 of the first display unit 101, respectively, as shown in FIG. The movement of the geometric image 220 is stopped. Thereby, the face image 210 and the geometric image 220 are displayed in the upper area 303 and the lower area 304 in a stopped state, respectively.

さらに、表示制御部141は、図5−6に示すように、顔画像210および幾何学画像220を同じ速度で右回りに円周方向に移動させる。   Further, as shown in FIG. 5-6, the display control unit 141 moves the face image 210 and the geometric image 220 in the circumferential direction clockwise at the same speed.

続いて、表示制御部141は、図5−7に示すように、顔画像210および幾何学画像220がそれぞれ第1表示部101の右領域302および左領域301に同時に到達すると、それぞれの移動を停止し、右領域302および左領域301にそれぞれ顔画像210および幾何学画像220を表示する。   Subsequently, as shown in FIG. 5-7, when the face image 210 and the geometric image 220 reach the right region 302 and the left region 301 of the first display unit 101 at the same time, the display control unit 141 moves the respective movements. The face image 210 and the geometric image 220 are displayed in the right area 302 and the left area 301, respectively.

表示制御部141は、さらに図5−1〜図5−7を参照しつつ説明した一連の映像に続き、顔画像210と幾何学画像220の位置が図5−1〜図5−7と左右逆になり、逆方向に移動する一連の映像を第1表示部101に表示する。   The display control unit 141 further follows the series of images described with reference to FIGS. 5-1 to 5-7, and the positions of the face image 210 and the geometric image 220 are the left and right of FIGS. 5-1 to 5-7. A series of images that are reversed and move in the opposite direction are displayed on the first display unit 101.

なお、顔画像210および幾何学画像220の移動経路、停止位置および移動速度は、予め設計者等により設定される。なお、各停止位置は、任意に設定することができる。また、顔画像210および幾何学画像220の移動経路は、実施の形態に限定されるものではなく、円周方向に沿って移動させるのにかえて、例えば、第1表示部101の外枠に沿って、長方形の辺に沿った方向に移動させてもよい。なお、顔画像210と幾何学画像220の移動経路および移動速度は、同様にするのが好ましい。   Note that the movement path, stop position, and movement speed of the face image 210 and the geometric image 220 are set in advance by a designer or the like. Each stop position can be arbitrarily set. Further, the movement paths of the face image 210 and the geometric image 220 are not limited to the embodiment, and instead of moving along the circumferential direction, for example, on the outer frame of the first display unit 101. And may be moved in a direction along the side of the rectangle. It is preferable that the movement path and the movement speed of the face image 210 and the geometric image 220 are the same.

また、本実施の形態においては、表示制御部141が、顔画像210と幾何学画像220の表示位置を制御することとしたが、他の例としては、表示制御部141の制御により実現される映像を予め、記憶部150等に記憶しておき、表示制御部141は、この映像を再生することとしてもよい。   In the present embodiment, the display control unit 141 controls the display positions of the face image 210 and the geometric image 220. However, as another example, the display control unit 141 is realized by the control of the display control unit 141. The video may be stored in advance in the storage unit 150 or the like, and the display control unit 141 may reproduce this video.

図3に戻り、注視点検出部142は、ステレオカメラ110により撮像された画像に基づいて、受診者の注視点を検出する。これにより、受診者が診断画像200中のいずれの領域を注視しているかを特定することができる。   Returning to FIG. 3, the gaze point detection unit 142 detects the gaze point of the examinee based on the image captured by the stereo camera 110. Thereby, it is possible to identify which region in the diagnostic image 200 the patient is gazing at.

注視点検出部142による注視点検出方法としては、従来から用いられているあらゆる方法を適用できる。以下では、特開2005−198743号公報に記載された技術と同様に、ステレオカメラを用いて被験者の視点を検出する場合を例に説明する。   As a gazing point detection method by the gazing point detection unit 142, any conventionally used method can be applied. Below, the case where a test subject's viewpoint is detected using a stereo camera is demonstrated to an example similarly to the technique described in Unexamined-Japanese-Patent No. 2005-198743.

注視点検出部142は、ステレオカメラ110で撮影された画像から、受診者の視線方向を検出する。注視点検出部142は、例えば、特開2011−206542号公報および特開2008−125619号公報に記載された方法を用いて、受診者の視線方向を検出する。具体的には、注視点検出部142は、波長1の赤外線を照射して撮影した画像と、波長2の赤外線を照射して撮影した画像との差分を求め、瞳孔像が明確化された画像を生成する。注視点検出部142は、左右カメラ111,112で撮影された画像それぞれから上記のように生成された2つの画像を用いて、ステレオ視の手法により受診者の瞳孔の位置を算出する。また、注視点検出部142は、左右カメラ111,112で撮影された画像を用いて受診者の角膜反射の位置を算出する。そして、左右カメラ111,112は、被験者の瞳孔の位置と角膜反射位置とから、受診者の視線方向を表す視線ベクトルを算出する。   The gazing point detection unit 142 detects the line-of-sight direction of the examinee from the image captured by the stereo camera 110. The gaze point detection unit 142 detects the line-of-sight direction of the examinee using, for example, the methods described in JP2011-206542A and JP2008-125619A. Specifically, the gazing point detection unit 142 obtains a difference between an image captured by irradiating infrared light having a wavelength 1 and an image captured by irradiating infrared light having a wavelength 2, and an image in which a pupil image is clarified. Is generated. The gazing point detection unit 142 calculates the position of the examinee's pupil by the stereo vision technique using the two images generated as described above from the images captured by the left and right cameras 111 and 112, respectively. In addition, the gazing point detection unit 142 calculates the position of the corneal reflection of the examinee using the images taken by the left and right cameras 111 and 112. Then, the left and right cameras 111 and 112 calculate a line-of-sight vector representing the line-of-sight direction of the examinee from the position of the pupil of the subject and the corneal reflection position.

注視点検出部142は、例えば図2のような座標系で表される視線ベクトルとXY平面との交点を、受診者の注視点として検出する。両目の視線方向が得られた場合は、受診者の左右の視線の交点を求めることによって注視点を計測してもよい。   The gazing point detection unit 142 detects, for example, an intersection point between the line-of-sight vector represented in the coordinate system as illustrated in FIG. 2 and the XY plane as the gazing point of the examinee. When the gaze direction of both eyes is obtained, the gaze point may be measured by obtaining the intersection of the left and right gazes of the examinee.

なお、受診者の注視点の検出方法はこれに限られるものではない。例えば、赤外線ではなく、可視光を用いて撮影した画像を解析することにより、受診者の注視点を検出してもよい。   Note that the method of detecting the gaze point of the examinee is not limited to this. For example, the gaze point of the examinee may be detected by analyzing an image captured using visible light instead of infrared rays.

図6は、受診者の瞳孔の位置を検出する方法を模式的に示す説明図である。注視点検出部142は、右カメラ111で検出した瞳孔の位置と角膜反射の位置関係とから、右カメラ111から見た受診者の視線の方向を算出する。また、注視点検出部142は、左カメラ112で検出した瞳孔の位置と角膜反射の位置関係とから、左カメラ112から見た受診者の視線の方向を算出する。そして、注視点検出部142は、求められた2つの視線の方向の交点から、図2に示すXY座標系における、受診者の注視点の位置を算出する。   FIG. 6 is an explanatory view schematically showing a method for detecting the position of the pupil of the examinee. The gaze point detection unit 142 calculates the direction of the line of sight of the examinee viewed from the right camera 111 from the position of the pupil detected by the right camera 111 and the positional relationship of corneal reflection. The gazing point detection unit 142 calculates the direction of the line of sight of the examinee as viewed from the left camera 112 from the position of the pupil detected by the left camera 112 and the positional relationship of corneal reflection. Then, the gaze point detection unit 142 calculates the position of the gaze point of the examinee in the XY coordinate system illustrated in FIG. 2 from the intersection of the obtained two line-of-sight directions.

図3に戻り、評価部143は、表示制御部141により診断画像200が表示されている間に検出された受診者の注視点の位置に基づいて、発達障害の診断支援の指標となる評価値を算出する。より詳しくは、評価部143は、診断画像200中の顔画像210および幾何学画像220の移動が停止している間に検出された注視点の位置に基づいて、評価値を算出する。   Returning to FIG. 3, the evaluation unit 143 is an evaluation value that serves as an index for supporting diagnosis of developmental disability based on the position of the gaze point of the examinee detected while the diagnostic image 200 is displayed by the display control unit 141. Is calculated. More specifically, the evaluation unit 143 calculates an evaluation value based on the position of the gazing point detected while the movement of the face image 210 and the geometric image 220 in the diagnostic image 200 is stopped.

図7は、評価部143の処理を説明するための図である。図7に示すように、顔画像210を中心とする領域であるFエリア211と、幾何学画像220を中心とする領域であるPエリア221とを定める。そして、評価部143は、Fエリア211内の注視点が検出された場合に、顔画像210に対する注視点が検出されたと判断する。評価部143はまた、Pエリア221内の注視点が検出された場合に、幾何学画像220に対する注視点が検出されたと判断する。   FIG. 7 is a diagram for explaining the processing of the evaluation unit 143. As shown in FIG. 7, an F area 211 that is an area centered on the face image 210 and a P area 221 that is an area centered on the geometric image 220 are defined. Then, when the gazing point in the F area 211 is detected, the evaluation unit 143 determines that the gazing point with respect to the face image 210 has been detected. The evaluation unit 143 also determines that a gazing point with respect to the geometric image 220 has been detected when a gazing point in the P area 221 is detected.

評価部143はさらに、表示制御部141が顔画像210と幾何学画像220が移動を停止した移動停止時点から、受診者の注視点が顔画像210のFエリア211内または幾何学画像220のPエリア221内に到達する到達時点までの時間(以下、到達時間と称する)を計測する。なお、到達時点は、注視点検出部142がFエリア211内またはPエリア221内の注視点を検出する時点である。ここで、到達時間は、移動停止時点から到達時点までの時間であり、第2の時間に相当する。顔画像210と幾何学画像220が移動している間、受診者は、自身の好みに合わせて、顔画像210または幾何学画像220のいずれかの画像に追従して注視点を移動させる。到達時間は、この移動停止時点から、移動停止に対応して受診者の注視点の位置がいずれかの画像のエリアに到達するまでの時間である。   The evaluation unit 143 further determines that the gaze point of the examinee is within the F area 211 of the face image 210 or P of the geometric image 220 from the time when the display control unit 141 stops moving the face image 210 and the geometric image 220. The time (hereinafter referred to as arrival time) until the arrival time point in the area 221 is measured. The arrival time point is a time point when the gazing point detection unit 142 detects a gazing point in the F area 211 or the P area 221. Here, the arrival time is the time from the movement stop time to the arrival time, and corresponds to the second time. While the face image 210 and the geometric image 220 are moving, the examinee moves the point of sight following either the face image 210 or the geometric image 220 according to his / her preference. The arrival time is the time from when the movement is stopped until the position of the gaze point of the examinee reaches one of the image areas corresponding to the movement stop.

評価部143はまた、到達時点から受診者の注視点が顔画像210のFエリア211内または幾何学画像220のPエリア221内に停留する停留時間を計測する。すなわち、停留時間は、注視点検出部142が継続してFエリア211内またはPエリア221内の注視点を検出する時間である。ここで、停留時間は、到達時点から継続してFエリア211内またはPエリア221内の注視点が検出される時間であり、第1の時間に相当する。   The evaluation unit 143 also measures a stop time during which the gaze point of the examinee stops in the F area 211 of the face image 210 or the P area 221 of the geometric image 220 from the time of arrival. That is, the stop time is a time for the gazing point detection unit 142 to continuously detect the gazing point in the F area 211 or the P area 221. Here, the stop time is a time during which the gazing point in the F area 211 or the P area 221 is detected continuously from the time of arrival, and corresponds to the first time.

すなわち、評価部143は、表示制御部141により診断画像が表示されている間、顔画像210に対する到達時間と停留時間を計測し、かつ幾何学画像220に対する到達時間と停留時間を計測する。なお、第1表示部101に1秒間に所定フレーム数(例えば30フレーム)が表示される場合には、評価部143は、フレーム数に基づいて、到達時間と停留時間を計測する。   That is, the evaluation unit 143 measures the arrival time and the retention time for the face image 210 and the arrival time and the retention time for the geometric image 220 while the diagnostic image is displayed by the display control unit 141. When a predetermined number of frames (for example, 30 frames) is displayed per second on the first display unit 101, the evaluation unit 143 measures the arrival time and the stop time based on the number of frames.

図8は、診断支援装置100による診断支援処理を示すフローチャートである。なお、診断支援処理に先立ち、個別のキャリブレーションは完了しているものとする。診断支援処理においては、まず、評価部143は、変数nに1をセットする(ステップS101)。次に、評価部143は、変数nが1か否かを確認する(ステップS102)。変数nが1である場合には(ステップS102,Yes)、表示制御部141は、図5−1に示すような円形画像230を第1表示部101の中心に表示する(ステップS103)。この円形画像230がアイキャッチ画像となる。   FIG. 8 is a flowchart illustrating a diagnosis support process performed by the diagnosis support apparatus 100. It is assumed that individual calibration has been completed prior to the diagnosis support process. In the diagnosis support process, first, the evaluation unit 143 sets 1 to the variable n (step S101). Next, the evaluation unit 143 checks whether or not the variable n is 1 (step S102). When the variable n is 1 (step S102, Yes), the display control unit 141 displays a circular image 230 as shown in FIG. 5A at the center of the first display unit 101 (step S103). This circular image 230 becomes an eye catch image.

次に、図5−2および図5−3に示すように、表示制御部141は、顔画像210を拡大しながら第1表示部101の左側に移動させ、左領域301に停止させる。表示制御部141はさらに、顔画像210の移動と同時に、幾何学画像220を拡大しながら第1表示部101の右側に移動させ、顔画像210の停止と同時に幾何学画像220を右領域302に停止させる。さらに、評価部143は、到達計測のための計測時計をリセットする(ステップS104)。   Next, as illustrated in FIGS. 5-2 and 5-3, the display control unit 141 moves the face image 210 to the left side of the first display unit 101 while enlarging the face image 210, and stops the left region 301. The display control unit 141 further moves the geometric image 220 to the right side of the first display unit 101 while enlarging the geometric image 220 simultaneously with the movement of the face image 210, and simultaneously moves the geometric image 220 to the right region 302 when the facial image 210 stops. Stop. Furthermore, the evaluation unit 143 resets a measurement clock for arrival measurement (step S104).

次に、スピーカ103は、音声を出力する(ステップS105)。スピーカ103は、例えば、「おはよう」など、呼びかけるような言葉を出力する。スピーカ103による音声出力は、顔画像210に同期したものである。スピーカ103は、顔画像210が映像である場合には、口の動きに合わせて音声を出力する。   Next, the speaker 103 outputs sound (step S105). The speaker 103 outputs words that call out, such as “Good morning”. The sound output from the speaker 103 is synchronized with the face image 210. When the face image 210 is a video, the speaker 103 outputs sound in accordance with the movement of the mouth.

次に、顔画像210および幾何学画像220がそれぞれ左領域301および右領域302に停止すると、注視点検出部142は、受診者の注視点の位置を検出し、評価部143は、注視点位置に基づいて、Fエリア211に対する到達時間t1Fと、Pエリア221に対する到達時間t1Pとを計測する(ステップS106)。   Next, when the face image 210 and the geometric image 220 stop in the left region 301 and the right region 302, respectively, the gaze point detection unit 142 detects the position of the gaze point of the examinee, and the evaluation unit 143 Based on the above, the arrival time t1F for the F area 211 and the arrival time t1P for the P area 221 are measured (step S106).

さらに、顔画像210および幾何学画像220の移動が停止した後所定時間が経過すると、評価部143はさらに、Fエリア211に対する停留時間T1Fと、Pエリア221に対する停留時間T1Pとを計測する(ステップS107)。   Further, when a predetermined time has elapsed after the movement of the face image 210 and the geometric image 220 is stopped, the evaluation unit 143 further measures a stop time T1F for the F area 211 and a stop time T1P for the P area 221 (step S1). S107).

次に、表示制御部141は、図5−4および図5−5に示すように、顔画像210および幾何学画像220を右回りに回転移動させ(ステップS108)、顔画像210および幾何学画像220がそれぞれ上領域303および下領域304に到達すると、移動を停止させる。さらに、評価部143は、計測時計をリセットする(ステップS109)。そして、ステップS105と同様にスピーカ103は、音声を出力する(ステップS110)。   Next, as shown in FIGS. 5-4 and 5-5, the display control unit 141 rotates and moves the face image 210 and the geometric image 220 clockwise (step S108). When 220 reaches the upper area 303 and the lower area 304, the movement is stopped. Furthermore, the evaluation unit 143 resets the measurement clock (step S109). Then, as in step S105, the speaker 103 outputs sound (step S110).

次に、評価部143は、上領域303に停止した顔画像210のFエリア211に対する到達時間t2Fと、下領域304に停止した幾何学画像220のPエリア221に対する到達時間t2Pとを計測する(ステップS111)。次に、評価部143は、上領域303に停止した顔画像210のFエリア211に対する停留時間T2Fと、下領域304に停止した幾何学画像220のPエリア221に対する停留時間T2Pとを計測する(ステップS112)。   Next, the evaluation unit 143 measures the arrival time t2F for the F area 211 of the face image 210 stopped in the upper region 303 and the arrival time t2P for the P area 221 of the geometric image 220 stopped in the lower region 304 ( Step S111). Next, the evaluation unit 143 measures a retention time T2F for the F area 211 of the face image 210 stopped in the upper region 303 and a retention time T2P for the P area 221 of the geometric image 220 stopped in the lower region 304 ( Step S112).

ステップS113〜ステップS117において、ステップS108〜ステップS112と同様の処理により、評価部143は、図5−7に示すように、右領域302に停止した顔画像210のFエリア211に対する到達時間t3Fと、左領域301に停止した幾何学画像220のPエリア221に対する到達時間t3Pを計測し、さらに、右領域302に停止した顔画像210のFエリア211に対する停留時間T3F、左領域301に停止した幾何学画像220のPエリア221に対する停留時間T3Pを計測する。   In steps S113 to S117, by the same processing as in steps S108 to S112, the evaluation unit 143 determines the arrival time t3F for the F area 211 of the face image 210 stopped in the right region 302 as shown in FIG. The arrival time t3P of the geometric image 220 stopped in the left area 301 with respect to the P area 221 is measured, and further, the stopping time T3F for the F area 211 of the face image 210 stopped in the right area 302 and the geometry stopped in the left area 301. The stopping time T3P for the P area 221 of the academic image 220 is measured.

次に、評価部143は、変数nが1か否かを確認する(ステップS118)。変数nが1である場合には(ステップS118,Yes)、変数nに2をセットし(ステップS119)、ステップS102に戻る。   Next, the evaluation unit 143 checks whether or not the variable n is 1 (step S118). When the variable n is 1 (step S118, Yes), 2 is set to the variable n (step S119), and the process returns to step S102.

ステップS102において、変数nが1でない場合には(ステップS102,No)、ステップS120へ進む。なお、ステップS103〜ステップS117の処理の完了後に、変数nが2となり、ステップS120に進む。   In step S102, when the variable n is not 1 (No in step S102), the process proceeds to step S120. Note that the variable n becomes 2 after the completion of the processing of step S103 to step S117, and the process proceeds to step S120.

ステップS120〜ステップS134においては、顔画像210と幾何学画像220を、ステップS103〜ステップS117と逆方向に移動させつつ、各停止位置におけるFエリア211およびPエリア221の到達時間と、各停止位置におけるFエリア211およびPエリア221の停留時間を計測する。   In steps S120 to S134, the face image 210 and the geometric image 220 are moved in the opposite direction to steps S103 to S117, and the arrival times of the F area 211 and the P area 221 at the respective stop positions, and the respective stop positions. The stop time of the F area 211 and the P area 221 is measured.

すなわち、まずステップS120において、表示制御部141は、ステップS103と同様に、図5−1に示すような円形画像230を第1表示部101に表示する(ステップS120)。   That is, first, in step S120, the display control unit 141 displays a circular image 230 as shown in FIG. 5A on the first display unit 101 as in step S103 (step S120).

次に、表示制御部141は、顔画像210を拡大しながら第1表示部101の右側に移動させ、右領域302に停止させる。表示制御部141はさらに、顔画像210の移動と同時に、幾何学画像220を拡大しながら第1表示部101の左側に移動させ、顔画像210の停止と同時に幾何学画像220を左領域301に停止させる。さらに、評価部143は、到達計測のための計測時計をリセットする(ステップS121)。   Next, the display control unit 141 moves the face image 210 to the right side of the first display unit 101 while enlarging the face image 210, and stops it in the right region 302. The display control unit 141 further moves the geometric image 220 to the left side of the first display unit 101 while enlarging the geometric image 220 simultaneously with the movement of the face image 210, and simultaneously moves the geometric image 220 to the left region 301 when the facial image 210 stops. Stop. Further, the evaluation unit 143 resets a measurement clock for arrival measurement (step S121).

次に、スピーカ103は、音声を出力する(ステップS122)。次に、評価部143は、右領域302に停止した顔画像210のFエリア211に対する到達時間t4Fと、左領域301に停止した幾何学画像220のPエリア221に対する到達時間t4Pとを計測する(ステップS123)。   Next, the speaker 103 outputs sound (step S122). Next, the evaluation unit 143 measures an arrival time t4F for the F area 211 of the face image 210 stopped in the right region 302 and an arrival time t4P for the P area 221 of the geometric image 220 stopped in the left region 301 ( Step S123).

次に、評価部143は、右領域302に停止した顔画像210のFエリア211に対する停留時間T4Fと、左領域301に停止した幾何学画像220のPエリア221に対する停留時間T4Pとを計測する(ステップS124)。   Next, the evaluation unit 143 measures a retention time T4F for the F area 211 of the face image 210 stopped in the right region 302 and a retention time T4P for the P area 221 of the geometric image 220 stopped in the left region 301 ( Step S124).

次に、表示制御部141は、顔画像210および幾何学画像220を左回りに回転移動させ(ステップS125)、顔画像210および幾何学画像220がそれぞれ下領域304および上領域303に到達すると、移動を停止させる。さらに、評価部143は、計測時計をリセットする(ステップS126)。   Next, the display control unit 141 rotates and moves the face image 210 and the geometric image 220 counterclockwise (step S125), and when the face image 210 and the geometric image 220 reach the lower region 304 and the upper region 303, respectively. Stop moving. Furthermore, the evaluation unit 143 resets the measurement clock (step S126).

ステップS127〜ステップS134においては、ステップS122〜ステップS126と同様の処理により、評価部143は、下領域304に停止した顔画像210のFエリア211に対する到達時間t5Fと、上領域303に停止した幾何学画像220のPエリア221に対する到達時間t5Pを計測し、さらに下領域304に停止した顔画像210のFエリア211に対する停留時間T5Fと、上領域303に停止した幾何学画像220のPエリア221に対する停留時間T5Pを計測する。   In steps S127 to S134, the evaluation unit 143 performs the same processing as in steps S122 to S126, so that the evaluation unit 143 reaches the arrival time t5F for the F area 211 of the face image 210 stopped in the lower region 304 and the geometry stopped in the upper region 303. The arrival time t5P with respect to the P area 221 of the academic image 220 is measured, and further, the stop time T5F with respect to the F area 211 of the face image 210 stopped in the lower area 304 and the P area 221 of the geometric image 220 stopped in the upper area 303 The stop time T5P is measured.

続いて、評価部143は、右領域302に停止した顔画像210のFエリア211に対する到達時間t6Fと、左領域301に停止した幾何学画像220のPエリア221に対する到達時間t6Pを計測し、さらに、右領域302に停止した顔画像210のFエリア211に対する停留時間T6Fと、左領域301に停止した幾何学画像220のPエリア221に対する停留時間T6Pを計測する。   Subsequently, the evaluation unit 143 measures the arrival time t6F for the F area 211 of the face image 210 stopped in the right region 302 and the arrival time t6P for the P area 221 of the geometric image 220 stopped in the left region 301. Then, the stop time T6F for the F area 211 of the face image 210 stopped in the right region 302 and the stop time T6P for the P area 221 of the geometric image 220 stopped in the left region 301 are measured.

ステップS118において、変数nが1でない場合、すなわち、変数nが2である場合には(ステップS118,No)、評価部143は、発達障害の指標となる評価値を算出し、評価値に基づいて、発達障害の可能性を評価する(ステップS135)。以上で、診断支援装置100による診断支援処理が完了する。   If the variable n is not 1 in step S118, that is, if the variable n is 2 (No in step S118), the evaluation unit 143 calculates an evaluation value that serves as an index of developmental disability, and based on the evaluation value Then, the possibility of developmental disorder is evaluated (step S135). Thus, the diagnosis support process by the diagnosis support apparatus 100 is completed.

図9は、図8に示す評価処理(ステップS135)における詳細な処理を示すフローチャートである。評価処理(ステップS135)において、評価部143は、まず(式1)により顔画像210に対応するFエリア211に対する停留時間の合計(TF)を計算する(ステップS201)。
TF=T1F+T2F+T3F+T4F+T5F+T6F …(式1)
FIG. 9 is a flowchart showing detailed processing in the evaluation processing (step S135) shown in FIG. In the evaluation process (step S135), the evaluation unit 143 first calculates the total stop time (TF) for the F area 211 corresponding to the face image 210 using (Equation 1) (step S201).
TF = T1F + T2F + T3F + T4F + T5F + T6F (Formula 1)

次に、評価部143は、(式2)により幾何学画像220に対応するPエリア221に対する停留時間の合計(TP)を計算する(ステップS202)。
TP=T1P+T2P+T3P+T4P+T5P+T6P …(式2)
Next, the evaluation unit 143 calculates the total stop time (TP) for the P area 221 corresponding to the geometric image 220 using (Equation 2) (step S202).
TP = T1P + T2P + T3P + T4P + T5P + T6P (Formula 2)

次に、評価部143は、(式3)によりFエリア211に対する到達時間の合計(tF)を計算する(ステップS203)。
tF=t1F+t2F+t3F+t4F+t5F+t6F …(式3)
Next, the evaluation unit 143 calculates the total arrival time (tF) for the F area 211 using (Equation 3) (step S203).
tF = t1F + t2F + t3F + t4F + t5F + t6F (Formula 3)

次に、評価部143は、(式4)によりPエリア221に対する到達時間の合計(tP)を計算する(ステップS204)。
tP=t1P+t2P+t3P+t4P+t5P+t6P …(式4)
Next, the evaluation unit 143 calculates the total arrival time (tP) for the P area 221 using (Equation 4) (step S204).
tP = t1P + t2P + t3P + t4P + t5P + t6P (Formula 4)

次に、評価部143は、(式5)により評価値Aを算出する(ステップS205)。
A=TP−TF+k(tF−tP) …(式5)
ここで、kは、停留時間と到達時間の重み付けを行う所定値の係数である。
Next, the evaluation unit 143 calculates the evaluation value A using (Equation 5) (step S205).
A = TP−TF + k (tF−tP) (Formula 5)
Here, k is a coefficient of a predetermined value that weights the stop time and the arrival time.

次に、評価部143は、評価値Aと閾値Kとを比較する(ステップS206)。AがKより大きい場合には(ステップS206,Yes)、評価部143は、発達障害の可能性が高いと判断する(ステップS207)。AがK以下である場合には(ステップS206,No)、評価部143は、発達障害の可能性が低いと判断する(ステップS208)。以上で、評価処理(ステップS135)が完了する。   Next, the evaluation unit 143 compares the evaluation value A with the threshold value K (step S206). When A is larger than K (step S206, Yes), the evaluation unit 143 determines that the possibility of developmental disorder is high (step S207). When A is K or less (step S206, No), the evaluation unit 143 determines that the possibility of developmental disorder is low (step S208). Thus, the evaluation process (step S135) is completed.

受診者に顔画像210と幾何学画像220とを見せた場合に、健常者は、顔画像210を見続ける傾向が高いのに対し、発達障害の可能性のある人物の場合には、幾何学画像220を見る傾向が高いことがわかっている。そこで、本実施の形態にかかる診断支援装置100においては、第1表示部101に顔画像210と幾何学画像220とを同時に表示し、受診者がいずれの画像を見るかにより発達障害の診断支援を行うこととした。   When the face image 210 and the geometric image 220 are shown to the examinee, the healthy person tends to continue to look at the face image 210, whereas in the case of a person with a developmental disorder, the geometrical It is known that the tendency to see the image 220 is high. Therefore, in the diagnosis support apparatus 100 according to the present embodiment, the face image 210 and the geometric image 220 are simultaneously displayed on the first display unit 101, and the diagnosis support for the developmental disorder depends on which image the examinee sees. It was decided to do.

さらに、特に乳幼児においては、動きの少ないものを注視しない傾向にあることから、本実施の形態にかかる診断支援装置100においては、第1表示部101に表示される顔画像210と幾何学画像220を適宜移動させることにより、受診者が顔画像210または幾何学画像220を注視するように誘導することとした。   Further, particularly in infants and young children, since there is a tendency not to gaze at things with little movement, in the diagnosis support apparatus 100 according to the present embodiment, the face image 210 and the geometric image 220 displayed on the first display unit 101. The examinee is guided to gaze at the face image 210 or the geometric image 220 by appropriately moving.

これにより、受診者は顔画像210または幾何学画像220をしっかり注視するようになるので、本実施の形態にかかる診断支援装置100においては、正確な注視点位置を特定することができ、したがって高精度な診断評価を行うことができる。   As a result, the examinee can pay close attention to the face image 210 or the geometric image 220. Therefore, in the diagnosis support apparatus 100 according to the present embodiment, an accurate gazing point position can be specified. Accurate diagnostic evaluation can be performed.

さらに、本実施の形態にかかる診断支援装置100においては、評価部143による到達時間および停留時間の計測のための注視点検出の前に、音声を出力することとした。健常者の場合には、診断支援処理における音声出力のように、人物の顔に同期して音声が出力された場合には、音声につられて顔画像210を見る傾向が高い。これに対し、発達障害の可能性のある人物の場合には、このように音声が出力された場合であっても、幾何学画像220を見る傾向が高い。したがって、本実施の形態にかかる診断支援処理のように、注視点を検出する前に音声を出力することにより、より精度よく診断評価を行うことができる。   Furthermore, in the diagnosis support apparatus 100 according to the present embodiment, the voice is output before the gaze point detection for the arrival time and the stop time measurement by the evaluation unit 143. In the case of a healthy person, when the sound is output in synchronization with the face of a person, as in the case of sound output in the diagnosis support process, there is a high tendency to see the face image 210 along with the sound. On the other hand, in the case of a person who has a possibility of developmental disorder, there is a high tendency to see the geometric image 220 even when the sound is output in this way. Therefore, as in the diagnosis support processing according to the present embodiment, the diagnosis evaluation can be performed with higher accuracy by outputting the sound before detecting the gazing point.

以上、本発明を実施の形態を用いて説明したが、上記実施の形態に多様な変更または改良を加えることができる。   As described above, the present invention has been described using the embodiment, but various changes or improvements can be added to the above embodiment.

100 診断支援装置
101 第1表示部
103 スピーカ
110 ステレオカメラ
121,122 赤外LED光源
140 制御部
141 表示制御部
142 注視点検出部
143 評価部
DESCRIPTION OF SYMBOLS 100 Diagnosis support apparatus 101 1st display part 103 Speaker 110 Stereo camera 121,122 Infrared LED light source 140 Control part 141 Display control part 142 Gaze point detection part 143 Evaluation part

Claims (5)

発達障害の診断を支援する診断支援装置であって、
人物の画像である第1画像と、非人物の画像である第2画像とを同時に表示部に表示し、前記第1画像と前記第2画像を前記表示部内で移動させ、また移動を停止させる表示制御部と、
前記第1画像および前記第2画像が表示されているときの、前記診断を受ける受診者の注視点を検出する注視点検出部と、
前記注視点が前記第1画像または前記第2画像の領域内に移動または停止している時間に基づく評価値が閾値よりも大きいか否かに基づいて、前記受診者の前記発達障害の程度を評価する評価部と
を備えることを特徴とする診断支援装置。
A diagnosis support device for supporting developmental diagnosis,
A first image that is a human image and a second image that is a non-human image are simultaneously displayed on the display unit, and the first image and the second image are moved in the display unit, and the movement is stopped. A display control unit;
A gazing point detection unit for detecting a gazing point of the examinee who receives the diagnosis when the first image and the second image are displayed;
Based on whether or not an evaluation value based on a time during which the gazing point is moved or stopped in the region of the first image or the second image is greater than a threshold value , the degree of the developmental disorder of the examinee is determined. A diagnostic support apparatus comprising an evaluation unit for evaluation.
前記評価部は、前記第1画像および前記第2画像の移動が停止した後、前記第1画像または前記第2画像の領域内の位置に前記注視点が検出された時点から継続して前記第1画像または前記第2画像の領域内の位置に前記注視点が検出される第1の時間を算出し、前記第1の時間に基づく前記評価値が前記閾値よりも大きいか否かに基づいて、前記発達障害の程度を評価することを特徴とする請求項に記載の診断支援装置。 The evaluation unit continues from the time when the gazing point is detected at a position within the region of the first image or the second image after the movement of the first image and the second image is stopped. Based on whether or not the evaluation value based on the first time is larger than the threshold value, the first time when the gazing point is detected at a position within the region of one image or the second image is calculated. , diagnosis support apparatus according to claim 1, characterized in that to evaluate the extent of the developmental disorders. 前記評価部は、前記第1画像および前記第2画像が停止した停止時点から前記第1画像または前記第2画像の領域内に前記注視点が検出される到達時点までの第2の時間を算出し、前記第1の時間および前記第2の時間に基づく前記評価値が前記閾値よりも大きいか否かに基づいて、前記発達障害の程度を評価することを特徴とする請求項に記載の診断支援装置。 The evaluation unit calculates a second time from a stop point when the first image and the second image are stopped to an arrival point when the gazing point is detected in the region of the first image or the second image. and, wherein said evaluation value based on the first time and the second time based on whether greater than said threshold value, according to claim 2, characterized in that to assess the extent of the developmental disorder Diagnosis support device. 前記表示制御部は、前記第1画像と前記第2画像を、前記表示部内で第1方向に移動させ、また移動を停止させる第1表示制御の後に、前記第1画像と前記第2画像を、前記表示部内で前記第1方向と逆方向に移動させ、また移動を停止させる第2表示制御を行い、
前記評価部は、前記第1表示制御中および前記第2表示制御中に検出された前記注視点が前記第1画像または前記第2画像の領域内に移動または停止している時間に基づく前記評価値が前記閾値よりも大きいか否かに基づいて、前記発達障害の程度を評価することを特徴とする請求項1に記載の診断支援装置。
The display control unit moves the first image and the second image in the first direction in the display unit, and after the first display control for stopping the movement, the first image and the second image. , Performing a second display control for moving in the direction opposite to the first direction in the display unit and stopping the movement,
The evaluation unit is configured to evaluate the time based on a time during which the gazing point detected during the first display control and the second display control is moved or stopped in a region of the first image or the second image. The diagnosis support apparatus according to claim 1, wherein the degree of the developmental disorder is evaluated based on whether the value is larger than the threshold value .
発達障害の診断を支援する診断支援方法であって、
人物の画像である第1画像と、非人物の画像である第2画像とを同時に表示部に表示し、前記第1画像と前記第2画像を前記表示部内で移動させ、また移動を停止させる表示制御ステップと、
前記第1画像および前記第2画像が表示されているときの、前記診断を受ける受診者の注視点を検出する注視点検出ステップと、
評価部が、前記注視点が前記第1画像または前記第2画像の領域内に移動または停止している時間に基づく評価値が閾値よりも大きいか否かに基づいて、前記受診者の前記発達障害の程度を評価する評価ステップと
を含むことを特徴とする診断支援方法。
A diagnostic support method for supporting the diagnosis of developmental disorders,
A first image that is a human image and a second image that is a non-human image are simultaneously displayed on the display unit, and the first image and the second image are moved in the display unit, and the movement is stopped. A display control step;
A gazing point detection step of detecting a gazing point of the examinee who receives the diagnosis when the first image and the second image are displayed;
Evaluation unit, based on whether the evaluation value based on the moving or stopped time is greater than the threshold to the gaze point is the first image or the second image in the area, the development of the examinee A diagnostic support method, comprising: an evaluation step for evaluating a degree of failure.
JP2012160869A 2012-07-19 2012-07-19 Diagnosis support apparatus and diagnosis support method Active JP5983131B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012160869A JP5983131B2 (en) 2012-07-19 2012-07-19 Diagnosis support apparatus and diagnosis support method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012160869A JP5983131B2 (en) 2012-07-19 2012-07-19 Diagnosis support apparatus and diagnosis support method

Publications (2)

Publication Number Publication Date
JP2014018484A JP2014018484A (en) 2014-02-03
JP5983131B2 true JP5983131B2 (en) 2016-08-31

Family

ID=50194033

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012160869A Active JP5983131B2 (en) 2012-07-19 2012-07-19 Diagnosis support apparatus and diagnosis support method

Country Status (1)

Country Link
JP (1) JP5983131B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4554102A (en) * 1983-09-26 1985-11-19 Shell Oil Company Cyanohydrination catalyst comprising non-crystalline or amorphous dipeptide
JPS6092888A (en) * 1983-10-27 1985-05-24 Tokyo Electric Co Ltd Electronic typewriter
JP6187347B2 (en) * 2014-03-25 2017-08-30 株式会社Jvcケンウッド Detection apparatus and detection method
CN106163418B (en) * 2014-03-25 2019-06-18 Jvc建伍株式会社 Detection device and detection method
JP2015181797A (en) * 2014-03-25 2015-10-22 株式会社Jvcケンウッド Detection apparatus and detection method
JP6788445B2 (en) * 2016-09-09 2020-11-25 株式会社トプコン Ophthalmic equipment
JP6848526B2 (en) * 2017-02-28 2021-03-24 株式会社Jvcケンウッド Evaluation device, evaluation method, and evaluation program
JP7247690B2 (en) * 2019-03-22 2023-03-29 株式会社Jvcケンウッド Evaluation device, evaluation method, and evaluation program
JP7074221B2 (en) * 2021-02-26 2022-05-24 株式会社Jvcケンウッド Evaluation device, evaluation method, and evaluation program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8371693B2 (en) * 2010-03-30 2013-02-12 National University Corporation Shizuoka University Autism diagnosis support apparatus
WO2012077713A1 (en) * 2010-12-08 2012-06-14 国立大学法人静岡大学 Method for detecting point of gaze and device for detecting point of gaze
JP5926210B2 (en) * 2012-03-21 2016-05-25 国立大学法人浜松医科大学 Autism diagnosis support system and autism diagnosis support apparatus

Also Published As

Publication number Publication date
JP2014018484A (en) 2014-02-03

Similar Documents

Publication Publication Date Title
JP5983131B2 (en) Diagnosis support apparatus and diagnosis support method
JP6217445B2 (en) Diagnosis support apparatus and diagnosis support method
JP6693105B2 (en) Eye-gaze detecting device and eye-gaze detecting method
WO2014208761A1 (en) Diagnosis assistance device and diagnosis assistance method
WO2015146491A1 (en) Detection device and detection method
JP6201956B2 (en) Gaze detection device and gaze detection method
JP5998863B2 (en) Gaze detection device and gaze detection method
JP6638354B2 (en) Eye gaze detection device and eye gaze detection method
JP2015126857A (en) Line of sight detection support device and line of sight detection support method
JP6245093B2 (en) Diagnosis support apparatus and diagnosis support method
JP5983135B2 (en) Diagnosis support apparatus and diagnosis support method
JP6380178B2 (en) Diagnosis support apparatus and diagnosis support method
JP6142822B2 (en) Diagnosis support apparatus and diagnosis support method
JP6593133B2 (en) Diagnosis support apparatus and diagnosis support method
JP6135550B2 (en) Diagnosis support apparatus and diagnosis support method
JP2015144635A (en) detection device and detection method
JP6019684B2 (en) Diagnosis support apparatus and diagnosis support method
JP6217446B2 (en) Control device, diagnosis support device, control method, and control program
JP5838894B2 (en) Diagnosis support apparatus and diagnosis support method
JP6327171B2 (en) Gaze point detection device and gaze point detection method
JP6187347B2 (en) Detection apparatus and detection method
JP6142825B2 (en) Diagnosis support apparatus and diagnosis support method
JP7052471B2 (en) Evaluation device, evaluation method and evaluation program
JP6003277B2 (en) Diagnosis support apparatus and diagnosis support method
JP2020119583A (en) Visual line detection device and visual line detection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150331

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160202

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160718

R150 Certificate of patent or registration of utility model

Ref document number: 5983131

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150