JP6883242B2 - Evaluation device, evaluation method, and evaluation program - Google Patents

Evaluation device, evaluation method, and evaluation program Download PDF

Info

Publication number
JP6883242B2
JP6883242B2 JP2017146000A JP2017146000A JP6883242B2 JP 6883242 B2 JP6883242 B2 JP 6883242B2 JP 2017146000 A JP2017146000 A JP 2017146000A JP 2017146000 A JP2017146000 A JP 2017146000A JP 6883242 B2 JP6883242 B2 JP 6883242B2
Authority
JP
Japan
Prior art keywords
display
data
display operation
evaluation
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017146000A
Other languages
Japanese (ja)
Other versions
JP2019024776A (en
Inventor
首藤 勝行
勝行 首藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2017146000A priority Critical patent/JP6883242B2/en
Publication of JP2019024776A publication Critical patent/JP2019024776A/en
Application granted granted Critical
Publication of JP6883242B2 publication Critical patent/JP6883242B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)

Description

本発明は、評価装置、評価方法、及び評価プログラムに関する。 The present invention relates to an evaluation device, an evaluation method, and an evaluation program.

視線検出技術の一つとして角膜反射法が知られている。角膜反射法は、光源から射出された赤外光を被験者に照射し、赤外光が照射された被験者の眼をカメラで撮影し、角膜表面における光源の反射像である角膜反射像に対する瞳孔の位置を検出して、被験者の視線を検出する。 The corneal reflex method is known as one of the line-of-sight detection techniques. In the corneal reflex method, a subject is irradiated with infrared light emitted from a light source, the subject's eyes irradiated with infrared light are photographed with a camera, and the pupil of the corneal reflex image, which is a reflected image of the light source on the corneal surface. The position is detected to detect the subject's line of sight.

このような被験者の視線を検出した結果を用いて、各種評価が行われている。例えば、特許文献1には、眼球運動を検出することにより、脳機能を検査する技術が記載されている。 Various evaluations are performed using the results of detecting the line of sight of such a subject. For example, Patent Document 1 describes a technique for examining brain function by detecting eye movements.

特開2003−038443号公報Japanese Unexamined Patent Publication No. 2003-0384443

近年、認知症等の脳神経疾病・障がい者が増加傾向にあるといわれている。また、このような脳神経疾病・障がいを早期に発見し、症状の重さを定量的に評価することが求められている。例えば、脳神経疾病・障がいの症状は、追視能力に影響することが知られている。このため、被験者の追視能力を計測することにより、被験者を高精度に評価することが求められている。 In recent years, it is said that the number of people with cranial nerve diseases such as dementia and persons with disabilities is increasing. In addition, it is required to detect such cranial nerve diseases / disorders at an early stage and quantitatively evaluate the severity of symptoms. For example, it is known that the symptoms of cranial nerve disease / disability affect the ability to follow. Therefore, it is required to evaluate the subject with high accuracy by measuring the tracking ability of the subject.

本発明は、上記に鑑みてなされたものであり、被験者の評価を高精度に行うことが可能な評価装置、評価方法、及び評価プログラムを提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide an evaluation device, an evaluation method, and an evaluation program capable of evaluating a subject with high accuracy.

本発明に係る評価装置は、被験者の眼球の画像データを取得する画像データ取得部と、前記画像データに基づいて、前記被験者の注視点の位置データを検出する注視点検出部と、外観が同一の複数の対象物について1つの前記対象物を特定対象物として他の前記対象物とは異なる表示態様で区別して表示画面に表示した後に前記特定対象物を他の前記対象物と同一の表示態様で前記表示画面に表示する第1表示動作と、前記第1表示動作を行った後に複数の前記対象物が移動する状態を同一の表示態様で前記表示画面に表示する第2表示動作と、前記第2表示動作を行った後に複数の前記対象物の移動が停止する状態を同一の表示態様で前記表示画面に表示する第3表示動作と、含む表示動作を行う表示制御部と、前記表示画面において、前記特定対象物の位置に対応した対応領域を設定する領域設定部と、前記注視点の位置データに基づいて、前記表示動作が行われる表示期間に前記注視点が前記対応領域に存在するか否かをそれぞれ判定し、判定データを出力する判定部と、前記判定データに基づいて、前記表示期間に前記注視点が前記対応領域に存在した存在時間を示す時間データを算出する演算部と、前記時間データに基づいて、前記被験者の評価データを求める評価部と、前記評価データを出力する出力制御部とを備える。 The evaluation device according to the present invention has the same appearance as the image data acquisition unit that acquires the image data of the subject's eyeball and the gaze point detection unit that detects the position data of the gaze point of the subject based on the image data. After displaying one of the plurality of objects as a specific object in a display mode different from that of the other objects on the display screen, the specific object is displayed in the same display mode as the other objects. A first display operation for displaying on the display screen, a second display operation for displaying a state in which a plurality of the objects move after performing the first display operation on the display screen in the same display mode, and the above. A third display operation that displays a state in which the movement of a plurality of the objects is stopped on the display screen in the same display mode after the second display operation is performed, a display control unit that performs a display operation including the second display operation, and the display screen. In the area setting unit that sets the corresponding area corresponding to the position of the specific object, and the gaze point exists in the corresponding area during the display period in which the display operation is performed based on the position data of the gaze point. A determination unit that determines whether or not the gaze point is present and outputs the determination data, and a calculation unit that calculates time data indicating the existence time of the gazing point in the corresponding area during the display period based on the determination data. An evaluation unit that obtains the evaluation data of the subject based on the time data and an output control unit that outputs the evaluation data are provided.

本発明に係る評価方法は、被験者の眼球の画像データを取得することと、前記画像データに基づいて、前記被験者の注視点の位置データを検出することと、外観が同一の複数の対象物について1つの前記対象物を特定対象物として他の前記対象物とは異なる表示態様で区別して表示画面に表示した後に前記特定対象物を他の前記対象物と同一の表示態様で前記表示画面に表示する第1表示動作と、前記第1表示動作を行った後に複数の前記対象物が移動する状態を同一の表示態様で前記表示画面に表示する第2表示動作と、前記第2表示動作を行った後に複数の前記対象物の移動が停止する状態を同一の表示態様で前記表示画面に表示する第3表示動作と、含む表示動作を行うことと、前記表示画面において、前記特定対象物の位置に対応した対応領域を設定することと、前記注視点の位置データに基づいて、前記表示動作が行われる表示期間に前記注視点が前記対応領域に存在するか否かをそれぞれ判定し、判定データを出力することと、前記判定データに基づいて、前記表示期間に前記注視点が前記対応領域に存在した存在時間を示す時間データを算出することと、前記時間データに基づいて、前記被験者の評価データを求めることと、前記評価データを出力することとを含む。 The evaluation method according to the present invention includes acquiring image data of the eyeball of a subject, detecting position data of the gazing point of the subject based on the image data, and for a plurality of objects having the same appearance. After displaying one said object as a specific object in a display mode different from that of the other objects on the display screen, the specific object is displayed on the display screen in the same display mode as the other objects. The first display operation is performed, the second display operation for displaying the state in which a plurality of the objects are moving after the first display operation is performed on the display screen in the same display mode, and the second display operation are performed. After that, a third display operation of displaying a state in which the movement of the plurality of objects is stopped on the display screen in the same display mode, a display operation including the display operation, and a position of the specific object on the display screen are performed. Based on the position data of the gazing point, it is determined whether or not the gazing point exists in the corresponding area during the display period in which the display operation is performed, and the determination data is determined. Is output, time data indicating the existence time of the gazing point in the corresponding region during the display period is calculated based on the determination data, and evaluation of the subject is performed based on the time data. It includes obtaining data and outputting the evaluation data.

本発明に係る評価プログラムは、被験者の眼球の画像データを取得する処理と、前記画像データに基づいて、前記被験者の注視点の位置データを検出する処理と、外観が同一の複数の対象物について1つの前記対象物を特定対象物として他の前記対象物とは異なる表示態様で区別して表示画面に表示した後に前記特定対象物を他の前記対象物と同一の表示態様で前記表示画面に表示する第1表示動作と、前記第1表示動作を行った後に複数の前記対象物が移動する状態を同一の表示態様で前記表示画面に表示する第2表示動作と、前記第2表示動作を行った後に複数の前記対象物の移動が停止する状態を同一の表示態様で前記表示画面に表示する第3表示動作と、含む表示動作を行う処理と、前記表示画面において、前記特定対象物の位置に対応した対応領域を設定する処理と、前記注視点の位置データに基づいて、前記表示動作が行われる表示期間に前記注視点が前記対応領域に存在するか否かをそれぞれ判定し、判定データを出力する処理と、前記判定データに基づいて、前記表示期間に前記注視点が前記対応領域に存在した存在時間を示す時間データを算出する処理と、前記時間データに基づいて、前記被験者の評価データを求める処理と、前記評価データを出力する処理とをコンピュータに実行させる。 The evaluation program according to the present invention includes a process of acquiring image data of the eyeball of a subject, a process of detecting position data of the gazing point of the subject based on the image data, and a plurality of objects having the same appearance. After displaying one said object as a specific object in a display mode different from that of the other objects on the display screen, the specific object is displayed on the display screen in the same display mode as the other objects. The first display operation is performed, the second display operation for displaying the state in which a plurality of the objects are moving after the first display operation is performed on the display screen in the same display mode, and the second display operation are performed. A third display operation for displaying a state in which the movement of the plurality of objects is stopped on the display screen in the same display mode, a process for performing a display operation including the operation, and a position of the specific object on the display screen. Based on the process of setting the corresponding area corresponding to the above and the position data of the gaze point, it is determined whether or not the gaze point exists in the corresponding area during the display period in which the display operation is performed, and the determination data is determined. The process of outputting the data, the process of calculating the time data indicating the existence time of the gazing point in the corresponding region during the display period based on the determination data, and the evaluation of the subject based on the time data. The computer is made to execute the process of obtaining the data and the process of outputting the evaluation data.

本発明によれば、被験者の視線検出結果を用いた評価を高精度に行うことが可能となる。 According to the present invention, it is possible to perform an evaluation using the line-of-sight detection result of a subject with high accuracy.

図1は、第1実施形態に係る視線検出装置の一例を模式的に示す斜視図である。FIG. 1 is a perspective view schematically showing an example of the line-of-sight detection device according to the first embodiment. 図2は、本実施形態に係る表示装置とステレオカメラ装置と照明装置と被験者の眼との位置関係を模式的に示す図である。FIG. 2 is a diagram schematically showing the positional relationship between the display device, the stereo camera device, the lighting device, and the eyes of the subject according to the present embodiment. 図3は、本実施形態に係る視線検出装置のハードウェア構成の一例を示す図である。FIG. 3 is a diagram showing an example of the hardware configuration of the line-of-sight detection device according to the present embodiment. 図4は、本実施形態に係る視線検出装置の一例を示す機能ブロック図である。FIG. 4 is a functional block diagram showing an example of the line-of-sight detection device according to the present embodiment. 図5は、本実施形態に係る角膜曲率中心の位置データの算出方法を説明するための模式図である。FIG. 5 is a schematic diagram for explaining a method of calculating the position data of the center of curvature of the cornea according to the present embodiment. 図6は、本実施形態に係る角膜曲率中心の位置データの算出方法を説明するための模式図である。FIG. 6 is a schematic diagram for explaining a method of calculating the position data of the center of curvature of the cornea according to the present embodiment. 図7は、本実施形態に係る視線検出方法の一例を示すフローチャートである。FIG. 7 is a flowchart showing an example of the line-of-sight detection method according to the present embodiment. 図8は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。FIG. 8 is a schematic diagram for explaining an example of the calibration process according to the present embodiment. 図9は、本実施形態に係るキャリブレーション処理の一例を示すフローチャートである。FIG. 9 is a flowchart showing an example of the calibration process according to the present embodiment. 図10は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。FIG. 10 is a schematic diagram for explaining an example of the gaze point detection process according to the present embodiment. 図11は、本実施形態に係る注視点検出処理の一例を示すフローチャートである。FIG. 11 is a flowchart showing an example of the gaze point detection process according to the present embodiment. 図12は、本実施形態に係る表示制御部が表示装置に表示させる映像の一例を示す図である。FIG. 12 is a diagram showing an example of an image displayed on the display device by the display control unit according to the present embodiment. 図13は、本実施形態に係る表示制御部が表示装置に表示させる映像の一例を示す図である。FIG. 13 is a diagram showing an example of an image displayed on the display device by the display control unit according to the present embodiment. 図14は、本実施形態に係る表示制御部が表示装置に表示させる映像の一例を示す図である。FIG. 14 is a diagram showing an example of an image displayed on the display device by the display control unit according to the present embodiment. 図15は、本実施形態に係る表示制御部が表示装置に表示させる映像の一例を示す図である。FIG. 15 is a diagram showing an example of an image displayed on the display device by the display control unit according to the present embodiment. 図16は、本実施形態に係る表示制御部が表示装置に表示させる映像の一例を示す図である。FIG. 16 is a diagram showing an example of an image displayed on the display device by the display control unit according to the present embodiment. 図17は、本実施形態に係る表示制御部が表示装置に表示させる映像の一例を示す図である。FIG. 17 is a diagram showing an example of an image displayed on the display device by the display control unit according to the present embodiment. 図18は、本実施形態に係る表示制御部が表示装置に表示させる映像の一例を示す図である。FIG. 18 is a diagram showing an example of an image displayed on the display device by the display control unit according to the present embodiment. 図19は、本実施形態に係る表示制御部が表示装置に表示させる映像の一例を示す図である。FIG. 19 is a diagram showing an example of an image displayed on the display device by the display control unit according to the present embodiment. 図20は、各映像が表示される時刻を示すタイムチャートである。FIG. 20 is a time chart showing the time when each video is displayed. 図21は、本実施形態に係る評価方法の一例を示すフローチャートである。FIG. 21 is a flowchart showing an example of the evaluation method according to the present embodiment. 図22は、本実施形態に係る表示制御部が表示装置に表示させる映像の変形例を示す図である。FIG. 22 is a diagram showing a modified example of the image displayed on the display device by the display control unit according to the present embodiment.

以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。 Hereinafter, embodiments according to the present invention will be described with reference to the drawings, but the present invention is not limited thereto. The components of the embodiments described below can be combined as appropriate. In addition, some components may not be used.

以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第1軸と平行な方向をX軸方向とし、第1軸と直交する所定面の第2軸と平行な方向をY軸方向とし、第1軸及び第2軸のそれぞれと直交する第3軸と平行な方向をZ軸方向とする。所定面はXY平面を含む。 In the following description, a three-dimensional global coordinate system is set and the positional relationship of each part is described. The direction parallel to the first axis of the predetermined surface is the X-axis direction, the direction parallel to the second axis of the predetermined surface orthogonal to the first axis is the Y-axis direction, and orthogonal to each of the first axis and the second axis. The direction parallel to the third axis is the Z-axis direction. The predetermined plane includes an XY plane.

<第1実施形態>
第1実施形態について説明する。図1は、本実施形態に係る視線検出装置100の一例を模式的に示す斜視図である。本実施形態において、視線検出装置100は、被験者の関心対象を評価する評価装置として用いられる。
<First Embodiment>
The first embodiment will be described. FIG. 1 is a perspective view schematically showing an example of the line-of-sight detection device 100 according to the present embodiment. In the present embodiment, the line-of-sight detection device 100 is used as an evaluation device for evaluating an object of interest of a subject.

図1に示すように、視線検出装置100は、表示装置101と、ステレオカメラ装置102と、照明装置103とを備える。 As shown in FIG. 1, the line-of-sight detection device 100 includes a display device 101, a stereo camera device 102, and a lighting device 103.

表示装置101は、液晶ディスプレイ(liquid crystal display:LCD)又は有機ELディスプレイ(organic electroluminescence display:OLED)のようなフラットパネルディスプレイを含む。表示装置101は、表示部として機能する。 The display device 101 includes a flat panel display such as a liquid crystal display (LCD) or an organic electroluminescence display (OLED). The display device 101 functions as a display unit.

本実施形態において、表示装置101の表示画面101Sは、XY平面と実質的に平行である。X軸方向は表示画面101Sの左右方向であり、Y軸方向は表示画面101Sの上下方向であり、Z軸方向は表示画面101Sと直交する奥行方向である。 In the present embodiment, the display screen 101S of the display device 101 is substantially parallel to the XY plane. The X-axis direction is the left-right direction of the display screen 101S, the Y-axis direction is the vertical direction of the display screen 101S, and the Z-axis direction is the depth direction orthogonal to the display screen 101S.

ステレオカメラ装置102は、第1カメラ102A及び第2カメラ102Bを有する。ステレオカメラ装置102は、表示装置101の表示画面101Sよりも下方に配置される。第1カメラ102Aと第2カメラ102BとはX軸方向に配置される。第1カメラ102Aは、第2カメラ102Bよりも−X方向に配置される。第1カメラ102A及び第2カメラ102Bはそれぞれ、赤外線カメラを含み、例えば波長850[nm]の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。 The stereo camera device 102 has a first camera 102A and a second camera 102B. The stereo camera device 102 is arranged below the display screen 101S of the display device 101. The first camera 102A and the second camera 102B are arranged in the X-axis direction. The first camera 102A is arranged in the −X direction with respect to the second camera 102B. Each of the first camera 102A and the second camera 102B includes an infrared camera, and has, for example, an optical system capable of transmitting near-infrared light having a wavelength of 850 [nm] and an imaging element capable of receiving the near-infrared light. ..

照明装置103は、第1光源103A及び第2光源103Bを有する。照明装置103は、表示装置101の表示画面101Sよりも下方に配置される。第1光源103Aと第2光源103BとはX軸方向に配置される。第1光源103Aは、第1カメラ102Aよりも−X方向に配置される。第2光源103Bは、第2カメラ102Bよりも+X方向に配置される。第1光源103A及び第2光源103Bはそれぞれ、LED(light emitting diode)光源を含み、例えば波長850[nm]の近赤外光を射出可能である。なお、第1光源103A及び第2光源103Bは、第1カメラ102Aと第2カメラ102Bとの間に配置されてもよい。 The lighting device 103 has a first light source 103A and a second light source 103B. The lighting device 103 is arranged below the display screen 101S of the display device 101. The first light source 103A and the second light source 103B are arranged in the X-axis direction. The first light source 103A is arranged in the −X direction with respect to the first camera 102A. The second light source 103B is arranged in the + X direction with respect to the second camera 102B. Each of the first light source 103A and the second light source 103B includes an LED (light emitting diode) light source, and can emit near-infrared light having a wavelength of, for example, 850 [nm]. The first light source 103A and the second light source 103B may be arranged between the first camera 102A and the second camera 102B.

図2は、本実施形態に係る表示装置101とステレオカメラ装置102と照明装置103と被験者の眼球111との位置関係を模式的に示す図である。 FIG. 2 is a diagram schematically showing the positional relationship between the display device 101, the stereo camera device 102, the lighting device 103, and the eyeball 111 of the subject according to the present embodiment.

照明装置103は、検出光である近赤外光を射出して、被験者の眼球111を照明する。ステレオカメラ装置102は、第1光源103Aから射出された検出光が眼球111に照射されたときに第2カメラ102Bで眼球111を撮影し、第2光源103Bから射出された検出光が眼球111に照射されたときに第1カメラ102Aで眼球111を撮影する。 The illuminating device 103 emits near-infrared light, which is the detection light, to illuminate the eyeball 111 of the subject. The stereo camera device 102 photographs the eyeball 111 with the second camera 102B when the detection light emitted from the first light source 103A irradiates the eyeball 111, and the detection light emitted from the second light source 103B is emitted to the eyeball 111. When irradiated, the eyeball 111 is photographed by the first camera 102A.

第1カメラ102A及び第2カメラ102Bの少なくとも一方からフレーム同期信号が出力される。第1光源103A及び第2光源103Bは、フレーム同期信号に基づいて検出光を射出する。第1カメラ102Aは、第2光源103Bから射出された検出光が眼球111に照射されたときに、眼球111の画像データを取得する。第2カメラ102Bは、第1光源103Aから射出された検出光が眼球111に照射されたときに、眼球111の画像データを取得する。 A frame synchronization signal is output from at least one of the first camera 102A and the second camera 102B. The first light source 103A and the second light source 103B emit the detection light based on the frame synchronization signal. The first camera 102A acquires the image data of the eyeball 111 when the detection light emitted from the second light source 103B irradiates the eyeball 111. The second camera 102B acquires the image data of the eyeball 111 when the detection light emitted from the first light source 103A irradiates the eyeball 111.

眼球111に検出光が照射されると、その検出光の一部は瞳孔112で反射し、その瞳孔112からの光がステレオカメラ装置102に入射する。また、眼球111に検出光が照射されると、角膜の虚像である角膜反射像113が眼球111に形成され、その角膜反射像113からの光がステレオカメラ装置102に入射する。 When the eyeball 111 is irradiated with the detection light, a part of the detection light is reflected by the pupil 112, and the light from the pupil 112 is incident on the stereo camera device 102. When the eyeball 111 is irradiated with the detection light, a corneal reflex image 113, which is a virtual image of the cornea, is formed on the eyeball 111, and the light from the corneal reflex image 113 is incident on the stereo camera device 102.

第1カメラ102A及び第2カメラ102Bと第1光源103A及び第2光源103Bとの相対位置が適切に設定されることにより、瞳孔112からステレオカメラ装置102に入射する光の強度は低くなり、角膜反射像113からステレオカメラ装置102に入射する光の強度は高くなる。すなわち、ステレオカメラ装置102で取得される瞳孔112の画像は低輝度となり、角膜反射像113の画像は高輝度となる。ステレオカメラ装置102は、取得される画像の輝度に基づいて、瞳孔112の位置及び角膜反射像113の位置を検出することができる。 By appropriately setting the relative positions of the first camera 102A and the second camera 102B and the first light source 103A and the second light source 103B, the intensity of the light incident on the stereo camera device 102 from the pupil 112 becomes low, and the corneal membrane The intensity of the light incident on the stereo camera device 102 from the reflected image 113 is increased. That is, the image of the pupil 112 acquired by the stereo camera device 102 has low brightness, and the image of the corneal reflex image 113 has high brightness. The stereo camera device 102 can detect the position of the pupil 112 and the position of the corneal reflex image 113 based on the brightness of the acquired image.

図3は、本実施形態に係る視線検出装置100のハードウェア構成の一例を示す図である。図3に示すように、視線検出装置100は、表示装置101と、ステレオカメラ装置102と、照明装置103と、コンピュータシステム20と、入出力インターフェース装置30と、駆動回路40と、出力装置50と、入力装置60と、音声出力装置70とを備える。コンピュータシステム20は、演算処理装置20A及び記憶装置20Bを含む。 FIG. 3 is a diagram showing an example of the hardware configuration of the line-of-sight detection device 100 according to the present embodiment. As shown in FIG. 3, the line-of-sight detection device 100 includes a display device 101, a stereo camera device 102, a lighting device 103, a computer system 20, an input / output interface device 30, a drive circuit 40, and an output device 50. The input device 60 and the audio output device 70 are provided. The computer system 20 includes an arithmetic processing unit 20A and a storage device 20B.

コンピュータシステム20と、駆動回路40と、出力装置50と、入力装置60と、音声出力装置70とは、入出力インターフェース装置30を介してデータ通信する。 The computer system 20, the drive circuit 40, the output device 50, the input device 60, and the audio output device 70 communicate data via the input / output interface device 30.

演算処理装置20Aは、CPU(central processing unit)のようなマイクロプロセッサを含む。記憶装置20Bは、ROM(read only memory)及びRAM(random access memory)のようなメモリ又はストレージを含む。演算処理装置20Aは、記憶装置20Bに記憶されているコンピュータプログラム20Cに従って演算処理を実施する。 The arithmetic processing device 20A includes a microprocessor such as a CPU (central processing unit). The storage device 20B includes a memory or storage such as a ROM (read only memory) and a RAM (random access memory). The arithmetic processing unit 20A performs arithmetic processing according to the computer program 20C stored in the storage device 20B.

駆動回路40は、駆動信号を生成して、表示装置101、ステレオカメラ装置102、及び照明装置103に出力する。また、駆動回路40は、ステレオカメラ装置102で取得された眼球111の画像データを、入出力インターフェース装置30を介してコンピュータシステム20に供給する。 The drive circuit 40 generates a drive signal and outputs the drive signal to the display device 101, the stereo camera device 102, and the lighting device 103. Further, the drive circuit 40 supplies the image data of the eyeball 111 acquired by the stereo camera device 102 to the computer system 20 via the input / output interface device 30.

出力装置50は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置50は、印刷装置を含んでもよい。入力装置60は、操作されることにより入力データを生成する。入力装置60は、コンピュータシステム用のキーボード又はマウスを含む。なお、入力装置60が表示装置である出力装置50の表示画面に設けられたタッチセンサを含んでもよい。音声出力装置70は、スピーカを含み、例えば被験者に注意を促すための音声を出力する。 The output device 50 includes a display device such as a flat panel display. The output device 50 may include a printing device. The input device 60 generates input data by being operated. The input device 60 includes a keyboard or mouse for a computer system. The input device 60 may include a touch sensor provided on the display screen of the output device 50, which is a display device. The voice output device 70 includes a speaker, and outputs, for example, a voice for calling attention to the subject.

本実施形態においては、表示装置101とコンピュータシステム20とは別々の装置である。なお、表示装置101とコンピュータシステム20とが一体でもよい。例えば視線検出装置100がタブレット型パーソナルコンピュータを含む場合、そのタブレット型パーソナルコンピュータに、コンピュータシステム20、入出力インターフェース装置30、駆動回路40、及び表示装置101が搭載されてもよい。 In the present embodiment, the display device 101 and the computer system 20 are separate devices. The display device 101 and the computer system 20 may be integrated. For example, when the line-of-sight detection device 100 includes a tablet-type personal computer, the tablet-type personal computer may be equipped with a computer system 20, an input / output interface device 30, a drive circuit 40, and a display device 101.

図4は、本実施形態に係る視線検出装置100の一例を示す機能ブロック図である。図4に示すように、入出力インターフェース装置30は、入出力部302を有する。駆動回路40は、表示装置101を駆動するための駆動信号を生成して表示装置101に出力する表示装置駆動部402と、第1カメラ102Aを駆動するための駆動信号を生成して第1カメラ102Aに出力する第1カメラ入出力部404Aと、第2カメラ102Bを駆動するための駆動信号を生成して第2カメラ102Bに出力する第2カメラ入出力部404Bと、第1光源103A及び第2光源103Bを駆動するための駆動信号を生成して第1光源103A及び第2光源103Bに出力する光源駆動部406とを有する。また、第1カメラ入出力部404Aは、第1カメラ102Aで取得された眼球111の画像データを、入出力部302を介してコンピュータシステム20に供給する。第2カメラ入出力部404Bは、第2カメラ102Bで取得された眼球111の画像データを、入出力部302を介してコンピュータシステム20に供給する。 FIG. 4 is a functional block diagram showing an example of the line-of-sight detection device 100 according to the present embodiment. As shown in FIG. 4, the input / output interface device 30 has an input / output unit 302. The drive circuit 40 generates a display device drive unit 402 that generates a drive signal for driving the display device 101 and outputs the drive signal to the display device 101, and a first camera that generates a drive signal for driving the first camera 102A. The first camera input / output unit 404A that outputs to 102A, the second camera input / output unit 404B that generates a drive signal for driving the second camera 102B and outputs it to the second camera 102B, the first light source 103A, and the first light source 103A. It has a light source driving unit 406 that generates a drive signal for driving the two light source 103B and outputs the drive signal to the first light source 103A and the second light source 103B. Further, the first camera input / output unit 404A supplies the image data of the eyeball 111 acquired by the first camera 102A to the computer system 20 via the input / output unit 302. The second camera input / output unit 404B supplies the image data of the eyeball 111 acquired by the second camera 102B to the computer system 20 via the input / output unit 302.

コンピュータシステム20は、視線検出装置100を制御する。コンピュータシステム20は、表示制御部202と、光源制御部204と、画像データ取得部206と、入力データ取得部208と、位置検出部210と、曲率中心算出部212と、注視点検出部214と、領域設定部216と、判定部218と、演算部220と、記憶部222と、評価部224と、出力制御部226とを有する。コンピュータシステム20の機能は、演算処理装置20A及び記憶装置20Bによって発揮される。 The computer system 20 controls the line-of-sight detection device 100. The computer system 20 includes a display control unit 202, a light source control unit 204, an image data acquisition unit 206, an input data acquisition unit 208, a position detection unit 210, a curvature center calculation unit 212, and a gazing point detection unit 214. It has an area setting unit 216, a determination unit 218, a calculation unit 220, a storage unit 222, an evaluation unit 224, and an output control unit 226. The functions of the computer system 20 are exhibited by the arithmetic processing unit 20A and the storage device 20B.

表示制御部202は、外観が同一の複数の対象物について1つの対象物を特定対象物として他の対象物とは異なる表示態様で区別して表示画面101Sに表示した後に特定対象物を他の対象物と同一の表示態様で表示画面101Sに表示する第1表示動作と、第1表示動作を行った後に複数の対象物が移動する状態を同一の表示態様で表示画面101Sに表示する第2表示動作と、第2表示動作を行った後に複数の対象物の移動が停止する状態を同一の表示態様で表示画面101Sに表示する第3表示動作と、含む表示動作を行う。表示動作により複数の対象物が表示されている期間を表示期間とする。表示制御部202は、例えば被験者に見せるための映像を表示装置101の表示画面101Sに表示させる。この映像には、複数の対象物を表示させる場面と、複数の対象物を非表示とする場面とを含む。したがって、表示制御部202は、映像を再生させることにより、表示画面101Sに第1表示動作、第2表示動作及び第3表示動作を行うようになっている。また、この映像は、被験者に対して指示を行うための文字情報等を表示する場面を含む。 The display control unit 202 distinguishes one object as a specific object from a plurality of objects having the same appearance in a display mode different from that of the other objects and displays the specific object on the display screen 101S, and then displays the specific object as another object. A first display operation for displaying on the display screen 101S in the same display mode as an object, and a second display for displaying a state in which a plurality of objects move after performing the first display operation on the display screen 101S in the same display mode. The operation, the third display operation of displaying the state in which the movement of the plurality of objects is stopped after the second display operation is performed on the display screen 101S in the same display mode, and the display operation including the operation are performed. The period during which a plurality of objects are displayed by the display operation is defined as the display period. The display control unit 202 displays, for example, an image to be shown to the subject on the display screen 101S of the display device 101. This video includes a scene in which a plurality of objects are displayed and a scene in which the plurality of objects are hidden. Therefore, the display control unit 202 performs the first display operation, the second display operation, and the third display operation on the display screen 101S by reproducing the video. In addition, this video includes a scene in which character information or the like for giving an instruction to the subject is displayed.

光源制御部204は、光源駆動部406を制御して、第1光源103A及び第2光源103Bの作動状態を制御する。光源制御部204は、第1光源103Aと第2光源103Bとが異なるタイミングで検出光を射出するように第1光源103A及び第2光源103Bを制御する。 The light source control unit 204 controls the light source drive unit 406 to control the operating states of the first light source 103A and the second light source 103B. The light source control unit 204 controls the first light source 103A and the second light source 103B so that the first light source 103A and the second light source 103B emit the detected light at different timings.

画像データ取得部206は、第1カメラ102A及び第2カメラ102Bを含むステレオカメラ装置102によって取得された被験者の眼球111の画像データを、入出力部302を介してステレオカメラ装置102から取得する。 The image data acquisition unit 206 acquires image data of the subject's eyeball 111 acquired by the stereo camera device 102 including the first camera 102A and the second camera 102B from the stereo camera device 102 via the input / output unit 302.

入力データ取得部208は、入力装置60が操作されることにより生成された入力データを、入出力部302を介して入力装置60から取得する。 The input data acquisition unit 208 acquires the input data generated by operating the input device 60 from the input device 60 via the input / output unit 302.

位置検出部210は、画像データ取得部206で取得された眼球111の画像データに基づいて、瞳孔中心の位置データを検出する。また、位置検出部210は、画像データ取得部206で取得された眼球111の画像データに基づいて、角膜反射中心の位置データを検出する。瞳孔中心は、瞳孔112の中心である。角膜反射中心は、角膜反射像113の中心である。位置検出部210は、被験者の左右それぞれの眼球111について、瞳孔中心の位置データ及び角膜反射中心の位置データを検出する。 The position detection unit 210 detects the position data at the center of the pupil based on the image data of the eyeball 111 acquired by the image data acquisition unit 206. Further, the position detection unit 210 detects the position data of the corneal reflex center based on the image data of the eyeball 111 acquired by the image data acquisition unit 206. The center of the pupil is the center of the pupil 112. The corneal reflex center is the center of the corneal reflex image 113. The position detection unit 210 detects the position data of the center of the pupil and the position data of the center of the corneal reflex for each of the left and right eyeballs 111 of the subject.

曲率中心算出部212は、画像データ取得部206で取得された眼球111の画像データに基づいて、眼球111の角膜曲率中心の位置データを算出する。 The curvature center calculation unit 212 calculates the position data of the corneal curvature center of the eyeball 111 based on the image data of the eyeball 111 acquired by the image data acquisition unit 206.

注視点検出部214は、画像データ取得部206で取得された眼球111の画像データに基づいて、被験者の注視点の位置データを検出する。本実施形態において、注視点の位置データとは、三次元グローバル座標系で規定される被験者の視線ベクトルと表示装置101の表示画面101Sとの交点の位置データをいう。注視点検出部214は、眼球111の画像データから取得された瞳孔中心の位置データ及び角膜曲率中心の位置データに基づいて、被験者の左右それぞれの眼球111の視線ベクトルを検出する。視線ベクトルが検出された後、注視点検出部214は、視線ベクトルと表示画面101Sとの交点を示す注視点の位置データを検出する。 The gazing point detection unit 214 detects the position data of the gazing point of the subject based on the image data of the eyeball 111 acquired by the image data acquisition unit 206. In the present embodiment, the gazing point position data refers to the position data of the intersection of the subject's line-of-sight vector defined by the three-dimensional global coordinate system and the display screen 101S of the display device 101. The gazing point detection unit 214 detects the line-of-sight vectors of the left and right eyeballs 111 of the subject based on the position data of the center of the pupil and the position data of the center of curvature of the cornea acquired from the image data of the eyeballs 111. After the line-of-sight vector is detected, the gaze point detection unit 214 detects the position data of the gaze point indicating the intersection of the line-of-sight vector and the display screen 101S.

領域設定部216は、表示装置101の表示画面101Sにおいて、特定対象物の位置に対応した対応領域を設定する。領域設定部216は、例えば第1表示動作が行われる第1表示期間において、他の対象物とは異なる表示態様で区別して表示画面に表示される特定対象物の表示内容に基づいて対応領域を設定する。例えば、第1表示動作において特定対象物とは異なる表示物が表示される場合、領域設定部216は、当該表示物を含むように対応領域を設定することができる。領域設定部216は、例えば第2表示動作が行われる第2表示期間において、移動する特定対象物の軌跡に基づいて対応領域を設定する。領域設定部216は、例えば第3表示動作が行われる第3表示期間において、停止した状態の特定対象物を含む範囲に対応領域を設定することができる。 The area setting unit 216 sets the corresponding area corresponding to the position of the specific object on the display screen 101S of the display device 101. For example, in the first display period in which the first display operation is performed, the area setting unit 216 sets the corresponding area based on the display content of the specific object displayed on the display screen in a display mode different from that of other objects. Set. For example, when a display object different from the specific object is displayed in the first display operation, the area setting unit 216 can set the corresponding area so as to include the display object. The area setting unit 216 sets the corresponding area based on the locus of the moving specific object, for example, in the second display period in which the second display operation is performed. The area setting unit 216 can set a corresponding area in a range including a specific object in a stopped state, for example, in the third display period in which the third display operation is performed.

判定部218は、注視点の位置データに基づいて、表示動作が行われる表示期間に注視点が複数の対応領域に存在するか否かをそれぞれ判定し、判定データを出力する。判定部218は、例えば一定時間毎に注視点が対応領域に存在するか否かをそれぞれ判定する。一定時間としては、例えば第1カメラ102A及び第2カメラ102Bから出力されるフレーム同期信号の周期(例えば50[msec]毎)とすることができる。 Based on the position data of the gazing point, the determination unit 218 determines whether or not the gazing point exists in a plurality of corresponding regions during the display period in which the display operation is performed, and outputs the determination data. The determination unit 218 determines, for example, whether or not the gazing point exists in the corresponding region at regular time intervals. The fixed time can be, for example, the period of the frame synchronization signal output from the first camera 102A and the second camera 102B (for example, every 50 [msec]).

演算部220は、判定部218の判定データに基づいて、表示期間に注視点が対応領域に存在した存在時間を示す時間データを算出する。演算部220は、第1表示動作が行われる第1表示期間における存在時間を示す第1時間データと、第2表示動作が行われる第2表示期間における存在時間を示す第2時間データと、第3表示動作が行われる第3表示期間における存在時間を示す第3時間データと、を時間データとして算出する。 Based on the determination data of the determination unit 218, the calculation unit 220 calculates time data indicating the existence time when the gazing point was in the corresponding region during the display period. The calculation unit 220 includes first time data indicating the existence time in the first display period in which the first display operation is performed, second time data indicating the existence time in the second display period in which the second display operation is performed, and second. 3 The third time data indicating the existence time in the third display period in which the display operation is performed and the third time data are calculated as time data.

なお、演算部220は、映像の再生時間を管理する管理タイマと、表示画面101Sに映像が表示されてからの経過時間を検出する検出タイマを有する。演算部220は、検出タイマの検出結果に基づいて、表示画面101Sに表示される映像がタイムチャートにおける複数の期間(図20の期間T1〜T7参照)のうちいずれの期間の映像かを検出可能である。また、演算部220は、対応領域について注視点が存在すると判定された判定回数をカウントする。演算部220は、対応領域について判定回数をカウントするカウンタを有する。 The calculation unit 220 has a management timer that manages the reproduction time of the video, and a detection timer that detects the elapsed time since the video is displayed on the display screen 101S. Based on the detection result of the detection timer, the calculation unit 220 can detect which period of the video displayed on the display screen 101S is the video of a plurality of periods (see periods T1 to T7 in FIG. 20) in the time chart. Is. In addition, the calculation unit 220 counts the number of determinations that it is determined that the gazing point exists in the corresponding area. The calculation unit 220 has a counter that counts the number of determinations for the corresponding area.

評価部224は、少なくとも時間データに基づいて、被験者の評価データを求める。評価データは、表示動作において表示画面101Sに表示される複数の対象物のうち特定対象物に対して被験者がどの程度追視しているかを示すデータである。 The evaluation unit 224 obtains the evaluation data of the subject based on at least the time data. The evaluation data is data indicating how much the subject is tracking the specific object among the plurality of objects displayed on the display screen 101S in the display operation.

記憶部222は、上記の判定データ、時間データ、評価データを記憶する。また、記憶部222は、被験者の眼球の画像データを取得する処理と、画像データに基づいて、被験者の注視点の位置データを検出する処理と、外観が同一の複数の対象物について1つの対象物を特定対象物として他の対象物とは異なる表示態様で区別して表示画面に表示した後に特定対象物を他の対象物と同一の表示態様で表示画面に表示する第1表示動作と、第1表示動作を行った後に複数の対象物が移動する状態を同一の表示態様で表示画面に表示する第2表示動作と、第2表示動作を行った後に複数の対象物の移動が停止する状態を同一の表示態様で表示画面に表示する第3表示動作と、含む表示動作を行う処理と、表示画面において、特定対象物の位置に対応した対応領域を設定する処理と、注視点の位置データに基づいて、表示動作が行われる表示期間に注視点が対応領域に存在するか否かをそれぞれ判定し、判定データを出力する処理と、判定データに基づいて、表示期間に注視点が対応領域に存在した存在時間を示す時間データを算出する処理と、時間データに基づいて、被験者の評価データを求める処理と、評価データを出力する処理とをコンピュータに実行させる評価プログラムを記憶する。 The storage unit 222 stores the above-mentioned determination data, time data, and evaluation data. Further, the storage unit 222 has a process of acquiring image data of the subject's eyeball, a process of detecting position data of the subject's gazing point based on the image data, and one object for a plurality of objects having the same appearance. The first display operation of displaying an object as a specific object in a display mode different from that of other objects and then displaying the specific object on the display screen in the same display mode as other objects, and the first display operation. 1 A second display operation in which a state in which a plurality of objects move after performing a display operation is displayed on a display screen in the same display mode, and a state in which movement of a plurality of objects stops after the second display operation is performed. The third display operation of displaying the data on the display screen in the same display mode, the process of performing the display operation including the display operation, the process of setting the corresponding area corresponding to the position of the specific object on the display screen, and the position data of the gazing point. Based on the above, it is determined whether or not the gaze point exists in the corresponding area during the display period in which the display operation is performed, and the judgment data is output. Based on the judgment data, the gaze point is in the corresponding area during the display period. Stores an evaluation program that causes a computer to execute a process of calculating time data indicating the existence time existing in, a process of obtaining evaluation data of a subject based on the time data, and a process of outputting evaluation data.

出力制御部226は、表示装置101、出力装置50、及び音声出力装置70の少なくとも一つにデータを出力する。本実施形態において、出力制御部226は、演算部220で算出された時間データを表示装置101又は出力装置50に表示させる。また、出力制御部226は、被験者の左右それぞれの眼球111の注視点の位置データを表示装置101又は出力装置50に表示させる。また、出力制御部226は、評価部224から出力された評価データを表示装置101又は出力装置50に表示させる。 The output control unit 226 outputs data to at least one of the display device 101, the output device 50, and the audio output device 70. In the present embodiment, the output control unit 226 causes the display device 101 or the output device 50 to display the time data calculated by the calculation unit 220. Further, the output control unit 226 causes the display device 101 or the output device 50 to display the position data of the gazing points of the left and right eyeballs 111 of the subject. Further, the output control unit 226 causes the display device 101 or the output device 50 to display the evaluation data output from the evaluation unit 224.

次に、本実施形態に係る曲率中心算出部212の処理の概要について説明する。曲率中心算出部212は、眼球111の画像データに基づいて、眼球111の角膜曲率中心の位置データを算出する。 Next, an outline of the processing of the curvature center calculation unit 212 according to the present embodiment will be described. The curvature center calculation unit 212 calculates the position data of the corneal curvature center of the eyeball 111 based on the image data of the eyeball 111.

図5及び図6は、本実施形態に係る角膜曲率中心110の位置データの算出方法を説明するための模式図である。図5は、1つの光源103Cで眼球111が照明される例を示す。図6は、第1光源103A及び第2光源103Bで眼球111が照明される例を示す。 5 and 6 are schematic views for explaining a method of calculating the position data of the corneal curvature center 110 according to the present embodiment. FIG. 5 shows an example in which the eyeball 111 is illuminated by one light source 103C. FIG. 6 shows an example in which the eyeball 111 is illuminated by the first light source 103A and the second light source 103B.

まず、図5に示す例について説明する。光源103Cは、第1カメラ102Aと第2カメラ102Bとの間に配置される。瞳孔中心112Cは、瞳孔112の中心である。角膜反射中心113Cは、角膜反射像113の中心である。図5において、瞳孔中心112Cは、眼球111が1つの光源103Cで照明されたときの瞳孔中心を示す。角膜反射中心113Cは、眼球111が1つの光源103Cで照明されたときの角膜反射中心を示す。 First, an example shown in FIG. 5 will be described. The light source 103C is arranged between the first camera 102A and the second camera 102B. The pupil center 112C is the center of the pupil 112. The corneal reflex center 113C is the center of the corneal reflex image 113. In FIG. 5, the pupil center 112C indicates the pupil center when the eyeball 111 is illuminated by one light source 103C. The corneal reflex center 113C indicates the corneal reflex center when the eyeball 111 is illuminated by one light source 103C.

角膜反射中心113Cは、光源103Cと角膜曲率中心110とを結ぶ直線上に存在する。角膜反射中心113Cは、角膜表面と角膜曲率中心110との中間点に位置付けられる。角膜曲率半径109は、角膜表面と角膜曲率中心110との距離である。 The corneal reflex center 113C exists on a straight line connecting the light source 103C and the corneal curvature center 110. The corneal reflex center 113C is positioned at the midpoint between the corneal surface and the corneal curvature center 110. The corneal curvature radius 109 is the distance between the corneal surface and the corneal curvature center 110.

角膜反射中心113Cの位置データは、ステレオカメラ装置102によって検出される。角膜曲率中心110は、光源103Cと角膜反射中心113Cとを結ぶ直線上に存在する。曲率中心算出部212は、その直線上において角膜反射中心113Cからの距離が所定値となる位置データを、角膜曲率中心110の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部222に記憶されている。 The position data of the corneal reflex center 113C is detected by the stereo camera device 102. The corneal curvature center 110 exists on a straight line connecting the light source 103C and the corneal reflection center 113C. The curvature center calculation unit 212 calculates the position data in which the distance from the corneal reflection center 113C is a predetermined value on the straight line as the position data of the corneal curvature center 110. The predetermined value is a value predetermined from a general corneal radius of curvature value or the like, and is stored in the storage unit 222.

次に、図6に示す例について説明する。本実施形態においては、第1カメラ102A及び第2光源103Bと、第2カメラ102B及び第1光源103Aとは、第1カメラ102Aと第2カメラ102Bとの中間位置を通る直線に対して左右対称の位置に配置される。第1カメラ102Aと第2カメラ102Bとの中間位置に仮想光源103Vが存在するとみなすことができる。 Next, an example shown in FIG. 6 will be described. In the present embodiment, the first camera 102A and the second light source 103B and the second camera 102B and the first light source 103A are symmetrical with respect to a straight line passing through an intermediate position between the first camera 102A and the second camera 102B. Is placed at the position of. It can be considered that the virtual light source 103V exists at an intermediate position between the first camera 102A and the second camera 102B.

角膜反射中心121は、第2カメラ102Bで眼球111を撮影した画像における角膜反射中心を示す。角膜反射中心122は、第1カメラ102Aで眼球111を撮影した画像における角膜反射中心を示す。角膜反射中心124は、仮想光源103Vに対応する角膜反射中心を示す。 The corneal reflex center 121 indicates the corneal reflex center in the image of the eyeball 111 taken by the second camera 102B. The corneal reflex center 122 indicates the corneal reflex center in the image of the eyeball 111 taken by the first camera 102A. The corneal reflex center 124 indicates a corneal reflex center corresponding to the virtual light source 103V.

角膜反射中心124の位置データは、ステレオカメラ装置102で取得された角膜反射中心121の位置データ及び角膜反射中心122の位置データに基づいて算出される。ステレオカメラ装置102は、ステレオカメラ装置102に規定される三次元ローカル座標系において角膜反射中心121の位置データ及び角膜反射中心122の位置データを検出する。ステレオカメラ装置102について、事前にステレオ較正法によるカメラ較正が実施され、ステレオカメラ装置102の三次元ローカル座標系を三次元グローバル座標系に変換する変換パラメータが算出される。その変換パラメータは、記憶部222に記憶されている。 The position data of the corneal reflex center 124 is calculated based on the position data of the corneal reflex center 121 and the position data of the corneal reflex center 122 acquired by the stereo camera device 102. The stereo camera device 102 detects the position data of the corneal reflex center 121 and the position data of the corneal reflex center 122 in the three-dimensional local coordinate system defined by the stereo camera device 102. The stereo camera device 102 is calibrated in advance by a stereo calibration method, and conversion parameters for converting the three-dimensional local coordinate system of the stereo camera device 102 into a three-dimensional global coordinate system are calculated. The conversion parameter is stored in the storage unit 222.

曲率中心算出部212は、ステレオカメラ装置102で取得された角膜反射中心121の位置データ及び角膜反射中心122の位置データを、変換パラメータを使って、三次元グローバル座標系における位置データに変換する。曲率中心算出部212は、三次元グローバル座標系で規定される角膜反射中心121の位置データ及び角膜反射中心122の位置データに基づいて、三次元グローバル座標系における角膜反射中心124の位置データを算出する。 The curvature center calculation unit 212 converts the position data of the corneal reflex center 121 and the position data of the corneal reflex center 122 acquired by the stereo camera device 102 into position data in the three-dimensional global coordinate system using conversion parameters. The curvature center calculation unit 212 calculates the position data of the corneal reflex center 124 in the three-dimensional global coordinate system based on the position data of the corneal reflex center 121 and the position data of the corneal reflex center 122 defined in the three-dimensional global coordinate system. To do.

角膜曲率中心110は、仮想光源103Vと角膜反射中心124とを結ぶ直線123上に存在する。曲率中心算出部212は、直線123上において角膜反射中心124からの距離が所定値となる位置データを、角膜曲率中心110の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部222に記憶されている。 The corneal curvature center 110 exists on a straight line 123 connecting the virtual light source 103V and the corneal reflection center 124. The curvature center calculation unit 212 calculates the position data at which the distance from the corneal reflex center 124 is a predetermined value on the straight line 123 as the position data of the corneal curvature center 110. The predetermined value is a value predetermined from a general corneal radius of curvature value or the like, and is stored in the storage unit 222.

このように、光源が2つある場合でも、光源が1つである場合の方法と同様の方法で、角膜曲率中心110が算出される。 In this way, even when there are two light sources, the corneal curvature center 110 is calculated by the same method as when there is one light source.

角膜曲率半径109は、角膜表面と角膜曲率中心110との距離である。したがって、角膜表面の位置データ及び角膜曲率中心110の位置データが算出されることにより、角膜曲率半径109が算出される。 The corneal curvature radius 109 is the distance between the corneal surface and the corneal curvature center 110. Therefore, the corneal curvature radius 109 is calculated by calculating the position data of the corneal surface and the position data of the corneal curvature center 110.

[視線検出方法]
次に、本実施形態に係る視線検出方法の一例について説明する。図7は、本実施形態に係る視線検出方法の一例を示すフローチャートである。本実施形態においては、角膜曲率中心110の位置データの算出処理及び瞳孔中心112Cと角膜曲率中心110との距離データの算出処理を含むキャリブレーション処理(ステップS100)と、注視点検出処理(ステップS200)が実施される。
[Gaze detection method]
Next, an example of the line-of-sight detection method according to the present embodiment will be described. FIG. 7 is a flowchart showing an example of the line-of-sight detection method according to the present embodiment. In the present embodiment, the calibration process (step S100) including the calculation process of the position data of the corneal curvature center 110 and the calculation process of the distance data between the pupil center 112C and the corneal curvature center 110, and the gaze point detection process (step S200). ) Is implemented.

(キャリブレーション処理)
キャリブレーション処理(ステップS100)について説明する。図8は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。キャリブレーション処理は、角膜曲率中心110の位置データを算出すること、及び瞳孔中心112Cと角膜曲率中心110との距離126を算出することを含む。
(Calibration process)
The calibration process (step S100) will be described. FIG. 8 is a schematic diagram for explaining an example of the calibration process according to the present embodiment. The calibration process includes calculating the position data of the corneal curvature center 110 and calculating the distance 126 between the pupil center 112C and the corneal curvature center 110.

被験者に注視させるための目標位置130が設定される。目標位置130は、三次元グローバル座標系において規定される。本実施形態において、目標位置130は、例えば表示装置101の表示画面101Sの中央位置に設定される。なお、目標位置130は、表示画面101Sの端部位置に設定されてもよい。 A target position 130 is set for the subject to gaze. The target position 130 is defined in the three-dimensional global coordinate system. In the present embodiment, the target position 130 is set, for example, at the center position of the display screen 101S of the display device 101. The target position 130 may be set at the end position of the display screen 101S.

表示制御部202は、設定された目標位置130に目標画像を表示させる。これにより、被験者は、目標位置130を注視し易くなる。 The display control unit 202 causes the target image to be displayed at the set target position 130. This makes it easier for the subject to gaze at the target position 130.

直線131は、仮想光源103Vと角膜反射中心113Cとを結ぶ直線である。直線132は、目標位置130と瞳孔中心112Cとを結ぶ直線である。角膜曲率中心110は、直線131と直線132との交点である。曲率中心算出部212は、仮想光源103Vの位置データと、目標位置130の位置データと、瞳孔中心112Cの位置データと、角膜反射中心113Cの位置データとに基づいて、角膜曲率中心110の位置データを算出することができる。 The straight line 131 is a straight line connecting the virtual light source 103V and the corneal reflection center 113C. The straight line 132 is a straight line connecting the target position 130 and the pupil center 112C. The center of curvature 110 of the cornea is the intersection of the straight line 131 and the straight line 132. The curvature center calculation unit 212 is based on the position data of the virtual light source 103V, the position data of the target position 130, the position data of the pupil center 112C, and the position data of the corneal reflection center 113C, and the position data of the corneal curvature center 110. Can be calculated.

図9は、本実施形態に係るキャリブレーション処理(ステップS100)の一例を示すフローチャートである。出力制御部226は、表示装置101の表示画面101Sに目標画像を表示させる(ステップS101)。被験者は、目標画像を注視することにより、目標位置130を注視することができる。 FIG. 9 is a flowchart showing an example of the calibration process (step S100) according to the present embodiment. The output control unit 226 displays the target image on the display screen 101S of the display device 101 (step S101). The subject can gaze at the target position 130 by gazing at the target image.

次に、光源制御部204は、光源駆動部406を制御して、第1光源103A及び第2光源103Bのうち一方の光源から検出光を射出させる(ステップS102)。ステレオカメラ装置102は、第1カメラ102A及び第2カメラ102Bのうち検出光を射出した光源からの距離が長い方のカメラで被験者の眼を撮影する(ステップS103)。 Next, the light source control unit 204 controls the light source drive unit 406 to emit the detected light from one of the first light source 103A and the second light source 103B (step S102). The stereo camera device 102 photographs the eyes of the subject with the camera of the first camera 102A and the second camera 102B, whichever has the longer distance from the light source that emits the detected light (step S103).

次に、光源制御部204は、光源駆動部406を制御して、第1光源103A及び第2光源103Bのうち他方の光源から検出光を射出させる(ステップS104)。ステレオカメラ装置102は、第1カメラ102A及び第2カメラ102Bのうち検出光を射出した光源からの距離が長い方のカメラで被験者の眼を撮影する(ステップS105)。 Next, the light source control unit 204 controls the light source drive unit 406 to emit the detected light from the other light source of the first light source 103A and the second light source 103B (step S104). The stereo camera device 102 photographs the eyes of the subject with the camera of the first camera 102A and the second camera 102B, whichever has the longer distance from the light source that emits the detected light (step S105).

瞳孔112は、暗い部分としてステレオカメラ装置102に検出され、角膜反射像113は、明るい部分としてステレオカメラ装置102に検出される。すなわち、ステレオカメラ装置102で取得される瞳孔112の画像は低輝度となり、角膜反射像113の画像は高輝度となる。位置検出部210は、取得される画像の輝度に基づいて、瞳孔112の位置データ及び角膜反射像113の位置データを検出することができる。また、位置検出部210は、瞳孔112の画像データに基づいて、瞳孔中心112Cの位置データを算出する。また、位置検出部210は、角膜反射像113の画像データに基づいて、角膜反射中心113Cの位置データを算出する(ステップS106)。 The pupil 112 is detected by the stereo camera device 102 as a dark portion, and the corneal reflection image 113 is detected by the stereo camera device 102 as a bright portion. That is, the image of the pupil 112 acquired by the stereo camera device 102 has low brightness, and the image of the corneal reflex image 113 has high brightness. The position detection unit 210 can detect the position data of the pupil 112 and the position data of the corneal reflex image 113 based on the brightness of the acquired image. Further, the position detection unit 210 calculates the position data of the pupil center 112C based on the image data of the pupil 112. Further, the position detection unit 210 calculates the position data of the corneal reflex center 113C based on the image data of the corneal reflex image 113 (step S106).

ステレオカメラ装置102によって検出された位置データは、3次元のローカル座標系で規定される位置データである。位置検出部210は、記憶部222に記憶されている変換パラメータを使用して、ステレオカメラ装置102で検出された瞳孔中心112Cの位置データ及び角膜反射中心113Cの位置データを座標変換して、三次元グローバル座標系で規定される瞳孔中心112Cの位置データ及び角膜反射中心113Cの位置データを算出する(ステップS107)。 The position data detected by the stereo camera device 102 is the position data defined by the three-dimensional local coordinate system. The position detection unit 210 uses the conversion parameters stored in the storage unit 222 to coordinate-convert the position data of the pupil center 112C and the position data of the corneal reflection center 113C detected by the stereo camera device 102 to perform a three-dimensional transformation. The position data of the pupil center 112C and the position data of the corneal reflection center 113C defined by the original global coordinate system are calculated (step S107).

曲率中心算出部212は、グローバル座標系で規定される角膜反射中心113Cと仮想光源103Vとを結ぶ直線131を算出する(ステップS108)。 The curvature center calculation unit 212 calculates a straight line 131 connecting the corneal reflection center 113C defined by the global coordinate system and the virtual light source 103V (step S108).

次に、曲率中心算出部212は、表示装置101の表示画面101Sに規定される目標位置130と瞳孔中心112Cとを結ぶ直線132を算出する(ステップS109)。曲率中心算出部212は、ステップS108で算出した直線131とステップS109で算出した直線132との交点を求め、この交点を角膜曲率中心110とする(ステップS110)。 Next, the curvature center calculation unit 212 calculates a straight line 132 connecting the target position 130 defined on the display screen 101S of the display device 101 and the pupil center 112C (step S109). The curvature center calculation unit 212 obtains an intersection of the straight line 131 calculated in step S108 and the straight line 132 calculated in step S109, and sets this intersection as the corneal curvature center 110 (step S110).

曲率中心算出部212は、瞳孔中心112Cと角膜曲率中心110との距離126を算出して、記憶部222に記憶する(ステップS111)。記憶された距離は、ステップS200の注視点検出処理において、角膜曲率中心110を算出するために使用される。 The curvature center calculation unit 212 calculates the distance 126 between the pupil center 112C and the corneal curvature center 110 and stores it in the storage unit 222 (step S111). The stored distance is used to calculate the corneal curvature center 110 in the gaze point detection process in step S200.

(注視点検出処理)
次に、注視点検出処理(ステップS200)について説明する。注視点検出処理は、キャリブレーション処理の後に実施される。注視点検出部214は、眼111の画像データに基づいて、被験者の視線ベクトル及び注視点の位置データを算出する。
(Gaze point detection process)
Next, the gazing point detection process (step S200) will be described. The gazing point detection process is performed after the calibration process. The gaze point detection unit 214 calculates the gaze vector of the subject and the position data of the gaze point based on the image data of the eye 111.

図10は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。注視点検出処理は、キャリブレーション処理(ステップS100)で求めた瞳孔中心112Cと角膜曲率中心110との距離126を用いて、角膜曲率中心110の位置を補正すること、及び補正された角膜曲率中心110の位置データを使って注視点を算出することを含む。 FIG. 10 is a schematic diagram for explaining an example of the gaze point detection process according to the present embodiment. In the gazing point detection process, the position of the corneal curvature center 110 is corrected by using the distance 126 between the pupil center 112C and the corneal curvature center 110 obtained in the calibration process (step S100), and the corrected corneal curvature center 110 is used. Includes calculating the gaze point using 110 position data.

図10において、注視点165は、一般的な曲率半径値を用いて算出された角膜曲率中心から求めた注視点を示す。注視点166は、キャリブレーション処理で求められた距離126を用いて算出された角膜曲率中心から求めた注視点を示す。 In FIG. 10, the gazing point 165 indicates a gazing point obtained from the center of curvature of the cornea calculated using a general radius of curvature value. The gazing point 166 indicates a gazing point obtained from the center of curvature of the cornea calculated using the distance 126 obtained in the calibration process.

瞳孔中心112Cは、キャリブレーション処理において算出された瞳孔中心を示し、角膜反射中心113Cは、キャリブレーション処理において算出された角膜反射中心を示す。 The pupil center 112C indicates the pupil center calculated in the calibration process, and the corneal reflex center 113C indicates the corneal reflex center calculated in the calibration process.

直線173は、仮想光源103Vと角膜反射中心113Cとを結ぶ直線である。角膜曲率中心110は、一般的な曲率半径値から算出した角膜曲率中心の位置である。 The straight line 173 is a straight line connecting the virtual light source 103V and the corneal reflection center 113C. The corneal curvature center 110 is the position of the corneal curvature center calculated from a general radius of curvature value.

距離126は、キャリブレーション処理により算出した瞳孔中心112Cと角膜曲率中心110との距離である。 The distance 126 is the distance between the pupil center 112C and the corneal curvature center 110 calculated by the calibration process.

角膜曲率中心110Hは、距離126を用いて角膜曲率中心110を補正した補正後の角膜曲率中心の位置を示す。 The corneal curvature center 110H indicates the position of the corrected corneal curvature center after the corneal curvature center 110 is corrected using the distance 126.

角膜曲率中心110Hは、角膜曲率中心110が直線173上に存在すること、及び瞳孔中心112Cと角膜曲率中心110との距離が距離126であることから求められる。これにより、一般的な曲率半径値を用いる場合に算出される視線177は、視線178に補正される。また、表示装置101の表示画面101S上の注視点は、注視点165から注視点166に補正される。 The corneal curvature center 110H is obtained because the corneal curvature center 110 exists on the straight line 173 and the distance between the pupil center 112C and the corneal curvature center 110 is 126. As a result, the line-of-sight 177 calculated when a general radius of curvature value is used is corrected to the line-of-sight 178. Further, the gazing point on the display screen 101S of the display device 101 is corrected from the gazing point 165 to the gazing point 166.

図11は、本実施形態に係る注視点検出処理(ステップS200)の一例を示すフローチャートである。なお、図11に示すステップS201からステップS207までの処理は、図9に示したステップS102からステップS108までの処理と同様であるため説明を省略する。 FIG. 11 is a flowchart showing an example of the gaze point detection process (step S200) according to the present embodiment. Since the processing from step S201 to step S207 shown in FIG. 11 is the same as the processing from step S102 to step S108 shown in FIG. 9, the description thereof will be omitted.

曲率中心算出部212は、ステップS207で算出した直線173上であって、瞳孔中心112Cからの距離がキャリブレーション処理によって求めた距離126と等しい位置を角膜曲率中心110Hとして算出する(ステップS208)。 The curvature center calculation unit 212 calculates the corneal curvature center 110H at a position on the straight line 173 calculated in step S207 where the distance from the pupil center 112C is equal to the distance 126 obtained by the calibration process (step S208).

注視点検出部214は、瞳孔中心112Cと角膜曲率中心110Hとを結ぶ視線ベクトルを算出する(ステップS209)。視線ベクトルは、被験者が見ている視線方向を示す。注視点検出部214は、視線ベクトルと表示装置101の表示画面101Sとの交点の位置データを算出する(ステップS210)。視線ベクトルと表示装置101の表示画面101Sとの交点の位置データが、三次元グローバル座標系で規定される表示画面101Sにおける被験者の注視点の位置データである。 The gazing point detection unit 214 calculates a line-of-sight vector connecting the pupil center 112C and the corneal curvature center 110H (step S209). The line-of-sight vector indicates the line-of-sight direction that the subject is looking at. The gazing point detection unit 214 calculates the position data of the intersection of the line-of-sight vector and the display screen 101S of the display device 101 (step S210). The position data of the intersection of the line-of-sight vector and the display screen 101S of the display device 101 is the position data of the gazing point of the subject on the display screen 101S defined by the three-dimensional global coordinate system.

注視点検出部214は、三次元グローバル座標系で規定される注視点の位置データを、2次元座標系で規定される表示装置101の表示画面101Sにおける位置データに変換する(ステップS211)。これにより、被験者が見つめる表示装置101の表示画面101S上の注視点の位置データが算出される。 The gazing point detection unit 214 converts the gazing point position data defined by the three-dimensional global coordinate system into the position data on the display screen 101S of the display device 101 defined by the two-dimensional coordinate system (step S211). As a result, the position data of the gazing point on the display screen 101S of the display device 101 that the subject looks at is calculated.

次に、本実施形態に係る評価方法について説明する。本実施形態において、視線検出装置100は、例えば被験者の追視能力を評価する評価装置に使用される。以下の説明においては、視線検出装置100を適宜、評価装置100、と称する場合がある。 Next, the evaluation method according to this embodiment will be described. In the present embodiment, the line-of-sight detection device 100 is used, for example, as an evaluation device for evaluating the tracking ability of a subject. In the following description, the line-of-sight detection device 100 may be appropriately referred to as an evaluation device 100.

図12は、表示制御部202が表示装置101に表示させる映像の一例を示す図である。図12に示すように、表示制御部202は、表示装置101の表示画面101Sに、複数の対象物Mを表示させる。本実施形態では、複数の対象物Mとして、例えば3つの対象物Mを表示する。以下、3つの対象物Mを表記する際、対象物M1、M2、M3と表記する場合がある。なお、表示画面101Sに表示する対象物Mの数は、3つに限定されず、2つ又は4つ以上であってもよい。表示制御部202は、対象物M1〜M3を、例えば表示画面101Sに互いに離れた状態で表示する。 FIG. 12 is a diagram showing an example of an image displayed on the display device 101 by the display control unit 202. As shown in FIG. 12, the display control unit 202 causes the display screen 101S of the display device 101 to display a plurality of objects M. In the present embodiment, for example, three objects M are displayed as a plurality of objects M. Hereinafter, when the three objects M are described, they may be described as objects M1, M2, and M3. The number of objects M displayed on the display screen 101S is not limited to three, and may be two or four or more. The display control unit 202 displays the objects M1 to M3 on the display screen 101S, for example, in a state of being separated from each other.

対象物M1〜M3は、例えば開口部が下向きのカップであるが、これに限定されず、他の物品であってもよい。対象物M1〜M3は、外観が同一である。つまり、対象物M1〜M3は、形状、寸法、色彩、姿勢等が同一の状態で表示される。したがって、対象物M1〜M3は、被験者から見た場合に区別がつかない状態で表示される。 The objects M1 to M3 are, for example, cups having an opening facing downward, but are not limited to this, and may be other articles. The objects M1 to M3 have the same appearance. That is, the objects M1 to M3 are displayed in the same state in shape, size, color, posture, and the like. Therefore, the objects M1 to M3 are displayed in an indistinguishable state when viewed from the subject.

また、表示制御部202は、例えば表示画面101Sの上辺に沿った領域に被験者への指示を表示させてもよい。被験者への指示は、例えば特定対象物M0を他の対象物とは異なる表示態様で区別して表示する際の当該表示を見るように指示する場合や、対象物M1〜M3が移動する際に被験者に特定対象物M0を追視するように指示する場合等に、それぞれ指示の内容を文章等で表示させる。 Further, the display control unit 202 may display an instruction to the subject in an area along the upper side of the display screen 101S, for example. The instruction to the subject is, for example, when instructing to see the display when the specific object M0 is displayed separately from other objects in a display mode, or when the objects M1 to M3 move. When instructing to follow the specific object M0, etc., the content of each instruction is displayed in sentences or the like.

また、図12では、出力制御部226により表示画面101Sにおいて、例えば計測後に結果表示される注視点の一例を示している。出力制御部226は、被験者の注視点の位置データを示すプロット点Pを表示装置101に表示させる。注視点の位置データの検出は、例えば第1カメラ102A及び第2カメラ102Bから出力されるフレーム同期信号の周期で(例えば50[msec]毎に)実施される。第1カメラ102A及び第2カメラ102Bは、同期して撮像する。したがって、表示画面101Sのうちプロット点Pが密集している領域ほど、被験者が注視していることを示す。また、プロット点Pの数が多い領域ほど、被験者がその領域を注視している時間が長いことを示す。 Further, FIG. 12 shows an example of a gazing point where the output control unit 226 displays, for example, the result after measurement on the display screen 101S. The output control unit 226 causes the display device 101 to display the plot point P indicating the position data of the gazing point of the subject. The detection of the position data of the gazing point is performed, for example, in the cycle of the frame synchronization signal output from the first camera 102A and the second camera 102B (for example, every 50 [msec]). The first camera 102A and the second camera 102B take images in synchronization with each other. Therefore, in the display screen 101S, the area where the plot points P are denser indicates that the subject is gazing. Further, the larger the number of plot points P, the longer the time for the subject to gaze at the area.

脳神経疾病・障がいの症状は、追視能力に影響することが知られている。被験者が脳神経疾病・障がい者ではない場合、複数の対象物M1〜M3が表示画面101Sに移動させた状態で示され、そのうち1つの対象物Mについて注視点を追従させる(追視させる)ように指示された場合に、当該1つの対象物Mについて追視することができる。一方、被験者が脳神経疾病・障がい者である場合では、複数の対象物M1〜M3を表示画面101Sに移動させた状態で示され、そのうち1つの対象物Mについて追視するように指示された場合、当該1つの対象物Mを追視できないことがある。 Symptoms of cranial nerve diseases and disabilities are known to affect tracking ability. When the subject is not a person with a cranial nerve disease or a disability, a plurality of objects M1 to M3 are shown in a state of being moved to the display screen 101S, and one of the objects M is made to follow (follow) the gazing point. When instructed, the one object M can be followed up. On the other hand, when the subject is a person with a cranial nerve disease or a disability, a plurality of objects M1 to M3 are shown in a state of being moved to the display screen 101S, and one of the objects M is instructed to follow. , The one object M may not be closely watched.

このため、例えば以下の手順を行うことにより、被験者を評価することが可能である。まず、表示画面101Sに複数の対象物Mを表示させた状態で被験者に1つの対象物Mを特定対象物として記憶させる。その後、表示画面101Sに複数の対象物Mを移動させた状態で表示し、特定対象物を追視するように被験者に指示する。つまり、特定対象物の移動に応じて視線を移動させ、特定対象物に視線を合わせ続けるように被験者に指示する。この場合に、被験者が特定対象物を追視できるかを検出することにより、被験者を評価することが可能である。 Therefore, it is possible to evaluate the subject by performing the following procedure, for example. First, the subject is made to store one object M as a specific object in a state where a plurality of objects M are displayed on the display screen 101S. After that, a plurality of objects M are displayed on the display screen 101S in a moved state, and the subject is instructed to follow the specific object. That is, the subject is instructed to move the line of sight according to the movement of the specific object and keep the line of sight on the specific object. In this case, it is possible to evaluate the subject by detecting whether the subject can follow the specific object.

図13から図19は、本実施形態に係る表示制御部202が表示画面101Sに表示させる映像の一例を示す図である。図20は、各映像が表示される期間を示すタイムチャートである。表示制御部202により映像が再生される場合、まず、第1表示動作が行われる。第1表示動作では、対象物M1〜M3のうち1つの対象物Mが特定対象物M0として他の対象物Mとは異なる表示態様で区別して表示画面101Sに表示された後に、特定対象物M0が他の対象物Mと同一の表示態様で表示画面101Sに表示される。本実施形態では、対象物M1〜M3のうち、対象物M2が特定対象物M0として設定される場合を例に挙げて説明する。なお、対象物M1、M3のいずれかが特定対象物M0として設定される場合についても、同様の説明が可能である。 13 to 19 are diagrams showing an example of an image displayed on the display screen 101S by the display control unit 202 according to the present embodiment. FIG. 20 is a time chart showing a period in which each image is displayed. When the video is reproduced by the display control unit 202, the first display operation is first performed. In the first display operation, one of the objects M1 to M3 is displayed on the display screen 101S as the specific object M0 in a display mode different from that of the other objects M, and then the specific object M0 is displayed. Is displayed on the display screen 101S in the same display mode as the other object M. In the present embodiment, the case where the object M2 is set as the specific object M0 among the objects M1 to M3 will be described as an example. The same explanation can be made when any of the objects M1 and M3 is set as the specific object M0.

図13に示すように、第1表示動作では、まず対象物M1〜M3が表示され、特定対象物M0が他の対象物M1、M3とは異なる表示態様で区別して表示画面101Sに表示される。図13では、特定対象物M0が被遮蔽物であるコインCを遮蔽する動作を行い、他の対象物M1、M3については静止した状態が所定期間(図20の期間T1)表示される。この表示により、被験者に対して直感的に特定対象物M0を認識させることができる。期間T1では、特定対象物M0を被験者に記憶させるため、例えば「特定対象物M0を覚えて下さい」等の指示が表示画面101Sに表示されてもよい。期間T1において、領域設定部216は、表示画面101Sには表示されないが、特定対象物M0に対応した対応領域Aを設定する。以下、期間T1において設定される対応領域Aを対応領域A1と表記する場合がある。対応領域A1は、例えば特定対象物M0及びコインCを含む範囲に設定される。 As shown in FIG. 13, in the first display operation, the objects M1 to M3 are first displayed, and the specific object M0 is displayed on the display screen 101S in a display mode different from that of the other objects M1 and M3. .. In FIG. 13, the specific object M0 performs an operation of shielding the coin C which is a shielded object, and the other objects M1 and M3 are displayed in a stationary state for a predetermined period (period T1 in FIG. 20). With this display, the subject can intuitively recognize the specific object M0. In the period T1, in order to store the specific object M0 in the subject, an instruction such as "remember the specific object M0" may be displayed on the display screen 101S. In the period T1, the area setting unit 216 sets the corresponding area A corresponding to the specific object M0, although it is not displayed on the display screen 101S. Hereinafter, the corresponding area A set in the period T1 may be referred to as the corresponding area A1. The corresponding area A1 is set to a range including, for example, the specific object M0 and the coin C.

第1表示動作では、期間T1が経過した後、図14に示すように、特定対象物M0が他の対象物M1、M3と同一の表示態様で表示画面101Sに所定期間(図20の期間T2)表示される。例えば、特定対象物M0がコインCを遮蔽した後、他の対象物M1、M3と区別がつかない状態で表示画面101Sに表示される。期間T2では、特定対象物M0に視線を合わせるように、例えば「特定対象物M0を注視して下さい」等の指示が表示画面101Sに表示されてもよい。期間T2において、領域設定部216は、表示画面101Sには表示されないが、特定対象物M0に対応した対応領域Aを設定する。以下、期間T2において設定される対応領域Aを対応領域A2と表記する場合がある。なお、期間T2ではコインCが表示されないため、対応領域A1と対応領域A2とで範囲が異なっている。第1表示期間において、出力制御部226は、被験者の注視点の位置データを示すプロット点Pを表示画面101Sに表示させてもよい。このようにして、第1表示動作が完了する。 In the first display operation, after the period T1 elapses, as shown in FIG. 14, the specific object M0 is displayed on the display screen 101S in the same display mode as the other objects M1 and M3 (the period T2 in FIG. 20). )Is displayed. For example, after the specific object M0 shields the coin C, it is displayed on the display screen 101S in a state indistinguishable from the other objects M1 and M3. In the period T2, an instruction such as "Please pay attention to the specific object M0" may be displayed on the display screen 101S so as to align the line of sight with the specific object M0. In the period T2, the area setting unit 216 sets the corresponding area A corresponding to the specific object M0, although it is not displayed on the display screen 101S. Hereinafter, the corresponding area A set in the period T2 may be referred to as the corresponding area A2. Since the coin C is not displayed in the period T2, the range is different between the corresponding area A1 and the corresponding area A2. In the first display period, the output control unit 226 may display the plot point P indicating the position data of the gazing point of the subject on the display screen 101S. In this way, the first display operation is completed.

第1表示動作が完了した後、続けて第2表示動作が行われる。第2表示動作では、図15〜図17に示すように、対象物M1〜M3が移動する状態が同一の表示態様で表示画面101Sに所定期間(図20の期間T3〜T5)表示される。この場合、特定対象物M0は、他の対象物M1、M3と区別がつかない状態で表示画面101Sに表示される。なお、第2表示動作が行われる第2表示期間(期間T3〜T5)では、移動する特定対象物M0に視線を合わせ続けるように、例えば「特定対象物M0を追視して下さい」等の指示が表示画面101Sに表示されてもよい。第2表示期間の各期間T3、T4、T5は、互いに等しい期間として設定することができる。なお、対象物M1〜M3は、必ずしも全てが移動しなくてもよい。例えば、特定対象物M0が設定されている対象物M2が移動せず、対象物M1及び対象物M3のみが移動してもよい。以下では対象物M1〜M3の全てが移動するものとして説明する。 After the first display operation is completed, the second display operation is subsequently performed. In the second display operation, as shown in FIGS. 15 to 17, the moving states of the objects M1 to M3 are displayed on the display screen 101S for a predetermined period (periods T3 to T5 in FIG. 20) in the same display mode. In this case, the specific object M0 is displayed on the display screen 101S in a state in which it is indistinguishable from the other objects M1 and M3. In the second display period (periods T3 to T5) in which the second display operation is performed, for example, "Please follow the specific object M0" or the like so as to keep the line of sight on the moving specific object M0. The instruction may be displayed on the display screen 101S. Each period T3, T4, T5 of the second display period can be set as a period equal to each other. It should be noted that all of the objects M1 to M3 do not necessarily have to move. For example, the object M2 in which the specific object M0 is set may not move, and only the object M1 and the object M3 may move. In the following, it will be described that all of the objects M1 to M3 move.

第2表示期間において、領域設定部216は、表示画面101Sには表示されないが、特定対象物M0に対応した対応領域Aを設定する。領域設定部216は、例えば移動する特定対象物M0の軌跡に基づいて対応領域Aを設定することができる。この場合、領域設定部216は、期間毎に対応領域Aを設定してもよい。 In the second display period, the area setting unit 216 sets the corresponding area A corresponding to the specific object M0, although it is not displayed on the display screen 101S. The area setting unit 216 can set the corresponding area A based on, for example, the locus of the moving specific object M0. In this case, the area setting unit 216 may set the corresponding area A for each period.

例えば、領域設定部216は、図15に示すように、期間T3における特定対象物M0の軌跡を含む範囲に対応領域Aを設定する。この場合、対応領域Aは、特定対象物M0の軌跡に対応して、表示画面101Sの図中の左右方向の中央部近傍に上下方向に延びた状態で形成される。以下、期間T3において設定される対応領域Aを対応領域A3と表記する場合がある。 For example, as shown in FIG. 15, the area setting unit 216 sets the corresponding area A in the range including the locus of the specific object M0 in the period T3. In this case, the corresponding region A is formed in a state of extending in the vertical direction in the vicinity of the central portion in the horizontal direction in the drawing of the display screen 101S corresponding to the locus of the specific object M0. Hereinafter, the corresponding area A set in the period T3 may be referred to as the corresponding area A3.

表示期間が期間T3から期間T4に切り替わった場合、領域設定部216は、図16に示すように、期間T4における特定対象物M0の軌跡を含む範囲に対応領域Aを設定する。この場合、対応領域Aは、特定対象物M0の軌跡に対応して、表示画面101Sの図中の左上に左右方向に延びた状態で形成される。以下、期間T4において設定される対応領域Aを対応領域A4と表記する場合がある。 When the display period is switched from the period T3 to the period T4, the area setting unit 216 sets the corresponding area A in the range including the locus of the specific object M0 in the period T4 as shown in FIG. In this case, the corresponding region A is formed in a state of extending in the left-right direction in the upper left of the figure of the display screen 101S corresponding to the locus of the specific object M0. Hereinafter, the corresponding area A set in the period T4 may be referred to as the corresponding area A4.

表示期間が期間T4から期間T5に切り替わった場合、領域設定部216は、図17に示すように、期間T5における特定対象物M0の軌跡を含む範囲に対応領域A5を設定する。この場合、対応領域Aは、特定対象物M0の軌跡に対応して、表示画面101Sの図中の左側に上下方向に延びた状態で形成される。以下、期間T5において設定される対応領域Aを対応領域A5と表記する場合がある。 When the display period is switched from the period T4 to the period T5, the area setting unit 216 sets the corresponding area A5 in the range including the locus of the specific object M0 in the period T5, as shown in FIG. In this case, the corresponding region A is formed in a state of extending in the vertical direction on the left side in the drawing of the display screen 101S corresponding to the locus of the specific object M0. Hereinafter, the corresponding area A set in the period T5 may be referred to as the corresponding area A5.

第2表示期間において、対象物M1〜M3は、例えば互いに重ならないように移動ルートが設定されている。領域設定部216は、設定された特定対象物M0の移動ルートの情報を取得することにより、特定対象物M0の軌跡に応じた対応領域A3〜A5を設定可能である。このように、領域設定部216は、期間T3、T4、T5によって対応領域Aの範囲を変更することができる。なお、第2表示期間において、出力制御部226は、被験者の注視点の位置データを示すプロット点Pを表示画面101Sに表示させてもよい。このようにして、第2表示動作が完了する。 In the second display period, the movement routes of the objects M1 to M3 are set so as not to overlap each other, for example. The area setting unit 216 can set the corresponding areas A3 to A5 according to the locus of the specific object M0 by acquiring the information on the movement route of the set specific object M0. In this way, the area setting unit 216 can change the range of the corresponding area A depending on the periods T3, T4, and T5. In the second display period, the output control unit 226 may display the plot point P indicating the position data of the gazing point of the subject on the display screen 101S. In this way, the second display operation is completed.

第2表示動作が完了した後、続けて第3表示動作が行われる。第3表示動作では、図18に示すように、対象物M1〜M3の移動が停止する状態が同一の表示態様で表示画面101Sに所定期間(図20の期間T6)表示される。この場合においても、特定対象物M0は、他の対象物M1、M3と区別がつかない状態で表示画面101Sに表示される。なお、期間T6では、移動を停止した特定対象物M0に視線を合わせ続けるように、例えば「特定対象物M0を注視して下さい」等の指示が表示画面101Sに表示されてもよい。第3表示動作が行われる第3表示期間(期間T6)において、領域設定部216は、表示画面101Sには表示されないが、特定対象物M0に対応した対応領域Aを設定する。以下、期間T6において設定される対応領域Aを対応領域A6と表記する場合がある。対応領域A6は、特定対象物M0を囲う範囲に設定される。なお、第3表示期間において、出力制御部226は、被験者の注視点の位置データを示すプロット点Pを表示画面101Sに表示させてもよい。このようにして、第3表示動作が完了する。第3表示動作が完了した場合、領域設定部216は、対応領域A6の設定を解除する。これにより、表示画面101Sには対応領域Aが設定されていない状態となる。したがって、領域設定部216は、表示期間が期間T1、T2、T3、T4、T5、T6と切り替わって進む際に、表示画面101Sに対応領域Aを、それぞれ対応領域A1、A2、A3、A4、A5、A6と切り替えて設定する。 After the second display operation is completed, the third display operation is subsequently performed. In the third display operation, as shown in FIG. 18, the state in which the movement of the objects M1 to M3 is stopped is displayed on the display screen 101S for a predetermined period (period T6 in FIG. 20) in the same display mode. Even in this case, the specific object M0 is displayed on the display screen 101S in a state in which it is indistinguishable from the other objects M1 and M3. In the period T6, an instruction such as "Please pay attention to the specific object M0" may be displayed on the display screen 101S so as to keep the line of sight on the specific object M0 that has stopped moving. In the third display period (period T6) in which the third display operation is performed, the area setting unit 216 sets the corresponding area A corresponding to the specific object M0, although it is not displayed on the display screen 101S. Hereinafter, the corresponding area A set in the period T6 may be referred to as the corresponding area A6. The corresponding area A6 is set in a range surrounding the specific object M0. In the third display period, the output control unit 226 may display the plot point P indicating the position data of the gazing point of the subject on the display screen 101S. In this way, the third display operation is completed. When the third display operation is completed, the area setting unit 216 cancels the setting of the corresponding area A6. As a result, the corresponding area A is not set on the display screen 101S. Therefore, when the display period is switched to the periods T1, T2, T3, T4, T5, and T6, the area setting unit 216 displays the corresponding area A on the display screen 101S, and the corresponding areas A1, A2, A3, and A4, respectively. Set by switching between A5 and A6.

第3表示動作が完了した後、続けて第4表示動作が行われる。第4表示動作では、特定対象物M0が他の対象物M1、M3とは異なる表示態様で区別されて表示画面101Sに表示される。例えば、図19に示すように、特定対象物M0を上昇させてコインCが現れる状態が表示される。これにより、被験者に対して、移動後の特定対象物M0の位置を直観的に知らせることができる。このようにして、第4表示動作が完了する。第4表示動作の期間T7が経過した後、映像の再生が終了する。なお、期間T7においては、映像が終了した旨が表示画面101Sに表示されてもよい。 After the third display operation is completed, the fourth display operation is continuously performed. In the fourth display operation, the specific object M0 is distinguished from the other objects M1 and M3 in a display mode and displayed on the display screen 101S. For example, as shown in FIG. 19, a state in which the coin C appears by raising the specific object M0 is displayed. This makes it possible to intuitively inform the subject of the position of the specific object M0 after movement. In this way, the fourth display operation is completed. After the period T7 of the fourth display operation elapses, the reproduction of the video ends. In the period T7, the fact that the video has ended may be displayed on the display screen 101S.

被験者が脳神経疾病・障がい者ではない場合、対象物M1〜M3のうち1つの特定対象物M0を追視するように指示された場合、特定対象物M0に追従して視点を合わせることができる。一方、被験者が脳神経疾病・障がい者である場合、対象物M1〜M3のうち1つの特定対象物M0を追視するように指示された場合、特定対象物M0に追従して視線を合わせることができないことがある。 When the subject is not a person with a cranial nerve disease or a disability, and is instructed to follow the specific object M0, which is one of the objects M1 to M3, the viewpoint can be adjusted by following the specific object M0. On the other hand, when the subject is a person with a cranial nerve disease or a disability, when instructed to follow the specific object M0 of one of the objects M1 to M3, the line of sight may be adjusted following the specific object M0. There are things you can't do.

上記の第1表示期間〜第3表示期間(期間T1〜T6)において、判定部218は、注視点が対応領域Aに存在するか否かをそれぞれ判定し、判定データを出力する。また、演算部220は、第1表示期間〜第3表示期間(期間T1〜T6)において、判定データに基づいて、注視点を示すプロット点Pが対応領域Aに存在した存在時間をそれぞれ示す時間データを算出する。本実施形態において、時間データは、例えば第1表示期間(期間T1、T2)において対応領域A1、A2に注視点が存在する時間を示す第1時間データと、第2表示期間(期間T3〜T5)において対応領域A3〜A5に注視点が存在する時間を示す第2時間データと、第3表示期間(期間T6)において対応領域A6に注視点が存在する時間を示す第3時間データと、を含む。 In the first display period to the third display period (periods T1 to T6), the determination unit 218 determines whether or not the gazing point exists in the corresponding region A, and outputs the determination data. Further, the calculation unit 220 indicates the time during which the plot point P indicating the gazing point exists in the corresponding region A based on the determination data in the first display period to the third display period (periods T1 to T6). Calculate the data. In the present embodiment, the time data includes, for example, the first time data indicating the time when the gazing point exists in the corresponding areas A1 and A2 in the first display period (periods T1 and T2), and the second display period (periods T3 to T5). ), The second time data indicating the time when the gazing point exists in the corresponding areas A3 to A5, and the third time data indicating the time when the gazing point exists in the corresponding area A6 in the third display period (period T6). Including.

また、本実施形態において、判定部218において注視点が存在すると判定された回数が多いほど、対応領域Aに注視点が存在した存在時間が長いと推定することができる。したがって、本実施形態において、時間データは、例えば対応領域Aについて表示期間内に判定部218で注視点が存在すると判定された回数とすることができる。つまり、時間データは、表示期間内に対応領域Aで検出されるプロット点Pの数とすることができる。演算部220は、判定部218に設けられるカウンタのカウント結果を用いて時間データを算出可能である。 Further, in the present embodiment, it can be estimated that the greater the number of times the determination unit 218 determines that the gaze point exists, the longer the gaze point exists in the corresponding region A. Therefore, in the present embodiment, the time data can be, for example, the number of times that the determination unit 218 determines that the gazing point exists in the corresponding area A within the display period. That is, the time data can be the number of plot points P detected in the corresponding area A within the display period. The calculation unit 220 can calculate the time data by using the count result of the counter provided in the determination unit 218.

本実施形態において、評価部224は、時間データに基づいて評価データを求める場合、例えば、以下のように行うことができる。 In the present embodiment, when the evaluation unit 224 obtains the evaluation data based on the time data, it can be performed as follows, for example.

まず、演算部220に設けられるカウンタは、第1表示期間において第1時間データをカウントし、第2表示期間において第2時間データをカウントし、第3表示期間において第3時間データをカウントする。ここで、第1時間データのカウンタ値をCNTAとし、第2時間データのカウンタ値をCNTBとし、第3時間データのカウンタ値をCNTCとする。 First, the counter provided in the calculation unit 220 counts the first hour data in the first display period, counts the second hour data in the second display period, and counts the third hour data in the third display period. Here, the counter value of the first time data is set to CTAN, the counter value of the second time data is set to CNTB, and the counter value of the third time data is set to CNTC.

この場合、評価部224は、評価データを求めるための評価値を、以下のように求めることができる。例えば、被験者の注視点が対応領域Aに存在した時間の長さを判断することにより、評価値を求めることができる。被験者が特定対象物M0に追従して視線を合わせ続けている場合、対応領域Aを注視する時間が長くなる。第1表示期間において、対応領域A1、A2に存在する注視点の存在時間が長いほど、カウンタ値CNTAの値が大きくなる。第2表示期間において、対応領域A3〜A5に存在する注視点の存在時間が長いほど、カウンタ値CNTBの値が大きくなる。第3表示期間において、対応領域A6に存在する注視点の存在時間が長いほど、カウンタ値CNTCの値が大きくなる。このため、カウンタ値CNTA、CNTB、CNTCの合計値が所定値以上か否かを判断することで、評価値を求めることができる。例えばカウンタ値CNTA、CNTB、CNTCの合計値が所定値以上である場合、被験者が脳神経疾病・障がい者である可能性は低いと評価することができる。また、カウンタ値CNTA、CNTB、CNTCの合計値が所定値未満である場合、被験者が脳神経疾病・障がい者である可能性は高いと評価することができる。 In this case, the evaluation unit 224 can obtain the evaluation value for obtaining the evaluation data as follows. For example, the evaluation value can be obtained by determining the length of time that the subject's gazing point has existed in the corresponding region A. When the subject keeps looking at the specific object M0 following the specific object M0, the time for gazing at the corresponding region A becomes longer. In the first display period, the longer the gaze point existing in the corresponding areas A1 and A2, the larger the counter value CNTA value. In the second display period, the longer the gaze point existing in the corresponding areas A3 to A5, the larger the counter value CNTB value. In the third display period, the longer the gaze point existing in the corresponding area A6 is, the larger the counter value CNTC value becomes. Therefore, the evaluation value can be obtained by determining whether or not the total value of the counter values CNTA, CNTB, and CNTC is equal to or greater than a predetermined value. For example, when the total value of the counter values CNTA, CNTB, and CNTC is equal to or higher than a predetermined value, it can be evaluated that the subject is unlikely to have a cranial nerve disease / disability. In addition, when the total value of the counter values CNTA, CNTB, and CNTC is less than a predetermined value, it can be evaluated that the subject is highly likely to have a cranial nerve disease / disability.

なお、所定値としては、例えば脳神経疾病・障がい者ではない被験者のカウンタ値CNTA、CNTB、CNTCの平均値、又は当該平均値に基づいて設定される値等を用いることができる。また、所定値として、例えば脳神経疾病・障がい者ではない被験者のカウンタ値CNTA、CNTB、CNTCの最低値を用いてもよい。この場合、予め所定値を年齢及び性別ごとに設定しておき、被験者の年齢及び性別に応じた値を用いるようにしてもよい。 As the predetermined value, for example, the average value of the counter values CNTA, CNTB, and CNTC of a subject who is not a cranial nerve disease / disabled person, or a value set based on the average value can be used. Further, as a predetermined value, for example, the lowest counter values of CNTA, CNTB, and CNTC of a subject who is not a cranial nerve disease / disabled person may be used. In this case, a predetermined value may be set in advance for each age and gender, and a value corresponding to the age and gender of the subject may be used.

また、評価部224は、例えば以下の式(1)により評価値ANSを求めることができる。 Further, the evaluation unit 224 can obtain the evaluation value ANS by, for example, the following equation (1).

ANS=(K1×CNTA)+(K2×CNTB)+(K3×CNTC)・・・(1) ANS = (K1 x CNTA) + (K2 x CNTB) + (K3 x CNTC) ... (1)

上記の式(1)において、定数K1、K2、K3は、重みづけのための定数である。定数K1、K2、K3については、例えば、K1、K2<K3とすることができる。この場合、第1時間データ及び第2時間データの影響よりも第3時間データの影響に重みをつけた評価値ANSを求めることができる。 In the above equation (1), the constants K1, K2, and K3 are constants for weighting. For the constants K1, K2, and K3, for example, K1, K2 <K3 can be set. In this case, it is possible to obtain the evaluation value ANS in which the influence of the third time data is weighted rather than the influence of the first time data and the second time data.

また、定数K1、K2、K3について、例えば、K1<K2<K3とすることができる。この場合、第1時間データの影響よりも第2時間データの影響に重みをつけ、更に第2時間データの影響よりも第3時間データの影響に重みをつけた評価値ANSを求めることができる。第3表示期間で特定対象物M0に視点を合わせることができる場合、それまでの第1表示期間及び第2表示期間においても特定対象物M0に追視していた可能性が高いと考えられる。したがって、第3時間データに重みをつけて評価値を求めることにより、効率的に評価データを得ることができる。なお、定数K1、K2、K3をそれぞれ等しい値(例えば、1)とし、重みづけをすることなく評価値ANSを求めてもよい。このように、第1時間データ、第2時間データ及び第3時間データに基づいて評価データを求めことにより、第1表示動作における追視能力、第2表示動作における追視能力、及び第3表示動作における追視能力を細分化して評価することができる。 Further, for the constants K1, K2, and K3, for example, K1 <K2 <K3 can be set. In this case, it is possible to obtain the evaluation value ANS in which the influence of the second time data is weighted more than the influence of the first time data, and the influence of the third time data is weighted more than the influence of the second time data. .. If the viewpoint can be focused on the specific object M0 in the third display period, it is highly probable that the specific object M0 was closely watched even in the first display period and the second display period up to that point. Therefore, the evaluation data can be efficiently obtained by weighting the third time data and obtaining the evaluation value. The constants K1, K2, and K3 may be set to equal values (for example, 1), and the evaluation value ANS may be obtained without weighting. In this way, by obtaining the evaluation data based on the first time data, the second time data, and the third time data, the tracking ability in the first display operation, the tracking ability in the second display operation, and the third display It is possible to subdivide and evaluate the tracking ability in motion.

次に、本実施形態に係る評価方法の一例について、図21を参照しながら説明する。図21は、本実施形態に係る評価方法の一例を示すフローチャートである。本実施形態においては、表示制御部202は、映像の再生を開始させる(ステップS301)。表示画面101Sには、図13から図19に示す映像が順に表示される。 Next, an example of the evaluation method according to the present embodiment will be described with reference to FIG. FIG. 21 is a flowchart showing an example of the evaluation method according to the present embodiment. In the present embodiment, the display control unit 202 starts the reproduction of the video (step S301). The images shown in FIGS. 13 to 19 are sequentially displayed on the display screen 101S.

また、演算部220は、映像の再生時間を管理する管理タイマと、図20に示すタイムチャートにおける期間T1〜期間T7のうち現在再生されている映像がどの期間に属するかを検出する検出タイマとをリセットして、それぞれ計測を開始させる(ステップS302)。また、判定部218は、カウンタ値CNTA、CNTB、CNTCをそれぞれ0にリセットして計測を開始させる(ステップS303)。 Further, the calculation unit 220 includes a management timer that manages the playback time of the video, and a detection timer that detects which period the currently played video belongs to among the periods T1 to T7 in the time chart shown in FIG. Is reset to start each measurement (step S302). Further, the determination unit 218 resets the counter values CNTA, CNTB, and CNTC to 0, respectively, and starts the measurement (step S303).

注視点検出部214は、表示装置101に表示された映像を被験者に見せた状態で、規定のサンプリング周期(例えば50[msec])毎に、表示装置101の表示画面101Sにおける被験者の注視点の位置データを検出する(ステップS304)。 The gazing point detection unit 214 displays the image displayed on the display device 101 to the subject, and at every predetermined sampling cycle (for example, 50 [msec]), the gazing point of the subject on the display screen 101S of the display device 101. The position data is detected (step S304).

位置データが検出された場合(ステップS305のNo)、演算部220は、検出タイマの検出結果により、表示期間が期間T1又はT2であるか否かの判定を行う(ステップS306)。表示期間が期間T1又はT2であると判断された場合(ステップS306のYes)、領域設定部216は、期間T1に対応した対応領域A1、期間T2に対応した対応領域A2をそれぞれ設定する(ステップS307)。対応領域A1、A2が設定された後、判定部218は、被験者の注視点が対応領域A1、A2に存在するか否かを判定して判定データを出力する(ステップS308)。判定部218により注視点が対応領域A1、A2に存在すると判定された場合(ステップS308のYes)、演算部220は、カウンタ値CNTAを+1とする(ステップS309)。判定部218により注視点が対応領域A1、A2に存在しないと判定された場合(ステップS308のNo)、演算部220は、カウンタ値CNTAを変更しない。 When the position data is detected (No in step S305), the calculation unit 220 determines whether or not the display period is the period T1 or T2 based on the detection result of the detection timer (step S306). When it is determined that the display period is the period T1 or T2 (Yes in step S306), the area setting unit 216 sets the corresponding area A1 corresponding to the period T1 and the corresponding area A2 corresponding to the period T2, respectively (step). S307). After the corresponding areas A1 and A2 are set, the determination unit 218 determines whether or not the gazing point of the subject exists in the corresponding areas A1 and A2, and outputs the determination data (step S308). When the determination unit 218 determines that the gazing point exists in the corresponding areas A1 and A2 (Yes in step S308), the calculation unit 220 sets the counter value CTAN to +1 (step S309). When the determination unit 218 determines that the gazing point does not exist in the corresponding areas A1 and A2 (No in step S308), the calculation unit 220 does not change the counter value CTAN.

表示期間が期間T1又はT2ではないと判断された場合(ステップS306のNo)、演算部220は、検出タイマの検出結果により、表示期間が期間T3〜T5であるか否かの判定を行う(ステップS310)。表示期間が期間T3〜T5であると判断された場合(ステップS310のYes)、領域設定部216は、期間T3に対応した対応領域A3、期間T4に対応した対応領域A4、期間T5に対応した対応領域A5をそれぞれ設定する(ステップS311)。対応領域A3〜A5が設定された後、判定部218は、被験者の注視点が対応領域A3〜A5に存在するか否かを判定して判定データを出力する(ステップS312)。判定部218により注視点が対応領域A3〜A5に存在すると判定された場合(ステップS312のYes)、演算部220は、カウンタ値CNTBを+1とする(ステップS313)。判定部218により注視点が対応領域A3〜A5に存在しないと判定された場合(ステップS312のNo)、演算部220は、カウンタ値CNTBを変更しない。 When it is determined that the display period is not the period T1 or T2 (No in step S306), the calculation unit 220 determines whether or not the display period is the period T3 to T5 based on the detection result of the detection timer (No). Step S310). When it is determined that the display period is the period T3 to T5 (Yes in step S310), the area setting unit 216 corresponds to the corresponding area A3 corresponding to the period T3, the corresponding area A4 corresponding to the period T4, and the period T5. Corresponding areas A5 are set respectively (step S311). After the corresponding areas A3 to A5 are set, the determination unit 218 determines whether or not the gazing point of the subject exists in the corresponding areas A3 to A5 and outputs the determination data (step S312). When the determination unit 218 determines that the gazing point exists in the corresponding areas A3 to A5 (Yes in step S312), the calculation unit 220 sets the counter value CNTB to +1 (step S313). When the determination unit 218 determines that the gazing point does not exist in the corresponding areas A3 to A5 (No in step S312), the calculation unit 220 does not change the counter value CNTB.

表示期間が期間T3〜T5ではないと判断された場合(ステップS310のNo)、演算部220は、検出タイマの検出結果により、表示期間が期間T6であるか否かの判定を行う(ステップS314)。表示期間が期間T6であると判断された場合(ステップS314のYes)、領域設定部216は、期間T6に対応した対応領域A6を設定する(ステップS315)。対応領域A6が設定された後、判定部218は、被験者の注視点が対応領域A6に存在するか否かを判定して判定データを出力する(ステップS316)。判定部218により注視点が対応領域A6に存在すると判定された場合(ステップS316のYes)、演算部220は、カウンタ値CNTCを+1とする(ステップS317)。判定部218により注視点が対応領域A6に存在しないと判定された場合(ステップS316のNo)、演算部220は、カウンタ値CNTCを変更しない。 When it is determined that the display period is not the period T3 to T5 (No in step S310), the calculation unit 220 determines whether or not the display period is the period T6 based on the detection result of the detection timer (step S314). ). When it is determined that the display period is the period T6 (Yes in step S314), the area setting unit 216 sets the corresponding area A6 corresponding to the period T6 (step S315). After the corresponding area A6 is set, the determination unit 218 determines whether or not the gazing point of the subject exists in the corresponding area A6 and outputs the determination data (step S316). When the determination unit 218 determines that the gazing point exists in the corresponding region A6 (Yes in step S316), the calculation unit 220 sets the counter value CNTC to +1 (step S317). When the determination unit 218 determines that the gazing point does not exist in the corresponding region A6 (No in step S316), the calculation unit 220 does not change the counter value CNTC.

表示期間が期間T6ではないと判断された場合(ステップS314のNo)、又は、上記のステップS308のNo、ステップS309、ステップS312のNo、ステップS313、ステップS316のNo、ステップS317のいずれかの処理が行われた後、演算部220は、管理タイマの検出結果に基づいて、映像の再生が完了する時刻に到達したか否かを判断する(ステップS318)。演算部220により映像の再生が完了する時刻に到達していないと判断された場合(ステップS318のNo)、上記のステップS304以降の処理を繰り返し行う。 When it is determined that the display period is not the period T6 (No in step S314), or any of the above-mentioned No in step S308, step S309, No in step S312, No in step S313, No in step S316, and step S317. After the processing is performed, the calculation unit 220 determines whether or not the time for completing the reproduction of the video has been reached based on the detection result of the management timer (step S318). When the calculation unit 220 determines that the time at which the reproduction of the video is completed has not been reached (No in step S318), the processes after step S304 are repeated.

演算部220により映像の再生が完了する時刻に到達したと判断された場合(ステップS318のYes)、表示制御部202は、映像の再生を停止させる(ステップS319)。映像の再生が停止された後、評価部224は、上記の処理結果から得られる時間データに基づいて、評価値ANSを算出し(ステップS320)、評価値ANSに基づいて評価データを求める。その後、出力制御部226は、評価部224で求められた評価データを出力する(ステップS321)。 When the calculation unit 220 determines that the time at which the video reproduction is completed has been reached (Yes in step S318), the display control unit 202 stops the video reproduction (step S319). After the reproduction of the video is stopped, the evaluation unit 224 calculates the evaluation value ANS based on the time data obtained from the above processing result (step S320), and obtains the evaluation data based on the evaluation value ANS. After that, the output control unit 226 outputs the evaluation data obtained by the evaluation unit 224 (step S321).

以上のように、本実施形態に係る評価装置100は、被験者の眼球の画像データを取得する画像データ取得部206と、画像データに基づいて、被験者の注視点の位置データを検出する注視点検出部214と、外観が同一の複数の対象物Mについて1つの対象物Mを特定対象物M0として他の対象物Mとは異なる表示態様で区別して表示画面101Sに表示した後に特定対象物M0を他の対象物Mと同一の表示態様で表示画面101Sに表示する第1表示動作と、第1表示動作を行った後に複数の対象物Mが移動する状態を同一の表示態様で表示画面101Sに表示する第2表示動作と、第2表示動作を行った後に複数の対象物Mの移動が停止する状態を同一の表示態様で表示画面101Sに表示する第3表示動作と、含む表示動作を行う表示制御部202と、表示画面101Sにおいて、特定対象物M0の位置に対応した対応領域Aを設定する領域設定部216と、注視点の位置データに基づいて、表示動作が行われる表示期間に注視点が対応領域Aに存在するか否かをそれぞれ判定し、判定データを出力する判定部218と、判定データに基づいて、表示期間に注視点が対応領域Aに存在した存在時間を示す時間データを算出する演算部220と、時間データに基づいて、被験者の評価データを求める評価部224と、評価データを出力する出力制御部226とを備える。 As described above, the evaluation device 100 according to the present embodiment has the image data acquisition unit 206 that acquires the image data of the subject's eyeball, and the gaze point detection that detects the position data of the gaze point of the subject based on the image data. For a plurality of objects M having the same appearance as the unit 214, one object M is designated as a specific object M0 and displayed on the display screen 101S in a display mode different from that of the other objects M, and then the specific object M0 is displayed. The first display operation of displaying on the display screen 101S in the same display mode as the other object M and the state in which a plurality of objects M move after performing the first display operation are displayed on the display screen 101S in the same display mode. A second display operation for displaying, a third display operation for displaying a state in which the movement of a plurality of objects M is stopped after the second display operation is performed on the display screen 101S in the same display mode, and a display operation including the second display operation are performed. Note to the display control unit 202, the area setting unit 216 that sets the corresponding area A corresponding to the position of the specific object M0 on the display screen 101S, and the display period in which the display operation is performed based on the position data of the gazing point. Judgment unit 218 that determines whether or not the viewpoint exists in the corresponding area A and outputs the judgment data, and time data indicating the existence time of the gazing point in the corresponding area A during the display period based on the judgment data. It is provided with a calculation unit 220 for calculating the above, an evaluation unit 224 for obtaining the evaluation data of the subject based on the time data, and an output control unit 226 for outputting the evaluation data.

この構成により、表示期間に被験者の注視点が対応領域Aに存在する時間データが求められ、時間データに基づいて被験者の評価データを求められる。このため、評価装置100は、表示期間における被験者の視線の動きにより、被験者の追視能力を評価することができる。これにより、評価装置100は、被験者の評価を高精度に行うことが可能となる。 With this configuration, time data in which the gaze point of the subject exists in the corresponding area A during the display period is obtained, and evaluation data of the subject is obtained based on the time data. Therefore, the evaluation device 100 can evaluate the tracking ability of the subject based on the movement of the subject's line of sight during the display period. As a result, the evaluation device 100 can evaluate the subject with high accuracy.

また、本実施形態に係る評価装置100において、演算部220は、第1表示動作が行われる第1表示期間(期間T1、T2)における存在時間を示す第1時間データと、第2表示動作が行われる第2表示期間(期間T3〜T5)における存在時間を示す第2時間データと、第3表示動作が行われる第3表示期間(期間T6)における存在時間を示す第3時間データと、を算出し、評価部224は、第1時間データ、第2時間データ及び第3時間データに基づいて評価データを求める。これにより、第1表示動作における追視能力、第2表示動作における追視能力、及び第3表示動作における追視能力を細分化して評価することができる。 Further, in the evaluation device 100 according to the present embodiment, the calculation unit 220 has the first time data indicating the existence time in the first display period (periods T1 and T2) in which the first display operation is performed, and the second display operation. The second time data indicating the existence time in the second display period (period T3 to T5) performed and the third time data indicating the existence time in the third display period (period T6) in which the third display operation is performed are displayed. After calculation, the evaluation unit 224 obtains evaluation data based on the first time data, the second time data, and the third time data. Thereby, the tracking ability in the first display operation, the tracking ability in the second display operation, and the tracking ability in the third display operation can be evaluated in detail.

また、本実施形態に係る評価装置100において、評価部224は、第1時間データ及び第2時間データよりも第3時間データに重みをつけて評価データを求める。第3表示期間で特定対象物M0に視点を合わせることができる場合、それまでの第1表示期間及び第2表示期間においても特定対象物M0に追視していた可能性が高いと考えられる。したがって、第3時間データに重みをつけて評価値を求めることにより、効率的に評価データを得ることができる。 Further, in the evaluation device 100 according to the present embodiment, the evaluation unit 224 obtains the evaluation data by weighting the third time data rather than the first time data and the second time data. If the viewpoint can be focused on the specific object M0 in the third display period, it is highly probable that the specific object M0 was closely watched even in the first display period and the second display period up to that point. Therefore, the evaluation data can be efficiently obtained by weighting the third time data and obtaining the evaluation value.

また、本実施形態に係る評価装置100において、領域設定部216は、第2表示動作が行われる第2表示期間において、特定対象物M0の軌跡に基づいて対応領域Aを設定する。これにより、特定対象物M0の移動に応じて対応領域Aを精度よく設定することができるため、精度の高い時間データを得ることができる。 Further, in the evaluation device 100 according to the present embodiment, the area setting unit 216 sets the corresponding area A based on the locus of the specific object M0 in the second display period in which the second display operation is performed. As a result, the corresponding area A can be set accurately according to the movement of the specific object M0, so that highly accurate time data can be obtained.

また、本実施形態に係る評価装置100において、表示制御部202は、第3表示動作を行った後、特定対象物M0を他の対象物Mとは異なる表示態様で区別して表示画面に表示する第4表示動作を行う。これにより、第3表示動作の後、特定対象物M0がどの位置に存在するかを被験者に知らせることができる。被験者は、特定対象物M0の位置を知ることにより、自身の追視が正しく行われたか否かを確認することができるため、追視のトレーニングを容易に行うことができる。 Further, in the evaluation device 100 according to the present embodiment, after performing the third display operation, the display control unit 202 distinguishes the specific object M0 from the other object M and displays it on the display screen. The fourth display operation is performed. Thereby, after the third display operation, it is possible to inform the subject of the position where the specific object M0 exists. By knowing the position of the specific object M0, the subject can confirm whether or not his / her own follow-up has been performed correctly, so that the follow-up training can be easily performed.

また、本実施形態に係る評価装置100において、表示制御部202は、第1表示動作においては特定対象物M0が所定の被遮蔽物Cを遮蔽する動作を表示する。これにより、被験者に対して特定対象物M0を直観的に認識させることができる。また、第2表示動作及び第3表示動作においては被遮蔽物を表示することなく複数の対象物Mを表示するため、第2表示動作及び第3表示動作において、複数の対象物Mが移動する表示を容易に行うことができる。 Further, in the evaluation device 100 according to the present embodiment, the display control unit 202 displays an operation in which the specific object M0 shields the predetermined object C in the first display operation. As a result, the subject can intuitively recognize the specific object M0. Further, in the second display operation and the third display operation, since the plurality of objects M are displayed without displaying the shielded object, the plurality of objects M move in the second display operation and the third display operation. The display can be easily performed.

本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記実施形態では、第1表示動作において、特定対象物M0を他の対象物Mとは異なる表示態様で区別して表示画面101Sに表示する例として、特定対象物M0によりコインCを遮蔽する表示を行う場合を説明したが、これに限定されない。例えば、特定対象物M0を点滅させたり、特定対象物M0の色を他の対象物Mに対して変化させたりしてもよい。また、第1表示動作において、例えば対象物Mとしてコインを表示し、特定対象物M0となるコインについてはコインの表裏の一方の面に印を付した後、すべての対象物Mについて当該印を付した面とは反対側の面を表示させるようにしてもよい。 The technical scope of the present invention is not limited to the above-described embodiment, and modifications can be made as appropriate without departing from the spirit of the present invention. For example, in the above embodiment, in the first display operation, as an example of distinguishing the specific object M0 from the other object M in a display mode different from that of the other object M and displaying it on the display screen 101S, the coin C is shielded by the specific object M0. The case of displaying is described, but the present invention is not limited to this. For example, the specific object M0 may be blinked, or the color of the specific object M0 may be changed with respect to another object M. Further, in the first display operation, for example, a coin is displayed as an object M, a coin that becomes a specific object M0 is marked on one of the front and back sides of the coin, and then the mark is placed on all the objects M. The surface opposite to the attached surface may be displayed.

また、上記実施形態では、第2表示動作において、複数の対象物Mが重ならないように移動する場合を例に挙げて説明したが、これに限定されない。図22は、本実施形態に係る表示制御部が表示装置に表示させる映像の変形例を示す図である。図22では、第2表示動作が行われる場合の表示画面101Sの一例を示している。 Further, in the above embodiment, the case where the plurality of objects M move so as not to overlap each other in the second display operation has been described as an example, but the present invention is not limited to this. FIG. 22 is a diagram showing a modified example of the image displayed on the display device by the display control unit according to the present embodiment. FIG. 22 shows an example of the display screen 101S when the second display operation is performed.

図22に示すように、表示制御部202は、第2表示動作を行う場合、対象物M1〜M3を互いに重なるように移動させてもよい。この場合、表示制御部202は、例えば表示画面101Sの下方に配置される対象物Mを手前側に配置し、表示画面101Sの上方に配置される対象物Mを奥側に配置させてもよい。これにより、被験者に対象物M1〜M3の空間的な位置関係を把握しやすくすることができる。 As shown in FIG. 22, the display control unit 202 may move the objects M1 to M3 so as to overlap each other when performing the second display operation. In this case, the display control unit 202 may arrange the object M arranged below the display screen 101S on the front side and the object M arranged above the display screen 101S on the back side, for example. .. This makes it easier for the subject to grasp the spatial positional relationship of the objects M1 to M3.

脳神経疾病・障がいの症状は、追視能力に加えて空間認知能力にも影響することが知られている。被験者が脳神経疾病・障がい者ではない場合、複数の対象物M1〜M3を互いに重なるように移動させた場合に、特定対象物M0を追視することができる。一方、被験者が脳神経疾病・障がい者である場合では、複数の対象物M1〜M3を互いに重なるように移動させた場合に、対象物M1〜M3の空間的な位置関係を把握できず、特定対象物M0を追視できないことがある。このため、複数の対象物M1〜M3を互いに重なるように移動させた場合に、被験者が特定対象物M0を追視できるかを検出することにより、被験者の空間認知能力を評価することが可能である。 Symptoms of cranial nerve diseases and disabilities are known to affect spatial cognitive ability in addition to tracking ability. When the subject is not a person with a cranial nerve disease or a disability, the specific object M0 can be tracked when a plurality of objects M1 to M3 are moved so as to overlap each other. On the other hand, when the subject is a person with a cranial nerve disease or a disability, when a plurality of objects M1 to M3 are moved so as to overlap each other, the spatial positional relationship between the objects M1 to M3 cannot be grasped and the specific target is specified. It may not be possible to track the object M0. Therefore, when a plurality of objects M1 to M3 are moved so as to overlap each other, it is possible to evaluate the spatial cognitive ability of the subject by detecting whether the subject can follow the specific object M0. is there.

また、上記実施形態では、領域設定部216は、第2表示動作が行われる第2表示期間において、期間T3〜T5毎に特定対象物M0の軌跡に基づいて対応領域A3〜A5を設定する場合を例に挙げて説明したが、これに限定されない。領域設定部216は、期間T3〜T5のそれぞれにおいて、対応領域Aを切り替えて設定してもよい。この場合、領域設定部216は、各期間内の所定時間毎に特定対象物M0が移動する場合の軌跡を求め、当該軌跡を含む範囲に対応領域Aを設定することができる。また、所定時間を短く設定することにより、特定対象物M0の移動に追従して移動する対応領域Aを設定することができる。 Further, in the above embodiment, the area setting unit 216 sets the corresponding areas A3 to A5 based on the locus of the specific object M0 for each period T3 to T5 in the second display period in which the second display operation is performed. Has been described as an example, but the present invention is not limited to this. The area setting unit 216 may switch and set the corresponding area A in each of the periods T3 to T5. In this case, the area setting unit 216 can obtain the locus when the specific object M0 moves at predetermined time intervals within each period, and can set the corresponding area A in the range including the locus. Further, by setting the predetermined time short, it is possible to set the corresponding area A that moves following the movement of the specific object M0.

また、上記実施形態では、評価部224は、評価値ANSを求める場合、カウンタ値CNTA、CNTB、CNTCにそれぞれ定数を乗じた値を加算する例を説明したが、これに限定されない。例えば、評価部224は、カウンタ値CNTA、CNTB、CNTCの各値を個別に判断することで、評価値を求めてもよい。 Further, in the above embodiment, when the evaluation value ANS is obtained, the evaluation unit 224 has described an example of adding a value obtained by multiplying the counter values CNTA, CNTB, and CNTC by a constant, but the present invention is not limited to this. For example, the evaluation unit 224 may obtain the evaluation value by individually determining each of the counter values CNTA, CNTB, and CNTC.

また、上記実施形態では、評価装置100を、脳神経疾病・障がい者である可能性を評価する評価装置として用いる場合を例に挙げて説明したが、これに限定されない。例えば、評価装置100は、脳神経疾病・障がい者ではない被験者の記憶力を評価する評価装置として用いてもよい。 Further, in the above embodiment, the case where the evaluation device 100 is used as an evaluation device for evaluating the possibility of being a cranial nerve disease / disabled person has been described as an example, but the present invention is not limited to this. For example, the evaluation device 100 may be used as an evaluation device for evaluating the memory ability of a subject who is not a cranial nerve disease / disabled person.

A,A1〜A6…対応領域、C…コイン、M0…特定対象物、M,M1〜M3…対象物、P…プロット点、T1〜T7…期間、ANS…評価値、CNTA,CNTB,CNTC…カウンタ値、20…コンピュータシステム、20A…演算処理装置、20B…記憶装置、20C…コンピュータプログラム、30…入出力インターフェース装置、40…駆動回路、50…出力装置、60…入力装置、70…音声出力装置、100…視線検出装置,評価装置、101…表示装置、101S…表示画面、102…ステレオカメラ装置、102A…第1カメラ、102B…第2カメラ、103…照明装置、103A…第1光源、103B…第2光源、103C…光源、103V…仮想光源、109…角膜曲率半径、110,110H…角膜曲率中心、111…眼球、112…瞳孔、112C…瞳孔中心、113…角膜反射像、113C,121,122,124…角膜反射中心、123,131,132,173…直線、126…距離、130…目標位置、177,178…視線、202…表示制御部、204…光源制御部、206…画像データ取得部、208…入力データ取得部、210…位置検出部、212…曲率中心算出部、214…注視点検出部、216…領域設定部、218…判定部、220…演算部、222…記憶部、224…評価部、226…出力制御部、302…入出力部、402…表示装置駆動部、404A…第1カメラ入出力部、404B…第2カメラ入出力部、406…光源駆動部 A, A1 to A6 ... Corresponding area, C ... Coin, M0 ... Specific object, M, M1 to M3 ... Object, P ... Plot point, T1 to T7 ... Period, ANS ... Evaluation value, CNTA, CNTB, CNTC ... Counter value, 20 ... computer system, 20A ... arithmetic processing device, 20B ... storage device, 20C ... computer program, 30 ... input / output interface device, 40 ... drive circuit, 50 ... output device, 60 ... input device, 70 ... audio output Device, 100 ... line-of-sight detection device, evaluation device, 101 ... display device, 101S ... display screen, 102 ... stereo camera device, 102A ... first camera, 102B ... second camera, 103 ... lighting device, 103A ... first light source, 103B ... second light source, 103C ... light source, 103V ... virtual light source, 109 ... corneal curvature radius, 110, 110H ... corneal curvature center, 111 ... eyeball, 112 ... pupil, 112C ... pupil center, 113 ... corneal reflection image, 113C, 121, 122, 124 ... Corneal reflection center, 123, 131, 132, 173 ... Straight line, 126 ... Distance, 130 ... Target position, 177, 178 ... Line of sight, 202 ... Display control unit, 204 ... Light source control unit, 206 ... Image Data acquisition unit, 208 ... Input data acquisition unit, 210 ... Position detection unit, 212 ... Curvature center calculation unit, 214 ... Gaze point detection unit, 216 ... Area setting unit, 218 ... Judgment unit, 220 ... Calculation unit, 222 ... Storage Unit, 224 ... Evaluation unit, 226 ... Output control unit, 302 ... Input / output unit, 402 ... Display device drive unit, 404A ... First camera input / output unit, 404B ... Second camera input / output unit, 406 ... Light source drive unit

Claims (5)

被験者の眼球の画像データを取得する画像データ取得部と、
前記画像データに基づいて、前記被験者の注視点の位置データを検出する注視点検出部と、
外観が同一の複数の対象物について1つの前記対象物を特定対象物として他の前記対象物とは異なる表示態様で区別して表示画面に表示した後に前記特定対象物を他の前記対象物と同一の表示態様で前記表示画面に表示する第1表示動作と、前記第1表示動作を行った後に複数の前記対象物が移動する状態を同一の表示態様で前記表示画面に表示する第2表示動作と、前記第2表示動作を行った後に複数の前記対象物の移動が停止する状態を同一の表示態様で前記表示画面に表示する第3表示動作と、含む表示動作を行う表示制御部と、
前記表示画面において、前記特定対象物の位置に対応した対応領域を設定する領域設定部と、
前記注視点の位置データに基づいて、前記表示動作が行われる表示期間に前記注視点が前記対応領域に存在するか否かをそれぞれ判定し、判定データを出力する判定部と、
前記判定データに基づいて、前記表示期間に前記注視点が前記対応領域に存在した存在時間を示す時間データを算出する演算部と、
前記時間データに基づいて、前記被験者の評価データを求める評価部と、
前記評価データを出力する出力制御部と
を備える評価装置。
An image data acquisition unit that acquires image data of the subject's eyeball,
A gaze point detection unit that detects the position data of the gaze point of the subject based on the image data,
For a plurality of objects having the same appearance, one object is designated as a specific object and displayed on a display screen in a display mode different from that of the other objects, and then the specific object is the same as the other object. A first display operation for displaying on the display screen in the display mode of the above, and a second display operation for displaying a state in which a plurality of the objects move after performing the first display operation on the display screen in the same display mode. A third display operation that displays a state in which the movement of the plurality of objects is stopped on the display screen in the same display mode after the second display operation is performed, and a display control unit that performs a display operation including the second display operation.
On the display screen, an area setting unit for setting a corresponding area corresponding to the position of the specific object, and an area setting unit.
Based on the position data of the gazing point, a determination unit that determines whether or not the gazing point exists in the corresponding area during the display period in which the display operation is performed, and a determination unit that outputs the determination data.
Based on the determination data, a calculation unit that calculates time data indicating the existence time of the gazing point in the corresponding region during the display period, and a calculation unit.
An evaluation unit that obtains the evaluation data of the subject based on the time data, and
An evaluation device including an output control unit that outputs the evaluation data.
前記演算部は、前記第1表示動作が行われる第1表示期間における前記存在時間を示す第1時間データと、前記第2表示動作が行われる第2表示期間における前記存在時間を示す第2時間データと、前記第3表示動作が行われる第3表示期間における前記存在時間を示す第3時間データと、を算出し、
前記評価部は、前記第1時間データ、前記第2時間データ及び前記第3時間データに基づいて前記評価データを求める
請求項1に記載の評価装置。
The calculation unit includes first time data indicating the existence time in the first display period in which the first display operation is performed, and second time indicating the existence time in the second display period in which the second display operation is performed. The data and the third time data indicating the existence time in the third display period in which the third display operation is performed are calculated.
The evaluation device according to claim 1, wherein the evaluation unit obtains the evaluation data based on the first time data, the second time data, and the third time data.
前記領域設定部は、前記第2表示動作が行われる第2表示期間において、前記特定対象物の軌跡に基づいて前記対応領域を設定する
請求項1又は請求項2に記載の評価装置。
The evaluation device according to claim 1 or 2, wherein the area setting unit sets the corresponding area based on the locus of the specific object in the second display period in which the second display operation is performed.
被験者の眼球の画像データを取得することと、
前記画像データに基づいて、前記被験者の注視点の位置データを検出することと、
外観が同一の複数の対象物について1つの前記対象物を特定対象物として他の前記対象物とは異なる表示態様で区別して表示画面に表示した後に前記特定対象物を他の前記対象物と同一の表示態様で前記表示画面に表示する第1表示動作と、前記第1表示動作を行った後に複数の前記対象物が移動する状態を同一の表示態様で前記表示画面に表示する第2表示動作と、前記第2表示動作を行った後に複数の前記対象物の移動が停止する状態を同一の表示態様で前記表示画面に表示する第3表示動作と、含む表示動作を行うことと、
前記表示画面において、前記特定対象物の位置に対応した対応領域を設定することと、
前記注視点の位置データに基づいて、前記表示動作が行われる表示期間に前記注視点が前記対応領域に存在するか否かをそれぞれ判定し、判定データを出力することと、
前記判定データに基づいて、前記表示期間に前記注視点が前記対応領域に存在した存在時間を示す時間データを算出することと、
前記時間データに基づいて、前記被験者の評価データを求めることと、
前記評価データを出力することと
を含む評価方法。
Acquiring image data of the subject's eyeball and
To detect the position data of the gazing point of the subject based on the image data,
For a plurality of objects having the same appearance, one object is designated as a specific object and displayed on a display screen in a display mode different from that of the other objects, and then the specific object is the same as the other object. The first display operation to be displayed on the display screen in the display mode of the above, and the second display operation to display the state in which a plurality of the objects move after the first display operation is performed on the display screen in the same display mode. A third display operation for displaying a state in which the movement of the plurality of objects is stopped on the display screen in the same display mode after the second display operation is performed, and a display operation including the second display operation are performed.
On the display screen, setting a corresponding area corresponding to the position of the specific object and
Based on the position data of the gazing point, it is determined whether or not the gazing point exists in the corresponding area during the display period in which the display operation is performed, and the determination data is output.
Based on the determination data, time data indicating the existence time of the gazing point in the corresponding region during the display period is calculated.
Obtaining the evaluation data of the subject based on the time data,
An evaluation method including outputting the evaluation data.
被験者の眼球の画像データを取得する処理と、
前記画像データに基づいて、前記被験者の注視点の位置データを検出する処理と、
外観が同一の複数の対象物について1つの前記対象物を特定対象物として他の前記対象物とは異なる表示態様で区別して表示画面に表示した後に前記特定対象物を他の前記対象物と同一の表示態様で前記表示画面に表示する第1表示動作と、前記第1表示動作を行った後に複数の前記対象物が移動する状態を同一の表示態様で前記表示画面に表示する第2表示動作と、前記第2表示動作を行った後に複数の前記対象物の移動が停止する状態を同一の表示態様で前記表示画面に表示する第3表示動作と、含む表示動作を行う処理と、
前記表示画面において、前記特定対象物の位置に対応した対応領域を設定する処理と、
前記注視点の位置データに基づいて、前記表示動作が行われる表示期間に前記注視点が前記対応領域に存在するか否かをそれぞれ判定し、判定データを出力する処理と、
前記判定データに基づいて、前記表示期間に前記注視点が前記対応領域に存在した存在時間を示す時間データを算出する処理と、
前記時間データに基づいて、前記被験者の評価データを求める処理と、
前記評価データを出力する処理と
をコンピュータに実行させる評価プログラム。
The process of acquiring image data of the subject's eyeball and
A process of detecting the position data of the gazing point of the subject based on the image data, and
For a plurality of objects having the same appearance, one object is designated as a specific object and displayed on a display screen in a display mode different from that of the other objects, and then the specific object is the same as the other object. A first display operation for displaying on the display screen in the display mode of the above, and a second display operation for displaying a state in which a plurality of the objects move after performing the first display operation on the display screen in the same display mode. A third display operation for displaying a state in which the movement of the plurality of objects is stopped on the display screen in the same display mode after the second display operation is performed, and a process for performing a display operation including the second display operation.
On the display screen, a process of setting a corresponding area corresponding to the position of the specific object and
Based on the position data of the gazing point, it is determined whether or not the gazing point exists in the corresponding area during the display period in which the display operation is performed, and the determination data is output.
Based on the determination data, a process of calculating time data indicating the existence time of the gazing point in the corresponding region during the display period, and
The process of obtaining the evaluation data of the subject based on the time data, and
An evaluation program that causes a computer to execute the process of outputting the evaluation data.
JP2017146000A 2017-07-28 2017-07-28 Evaluation device, evaluation method, and evaluation program Active JP6883242B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017146000A JP6883242B2 (en) 2017-07-28 2017-07-28 Evaluation device, evaluation method, and evaluation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017146000A JP6883242B2 (en) 2017-07-28 2017-07-28 Evaluation device, evaluation method, and evaluation program

Publications (2)

Publication Number Publication Date
JP2019024776A JP2019024776A (en) 2019-02-21
JP6883242B2 true JP6883242B2 (en) 2021-06-09

Family

ID=65476991

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017146000A Active JP6883242B2 (en) 2017-07-28 2017-07-28 Evaluation device, evaluation method, and evaluation program

Country Status (1)

Country Link
JP (1) JP6883242B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7092082B2 (en) * 2019-03-22 2022-06-28 株式会社Jvcケンウッド Evaluation device, evaluation method, and evaluation program
JP7363377B2 (en) * 2019-10-31 2023-10-18 株式会社Jvcケンウッド Driving support device, driving support method, and driving support program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4543594B2 (en) * 2001-07-31 2010-09-15 パナソニック電工株式会社 Brain function test apparatus and brain function test system
WO2008041346A1 (en) * 2006-09-29 2008-04-10 Ssd Company Limited Local brain training device
JP5817582B2 (en) * 2012-02-22 2015-11-18 株式会社Jvcケンウッド Brain function disease diagnosis support apparatus and brain function disease diagnosis support method
JP6737234B2 (en) * 2017-05-22 2020-08-05 株式会社Jvcケンウッド Evaluation device, evaluation method, and evaluation program

Also Published As

Publication number Publication date
JP2019024776A (en) 2019-02-21

Similar Documents

Publication Publication Date Title
JP6737234B2 (en) Evaluation device, evaluation method, and evaluation program
JP6848526B2 (en) Evaluation device, evaluation method, and evaluation program
JP6736920B2 (en) Diagnosis support device and diagnosis support method
JP7067502B2 (en) Evaluation device, evaluation method, and evaluation program
JP2019171022A (en) Evaluation device, evaluation method, and evaluation program
WO2020137028A1 (en) Display device, display method, and program
US20210401287A1 (en) Evaluation apparatus, evaluation method, and non-transitory storage medium
JP6747172B2 (en) Diagnosis support device, diagnosis support method, and computer program
JP6883242B2 (en) Evaluation device, evaluation method, and evaluation program
WO2020044691A1 (en) Evaluation device, evaluation method, and evaluation program
JP2019046438A (en) Evaluation apparatus and evaluation method
US11266307B2 (en) Evaluation device, evaluation method, and non-transitory storage medium
JP2020018470A (en) Visual line detection device, visual line detection method, and visual line detection program
JP7057483B2 (en) Evaluation device, evaluation method, and evaluation program
JP7215246B2 (en) Display device, display method, and display program
JP7074221B2 (en) Evaluation device, evaluation method, and evaluation program
WO2020031471A1 (en) Assessment device, assessment method, and assessment program
JP5838894B2 (en) Diagnosis support apparatus and diagnosis support method
WO2019188152A1 (en) Assessment device, assessment method and assessment program
JP2021000200A (en) Evaluation device, evaluation method and evaluation program
JP6849110B2 (en) Training support device and training support method
JP7247690B2 (en) Evaluation device, evaluation method, and evaluation program
WO2021010122A1 (en) Evaluation device, evaluation method, and evaluation program
WO2020194841A1 (en) Assessment device, assessment method, and assessment program
JP2019166254A (en) Evaluation device, evaluation method, and evaluation program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200529

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210419

R150 Certificate of patent or registration of utility model

Ref document number: 6883242

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150