WO2019188152A1 - 評価装置、評価方法、及び評価プログラム - Google Patents

評価装置、評価方法、及び評価プログラム Download PDF

Info

Publication number
WO2019188152A1
WO2019188152A1 PCT/JP2019/009540 JP2019009540W WO2019188152A1 WO 2019188152 A1 WO2019188152 A1 WO 2019188152A1 JP 2019009540 W JP2019009540 W JP 2019009540W WO 2019188152 A1 WO2019188152 A1 WO 2019188152A1
Authority
WO
WIPO (PCT)
Prior art keywords
comparison
gazing point
area
data
display
Prior art date
Application number
PCT/JP2019/009540
Other languages
English (en)
French (fr)
Inventor
首藤 勝行
鬼頭 誠
Original Assignee
株式会社Jvcケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019012344A external-priority patent/JP7167737B2/ja
Application filed by 株式会社Jvcケンウッド filed Critical 株式会社Jvcケンウッド
Priority to CN201980009455.0A priority Critical patent/CN111655163B/zh
Priority to EP19776199.2A priority patent/EP3756553B1/en
Publication of WO2019188152A1 publication Critical patent/WO2019188152A1/ja
Priority to US17/030,441 priority patent/US11925464B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement

Definitions

  • the present invention relates to an evaluation apparatus, an evaluation method, and an evaluation program.
  • Patent Document 1 it is a form in which only an answer is selected, so verification including chance is difficult, and it is difficult to obtain high evaluation accuracy. Therefore, it has been required to accurately evaluate cognitive dysfunction and brain dysfunction.
  • the present invention has been made in view of the above, and an object of the present invention is to provide an evaluation apparatus, an evaluation method, and an evaluation program capable of accurately evaluating cognitive dysfunction and brain dysfunction.
  • the evaluation apparatus includes a display screen, a gazing point detection unit that detects a position of a gazing point of a subject who observes the display screen, a specific object with respect to the display screen, and the specific object.
  • a display control unit that displays an image including different comparison objects, an area setting unit that sets a specific area corresponding to the specific object, a comparison area corresponding to the comparison object, and the gaze point
  • a determination unit that determines whether or not the gazing point exists in the specific region and the comparison region during a period in which the image is displayed based on a position, and a gazing point based on a determination result in the determination unit
  • An arithmetic unit that calculates data, and an evaluation unit that obtains evaluation data of the subject based on the gaze point data.
  • the evaluation method includes displaying an image on a display screen, detecting a position of a gazing point of a subject observing the display screen, and a comparison target different from the specific target and the specific target Based on the position of the gazing point, displaying a specific area corresponding to the specific object, a comparison area corresponding to the comparison object, and Determining whether or not the gazing point exists in the specific area and the comparison area during the display period in which the image is displayed on the display screen, and based on the determination result, Calculating viewpoint data and obtaining evaluation data of the subject based on the gazing point data.
  • the evaluation program includes a process for displaying an image on a display screen, a process for detecting a position of a gazing point of a subject observing the display screen, and a comparison object that is different from the specific object and the specific object Based on the position of the point of gazing, the process of displaying the image including the image on the display screen, the process of setting the specific area corresponding to the specific object and the comparison area corresponding to the comparison object In the display period in which the image is displayed on the display screen, a process for determining whether or not the gazing point exists in the specific area and the comparison area, and a note in the display period based on the determination result.
  • a computer is caused to execute processing for calculating viewpoint data and processing for obtaining evaluation data of the subject based on the gazing point data.
  • an evaluation device an evaluation method, and an evaluation program capable of accurately evaluating cognitive dysfunction and brain dysfunction.
  • FIG. 1 is a perspective view schematically showing an example of a visual line detection device according to the present embodiment.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the visual line detection device according to the present embodiment.
  • FIG. 3 is a functional block diagram illustrating an example of a visual line detection device according to the present embodiment.
  • FIG. 4 is a schematic diagram for explaining a method for calculating the position data of the corneal curvature center according to the present embodiment.
  • FIG. 5 is a schematic diagram for explaining the calculation method of the position data of the corneal curvature center according to the present embodiment.
  • FIG. 6 is a schematic diagram for explaining an example of calibration processing according to the present embodiment.
  • FIG. 7 is a schematic diagram for explaining an example of a gazing point detection process according to the present embodiment.
  • FIG. 8 is a diagram illustrating an example of instructions to be displayed on the display screen.
  • FIG. 9 is a diagram illustrating an example of the specific object displayed on the display screen.
  • FIG. 10 is a diagram illustrating an example of an instruction to be displayed on the display screen.
  • FIG. 11 is a diagram illustrating an example when a specific object and a plurality of comparison objects are displayed on the display screen.
  • FIG. 12 is a diagram illustrating another example when an instruction and a specific object are displayed on the display screen.
  • FIG. 13 is a diagram illustrating another example in the case where a specific object and a plurality of comparison objects are displayed on the display screen.
  • FIG. 14 is a diagram illustrating another example of displaying an instruction and a specific object on the display screen.
  • FIG. 15 is a diagram illustrating another example when a specific object and a plurality of comparison objects are displayed on the display screen.
  • FIG. 16 is a flowchart illustrating an example of the evaluation method according to the present embodiment.
  • FIG. 17 is a diagram illustrating an example of a series of evaluation images displayed on the display screen.
  • FIG. 18 is a diagram illustrating an example of a series of evaluation images displayed on the display screen.
  • FIG. 19 is a diagram illustrating an example of a series of evaluation images displayed on the display screen.
  • FIG. 20 is a diagram illustrating an example of a series of evaluation images displayed on the display screen.
  • FIG. 21 is a diagram illustrating an example of a series of evaluation images displayed on the display screen.
  • FIG. 22 is a diagram illustrating an example of a series of evaluation images displayed on the display screen.
  • FIG. 23 is a diagram illustrating an example of a series of evaluation images displayed on the display screen.
  • FIG. 24 is a flowchart showing a flow of processing of an evaluation method according to another example.
  • FIG. 25 is a flowchart illustrating a process flow in the storage instruction process.
  • FIG. 26 is a flowchart showing a flow of processing in the storage processing.
  • FIG. 27 is a flowchart showing the flow of processing in answer processing.
  • FIG. 28 is a diagram illustrating an example of a series of evaluation images displayed on the display screen.
  • FIG. 29 is a diagram illustrating an example of a series of evaluation images displayed on the display screen.
  • FIG. 30 is a diagram illustrating an example of a series of evaluation images displayed on the display screen.
  • the direction parallel to the first axis of the predetermined surface is the X-axis direction
  • the direction parallel to the second axis of the predetermined surface orthogonal to the first axis is the Y-axis direction
  • a direction parallel to the third axis is taken as a Z-axis direction.
  • the predetermined plane includes an XY plane.
  • FIG. 1 is a perspective view schematically showing an example of a visual line detection device 100 according to the first embodiment.
  • the line-of-sight detection device 100 is used as an evaluation device that evaluates cognitive dysfunction such as dementia and brain dysfunction.
  • the line-of-sight detection device 100 includes a display device 101, a stereo camera device 102, and an illumination device 103.
  • the display device 101 includes a flat panel display such as a liquid crystal display (LCD) or an organic EL display (OLED).
  • the display device 101 has a display screen 101S.
  • the display screen 101S displays an image.
  • the display screen 101S displays, for example, an index for evaluating the visual function of the subject.
  • the display screen 101S is substantially parallel to the XY plane.
  • the X-axis direction is the left-right direction of the display screen 101S
  • the Y-axis direction is the up-down direction of the display screen 101S
  • the Z-axis direction is the depth direction orthogonal to the display screen 101S.
  • the stereo camera device 102 includes a first camera 102A and a second camera 102B.
  • the stereo camera device 102 is disposed below the display screen 101S of the display device 101.
  • the first camera 102A and the second camera 102B are arranged in the X-axis direction.
  • the first camera 102A is arranged in the ⁇ X direction with respect to the second camera 102B.
  • Each of the first camera 102A and the second camera 102B includes an infrared camera, and includes, for example, an optical system that can transmit near-infrared light having a wavelength of 850 [nm], and an imaging device that can receive the near-infrared light. .
  • the illumination device 103 includes a first light source 103A and a second light source 103B.
  • the illumination device 103 is arranged below the display screen 101S of the display device 101.
  • the first light source 103A and the second light source 103B are arranged in the X-axis direction.
  • the first light source 103A is arranged in the ⁇ X direction with respect to the first camera 102A.
  • the second light source 103B is arranged in the + X direction with respect to the second camera 102B.
  • Each of the first light source 103A and the second light source 103B includes an LED (light emitting diode) light source, and can emit, for example, near-infrared light having a wavelength of 850 [nm]. Note that the first light source 103A and the second light source 103B may be disposed between the first camera 102A and the second camera 102B.
  • the illumination device 103 emits near-infrared light as detection light to illuminate the eyeball 111 of the subject.
  • the stereo camera device 102 photographs a part of the eyeball 111 (hereinafter referred to as “eyeball” including this) with the second camera 102B when the detection light emitted from the first light source 103A is irradiated onto the eyeball 111. Then, when the detection light emitted from the second light source 103B is applied to the eyeball 111, the eyeball 111 is photographed by the first camera 102A.
  • a frame synchronization signal is output from at least one of the first camera 102A and the second camera 102B.
  • the first light source 103A and the second light source 103B emit detection light based on the frame synchronization signal.
  • the first camera 102A captures image data of the eyeball 111 when the detection light emitted from the second light source 103B is applied to the eyeball 111.
  • the second camera 102B captures image data of the eyeball 111 when the detection light emitted from the first light source 103A is applied to the eyeball 111.
  • the eyeball 111 When the eyeball 111 is irradiated with detection light, a part of the detection light is reflected by the pupil 112, and light from the pupil 112 enters the stereo camera device 102.
  • a cornea reflection image 113 that is a virtual image of the cornea is formed on the eyeball 111, and light from the cornea reflection image 113 enters the stereo camera device 102.
  • the intensity of light incident on the stereo camera device 102 from the pupil 112 is reduced, and the cornea The intensity of light incident on the stereo camera device 102 from the reflected image 113 is increased. That is, the image of the pupil 112 photographed by the stereo camera device 102 has low luminance, and the image of the cornea reflection image 113 has high luminance.
  • the stereo camera device 102 can detect the position of the pupil 112 and the position of the corneal reflection image 113 based on the luminance of the captured image.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the visual line detection device 100 according to the present embodiment.
  • the line-of-sight detection device 100 includes a display device 101, a stereo camera device 102, a lighting device 103, a computer system 20, an input / output interface device 30, a drive circuit 40, and an output device 50. And an input device 60.
  • the computer system 20, the drive circuit 40, the output device 50, and the input device 60 perform data communication via the input / output interface device 30.
  • the computer system 20 includes an arithmetic processing device 20A and a storage device 20B.
  • the arithmetic processing unit 20A includes a microprocessor such as a CPU (central processing unit).
  • the storage device 20B includes a memory or storage such as a ROM (read only memory) and a RAM (random access memory).
  • the arithmetic processing device 20A performs arithmetic processing according to the computer program 20C stored in the storage device 20B.
  • the drive circuit 40 generates a drive signal and outputs it to the display device 101, the stereo camera device 102, and the illumination device 103. In addition, the drive circuit 40 supplies the image data of the eyeball 111 photographed by the stereo camera device 102 to the computer system 20 via the input / output interface device 30.
  • the output device 50 includes a display device such as a flat panel display.
  • the output device 50 may include a printing device.
  • the input device 60 generates input data when operated.
  • the input device 60 includes a keyboard or mouse for a computer system.
  • the input device 60 may include a touch sensor provided on the display screen of the output device 50 that is a display device.
  • the display device 101 and the computer system 20 are separate devices. Note that the display device 101 and the computer system 20 may be integrated.
  • the line-of-sight detection device 100 includes a tablet personal computer
  • the computer system 20, the input / output interface device 30, the drive circuit 40, and the display device 101 may be mounted on the tablet personal computer.
  • FIG. 3 is a functional block diagram showing an example of the visual line detection device 100 according to the present embodiment.
  • the input / output interface device 30 includes an input / output unit 302.
  • the drive circuit 40 generates a drive signal for driving the display device 101 and outputs the drive signal to the display device 101, and generates a drive signal for driving the first camera 102A to generate the first camera.
  • a first camera input / output unit 404A that outputs to the second camera 102B
  • a second camera input / output unit 404B that generates a drive signal for driving the second camera 102B and outputs it to the second camera 102B, the first light source 103A and the second light source 103A.
  • a light source drive unit 406 that generates a drive signal for driving the two light sources 103B and outputs the drive signals to the first light source 103A and the second light source 103B.
  • the first camera input / output unit 404 ⁇ / b> A supplies the image data of the eyeball 111 photographed by the first camera 102 ⁇ / b> A to the computer system 20 via the input / output unit 302.
  • the second camera input / output unit 404B supplies the image data of the eyeball 111 photographed by the second camera 102B to the computer system 20 via the input / output unit 302.
  • the computer system 20 controls the line-of-sight detection device 100.
  • the computer system 20 includes a display control unit 202, a light source control unit 204, an image data acquisition unit 206, an input data acquisition unit 208, a position detection unit 210, a curvature center calculation unit 212, and a gaze point detection unit 214.
  • the functions of the computer system 20 are exhibited by the arithmetic processing device 20A and the storage device 20B.
  • the display control unit 202 displays a first display operation for displaying the specific object on the display screen 101S, and a display screen for displaying the specific object and a plurality of comparison objects different from the specific object after performing the first display operation.
  • a display operation including a second display operation displayed on 101S is performed.
  • the specific object is an object for the subject to memorize.
  • the plurality of comparison objects are objects to be displayed on the display screen 101S side by side with the specific object in order to make the subject find the specific object.
  • the display control unit 202 may cause the display screen 101 ⁇ / b> S to display a display for instructing the subject to learn the specific object displayed in the first display operation.
  • the display control unit 202 causes the display screen 101S to display a display for instructing the subject to watch the specific object from among the specific object and the plurality of comparison objects displayed in the second display operation. May be.
  • the light source control unit 204 controls the operation state of the first light source 103A and the second light source 103B by controlling the light source driving unit 406.
  • the light source control unit 204 controls the first light source 103A and the second light source 103B so that the first light source 103A and the second light source 103B emit detection light at different timings.
  • the image data acquisition unit 206 acquires the image data of the eyeball 111 of the subject taken by the stereo camera device 102 including the first camera 102A and the second camera 102B from the stereo camera device 102 via the input / output unit 302.
  • the input data acquisition unit 208 acquires input data generated by operating the input device 60 from the input device 60 via the input / output unit 302.
  • the position detection unit 210 detects the position data of the pupil center based on the image data of the eyeball 111 acquired by the image data acquisition unit 206. Further, the position detection unit 210 detects position data of the corneal reflection center based on the image data of the eyeball 111 acquired by the image data acquisition unit 206.
  • the pupil center is the center of the pupil 112.
  • the cornea reflection center is the center of the cornea reflection image 113.
  • the position detection unit 210 detects the position data of the pupil center and the position data of the corneal reflection center for the left and right eyeballs 111 of the subject.
  • the curvature center calculation unit 212 calculates position data of the corneal curvature center of the eyeball 111 based on the image data of the eyeball 111 acquired by the image data acquisition unit 206.
  • the gaze point detection unit 214 detects the position data of the gaze point of the subject based on the image data of the eyeball 111 acquired by the image data acquisition unit 206.
  • the position data of the gazing point refers to position data of the intersection point between the subject's line-of-sight vector defined by the three-dimensional global coordinate system and the display screen 101S of the display device 101.
  • the gazing point detection unit 214 detects the eye gaze vectors of the left and right eyeballs 111 of the subject based on the pupil center position data and the corneal curvature center position data acquired from the image data of the eyeball 111. After the gaze vector is detected, the gaze point detection unit 214 detects position data of the gaze point indicating the intersection of the gaze vector and the display screen 101S.
  • the area setting unit 216 sets a specific area corresponding to the specific object in the display screen 101S of the display device 101 and a comparison area corresponding to each comparison object in the display period in which the second display operation is performed. .
  • the determination unit 218 determines whether or not the gazing point exists in the specific region and the comparison region based on the position data of the viewpoint in the display period in which the second display operation is performed, and outputs the determination data.
  • the determination unit 218 determines whether or not the gazing point exists in the specific area and the comparison area, for example, at regular time intervals.
  • the fixed time for example, the period of the frame synchronization signal output from the first camera 102A and the second camera 102B (for example, every 20 [msec]) can be used.
  • the calculation unit 220 calculates movement progress data (may be referred to as gaze point data) indicating the progress of movement of the gazing point in the display period based on the determination data of the determination unit 218.
  • the movement progress data includes the arrival time data from the start of the display period to the arrival time when the point of sight first reaches the specific area, and the comparison data before the point of sight reaches the specific area for the first time.
  • the number-of-movements data indicating the number of times the position of the viewpoint moves, the existence time data indicating the existence time during which the gazing point was present in the specific area or the comparison area during the display period, and the gazing point And final region data indicating the region that was present last.
  • the arithmetic unit 220 includes a management timer that manages the playback time of the video and a detection timer T1 that detects an elapsed time after the video is displayed on the display screen 101S.
  • the calculation unit 220 includes a counter that counts the number of determinations for which it is determined that a gazing point exists for a specific area.
  • the evaluation unit 224 obtains test subject evaluation data based on the movement progress data.
  • the evaluation data is data for evaluating whether or not the subject is gazing at the specific object displayed on the display screen 101S in the display operation.
  • the storage unit 222 stores the determination data, movement progress data (existing time data, movement count data, final area data, arrival time data), and evaluation data.
  • the storage unit 222 also includes a process for displaying an image, a process for detecting the position of the gazing point of the subject observing the display screen, a first display operation for displaying a specific object on the display screen, and a first display operation.
  • a display operation including a second display operation for displaying a specific target object and a plurality of comparison target objects different from the specific target object on the display screen, and corresponding to the specific target object on the display screen.
  • the output control unit 226 outputs data to at least one of the display device 101 and the output device 50.
  • the curvature center calculation unit 212 calculates position data of the corneal curvature center of the eyeball 111 based on the image data of the eyeball 111.
  • 4 and 5 are schematic diagrams for explaining a method of calculating position data of the corneal curvature center 110 according to the present embodiment.
  • FIG. 4 shows an example in which the eyeball 111 is illuminated by one light source 103C.
  • FIG. 5 shows an example in which the eyeball 111 is illuminated by the first light source 103A and the second light source 103B.
  • the light source 103C is disposed between the first camera 102A and the second camera 102B.
  • Pupil center 112 ⁇ / b> C is the center of pupil 112.
  • the cornea reflection center 113 ⁇ / b> C is the center of the cornea reflection image 113.
  • the pupil center 112C indicates the pupil center when the eyeball 111 is illuminated by one light source 103C.
  • the corneal reflection center 113C indicates the corneal reflection center when the eyeball 111 is illuminated by one light source 103C.
  • the corneal reflection center 113 ⁇ / b> C exists on a straight line connecting the light source 103 ⁇ / b> C and the corneal curvature center 110.
  • the corneal reflection center 113C is positioned at the midpoint between the corneal surface and the corneal curvature center 110.
  • the corneal curvature radius 109 is the distance between the corneal surface and the corneal curvature center 110.
  • the position data of the corneal reflection center 113C is detected by the stereo camera device 102.
  • the corneal curvature center 110 exists on a straight line connecting the light source 103C and the corneal reflection center 113C.
  • the curvature center calculation unit 212 calculates, as position data of the corneal curvature center 110, position data that has a predetermined distance from the corneal reflection center 113C on the straight line.
  • the predetermined value is a value determined in advance from, for example, a general radius of curvature of the cornea, and is stored in the storage unit 222.
  • the first camera 102A and the second light source 103B, and the second camera 102B and the first light source 103A are symmetrical with respect to a straight line passing through an intermediate position between the first camera 102A and the second camera 102B. It is arranged at the position. It can be considered that the virtual light source 103V exists at an intermediate position between the first camera 102A and the second camera 102B.
  • a corneal reflection center 121 indicates a corneal reflection center in an image obtained by photographing the eyeball 111 with the second camera 102B.
  • a corneal reflection center 122 indicates a corneal reflection center in an image obtained by photographing the eyeball 111 with the first camera 102A.
  • a corneal reflection center 124 indicates a corneal reflection center corresponding to the virtual light source 103V.
  • the position data of the corneal reflection center 124 is calculated based on the position data of the corneal reflection center 121 and the position data of the corneal reflection center 122 taken by the stereo camera device 102.
  • the stereo camera device 102 detects position data of the corneal reflection center 121 and position data of the corneal reflection center 122 in the three-dimensional local coordinate system defined by the stereo camera device 102.
  • camera calibration is performed in advance by a stereo calibration method, and conversion parameters for converting the three-dimensional local coordinate system of the stereo camera device 102 into a three-dimensional global coordinate system are calculated.
  • the conversion parameter is stored in the storage unit 222.
  • the curvature center calculation unit 212 converts the position data of the corneal reflection center 121 and the position data of the corneal reflection center 122 photographed by the stereo camera device 102 into position data in a three-dimensional global coordinate system using the conversion parameters.
  • the curvature center calculation unit 212 calculates position data of the corneal reflection center 124 in the three-dimensional global coordinate system based on the position data of the corneal reflection center 121 and the position data of the corneal reflection center 122 defined in the three-dimensional global coordinate system. To do.
  • the corneal curvature center 110 exists on a straight line 123 connecting the virtual light source 103 ⁇ / b> V and the corneal reflection center 124.
  • the curvature center calculation unit 212 calculates position data on the straight line 123 where the distance from the corneal reflection center 124 is a predetermined value as position data of the corneal curvature center 110.
  • the predetermined value is a value determined in advance from, for example, a general radius of curvature of the cornea, and is stored in the storage unit 222.
  • the corneal curvature center 110 is calculated by the same method as that used when there is one light source.
  • the corneal curvature radius 109 is the distance between the corneal surface and the corneal curvature center 110. Accordingly, the corneal curvature radius 109 is calculated by calculating the position data of the corneal surface and the position data of the corneal curvature center 110.
  • FIG. 6 is a schematic diagram for explaining an example of calibration processing according to the present embodiment.
  • the target position 130 is set in order to make the subject gaze.
  • the target position 130 is defined in a three-dimensional global coordinate system.
  • the target position 130 is set to the center position of the display screen 101S of the display device 101, for example.
  • the target position 130 may be set to the end position of the display screen 101S.
  • the output control unit 226 displays the target image at the set target position 130.
  • a straight line 131 is a straight line connecting the virtual light source 103V and the corneal reflection center 113C.
  • a straight line 132 is a straight line connecting the target position 130 and the pupil center 112C.
  • the corneal curvature center 110 is an intersection of the straight line 131 and the straight line 132.
  • the curvature center calculation unit 212 is based on the position data of the virtual light source 103V, the position data of the target position 130, the position data of the pupil center 112C, and the position data of the corneal reflection center 113C, and the position data of the corneal curvature center 110. Can be calculated.
  • FIG. 7 is a schematic diagram for explaining an example of a gazing point detection process according to the present embodiment.
  • a gazing point 165 indicates a gazing point obtained from the corneal curvature center calculated using a general curvature radius value.
  • the gazing point 166 indicates a gazing point obtained from the corneal curvature center calculated using the distance 126 obtained in the calibration process.
  • the pupil center 112C indicates the pupil center calculated in the calibration process
  • the corneal reflection center 113C indicates the corneal reflection center calculated in the calibration process.
  • a straight line 173 is a straight line connecting the virtual light source 103V and the corneal reflection center 113C.
  • the corneal curvature center 110 is the position of the corneal curvature center calculated from a general curvature radius value.
  • the distance 126 is a distance between the pupil center 112C and the corneal curvature center 110 calculated by the calibration process.
  • the corneal curvature center 110H indicates the position of the corrected corneal curvature center obtained by correcting the corneal curvature center 110 using the distance 126.
  • the corneal curvature center 110H is obtained from the fact that the corneal curvature center 110 exists on the straight line 173 and the distance between the pupil center 112C and the corneal curvature center 110 is the distance 126.
  • the line of sight 177 calculated when a general radius of curvature value is used is corrected to the line of sight 178.
  • the gazing point on the display screen 101S of the display device 101 is corrected from the gazing point 165 to the gazing point 166.
  • evaluation methods Next, an evaluation method according to this embodiment will be described.
  • cognitive dysfunction such as dementia and brain dysfunction are evaluated as the visual function of the subject.
  • FIG. 8 is a diagram illustrating an example of the instruction information I1 displayed on the display screen 101S in the evaluation method according to the present embodiment.
  • the display control unit 202 displays on the display screen 101 ⁇ / b> S instruction information I ⁇ b> 1 for allowing the subject to store the specific object to be displayed next (M ⁇ b> 1: see FIG. 9).
  • the display control unit 202 displays the instruction information I1 on the display screen 101S, and then displays the specific object on the display screen 101S as the first display operation.
  • FIG. 9 is a diagram illustrating an example of the specific object M1 displayed on the display screen 101S.
  • the display control unit 202 displays the specific object M1 having, for example, a combination of a circle and a triangle in the first display operation, but is not limited to this.
  • the display control unit 202 displays the specific object M1 on the display screen 101S for a predetermined time (for example, about several seconds) so that the subject gazes at the specific object M1 and stores the specific object M1.
  • FIG. 10 is a diagram illustrating an example of the instruction information I2 displayed on the display screen 101S.
  • the display control unit 202 displays instruction information I2 for instructing the subject to watch the specific object M1 on the screen to be displayed next. It is displayed on the screen 101S.
  • FIG. 11 is a diagram illustrating an example when a plurality of objects are displayed on the display screen 101S.
  • the display control unit 202 displays the instruction information I2 on the display screen 101S, as a second display operation, as shown in FIG. 11, the specific object M1 and the plurality of comparison objects M2 to M4 are displayed on the display screen 101S. indicate.
  • the comparison objects M2 to M4 may have a shape similar to the specific object M1, or may have a shape not similar to the specific object M1.
  • the comparison object M2 has a shape that combines a trapezoid and a circle
  • the comparison object M3 has a shape that combines a square and a circle
  • the comparison object M4 has a shape that combines a circle and a regular hexagon.
  • the display control unit 202 displays a plurality of objects including the specific object M1 and the comparison objects M2 to M4 on the display screen 101S, thereby causing the subject to find the specific object M1 and the specific object that was found Gaze at the object M1.
  • FIG. 11 shows an example of the gazing point P displayed as a result after measurement on the display screen 101S, for example, but the gazing point P is not actually displayed on the display screen 101S.
  • the position data of the gazing point is detected, for example, at a cycle of a frame synchronization signal output from the first camera 102A and the second camera 102B (for example, every 20 [msec]).
  • the first camera 102A and the second camera 102B capture images in synchronization.
  • the region setting unit 216 sets a specific region A1 corresponding to the specific object M1.
  • the area setting unit 216 sets comparison areas A2 to A4 corresponding to the comparison objects M2 to M4, respectively.
  • the specific area A1 and the comparison areas A2 to A4 are not displayed on the display screen 101S.
  • the area setting unit 216 sets the specific area A1 in a rectangular range including the specific object M1, for example. Similarly, the area setting unit 216 sets the comparison areas A2 to A4 in rectangular ranges including the comparison objects M2 to M4, for example. Note that the shapes of the specific region A1 and the comparison regions A2 to A4 are not limited to rectangles, and may be other shapes such as a circle, an ellipse, and a polygon.
  • the symptoms of cognitive dysfunction and brain dysfunction are known to affect memory.
  • the test subject is not a cognitive dysfunction person or a brain dysfunction person
  • the specific objects stored in the first display operation are observed by looking at the comparison objects M2 to M4 displayed on the display screen 101S one by one in the second display operation. After comparing with M1, it is determined that they are not the same, and finally the specific object M1 can be found and watched.
  • the test subject is a cognitive dysfunction person or a brain dysfunction person
  • the specific object M1 may not be memorized or may be immediately forgotten even if memorized. Therefore, the comparison as described above cannot be performed, and the specific object M1 may not be watched.
  • the specific object M1 is displayed on the display screen 101S and stored in the subject.
  • the specific object M1 and the plurality of comparison objects M2 to M4 are displayed on the display screen 101S.
  • the subject is instructed to adjust the viewpoint to the specific object M1. In this case, whether or not the subject is gazing at each of the plurality of comparison objects M2 to M4, whether or not the subject can finally reach the specific object M1 that is the correct answer, It is possible to evaluate the subject from the viewpoints such as how long it takes to reach M1 and whether or not the subject can gaze at the specific object M1.
  • the determination unit 218 determines whether the gazing point of the subject exists in the specific area A1 and the plurality of comparison areas A2 to A4. Outputs judgment data.
  • the calculation unit 220 calculates movement progress data indicating the movement of the gazing point P during the display period based on the determination data.
  • the calculation unit 220 calculates the existence time data, the movement count data, the final area data, and the arrival time data as the movement progress data.
  • the existence time data indicates the existence time when the gazing point P exists in the specific area A1.
  • the presence time data can be the number of times that the determination unit 218 determines that a gazing point exists in the specific area A1. That is, the arithmetic unit 220 can use the count value CNTA in the counter as existing time data.
  • the movement frequency data indicates the number of movements of the position of the gazing point P between the plurality of comparison areas A2 to A4 until the gazing point P first reaches the specific area A1. Accordingly, the calculation unit 220 counts how many times the gazing point P has moved between the specific area A1 and the comparison areas A2 to A4, and displays the count result until the gazing point P reaches the specific area A1. It can be data.
  • the final area data indicates the area where the gazing point P was last present during the display time among the specific area A1 and the comparison areas A2 to A4, that is, the area where the subject was gazing last as an answer.
  • the calculation unit 220 updates the area where the gazing point P exists every time the gazing point P is detected, so that the detection result at the end of the display period can be used as the final area data.
  • the arrival time data indicates the time from the start point of the display period to the arrival point at which the gazing point first reaches the specific area A1. Therefore, the calculation unit 220 measures the elapsed time from the start of the display period by the timer T1, and detects the measurement value of the timer T1 with the flag value set to 1 when the gazing point first reaches the specific area A1. The detection result of the timer T1 can be used as arrival time data.
  • the evaluation unit 224 obtains evaluation data based on the existence time data, the movement count data, the final area data, and the arrival time data.
  • the data value of the final area data is D1
  • the data value of the existing time data is D2
  • the data value of the arrival time data is D3
  • the data value of the movement count data is D4.
  • the data value D1 of the final area data is 1 if the final gaze point P of the subject exists in the specific area A1 (that is, if it is correct), and does not exist in the specific area A1 (that is, If the answer is incorrect, it is set to 0.
  • the data value D2 of the existence time data is the number of seconds that the gazing point P exists in the specific area A1.
  • the data value D2 may be provided with an upper limit value of seconds shorter than the display period.
  • the data value D3 of the arrival time data is the reciprocal of the arrival time (for example, 1 / (arrival time) ⁇ 10) (10: the arrival time minimum value is 0.1 second and the arrival time evaluation value is 1 or less. Coefficient).
  • the counter value is used as it is as the data value D4 of the movement count data.
  • the data value D4 may be provided with an upper limit value as appropriate.
  • the evaluation value ANS represented by the above expression is the data of the movement number data when the data value D1 of the final region data is 1, the data value D2 of the existence time data is large, the data value D3 of the arrival time data is large, The value increases when the value D4 is large. That is, the final gazing point P exists in the specific area A1, the existence time of the gazing point P in the specific area A1 is long, the arrival time for the gazing point P to reach the specific area A1 from the start of the display period is short, The evaluation value ANS increases as the number of times the gazing point P moves in each area increases.
  • the data value D1 of the final area data is 0, the data value D2 of the existing time data is small, the data value D3 of the arrival time data is small, the data value D4 of the movement count data is the evaluation value ANS. If it is small, the value is small. That is, the final gazing point P does not exist in the specific area A1, the existence time of the gazing point P in the specific area A1 is short, and the arrival time for the gazing point P to reach the specific area A1 from the start of the display period is long.
  • the evaluation value ANS becomes smaller as the number of times the gazing point P moves in each area is smaller.
  • the evaluation unit 224 can obtain evaluation data by determining whether or not the evaluation value ANS is equal to or greater than a predetermined value. For example, when the evaluation value ANS is equal to or higher than a predetermined value, it can be evaluated that there is a low possibility that the subject has cognitive dysfunction and brain dysfunction. Further, when the evaluation value ANS is less than the predetermined value, it can be evaluated that there is a high possibility that the subject has cognitive dysfunction and brain dysfunction.
  • the evaluation unit 224 can store the value of the evaluation value ANS in the storage unit 222.
  • evaluation values ANS for the same subject may be stored cumulatively, and an evaluation may be performed when compared with past evaluation values. For example, when the evaluation value ANS is higher than the past evaluation value, it can be evaluated that the brain function is improved compared to the previous evaluation. Further, when the cumulative value of the evaluation value ANS is gradually increased, it can be evaluated that the brain function is gradually improved.
  • the evaluation unit 224 may perform evaluation by individually or combining a plurality of existence time data, movement count data, final area data, and arrival time data. For example, when the gazing point P accidentally arrives at the specific area A1 while watching many objects, the data value D4 of the movement count data becomes small. In this case, the evaluation can be performed together with the data value D2 of the existence time data described above. For example, even if the number of movements is small, if the presence time is long, it can be evaluated that the specific area A1 that is the correct answer can be watched. Further, when the number of movements is small and the existence time is short, it can be evaluated that there is a case in which the gazing point P has accidentally passed the specific area A1.
  • the number of movements when the number of movements is small and the final area is the specific area A1, it can be evaluated that, for example, the correct specific area A1 has been reached with little gazing point movement.
  • the number of movements described above is small, if the final region is not the specific region A1, it can be evaluated that, for example, the point of gaze P has accidentally passed the specific region A1.
  • the output control unit 226 when the evaluation unit 224 outputs the evaluation data, the output control unit 226 indicates that, for example, “the subject is unlikely to have cognitive dysfunction and brain dysfunction”. ", Character data such as” subjects are likely to have cognitive dysfunction and brain dysfunction ", and the like can be output to the output device 50. Further, when the evaluation value ANS for the same subject is higher than the past evaluation value ANS, the output control unit 226 sends character data or the like such as “the brain function is improved” to the output device 50. Can be output.
  • FIG. 12 is a diagram showing an example in which the specific object and the instruction information I3 are simultaneously displayed on the display screen 101S.
  • FIG. 13 is a diagram illustrating another example in the case where a specific object and a plurality of comparison objects are displayed on the display screen 101S.
  • the display control unit 202 displays the specific object M5 on the display screen 101S and instructs the subject to watch the same graphic as the specific object M5.
  • Instruction information I3 may be simultaneously displayed on the display screen 101S.
  • the display control unit 202 can display the specific object M5 and the comparison objects M6 and M7 in the second display operation as shown in FIG.
  • the display control unit 202 may display a graphic formed using the same shape (eg, pentagon), such as the specific object M5 and the comparison objects M6 and M7.
  • a graphic formed using the same shape eg, pentagon
  • the area setting unit 216 can set a specific area A5 corresponding to the specific object M5 and set comparison areas A6 and A7 corresponding to the comparison objects M6 and M7. In this manner, the inspection time can be shortened by simultaneously displaying the specific object M5 and the instruction information I3 on the display screen 101S.
  • FIG. 14 is a diagram showing another example of displaying the specific object and the instruction information I4 on the display screen 101S.
  • FIG. 15 is a diagram illustrating another example when a specific object and a plurality of comparison objects are displayed on the display screen 101S.
  • the display control unit 202 can display the face of a person as the specific object M8 in the first display operation. Also in this case, the display control unit 202 may display the specific object M8 and the instruction information I4 at the same time.
  • the content may instruct the subject to remember the person of the specific object M8 as in the instruction information shown in FIG.
  • the display control unit 202 After the first display operation, in the second display operation, the display control unit 202, as shown in FIG. 15, the specific object M8 and comparison objects M9 to M11 that are faces of persons different from the specific object M8. And can be displayed.
  • the area setting unit 216 can set a specific area A8 corresponding to the specific object M8, and can set comparison areas A9 to A11 corresponding to the comparison objects M9 to M11.
  • the display control unit 202 may simultaneously display the specific object M8, the comparison objects M9 to M11, and the instruction information I5 in the second display operation. As described above, the display control unit 202 may display the instruction information for each of the first display operation and the second display operation. Thereby, the inspection time can be further shortened.
  • FIG. 16 is a flowchart illustrating an example of the evaluation method according to the present embodiment.
  • the display control unit 202 starts video reproduction (step S101).
  • the timer T1 is reset (step S103)
  • the counter count value CNTA is reset (step S104)
  • the flag value is set to 0. (Step S105).
  • the gaze point detection unit 214 shows the video image displayed on the display device 101 to the subject, and displays the gaze point of the subject on the display screen 101S of the display device 101 at a predetermined sampling period (for example, 20 [msec]).
  • Position data is detected (step S106).
  • the determination unit 218 determines an area where the gazing point P exists based on the position data (step S108).
  • step S109 the calculation unit 220 determines whether or not the flag value is 1, that is, the gazing point P has reached the specific area A1. It is determined whether it is the first time (1: reached, 0: not reached) (step S110). When the flag value is 1 (Yes in step S110), the calculation unit 220 skips the following steps S111 to S113 and performs the process of step S114 described later.
  • the calculation unit 220 uses the measurement result of the timer T1 as arrival time data. Extract (step S111). In addition, the calculation unit 220 stores movement number data indicating how many times the gazing point P has moved between the areas before reaching the specific area A in the storage unit 222 (step S112). Thereafter, the arithmetic unit 220 changes the flag value to 1 (step S113).
  • the calculation unit 220 determines whether or not the region where the gazing point P existed in the latest detection, that is, the final region is the specific region A1 (step S114). When it is determined that the final region is the specific region A1 (Yes in Step S114), the arithmetic unit 220 skips the following Step S115 and Step S116 and performs the process of Step S117 described later. When it is determined that the final region is not the specific region A1 (No in Step S114), the calculation unit 220 sets the number of times of integration indicating how many times the gazing point P has moved between the regions as +1 (Step S115). The final area is changed to the specific area A1 (step S116). In addition, the calculation unit 220 increments the count value CNTA indicating the existence time data in the specific area A1 by +1 (step S117). Thereafter, the calculation unit 220 performs processing after step S130 described later.
  • the arithmetic unit 220 determines whether or not the gazing point P exists in the comparison area A2 (Step S118). When it is determined that the gazing point P exists in the comparison area A2 (Yes in step S118), the calculation unit 220 determines whether or not the area where the gazing point P existed in the latest detection, that is, the final area is the comparison area A2. Is determined (step S119). When it is determined that the final region is the comparison region A2 (Yes in Step S119), the arithmetic unit 220 skips the following Step S120 and Step S121 and performs the process of Step S130 described later.
  • the calculation unit 220 sets the number of integrations indicating how many times the gazing point P has moved between the regions to +1 (step S115). The final area is changed to the comparison area A2 (step S120). Thereafter, the calculation unit 220 performs processing after step S130 described later.
  • the calculation unit 220 determines whether or not the gazing point P exists in the comparison area A3 (Step S122). When it is determined that the gazing point P exists in the comparison area A3 (Yes in step S122), the calculation unit 220 determines whether or not the area where the gazing point P existed in the latest detection, that is, the final area is the comparison area A3. Is determined (step S123). When it is determined that the final region is the comparison region A3 (Yes in Step S123), the arithmetic unit 220 skips the following Step S124 and Step S125 and performs the process of Step S130 described later.
  • the calculation unit 220 sets the number of accumulations indicating how many times the gazing point P has moved between the regions as +1 (Step S123). The final area is changed to the comparison area A3 (step S125). Thereafter, the calculation unit 220 performs processing after step S130 described later.
  • the calculation unit 220 determines whether or not the gazing point P exists in the comparison area A3 (step S122). When it is determined that the gazing point P exists in the comparison area A4 (Yes in step S126), the calculation unit 220 determines whether or not the area where the gazing point P existed in the latest detection, that is, the final area is the comparison area A4. Is determined (step S127). When it is determined that the final region is the comparison region A4 (Yes in step S127), the arithmetic unit 220 skips the following step S128 and step S129 and performs the process of step S130 described later.
  • the calculation unit 220 sets the number of integrations indicating how many times the gazing point P has moved between the regions to +1 (step S128). The final area is changed to the comparison area A3 (step S129). Thereafter, the calculation unit 220 performs processing after step S130 described later.
  • step S130 the calculation unit 220 determines whether or not the time at which video reproduction is completed has been reached based on the detection result of the detection timer T1 (step S130).
  • the calculation unit 220 determines that the time for completing the video reproduction has not been reached (No in step S130)
  • the processing from step S106 onward is repeated.
  • the display control unit 202 stops the reproduction of the video (step S131).
  • the evaluation unit 224 calculates an evaluation value ANS based on the existence time data obtained from the above processing result, the movement count data, the final area data, and the arrival time data (Ste S132), evaluation data is obtained based on the evaluation value ANS.
  • the output control unit 226 outputs the evaluation data obtained by the evaluation unit 224 (step S133).
  • the evaluation apparatus includes the gazing point detection unit 214 that detects the position of the gazing point of the subject who observes the image displayed on the display screen 101S, and the specific object M1 on the display screen 101S.
  • a first display operation for displaying, and a second display operation for displaying the specific object M1 and the comparison objects M2 to M4 different from the specific object M1 on the display screen 101S after the first display operation is performed.
  • a display control unit 202 that performs a display operation, a region setting unit 216 that sets a specific region A1 corresponding to the specific object M1 and comparison regions A2 to A4 corresponding to the comparison objects M2 to M4 on the display screen 101S;
  • the determination unit 218 determines whether or not the gazing point P exists in the specific area A1 and the comparison areas A2 to A4 in the display period in which the second display operation is performed based on the position data of the gazing point P.
  • a calculation unit 220 for calculating the movement history data indicating the course of movement of the gaze point P in the display period, based on the movement history data, and an evaluation unit 224 for obtaining the evaluation data of the subject.
  • the evaluation method detects the position of the gazing point of the subject who observes the image displayed on the display screen 101S, and the first display operation that displays the specific object M1 on the display screen 101S. Performing a display operation including a second display operation for displaying the specific object M1 and the comparison objects M2 to M4 different from the specific object M1 on the display screen 101S after performing the first display operation; On the display screen 101S, the specific area A1 corresponding to the specific object M1 and the comparison areas A2 to A4 corresponding to the comparison objects M2 to M4 are set, and based on the position data of the gazing point P, the second It is determined whether or not the gazing point P exists in the specific area A1 and the comparison areas A2 to A4 during the display period in which the display operation is performed, and based on the determination result, the movement of the gazing point P in the display period Includes calculating a movement history data indicating an elapsed, based on the movement history data, an evaluation unit 224 for obtaining the
  • the evaluation program includes a process for detecting the position of the gazing point of the subject who observes the image displayed on the display screen 101S, and a first display operation for displaying the specific object M1 on the display screen 101S.
  • the second Processing for determining whether or not the gazing point P exists in the specific area A1 and the comparison areas A2 to A4 during the display period in which the display operation is performed, and the gazing point P in the display period based on the determination result
  • the evaluation apparatus 100 can perform a test subject's evaluation with high precision.
  • the gazing point data includes arrival time data indicating the time from the start point of the display period to the arrival point when the gazing point P first reaches the specific area A1, and the gazing point P. Movement number data indicating the number of times the position of the gazing point P moves between the plurality of comparison areas A2 to A4 until the arriving point first reaches the specific area A1, and the gazing point P is in the specific area A1 or the comparison area during the display period.
  • the evaluation unit 224 obtains the evaluation data of the subject based on at least one of the gazing point data. Thereby, highly accurate evaluation data can be obtained efficiently.
  • the evaluation unit 224 obtains evaluation data by weighting at least one data included in the gazing point data. Thereby, more accurate evaluation data can be obtained by giving priority to each data.
  • the technical scope of the present invention is not limited to the above-described embodiment, and appropriate modifications can be made without departing from the spirit of the present invention.
  • the evaluation apparatus 100 is used as an evaluation apparatus that evaluates the possibility of being a cognitive dysfunction person and a brain dysfunction person is described as an example.
  • the present invention is not limited to this.
  • the evaluation apparatus 100 may be used as an evaluation apparatus that evaluates the memory ability of a subject who is not a cognitive or brain dysfunction person.
  • the region setting unit 216 may set a corresponding region corresponding to the specific object M1 displayed on the display screen 101S in the first display operation.
  • the determination unit 218 may determine whether or not the subject's gazing point P exists in the corresponding region.
  • the calculation unit 220 may determine whether the subject can store the specific object M1 displayed on the display screen 101S in the first display operation.
  • the display control unit 202 may change the display form of the specific object in the first display operation.
  • the display control unit 202 displays an image in which five kinds of food are arranged in front of a bear on the display screen 101S. These five types of food correspond to a plurality of objects F and F1 to F4.
  • the object F is a mandarin orange
  • the object F1 is a watermelon
  • the object F2 is a fish
  • the object F3 is a bread
  • the object F4 is an apple.
  • the display control unit 202 displays instruction information I6 for causing the subject to remember which type of food the bear has eaten among the five types of food in the image to be displayed next (see FIGS. 18 to 20). .
  • the object F indicating the mandarin orange is the specific object.
  • the objects F1 to F4 indicating foods other than mandarin oranges are comparison objects.
  • the object F may be referred to as a specific object F
  • the objects F1 to F4 may be referred to as comparison objects F1 to F4, respectively.
  • the area setting unit 216 sets a specific area A corresponding to the specific object F, and sets comparison areas B1 to B4 corresponding to the comparison objects F1 to F4.
  • the area setting unit 216 sets an instruction area C corresponding to the instruction information I6.
  • the area setting unit 216 sets the specific area A in a rectangular range including the specific object F, for example.
  • the area setting unit 216 sets the comparison areas B1 to B4 in a rectangular range including the comparison objects F1 to M4, for example.
  • the area setting unit 216 sets the instruction area C in a rectangular range including the instruction information I6.
  • the shapes of the specific area A, the comparison areas B1 to B4, and the instruction area C are not limited to rectangles, and may be other shapes such as a circle, an ellipse, and a polygon.
  • the area setting unit 216 sets the specific area A, the comparison areas B1 to B4, and the instruction area C so as not to overlap each other.
  • the display control unit 202 displays a moving image in which the bear eats one type of the five types of food on the display screen 101S.
  • 18 to 20 are diagrams showing scenes of the moving image, respectively.
  • the object F indicating the mandarin orange is the specific object.
  • the objects F1 to F4 indicating foods other than mandarin oranges are comparison objects.
  • the object F may be referred to as a specific object F
  • the objects F1 to F4 may be referred to as comparison objects F1 to F4, respectively.
  • FIG. 18 shows a scene where a bear picks up a mandarin orange and opens its mouth.
  • FIG. 19 shows a scene from when a bear puts a mandarin orange in the mouth and closes the mouth.
  • FIG. 20 shows a scene in which a mandarin orange enters the mouth of the bear and disappears, and the bear eats the mandarin orange.
  • the display control unit 202 changes the display form of the specific object F.
  • the area setting unit 216 sets a specific area A corresponding to the specific object F and continues to compare areas corresponding to the comparison objects F1 to F4 from the state shown in FIG. B1 to B4 are set. In addition, the area setting unit 216 cancels the setting of the instruction area C. Then, the area setting unit 216 sets the movement area D in a rectangular range including a locus along which the mandarin orange moves from when the bear picks up the mandarin orange to the mouth. Also in this case, the shapes of the specific area A, the comparison areas B1 to B4, and the movement area D are not limited to rectangles, and may be other shapes such as a circle, an ellipse, and a polygon.
  • the area setting unit 216 sets the specific area A, the comparison areas B1 to B4, and the movement area D so as not to overlap each other.
  • the area setting unit 216 cancels the setting of the movement area D when the scene of FIG. 19 ends and the scene of FIG. 20 is displayed. That is, the setting of the movement area D is canceled at a predetermined time when the mandarin orange enters the bear's mouth and the mouth closes and becomes invisible.
  • the display control unit 202 displays which type of food among the five types of food in the state where the five types of food are arranged in front of the bear as shown in FIG. Instruction information I7 for causing the subject to pay attention to whether or not he / she ate is displayed. Further, the area setting unit 216 sets the specific area A corresponding to the specific object F and sets the comparison areas B1 to B4 corresponding to the comparison objects F1 to F4 following the state shown in FIG. The area setting unit 216 sets an instruction area E corresponding to the instruction information I7.
  • the shapes of the specific area A, the comparison areas B1 to B4, and the instruction area E are not limited to a rectangle, and may be other shapes such as a circle, an ellipse, and a polygon.
  • the area setting unit 216 sets the specific area A, the comparison areas B1 to B4, and the instruction area E so as not to overlap each other.
  • the display control unit 202 After displaying the instruction information I7 for a predetermined period, the display control unit 202 erases the display of the instruction information I7 as shown in FIG.
  • the area setting unit 216 cancels the setting of the instruction area E in accordance with the timing of deleting the display of the instruction information I7.
  • the display control unit 202 and the region setting unit 216 maintain this state for a predetermined period. That is, the display control unit 202 displays the specific object F and the comparison objects F1 to F4 on the display screen 101S for a predetermined period.
  • the area setting unit 216 sets a specific area A corresponding to the specific object F for a predetermined period, and sets comparison areas B1 to B4 corresponding to the comparison objects F1 to F4 for a predetermined period. During this predetermined period, the subject is caused to gaze at the specific object F and the comparison objects F1 to F4.
  • the display control unit 202 may display an image indicating the correct answer to the instruction information I7 as shown in FIG.
  • FIG. 23 as an example, an image in which a region where a tangerine is arranged is surrounded by a frame and a bear looks at the tangerine is shown.
  • the area setting unit 216 may cancel the specific area A, the comparison areas B1 to B4, and the instruction area E.
  • FIG. 24 is a flowchart showing a flow of processing of an evaluation method according to another example.
  • the display control unit 202 displays instruction information I6 for allowing the subject to remember which type of food the bear has eaten among the five types of food (storage instruction processing: step S201).
  • the display control unit 202 displays a moving image in which the bear eats one of five types of food on the display screen 101S and stores it in the subject (storage process: step S202). .
  • the display control unit 202 causes the subject to pay attention to which type of food the bear has eaten among the five types of food in a state where the five types of food are arranged in front of the bear.
  • Instruction information I7 is displayed (answer processing: step S203).
  • the display control unit 202 displays an image indicating a correct answer to the instruction information I7 (correct answer display process: step S204).
  • the evaluation unit 224 calculates an evaluation value ANS based on the existence time data obtained from the above processing result, the movement count data, the final area data, and the arrival time data, and based on the evaluation value ANS. Evaluation data is obtained (step S205). Thereafter, the output control unit 226 outputs the evaluation data obtained by the evaluation unit 224 (step S206).
  • FIG. 25 is a flowchart showing a process flow in the storage instruction process (step S201).
  • the display control unit 202 starts playback of video (step S301).
  • the arithmetic unit 220 resets the timer T1 after the waiting time until the video portion has elapsed (step S302), and resets the count values CNTC and RRa of the counter (step S303).
  • the timer T1 is a timer for obtaining timing at which the video of the storage instruction processing portion in the main video ends.
  • the counter CNTC is for measuring the count value CNTC indicating the time-of-life data in the designated area C of the gazing point P.
  • the counter RRa is a counter for counting the number of times of integration RRa indicating how many times the gazing point P has moved between areas during the video playback period.
  • the gaze point detection unit 214 shows the video image displayed on the display device 101 to the subject, and displays the gaze point of the subject on the display screen 101S of the display device 101 at a predetermined sampling period (for example, 20 [msec]).
  • Position data is detected (step S304).
  • the processing after step S329 described later is performed.
  • the determination unit 218 determines an area where the gazing point P exists based on the position data (step S306).
  • the calculation unit 220 determines whether or not the area where the gazing point P existed in the latest detection, that is, the final area is the specific area A. Is determined (step S308). When it is determined that the final region is the specific region A (Yes in step S308), the arithmetic unit 220 skips the following steps S309 and S310 and performs the process of step S329 described later. If it is determined that the final area is not the specific area A (No in step S308), the calculation unit 220 increments the cumulative number RRa indicating how many times the gazing point P has moved between the areas (step S309). The final area is changed to the specific area A (step S310). Thereafter, the calculation unit 220 performs the processing after step S329 described later.
  • the calculation unit 220 determines whether the gazing point P exists in the comparison area B1 (step S311). When it is determined that the gazing point P exists in the comparison area B1 (Yes in step S311), the calculation unit 220 determines whether or not the area where the gazing point P existed in the latest detection, that is, the final area is the comparison area B1. Is determined (step S312). When it is determined that the final region is the comparison region B1 (Yes in Step S312), the arithmetic unit 220 skips the following Step S313 and Step S314 and performs the process of Step S329 described later.
  • the calculation unit 220 sets the accumulated number RRa indicating how many times the gazing point P has moved between the regions to +1 (step S313). The final area is changed to the comparison area B1 (step S314). Thereafter, the calculation unit 220 performs the processing after step S329 described later.
  • the calculation unit 220 determines whether or not the gazing point P exists in the comparison area B2 (Step S315).
  • the calculation unit 220 determines whether or not the area where the gazing point P existed in the latest detection, that is, the final area is the comparison area B2. Is determined (step S316).
  • the arithmetic unit 220 skips the following Step S317 and Step S318, and performs the process of Step S329 described later.
  • the calculation unit 220 sets the accumulated number RRa indicating how many times the gazing point P has moved between the regions to +1 (Step S317).
  • the final area is changed to the comparison area B2 (step S318). Thereafter, the calculation unit 220 performs the processing after step S329 described later.
  • the calculation unit 220 determines whether or not the gazing point P exists in the comparison area B3 (Step S319).
  • the calculation unit 220 determines whether or not the area where the gazing point P existed in the latest detection, that is, the final area is the comparison area B3. Is determined (step S320).
  • the arithmetic unit 220 skips the following Step S321 and Step S322 and performs the process of Step S329 described later.
  • the calculation unit 220 sets the accumulated number RRa indicating how many times the gazing point P has moved between the regions to +1 (step S321). The final area is changed to the comparison area B3 (step S322). Thereafter, the calculation unit 220 performs the processing after step S329 described later.
  • the calculation unit 220 determines whether or not the gazing point P exists in the comparison area B4 (Step S323). When it is determined that the gazing point P exists in the comparison area B4 (Yes in step S323), the calculation unit 220 determines whether or not the area where the gazing point P existed in the latest detection, that is, the final area is the comparison area B4. Is determined (step S324). When it is determined that the final region is the comparison region B4 (Yes in Step S324), the arithmetic unit 220 skips the following Step S325 and Step S326 and performs the process of Step S329 described later.
  • the calculation unit 220 sets the accumulated number RRa indicating how many times the gazing point P has moved between the regions to +1 (step S325). The final area is changed to the comparison area B4 (step S326). Thereafter, the calculation unit 220 performs the processing after step S329 described later.
  • the arithmetic unit 220 determines whether or not the gazing point P exists in the instruction area C (Step S327). When it is determined that the gazing point P does not exist in the designated area C (No in step S327), the processing after step S329 described later is performed. When it is determined that the gazing point P exists in the designated area C (Yes in step S327), the calculation unit 220 sets the count value CNTC indicating the existence time data in the designated area C of the gazing point P to +1 ( Step S328). Thereafter, the calculation unit 220 performs the processing after step S329 described later.
  • the arithmetic unit 220 determines whether or not the time at which video reproduction is completed has been reached based on the detection result of the detection timer T1 (step S329). When it is determined by the arithmetic unit 220 that the time for completing the video reproduction has not been reached (No in step S329), the processes in and after step S304 are repeated.
  • step S319 When it is determined by the arithmetic unit 220 that the time for completing the reproduction of the video has been reached (Yes in step S329), the display control unit 202 stops the reproduction of the video (step S330). After the reproduction of the video is stopped, a storage process (step S202) is performed.
  • FIG. 26 is a flowchart showing a process flow in the storage process (step S202).
  • the display control unit 202 starts playback of a video (step S401).
  • the arithmetic unit 220 resets the timer T2 after the waiting time until the video portion has elapsed (step S402), and resets the counter count values CNTAa, CNTB1a, CNTB2a, CNTB3a, CNTB4a, and CNTD (step S403).
  • the timer T2 is a timer for obtaining the timing when the video of the storage processing portion in the main video ends.
  • the counter CNTAa is for measuring a count value CNTAa indicating the time-of-existence data in the specific area A of the gazing point P.
  • the counters CNTB1a to CNTB4a are used to measure count values CNTB1a to CNTB4a indicating the existing time data in the comparison areas B1 to B4 of the gazing point P.
  • the counter CNTD is for measuring a count value CNTD that indicates the existence time data in the moving region D of the gazing point P.
  • the gaze point detection unit 214 shows the video image displayed on the display device 101 to the subject, and displays the gaze point of the subject on the display screen 101S of the display device 101 at a predetermined sampling period (for example, 20 [msec]).
  • Position data is detected (step S404).
  • position data is not detected (Yes of step S405), the process after step S420 mentioned later is performed.
  • the determination unit 218 determines an area where the gazing point P exists based on the position data (step S406).
  • the calculation unit 220 increments the count value CNTAa indicating the existence time data in the specific area A of the gazing point P by 1 (step S408). Thereafter, the calculation unit 220 performs processing after step S420 described later.
  • the calculation unit 220 determines whether or not the gazing point P exists in the comparison area B1 (Step S409). When it is determined that the gazing point P exists in the comparison area B1 (Yes in step S409), the calculation unit 220 increments the count value CNTB1a indicating the existence time data in the comparison area B1 of the gazing point P by 1 (step S410). ). Thereafter, the calculation unit 220 performs processing after step S420 described later.
  • the calculation unit 220 determines whether or not the gazing point P exists in the comparison area B2 (Step S411). When it is determined that the gazing point P exists in the comparison area B2 (Yes in step S411), the calculation unit 220 sets the count value CNTB2a indicating the existence time data in the comparison area B2 of the gazing point P to +1 (step S412). ). Thereafter, the calculation unit 220 performs processing after step S420 described later.
  • the arithmetic unit 220 determines whether or not the gazing point P exists in the comparison area B3 (Step S413).
  • the calculation unit 220 sets the count value CNTB3a indicating the existence time data in the comparison area B3 of the gazing point P to +1 (step S414). ). Thereafter, the calculation unit 220 performs processing after step S420 described later.
  • the calculation unit 220 determines whether or not the gazing point P exists in the comparison area B4 (Step S415). When it is determined that the gazing point P is present in the comparison area B4 (Yes in step S415), the calculation unit 220 sets the count value CNTB4a indicating the existence time data in the comparison area B4 of the gazing point P to +1 (step S416). ). Thereafter, the calculation unit 220 performs processing after step S420 described later.
  • the calculation unit 220 determines whether the value of the timer T2 exceeds the predetermined time t01 (Step S417).
  • the predetermined time t01 is a time when the mandarin orange enters the bear's mouth and the mouth closes and becomes invisible.
  • the arithmetic unit 220 skips the process of step S418 and performs the processes after step S420 described later.
  • the calculation unit 220 determines whether or not the gazing point P exists in the moving area D (Step S418). When it is determined that the gazing point P does not exist in the movement area D (No in step S418), the processing after step S420 described later is performed. When it is determined that the gazing point P exists in the movement area D (Yes in step S418), the calculation unit 220 sets the count value CNTD indicating the existence time data in the movement area D of the gazing point P to +1 ( Step S419). Thereafter, the calculation unit 220 performs processing after step S420 described later.
  • step S420 determines whether or not the time for completing the reproduction of the video has been reached based on the detection result of the detection timer T2 (step S420).
  • the processing from step S404 onward is repeated.
  • step S420 When it is determined by the arithmetic unit 220 that the time for completing the reproduction of the video has been reached (Yes in step S420), the display control unit 202 stops the reproduction of the video (step S421). After the reproduction of the video is stopped, an answer process (step S203) is performed.
  • FIG. 27 is a flowchart showing a process flow in the answer process (step S203).
  • the display control unit 202 starts the reproduction of the video (step S501).
  • the arithmetic unit 220 resets the timer T3 after the waiting time until the video portion has elapsed (step S502), and resets the counter count values CNTAb, CNTB1b, CNTB2b, CNTB3b, CNTB4b, CNTE, and RRb (step S503).
  • the flag value is set to 0 (step S504).
  • the timer T3 is a timer for obtaining a timing at which the video of the answer processing portion in the main video ends.
  • the counter CNTAb is for measuring a count value CNTAb indicating the time-of-life data in the specific area A of the gazing point P.
  • the counters CNTB1b to CNTB4b are for measuring the count values CNTB1b to CNTB4b indicating the existing time data in the comparison areas B1 to B4 of the gazing point P.
  • the counter CNTE is for measuring a count value CNTE indicating the time-of-life data in the indication area E of the gazing point P.
  • the counter RRb is a counter for counting the cumulative number RRb indicating how many times the gazing point P has moved between the areas.
  • the gaze point detection unit 214 shows the video image displayed on the display device 101 to the subject, and displays the gaze point of the subject on the display screen 101S of the display device 101 at a predetermined sampling period (for example, 20 [msec]).
  • Position data is detected (step S505).
  • the determination unit 218 determines an area where the gazing point P exists based on the position data (step S507).
  • step S508 When it is determined that the gazing point P exists in the specific area A (Yes in step S508), the calculation unit 220 determines whether or not the flag value is 1, that is, the gazing point P has reached the specific area A. It is determined whether it is the first time (1: reached, 0: not reached) (step S509). When the flag value is 1 (Yes in step S509), the calculation unit 220 skips the following steps S510 to S512 and performs the process of step S513 described later.
  • the calculation unit 220 uses the measurement result of the timer T3 as arrival time data. Extract (step S510). In addition, the calculation unit 220 causes the storage unit 222 to store movement count data indicating how many times the gazing point P has moved between the areas before reaching the specific area A (step S511). Thereafter, the arithmetic unit 220 changes the flag value to 1 (step S512).
  • the calculation unit 220 determines whether or not the region where the gazing point P existed in the latest detection, that is, the final region is the specific region A (step S513).
  • the arithmetic unit 220 skips the following step S514 and step S515 and performs the process of step S516 described later.
  • the calculation unit 220 sets the number of accumulations indicating how many times the gazing point P has moved between the regions to +1 (step S514).
  • the final area is changed to the specific area A (step S515).
  • the calculation unit 220 increments the count value CNTAb indicating the existence time data of the gazing point P in the specific area A by +1 (step S516). Thereafter, the calculation unit 220 performs processing after step S540 described later.
  • the calculation unit 220 determines whether or not the gazing point P exists in the comparison area B1 (step S517). When it is determined that the gazing point P exists in the comparison area B1 (Yes in step S517), the calculation unit 220 determines whether or not the area where the gazing point P existed in the latest detection, that is, the final area is the comparison area B1. Is determined (step S518). When it is determined that the final region is the comparison region B1 (Yes in Step S518), the arithmetic unit 220 skips the following Step S519 and Step S520 and performs the process of Step S521 described later.
  • the calculation unit 220 sets the number of integrations indicating how many times the gazing point P has moved between the regions as +1 (Step S519). The final area is changed to the comparison area B1 (step S520). In addition, the calculation unit 220 increments the count value CNTB1b indicating the existence time data in the comparison area B1 of the gazing point P by +1 (step S521). Thereafter, the calculation unit 220 performs processing after step S540 described later.
  • the calculation unit 220 determines whether or not the gazing point P exists in the comparison area B2 (Step S522).
  • the calculation unit 220 determines whether or not the area where the gazing point P existed in the latest detection, that is, the final area is the comparison area B2. Is determined (step S523).
  • the arithmetic unit 220 skips the following Step S524 and Step S525, and performs the process of Step S526 described later.
  • the calculation unit 220 sets the number of integrations indicating how many times the gazing point P has moved between the regions to +1 (step S524). The final area is changed to the comparison area B2 (step S525). In addition, the calculation unit 220 increments the count value CNTB2b indicating the existence time data in the comparison area B2 of the gazing point P by 1 (step S526). Thereafter, the calculation unit 220 performs processing after step S540 described later.
  • the calculation unit 220 determines whether or not the gazing point P exists in the comparison area B3 (Step S527).
  • the calculation unit 220 determines whether or not the area where the gazing point P existed in the latest detection, that is, the final area is the comparison area B3. Is determined (step S528).
  • the arithmetic unit 220 skips the following Step S529 and Step S530 and performs the process of Step S531 described later.
  • the calculation unit 220 sets the number of integrations indicating how many times the gazing point P has moved between the regions to +1 (step S529). The final area is changed to the comparison area B3 (step S530). In addition, the calculation unit 220 increments the count value CNTB3b indicating the existence time data in the comparison area B3 of the gazing point P by 1 (Step S531). Thereafter, the calculation unit 220 performs processing after step S540 described later.
  • the calculation unit 220 determines whether or not the gazing point P exists in the comparison area B4 (Step S532).
  • the calculation unit 220 determines whether or not the area where the gazing point P existed in the latest detection, that is, the final area is the comparison area B4. Is determined (step S533).
  • the arithmetic unit 220 skips the following step S534 and step S535 and performs the process of step S536 described later.
  • the calculation unit 220 sets the number of integrations indicating how many times the gazing point P has moved between the regions to +1 (step S534). The final area is changed to the comparison area B4 (step S535). In addition, the calculation unit 220 increments the count value CNTB4b indicating the existence time data in the comparison area B4 of the gazing point P by +1 (step S536). Thereafter, the calculation unit 220 performs processing after step S540 described later.
  • the arithmetic unit 220 determines whether the value of the timer T3 exceeds the predetermined time t02 (Step S537).
  • the predetermined time t02 is a time at which the display of the instruction information I7 is deleted.
  • the calculation unit 220 skips the process of step S538 and performs the processes after step S540 described later.
  • the calculation unit 220 determines whether or not the gazing point P exists in the designated area E (Step S538). When it is determined that the gazing point P exists in the designated area E (Yes in step S538), the calculation unit 220 increments the count value CNTE indicating the existence time data in the designated area E of the gazing point P by 1 (step S539). ). Thereafter, the calculation unit 220 performs processing after step S540 described later.
  • step S540 determines whether or not the time at which video reproduction is completed is reached based on the detection result of the detection timer T3 (step S540).
  • the arithmetic unit 220 determines whether or not the time for completing the reproduction of the video has not been reached (No in step S540).
  • step S540 If it is determined by the arithmetic unit 220 that the time at which video playback is completed has been reached (Yes in step S540), the display control unit 202 stops video playback (step S541). After the reproduction of the video is stopped, an evaluation calculation (step S205) and an evaluation value output (step S206) are performed.
  • the numerical value increases as there is a tendency to check the instruction characters well.
  • the evaluation value ANS decreases as the CNTC value increases.
  • the higher the value the higher the tendency to see objects other than the tangerines that the bear eats.
  • the evaluation value ANS increases as the values of CNTB1a to CNTB4a increase.
  • K18 may be a positive coefficient, and the value may be lower than other coefficients, for example.
  • the numerical value becomes higher as there is a tendency to check the instruction information I7 better.
  • the evaluation value ANS decreases as the value of CNTE increases.
  • the evaluation unit 224 can obtain evaluation data by determining whether or not the evaluation value ANS is equal to or greater than a predetermined value. For example, when the evaluation value ANS is greater than or equal to a predetermined value, it can be evaluated that there is a high possibility that the subject has cognitive dysfunction and brain dysfunction. Moreover, when the evaluation value ANS is less than a predetermined value, it can be evaluated that there is a low possibility that the subject has cognitive impairment and brain dysfunction.
  • the evaluation unit 224 may obtain the evaluation value of the subject based on at least one of the above-described gazing point data. For example, if the evaluation unit 224 is equal to or greater than a predetermined value for the existence time data CNTAb of the specific region A, the evaluation unit 224 can evaluate that the subject is unlikely to be a cognitive dysfunction person or a brain dysfunction person. In addition, the evaluation unit 224 determines that the ratio of the total of the existence time data CNTAb of the specific area A and the existence time data CNTB1b to CNTB4b of the comparison area B1 (the ratio of the gaze rate of the specific area A and the comparison areas B1 to B4) is a predetermined value.
  • the evaluation unit 224 determines that the subject has a cognitive impairment if the ratio between the existence time data CNTAb of the specific area A and the total gaze time (ratio of the gaze time of the specific area A and the total gaze time) is equal to or greater than a predetermined value. And it can be evaluated that the possibility of having a brain dysfunction is low. Further, the evaluation unit 224 indicates that if the final region is the specific region A, the subject is less likely to have cognitive dysfunction and brain dysfunction, and if the final region is the comparison regions B1 to B4, the subject It can be evaluated that the possibility of having a disability and a brain function disorder is high.
  • the display control unit 202 displays, on the display screen 101S, an image in which a person appears in one of a plurality of (for example, six) windows. Let These six types of windows correspond to a plurality of objects W, W1 to W5.
  • the display control unit 202 displays instruction information I8 for allowing the subject to memorize which of the six windows the person is facing. In this case, of the plurality of objects W, W1 to W5, the window where the person is facing is the specific object W. In addition, windows other than the window from which a person is facing are comparison objects W1 to W5.
  • the area setting unit 216 sets a specific area A corresponding to the specific object W, and sets comparison areas B1 to B5 corresponding to the comparison objects W1 to W5.
  • the area setting unit 216 sets an instruction area C corresponding to the instruction information I8.
  • the area setting unit 216 sets the specific area A in a rectangular range corresponding to the specific object W, for example.
  • the specific area A can be set so as to overlap the outline of the window.
  • the area setting unit 216 can set the comparison areas B1 to B5 so as to overlap the outlines of the windows of the comparison objects W1 to W5, for example.
  • the area setting unit 216 sets the instruction area C in a rectangular range including the instruction information I8.
  • the shapes of the specific area A, the comparison areas B1 to B5, and the instruction area C are not limited to rectangles, and may be other shapes such as a circle, an ellipse, and a polygon.
  • the area setting unit 216 sets the specific area A, the comparison areas B1 to B5, and the instruction area C so as not to overlap each other.
  • the display control unit 202 and the region setting unit 216 maintain this state for a predetermined period. That is, the display control unit 202 displays the specific object W and the comparison objects W1 to W5 on the display screen 101S for a predetermined period.
  • the area setting unit 216 sets a specific area A corresponding to the specific object W for a predetermined period, and sets comparison areas B1 to B5 corresponding to the comparison objects W1 to W5 for a predetermined period. During this predetermined period, the subject is caused to gaze at the specific object W and the comparison objects W1 to W5.
  • the display control unit 202 erases the human image from the window of the specific object W as shown in FIG. Thus, the display control unit 202 changes the display form of the specific object W.
  • the instruction information I9 for causing the subject to pay attention to which window the person has faced out of the six windows is displayed.
  • the area setting unit 216 sets a specific area A corresponding to the specific object W, and sets comparison areas B1 to B5 corresponding to the comparison objects W1 to W5.
  • the area setting unit 216 sets an instruction area E corresponding to the instruction information I9.
  • the shapes of the specific area A, the comparison areas B1 to B5, and the instruction area E are not limited to rectangles, and may be other shapes such as a circle, an ellipse, and a polygon.
  • the area setting unit 216 sets the specific area A, the comparison areas B1 to B5, and the instruction area E so as not to overlap each other.
  • the display control unit 202 may display an image indicating a correct answer to the instruction information I9 as shown in FIG.
  • FIG. 30 as an example, a person appears again in the window corresponding to the specific object W, and instruction information I10 indicating that the window is correct is displayed.
  • the area setting unit 216 may cancel the specific area A, the comparison areas B1 to B5, and the instruction area E.
  • the evaluation apparatus 100 includes the display screen 101S, the gaze point detection unit 214 that detects the position of the gaze point of the subject who observes the display screen 101S, and the specific target for the display screen 101S.
  • Display control unit 202 that displays an image including an object and a comparison object different from the specific object, an area setting unit that sets a specific area corresponding to the specific object and a comparison area corresponding to the comparison object 216, based on the position of the gazing point, a determination unit 218 that determines whether or not the gazing point exists in the specific region and the comparison region during the period in which the image is displayed, and a determination result in the determination unit 218
  • the calculation unit 220 calculates gaze point data indicating the progress of the movement of the gaze point, and the evaluation unit 224 that calculates the evaluation data of the subject based on the gaze point data.
  • the evaluation method detects the position of the gazing point of the subject who observes the display screen 101S, and displays an image including the specific object and a comparison object that is different from the specific object.
  • Display period in which an image is displayed on the display screen based on the display on 101S, the setting of the specific area corresponding to the specific object and the comparison area corresponding to the comparison object, and the position of the gazing point Determining whether or not the gazing point exists in the specific area and the comparison area, calculating gaze point data indicating the progress of the movement of the gazing point in the display period based on the determination result, Determining evaluation data of the subject based on the data.
  • the evaluation program displays an image including a process of detecting the position of the gazing point of the subject observing the display screen 101S and a comparison target different from the specific target and the specific target.
  • a display period in which an image is displayed on the display screen based on processing to display on 101S, processing to set a specific area corresponding to the specific object and a comparison area corresponding to the comparison object, and the position of the point of sight A process for determining whether or not the gazing point exists in the specific area and the comparison area, a process for calculating gazing point data indicating the progress of movement of the gazing point in the display period based on the determination result, Based on the data, the computer is caused to execute processing for obtaining the evaluation data of the subject.
  • the subject's movement is determined based on the progress of the movement of the gazing point in the display period. Evaluation data can be obtained. In this way, by diversifying the display forms of the specific object, chances can be reduced, and the memory ability of the subject can be accurately evaluated. Thereby, the evaluation apparatus 100 can perform a test subject's evaluation with high precision.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

評価装置は、表示画面と、表示画面を観察する被験者の注視点の位置を検出する注視点検出部と、表示画面に対して特定対象物と、特定対象物とは異なる比較対象物とが含まれる画像を表示する表示制御部と、特定対象物に対応した特定領域と、比較対象物に対応した比較領域とを設定する領域設定部と、注視点の位置に基づいて、画像が表示される期間に注視点が特定領域及び比較領域に存在するか否かをそれぞれ判定する判定部と、判定部における判定結果に基づいて、注視点データを算出する演算部と、注視点データに基づいて、被験者の評価データを求める評価部とを備える。

Description

評価装置、評価方法、及び評価プログラム
 本発明は、評価装置、評価方法、及び評価プログラムに関する。
 近年、認知症等の認知機能障害および脳機能障害が増加傾向にあるといわれており、このような認知機能障害および脳機能障害を早期に発見し、症状の重さを定量的に評価することが求められている。認知機能障害および脳機能障害の症状は、記憶力に影響することが知られている。このため、被験者の記憶力に基づいて被験者を評価することが行われている。例えば、複数種類の数字を表示し、その数字を被験者に加算させて答えを求めさせ、被験者の出した答えを確認する装置が提案されている(例えば、特許文献1参照)。
特開2011-083403号公報
 しかしながら、特許文献1等の方法では、回答を選ぶだけの形態であるため、偶然性も含めて検証が困難であり、高い評価精度を得ることが難しかった。そのため、精度よく認知機能障害および脳機能障害を評価することが求められていた。
 本発明は、上記に鑑みてなされたものであり、精度よく認知機能障害および脳機能障害の評価を行うことが可能な評価装置、評価方法、及び評価プログラムを提供することを目的とする。
 本発明に係る評価装置は、表示画面と、前記表示画面を観察する被験者の注視点の位置を検出する注視点検出部と、前記表示画面に対して特定対象物と、前記特定対象物とは異なる比較対象物とが含まれる画像を表示する表示制御部と、前記特定対象物に対応した特定領域と、前記比較対象物に対応した比較領域とを設定する領域設定部と、前記注視点の位置に基づいて、前記画像が表示される期間に前記注視点が前記特定領域及び前記比較領域に存在するか否かをそれぞれ判定する判定部と、前記判定部における判定結果に基づいて、注視点データを算出する演算部と、前記注視点データに基づいて、前記被験者の評価データを求める評価部とを備える。
 本発明に係る評価方法は、表示画面に画像を表示することと、前記表示画面を観察する被験者の注視点の位置を検出することと、特定対象物と前記特定対象物とは異なる比較対象物とが含まれる前記画像を前記表示画面に表示することと、前記特定対象物に対応した特定領域と、前記比較対象物に対応した比較領域とを設定することと、前記注視点の位置に基づいて、前記表示画面に前記画像が表示される表示期間に前記注視点が前記特定領域及び前記比較領域に存在するか否かをそれぞれ判定することと、判定結果に基づいて、前記表示期間における注視点データを算出することと、前記注視点データに基づいて、前記被験者の評価データを求めることとを含む。
 本発明に係る評価プログラムは、表示画面に画像を表示する処理と、前記表示画面を観察する被験者の注視点の位置を検出する処理と、特定対象物と前記特定対象物とは異なる比較対象物とが含まれる前記画像を前記表示画面に表示する処理と、前記特定対象物に対応した特定領域と、前記比較対象物に対応した比較領域とを設定する処理と、前記注視点の位置に基づいて、前記表示画面に前記画像が表示される表示期間に前記注視点が前記特定領域及び前記比較領域に存在するか否かをそれぞれ判定する処理と、判定結果に基づいて、前記表示期間における注視点データを算出する処理と、前記注視点データに基づいて、前記被験者の評価データを求める処理とをコンピュータに実行させる。
 本発明によれば、精度よく認知機能障害および脳機能障害の評価を行うことが可能な評価装置、評価方法、及び評価プログラムを提供することができる。
図1は、本実施形態に係る視線検出装置の一例を模式的に示す斜視図である。 図2は、本実施形態に係る視線検出装置のハードウェア構成の一例を示す図である。 図3は、本実施形態に係る視線検出装置の一例を示す機能ブロック図である。 図4は、本実施形態に係る角膜曲率中心の位置データの算出方法を説明するための模式図である。 図5は、本実施形態に係る角膜曲率中心の位置データの算出方法を説明するための模式図である。 図6は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。 図7は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。 図8は、表示画面に表示する指示の一例を示す図である。 図9は、表示画面に表示する特定対象物の一例を示す図である。 図10は、表示画面に表示する指示の一例を示す図である。 図11は、表示画面に特定対象物及び複数の比較対象物を表示する場合の一例を示す図である。 図12は、表示画面に指示及び特定対象物を表示する場合の他の例を示す図である。 図13は、表示画面に特定対象物及び複数の比較対象物を表示する場合の他の例を示す図である。 図14は、表示画面に指示及び特定対象物を表示する場合の他の例を示す図である。 図15は、表示画面に特定対象物及び複数の比較対象物を表示する場合の他の例を示す図である。 図16は、本実施形態に係る評価方法の一例を示すフローチャートである。 図17は、表示画面に表示される一連の評価用画像の例を示す図である。 図18は、表示画面に表示される一連の評価用画像の例を示す図である。 図19は、表示画面に表示される一連の評価用画像の例を示す図である。 図20は、表示画面に表示される一連の評価用画像の例を示す図である。 図21は、表示画面に表示される一連の評価用画像の例を示す図である。 図22は、表示画面に表示される一連の評価用画像の例を示す図である。 図23は、表示画面に表示される一連の評価用画像の例を示す図である。 図24は、他の例に係る評価方法の処理の流れを示すフローチャートである。 図25は、記憶指示処理における処理の流れを示すフローチャートである。 図26は、記憶処理における処理の流れを示すフローチャートである。 図27は、回答処理における処理の流れを示すフローチャートである。 図28は、表示画面に表示される一連の評価用画像の例を示す図である。 図29は、表示画面に表示される一連の評価用画像の例を示す図である。 図30は、表示画面に表示される一連の評価用画像の例を示す図である。
 以下、本発明に係る評価装置、評価方法、及び評価プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
 以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第1軸と平行な方向をX軸方向とし、第1軸と直交する所定面の第2軸と平行な方向をY軸方向とし、第1軸及び第2軸のそれぞれと直交する第3軸と平行な方向をZ軸方向とする。所定面はXY平面を含む。
 (視線検出装置)
 図1は、第1実施形態に係る視線検出装置100の一例を模式的に示す斜視図である。視線検出装置100は、認知症などの認知機能障害および脳機能障害の評価を行う評価装置として用いられる。図1に示すように、視線検出装置100は、表示装置101と、ステレオカメラ装置102と、照明装置103とを備える。
 表示装置101は、液晶ディスプレイ(liquid crystal display:LCD)又は有機ELディスプレイ(organic electroluminescence display:OLED)のようなフラットパネルディスプレイを含む。本実施形態において、表示装置101は、表示画面101Sを有する。表示画面101Sは、画像を表示する。本実施形態において、表示画面101Sは、例えば被験者の視機能を評価するための指標を表示する。表示画面101Sは、XY平面と実質的に平行である。X軸方向は表示画面101Sの左右方向であり、Y軸方向は表示画面101Sの上下方向であり、Z軸方向は表示画面101Sと直交する奥行方向である。
 ステレオカメラ装置102は、第1カメラ102A及び第2カメラ102Bを有する。ステレオカメラ装置102は、表示装置101の表示画面101Sよりも下方に配置される。第1カメラ102Aと第2カメラ102BとはX軸方向に配置される。第1カメラ102Aは、第2カメラ102Bよりも-X方向に配置される。第1カメラ102A及び第2カメラ102Bはそれぞれ、赤外線カメラを含み、例えば波長850[nm]の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。
 照明装置103は、第1光源103A及び第2光源103Bを有する。照明装置103は、表示装置101の表示画面101Sよりも下方に配置される。第1光源103Aと第2光源103BとはX軸方向に配置される。第1光源103Aは、第1カメラ102Aよりも-X方向に配置される。第2光源103Bは、第2カメラ102Bよりも+X方向に配置される。第1光源103A及び第2光源103Bはそれぞれ、LED(light emitting diode)光源を含み、例えば波長850[nm]の近赤外光を射出可能である。なお、第1光源103A及び第2光源103Bは、第1カメラ102Aと第2カメラ102Bとの間に配置されてもよい。
 照明装置103は、検出光である近赤外光を射出して、被験者の眼球111を照明する。ステレオカメラ装置102は、第1光源103Aから射出された検出光が眼球111に照射されたときに第2カメラ102Bで眼球111の一部(以下、これを含めて「眼球」とする)を撮影し、第2光源103Bから射出された検出光が眼球111に照射されたときに第1カメラ102Aで眼球111を撮影する。
 第1カメラ102A及び第2カメラ102Bの少なくとも一方からフレーム同期信号が出力される。第1光源103A及び第2光源103Bは、フレーム同期信号に基づいて検出光を射出する。第1カメラ102Aは、第2光源103Bから射出された検出光が眼球111に照射されたときに、眼球111の画像データを撮影する。第2カメラ102Bは、第1光源103Aから射出された検出光が眼球111に照射されたときに、眼球111の画像データを撮影する。
 眼球111に検出光が照射されると、その検出光の一部は瞳孔112で反射し、その瞳孔112からの光がステレオカメラ装置102に入射する。また、眼球111に検出光が照射されると、角膜の虚像である角膜反射像113が眼球111に形成され、その角膜反射像113からの光がステレオカメラ装置102に入射する。
 第1カメラ102A及び第2カメラ102Bと第1光源103A及び第2光源103Bとの相対位置が適切に設定されることにより、瞳孔112からステレオカメラ装置102に入射する光の強度は低くなり、角膜反射像113からステレオカメラ装置102に入射する光の強度は高くなる。すなわち、ステレオカメラ装置102で撮影される瞳孔112の画像は低輝度となり、角膜反射像113の画像は高輝度となる。ステレオカメラ装置102は、撮影される画像の輝度に基づいて、瞳孔112の位置及び角膜反射像113の位置を検出することができる。
 図2は、本実施形態に係る視線検出装置100のハードウェア構成の一例を示す図である。図2に示すように、視線検出装置100は、表示装置101と、ステレオカメラ装置102と、照明装置103と、コンピュータシステム20と、入出力インターフェース装置30と、駆動回路40と、出力装置50と、入力装置60とを備える。
 コンピュータシステム20と、駆動回路40と、出力装置50と、入力装置60とは、入出力インターフェース装置30を介してデータ通信する。コンピュータシステム20は、演算処理装置20A及び記憶装置20Bを含む。演算処理装置20Aは、CPU(central processing unit)のようなマイクロプロセッサを含む。記憶装置20Bは、ROM(read only memory)及びRAM(random access memory)のようなメモリ又はストレージを含む。演算処理装置20Aは、記憶装置20Bに記憶されているコンピュータプログラム20Cに従って演算処理を実施する。
 駆動回路40は、駆動信号を生成して、表示装置101、ステレオカメラ装置102、及び照明装置103に出力する。また、駆動回路40は、ステレオカメラ装置102で撮影された眼球111の画像データを、入出力インターフェース装置30を介してコンピュータシステム20に供給する。
 出力装置50は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置50は、印刷装置を含んでもよい。入力装置60は、操作されることにより入力データを生成する。入力装置60は、コンピュータシステム用のキーボード又はマウスを含む。なお、入力装置60が表示装置である出力装置50の表示画面に設けられたタッチセンサを含んでもよい。
 本実施形態においては、表示装置101とコンピュータシステム20とは別々の装置である。なお、表示装置101とコンピュータシステム20とが一体でもよい。例えば視線検出装置100がタブレット型パーソナルコンピュータを含む場合、そのタブレット型パーソナルコンピュータに、コンピュータシステム20、入出力インターフェース装置30、駆動回路40、及び表示装置101が搭載されてもよい。
 図3は、本実施形態に係る視線検出装置100の一例を示す機能ブロック図である。図3に示すように、入出力インターフェース装置30は、入出力部302を有する。駆動回路40は、表示装置101を駆動するための駆動信号を生成して表示装置101に出力する表示装置駆動部402と、第1カメラ102Aを駆動するための駆動信号を生成して第1カメラ102Aに出力する第1カメラ入出力部404Aと、第2カメラ102Bを駆動するための駆動信号を生成して第2カメラ102Bに出力する第2カメラ入出力部404Bと、第1光源103A及び第2光源103Bを駆動するための駆動信号を生成して第1光源103A及び第2光源103Bに出力する光源駆動部406とを有する。また、第1カメラ入出力部404Aは、第1カメラ102Aで撮影された眼球111の画像データを、入出力部302を介してコンピュータシステム20に供給する。第2カメラ入出力部404Bは、第2カメラ102Bで撮影された眼球111の画像データを、入出力部302を介してコンピュータシステム20に供給する。
 コンピュータシステム20は、視線検出装置100を制御する。コンピュータシステム20は、表示制御部202と、光源制御部204と、画像データ取得部206と、入力データ取得部208と、位置検出部210と、曲率中心算出部212と、注視点検出部214と、領域設定部216と、判定部218と、演算部220と、記憶部222と、評価部224と、出力制御部226とを有する。コンピュータシステム20の機能は、演算処理装置20A及び記憶装置20Bによって発揮される。
 表示制御部202は、表示画面101Sに特定対象物を表示する第1表示動作と、第1表示動作を行った後に特定対象物と前記特定対象物とは異なる複数の比較対象物とを表示画面101Sに表示する第2表示動作と、を含む表示動作を行う。特定対象物は、被験者に記憶させるための対象物である。複数の比較対象物は、被験者に特定対象物を見つけさせるために、特定対象物と並べて表示画面101Sに表示する対象物である。また、表示制御部202は、第1表示動作で表示される特定対象物を覚えるように被験者に指示するための表示を表示画面101Sに表示させてもよい。また、表示制御部202は第2表示動作で表示される特定対象物と複数の比較対象物との中から特定対象物を注視するように被験者に指示するための表示を表示画面101Sに表示させてもよい。
 光源制御部204は、光源駆動部406を制御して、第1光源103A及び第2光源103Bの作動状態を制御する。光源制御部204は、第1光源103Aと第2光源103Bとが異なるタイミングで検出光を射出するように第1光源103A及び第2光源103Bを制御する。
 画像データ取得部206は、第1カメラ102A及び第2カメラ102Bを含むステレオカメラ装置102によって撮影された被験者の眼球111の画像データを、入出力部302を介してステレオカメラ装置102から取得する。
 入力データ取得部208は、入力装置60が操作されることにより生成された入力データを、入出力部302を介して入力装置60から取得する。
 位置検出部210は、画像データ取得部206で取得された眼球111の画像データに基づいて、瞳孔中心の位置データを検出する。また、位置検出部210は、画像データ取得部206で取得された眼球111の画像データに基づいて、角膜反射中心の位置データを検出する。瞳孔中心は、瞳孔112の中心である。角膜反射中心は、角膜反射像113の中心である。位置検出部210は、被験者の左右それぞれの眼球111について、瞳孔中心の位置データ及び角膜反射中心の位置データを検出する。
 曲率中心算出部212は、画像データ取得部206で取得された眼球111の画像データに基づいて、眼球111の角膜曲率中心の位置データを算出する。
 注視点検出部214は、画像データ取得部206で取得された眼球111の画像データに基づいて、被験者の注視点の位置データを検出する。本実施形態において、注視点の位置データとは、三次元グローバル座標系で規定される被験者の視線ベクトルと表示装置101の表示画面101Sとの交点の位置データをいう。注視点検出部214は、眼球111の画像データから取得された瞳孔中心の位置データ及び角膜曲率中心の位置データに基づいて、被験者の左右それぞれの眼球111の視線ベクトルを検出する。視線ベクトルが検出された後、注視点検出部214は、視線ベクトルと表示画面101Sとの交点を示す注視点の位置データを検出する。
 領域設定部216は、第2表示動作が行われる表示期間において、表示装置101の表示画面101Sのうち特定対象物に対応した特定領域と、それぞれの比較対象物に対応した比較領域とを設定する。
 判定部218は、第2表示動作が行われる表示期間において、視点の位置データに基づいて、注視点が特定領域及び比較領域に存在するか否かをそれぞれ判定し、判定データを出力する。判定部218は、例えば一定時間毎に注視点が特定領域及び比較領域に存在するか否かを判定する。一定時間としては、例えば第1カメラ102A及び第2カメラ102Bから出力されるフレーム同期信号の周期(例えば20[msec]毎)とすることができる。
 演算部220は、判定部218の判定データに基づいて、表示期間における注視点の移動の経過を示す移動経過データ(注視点データと表記する場合がある)を算出する。移動経過データは、表示期間の開始時点から注視点が最初に特定領域に到達した到達時点までの到達時間データと、注視点が最初に特定領域に到達するまでに複数の比較領域の間で注視点の位置が移動する回数を示す移動回数データと、表示期間に注視点が特定領域または比較領域に存在した存在時間を示す存在時間データと、特定領域及び比較領域のうち表示時間において注視点が最後に存在していた領域を示す最終領域データと、を含む。
 なお、演算部220は、映像の再生時間を管理する管理タイマと、表示画面101Sに映像が表示されてからの経過時間を検出する検出タイマT1を有する。演算部220は、特定領域について、注視点が存在すると判定された判定回数をカウントするカウンタを有する。
 評価部224は、移動経過データに基づいて、被験者の評価データを求める。評価データは、表示動作において表示画面101Sに表示される特定対象物を被験者が注視できているかを評価するデータである。
 記憶部222は、上記の判定データ、移動経過データ(存在時間データ、移動回数データ、最終領域データ、到達時間データ)、及び評価データを記憶する。また、記憶部222は、画像を表示する処理と、表示画面を観察する被験者の注視点の位置を検出する処理と、表示画面に特定対象物を表示する第1表示動作と、第1表示動作を行った後に特定対象物と特定対象物とは異なる複数の比較対象物とを表示画面に表示する第2表示動作と、を含む表示動作を行う処理と、表示画面において、特定対象物に対応した特定領域と、それぞれの比較対象物に対応した比較領域とを設定する処理と、注視点の位置データに基づいて、第2表示動作が行われる表示期間に注視点が特定領域及び比較領域に存在するか否かをそれぞれ判定し、判定データを出力する処理と、判定データに基づいて、表示期間における注視点の移動の経過を示す移動経過データを算出する処理と、移動経過データに基づいて、被験者の評価データを求める処理と、評価データを出力する処理とをコンピュータに実行させる評価プログラムを記憶する。
 出力制御部226は、表示装置101及び出力装置50の少なくとも一方にデータを出力する。
 次に、本実施形態に係る曲率中心算出部212の処理の概要について説明する。曲率中心算出部212は、眼球111の画像データに基づいて、眼球111の角膜曲率中心の位置データを算出する。図4及び図5は、本実施形態に係る角膜曲率中心110の位置データの算出方法を説明するための模式図である。図4は、1つの光源103Cで眼球111が照明される例を示す。図5は、第1光源103A及び第2光源103Bで眼球111が照明される例を示す。
 まず、図4に示す例について説明する。光源103Cは、第1カメラ102Aと第2カメラ102Bとの間に配置される。瞳孔中心112Cは、瞳孔112の中心である。角膜反射中心113Cは、角膜反射像113の中心である。図4において、瞳孔中心112Cは、眼球111が1つの光源103Cで照明されたときの瞳孔中心を示す。角膜反射中心113Cは、眼球111が1つの光源103Cで照明されたときの角膜反射中心を示す。角膜反射中心113Cは、光源103Cと角膜曲率中心110とを結ぶ直線上に存在する。角膜反射中心113Cは、角膜表面と角膜曲率中心110との中間点に位置付けられる。角膜曲率半径109は、角膜表面と角膜曲率中心110との距離である。角膜反射中心113Cの位置データは、ステレオカメラ装置102によって検出される。角膜曲率中心110は、光源103Cと角膜反射中心113Cとを結ぶ直線上に存在する。曲率中心算出部212は、その直線上において角膜反射中心113Cからの距離が所定値となる位置データを、角膜曲率中心110の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部222に記憶されている。
 次に、図5に示す例について説明する。本実施形態においては、第1カメラ102A及び第2光源103Bと、第2カメラ102B及び第1光源103Aとは、第1カメラ102Aと第2カメラ102Bとの中間位置を通る直線に対して左右対称の位置に配置される。第1カメラ102Aと第2カメラ102Bとの中間位置に仮想光源103Vが存在するとみなすことができる。角膜反射中心121は、第2カメラ102Bで眼球111を撮影した画像における角膜反射中心を示す。角膜反射中心122は、第1カメラ102Aで眼球111を撮影した画像における角膜反射中心を示す。角膜反射中心124は、仮想光源103Vに対応する角膜反射中心を示す。角膜反射中心124の位置データは、ステレオカメラ装置102で撮影された角膜反射中心121の位置データ及び角膜反射中心122の位置データに基づいて算出される。ステレオカメラ装置102は、ステレオカメラ装置102に規定される三次元ローカル座標系において角膜反射中心121の位置データ及び角膜反射中心122の位置データを検出する。ステレオカメラ装置102について、事前にステレオ較正法によるカメラ較正が実施され、ステレオカメラ装置102の三次元ローカル座標系を三次元グローバル座標系に変換する変換パラメータが算出される。その変換パラメータは、記憶部222に記憶されている。曲率中心算出部212は、ステレオカメラ装置102で撮影された角膜反射中心121の位置データ及び角膜反射中心122の位置データを、変換パラメータを使って、三次元グローバル座標系における位置データに変換する。曲率中心算出部212は、三次元グローバル座標系で規定される角膜反射中心121の位置データ及び角膜反射中心122の位置データに基づいて、三次元グローバル座標系における角膜反射中心124の位置データを算出する。角膜曲率中心110は、仮想光源103Vと角膜反射中心124とを結ぶ直線123上に存在する。曲率中心算出部212は、直線123上において角膜反射中心124からの距離が所定値となる位置データを、角膜曲率中心110の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部222に記憶されている。
 このように、光源が2つある場合でも、光源が1つである場合の方法と同様の方法で、角膜曲率中心110が算出される。
 角膜曲率半径109は、角膜表面と角膜曲率中心110との距離である。したがって、角膜表面の位置データ及び角膜曲率中心110の位置データが算出されることにより、角膜曲率半径109が算出される。
 次に、本実施形態に係る視線検出方法の一例について説明する。図6は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。キャリブレーション処理では、被験者に注視させるため、目標位置130が設定される。目標位置130は、三次元グローバル座標系において規定される。本実施形態において、目標位置130は、例えば表示装置101の表示画面101Sの中央位置に設定される。なお、目標位置130は、表示画面101Sの端部位置に設定されてもよい。出力制御部226は、設定された目標位置130に目標画像を表示する。直線131は、仮想光源103Vと角膜反射中心113Cとを結ぶ直線である。直線132は、目標位置130と瞳孔中心112Cとを結ぶ直線である。角膜曲率中心110は、直線131と直線132との交点である。曲率中心算出部212は、仮想光源103Vの位置データと、目標位置130の位置データと、瞳孔中心112Cの位置データと、角膜反射中心113Cの位置データとに基づいて、角膜曲率中心110の位置データを算出することができる。
 次に、注視点検出処理について説明する。注視点検出処理は、キャリブレーション処理の後に実施される。注視点検出部214は、眼球111の画像データに基づいて、被験者の視線ベクトル及び注視点の位置データを算出する。図7は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。図7において、注視点165は、一般的な曲率半径値を用いて算出された角膜曲率中心から求めた注視点を示す。注視点166は、キャリブレーション処理で求められた距離126を用いて算出された角膜曲率中心から求めた注視点を示す。瞳孔中心112Cは、キャリブレーション処理において算出された瞳孔中心を示し、角膜反射中心113Cは、キャリブレーション処理において算出された角膜反射中心を示す。直線173は、仮想光源103Vと角膜反射中心113Cとを結ぶ直線である。角膜曲率中心110は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離126は、キャリブレーション処理により算出した瞳孔中心112Cと角膜曲率中心110との距離である。角膜曲率中心110Hは、距離126を用いて角膜曲率中心110を補正した補正後の角膜曲率中心の位置を示す。角膜曲率中心110Hは、角膜曲率中心110が直線173上に存在すること、及び瞳孔中心112Cと角膜曲率中心110との距離が距離126であることから求められる。これにより、一般的な曲率半径値を用いる場合に算出される視線177は、視線178に補正される。また、表示装置101の表示画面101S上の注視点は、注視点165から注視点166に補正される。
 [評価方法]
 次に、本実施形態に係る評価方法について説明する。本実施形態に係る評価方法では、上記の視線検出装置100を用いることにより、被験者の視機能として、認知症などの認知機能障害および脳機能障害を評価する。
 図8は、本実施形態に係る評価方法において、表示画面101Sに表示する指示情報I1の一例を示す図である。図8に示すように、表示制御部202は、次に表示する特定対象物(M1:図9参照)を被験者に記憶させるための指示情報I1を表示画面101Sに表示する。
 表示制御部202は、指示情報I1を表示画面101Sに表示させた後、第1表示動作として、特定対象物を表示画面101Sに表示する。図9は、表示画面101Sに表示する特定対象物M1の一例を示す図である。図9に示すように、表示制御部202は、第1表示動作において、例えば円形と三角形とを組み合わせた形状の特定対象物M1を表示させているが、これに限定されない。表示制御部202は、特定対象物M1を所定時間(例えば、数秒程度)表示画面101Sに表示することにより、被験者に特定対象物M1を注視させて、当該特定対象物M1を記憶させる。
 図10は、表示画面101Sに表示する指示情報I2の一例を示す図である。図10に示すように、表示制御部202は、第1表示動作を所定時間行った後、次に表示する画面において特定対象物M1を注視するように被験者に指示するための指示情報I2を表示画面101Sに表示する。
 図11は、表示画面101Sに複数の対象物を表示する場合の一例を示す図である。表示制御部202は、指示情報I2を表示画面101Sに表示させた後、第2表示動作として、図11に示すように、特定対象物M1と複数の比較対象物M2~M4を表示画面101Sに表示する。
 比較対象物M2~M4は、特定対象物M1と類似する形状を有してもよいし、特定対象物M1とは非類似の形状を有してもよい。図11に示す例では、比較対象物M2は台形と円形とを組み合わせた形状、比較対象物M3は正方形と円形を組み合わせた形状、比較対象物M4は円形と正六角形とを組み合わせた形状をそれぞれ有している。表示制御部202は、特定対象物M1と比較対象物M2~M4とを含む複数の対象物を表示画面101Sに表示することにより、被験者に特定対象物M1を見つけさせると共に、見つけさせた特定対象物M1を注視させる。
 なお、図11では、表示画面101Sにおいて、例えば計測後に結果表示される注視点Pの一例を示しているが、当該注視点Pは、実際には表示画面101Sには表示されない。注視点の位置データの検出は、例えば第1カメラ102A及び第2カメラ102Bから出力されるフレーム同期信号の周期で(例えば20[msec]毎に)実施される。第1カメラ102A及び第2カメラ102Bは、同期して撮像する。
 また、第2表示動作が行われる表示期間において、領域設定部216は、特定対象物M1に対応した特定領域A1を設定する。また、領域設定部216は、比較対象物M2~M4のそれぞれに対応した比較領域A2~A4を設定する。なお、特定領域A1及び比較領域A2~A4は、表示画面101Sには表示されない。
 領域設定部216は、例えば特定対象物M1を含む矩形の範囲に特定領域A1を設定する。同様に、領域設定部216は、例えば比較対象物M2~M4を含む矩形の範囲にそれぞれ比較領域A2~A4を設定する。なお、特定領域A1、比較領域A2~A4の形状については、矩形に限定されず、円形、楕円形、多角形等、他の形状であってもよい。
 認知機能障害および脳機能障害の症状は、記憶力に影響することが知られている。被験者が認知機能障害および脳機能障害者ではない場合、第2表示動作において表示画面101Sに表示される比較対象物M2~M4を1つ1つ見て、第1表示動作において記憶した特定対象物M1と比べた上で同一ではないと判定し、最終的には特定対象物M1を発見して注視することができる。一方、被験者が認知機能障害および脳機能障害者である場合、特定対象物M1を記憶することができない場合、または記憶しても直ぐに忘れてしまう場合がある。そのため、上記のような比較ができず、特定対象物M1を注視できないことがある。
 このため、例えば以下の手順を行うことにより、被験者を評価することが可能である。まず、第1表示動作として、表示画面101Sに特定対象物M1を表示させて被験者に記憶させる。その後、第2表示動作として、表示画面101Sに特定対象物M1と複数の比較対象物M2~M4とを表示させた状態とする。第2表示動作では、被験者に特定対象物M1に視点を合わせるように指示する。この場合に、被験者が複数の比較対象物M2~M4を1つ1つ注視しているか否か、被験者が最終的に正解となる特定対象物M1に到達できるか否か、被験者が特定対象物M1に到達するまでに要する時間の長さはどれだけか、被験者が特定対象物M1を注視できているか否か、等の観点から被験者を評価することが可能である。
 第2表示動作において、被験者の注視点Pの位置データが検出された場合、判定部218は、被験者の注視点が特定領域A1、及び複数の比較領域A2~A4に存在するかを判定し、判定データを出力する。
 演算部220は、判定データに基づいて、表示期間における注視点Pの移動の経過を示す移動経過データを算出する。演算部220は、移動経過データとして、存在時間データと、移動回数データと、最終領域データと、到達時間データとを算出する。
 存在時間データは、注視点Pが特定領域A1に存在した存在時間を示す。本実施形態では、判定部218により注視点が特定領域A1に存在すると判定された回数が多いほど、特定領域A1に注視点Pが存在した存在時間が長いと推定することができる。したがって、存在時間データは、特定領域A1に注視点が存在すると判定部218に判定された回数とすることができる。つまり、演算部220は、カウンタにおけるカウント値CNTAを存在時間データとすることができる。
 また、移動回数データは、注視点Pが最初に特定領域A1に到達するまでに複数の比較領域A2~A4の間で注視点Pの位置が移動する移動回数を示す。したがって、演算部220は、特定領域A1及び比較領域A2~A4の領域間で注視点Pが何回移動したかをカウントし、注視点Pが特定領域A1に到達するまでのカウント結果を移動回数データとすることができる。
 また、最終領域データは、特定領域A1及び比較領域A2~A4のうち表示時間において注視点Pが最後に存在していた領域、つまり被験者が回答として最後に注視していた領域を示す。演算部220は、注視点Pが存在する領域を当該注視点Pの検出毎に更新することにより、表示期間が終了した時点における検出結果を最終領域データとすることができる。
 また、到達時間データは、表示期間の開始時点から注視点が特定領域A1に最初に到達した到達時点までの時間を示す。したがって、演算部220は、表示期間の開始からの経過時間をタイマT1によって測定し、注視点が最初に特定領域A1に到達した時点でフラグ値を1としてタイマT1の測定値を検出することで、当該タイマT1の検出結果を到達時間データとすることができる。
 本実施形態において、評価部224は、存在時間データ、移動回数データ、最終領域データ、及び到達時間データに基づいて評価データを求める。
 ここで、最終領域データのデータ値をD1、存在時間データのデータ値をD2、到達時間データのデータ値をD3、移動回数データのデータ値をD4とする。ただし、最終領域データのデータ値D1は、被験者の最終的な注視点Pが特定領域A1に存在していれば(つまり、正解であれば)1、特定領域A1に存在していなければ(つまり、不正解であれば)0とする。また、存在時間データのデータ値D2は、特定領域A1に注視点Pが存在した秒数とする。なお、データ値D2は、表示期間よりも短い秒数の上限値が設けられてもよい。また、到達時間データのデータ値D3は、到達時間の逆数(例えば、1/(到達時間)÷10)(10:到達時間の最小値を0.1秒として到達時間評価値を1以下とするための係数)とする。また、移動回数データのデータ値D4は、カウンタ値をそのまま用いることとする。なお、データ値D4は、適宜上限値が設けられてもよい。
 この場合、評価値ANSは、例えば、
 ANS=D1・K1+D2・K2+D3・K3+D4・K4
 と表すことができる。なお、K1~K4は、重みづけのための定数である。定数K1~K4については、適宜設定することができる。
 上記式で示される評価値ANSは、最終領域データのデータ値D1が1である場合、存在時間データのデータ値D2が大きい場合、到達時間データのデータ値D3が大きい場合、移動回数データのデータ値D4の値が大きい場合に、値が大きくなる。つまり、最終的な注視点Pが特定領域A1に存在し、特定領域A1における注視点Pの存在時間が長く、表示期間の開始時点から特定領域A1に注視点Pが到達する到達時間が短く、注視点Pが各領域を移動する移動回数が多いほど、評価値ANSが大きくなる。
 一方、評価値ANSは、最終領域データのデータ値D1が0である場合、存在時間データのデータ値D2が小さい場合、到達時間データのデータ値D3が小さい場合、移動回数データのデータ値D4が小さい場合に、値が小さくなる。つまり、最終的な注視点Pが特定領域A1に存在せず、特定領域A1における注視点Pの存在時間が短く、表示期間の開始時点から特定領域A1に注視点Pが到達する到達時間が長く、注視点Pが各領域を移動する移動回数が少ないほど、評価値ANSが小さくなる。
 したがって、評価部224は、評価値ANSが所定値以上か否かを判断することで評価データを求めることができる。例えば評価値ANSが所定値以上である場合、被験者が認知機能障害および脳機能障害者である可能性は低いと評価することができる。また、評価値ANSが所定値未満である場合、被験者が認知機能障害および脳機能障害者である可能性は高いと評価することができる。
 また、評価部224は、評価値ANSの値を記憶部222に記憶させておくことができる。例えば、同一の被験者についての評価値ANSを累積的に記憶し、過去の評価値と比較した場合の評価を行ってもよい。例えば、評価値ANSが過去の評価値よりも高い値となった場合、脳機能が前回の評価に比べて改善されている旨の評価を行うことができる。また、評価値ANSの累積値が徐々に高くなっている場合等には、脳機能が徐々に改善されている旨の評価を行うことができる。
 また、評価部224は、存在時間データ、移動回数データ、最終領域データ、及び到達時間データを個別又は複数組み合わせて評価を行ってもよい。例えば、多くの対象物を見ている間に、偶発的に特定領域A1に注視点Pが到達した場合には、移動回数データのデータ値D4は小さくなる。この場合には、上述した存在時間データのデータ値D2と併せて評価を行うことができる。例えば、移動回数が少ない場合であっても存在時間が長い場合には、正解となる特定領域A1を注視できていると評価することができる。また、移動回数が少ない場合であって存在時間も短い場合、偶発的に注視点Pが特定領域A1を通過したものがあると評価することができる。
 また、移動回数が少ない場合において、最終領域が特定領域A1であれば、例えば正解の特定領域A1に注視点移動が少なくて到達したと評価することができる。一方、上述した移動回数が少ない場合において、最終領域が特定領域A1でなければ、例えば偶発的に注視点Pが特定領域A1を通過したものあると評価することができる。
 本実施形態において、出力制御部226は、評価部224が評価データを出力した場合、評価データに応じて、例えば「被験者は認知機能障害および脳機能障害者である可能性が低いと思われます」の文字データや、「被験者は認知機能障害および脳機能障害者である可能性が高いと思われます」の文字データ等を出力装置50に出力させることができる。また、出力制御部226は、同一の被験者についての評価値ANSが過去の評価値ANSに比べて高くなっている場合、「脳機能が改善されています」等の文字データ等を出力装置50に出力させることができる。
 図12は、表示画面101Sに特定対象物及び指示情報I3を同時に表示する場合の例を示す図である。また、図13は、表示画面101Sに特定対象物及び複数の比較対象物を表示する場合の他の例を示す図である。図12に示すように、表示制御部202は、第1表示動作において、表示画面101Sに特定対象物M5を表示すると共に、当該特定対象物M5と同一の図形を注視するように被験者に指示するための指示情報I3を表示画面101Sに同時に表示させてもよい。表示制御部202は、第1表示動作の後、第2表示動作においては、図13に示すように特定対象物M5と比較対象物M6、M7とを表示することができる。この場合、表示制御部202は、例えば特定対象物M5と比較対象物M6、M7とのように、同一の形状(例、五角形)を用いて形成された図形を表示させてもよい。このように、特定対象物M5と比較対象物M6、M7とを類似する図形として表示することにより、被験者の図形認識機能についても評価することができる。また、領域設定部216は、特定対象物M5に対応した特定領域A5を設定し、比較対象物M6、M7に対応した比較領域A6、A7を設定することができる。このように、特定対象物M5と指示情報I3とを表示画面101Sに同時に表示することにより、検査時間の短縮化を図ることができる。
 図14は、表示画面101Sに特定対象物及び指示情報I4を表示する場合の他の例を示す図である。図15は、表示画面101Sに特定対象物及び複数の比較対象物を表示する場合の他の例を示す図である。図14に示すように、表示制御部202は、第1表示動作において、特定対象物M8として、人物の顔を表示することができる。なお、この場合においても、表示制御部202は、特定対象物M8と指示情報I4とを同時に表示させてもよい。また、図14に示す指示情報のように、被験者に特定対象物M8の人物を覚えるように指示する内容であってもよい。
 第1表示動作の後、第2表示動作において、表示制御部202は、図15に示すように特定対象物M8と、当該特定対象物M8とは異なる人物の顔である比較対象物M9~M11とを表示することができる。また、領域設定部216は、特定対象物M8に対応した特定領域A8を設定し、比較対象物M9~M11に対応した比較領域A9~A11を設定することができる。なお、図15に示すように、表示制御部202は、第2表示動作において、特定対象物M8及び比較対象物M9~M11と指示情報I5とを同時に表示させてもよい。このように、表示制御部202は、第1表示動作及び第2表示動作のそれぞれについて、指示情報を表示させてもよい。これにより、検査時間の更なる短縮化を図ることができる。
 次に、本実施形態に係る評価方法の一例について、図16を参照しながら説明する。図16は、本実施形態に係る評価方法の一例を示すフローチャートである。本実施形態においては、表示制御部202は、映像の再生を開始させる(ステップS101)。表示画面101Sには、評価用映像部分までの待ち時間を経過した後(ステップS102)、タイマT1をリセットし(ステップS103)、カウンタのカウント値CNTAをリセットし(ステップS104)、フラグ値を0にする(ステップS105)。
 注視点検出部214は、表示装置101に表示された映像を被験者に見せた状態で、規定のサンプリング周期(例えば20[msec])毎に、表示装置101の表示画面101Sにおける被験者の注視点の位置データを検出する(ステップS106)。位置データが検出された場合(ステップS107のNo)、判定部218は、位置データに基づいて注視点Pが存在する領域を判定する(ステップS108)。
 注視点Pが特定領域A1に存在すると判定された場合(ステップS109のYes)、演算部220は、フラグ値が1であるか否か、つまり、注視点Pが特定領域A1に到達したのが最初か否か(1:到達済み、0:未到達)を判定する(ステップS110)。フラグ値が1である場合(ステップS110のYes)、演算部220は、以下のステップS111からステップS113を飛ばして後述するステップS114の処理を行う。
 また、フラグ値が1ではない場合、つまり、特定領域A1に注視点Pが到達したのが最初である場合(ステップS110のNo)、演算部220は、タイマT1の計測結果を到達時間データとして抽出する(ステップS111)。また、演算部220は、特定領域Aに到達するまでに注視点Pが領域間の移動を何回行ったかを示す移動回数データを記憶部222に記憶させる(ステップS112)。その後、演算部220は、フラグ値を1に変更する(ステップS113)。
 次に、演算部220は、直近の検出において注視点Pが存在した領域、つまり最終領域が特定領域A1であるか否かを判定する(ステップS114)。演算部220は、最終領域が特定領域A1であると判定した場合(ステップS114のYes)、以下のステップS115及びステップS116を飛ばして後述するステップS117の処理を行う。また、最終領域が特定領域A1ではないと判定した場合(ステップS114のNo)、演算部220は、注視点Pが領域間で何回移動したかを示す積算回数を+1とし(ステップS115)、最終領域を特定領域A1に変更する(ステップS116)。また、演算部220は、特定領域A1での存在時間データを示すカウント値CNTAを+1とする(ステップS117)。その後、演算部220は、後述するステップS130以降の処理を行う。
 また、注視点Pが特定領域A1に存在しないと判定された場合(ステップS109のNo)、演算部220は、注視点Pが比較領域A2に存在するか否かを判定する(ステップS118)。注視点Pが比較領域A2に存在すると判定された場合(ステップS118のYes)、演算部220は、直近の検出において注視点Pが存在した領域、つまり最終領域が比較領域A2であるか否かを判定する(ステップS119)。演算部220は、最終領域が比較領域A2であると判定した場合(ステップS119のYes)、以下のステップS120及びステップS121を飛ばして後述するステップS130の処理を行う。また、最終領域が比較領域A2ではないと判定した場合(ステップS119のNo)、演算部220は、注視点Pが領域間で何回移動したかを示す積算回数を+1とし(ステップS115)、最終領域を比較領域A2に変更する(ステップS120)。その後、演算部220は、後述するステップS130以降の処理を行う。
 また、注視点Pが比較領域A2に存在しないと判定された場合(ステップS118のNo)、演算部220は、注視点Pが比較領域A3に存在するか否かを判定する(ステップS122)。注視点Pが比較領域A3に存在すると判定された場合(ステップS122のYes)、演算部220は、直近の検出において注視点Pが存在した領域、つまり最終領域が比較領域A3であるか否かを判定する(ステップS123)。演算部220は、最終領域が比較領域A3であると判定した場合(ステップS123のYes)、以下のステップS124及びステップS125を飛ばして後述するステップS130の処理を行う。また、最終領域が比較領域A3ではないと判定した場合(ステップS123のNo)、演算部220は、注視点Pが領域間で何回移動したかを示す積算回数を+1とし(ステップS123)、最終領域を比較領域A3に変更する(ステップS125)。その後、演算部220は、後述するステップS130以降の処理を行う。
 また、注視点Pが比較領域A3に存在しないと判定された場合(ステップS122のNo)、演算部220は、注視点Pが比較領域A3に存在するか否かを判定する(ステップS122)。注視点Pが比較領域A4に存在すると判定された場合(ステップS126のYes)、演算部220は、直近の検出において注視点Pが存在した領域、つまり最終領域が比較領域A4であるか否かを判定する(ステップS127)。演算部220は、最終領域が比較領域A4であると判定した場合(ステップS127のYes)、以下のステップS128及びステップS129を飛ばして後述するステップS130の処理を行う。また、最終領域が比較領域A4ではないと判定した場合(ステップS127のNo)、演算部220は、注視点Pが領域間で何回移動したかを示す積算回数を+1とし(ステップS128)、最終領域を比較領域A3に変更する(ステップS129)。その後、演算部220は、後述するステップS130以降の処理を行う。
 その後、演算部220は、検出タイマT1の検出結果に基づいて、映像の再生が完了する時刻に到達したか否かを判断する(ステップS130)。演算部220により映像の再生が完了する時刻に到達していないと判断された場合(ステップS130のNo)、上記のステップS106以降の処理を繰り返し行う。
 演算部220により映像の再生が完了する時刻に到達したと判断された場合(ステップS130のYes)、表示制御部202は、映像の再生を停止させる(ステップS131)。映像の再生が停止された後、評価部224は、上記の処理結果から得られる存在時間データと、移動回数データと、最終領域データと、到達時間データに基づいて、評価値ANSを算出し(ステップS132)、評価値ANSに基づいて評価データを求める。その後、出力制御部226は、評価部224で求められた評価データを出力する(ステップS133)。
 以上のように、本実施形態に係る評価装置は、表示画面101Sに表示される画像を観察する被験者の注視点の位置を検出する注視点検出部214と、表示画面101Sに特定対象物M1を表示する第1表示動作と、第1表示動作を行った後に特定対象物M1と特定対象物M1とは異なる比較対象物M2~M4とを表示画面101Sに表示する第2表示動作と、を含む表示動作を行う表示制御部202と、表示画面101Sにおいて、特定対象物M1に対応した特定領域A1と、比較対象物M2~M4に対応した比較領域A2~A4とを設定する領域設定部216と、注視点Pの位置データに基づいて、第2表示動作が行われる表示期間に注視点Pが特定領域A1及び比較領域A2~A4に存在するか否かをそれぞれ判定する判定部218と、判定結果に基づいて、表示期間における注視点Pの移動の経過を示す移動経過データを算出する演算部220と、移動経過データに基づいて、被験者の評価データを求める評価部224とを備える。
 また、本実施形態に係る評価方法は、表示画面101Sに表示される画像を観察する被験者の注視点の位置を検出することと、表示画面101Sに特定対象物M1を表示する第1表示動作と、第1表示動作を行った後に特定対象物M1と特定対象物M1とは異なる比較対象物M2~M4とを表示画面101Sに表示する第2表示動作と、を含む表示動作を行うことと、表示画面101Sにおいて、特定対象物M1に対応した特定領域A1と、比較対象物M2~M4に対応した比較領域A2~A4とを設定することと、注視点Pの位置データに基づいて、第2表示動作が行われる表示期間に注視点Pが特定領域A1及び比較領域A2~A4に存在するか否かをそれぞれ判定することと、判定結果に基づいて、表示期間における注視点Pの移動の経過を示す移動経過データを算出することと、移動経過データに基づいて、被験者の評価データを求める評価部224と、評価データを出力することとを含む。
 また、本実施形態に係る評価プログラムは、表示画面101Sに表示される画像を観察する被験者の注視点の位置を検出する処理と、表示画面101Sに特定対象物M1を表示する第1表示動作と、第1表示動作を行った後に特定対象物M1と特定対象物M1とは異なる比較対象物M2~M4とを表示画面101Sに表示する第2表示動作と、を含む表示動作を行う処理と、表示画面101Sにおいて、特定対象物M1に対応した特定領域A1と、比較対象物M2~M4に対応した比較領域A2~A4とを設定する処理と、注視点Pの位置データに基づいて、第2表示動作が行われる表示期間に注視点Pが特定領域A1及び比較領域A2~A4に存在するか否かをそれぞれ判定する処理と、判定結果に基づいて、表示期間における注視点Pの移動の経過を示す移動経過データを算出する処理と、移動経過データに基づいて、被験者の評価データを求める処理とをコンピュータに実行させる。
 本実施形態によれば、表示期間における注視点の移動の経過に基づいて、被験者の評価データを求めることができるため、偶然性を低減することができ、被験者の記憶力を精度よく評価することができる。これにより、評価装置100は、被験者の評価を高精度に行うことが可能となる。
 また、本実施形態に係る評価装置100において、注視点データは、表示期間の開始時点から注視点Pが特定領域A1に最初に到達した到達時点までの時間を示す到達時間データと、注視点Pが最初に特定領域A1に到達するまでに複数の比較領域A2~A4の間で注視点Pの位置が移動する回数を示す移動回数データと、表示期間に注視点Pが特定領域A1または比較領域A2~A4に存在した存在時間を示す存在時間データのうち少なくとも1つのデータと、特定領域A1及び比較領域A2~A4のうち表示時間において注視点Pが最後に存在していた領域を示す最終領域データとを含み、評価部224は、注視点データのうち少なくとも1つのデータに基づいて、被験者の評価データを求める。これにより、高精度の評価データを効率的に得ることができる。
 また、本実施形態に係る評価装置100において、評価部224は、注視点データに含まれる少なくとも1つのデータに重みをつけて評価データを求める。これにより、各データに優先順位をつけることにより、より高精度の評価データを得ることができる。
 本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記各実施形態では、評価装置100を、認知機能障害および脳機能障害者である可能性を評価する評価装置として用いる場合を例に挙げて説明したが、これに限定されない。例えば、評価装置100は、認知機能障害および脳機能障害者ではない被験者の記憶力を評価する評価装置として用いてもよい。
 また、上記実施形態において、領域設定部216は、第2表示動作において特定領域A1及び比較領域A2~A4を設定する場合を例に挙げて説明したが、これに限定されない。例えば、領域設定部216は、第1表示動作において表示画面101Sに表示される特定対象物M1に対応する対応領域を設定してもよい。この場合、判定部218は、被験者の注視点Pが対応領域に存在するか否かを判定してもよい。また、演算部220は、判定部218の判定結果に基づいて、被験者が第1表示動作において表示画面101Sに表示される特定対象物M1を記憶できているか否かを判断してもよい。
 また、上記実施形態では、第1表示動作において特定対象物の表示形態を一定の状態である場合を例に挙げて説明したが、これに限定されない。例えば、表示制御部202は、第1表示動作において特定対象物の表示形態を変化させるようにしてもよい。
 図17から図23は、表示画面101Sに表示される一連の評価用画像の例を示す図である。まず、図17に示すように、表示制御部202は、クマの前に5種類の食べ物が並んだ画像を表示画面101Sに表示させる。この5種類の食べ物は、複数の対象物F、F1~F4に対応する。ここでは、例えば対象物Fはミカン、対象物F1はスイカ、対象物F2は魚、対象物F3はパン、対象物F4はリンゴである。また、表示制御部202は、次に表示する画像(図18から図20参照)において、クマが5種類の食べ物うちどの種類の食べ物を食べたかを被験者に記憶させるための指示情報I6を表示する。以下、クマが5種類の食べ物のうちミカンを食べる場合を例に挙げて説明する。この場合、複数の対象物F、F1~F4のうち、ミカンを示す対象物Fが特定対象物となる。また、ミカン以外の食べ物を示す対象物F1~F4は、比較対象物となる。以下、対象物Fを特定対象物Fと表記し、対象物F1~F4をそれぞれ比較対象物F1~F4と表記する場合がある。
 図17に示すように、領域設定部216は、特定対象物Fに対応した特定領域Aを設定し、比較対象物F1~F4に対応した比較領域B1~B4を設定する。また、領域設定部216は、指示情報I6に対応した指示領域Cを設定する。領域設定部216は、例えば特定対象物Fを含む矩形の範囲に特定領域Aを設定する。同様に、領域設定部216は、例えば比較対象物F1~M4を含む矩形の範囲にそれぞれ比較領域B1~B4を設定する。また、領域設定部216は、指示情報I6を含む矩形の範囲に指示領域Cを設定する。なお、特定領域A、比較領域B1~B4、指示領域Cの形状については、矩形に限定されず、円形、楕円形、多角形等、他の形状であってもよい。この場合、領域設定部216は、特定領域A、比較領域B1~B4、及び指示領域Cを、互いに重ならないように設定する。
 次に、表示制御部202は、第1表示動作において、クマが5種類の食べ物のうち1種類の食べ物を食べる動画を表示画面101Sに表示させる。図18から図20は、当該動画のシーンをそれぞれ示した図である。以下、クマがミカンを食べる場合を例に挙げて説明する。この場合、複数の対象物F、F1~F4のうち、ミカンを示す対象物Fが特定対象物となる。また、ミカン以外の食べ物を示す対象物F1~F4は、比較対象物となる。以下、対象物Fを特定対象物Fと表記し、対象物F1~F4をそれぞれ比較対象物F1~F4と表記する場合がある。
 図18は、クマがミカンを手に取って口を空けているシーンを示している。図19は、クマがミカンを口に入れて口を閉じるまでのシーンを示している。図20は、ミカンがクマの口の中に入って見えなくなり、クマがミカンを食べているシーンを示している。このように、表示制御部202は、特定対象物Fの表示形態を変化させる。図18から図20に示すクマの一連の動作を表示画面101Sに表示することにより、クマが5種類の食べ物のうちミカンを食べたことを被験者に記憶させる。
 図18から図20に示すように、領域設定部216は、図17に示す状態から引き続いて、特定対象物Fに対応した特定領域Aを設定し、比較対象物F1~F4に対応した比較領域B1~B4を設定する。また、領域設定部216は、指示領域Cの設定を解除する。そして、領域設定部216は、クマがミカンを手に取ってから口に入れるまでの間、ミカンが移動する軌跡を含む矩形の範囲に移動領域Dを設定する。この場合においても、特定領域A、比較領域B1~B4、移動領域Dの形状については、矩形に限定されず、円形、楕円形、多角形等、他の形状であってもよい。この場合、領域設定部216は、特定領域A、比較領域B1~B4、及び移動領域Dを、互いに重ならないように設定する。領域設定部216は、図19のシーンが終了して図20のシーンが表示された場合、移動領域Dの設定を解除する。つまり、ミカンがクマの口の中に入り、口が閉じて見えなくなる所定時刻で、移動領域Dの設定を解除する。
 第1表示動作の後、第2表示動作において、表示制御部202は、図21に示すようにクマの前に5種類の食べ物が並んだ状態で、クマが5種類の食べ物うちどの種類の食べ物を食べたかを被験者に注視させるための指示情報I7を表示する。また、領域設定部216は、図20に示す状態から引き続いて、特定対象物Fに対応した特定領域Aを設定し、比較対象物F1~F4に対応した比較領域B1~B4を設定する。また、領域設定部216は、指示情報I7に対応した指示領域Eを設定する。なお、特定領域A、比較領域B1~B4、指示領域Eの形状については、矩形に限定されず、円形、楕円形、多角形等、他の形状であってもよい。この場合、領域設定部216は、特定領域A、比較領域B1~B4、及び指示領域Eを、互いに重ならないように設定する。
 指示情報I7を所定期間表示した後、図22に示すように、表示制御部202は、指示情報I7の表示を消去する。領域設定部216は、指示情報I7の表示を消去するタイミングに合わせて、指示領域Eの設定を解除する。表示制御部202及び領域設定部216は、所定期間この状態を維持する。つまり、表示制御部202は、表示画面101Sに特定対象物F及び比較対象物F1~F4を所定期間表示する。また、領域設定部216は、特定対象物Fに対応した特定領域Aを所定期間設定し、比較対象物F1~F4に対応した比較領域B1~B4を所定期間設定する。この所定期間において、被験者に特定対象物F及び比較対象物F1~F4を注視させる。
 所定期間が経過した後、表示制御部202は、図23に示すように、指示情報I7に対する正解を示す画像を表示してもよい。図23では、一例として、ミカンが配置された領域が枠で囲まれ、クマがミカンの方を見る、という画像が示されている。図23の画像を表示することにより、被験者に正解を明確に把握させることができる。なお、正解を示す画像を表示する場合、領域設定部216は、特定領域A、比較領域B1~B4、指示領域Eを解除してもよい。
 図24は、他の例に係る評価方法の処理の流れを示すフローチャートである。図24に示すように、表示制御部202は、クマが5種類の食べ物うちどの種類の食べ物を食べたかを被験者に記憶させるための指示情報I6を表示する(記憶指示処理:ステップS201)。
 次に、表示制御部202は、第1表示動作として、クマが5種類の食べ物のうち1種類の食べ物を食べる動画を表示画面101Sに表示させて、被験者に記憶させる(記憶処理:ステップS202)。
 次に、表示制御部202は、第2表示動作として、クマの前に5種類の食べ物が並んだ状態で、クマが5種類の食べ物うちどの種類の食べ物を食べたかを被験者に注視させるための指示情報I7を表示する(回答処理:ステップS203)。
 次に、表示制御部202は、指示情報I7に対する正解を示す画像を表示する(正解表示処理:ステップS204)。
 次に、評価部224は、上記の処理結果から得られる存在時間データと、移動回数データと、最終領域データと、到達時間データに基づいて、評価値ANSを算出し、評価値ANSに基づいて評価データを求める(ステップS205)。その後、出力制御部226は、評価部224で求められた評価データを出力する(ステップS206)。
 図25は、記憶指示処理(ステップS201)における処理の流れを示すフローチャートである。図25に示すように、記憶指示処理において、表示制御部202は、映像の再生を開始させる(ステップS301)。演算部220は、映像部分までの待ち時間を経過した後、タイマT1をリセットし(ステップS302)、カウンタのカウント値CNTC、RRaをリセットする(ステップS303)。タイマT1は、本映像における記憶指示処理部分の映像が終了するタイミングを得るためのタイマである。カウンタCNTCは、注視点Pの指示領域Cでの存在時間データを示すカウント値CNTCを計測するためのものである。カウンタRRaは、映像再生期間において注視点Pが領域間で何回移動したかを示す積算回数RRaを計数するためのカウンタである。
 注視点検出部214は、表示装置101に表示された映像を被験者に見せた状態で、規定のサンプリング周期(例えば20[msec])毎に、表示装置101の表示画面101Sにおける被験者の注視点の位置データを検出する(ステップS304)。位置データが検出されなかった場合(ステップS305のYes)、後述するステップS329以降の処理を行う。位置データが検出された場合(ステップS305のNo)、判定部218は、位置データに基づいて注視点Pが存在する領域を判定する(ステップS306)。
 注視点Pが特定領域Aに存在すると判定された場合(ステップS307のYes)、演算部220は、直近の検出において注視点Pが存在した領域、つまり最終領域が特定領域Aであるか否かを判定する(ステップS308)。演算部220は、最終領域が特定領域Aであると判定した場合(ステップS308のYes)、以下のステップS309及びステップS310を飛ばして後述するステップS329の処理を行う。また、最終領域が特定領域Aではないと判定した場合(ステップS308のNo)、演算部220は、注視点Pが領域間で何回移動したかを示す積算回数RRaを+1とし(ステップS309)、最終領域を特定領域Aに変更する(ステップS310)。その後、演算部220は、後述するステップS329以降の処理を行う。
 また、注視点Pが特定領域Aに存在しないと判定された場合(ステップS307のNo)、演算部220は、注視点Pが比較領域B1に存在するか否かを判定する(ステップS311)。注視点Pが比較領域B1に存在すると判定された場合(ステップS311のYes)、演算部220は、直近の検出において注視点Pが存在した領域、つまり最終領域が比較領域B1であるか否かを判定する(ステップS312)。演算部220は、最終領域が比較領域B1であると判定した場合(ステップS312のYes)、以下のステップS313及びステップS314を飛ばして後述するステップS329の処理を行う。また、最終領域が比較領域B1ではないと判定した場合(ステップS312のNo)、演算部220は、注視点Pが領域間で何回移動したかを示す積算回数RRaを+1とし(ステップS313)、最終領域を比較領域B1に変更する(ステップS314)。その後、演算部220は、後述するステップS329以降の処理を行う。
 また、注視点Pが特定領域B1に存在しないと判定された場合(ステップS311のNo)、演算部220は、注視点Pが比較領域B2に存在するか否かを判定する(ステップS315)。注視点Pが比較領域B2に存在すると判定された場合(ステップS315のYes)、演算部220は、直近の検出において注視点Pが存在した領域、つまり最終領域が比較領域B2であるか否かを判定する(ステップS316)。演算部220は、最終領域が比較領域B2であると判定した場合(ステップS316のYes)、以下のステップS317及びステップS318を飛ばして後述するステップS329の処理を行う。また、最終領域が比較領域B2ではないと判定した場合(ステップS316のNo)、演算部220は、注視点Pが領域間で何回移動したかを示す積算回数RRaを+1とし(ステップS317)、最終領域を比較領域B2に変更する(ステップS318)。その後、演算部220は、後述するステップS329以降の処理を行う。
 また、注視点Pが特定領域B2に存在しないと判定された場合(ステップS315のNo)、演算部220は、注視点Pが比較領域B3に存在するか否かを判定する(ステップS319)。注視点Pが比較領域B3に存在すると判定された場合(ステップS319のYes)、演算部220は、直近の検出において注視点Pが存在した領域、つまり最終領域が比較領域B3であるか否かを判定する(ステップS320)。演算部220は、最終領域が比較領域B3であると判定した場合(ステップS320のYes)、以下のステップS321及びステップS322を飛ばして後述するステップS329の処理を行う。また、最終領域が比較領域B3ではないと判定した場合(ステップS320のNo)、演算部220は、注視点Pが領域間で何回移動したかを示す積算回数RRaを+1とし(ステップS321)、最終領域を比較領域B3に変更する(ステップS322)。その後、演算部220は、後述するステップS329以降の処理を行う。
 また、注視点Pが特定領域B3に存在しないと判定された場合(ステップS319のNo)、演算部220は、注視点Pが比較領域B4に存在するか否かを判定する(ステップS323)。注視点Pが比較領域B4に存在すると判定された場合(ステップS323のYes)、演算部220は、直近の検出において注視点Pが存在した領域、つまり最終領域が比較領域B4であるか否かを判定する(ステップS324)。演算部220は、最終領域が比較領域B4であると判定した場合(ステップS324のYes)、以下のステップS325及びステップS326を飛ばして後述するステップS329の処理を行う。また、最終領域が比較領域B4ではないと判定した場合(ステップS324のNo)、演算部220は、注視点Pが領域間で何回移動したかを示す積算回数RRaを+1とし(ステップS325)、最終領域を比較領域B4に変更する(ステップS326)。その後、演算部220は、後述するステップS329以降の処理を行う。
 また、注視点Pが特定領域B4に存在しないと判定された場合(ステップS323のNo)、演算部220は、注視点Pが指示領域Cに存在するか否かを判定する(ステップS327)。注視点Pが指示領域Cに存在しないと判定された場合(ステップS327のNo)、後述するステップS329以降の処理を行う。また、注視点Pが指示領域Cに存在すると判定された場合(ステップS327のYes)、演算部220は、注視点Pの指示領域Cでの存在時間データを示すカウント値CNTCを+1とする(ステップS328)。その後、演算部220は、後述するステップS329以降の処理を行う。
 その後、演算部220は、検出タイマT1の検出結果に基づいて、映像の再生が完了する時刻に到達したか否かを判断する(ステップS329)。演算部220により映像の再生が完了する時刻に到達していないと判断された場合(ステップS329のNo)、上記のステップS304以降の処理を繰り返し行う。
 演算部220により映像の再生が完了する時刻に到達したと判断された場合(ステップS329のYes)、表示制御部202は、映像の再生を停止させる(ステップS330)。映像の再生が停止された後、記憶処理(ステップS202)を行う。
 図26は、記憶処理(ステップS202)における処理の流れを示すフローチャートである。図26に示すように、記憶処理において、表示制御部202は、映像の再生を開始させる(ステップS401)。演算部220は、映像部分までの待ち時間を経過した後、タイマT2をリセットし(ステップS402)、カウンタのカウント値CNTAa、CNTB1a、CNTB2a、CNTB3a、CNTB4a、CNTDをリセットする(ステップS403)。タイマT2は、本映像における記憶処理部分の映像が終了するタイミングを得るためのタイマである。カウンタCNTAaは、注視点Pの特定領域Aでの存在時間データを示すカウント値CNTAaを計測するためのものである。カウンタCNTB1a~CNTB4aは、注視点Pの比較領域B1~B4での存在時間データを示すカウント値CNTB1a~CNTB4aを計測するためのものである。カウンタCNTDは、注視点Pの移動領域Dでの存在時間データを示すカウント値CNTDを計測するためのものである。
 注視点検出部214は、表示装置101に表示された映像を被験者に見せた状態で、規定のサンプリング周期(例えば20[msec])毎に、表示装置101の表示画面101Sにおける被験者の注視点の位置データを検出する(ステップS404)。位置データが検出されなかった場合(ステップS405のYes)、後述するステップS420以降の処理を行う。位置データが検出された場合(ステップS405のNo)、判定部218は、位置データに基づいて注視点Pが存在する領域を判定する(ステップS406)。
 注視点Pが特定領域Aに存在すると判定された場合(ステップS407のYes)、演算部220は、注視点Pの特定領域Aでの存在時間データを示すカウント値CNTAaを+1とする(ステップS408)。その後、演算部220は、後述するステップS420以降の処理を行う。
 また、注視点Pが特定領域Aに存在しないと判定された場合(ステップS407のNo)、演算部220は、注視点Pが比較領域B1に存在するか否かを判定する(ステップS409)。注視点Pが比較領域B1に存在すると判定された場合(ステップS409のYes)、演算部220は、注視点Pの比較領域B1での存在時間データを示すカウント値CNTB1aを+1とする(ステップS410)。その後、演算部220は、後述するステップS420以降の処理を行う。
 また、注視点Pが特定領域B1に存在しないと判定された場合(ステップS409のNo)、演算部220は、注視点Pが比較領域B2に存在するか否かを判定する(ステップS411)。注視点Pが比較領域B2に存在すると判定された場合(ステップS411のYes)、演算部220は、注視点Pの比較領域B2での存在時間データを示すカウント値CNTB2aを+1とする(ステップS412)。その後、演算部220は、後述するステップS420以降の処理を行う。
 また、注視点Pが特定領域B2に存在しないと判定された場合(ステップS411のNo)、演算部220は、注視点Pが比較領域B3に存在するか否かを判定する(ステップS413)。注視点Pが比較領域B3に存在すると判定された場合(ステップS413のYes)、演算部220は、注視点Pの比較領域B3での存在時間データを示すカウント値CNTB3aを+1とする(ステップS414)。その後、演算部220は、後述するステップS420以降の処理を行う。
 また、注視点Pが特定領域B3に存在しないと判定された場合(ステップS413のNo)、演算部220は、注視点Pが比較領域B4に存在するか否かを判定する(ステップS415)。注視点Pが比較領域B4に存在すると判定された場合(ステップS415のYes)、演算部220は、注視点Pの比較領域B4での存在時間データを示すカウント値CNTB4aを+1とする(ステップS416)。その後、演算部220は、後述するステップS420以降の処理を行う。
 また、注視点Pが特定領域B4に存在しないと判定された場合(ステップS415のNo)、演算部220は、タイマT2の値が所定時刻t01を超えたかを判定する(ステップS417)。所定時刻t01は、ミカンがクマの口の中に入り、口が閉じて見えなくなる時刻である。タイマT2の値が所定時刻t01を超えた場合(ステップS417のYes)、演算部220は、ステップS418の処理を飛ばして、後述するステップS420以降の処理を行う。タイマT2の値が所定時刻t01を超えない場合(ステップS417のNo)、演算部220は、注視点Pが移動領域Dに存在するか否かを判定する(ステップS418)。注視点Pが移動領域Dに存在しないと判定された場合(ステップS418のNo)、後述するステップS420以降の処理を行う。また、注視点Pが移動領域Dに存在すると判定された場合(ステップS418のYes)、演算部220は、注視点Pの移動領域Dでの存在時間データを示すカウント値CNTDを+1とする(ステップS419)。その後、演算部220は、後述するステップS420以降の処理を行う。
 その後、演算部220は、検出タイマT2の検出結果に基づいて、映像の再生が完了する時刻に到達したか否かを判断する(ステップS420)。演算部220により映像の再生が完了する時刻に到達していないと判断された場合(ステップS420のNo)、上記のステップS404以降の処理を繰り返し行う。
 演算部220により映像の再生が完了する時刻に到達したと判断された場合(ステップS420のYes)、表示制御部202は、映像の再生を停止させる(ステップS421)。映像の再生が停止された後、回答処理(ステップS203)を行う。
 図27は、回答処理(ステップS203)における処理の流れを示すフローチャートである。図27に示すように、回答処理において、表示制御部202は、映像の再生を開始させる(ステップS501)。演算部220は、映像部分までの待ち時間を経過した後、タイマT3をリセットし(ステップS502)、カウンタのカウント値CNTAb、CNTB1b、CNTB2b、CNTB3b、CNTB4b、CNTE、RRbをリセットし(ステップS503)、フラグ値を0にする(ステップS504)。タイマT3は、本映像における回答処理部分の映像が終了するタイミングを得るためのタイマである。カウンタCNTAbは、注視点Pの特定領域Aでの存在時間データを示すカウント値CNTAbを計測するためのものである。カウンタCNTB1b~CNTB4bは、注視点Pの比較領域B1~B4での存在時間データを示すカウント値CNTB1b~CNTB4bを計測するためのものである。カウンタCNTEは、注視点Pの指示領域Eでの存在時間データを示すカウント値CNTEを計測するためのものである。カウンタRRbは、注視点Pが領域間で何回移動したかを示す積算回数RRbを計数するためのカウンタである。
 注視点検出部214は、表示装置101に表示された映像を被験者に見せた状態で、規定のサンプリング周期(例えば20[msec])毎に、表示装置101の表示画面101Sにおける被験者の注視点の位置データを検出する(ステップS505)。位置データが検出された場合(ステップS506のNo)、判定部218は、位置データに基づいて注視点Pが存在する領域を判定する(ステップS507)。
 注視点Pが特定領域Aに存在すると判定された場合(ステップS508のYes)、演算部220は、フラグ値が1であるか否か、つまり、注視点Pが特定領域Aに到達したのが最初か否か(1:到達済み、0:未到達)を判定する(ステップS509)。フラグ値が1である場合(ステップS509のYes)、演算部220は、以下のステップS510からステップS512を飛ばして後述するステップS513の処理を行う。
 また、フラグ値が1ではない場合、つまり、特定領域Aに注視点Pが到達したのが最初である場合(ステップS509のNo)、演算部220は、タイマT3の計測結果を到達時間データとして抽出する(ステップS510)。また、演算部220は、特定領域Aに到達するまでに注視点Pが領域間の移動を何回行ったかを示す移動回数データを記憶部222に記憶させる(ステップS511)。その後、演算部220は、フラグ値を1に変更する(ステップS512)。
 次に、演算部220は、直近の検出において注視点Pが存在した領域、つまり最終領域が特定領域Aであるか否かを判定する(ステップS513)。演算部220は、最終領域が特定領域Aであると判定した場合(ステップS513のYes)、以下のステップS514及びステップS515を飛ばして後述するステップS516の処理を行う。また、最終領域が特定領域Aではないと判定した場合(ステップS513のNo)、演算部220は、注視点Pが領域間で何回移動したかを示す積算回数を+1とし(ステップS514)、最終領域を特定領域Aに変更する(ステップS515)。また、演算部220は、注視点Pの特定領域Aでの存在時間データを示すカウント値CNTAbを+1とする(ステップS516)。その後、演算部220は、後述するステップS540以降の処理を行う。
 また、注視点Pが特定領域Aに存在しないと判定された場合(ステップS508のNo)、演算部220は、注視点Pが比較領域B1に存在するか否かを判定する(ステップS517)。注視点Pが比較領域B1に存在すると判定された場合(ステップS517のYes)、演算部220は、直近の検出において注視点Pが存在した領域、つまり最終領域が比較領域B1であるか否かを判定する(ステップS518)。演算部220は、最終領域が比較領域B1であると判定した場合(ステップS518のYes)、以下のステップS519及びステップS520を飛ばして後述するステップS521の処理を行う。また、最終領域が比較領域B1ではないと判定した場合(ステップS518のNo)、演算部220は、注視点Pが領域間で何回移動したかを示す積算回数を+1とし(ステップS519)、最終領域を比較領域B1に変更する(ステップS520)。また、演算部220は、注視点Pの比較領域B1での存在時間データを示すカウント値CNTB1bを+1とする(ステップS521)。その後、演算部220は、後述するステップS540以降の処理を行う。
 また、注視点Pが比較領域B1に存在しないと判定された場合(ステップS517のNo)、演算部220は、注視点Pが比較領域B2に存在するか否かを判定する(ステップS522)。注視点Pが比較領域B2に存在すると判定された場合(ステップS522のYes)、演算部220は、直近の検出において注視点Pが存在した領域、つまり最終領域が比較領域B2であるか否かを判定する(ステップS523)。演算部220は、最終領域が比較領域B2であると判定した場合(ステップS523のYes)、以下のステップS524及びステップS525を飛ばして後述するステップS526の処理を行う。また、最終領域が比較領域B2ではないと判定した場合(ステップS523のNo)、演算部220は、注視点Pが領域間で何回移動したかを示す積算回数を+1とし(ステップS524)、最終領域を比較領域B2に変更する(ステップS525)。また、演算部220は、注視点Pの比較領域B2での存在時間データを示すカウント値CNTB2bを+1とする(ステップS526)。その後、演算部220は、後述するステップS540以降の処理を行う。
 また、注視点Pが比較領域B2に存在しないと判定された場合(ステップS522のNo)、演算部220は、注視点Pが比較領域B3に存在するか否かを判定する(ステップS527)。注視点Pが比較領域B3に存在すると判定された場合(ステップS527のYes)、演算部220は、直近の検出において注視点Pが存在した領域、つまり最終領域が比較領域B3であるか否かを判定する(ステップS528)。演算部220は、最終領域が比較領域B3であると判定した場合(ステップS528のYes)、以下のステップS529及びステップS530を飛ばして後述するステップS531の処理を行う。また、最終領域が比較領域B3ではないと判定した場合(ステップS528のNo)、演算部220は、注視点Pが領域間で何回移動したかを示す積算回数を+1とし(ステップS529)、最終領域を比較領域B3に変更する(ステップS530)。また、演算部220は、注視点Pの比較領域B3での存在時間データを示すカウント値CNTB3bを+1とする(ステップS531)。その後、演算部220は、後述するステップS540以降の処理を行う。
 また、注視点Pが比較領域B3に存在しないと判定された場合(ステップS527のNo)、演算部220は、注視点Pが比較領域B4に存在するか否かを判定する(ステップS532)。注視点Pが比較領域B4に存在すると判定された場合(ステップS532のYes)、演算部220は、直近の検出において注視点Pが存在した領域、つまり最終領域が比較領域B4であるか否かを判定する(ステップS533)。演算部220は、最終領域が比較領域B4であると判定した場合(ステップS533のYes)、以下のステップS534及びステップS535を飛ばして後述するステップS536の処理を行う。また、最終領域が比較領域B4ではないと判定した場合(ステップS533のNo)、演算部220は、注視点Pが領域間で何回移動したかを示す積算回数を+1とし(ステップS534)、最終領域を比較領域B4に変更する(ステップS535)。また、演算部220は、注視点Pの比較領域B4での存在時間データを示すカウント値CNTB4bを+1とする(ステップS536)。その後、演算部220は、後述するステップS540以降の処理を行う。
 また、注視点Pが比較領域B4に存在しないと判定された場合(ステップS532のNo)、演算部220は、タイマT3の値が所定時刻t02を超えたかを判定する(ステップS537)。所定時刻t02は、指示情報I7の表示が消去される時刻である。タイマT3の値が所定時刻t02を超えた場合(ステップS537のYes)、演算部220は、ステップS538の処理を飛ばして、後述するステップS540以降の処理を行う。タイマT3の値が所定時刻t02を超えない場合(ステップS537のNo)、演算部220は、注視点Pが指示領域Eに存在するか否かを判定する(ステップS538)。注視点Pが指示領域Eに存在すると判定された場合(ステップS538のYes)、演算部220は、注視点Pの指示領域Eでの存在時間データを示すカウント値CNTEを+1とする(ステップS539)。その後、演算部220は、後述するステップS540以降の処理を行う。
 その後、演算部220は、検出タイマT3の検出結果に基づいて、映像の再生が完了する時刻に到達したか否かを判断する(ステップS540)。演算部220により映像の再生が完了する時刻に到達していないと判断された場合(ステップS540のNo)、上記のステップS505以降の処理を繰り返し行う。
 演算部220により映像の再生が完了する時刻に到達したと判断された場合(ステップS540のYes)、表示制御部202は、映像の再生を停止させる(ステップS541)。映像の再生が停止された後、評価演算(ステップS205)及び評価値出力(ステップS206)を行う。
 評価演算において、評価値ANSは、例えば、
 ANS= K11・RRa+K12・CNTC+K13・CNTAa
   +K14・CNTB1a+K15・CNTB2a+K16・CNTB3a
   +K17・CNTB4a+K18・CNTD+K19・CNTAb
   +K20・CNTB1b+K21・CNTB2b+K22・CNTB3b
   +K23・CNTB4b+K24・CNTE+K25・RRb
 と表すことができる。なお、K11~K25は、重みづけのための定数である。定数K11~K25については、適宜設定することができる。
 RRaについては、対象物をよく確認する傾向があるほど、数値が高くなる。この場合、K11を負の係数とすることにより、RRaの値が高くなるほど、評価値ANSの値が低くなる。
 CNTCについては、指示文字をよく確認する傾向があるほど、数値が高くなる。この場合、K12を負の係数とすることにより、CNTCの値が高くなるほど、評価値ANSの値が低くなる。
 CNTAaについては、クマが食べるミカンをよく見る傾向があるほど、数値が高くなる。この場合、K13を負の係数とすることにより、CNTAの値が高くなるほど、評価値ANSの値が低くなる。
 CNTB1a~CNTB4aについて、クマが食べるミカン以外の対象物を目的なく見る傾向があるほど、数値が高くなる。この場合、K14~K17を正の係数とすることにより、CNTB1a~CNTB4aの値が高くなるほど、評価値ANSの値が高くなる。
 CNTDについて、対象物をよく確認する傾向があるほど、数値が高くなる。一方、単に動くものを見る傾向がある場合にも数値が高くなる。この場合、K18を正の係数とし、例えば他の係数と比べて値を低くしてもよい。
 CNTAbについて、正解となるミカンをよく見るほど、数値が高くなる。この場合、K19を負の係数とし、他の係数よりも絶対値が大きくなるように設定することにより、CNTAbの値が高くなるほど、評価値ANSの値が大幅に低くなる。
 CNTB1b~CNTB4bについて、不正解となる食べ物をよく見るほど、数値が高くなる。この場合、K20~K23を正の係数とし、他の係数よりも絶対値が大きくなるように設定することにより、CNTB1b~CNTB4bの値が高くなるほど、評価値ANSの値が大幅に高くなる。
 CNTEについて、指示情報I7をよく確認する傾向があるほど、数値が高くなる。この場合、K24を負の係数とすることにより、CNTEの値が高くなるほど、評価値ANSの値が低くなる。
 RRbについて、正解の選択で迷う傾向があるほど、数値が高くなる。この場合、K25を正の係数とすることにより、RRbの値が高くなるほど、評価値ANSの値が高くなる。
 評価部224は、評価値ANSが所定値以上か否かを判断することで評価データを求めることができる。例えば評価値ANSが所定値以上である場合、被験者が認知機能障害および脳機能障害者である可能性は高いと評価することができる。また、評価値ANSが所定値未満である場合、被験者が認知機能障害および脳機能障害者である可能性は低いと評価することができる。
 なお、評価部224は、上記した注視点データのうち少なくとも1つのデータに基づいて、被験者の評価値を求めてもよい。例えば、評価部224は、特定領域Aの存在時間データCNTAbについて所定値以上であれば、被験者が認知機能障害および脳機能障害者である可能性が低いと評価することができる。また、評価部224は、特定領域Aの存在時間データCNTAbと比較領域B1~の存在時間データCNTB1b~CNTB4bの合計の比(特定領域A及び比較領域B1~B4の注視率の割合)が所定値以上であれば、被験者が認知機能障害および脳機能障害者である可能性が低いと評価することができる。また、評価部224は、特定領域Aの存在時間データCNTAbと全体の注視時間の比(特定領域Aの注視時間と全体の注視時間の割合)が所定値以上であれば、被験者が認知機能障害および脳機能障害者である可能性が低いと評価することができる。また、評価部224は、最終領域が特定領域Aであれば、被験者が認知機能障害および脳機能障害者である可能性が低く、最終領域が比較領域B1~B4であれば、被験者が認知機能障害および脳機能障害者である可能性が高いと評価することができる。
 図28から図30は、表示画面101Sに表示される一連の評価用画像の他の例を示す図である。まず、図28に示すように、表示制御部202は、第1表示動作において、複数(例えば、6つ)の窓のうち1つの窓に人が顔を出している画像を表示画面101Sに表示させる。この6種類の窓は、複数の対象物W、W1~W5に対応する。また、表示制御部202は、6つの窓のうちどの窓に人が顔を出しているかを被験者に記憶させるための指示情報I8を表示する。この場合、複数の対象物W、W1~W5のうち、人が顔を出している窓が特定対象物Wとなる。また、人が顔を出している窓以外の窓は、比較対象物W1~W5となる。
 図28に示すように、領域設定部216は、特定対象物Wに対応した特定領域Aを設定し、比較対象物W1~W5に対応した比較領域B1~B5を設定する。また、領域設定部216は、指示情報I8に対応した指示領域Cを設定する。領域設定部216は、例えば特定対象物Wに対応する矩形の範囲に特定領域Aを設定する。図28では、特定対象物Wが矩形状の窓であるため、窓の輪郭に重ねるように特定領域Aを設定することができる。同様に、領域設定部216は、例えば比較対象物W1~W5の窓の輪郭に重ねるように比較領域B1~B5を設定することができる。また、領域設定部216は、指示情報I8を含む矩形の範囲に指示領域Cを設定する。なお、特定領域A、比較領域B1~B5、指示領域Cの形状については、矩形に限定されず、円形、楕円形、多角形等、他の形状であってもよい。この場合、領域設定部216は、特定領域A、比較領域B1~B5、及び指示領域Cを、互いに重ならないように設定する。表示制御部202及び領域設定部216は、所定期間この状態を維持する。つまり、表示制御部202は、表示画面101Sに特定対象物W及び比較対象物W1~W5を所定期間表示する。また、領域設定部216は、特定対象物Wに対応した特定領域Aを所定期間設定し、比較対象物W1~W5に対応した比較領域B1~B5を所定期間設定する。この所定期間において、被験者に特定対象物W及び比較対象物W1~W5を注視させる。
 上記の表示を所定期間行った後、図29に示すように、表示制御部202は、特定対象物Wの窓から人の画像を消去する。このように、表示制御部202は、特定対象物Wの表示形態を変化させる。その後、第2表示動作として、人が6つの窓のうちどの窓に顔を出していたかを被験者に注視させるための指示情報I9を表示する。領域設定部216は、図28に示す状態から引き続いて、特定対象物Wに対応した特定領域Aを設定し、比較対象物W1~W5に対応した比較領域B1~B5を設定する。また、領域設定部216は、指示情報I9に対応した指示領域Eを設定する。なお、特定領域A、比較領域B1~B5、指示領域Eの形状については、矩形に限定されず、円形、楕円形、多角形等、他の形状であってもよい。この場合、領域設定部216は、特定領域A、比較領域B1~B5、及び指示領域Eを、互いに重ならないように設定する。
 第2表示動作を所定期間行った後、表示制御部202は、図30に示すように、指示情報I9に対する正解を示す画像を表示してもよい。図30では、一例として、特定対象物Wに対応する窓に人が再び顔を出し、当該窓が正解である旨の指示情報I10が表示されている。図30の画像を表示することにより、被験者に正解を明確に把握させることができる。なお、正解を示す画像を表示する場合、領域設定部216は、特定領域A、比較領域B1~B5、指示領域Eを解除してもよい。
 以上のように、上記実施形態に係る評価装置100は、表示画面101Sと、表示画面101Sを観察する被験者の注視点の位置を検出する注視点検出部214と、表示画面101Sに対して特定対象物と特定対象物とは異なる比較対象物とが含まれる画像を表示する表示制御部202と、特定対象物に対応した特定領域と、比較対象物に対応した比較領域とを設定する領域設定部216と、注視点の位置に基づいて、画像が表示される期間に注視点が特定領域及び比較領域に存在するか否かをそれぞれ判定する判定部218と、判定部218における判定結果に基づいて、注視点の移動の経過を示す注視点データを算出する演算部220と、注視点データに基づいて、被験者の評価データを求める評価部224とを備える。
 また、上記実施形態に係る評価方法は、表示画面101Sを観察する被験者の注視点の位置を検出することと、特定対象物と特定対象物とは異なる比較対象物とが含まれる画像を表示画面101Sに表示することと、特定対象物に対応した特定領域と、比較対象物に対応した比較領域とを設定することと、注視点の位置に基づいて、表示画面に画像が表示される表示期間に注視点が特定領域及び比較領域に存在するか否かをそれぞれ判定することと、判定結果に基づいて、表示期間における注視点の移動の経過を示す注視点データを算出することと、注視点データに基づいて、被験者の評価データを求めることとを含む。
 また、上記実施形態に係る評価プログラムは、表示画面101Sを観察する被験者の注視点の位置を検出する処理と、特定対象物と特定対象物とは異なる比較対象物とが含まれる画像を表示画面101Sに表示する処理と、特定対象物に対応した特定領域と、比較対象物に対応した比較領域とを設定する処理と、注視点の位置に基づいて、表示画面に画像が表示される表示期間に注視点が特定領域及び比較領域に存在するか否かをそれぞれ判定する処理と、判定結果に基づいて、表示期間における注視点の移動の経過を示す注視点データを算出する処理と、注視点データに基づいて、被験者の評価データを求める処理とをコンピュータに実行させる。
 したがって、第1表示動作において特定対象物の表示形態を変化させない場合においても、また、特定対象物の表示形態を変化させる場合においても、表示期間における注視点の移動の経過に基づいて、被験者の評価データを求めることができる。このように、特定対象物の表示形態を多様化することで、より偶然性を低減することができ、被験者の記憶力を精度よく評価することができる。これにより、評価装置100は、被験者の評価を高精度に行うことが可能となる。
 A,A1,A5,A8…特定領域、A2~A4,A6,A7,A9~A11,B1~B5…比較領域、C,E…指示領域、D…移動領域、D1,D2,D3,D4…データ値、I1,I2,I3…指示情報、F,M1,M5,M8,W…特定対象物、F1~F4,M2~M4,M6,M7,M9~M11,W1~W5…比較対象物、P…注視点、T1…検出タイマ、ANS…評価値、CNTA…カウント値、20…コンピュータシステム、202…表示制御部、214…注視点検出部、216…領域設定部、218…判定部、220…演算部、222…記憶部、224…評価部、226…出力制御部

Claims (7)

  1.  表示画面と、
     前記表示画面を観察する被験者の注視点の位置を検出する注視点検出部と、
     前記表示画面に対して特定対象物と、前記特定対象物とは異なる比較対象物とが含まれる画像を表示する表示制御部と、
     前記特定対象物に対応した特定領域と、前記比較対象物に対応した比較領域とを設定する領域設定部と、
     前記注視点の位置に基づいて、前記画像が表示される期間に前記注視点が前記特定領域及び前記比較領域に存在するか否かをそれぞれ判定する判定部と、
     前記判定部における判定結果に基づいて、注視点データを算出する演算部と、
     前記注視点データに基づいて、前記被験者の評価データを求める評価部と
     を備える評価装置。
  2.  前記表示制御部は、前記表示画面に前記特定対象物を表示する第1表示動作を行った後に前記特定対象物と前記比較対象物とを前記表示画面に表示する第2表示動作を行い、
     前記判定部は、前記第2表示動作が行われる表示期間に前記注視点が前記特定領域及び前記比較領域に存在するか否かをそれぞれ判定する
     請求項1に記載の評価装置。
  3.  前記表示制御部は、前記表示画面に前記特定対象物と前記比較対象物とを表示する期間において前記特定対象物の表示形態を変化させる第1表示動作を行った後に前記特定対象物と前記比較対象物とを前記表示画面に表示する第2表示動作を行い、
     前記判定部は、前記注視点の位置に基づいて、前記第1表示動作または前記第2表示動作が行われる前記表示期間に前記注視点が前記特定領域及び前記比較領域に存在するか否かをそれぞれ判定する
     請求項1に記載の評価装置。
  4.  前記注視点データは、前記表示期間の開始時点から前記注視点が前記特定領域に最初に到達した到達時点までの時間を示す到達時間データと、前記注視点が最初に前記特定領域に到達するまでに複数の前記比較領域の間で前記注視点の位置が移動する回数を示す移動回数データと、前記表示期間に前記注視点が前記特定領域または前記比較領域に存在した存在時間を示す存在時間データと、前記特定領域及び前記比較領域のうち前記表示時間において前記注視点が最後に存在していた領域を示す最終領域データと、を含み、
     前記評価部は、前記注視点データのうち少なくとも1つのデータに基づいて、前記被験者の評価データを求める
     請求項1から請求項3のいずれか一項に記載の評価装置。
  5.  前記評価部は、前記注視点データに含まれる少なくとも1つのデータに重みをつけて前記評価データを求める
     請求項4に記載の評価装置。
  6.  表示画面に画像を表示することと、
     前記表示画面を観察する被験者の注視点の位置を検出することと、
     特定対象物と前記特定対象物とは異なる比較対象物とが含まれる前記画像を前記表示画面に表示することと、
     前記特定対象物に対応した特定領域と、前記比較対象物に対応した比較領域とを設定することと、
     前記注視点の位置に基づいて、前記表示画面に前記画像が表示される表示期間に前記注視点が前記特定領域及び前記比較領域に存在するか否かをそれぞれ判定することと、
     判定結果に基づいて、前記表示期間における注視点データを算出することと、
     前記注視点データに基づいて、前記被験者の評価データを求めることと
     を含む評価方法。
  7.  表示画面に画像を表示する処理と、
     前記表示画面を観察する被験者の注視点の位置を検出する処理と、
     特定対象物と前記特定対象物とは異なる比較対象物とが含まれる前記画像を前記表示画面に表示する処理と、
     前記特定対象物に対応した特定領域と、前記比較対象物に対応した比較領域とを設定する処理と、
     前記注視点の位置に基づいて、前記表示画面に前記画像が表示される表示期間に前記注視点が前記特定領域及び前記比較領域に存在するか否かをそれぞれ判定する処理と、
     判定結果に基づいて、前記表示期間における注視点データを算出する処理と、
     前記注視点データに基づいて、前記被験者の評価データを求める処理と
     をコンピュータに実行させる評価プログラム。
PCT/JP2019/009540 2018-03-26 2019-03-08 評価装置、評価方法、及び評価プログラム WO2019188152A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980009455.0A CN111655163B (zh) 2018-03-26 2019-03-08 评价装置、评价方法及存储介质
EP19776199.2A EP3756553B1 (en) 2018-03-26 2019-03-08 Assessment device, assessment method and assessment program
US17/030,441 US11925464B2 (en) 2018-03-26 2020-09-24 Evaluation apparatus, evaluation method, and non-transitory storage medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018-057997 2018-03-26
JP2018057997 2018-03-26
JP2019-012344 2019-01-28
JP2019012344A JP7167737B2 (ja) 2018-03-26 2019-01-28 評価装置、評価方法、及び評価プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/030,441 Continuation US11925464B2 (en) 2018-03-26 2020-09-24 Evaluation apparatus, evaluation method, and non-transitory storage medium

Publications (1)

Publication Number Publication Date
WO2019188152A1 true WO2019188152A1 (ja) 2019-10-03

Family

ID=68058150

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/009540 WO2019188152A1 (ja) 2018-03-26 2019-03-08 評価装置、評価方法、及び評価プログラム

Country Status (1)

Country Link
WO (1) WO2019188152A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020256097A1 (ja) * 2019-06-19 2020-12-24 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011083403A (ja) 2009-10-15 2011-04-28 Hokkaido Univ 認知機能評価システム
JP2015177953A (ja) * 2013-07-31 2015-10-08 株式会社Jvcケンウッド 診断支援装置および診断支援方法
WO2016052646A1 (ja) * 2014-09-30 2016-04-07 国立大学法人浜松医科大学 不注意の測定装置、システム、及び方法
JP2016171849A (ja) * 2015-03-16 2016-09-29 株式会社Jvcケンウッド 診断支援装置および診断支援方法
US20170188930A1 (en) * 2014-09-10 2017-07-06 Oregon Health & Science University Animation-based autism spectrum disorder assessment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011083403A (ja) 2009-10-15 2011-04-28 Hokkaido Univ 認知機能評価システム
JP2015177953A (ja) * 2013-07-31 2015-10-08 株式会社Jvcケンウッド 診断支援装置および診断支援方法
US20170188930A1 (en) * 2014-09-10 2017-07-06 Oregon Health & Science University Animation-based autism spectrum disorder assessment
WO2016052646A1 (ja) * 2014-09-30 2016-04-07 国立大学法人浜松医科大学 不注意の測定装置、システム、及び方法
JP2016171849A (ja) * 2015-03-16 2016-09-29 株式会社Jvcケンウッド 診断支援装置および診断支援方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3756553A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020256097A1 (ja) * 2019-06-19 2020-12-24 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム

Similar Documents

Publication Publication Date Title
JP6737234B2 (ja) 評価装置、評価方法、及び評価プログラム
JP7167737B2 (ja) 評価装置、評価方法、及び評価プログラム
JP6848526B2 (ja) 評価装置、評価方法、及び評価プログラム
WO2019188152A1 (ja) 評価装置、評価方法、及び評価プログラム
EP3815621B1 (en) Assessment device, assessment method, and assessment program
EP3928713B1 (en) Evaluation device, evaluation method, and evaluation program
US11266307B2 (en) Evaluation device, evaluation method, and non-transitory storage medium
JP7239856B2 (ja) 評価装置、評価方法、及び評価プログラム
JP2023015167A (ja) 評価装置、評価方法、及び評価プログラム
US11937928B2 (en) Evaluation apparatus, evaluation method, and evaluation program
WO2020031471A1 (ja) 評価装置、評価方法、及び評価プログラム
WO2020183792A1 (ja) 表示装置、表示方法、及び表示プログラム
JP6883242B2 (ja) 評価装置、評価方法、及び評価プログラム
JP7247690B2 (ja) 評価装置、評価方法、及び評価プログラム
EP3970624A1 (en) Evaluation device, evaluation method, and evaluation program
JP7074221B2 (ja) 評価装置、評価方法、及び評価プログラム
US11241152B2 (en) Evaluation device, evaluation method, and non-transitory storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19776199

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019776199

Country of ref document: EP

Effective date: 20200925