WO2022059266A1 - 評価装置、評価方法、及び評価プログラム - Google Patents

評価装置、評価方法、及び評価プログラム Download PDF

Info

Publication number
WO2022059266A1
WO2022059266A1 PCT/JP2021/021441 JP2021021441W WO2022059266A1 WO 2022059266 A1 WO2022059266 A1 WO 2022059266A1 JP 2021021441 W JP2021021441 W JP 2021021441W WO 2022059266 A1 WO2022059266 A1 WO 2022059266A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
unit
evaluation
route
data
Prior art date
Application number
PCT/JP2021/021441
Other languages
English (en)
French (fr)
Inventor
宙之 武井
Original Assignee
株式会社Jvcケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020154969A external-priority patent/JP2022048908A/ja
Priority claimed from JP2020154968A external-priority patent/JP2022048907A/ja
Application filed by 株式会社Jvcケンウッド filed Critical 株式会社Jvcケンウッド
Publication of WO2022059266A1 publication Critical patent/WO2022059266A1/ja
Priority to US18/175,571 priority Critical patent/US20230200695A1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0091Fixation targets for viewing direction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia

Definitions

  • This disclosure relates to an evaluation device, an evaluation method, and an evaluation program.
  • the present disclosure has been made in view of the above, and an object of the present disclosure is to provide an evaluation device, an evaluation method, and an evaluation program capable of accurately evaluating cognitive dysfunction and brain dysfunction.
  • the evaluation device includes an image data acquisition unit that acquires image data of the subject's eyeball, a gaze point detection unit that detects position data of the gaze point of the subject based on the image data, and a route map.
  • a display for displaying the route map including the plurality of routes on the display unit when the subject is instructed to move the gazing point from the plurality of routes shown along the conforming route that meets the predetermined conditions.
  • the area setting unit that sets the route area corresponding to the conforming route to the display unit, and the position data of the gazing point, it is determined whether or not the viewpoint of the subject exists in the path area.
  • a determination unit is provided, and an evaluation unit for obtaining evaluation data of the subject based on the determination result of the determination unit.
  • the evaluation method is to acquire image data of the eyeball of the subject, to detect the position data of the gazing point of the subject based on the image data, and to obtain the position data of the gazing point of the subject from a plurality of routes shown in the route map.
  • the display unit displays the route map including the plurality of routes, and the conforming route is used. Based on the setting of the corresponding route area in the display unit, the determination of whether or not the viewpoint of the subject exists in the route area based on the position data of the gazing point, and the determination result. It includes obtaining the evaluation data of the subject.
  • the evaluation program includes a process of acquiring image data of the subject's eyeball, a process of detecting the position data of the gazing point of the subject based on the image data, and a plurality of routes shown in the route map.
  • a process of displaying the route map including the plurality of routes on the display unit and the matching route are used.
  • the process of determining whether or not the viewpoint of the subject exists in the route area based on the position data of the gazing point and the determination result.
  • the computer is made to execute the process of obtaining the evaluation data of the subject.
  • the evaluation device includes an image data acquisition unit that acquires image data of the subject's eyeball, a gaze point detection unit that detects position data of the gaze point of the subject based on the image data, and a thing.
  • a display control unit for displaying the plurality of objects on the display unit, and the above-mentioned Based on the position data of the gazing point and the area setting unit that sets the determination area corresponding to the conforming object conforming to the instruction presented to the subject among the plurality of objects on the display unit, the viewpoint of the subject. It is provided with a determination unit for determining whether or not is present in the determination region, and an evaluation unit for obtaining evaluation data of the subject based on the determination result of the determination unit.
  • the evaluation method includes acquiring image data of a subject's eyeball, detecting position data of the gaze point of the subject based on the image data, and displaying a plurality of different classifications of things.
  • the subject is instructed by the object to gaze at a conforming object that meets a predetermined condition, the subject is instructed to display the plurality of objects on the display unit and the subject among the plurality of objects.
  • a determination area corresponding to a conforming object conforming to the presented instruction is set in the display unit, and whether or not the subject's viewpoint exists in the determination area based on the position data of the gazing point. It includes making a determination and obtaining evaluation data of the subject based on the determination result.
  • the evaluation program includes a process of acquiring image data of a subject's eyeball, a process of detecting position data of the gaze point of the subject based on the image data, and a plurality of different classifications of things.
  • a process of displaying the plurality of objects on the display unit and the subject among the plurality of objects are instructed.
  • the computer is made to execute the process of determining and the process of obtaining the evaluation data of the subject based on the determination result.
  • FIG. 1 is a diagram schematically showing an example of an evaluation device according to the first embodiment.
  • FIG. 2 is a functional block diagram showing an example of the evaluation device according to the first embodiment.
  • FIG. 3 is a diagram showing an example of a timetable of an evaluation video displayed on a display unit in the first embodiment.
  • FIG. 4 is a diagram showing an example of an instruction to be displayed on the display unit in the first embodiment.
  • FIG. 5 is a diagram showing an example of a route diagram displayed on the display unit in the first embodiment.
  • FIG. 6 is a diagram showing an example of a determination area set in the display unit in the first embodiment.
  • FIG. 7 is a diagram showing an example of correct answer information displayed on the display unit in the first embodiment.
  • FIG. 1 is a diagram schematically showing an example of an evaluation device according to the first embodiment.
  • FIG. 2 is a functional block diagram showing an example of the evaluation device according to the first embodiment.
  • FIG. 3 is a diagram showing an example of a timetable of an evaluation video
  • FIG. 8 is a flowchart showing an example of the evaluation method according to the first embodiment.
  • FIG. 9 is a flowchart showing an example of the question processing in the first embodiment.
  • FIG. 10 is a flowchart showing an example of the response process in the first embodiment.
  • FIG. 11 is a flowchart showing an example of correct answer processing in the first embodiment.
  • FIG. 12 is a diagram showing an example of classification of things.
  • FIG. 13 is a diagram showing an example of a timetable of the evaluation video displayed on the display unit in the second embodiment.
  • FIG. 14 is a diagram showing an example of an instruction to be displayed on the display unit in the second embodiment.
  • FIG. 15 is a diagram showing an example of an in-store diagram displayed on the display unit in the second embodiment.
  • FIG. 16 is a diagram showing an example of correct answer information displayed on the display unit in the second embodiment.
  • FIG. 17 is a flowchart showing an example of the evaluation method according to the second embodiment.
  • FIG. 18 is a flowchart showing an example of question processing, answer processing, and correct answer processing in the second embodiment.
  • the direction parallel to the first axis of the predetermined surface is the X-axis direction
  • the direction parallel to the second axis of the predetermined surface orthogonal to the first axis is the Y-axis direction
  • orthogonal to each of the first axis and the second axis is the Z-axis direction.
  • the predetermined plane includes an XY plane.
  • FIG. 1 is a diagram schematically showing an example of the evaluation device 100 according to the first embodiment.
  • the evaluation device 100 according to the present embodiment detects the line of sight of the subject and evaluates cognitive dysfunction and brain dysfunction by using the detection result.
  • the evaluation device 100 has various methods such as a method of detecting the line of sight based on the position of the pupil of the subject and the position of the corneal reflex image, a method of detecting the line of sight based on the position of the inner corner of the eye of the subject and the position of the iris, and the like.
  • the line of sight of the subject can be detected by the method.
  • the evaluation device 100 includes a display device 10, an image acquisition device 20, a computer system 30, an output device 40, an input device 50, and an input / output interface device 60.
  • the display device 10, the image acquisition device 20, the computer system 30, the output device 40, and the input device 50 perform data communication via the input / output interface device 60.
  • the display device 10 and the image acquisition device 20 each have a drive circuit (not shown).
  • the display device 10 includes a flat panel display such as a liquid crystal display (LCD) or an organic electroluminescence display (OLED).
  • the display device 10 has a display unit 11.
  • the display unit 11 displays information such as an image.
  • the display unit 11 is substantially parallel to the XY plane.
  • the X-axis direction is the left-right direction of the display unit 11
  • the Y-axis direction is the vertical direction of the display unit 11
  • the Z-axis direction is the depth direction orthogonal to the display unit 11.
  • the display device 10 may be a head-mounted display device.
  • a configuration such as the image acquisition device 20 is arranged in the head-mounted module.
  • the image acquisition device 20 acquires image data of the left and right eyeballs EB of the subject, and transmits the acquired image data to the computer system 30.
  • the image acquisition device 20 has a photographing device 21.
  • the imaging device 21 acquires image data by photographing the left and right eyeballs EB of the subject.
  • the photographing device 21 has various cameras according to the method of detecting the line of sight of the subject. For example, in the case of a method of detecting the line of sight based on the position of the pupil of the subject and the position of the corneal reflex image, the photographing device 21 has an infrared camera and can transmit near-infrared light having a wavelength of 850 [nm], for example. It has an optical system and an image pickup element capable of receiving its near-infrared light.
  • the photographing device 21 has a visible light camera.
  • the photographing device 21 outputs a frame synchronization signal.
  • the period of the frame synchronization signal can be, for example, 20 [msec], but is not limited to this.
  • the photographing device 21 may be configured as a stereo camera having, for example, a first camera 21A and a second camera 21B, but is not limited thereto.
  • the image acquisition device 20 has a lighting device 22 that illuminates the eyeball EB of the subject.
  • the lighting device 22 includes an LED (light emission diode) light source, and can emit near-infrared light having a wavelength of, for example, 850 [nm].
  • the lighting device 22 may not be provided.
  • the lighting device 22 emits the detection light so as to be synchronized with the frame synchronization signal of the photographing device 21.
  • the lighting device 22 can be configured to include, for example, a first light source 22A and a second light source 22B, but is not limited thereto.
  • the computer system 30 comprehensively controls the operation of the evaluation device 100.
  • the computer system 30 includes an arithmetic processing unit 30A and a storage device 30B.
  • the arithmetic processing unit 30A includes a microprocessor such as a CPU (central processing unit).
  • the storage device 30B includes a memory or storage such as a ROM (read only memory) and a RAM (random access memory).
  • the arithmetic processing unit 30A performs arithmetic processing according to the computer program 30C stored in the storage apparatus 30B.
  • the output device 40 includes a display device such as a flat panel display.
  • the output device 40 may include an audio output device and a printing device.
  • the input device 50 generates input data by being operated.
  • the input device 50 includes a keyboard or mouse for a computer system.
  • the input device 50 may include a touch sensor provided on the display unit of the output device 40, which is a display device.
  • the display device 10 and the computer system 30 are separate devices.
  • the display device 10 and the computer system 30 may be integrated.
  • the evaluation device 100 may include a tablet-type personal computer.
  • the tablet-type personal computer may be equipped with a display device, an image acquisition device, a computer system, an input device, an output device, and the like.
  • FIG. 2 is a functional block diagram showing an example of the evaluation device 100.
  • the computer system 30 includes a display control unit 31, a gazing point detection unit 32, an area setting unit 33, a determination unit 34, a calculation unit 35, an evaluation unit 36, and an input / output control unit. It has 37 and a storage unit 38.
  • the functions of the computer system 30 are exhibited by the arithmetic processing unit 30A and the storage device 30B (see FIG. 1).
  • the computer system 30 may have some functions outside the evaluation device 100.
  • the display control unit 31 causes the display unit 11 to display a route map including a plurality of routes connecting the start point and the end point.
  • the display control unit 31 is, for example, when the subject is instructed to move the gazing point from a plurality of routes shown in the route map displayed on the display unit 11 along a conforming route that meets a predetermined condition. ,
  • the display unit 11 displays the route map according to the instruction.
  • the display control unit 31 may display the route map in which a plurality of target objects are arranged along the plurality of routes on the display unit 11.
  • the display control unit 31 moves the gazing point along the matching route that passes through the specific target object, which is a specific target object among the plurality of target objects arranged along the plurality of routes in the route map.
  • the route map including a plurality of target objects is displayed according to the instruction.
  • the display control unit 31 can display the instruction information indicating each instruction for the subject on the display unit 11. In this case, the display control unit 31 can display the route map on the display unit 11 after displaying the instruction information on the display unit 11 for a predetermined period, for example.
  • the instruction information for the subject is not limited to the mode displayed on the display unit 11, and may be instructed to the subject in advance, or may be instructed to the subject by voice. May be presented at another location.
  • the display control unit 31 can display the correct answer information indicating the correct answer to the instruction on the display unit 11 after displaying the route map on the display unit 11.
  • the display control unit 31 can display, for example, how the moving object moves from the start point to the end point along the correct route as correct answer information on the display unit 11.
  • the gaze point detection unit 32 detects the position data of the gaze point of the subject.
  • the gazing point detection unit 32 detects the subject's line-of-sight vector defined by the three-dimensional global coordinate system based on the image data of the left and right eyeballs EB of the subject acquired by the image acquisition device 20.
  • the gaze point detection unit 32 detects the position data of the intersection of the detected subject's line-of-sight vector and the display unit 11 of the display device 10 as the position data of the gaze point of the subject. That is, in the present embodiment, the position data of the gazing point is the position data of the intersection of the line-of-sight vector of the subject defined by the three-dimensional global coordinate system and the display unit 11 of the display device 10.
  • the gaze point is a designated point on the display unit 11 designated by being gazed at by the subject.
  • the gaze point detection unit 32 detects the position data of the gaze point of the subject at each predetermined sampling cycle.
  • This sampling cycle can be, for example, the cycle of the frame synchronization signal output from the photographing apparatus 21 (for example, every 20 [msec]).
  • the area setting unit 33 sets the route area corresponding to the conforming route in the display unit 11 in the display unit 11. Further, the area setting unit 33 can set the target area corresponding to the specific object and the moving area corresponding to the moving object in the display unit 11 in the display unit 11.
  • the route area, the target area, and the movement area may be collectively described as a “determination area”.
  • the determination area set by the area setting unit 33 is not displayed on the display unit 11 in principle. The determination area may be displayed on the display unit 11 under the control of the display control unit 31, for example.
  • the determination unit 34 determines whether or not the gazing point exists in the determination area based on the position data of the gazing point during the period when the determination area is set by the area setting unit 33, and outputs the determination data.
  • the determination unit 34 determines whether or not the gazing point exists in the determination region at each predetermined determination cycle.
  • the determination cycle may be, for example, the same as the cycle of the frame synchronization signal output from the photographing apparatus 21 (for example, every 20 [msec]). In this case, the determination cycle of the determination unit 34 is the same as the sampling cycle of the gazing point detection unit 32.
  • the calculation unit 35 calculates the gaze point data indicating the progress of the gaze point movement in the period in which the determination area is set.
  • the calculation unit 35 calculates, for example, existence time data, movement count data, target arrival data, final area data, and movement order data as gazing point data.
  • Existence time data is data indicating the time when the gazing point exists in the determination area.
  • the movement count data is data showing the difference between the number of movements that is the correct answer and the actual number of movements when a plurality of route areas are set and there is a correct answer in the number of times that the plurality of route areas are moved.
  • the target arrival data is data indicating whether or not the target object has been reached along the route when the target object is set.
  • the end point arrival data is data indicating whether or not the gaze point of the subject who is the correct answer finally reaches the end point path region when the correct answer exists in the order of moving through the plurality of route regions.
  • the movement order data is data indicating the degree of coincidence between the movement order that is the correct answer and the actual movement order when a plurality of route areas are set and there is a correct answer in the order of moving the plurality of route areas.
  • the evaluation unit 36 obtains the evaluation data of the subject based on the gaze point data.
  • the evaluation data includes data for evaluating whether or not the subject can gaze at the specific object and the comparison object displayed on the display unit 11.
  • the input / output control unit 37 acquires data (image data of the eyeball EB, input data, etc.) from at least one of the image acquisition device 20 and the input device 50. Further, the input / output control unit 37 outputs data to at least one of the display device 10 and the output device 40. The input / output control unit 37 may output a task for the subject from an output device 40 such as a voice output device.
  • the storage unit 38 stores the above-mentioned determination data, gaze point data (existence time data, movement count data, target arrival data, final area data, movement order data), and evaluation data. Further, the storage unit 38 has a process of acquiring image data of the subject's eyeball, a process of detecting the position data of the gaze point of the subject based on the image data, and a predetermined condition from a plurality of routes shown in the route map. When the subject is instructed to move the gazing point along the conforming route, the display unit displays the route map including multiple routes and the route area corresponding to the conforming route.
  • the computer performs a process of setting to, a process of determining whether or not the subject's viewpoint exists in the path region based on the position data of the gazing point, and a process of obtaining the subject's evaluation data based on the determination result.
  • the evaluation method according to this embodiment will be described.
  • the cognitive dysfunction and the brain dysfunction of the subject are evaluated by using the evaluation device 100 described above.
  • the route map is displayed on the display unit 11 using the evaluation image, and the subject is asked to move the gazing point from the plurality of routes shown in the route map along the conforming route that meets the predetermined conditions. Instruct and determine if the subject is able to respond to the instruction.
  • the symptoms of cognitive dysfunction and brain dysfunction affect the cognitive ability, gaze movement ability, and tracking ability of the subject. If the subject is not cognitive and brain dysfunction, the task can be accurately grasped when the route map and instructions are presented. In addition, it is possible to accurately guess the matching route and move the gazing point along the estimated matching route. In addition, when a target moving along the correct route is presented, the target can be tracked.
  • the task may not be accurately grasped even if the route map and instructions are presented.
  • the matching route cannot be estimated accurately, and even if it can be estimated, the gazing point may not be able to move along the matching route.
  • a target that moves along the correct route it may not be possible to follow the target. Therefore, it is possible to evaluate the subject, for example, by performing the following procedure.
  • FIG. 3 is a diagram showing an example of a timetable of the evaluation video displayed on the display unit 11.
  • the evaluation video has a question period TA, a response period TB, and a correct answer period TC.
  • the question period TA is a period T1 (time t0 to time t1) for displaying the task for the subject on the display unit 11 and a period T2 (time t1 to time t2) for displaying the map (route map) related to the task on the display unit 11. ) And.
  • the map is displayed after the period T2 until the response period TB ends.
  • the response period TB includes a period T3 (time t2 to time t3) in which an instruction to the subject is output by voice and a period T4 (time t3 to time t4) in which the subject is made to respond.
  • the response period TB is a state in which the map is displayed on the display unit 11.
  • the correct answer period TC includes a period T5 (time t4 to time t5) for outputting a voice to the subject to display the correct answer, and a period T6 (time t5 to time t6) for displaying the correct answer on the display unit 11.
  • FIG. 4 is a diagram showing an example of an instruction to be displayed on the display unit 11.
  • the display control unit 31 displays, for example, instruction information I1 for a subject on the display unit 11 for a predetermined period in the question period TA.
  • the instruction information I1 is an instruction to consider the shortest route to enter from the entrance and buy vegetables in the store map of a store such as a supermarket.
  • the case where the instruction information I1 is displayed on the display unit 11 is given as an example, but the present invention is not limited to this.
  • the input / output control unit 37 may output the voice corresponding to the instruction information I1 from the speaker in addition to the display of the instruction information I1 or instead of the display of the instruction information I1.
  • FIG. 5 is a diagram showing an example of a route map displayed on the display unit 11.
  • the display control unit 31 displays the store interior map of the store as a route map M on the display unit 11.
  • the route diagram M includes a plurality of routes R. Further, the route map M includes a plurality of target objects S indicating the sales floor.
  • FIG. 6 is a diagram showing an example of a determination area set in the display unit 11.
  • the area setting unit 33 can set the route areas A01 to A19 corresponding to each route R so as to divide the route R.
  • the area setting unit 33 can set the target areas B01 to B09 corresponding to the target object S.
  • the area setting unit 33 can set the path areas A01 to A19 in a rectangular range so that the path R overlaps the area shown.
  • the area setting unit 33 can set the target areas B01 to B09 in a range having a shape overlapping the area where the target object S is shown.
  • the area setting unit 33 is set in the display unit 11 so that the route areas A01 to A19 do not overlap each other. Further, the area setting unit 33 is set in the display unit 11 so that the route areas A01 to A19 and the target areas B01 to B09 do not overlap.
  • the area setting unit 33 detects adjacent areas arranged at adjacent positions for each determination area, and stores information about the detected adjacent areas in the storage unit 38.
  • the area setting unit 33 detects that the route area A01 is adjacent to the route area A03.
  • the area setting unit 33 detects that the route area A02 is adjacent to the route areas A03, A05, and A06.
  • the area setting unit 33 detects that the route area A03 is adjacent to the route areas A01, A02, and A07.
  • the area setting unit 33 detects adjacent determination areas for the path areas A04 to A19, and stores the adjacent relationships of the determination areas in the storage unit 38.
  • the gazing point detection unit 32 has a predetermined sampling cycle (for example, 20 [msec]) in the period in which the route map M is displayed, that is, in each period of the question period TA, the period T2, and the response period TB, the period T3 and the period T4. Each time, the position data of the gaze point of the subject is detected.
  • the determination unit 34 determines whether or not the gazing point of the subject exists in the path regions A01 to A19 and the target regions B01 to B09 based on the position data of the gazing point.
  • the determination unit 34 outputs determination data at the same determination cycle as the above sampling cycle.
  • FIG. 7 is a diagram showing an example of correct answer information displayed on the display unit 11.
  • the display control unit 31 displays on the display unit 11 how the moving object Q moves along the matching path Ra from the entrance (start point) to the exit (end point) during the correct answer period TC.
  • the area setting unit 33 sets the movement area C in the range corresponding to the movement object Q.
  • the area setting unit 33 causes the moving area C to move as the moving object Q moves.
  • the gaze point detection unit 32 detects the position data of the gaze point of the subject at a predetermined sampling cycle (for example, 20 [msec]) during the period in which the correct answer information is displayed.
  • the determination unit 34 determines whether or not the gazing point of the subject exists in the moving region C based on the position data of the gazing point.
  • the determination unit 34 outputs determination data at the same determination cycle as the above sampling cycle.
  • the calculation unit 35 calculates the gaze point data indicating the progress of the gaze point movement of the subject in each period of the question period TA, the answer period TB, and the correct answer period TC.
  • the calculation unit 35 calculates the time when the gazing point exists in the path areas A01 to A19 and the target areas B01 to B09, that is, the existence time data.
  • the calculation unit 35 sets the count value of the target counter to +1 each time the gazing point is detected in the target areas B01 to B09.
  • the calculation unit 35 obtains the count value CNT1 of the target counter as the existence time data for the target areas B01 to B09.
  • the calculation unit 35 uses the determination data of the determination unit 34 to obtain the movement count data, the target arrival data, the final area data, and the movement order data as the gazing point data. calculate.
  • the calculation unit 35 calculates the path area in which the gaze point exists as the area. Further, the calculation unit 35 counts the period during which the gazing point continuously exists in one path region with a continuous counter, and obtains the count value GPNTT. When the count value GPNT reaches 10, that is, when the region is the same route region 10 times in a row, the calculation unit 35 assumes that the subject is gazing at one route region and the route. Calculate the area as the gaze area. When the gaze area is calculated, the calculation unit 35 stores the calculated gaze area in the storage unit 38 as a passage history. The path area calculated as the gaze area is stored in the storage unit 38 as a passage history in the calculated order.
  • the calculation unit 35 moves the gaze point of the subject from the one gaze area to the adjacent path area. It is determined that it has been done.
  • the calculation unit 35 counts the number of times the gazing point has moved to the adjacent path region with the movement counter, and obtains the count value MVCNT.
  • the calculation unit 35 calculates the difference DIF between the count value MVCNT, which is the actual number of movements, and the eight times, which is the correct answer, as the movement number data.
  • the calculation unit 35 determines whether or not the gazing point of the subject has reached the path area A08 corresponding to the target area B04 based on the passage history stored in the storage unit 38.
  • the calculation unit 35 sets, for example, the value GOAL of the target arrival data to 1 (or a constant), and the gazing point of the subject has not reached the path region A08. In that case, for example, the value GOAL of the target arrival data can be set to 0.
  • the calculation unit 35 determines whether or not the path region finally reached by the subject's gazing point is the route region A19 based on the passage history stored in the storage unit 38, and based on the determination result. Calculate the final area data.
  • the calculation unit 35 sets the value REGI of the final area data to 1, for example, and sets the path area finally reached by the subject's gaze point.
  • the value REGI of the final area data can be set to 0.
  • the calculation unit 35 compares the order in which the gazing point of the subject actually moves in the path regions A01 to A19 with the above order in the matching path Ra based on the passage history stored in the storage unit 38. Determine if you are doing it.
  • the calculation unit 35 sets the value ODR of the movement order data to 1 when the actual order matches the order of the matching path Ra, and moves when the actual order does not match the order of the matching path Ra.
  • the value ODR of the ordinal data can be 0.
  • the evaluation is not limited to the matching route Ra as the shortest route, and for example, if the route is different from the shortest route but conforms to the instruction information I1, the value ODF of the movement order data is set to a value larger than 0. May be good.
  • the calculation unit 35 calculates the time when the gazing point exists in the moving area C, that is, the existence time data, based on the determination data of the determination unit 34.
  • the calculation unit 35 sets the count value of the movement counter to +1 each time the gazing point is detected in the movement area C.
  • the calculation unit 35 obtains the count value CNT3 of the movement counter as the existence time data for the movement area C.
  • the evaluation unit 36 obtains an evaluation value based on the existence time data, the number of movements data, the target arrival data, the final area data, and the movement order data, and obtains the evaluation data based on the evaluation value.
  • the constants K1 to K7 are constants for weighting. For example, the constants K1 to K3> 0, K4 ⁇ 0, and K5 to K7> 0 can be set.
  • the value of the existence time data in the question period TA and the correct answer period TC is high, the value of the movement count data is low in the answer period TB, and the values of the target arrival data, the final area data, and the movement order data are high, ANS1 Will be higher.
  • the subject is watching the route R and the target object S in the question period TA, and is watching the moving object Q in the correct answer period TC.
  • the subject is moving the gazing point along the matching path Ra during the response period TB. Therefore, when the evaluation value ANS1 is high, it can be evaluated that the subject is unlikely to have cognitive dysfunction and brain dysfunction.
  • ANS1 is set. It gets lower.
  • the subject does not sufficiently monitor the route R and the target object S during the question period TA, and does not sufficiently monitor the moving object Q during the correct answer period TC.
  • the subject does not move the gazing point along the matching path Ra during the response period TB. Therefore, when the evaluation value ANS1 is low, it can be evaluated that the subject is highly likely to have cognitive dysfunction and brain dysfunction.
  • the evaluation unit 36 can store the value of the evaluation value ANS in the storage unit 38.
  • the evaluation value ANS for the same subject may be cumulatively stored and evaluated when compared with the past evaluation values. For example, when the evaluation value ANS is higher than the past evaluation value, it is possible to evaluate that the brain function is improved as compared with the previous evaluation. In addition, when the cumulative value of the evaluation value ANS is gradually increasing, it is possible to evaluate that the brain function is gradually improved.
  • the input / output control unit 37 when the evaluation unit 36 outputs the evaluation data, the input / output control unit 37, for example, "the subject is unlikely to have cognitive dysfunction and brain dysfunction," depending on the evaluation data.
  • the character data of "" and the character data of "the subject is likely to have cognitive dysfunction and brain dysfunction" can be output to the output device 40.
  • the input / output control unit 37 outputs character data or the like such as "brain function is improved" to the output device 40. Can be output to.
  • FIG. 8 is a flowchart showing an example of the evaluation method according to the present embodiment.
  • the case of reproducing the evaluation video will be described as an example.
  • the display control unit 31 starts playback of the evaluation video (step S101).
  • the evaluation images shown in FIGS. 4, 5, 6, and 7 are sequentially displayed on the display unit 11 of the display device 10.
  • the calculation unit 35 resets the timer that manages the reproduction time of the evaluation video (step S102). More specifically, the calculation unit 35 has a management timer that manages the playback time of the evaluation video, and in which period of the time range T1 to the time range T6 currently being played in the time chart shown in FIG. 3 is currently being played. Reset the detection timer that detects whether it belongs and start the measurement respectively.
  • the calculation unit 35 resets the data of the count values CNT1, CNT2, CNT3, GPCTN, MVCTN, DIF, GOAL, REGI, and ODR to 0, respectively, and resets the settings of the region and the gaze region (step S103). ..
  • the gazing point detection unit 32 shows the evaluation image displayed on the display unit 11 of the display device 10 to the subject, and the display unit 11 of the display device 10 every predetermined sampling cycle (for example, 20 [msec]).
  • the position data of the gaze point of the subject in the above is detected (step S104).
  • the calculation unit 35 considers the case where the gaze point cannot be detected due to blinking or the like, and determines whether or not the gaze point detection has failed (step S105). When the calculation unit 35 determines that the gaze point detection has failed (Yes in step S105), the calculation unit 35 proceeds to step S112. When the calculation unit 35 determines that the gaze point detection has not failed (No in step S105), the calculation unit 35 proceeds to step S106.
  • the calculation unit 35 determines whether or not the question period is TA (step S106). More specifically, the calculation unit 35 determines whether or not the time range is T1 to T2 based on the detection result of the detection timer. When the calculation unit 35 determines that the detection result of the detection timer corresponds to the range from the time range T1 to T2 (Yes in step S106), the calculation unit 35 performs a question process described later (step S107). After the question processing is performed, the process proceeds to step S112.
  • step S108 determines whether or not the response period is TB. More specifically, the calculation unit 35 determines whether or not the time range is T3 to T4 based on the detection result of the detection timer.
  • the calculation unit 35 performs the answer processing described later (step S109). After the answer processing is performed, the process proceeds to step S112.
  • step S110 determines whether or not the correct answer period is TC (step S110). More specifically, the calculation unit 35 determines whether or not the time range is T5 to T6 based on the detection result of the detection timer.
  • the calculation unit 35 performs a correct answer process described later (step S111). After the correct answer processing is performed, the process proceeds to step S112.
  • the calculation unit 35 manages when it is determined that the detection result of the detection timer does not correspond to the range from the time range T5 to T6 (No in step S110), and when the above question processing, answer processing, and correct answer processing are performed. Based on the detection result of the timer, it is determined whether or not the time at which the reproduction of the evaluation video is completed has been reached (step S112). When the calculation unit 35 determines that the time at which the reproduction of the evaluation video is completed has not been reached (No in step S112), the processing after step S104 is repeated.
  • the display control unit 31 stops the reproduction of the evaluation video (step S113).
  • the evaluation unit 36 calculates the evaluation value ANS1 based on the gazing point data obtained from the above processing result (step S114).
  • the input / output control unit 37 outputs the evaluation data obtained by the evaluation unit 36 (step S115). This completes the process.
  • FIG. 9 is a flowchart showing an example of question processing.
  • the calculation unit 35 determines whether or not the time range is T2 based on the detection result of the detection timer (step S201).
  • the calculation unit 35 determines that the detection result of the detection timer is not in the time range T2 (No in step S201)
  • the calculation unit 35 ends the process.
  • the area setting unit 33 serves as a determination area in order to confirm whether the subject is gazing at the area to be seen.
  • the route areas A01 to A19 and the target areas B01 to B09 are set (step S202).
  • the determination unit 34 determines whether or not the gaze point of the subject exists in the target areas B01 to B09 (step S203).
  • the calculation unit 35 sets the count value CNT1 to +1 (step S204).
  • the determination unit 34 determines whether or not the gaze point of the subject exists in the path regions A01 to A19 (step). S205).
  • the calculation unit 35 sets the count value CNT2 to +1 (step S206).
  • the determination unit 34 determines that the gaze point of the subject does not exist in the path regions A01 to A19 (No in step S205), or when the processes of steps S204 and S206 are performed, the question processing is terminated.
  • FIG. 10 is a flowchart showing an example of response processing.
  • the calculation unit 35 determines whether or not the time range is T4 based on the detection result of the detection timer (step S301).
  • the calculation unit 35 determines that the detection result of the detection timer is not in the time range T4 (No in step S301)
  • the calculation unit 35 ends the response process.
  • the area setting unit 33 serves as a determination area in order to confirm whether the subject is gazing at the area to be seen.
  • the route areas A01 to A19 are set (step S302).
  • the determination unit 34 determines whether or not the gaze point of the subject exists in the path regions A01 to A19 (step S303). When the determination unit 34 does not determine that the gaze point of the subject exists in the path regions A01 to A19 (step S303), the response process ends.
  • the arithmetic unit 35 determines whether or not the gazing point exists outside the path region in the immediately preceding measurement. Is determined (step S304).
  • the calculation unit 35 determines that the gazing point exists outside the path region in the immediately preceding measurement (Yes in step S304)
  • the calculation unit 35 resets the count value GCNTT of the path counter (step S305), and the gazing point is detected.
  • the area is set as the area (step S306).
  • the arithmetic unit 35 gazes at the region most recently. It is determined whether or not it is adjacent to the region (step S307). When the calculation unit 35 determines that the area is not adjacent to the nearest gaze area (No in step S307), the calculation unit 35 ends the response process.
  • the calculation unit 35 determines that the count value GPNT has reached 10 (Yes in step S309), the calculation unit 35 sets or updates the area as a new gaze area, sets the count value MVCNT of the movement counter to +1 and makes a new gaze.
  • the area (the area) is stored in the storage unit 38 as a passage history (step S310). After that, the calculation unit 35 resets the count value GPNT of the route counter (step S311), and ends the response process.
  • FIG. 11 is a flowchart showing an example of correct answer processing.
  • the calculation unit 35 determines whether or not the time range is T6 based on the detection result of the detection timer (step S401).
  • the calculation unit 35 determines that the detection result of the detection timer is not in the time range T6 (No in step S401)
  • the calculation unit 35 ends the process.
  • the area setting unit 33 serves as a determination area in order to confirm whether the subject is gazing at the area to be seen. , The moving area C is set (step S402).
  • the determination unit 34 determines whether or not the gaze point of the subject exists in the moving region C (step S403).
  • the calculation unit 35 sets the count value CNT3 to +1 (step S404).
  • step S403 determines that the gaze point of the subject does not exist in the moving area C (No in step S403), or when the process of step S404 is performed, the correct answer process ends.
  • the evaluation device 100 includes an image acquisition device 20 that acquires image data of the subject's eyeball, and a gaze point detection unit that detects position data of the gaze point of the subject based on the image data. 32 and a route map including a plurality of routes R when the subject is instructed to move the gazing point from the plurality of routes R shown in the route diagram M along the matching route Ra that meets the predetermined conditions.
  • the viewpoint of the subject is the path area.
  • a determination unit 34 for determining whether or not the data is present in the determination unit 34, and an evaluation unit 36 for obtaining evaluation data of the subject based on the determination result of the determination unit 34 are provided.
  • the evaluation method is to acquire image data of the eyeball of the subject, to detect the position data of the gazing point of the subject based on the image data, and to detect a plurality of routes R shown in the route diagram M.
  • the display unit 11 displays the route diagram M including the plurality of routes R, and the matching route Ra.
  • the path area corresponding to the above is set in the display unit 11, it is determined whether or not the subject's viewpoint exists in the path area based on the position data of the gazing point, and the subject's viewpoint is determined based on the determination result. Includes requesting evaluation data.
  • the evaluation program includes a process of acquiring image data of the subject's eyeball, a process of detecting the position data of the gaze point of the subject based on the image data, and a plurality of routes R shown in the route diagram M.
  • the process of displaying the route diagram M including the plurality of routes R on the display unit 11 and the matching route.
  • the evaluation device 100 can evaluate the subject's cognitive ability, gaze movement ability, and other abilities based on the movement of the subject's line of sight. As a result, the evaluation device 100 can evaluate the subject with high accuracy.
  • the display control unit 31 determines the specific object Sa, which is a specific target object among the plurality of target objects S arranged along the plurality of paths R in the route diagram M.
  • a route diagram M including a plurality of target objects S is displayed, and the area setting unit 33 displays the route diagram M including the plurality of target objects S on the target object S.
  • the corresponding target areas B01 to B09 are set in the display unit 11, and the determination unit 34 determines whether or not the viewpoint of the subject exists in the target areas B01 to B09 based on the position data of the gazing point.
  • the evaluation device 100 can evaluate the subject with higher accuracy.
  • the matching route Ra includes the shortest route among the plurality of routes R.
  • the evaluation device according to the second embodiment has the same configuration as the configuration according to the first embodiment. Therefore, in the evaluation device according to the second embodiment, the same components as those of the evaluation device 100 according to the first embodiment are designated by the same reference numerals, and the description thereof is omitted or simplified.
  • the evaluation device 100 according to the second embodiment is different from the first embodiment in the content of the processing in the computer system 30. Hereinafter, the differences from the first embodiment will be mainly described.
  • the computer system 30 includes a display control unit 31, a gazing point detection unit 32, an area setting unit 33, a determination unit 34, a calculation unit 35, an evaluation unit 36, and input / output control. It has a unit 37 and a storage unit 38.
  • the display control unit 31 causes the display unit to display a plurality of objects indicating different classifications of the objects.
  • the display control unit 31 instructs a subject to gaze at a conforming object that meets a predetermined condition from a plurality of objects showing different classifications of things
  • the display control unit 31 responds to the instruction to a plurality of objects.
  • the object is displayed on the display unit 11.
  • the display control unit 31 can display the instruction information indicating each instruction for the subject on the display unit 11. In this case, the display control unit 31 can display the route map on the display unit 11 after displaying the instruction information on the display unit 11 for a predetermined period, for example.
  • the instruction information for the subject is not limited to the mode displayed on the display unit 11, and may be instructed to the subject in advance, or may be instructed to the subject by voice. May be presented at another location.
  • the display control unit 31 can display the correct answer information indicating the correct answer to the instruction on the display unit 11 after displaying the route map on the display unit 11.
  • the display control unit 31 can display, for example, a conforming object that meets a predetermined condition on the display unit 11 in a manner different from that of other objects.
  • the gaze point detection unit 32 detects the position data of the gaze point of the subject.
  • the gazing point detection unit 32 detects the subject's line-of-sight vector defined by the three-dimensional global coordinate system based on the image data of the left and right eyeballs EB of the subject acquired by the image acquisition device 20.
  • the gaze point detection unit 32 detects the position data of the intersection of the detected subject's line-of-sight vector and the display unit 11 of the display device 10 as the position data of the gaze point of the subject. That is, in the present embodiment, the position data of the gazing point is the position data of the intersection of the line-of-sight vector of the subject defined by the three-dimensional global coordinate system and the display unit 11 of the display device 10.
  • the gaze point is a designated point on the display unit 11 designated by being gazed at by the subject.
  • the gaze point detection unit 32 detects the position data of the gaze point of the subject at each predetermined sampling cycle.
  • This sampling cycle can be, for example, the cycle of the frame synchronization signal output from the photographing apparatus 21 (for example, every 20 [msec]).
  • the area setting unit 33 sets the determination area corresponding to the conforming object in the display unit 11 in the display unit 11. When a plurality of conforming objects are set, the area setting unit 33 sets a determination area for each of the plurality of conforming objects. In the present embodiment, the determination area set by the area setting unit 33 is not displayed on the display unit 11 in principle. The determination area may be displayed on the display unit 11 under the control of the display control unit 31, for example.
  • the calculation unit 35 calculates the gaze point data indicating the progress of the gaze point movement in the period in which the determination area is set.
  • the calculation unit 35 calculates, for example, existence time data as the gazing point data.
  • Existence time data is data indicating the time when the gazing point exists in the determination area.
  • the calculation unit 35 has a timer that detects the elapsed time since the evaluation image is displayed on the display unit 11, and a counter that counts the number of determinations that the determination unit 34 determines that the gazing point exists in the determination area. .. Further, the calculation unit 35 may have a management timer that manages the reproduction time of the evaluation video.
  • the evaluation unit 36 obtains the evaluation data of the subject based on the gaze point data.
  • the evaluation data includes data for evaluating whether or not the subject can gaze at the specific object and the comparison object displayed on the display unit 11.
  • the input / output control unit 37 acquires data (image data of the eyeball EB, input data, etc.) from at least one of the image acquisition device 20 and the input device 50. Further, the input / output control unit 37 outputs data to at least one of the display device 10 and the output device 40. The input / output control unit 37 may output a task for the subject from an output device 40 such as a voice output device.
  • the storage unit 38 stores the above-mentioned determination data, gaze point data (existence time data), and evaluation data. Further, the storage unit 38 has a process of acquiring image data of the subject's eyeball, a process of detecting the position data of the gaze point of the subject based on the image data, and a plurality of objects U showing different classifications of things.
  • the process of displaying the plurality of objects U on the display unit 11 and the subject among the plurality of objects U Based on the process of setting the determination areas D1 and D2 corresponding to the conforming objects U1 and U2 conforming to the presented instructions in the display unit 11 and the position data of the gazing point, the viewpoint of the subject is set to the determination areas D1 and D2. It stores an evaluation program that causes a computer to execute a process of determining whether or not it exists and a process of obtaining evaluation data of a subject based on the determination result.
  • the evaluation method according to this embodiment the cognitive dysfunction and the brain dysfunction of the subject are evaluated by using the evaluation device 100 described above.
  • a plurality of objects showing different classifications of things are displayed on the display unit 11 using an evaluation image, and the subject so as to gaze at a conforming object that meets a predetermined condition from the plurality of objects. To determine whether the subject is able to respond to the instructions.
  • the symptoms of cognitive dysfunction and brain dysfunction affect the cognitive ability, memory ability, and analytical ability of the subject. If the subject is not cognitive and brain dysfunction, the task can be accurately grasped when multiple objects and instructions are presented. In addition, it is possible to accurately analyze the object conforming to the instruction based on the information in the memory and to pay close attention to the object conforming to the instruction.
  • the subject has cognitive dysfunction and brain dysfunction, it may not be possible to accurately grasp the task even if multiple objects and instructions are presented. In addition, it may not be possible to accurately analyze an object that conforms to the instructions based on the information in the memory. Therefore, it is possible to evaluate the subject, for example, by performing the following procedure.
  • FIG. 12 is a diagram showing the classification of products sold in stores such as supermarkets as an example of classification of things.
  • the classification of things is not limited to the classification of goods, and may be other classifications.
  • the classification of goods is divided into a major classification and a middle classification.
  • the major classification is based on the types of products such as fruits, meat, delicatessen, vegetables, frozen foods, seasonings, fish, dairy products, bread, and confectionery.
  • the middle classification is a classification based on specific examples for each type of the major classification.
  • the middle classification of fruits includes apples, oranges, strawberries and the like.
  • Examples of the middle classification of meat include pork, beef and the like.
  • Examples of the middle category of prepared foods include fried foods and simmered foods.
  • Examples of the middle classification of vegetables include radish, carrot, cabbage and the like.
  • Examples of the middle classification of frozen foods include frozen dumplings and the like.
  • Examples of the middle classification of seasonings include salt, pepper, sugar and the like.
  • Examples of the middle class of fish include sashimi and dried fish.
  • Examples of dairy products include yogurt and milk.
  • Examples of the middle classification of bread include sandwiches and bread.
  • the middle classification of lyrics includes chocolate, candy, gum and the like.
  • the examples of the major classification and the middle classification are not limited to the above.
  • the classification may be set to a plurality of stages of three or more stages, such as a sub-classification that further embodies the middle classification.
  • FIG. 13 is a diagram showing an example of a timetable of the evaluation video displayed on the display unit 11.
  • the evaluation video has a question period TD, a response period TE, and a correct answer period TF.
  • the question period TD is a period T11 (time t10 to time t11) for displaying the task for the subject on the display unit 11 and a period T12 (time t11 to time t12) for displaying a plurality of objects related to the task on the display unit 11. And include.
  • the display of the plurality of objects is performed from the period T12 until the end of the response period TE.
  • the response period TE includes a period T13 (time t12 to time t13) in which an instruction to the subject is output by voice and a period T14 (time t13 to time t14) in which the subject is made to respond.
  • the response period TE is a state in which a plurality of objects are displayed on the display unit 11.
  • the correct answer period TF includes a period T15 (time t14 to time t15) for outputting a voice to the subject to display the correct answer, and a period T16 (time t15 to time t16) for displaying the correct answer on the display unit 11.
  • FIG. 14 is a diagram showing an example of a task to be displayed on the display unit 11.
  • the display control unit 31 displays, for example, the instruction information I2 for the subject on the display unit 11 for a predetermined period in the question period TD.
  • the instruction information I2 instructs the store of a store such as a supermarket to pay close attention to the sales floor of fruits and frozen foods.
  • the case where the instruction information I2 is displayed on the display unit 11 is given as an example, but the present invention is not limited to this.
  • the input / output control unit 37 may output the voice corresponding to the instruction information I2 from the speaker in addition to the display of the instruction information I2 or instead of the display of the instruction information I2.
  • the area setting unit 33 can set the determination area E corresponding to the instruction information I2.
  • the area setting unit 33 can set the determination area E in a range having a shape that overlaps the area where the instruction information I2 is displayed, for example.
  • FIG. 15 is a diagram showing an example of an in-store diagram displayed on the display unit 11.
  • the display control unit 31 displays the store interior view N of the store on the display unit 11.
  • the in-store map N includes a plurality of objects U.
  • the object U the content indicating the major classification of the product classification is described.
  • the conforming objects conforming to the instruction information I2 are the conforming object U1 indicating a fruit and the conforming object U2 indicating a frozen foodstuff.
  • the area setting unit 33 can set the determination areas D1 and D2 corresponding to the conforming objects U1 and U2.
  • the area setting unit 33 can set the determination areas D1 and D2 in a range having a shape that overlaps the area where the conforming objects U1 and U2 are shown, for example.
  • the area setting unit 33 is set in the display unit 11 so that the determination areas D1 and D2 do not overlap.
  • the gazing point detection unit 32 has a predetermined sampling cycle (for example, 20 [msec]) in the period in which the in-store map N is displayed, that is, in each period of the question period TD period T12 and the answer period TE period T13 and period T14. Each time, the position data of the gaze point of the subject is detected.
  • the determination unit 34 determines whether or not the gaze point of the subject exists in the determination areas D1 and D2 based on the position data of the gaze point.
  • the determination unit 34 outputs determination data at the same determination cycle as the above sampling cycle.
  • FIG. 16 is a diagram showing an example of correct answer information displayed on the display unit 11.
  • the display control unit 31 displays the conforming objects U1 and U2 on the display unit 11 in a manner different from that of the other objects U during the correct answer period TF.
  • the line dividing the conforming objects U1 and U2 is displayed in a thicker state than the line dividing the other objects U.
  • the example of displaying the conforming objects U1 and U2 and the other objects U in different modes is not limited to this.
  • the area setting unit 33 sets the determination areas D1 and D2 corresponding to the conforming objects U1 and U2, as in the response period TE.
  • the gaze point detection unit 32 detects the position data of the gaze point of the subject at a predetermined sampling cycle (for example, 20 [msec]) during the period in which the correct answer information is displayed.
  • the determination unit 34 determines whether or not the gaze point of the subject exists in the determination areas D1 and D2 based on the position data of the gaze point.
  • the determination unit 34 outputs determination data at the same determination cycle as the above sampling cycle.
  • the calculation unit 35 calculates the gaze point data indicating the progress of the gaze point movement of the subject in each period of the question period TD, the answer period TE, and the correct answer period TF.
  • the calculation unit 35 calculates the time when the gazing point exists in the determination area E and the time when the gazing point exists in the determination areas D1 and D2 as the existence time data.
  • the calculation unit 35 sets the count value CNT4 of the question counter to +1 each time the gazing point is detected in the determination area E.
  • the calculation unit 35 sets the count value CNT5 of the response counter to +1 each time the gazing point is detected in the determination areas D1 and D2.
  • the calculation unit 35 sets the count value CNT6 of the correct answer counter to +1 each time the gazing point is detected in the determination areas D1 and D2.
  • the calculation unit 35 obtains the count value CNT4 of the question counter, the count value CNT5 of the answer counter, and the count value CNT6 of the correct answer counter as existence time data.
  • the evaluation unit 36 obtains the evaluation value based on the existence time data in each period, and obtains the evaluation data based on the evaluation value.
  • the constants K8 to K10 are constants for weighting. For example, the constants K8 to K10> 0 can be set.
  • ANS2 becomes high.
  • the subject is gazing at the instruction information I2 during the question period TD, and is gazing at the conforming objects U1 and U2 during the answer period TE and the correct answer period TF. Therefore, when the evaluation value ANS2 is high, it can be evaluated that the subject is unlikely to have cognitive dysfunction and brain dysfunction.
  • ANS2 is low.
  • the subject does not sufficiently watch the instruction information I2 during the question period TD, and does not sufficiently watch the conforming object U during the response period TE and the correct answer period TF. Therefore, when the evaluation value ANS2 is low, it can be evaluated that the subject is likely to have cognitive dysfunction and brain dysfunction.
  • FIG. 17 is a flowchart showing an example of the evaluation method according to the present embodiment.
  • the case of reproducing the evaluation video will be described as an example.
  • the display control unit 31 starts playback of the evaluation video (step S501).
  • the evaluation images shown in FIGS. 14, 15, and 16 are sequentially displayed on the display unit 11 of the display device 10.
  • the calculation unit 35 resets the timer that manages the reproduction time of the evaluation video (step S502).
  • the calculation unit 35 resets the count values CNT4, CNT5, and CNT6 to 0, respectively (step S503).
  • the gaze point detection unit 32 detects the position data of the gaze point of the subject on the display unit 11 of the display device 10 (step S504).
  • the calculation unit 35 determines whether or not the detection of the gazing point has failed (step S505). When the calculation unit 35 determines that the gaze point detection has failed (Yes in step S505), the calculation unit 35 proceeds to step S512. When the calculation unit 35 determines that the gaze point detection has not failed (No in step S505), the calculation unit 35 proceeds to step S506.
  • step S506 determines whether or not the question period is TD.
  • step S507 the calculation unit 35 performs a question process described later. After the question processing is performed, the process proceeds to step S512.
  • step S506 determines whether or not the answer period is TE (step S508).
  • step S508 determines whether or not the answer period is TE (step S508).
  • the arithmetic unit 35 performs the response process described later (step S509). After the answer processing is performed, the process proceeds to step S512.
  • step S510 the calculation unit 35 determines whether or not the answer period is TF (step S510).
  • the calculation unit 35 determines that the correct answer period is TF (Yes in step S510)
  • the calculation unit 35 performs the answer processing described later (step S511). After the correct answer processing is performed, the process proceeds to step S512.
  • step S510 When the calculation unit 35 determines that the correct answer period is not TF (No in step S510), when the above question processing, answer processing, and correct answer processing are performed, the evaluation video is based on the detection result of the management timer. It is determined whether or not the time at which the reproduction is completed has been reached (step S512). When the calculation unit 35 determines that the time at which the reproduction of the evaluation video is completed has not been reached (No in step S512), the processing after step S504 is repeated.
  • the display control unit 31 stops the reproduction of the evaluation video (step S513).
  • the evaluation unit 36 calculates the evaluation value ANS2 (or ANS2a) based on the gazing point data obtained from the above processing result (step S514).
  • the input / output control unit 37 outputs the evaluation data obtained by the evaluation unit 36 (step S515). This completes the process.
  • FIG. 18 is a flowchart showing an example of question processing, answer processing, and correct answer processing. As shown in FIG. 18, in the question processing, the answer processing, and the correct answer processing, processing is performed in the same flow.
  • the calculation unit 35 determines whether or not each of the question processing, the answer processing, and the correct answer processing is within the time range based on the detection result of the detection timer (step S601). When the calculation unit 35 determines that the detection result of the detection timer is not in the corresponding time range (No in step S601), the calculation unit 35 ends the process.
  • step S601 When it is determined that the detection result of the detection timer is within the corresponding time range (Yes in step S601), the area setting unit 33 determines whether the subject is gazing at the area to be seen. , The determination areas D1, D2, and E are set (step S602).
  • the determination unit 34 determines whether or not the gaze point of the subject exists in the determination areas D1, D2, and E (step S603).
  • the calculation unit 35 sets the corresponding count values CNT4, CNT5, and CNT6 to +1 (step S604). ..
  • step S603 determines that the gaze point of the subject does not exist in the determination areas D1, D2, E (No in step S603), or when the process of step S604 is performed, the question process, the answer process, and the correct answer are performed. End each process of the process.
  • the evaluation device 100 includes an image acquisition device 20 that acquires image data of the subject's eyeball, and a gaze point detection unit that detects position data of the gaze point of the subject based on the image data. 32 and a plurality of objects U indicating different classifications of things
  • the display unit U displays the plurality of objects U.
  • a display control unit 31 to be displayed on the display unit 11 and an area setting unit for setting the determination areas D1 and D2 corresponding to the conforming objects U1 and U2 corresponding to the instructions presented to the subject among the plurality of objects U on the display unit 11.
  • the determination unit 34 Based on 33 and the position data of the gazing point, the determination unit 34 that determines whether or not the viewpoint of the subject exists in the determination areas D1 and D2, and the evaluation data of the subject based on the determination result of the determination unit 34. It is provided with a desired evaluation unit 36.
  • the evaluation method is to acquire image data of the subject's eyeball, detect the position data of the gaze point of the subject based on the image data, and a plurality of objects showing different classifications of things.
  • the display unit 11 displays the plurality of objects U and the plurality of objects U.
  • the determination areas D1 and D2 corresponding to the conforming objects U1 and U2 conforming to the instructions presented to the subject are set in the display unit 11, and the viewpoint of the subject is the determination area D1 based on the position data of the gazing point. , It includes determining whether or not it exists in D2, and obtaining evaluation data of the subject based on the determination result.
  • the evaluation program includes a process of acquiring image data of the subject's eyeball, a process of detecting the position data of the gaze point of the subject based on the image data, and a plurality of objects showing different classifications of things.
  • a process of displaying a plurality of objects U on the display unit 11 and a process of displaying the plurality of objects U on the display unit U are performed.
  • the subject's viewpoint is the determination area D1 based on the process of setting the determination areas D1 and D2 corresponding to the conforming objects U1 and U2 conforming to the instructions presented to the subject in the display unit 11 and the position data of the gazing point.
  • a computer is made to execute a process of determining whether or not it exists in D2 and a process of obtaining evaluation data of a subject based on the determination result.
  • the evaluation device 100 can evaluate the cognitive ability, memory ability, and judgment ability of the subject based on the movement of the subject's line of sight. As a result, the evaluation device 100 can evaluate the subject with high accuracy.
  • the area setting unit 33 sets the determination areas D1 and D2 for each of the plurality of conforming objects U1 and U2 when there are a plurality of conforming objects U1 and U2, and determines.
  • the unit 34 determines whether or not the viewpoint of the subject exists in the respective determination areas D1 and D2 based on the position data of the gazing point. As a result, the evaluation device 100 can evaluate the subject with higher accuracy.
  • the evaluation unit 36 obtains the evaluation data of the subject according to the number of the conforming objects U1 and U2. As the number of conforming objects U1 and U2 increases, the judgment becomes complicated and the difficulty of instruction increases. Therefore, by obtaining the evaluation data of the subject according to the number of the conforming objects U1 and U2, highly accurate evaluation according to the difficulty level becomes possible.
  • the target objects corresponding to the major categories of "vegetables", “fruits”, and “frozen foods” are listed in the instructions of the instruction information I1 and I2, and the route diagram M and In the in-store map N, an example in which the target object S and the object U indicating the major classifications are shown has been described, but the present invention is not limited thereto.
  • the instruction contents I1 and I2 may include target objects and objects belonging to the middle classification such as "cabbage", "apple”, and “frozen dumplings".
  • the instruction content I1 may be an instruction to think about the shortest route to enter from the entrance and buy "cabbage”.
  • the instruction content I2 may be the content instructing to pay close attention to the "apple” and the sales floor of the frozen food in the in-store map of a store such as a supermarket.
  • the evaluation unit 36 in the first embodiment can obtain the following evaluation value ANS1c in which the number of conforming objects and the instruction including the middle classification are combined.
  • ANS1c j (K1, CNT1, P + K2, CNT2 + K3, CNT3 + K4, DIF + K5, GOAL, P + K6, REGI + K 7. ODR) Can be.
  • the evaluation unit 36 in the second embodiment can obtain the following evaluation value ANS2c in which the number of conforming objects and the instruction including the middle classification are combined.
  • ANS2c h ⁇ (K8 ⁇ CNT4 + K9 ⁇ CNT5 ⁇ P + K10 ⁇ CN T6 ⁇ P) Can be.
  • the "CNT1 / P", "GOAL / P”, “CNT5 / P”, and “CNT6 / P” parts of the above formula are calculated using individual coefficients for each judgment area set for the conforming object. May be. For example, it is easier to determine that the middle category "pork” and “beef” belong to the major category “meat” than to determine that the middle category "yogurt” and “cheese” belong to the major category "dairy products”. In this case, if the words indicating the middle classification and the major classification include common characters (such as "meat"), the judgment of the major classification and the middle classification becomes easy. In this way, for example, when the difficulty level for determining the major classification and the middle classification is different for each conforming object, high-precision evaluation according to the difficulty level becomes possible.
  • the evaluation device, evaluation method, and evaluation program according to the present disclosure can be used for, for example, a processing device such as a computer.
  • Second light source 30 ... computer system, 30A ... arithmetic processing device, 30B ... storage device, 30C ... computer program, 31 ... display control unit, 32 ... gaze point detection unit, 33 ... area setting unit, 34 ... determination unit, 35 ... arithmetic unit, 36 ... Evaluation unit, 37 ... Input / output control unit, 38 ... Storage unit, 40 ... Output device, 50 ... Input device, 60 ... Input / output interface device, 100 ... Evaluation device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Neurology (AREA)
  • Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Ophthalmology & Optometry (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Neurosurgery (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

評価装置は、被験者の眼球の画像データを取得する画像データ取得部と、画像データに基づいて、被験者の注視点の位置データを検出する注視点検出部と、経路図に示される複数の経路から所定の条件に適合する適合経路に沿って注視点を移動させるように被験者に指示が行われる場合に、複数の経路を含む経路図を表示部に表示させる表示制御部と、適合経路に対応する経路領域を表示部に設定する領域設定部と、注視点の位置データに基づいて、被験者の視点が経路領域に存在するか否かを判定する判定部と、判定部の判定結果に基づいて、被験者の評価データを求める評価部とを備える。

Description

評価装置、評価方法、及び評価プログラム
 本開示は、評価装置、評価方法、及び評価プログラムに関する。
 近年、認知機能障害および脳機能障害が増加傾向にあるといわれており、このような認知機能障害および脳機能障害を早期に発見し、症状の重さを定量的に評価することが求められている。認知機能障害および脳機能障害の症状は、認知能力に影響することが知られている。このため、被験者の認知能力に基づいて被験者を評価することが行われている。例えば、複数種類の数字を表示し、その数字を被験者に加算させて答えを求めさせ、被験者の出した答えを確認する装置が提案されている(例えば、特許文献1参照)。
特開2011-083403号公報
 しかしながら、特許文献1等の方法では、被験者がタッチパネルの操作等により答えを選択する形態であり、偶然の正解や被験者の操作ミスなどが原因で高い評価精度を得ることが難しかった。そのため、精度よく認知機能障害および脳機能障害を評価することが求められていた。
 本開示は、上記に鑑みてなされたものであり、精度よく認知機能障害および脳機能障害の評価を行うことが可能な評価装置、評価方法、及び評価プログラムを提供することを目的とする。
 本開示に係る評価装置は、被験者の眼球の画像データを取得する画像データ取得部と、前記画像データに基づいて、前記被験者の注視点の位置データを検出する注視点検出部と、経路図に示される複数の経路から所定の条件に適合する適合経路に沿って注視点を移動させるように前記被験者に指示が行われる場合に、前記複数の経路を含む前記経路図を表示部に表示させる表示制御部と、前記適合経路に対応する経路領域を前記表示部に設定する領域設定部と、前記注視点の位置データに基づいて、前記被験者の視点が前記経路領域に存在するか否かを判定する判定部と、前記判定部の判定結果に基づいて、前記被験者の評価データを求める評価部とを備える。
 本開示に係る評価方法は、被験者の眼球の画像データを取得することと、前記画像データに基づいて、前記被験者の注視点の位置データを検出することと、経路図に示される複数の経路から所定の条件に適合する適合経路に沿って注視点を移動させるように前記被験者に指示が行われる場合に、前記複数の経路を含む前記経路図を表示部に表示させることと、前記適合経路に対応する経路領域を前記表示部に設定することと、前記注視点の位置データに基づいて、前記被験者の視点が前記経路領域に存在するか否かを判定することと、判定結果に基づいて、前記被験者の評価データを求めることとを含む。
 本開示に係る評価プログラムは、被験者の眼球の画像データを取得する処理と、前記画像データに基づいて、前記被験者の注視点の位置データを検出する処理と、経路図に示される複数の経路から所定の条件に適合する適合経路に沿って注視点を移動させるように前記被験者に指示が行われる場合に、前記複数の経路を含む前記経路図を表示部に表示させる処理と、前記適合経路に対応する経路領域を前記表示部に設定する処理と、前記注視点の位置データに基づいて、前記被験者の視点が前記経路領域に存在するか否かを判定する処理と、判定結果に基づいて、前記被験者の評価データを求める処理とをコンピュータに実行させる。
 本開示に係る評価装置は、被験者の眼球の画像データを取得する画像データ取得部と、前記画像データに基づいて、前記被験者の注視点の位置データを検出する注視点検出部と、事物についての異なる分類を示す複数の対象物から所定の条件に適合する適合対象物を注視するように前記被験者に指示が行われる場合に、前記複数の対象物を表示部に表示させる表示制御部と、前記複数の対象物のうち前記被験者に提示される指示に適合した適合対象物に対応する判定領域を前記表示部に設定する領域設定部と、前記注視点の位置データに基づいて、前記被験者の視点が前記判定領域に存在するか否かを判定する判定部と、前記判定部の判定結果に基づいて、前記被験者の評価データを求める評価部とを備える。
 本開示に係る評価方法は、被験者の眼球の画像データを取得することと、前記画像データに基づいて、前記被験者の注視点の位置データを検出することと、事物についての異なる分類を示す複数の対象物から所定の条件に適合する適合対象物を注視するように前記被験者に指示が行われる場合、前記複数の対象物を表示部に表示させることと、前記複数の対象物のうち前記被験者に提示される指示に適合した適合対象物に対応する判定領域を前記表示部に設定することと、前記注視点の位置データに基づいて、前記被験者の視点が前記判定領域に存在するか否かを判定することと、判定結果に基づいて、前記被験者の評価データを求めることとを含む。
 本開示に係る評価プログラムは、被験者の眼球の画像データを取得する処理と、前記画像データに基づいて、前記被験者の注視点の位置データを検出する処理と、事物についての異なる分類を示す複数の対象物から所定の条件に適合する適合対象物を注視するように前記被験者に指示が行われる場合、前記複数の対象物を表示部に表示させる処理と、前記複数の対象物のうち前記被験者に提示される指示に適合した適合対象物に対応する判定領域を前記表示部に設定する処理と、前記注視点の位置データに基づいて、前記被験者の視点が前記判定領域に存在するか否かを判定する処理と、判定結果に基づいて、前記被験者の評価データを求める処理とをコンピュータに実行させる。
 本開示によれば、精度よく認知機能障害および脳機能障害の評価を行うことができる。
図1は、第1実施形態に係る評価装置の一例を模式的に示す図である。 図2は、第1実施形態に係る評価装置の一例を示す機能ブロック図である。 図3は、第1実施形態において表示部に表示する評価用映像のタイムテーブルの一例を示す図である。 図4は、第1実施形態において表示部に表示する指示の一例を示す図である。 図5は、第1実施形態において表示部に表示する経路図の一例を示す図である。 図6は、第1実施形態において表示部に設定される判定領域の一例を示す図である。 図7は、第1実施形態において表示部に表示される正答情報の一例を示す図である。 図8は、第1実施形態に係る評価方法の一例を示すフローチャートである。 図9は、第1実施形態における設問処理の一例を示すフローチャートである。 図10は、第1実施形態における回答処理の一例を示すフローチャートである。 図11は、第1実施形態における正答処理の一例を示すフローチャートである。 図12は、事物についての分類の例を示す図である。 図13は、第2実施形態において表示部に表示する評価用映像のタイムテーブルの一例を示す図である。 図14は、第2実施形態において表示部に表示する指示の一例を示す図である。 図15は、第2実施形態において表示部に表示する店内図の一例を示す図である。 図16は、第2実施形態において表示部に表示される正答情報の一例を示す図である。 図17は、第2実施形態に係る評価方法の一例を示すフローチャートである。 図18は、第2実施形態における設問処理、回答処理及び正答処理の一例を示すフローチャートである。
 以下、本開示に係る評価装置、評価方法、及び評価プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
 以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第1軸と平行な方向をX軸方向とし、第1軸と直交する所定面の第2軸と平行な方向をY軸方向とし、第1軸及び第2軸のそれぞれと直交する第3軸と平行な方向をZ軸方向とする。所定面はXY平面を含む。
 [第1実施形態]
 [評価装置]
 図1は、第1実施形態に係る評価装置100の一例を模式的に示す図である。本実施形態に係る評価装置100は、被験者の視線を検出し、検出結果を用いることで認知機能障害および脳機能障害の評価を行う。評価装置100は、例えば被験者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する方法、又は被験者の目頭の位置と虹彩の位置とに基づいて視線を検出する方法等、各種の方法により被験者の視線を検出することができる。
 図1に示すように、評価装置100は、表示装置10と、画像取得装置20と、コンピュータシステム30と、出力装置40と、入力装置50と、入出力インターフェース装置60とを備える。表示装置10、画像取得装置20、コンピュータシステム30、出力装置40及び入力装置50は、入出力インターフェース装置60を介してデータ通信を行う。表示装置10及び画像取得装置20は、それぞれ不図示の駆動回路を有する。
 表示装置10は、液晶ディスプレイ(liquid crystal display:LCD)又は有機ELディスプレイ(organic electroluminescence display:OLED)のようなフラットパネルディスプレイを含む。本実施形態において、表示装置10は、表示部11を有する。表示部11は、画像等の情報を表示する。表示部11は、XY平面と実質的に平行である。X軸方向は表示部11の左右方向であり、Y軸方向は表示部11の上下方向であり、Z軸方向は表示部11と直交する奥行方向である。表示装置10は、ヘッドマウント型ディスプレイ装置であってもよい。表示装置10がヘッドマウント型ディスプレイ装置である場合、ヘッドマウントモジュール内に画像取得装置20のような構成が配置されることになる。
 画像取得装置20は、被験者の左右の眼球EBの画像データを取得し、取得した画像データをコンピュータシステム30に送信する。画像取得装置20は、撮影装置21を有する。撮影装置21は、被験者の左右の眼球EBを撮影することで画像データを取得する。撮影装置21は、被験者の視線を検出する方法に応じた各種カメラを有する。例えば被験者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する方式の場合、撮影装置21は、赤外線カメラを有し、例えば波長850[nm]の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。また、例えば被験者の目頭の位置と虹彩の位置とに基づいて視線を検出する方式の場合、撮影装置21は、可視光カメラを有する。撮影装置21は、フレーム同期信号を出力する。フレーム同期信号の周期は、例えば20[msec]とすることができるが、これに限定されない。撮影装置21は、例えば第1カメラ21A及び第2カメラ21Bを有するステレオカメラの構成とすることができるが、これに限定されない。
 また、例えば被験者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する方式の場合、画像取得装置20は、被験者の眼球EBを照明する照明装置22を有する。照明装置22は、LED(light emitting diode)光源を含み、例えば波長850[nm]の近赤外光を射出可能である。なお、例えば被験者の目頭の位置と虹彩の位置とに基づいて視線ベクトルを検出する方式の場合、照明装置22は設けられなくてもよい。照明装置22は、撮影装置21のフレーム同期信号に同期するように検出光を射出する。照明装置22は、例えば第1光源22A及び第2光源22Bを有する構成とすることができるが、これに限定されない。
 コンピュータシステム30は、評価装置100の動作を統括的に制御する。コンピュータシステム30は、演算処理装置30A及び記憶装置30Bを含む。演算処理装置30Aは、CPU(central processing unit)のようなマイクロプロセッサを含む。記憶装置30Bは、ROM(read only memory)及びRAM(random access memory)のようなメモリ又はストレージを含む。演算処理装置30Aは、記憶装置30Bに記憶されているコンピュータプログラム30Cに従って演算処理を実施する。
 出力装置40は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置40は、音声出力装置、印刷装置を含んでもよい。入力装置50は、操作されることにより入力データを生成する。入力装置50は、コンピュータシステム用のキーボード又はマウスを含む。なお、入力装置50が表示装置である出力装置40の表示部に設けられたタッチセンサを含んでもよい。
 本実施形態に係る評価装置100は、表示装置10とコンピュータシステム30とが別々の装置である。なお、表示装置10とコンピュータシステム30とが一体でもよい。例えば評価装置100がタブレット型パーソナルコンピュータを含んでもよい。この場合、タブレット型パーソナルコンピュータに、表示装置、画像取得装置、コンピュータシステム、入力装置、出力装置等が搭載されてもよい。
 図2は、評価装置100の一例を示す機能ブロック図である。図2に示すように、コンピュータシステム30は、表示制御部31と、注視点検出部32と、領域設定部33と、判定部34と、演算部35と、評価部36と、入出力制御部37と、記憶部38とを有する。コンピュータシステム30の機能は、演算処理装置30A及び記憶装置30B(図1参照)によって発揮される。なお、コンピュータシステム30は、一部の機能が評価装置100の外部に設けられてもよい。
 表示制御部31は、始点と終点とを接続する複数の経路を含む経路図を表示部11に表示させる。表示制御部31は、例えば、表示部11に表示される経路図に示される複数の経路から所定の条件に適合する適合経路に沿って注視点を移動させるように被験者に指示が行われる場合に、指示に応じて経路図を表示部11に表示させる。
 また、表示制御部31は、複数の経路に沿って複数の目標対象物が配置される経路図を表示部11に表示させてもよい。表示制御部31は、経路図において複数の経路に沿って配置される複数の目標対象物のうち特定の目標対象物である特定対象物を経由する適合経路に沿って注視点を移動させるように被験者に指示が行われる場合に、指示に応じて、複数の目標対象物を含む経路図を表示させる。
 表示制御部31は、上記の被験者に対する各指示を示す指示情報を表示部11に表示させることができる。この場合、表示制御部31は、例えば指示情報を表示部11に所定期間表示させた後、経路図を表示部11に表示させることができる。なお、上記の被験者に対する指示情報は、表示部11に表示される態様に限られず、例えば予め被験者に指示しておいてもよいし、音声により被験者に指示する態様でもよいし、表示部11とは別の場所に提示する態様でもよい。
 表示制御部31は、経路図を表示部11に表示させた後、指示に対して正答を示す正答情報を表示部11に表示することができる。表示制御部31は、正答情報として、例えば移動対象物が正しい経路に沿って始点から終点まで移動する様子を表示部11に表示させることができる。
 注視点検出部32は、被験者の注視点の位置データを検出する。本実施形態において、注視点検出部32は、画像取得装置20によって取得される被験者の左右の眼球EBの画像データに基づいて、三次元グローバル座標系で規定される被験者の視線ベクトルを検出する。注視点検出部32は、検出した被験者の視線ベクトルと表示装置10の表示部11との交点の位置データを、被験者の注視点の位置データとして検出する。つまり、本実施形態において、注視点の位置データは、三次元グローバル座標系で規定される被験者の視線ベクトルと、表示装置10の表示部11との交点の位置データである。本実施形態において、注視点は、被験者に注視されることで指定される表示部11上の指定点である。注視点検出部32は、規定のサンプリング周期毎に被験者の注視点の位置データを検出する。このサンプリング周期は、例えば撮影装置21から出力されるフレーム同期信号の周期(例えば20[msec]毎)とすることができる。
 領域設定部33は、表示部11において、適合経路に対応した経路領域を表示部11に設定する。また、領域設定部33は、表示部11において、特定対象物に対応した目標領域と、移動対象物に対応した移動領域とを表示部11に設定することができる。以下、経路領域、目標領域及び移動領域は、「判定領域」としてまとめて記載する場合がある。本実施形態において、領域設定部33で設定される判定領域は、原則として表示部11には表示されない。なお、例えば表示制御部31の制御により、判定領域が表示部11に表示されるようにしてもよい。
 判定部34は、領域設定部33によって判定領域が設定される期間に、注視点の位置データに基づいて、注視点が判定領域に存在するか否かをそれぞれ判定し、判定データを出力する。判定部34は、規定の判定周期毎に注視点が判定領域に存在するか否かを判定する。判定周期としては、例えば撮影装置21から出力されるフレーム同期信号の周期(例えば20[msec]毎)と同一の周期とすることができる。この場合、判定部34の判定周期は、注視点検出部32のサンプリング周期と同一である。
 演算部35は、判定部34の判定データに基づいて、上記の判定領域が設定される期間における注視点の移動の経過を示す注視点データを算出する。演算部35は、注視点データとして、例えば存在時間データ、移動回数データ、目標到達データ、最終領域データ、移動順序データを算出する。
 存在時間データは、判定領域に注視点が存在する時間を示すデータである。移動回数データは、複数の経路領域が設定され、複数の経路領域を移動する回数に正答が存在する場合、正答となる移動回数と実際の移動回数との差分を示すデータである。目標到達データは、目標対象物が設定される場合、経路に沿って目標対象物に到達したか否かを示すデータである。終点到達データは、複数の経路領域を移動する順序に正答が存在する場合、正答となる被験者の注視点が最終的に終点となる経路領域に到達したか否かを示すデータである。移動順序データは、複数の経路領域が設定され、複数の経路領域を移動する順序に正答が存在する場合、正答となる移動順序と実際の移動順序との一致度を示すデータである。
 演算部35は、表示部11に評価用映像が表示されてからの経過時間を検出するタイマと、判定部34により経路領域、目標領域及び移動領域に注視点が存在すると判定された判定回数をカウントするカウンタとを有する。また、演算部35は、評価用映像の再生時間を管理する管理タイマを有してもよい。
 評価部36は、注視点データに基づいて、被験者の評価データを求める。評価データは、表示部11に表示される特定対象物及び比較対象物を被験者が注視できているかを評価するデータを含む。
 入出力制御部37は、画像取得装置20及び入力装置50の少なくとも一方からのデータ(眼球EBの画像データ、入力データ等)を取得する。また、入出力制御部37は、表示装置10及び出力装置40の少なくとも一方にデータを出力する。入出力制御部37は、被験者に対する課題を音声出力装置等の出力装置40から出力してもよい。
 記憶部38は、上記の判定データ、注視点データ(存在時間データ、移動回数データ、目標到達データ、最終領域データ、移動順序データ)、及び評価データを記憶する。また、記憶部38は、被験者の眼球の画像データを取得する処理と、画像データに基づいて、被験者の注視点の位置データを検出する処理と、経路図に示される複数の経路から所定の条件に適合する適合経路に沿って注視点を移動させるように被験者に指示が行われる場合に、複数の経路を含む経路図を表示部に表示させる処理と、適合経路に対応する経路領域を表示部に設定する処理と、注視点の位置データに基づいて、被験者の視点が経路領域に存在するか否かを判定する処理と、判定結果に基づいて、被験者の評価データを求める処理とをコンピュータに実行させる評価プログラムを記憶する。
 [評価方法]
 次に、本実施形態に係る評価方法について説明する。本実施形態に係る評価方法では、上記の評価装置100を用いることにより、被験者の認知機能障害および脳機能障害を評価する。本実施形態では、評価用映像を用いて表示部11に経路図を表示し、経路図に示される複数の経路から所定の条件に適合する適合経路に沿って注視点を移動させるように被験者に指示し、被験者が指示に対応できているか否かを判定する。
 認知機能障害および脳機能障害の症状は、被験者の認知能力、注視点移動能力及び追視能力に影響することが知られている。被験者が認知機能障害および脳機能障害ではない場合、経路図及び指示が提示されると、課題を正確に把握することができる。また、適合経路を正確に推測し、推測した適合経路に沿って注視点を移動可能である。また、正しい経路に沿って移動する目標物が提示されると、目標物を追視可能である。
 一方、被験者が認知機能障害および脳機能障害である場合、経路図及び指示が提示されても、課題を正確に把握できない場合がある。また、適合経路を正確に推測できず、推測できた場合でも適合経路に沿って注視点を移動できない場合がある。また、正しい経路に沿って移動する目標物が提示されても、目標物を追視できないことがある。このため、例えば以下の手順を行うことにより、被験者を評価することが可能である。
 図3は、表示部11に表示する評価用映像のタイムテーブルの一例を示す図である。図3に示すように、評価用映像は、設問期間TAと、回答期間TBと、正答期間TCとを有する。設問期間TAは、被験者に対する課題を表示部11に表示する期間T1(時刻t0から時刻t1)と、課題に関連するマップ(経路図)を表示部11に表示する期間T2(時刻t1から時刻t2)とを含む。なお、マップの表示は、期間T2以降、回答期間TBが終了するまで行われる。回答期間TBは、被験者に対する指示を音声出力する期間T3(時刻t2から時刻t3)と、被験者に回答させる期間T4(時刻t3から時刻t4)とを含む。回答期間TBは、マップを表示部11に表示させた状態である。正答期間TCは、被験者に正答表示を行う旨を音声出力する期間T5(時刻t4から時刻t5)と、正答を表示部11に表示する期間T6(時刻t5から時刻t6)とを含む。
 図4は、表示部11に表示する指示の一例を示す図である。図4に示すように、表示制御部31は、設問期間TAにおいて、例えば被験者に対する指示情報I1を表示部11に所定期間表示する。本実施形態において、指示情報I1は、スーパーマーケット等の商店の店内図において、入り口から入って野菜を買う最短ルートを考えさせる指示である。なお、本実施形態では、指示情報I1を表示部11に表示する場合を例に挙げているが、これに限定されない。例えば入出力制御部37は、指示情報I1の表示に加えて、又は指示情報I1の表示に代えて、指示情報I1に対応する音声をスピーカから出力してもよい。
 図5は、表示部11に表示する経路図の一例を示す図である。図5に示すように、表示制御部31は、商店の店内図を経路図Mとして表示部11に表示する。経路図Mには、複数の経路Rが含まれる。また、経路図Mには、売り場を示す複数の目標対象物Sが含まれる。
 図6は、表示部11に設定される判定領域の一例を示す図である。図6では、表示部11に経路図Mが表示された場合を例に挙げて説明する。図6に示すように、領域設定部33は、経路Rを分割するように、それぞれ経路Rに対応する経路領域A01~A19を設定可能である。また、領域設定部33は、目標対象物Sに対応する目標領域B01~B09を設定可能である。領域設定部33は、例えば、それぞれ経路Rが示される領域に重なるように矩形の範囲に経路領域A01~A19を設定することができる。領域設定部33は、それぞれ目標対象物Sが示される領域に重なる形状となる範囲に目標領域B01~B09を設定することができる。本実施形態において、領域設定部33は、各経路領域A01~A19同士が重ならないように表示部11に設定する。また、領域設定部33は、経路領域A01~A19と、目標領域B01~B09とが重ならないように表示部11に設定する。
 領域設定部33は、経路Rについての経路領域A01~A19を設定した場合、各判定領域について、隣り合う位置に配置される隣接領域を検出し、検出した隣接領域についての情報を記憶部38に記憶させる。図6の例において、領域設定部33は、経路領域A01が経路領域A03と隣り合うことを検出する。また、領域設定部33は、経路領域A02が経路領域A03、A05、A06と隣り合うことを検出する。また、領域設定部33は、経路領域A03が経路領域A01、A02、A07と隣り合うことを検出する。以下同様に、領域設定部33は、経路領域A04~A19についても同様に隣り合う判定領域を検出し、各判定領域の隣り合う関係を記憶部38に記憶する。
 注視点検出部32は、経路図Mが表示される期間、つまり設問期間TAの期間T2と、回答期間TBの期間T3及び期間T4の各期間において、規定のサンプリング周期(例えば20[msec])毎に、被験者の注視点の位置データを検出する。判定部34は、注視点の位置データに基づいて、被験者の注視点が経路領域A01~A19及び目標領域B01~B09に存在するか否かの判定を行う。判定部34は、上記のサンプリング周期と同一の判定周期毎に判定データを出力する。
 図7は、表示部11に表示される正答情報の一例を示す図である。図7に示すように、表示制御部31は、正答期間TCにおいて、移動対象物Qが入口(始点)から出口(終点)まで適合経路Raに沿って移動する様子を表示部11に表示する。領域設定部33は、移動対象物Qに対応する範囲に移動領域Cを設定する。領域設定部33は、移動対象物Qの移動に伴って移動領域Cが移動させるようにする。
 注視点検出部32は、正答情報が表示される期間において、規定のサンプリング周期(例えば20[msec])毎に、被験者の注視点の位置データを検出する。判定部34は、注視点の位置データに基づいて、被験者の注視点が移動領域Cに存在するか否かの判定を行う。判定部34は、上記のサンプリング周期と同一の判定周期毎に判定データを出力する。
 演算部35は、判定データに基づいて、設問期間TA、回答期間TB及び正答期間TCの各期間における被験者の注視点の移動の経過を示す注視点データを算出する。設問期間TAにおける注視点データを算出する際、演算部35は、経路領域A01~A19及び目標領域B01~B09に注視点が存在する時間、つまり存在時間データを算出する。演算部35は、目標領域B01~B09において注視点が検出されるごとに目標カウンタのカウント値を+1とする。演算部35は、目標カウンタのカウント値CNT1を目標領域B01~B09についての存在時間データとして求める。演算部35は、経路領域A01~A19において注視点が検出されるごとに経路カウンタのカウント値を+1とする。演算部35は、経路カウンタのカウント値CNT2を経路領域A01~A19についての存在時間データとして求める。
 また、回答期間TBにおける注視点データを算出する際、演算部35は、判定部34の判定データに基づいて、注視点データとして、移動回数データ、目標到達データ、最終領域データ、移動順序データを算出する。
 各注視点データを算出する際、演算部35は、判定部34により注視点が経路領域A01~A19内に存在すると判定された場合、その注視点が存在する経路領域を当該領域として算出する。また、演算部35は、注視点が1つの経路領域に連続して存在する期間を連続カウンタでカウントし、カウント値GPCNTを求める。演算部35は、カウント値GPCNTが10に到達した場合、つまり、当該領域が10回連続で同一の経路領域であった場合、被験者が1つの経路領域を注視していたものして、その経路領域を注視領域として算出する。なお、演算部35は、注視領域を算出した場合、算出した注視領域を通過履歴として記憶部38に記憶する。記憶部38には、注視領域として算出された経路領域が、算出された順序で通過履歴として記憶される。
 また、演算部35は、一の注視領域が算出された後に、その注視領域に隣接する経路領域が当該領域として算出された場合、被験者の注視点が一の経路領域から隣接する経路領域に移動したと判定する。演算部35は、注視点が隣接する経路領域に移動した回数を移動カウンタでカウントし、カウント値MVCNTを求める。
 図4から図7に示す例において、適合経路Raを経路領域A01~A19に対応して記載すると、経路領域A01→A03→A04→A08(目標領域B04)→A11→A14→A17→A18→A19となる。
 この場合、経路領域A01~A19の移動に関して正答となる移動回数は8回である。したがって、演算部35は、実際の移動回数であるカウント値MVCNTと、正答である8回との差分DIFを移動回数データとして算出される。
 また、演算部35は、記憶部38に記憶された通過履歴に基づいて、被験者の注視点が目標領域B04に対応する経路領域A08に到達しているか否かを判定する。演算部35は、被験者の注視点が経路領域A08に到達している場合には、例えば目標到達データの値GOALを1(又は定数)とし、被験者の注視点が経路領域A08に到達していない場合には、例えば目標到達データの値GOALを0とすることができる。
 また、適合経路Raの終点として正答となる経路領域は、経路領域A19となる。したがって、演算部35は、記憶部38に記憶された通過履歴に基づいて、被験者の注視点が最終的に到達した経路領域が経路領域A19であるか否かを判定し、判定結果に基づいて最終領域データを算出する。演算部35は、被験者の注視点が最終的に到達した経路領域が経路領域A19である場合には、例えば最終領域データの値REGIを1とし、被験者の注視点が最終的に到達した経路領域が経路領域A19ではない場合には、例えば最終領域データの値REGIを0とすることができる。
 また、演算部35は、記憶部38に記憶された通過履歴に基づいて、被験者の注視点が実際に経路領域A01~A19を移動した順序と、適合経路Raにおける上記順序とを比較し、一致しているか否かを判定する。演算部35は、実際の順序が適合経路Raの順序と一致している場合には移動順序データの値ODRを1とし、実際の順序が適合経路Raの順序と一致していない場合には移動順序データの値ODRを0とすることができる。また、適合経路Raを最短経路とした評価に限定されず、例えば最短経路とは異なる経路であっても指示情報I1に適合する経路であれば、移動順序データの値ODFを0より大きい値としてもよい。
 また、正答期間TCにおける注視点データを算出する際、演算部35は、判定部34の判定データに基づいて、移動領域Cに注視点が存在する時間、つまり存在時間データを算出する。演算部35は、移動領域Cにおいて注視点が検出されるごとに移動カウンタのカウント値を+1とする。演算部35は、移動カウンタのカウント値CNT3を移動領域Cについての存在時間データとして求める。
 評価部36は、存在時間データ、移動回数データ、目標到達データ、最終領域データ、移動順序データに基づいて評価値を求め、評価値に基づいて評価データを求める。本実施形態において、評価部36は、例えば、以下のように評価値ANS1を求めることができる。つまり、
 ANS1=K1・CNT1+K2・CNT2+K3・CNT3+K4・
      DIF+K5・GOAL+K6・REGI+K7・ODR
 とすることができる。なお、定数K1~K7は、重み付けのための定数である。例えば定数K1~K3>0、K4<0、K5~K7>0とすることができる。
 ここで、設問期間TA及び正答期間TCにおける存在時間データの値が高く、回答期間TBにおいて移動回数データの値が低く、目標到達データ、最終領域データ、移動順序データの各値が高い場合、ANS1が高くなる。この場合、被験者は、設問期間TAにおいては経路R及び目標対象物Sを注視しており、正答期間TCにおいては移動対象物Qを追視していることになる。また、被験者は、回答期間TBにおいては適合経路Raに沿って注視点を移動させていることになる。したがって、評価値ANS1が高い場合、被験者が認知機能障害および脳機能障害である可能性は低いと評価することができる。
 一方、設問期間TA及び正答期間TCにおける存在時間データの値が低く、回答期間TBにおいて移動回数データの値が高く、目標到達データ、最終領域データ、移動順序データの各値が低い場合、ANS1が低くなる。この場合、被験者は、設問期間TAにおいては経路R及び目標対象物Sを十分に注視しておらず、正答期間TCにおいては移動対象物Qを十分に追視していないことになる。また、被験者は、回答期間TBにおいては適合経路Raに沿って注視点を移動させていないことになる。したがって、評価値ANS1が低い場合、被験者が認知機能障害および脳機能障害である可能性は高いと評価することができる。
 また、評価部36は、評価値ANSの値を記憶部38に記憶させておくことができる。例えば、同一の被験者についての評価値ANSを累積的に記憶し、過去の評価値と比較した場合の評価を行ってもよい。例えば、評価値ANSが過去の評価値よりも高い値となった場合、脳機能が前回の評価に比べて改善されている旨の評価を行うことができる。また、評価値ANSの累積値が徐々に高くなっている場合等には、脳機能が徐々に改善されている旨の評価を行うことができる。
 本実施形態において、入出力制御部37は、評価部36が評価データを出力した場合、評価データに応じて、例えば「被験者は認知機能障害および脳機能障害である可能性が低いと思われます」の文字データや、「被験者は認知機能障害および脳機能障害である可能性が高いと思われます」の文字データ等を出力装置40に出力させることができる。また、入出力制御部37は、同一の被験者についての評価値ANSが過去の評価値ANSに比べて高くなっている場合、「脳機能が改善されています」等の文字データ等を出力装置40に出力させることができる。
 なお、上記設問において経由する目標対象物の数が多くなるほど、難易度が高くなる。このため、上記の評価部36の評価においては、経由する目標対象物の数が多くなるほど、評価値ANS1の値を高くすることが望ましい。これにより、適合対象物の数に応じた評価が可能となる。また、評価部36は、適合対象物の数に応じて、例えば、以下のように評価値ANS1aを求めることができる。つまり、
 ANS1a=j(K1・CNT1+K2・CNT2+K3・CNT3+K
       4・DIF+K5・GOAL+K6・REGI+K7・OD
       R)
 とすることができる。なお、jは1より大きい定数であり、適合対象物の数が多いほど、大きい値とする。
 次に、本実施形態に係る評価方法の一例について、図8から図11を参照しながら説明する。図8は、本実施形態に係る評価方法の一例を示すフローチャートである。以下の例では、評価用映像を再生する場合を例に挙げて説明する。
 表示制御部31は、評価用映像の再生を開始させる(ステップS101)。表示装置10の表示部11には、図4、図5、図6、図7に示す評価用映像が順に表示される。演算部35は、評価用映像の再生時間を管理するタイマをリセットする(ステップS102)。より詳しくは、演算部35は、評価用映像の再生時間を管理する管理タイマと、図3に示すタイムチャートにおける時間範囲T1~時間範囲T6のうち現在再生されている評価用映像がどの期間に属するかを検出する検出タイマとをリセットして、それぞれ計測を開始させる。
 演算部35は、上記のカウント値CNT1、CNT2、CNT3、GPCTN、MVCTN、DIF、GOAL、REGI、及びODRのデータをそれぞれ0にリセットし、当該領域及び注視領域の設定をリセットする(ステップS103)。
 注視点検出部32は、表示装置10の表示部11に表示された評価用映像を被験者に見せた状態で、規定のサンプリング周期(例えば20[msec])毎に、表示装置10の表示部11における被験者の注視点の位置データを検出する(ステップS104)。
 演算部35は、瞬きなどにより注視点を検出できない場合を考量して、注視点の検出に失敗したか否かを判定する(ステップS105)。演算部35は、注視点の検出に失敗したと判定する場合(ステップS105でYes)、ステップS112に進む。演算部35は、注視点の検出に失敗していないと判定する場合(ステップS105でNo)、ステップS106に進む。
 注視点の検出に失敗していないと判定する場合(ステップS105でNo)、演算部35は、設問期間TAであるか否かを判定する(ステップS106)。より詳しくは、演算部35は、検出タイマの検出結果により、時間範囲T1~T2であるか否かの判定を行う。演算部35は、検出タイマの検出結果が時間範囲T1からT2までの範囲に該当すると判断する場合(ステップS106のYes)、後述する設問処理を行う(ステップS107)。設問処理が行われた後、ステップS112に進む。
 演算部35は、検出タイマの検出結果が時間範囲T1からT2までの範囲に該当しないと判断する場合(ステップS106のNo)、回答期間TBであるか否かを判定する(ステップS108)。より詳しくは、演算部35は、検出タイマの検出結果により、時間範囲T3~T4であるか否かの判定を行う。演算部35は、検出タイマの検出結果が時間範囲T3からT4までの範囲に該当すると判断する場合(ステップS108のYes)、後述する回答処理を行う(ステップS109)。回答処理が行われた後、ステップS112に進む。
 演算部35は、検出タイマの検出結果が時間範囲T3からT4までの範囲に該当しないと判断する場合(ステップS108のNo)、正答期間TCであるか否かを判定する(ステップS110)。より詳しくは、演算部35は、検出タイマの検出結果により、時間範囲T5~T6であるか否かの判定を行う。演算部35は、検出タイマの検出結果が時間範囲T5からT6までの範囲に該当すると判断する場合(ステップS110のYes)、後述する正答処理を行う(ステップS111)。正答処理が行われた後、ステップS112に進む。
 演算部35は、検出タイマの検出結果が時間範囲T5からT6までの範囲に該当しないと判断する場合(ステップS110のNo)、上記の設問処理、回答処理、正答処理が行われた場合、管理タイマの検出結果に基づいて、評価用映像の再生が完了する時刻に到達したか否かを判断する(ステップS112)。演算部35により評価用映像の再生が完了する時刻に到達していないと判断された場合(ステップS112のNo)、上記のステップS104以降の処理を繰り返し行う。
 演算部35により評価用映像の再生が完了する時刻に到達したと判断された場合(ステップS112のYes)、表示制御部31は、評価用映像の再生を停止させる(ステップS113)。評価部36は、上記の処理結果から得られる注視点データに基づいて、評価値ANS1を算出する(ステップS114)。入出力制御部37は、評価部36で求められた評価データを出力する(ステップS115)。以上で処理が終了する。
 図9は、設問処理の一例を示すフローチャートである。図9に示すように、設問処理において、演算部35は、検出タイマの検出結果により、時間範囲T2であるか否かの判定を行う(ステップS201)。演算部35は、検出タイマの検出結果が、時間範囲T2ではないと判定する場合(ステップS201のNo)、処理を終了する。
 検出タイマの検出結果が、時間範囲T2であると判定された場合(ステップS201のYes)、領域設定部33は、被検者が見るべき領域を注視しているかを確認するため、判定領域として、経路領域A01~A19及び目標領域B01~B09とを設定する(ステップS202)。
 判定部34は、被験者の注視点が目標領域B01~B09に存在するか否かを判定する(ステップS203)。判定部34により被験者の注視点が目標領域B01~B09に存在すると判定された場合(ステップS203のYes)、演算部35は、カウント値CNT1を+1とする(ステップS204)。
 判定部34は、被験者の注視点が目標領域B01~B09に存在しないと判定する場合(ステップS203のNo)、被験者の注視点が経路領域A01~A19に存在するか否かを判定する(ステップS205)。判定部34により被験者の注視点が目標領域B01~B09に存在すると判定された場合(ステップS205のYes)、演算部35は、カウント値CNT2を+1とする(ステップS206)。
 判定部34により被験者の注視点が経路領域A01~A19に存在しないと判定された場合(ステップS205のNo)、又は、ステップS204、ステップS206の処理が行われた場合、設問処理を終了する。
 図10は、回答処理の一例を示すフローチャートである。図10に示すように、回答処理において、演算部35は、検出タイマの検出結果により、時間範囲T4であるか否かの判定を行う(ステップS301)。演算部35は、検出タイマの検出結果が、時間範囲T4ではないと判定する場合(ステップS301のNo)、回答処理を終了する。
 検出タイマの検出結果が、時間範囲T4であると判定された場合(ステップS301のYes)、領域設定部33は、被検者が見るべき領域を注視しているかを確認するため、判定領域として、経路領域A01~A19を設定する(ステップS302)。
 判定部34は、被験者の注視点が経路領域A01~A19に存在するか否かを判定する(ステップS303)。判定部34により被験者の注視点が経路領域A01~A19に存在すると判定されない場合(ステップS303)、回答処理を終了する。
 判定部34により被験者の注視点が経路領域A01~A19に存在すると判定された場合(ステップS303のYes)、演算部35は、注視点が直前の測定における経路領域の外に存在するか否かを判定する(ステップS304)。演算部35は、注視点が直前の測定における経路領域の外に存在すると判定した場合(ステップS304のYes)、経路カウンタのカウント値GPCNTをリセットし(ステップS305)、注視点が検出された経路領域を当該領域として設定する(ステップS306)。
 判定部34により被験者の注視点が経路領域A01~A19に存在しないと判定された場合(ステップS303のNo)、又は、ステップS306が行われた場合、演算部35は、当該領域が直近の注視領域に隣接するか否かを判定する(ステップS307)。演算部35は、当該領域が直近の注視領域に隣接しないと判定した場合(ステップS307のNo)、回答処理を終了する。
 演算部35は、当該領域が直近の注視領域に隣接すると判定した場合(ステップS307のYes)、経路カウンタのカウント値GPCNTを+1とする(ステップS308)。演算部35は、カウント値GPCNTが10に到達したか否かを判定する(ステップS309)。演算部35は、カウント値GPCNTが10に到達しないと判定した場合(ステップS309のNo)、回答処理を終了する。
 演算部35は、カウント値GPCNTが10に到達したと判定した場合(ステップS309のYes)、当該領域を新たな注視領域として設定又は更新し、移動カウンタのカウント値MVCNTを+1とし、新たな注視領域(当該領域)を通過履歴として記憶部38に記憶する(ステップS310)。その後、演算部35は、経路カウンタのカウント値GPCNTをリセットして(ステップS311)、回答処理を終了する。
 図11は、正答処理の一例を示すフローチャートである。図11に示すように、正答処理において、演算部35は、検出タイマの検出結果により、時間範囲T6であるか否かの判定を行う(ステップS401)。演算部35は、検出タイマの検出結果が、時間範囲T6ではないと判定する場合(ステップS401のNo)、処理を終了する。
 検出タイマの検出結果が、時間範囲T6であると判定された場合(ステップS401のYes)、領域設定部33は、被検者が見るべき領域を注視しているかを確認するため、判定領域として、移動領域Cを設定する(ステップS402)。
 判定部34は、被験者の注視点が移動領域Cに存在するか否かを判定する(ステップS403)。判定部34により被験者の注視点が移動領域Cに存在すると判定された場合(ステップS403のYes)、演算部35は、カウント値CNT3を+1とする(ステップS404)。
 判定部34により被験者の注視点が移動領域Cに存在しないと判定された場合(ステップS403のNo)、又は、ステップS404の処理が行われた場合、正答処理を終了する。
 以上のように、本実施形態に係る評価装置100は、被験者の眼球の画像データを取得する画像取得装置20と、画像データに基づいて、被験者の注視点の位置データを検出する注視点検出部32と、経路図Mに示される複数の経路Rから所定の条件に適合する適合経路Raに沿って注視点を移動させるように被験者に指示が行われる場合に、複数の経路Rを含む経路図Mを表示部11に表示させる表示制御部31と、適合経路Raに対応する経路領域を表示部11に設定する領域設定部33と、注視点の位置データに基づいて、被験者の視点が経路領域に存在するか否かを判定する判定部34と、判定部34の判定結果に基づいて、被験者の評価データを求める評価部36とを備える。
 本実施形態に係る評価方法は、被験者の眼球の画像データを取得することと、画像データに基づいて、被験者の注視点の位置データを検出することと、経路図Mに示される複数の経路Rから所定の条件に適合する適合経路Raに沿って注視点を移動させるように被験者に指示が行われる場合、複数の経路Rを含む経路図Mを表示部11に表示させることと、適合経路Raに対応する経路領域を表示部11に設定することと、注視点の位置データに基づいて、被験者の視点が経路領域に存在するか否かを判定することと、判定結果に基づいて、被験者の評価データを求めることとを含む。
 本実施形態に係る評価プログラムは、被験者の眼球の画像データを取得する処理と、画像データに基づいて、被験者の注視点の位置データを検出する処理と、経路図Mに示される複数の経路Rから所定の条件に適合する適合経路Raに沿って注視点を移動させるように被験者に指示が行われる場合に、複数の経路Rを含む経路図Mを表示部11に表示させる処理と、適合経路Raに対応する経路領域を表示部11に設定する処理と、注視点の位置データに基づいて、被験者の視点が経路領域に存在するか否かを判定する処理と、判定結果に基づいて、被験者の評価データを求める処理とをコンピュータに実行させる。
 本実施形態によれば、経路図Mに示される複数の経路Rから所定の条件に適合する適合経路Raに沿って注視点を移動させるように被験者に指示が行われる場合に、注視点データに基づいて被験者の評価データを求められる。このため、評価装置100は、被験者の視線の動きにより、被験者の認知能力及び注視点移動能力等の能力を評価することができる。これにより、評価装置100は、被験者の評価を高精度に行うことが可能となる。
 本実施形態に係る評価装置100において、表示制御部31は、経路図Mにおいて複数の経路Rに沿って配置される複数の目標対象物Sのうち特定の目標対象物である特定対象物Saを経由する適合経路Raに沿って注視点を移動させるように被験者に指示が行われる場合に、複数の目標対象物Sを含む経路図Mを表示し、領域設定部33は、目標対象物Sに対応する目標領域B01~B09を表示部11に設定し、判定部34は、注視点の位置データに基づいて、被験者の視点が目標領域B01~B09に存在するか否かを判定する。これにより、評価装置100は、被験者の評価をより高精度に行うことが可能となる。
 本実施形態に係る評価装置100において、適合経路Raは、複数の経路Rのうち最短の経路を含む。これにより、被験者が複数の経路Rのうち最短の経路に沿って注視点を移動させた場合に相応の評価を行うことができる。よって、評価装置100は、被験者の評価をより高精度に行うことが可能となる。
 [第2実施形態]
 次に、第2実施形態を説明する。第2実施形態に係る評価装置は、第1実施形態に係る構成と同様の構成を有する。このため、第2実施形態に係る評価装置は、第1実施形態に係る評価装置100と同一の構成要素には同一の符号を付し、説明を省略又は簡略化する。第2実施形態に係る評価装置100は、コンピュータシステム30における処理の内容が第1実施形態とは異なっている。以下、第1実施形態と相違する点を中心に説明する。
 第1実施形態と同様に、コンピュータシステム30は、表示制御部31と、注視点検出部32と、領域設定部33と、判定部34と、演算部35と、評価部36と、入出力制御部37と、記憶部38とを有する。
 表示制御部31は、事物についての異なる分類を示す複数の対象物を表示部に表示させる。表示制御部31は、例えば、事物についての異なる分類を示す複数の対象物から所定の条件に適合する適合対象物を注視するように被験者に指示が行われる場合、その指示に応じて複数の対象物を表示部11に表示させる。
 表示制御部31は、上記の被験者に対する各指示を示す指示情報を表示部11に表示させることができる。この場合、表示制御部31は、例えば指示情報を表示部11に所定期間表示させた後、経路図を表示部11に表示させることができる。なお、上記の被験者に対する指示情報は、表示部11に表示される態様に限られず、例えば予め被験者に指示しておいてもよいし、音声により被験者に指示する態様でもよいし、表示部11とは別の場所に提示する態様でもよい。
 表示制御部31は、経路図を表示部11に表示させた後、指示に対して正答を示す正答情報を表示部11に表示することができる。表示制御部31は、正答情報として、例えば所定の条件に適合する適合対象物を他の対象物とは異なる態様で表示部11に表示させることができる。
 注視点検出部32は、被験者の注視点の位置データを検出する。本実施形態において、注視点検出部32は、画像取得装置20によって取得される被験者の左右の眼球EBの画像データに基づいて、三次元グローバル座標系で規定される被験者の視線ベクトルを検出する。注視点検出部32は、検出した被験者の視線ベクトルと表示装置10の表示部11との交点の位置データを、被験者の注視点の位置データとして検出する。つまり、本実施形態において、注視点の位置データは、三次元グローバル座標系で規定される被験者の視線ベクトルと、表示装置10の表示部11との交点の位置データである。本実施形態において、注視点は、被験者に注視されることで指定される表示部11上の指定点である。注視点検出部32は、規定のサンプリング周期毎に被験者の注視点の位置データを検出する。このサンプリング周期は、例えば撮影装置21から出力されるフレーム同期信号の周期(例えば20[msec]毎)とすることができる。
 領域設定部33は、表示部11において、適合対象物に対応した判定領域を表示部11に設定する。適合対象物が複数設定される場合、領域設定部33は、複数の適合対象物のそれぞれに判定領域を設定する。本実施形態において、領域設定部33で設定される判定領域は、原則として表示部11には表示されない。なお、例えば表示制御部31の制御により、判定領域が表示部11に表示されるようにしてもよい。
 判定部34は、領域設定部33によって判定領域が設定される期間に、注視点の位置データに基づいて、注視点が判定領域に存在するか否かをそれぞれ判定し、判定データを出力する。判定部34は、規定の判定周期毎に注視点が判定領域に存在するか否かを判定する。判定周期としては、例えば撮影装置21から出力されるフレーム同期信号の周期(例えば20[msec]毎)と同一の周期とすることができる。この場合、判定部34の判定周期は、注視点検出部32のサンプリング周期と同一である。
 演算部35は、判定部34の判定データに基づいて、上記の判定領域が設定される期間における注視点の移動の経過を示す注視点データを算出する。演算部35は、注視点データとして、例えば存在時間データを算出する。
 存在時間データは、判定領域に注視点が存在する時間を示すデータである。演算部35は、表示部11に評価用映像が表示されてからの経過時間を検出するタイマと、判定部34により判定領域に注視点が存在すると判定された判定回数をカウントするカウンタとを有する。また、演算部35は、評価用映像の再生時間を管理する管理タイマを有してもよい。
 評価部36は、注視点データに基づいて、被験者の評価データを求める。評価データは、表示部11に表示される特定対象物及び比較対象物を被験者が注視できているかを評価するデータを含む。
 入出力制御部37は、画像取得装置20及び入力装置50の少なくとも一方からのデータ(眼球EBの画像データ、入力データ等)を取得する。また、入出力制御部37は、表示装置10及び出力装置40の少なくとも一方にデータを出力する。入出力制御部37は、被験者に対する課題を音声出力装置等の出力装置40から出力してもよい。
 記憶部38は、上記の判定データ、注視点データ(存在時間データ)、及び評価データを記憶する。また、記憶部38は、被験者の眼球の画像データを取得する処理と、画像データに基づいて、被験者の注視点の位置データを検出する処理と、事物についての異なる分類を示す複数の対象物Uから所定の条件に適合する適合対象物U1、U2を注視するように被験者に指示が行われる場合、複数の対象物Uを表示部11に表示させる処理と、複数の対象物Uのうち被験者に提示される指示に適合した適合対象物U1、U2に対応する判定領域D1、D2を表示部11に設定する処理と、注視点の位置データに基づいて、被験者の視点が判定領域D1、D2に存在するか否かを判定する処理と、判定結果に基づいて、被験者の評価データを求める処理とをコンピュータに実行させる評価プログラムを記憶する。
 [評価方法]
 次に、本実施形態に係る評価方法について説明する。本実施形態に係る評価方法では、上記の評価装置100を用いることにより、被験者の認知機能障害および脳機能障害を評価する。本実施形態では、評価用映像を用いて表示部11に事物についての異なる分類を示す複数の対象物を表示し、複数の対象物から所定の条件に適合する適合対象物を注視するように被験者に指示し、被験者が指示に対応できているか否かを判定する。
 認知機能障害および脳機能障害の症状は、被験者の認知能力、記憶力、及び分析力に影響することが知られている。被験者が認知機能障害および脳機能障害ではない場合、複数の対象物及び指示が提示されると、課題を正確に把握することができる。また、指示に適合する対象物について記憶の中の情報に基づいて正確に分析し、適合対象物を注視することが可能である。
 一方、被験者が認知機能障害および脳機能障害ではある場合、複数の対象物及び指示が提示されても、課題を正確に把握することができないことがある。また、指示に適合する対象物について記憶の中の情報に基づいて正確に分析することができない場合がある。このため、例えば以下の手順を行うことにより、被験者を評価することが可能である。
 図12は、事物についての分類の例として、スーパーマーケット等の商店で販売される商品の分類を示す図である。なお、事物についての分類は、商品の分類に限定されず、他の分類であってもよい。図12に示すように、商品の分類が大分類及び中分類に区別されている。大分類は、例えば果物、精肉、総菜、野菜、冷凍食品、調味料、魚、乳製品、パン、菓子、といった商品の種類に基づいた分類となっている。また、中分類は、大分類の各種類についての具体的な例に基づいた分類となっている。例えば、果物の中分類としては、リンゴ、ミカン、イチゴ等が挙げられる。精肉の中分類としては、豚肉、牛肉等が挙げられる。惣菜の中分類としては、揚げ物、煮物等が挙げられる。野菜の中分類としては、大根、ニンジン、キャベツ等が挙げられる。冷凍食品の中分類としては、冷凍餃子等が挙げられる。調味料の中分類としては、塩、コショウ、砂糖等が挙げられる。魚の中分類としては、刺身、干物等が挙げられる。乳製品の中分類としては、ヨーグルト、牛乳等が挙げられる。パンの中分類としては、サンドイッチ、食パン等が挙げられる。歌詞の中分類としては、チョコレート、飴、ガム等が挙げられる。大分類、中分類の例としては、上記に限定されない。なお、中分類をさらに具体化した小分類、というように、分類が3段階以上の複数段階に設定されてもよい。
 図13は、表示部11に表示する評価用映像のタイムテーブルの一例を示す図である。図13に示すように、評価用映像は、設問期間TDと、回答期間TEと、正答期間TFとを有する。設問期間TDは、被験者に対する課題を表示部11に表示する期間T11(時刻t10から時刻t11)と、課題に関連する複数の対象物を表示部11に表示する期間T12(時刻t11から時刻t12)とを含む。なお、複数の対象物の表示は、期間T12以降、回答期間TEが終了するまで行われる。回答期間TEは、被験者に対する指示を音声出力する期間T13(時刻t12から時刻t13)と、被験者に回答させる期間T14(時刻t13から時刻t14)とを含む。回答期間TEは、複数の対象物を表示部11に表示させた状態である。正答期間TFは、被験者に正答表示を行う旨を音声出力する期間T15(時刻t14から時刻t15)と、正答を表示部11に表示する期間T16(時刻t15から時刻t16)とを含む。
 図14は、表示部11に表示する課題の一例を示す図である。図14に示すように、表示制御部31は、設問期間TDにおいて、例えば被験者に対する指示情報I2を表示部11に所定期間表示する。本実施形態において、指示情報I2は、スーパーマーケット等の商店の店内図において、果物と冷凍食品の売り場を注視するように指示する。なお、本実施形態では、指示情報I2を表示部11に表示する場合を例に挙げているが、これに限定されない。例えば入出力制御部37は、指示情報I2の表示に加えて、又は指示情報I2の表示に代えて、指示情報I2に対応する音声をスピーカから出力してもよい。領域設定部33は、指示情報I2を表示する場合、指示情報I2に対応する判定領域Eを設定可能である。領域設定部33は、例えば、指示情報I2が表示される領域に重なる形状となる範囲に判定領域Eを設定することができる。
 図15は、表示部11に表示する店内図の一例を示す図である。図15に示すように、表示制御部31は、商店の店内図Nを表示部11に表示する。店内図Nには、複数の対象物Uが含まれる。対象物Uは、商品の分類のうち、大分類を示す内容が記載される。図15に示す例において、指示情報I2に適合する適合対象物は、果物を示す適合対象物U1及び冷凍食材を示す適合対象物U2である。
 領域設定部33は、適合対象物U1、U2に対応する判定領域D1、D2を設定可能である。領域設定部33は、例えば、適合対象物U1、U2が示される領域に重なる形状となる範囲に判定領域D1、D2を設定することができる。本実施形態において、領域設定部33は、判定領域D1、D2が重ならないように表示部11に設定する。
 注視点検出部32は、店内図Nが表示される期間、つまり設問期間TDの期間T12と、回答期間TEの期間T13及び期間T14の各期間において、規定のサンプリング周期(例えば20[msec])毎に、被験者の注視点の位置データを検出する。判定部34は、注視点の位置データに基づいて、被験者の注視点が判定領域D1、D2に存在するか否かの判定を行う。判定部34は、上記のサンプリング周期と同一の判定周期毎に判定データを出力する。
 図16は、表示部11に表示される正答情報の一例を示す図である。図16に示すように、表示制御部31は、正答期間TFにおいて、適合対象物U1、U2を他の対象物Uとは異なる態様で表示部11に表示する。図16に示す例では、適合対象物U1、U2を区画する線が他の対象物Uを区画する線に比べて太い状態で表示されている。なお、適合対象物U1、U2と他の対象物Uとを異なる態様で表示する例としては、これに限定されない。この場合、領域設定部33は、回答期間TEと同様、適合対象物U1、U2に対応する判定領域D1、D2を設定する。
 注視点検出部32は、正答情報が表示される期間において、規定のサンプリング周期(例えば20[msec])毎に、被験者の注視点の位置データを検出する。判定部34は、注視点の位置データに基づいて、被験者の注視点が判定領域D1、D2に存在するか否かの判定を行う。判定部34は、上記のサンプリング周期と同一の判定周期毎に判定データを出力する。
 演算部35は、判定データに基づいて、設問期間TD、回答期間TE及び正答期間TFの各期間における被験者の注視点の移動の経過を示す注視点データを算出する。注視点データを算出する際、演算部35は、判定領域Eに注視点が存在する時間、及び判定領域D1、D2に注視点が存在する時間を存在時間データとして算出する。演算部35は、設問期間TDでは、判定領域Eにおいて注視点が検出されるごとに設問カウンタのカウント値CNT4を+1とする。演算部35は、回答期間TEでは、判定領域D1、D2において注視点が検出されるごとに回答カウンタのカウント値CNT5を+1とする。演算部35は、正答期間TFでは、判定領域D1、D2において注視点が検出されるごとに正答カウンタのカウント値CNT6を+1とする。演算部35は、設問カウンタのカウント値CNT4、回答カウンタのカウント値CNT5、正答カウンタのカウント値CNT6を存在時間データとして求める。
 評価部36は、各期間における存在時間データに基づいて評価値を求め、評価値に基づいて評価データを求める。本実施形態において、評価部36は、例えば、以下のように評価値ANS2を求めることができる。つまり、
 ANS2=K8・CNT4+K9・CNT5+K10・CNT6
 とすることができる。なお、定数K8~K10は、重み付けのための定数である。例えば定数K8~K10>0とすることができる。
 ここで、設問期間TD、回答期間TE及び正答期間TFにおいて、存在時間データ(カウント値CNT4、CNT5、CNT6)の値が高い場合、ANS2が高くなる。この場合、被験者は、設問期間TDにおいて指示情報I2を注視しており、回答期間TE及び正答期間TFにおいて適合対象物U1、U2を注視していることになる。したがって、評価値ANS2が高い場合、被験者が認知機能障害および脳機能障害である可能性は低いと評価することができる。
 一方、設問期間TD、回答期間TE及び正答期間TFにおいて、存在時間データ(カウント値CNT4、CNT5、CNT6)の値が低い場合、ANS2が低くなる。この場合、被験者は、設問期間TDにおいて指示情報I2を十分に注視しておらず、回答期間TE及び正答期間TFにおいて適合対象物Uを十分に注視していないことになる。したがって、評価値ANS2が低い場合、被験者が認知機能障害および脳機能障害である可能性は高いと評価することができる。
 なお、上記設問において適合対象物の数が多くなるほど、難易度が高くなる。このため、上記の評価部36の評価においては、適合対象物の数が多くなるほど、評価値ANS2の値を高くすることが望ましい。これにより、適合対象物の数に応じた評価が可能となる。また、評価部36は、適合対象物の数に応じて、例えば、以下のように評価値ANS2aを求めることができる。つまり、
 ANS2a=h・(K8・CNT4+K9・CNT5+K10・CNT6
       )
 とすることができる。なお、hは1より大きい定数であり、適合対象物の数が多いほど、大きい値とする。
 次に、本実施形態に係る評価方法の一例について、図17及び図18を参照しながら説明する。図17は、本実施形態に係る評価方法の一例を示すフローチャートである。以下の例では、評価用映像を再生する場合を例に挙げて説明する。
 表示制御部31は、評価用映像の再生を開始させる(ステップS501)。表示装置10の表示部11には、図14、図15、図16に示す評価用映像が順に表示される。演算部35は、評価用映像の再生時間を管理するタイマをリセットする(ステップS502)。演算部35は、上記のカウント値CNT4、CNT5、CNT6をそれぞれ0にリセットする(ステップS503)。
 注視点検出部32は、表示装置10の表示部11における被験者の注視点の位置データを検出する(ステップS504)。演算部35は、注視点の検出に失敗したか否かを判定する(ステップS505)。演算部35は、注視点の検出に失敗したと判定する場合(ステップS505でYes)、ステップS512に進む。演算部35は、注視点の検出に失敗していないと判定する場合(ステップS505でNo)、ステップS506に進む。
 注視点の検出に失敗していないと判定する場合(ステップS505でNo)、演算部35は、設問期間TDであるか否かを判定する(ステップS506)。演算部35は、設問期間TDであると判断する場合(ステップS506のYes)、後述する設問処理を行う(ステップS507)。設問処理が行われた後、ステップS512に進む。
 演算部35は、設問期間TDではないと判断する場合(ステップS506のNo)、回答期間TEであるか否かを判定する(ステップS508)。演算部35は、回答期間TEであると判断する場合(ステップS508のYes)、後述する回答処理を行う(ステップS509)。回答処理が行われた後、ステップS512に進む。
 演算部35は、回答期間TEではないと判断する場合(ステップS508のNo)、正答期間TFであるか否かを判定する(ステップS510)。演算部35は、正答期間TFであると判断する場合(ステップS510のYes)、後述する回答処理を行う(ステップS511)。正答処理が行われた後、ステップS512に進む。
 演算部35は、正答期間TFではないと判断する場合(ステップS510のNo)、上記の設問処理、回答処理、正答処理が行われた場合、管理タイマの検出結果に基づいて、評価用映像の再生が完了する時刻に到達したか否かを判断する(ステップS512)。演算部35により評価用映像の再生が完了する時刻に到達していないと判断された場合(ステップS512のNo)、上記のステップS504以降の処理を繰り返し行う。
 演算部35により評価用映像の再生が完了する時刻に到達したと判断された場合(ステップS512のYes)、表示制御部31は、評価用映像の再生を停止させる(ステップS513)。評価部36は、上記の処理結果から得られる注視点データに基づいて、評価値ANS2(又はANS2a)を算出する(ステップS514)。入出力制御部37は、評価部36で求められた評価データを出力する(ステップS515)。以上で処理が終了する。
 図18は、設問処理、回答処理及び正答処理の一例を示すフローチャートである。図18に示すように、設問処理、回答処理及び正答処理においては、同様のフローで処理を行う。演算部35は、検出タイマの検出結果により、設問処理、回答処理及び正答処理の各時間範囲であるか否かの判定を行う(ステップS601)。演算部35は、検出タイマの検出結果が、対応する時間範囲ではないと判定する場合(ステップS601のNo)、処理を終了する。
 検出タイマの検出結果が、対応する時間範囲であると判定された場合(ステップS601のYes)、領域設定部33は、被検者が見るべき領域を注視しているかを確認するため、判定領域として、判定領域D1、D2、Eを設定する(ステップS602)。
 判定部34は、被験者の注視点が判定領域D1、D2、Eに存在するか否かを判定する(ステップS603)。判定部34により被験者の注視点が判定領域D1、D2に存在すると判定された場合(ステップS603のYes)、演算部35は、対応するカウント値CNT4、CNT5、CNT6を+1とする(ステップS604)。
 判定部34は、被験者の注視点が判定領域D1、D2、Eに存在しないと判定する場合(ステップS603のNo)、又は、ステップS604の処理が行われた場合、設問処理、回答処理及び正答処理の各処理を終了する。
 以上のように、本実施形態に係る評価装置100は、被験者の眼球の画像データを取得する画像取得装置20と、画像データに基づいて、被験者の注視点の位置データを検出する注視点検出部32と、事物についての異なる分類を示す複数の対象物Uから所定の条件に適合する適合対象物U1、U2を注視するように被験者に指示が行われる場合に、複数の対象物Uを表示部11に表示させる表示制御部31と、複数の対象物Uのうち被験者に提示される指示に適合した適合対象物U1、U2に対応する判定領域D1、D2を表示部11に設定する領域設定部33と、注視点の位置データに基づいて、被験者の視点が判定領域D1、D2に存在するか否かを判定する判定部34と、判定部34の判定結果に基づいて、被験者の評価データを求める評価部36とを備える。
 本実施形態に係る評価方法は、被験者の眼球の画像データを取得することと、画像データに基づいて、被験者の注視点の位置データを検出することと、事物についての異なる分類を示す複数の対象物Uから所定の条件に適合する適合対象物U1、U2を注視するように被験者に指示が行われる場合に、複数の対象物Uを表示部11に表示させることと、複数の対象物Uのうち被験者に提示される指示に適合した適合対象物U1、U2に対応する判定領域D1、D2を表示部11に設定することと、注視点の位置データに基づいて、被験者の視点が判定領域D1、D2に存在するか否かを判定することと、判定結果に基づいて、被験者の評価データを求めることとを含む。
 本実施形態に係る評価プログラムは、被験者の眼球の画像データを取得する処理と、画像データに基づいて、被験者の注視点の位置データを検出する処理と、事物についての異なる分類を示す複数の対象物Uから所定の条件に適合する適合対象物U1、U2を注視するように被験者に指示が行われる場合に、複数の対象物Uを表示部11に表示させる処理と、複数の対象物Uのうち被験者に提示される指示に適合した適合対象物U1、U2に対応する判定領域D1、D2を表示部11に設定する処理と、注視点の位置データに基づいて、被験者の視点が判定領域D1、D2に存在するか否かを判定する処理と、判定結果に基づいて、被験者の評価データを求める処理とをコンピュータに実行させる。
 本実施形態によれば、店内図Nに示される複数の対象物Uから所定の条件に適合する適合対象物U1、U2を注視するように被験者に指示が行われる場合に、注視点データに基づいて被験者の評価データを求められる。このため、評価装置100は、被験者の視線の動きにより、被験者の認知能力、記憶力及び判断力を評価することができる。これにより、評価装置100は、被験者の評価を高精度に行うことが可能となる。
 本実施形態に係る評価装置100において、領域設定部33は、適合対象物U1、U2が複数である場合には複数の適合対象物U1、U2のそれぞれについて判定領域D1、D2を設定し、判定部34は、注視点の位置データに基づいて、被験者の視点がそれぞれの判定領域D1、D2に存在するか否かを判定する。これにより、評価装置100は、被験者の評価をより高精度に行うことが可能となる。
 本実施形態に係る評価装置100において、評価部36は、適合対象物U1、U2の数に応じて被験者の評価データを求める。適合対象物U1、U2の数が増加するほど、判断が複雑になり、指示の難易度が向上する。このため、適合対象物U1、U2の数に応じて被験者の評価データを求めることにより、難易度に応じた高精度な評価が可能となる。
 本開示の技術範囲は上記実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲で適宜変更を加えることができる。上記第1実施形態及び第2実施形態においては、指示情報I1、I2の指示において、「野菜」「果物」「冷凍食品」という大分類に該当する目標対象物を挙げており、経路図M及び店内図Nにおいてはいずれも大分類を示す目標対象物S及び対象物Uが示された例について説明したが、これに限定されない。
 例えば、指示内容I1、I2に、「キャベツ」「リンゴ」「冷凍餃子」等の中分類に属する目標対象物及び対象物を含めるようにしてもよい。具体的には、指示内容I1は、入り口から入って「キャベツ」を買う最短ルートを考えさせる指示であってもよい。また、指示内容I2は、スーパーマーケット等の商店の店内図において、「リンゴ」と冷凍食品の売り場を注視するように指示する内容であってもよい。
 この場合、指示内容に含まれる中分類の「キャベツ」「リンゴ」が、経路図M及び店内図Nに示される大分類のどれに属するかを記憶に基づいて判断する必要がある。このため、経路図M及び店内図Nに大分類の目標対象物及び対象物が示される態様においては、指示情報I1、I2の指示内容に中分類の目標対象物及び対象物を含めることにより、回答の難易度が高くなる。
 この場合、第1実施形態における評価部36は、以下のように評価値ANS1bを求めることができる。つまり、
 ANS1b=K1・CNT1・P+K2・CNT2+K3・CNT3+K
       4・DIF+K5・GOAL・P+K6・REGI+K7・
       ODR
 とすることができる。
 また、第2実施形態における評価部36は、以下のように評価値ANS2aを求めることができる。つまり、
 ANS2b=K8・CNT4+K9・CNT5・P+K10・CNT6・
       P
 とすることができる。
 ANS1b、ANS2bにおいて、指示内容に中分類の文言が含まれる場合には、中分類の文言が含まれない指示の場合に比べて、Pの値を大きく設定することができる。また、例えば大分類の文言を用いた対象物が2つであり、中分類の文言を用いた対象物が3つである場合、Pは、以下のように設定できる。
 P=(a・2+b・3)/5
 ただし、a<bである。
 また、第1実施形態における評価部36は、適合対象物の数と、中分類を含めた指示とを組み合わせた以下の評価値ANS1cを求めることができる。つまり、
 ANS1c=j(K1・CNT1・P+K2・CNT2+K3・CNT3
       +K4・DIF+K5・GOAL・P+K6・REGI+K
       7・ODR)
 とすることができる。
 同様に、第2実施形態における評価部36は、適合対象物の数と、中分類を含めた指示とを組み合わせた以下の評価値ANS2cを求めることができる。つまり、
 ANS2c=h・(K8・CNT4+K9・CNT5・P+K10・CN
       T6・P)
 とすることができる。
 なお、上記式の「CNT1・P」「GOAL・P」「CNT5・P」及び「CNT6・P」の部分については、適合対象物について設定される判定領域ごとに個別の係数を用いて計算してもよい。例えば、中分類「豚肉」「牛肉」が大分類「精肉」に属すると判断する方が、中分類「ヨーグルト」「チーズ」が大分類「乳製品」に属すると判断するよりも容易である。この場合、中分類及び大分類を示す文言に共通の文字(「肉」等)が含まれる場合には、大分類及び中分類の判断が容易となる。このように、例えば適合対象物ごとに大分類と中分類とを判断する難易度が異なる場合、難易度に応じた高精度の評価が可能となる。
 本開示に係る評価装置、評価方法、及び評価プログラムは、例えばコンピュータ等の処理装置等に利用することができる。
 A01~A19…経路領域、B01~B09…目標領域、C…移動領域、D1,D2…判定領域、I1,I2…指示情報、Q…移動対象物、R…経路、Ra…適合経路、S…目標対象物、Sa…特定対象物、TA,TD…設問期間、TB,TE…回答期間、TC,TF…正答期間、T1~T16…期間、U…対象物、U1,U2…適合対象物、10…表示装置、11…表示部、20…画像取得装置、21…撮影装置、21A…第1カメラ、21B…第2カメラ、22…照明装置、22A…第1光源、22B…第2光源、30…コンピュータシステム、30A…演算処理装置、30B…記憶装置、30C…コンピュータプログラム、31…表示制御部、32…注視点検出部、33…領域設定部、34…判定部、35…演算部、36…評価部、37…入出力制御部、38…記憶部、40…出力装置、50…入力装置、60…入出力インターフェース装置、100…評価装置

Claims (10)

  1.  被験者の眼球の画像データを取得する画像データ取得部と、
     前記画像データに基づいて、前記被験者の注視点の位置データを検出する注視点検出部と、
     経路図に示される複数の経路から所定の条件に適合する適合経路に沿って注視点を移動させるように前記被験者に指示が行われる場合に、前記複数の経路を含む前記経路図を表示部に表示させる表示制御部と、
     前記適合経路に対応する経路領域を前記表示部に設定する領域設定部と、
     前記注視点の位置データに基づいて、前記被験者の視点が前記経路領域に存在するか否かを判定する判定部と、
     前記判定部の判定結果に基づいて、前記被験者の評価データを求める評価部と
     を備える評価装置。
  2.  前記表示制御部は、前記経路図において前記複数の経路に沿って配置される複数の目標対象物のうち特定の目標対象物である特定対象物を経由する前記適合経路に沿って前記注視点を移動させるように前記被験者に指示が行われる場合に、前記複数の目標対象物を含む前記経路図を表示し、
     前記領域設定部は、前記特定対象物に対応する目標領域を前記表示部に設定し、
     前記判定部は、前記注視点の位置データに基づいて、前記被験者の視点が前記目標領域に存在するか否かを判定する
     請求項1に記載の評価装置。
  3.  前記適合経路は、前記複数の経路のうち最短の経路を含む
     請求項1又は請求項2に記載の評価装置。
  4.  被験者の眼球の画像データを取得することと、
     前記画像データに基づいて、前記被験者の注視点の位置データを検出することと、
     経路図に示される複数の経路から所定の条件に適合する適合経路に沿って注視点を移動させるように前記被験者に指示が行われる場合に、前記複数の経路を含む前記経路図を表示部に表示させることと、
     前記適合経路に対応する経路領域を前記表示部に設定することと、
     前記注視点の位置データに基づいて、前記被験者の視点が前記経路領域に存在するか否かを判定することと、
     判定結果に基づいて、前記被験者の評価データを求めることと
     を含む評価方法。
  5.  被験者の眼球の画像データを取得する処理と、
     前記画像データに基づいて、前記被験者の注視点の位置データを検出する処理と、
     経路図に示される複数の経路から所定の条件に適合する適合経路に沿って注視点を移動させるように前記被験者に指示が行われる場合に、前記複数の経路を含む前記経路図を表示部に表示させる処理と、
     前記適合経路に対応する経路領域を前記表示部に設定する処理と、
     前記注視点の位置データに基づいて、前記被験者の視点が前記経路領域に存在するか否かを判定する処理と、
     判定結果に基づいて、前記被験者の評価データを求める処理と
     をコンピュータに実行させる評価プログラム。
  6.  被験者の眼球の画像データを取得する画像データ取得部と、
     前記画像データに基づいて、前記被験者の注視点の位置データを検出する注視点検出部と、
     事物についての異なる分類を示す複数の対象物から所定の条件に適合する適合対象物を注視するように前記被験者に指示が行われる場合に、前記複数の対象物を表示部に表示させる表示制御部と、
     前記複数の対象物のうち前記被験者に提示される指示に適合した適合対象物に対応する判定領域を前記表示部に設定する領域設定部と、
     前記注視点の位置データに基づいて、前記被験者の視点が前記判定領域に存在するか否かを判定する判定部と、
     前記判定部の判定結果に基づいて、前記被験者の評価データを求める評価部と
     を備える評価装置。
  7.  前記領域設定部は、前記適合対象物が複数である場合には複数の前記適合対象物のそれぞれについて前記判定領域を設定し、
     前記判定部は、前記注視点の位置データに基づいて、前記被験者の視点がそれぞれの前記判定領域に存在するか否かを判定する
     請求項6に記載の評価装置。
  8.  前記評価部は、前記適合対象物の数に応じて前記被験者の評価データを求める
     請求項7に記載の評価装置。
  9.  被験者の眼球の画像データを取得することと、
     前記画像データに基づいて、前記被験者の注視点の位置データを検出することと、
     事物についての異なる分類を示す複数の対象物から所定の条件に適合する適合対象物を注視するように前記被験者に指示が行われる場合、前記複数の対象物を表示部に表示させることと、
     前記複数の対象物のうち前記被験者に提示される指示に適合した適合対象物に対応する判定領域を前記表示部に設定することと、
     前記注視点の位置データに基づいて、前記被験者の視点が前記判定領域に存在するか否かを判定することと、
     判定結果に基づいて、前記被験者の評価データを求めることと
     を含む評価方法。
  10.  被験者の眼球の画像データを取得する処理と、
     前記画像データに基づいて、前記被験者の注視点の位置データを検出する処理と、
     事物についての異なる分類を示す複数の対象物から所定の条件に適合する適合対象物を注視するように前記被験者に指示が行われる場合、前記複数の対象物を表示部に表示させる処理と、
     前記複数の対象物のうち前記被験者に提示される指示に適合した適合対象物に対応する判定領域を前記表示部に設定する処理と、
     前記注視点の位置データに基づいて、前記被験者の視点が前記判定領域に存在するか否かを判定する処理と、
     判定結果に基づいて、前記被験者の評価データを求める処理と
     をコンピュータに実行させる評価プログラム。
PCT/JP2021/021441 2020-09-15 2021-06-04 評価装置、評価方法、及び評価プログラム WO2022059266A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/175,571 US20230200695A1 (en) 2020-09-15 2023-02-28 Evaluation device, evaluation method and evaluation program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020154969A JP2022048908A (ja) 2020-09-15 2020-09-15 評価装置、評価方法、及び評価プログラム
JP2020-154968 2020-09-15
JP2020154968A JP2022048907A (ja) 2020-09-15 2020-09-15 評価装置、評価方法、及び評価プログラム
JP2020-154969 2020-09-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/175,571 Continuation US20230200695A1 (en) 2020-09-15 2023-02-28 Evaluation device, evaluation method and evaluation program

Publications (1)

Publication Number Publication Date
WO2022059266A1 true WO2022059266A1 (ja) 2022-03-24

Family

ID=80775749

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/021441 WO2022059266A1 (ja) 2020-09-15 2021-06-04 評価装置、評価方法、及び評価プログラム

Country Status (2)

Country Link
US (1) US20230200695A1 (ja)
WO (1) WO2022059266A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180336796A1 (en) * 2017-05-18 2018-11-22 Pearson Education, Inc. Multi-level executive functioning tasks
WO2018222729A1 (en) * 2017-05-30 2018-12-06 Akili Interactive Labs, Inc. Platform for identification of biomarkers using navigation tasks and treatments based thereon
JP2019171022A (ja) * 2018-03-26 2019-10-10 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
JP2020025849A (ja) * 2018-08-08 2020-02-20 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
JP2020032077A (ja) * 2018-08-31 2020-03-05 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
JP2020103746A (ja) * 2018-12-28 2020-07-09 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
JP2020123032A (ja) * 2019-01-29 2020-08-13 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180336796A1 (en) * 2017-05-18 2018-11-22 Pearson Education, Inc. Multi-level executive functioning tasks
WO2018222729A1 (en) * 2017-05-30 2018-12-06 Akili Interactive Labs, Inc. Platform for identification of biomarkers using navigation tasks and treatments based thereon
JP2019171022A (ja) * 2018-03-26 2019-10-10 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
JP2020025849A (ja) * 2018-08-08 2020-02-20 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
JP2020032077A (ja) * 2018-08-31 2020-03-05 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
JP2020103746A (ja) * 2018-12-28 2020-07-09 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
JP2020123032A (ja) * 2019-01-29 2020-08-13 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム

Also Published As

Publication number Publication date
US20230200695A1 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
US10482724B2 (en) Method, computer program product, and system for providing a sensor-based environment
US9053483B2 (en) Personal audio/visual system providing allergy awareness
WO2018216347A1 (ja) 評価装置、評価方法、及び評価プログラム
US11925464B2 (en) Evaluation apparatus, evaluation method, and non-transitory storage medium
JP6269377B2 (ja) 診断支援装置および診断支援方法
JP6848526B2 (ja) 評価装置、評価方法、及び評価プログラム
US20210401287A1 (en) Evaluation apparatus, evaluation method, and non-transitory storage medium
WO2022059266A1 (ja) 評価装置、評価方法、及び評価プログラム
US20210153794A1 (en) Evaluation apparatus, evaluation method, and evaluation program
JP2022048908A (ja) 評価装置、評価方法、及び評価プログラム
JP2022048907A (ja) 評価装置、評価方法、及び評価プログラム
JP7239856B2 (ja) 評価装置、評価方法、及び評価プログラム
Lin et al. A novel device for head gesture measurement system in combination with eye-controlled human–machine interface
US11937928B2 (en) Evaluation apparatus, evaluation method, and evaluation program
US20210345924A1 (en) Evaluation device, evaluation method, and non-transitory compter-readable recording medium
WO2020121975A1 (ja) 評価装置、評価方法、及び評価プログラム
EP3922166B1 (en) Display device, display method and display program
WO2020031471A1 (ja) 評価装置、評価方法、及び評価プログラム
WO2020026574A1 (ja) 視線検出装置、視線検出方法及び視線検出プログラム
JP2019024776A (ja) 評価装置、評価方法、及び評価プログラム
JP2016150048A (ja) 注視点検出装置および注視点検出方法
JP7297224B1 (ja) Kpi計測システム、kpi計測方法
WO2020256148A1 (ja) 評価装置、評価方法、及び評価プログラム
WO2023181494A1 (ja) 評価装置、評価方法及び評価プログラム
JP7074221B2 (ja) 評価装置、評価方法、及び評価プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21868953

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21868953

Country of ref document: EP

Kind code of ref document: A1