WO2020121975A1 - 評価装置、評価方法、及び評価プログラム - Google Patents

評価装置、評価方法、及び評価プログラム Download PDF

Info

Publication number
WO2020121975A1
WO2020121975A1 PCT/JP2019/047899 JP2019047899W WO2020121975A1 WO 2020121975 A1 WO2020121975 A1 WO 2020121975A1 JP 2019047899 W JP2019047899 W JP 2019047899W WO 2020121975 A1 WO2020121975 A1 WO 2020121975A1
Authority
WO
WIPO (PCT)
Prior art keywords
evaluation
determination
gazing point
unit
image
Prior art date
Application number
PCT/JP2019/047899
Other languages
English (en)
French (fr)
Inventor
修二 箱嶋
土屋 賢治
Original Assignee
株式会社Jvcケンウッド
国立大学法人浜松医科大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Jvcケンウッド, 国立大学法人浜松医科大学 filed Critical 株式会社Jvcケンウッド
Priority to CN201980082608.4A priority Critical patent/CN113194839A/zh
Priority to EP19894584.2A priority patent/EP3878373B1/en
Publication of WO2020121975A1 publication Critical patent/WO2020121975A1/ja
Priority to US17/341,441 priority patent/US20210290133A1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/107Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining the shape or measuring the curvature of the cornea
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • A61B3/0058Operational features thereof characterised by display arrangements for multiple images
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168Evaluating attention deficit, hyperactivity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays

Definitions

  • the present invention relates to an evaluation device, an evaluation method, and an evaluation program.
  • ASSD Autism Spectrum Disorder
  • the present disclosure has been made in view of the above, and an object of the present disclosure is to provide an evaluation device, an evaluation method, and an evaluation program capable of highly accurately evaluating whether the possibility of developmental disability is high or low.
  • the evaluation device includes a display unit that displays an image, a gazing point detection unit that detects positional data of a gazing point of a subject who observes the display unit, and a region setting that sets a determination region in the display unit. Section, based on position data of the gazing point, a judging section for judging whether the gazing point exists inside the judgment area, and based on the judgment result of the judging section, at a predetermined time, A calculation unit that calculates the total number of the determination regions in which the gazing point exists, and an evaluation unit that obtains evaluation data of the subject based on the total number of the determination regions in which the gazing point exists calculated by the calculation unit .
  • the evaluation method includes a display step of displaying an image on a display unit, a gazing point detection step of detecting position data of a gazing point of a subject who observes the display unit, and a determination area is set in the display unit.
  • Area setting step based on the position data of the gazing point, a determination step of determining whether the gazing point is present inside the determination area, and based on the determination result in the determination step, a predetermined
  • An evaluation step of calculating evaluation data of the subject based on a calculation step of calculating the total number of the determination areas in which the gazing point exists in time, and the total number of the determination areas in which the fixation point exists in the calculation step And steps.
  • An evaluation program includes a display step of displaying an image on a display unit, a gazing point detection step of detecting position data of a gazing point of a subject who observes the display unit, and a determination area set in the display unit.
  • Area setting step based on the position data of the gazing point, a determination step of determining whether the gazing point is present inside the determination area, and based on the determination result in the determination step, a predetermined
  • An evaluation step of calculating evaluation data of the subject based on a calculation step of calculating the total number of the determination areas in which the gazing point exists in time, and the total number of the determination areas in which the fixation point exists in the calculation step Causing the computer to perform the steps and.
  • an evaluation device capable of highly accurately evaluating whether or not the possibility of developmental disability is high or low.
  • FIG. 1 is a perspective view schematically showing an example of the visual line detection device according to the present embodiment.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the visual line detection device according to the present embodiment.
  • FIG. 3 is a functional block diagram showing an example of the visual line detection device according to the present embodiment.
  • FIG. 4 is a schematic diagram for explaining a method of calculating position data of a corneal curvature center according to this embodiment.
  • FIG. 5 is a schematic diagram for explaining the method of calculating the position data of the corneal curvature center according to the present embodiment.
  • FIG. 6 is a schematic diagram for explaining an example of the calibration process according to the present embodiment.
  • FIG. 7 is a schematic diagram for explaining an example of the gazing point detection processing according to the present embodiment.
  • FIG. 1 is a perspective view schematically showing an example of the visual line detection device according to the present embodiment.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the visual line detection device according to the present embodiment.
  • FIG. 8 is a diagram showing an example of the evaluation image.
  • FIG. 9 is a diagram showing an example of the determination area set in the evaluation image of FIG.
  • FIG. 10 is a diagram showing another example of the evaluation image.
  • FIG. 11 is a diagram showing an example of the determination area set in the evaluation image of FIG.
  • FIG. 12 is a diagram showing an example of a gazing point for the evaluation image of FIG.
  • FIG. 13 is a diagram showing another example of the gazing point for the evaluation image of FIG.
  • FIG. 14 is a diagram showing an example of a gazing point for the evaluation image of FIG.
  • FIG. 15 is a diagram showing another example of the gazing point for the evaluation image of FIG.
  • FIG. 16 is a diagram showing another example of the evaluation image.
  • FIG. 17 is a diagram showing an example of the determination area set in the evaluation image of FIG.
  • FIG. 18 is a flowchart showing an example of the evaluation method according to this embodiment.
  • the direction parallel to the first axis of the predetermined surface is the X-axis direction
  • the direction parallel to the second axis of the predetermined surface orthogonal to the first axis is the Y-axis direction, and is orthogonal to each of the first axis and the second axis.
  • the direction parallel to the third axis is the Z-axis direction.
  • the predetermined surface includes the XY plane.
  • FIG. 1 is a perspective view schematically showing an example of the visual line detection device 100 according to the first embodiment.
  • the gaze detection device 100 is used as an evaluation device that evaluates whether the possibility of developmental disability is high or low.
  • the visual line detection device 100 includes a display device 101, a stereo camera device 102, and a lighting device 103.
  • the display device 101 includes a flat panel display such as a liquid crystal display (LCD) or an organic EL display (organic electroluminescence display: OLED).
  • the display device 101 has a display unit 101S.
  • the display unit 101S displays an image.
  • the display unit 101S displays, for example, an index for evaluating the visual function of the subject.
  • the display unit 101S is substantially parallel to the XY plane.
  • the X-axis direction is the left-right direction of the display unit 101S
  • the Y-axis direction is the vertical direction of the display unit 101S
  • the Z-axis direction is the depth direction orthogonal to the display unit 101S.
  • the stereo camera device 102 has a first camera 102A and a second camera 102B.
  • the stereo camera device 102 is arranged below the display unit 101S of the display device 101.
  • the first camera 102A and the second camera 102B are arranged in the X-axis direction.
  • the first camera 102A is arranged in the ⁇ X direction more than the second camera 102B.
  • Each of the first camera 102A and the second camera 102B includes an infrared camera, and has, for example, an optical system capable of transmitting near infrared light having a wavelength of 850 [nm] and an image sensor capable of receiving the near infrared light. ..
  • the lighting device 103 has a first light source 103A and a second light source 103B.
  • the lighting device 103 is arranged below the display unit 101S of the display device 101.
  • the first light source 103A and the second light source 103B are arranged in the X-axis direction.
  • the first light source 103A is arranged in the ⁇ X direction with respect to the first camera 102A.
  • the second light source 103B is arranged in the +X direction with respect to the second camera 102B.
  • Each of the first light source 103A and the second light source 103B includes an LED (light emitting diode) light source, and can emit near infrared light having a wavelength of 850 [nm], for example.
  • the first light source 103A and the second light source 103B may be arranged between the first camera 102A and the second camera 102B.
  • the illumination device 103 emits near-infrared light that is detection light to illuminate the eyeball 111 of the subject.
  • the stereo camera device 102 captures a part of the eyeball 111 (hereinafter, referred to as “eyeball” including the eyeball) with the second camera 102B. Then, when the detection light emitted from the second light source 103B is applied to the eyeball 111, the eyeball 111 is photographed by the first camera 102A.
  • a frame synchronization signal is output from at least one of the first camera 102A and the second camera 102B.
  • the first light source 103A and the second light source 103B emit detection light based on the frame synchronization signal.
  • the first camera 102A captures image data of the eyeball 111 when the detection light emitted from the second light source 103B is applied to the eyeball 111.
  • the second camera 102B captures image data of the eyeball 111 when the detection light emitted from the first light source 103A is applied to the eyeball 111.
  • a part of the detection light is reflected by the pupil 112, and the light from the pupil 112 enters the stereo camera device 102.
  • a corneal reflection image 113 which is a virtual image of the cornea, is formed on the eyeball 111, and the light from the corneal reflection image 113 enters the stereo camera device 102.
  • the intensity of light entering the stereo camera device 102 from the pupil 112 becomes low, and the cornea.
  • the intensity of the light that enters the stereo camera device 102 from the reflected image 113 increases. That is, the image of the pupil 112 captured by the stereo camera device 102 has low brightness, and the image of the corneal reflection image 113 has high brightness.
  • the stereo camera device 102 can detect the position of the pupil 112 and the position of the corneal reflection image 113 based on the brightness of the captured image.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the visual line detection device 100 according to the present embodiment.
  • the visual line detection device 100 includes a display device 101, a stereo camera device 102, a lighting device 103, a computer system 20, an input/output interface device 30, a drive circuit 40, and an output device 50. , And an input device 60.
  • the computer system 20, the drive circuit 40, the output device 50, and the input device 60 perform data communication via the input/output interface device 30.
  • the computer system 20 includes a processing device 20A and a storage device 20B.
  • the arithmetic processing unit 20A includes a microprocessor such as a CPU (central processing unit).
  • the storage device 20B includes memory or storage such as ROM (read only memory) and RAM (random access memory).
  • the arithmetic processing unit 20A executes arithmetic processing according to the computer program 20C stored in the storage unit 20B.
  • the drive circuit 40 generates a drive signal and outputs it to the display device 101, the stereo camera device 102, and the lighting device 103.
  • the drive circuit 40 also supplies the image data of the eyeball 111 captured by the stereo camera device 102 to the computer system 20 via the input/output interface device 30.
  • the output device 50 includes a display device such as a flat panel display.
  • the output device 50 may include a printing device.
  • the input device 60 is operated to generate input data.
  • Input device 60 includes a keyboard or mouse for a computer system.
  • the input device 60 may include a touch sensor provided in the display unit of the output device 50, which is a display device.
  • the display device 101 and the computer system 20 are separate devices.
  • the display device 101 and the computer system 20 may be integrated.
  • the line-of-sight detection device 100 includes a tablet personal computer
  • the computer system 20, the input/output interface device 30, the drive circuit 40, and the display device 101 may be mounted on the tablet personal computer.
  • FIG. 3 is a functional block diagram showing an example of the visual line detection device 100 according to the present embodiment.
  • the input/output interface device 30 has an input/output unit 302.
  • the drive circuit 40 generates a drive signal for driving the display device 101 and outputs the drive signal to the display device 101, and a drive signal for driving the first camera 102A to generate the drive signal.
  • 102A a first camera input/output unit 404A, a second camera input/output unit 404B that generates a drive signal for driving the second camera 102B and outputs the drive signal to the second camera 102B, the first light source 103A, and the first light source 103A.
  • a light source driving unit 406 that generates a drive signal for driving the two light sources 103B and outputs the drive signal to the first light source 103A and the second light source 103B.
  • the first camera input/output unit 404A also supplies the image data of the eyeball 111 captured by the first camera 102A to the computer system 20 via the input/output unit 302.
  • the second camera input/output unit 404B supplies the image data of the eyeball 111 captured by the second camera 102B to the computer system 20 via the input/output unit 302.
  • the computer system 20 controls the visual line detection device 100.
  • the computer system 20 includes a display control unit 202, a light source control unit 204, an image data acquisition unit 206, an input data acquisition unit 208, a position detection unit 210, a curvature center calculation unit 212, and a gazing point detection unit 214.
  • An area setting unit 216, a determination unit 218, a calculation unit 220, a storage unit 222, an evaluation unit 224, and an output control unit 226 are included.
  • the functions of the computer system 20 are exerted by the arithmetic processing device 20A and the storage device 20B.
  • the display control unit 202 controls the display device driving unit 402 to display the evaluation image to be visually recognized by the subject on the display unit 101S of the display device 101.
  • the evaluation image includes a still image and a moving image. A plurality of evaluation images are prepared, for example.
  • the display control unit 202 sequentially displays the plurality of evaluation images on the display device 101. Further, the display control unit 202 may cause the display device 101 to display an eye-catching image for positioning the gazing point P at a desired position on the display unit 101S.
  • the light source control unit 204 controls the light source driving unit 406 to control the operating states of the first light source 103A and the second light source 103B.
  • the light source control unit 204 controls the first light source 103A and the second light source 103B so that the first light source 103A and the second light source 103B emit detection light at different timings.
  • the image data acquisition unit 206 acquires, from the stereo camera device 102 via the input/output unit 302, the image data of the eyeball 111 of the subject captured by the stereo camera device 102 including the first camera 102A and the second camera 102B.
  • the input data acquisition unit 208 acquires input data generated by operating the input device 60 from the input device 60 via the input/output unit 302.
  • the position detection unit 210 detects the position data of the center of the pupil based on the image data of the eyeball 111 acquired by the image data acquisition unit 206.
  • the position detection unit 210 also detects the position data of the corneal reflex center based on the image data of the eyeball 111 acquired by the image data acquisition unit 206.
  • the center of the pupil is the center of the pupil 112.
  • the corneal reflection center is the center of the corneal reflection image 113.
  • the position detection unit 210 detects the position data of the pupil center and the position data of the corneal reflection center for each of the left and right eyeballs 111 of the subject.
  • the curvature center calculation unit 212 calculates the position data of the corneal curvature center of the eyeball 111 based on the image data of the eyeball 111 acquired by the image data acquisition unit 206.
  • the gazing point detection unit 214 detects the position data of the gazing point P of the subject based on the image data of the eyeball 111 acquired by the image data acquisition unit 206.
  • the position data of the gazing point P refers to the position data of the intersection between the line-of-sight vector of the subject defined by the three-dimensional global coordinate system and the display unit 101S of the display device 101.
  • the gazing point detection unit 214 detects the line-of-sight vector of each of the left and right eyeballs 111 of the subject based on the position data of the pupil center and the position data of the corneal curvature center acquired from the image data of the eyeball 111. After the line-of-sight vector is detected, the gazing point detection unit 214 detects the position data of the gazing point P indicating the intersection of the line-of-sight vector and the display unit 101S.
  • the area setting unit 216 sets a determination area corresponding to the evaluation image displayed on the display unit 101S of the display device 101.
  • the area setting unit 216 sets a determination area for a person, an object, a pattern, etc. included in the evaluation image.
  • the area setting unit 216 sets the determination area on at least a part of the evaluation image on the display unit 101S. It is preferable that a plurality of determination areas be set.
  • the region setting unit 216 for example, at least a part of the region where the natural image is displayed and at least a part of the region where the geometric image is displayed.
  • the determination areas may be set respectively in and.
  • the determination area is preferably set for an object included in the evaluation image.
  • the determination region is set for a natural image, it is preferable to set the determination region for each object such as a person or a person's face.
  • the determination area is not displayed on the display unit 101S.
  • the shape of the determination area may be, for example, a rectangle, a circle, an ellipse, or a polygon, and is not limited.
  • the sizes of the plurality of determination areas may be different.
  • the plurality of determination areas may be set to overlap each other. It is preferable that the determination region is set to a region in the evaluation image in which there is a difference in the tendency of whether or not the subject having a high possibility of ASD and the subject having a low possibility of ASD look at each other.
  • the judgment unit 218 judges whether or not the gazing point P exists in the judgment area based on the position data of the gazing point P, and outputs the judgment data. For example, the determination unit 218 sets the determination value of the determination area to “1” when determining that the gazing point P exists in the determination area, and sets the determination value of the determination area to “0” when determining not to exist. The determined judgment data is output. When the determination unit 218 determines that the gazing point P exists in the determination area, the determination unit 218 sets the determination value to “1” regardless of the time and the number of times of gazing at the determination area. The determination unit 218 sets the determination value to “1” regardless of whether the gazing time is long or short.
  • the determination unit 218 sets the determination value to “1” even when it is determined that the gazing point P reciprocates between the determination region and other regions and is present in the determination region a plurality of times.
  • the determination unit 218 determines whether or not the gazing point P exists in the determination area, for example, at regular time intervals.
  • the fixed time may be, for example, the cycle (for example, every 20 [msec]) of the frame synchronization signal output from the first camera 102A and the second camera 102B.
  • the calculation unit 220 calculates the total number of determination areas in which the gazing point P exists at a predetermined time based on the determination data of the determination unit 218. In other words, the calculation unit 220 calculates how many times the test subject has viewed the determination region in the evaluation image at a predetermined time. The calculation unit 220 integrates the determination values of the determination regions to calculate the total number of determination regions in which the gazing point P exists.
  • the arithmetic unit 220 has a management timer that manages the video reproduction time and a detection timer that detects the elapsed time after the video is displayed on the display unit 101S.
  • the evaluation unit 224 obtains the evaluation data of the subject based on the total number of determination areas in which the gazing point P exists calculated by the calculation unit 220.
  • the evaluation data is data for evaluating the number of gazes of the subject on the determination region displayed on the display unit 101S in the display operation. For example, the evaluation data evaluates the number of gazed determination regions regardless of the time and the number of gazes of the gazed region.
  • the evaluation unit 224 may calculate the evaluation data by weighting each determination area in which the gazing point P exists.
  • the evaluation unit 224 further determines whether or not the evaluation data is equal to or more than a predetermined threshold value, and determines the evaluation.
  • the storage unit 222 stores the above determination data and evaluation data.
  • the storage unit 222 displays an image, detects a position of the gazing point P of a subject who observes the display unit, sets a determination area on the display unit, and position data of the gazing point P. Processing for determining whether or not the gazing point P is present in the determination area, and outputting determination data, processing for obtaining evaluation data of the subject based on the determination data, and processing for outputting evaluation data
  • An evaluation program that causes a computer to execute and is stored.
  • the output control unit 226 outputs data to at least one of the display device 101 and the output device 50.
  • the curvature center calculator 212 calculates the position data of the corneal curvature center of the eyeball 111 based on the image data of the eyeball 111.
  • 4 and 5 are schematic diagrams for explaining the method of calculating the position data of the corneal curvature center 110 according to this embodiment.
  • FIG. 4 shows an example in which the eyeball 111 is illuminated by one light source 103C.
  • FIG. 5 shows an example in which the eyeball 111 is illuminated by the first light source 103A and the second light source 103B.
  • the light source 103C is arranged between the first camera 102A and the second camera 102B.
  • the pupil center 112C is the center of the pupil 112.
  • the corneal reflection center 113C is the center of the corneal reflection image 113.
  • the pupil center 112C indicates the pupil center when the eyeball 111 is illuminated by one light source 103C.
  • the corneal reflection center 113C indicates the corneal reflection center when the eyeball 111 is illuminated by one light source 103C.
  • the corneal reflection center 113C exists on the straight line connecting the light source 103C and the corneal curvature center 110.
  • the corneal reflection center 113C is located at the midpoint between the corneal surface and the corneal curvature center 110.
  • the corneal curvature radius 109 is the distance between the corneal surface and the corneal curvature center 110.
  • the position data of the corneal reflection center 113C is detected by the stereo camera device 102.
  • the corneal curvature center 110 exists on a straight line connecting the light source 103C and the corneal reflection center 113C.
  • the curvature center calculation unit 212 calculates position data on the straight line at which the distance from the corneal reflection center 113C has a predetermined value, as position data of the corneal curvature center 110.
  • the predetermined value is a value determined in advance from a general curvature radius value of the cornea and the like, and is stored in the storage unit 222.
  • the first camera 102A and the second light source 103B and the second camera 102B and the first light source 103A are bilaterally symmetrical with respect to a straight line passing through the intermediate position between the first camera 102A and the second camera 102B. Will be placed in the position. It can be considered that the virtual light source 103V exists at an intermediate position between the first camera 102A and the second camera 102B.
  • the corneal reflection center 121 indicates the corneal reflection center in the image obtained by photographing the eyeball 111 with the second camera 102B.
  • the corneal reflection center 122 indicates the corneal reflection center in the image of the eyeball 111 taken by the first camera 102A.
  • the corneal reflection center 124 indicates the corneal reflection center corresponding to the virtual light source 103V.
  • the position data of the corneal reflection center 124 is calculated based on the position data of the corneal reflection center 121 and the position data of the corneal reflection center 122 captured by the stereo camera device 102.
  • the stereo camera device 102 detects the position data of the corneal reflection center 121 and the position data of the corneal reflection center 122 in the three-dimensional local coordinate system defined by the stereo camera device 102.
  • camera calibration is performed in advance by a stereo calibration method, and conversion parameters for converting the three-dimensional local coordinate system of the stereo camera device 102 into a three-dimensional global coordinate system are calculated.
  • the conversion parameter is stored in the storage unit 222.
  • the curvature center calculation unit 212 converts the position data of the corneal reflection center 121 and the position data of the corneal reflection center 122 captured by the stereo camera device 102 into position data in the three-dimensional global coordinate system using the conversion parameter.
  • the curvature center calculator 212 calculates the position data of the corneal reflection center 124 in the three-dimensional global coordinate system based on the position data of the corneal reflection center 121 and the position data of the corneal reflection center 122 defined by the three-dimensional global coordinate system. To do.
  • the corneal curvature center 110 exists on the straight line 123 connecting the virtual light source 103V and the corneal reflection center 124.
  • the curvature center calculator 212 calculates position data on the straight line 123 where the distance from the corneal reflection center 124 is a predetermined value, as position data of the corneal curvature center 110.
  • the predetermined value is a value determined in advance from a general curvature radius value of the cornea and the like, and is stored in the storage unit 222.
  • the corneal curvature center 110 is calculated by the same method as when there is one light source.
  • the corneal curvature radius 109 is the distance between the corneal surface and the corneal curvature center 110. Therefore, the corneal curvature radius 109 is calculated by calculating the position data of the corneal surface and the position data of the corneal curvature center 110.
  • FIG. 6 is a schematic diagram for explaining an example of the calibration process according to the present embodiment.
  • the target position 130 is set in order to make the subject gaze.
  • the target position 130 is defined in the three-dimensional global coordinate system.
  • the target position 130 is set to the central position of the display unit 101S of the display device 101, for example.
  • the target position 130 may be set at the end position of the display unit 101S.
  • the output control unit 226 displays the target image at the set target position 130.
  • the straight line 131 is a straight line connecting the virtual light source 103V and the corneal reflection center 113C.
  • the straight line 132 is a straight line connecting the target position 130 and the pupil center 112C.
  • the corneal curvature center 110 is the intersection of the straight line 131 and the straight line 132.
  • the curvature center calculator 212 calculates the position data of the corneal curvature center 110 based on the position data of the virtual light source 103V, the position data of the target position 130, the position data of the pupil center 112C, and the position data of the corneal reflection center 113C. Can be calculated.
  • FIG. 7 is a schematic diagram for explaining an example of the gazing point detection processing according to the present embodiment.
  • the gazing point 165 indicates the gazing point P obtained from the corneal curvature center calculated using a general curvature radius value.
  • the gazing point 166 indicates the gazing point P calculated from the corneal curvature center calculated using the distance 126 calculated by the calibration process.
  • the pupil center 112C indicates the pupil center calculated in the calibration process
  • the corneal reflection center 113C indicates the corneal reflection center calculated in the calibration process.
  • the straight line 173 is a straight line connecting the virtual light source 103V and the corneal reflection center 113C.
  • the corneal curvature center 110 is the position of the corneal curvature center calculated from a general radius of curvature value.
  • the distance 126 is the distance between the pupil center 112C and the corneal curvature center 110 calculated by the calibration process.
  • the corneal curvature center 110H indicates the position of the corrected corneal curvature center obtained by correcting the corneal curvature center 110 using the distance 126.
  • the corneal curvature center 110H is obtained from the fact that the corneal curvature center 110 exists on the straight line 173 and the distance between the pupil center 112C and the corneal curvature center 110 is the distance 126.
  • the line of sight 177 calculated when using a general curvature radius value is corrected to the line of sight 178.
  • the gazing point P on the display unit 101S of the display device 101 is corrected from the gazing point 165 to the gazing point 166.
  • the evaluation method according to this embodiment will be described.
  • the developmental disability is evaluated as the visual function of the subject by using the visual line detection device 100 described above.
  • the display control unit 202 displays the evaluation image on the display unit 101S.
  • the display control unit 202 may display the eye-catching video on the display unit 101S before displaying the evaluation image, and position the gazing point P of the subject at a desired position on the display unit 101S.
  • FIG. 8 is a diagram showing an example of the evaluation image.
  • FIG. 9 is a diagram showing an example of the determination area set in the evaluation image of FIG.
  • FIG. 10 is a diagram showing another example of the evaluation image.
  • FIG. 11 is a diagram showing an example of the determination area set in the evaluation image of FIG.
  • the image for evaluation shown here includes a natural image and a geometric image. This is because people with developmental disabilities prefer geometric images to natural images. Further, it is because the subjects diagnosed with ASD are generally indifferent to the existence of others, the degree of interest in objects from others, and the interest (intention) in particular objects. ..
  • the natural image may be an image other than a geometric image that is associated with a natural object or a natural object. For example, an image (still image, moving image) of a person, an animal, a plant, or a landscape of nature captured by a camera may be used as the natural image. Further, an image (still image, moving image) of a character imitating a person, an animal or the like may be used as a natural image.
  • a person image which is a natural image F1
  • a geometric image G1 is displayed on the right side.
  • the natural image F1 and the geometric image G1 are designed to have similar colors, brightness, movements, and the like.
  • a circular judgment area A11, a judgment area A12, and a judgment area A13 are set in the vicinity of the face of the person for evaluation, and a circular shape is set in the geometric pattern portion.
  • the determination area A14, the determination area A15, the determination area A16, and the determination area A17 are set.
  • the determination area A11, the determination area A12, the determination area A13, the determination area A14, the determination area A15, the determination area A16, and the determination area A17 are not displayed on the display unit 101S.
  • a natural image F2 is displayed on the right side and a geometric image G2 is displayed on the left side with respect to FIG.
  • a circular determination area A22 and a determination area A23 are set near the face of the person, and a circular determination area A21 is set in the geometric pattern portion.
  • multiple images for evaluation such as a pattern that is a combination of multiple natural images and geometric images are shown to the subject to comprehensively evaluate whether the possibility of developmental disability is high or low. This is to eliminate contingency and to reduce the effect when an image close to the user's taste happens to appear and has a different perspective from the characteristics of the developmental disability. Therefore, for example, the evaluation image is viewed as shown in FIGS.
  • the subject visually recognizes the evaluation image as described above, when the subject is a person with developmental disabilities, they tend to be more interested in the geometric image than in the human image. In addition, when the test subject is a person with developmental disabilities, there is a tendency to show an interest in a specific object. In this case, the gazing point P moves to the geometric image and tends to gaze at the geometric image rather than the person image. On the other hand, when the subject is not a person with developmental disabilities, there is no tendency to show an interest in a specific object, and therefore, there is no tendency to show a strong interest in a specific image. In this case, the gazing point P tends to move a lot in the image and gaze at many areas.
  • the gazing point P of the subject is measured at the same time, and the gazing judgment is performed on the judgment area set in the evaluation image.
  • the gazing point P of the subject enters the determination area, it is determined that the subject has seen the corresponding gaze target, and the total number of the determination areas the subject has viewed with respect to the plurality of evaluation images is set as the evaluation value. Since the ASD test subject tends to have a relatively low evaluation value due to the above reasons, it is possible to accurately support the diagnosis of ASD.
  • the judgment unit 218 sets the judgment value of the judgment area to “1”.
  • the calculation unit 220 calculates the total number of the judgment areas in which the gazing point P exists.
  • the evaluation unit 224 can judge the evaluation by, for example, accumulating the judgment values for each judgment region in a plurality of images.
  • the evaluation unit 224 can determine the evaluation that the degree of interest of the subject does not tend to indicate an interest in a specific object as the evaluation value increases. Further, in this case, it is possible to evaluate that the subject is unlikely to be a person with developmental disabilities.
  • the evaluation unit 224 can determine that the smaller the evaluation value is, the higher the degree of interest of the subject is in the geometric image, or that the subject tends to be more interested in a specific object. Further, in this case, it is possible to judge the evaluation that the subject is highly likely to have a developmentally disabled person.
  • the judgment value for each judgment area of the evaluation image shown in FIG. 8 is represented as X [judgment area].
  • the determination value of the determination area A11 is represented by X[A11]
  • the determination value of the determination area A14 is represented by X[A14].
  • the determination value of the determination area in which the gazing point P never existed inside is "0", and the determination value of the determination area in which the gazing point P exists inside is "1".
  • FIG. 12 is a diagram showing an example of a gazing point for the evaluation image of FIG.
  • FIG. 14 is a diagram showing an example of a gazing point for the evaluation image of FIG.
  • the threshold value for determining whether the possibility of ASD is high is “7”
  • the evaluation value ANS of the subject A is not greater than or equal to the threshold value, and therefore it is determined that “the possibility of ASD is high”. ..
  • FIG. 13 is a diagram showing another example of the gazing point for the evaluation image of FIG.
  • FIG. 15 is a diagram showing another example of the gazing point for the evaluation image of FIG.
  • the threshold value for determining whether or not the possibility of ASD is high is “7”
  • the evaluation value ANS of the subject B is equal to or higher than the threshold value, and thus it is determined that “the possibility of ASD is low”. ..
  • the evaluation value may be calculated by weighting the judgment value for each judgment area.
  • the first weighting method is a method of weighting each determination region in the same image. For example, weighting is applied to the determination area set in the natural image.
  • the evaluation value ANS1 and the evaluation value ANS2 are expressed as follows.
  • K is a coefficient for weighting.
  • the method of weighting in other words, the method of selecting the critical judgment area may be based on known clinical knowledge, or it may be selected from the measurement results so that the diagnostic sensitivity is high. Also, the value of the coefficient K can be set to a different value for each determination area.
  • the second weighting method is a method of weighting each evaluation image.
  • the evaluation image shown in FIG. 10 is weighted.
  • the weighting in other words, the method of selecting the evaluation image to be emphasized may be based on known clinical knowledge, or may be selected from the measurement results so as to increase the diagnostic sensitivity. Further, the value of the coefficient K can be set to a different value for each evaluation image.
  • FIG. 16 is a diagram showing another example of the evaluation image.
  • FIG. 17 is a diagram showing an example of the determination area set in the evaluation image of FIG.
  • the evaluation image is not limited to one including a natural image and a geometric image.
  • the evaluation image may be one natural image including a plurality of objects.
  • the evaluation image shown in FIG. 16 is a natural image F3 including a plurality of objects.
  • the natural image F3 includes, for example, a car, a car driver, a traffic light, a lit green light, a signboard, characters written on the signboard, pedestrians, animals, pedestrian crossings, and the like.
  • the evaluation image includes a judgment area A31 for a car, a judgment area A32 for a driver of a car, a judgment area A33 for a traffic light, a judgment area A34 for a lit green signal, and a signboard.
  • the determination area A32 is set in the determination area A31
  • the determination area A34 is set in the determination area A33
  • the determination area A36 is set in the determination area A35.
  • the determination area A32, the determination area A34, and the determination area A36 when it is determined that the gazing point P exists inside the determination area A32, the determination area A34, and the determination area A36, the determination area A31, the determination area A33, and the determination area A35 are also inside. It is determined that the gazing point P exists.
  • the evaluation unit 224 determines whether or not the evaluation value ANS, which is the evaluation data, is equal to or larger than a predetermined threshold value, and makes an evaluation determination. For example, when the evaluation value ANS is greater than or equal to the threshold value, it is possible to determine the evaluation that the subject is unlikely to have ASD. In addition, when the evaluation value ANS is not equal to or higher than the predetermined threshold value, it is possible to judge the evaluation that the subject is highly likely to have ASD.
  • the output control unit 226 determines, for example, the character data “the subject is unlikely to be a person with developmental disabilities” according to the evaluation result. , "The subject is highly likely to be a person with developmental disabilities” is output to the output device 50.
  • FIG. 18 is a flowchart showing an example of the evaluation method according to this embodiment.
  • the gazing point detection unit 214 starts gazing point detection (step S101). Then, the process proceeds to step S102.
  • the display control unit 202 causes the display unit 101S to display the first evaluation image (step S102).
  • the display control unit 202 causes the display unit 101S to display the evaluation image shown in FIG. Then, the process proceeds to step S103.
  • the calculation unit 220 sets the determination value of the determination region set in the first evaluation image to “0” (step S103). In the present embodiment, the calculation unit 220 sets the determination values of the determination areas A11 to A17 set in the first evaluation image to “0”. Then, the process proceeds to step S104.
  • the gazing point detection unit 214 acquires the gazing point P in the subject evaluation image (step S104). More specifically, the gazing point detection unit 214 displays the first evaluation image displayed on the display device 101 to the subject at every specified sampling cycle (for example, 20 [msec]). The position data of the gazing point P of the subject on the display unit 101S is detected. Then, the process proceeds to step S105.
  • the determination unit 218 determines whether the coordinates of the gazing point P are inside the determination area A11 to the determination area A17 (step S105). More specifically, the determination unit 218 determines the determination region in which the gazing point P exists based on the position data detected by the gazing point detection unit 214 at every sampling cycle (for example, 20 [msec]).
  • the judgment unit 218 sets the judgment value of the judgment area in which the gazing point P is judged to be “1”. (Step S106). Then, the process proceeds to step S107.
  • step S105 If it is determined that the gazing point P does not exist inside the determination area A11 to the determination area A17 (No in step S105), the process proceeds to step S107.
  • the arithmetic unit 220 determines whether or not the time at which the reproduction of the first evaluation video image is completed is reached based on the detection result of the detection timer (step S107). In the present embodiment, when 3 [sec] has elapsed from the start of the reproduction of the first evaluation image, it is determined that the time when the reproduction of the first evaluation image is completed has been reached. When it is determined by the calculation unit 220 that the time to complete the reproduction of the first evaluation video has been reached (Yes in step S107), the process proceeds to step S108. In this embodiment, if 3 [sec] has not elapsed from the start of the reproduction of the first evaluation video, it is determined that the time when the reproduction of the first evaluation video has been completed has not been reached. When the calculation unit 220 determines that the time to complete the reproduction of the first evaluation video has not been reached (No in step S107), the processing in step S104 and subsequent steps is repeated.
  • step S107 the display control unit 202 displays the second evaluation image on the display unit 101S. It is displayed (step S108). In the present embodiment, the display control unit 202 causes the display unit 101S to display the evaluation image shown in FIG. Then, the process proceeds to step S109.
  • the calculation unit 220 sets the determination value of the determination region set in the second evaluation image to “0” (step S109). In the present embodiment, the calculation unit 220 sets the determination values of the determination areas A21 to A23 set in the second evaluation image to “0”. Then, the process proceeds to step S110.
  • the gazing point detection unit 214 acquires the gazing point P in the subject evaluation image (step S110). More specifically, the gazing point detection unit 214 displays the second evaluation image displayed on the display device 101 to the subject at every specified sampling cycle (for example, 20 [msec]). The position data of the gazing point P of the subject on the display unit 101S is detected. Then, the process proceeds to step S111.
  • the determination unit 218 determines whether the coordinates of the gazing point P are inside the determination area A21 to the determination area A23 (step S111). More specifically, the determination unit 218 determines the determination region in which the gazing point P exists based on the position data detected by the gazing point detection unit 214 at every sampling cycle (for example, 20 [msec]).
  • the judgment unit 218 changes the judgment value of the judgment area where the gazing point P exists to “1”. (Step S112). Then, the process proceeds to step S113.
  • step S111 If it is determined that the gazing point P does not exist inside the determination area A21 to the determination area A23 (No in step S111), the process proceeds to step S113.
  • the arithmetic unit 220 determines whether or not it has reached the time when the reproduction of the second evaluation video is completed based on the detection result of the detection timer (step S113). In the present embodiment, when 3 [sec] has elapsed from the start of the reproduction of the second evaluation video, it is determined that the time when the reproduction of the second evaluation video has been completed has been reached. When it is determined by the calculation unit 220 that the time when the reproduction of the second evaluation video image is completed has been reached (Yes in step S113), the process proceeds to step S114. In this embodiment, if 3 [sec] has not elapsed from the start of the reproduction of the second evaluation image, it is determined that the time when the reproduction of the second evaluation image is completed has not been reached. When the calculation unit 220 determines that the time to complete the reproduction of the second evaluation video has not been reached (No in step S113), the processing in step S110 and subsequent steps is repeated.
  • the evaluation unit 224 calculates the evaluation value of the subject based on the total number of determination areas in which the gazing point P exists (step S114).
  • the calculation unit 220 integrates the determination values for the first evaluation image to calculate the evaluation value ANS1.
  • the calculation unit 220 calculates the evaluation value ANS2 by integrating the determination values for the second evaluation image.
  • the evaluation unit 224 integrates the evaluation value ANS1 for the first evaluation image and the evaluation value ANS2 for the second evaluation image to calculate the evaluation value ANS of the subject. Then, the process proceeds to step S115.
  • the evaluation unit 224 determines whether the calculated evaluation value ANS is greater than or equal to the threshold value (step S115). In the present embodiment, the evaluation unit 224 determines whether the evaluation value ANS is equal to or greater than the threshold value “7”.
  • the evaluation unit 224 determines that the calculated evaluation value ANS is not greater than or equal to the threshold value (No in step S115), the subject determines the evaluation as “the possibility of ASD is high” (step S116). After that, the output control unit 226 outputs the evaluation result determined by the evaluation unit 224, and ends the process.
  • the evaluation unit 224 determines that the calculated evaluation value ANS is greater than or equal to the threshold value (Yes in step S115), the subject determines the evaluation as “the possibility of ASD is low” (step S117). After that, the output control unit 226 outputs the evaluation result determined by the evaluation unit 224, and ends the process.
  • the evaluation device includes the display unit 101S that displays an image, the gazing point detection unit 214 that detects the position of the gazing point P of the subject who observes the display unit 101S, and the display unit 101S.
  • a region setting unit 216 that sets a determination region, and a determination unit 218 that determines whether or not the attention point P exists inside the determination region, based on the position data of the attention point P, and a determination by the determination unit 218.
  • the calculation unit 220 that calculates the total number of determination regions in which the gazing point P exists, and the evaluation that obtains the evaluation data of the subject based on the total number of the determination regions in which the gazing point P exists that is calculated by the calculation unit 220 And a section 224.
  • the evaluation method includes a display step of displaying an image on the display unit 101S, a gazing point detection step of detecting the position of the gazing point P of a subject who observes the display unit 101S, and a display unit 101S.
  • An area setting step of setting a determination area, a determination step of determining whether or not the gazing point P exists inside the determination area based on position data of the gazing point P, and a determination result of the determination step The calculation step of calculating the total number of determination areas in which the gazing point P exists, and the evaluation step of obtaining the evaluation data of the subject based on the total number of determination areas in which the gazing point P exists calculated by the calculation step.
  • the evaluation program includes a display step of displaying an image on the display unit 101S, a gazing point detection step of detecting the position of the gazing point P of a subject who observes the display unit 101S, and a display unit 101S.
  • the computer is provided with a calculation step for calculating the total number of judgment areas in which the gazing point P exists, and an evaluation step for obtaining evaluation data of the subject based on the total number of judgment areas in which the gazing point P exists calculated by the calculation step. Let it run.
  • the evaluation data of the subject can be obtained based on the total number of the determination areas in which the gazing point P exists, in other words, how many determination areas are seen in the evaluation image.
  • the present embodiment can easily and accurately support the diagnosis of ASD of a subject.
  • the area setting unit 216 sets a plurality of determination areas for people, objects, patterns, etc. included in the image. Since subjects with ASD tend to have a strong interest in a particular object, they are more likely to gaze at any one of the plurality of determination areas. As described above, according to this embodiment, highly accurate evaluation data can be efficiently obtained.
  • the evaluation unit 224 obtains evaluation data by weighting each determination area in which the gazing point P exists. Thereby, it is possible to appropriately prioritize each data by using known clinical knowledge, or by using a method of selecting from the measurement results so that the diagnostic sensitivity is high. According to this embodiment, more accurate evaluation data can be obtained.
  • the evaluation unit 224 determines the evaluation by determining whether the evaluation data is equal to or more than a predetermined threshold value. According to this embodiment, it is possible to easily obtain higher-precision evaluation data.
  • the technical scope of the present disclosure is not limited to the above embodiment, and appropriate modifications can be made without departing from the spirit of the present invention.
  • the line-of-sight detection device 100 can be applied to an evaluation device that evaluates the possibility of attention-deficit/hyperactivity disorder (ADHD: Attention-deficit hyperactivity disorder).
  • ADHD Attention-deficit hyperactivity disorder
  • the evaluation device, the evaluation method, and the evaluation program according to the present disclosure can be used, for example, in a line-of-sight detection device.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Developmental Disabilities (AREA)
  • Pathology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

評価装置は、画像を表示する表示部(101S)と、表示部(101S)を観察する被験者の注視点の位置データを検出する注視点検出部(214)と、表示部(101S)において、判定領域を設定する領域設定部(216)と、注視点の位置データに基づいて、注視点が判定領域の内部に存在するか否かをそれぞれ判定する判定部(218)と、判定部(218)の判定結果に基づいて、所定時間に注視点が存在する判定領域の総数を算出する演算部(220)と、演算部(220)が算出した注視点が存在する判定領域の総数に基づいて、被験者の評価データを求める評価部(224)とを備える。

Description

評価装置、評価方法、及び評価プログラム
 本発明は、評価装置、評価方法、及び評価プログラムに関する。
 近年、発達障がい者が増加傾向にあると言われている。発達障がいは、早期に発見し療育を開始することで症状を軽減し、社会に適応できる効果が高くなることがわかっている。被験者が相対する人の目を見ている時間と他所を見ている比率の差から被験者は自閉症の特徴を有するかを判断する診断支援用装置に関する技術が知られている(例えば、特許文献1参照)。
特開2011-206542号公報
 自閉スペクトラム症(ASD:Autism Spectrum Disorder)であると診断された被験者は、他者の存在への無関心、人より物への興味の強さ、特定の物への興味(こだわり)が一般的な傾向である。これらの傾向を適切に検出することによって、発達障がいの可能性が高いか低いかの評価を高精度に行うことが求められていた。
 本開示は、上記に鑑みてなされたものであり、発達障がいの可能性が高いか低いかの評価を高精度に行うことが可能な評価装置、評価方法、及び評価プログラムを提供することを目的とする。
 本開示に係る評価装置は、画像を表示する表示部と、前記表示部を観察する被験者の注視点の位置データを検出する注視点検出部と、前記表示部において、判定領域を設定する領域設定部と、前記注視点の位置データに基づいて、前記注視点が前記判定領域の内部に存在するか否かをそれぞれ判定する判定部と、前記判定部の判定結果に基づいて、所定時間に前記注視点が存在する前記判定領域の総数を算出する演算部と、前記演算部が算出した前記注視点が存在する前記判定領域の総数に基づいて、前記被験者の評価データを求める評価部とを備える。
 本開示に係る評価方法は、表示部に画像を表示する表示ステップと、前記表示部を観察する被験者の注視点の位置データを検出する注視点検出ステップと、前記表示部において、判定領域を設定する領域設定ステップと、前記注視点の位置データに基づいて、前記注視点が前記判定領域の内部に存在するか否かをそれぞれ判定する判定ステップと、前記判定ステップにおける判定結果に基づいて、所定時間に前記注視点が存在する前記判定領域の総数を算出する演算ステップと、前記演算ステップによって算出された前記注視点が存在する前記判定領域の総数に基づいて、前記被験者の評価データを求める評価ステップとを含む。
 本開示に係る評価プログラムは、表示部に画像を表示する表示ステップと、前記表示部を観察する被験者の注視点の位置データを検出する注視点検出ステップと、前記表示部において、判定領域を設定する領域設定ステップと、前記注視点の位置データに基づいて、前記注視点が前記判定領域の内部に存在するか否かをそれぞれ判定する判定ステップと、前記判定ステップにおける判定結果に基づいて、所定時間に前記注視点が存在する前記判定領域の総数を算出する演算ステップと、前記演算ステップによって算出された前記注視点が存在する前記判定領域の総数に基づいて、前記被験者の評価データを求める評価ステップとをコンピュータに実行させる。
 本開示によれば、発達障がいの可能性が高いか低いかの評価を高精度に行うことが可能な評価装置、評価方法、及び評価プログラムを提供することができる。
図1は、本実施形態に係る視線検出装置の一例を模式的に示す斜視図である。 図2は、本実施形態に係る視線検出装置のハードウェア構成の一例を示す図である。 図3は、本実施形態に係る視線検出装置の一例を示す機能ブロック図である。 図4は、本実施形態に係る角膜曲率中心の位置データの算出方法を説明するための模式図である。 図5は、本実施形態に係る角膜曲率中心の位置データの算出方法を説明するための模式図である。 図6は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。 図7は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。 図8は、評価用画像の一例を示す図である。 図9は、図8の評価用画像に設定された判定領域の一例を示す図である。 図10は、評価用画像の他の例を示す図である。 図11は、図10の評価用画像に設定された判定領域の一例を示す図である。 図12は、図8の評価用画像に対する注視点の一例を示す図である。 図13は、図8の評価用画像に対する注視点の他の例を示す図である。 図14は、図10の評価用画像に対する注視点の一例を示す図である。 図15は、図10の評価用画像に対する注視点の他の例を示す図である。 図16は、評価用画像の他の例を示す図である。 図17は、図16の評価用画像に設定された判定領域の一例を示す図である。 図18は、本実施形態に係る評価方法の一例を示すフローチャートである。
 以下、本開示に係る評価装置、評価方法、及び評価プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
 以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第1軸と平行な方向をX軸方向とし、第1軸と直交する所定面の第2軸と平行な方向をY軸方向とし、第1軸及び第2軸のそれぞれと直交する第3軸と平行な方向をZ軸方向とする。所定面はXY平面を含む。
 [視線検出装置]
 図1は、第1実施形態に係る視線検出装置100の一例を模式的に示す斜視図である。視線検出装置100は、発達障がいの可能性が高いか低いかの評価を行う評価装置として用いられる。図1に示すように、視線検出装置100は、表示装置101と、ステレオカメラ装置102と、照明装置103とを備える。
 表示装置101は、液晶ディスプレイ(liquid crystal display:LCD)または有機ELディスプレイ(organic electroluminescence display:OLED)のようなフラットパネルディスプレイを含む。本実施形態において、表示装置101は、表示部101Sを有する。表示部101Sは、画像を表示する。本実施形態において、表示部101Sは、例えば被験者の視機能を評価するための指標を表示する。表示部101Sは、XY平面と実質的に平行である。X軸方向は表示部101Sの左右方向であり、Y軸方向は表示部101Sの上下方向であり、Z軸方向は表示部101Sと直交する奥行方向である。
 ステレオカメラ装置102は、第1カメラ102A及び第2カメラ102Bを有する。ステレオカメラ装置102は、表示装置101の表示部101Sよりも下方に配置される。第1カメラ102Aと第2カメラ102BとはX軸方向に配置される。第1カメラ102Aは、第2カメラ102Bよりも-X方向に配置される。第1カメラ102A及び第2カメラ102Bはそれぞれ、赤外線カメラを含み、例えば波長850[nm]の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。
 照明装置103は、第1光源103A及び第2光源103Bを有する。照明装置103は、表示装置101の表示部101Sよりも下方に配置される。第1光源103Aと第2光源103BとはX軸方向に配置される。第1光源103Aは、第1カメラ102Aよりも-X方向に配置される。第2光源103Bは、第2カメラ102Bよりも+X方向に配置される。第1光源103A及び第2光源103Bはそれぞれ、LED(light emitting diode)光源を含み、例えば波長850[nm]の近赤外光を射出可能である。なお、第1光源103A及び第2光源103Bは、第1カメラ102Aと第2カメラ102Bとの間に配置されてもよい。
 照明装置103は、検出光である近赤外光を射出して、被験者の眼球111を照明する。ステレオカメラ装置102は、第1光源103Aから射出された検出光が眼球111に照射されたときに第2カメラ102Bで眼球111の一部(以下、これを含めて「眼球」とする)を撮影し、第2光源103Bから射出された検出光が眼球111に照射されたときに第1カメラ102Aで眼球111を撮影する。
 第1カメラ102A及び第2カメラ102Bの少なくとも一方からフレーム同期信号が出力される。第1光源103A及び第2光源103Bは、フレーム同期信号に基づいて検出光を射出する。第1カメラ102Aは、第2光源103Bから射出された検出光が眼球111に照射されたときに、眼球111の画像データを撮影する。第2カメラ102Bは、第1光源103Aから射出された検出光が眼球111に照射されたときに、眼球111の画像データを撮影する。
 眼球111に検出光が照射されると、その検出光の一部は瞳孔112で反射し、その瞳孔112からの光がステレオカメラ装置102に入射する。また、眼球111に検出光が照射されると、角膜の虚像である角膜反射像113が眼球111に形成され、その角膜反射像113からの光がステレオカメラ装置102に入射する。
 第1カメラ102A及び第2カメラ102Bと第1光源103A及び第2光源103Bとの相対位置が適切に設定されることにより、瞳孔112からステレオカメラ装置102に入射する光の強度は低くなり、角膜反射像113からステレオカメラ装置102に入射する光の強度は高くなる。すなわち、ステレオカメラ装置102で撮影される瞳孔112の画像は低輝度となり、角膜反射像113の画像は高輝度となる。ステレオカメラ装置102は、撮影される画像の輝度に基づいて、瞳孔112の位置及び角膜反射像113の位置を検出することができる。
 図2は、本実施形態に係る視線検出装置100のハードウェア構成の一例を示す図である。図2に示すように、視線検出装置100は、表示装置101と、ステレオカメラ装置102と、照明装置103と、コンピュータシステム20と、入出力インターフェース装置30と、駆動回路40と、出力装置50と、入力装置60とを備える。
 コンピュータシステム20と、駆動回路40と、出力装置50と、入力装置60とは、入出力インターフェース装置30を介してデータ通信する。コンピュータシステム20は、演算処理装置20A及び記憶装置20Bを含む。演算処理装置20Aは、CPU(central processing unit)のようなマイクロプロセッサを含む。記憶装置20Bは、ROM(read only memory)及びRAM(random access memory)のようなメモリまたはストレージを含む。演算処理装置20Aは、記憶装置20Bに記憶されているコンピュータプログラム20Cに従って演算処理を実施する。
 駆動回路40は、駆動信号を生成して、表示装置101、ステレオカメラ装置102、及び照明装置103に出力する。また、駆動回路40は、ステレオカメラ装置102で撮影された眼球111の画像データを、入出力インターフェース装置30を介してコンピュータシステム20に供給する。
 出力装置50は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置50は、印刷装置を含んでもよい。入力装置60は、操作されることにより入力データを生成する。入力装置60は、コンピュータシステム用のキーボードまたはマウスを含む。なお、入力装置60が表示装置である出力装置50の表示部に設けられたタッチセンサを含んでもよい。
 本実施形態においては、表示装置101とコンピュータシステム20とは別々の装置である。なお、表示装置101とコンピュータシステム20とが一体でもよい。例えば視線検出装置100がタブレット型パーソナルコンピュータを含む場合、そのタブレット型パーソナルコンピュータに、コンピュータシステム20、入出力インターフェース装置30、駆動回路40、及び表示装置101が搭載されてもよい。
 図3は、本実施形態に係る視線検出装置100の一例を示す機能ブロック図である。図3に示すように、入出力インターフェース装置30は、入出力部302を有する。
 駆動回路40は、表示装置101を駆動するための駆動信号を生成して表示装置101に出力する表示装置駆動部402と、第1カメラ102Aを駆動するための駆動信号を生成して第1カメラ102Aに出力する第1カメラ入出力部404Aと、第2カメラ102Bを駆動するための駆動信号を生成して第2カメラ102Bに出力する第2カメラ入出力部404Bと、第1光源103A及び第2光源103Bを駆動するための駆動信号を生成して第1光源103A及び第2光源103Bに出力する光源駆動部406とを有する。また、第1カメラ入出力部404Aは、第1カメラ102Aで撮影された眼球111の画像データを、入出力部302を介してコンピュータシステム20に供給する。第2カメラ入出力部404Bは、第2カメラ102Bで撮影された眼球111の画像データを、入出力部302を介してコンピュータシステム20に供給する。
 コンピュータシステム20は、視線検出装置100を制御する。コンピュータシステム20は、表示制御部202と、光源制御部204と、画像データ取得部206と、入力データ取得部208と、位置検出部210と、曲率中心算出部212と、注視点検出部214と、領域設定部216と、判定部218と、演算部220と、記憶部222と、評価部224と、出力制御部226とを有する。コンピュータシステム20の機能は、演算処理装置20A及び記憶装置20Bによって発揮される。
 表示制御部202は、表示装置駆動部402を制御して、被験者に視認させる評価用画像を表示装置101の表示部101Sに表示させる。評価用画像は、静止画と動画とを含む。評価用画像は、例えば複数用意される。表示制御部202は、当該複数の評価用画像を表示装置101に順次表示する。また、表示制御部202は、表示部101S上において所望の位置に注視点Pを位置させるためのアイキャッチ映像を表示装置101に表示させてもよい。
 光源制御部204は、光源駆動部406を制御して、第1光源103A及び第2光源103Bの作動状態を制御する。光源制御部204は、第1光源103Aと第2光源103Bとが異なるタイミングで検出光を射出するように第1光源103A及び第2光源103Bを制御する。
 画像データ取得部206は、第1カメラ102A及び第2カメラ102Bを含むステレオカメラ装置102によって撮影された被験者の眼球111の画像データを、入出力部302を介してステレオカメラ装置102から取得する。
 入力データ取得部208は、入力装置60が操作されることにより生成された入力データを、入出力部302を介して入力装置60から取得する。
 位置検出部210は、画像データ取得部206で取得された眼球111の画像データに基づいて、瞳孔中心の位置データを検出する。また、位置検出部210は、画像データ取得部206で取得された眼球111の画像データに基づいて、角膜反射中心の位置データを検出する。瞳孔中心は、瞳孔112の中心である。角膜反射中心は、角膜反射像113の中心である。位置検出部210は、被験者の左右それぞれの眼球111について、瞳孔中心の位置データ及び角膜反射中心の位置データを検出する。
 曲率中心算出部212は、画像データ取得部206で取得された眼球111の画像データに基づいて、眼球111の角膜曲率中心の位置データを算出する。
 注視点検出部214は、画像データ取得部206で取得された眼球111の画像データに基づいて、被験者の注視点Pの位置データを検出する。本実施形態において、注視点Pの位置データとは、三次元グローバル座標系で規定される被験者の視線ベクトルと表示装置101の表示部101Sとの交点の位置データをいう。注視点検出部214は、眼球111の画像データから取得された瞳孔中心の位置データ及び角膜曲率中心の位置データに基づいて、被験者の左右それぞれの眼球111の視線ベクトルを検出する。視線ベクトルが検出された後、注視点検出部214は、視線ベクトルと表示部101Sとの交点を示す注視点Pの位置データを検出する。
 領域設定部216は、表示装置101の表示部101Sに表示された評価用画像に対応した判定領域を設定する。領域設定部216は、評価用画像に含まれる人物、物体、模様などに判定領域を設定する。本実施形態では、領域設定部216は、表示部101Sにおいて評価用画像の少なくとも一部に判定領域を設定する。判定領域は、複数設定されることが好ましい。領域設定部216は、表示部101Sにおいて自然画と幾何学画像とが表示される場合、例えば、自然画が表示された領域の少なくとも一部と、幾何学画像が表示された領域の少なくとも一部とにそれぞれ判定領域を設定してもよい。判定領域は、評価用映像に含まれる物体に対して設定されることが好ましい。判定領域は、自然画に対して設定される場合、例えば、人物または人物の顔といった物体毎に設定することが好ましい。判定領域は、表示部101Sには表示されない。判定領域の形状は、例えば、矩形、円形、楕円形、多角形などであってもよく、限定されない。複数の判定領域の大きさは、異なってもよい。複数の判定領域は、重なって設定されてもよい。判定領域は、ASDの可能性が高い被験者と、ASDの可能性が低い被験者とで注視するか否かの傾向に差異が出る、評価用画像中の領域に設定されることが好ましい。
 判定部218は、注視点Pの位置データに基づいて、注視点Pが判定領域に存在するか否かをそれぞれ判定し、判定データを出力する。例えば、判定部218は、注視点Pが判定領域に存在すると判定する場合、当該判定領域の判定値を「1」とし、存在しないと判定する場合、当該判定領域の判定値を「0」とした判定データを出力する。判定部218は、注視点Pが判定領域に存在すると判定する場合、判定領域を注視した時間および注視した回数によらず、判定値を「1」とする。判定部218は、注視した時間が長くても短くても判定値を「1」とする。判定部218は、注視点Pが判定領域とその他の領域とを往復して、複数回、判定領域に存在すると判定する場合でも、判定値を「1」とする。判定部218は、例えば一定時間毎に注視点Pが判定領域に存在するか否かを判定する。一定時間としては、例えば第1カメラ102A及び第2カメラ102Bから出力されるフレーム同期信号の周期(例えば20[msec]毎)とすることができる。
 演算部220は、判定部218の判定データに基づいて、所定時間に注視点Pが存在する判定領域の総数を算出する。言い換えると、演算部220は、所定時間に評価用画像中の判定領域を被験者がいくつ見たかを算出する。演算部220は、各判定領域の判定値を積算して、注視点Pが存在する判定領域の総数を算出する。
 演算部220は、映像の再生時間を管理する管理タイマと、表示部101Sに映像が表示されてからの経過時間を検出する検出タイマを有する。
 評価部224は、演算部220が算出した注視点Pが存在する判定領域の総数に基づいて、被験者の評価データを求める。評価データは、表示動作において表示部101Sに表示される判定領域を被験者が注視した数を評価するデータである。評価データは、例えば、判定領域を注視した時間および注視した回数に関わらず、注視した判定領域の数を評価する。評価部224は、注視点Pが存在する判定領域毎に重みをつけて評価データを求めてもよい。評価部224は、さらに評価データが所定のしきい値以上であるか否かを判断し、評価の判定を行う。
 記憶部222は、上記の判定データ、及び評価データを記憶する。また、記憶部222は、画像を表示する処理と、表示部を観察する被験者の注視点Pの位置を検出する処理と、表示部において、判定領域を設定する処理と、注視点Pの位置データに基づいて、注視点Pが判定領域に存在するか否かをそれぞれ判定し、判定データを出力する処理と、判定データに基づいて、被験者の評価データを求める処理と、評価データを出力する処理とをコンピュータに実行させる評価プログラムを記憶する。
 出力制御部226は、表示装置101及び出力装置50の少なくとも一方にデータを出力する。
 次に、本実施形態に係る曲率中心算出部212の処理の概要について説明する。曲率中心算出部212は、眼球111の画像データに基づいて、眼球111の角膜曲率中心の位置データを算出する。図4及び図5は、本実施形態に係る角膜曲率中心110の位置データの算出方法を説明するための模式図である。図4は、1つの光源103Cで眼球111が照明される例を示す。図5は、第1光源103A及び第2光源103Bで眼球111が照明される例を示す。
 まず、図4に示す例について説明する。光源103Cは、第1カメラ102Aと第2カメラ102Bとの間に配置される。瞳孔中心112Cは、瞳孔112の中心である。角膜反射中心113Cは、角膜反射像113の中心である。図4において、瞳孔中心112Cは、眼球111が1つの光源103Cで照明されたときの瞳孔中心を示す。角膜反射中心113Cは、眼球111が1つの光源103Cで照明されたときの角膜反射中心を示す。角膜反射中心113Cは、光源103Cと角膜曲率中心110とを結ぶ直線上に存在する。角膜反射中心113Cは、角膜表面と角膜曲率中心110との中間点に位置付けられる。角膜曲率半径109は、角膜表面と角膜曲率中心110との距離である。角膜反射中心113Cの位置データは、ステレオカメラ装置102によって検出される。角膜曲率中心110は、光源103Cと角膜反射中心113Cとを結ぶ直線上に存在する。曲率中心算出部212は、その直線上において角膜反射中心113Cからの距離が所定値となる位置データを、角膜曲率中心110の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部222に記憶されている。
 次に、図5に示す例について説明する。本実施形態においては、第1カメラ102A及び第2光源103Bと、第2カメラ102B及び第1光源103Aとは、第1カメラ102Aと第2カメラ102Bとの中間位置を通る直線に対して左右対称の位置に配置される。第1カメラ102Aと第2カメラ102Bとの中間位置に仮想光源103Vが存在するとみなすことができる。角膜反射中心121は、第2カメラ102Bで眼球111を撮影した画像における角膜反射中心を示す。角膜反射中心122は、第1カメラ102Aで眼球111を撮影した画像における角膜反射中心を示す。角膜反射中心124は、仮想光源103Vに対応する角膜反射中心を示す。角膜反射中心124の位置データは、ステレオカメラ装置102で撮影された角膜反射中心121の位置データ及び角膜反射中心122の位置データに基づいて算出される。ステレオカメラ装置102は、ステレオカメラ装置102に規定される三次元ローカル座標系において角膜反射中心121の位置データ及び角膜反射中心122の位置データを検出する。ステレオカメラ装置102について、事前にステレオ較正法によるカメラ較正が実施され、ステレオカメラ装置102の三次元ローカル座標系を三次元グローバル座標系に変換する変換パラメータが算出される。その変換パラメータは、記憶部222に記憶されている。曲率中心算出部212は、ステレオカメラ装置102で撮影された角膜反射中心121の位置データ及び角膜反射中心122の位置データを、変換パラメータを使って、三次元グローバル座標系における位置データに変換する。曲率中心算出部212は、三次元グローバル座標系で規定される角膜反射中心121の位置データ及び角膜反射中心122の位置データに基づいて、三次元グローバル座標系における角膜反射中心124の位置データを算出する。角膜曲率中心110は、仮想光源103Vと角膜反射中心124とを結ぶ直線123上に存在する。曲率中心算出部212は、直線123上において角膜反射中心124からの距離が所定値となる位置データを、角膜曲率中心110の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部222に記憶されている。
 このように、光源が2つある場合でも、光源が1つである場合の方法と同様の方法で、角膜曲率中心110が算出される。
 角膜曲率半径109は、角膜表面と角膜曲率中心110との距離である。したがって、角膜表面の位置データ及び角膜曲率中心110の位置データが算出されることにより、角膜曲率半径109が算出される。
 次に、本実施形態に係る視線検出方法の一例について説明する。図6は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。キャリブレーション処理では、被験者に注視させるため、目標位置130が設定される。目標位置130は、三次元グローバル座標系において規定される。本実施形態において、目標位置130は、例えば表示装置101の表示部101Sの中央位置に設定される。なお、目標位置130は、表示部101Sの端部位置に設定されてもよい。出力制御部226は、設定された目標位置130に目標画像を表示する。直線131は、仮想光源103Vと角膜反射中心113Cとを結ぶ直線である。直線132は、目標位置130と瞳孔中心112Cとを結ぶ直線である。角膜曲率中心110は、直線131と直線132との交点である。曲率中心算出部212は、仮想光源103Vの位置データと、目標位置130の位置データと、瞳孔中心112Cの位置データと、角膜反射中心113Cの位置データとに基づいて、角膜曲率中心110の位置データを算出することができる。
 次に、注視点検出部214の注視点検出処理について説明する。注視点検出処理は、キャリブレーション処理の後に実施される。注視点検出部214は、眼球111の画像データに基づいて、被験者の視線ベクトル及び注視点Pの位置データを算出する。図7は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。図7において、注視点165は、一般的な曲率半径値を用いて算出された角膜曲率中心から求めた注視点Pを示す。注視点166は、キャリブレーション処理で求められた距離126を用いて算出された角膜曲率中心から求めた注視点Pを示す。瞳孔中心112Cは、キャリブレーション処理において算出された瞳孔中心を示し、角膜反射中心113Cは、キャリブレーション処理において算出された角膜反射中心を示す。直線173は、仮想光源103Vと角膜反射中心113Cとを結ぶ直線である。角膜曲率中心110は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離126は、キャリブレーション処理により算出した瞳孔中心112Cと角膜曲率中心110との距離である。角膜曲率中心110Hは、距離126を用いて角膜曲率中心110を補正した補正後の角膜曲率中心の位置を示す。角膜曲率中心110Hは、角膜曲率中心110が直線173上に存在すること、及び瞳孔中心112Cと角膜曲率中心110との距離が距離126であることから求められる。これにより、一般的な曲率半径値を用いる場合に算出される視線177は、視線178に補正される。また、表示装置101の表示部101S上の注視点Pは、注視点165から注視点166に補正される。
 [評価方法]
 次に、本実施形態に係る評価方法について説明する。本実施形態に係る評価方法では、上記の視線検出装置100を用いることにより、被験者の視機能として、発達障がいを評価する。
 表示制御部202は、評価用画像を表示部101Sに表示する。表示制御部202は、評価用画像を表示する前に、アイキャッチ映像を表示部101Sに表示して、表示部101S上において所望の位置に被験者の注視点Pを位置させてもよい。
 まず、図8ないし図11を用いて、評価用画像の例について説明する。図8は、評価用画像の一例を示す図である。図9は、図8の評価用画像に設定された判定領域の一例を示す図である。図10は、評価用画像の他の例を示す図である。図11は、図10の評価用画像に設定された判定領域の一例を示す図である。
 ここで示す評価用画像は、自然画と幾何学画像とを含む。発達障がい者は、自然画よりも幾何学画像の映像を好むためである。また、ASDであると診断された被験者は、他者の存在への無関心、人より物への興味の強さ、特定の物への興味(こだわり)が一般的な傾向とされるためである。自然画は、幾何学画像以外の、自然物または自然物を連想させるような画像であればよい。例えば、人物、動物、植物、及び自然の景観などをカメラで撮像した画像(静止画、動画)を自然画として用いてもよい。また、人物及び動物などを模したキャラクタの画像(静止画、動画)を自然画として用いてもよい。
 図8に示す評価用画像は、左側に自然画F1である人物映像を表示し、右側に幾何学画像G1を表示している。ここでは、自然画F1と幾何学画像G1との色彩、輝度、動きなどを近いように設計されている。
 また、図9に示すように、評価のため、評価用画像には、人物の顔付近に円形状の判定領域A11、判定領域A12及び判定領域A13を設定し、幾何学模様部分に円形状の判定領域A14、判定領域A15、判定領域A16及び判定領域A17を設定している。判定領域A11、判定領域A12、判定領域A13、判定領域A14、判定領域A15、判定領域A16及び判定領域A17は、表示部101Sには表示されない。これらの判定領域を注視したかを示す判定値を積算した、評価データである評価値を求めることにより、被験者が定型発達に近いか、発達障がいの可能性が高いか低いかを評価する。
 図10に示す評価用画像は、図8に対して、右側に自然画F2を表示し、左側に幾何学画像G2を表示している。図11に示すように、人物の顔付近に円形状の判定領域A22及び判定領域A23を設定し、幾何学模様部分に円形状の判定領域A21を設定している。これは、このような評価用画像を見せる場合、被験者の癖で右から見始める場合や、左をより多く見る場合などがあり、この影響を軽減するために左右配置の異なった映像を同数制作し、これを見せる方法(カウンターバランス)がある。しかしながら、この影響を完全に取ることは困難である。
 通常、複数の自然画と幾何学画像との組み合わせであるパターンなど複数の評価用画像を被験者に見せて、総合的に発達障がいの可能性が高いか低いかを評価する。これは、偶然性を排除するためと、たまたま好みに近い映像が出て、発達障がいの特性と異なる見方をしてしまう場合の影響を軽減するためである。そこで、例えば、評価用画像を図8→図10というように視聴してもらう。
 上記のような評価用画像を被験者に視認させると、被験者が発達障がい者である場合、人物映像よりも幾何学画像に対して興味を示す傾向にある。また、被験者が発達障がい者である場合、特定の物への興味を示す傾向がある。この場合、注視点Pが幾何学画像に移動し、幾何学画像を人物映像よりも注視する傾向にある。一方、被験者が発達障がい者ではない場合、特定の物への興味を示す傾向がないため、特定の画像を強い興味を示す傾向は見られない。この場合、注視点Pは画像中を多く移動して、多くの領域を注視する傾向にある。
 このため、例えば以下の手順を行うことにより、被験者を評価することが可能である。本実施形態では、表示部101Sに評価画像を提示しながら、同時に被験者の注視点Pを測定し、評価画像中に設定された判定領域に対する注視判定を行う。被験者の注視点Pが判定領域に入った場合、その被験者は該当の注視対象を見たと判断し、複数の評価用画像に対して被験者が見た判定領域の総数を評価値とする。ASD被験者は上記の理由によって相対的に評価値が低くなる傾向があるため、精度良くASDの診断支援を行うことが可能である。
 判定部218は、注視点Pが判定領域に入った場合、判定領域の判定値を「1」とする。演算部220は、注視点Pが存在する判定領域の積算した総数を算出する。
 本実施形態において、評価部224は、例えば、複数の画像における判定領域毎の判定値を積算することで、評価の判定を行うことが可能である。評価部224は、評価値が大きいほど、被験者の関心度は特定の物への興味を示す傾向はないと評価を判定することが可能である。また、この場合、被験者が発達障がい者である可能性は低いと評価することが可能である。評価部224は、評価値が小さいほど、被験者の関心度は幾何学画像の方が高い、または、特定の物への興味を示す傾向がある、と評価を判定することが可能である。また、この場合、被験者が発達障がい者である可能性は高いと評価を判定することが可能である。
 ここで、図8に示す評価用画像の判定領域毎の判定値を、X[判定領域]と表す。例えば、判定領域A11の判定値は、X[A11]と表し、判定領域A14の判定値は、X[A14]と表す。なお、注視点Pが一度も内部に存在しなかった判定領域の判定値は「0」、注視点Pが内部に存在した判定領域の判定値は「1」である。
 この場合、図8に示す評価用画像に対する評価値ANS1は、各判定領域の判定値を積算し、
ANS1=X[A11]+X[A12]+X[A13]+X[A14]+X[A15]+X[A16]+X[A17]
と表される。
 図10に示す評価用画像に対する評価値ANS2は、各判定領域の判定値を積算し、
ANS2=X[A21]+X[A22]+X[A23]
と表される。
 これらより、図8に示す評価用画像に対する評価値ANS1と図10に示す評価用画像に対する評価値ANS2とを積算して、被験者の評価値ANSは、例えば、
ANS=ANS1+ANS2
と表される。
 図12、図14を用いて、被験者Aの評価値ANSについて説明する。図12は、図8の評価用画像に対する注視点の一例を示す図である。図14は、図10の評価用画像に対する注視点の一例を示す図である。
 被験者Aの図8に示す評価用画像に対する評価値ANS1は、
ANS1=1+0+1+1+0+0+0=3
と算出される。
 被験者Aの図10に示す評価用画像に対する評価値ANS2は、
ANS2=1+0+1=2
と算出される。
 これらより、被験者Aの評価値ANSは、
ANS=3+2=5
と算出される。
 例えば、ASDの可能性が高いか否かを判断するしきい値を「7」とすると、被験者Aの評価値ANSはしきい値以上ではないので、「ASDの可能性が高い」と判断する。
 図13、図15を用いて、被験者Bの評価値ANSについて説明する。図13は、図8の評価用画像に対する注視点の他の例を示す図である。図15は、図10の評価用画像に対する注視点の他の例を示す図である。
 被験者Bの図8に示す評価用画像に対する評価値ANS1は、
ANS1=1+1+1+1+1+1+0=6
と算出される。
 被験者Bの図10に示す評価用画像に対する評価値ANS2は、
ANS2=1+1+1=3
と算出される。
 これらより、被験者Bの評価値ANSは、
ANS=6+3=9
と算出される。
 例えば、ASDの可能性が高いか否かを判断するしきい値を「7」とすると、被験者Bの評価値ANSはしきい値以上であるので、「ASDの可能性が低い」と判断する。
 また、評価値は、判定領域毎の判定値に重み付けをして算出してもよい。
 重み付けの第一の方法は、同一画像内の判定領域毎に重み付けを行う方法である。例えば、自然画に設定された判定領域に対して重み付けを行う。この場合、評価値ANS1、評価値ANS2は、以下のように表される。なお、Kは、重みづけのための係数である。係数Kは、適宜設定することができる。
ANS1=X[A11]・K+X[A12]・K+X[A13]・K+X[A14]+X[A15]+X[A16]+X[A17]
ANS2=X[A21]+X[A22]・K+X[A23]・K
 ここで、係数Kを「2」とした場合、被験者Aの評価値は、以下のように算出される。
ANS1=2+0+2+1+0+0+0=5
ANS2=1+0+2=3
ANS=8
 重み付けを行う、言い換えると、重要視する判定領域の選定方法は、既知の臨床的な知見によるもの、または、計測結果から診断感度が高くなるように選択する方法などが考えられる。また、係数Kの値は判定領域毎に異なる値を設定することもできる。
 重み付けの第二の方法は、評価用画像毎に重み付けを行う方法である。例えば、図10に示す評価用画像に対して重み付けを行う。この場合、評価値ANS1、評価値ANS2は、以下のように表される。
ANS1=X[A11]+X[A12]+X[A13]+X[A14]+X[A15]+X[A16]+X[A17]
ANS2=(X[A21]+X[A22]+X[A23])・K
 ここで、係数Kを「2」とした場合、被験者Aの評価値は、以下のように算出される。
ANS1=3
ANS2=4
ANS=7
 重み付けを行う、言い換えると、重要視する評価用画像の選定方法は、既知の臨床的な知見によるもの、または、計測結果から診断感度が高くなるように選択する方法などが考えられる。また、係数Kの値は評価用画像毎に異なる値を設定することもできる。
 図16、図17を用いて、評価用画像の他の例について説明する。図16は、評価用画像の他の例を示す図である。図17は、図16の評価用画像に設定された判定領域の一例を示す図である。評価用画像は、自然画と幾何学画像とを含むものに限定されない。評価用画像は、複数の物体を含む1つの自然画であってもよい。
 図16に示す評価用画像は、複数の物体を含む自然画F3である。自然画F3には、例えば、自動車、自動車の運転手、信号機、点灯中の青信号、看板、看板に書かれた文字、歩行者、動物、横断歩道などが含まれる。
 また、図17に示すように、評価のため、評価用画像には、自動車に判定領域A31、自動車の運転者に判定領域A32、信号機に判定領域A33、点灯中の青信号に判定領域A34、看板に判定領域A35、看板に書かれた文字に判定領域A36、歩行者に判定領域A37、動物に判定領域A38、及び、横断歩道に判定領域A39を設定している。また、判定領域A31の中に判定領域A32を設定し、判定領域A33の中に判定領域A34を設定し、判定領域A35の中に判定領域A36を設定している。この場合、内側の判定領域A32、判定領域A34、及び、判定領域A36の内部に注視点Pが存在すると判定する場合、外側の判定領域A31、判定領域A33、及び、判定領域A35の内部にも注視点Pが存在するとして判定する。
 評価部224は、評価データである評価値ANSが所定のしきい値以上か否かを判断して、評価の判定を行う。例えば評価値ANSがしきい値以上である場合、被験者がASDである可能性は低いと評価を判定することができる。また、評価値ANSが所定のしきい値以上ではない場合、被験者がASDである可能性は高いと評価を判定することができる。
 本実施形態において、出力制御部226は、評価部224が評価結果を出力した場合、評価結果に応じて、例えば「被験者は発達障がい者である可能性が低いと思われます」の文字データや、「被験者は発達障がい者である可能性が高いと思われます」の文字データ等を出力装置50に出力させる。
 次に、本実施形態に係る評価方法の一例について、図18を参照しながら説明する。図18は、本実施形態に係る評価方法の一例を示すフローチャートである。
 注視点検出部214は、注視点検出を開始させる(ステップS101)。そして、ステップS102に進む。
 表示制御部202は、表示部101Sに1枚目の評価用画像を表示させる(ステップS102)。本実施形態では、表示制御部202は、表示部101Sに図8に示す評価用画像を表示させる。そして、ステップS103に進む。
 演算部220は、1枚目の評価用画像に設定された判定領域の判定値を「0」にする(ステップS103)。本実施形態では、演算部220は、1枚目の評価用画像に設定された判定領域A11ないし判定領域A17の判定値を「0」にする。そして、ステップS104に進む。
 注視点検出部214は、被験者の評価用画像における注視点Pを取得する(ステップS104)。より詳しくは、注視点検出部214は、表示装置101に表示された1枚目の評価用画像を被験者に見せた状態で、規定のサンプリング周期(例えば20[msec])毎に、表示装置101の表示部101Sにおける被験者の注視点Pの位置データを検出する。そして、ステップS105に進む。
 判定部218は、注視点Pの座標が判定領域A11ないし判定領域A17の内部に存在するかを判定する(ステップS105)。より詳しくは、判定部218は、サンプリング周期(例えば20[msec])毎に、注視点検出部214が検出した位置データに基づいて注視点Pが存在する判定領域を判定する。
 注視点Pが判定領域A11ないし判定領域A17の内部に存在すると判定された場合(ステップS105でYes)、判定部218は、注視点Pが存在すると判定された判定領域の判定値を「1」に変更する(ステップS106)。そして、ステップS107に進む。
 注視点Pが判定領域A11ないし判定領域A17の内部に存在しないと判定された場合(ステップS105でNo)、ステップS107に進む。
 演算部220は、検出タイマの検出結果に基づいて、1枚目の評価用映像の再生が完了する時刻に到達したか否かを判断する(ステップS107)。本実施形態では、1枚目の評価用映像の再生開始から3[sec]が経過すると、1枚目の評価用映像の再生が完了する時刻に到達したと判断する。演算部220により1枚目の評価用映像の再生が完了する時刻に到達したと判断された場合(ステップS107のYes)、ステップS108に進む。本実施形態では、1枚目の評価用映像の再生開始から3[sec]が経過していないと、1枚目の評価用映像の再生が完了する時刻に到達していないと判断する。演算部220により1枚目の評価用映像の再生が完了する時刻に到達していないと判断された場合(ステップS107のNo)、上記のステップS104以降の処理を繰り返し行う。
 演算部220により1枚目の評価用映像の再生が完了する時刻に到達したと判断された場合(ステップS107のYes)、表示制御部202は、表示部101Sに2枚目の評価用画像を表示させる(ステップS108)。本実施形態では、表示制御部202は、表示部101Sに図10に示す評価用画像を表示させる。そして、ステップS109に進む。
 演算部220は、2枚目の評価用画像に設定された判定領域の判定値を「0」にする(ステップS109)。本実施形態では、演算部220は、2枚目の評価用画像に設定された判定領域A21ないし判定領域A23の判定値を「0」にする。そして、ステップS110に進む。
 注視点検出部214は、被験者の評価用画像における注視点Pを取得する(ステップS110)。より詳しくは、注視点検出部214は、表示装置101に表示された2枚目の評価用画像を被験者に見せた状態で、規定のサンプリング周期(例えば20[msec])毎に、表示装置101の表示部101Sにおける被験者の注視点Pの位置データを検出する。そして、ステップS111に進む。
 判定部218は、注視点Pの座標が判定領域A21ないし判定領域A23の内部に存在するかを判定する(ステップS111)。より詳しくは、判定部218は、サンプリング周期(例えば20[msec])毎に、注視点検出部214が検出した位置データに基づいて注視点Pが存在する判定領域を判定する。
 注視点Pが判定領域A21ないし判定領域A23の内部に存在すると判定された場合(ステップS111でYes)、判定部218は、注視点Pが存在する判定領域の判定値を「1」に変更する(ステップS112)。そして、ステップS113に進む。
 注視点Pが判定領域A21ないし判定領域A23の内部に存在しないと判定された場合(ステップS111でNo)、ステップS113に進む。
 演算部220は、検出タイマの検出結果に基づいて、2枚目の評価用映像の再生が完了する時刻に到達したか否かを判断する(ステップS113)。本実施形態では、2枚目の評価用映像の再生開始から3[sec]が経過すると、2枚目の評価用映像の再生が完了する時刻に到達したと判断する。演算部220により2枚目の評価用映像の再生が完了する時刻に到達したと判断された場合(ステップS113のYes)、ステップS114に進む。本実施形態では、2枚目の評価用映像の再生開始から3[sec]が経過していないと、2枚目の評価用映像の再生が完了する時刻に到達していないと判断する。演算部220により2枚目の評価用映像の再生が完了する時刻に到達していないと判断された場合(ステップS113のNo)、上記のステップS110以降の処理を繰り返し行う。
 評価部224は、注視点Pが存在する判定領域の総数に基づいて、被験者の評価値を算出する(ステップS114)。演算部220は、1枚目の評価用画像に対する判定値を積算して評価値ANS1を算出する。また、演算部220は、2枚目の評価用画像に対する判定値を積算して評価値ANS2を算出する。評価部224は、1枚目の評価用画像に対する評価値ANS1と、2枚目の評価用画像に対する評価値ANS2とを積算して、被験者の評価値ANSを算出する。そして、ステップS115に進む。
 評価部224は、算出した評価値ANSがしきい値以上であるか否かを判断する(ステップS115)。本実施形態では、評価部224は、評価値ANSがしきい値「7」以上であるか否かを判断する。
 評価部224は、算出した評価値ANSがしきい値以上ではないと判断する場合(ステップS115でNo)、被験者は「ASDの可能性が高い」と評価を判定する(ステップS116)。その後、出力制御部226は、評価部224で判定した評価結果を出力して、処理を終了する。
 評価部224は、算出した評価値ANSがしきい値以上であると判断する場合(ステップS115でYes)、被験者は「ASDの可能性が低い」と評価を判定する(ステップS117)。その後、出力制御部226は、評価部224で判定した評価結果を出力して、処理を終了する。
 以上のように、本実施形態に係る評価装置は、画像を表示する表示部101Sと、表示部101Sを観察する被験者の注視点Pの位置を検出する注視点検出部214と、表示部101Sにおいて、判定領域を設定する領域設定部216と、注視点Pの位置データに基づいて、注視点Pが判定領域の内部に存在するか否かをそれぞれ判定する判定部218と、判定部218の判定結果に基づいて、注視点Pが存在する判定領域の総数を算出する演算部220と、演算部220が算出した注視点Pが存在する判定領域の総数に基づいて、被験者の評価データを求める評価部224とを備える。
 また、本実施形態に係る評価方法は、表示部101Sに画像を表示する表示ステップと、表示部101Sを観察する被験者の注視点Pの位置を検出する注視点検出ステップと、表示部101Sにおいて、判定領域を設定する領域設定ステップと、注視点Pの位置データに基づいて、注視点Pが判定領域の内部に存在するか否かをそれぞれ判定する判定ステップと、判定ステップにおける判定結果に基づいて、注視点Pが存在する判定領域の総数を算出する演算ステップと、演算ステップによって算出された注視点Pが存在する判定領域の総数に基づいて、被験者の評価データを求める評価ステップとを含む。
 また、本実施形態に係る評価プログラムは、表示部101Sに画像を表示する表示ステップと、表示部101Sを観察する被験者の注視点Pの位置を検出する注視点検出ステップと、表示部101Sにおいて、判定領域を設定する領域設定ステップと、注視点Pの位置データに基づいて、注視点Pが判定領域の内部に存在するか否かをそれぞれ判定する判定ステップと、判定ステップにおける判定結果に基づいて、注視点Pが存在する判定領域の総数を算出する演算ステップと、演算ステップによって算出された注視点Pが存在する判定領域の総数に基づいて、被験者の評価データを求める評価ステップとをコンピュータに実行させる。
 本実施形態によれば、注視点Pが存在する判定領域の総数に基づいて、言い換えると、評価用画像中の判定領域をいくつ見たかによって、被験者の評価データを求めることができる。本実施形態は、被験者のASDの診断支援を簡単かつ高精度に行うことができる。
 本実施形態では、領域設定部216は、画像に含まれる人物、物体、模様などに判定領域を複数設定する。ASDの被験者は、特定の物への強い興味を示す傾向があるので、複数の判定領域のうちいずれかをより注視する可能性が高い。このように、本実施形態によれば、高精度の評価データを効率的に得ることができる。
 本実施形態では、評価部224は、注視点Pが存在する判定領域毎に重みをつけて評価データを求める。これにより、既知の臨床的な知見によるもの、または、計測結果から診断感度が高くなるように選択する方法などを使用して、各データに適切に優先順位をつけることができる。本実施形態によれば、より高精度の評価データを得ることができる。
 本実施形態では、評価部224は、評価データが所定のしきい値以上であるか否かを判断することによって、評価の判定を行う。本実施形態によれば、より高精度の評価データを容易に得ることができる。
 本開示の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記各実施形態では、視線検出装置100を、ASDである可能性を評価する評価装置として用いる場合を例に挙げて説明したが、これに限定されない。例えば、視線検出装置100を、注意欠陥・多動性障がい(ADHD:Attention-deficit hyperactivity disorder)であるか可能性を評価する評価装置にも適用可能である。
 本開示の評価装置、評価方法、及び評価プログラムは、例えば視線検出装置に利用することができる。
 A11~A17…判定領域、A21~A23…判定領域、P…注視点、ANS…評価値、20…コンピュータシステム、100…視線検出装置、101…表示装置、101S…表示部、102…ステレオカメラ装置、103…照明装置、202…表示制御部、214…注視点検出部、216…領域設定部、218…判定部、220…演算部、222…記憶部、224…評価部、226…出力制御部

Claims (5)

  1.  画像を表示する表示部と、
     前記表示部を観察する被験者の注視点の位置データを検出する注視点検出部と、
     前記表示部において、判定領域を設定する領域設定部と、
     前記注視点の位置データに基づいて、前記注視点が前記判定領域の内部に存在するか否かをそれぞれ判定する判定部と、
     前記判定部の判定結果に基づいて、所定時間に前記注視点が存在する前記判定領域の総数を算出する演算部と、
     前記演算部が算出した前記注視点が存在する前記判定領域の総数に基づいて、前記被験者の評価データを求める評価部と、
     を備える評価装置。
  2.  前記領域設定部は、前記判定領域を複数設定し、
     前記評価部は、前記判定領域に重みをつけて評価データを求める、
     請求項1に記載の評価装置。
  3.  前記評価部は、さらに前記評価データが所定のしきい値以上であるか否かを判断し、評価の判定を行う、
     請求項1または2に記載の評価装置。
  4.  表示部に画像を表示する表示ステップと、
     前記表示部を観察する被験者の注視点の位置データを検出する注視点検出ステップと、
     前記表示部において、判定領域を設定する領域設定ステップと、
     前記注視点の位置データに基づいて、前記注視点が前記判定領域の内部に存在するか否かをそれぞれ判定する判定ステップと、
     前記判定ステップにおける判定結果に基づいて、所定時間に前記注視点が存在する前記判定領域の総数を算出する演算ステップと、
     前記演算ステップによって算出された前記注視点が存在する前記判定領域の総数に基づいて、前記被験者の評価データを求める評価ステップと、
     を含む評価方法。
  5.  表示部に画像を表示する表示ステップと、
     前記表示部を観察する被験者の注視点の位置データを検出する注視点検出ステップと、
     前記表示部において、判定領域を設定する領域設定ステップと、
     前記注視点の位置データに基づいて、前記注視点が前記判定領域の内部に存在するか否かをそれぞれ判定する判定ステップと、
     前記判定ステップにおける判定結果に基づいて、所定時間に前記注視点が存在する前記判定領域の総数を算出する演算ステップと、
     前記演算ステップによって算出された前記注視点が存在する前記判定領域の総数に基づいて、前記被験者の評価データを求める評価ステップと、
     をコンピュータに実行させる評価プログラム。
PCT/JP2019/047899 2018-12-14 2019-12-06 評価装置、評価方法、及び評価プログラム WO2020121975A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980082608.4A CN113194839A (zh) 2018-12-14 2019-12-06 评价装置、评价方法及评价程序
EP19894584.2A EP3878373B1 (en) 2018-12-14 2019-12-06 Evaluation device, evaluation method, and evaluation program
US17/341,441 US20210290133A1 (en) 2018-12-14 2021-06-08 Evaluation device, evaluation method, and non-transitory storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-233988 2018-12-14
JP2018233988A JP7057483B2 (ja) 2018-12-14 2018-12-14 評価装置、評価方法、及び評価プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/341,441 Continuation US20210290133A1 (en) 2018-12-14 2021-06-08 Evaluation device, evaluation method, and non-transitory storage medium

Publications (1)

Publication Number Publication Date
WO2020121975A1 true WO2020121975A1 (ja) 2020-06-18

Family

ID=71076883

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/047899 WO2020121975A1 (ja) 2018-12-14 2019-12-06 評価装置、評価方法、及び評価プログラム

Country Status (5)

Country Link
US (1) US20210290133A1 (ja)
EP (1) EP3878373B1 (ja)
JP (1) JP7057483B2 (ja)
CN (1) CN113194839A (ja)
WO (1) WO2020121975A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4145387A4 (en) * 2020-06-05 2023-11-29 JVCKenwood Corporation DEVICE, METHOD AND PROGRAM FOR LINE OF SIGHT DETECTION

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011206542A (ja) 2010-03-30 2011-10-20 National Univ Corp Shizuoka Univ 自閉症診断支援用装置
WO2016052646A1 (ja) * 2014-09-30 2016-04-07 国立大学法人浜松医科大学 不注意の測定装置、システム、及び方法
JP2017099513A (ja) * 2015-11-30 2017-06-08 株式会社Jvcケンウッド 診断支援装置および診断支援方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5926210B2 (ja) * 2012-03-21 2016-05-25 国立大学法人浜松医科大学 自閉症診断支援システム及び自閉症診断支援装置
JP5971066B2 (ja) * 2012-09-28 2016-08-17 株式会社Jvcケンウッド 診断支援装置および診断支援装置の作動方法
JP5949404B2 (ja) * 2012-09-28 2016-07-06 株式会社Jvcケンウッド 診断支援装置および診断支援方法
JP6217445B2 (ja) * 2013-03-07 2017-10-25 株式会社Jvcケンウッド 診断支援装置および診断支援方法
WO2014208761A1 (ja) * 2013-06-28 2014-12-31 株式会社Jvcケンウッド 診断支援装置及び診断支援方法
JP6848526B2 (ja) * 2017-02-28 2021-03-24 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
JP6737234B2 (ja) * 2017-05-22 2020-08-05 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011206542A (ja) 2010-03-30 2011-10-20 National Univ Corp Shizuoka Univ 自閉症診断支援用装置
WO2016052646A1 (ja) * 2014-09-30 2016-04-07 国立大学法人浜松医科大学 不注意の測定装置、システム、及び方法
JP2017099513A (ja) * 2015-11-30 2017-06-08 株式会社Jvcケンウッド 診断支援装置および診断支援方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4145387A4 (en) * 2020-06-05 2023-11-29 JVCKenwood Corporation DEVICE, METHOD AND PROGRAM FOR LINE OF SIGHT DETECTION

Also Published As

Publication number Publication date
US20210290133A1 (en) 2021-09-23
EP3878373A1 (en) 2021-09-15
EP3878373A4 (en) 2022-01-05
JP7057483B2 (ja) 2022-04-20
CN113194839A (zh) 2021-07-30
EP3878373B1 (en) 2023-09-20
JP2020092924A (ja) 2020-06-18

Similar Documents

Publication Publication Date Title
JP6848526B2 (ja) 評価装置、評価方法、及び評価プログラム
US20210007653A1 (en) Evaluation apparatus, evaluation method, and non-transitory storage medium
WO2020137028A1 (ja) 表示装置、表示方法、およびプログラム
JP6747172B2 (ja) 診断支援装置、診断支援方法、及びコンピュータプログラム
JP2015177953A (ja) 診断支援装置および診断支援方法
EP3928713B1 (en) Evaluation device, evaluation method, and evaluation program
WO2020121975A1 (ja) 評価装置、評価方法、及び評価プログラム
JP7268307B2 (ja) 評価装置、評価装置の作動方法、及び評価プログラム
JP6996343B2 (ja) 評価装置、評価方法、及び評価プログラム
JP7239856B2 (ja) 評価装置、評価方法、及び評価プログラム
JP2020025849A (ja) 評価装置、評価方法、及び評価プログラム
JP2023015167A (ja) 評価装置、評価方法、及び評価プログラム
JP7047676B2 (ja) 評価装置、評価方法、及び評価プログラム
WO2020031471A1 (ja) 評価装置、評価方法、及び評価プログラム
JP6766646B2 (ja) 視機能検査装置、視機能検査方法、及びコンピュータプログラム
WO2023181494A1 (ja) 評価装置、評価方法及び評価プログラム
EP3970624B1 (en) Evaluation device, evaluation method, and evaluation program
JP7247690B2 (ja) 評価装置、評価方法、及び評価プログラム
JP7172787B2 (ja) 評価装置、評価方法、及び評価プログラム
JP7027958B2 (ja) 評価装置、評価方法、及び評価プログラム
US11019994B2 (en) Visual performance examination device, visual performance examination method, and computer program
WO2019181272A1 (ja) 評価装置、評価方法、及び評価プログラム
JP2021087825A (ja) 評価装置、評価方法、及び評価プログラム
JP2020103855A (ja) 評価装置、評価方法、及び評価プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19894584

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019894584

Country of ref document: EP

Effective date: 20210610