WO2020026574A1 - 視線検出装置、視線検出方法及び視線検出プログラム - Google Patents

視線検出装置、視線検出方法及び視線検出プログラム Download PDF

Info

Publication number
WO2020026574A1
WO2020026574A1 PCT/JP2019/021186 JP2019021186W WO2020026574A1 WO 2020026574 A1 WO2020026574 A1 WO 2020026574A1 JP 2019021186 W JP2019021186 W JP 2019021186W WO 2020026574 A1 WO2020026574 A1 WO 2020026574A1
Authority
WO
WIPO (PCT)
Prior art keywords
calibration operation
position data
center
target image
calibration
Prior art date
Application number
PCT/JP2019/021186
Other languages
English (en)
French (fr)
Inventor
林　孝浩
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to EP19843409.4A priority Critical patent/EP3811852B1/en
Publication of WO2020026574A1 publication Critical patent/WO2020026574A1/ja
Priority to US17/152,832 priority patent/US11890057B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/15—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
    • A61B3/152—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for aligning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/06—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing light sensitivity, e.g. adaptation; for testing colour vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/63—Static or dynamic means for assisting the user to position a body part for biometric acquisition by static guides

Definitions

  • the present invention relates to a gaze detection device, a gaze detection method, and a gaze detection program.
  • a line-of-sight detection device that detects a position where an operator or a subject gazes on an observation surface such as a monitor screen has been proposed.
  • the detection light is applied to the subject's eyeball, and the pupil center and the corneal curvature center are calculated from the image of the eye irradiated with the detection light.
  • Patent Document 1 when an error occurs in the calibration operation, the error is reported and the operation returns to the initial state for performing the calibration operation again.
  • the operator or the like needs to manually input. For this reason, depending on the subject, the concentration may be interrupted, and the detection accuracy may be reduced.
  • the present invention has been made in view of the above, and an object of the present invention is to provide a gaze detection device, a gaze detection method, and a gaze detection program capable of suppressing a decrease in detection accuracy.
  • a gaze detection device is a display screen that displays an image, a light source that irradiates at least one eye of a subject with detection light, and an image data acquisition unit that acquires image data of the eye that is irradiated with the detection light. And, from the obtained image data, a position detection unit that detects position data of a pupil center indicating a center of a pupil of an eyeball irradiated with the detection light and position data of a corneal reflection center indicating a center of corneal reflection.
  • a gazing point detection unit that calculates the position data of the gazing point of the subject on a plane including the display screen based on the position of the pupil center and the position of the corneal reflection center, and at a plurality of positions on the display screen.
  • a target image is sequentially displayed, a corresponding area corresponding to the target image displayed on the display screen is sequentially set on the display screen, and the fixation point is displayed during a display period in which each of the target images is displayed.
  • Performs a calibration operation to calculate position data performs determination on whether or not the position data of the gazing point calculated in the calibration operation exists in the corresponding region for each of the target images,
  • the position data of the gazing point for the valid target image is output as calibration data, and the valid data is output.
  • the control unit causes the calibration operation to be performed again.
  • the gaze detection method is to irradiate at least one eye of the subject with detection light, and to acquire image data of the eye to be irradiated with the detection light, and from the acquired image data, Detecting position data of the pupil center indicating the center of the pupil of the eyeball irradiated with the detection light and position data of the corneal reflection center indicating the center of the corneal reflection, and detecting the position of the pupil center and the position of the corneal reflection center Calculating position data of the point of interest of the subject on a plane including the display screen, and sequentially displaying target images at a plurality of positions on the display screen, and displaying the target displayed on the display screen.
  • a corresponding region corresponding to an image is sequentially set on the display screen, and a calibration operation of calculating the position data of the gazing point during a display period in which the respective target images are displayed is performed.
  • the determination of whether or not the position data of the gazing point calculated in the calibration operation is present in the corresponding area is performed for each of the target images, and it is determined that the position data of the gazing point is present in the corresponding area.
  • the position data of the gazing point for the effective target image is output as calibration data, and when the number of effective target images is less than the threshold, And causing the calibration operation to be performed again.
  • the eye-gaze detection program includes a process of irradiating at least one eye of a subject with detection light, a process of acquiring image data of the eye to which the detection light is irradiated, and the acquired image data, Processing for detecting position data of the pupil center indicating the center of the pupil of the eyeball irradiated with the detection light and position data of the corneal reflection center indicating the center of the corneal reflection; and the position of the pupil center and the position of the corneal reflection center Based on the processing of calculating the position data of the gaze point of the subject on a plane including the display screen, and sequentially display target images at a plurality of positions on the display screen, the target displayed on the display screen A calibration operation of sequentially setting corresponding areas corresponding to images on the display screen and calculating the position data of the gazing point during a display period in which each of the target images is displayed.
  • the computer is caused to execute a process of performing the calibration operation again.
  • a gaze detection device capable of suppressing a decrease in detection accuracy.
  • FIG. 1 is a perspective view schematically illustrating an example of a visual line detection device according to the present embodiment.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the visual line detection device according to the present embodiment.
  • FIG. 3 is a functional block diagram illustrating an example of the visual line detection device according to the present embodiment.
  • FIG. 4 is a schematic diagram for explaining a method of calculating the position data of the corneal curvature center according to the present embodiment.
  • FIG. 5 is a schematic diagram for explaining a method of calculating the position data of the corneal curvature center according to the present embodiment.
  • FIG. 6 is a schematic diagram for explaining an example of the calibration process according to the present embodiment.
  • FIG. 1 is a perspective view schematically illustrating an example of a visual line detection device according to the present embodiment.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the visual line detection device according to the present embodiment.
  • FIG. 3 is a functional block diagram illustrating an example of the
  • FIG. 7 is a schematic diagram for explaining an example of the gazing point detection process according to the present embodiment.
  • FIG. 8 is a diagram illustrating a display example of displaying a target image on a display screen.
  • FIG. 9 is a diagram illustrating an example of a detection range of a gazing point detected by the calibration operation.
  • FIG. 10 is a diagram illustrating an example of a detection range of a gazing point detected by the second calibration operation.
  • FIG. 11 is a diagram illustrating another example of the detection range of the gazing point detected by the calibration operation again.
  • FIG. 12 is a diagram illustrating another display example of displaying a target image on a display screen.
  • FIG. 13 is a flowchart illustrating an example of the calibration process in the visual line detection method according to the present embodiment.
  • a three-dimensional global coordinate system is set and the positional relationship of each part is described.
  • the direction parallel to the first axis of the predetermined surface is defined as the X-axis direction
  • the direction parallel to the second axis of the predetermined surface orthogonal to the first axis is defined as the Y-axis direction
  • a direction parallel to the third axis is defined as a Z-axis direction.
  • the predetermined plane includes the XY plane.
  • FIG. 1 is a perspective view schematically illustrating an example of a visual line detection device 100 according to the first embodiment.
  • the visual line detection device 100 includes a display device 101, a stereo camera device 102, and a lighting device 103.
  • the display device 101 includes a flat panel display such as a liquid crystal display (LCD) or an organic EL display (organic electroluminescence display: OLED).
  • the display device 101 has a display screen 101S.
  • the display screen 101S displays an image.
  • the display screen 101S displays, for example, an index for evaluating the visual function of the subject.
  • the display screen 101S is substantially parallel to the XY plane.
  • the X axis direction is the horizontal direction of the display screen 101S
  • the Y axis direction is the vertical direction of the display screen 101S
  • the Z axis direction is the depth direction orthogonal to the display screen 101S.
  • the stereo camera device 102 has a first camera 102A and a second camera 102B.
  • the stereo camera device 102 is disposed below the display screen 101S of the display device 101.
  • the first camera 102A and the second camera 102B are arranged in the X-axis direction.
  • the first camera 102A is arranged in the ⁇ X direction with respect to the second camera 102B.
  • Each of the first camera 102A and the second camera 102B includes an infrared camera, and has, for example, an optical system capable of transmitting near-infrared light having a wavelength of 850 [nm] and an image sensor capable of receiving the near-infrared light. .
  • the lighting device (light source) 103 includes a first light source 103A and a second light source 103B.
  • the lighting device 103 is arranged below the display screen 101S of the display device 101.
  • the first light source 103A and the second light source 103B are arranged in the X-axis direction.
  • the first light source 103A is arranged in the ⁇ X direction with respect to the first camera 102A.
  • the second light source 103B is arranged in the + X direction more than the second camera 102B.
  • Each of the first light source 103A and the second light source 103B includes an LED (light emitting diode) light source, and can emit, for example, near-infrared light having a wavelength of 850 [nm].
  • the first light source 103A and the second light source 103B may be arranged between the first camera 102A and the second camera 102B.
  • the stereo camera 102 may be arranged above the display screen 101S of the display device 101.
  • the illumination device 103 emits near-infrared light, which is detection light, to illuminate the eyeball 111 of the subject.
  • the stereo camera device 102 captures a part of the eyeball 111 (hereinafter, referred to as “eyeball”) with the second camera 102B when the detection light emitted from the first light source 103A is applied to the eyeball 111. Then, when the detection light emitted from the second light source 103B is applied to the eyeball 111, the eyeball 111 is photographed by the first camera 102A.
  • a frame synchronization signal is output from at least one of the first camera 102A and the second camera 102B.
  • the first light source 103A and the second light source 103B emit detection light based on the frame synchronization signal.
  • the first camera 102A captures image data of the eyeball 111 when the detection light emitted from the second light source 103B is applied to the eyeball 111.
  • the second camera 102B captures image data of the eyeball 111 when the detection light emitted from the first light source 103A is applied to the eyeball 111.
  • the detection light When the detection light is applied to the eyeball 111, a part of the detection light is reflected by the pupil 112, and the light from the pupil 112 enters the stereo camera device 102.
  • a corneal reflection image 113 that is a virtual image of the cornea is formed on the eyeball 111, and light from the corneal reflection image 113 enters the stereo camera device 102.
  • the intensity of light incident on the stereo camera device 102 from the pupil 112 decreases, and the cornea
  • the intensity of light incident on the stereo camera device 102 from the reflection image 113 increases. That is, the image of the pupil 112 captured by the stereo camera device 102 has low brightness, and the image of the corneal reflection image 113 has high brightness.
  • the stereo camera device 102 can detect the position of the pupil 112 and the position of the corneal reflection image 113 based on the luminance of the captured image.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the eye-gaze tracking device 100 according to the present embodiment.
  • the line-of-sight detection device 100 includes a display device 101, a stereo camera device 102, a lighting device 103, a computer system (control unit) 20, an input / output interface device 30, a drive circuit 40, An output device 50 and an input device 60 are provided.
  • the computer system 20, the drive circuit 40, the output device 50, and the input device 60 perform data communication via the input / output interface device 30.
  • the computer system 20 includes an arithmetic processing device 20A and a storage device 20B.
  • the arithmetic processing device 20A includes a microprocessor such as a CPU (central processing unit).
  • the storage device 20B includes a memory or storage such as a ROM (read only memory) and a RAM (random access memory).
  • the arithmetic processing device 20A performs arithmetic processing according to the computer program 20C stored in the storage device 20B.
  • the drive circuit 40 generates a drive signal and outputs the drive signal to the display device 101, the stereo camera device 102, and the lighting device 103. Further, the drive circuit 40 supplies the image data of the eyeball 111 captured by the stereo camera device 102 to the computer system 20 via the input / output interface device 30.
  • the output device 50 includes a display device such as a flat panel display. Note that the output device 50 may include a printing device.
  • the input device 60 generates input data when operated. Input device 60 includes a keyboard or mouse for a computer system. Note that the input device 60 may include a touch sensor provided on a display screen of the output device 50 that is a display device.
  • the display device 101 and the computer system 20 are separate devices. Note that the display device 101 and the computer system 20 may be integrated.
  • the tablet personal computer may include the computer system 20, the input / output interface device 30, the drive circuit 40, and the display device 101.
  • FIG. 3 is a functional block diagram illustrating an example of the eye gaze detecting device 100 according to the present embodiment.
  • the input / output interface device 30 has an input / output unit 302.
  • the driving circuit 40 generates a driving signal for driving the display device 101 and outputs the driving signal to the display device 101, and a driving signal for driving the first camera 102A to generate a driving signal for the first camera 102A.
  • the first camera input / output unit 404A supplies image data of the eyeball 111 captured by the first camera 102A to the computer system 20 via the input / output unit 302.
  • the second camera input / output unit 404B supplies the image data of the eyeball 111 captured by the second camera 102B to the computer system 20 via the input / output unit 302.
  • the computer system 20 controls the visual line detection device 100.
  • the computer system 20 includes a display control unit 202, a light source control unit 204, an image data acquisition unit 206, an input data acquisition unit 208, a position detection unit 210, a curvature center calculation unit 212, a fixation point detection unit 214, , An area setting unit 216, a determination unit 218, a calculation unit 220, a calibration control unit 222, a storage unit 224, and an output control unit 226.
  • the functions of the computer system 20 are exhibited by the arithmetic processing unit 20A and the storage device 20B.
  • the display control unit 202 causes the display screen 101S of the display device 101 to display an image to be shown to the subject.
  • the display control unit 202 can display, for example, target images in the calibration operation at a plurality of positions (target positions) on the display screen 101S.
  • the display control unit 202 may sequentially switch the target image to a plurality of target positions one by one and display the target image, or may display the target image such that the target image sequentially moves to a plurality of target positions in the display screen 101S.
  • the number of target positions at which the target image is displayed can be set by, for example, inputting by the operator using the input device 60 or the like.
  • the light source control unit 204 controls the light source driving unit 406 to control the operation state of the first light source 103A and the second light source 103B.
  • the light source control unit 204 controls the first light source 103A and the second light source 103B such that the first light source 103A and the second light source 103B emit detection light at different timings.
  • the image data acquisition unit 206 acquires image data of the subject's eye 111 taken by the stereo camera device 102 including the first camera 102A and the second camera 102B from the stereo camera device 102 via the input / output unit 302.
  • the input data acquisition unit 208 acquires input data generated by operating the input device 60 from the input device 60 via the input / output unit 302.
  • the position detection unit 210 detects the position data of the pupil center based on the image data of the eyeball 111 acquired by the image data acquisition unit 206. Further, the position detection unit 210 detects the position data of the corneal reflection center based on the image data of the eyeball 111 acquired by the image data acquisition unit 206.
  • the pupil center is the center of the pupil 112.
  • the corneal reflection center is the center of the corneal reflection image 113.
  • the position detection unit 210 detects the position data of the pupil center and the position data of the corneal reflection center for the eyeball 111 to which the detection light is applied.
  • the center of curvature calculating unit 212 calculates the position data of the center of the corneal curvature of the eyeball 111 based on the image data of the eyeball 111 acquired by the image data acquiring unit 206.
  • the gaze point detection unit 214 detects the position data of the gaze point of the subject based on the image data of the eyeball 111 acquired by the image data acquisition unit 206.
  • the position data of the gazing point refers to the position data of the intersection of the line of sight of the subject defined by the three-dimensional global coordinate system and the plane including the display screen 101S of the display device 101.
  • the gazing point detection unit 214 detects the line-of-sight vectors of the left and right eyeballs 111 of the subject based on the pupil center position data and the corneal curvature center position data acquired from the image data of the eyeball 111. After the gaze vector is detected, the gazing point detection unit 214 detects gazing point position data indicating an intersection between the gazing vector and the display screen 101S.
  • the area setting unit 216 sets a corresponding area corresponding to the target image displayed on the display screen 101S in the display screen 101S during the display period in which the target image is displayed on the display screen 101S.
  • the determination unit 218 determines whether or not a gazing point exists in the corresponding region based on the viewpoint position data during the display period in which the target image is displayed on the display screen 101S.
  • the determination unit 218 determines, for example, at regular time intervals, whether or not the point of regard exists in the corresponding area.
  • the fixed time can be, for example, the cycle (eg, every 50 [msec]) of the frame synchronization signal output from the first camera 102A and the second camera 102B.
  • Calculating section 220 counts the number of times of determination that the gazing point has been determined to be present in the corresponding area based on the determination data of determination section 218.
  • the operation unit 220 has a counter that counts the number of determinations for the corresponding area.
  • the calibration control unit 222 causes a calibration operation to be performed.
  • the calibration operation includes displaying target images at a plurality of positions on the display screen 101S, setting corresponding areas corresponding to the target images displayed on the display screen 101S on the display screen 101S, and Calculating the position data of the gazing point during the displayed display period.
  • the calibration control unit 222 determines whether or not the position data of the gazing point calculated in the calibration operation exists in the corresponding area for each target image. When performing this determination, the calibration control unit 222 determines whether or not the point of regard is present in each corresponding image based on the number of determinations counted by the calculation unit 220. For example, the calibration control unit 222 determines, for each target image, that the number of determinations that the point of gaze has been present in the corresponding area is equal to or greater than a certain percentage of the number of position data of the point of gaze detected. For, it is determined that the point of regard exists in the corresponding area.
  • the target image for which it is determined that the position data of the gazing point exists in the corresponding area is referred to as an effective target image. Also, for each target image, if the number of times of determination that the point of interest is determined to be present in the corresponding area is less than a certain percentage of the number of position data of the point of interest, It is determined that the gaze point does not exist in the corresponding area for the image.
  • the calibration control unit 222 determines whether the number of valid target images is equal to or greater than a threshold.
  • the threshold can be set, for example, by the operator inputting with the input device 60 or the like.
  • the calibration control unit 222 outputs the position data of the gazing point of the valid target image as calibration data. If the number of valid target images is less than the threshold, the calibration control unit 222 causes the calibration operation to be performed again.
  • the calibration control unit 222 When performing the calibration operation again, the calibration control unit 222 causes the target images to be displayed at the same plurality of target positions as the latest calibration operation, and performs the re-calibration operation and the immediately preceding calibration operation. If the target images displayed at the same target position are successively determined to be valid target images, all other valid target images in the immediately preceding calibration operation of the successive calibration operations are It is determined as a valid target image in the calibration operation.
  • the calibration control unit 222 can display a target image having a different appearance from the target image displayed in the immediately preceding calibration operation. In this case, for example, based on a command from the calibration control unit 222, the display control unit selects and displays one of a plurality of types of target images.
  • the calibration control unit 222 outputs an error indicating that the calibration operation has an error when the number of valid target images is less than the threshold value in any case where the calibration operation has been performed a predetermined number of times.
  • the predetermined number of times for performing the calibration operation can be set by, for example, inputting by the operator using the input device 60 or the like.
  • the storage unit 224 stores various data and programs related to the above-described gaze detection.
  • the storage unit 224 stores display data (images, moving images, etc.) according to the number of positions where the target image is displayed.
  • the storage unit 224 stores the display data for a plurality of types of target images having different appearances, for example.
  • the storage unit 224 stores the position data of the point of gaze calculated in each calibration operation.
  • the storage unit 224 irradiates the detection light from the processing of irradiating at least one eyeball of the subject with the detection light, the processing of acquiring image data of the eyeball irradiated with the detection light, and the acquired image data. Processing for detecting position data of the pupil center indicating the center of the pupil of the eyeball and position data of the corneal reflection center indicating the center of the corneal reflection, and displaying the display screen based on the position of the pupil center and the position of the corneal reflection center.
  • the process of calculating the position data of the gaze point of the subject on the plane including, and sequentially displaying the target images at a plurality of positions on the display screen, and sequentially displaying the corresponding areas corresponding to the target images displayed on the display screen on the display screen.
  • the calibration operation for calculating the position data of the gazing point during the display period in which each target image is displayed is performed, and the position data of the gazing point calculated in the calibration operation is calculated. It is determined for each target image whether or not the data exists in the corresponding area. If the number of valid target images that are the target images for which the position data of the gazing point is determined to be present in the corresponding area is equal to or larger than the threshold, the validity is determined.
  • a gaze detection program is output that outputs position data of the point of regard for the target image as calibration data, and causes the computer to execute processing for performing the calibration operation again when the number of valid target images is less than the threshold.
  • the output control unit 226 outputs data to at least one of the display device 101 and the output device 50.
  • the center-of-curvature calculation unit 212 calculates the position data of the center of the corneal curvature of the eyeball 111 based on the image data of the eyeball 111.
  • 4 and 5 are schematic diagrams for explaining a method of calculating position data of the corneal curvature center 110 according to the present embodiment.
  • FIG. 4 shows an example in which the eyeball 111 is illuminated by one light source 103C.
  • FIG. 5 shows an example in which the eyeball 111 is illuminated by the first light source 103A and the second light source 103B.
  • the light source 103C is arranged between the first camera 102A and the second camera 102B.
  • Pupil center 112C is the center of pupil 112.
  • the corneal reflection center 113C is the center of the corneal reflection image 113.
  • a pupil center 112C indicates a pupil center when the eyeball 111 is illuminated by one light source 103C.
  • the corneal reflection center 113C indicates a corneal reflection center when the eyeball 111 is illuminated by one light source 103C.
  • the corneal reflection center 113C exists on a straight line connecting the light source 103C and the corneal curvature center 110.
  • the corneal reflection center 113C is positioned at an intermediate point between the corneal surface and the corneal curvature center 110.
  • the corneal curvature radius 109 is the distance between the corneal surface and the corneal curvature center 110.
  • the position data of the corneal reflection center 113C is detected by the stereo camera device 102.
  • the corneal curvature center 110 exists on a straight line connecting the light source 103C and the corneal reflection center 113C.
  • the curvature center calculation unit 212 calculates, as the position data of the corneal curvature center 110, position data at which the distance from the corneal reflection center 113C on the straight line becomes a predetermined value.
  • the predetermined value is a value determined in advance from a general radius of curvature of the cornea or the like, and is stored in the storage unit 224.
  • the first camera 102A and the second light source 103B and the second camera 102B and the first light source 103A are bilaterally symmetric with respect to a straight line passing through an intermediate position between the first camera 102A and the second camera 102B. It is arranged at the position. It can be considered that the virtual light source 103V exists at an intermediate position between the first camera 102A and the second camera 102B.
  • the corneal reflection center 121 indicates a corneal reflection center in an image of the eyeball 111 captured by the second camera 102B.
  • the corneal reflection center 122 indicates a corneal reflection center in an image obtained by photographing the eyeball 111 with the first camera 102A.
  • the corneal reflection center 124 indicates a corneal reflection center corresponding to the virtual light source 103V.
  • the position data of the corneal reflection center 124 is calculated based on the position data of the corneal reflection center 121 and the position data of the corneal reflection center 122 captured by the stereo camera device 102.
  • the stereo camera device 102 detects the position data of the corneal reflection center 121 and the position data of the corneal reflection center 122 in a three-dimensional local coordinate system defined by the stereo camera device 102.
  • camera calibration is performed in advance by the stereo calibration method, and conversion parameters for converting the three-dimensional local coordinate system of the stereo camera device 102 into a three-dimensional global coordinate system are calculated.
  • the conversion parameters are stored in the storage unit 224.
  • the center-of-curvature calculation unit 212 converts the position data of the corneal reflection center 121 and the position data of the corneal reflection center 122 captured by the stereo camera device 102 into position data in a three-dimensional global coordinate system using the conversion parameters.
  • the curvature center calculating unit 212 calculates the position data of the corneal reflection center 124 in the three-dimensional global coordinate system based on the position data of the corneal reflection center 121 and the position data of the corneal reflection center 122 defined in the three-dimensional global coordinate system. I do.
  • the corneal curvature center 110 exists on a straight line 123 connecting the virtual light source 103V and the corneal reflection center 124.
  • the center-of-curvature calculation unit 212 calculates position data at which the distance from the corneal reflection center 124 on the straight line 123 becomes a predetermined value as position data of the corneal curvature center 110.
  • the predetermined value is a value determined in advance from a general radius of curvature of the cornea or the like, and is stored in the storage unit 224.
  • the corneal curvature center 110 is calculated by the same method as the method in the case where there is one light source.
  • the corneal curvature radius 109 is the distance between the corneal surface and the corneal curvature center 110. Accordingly, the corneal curvature radius 109 is calculated by calculating the corneal surface position data and the corneal curvature center 110 position data.
  • FIG. 6 is a schematic diagram for explaining an example of the calibration process according to the present embodiment.
  • a target position 130 is set to make the subject gaze.
  • the target position 130 is defined in a three-dimensional global coordinate system.
  • the display control unit 202 displays a target image at the set target position 130.
  • the straight line 141 is a straight line connecting the virtual light source 103V and the corneal reflection center 113C.
  • the straight line 142 is a straight line connecting the target position 130 and the pupil center 112C.
  • the corneal curvature center 110 is the intersection of the straight line 141 and the straight line 142.
  • the curvature center calculation unit 212 calculates the position data of the corneal curvature center 110 based on the position data of the virtual light source 103V, the position data of the target position 130, the position data of the pupil center 112C, and the position data of the corneal reflection center 113C. Can be calculated. Then, the gazing point detection unit 214 can calculate the position data of the gazing point from the calculated corneal curvature center. The details of the calibration process will be described later.
  • FIG. 7 is a schematic diagram for explaining an example of the gazing point detection process according to the present embodiment.
  • a point of regard 165 indicates a point of regard obtained from the center of the corneal curvature calculated using a general curvature radius value.
  • the gazing point 166 indicates a gazing point obtained from the corneal curvature center calculated using the distance 126 obtained by the calibration process.
  • Pupil center 112C indicates the pupil center calculated in the calibration process
  • corneal reflection center 113C indicates the corneal reflection center calculated in the calibration process.
  • the straight line 173 is a straight line connecting the virtual light source 103V and the corneal reflection center 113C.
  • the corneal curvature center 110 is a position of the corneal curvature center calculated from a general curvature radius value.
  • the distance 126 is a distance between the pupil center 112C and the corneal curvature center 110 calculated by the calibration process.
  • the corneal curvature center 110H indicates the position of the corrected corneal curvature center obtained by correcting the corneal curvature center 110 using the distance 126.
  • the corneal curvature center 110H is obtained from the fact that the corneal curvature center 110 exists on the straight line 173 and that the distance between the pupil center 112C and the corneal curvature center 110 is a distance 126.
  • the line of sight 177 calculated when using a general radius of curvature is corrected to the line of sight 178.
  • the gazing point on the display screen 101S of the display device 101 is corrected from the gazing point 165 to the gazing point 166.
  • FIG. 8 is a diagram illustrating a display example of displaying a target image on the display screen 101S. As illustrated in FIG. 8, the display control unit 202 causes the target images M to be sequentially displayed at a plurality of target positions 130. Note that the number of target positions 130 at which the target image M is displayed can be set by the operator inputting in advance using the input device 60 or the like. The display control unit 202 sequentially displays the target images M one by one at the set number of target positions 130.
  • the display control unit 202 controls the first position 131, the second position 132, and the third position 133 of the display screen 101S.
  • the target images M are sequentially switched and displayed one by one at five target positions 130, that is, a fourth position 134 and a fifth position 135.
  • five target images M are shown at five target positions 130, but actually, one target image M is sequentially displayed one by one.
  • the display control unit 202 displays the target image M at each target position 130 such that the display periods are equal.
  • the region setting unit 216 sets a corresponding region A corresponding to the target image M displayed on the display screen 101S on the display screen 101S. As illustrated in FIG. 8, when the target images M are displayed at five target positions 130 from the first position 131 to the fifth position 135, the region setting unit 216 determines whether or not each target position 130 is displayed during the display period. A corresponding area A corresponding to each target image M is set. For example, the region setting unit 216 sets a corresponding region A1 corresponding to the target image M at the first position 131 during a display period in which the target image M is displayed at the first position 131.
  • the region setting unit 216 sets a corresponding region A2 corresponding to the target image M at the second position 132.
  • the region setting unit 216 sets a corresponding region A3 corresponding to the target image M at the third position 133.
  • the region setting unit 216 sets a corresponding region A4 corresponding to the target image M at the fourth position 134.
  • the region setting unit 216 sets the corresponding region A5 corresponding to the target image M at the fifth position 135.
  • the region setting unit 216 sequentially switches the setting of the corresponding region A from the corresponding region A1 to the corresponding region A5 so as to synchronize with the timing at which the display position of the target image M is sequentially switched from the first position 131 to the fifth position 135.
  • the image data acquisition unit 206 acquires the image data of the left and right eyes, and the position detection unit 210 calculates the position data of the pupil center and the position data of the corneal reflection center. Then, the position data of the gazing point is calculated by the gazing point detecting unit 214.
  • This processing is performed, for example, at the cycle of the frame synchronization signal output from the first camera 102A and the second camera 102B (for example, every 50 [msec]).
  • the first camera 102A and the second camera 102B capture images synchronously.
  • FIG. 9 is a diagram illustrating an example of the detection range of the gazing point detected by the calibration operation.
  • the detection ranges P1 to P5 shown in FIG. 9 schematically show the range of the gazing point detected in each display period in which the target image M is displayed from the first position 131 to the fifth position 135.
  • the gaze point calculated by the calibration operation is not actually displayed on the display screen 101S.
  • the calibration control unit 222 determines whether or not the position data of the gazing point calculated in the above-described calibration operation exists in the corresponding area A for each target image M. As shown in FIG. 9, in the display period in which the target image M is displayed at the first position 131, the calculated range of the gazing point exists in the corresponding area A1. Therefore, the calibration control unit 222 determines that the position data of the gazing point exists in the corresponding area A1. In this case, the target image M displayed at the first position 131 is an effective target image.
  • the calibration control unit 222 determines that the position data of the gazing point exists in the corresponding area A2.
  • the target image M displayed at the second position 132 is an effective target image.
  • the calibration control unit 222 determines that the position data of the gazing point does not exist in the corresponding area A3. In this case, the target image M displayed at the third position 133 is not an effective target image.
  • the calibration control unit 222 determines that the position data of the gazing point exists in the corresponding area A4.
  • the target image M displayed at the fourth position 134 is an effective target image.
  • the calibration control unit 222 determines that the position data of the gazing point does not exist in the corresponding area A5. In this case, the target image M displayed at the fifth position 135 is not an effective target image.
  • the calibration control unit 222 determines whether the number of valid target images detected in this way is equal to or greater than a threshold.
  • the threshold can be set, for example, by an operator inputting with the input device 60 or the like.
  • the calibration control unit 222 determines that the number of valid target images is equal to or more than the threshold.
  • the calibration control unit 222 outputs the position data of the gazing point of the valid target image as calibration data. That is, the calibration control unit 222 outputs the position data of the gazing point in the detection range P1 corresponding to the target image M at the first position 131 as calibration data. Further, the calibration control unit 222 outputs, as calibration data, the position data of the gazing point in the detection range P2 corresponding to the target image M at the second position 132. Further, the calibration control unit 222 outputs, as calibration data, the position data of the gazing point in the detection range P4 corresponding to the target image M at the fourth position 134.
  • the calibration control unit 222 determines that the number of valid target images is less than the threshold. When the number of valid target images is less than the threshold, the calibration control unit 222 causes the above-described calibration operation to be performed again. In this case, the calibration control unit 222 causes the storage unit 224 to store the position data of the gazing point detected in the above-described calibration operation.
  • the display control unit 202 causes the target image M to be displayed at the same target position 130 as in the immediately preceding calibration operation. That is, the target images M are displayed at the five target positions 130 from the first position 131 to the fifth position 135. Further, the area setting unit 216 sets the corresponding area A in the display period of the target image M at each target position 130 by the same processing as the immediately preceding calibration operation. Then, the image data acquisition unit 206 acquires left and right eyeball image data, the position detection unit 210 detects the position data of the pupil center and the position data of the corneal reflection center, and the fixation point detection unit 214 detects the fixation point position data. Is calculated.
  • the computer system 20 since the re-calibration operation is automatically performed by the computer system 20, a more natural and high-precision operation can be performed while maintaining the concentration of the subject without obstructing a series of flow of the gaze detection process. Measurement results can be obtained efficiently. Further, when performing the calibration operation again, the computer system 20 shifts to the calibration operation without notifying the user of the fact, so that the subject's concentration can be prevented from being interrupted.
  • FIG. 10 is a diagram showing an example of the detection range of the gazing point detected by the re-calibration operation.
  • the calculated gazing point ranges are within the corresponding areas A1, A3, and A4, respectively. Exists. Therefore, in the second calibration operation, three target images M displayed at the first position 131, the third position 133, and the fourth position 134 are detected as effective target images.
  • a method is used in which the target image M sequentially displayed at the plurality of target positions 130 on the display screen 101S is followed and watched.
  • the present inventor has found that in such a method, when a calibration operation is repeated a plurality of times, a subject who follows and gazes in a similar manner in each calibration operation has a characteristic that a subject who accurately follows and gazes. Was found. In other words, if the distribution of the position data of the point of regard coincides or approximates in a plurality of calibration operations, it can be estimated that they have the same viewpoint.
  • the target image M displayed at the same position as the target image M determined to be the valid target image in the re-calibration operation is also a valid target image continuously in the immediately preceding calibration operation. If so, you can think of them as having the same view.
  • the calibration control unit 222 causes the storage unit 224 to store the position data of the center point calculated in the latest calibration operation for each target position 130. Then, the calibration control unit 222 displays the target images M at the same plurality of target positions 130 as the latest calibration operation, that is, from the first position 131 to the fifth position 135. After that, when the target image M displayed at the same target position 130 in the re-calibration operation and the immediately preceding calibration operation is continuously determined to be an effective target image, the calibration control unit 222 All the other valid target images in the immediately preceding calibration operation among consecutive calibration operations are determined as valid target images in the next calibration operation.
  • the calibration control unit 222 determines all other valid target images in the immediately preceding calibration operation as valid target images in the next calibration operation. That is, the target image M displayed at the second position 132 which was determined as the effective target image in the immediately preceding calibration operation is also detected as an effective target image in the next calibration operation. As a result, in the calibration operation shown in FIG. 10, four effective target images are detected.
  • the calibration control unit 222 performs the most recent calibration operation.
  • the position data of the center point calculated in the session operation is stored in the storage unit 224 for each target position 130.
  • the calibration control unit 222 causes the target images M to be displayed from the first position 131 to the fifth position 135, respectively.
  • the calibration control unit 222 determines at least one of the target images M displayed at the first position 131 and the fourth position 134 that are the same target position 130 as the two previous calibration operations. Is determined as an effective target image, all other effective target images in the two calibration operations are determined as effective target images in the re-calibration operation.
  • the calibration control unit 222 causes the storage unit 224 to store the position data of the gazing point calculated in each calibration operation, and stores the data in the storage unit 224 when determining the valid target image of the calibration operation again.
  • the stored position data of the gazing point can be fed back and used.
  • the calibration control unit 222 determines whether or not the number of effective target images detected in this way is equal to or greater than a threshold. If the number of effective target images is equal to or greater than the threshold, the calibration control unit 222 determines the position data of the gazing point for the effective target image. Output as calibration data. When the number of valid target images is less than the threshold, the calibration control unit 222 causes the above-described calibration operation to be performed again.
  • FIG. 11 is a diagram showing another example of the detection range of the gazing point detected by the calibration operation again.
  • the calculated range of the gazing point exists in the corresponding areas A3 and A5, respectively. Therefore, in the second calibration operation, the two target images M displayed at the third position 133 and the fifth position 135 are detected as effective target images.
  • the calibration control unit 222 does not determine the effective target image of the immediately preceding calibration operation as the effective target image of the next calibration operation. As a result, in the calibration operation shown in FIG. 11, two effective target images are detected.
  • FIG. 12 is a diagram illustrating another display example of displaying a target image on the display screen 101S.
  • the display control unit 202 can display the target image MA having a different appearance from the target image M displayed in the immediately preceding calibration operation.
  • the display control unit 202 displays the target image M at the same plurality of target positions 130 as in the immediately preceding calibration operation. In this manner, by displaying the target image MA having a different appearance from the target image M of the immediately preceding calibration operation by the second calibration operation, it is possible to suppress a decrease in concentration and a fixation rate due to the tiredness of the subject.
  • the calibration control unit 222 outputs that the calibration operation is in error.
  • the predetermined number of times can be set, for example, by the operator inputting with the input device 60 or the like.
  • FIG. 13 is a flowchart illustrating an example of the calibration process in the visual line detection method according to the present embodiment.
  • the calibration control unit 222 sets the number (X) of the target positions 130 to be displayed on the display screen 101S (Step S101).
  • the calibration control unit 222 sets the number X of the target positions 130 based on an input result from the input device 60, for example.
  • X is an integer of 2 or more.
  • the calibration control unit 222 sets a threshold value (Y) of the effective target image (step S102).
  • the calibration control unit 222 sets the threshold value Y of the effective target image based on, for example, an input result from the input device 60. Note that Y is an integer of 1 or more and X or less.
  • the calibration control unit 222 sets the number of retries (R) for performing the calibration operation again (step S103).
  • the calibration control unit 222 sets the number of retries R based on, for example, an input result from the input device 60.
  • R is an integer of 1 or more.
  • R may be set to 0. In this case, the setting is such that the calibration is not performed again.
  • the calibration operation is performed (step S104).
  • the target images M are displayed at the plurality of target positions 130 based on the set number X of the target positions 130, and the corresponding area A corresponding to the target image M is set in the display period of each target image M.
  • the image data acquisition unit 206 acquires left and right eyeball image data
  • the position detection unit 210 detects the pupil center position data and the corneal reflection center position data
  • the gazing point detector 214 calculates the position data of the gazing point.
  • the calibration control unit 222 obtains the number (Z) of the target images M determined to be valid target images (step S105). In step S105, the calibration control unit 222 determines that the target image M displayed at the same target position 130 in the re-calibration operation and the immediately preceding calibration operation is continuously an effective target image. In such a case, all other valid target images in the immediately preceding calibration operation of the consecutive calibration operations are determined as valid target images in the next calibration operation. After obtaining the number Z of valid target images, the calibration control unit 222 determines whether the number Z of valid target images is equal to or larger than the threshold Y (step S106).
  • the calibration control unit 222 When it is determined that the number Z of valid target images is equal to or larger than the threshold Y (Yes in step S106), the calibration control unit 222 outputs, as calibration data, the position data of the gazing point determined as the valid target image. Then, the calibration operation ends.
  • the calibration control unit 222 sets the number of retries for performing the re-calibration operation up to that time to the set value. It is determined whether or not the number of retrials R reached (step S107). As a result of the determination, when the number of retries of the calibration operation has reached the set number R (Yes in step S107), the calibration control unit 222 outputs that the calibration operation has an error (step S107). (S110), the process ends.
  • the calibration control unit 222 causes the calibration operation to be performed again.
  • the calibration control unit 222 transmits an instruction to change the type of the target image M to the display control unit 202 (Step S108).
  • the calibration control unit 222 causes the storage unit 224 to store the position data of the gazing point, which is the detection result in the immediately preceding calibration operation (Step S109). Then, the operation after step S104 is repeatedly performed.
  • the visual line detection device includes the display screen 101S that displays an image, the illumination device 103 that irradiates the detection light to at least one eye of the subject, and the image of the eye that is irradiated with the detection light.
  • An image data acquisition unit 206 that acquires data, and from acquired image data, position data of a pupil center indicating the center of a pupil of an eyeball irradiated with detection light and position data of a corneal reflection center indicating a center of corneal reflection.
  • a gaze point detection unit 214 that calculates position data of the gaze point of the subject on a plane including the display screen 101S based on the position of the pupil center and the position of the corneal reflection center,
  • the target images M are sequentially displayed at a plurality of target positions 130 on the screen 101S, and the corresponding areas A corresponding to the target images M displayed on the display screen 101S are sequentially displayed on the display screen 101S. Then, a calibration operation for calculating the position data of the gazing point during the display period in which the respective target images M are displayed is performed.
  • the valid target image M A computer system 20 that outputs the position data of the gazing point as calibration data and causes the calibration operation to be performed again when the number Z of effective target images is less than the threshold Y.
  • the eye gaze detection method is to irradiate at least one eye of the subject with the detection light, and to acquire image data of the eye to be irradiated with the detection light, and from the acquired image data, Detecting the position data of the pupil center indicating the center of the pupil of the eyeball irradiated with the detection light and the position data of the corneal reflection center indicating the center of the corneal reflection, based on the position of the pupil center and the position of the corneal reflection center; Calculating the position data of the gazing point of the subject on the plane including the display screen 101S, sequentially displaying the target images M at the plurality of target positions 130 on the display screen 101S, and displaying the target image M displayed on the display screen 101S.
  • Calibration for sequentially setting the corresponding area A corresponding to the image M on the display screen 101S and calculating the position data of the point of gaze during the display period in which each target image M is displayed. And determining whether or not the position data of the gazing point calculated in the calibration operation exists in the corresponding area A for each target image M, and determining that the position data of the gazing point exists in the corresponding area A.
  • the position data of the gazing point of the effective target image is output as calibration data, and when the number Z of the effective target images is smaller than the threshold Y. And performing the calibration operation again.
  • the eye-gaze detection program is a process of irradiating at least one eyeball of the subject with detection light, a process of acquiring image data of the eyeball irradiated with the detection light, and from the acquired image data, A process of detecting position data of the pupil center indicating the center of the pupil of the eyeball irradiated with the detection light and position data of the corneal reflection center indicating the center of the corneal reflection, based on the position of the pupil center and the position of the corneal reflection center Calculating the position data of the subject's gazing point on a plane including the display screen 101S, and sequentially displaying the target images M at a plurality of target positions 130 on the display screen 101S, and displaying the target images displayed on the display screen 101S.
  • the calibration area A is sequentially set on the display screen 101S corresponding to M, and the position data of the gazing point is calculated during the display period in which each target image M is displayed. Is performed for each target image M to determine whether or not the position data of the gazing point calculated in the calibration operation exists in the corresponding area A.
  • the position data of the gazing point of the valid target image is output as calibration data, and the number Z of the valid target images is smaller than the threshold Y.
  • the computer is caused to execute a process of performing the calibration operation again.
  • the re-calibration operation is automatically performed by the computer system 20, so that a more natural and accurate measurement can be performed while maintaining the concentration of the subject without hindering a series of flow of the gaze detection process. High measurement results can be obtained efficiently. This makes it possible to suppress a decrease in detection accuracy.
  • the calibration control unit 222 causes the target images M to be displayed at the first position 131 to the fifth position 135, which are the same target positions 130 as the most recent calibration operation. If the target images M displayed at the same target position 130 in the re-calibration operation and the immediately preceding calibration operation are successively determined to be effective target images, All other valid target images in the previous calibration operation are determined as valid target images in the second calibration operation. Thus, the calibration operation can be efficiently performed by utilizing the characteristics of the subject.
  • the calibration control unit 222 displays a target image MA having a different appearance from the target image M displayed in the immediately preceding calibration operation. Thereby, it is possible to suppress a decrease in concentration and a decrease in gaze rate due to the tiredness of the subject.
  • the calibration control unit 222 When the calibration operation has been performed a predetermined number of times R and the number Z of valid target images is less than the threshold value Y in any case, the calibration control unit 222 outputs an error indicating that the calibration operation is in error. Thus, when the number Z of effective target images is less than the threshold Y even if the calibration operation is performed a predetermined number of times R, the calibration operation can be separated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Vascular Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Abstract

視線検出装置は、表示画面の複数の位置に目標画像を順次表示させ、表示画面に表示される目標画像に対応した対応領域を表示画面に順次設定し、それぞれの目標画像が表示される表示期間に注視点の位置データを算出するキャリブレーション動作を行い、キャリブレーション動作において算出された注視点の位置データが対応領域に存在するか否かの判定をそれぞれの目標画像について行い、注視点の位置データが対応領域に存在すると判定された目標画像である有効目標画像の数が閾値以上の場合、有効目標画像についての注視点の位置データをキャリブレーションデータとして出力し、有効目標画像の数が閾値未満の場合、キャリブレーション動作を再度行わせる。

Description

視線検出装置、視線検出方法及び視線検出プログラム
　本発明は、視線検出装置、視線検出方法及び視線検出プログラムに関する。
　操作者または被験者がモニタ画面などの観察面上で注視している位置を検出する、視線検出装置が提案されている。顔に装置を取り付けることなく被験者の視線方向を非接触で検出する方法として、被験者の眼球に検出光を照射し、検出光が照射された眼の画像から瞳孔中心と角膜曲率中心とを算出し、角膜曲率中心から瞳孔中心へ向かうベクトルを被験者の視線方向として検出する技術が知られている。このような視線検出装置では、被験者又は操作者の視線をより正確に検出するために、モニタ画面上のある目標位置を操作者または被験者に注視させ、操作者または被験者ごとにキャリブレーションを行う方法が提案されている（例えば、特許文献１参照。）。
特開平８－３２１９７３号公報
　特許文献１では、キャリブレーション動作においてエラーが生じた場合、エラーを報知してキャリブレーション動作を再度行うための初期状態に戻るようにしている。しかしながら、その後、再度キャリブレーション動作を行うためには、操作者等が手動で入力する必要がある。このため、被験者によっては、集中力が途切れてしまい、検出精度が低下する可能性がある。
　本発明は、上記に鑑みてなされたものであり、検出精度の低下を抑制可能な視線検出装置、視線検出方法及び視線検出プログラムを提供することを目的とする。
　本発明に係る視線検出装置は、画像を表示する表示画面と、被験者の少なくとも一方の眼球に検出光を照射する光源と、前記検出光が照射される眼球の画像データを取得する画像データ取得部と、取得された前記画像データから、前記検出光が照射される眼球の瞳孔の中心を示す瞳孔中心の位置データと角膜反射の中心を示す角膜反射中心の位置データとを検出する位置検出部と、前記瞳孔中心の位置及び前記角膜反射中心の位置に基づいて、前記表示画面を含む平面上での被験者の注視点の位置データを算出する注視点検出部と、前記表示画面の複数の位置に目標画像を順次表示させ、前記表示画面に表示される前記目標画像に対応した対応領域を前記表示画面に順次設定し、それぞれの前記目標画像が表示される表示期間に前記注視点の位置データを算出するキャリブレーション動作を行い、前記キャリブレーション動作において算出された前記注視点の位置データが前記対応領域に存在するか否かの判定をそれぞれの前記目標画像について行い、前記注視点の位置データが前記対応領域に存在すると判定された前記目標画像である有効目標画像の数が閾値以上の場合、前記有効目標画像についての前記注視点の位置データをキャリブレーションデータとして出力し、前記有効目標画像の数が前記閾値未満の場合、前記キャリブレーション動作を再度行わせる制御部とを備える。
　本発明に係る視線検出方法は、被験者の少なくとも一方の眼球に検出光を照射することと、前記検出光が照射される眼球の画像データを取得することと、取得された前記画像データから、前記検出光が照射される眼球の瞳孔の中心を示す瞳孔中心の位置データと角膜反射の中心を示す角膜反射中心の位置データとを検出することと、前記瞳孔中心の位置及び前記角膜反射中心の位置に基づいて、前記表示画面を含む平面上での被験者の注視点の位置データを算出することと、前記表示画面の複数の位置に目標画像を順次表示させ、前記表示画面に表示される前記目標画像に対応した対応領域を前記表示画面に順次設定し、それぞれの前記目標画像が表示される表示期間に前記注視点の位置データを算出するキャリブレーション動作を行い、前記キャリブレーション動作において算出された前記注視点の位置データが前記対応領域に存在するか否かの判定をそれぞれの前記目標画像について行い、前記注視点の位置データが前記対応領域に存在すると判定された前記目標画像である有効目標画像の数が閾値以上の場合、前記有効目標画像についての前記注視点の位置データをキャリブレーションデータとして出力し、前記有効目標画像の数が前記閾値未満の場合、前記キャリブレーション動作を再度行わせることとを含む。
　本発明に係る視線検出プログラムは、被験者の少なくとも一方の眼球に検出光を照射する処理と、前記検出光が照射される眼球の画像データを取得する処理と、取得された前記画像データから、前記検出光が照射される眼球の瞳孔の中心を示す瞳孔中心の位置データと角膜反射の中心を示す角膜反射中心の位置データとを検出する処理と、前記瞳孔中心の位置及び前記角膜反射中心の位置に基づいて、前記表示画面を含む平面上での被験者の注視点の位置データを算出する処理と、前記表示画面の複数の位置に目標画像を順次表示させ、前記表示画面に表示される前記目標画像に対応した対応領域を前記表示画面に順次設定し、それぞれの前記目標画像が表示される表示期間に前記注視点の位置データを算出するキャリブレーション動作を行い、前記キャリブレーション動作において算出された前記注視点の位置データが前記対応領域に存在するか否かの判定をそれぞれの前記目標画像について行い、前記注視点の位置データが前記対応領域に存在すると判定された前記目標画像である有効目標画像の数が閾値以上の場合、前記有効目標画像についての前記注視点の位置データをキャリブレーションデータとして出力し、前記有効目標画像の数が前記閾値未満の場合、前記キャリブレーション動作を再度行わせる処理とをコンピュータに実行させる。
　本発明によれば、検出精度の低下を抑制可能な視線検出装置、視線検出方法及び視線検出プログラムを提供することができる。
図１は、本実施形態に係る視線検出装置の一例を模式的に示す斜視図である。 図２は、本実施形態に係る視線検出装置のハードウェア構成の一例を示す図である。 図３は、本実施形態に係る視線検出装置の一例を示す機能ブロック図である。 図４は、本実施形態に係る角膜曲率中心の位置データの算出方法を説明するための模式図である。 図５は、本実施形態に係る角膜曲率中心の位置データの算出方法を説明するための模式図である。 図６は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。 図７は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。 図８は、表示画面に目標画像を表示する一の表示例を示す図である。 図９は、キャリブレーション動作によって検出される注視点の検出範囲の一例を示す図である。 図１０は、再度のキャリブレーション動作によって検出される注視点の検出範囲の一例を示す図である。 図１１は、再度のキャリブレーション動作によって検出される注視点の検出範囲の他の例を示す図である。 図１２は、表示画面に目標画像を表示する他の表示例を示す図である。 図１３は、本実施形態に係る視線検出方法におけるキャリブレーション処理の一例を示すフローチャートである。
　以下、本発明に係る視線検出装置、視線検出方法及び視線検出プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
　以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第１軸と平行な方向をＸ軸方向とし、第１軸と直交する所定面の第２軸と平行な方向をＹ軸方向とし、第１軸及び第２軸のそれぞれと直交する第３軸と平行な方向をＺ軸方向とする。所定面はＸＹ平面を含む。
　（視線検出装置）
　図１は、第１実施形態に係る視線検出装置１００の一例を模式的に示す斜視図である。図１に示すように、視線検出装置１００は、表示装置１０１と、ステレオカメラ装置１０２と、照明装置１０３とを備える。
　表示装置１０１は、液晶ディスプレイ（liquid　crystal　display：ＬＣＤ）又は有機ＥＬディスプレイ（organic　electroluminescence　display：ＯＬＥＤ）のようなフラットパネルディスプレイを含む。本実施形態において、表示装置１０１は、表示画面１０１Ｓを有する。表示画面１０１Ｓは、画像を表示する。本実施形態において、表示画面１０１Ｓは、例えば被験者の視機能を評価するための指標を表示する。表示画面１０１Ｓは、ＸＹ平面と実質的に平行である。Ｘ軸方向は表示画面１０１Ｓの左右方向であり、Ｙ軸方向は表示画面１０１Ｓの上下方向であり、Ｚ軸方向は表示画面１０１Ｓと直交する奥行方向である。
　ステレオカメラ装置１０２は、第１カメラ１０２Ａ及び第２カメラ１０２Ｂを有する。ステレオカメラ装置１０２は、表示装置１０１の表示画面１０１Ｓよりも下方に配置される。第１カメラ１０２Ａと第２カメラ１０２ＢとはＸ軸方向に配置される。第１カメラ１０２Ａは、第２カメラ１０２Ｂよりも－Ｘ方向に配置される。第１カメラ１０２Ａ及び第２カメラ１０２Ｂはそれぞれ、赤外線カメラを含み、例えば波長８５０［ｎｍ］の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。
　照明装置（光源）１０３は、第１光源１０３Ａ及び第２光源１０３Ｂを有する。照明装置１０３は、表示装置１０１の表示画面１０１Ｓよりも下方に配置される。第１光源１０３Ａと第２光源１０３ＢとはＸ軸方向に配置される。第１光源１０３Ａは、第１カメラ１０２Ａよりも－Ｘ方向に配置される。第２光源１０３Ｂは、第２カメラ１０２Ｂよりも＋Ｘ方向に配置される。第１光源１０３Ａ及び第２光源１０３Ｂはそれぞれ、ＬＥＤ（light　emitting　diode）光源を含み、例えば波長８５０［ｎｍ］の近赤外光を射出可能である。なお、第１光源１０３Ａ及び第２光源１０３Ｂは、第１カメラ１０２Ａと第２カメラ１０２Ｂとの間に配置されてもよい。また、ステレオカメラ１０２は、表示装置１０１の表示画面１０１Ｓよりも上方に配置されてもよい。
　照明装置１０３は、検出光である近赤外光を射出して、被験者の眼球１１１を照明する。ステレオカメラ装置１０２は、第１光源１０３Ａから射出された検出光が眼球１１１に照射されたときに第２カメラ１０２Ｂで眼球１１１の一部（以下、これを含めて「眼球」とする）を撮影し、第２光源１０３Ｂから射出された検出光が眼球１１１に照射されたときに第１カメラ１０２Ａで眼球１１１を撮影する。
　第１カメラ１０２Ａ及び第２カメラ１０２Ｂの少なくとも一方からフレーム同期信号が出力される。第１光源１０３Ａ及び第２光源１０３Ｂは、フレーム同期信号に基づいて検出光を射出する。第１カメラ１０２Ａは、第２光源１０３Ｂから射出された検出光が眼球１１１に照射されたときに、眼球１１１の画像データを撮影する。第２カメラ１０２Ｂは、第１光源１０３Ａから射出された検出光が眼球１１１に照射されたときに、眼球１１１の画像データを撮影する。
　眼球１１１に検出光が照射されると、その検出光の一部は瞳孔１１２で反射し、その瞳孔１１２からの光がステレオカメラ装置１０２に入射する。また、眼球１１１に検出光が照射されると、角膜の虚像である角膜反射像１１３が眼球１１１に形成され、その角膜反射像１１３からの光がステレオカメラ装置１０２に入射する。
　第１カメラ１０２Ａ及び第２カメラ１０２Ｂと第１光源１０３Ａ及び第２光源１０３Ｂとの相対位置が適切に設定されることにより、瞳孔１１２からステレオカメラ装置１０２に入射する光の強度は低くなり、角膜反射像１１３からステレオカメラ装置１０２に入射する光の強度は高くなる。すなわち、ステレオカメラ装置１０２で撮影される瞳孔１１２の画像は低輝度となり、角膜反射像１１３の画像は高輝度となる。ステレオカメラ装置１０２は、撮影される画像の輝度に基づいて、瞳孔１１２の位置及び角膜反射像１１３の位置を検出することができる。
　図２は、本実施形態に係る視線検出装置１００のハードウェア構成の一例を示す図である。図２に示すように、視線検出装置１００は、表示装置１０１と、ステレオカメラ装置１０２と、照明装置１０３と、コンピュータシステム（制御部）２０と、入出力インターフェース装置３０と、駆動回路４０と、出力装置５０と、入力装置６０とを備える。
　コンピュータシステム２０と、駆動回路４０と、出力装置５０と、入力装置６０とは、入出力インターフェース装置３０を介してデータ通信する。コンピュータシステム２０は、演算処理装置２０Ａ及び記憶装置２０Ｂを含む。演算処理装置２０Ａは、ＣＰＵ（central　processing　unit）のようなマイクロプロセッサを含む。記憶装置２０Ｂは、ＲＯＭ（read　only　memory）及びＲＡＭ（random　access　memory）のようなメモリ又はストレージを含む。演算処理装置２０Ａは、記憶装置２０Ｂに記憶されているコンピュータプログラム２０Ｃに従って演算処理を実施する。
　駆動回路４０は、駆動信号を生成して、表示装置１０１、ステレオカメラ装置１０２、及び照明装置１０３に出力する。また、駆動回路４０は、ステレオカメラ装置１０２で撮影された眼球１１１の画像データを、入出力インターフェース装置３０を介してコンピュータシステム２０に供給する。
　出力装置５０は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置５０は、印刷装置を含んでもよい。入力装置６０は、操作されることにより入力データを生成する。入力装置６０は、コンピュータシステム用のキーボード又はマウスを含む。なお、入力装置６０が表示装置である出力装置５０の表示画面に設けられたタッチセンサを含んでもよい。
　本実施形態においては、表示装置１０１とコンピュータシステム２０とは別々の装置である。なお、表示装置１０１とコンピュータシステム２０とが一体でもよい。例えば視線検出装置１００がタブレット型パーソナルコンピュータを含む場合、そのタブレット型パーソナルコンピュータに、コンピュータシステム２０、入出力インターフェース装置３０、駆動回路４０、及び表示装置１０１が搭載されてもよい。
　図３は、本実施形態に係る視線検出装置１００の一例を示す機能ブロック図である。図３に示すように、入出力インターフェース装置３０は、入出力部３０２を有する。駆動回路４０は、表示装置１０１を駆動するための駆動信号を生成して表示装置１０１に出力する表示装置駆動部４０２と、第１カメラ１０２Ａを駆動するための駆動信号を生成して第１カメラ１０２Ａに出力する第１カメラ入出力部４０４Ａと、第２カメラ１０２Ｂを駆動するための駆動信号を生成して第２カメラ１０２Ｂに出力する第２カメラ入出力部４０４Ｂと、第１光源１０３Ａ及び第２光源１０３Ｂを駆動するための駆動信号を生成して第１光源１０３Ａ及び第２光源１０３Ｂに出力する光源駆動部４０６とを有する。また、第１カメラ入出力部４０４Ａは、第１カメラ１０２Ａで撮影された眼球１１１の画像データを、入出力部３０２を介してコンピュータシステム２０に供給する。第２カメラ入出力部４０４Ｂは、第２カメラ１０２Ｂで撮影された眼球１１１の画像データを、入出力部３０２を介してコンピュータシステム２０に供給する。
　コンピュータシステム２０は、視線検出装置１００を制御する。コンピュータシステム２０は、表示制御部２０２と、光源制御部２０４と、画像データ取得部２０６と、入力データ取得部２０８と、位置検出部２１０と、曲率中心算出部２１２と、注視点検出部２１４と、領域設定部２１６と、判定部２１８と、演算部２２０と、キャリブレーション制御部２２２と、記憶部２２４と、出力制御部２２６とを有する。コンピュータシステム２０の機能は、演算処理装置２０Ａ及び記憶装置２０Ｂによって発揮される。
　表示制御部２０２は、被験者に見せるための画像を表示装置１０１の表示画面１０１Ｓに表示させる。表示制御部２０２は、例えばキャリブレーション動作における目標画像を表示画面１０１Ｓの複数の位置（目標位置）に表示可能である。表示制御部２０２は、目標画像を１箇所ずつ複数の目標位置に順次切り替えて表示してもよいし、目標画像が表示画面１０１Ｓ内で複数の目標位置に順次移動するように表示させてもよい。なお、目標画像を表示させる目標位置の数については、例えば操作者が入力装置６０等により入力することによって設定可能である。
　光源制御部２０４は、光源駆動部４０６を制御して、第１光源１０３Ａ及び第２光源１０３Ｂの作動状態を制御する。光源制御部２０４は、第１光源１０３Ａと第２光源１０３Ｂとが異なるタイミングで検出光を射出するように第１光源１０３Ａ及び第２光源１０３Ｂを制御する。
　画像データ取得部２０６は、第１カメラ１０２Ａ及び第２カメラ１０２Ｂを含むステレオカメラ装置１０２によって撮影された被験者の眼球１１１の画像データを、入出力部３０２を介してステレオカメラ装置１０２から取得する。
　入力データ取得部２０８は、入力装置６０が操作されることにより生成された入力データを、入出力部３０２を介して入力装置６０から取得する。
　位置検出部２１０は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、瞳孔中心の位置データを検出する。また、位置検出部２１０は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、角膜反射中心の位置データを検出する。瞳孔中心は、瞳孔１１２の中心である。角膜反射中心は、角膜反射像１１３の中心である。位置検出部２１０は、検出光が照射される眼球１１１について、瞳孔中心の位置データ及び角膜反射中心の位置データを検出する。
　曲率中心算出部２１２は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、眼球１１１の角膜曲率中心の位置データを算出する。
　注視点検出部２１４は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、被験者の注視点の位置データを検出する。本実施形態において、注視点の位置データとは、三次元グローバル座標系で規定される被験者の視線ベクトルと表示装置１０１の表示画面１０１Ｓを含む平面との交点の位置データをいう。注視点検出部２１４は、眼球１１１の画像データから取得された瞳孔中心の位置データ及び角膜曲率中心の位置データに基づいて、被験者の左右それぞれの眼球１１１の視線ベクトルを検出する。視線ベクトルが検出された後、注視点検出部２１４は、視線ベクトルと表示画面１０１Ｓとの交点を示す注視点の位置データを検出する。
　領域設定部２１６は、表示画面１０１Ｓに目標画像が表示される表示期間において、表示画面１０１Ｓに表示される目標画像に対応した対応領域を表示画面１０１Ｓに設定する。
　判定部２１８は、表示画面１０１Ｓに目標画像が行われる表示期間において、視点の位置データに基づいて、注視点が対応領域に存在するか否かの判定を行う。判定部２１８は、例えば一定時間毎に注視点が対応領域に存在するか否かを判定する。一定時間としては、例えば第１カメラ１０２Ａ及び第２カメラ１０２Ｂから出力されるフレーム同期信号の周期（例えば５０［ｍｓｅｃ］毎）とすることができる。
　演算部２２０は、判定部２１８の判定データに基づいて、注視点が対応領域に存在したと判定された判定回数をカウントする。演算部２２０は、対応領域について判定回数をカウントするカウンタを有する。
　キャリブレーション制御部２２２は、キャリブレーション動作を行わせる。キャリブレーション動作は、表示画面１０１Ｓの複数の位置に目標画像を表示させることと、表示画面１０１Ｓに表示される目標画像に対応した対応領域を表示画面１０１Ｓに設定することと、それぞれの目標画像が表示される表示期間に注視点の位置データを算出することと、を含む。
　また、キャリブレーション制御部２２２は、キャリブレーション動作において算出された注視点の位置データが対応領域に存在するか否かの判定をそれぞれの目標画像について行う。キャリブレーション制御部２２２は、この判定を行う場合、演算部２２０によりカウントされた判定回数に基づいて、各目標画像について注視点が対応領域に存在するか否かの判定を行う。例えばキャリブレーション制御部２２２は、各目標画像について、注視点が対応領域に存在したと判定された判定回数が、注視点の位置データの検出数に対して一定の割合以上の場合、当該目標画像については注視点が対応領域に存在すると判断する。以下、注視点の位置データが対応領域に存在すると判定された目標画像を有効目標画像と表記する。また、キャリブレーション制御部２２２は、各目標画像について、注視点が対応領域に存在したと判定された判定回数が、注視点の位置データの検出数に対して一定の割合未満の場合、当該目標画像については注視点が対応領域に存在しないと判断する。
　キャリブレーション制御部２２２は、有効目標画像の数が閾値以上か否かを判定する。なお、閾値については、例えば操作者が入力装置６０等により入力することによって設定可能である。キャリブレーション制御部２２２は、有効目標画像の数が閾値以上の場合、有効目標画像についての注視点の位置データをキャリブレーションデータとして出力する。また、キャリブレーション制御部２２２は、有効目標画像の数が閾値未満の場合、キャリブレーション動作を再度行わせる。
　キャリブレーション制御部２２２は、キャリブレーション動作を再度行わせる場合、直近のキャリブレーション動作と同一の複数の目標位置にそれぞれ目標画像を表示させ、当該再度のキャリブレーション動作と直近以前のキャリブレーション動作とで同一の目標位置に表示される目標画像が連続して有効目標画像と判定される場合、当該連続するキャリブレーション動作のうち直近以前のキャリブレーション動作における他の全ての有効目標画像を、再度のキャリブレーション動作において有効目標画像と判定する。
　キャリブレーション制御部２２２は、キャリブレーション動作を再度行わせる場合、直前のキャリブレーション動作において表示された目標画像とは外観が異なる目標画像を表示させることができる。この場合、例えばキャリブレーション制御部２２２の指令に基づき、表示制御部が複数種類の目標画像の中から１種類を選択して表示させる。
　キャリブレーション制御部２２２は、キャリブレーション動作が所定回数行われた場合において、いずれも有効目標画像の数が閾値未満である場合、キャリブレーション動作がエラーである旨を出力する。なお、キャリブレーション動作を行わせる所定回数については、例えば操作者が入力装置６０等により入力することによって設定可能である。
　記憶部２２４は、上記の視線検出に関する各種データやプログラムを記憶する。記憶部２２４は、目標画像を表示させる位置の数に応じた表示データ（画像、動画等）を記憶する。なお、記憶部２２４は、例えば外観が異なる複数種類の目標画像について、当該表示データを記憶する。また、記憶部２２４は、各キャリブレーション動作において算出される注視点の位置データを記憶する。
　また、記憶部２２４は、被験者の少なくとも一方の眼球に検出光を照射する処理と、検出光が照射される眼球の画像データを取得する処理と、取得された画像データから、検出光が照射される眼球の瞳孔の中心を示す瞳孔中心の位置データと角膜反射の中心を示す角膜反射中心の位置データとを検出する処理と、瞳孔中心の位置及び角膜反射中心の位置に基づいて、表示画面を含む平面上での被験者の注視点の位置データを算出する処理と、表示画面の複数の位置に目標画像を順次表示させ、表示画面に表示される目標画像に対応した対応領域を表示画面に順次設定し、それぞれの目標画像が表示される表示期間に注視点の位置データを算出するキャリブレーション動作を行い、キャリブレーション動作において算出された注視点の位置データが対応領域に存在するか否かの判定をそれぞれの目標画像について行い、注視点の位置データが対応領域に存在すると判定された目標画像である有効目標画像の数が閾値以上の場合、有効目標画像についての注視点の位置データをキャリブレーションデータとして出力し、有効目標画像の数が閾値未満の場合、キャリブレーション動作を再度行わせる処理とをコンピュータに実行させる視線検出プログラムを記憶する。
　出力制御部２２６は、表示装置１０１及び出力装置５０の少なくとも一方にデータを出力する。
　次に、本実施形態に係る曲率中心算出部２１２の処理の概要について説明する。曲率中心算出部２１２は、眼球１１１の画像データに基づいて、眼球１１１の角膜曲率中心の位置データを算出する。図４及び図５は、本実施形態に係る角膜曲率中心１１０の位置データの算出方法を説明するための模式図である。図４は、１つの光源１０３Ｃで眼球１１１が照明される例を示す。図５は、第１光源１０３Ａ及び第２光源１０３Ｂで眼球１１１が照明される例を示す。
　まず、図４に示す例について説明する。光源１０３Ｃは、第１カメラ１０２Ａと第２カメラ１０２Ｂとの間に配置される。瞳孔中心１１２Ｃは、瞳孔１１２の中心である。角膜反射中心１１３Ｃは、角膜反射像１１３の中心である。図４において、瞳孔中心１１２Ｃは、眼球１１１が１つの光源１０３Ｃで照明されたときの瞳孔中心を示す。角膜反射中心１１３Ｃは、眼球１１１が１つの光源１０３Ｃで照明されたときの角膜反射中心を示す。角膜反射中心１１３Ｃは、光源１０３Ｃと角膜曲率中心１１０とを結ぶ直線上に存在する。角膜反射中心１１３Ｃは、角膜表面と角膜曲率中心１１０との中間点に位置付けられる。角膜曲率半径１０９は、角膜表面と角膜曲率中心１１０との距離である。角膜反射中心１１３Ｃの位置データは、ステレオカメラ装置１０２によって検出される。角膜曲率中心１１０は、光源１０３Ｃと角膜反射中心１１３Ｃとを結ぶ直線上に存在する。曲率中心算出部２１２は、その直線上において角膜反射中心１１３Ｃからの距離が所定値となる位置データを、角膜曲率中心１１０の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部２２４に記憶されている。
　次に、図５に示す例について説明する。本実施形態においては、第１カメラ１０２Ａ及び第２光源１０３Ｂと、第２カメラ１０２Ｂ及び第１光源１０３Ａとは、第１カメラ１０２Ａと第２カメラ１０２Ｂとの中間位置を通る直線に対して左右対称の位置に配置される。第１カメラ１０２Ａと第２カメラ１０２Ｂとの中間位置に仮想光源１０３Ｖが存在するとみなすことができる。角膜反射中心１２１は、第２カメラ１０２Ｂで眼球１１１を撮影した画像における角膜反射中心を示す。角膜反射中心１２２は、第１カメラ１０２Ａで眼球１１１を撮影した画像における角膜反射中心を示す。角膜反射中心１２４は、仮想光源１０３Ｖに対応する角膜反射中心を示す。角膜反射中心１２４の位置データは、ステレオカメラ装置１０２で撮影された角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データに基づいて算出される。ステレオカメラ装置１０２は、ステレオカメラ装置１０２に規定される三次元ローカル座標系において角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データを検出する。ステレオカメラ装置１０２について、事前にステレオ較正法によるカメラ較正が実施され、ステレオカメラ装置１０２の三次元ローカル座標系を三次元グローバル座標系に変換する変換パラメータが算出される。その変換パラメータは、記憶部２２４に記憶されている。曲率中心算出部２１２は、ステレオカメラ装置１０２で撮影された角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データを、変換パラメータを使って、三次元グローバル座標系における位置データに変換する。曲率中心算出部２１２は、三次元グローバル座標系で規定される角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データに基づいて、三次元グローバル座標系における角膜反射中心１２４の位置データを算出する。角膜曲率中心１１０は、仮想光源１０３Ｖと角膜反射中心１２４とを結ぶ直線１２３上に存在する。曲率中心算出部２１２は、直線１２３上において角膜反射中心１２４からの距離が所定値となる位置データを、角膜曲率中心１１０の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部２２４に記憶されている。
　このように、光源が２つある場合でも、光源が１つである場合の方法と同様の方法で、角膜曲率中心１１０が算出される。
　角膜曲率半径１０９は、角膜表面と角膜曲率中心１１０との距離である。したがって、角膜表面の位置データ及び角膜曲率中心１１０の位置データが算出されることにより、角膜曲率半径１０９が算出される。
　［視線検出方法］
　次に、本実施形態に係る視線検出方法の一例について説明する。本実施形態に係る視線検出方法では、キャリブレーション処理を行った後、注視点の検出処理を行う。図６は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。キャリブレーション処理では、被験者に注視させるため、目標位置１３０が設定される。目標位置１３０は、三次元グローバル座標系において規定される。表示制御部２０２は、設定された目標位置１３０に目標画像を表示する。直線１４１は、仮想光源１０３Ｖと角膜反射中心１１３Ｃとを結ぶ直線である。直線１４２は、目標位置１３０と瞳孔中心１１２Ｃとを結ぶ直線である。角膜曲率中心１１０は、直線１４１と直線１４２との交点である。曲率中心算出部２１２は、仮想光源１０３Ｖの位置データと、目標位置１３０の位置データと、瞳孔中心１１２Ｃの位置データと、角膜反射中心１１３Ｃの位置データとに基づいて、角膜曲率中心１１０の位置データを算出することができる。そして、注視点検出部２１４は、算出された角膜曲率中心から注視点の位置データを算出することができる。なお、キャリブレーション処理の詳細については、後述する。
　次に、注視点検出処理について説明する。注視点検出処理は、キャリブレーション処理の後に実施される。注視点検出部２１４は、眼球１１１の画像データに基づいて、被験者の視線ベクトル及び注視点の位置データを算出する。図７は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。図７において、注視点１６５は、一般的な曲率半径値を用いて算出された角膜曲率中心から求めた注視点を示す。注視点１６６は、キャリブレーション処理で求められた距離１２６を用いて算出された角膜曲率中心から求めた注視点を示す。瞳孔中心１１２Ｃは、キャリブレーション処理において算出された瞳孔中心を示し、角膜反射中心１１３Ｃは、キャリブレーション処理において算出された角膜反射中心を示す。直線１７３は、仮想光源１０３Ｖと角膜反射中心１１３Ｃとを結ぶ直線である。角膜曲率中心１１０は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離１２６は、キャリブレーション処理により算出した瞳孔中心１１２Ｃと角膜曲率中心１１０との距離である。角膜曲率中心１１０Ｈは、距離１２６を用いて角膜曲率中心１１０を補正した補正後の角膜曲率中心の位置を示す。角膜曲率中心１１０Ｈは、角膜曲率中心１１０が直線１７３上に存在すること、及び瞳孔中心１１２Ｃと角膜曲率中心１１０との距離が距離１２６であることから求められる。これにより、一般的な曲率半径値を用いる場合に算出される視線１７７は、視線１７８に補正される。また、表示装置１０１の表示画面１０１Ｓ上の注視点は、注視点１６５から注視点１６６に補正される。
　［キャリブレーション処理］
　次に、上記したキャリブレーション処理について説明する。キャリブレーション処理において、表示制御部２０２は、複数の目標位置１３０に目標画像を表示させる。図８は、表示画面１０１Ｓに目標画像を表示する一の表示例を示す図である。図８に示すように、表示制御部２０２は、複数の目標位置１３０に目標画像Ｍを順に表示させる。なお、目標画像Ｍを表示させる目標位置１３０の数については、操作者が予め入力装置６０等により入力することで設定可能である。表示制御部２０２は、設定された数の目標位置１３０に目標画像Ｍを１つずつ順次表示させる。例えば、目標位置１３０の数が「５」と設定される場合、表示制御部２０２は、図８に示すように、表示画面１０１Ｓの第１位置１３１と、第２位置１３２と、第３位置１３３と、第４位置１３４と、第５位置１３５との５箇所の目標位置１３０に１つずつ目標画像Ｍを順次切り替えて表示させる。図８では、５箇所の目標位置１３０に５つの目標画像Ｍが示されているが、実際には、１つの目標画像Ｍが１箇所ずつ順次表示される。表示制御部２０２は、各目標位置１３０において、表示期間が等しくなるように目標画像Ｍを表示させる。
　また、領域設定部２１６は、表示画面１０１Ｓに表示される目標画像Ｍに対応した対応領域Ａを表示画面１０１Ｓに設定する。図８に示すように、第１位置１３１から第５位置１３５まで５箇所の目標位置１３０に目標画像Ｍが表示される場合、領域設定部２１６は、各目標位置１３０が表示される表示期間にそれぞれの目標画像Ｍに対応した対応領域Ａを設定する。例えば、領域設定部２１６は、第１位置１３１に目標画像Ｍが表示される表示期間では、第１位置１３１の目標画像Ｍに対応する対応領域Ａ１を設定する。また、領域設定部２１６は、第２位置１３２に目標画像Ｍが表示される表示期間では、第２位置１３２の目標画像Ｍに対応する対応領域Ａ２を設定する。また、領域設定部２１６は、第３位置１３３に目標画像Ｍが表示される表示期間では、第３位置１３３の目標画像Ｍに対応する対応領域Ａ３を設定する。また、領域設定部２１６は、第４位置１３４に目標画像Ｍが表示される表示期間では、第４位置１３４の目標画像Ｍに対応する対応領域Ａ４を設定する。また、領域設定部２１６は、第５位置１３５に目標画像Ｍが表示される表示期間では、第５位置１３５の目標画像Ｍに対応する対応領域Ａ５を設定する。領域設定部２１６は、目標画像Ｍの表示位置が第１位置１３１から第５位置１３５まで順に切り替わるタイミングに同期するように対応領域Ａの設定を対応領域Ａ１から対応領域Ａ５まで順に切り替える。
　このようにそれぞれの目標画像Ｍが表示される表示期間に、画像データ取得部２０６により左右の眼球の画像データを取得し、位置検出部２１０により瞳孔中心の位置データ及び角膜反射中心の位置データを検出し、注視点検出部２１４により注視点の位置データを算出する。この処理では、例えば第１カメラ１０２Ａ及び第２カメラ１０２Ｂから出力されるフレーム同期信号の周期で（例えば５０［ｍｓｅｃ］毎に）実施される。第１カメラ１０２Ａ及び第２カメラ１０２Ｂは、同期して撮像する。
　図９は、キャリブレーション動作によって検出される注視点の検出範囲の一例を示す図である。図９に示す検出範囲Ｐ１～Ｐ５は、第１位置１３１から第５位置１３５に目標画像Ｍが表示される各表示期間において、検出された注視点の範囲を模式的に示している。なお、キャリブレーション動作により算出される注視点は、実際には表示画面１０１Ｓには表示されない。
　キャリブレーション制御部２２２は、上記のキャリブレーション動作において算出された注視点の位置データが対応領域Ａに存在するか否かの判定をそれぞれの目標画像Ｍについて行う。図９に示すように、第１位置１３１に目標画像Ｍが表示される表示期間では、算出された注視点の範囲が対応領域Ａ１内に存在している。このため、キャリブレーション制御部２２２は、注視点の位置データが対応領域Ａ１に存在すると判定する。この場合、第１位置１３１に表示される目標画像Ｍは、有効目標画像となる。
　また、第２位置１３２に目標画像Ｍが表示される表示期間では、算出された注視点の範囲が対応領域Ａ２内に存在している。このため、キャリブレーション制御部２２２は、注視点の位置データが対応領域Ａ２に存在すると判定する。この場合、第２位置１３２に表示される目標画像Ｍは、有効目標画像となる。
　また、第３位置１３３に目標画像Ｍが表示される表示期間では、算出された注視点の範囲が対応領域Ａ３内に存在していない。このため、キャリブレーション制御部２２２は、注視点の位置データが対応領域Ａ３に存在しないと判定する。この場合、第３位置１３３に表示される目標画像Ｍは、有効目標画像とはならない。
　また、第４位置１３４に目標画像Ｍが表示される表示期間では、算出された注視点の範囲が対応領域Ａ４内に存在している。このため、キャリブレーション制御部２２２は、注視点の位置データが対応領域Ａ４に存在すると判定する。この場合、第４位置１３４に表示される目標画像Ｍは、有効目標画像となる。
　また、第５位置１３５に目標画像Ｍが表示される表示期間では、算出された注視点の範囲が対応領域Ａ５内に存在していない。このため、キャリブレーション制御部２２２は、注視点の位置データが対応領域Ａ５に存在しないと判定する。この場合、第５位置１３５に表示される目標画像Ｍは、有効目標画像とはならない。
　この結果、上記のキャリブレーション動作では、３つの有効目標画像が検出されることになる。キャリブレーション制御部２２２は、このように検出された有効目標画像の数が閾値以上か否かを判定する。閾値については、例えば操作者が入力装置６０等により入力することによって設定可能である。
　ここでは、有効目標画像の数が３つであるため、例えば閾値が「３」以下に設定される場合、キャリブレーション制御部２２２は、有効目標画像の数が閾値以上であると判定する。キャリブレーション制御部２２２は、有効目標画像の数が閾値以上の場合、有効目標画像についての注視点の位置データをキャリブレーションデータとして出力する。つまり、キャリブレーション制御部２２２は、第１位置１３１の目標画像Ｍに対応する検出範囲Ｐ１の注視点の位置データをキャリブレーションデータとして出力する。また、キャリブレーション制御部２２２は、第２位置１３２の目標画像Ｍに対応する検出範囲Ｐ２の注視点の位置データをキャリブレーションデータとして出力する。また、キャリブレーション制御部２２２は、第４位置１３４の目標画像Ｍに対応する検出範囲Ｐ４の注視点の位置データをキャリブレーションデータとして出力する。
　一方、閾値が「４」以上に設定される場合、キャリブレーション制御部２２２は、有効目標画像の数が閾値未満であると判定する。キャリブレーション制御部２２２は、有効目標画像の数が閾値未満の場合、上記のキャリブレーション動作を再度行わせる。この場合、キャリブレーション制御部２２２は、上記のキャリブレーション動作において検出された注視点の位置データを記憶部２２４に記憶させる。
　キャリブレーション動作を再度行わせる場合、表示制御部２０２は、直前のキャリブレーション動作と同一の目標位置１３０に目標画像Ｍを表示させる。つまり、第１位置１３１から第５位置１３５の５箇所の目標位置１３０に目標画像Ｍを表示させる。また、領域設定部２１６は、直前のキャリブレーション動作と同一の処理により各目標位置１３０における目標画像Ｍの表示期間に対応領域Ａを設定する。そして、画像データ取得部２０６により左右の眼球の画像データを取得し、位置検出部２１０により瞳孔中心の位置データ及び角膜反射中心の位置データを検出し、注視点検出部２１４により注視点の位置データを算出する。このように、コンピュータシステム２０により、再度のキャリブレーション動作が自動的に行われるため、視線検出処理の一連の流れを阻害することなく、被験者の集中力を維持したまま、より自然で精度の高い計測結果を効率的に取得可能となる。また、コンピュータシステム２０は、再度のキャリブレーション動作を行う際、その旨を報知することなくキャリブレーション動作に移るため、被験者の集中力が途切れることを抑制できる。
　図１０は、再度のキャリブレーション動作によって検出される注視点の検出範囲の一例を示す図である。図１０に示す例では、第１位置１３１、第３位置１３３及び第４位置１３４に目標画像Ｍが表示される表示期間において、算出された注視点の範囲がそれぞれ対応領域Ａ１、Ａ３、Ａ４内に存在している。したがって、再度のキャリブレーション動作では、第１位置１３１、第３位置１３３及び第４位置１３４に表示される３つの目標画像Ｍが有効目標画像として検出される。
　上記のキャリブレーション動作では、表示画面１０１Ｓの複数の目標位置１３０に順に表示される目標画像Ｍを追従して注視する方式である。本発明者は、このような方式において、正確に追従及び注視を行う被験者については、キャリブレーション動作を複数回繰り返す際に、各キャリブレーション動作において同様の見方で追従及び注視を行う特性があることを見出した。つまり、複数回のキャリブレーション動作において、注視点の位置データの分布が一致又は近似していれば、同じ見方をしていると推定できる。このため、再度のキャリブレーション動作において有効目標画像と判定された目標画像Ｍと同一の位置に表示される目標画像Ｍが、直近以前のキャリブレーション動作においても連続して有効目標画像であると判定されていれば、同じ見方をしていると考えることができる。
　そこで、キャリブレーション制御部２２２は、キャリブレーション動作を再度行わせる場合、直近のキャリブレーション動作において算出された中心点の位置データを目標位置１３０毎に記憶部２２４に記憶させる。そして、キャリブレーション制御部２２２は、直近のキャリブレーション動作と同一の複数の目標位置１３０、つまり第１位置１３１から第５位置１３５にそれぞれ目標画像Ｍを表示させる。その後、キャリブレーション制御部２２２は、当該再度のキャリブレーション動作と直近以前のキャリブレーション動作とで同一の目標位置１３０に表示される目標画像Ｍが連続して有効目標画像と判定される場合、当該連続するキャリブレーション動作のうち直近以前のキャリブレーション動作における他の全ての有効目標画像を、再度のキャリブレーション動作において有効目標画像と判定する。
　ここで、図９に示すキャリブレーション動作と、図１０に示す再度のキャリブレーション動作とでは、第１位置１３１及び第４位置１３４に表示される２つの目標画像Ｍが共に有効目標画像として検出されている。したがって、キャリブレーション制御部２２２は、直前のキャリブレーション動作における他の全ての有効目標画像を、再度のキャリブレーション動作において有効目標画像と判定する。つまり、直前のキャリブレーション動作で有効目標画像とされた第２位置１３２に表示される目標画像Ｍについても、再度のキャリブレーション動作における有効目標画像として検出される。この結果、図１０に示すキャリブレーション動作では、４つの有効目標画像が検出されることになる。
　また、図１０に示す再度のキャリブレーション動作を行った後、更に再度のキャリブレーション動作（以下、再再度のキャリブレーション動作、と表記する）を行う場合、キャリブレーション制御部２２２は、直近のキャリブレーション動作において算出された中心点の位置データを目標位置１３０毎に記憶部２２４に記憶させる。そして、キャリブレーション制御部２２２は、第１位置１３１から第５位置１３５にそれぞれ目標画像Ｍを表示させる。その後、キャリブレーション制御部２２２は、直近以前の２回のキャリブレーション動作と同一の目標位置１３０である第１位置１３１及び第４位置１３４に表示される目標画像Ｍのうち少なくとも一方の目標画像Ｍについて有効目標画像であると判定される場合、当該２回のキャリブレーション動作における他の全ての有効目標画像を、再再度のキャリブレーション動作において有効目標画像と判定する。
　このように、キャリブレーション制御部２２２は、各キャリブレーション動作において算出される注視点の位置データを記憶部２２４に記憶させ、再度のキャリブレーション動作の有効目標画像を判定する際、記憶部２２４に記憶させた注視点の位置データをフィードバックさせて用いることができる。
　キャリブレーション制御部２２２は、このように検出された有効目標画像の数が閾値以上か否かを判定し、有効目標画像の数が閾値以上の場合、有効目標画像についての注視点の位置データをキャリブレーションデータとして出力する。また、キャリブレーション制御部２２２は、有効目標画像の数が閾値未満の場合、上記のキャリブレーション動作を再度行わせる。
　図１１は、再度のキャリブレーション動作によって検出される注視点の検出範囲の他の例を示す図である。図１１に示す例では、第３位置１３３及び第５位置１３５に目標画像Ｍが表示される表示期間において、算出された注視点の範囲がそれぞれ対応領域Ａ３、Ａ５内に存在している。したがって、再度のキャリブレーション動作では、第３位置１３３及び第５位置１３５に表示される２つの目標画像Ｍが有効目標画像として検出される。
　一方、図１１に示す再度のキャリブレーション動作では、直前のキャリブレーション動作である図９に示すキャリブレーション動作との間に、同一の位置に検出される有効目標画像が存在しない。したがって、この場合には、キャリブレーション制御部２２２は、直前のキャリブレーション動作の有効目標画像を再度のキャリブレーション動作における有効目標画像とは判定しない。この結果、図１１に示すキャリブレーション動作では、２つの有効目標画像が検出されることになる。
　なお、図１０及び図１１に示す例では、再度のキャリブレーション動作を行う場合、表示制御部２０２は、直前のキャリブレーション動作において表示された目標画像Ｍと外観が同一の目標画像を表示させる態様を説明したが、これに限定されない。図１２は、表示画面１０１Ｓに目標画像を表示する他の表示例を示す図である。図１２に示すように、表示制御部２０２は、キャリブレーション動作を再度行わせる場合、直前のキャリブレーション動作において表示された目標画像Ｍとは外観が異なる目標画像ＭＡを表示させることができる。この場合、表示制御部２０２は、直前のキャリブレーション動作と同一の複数の目標位置１３０に目標画像Ｍを表示させる。このように、直前のキャリブレーション動作の目標画像Ｍとは外観が異なる目標画像ＭＡを再度のキャリブレーション動作で表示させることにより、被験者の飽きによる集中力低下及び注視率低下を抑制できる。
　上記のようなキャリブレーション動作が所定回数行われた場合において、いずれも有効目標画像の数が閾値未満である場合、キャリブレーション制御部２２２は、キャリブレーション動作がエラーである旨を出力する。なお、所定回数については、例えば操作者が入力装置６０等により入力することによって設定可能である。
　次に、本実施形態に係る視線検出方法の一例について、図１３を参照しながら説明する。図１３は、本実施形態に係る視線検出方法におけるキャリブレーション処理の一例を示すフローチャートである。図１３に示すように、まず、キャリブレーション制御部２２２は、表示画面１０１Ｓに表示する目標位置１３０の数（Ｘ）を設定する（ステップＳ１０１）。キャリブレーション制御部２２２は、例えば入力装置６０における入力結果に基づいて目標位置１３０の数Ｘを設定する。なお、Ｘは、２以上の整数である。
　また、キャリブレーション制御部２２２は、有効目標画像の閾値（Ｙ）を設定する（ステップＳ１０２）。キャリブレーション制御部２２２は、例えば入力装置６０における入力結果に基づいて有効目標画像の閾値Ｙを設定する。なお、Ｙは、１以上、Ｘ以下の整数である。
　また、キャリブレーション制御部２２２は、再度のキャリブレーション動作を行わせる再試行回数（Ｒ）を設定する（ステップＳ１０３）。キャリブレーション制御部２２２は、例えば入力装置６０における入力結果に基づいて再試行回数Ｒを設定する。なお、Ｒは、１以上の整数である。なお、Ｒを０としてもよい。この場合、再度のキャリブレーションを行わない設定となる。
　目標位置１３０の数Ｘ、有効目標画像の閾値Ｙ、及び再度のキャリブレーション動作を行う回数Ｒが設定された後、キャリブレーション動作を行わせる（ステップＳ１０４）。キャリブレーション動作では、設定された目標位置１３０の数Ｘに基づいて目標画像Ｍが複数の目標位置１３０に表示され、各目標画像Ｍの表示期間において目標画像Ｍに対応する対応領域Ａが設定される。そして、目標画像Ｍが表示される表示期間に、画像データ取得部２０６により左右の眼球の画像データを取得し、位置検出部２１０により瞳孔中心の位置データ及び角膜反射中心の位置データを検出し、注視点検出部２１４により注視点の位置データを算出する。
　キャリブレーション動作の後、キャリブレーション制御部２２２は、有効目標画像であると判定された目標画像Ｍの数（Ｚ）を求める（ステップＳ１０５）。なお、ステップＳ１０５において、キャリブレーション制御部２２２は、当該再度のキャリブレーション動作と直近以前のキャリブレーション動作とで同一の目標位置１３０に表示される目標画像Ｍが連続して有効目標画像と判定される場合、当該連続するキャリブレーション動作のうち直近以前のキャリブレーション動作における他の全ての有効目標画像を、再度のキャリブレーション動作において有効目標画像と判定する。有効目標画像の数Ｚを求めた後、キャリブレーション制御部２２２は、有効目標画像の数Ｚが閾値Ｙ以上であるか否かを判定する（ステップＳ１０６）。有効目標画像の数Ｚが閾値Ｙ以上であると判定された場合（ステップＳ１０６のＹｅｓ）、キャリブレーション制御部２２２は、有効目標画像と判定された注視点の位置データをキャリブレーションデータとして出力して、キャリブレーション動作を終了する。
　一方、有効目標画像の数Ｚが閾値Ｙ未満であると判定された場合（ステップＳ１０６のＮｏ）、キャリブレーション制御部２２２は、それまでに再度のキャリブレーション動作を行った再試行回数が、設定された再試行回数Ｒに到達したか否かを判定する（ステップＳ１０７）。判定の結果、キャリブレーション動作の再試行回数が、設定された回数Ｒに到達した場合（ステップＳ１０７のＹｅｓ）、キャリブレーション制御部２２２は、キャリブレーション動作がエラーである旨を出力して（ステップＳ１１０）、処理を終了する。
　また、キャリブレーション動作の再試行回数が、設定された回数Ｒに到達しない場合（ステップＳ１０７のＮｏ）、キャリブレーション制御部２２２は、再度のキャリブレーション動作を行わせる。再度のキャリブレーション動作において、目標画像Ｍの種類を外観が異なる目標画像に変更する場合、キャリブレーション制御部２２２は、目標画像Ｍの種類を変更する旨の指示を表示制御部２０２に送信する（ステップＳ１０８）。この場合、再度のキャリブレーション動作において、直前のキャリブレーション動作とは外観が異なる目標画像が表示画面１０１Ｓに表示される。また、再度のキャリブレーション動作を行わせる場合、キャリブレーション制御部２２２は、直前のキャリブレーション動作における検出結果である注視点の位置データを記憶部２２４に記憶させる（ステップＳ１０９）。その後、ステップＳ１０４以降の動作を繰り返し行わせる。
　以上のように、本実施形態に係る視線検出装置は、画像を表示する表示画面１０１Ｓと、被験者の少なくとも一方の眼球に検出光を照射する照明装置１０３と、検出光が照射される眼球の画像データを取得する画像データ取得部２０６と、取得された画像データから、検出光が照射される眼球の瞳孔の中心を示す瞳孔中心の位置データと角膜反射の中心を示す角膜反射中心の位置データとを検出する位置検出部２１０と、瞳孔中心の位置及び角膜反射中心の位置に基づいて、表示画面１０１Ｓを含む平面上での被験者の注視点の位置データを算出する注視点検出部２１４と、表示画面１０１Ｓの複数の目標位置１３０に目標画像Ｍを順次表示させ、表示画面１０１Ｓに表示される目標画像Ｍに対応した対応領域Ａを表示画面１０１Ｓに順次設定し、それぞれの目標画像Ｍが表示される表示期間に注視点の位置データを算出するキャリブレーション動作を行い、キャリブレーション動作において算出された注視点の位置データが対応領域Ａに存在するか否かの判定をそれぞれの目標画像Ｍについて行い、注視点の位置データが対応領域Ａに存在すると判定された目標画像Ｍである有効目標画像の数Ｚが閾値Ｙ以上の場合、有効目標画像についての注視点の位置データをキャリブレーションデータとして出力し、有効目標画像の数Ｚが閾値Ｙ未満の場合、キャリブレーション動作を再度行わせるコンピュータシステム２０とを備える。
　また、本実施形態に係る視線検出方法は、被験者の少なくとも一方の眼球に検出光を照射することと、検出光が照射される眼球の画像データを取得することと、取得された画像データから、検出光が照射される眼球の瞳孔の中心を示す瞳孔中心の位置データと角膜反射の中心を示す角膜反射中心の位置データとを検出することと、瞳孔中心の位置及び角膜反射中心の位置に基づいて、表示画面１０１Ｓを含む平面上での被験者の注視点の位置データを算出することと、表示画面１０１Ｓの複数の目標位置１３０に目標画像Ｍを順次表示させ、表示画面１０１Ｓに表示される目標画像Ｍに対応した対応領域Ａを表示画面１０１Ｓに順次設定し、それぞれの目標画像Ｍが表示される表示期間に注視点の位置データを算出するキャリブレーション動作を行い、キャリブレーション動作において算出された注視点の位置データが対応領域Ａに存在するか否かの判定をそれぞれの目標画像Ｍについて行い、注視点の位置データが対応領域Ａに存在すると判定された目標画像Ｍである有効目標画像の数Ｚが閾値Ｙ以上の場合、有効目標画像についての注視点の位置データをキャリブレーションデータとして出力し、有効目標画像の数Ｚが閾値Ｙ未満の場合、キャリブレーション動作を再度行わせることとを含む。
　また、本実施形態に係る視線検出プログラムは、被験者の少なくとも一方の眼球に検出光を照射する処理と、検出光が照射される眼球の画像データを取得する処理と、取得された画像データから、検出光が照射される眼球の瞳孔の中心を示す瞳孔中心の位置データと角膜反射の中心を示す角膜反射中心の位置データとを検出する処理と、瞳孔中心の位置及び角膜反射中心の位置に基づいて表示画面１０１Ｓを含む平面上での被験者の注視点の位置データを算出する処理と、表示画面１０１Ｓの複数の目標位置１３０に目標画像Ｍを順次表示させ、表示画面１０１Ｓに表示される目標画像Ｍに対応した対応領域Ａを表示画面１０１Ｓに順次設定し、それぞれの目標画像Ｍが表示される表示期間に注視点の位置データを算出するキャリブレーション動作を行い、キャリブレーション動作において算出された注視点の位置データが対応領域Ａに存在するか否かの判定をそれぞれの目標画像Ｍについて行い、注視点の位置データが対応領域Ａに存在すると判定された目標画像Ｍである有効目標画像の数Ｚが閾値Ｙ以上の場合、有効目標画像についての注視点の位置データをキャリブレーションデータとして出力し、有効目標画像の数Ｚが閾値Ｙ未満の場合、キャリブレーション動作を再度行わせる処理とをコンピュータに実行させる。
　このような構成により、再度のキャリブレーション動作がコンピュータシステム２０によって自動的に行われるため、視線検出処理の一連の流れを阻害することなく、被験者の集中力を維持したまま、より自然で精度の高い計測結果を効率的に取得可能となる。これにより、検出精度の低下を抑制可能となる。
　また、キャリブレーション制御部２２２は、キャリブレーション動作を再度行わせる場合、直近のキャリブレーション動作と同一の複数の目標位置１３０である第１位置１３１から第５位置１３５にそれぞれ目標画像Ｍを表示させ、当該再度のキャリブレーション動作と直近以前のキャリブレーション動作とで同一の目標位置１３０に表示される目標画像Ｍが連続して有効目標画像と判定される場合、当該連続するキャリブレーション動作のうち直近以前のキャリブレーション動作における他の全ての有効目標画像を、再度のキャリブレーション動作において有効目標画像と判定する。これにより、被験者の特性を利用することで効率的にキャリブレーション動作を行うことができる。
　また、キャリブレーション制御部２２２は、キャリブレーション動作を再度行わせる場合、直前のキャリブレーション動作において表示された目標画像Ｍとは外観が異なる目標画像ＭＡを表示させる。これにより、被験者の飽きによる集中力低下及び注視率低下を抑制できる。
　また、キャリブレーション制御部２２２は、キャリブレーション動作が所定回数Ｒ行われた場合において、いずれも有効目標画像の数Ｚが閾値Ｙ未満である場合、キャリブレーション動作がエラーである旨を出力する。これにより、再度のキャリブレーション動作を所定回数Ｒだけ行っても有効目標画像の数Ｚが閾値Ｙ未満である場合に、キャリブレーション動作に区切りをつけることができる。
　以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
　Ａ（Ａ１，Ａ２，Ａ３，Ａ４，Ａ５）…対応領域、Ｍ，ＭＡ…目標画像、Ｐ１～Ｐ５…検出範囲、２０…コンピュータシステム、６０…入力装置、１００…視線検出装置、１０１…表示装置、１０１Ｓ…表示画面、１０３…照明装置、１３０…目標位置、１３１…第１位置、１３２…第２位置、１３３…第３位置、１３４…第４位置、１３５…第５位置、２０２…表示制御部、２０６…画像データ取得部、２０８…入力データ取得部、２１０…位置検出部、２１４…注視点検出部、２１６…領域設定部、２１８…判定部、２２０…演算部、２２２…キャリブレーション制御部、２２４…記憶部、２２６…出力制御部

Claims (6)

  1. 　画像を表示する表示画面と、
    　被験者の少なくとも一方の眼球に検出光を照射する光源と、
    　前記検出光が照射される眼球の画像データを取得する画像データ取得部と、
    　取得された前記画像データから、前記検出光が照射される眼球の瞳孔の中心を示す瞳孔中心の位置データと角膜反射の中心を示す角膜反射中心の位置データとを検出する位置検出部と、
    　前記瞳孔中心の位置及び前記角膜反射中心の位置に基づいて、前記表示画面を含む平面上での被験者の注視点の位置データを算出する注視点検出部と、
    　前記表示画面の複数の位置に目標画像を順次表示させ、前記表示画面に表示される前記目標画像に対応した対応領域を前記表示画面に順次設定し、それぞれの前記目標画像が表示される表示期間に前記注視点の位置データを算出するキャリブレーション動作を行い、前記キャリブレーション動作において算出された前記注視点の位置データが前記対応領域に存在するか否かの判定をそれぞれの前記目標画像について行い、前記注視点の位置データが前記対応領域に存在すると判定された前記目標画像である有効目標画像の数が閾値以上の場合、前記有効目標画像についての前記注視点の位置データをキャリブレーションデータとして出力し、前記有効目標画像の数が前記閾値未満の場合、前記キャリブレーション動作を再度行わせる制御部と
    　を備える視線検出装置。
  2. 　前記制御部は、前記キャリブレーション動作を再度行わせる場合、直近の前記キャリブレーション動作と同一の前記複数の位置にそれぞれ前記目標画像を表示させ、当該再度の前記キャリブレーション動作と直近以前の前記キャリブレーション動作とで同一の位置に表示される前記目標画像が連続して前記有効目標画像と判定される場合、当該連続する前記キャリブレーション動作のうち直近以前の前記キャリブレーション動作における他の全ての前記有効目標画像を、再度の前記キャリブレーション動作において前記有効目標画像と判定する
    　請求項１に記載の視線検出装置。
  3. 　前記制御部は、前記キャリブレーション動作を再度行わせる場合、直前の前記キャリブレーション動作において表示された前記目標画像とは外観が異なる目標画像を表示させる
    　請求項１又は請求項２に記載の視線検出装置。
  4. 　前記制御部は、前記キャリブレーション動作が所定回数行われた場合において、いずれも前記有効目標画像の数が前記閾値未満である場合、前記キャリブレーション動作がエラーである旨を出力する
    　請求項１から請求項３のいずれか一項に記載の視線検出装置。
  5. 　被験者の少なくとも一方の眼球に検出光を照射することと、
    　前記検出光が照射される眼球の画像データを取得することと、
    　取得された前記画像データから、前記検出光が照射される眼球の瞳孔の中心を示す瞳孔中心の位置データと角膜反射の中心を示す角膜反射中心の位置データとを検出することと、
    　前記瞳孔中心の位置及び前記角膜反射中心の位置に基づいて、前記表示画面を含む平面上での被験者の注視点の位置データを算出することと、
    　前記表示画面の複数の位置に目標画像を順次表示させ、前記表示画面に表示される前記目標画像に対応した対応領域を前記表示画面に順次設定し、それぞれの前記目標画像が表示される表示期間に前記注視点の位置データを算出するキャリブレーション動作を行い、前記キャリブレーション動作において算出された前記注視点の位置データが前記対応領域に存在するか否かの判定をそれぞれの前記目標画像について行い、前記注視点の位置データが前記対応領域に存在すると判定された前記目標画像である有効目標画像の数が閾値以上の場合、前記有効目標画像についての前記注視点の位置データをキャリブレーションデータとして出力し、前記有効目標画像の数が前記閾値未満の場合、前記キャリブレーション動作を再度行わせることと
    　を含む視線検出方法。
  6. 　被験者の少なくとも一方の眼球に検出光を照射する処理と、
    　前記検出光が照射される眼球の画像データを取得する処理と、
    　取得された前記画像データから、前記検出光が照射される眼球の瞳孔の中心を示す瞳孔中心の位置データと角膜反射の中心を示す角膜反射中心の位置データとを検出する処理と、
    　前記瞳孔中心の位置及び前記角膜反射中心の位置に基づいて、前記表示画面を含む平面上での被験者の注視点の位置データを算出する処理と、
    　前記表示画面の複数の位置に目標画像を順次表示させ、前記表示画面に表示される前記目標画像に対応した対応領域を前記表示画面に順次設定し、それぞれの前記目標画像が表示される表示期間に前記注視点の位置データを算出するキャリブレーション動作を行い、前記キャリブレーション動作において算出された前記注視点の位置データが前記対応領域に存在するか否かの判定をそれぞれの前記目標画像について行い、前記注視点の位置データが前記対応領域に存在すると判定された前記目標画像である有効目標画像の数が閾値以上の場合、前記有効目標画像についての前記注視点の位置データをキャリブレーションデータとして出力し、前記有効目標画像の数が前記閾値未満の場合、前記キャリブレーション動作を再度行わせる処理と
    　をコンピュータに実行させる視線検出プログラム。
PCT/JP2019/021186 2018-07-31 2019-05-29 視線検出装置、視線検出方法及び視線検出プログラム WO2020026574A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP19843409.4A EP3811852B1 (en) 2018-07-31 2019-05-29 Device, method, and program for detecting gaze
US17/152,832 US11890057B2 (en) 2018-07-31 2021-01-20 Gaze detection apparatus, gaze detection method, and gaze detection program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-143732 2018-07-31
JP2018143732A JP6958507B2 (ja) 2018-07-31 2018-07-31 視線検出装置、視線検出方法及び視線検出プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/152,832 Continuation US11890057B2 (en) 2018-07-31 2021-01-20 Gaze detection apparatus, gaze detection method, and gaze detection program

Publications (1)

Publication Number Publication Date
WO2020026574A1 true WO2020026574A1 (ja) 2020-02-06

Family

ID=69231624

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/021186 WO2020026574A1 (ja) 2018-07-31 2019-05-29 視線検出装置、視線検出方法及び視線検出プログラム

Country Status (4)

Country Link
US (1) US11890057B2 (ja)
EP (1) EP3811852B1 (ja)
JP (1) JP6958507B2 (ja)
WO (1) WO2020026574A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021161380A1 (ja) * 2020-02-10 2021-08-19 日本電気株式会社 視線推定システム、視線推定方法、及びコンピュータプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7521220B2 (ja) * 2020-03-27 2024-07-24 日本電気株式会社 画像処理装置、視線推定装置、視線推定システム、画像処理方法およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08321973A (ja) 1995-05-24 1996-12-03 Canon Inc 視線入力装置
JP2012216123A (ja) * 2011-04-01 2012-11-08 Brother Ind Ltd ヘッドマウントディスプレイ及びこれに用いられるプログラム
JP2014071779A (ja) * 2012-09-28 2014-04-21 Jvc Kenwood Corp 診断支援装置および診断支援方法
JP2016207042A (ja) * 2015-04-24 2016-12-08 株式会社コーエーテクモゲームス プログラム及び記録媒体
JP2017215928A (ja) * 2016-05-31 2017-12-07 フォーブ インコーポレーテッド 視線検出システム
JP2018108167A (ja) * 2016-12-28 2018-07-12 株式会社Ｊｖｃケンウッド 視機能検査装置、視機能検査方法、及びコンピュータプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2907453B1 (en) * 2012-09-28 2018-11-21 JVC Kenwood Corporation Diagnosis assistance device and diagnosis assistance method
US10635167B2 (en) * 2013-05-30 2020-04-28 Umoove Services Ltd. Smooth pursuit gaze tracking
EP4137037A1 (en) * 2017-09-11 2023-02-22 Tobii AB Reliability of gaze tracking data for left and right eye

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08321973A (ja) 1995-05-24 1996-12-03 Canon Inc 視線入力装置
JP2012216123A (ja) * 2011-04-01 2012-11-08 Brother Ind Ltd ヘッドマウントディスプレイ及びこれに用いられるプログラム
JP2014071779A (ja) * 2012-09-28 2014-04-21 Jvc Kenwood Corp 診断支援装置および診断支援方法
JP2016207042A (ja) * 2015-04-24 2016-12-08 株式会社コーエーテクモゲームス プログラム及び記録媒体
JP2017215928A (ja) * 2016-05-31 2017-12-07 フォーブ インコーポレーテッド 視線検出システム
JP2018108167A (ja) * 2016-12-28 2018-07-12 株式会社Ｊｖｃケンウッド 視機能検査装置、視機能検査方法、及びコンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3811852A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021161380A1 (ja) * 2020-02-10 2021-08-19 日本電気株式会社 視線推定システム、視線推定方法、及びコンピュータプログラム
JPWO2021161380A1 (ja) * 2020-02-10 2021-08-19
JP7342978B2 (ja) 2020-02-10 2023-09-12 日本電気株式会社 視線推定システム、視線推定方法、及びコンピュータプログラム

Also Published As

Publication number Publication date
US11890057B2 (en) 2024-02-06
EP3811852A1 (en) 2021-04-28
JP2020018470A (ja) 2020-02-06
JP6958507B2 (ja) 2021-11-02
US20210137378A1 (en) 2021-05-13
EP3811852B1 (en) 2022-10-05
EP3811852A4 (en) 2021-09-15

Similar Documents

Publication Publication Date Title
JP6737234B2 (ja) 評価装置、評価方法、及び評価プログラム
US11061470B2 (en) Eye tracking device and eye tracking method
JP2018140007A (ja) 評価装置、評価方法、及び評価プログラム
WO2020026574A1 (ja) 視線検出装置、視線検出方法及び視線検出プログラム
US11266307B2 (en) Evaluation device, evaluation method, and non-transitory storage medium
WO2020044691A1 (ja) 評価装置、評価方法、及び評価プログラム
WO2021246012A1 (ja) 視線検出装置、視線検出方法、及び視線検出プログラム
US11957411B2 (en) Visual function detection apparatus, method of detecting visual function, and program
JP2015046111A (ja) 視点検出装置および視点検出方法
JP2019024776A (ja) 評価装置、評価方法、及び評価プログラム
US11241152B2 (en) Evaluation device, evaluation method, and non-transitory storage medium
EP3583887B1 (en) Line-of-sight detection device, line-of-sight detection method, and line-of-sight detection program
JP7043889B2 (ja) 視機能検出装置、視機能検出方法及びプログラム
JP2019150253A (ja) 視機能検出装置、視機能検出方法及びプログラム
WO2023008023A1 (ja) 視線検出装置、視線検出方法及び視線検出プログラム
WO2022044395A1 (ja) 視線検出装置、視線検出方法及び視線検出プログラム
WO2021059746A1 (ja) 視線データ処理装置、評価装置、視線データ処理方法、評価方法、視線データ処理プログラム、及び評価プログラム
WO2019181272A1 (ja) 評価装置、評価方法、及び評価プログラム
JP2023019690A (ja) 視線検出装置、視線検出方法及び視線検出プログラム
JP2023019659A (ja) 視線検出装置、視線検出方法及び視線検出プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19843409

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019843409

Country of ref document: EP

Effective date: 20210122

NENP Non-entry into the national phase

Ref country code: DE