WO2020137028A1 - 表示装置、表示方法、およびプログラム - Google Patents

表示装置、表示方法、およびプログラム Download PDF

Info

Publication number
WO2020137028A1
WO2020137028A1 PCT/JP2019/036112 JP2019036112W WO2020137028A1 WO 2020137028 A1 WO2020137028 A1 WO 2020137028A1 JP 2019036112 W JP2019036112 W JP 2019036112W WO 2020137028 A1 WO2020137028 A1 WO 2020137028A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
gaze
unit
image
video
Prior art date
Application number
PCT/JP2019/036112
Other languages
English (en)
French (fr)
Inventor
修二 箱嶋
首藤　勝行
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to EP19905742.3A priority Critical patent/EP3884846A4/en
Publication of WO2020137028A1 publication Critical patent/WO2020137028A1/ja
Priority to US17/346,326 priority patent/US20210303066A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/15—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
    • A61B3/152—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for aligning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns

Definitions

  • the present disclosure relates to a display device, a display method, and a program.
  • Patent Document 1 describes a technique capable of calculating the time during which a subject's gazing point exists in a specific area including a feature point in image data.
  • Patent Document 1 it was difficult to verify the subject's gaze tendency with respect to the specific content of the image data. Therefore, a technique capable of verifying the gaze tendency of the subject has been desired.
  • the present disclosure aims to provide a display device, a display method, and a program capable of displaying a distribution of a subject's gaze with respect to a video together with the video and verifying a gaze tendency.
  • the display device of the present disclosure includes a storage unit that stores position data of a subject's gaze point with respect to an image, a calculation unit that calculates gaze information that visually indicates the gaze point from the position data, and the gaze information, A display control unit that superimposes the image on the image according to the elapsed playback time of the image and displays the image on the display screen of the display unit.
  • the display method of the present disclosure includes a calculation step of calculating gaze information visually indicating the gaze point from position data of the gaze point of the subject with respect to the video, and the gaze information, the gaze information according to the elapsed playback time of the video And a display control step of displaying the image on the display screen of the display unit.
  • the program according to the present disclosure includes a calculation step of calculating gaze information visually indicating the gaze point from position data of the gaze point of the subject with respect to the video, and the gaze information in the video according to the elapsed playback time of the video. And a display control step of displaying the display screen of the display unit in a superimposed manner.
  • FIG. 1 is a perspective view schematically showing an example of the visual line detection device according to the present embodiment.
  • FIG. 2 is a diagram showing an example of a hardware configuration of the visual line detection device according to the present embodiment.
  • FIG. 3 is a functional block diagram showing an example of the line-of-sight detection device according to the present embodiment.
  • FIG. 4 is a schematic diagram for explaining the method of calculating the position data of the corneal curvature center according to the present embodiment.
  • FIG. 5 is a schematic diagram for explaining the method of calculating the position data of the corneal curvature center according to the present embodiment.
  • FIG. 6 is a schematic diagram for explaining an example of the calibration process according to the present embodiment.
  • FIG. 7 is a schematic diagram for explaining an example of the gazing point detection processing according to the present embodiment.
  • FIG. 8 is a schematic diagram for explaining an example of a conventional gazing point display.
  • FIG. 9 is a schematic diagram for explaining an example of a conventional screen that dynamically shows the point of gaze.
  • FIG. 10 is a schematic diagram showing an example of a data set relating to the gaze data of the subject according to this embodiment.
  • FIG. 11A is a schematic diagram for explaining an example of a method of displaying a gazing point on the display screen according to the present embodiment.
  • FIG. 11B is a schematic diagram for explaining an example of a method of displaying a gazing point on the display screen according to the present embodiment.
  • FIG. 11C is a schematic diagram for explaining an example of a method of displaying a gazing point on the display screen according to the present embodiment.
  • FIG. 11A is a schematic diagram for explaining an example of a method of displaying a gazing point on the display screen according to the present embodiment.
  • FIG. 11B is a schematic diagram for explaining an example of a method of displaying a gaz
  • FIG. 11D is a schematic diagram for explaining an example of a method of displaying a gazing point on the display screen according to the present embodiment.
  • FIG. 11E is a schematic diagram for explaining an example of a method of displaying a gazing point on the display screen according to the present embodiment.
  • FIG. 12 is a schematic diagram for explaining an example of a method of displaying a gazing point on the display screen according to the present embodiment.
  • FIG. 13 is a schematic diagram for explaining an example of a method of displaying a gazing point on the display screen according to the present embodiment.
  • FIG. 14 is a flowchart showing an example of the flow of processing for displaying a gazing point on an image.
  • FIG. 15 is a schematic diagram for explaining an example of a method of selecting a subject to be displayed on a video.
  • FIG. 16 is a schematic diagram for explaining a method of selecting the type of gaze information to be displayed on a video.
  • FIG. 17 is a flowchart showing an example of the flow of processing for detecting a point of gaze.
  • FIG. 18 is a flowchart showing an example of the flow of a process of displaying a gaze point in a video in multiple display.
  • FIG. 19 is a flowchart showing an example of the flow of processing for displaying a heat map of a gazing point on an image.
  • FIG. 20 is a flowchart showing an example of the flow of a process of displaying a gaze rate for each grid on an image.
  • a direction parallel to the first axis of the predetermined surface is the X-axis direction
  • a direction parallel to the second axis of the predetermined surface orthogonal to the first axis is the Y-axis direction
  • a direction orthogonal to the first axis and the second axis is the Z-axis direction.
  • the predetermined surface is the XY plane.
  • FIG. 1 is a perspective view schematically showing an example of the visual line detection device 100 according to the first embodiment.
  • the gaze detection device 100 is used as an evaluation device that evaluates whether the possibility of developmental disability is high or low.
  • the visual line detection device 100 includes a display device 101, a stereo camera device 102, and a lighting device 103.
  • the display device 101 includes a flat panel display such as a liquid crystal display (LCD) or an organic EL display (organic electroluminescence display: OLED).
  • the display device 101 has a display unit 101S.
  • the display unit 101S displays an image.
  • the display unit 101S displays, for example, an index for evaluating the visual function of the subject.
  • the display unit 101S is substantially parallel to the XY plane.
  • the X-axis direction is the horizontal direction of the display unit 101S
  • the Y-axis direction is the vertical direction of the display unit 101S
  • the Z-axis direction is the depth direction orthogonal to the display unit 101S.
  • the stereo camera device 102 has a first camera 102A and a second camera 102B.
  • the stereo camera device 102 is arranged below the display unit 101S of the display device 101.
  • the first camera 102A and the second camera 102B are arranged in the X-axis direction.
  • the first camera 102A is arranged in the ⁇ X direction more than the second camera 102B.
  • Each of the first camera 102A and the second camera 102B includes an infrared camera, and has, for example, an optical system capable of transmitting near-infrared light having a wavelength of 850 [nm] and an image sensor capable of receiving the near-infrared light. ..
  • the lighting device 103 has a first light source 103A and a second light source 103B.
  • the lighting device 103 is arranged below the display unit 101S of the display device 101.
  • the first light source 103A and the second light source 103B are arranged in the X-axis direction.
  • the first light source 103A is arranged in the ⁇ X direction with respect to the first camera 102A.
  • the second light source 103B is arranged in the +X direction with respect to the second camera 102B.
  • the first light source 103A and the second light source 103B each include an LED (light emitting diode) light source, and can emit near infrared light having a wavelength of 850 [nm], for example.
  • the first light source 103A and the second light source 103B may be arranged between the first camera 102A and the second camera 102B.
  • the illuminating device 103 emits near-infrared light that is detection light to illuminate the eyeball 111 of the subject.
  • a part of the eyeball 111 (hereinafter, referred to as “eyeball” including this) is captured by the second camera 102B.
  • the detection light emitted from the second light source 103B is applied to the eyeball 111, the eyeball 111 is photographed by the first camera 102A.
  • a frame synchronization signal is output from at least one of the first camera 102A and the second camera 102B.
  • the first light source 103A and the second light source 103B emit detection light based on the frame synchronization signal.
  • the first camera 102A captures image data of the eyeball 111 when the detection light emitted from the second light source 103B is applied to the eyeball 111.
  • the second camera 102B captures image data of the eyeball 111 when the detection light emitted from the first light source 103A is applied to the eyeball 111.
  • a part of the detection light is reflected by the pupil 112, and the light from the pupil 112 enters the stereo camera device 102.
  • a corneal reflection image 113 which is a virtual image of the cornea, is formed on the eyeball 111, and the light from the corneal reflection image 113 is incident on the stereo camera device 102.
  • the intensity of the light incident on the stereo camera device 102 from the pupil 112 becomes low, and the cornea.
  • the intensity of light that enters the stereo camera device 102 from the reflected image 113 increases. That is, the image of the pupil 112 captured by the stereo camera device 102 has low brightness, and the image of the corneal reflection image 113 has high brightness.
  • the stereo camera device 102 can detect the position of the pupil 112 and the position of the corneal reflection image 113 based on the brightness of the captured image.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the visual line detection device 100 according to the present embodiment.
  • the visual line detection device 100 includes a display device 101, a stereo camera device 102, a lighting device 103, a computer system 20, an input/output interface device 30, a drive circuit 40, and an output device 50. , And an input device 60.
  • the computer system 20, the drive circuit 40, the output device 50, and the input device 60 perform data communication via the input/output interface device 30.
  • the computer system 20 includes an arithmetic processing unit 20A and a storage device 20B.
  • the arithmetic processing unit 20A includes a microprocessor such as a CPU (central processing unit).
  • the storage device 20B includes memory or storage such as ROM (read only memory) and RAM (random access memory).
  • the arithmetic processing unit 20A executes arithmetic processing according to the computer program 20C stored in the storage unit 20B.
  • the drive circuit 40 generates a drive signal and outputs it to the display device 101, the stereo camera device 102, and the lighting device 103.
  • the drive circuit 40 also supplies the image data of the eyeball 111 captured by the stereo camera device 102 to the computer system 20 via the input/output interface device 30.
  • the output device 50 includes a display device such as a flat panel display.
  • the output device 50 may include a printing device.
  • the input device 60 is operated to generate input data.
  • Input device 60 includes a keyboard or mouse for a computer system.
  • the input device 60 may include a touch sensor provided in the display unit of the output device 50, which is a display device.
  • the display device 101 and the computer system 20 are separate devices.
  • the display device 101 and the computer system 20 may be integrated.
  • the line-of-sight detection device 100 includes a tablet personal computer
  • the computer system 20, the input/output interface device 30, the drive circuit 40, and the display device 101 may be mounted on the tablet personal computer.
  • FIG. 3 is a functional block diagram showing an example of the visual line detection device 100 according to the present embodiment.
  • the input/output interface device 30 has an input/output unit 302.
  • the drive circuit 40 generates a drive signal for driving the display device 101 and outputs the drive signal to the display device 101, and a drive signal for driving the first camera 102A to generate the drive signal.
  • 102A a first camera input/output unit 404A, a second camera input/output unit 404B that generates a drive signal for driving the second camera 102B, and outputs the drive signal to the second camera 102B, the first light source 103A, and the first light source 103A.
  • the light source drive unit 406 that generates a drive signal for driving the two light sources 103B and outputs the drive signal to the first light source 103A and the second light source 103B.
  • the first camera input/output unit 404A also supplies the image data of the eyeball 111 captured by the first camera 102A to the computer system 20 via the input/output unit 302.
  • the second camera input/output unit 404B supplies the image data of the eyeball 111 captured by the second camera 102B to the computer system 20 via the input/output unit 302.
  • the computer system 20 controls the line-of-sight detection device 100.
  • the computer system 20 includes a display control unit 202, a light source control unit 204, an image data acquisition unit 206, an input data acquisition unit 208, a position detection unit 210, a curvature center calculation unit 212, and a gazing point detection unit 214.
  • An area setting unit 216, a determination unit 218, a calculation unit 220, a storage unit 222, an evaluation unit 224, and an output control unit 226 are included.
  • the functions of the computer system 20 are exhibited by the arithmetic processing device 20A and the storage device 20B.
  • the display control unit 202 controls the display device driving unit 402 to display the evaluation image to be visually recognized by the subject on the display unit 101S of the display device 101.
  • the evaluation image includes a still image and a moving image. A plurality of evaluation images are prepared, for example.
  • the display control unit 202 sequentially displays the plurality of evaluation images on the display device 101. Further, the display control unit 202 may cause the display device 101 to display an eye-catching image for positioning the gazing point P at a desired position on the display unit 101S.
  • the light source control unit 204 controls the light source driving unit 406 to control the operating states of the first light source 103A and the second light source 103B.
  • the light source control unit 204 controls the first light source 103A and the second light source 103B so that the first light source 103A and the second light source 103B emit detection light at different timings.
  • the image data acquisition unit 206 acquires, from the stereo camera device 102 via the input/output unit 302, the image data of the eyeball 111 of the subject captured by the stereo camera device 102 including the first camera 102A and the second camera 102B.
  • the input data acquisition unit 208 acquires the input data generated by operating the input device 60 from the input device 60 via the input/output unit 302.
  • the position detection unit 210 detects the position data of the center of the pupil based on the image data of the eyeball 111 acquired by the image data acquisition unit 206.
  • the position detection unit 210 also detects the position data of the corneal reflex center based on the image data of the eyeball 111 acquired by the image data acquisition unit 206.
  • the center of the pupil is the center of the pupil 112.
  • the corneal reflection center is the center of the corneal reflection image 113.
  • the position detection unit 210 detects the position data of the center of the pupil and the position data of the center of the corneal reflection for each of the left and right eyeballs 111 of the subject.
  • the curvature center calculation unit 212 calculates the position data of the corneal curvature center of the eyeball 111 based on the image data of the eyeball 111 acquired by the image data acquisition unit 206.
  • the gazing point detection unit 214 detects the position data of the gazing point P of the subject based on the image data of the eyeball 111 acquired by the image data acquisition unit 206.
  • the position data of the gazing point P refers to the position data of the intersection of the line-of-sight vector of the subject defined by the three-dimensional global coordinate system and the display unit 101S of the display device 101.
  • the gazing point detection unit 214 detects the line-of-sight vector of each of the left and right eyeballs 111 of the subject based on the position data of the pupil center and the position data of the corneal curvature center acquired from the image data of the eyeball 111.
  • the point-of-gaze detecting unit 214 detects the position data of the point-of-gaze P indicating the intersection of the line-of-sight vector and the display unit 101S.
  • the area setting unit 216 sets a determination area corresponding to the evaluation image displayed on the display unit 101S of the display device 101.
  • the area setting unit 216 sets a judgment area for a person, an object, a pattern, etc. included in the evaluation image.
  • the area setting unit 216 sets the determination area on at least a part of the evaluation image on the display unit 101S. It is preferable that a plurality of determination areas be set.
  • the region setting unit 216 for example, at least a part of the region where the natural image is displayed and at least a part of the region where the geometric image is displayed.
  • the determination areas may be set respectively in and.
  • the determination area is preferably set for the object included in the evaluation image.
  • the determination area When the determination area is set for a natural image, it is preferable to set the determination area for each object such as a person or a face of the person.
  • the determination area is not displayed on the display unit 101S.
  • the shape of the determination area may be, for example, a rectangle, a circle, an ellipse, or a polygon, and is not limited.
  • the sizes of the plurality of determination areas may be different.
  • the plurality of determination areas may be set to overlap each other. It is preferable that the determination region is set to a region in the evaluation image in which there is a difference in the tendency of whether or not the subject having a high possibility of ASD and the subject having a low possibility of ASD gaze.
  • the determination unit 218 determines whether or not the gazing point P exists in the judgment area based on the position data of the gazing point P, and outputs the judgment data. For example, the determination unit 218 sets the determination value of the determination area to “1” when determining that the gazing point P exists in the determination area, and sets the determination value of the determination area to “0” when determining not to exist. The determined judgment data is output. When the determination unit 218 determines that the gazing point P exists in the determination area, the determination unit 218 sets the determination value to “1” regardless of the time and the number of times of gazing at the determination area. The determination unit 218 sets the determination value to “1” regardless of whether the gazing time is long or short.
  • the determination unit 218 sets the determination value to “1” even when it is determined that the gazing point P reciprocates between the determination region and other regions and is present in the determination region a plurality of times.
  • the determination unit 218 determines whether or not the gazing point P exists in the determination area, for example, at regular intervals.
  • the fixed time may be, for example, the cycle (for example, every 20 [msec]) of the frame synchronization signal output from the first camera 102A and the second camera 102B.
  • the calculation unit 220 calculates the total number of determination regions in which the gazing point P exists at a predetermined time based on the determination data of the determination unit 218. In other words, the calculation unit 220 calculates how many times the subject views the determination region in the evaluation image at a predetermined time. The calculation unit 220 integrates the determination values of the determination regions to calculate the total number of determination regions in which the gazing point P exists.
  • the arithmetic unit 220 has a management timer that manages the video reproduction time and a detection timer that detects the elapsed time after the video is displayed on the display unit 101S.
  • the calculation unit 220 calculates the gaze information corresponding to the position data of the gaze point based on the determination result of the determination unit 218.
  • the gaze information means, for example, information that visually indicates the gaze point of the subject in the evaluation image.
  • the gaze information means a mark such as a point indicating the position of the gaze point in the evaluation image, a heat map, a bar graph indicating a gaze rate, or the like.
  • the heat map indicates, for example, information regarding the density of the gaze points of the subject in the evaluation image.
  • the gaze rate is information indicating, for example, the proportion of the gaze points existing in each range obtained by dividing the evaluation image into a predetermined range.
  • the evaluation unit 224 obtains the evaluation data of the subject based on the total number of determination regions in which the gazing point P exists calculated by the calculation unit 220.
  • the evaluation data is data for evaluating the number of gazes of the determination area displayed on the display unit 101S in the display operation by the subject. For example, the evaluation data evaluates the number of gazed judgment regions regardless of the time and the number of times the gazed region is gazed.
  • the evaluation unit 224 may calculate the evaluation data by weighting each determination area in which the gazing point P exists.
  • the evaluation unit 224 further determines whether or not the evaluation data is equal to or higher than a predetermined threshold value, and determines the evaluation.
  • the storage unit 222 stores the above determination data and evaluation data.
  • the storage unit 222 displays an image, detects a position of the gazing point P of a subject who observes the display unit, sets a determination area on the display unit, and position data of the gazing point P. Processing for determining whether or not the gazing point P is present in the determination area, and outputting determination data, processing for obtaining evaluation data of the subject based on the determination data, and processing for outputting evaluation data
  • An evaluation program that causes a computer to execute and is stored.
  • the output control unit 226 outputs data to at least one of the display device 101 and the output device 50.
  • the curvature center calculator 212 calculates the position data of the corneal curvature center of the eyeball 111 based on the image data of the eyeball 111.
  • 4 and 5 are schematic diagrams for explaining the method of calculating the position data of the corneal curvature center 110 according to this embodiment.
  • FIG. 4 shows an example in which the eyeball 111 is illuminated by one light source 103C.
  • FIG. 5 shows an example in which the eyeball 111 is illuminated by the first light source 103A and the second light source 103B.
  • the light source 103C is arranged between the first camera 102A and the second camera 102B.
  • the pupil center 112C is the center of the pupil 112.
  • the corneal reflection center 113C is the center of the corneal reflection image 113.
  • the pupil center 112C indicates the pupil center when the eyeball 111 is illuminated by one light source 103C.
  • the corneal reflection center 113C indicates the corneal reflection center when the eyeball 111 is illuminated by one light source 103C.
  • the corneal reflection center 113C exists on the straight line connecting the light source 103C and the corneal curvature center 110.
  • the corneal reflex center 113C is located at the midpoint between the corneal surface and the corneal curvature center 110.
  • the corneal curvature radius 109 is the distance between the corneal surface and the corneal curvature center 110.
  • the position data of the corneal reflection center 113C is detected by the stereo camera device 102.
  • the corneal curvature center 110 exists on the straight line connecting the light source 103C and the corneal reflection center 113C.
  • the curvature center calculation unit 212 calculates position data on the straight line at which the distance from the corneal reflection center 113C has a predetermined value, as position data of the corneal curvature center 110.
  • the predetermined value is a value determined in advance from a general curvature radius value of the cornea, and is stored in the storage unit 222.
  • the first camera 102A and the second light source 103B and the second camera 102B and the first light source 103A are bilaterally symmetrical with respect to a straight line passing through the intermediate position between the first camera 102A and the second camera 102B. It is placed in the position. It can be considered that the virtual light source 103V exists at an intermediate position between the first camera 102A and the second camera 102B.
  • the corneal reflection center 121 indicates the corneal reflection center in the image obtained by photographing the eyeball 111 with the second camera 102B.
  • the corneal reflection center 122 indicates the corneal reflection center in the image of the eyeball 111 taken by the first camera 102A.
  • the corneal reflection center 124 indicates the corneal reflection center corresponding to the virtual light source 103V.
  • the position data of the corneal reflection center 124 is calculated based on the position data of the corneal reflection center 121 and the position data of the corneal reflection center 122 captured by the stereo camera device 102.
  • the stereo camera device 102 detects position data of the corneal reflection center 121 and position data of the corneal reflection center 122 in the three-dimensional local coordinate system defined by the stereo camera device 102.
  • camera calibration is performed in advance by a stereo calibration method, and conversion parameters for converting the three-dimensional local coordinate system of the stereo camera device 102 into a three-dimensional global coordinate system are calculated.
  • the conversion parameter is stored in the storage unit 222.
  • the curvature center calculation unit 212 converts the position data of the corneal reflection center 121 and the position data of the corneal reflection center 122 captured by the stereo camera device 102 into position data in the three-dimensional global coordinate system using the conversion parameter.
  • the curvature center calculator 212 calculates the position data of the corneal reflection center 124 in the three-dimensional global coordinate system based on the position data of the corneal reflection center 121 and the position data of the corneal reflection center 122 defined by the three-dimensional global coordinate system. To do.
  • the corneal curvature center 110 exists on a straight line 123 connecting the virtual light source 103V and the corneal reflection center 124.
  • the curvature center calculator 212 calculates position data on the straight line 123 where the distance from the corneal reflection center 124 is a predetermined value as position data of the corneal curvature center 110.
  • the predetermined value is a value determined in advance from a general curvature radius value of the cornea, and is stored in the storage unit 222.
  • the corneal curvature center 110 is calculated by the same method as in the case where there is one light source.
  • the corneal curvature radius 109 is the distance between the corneal surface and the corneal curvature center 110. Therefore, the corneal curvature radius 109 is calculated by calculating the position data of the corneal surface and the position data of the corneal curvature center 110.
  • FIG. 6 is a schematic diagram for explaining an example of the calibration process according to the present embodiment.
  • the target position 130 is set in order to make the subject gaze.
  • the target position 130 is defined in the three-dimensional global coordinate system.
  • the target position 130 is set to the central position of the display unit 101S of the display device 101, for example.
  • the target position 130 may be set at the end position of the display unit 101S.
  • the output control unit 226 displays the target image at the set target position 130.
  • the straight line 131 is a straight line connecting the virtual light source 103V and the corneal reflection center 113C.
  • the straight line 132 is a straight line connecting the target position 130 and the pupil center 112C.
  • the corneal curvature center 110 is the intersection of the straight line 131 and the straight line 132.
  • the curvature center calculator 212 calculates the position data of the corneal curvature center 110 based on the position data of the virtual light source 103V, the position data of the target position 130, the position data of the pupil center 112C, and the position data of the corneal reflection center 113C. Can be calculated.
  • FIG. 7 is a schematic diagram for explaining an example of the gazing point detection processing according to the present embodiment.
  • a gazing point 165 indicates the gazing point P obtained from the corneal curvature center calculated using a general curvature radius value.
  • the gazing point 166 indicates the gazing point P obtained from the corneal curvature center calculated using the distance 126 obtained by the calibration process.
  • the pupil center 112C indicates the pupil center calculated in the calibration process
  • the corneal reflection center 113C indicates the corneal reflection center calculated in the calibration process.
  • the straight line 173 is a straight line connecting the virtual light source 103V and the corneal reflection center 113C.
  • the corneal curvature center 110 is the position of the corneal curvature center calculated from a general radius of curvature value.
  • the distance 126 is the distance between the pupil center 112C and the corneal curvature center 110 calculated by the calibration process.
  • the corneal curvature center 110H indicates the position of the corrected corneal curvature center obtained by correcting the corneal curvature center 110 using the distance 126.
  • the corneal curvature center 110H is obtained from the fact that the corneal curvature center 110 exists on the straight line 173 and that the distance between the pupil center 112C and the corneal curvature center 110 is the distance 126.
  • the line of sight 177 calculated when using a general curvature radius value is corrected to the line of sight 178.
  • the gazing point P on the display unit 101S of the display device 101 is corrected from the gazing point 165 to the gazing point 166.
  • the conventional gazing point measuring device displays an image and examines how the subject viewed the image, and does not have a function of superimposing the gazing points of many subjects and examining the tendency. As a result, you can check which part you have seen by totaling the gazing point coordinates, but dynamically knowing whether the gazing point tends to change in relation to the movement of the image. I could't. Also, among them, I was not able to investigate how the difference appears depending on the gender, age, etc. Therefore, the present disclosure is configured to selectively display the gaze points of a plurality of subjects on the playback screen of the stimulus image viewed by the subject so that the transition of the gaze points can be dynamically confirmed.
  • FIG. 8 is a schematic diagram for explaining an example of a conventional gazing point display.
  • FIG. 9 is a schematic diagram for explaining an example of a conventional screen that dynamically shows the point of gaze.
  • the video 1000 shown in FIGS. 8 and 9 is a video including a person U1 and a person U2.
  • FIG. 8 shows a state in which the gazing point P1 of the subject is collectively displayed for one person from the start to the end of playing the video.
  • FIG. 8 shows that the gazing point P1 is near the face of the person U1, or the gazing point is gathered on the ball B or the like.
  • the gaze points of a plurality of subjects are displayed at the same time, the gaze points overlap, which makes it difficult to see, and it is difficult to confirm the temporal transition of the gaze points.
  • FIG. 9 shows an example of a conventional example in which the point of interest is dynamically displayed on the display screen.
  • the manner in which the gazing point P2 moves is observed based on the gazing point coordinates of the subject.
  • the movements of the gazing points of a plurality of subjects cannot be displayed at the same time.
  • gaze information regarding the gaze points of a plurality of subjects can be displayed together with the video.
  • the gaze information means the information visually showing the gaze trend of the subject in the video.
  • the gaze information in the present embodiment includes a gaze point displayed together with the image, a heat map displayed together with the image, a bar graph dividing the image into grids, and displaying each grid.
  • a method of displaying a gaze point, a heat map, and a bar graph as gaze information together with an image will be described. Note that the gaze point, the heat map, and the bar graph are examples of gaze information, and do not limit the present disclosure.
  • FIG. 10 is a schematic diagram showing an example of a data set relating to the gaze data of the subject according to this embodiment.
  • the data set 400 includes, for example, a display/non-display column 410, a subject number column 420, a first condition column 430, a second condition column 440, and a gazing point coordinate column 450. ..
  • the data set 400 is stored in, for example, the storage unit 222.
  • the display/non-display column 410 stores information as to whether or not to display the gazing point on the video.
  • the display/non-display column 410 is displayed, the gaze point of the subject is displayed in the video.
  • the display/non-display column 410 is hidden, the gazing point of the subject is not displayed in the video.
  • the subject number column 420 a number for distinguishing the subject is confirmed.
  • the subject number column 420 stores an integer from 1 to 50. It should be noted that although the data set 400 stores integers from 1 to 50, this is an example and does not limit the present disclosure. In the present disclosure, there is no particular limitation on the number in the subject number column.
  • the first condition column 430 stores information on the first condition for each subject.
  • the first condition is not particularly limited, but the first condition in the data set 400 is gender. For example, it is shown that the subject with subject number 1 is male and the subject with subject number 2 is female.
  • the second condition column 440 stores information regarding the second condition for each subject.
  • the second condition is not particularly limited, but the second condition in the data set 400 is the presence or absence of a case such as developmental disability. For example, it is shown that the subject with subject number 1 has a case and the subject with subject number 2 has no case.
  • the gaze point coordinate field 450 stores information about gaze point coordinates of each subject with respect to the image.
  • the coordinates of the gazing point are stored as a data matrix including the coordinates on the display screen and the time information.
  • FIGS. 11A, 11B, 11C, 11D, and 11E are schematic diagrams for explaining an example of the method of displaying the gazing point on the display screen in the present embodiment.
  • 11A to 11E show temporal transitions of display images. Specifically, the time changes in the order of FIG. 11A to FIG. 11E.
  • the image 2000 includes a person U1 and a person U2.
  • the display control unit 202 superimposes and displays information on the gaze points of a plurality of subjects on the video 2000 on the video 2000.
  • a gazing point P11 indicated by a triangle indicates a gazing point of a male subject.
  • the gazing point P21 indicated by a square mark indicates the gazing point of a female subject. That is, the display control unit 202 simultaneously displays the gaze points of a plurality of subjects under two different conditions, that is, male and female.
  • the gazing point P11 and the gazing point P21 are scattered between the face of the person U1 and the face of the person U2, and are concentrated in the vicinity of the center of the black belt area below the ball B. Have been shown.
  • FIG. 11B shows that the gazing point P11 and the gazing point P21 are concentrated in the portion where the person U2 scoops the food contained in the ball B with the spoon S2. That is, FIG. 11B shows that the gazing point P11 and the gazing point P21 have moved from FIG. 11A.
  • FIG. 11C shows that the gazing point P11 and the gazing point P21 are concentrated at the mouth of the person U1 when the person U2 is giving the food of the ball B scooped with the spoon S2 to the person U1. ing. That is, FIG. 11C shows that the gazing point P11 and the gazing point P21 have moved further from FIG. 11B.
  • FIG. 11D after the person U2 has given food to the person U1, when the person U2 tries to scoop up the food of the ball B with the spoon S2 again, the gaze point P11 is set on the face of the person U1 and the ball B. It is shown that the gazing point P21 is concentrated. That is, FIG. 11D shows that the gazing point P11 and the gazing point P21 are further moved from FIG. 11C.
  • FIG. 11E shows that the gazing point P11 and the gazing point P21 are concentrated on the face of the person U1 when the person U1 smiles after the person U2 feeds the person U1. There is. That is, FIG. 11E shows that the gazing point P11 and the gazing point P21 are further moved from those in FIG. 11D.
  • the display control unit 202 displays the gazing point P11 and the gazing point P21 on the video image 2000 according to the elapsed time of the video image 2000. Specifically, the display control unit 202 displays the transition of the coordinate positions of the gazing point P11 and the gazing point P21 depending on the elapsed time of the video 2000.
  • the coordinate data of the coordinate positions of the gazing point P11 and the gazing point P21 are calculated by, for example, the calculation unit 220.
  • the gazing points of the male and the female are superimposed and displayed on the video, but this is an example and does not limit the present disclosure.
  • a heat map may be superimposed on the video instead of the gaze point.
  • FIG. 12 is a schematic diagram for explaining an example of a method different from FIGS. 11A to 11E for displaying a gazing point on the display screen in the present embodiment.
  • the display control unit 202 may superimpose and display a heat map of the gazing point on the video 3000 according to the elapsed time of the video.
  • the calculation unit 220 calculates the heat map for the video 3000 based on the gazing point data for each subject stored in the storage unit 222.
  • the display control unit 202 superimposes the gazing area P12 and the gazing area P22 as a heat map on the image 3000 based on the calculation result of the calculation unit 220.
  • the gazing area P12 indicated by diagonal lines is a gazing area of a male subject
  • the gazing area P22 indicated by a dot is a gazing area of a female subject.
  • the display control unit 202 superimposes and displays the first center of gravity G1 which is the center of gravity of the gazing point of the male and the second center of gravity G2 which is the center of gravity of the gazing point of the female on the image 3000.
  • the display control unit 202 changes the density when displaying the gaze area with diagonal lines or dots according to the overlapping degree of the gaze areas, for example.
  • the display control unit 202 displays with higher density as the degree of overlap increases.
  • the display control unit 202 may display the gazing area P12 and the gazing area P22 with different colors.
  • the display control unit 202 changes the saturation of the gazing area P12 and the gazing area P22, for example, according to the degree of overlap of the gazing areas.
  • the display control unit 202 displays the image with higher saturation as the overlapping degree of the gaze areas is higher. This facilitates confirmation of the region of the image 3000 that the subject is gazing at.
  • the display control unit 202 for example, easily superimposes the gazing area P12 and the gazing area P22 on the image 3000, so that the degree of overlap between the gazing area P12 and the gazing area P22 can be easily grasped.
  • the entire display screen may be divided into a grid shape, and the gaze rate for each grid may be displayed in a bar graph or the like.
  • each grid is drawn with grid lines on the display screen. Therefore, hereinafter, the grid on the display screen may be referred to as a grid.
  • FIG. 13 is a schematic diagram for explaining an example of a method different from FIGS. 11A to 11E and FIG. 12 for displaying the gazing point on the display screen in the present embodiment.
  • the display control unit 202 may divide the image 4000 into a plurality of grids 4100 on the display screen and display a bar graph 4110 and a bar graph 4120 on each grid 4100.
  • a bar graph 4110 shows the gaze rate of men in the grid
  • a bar graph 4120 shows the gaze rate of women in the grid.
  • the bar graph 4110 and the bar graph 4120 may be displayed in different colors or may be displayed in different hatching.
  • the calculation unit 220 calculates the gazing rate of each grid for each male and female based on the gazing point data for each subject stored in the storage unit 228. Further, it is preferable that the calculation unit 220 normalize the gaze rate calculated based on the number of men or women.
  • the display control unit 202 divides the image 4000 into a plurality of grids 4100 based on the calculation result of the calculation unit 220, and displays a bar graph 4110 and a bar graph 4120 on each grid 4100.
  • the display control unit 202 calculates a gaze rate for each reproduction time of the video image 4000 and displays a bar graph 4110 and a bar graph 4120. That is, the bar graph 4110 and the bar graph 4120 that are displayed to be superimposed on the video image 4000 change according to the reproduction time of the video image 4000.
  • the display control unit 202 displays the normalized bar graph 4110 and the normalized bar graph 4120 on each grid 4100, which facilitates the comparison of the gaze rates.
  • FIG. 14 is a flowchart showing an example of the flow of processing for displaying a gazing point on an image.
  • the gazing point detection unit 214 measures the gazing point for the image of the subject (step S101).
  • the gazing point detection unit 214 determines in step S102 whether or not gazing points for the images of all the subjects have been measured. When the gazing points for the images of all the subjects are not measured (No in step S102), the gazing point detection unit 214 returns to step S101 and continues the processing. On the other hand, when the gazing points for the images of all the subjects are measured (Yes in step S102), the gazing point detection unit 214 proceeds to step S103.
  • step S101 and step S102 may be omitted if the gazing point is measured in advance for all the subjects.
  • the display control unit 202 receives the measurement data of the gazing point of the selected subject to be displayed among the measured gazing points (step S103).
  • FIG. 15 is a schematic diagram for explaining an example of a method of selecting a subject to be displayed on a video.
  • FIG. 15 shows a selection screen 5000 for selecting whether to display or not among the measured data of the measured subjects.
  • the selection screen 5000 includes a display/non-display button 5100.
  • the user can operate the operation unit such as a mouse and click the display/non-display button 5100 to set display and non-display for each subject.
  • the test subjects whose examination numbers are 3, 5, and 8 are set to be hidden.
  • a diagonal line is drawn, and it is displayed easily distinguishable from the display case.
  • the display control unit 202 sets the type of gaze information to be displayed on the video (step S104).
  • FIG. 16 is a schematic diagram for explaining an example of a method of selecting the type of gaze information to be displayed on a video.
  • the interface 6000 is an example of a setting screen for selecting the type of gaze information to be displayed on the video.
  • an image 7000 and an image in which the gazing points of a plurality of subjects are superimposed are displayed.
  • three start buttons of a gaze point multi-display start button 6100, a heat map display start button 6200, and a grid display start button 6300 are arranged.
  • a barycenter display setting unit 6400, a reproduction speed setting unit 6500, a condition selection setting unit 6600, and a speed filter setting unit 6700 are shown on the right side of the interface 6000.
  • the user can select the desired display mode on the interface 6000.
  • the gaze point multi-display start button 6100 for example, the image 2000 as described with reference to FIGS. 11A to 11E is displayed.
  • the heat map display start button 6200 for example, the image 3000 as described in FIG. 12 is displayed.
  • the grid display start button 6300 for example, the image 4000 as described with reference to FIG. 13 is displayed. That is, the display control unit 202 selectively displays a plurality of gaze information having different display forms in response to an instruction from the user.
  • the center of gravity display setting unit 6400 can display the center of gravity of the gazing point.
  • the center of gravity of the gazing point will be described later.
  • the playback speed setting unit 6500 can set the playback speed of the video 7000.
  • As the reproduction speed for example, 2 ⁇ speed, 1 ⁇ speed, 1/2 ⁇ speed, etc. can be set.
  • the reproduction speed setting unit 6500 can set an appropriate reproduction speed when analyzing the video to be reproduced.
  • the condition selection and setting unit 6600 can set the condition of the point of interest displayed on the video 7000.
  • the first condition M when the gazing point of the male subject is displayed.
  • the second condition F is selected, the gazing point of the female subject is displayed. If the second condition is selected, the gazing point of the subject who has the case is displayed.
  • “No second condition” the gazing point of the subject with no case is displayed.
  • the speed filter setting unit 6700 can set a filter for canceling the gazing point moving at a high speed equal to or higher than a predetermined speed.
  • step S105 the display control unit 202 superimposes the gazing point on the image and displays the image according to the display method selected in step S104 (step S105).
  • the output control unit 226 outputs the calculation result of the gazing point as a data file (step S106). Then, the output control unit 226 outputs the video displayed by superimposing the gazing point on the video as a video file (step S107). Then, the processing of FIG. 14 ends.
  • FIG. 17 is a flowchart showing an example of the flow of processing for detecting a point of gaze.
  • the arithmetic processing unit 20A receives various measurement information regarding the measurement of the gazing point of the subject (step S201). Specifically, the arithmetic processing device 20A receives various kinds of information included in the data set 400 shown in FIG.
  • the arithmetic processing device 20A causes the display control unit 202 to start reproducing the video (step S202).
  • the arithmetic processing device 20A acquires the elapsed time from the start of video reproduction by the display control unit 202 (step S203).
  • the arithmetic processing device 20A detects the gazing point of the subject with respect to the video by the gazing point detection unit 214 (step S204). The arithmetic processing device 20A determines whether or not the detection of the gazing point is successful in step S205 by the gazing point detection unit 214.
  • step S205 If the detection of the gazing point fails (Yes in step S205), the gazing point detection unit 214 proceeds to step S206 and sets a failure flag (step S206). Then, the gazing point detection unit 214 proceeds to step S207. On the other hand, when the gaze point is successfully detected (No in step S205), the gaze point detecting unit 214 proceeds to step S207.
  • the arithmetic processing unit 20A causes the gazing point detection unit 214 to store the video reproduction elapsed time and the detected gazing point coordinates in the storage unit 222 (step S207).
  • the gazing point detection unit 214 stores the failure flag in the storage unit 222 when the failure flag is set.
  • step S208 determines in step S208 whether or not the video reproduction is completed.
  • step S208 If the reproduction of the video is not completed (No in step S208), the display control unit 202 returns to step S203 and repeats the above processing. On the other hand, when the reproduction of the video is completed (Yes in step S208), the display control unit 202 ends the process of FIG.
  • FIG. 18 is a flowchart showing an example of the flow of a process of displaying a gaze point in a video in multiple display.
  • the processing device 20A reads out various conditions for displaying the gazing point (step S301).
  • the various conditions include various information included in the data set 400 illustrated in FIG. 10 and information regarding the number of subjects.
  • the arithmetic processing device 20A causes the display control unit 202 to start reproducing the video (step S302).
  • the display control unit 202 acquires the elapsed time from the start of playing the video (step S303).
  • the subject number counter H is a counter used for sequentially selecting and extracting data regarding the gazing point of the subject to be displayed.
  • the processing device 20A reads the coordinate data of the gazing point corresponding to the elapsed playback time of the video from the data matrix corresponding to the subject number counter (step S306).
  • the processor 20A can read the coordinate data based on the data set 400 shown in FIG.
  • the coordinate data read by the arithmetic processing device 20A also includes information regarding the failure flag.
  • step S308 determines in step S308 whether or not the speed filter is set.
  • the speed filter is 1 (already set) (Yes in step S308)
  • the arithmetic processing device 20A proceeds to step S309.
  • the arithmetic processing device 20A proceeds to step S310.
  • the arithmetic processing unit 20A calculates a speed filter after Yes in step S308 (step S309). Specifically, the arithmetic processing unit 20A calculates the distance of the position (coordinates) of the gazing point measured this time from the position (coordinates) of the gazing point measured last time in the gazing point coordinates measured every predetermined time. To do. Then, the arithmetic processing device 20A determines not to display the data when the calculated distance is equal to or larger than a predetermined distance.
  • the arithmetic processing unit 20A plots the gazing point coordinates corresponding to the video reproduction elapsed time in a predetermined color, and superimposes and displays the coordinates on the video (step S310).
  • the processing device 20A determines in step S311 whether the processing has been completed for all the subjects. Specifically, the processing device 20A determines whether or not the subject number counter H is equal to or greater than the number of subjects.
  • step S311 If all the subjects have been processed (Yes in step S311), the processing device 20A proceeds to step S312. On the other hand, when the processing has not been completed for all the subjects (No in step S311), the arithmetic processing device 20A returns to step S305 and repeats the above processing.
  • the processing device 20A calculates the center of gravity of the gazing point (step S312). Specifically, the arithmetic processing device 20A calculates the center of gravity set by the center of gravity display setting unit 6400 shown in FIG.
  • the first center of gravity G11 is the center of gravity of the gazing points in the set having a predetermined number or more of gazing points within a predetermined distance.
  • the second center of gravity G21 is the center of gravity of the entire gazing point for each displayed setting condition (for example, male or female) regardless of the scattered positions of the gazing point. With the double center G21, the average gaze position of the corresponding subject can be obtained.
  • the arithmetic processing unit 20A displays a plot at the position of the center of gravity calculated in step S312 and superimposes and displays it on the video (step S313). Specifically, the arithmetic processing device 20A causes the display control unit 202 to display the center of gravity of the point of gaze or the center of gravity of the point of gaze in a set having a predetermined number or more on the image.
  • step S314 the processing device 20A determines in step S314 whether or not the video reproduction is completed.
  • step S314 If the reproduction of the video is not completed (No in step S314), the arithmetic processing device 20A returns to step S303 and repeats the above processing. On the other hand, when the reproduction of the video is completed (Yes in step S314), the arithmetic processing device 20A ends the process of FIG.
  • FIG. 19 is a flowchart showing an example of the flow of processing for displaying a heat map of a gazing point on an image.
  • step S401 to step S407 Since the processing from step S401 to step S407 is the same as the processing from step S301 to step S307 illustrated in FIG. 18, description thereof will be omitted.
  • step S407 the processing device 20A proceeds to step S409. On the other hand, after Yes in step S407, the processing device 20A proceeds to step S408.
  • the arithmetic processing unit 20A excludes the coordinate data of the gazing point determined to have failed (step S408).
  • the processing device 20A determines in step S409 whether or not the processing has been completed for all the subjects.
  • step S409 If the processing of all the subjects has been completed (Yes in step S409), the processing device 20A proceeds to step S410. On the other hand, when the processing has not been completed for all the subjects (No in step S409), the arithmetic processing device 20A returns to step S405 and repeats the above processing.
  • the processing device 20A calculates the heat map of the gazing point according to the set information (step S410). Specifically, as illustrated in FIG. 12, the processing device 20A changes the saturation of the heat map according to the number of gazing points.
  • the processing device 20A displays the calculated heat map by superimposing it on the video (step S411).
  • Steps S412 to S414 are the same as steps S312 to S314 illustrated in FIG. 18, and thus description thereof will be omitted.
  • FIG. 20 is a flowchart showing an example of the flow of a process of displaying a gaze rate for each grid on an image.
  • Steps S501 to S509 are the same as steps S401 to S409 illustrated in FIG. 19, and therefore description thereof will be omitted.
  • the processing device 20A divides the image into grids (step S510).
  • the size of each grid and the number of grids are arbitrary.
  • the arithmetic processing device 20A can divide a gazing point in a video into grids for each region to be evaluated.
  • the processing device 20A calculates the gazing point in each grid according to the set information (step S511).
  • the arithmetic processing device 20A normalizes the gazing rate according to the number of data of the gazing point (step S512).
  • the line-of-sight detection apparatus 100 collects the gaze rate in the grid for each male and female, and normalizes the gaze rate in each person.
  • the arithmetic processing device 20A can compare the gaze rates of both men and women even when the numbers of men and women are different.
  • the arithmetic processing unit 20A displays the calculated and normalized gaze rate in a bar graph for each grid (step S513). For example, as shown in FIG. 13, the arithmetic processing unit 20A displays the gaze rate in a bar graph for each male and female.
  • step S514 the processing device 20A determines in step S514 whether the video reproduction is completed.
  • step S514 If the reproduction of the video is not completed (No in step S514), the arithmetic processing device 20A returns to step S503 and repeats the above processing. On the other hand, when the reproduction of the video is completed (Yes in step S514), the arithmetic processing device 20A ends the process of FIG.
  • the gaze tendency of each subject with respect to the video can be displayed by being superimposed on the video.
  • the present disclosure can verify the subject's gaze tendency with respect to the video. Specifically, it is possible to easily visually grasp how the gazing point changes with the change of the image.
  • the present disclosure by displaying the gaze rate for each grid, it is possible to compare the gaze rates of the test subject groups classified under a specific condition. As a result, it is possible to more accurately verify the subject's gaze tendency with respect to the image of each subject.
  • the gaze pattern of the developmentally disabled person and the gaze pattern of the subject are displayed at the same time, whereby the tendency of the developmental disability of the subject can be evaluated, which helps to diagnose the developmental disability. be able to.
  • the explanation is given using the data of the developmental disability, but the present disclosure is not limited to the developmental disability, and when performing the evaluation using the gazing point including the cognitive dysfunction and the brain dysfunction. Can be used.
  • the display device, the display method, and the program according to the present disclosure can be used as a device for verifying the gaze tendency by displaying the distribution of the subject's gaze with respect to the video together with the video.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Eye Examination Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

表示装置（１０１）は、映像に対する被験者の注視点の位置データを記憶する記憶部（２２２）と、位置データから注視点を視覚的に示す注視情報を算出する演算部（２２０）と、注視情報を、映像の再生経過時間に応じて映像に重畳して表示部（１０１Ｓ）の表示画面に表示する表示制御部（２０２）と、を備える。

Description

表示装置、表示方法、およびプログラム
　本開示は、表示装置、表示方法、およびプログラムに関する。
　従来、多数の被験者の視線の注視傾向を一度に調べる技術として、計測した注視点の座標データから、視線の分布を調べる技術が知られている。
　例えば、特許文献１には、画像データにおける特徴点を含む特定エリアに被験者の注視点が存在した時間を算出することのできる技術が記載されている。
特開２０１７－１５８８６６号公報
　しかしながら、特許文献１では、画像データの具体的な内容に対する、被験者の注視傾向を検証することが困難であった。そのため、被験者の注視傾向を検証することのできる技術が望まれていた。
　本開示は、映像に対する被験者の視線の分布を映像と共に表示して注視傾向を検証することのできる表示装置、表示方法、およびプログラムを提供することを目的とする。
　本開示の表示装置は、映像に対する被験者の注視点の位置データを記憶する記憶部と、前記位置データから前記注視点を視覚的に示す注視情報を算出する演算部と、前記注視情報を、前記映像の再生経過時間に応じて前記映像に重畳して表示部の表示画面に表示する表示制御部と、を備える。
　本開示の表示方法は、映像に対する被験者の注視点の位置データから前記注視点を視覚的に示す注視情報を算出する演算ステップと、前記注視情報を、前記映像の再生経過時間に応じて前記映像に重畳して表示部の表示画面に表示する表示制御ステップと、を含む。
　本開示のプログラムは、映像に対する被験者の注視点の位置データから前記注視点を視覚的に示す注視情報を算出する演算ステップと、前記注視情報を、前記映像の再生経過時間に応じて前記映像に重畳して表示部の表示画面に表示する表示制御ステップと、をコンピュータに実行させる。
　本開示によれば、画像データに対する被験者の注視傾向を検証することのできる表示装置、表示方法、およびプログラムを提供することができる。
図１は、本実施形態に係る視線検出装置の一例を模式的に示す斜視図である。 図２は、本実施形態に係る視線検出装置のハードウェア構成の一例を示す図である。 図３は、本実施形態に係る視線検出装置の一例を示す機能ブロック図である。 図４は、本実施形態に係る角膜曲率中心の位置データの算出方法を説明するための模式図である。 図５は、本実施形態に係る角膜曲率中心の位置データの算出方法を説明するための模式図である。 図６は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。 図７は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。 図８は、従来の注視点表示の一例を説明するための模式図である。 図９は、従来の動的に注視点を示す画面の一例を説明するための模式図である。 図１０は、本実施形態に係る被験者の注視データに関するデータセットの一例を示す模式図である。 図１１Ａは、本実施形態に係る表示画面に注視点を表示する方法の一例を説明するための模式図である。 図１１Ｂは、本実施形態に係る表示画面に注視点を表示する方法の一例を説明するための模式図である。 図１１Ｃは、本実施形態に係る表示画面に注視点を表示する方法の一例を説明するための模式図である。 図１１Ｄは、本実施形態に係る表示画面に注視点を表示する方法の一例を説明するための模式図である。 図１１Ｅは、本実施形態に係る表示画面に注視点を表示する方法の一例を説明するための模式図である。 図１２は、本実施形態に係る表示画面に注視点を表示する方法の一例を説明するための模式図である。 図１３は、本実施形態に係る表示画面に注視点を表示する方法の一例を説明するための模式図である。 図１４は、映像に注視点を表示させる処理の流れの一例を示すフローチャートである。 図１５は、映像に表示させる被験者を選択する方法の一例を説明するための模式図である。 図１６は、映像に表示させる注視情報の種類を選択する方法を説明するための模式図である。 図１７は、注視点を検出する処理の流れの一例を示すフローチャートである。 図１８は、映像に注視点をマルチ表示する処理の流れの一例を示すフローチャートである。 図１９は、映像に注視点のヒートマップを表示する処理の流れの一例を示すフローチャートである。 図２０は、映像にグリッドごとに注視率を表示する処理の流れの一例を示すフローチャートである。
　以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
　以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第一軸と平行な方向をＸ軸方向とし、第１軸と直交する所定面の第二軸と平行な方向をＹ軸方向とし、第１軸および第２軸と直交する第三軸と平行な方向をＺ軸方向とする。本実施形態において、所定面はＸＹ平面である。
　［視線検出装置］
　図１は、第１実施形態に係る視線検出装置１００の一例を模式的に示す斜視図である。視線検出装置１００は、発達障がいの可能性が高いか低いかの評価を行う評価装置として用いられる。図１に示すように、視線検出装置１００は、表示装置１０１と、ステレオカメラ装置１０２と、照明装置１０３とを備える。
　表示装置１０１は、液晶ディスプレイ（liquid　crystal　display：ＬＣＤ）または有機ＥＬディスプレイ（organic　electroluminescence　display：ＯＬＥＤ）のようなフラットパネルディスプレイを含む。本実施形態において、表示装置１０１は、表示部１０１Ｓを有する。表示部１０１Ｓは、画像を表示する。本実施形態において、表示部１０１Ｓは、例えば被験者の視機能を評価するための指標を表示する。表示部１０１Ｓは、ＸＹ平面と実質的に平行である。Ｘ軸方向は表示部１０１Ｓの左右方向であり、Ｙ軸方向は表示部１０１Ｓの上下方向であり、Ｚ軸方向は表示部１０１Ｓと直交する奥行方向である。
　ステレオカメラ装置１０２は、第１カメラ１０２Ａ及び第２カメラ１０２Ｂを有する。ステレオカメラ装置１０２は、表示装置１０１の表示部１０１Ｓよりも下方に配置される。第１カメラ１０２Ａと第２カメラ１０２ＢとはＸ軸方向に配置される。第１カメラ１０２Ａは、第２カメラ１０２Ｂよりも－Ｘ方向に配置される。第１カメラ１０２Ａ及び第２カメラ１０２Ｂはそれぞれ、赤外線カメラを含み、例えば波長８５０［ｎｍ］の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。
　照明装置１０３は、第１光源１０３Ａ及び第２光源１０３Ｂを有する。照明装置１０３は、表示装置１０１の表示部１０１Ｓよりも下方に配置される。第１光源１０３Ａと第２光源１０３ＢとはＸ軸方向に配置される。第１光源１０３Ａは、第１カメラ１０２Ａよりも－Ｘ方向に配置される。第２光源１０３Ｂは、第２カメラ１０２Ｂよりも＋Ｘ方向に配置される。第１光源１０３Ａ及び第２光源１０３Ｂはそれぞれ、ＬＥＤ（light　emitting　diode）光源を含み、例えば波長８５０［ｎｍ］の近赤外光を射出可能である。なお、第１光源１０３Ａ及び第２光源１０３Ｂは、第１カメラ１０２Ａと第２カメラ１０２Ｂとの間に配置されてもよい。
　照明装置１０３は、検出光である近赤外光を射出して、被験者の眼球１１１を照明する。ステレオカメラ装置１０２は、第１光源１０３Ａから射出された検出光が眼球１１１に照射されたときに第２カメラ１０２Ｂで眼球１１１の一部（以下、これを含めて「眼球」とする）を撮影し、第２光源１０３Ｂから射出された検出光が眼球１１１に照射されたときに第１カメラ１０２Ａで眼球１１１を撮影する。
　第１カメラ１０２Ａ及び第２カメラ１０２Ｂの少なくとも一方からフレーム同期信号が出力される。第１光源１０３Ａ及び第２光源１０３Ｂは、フレーム同期信号に基づいて検出光を射出する。第１カメラ１０２Ａは、第２光源１０３Ｂから射出された検出光が眼球１１１に照射されたときに、眼球１１１の画像データを撮影する。第２カメラ１０２Ｂは、第１光源１０３Ａから射出された検出光が眼球１１１に照射されたときに、眼球１１１の画像データを撮影する。
　眼球１１１に検出光が照射されると、その検出光の一部は瞳孔１１２で反射し、その瞳孔１１２からの光がステレオカメラ装置１０２に入射する。また、眼球１１１に検出光が照射されると、角膜の虚像である角膜反射像１１３が眼球１１１に形成され、その角膜反射像１１３からの光がステレオカメラ装置１０２に入射する。
　第１カメラ１０２Ａ及び第２カメラ１０２Ｂと第１光源１０３Ａ及び第２光源１０３Ｂとの相対位置が適切に設定されることにより、瞳孔１１２からステレオカメラ装置１０２に入射する光の強度は低くなり、角膜反射像１１３からステレオカメラ装置１０２に入射する光の強度は高くなる。すなわち、ステレオカメラ装置１０２で撮影される瞳孔１１２の画像は低輝度となり、角膜反射像１１３の画像は高輝度となる。ステレオカメラ装置１０２は、撮影される画像の輝度に基づいて、瞳孔１１２の位置及び角膜反射像１１３の位置を検出することができる。
　図２は、本実施形態に係る視線検出装置１００のハードウェア構成の一例を示す図である。図２に示すように、視線検出装置１００は、表示装置１０１と、ステレオカメラ装置１０２と、照明装置１０３と、コンピュータシステム２０と、入出力インターフェース装置３０と、駆動回路４０と、出力装置５０と、入力装置６０とを備える。
　コンピュータシステム２０と、駆動回路４０と、出力装置５０と、入力装置６０とは、入出力インターフェース装置３０を介してデータ通信する。コンピュータシステム２０は、演算処理装置２０Ａ及び記憶装置２０Ｂを含む。演算処理装置２０Ａは、ＣＰＵ（central　processing　unit）のようなマイクロプロセッサを含む。記憶装置２０Ｂは、ＲＯＭ（read　only　memory）及びＲＡＭ（random　access　memory）のようなメモリまたはストレージを含む。演算処理装置２０Ａは、記憶装置２０Ｂに記憶されているコンピュータプログラム２０Ｃに従って演算処理を実施する。
　駆動回路４０は、駆動信号を生成して、表示装置１０１、ステレオカメラ装置１０２、及び照明装置１０３に出力する。また、駆動回路４０は、ステレオカメラ装置１０２で撮影された眼球１１１の画像データを、入出力インターフェース装置３０を介してコンピュータシステム２０に供給する。
　出力装置５０は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置５０は、印刷装置を含んでもよい。入力装置６０は、操作されることにより入力データを生成する。入力装置６０は、コンピュータシステム用のキーボードまたはマウスを含む。なお、入力装置６０が表示装置である出力装置５０の表示部に設けられたタッチセンサを含んでもよい。
　本実施形態においては、表示装置１０１とコンピュータシステム２０とは別々の装置である。なお、表示装置１０１とコンピュータシステム２０とが一体でもよい。例えば視線検出装置１００がタブレット型パーソナルコンピュータを含む場合、そのタブレット型パーソナルコンピュータに、コンピュータシステム２０、入出力インターフェース装置３０、駆動回路４０、及び表示装置１０１が搭載されてもよい。
　図３は、本実施形態に係る視線検出装置１００の一例を示す機能ブロック図である。図３に示すように、入出力インターフェース装置３０は、入出力部３０２を有する。
　駆動回路４０は、表示装置１０１を駆動するための駆動信号を生成して表示装置１０１に出力する表示装置駆動部４０２と、第１カメラ１０２Ａを駆動するための駆動信号を生成して第１カメラ１０２Ａに出力する第１カメラ入出力部４０４Ａと、第２カメラ１０２Ｂを駆動するための駆動信号を生成して第２カメラ１０２Ｂに出力する第２カメラ入出力部４０４Ｂと、第１光源１０３Ａ及び第２光源１０３Ｂを駆動するための駆動信号を生成して第１光源１０３Ａ及び第２光源１０３Ｂに出力する光源駆動部４０６とを有する。また、第１カメラ入出力部４０４Ａは、第１カメラ１０２Ａで撮影された眼球１１１の画像データを、入出力部３０２を介してコンピュータシステム２０に供給する。第２カメラ入出力部４０４Ｂは、第２カメラ１０２Ｂで撮影された眼球１１１の画像データを、入出力部３０２を介してコンピュータシステム２０に供給する。
　コンピュータシステム２０は、視線検出装置１００を制御する。コンピュータシステム２０は、表示制御部２０２と、光源制御部２０４と、画像データ取得部２０６と、入力データ取得部２０８と、位置検出部２１０と、曲率中心算出部２１２と、注視点検出部２１４と、領域設定部２１６と、判定部２１８と、演算部２２０と、記憶部２２２と、評価部２２４と、出力制御部２２６とを有する。コンピュータシステム２０の機能は、演算処理装置２０Ａ及び記憶装置２０Ｂによって発揮される。
　表示制御部２０２は、表示装置駆動部４０２を制御して、被験者に視認させる評価用画像を表示装置１０１の表示部１０１Ｓに表示させる。評価用画像は、静止画と動画とを含む。評価用画像は、例えば複数用意される。表示制御部２０２は、当該複数の評価用画像を表示装置１０１に順次表示する。また、表示制御部２０２は、表示部１０１Ｓ上において所望の位置に注視点Ｐを位置させるためのアイキャッチ映像を表示装置１０１に表示させてもよい。
　光源制御部２０４は、光源駆動部４０６を制御して、第１光源１０３Ａ及び第２光源１０３Ｂの作動状態を制御する。光源制御部２０４は、第１光源１０３Ａと第２光源１０３Ｂとが異なるタイミングで検出光を射出するように第１光源１０３Ａ及び第２光源１０３Ｂを制御する。
　画像データ取得部２０６は、第１カメラ１０２Ａ及び第２カメラ１０２Ｂを含むステレオカメラ装置１０２によって撮影された被験者の眼球１１１の画像データを、入出力部３０２を介してステレオカメラ装置１０２から取得する。
　入力データ取得部２０８は、入力装置６０が操作されることにより生成された入力データを、入出力部３０２を介して入力装置６０から取得する。
　位置検出部２１０は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、瞳孔中心の位置データを検出する。また、位置検出部２１０は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、角膜反射中心の位置データを検出する。瞳孔中心は、瞳孔１１２の中心である。角膜反射中心は、角膜反射像１１３の中心である。位置検出部２１０は、被験者の左右それぞれの眼球１１１について、瞳孔中心の位置データ及び角膜反射中心の位置データを検出する。
　曲率中心算出部２１２は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、眼球１１１の角膜曲率中心の位置データを算出する。
　注視点検出部２１４は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、被験者の注視点Ｐの位置データを検出する。本実施形態において、注視点Ｐの位置データとは、三次元グローバル座標系で規定される被験者の視線ベクトルと表示装置１０１の表示部１０１Ｓとの交点の位置データをいう。注視点検出部２１４は、眼球１１１の画像データから取得された瞳孔中心の位置データ及び角膜曲率中心の位置データに基づいて、被験者の左右それぞれの眼球１１１の視線ベクトルを検出する。視線ベクトルが検出された後、注視点検出部２１４は、視線ベクトルと表示部１０１Ｓとの交点を示す注視点Ｐの位置データを検出する。
　領域設定部２１６は、表示装置１０１の表示部１０１Ｓに表示された評価用画像に対応した判定領域を設定する。領域設定部２１６は、評価用画像に含まれる人物、物体、模様などに判定領域を設定する。本実施形態では、領域設定部２１６は、表示部１０１Ｓにおいて評価用画像の少なくとも一部に判定領域を設定する。判定領域は、複数設定されることが好ましい。領域設定部２１６は、表示部１０１Ｓにおいて自然画と幾何学画像とが表示される場合、例えば、自然画が表示された領域の少なくとも一部と、幾何学画像が表示された領域の少なくとも一部とにそれぞれ判定領域を設定してもよい。判定領域は、評価用映像に含まれる物体に対して設定されることが好ましい。判定領域は、自然画に対して設定される場合、例えば、人物または人物の顔といった物体毎に設定することが好ましい。判定領域は、表示部１０１Ｓには表示されない。判定領域の形状は、例えば、矩形、円形、楕円形、多角形などであってもよく、限定されない。複数の判定領域の大きさは、異なってもよい。複数の判定領域は、重なって設定されてもよい。判定領域は、ＡＳＤの可能性が高い被験者と、ＡＳＤの可能性が低い被験者とで注視するか否かの傾向に差異が出る、評価用画像中の領域に設定されることが好ましい。
　判定部２１８は、注視点Ｐの位置データに基づいて、注視点Ｐが判定領域に存在するか否かをそれぞれ判定し、判定データを出力する。例えば、判定部２１８は、注視点Ｐが判定領域に存在すると判定する場合、当該判定領域の判定値を「１」とし、存在しないと判定する場合、当該判定領域の判定値を「０」とした判定データを出力する。判定部２１８は、注視点Ｐが判定領域に存在すると判定する場合、判定領域を注視した時間および注視した回数によらず、判定値を「１」とする。判定部２１８は、注視した時間が長くても短くても判定値を「１」とする。判定部２１８は、注視点Ｐが判定領域とその他の領域とを往復して、複数回、判定領域に存在すると判定する場合でも、判定値を「１」とする。判定部２１８は、例えば一定時間毎に注視点Ｐが判定領域に存在するか否かを判定する。一定時間としては、例えば第１カメラ１０２Ａ及び第２カメラ１０２Ｂから出力されるフレーム同期信号の周期（例えば２０［ｍｓｅｃ］毎）とすることができる。
　演算部２２０は、判定部２１８の判定データに基づいて、所定時間に注視点Ｐが存在する判定領域の総数を算出する。言い換えると、演算部２２０は、所定時間に評価用画像中の判定領域を被験者がいくつ見たかを算出する。演算部２２０は、各判定領域の判定値を積算して、注視点Ｐが存在する判定領域の総数を算出する。
　演算部２２０は、映像の再生時間を管理する管理タイマと、表示部１０１Ｓに映像が表示されてからの経過時間を検出する検出タイマを有する。演算部２２０は、判定部２１８の判定結果に基づいて、注視点の位置データに対応した注視情報を算出する。注視情報は、例えば、評価用画像における、被験者の注視点を視覚的に示した情報のことを意味する。具体的には、注視情報は、評価用画像における注視点の位置を示した点などの印、ヒートマップ、注視率を示す棒グラフなどを意味する。ヒートマップは、例えば、評価用画像における被験者の注視点の密集度に関する情報を示す。注視率は、例えば、評価用画像を所定の範囲に分割し、その範囲毎に存在する注視点の割合を示す情報である。
　評価部２２４は、演算部２２０が算出した注視点Ｐが存在する判定領域の総数に基づいて、被験者の評価データを求める。評価データは、表示動作において表示部１０１Ｓに表示される判定領域を被験者が注視した数を評価するデータである。評価データは、例えば、判定領域を注視した時間および注視した回数に関わらず、注視した判定領域の数を評価する。評価部２２４は、注視点Ｐが存在する判定領域毎に重みをつけて評価データを求めてもよい。評価部２２４は、さらに評価データが所定のしきい値以上であるか否かを判断し、評価の判定を行う。
　記憶部２２２は、上記の判定データ、及び評価データを記憶する。また、記憶部２２２は、画像を表示する処理と、表示部を観察する被験者の注視点Ｐの位置を検出する処理と、表示部において、判定領域を設定する処理と、注視点Ｐの位置データに基づいて、注視点Ｐが判定領域に存在するか否かをそれぞれ判定し、判定データを出力する処理と、判定データに基づいて、被験者の評価データを求める処理と、評価データを出力する処理とをコンピュータに実行させる評価プログラムを記憶する。
　出力制御部２２６は、表示装置１０１及び出力装置５０の少なくとも一方にデータを出力する。
　次に、本実施形態に係る曲率中心算出部２１２の処理の概要について説明する。曲率中心算出部２１２は、眼球１１１の画像データに基づいて、眼球１１１の角膜曲率中心の位置データを算出する。図４及び図５は、本実施形態に係る角膜曲率中心１１０の位置データの算出方法を説明するための模式図である。図４は、１つの光源１０３Ｃで眼球１１１が照明される例を示す。図５は、第１光源１０３Ａ及び第２光源１０３Ｂで眼球１１１が照明される例を示す。
　まず、図４に示す例について説明する。光源１０３Ｃは、第１カメラ１０２Ａと第２カメラ１０２Ｂとの間に配置される。瞳孔中心１１２Ｃは、瞳孔１１２の中心である。角膜反射中心１１３Ｃは、角膜反射像１１３の中心である。図４において、瞳孔中心１１２Ｃは、眼球１１１が１つの光源１０３Ｃで照明されたときの瞳孔中心を示す。角膜反射中心１１３Ｃは、眼球１１１が１つの光源１０３Ｃで照明されたときの角膜反射中心を示す。角膜反射中心１１３Ｃは、光源１０３Ｃと角膜曲率中心１１０とを結ぶ直線上に存在する。角膜反射中心１１３Ｃは、角膜表面と角膜曲率中心１１０との中間点に位置付けられる。角膜曲率半径１０９は、角膜表面と角膜曲率中心１１０との距離である。角膜反射中心１１３Ｃの位置データは、ステレオカメラ装置１０２によって検出される。角膜曲率中心１１０は、光源１０３Ｃと角膜反射中心１１３Ｃとを結ぶ直線上に存在する。曲率中心算出部２１２は、その直線上において角膜反射中心１１３Ｃからの距離が所定値となる位置データを、角膜曲率中心１１０の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部２２２に記憶されている。
　次に、図５に示す例について説明する。本実施形態においては、第１カメラ１０２Ａ及び第２光源１０３Ｂと、第２カメラ１０２Ｂ及び第１光源１０３Ａとは、第１カメラ１０２Ａと第２カメラ１０２Ｂとの中間位置を通る直線に対して左右対称の位置に配置される。第１カメラ１０２Ａと第２カメラ１０２Ｂとの中間位置に仮想光源１０３Ｖが存在するとみなすことができる。角膜反射中心１２１は、第２カメラ１０２Ｂで眼球１１１を撮影した画像における角膜反射中心を示す。角膜反射中心１２２は、第１カメラ１０２Ａで眼球１１１を撮影した画像における角膜反射中心を示す。角膜反射中心１２４は、仮想光源１０３Ｖに対応する角膜反射中心を示す。角膜反射中心１２４の位置データは、ステレオカメラ装置１０２で撮影された角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データに基づいて算出される。ステレオカメラ装置１０２は、ステレオカメラ装置１０２に規定される三次元ローカル座標系において角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データを検出する。ステレオカメラ装置１０２について、事前にステレオ較正法によるカメラ較正が実施され、ステレオカメラ装置１０２の三次元ローカル座標系を三次元グローバル座標系に変換する変換パラメータが算出される。その変換パラメータは、記憶部２２２に記憶されている。曲率中心算出部２１２は、ステレオカメラ装置１０２で撮影された角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データを、変換パラメータを使って、三次元グローバル座標系における位置データに変換する。曲率中心算出部２１２は、三次元グローバル座標系で規定される角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データに基づいて、三次元グローバル座標系における角膜反射中心１２４の位置データを算出する。角膜曲率中心１１０は、仮想光源１０３Ｖと角膜反射中心１２４とを結ぶ直線１２３上に存在する。曲率中心算出部２１２は、直線１２３上において角膜反射中心１２４からの距離が所定値となる位置データを、角膜曲率中心１１０の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部２２２に記憶されている。
　このように、光源が２つある場合でも、光源が１つである場合の方法と同様の方法で、角膜曲率中心１１０が算出される。
　角膜曲率半径１０９は、角膜表面と角膜曲率中心１１０との距離である。したがって、角膜表面の位置データ及び角膜曲率中心１１０の位置データが算出されることにより、角膜曲率半径１０９が算出される。
　次に、本実施形態に係る視線検出方法の一例について説明する。図６は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。キャリブレーション処理では、被験者に注視させるため、目標位置１３０が設定される。目標位置１３０は、三次元グローバル座標系において規定される。本実施形態において、目標位置１３０は、例えば表示装置１０１の表示部１０１Ｓの中央位置に設定される。なお、目標位置１３０は、表示部１０１Ｓの端部位置に設定されてもよい。出力制御部２２６は、設定された目標位置１３０に目標画像を表示する。直線１３１は、仮想光源１０３Ｖと角膜反射中心１１３Ｃとを結ぶ直線である。直線１３２は、目標位置１３０と瞳孔中心１１２Ｃとを結ぶ直線である。角膜曲率中心１１０は、直線１３１と直線１３２との交点である。曲率中心算出部２１２は、仮想光源１０３Ｖの位置データと、目標位置１３０の位置データと、瞳孔中心１１２Ｃの位置データと、角膜反射中心１１３Ｃの位置データとに基づいて、角膜曲率中心１１０の位置データを算出することができる。
　次に、注視点検出部２１４の注視点検出処理について説明する。注視点検出処理は、キャリブレーション処理の後に実施される。注視点検出部２１４は、眼球１１１の画像データに基づいて、被験者の視線ベクトル及び注視点Ｐの位置データを算出する。図７は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。図７において、注視点１６５は、一般的な曲率半径値を用いて算出された角膜曲率中心から求めた注視点Ｐを示す。注視点１６６は、キャリブレーション処理で求められた距離１２６を用いて算出された角膜曲率中心から求めた注視点Ｐを示す。瞳孔中心１１２Ｃは、キャリブレーション処理において算出された瞳孔中心を示し、角膜反射中心１１３Ｃは、キャリブレーション処理において算出された角膜反射中心を示す。直線１７３は、仮想光源１０３Ｖと角膜反射中心１１３Ｃとを結ぶ直線である。角膜曲率中心１１０は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離１２６は、キャリブレーション処理により算出した瞳孔中心１１２Ｃと角膜曲率中心１１０との距離である。角膜曲率中心１１０Ｈは、距離１２６を用いて角膜曲率中心１１０を補正した補正後の角膜曲率中心の位置を示す。角膜曲率中心１１０Ｈは、角膜曲率中心１１０が直線１７３上に存在すること、及び瞳孔中心１１２Ｃと角膜曲率中心１１０との距離が距離１２６であることから求められる。これにより、一般的な曲率半径値を用いる場合に算出される視線１７７は、視線１７８に補正される。また、表示装置１０１の表示部１０１Ｓ上の注視点Ｐは、注視点１６５から注視点１６６に補正される。
　［表示方法］
　次に、本実施形態に係る表示方法について説明する。本実施形態に係る表示方法では、上記の視線検出装置１００を用いることにより、映像に対する被験者の注視点の動向を評価する。
　現在、発達障がいの診断を支援するための映像開発などが盛んに行われている。ここで、必要となるのが、映像の感度/特異度の検討である。映像ごとに、定型発達者と発達障がい者の注視パターンに差が出る映像を開発する必要がある。このために、これを評価する装置が望まれていた。
　従来の注視点計測装置では、映像を表示して、これに対して被験者がどのように見たかを調べるものであり、多くの被験者の注視点を重畳してその傾向を調べる機能はない。結果として、どの部分を見たかは注視点座標の集計により調べることはできるが、映像の動きなどに関連して、そのように注視点が推移していく傾向があるのかを動的に知ることができなかった。また、その中でも、男女差、年齢などの条件によりどのように差が出るのかも調べることができなかった。そこで、本開示は、被験者が視聴した刺激映像の再生画面に、複数の被験者の注視点を選択的に表示して、動的に注視点の推移を確認できるようにしたものである。
　まず、図８と、図９とを用いて、表示画像に対する従来の注視点の表示例について説明する。図８は、従来の注視点表示の一例を説明するための模式図である。図９は、従来の動的に注視点を示す画面の一例を説明するための模式図である。図８と、図９とに示す映像１０００は、人物Ｕ１と、人物Ｕ２とを含む映像である。
　図８は、映像の再生開始から終了までの１人に被験者の注視点Ｐ１をまとめて表示した様子を示している。図８では、注視点Ｐ１が人物Ｕ１の顔近くや、ボールＢなどに注視点が集まっていることが示されている。しかしながら、このような従来例の場合、複数の被験者の注視点を同時に表示させると、注視点が重なり合ってしまうので見づらくなり、また注視点の時間的な推移を確認することが困難となる。
　図９は、表示画面に対して動的に注視点を表示する従来例の一例を示している。このような従来例は、映像を再生しながら、その上に被験者の注視点座標に基づいて、注視点Ｐ２が移動する様子を観察する。このような従来例では、複数の被験者の注視点の動向を同時に表示することができなかった。
　次に、本開示について説明する。本開示では、複数の被験者の注視点に関する注視情報を映像と共に表示することができる。
　本実施形態において、注視情報とは、映像において、被験者の注視動向を視覚的に示した情報のことを意味している。例えば、本実施形態における注視情報は、映像と共に表示させる注視点、映像と共に表示させるヒートマップ、映像をグリッドに分割し、グリッドごとに表示させる棒グラフなどを含む。以下では、注視情報として、注視点、ヒートマップ、棒グラフを映像とともに表示させる方法について説明する。なお、注視点、ヒートマップ、棒グラフは注視情報の一例であり、本開示を限定するものではない。
　図１０を用いて、本実施形態に係る被験者の注視データに関するデータセットについて説明する。図１０は、本実施形態に係る被験者の注視データに関するデータセットの一例を示す模式図である。
　図１０に示すように、データセット４００は、例えば、表示／非表示欄４１０と、被験者番号欄４２０と、第一条件欄４３０と、第二条件欄４４０と、注視点座標欄４５０とを含む。本実施形態において、データセット４００は、例えば、記憶部２２２に記憶されている。
　表示／非表示欄４１０には、映像に注視点を表示するか否かの情報が格納される。表示／非表示欄４１０が表示の場合、映像にはその被験者の注視点が表示される。表示／非表示欄４１０が非表示の場合、映像にはその被験者の注視点が表示されない。
　被験者番号欄４２０には、被験者を区別するための番号が確認される。データセット４００においては、被験者番号欄４２０には、１から５０までの整数が格納されている。なお、データセット４００では、１から５０までの整数が格納されているが、これは例示であり、本開示を限定するものではない。本開示では、被験者番号欄に数に特に制限はない。
　第一条件欄４３０には、被験者ごとに第一条件に関する情報が格納される、第一条件に特に制限はないが、データセット４００における第一条件は性別である。例えば、被験者番号が１の被験者は男性であり、被験者番号２の被験者は女性であることが示されている。
　第二条件欄４４０には、被験者ごとに第二条件に関する情報が格納される。第二条件に特に制限はないが、データセット４００における第二条件は発達障がいなどの症例の有無である。例えば、被験者番号が１の被験者は症例があり、被験者番号が２の被験者は症例がないことが示されている。
　注視点座標欄４５０は、映像に対する各被験者の注視点座標に関する情報が格納される。本実施形態において、注視点の座標は、表示画面における座標と、時間情報とを含むデータ行列として格納されている。
　図１１Ａと、図１１Ｂと、図１１Ｃと、図１１Ｄと、図１１Ｅとを用いて、本実施形態に係る注視点を表示する方法の一例について説明する。図１１Ａから図１１Ｅは、本実施形態に表示画面に注視点を表示する方法の一例を説明するための模式図である。
　図１１Ａから図１１Ｅは、表示映像の時間的な推移を示している。具体的には、図１１Ａから図１１Ｅの順番に時間が推移している。
　図１１Ａに示すように、映像２０００には、人物Ｕ１と、人物Ｕ２とが含まれている。表示制御部２０２は、映像２０００に対する複数の被験者の注視点に関する情報を、映像２０００に重畳して表示する。映像２０００において、三角印で示されている注視点Ｐ１１は、男性の被験者の注視点を示している。四角印で示されている注視点Ｐ２１は女性の被験者の注視点を示している。すなわち、表示制御部２０２は、男性と、女性との異なる２つの条件の複数の被験者の注視点を同時に表示している。映像２０００では、注視点Ｐ１１と、注視点Ｐ２１とは、人物Ｕ１の顔と、人物Ｕ２との顔の間に点在し、ボールＢの下の近傍の黒帯領域の中央部付近に集中していることが示されている。
　図１１Ｂには、人物Ｕ２がボールＢに入っている食べ物をスプーンＳ２ですくった部分に、注視点Ｐ１１と、注視点Ｐ２１とが集中していることが示されている。すなわち、図１１Ｂには、注視点Ｐ１１と、注視点Ｐ２１とが図１１Ａから移動したことが示されている。
　図１１Ｃには、人物Ｕ２がスプーンＳ２ですくったボールＢの食べ物を、人物Ｕ１に与えている時に、人物Ｕ１の口元に注視点Ｐ１１と、注視点Ｐ２１とが集中していることが示されている。すなわち、図１１Ｃには、注視点Ｐ１１と、注視点Ｐ２１とが図１１Ｂからさらに移動したことが示されている。
　図１１Ｄには、人物Ｕ２が人物Ｕ１に食べ物を与えた後、人物Ｕ２が再度スプーンＳ２でボールＢの食べ物をすくおうとしている時に、人物Ｕ１の顔と、ボールＢとに注視点Ｐ１１と、注視点Ｐ２１とが集中していることが示されている。すなわち、図１１Ｄには、注視点Ｐ１１と、注視点Ｐ２１とが図１１Ｃからさらに移動したことが示されている。
　図１１Ｅには、人物Ｕ２が人物Ｕ１に食べ物を与えた後、人物Ｕ１が笑顔になった時、注視点Ｐ１１と、注視点Ｐ２１とが人物Ｕ１の顔に集中していることが示されている。すなわち、図１１Ｅには、注視点Ｐ１１と、注視点Ｐ２１とが図１１Ｄからさらに移動したことが示されている。
　図１１Ａから図１１Ｅに示したように、表示制御部２０２は、映像２０００の経過時間に応じて、注視点Ｐ１１と、注視点Ｐ２１とを映像２０００に重畳して表示させる。具体的には、表示制御部２０２は、映像２０００の経過時間による、注視点Ｐ１１と、注視点Ｐ２１の座標位置の推移を表示する。注視点Ｐ１１と、注視点Ｐ２１との座標位置の座標データは例えば、演算部２２０によって算出される。
　図１１Ａから図１１Ｅでは、映像に対して、男性と女性との注視点を重畳して表示したが、これは例示であり、本開示を限定するものではない。本開示では、注視情報として、注視点の代わりに映像に対してヒートマップを重畳させてもよい。
　図１２を用いて、本実施形態に係る注視点を表示する方法の一例について説明する。図１２は、本実施形態に表示画面に注視点を表示する図１１Ａから図１１Ｅとは別の方法の一例を説明するための模式図である。
　図１２に示すように、表示制御部２０２は、映像３０００に対して映像の経過時間に応じて、注視点のヒートマップを重畳して表示させてもよい。この場合、演算部２２０は、記憶部２２２に記憶されている被験者ごとの注視点データに基づいて、映像３０００に対するヒートマップを算出する。
　表示制御部２０２は、演算部２２０の演算結果に基づいて、映像３０００に対して、ヒートマップとして注視領域Ｐ１２と、注視領域Ｐ２２とを重畳して表示させる。ここで、斜線で示す注視領域Ｐ１２は男性の被験者の注視領域であり、点で示す注視領域Ｐ２２は女性の被験者の注視領域である。表示制御部２０２は、映像３０００に対して、男性の注視点の重心である第一重心Ｇ１と、女性の注視点の重心である第二重心Ｇ２とを重畳して表示させる。表示制御部２０２は、例えば、注視領域の重なり度合いに応じて、斜線や点で注視領域を表示する場合には、密度を変えて表示する。この場合、表示制御部２０２は、重なり度合いが高いほど密度を高くして表示する。表示制御部２０２は、注視領域Ｐ１２と、注視領域Ｐ２２との色を変えて表示してもよい。この場合、表示制御部２０２は、例えば、注視領域の重なり度合いに応じて、注視領域Ｐ１２と、注視領域Ｐ２２との彩度を変えて表示する。表示制御部２０２は、例えば、注視領域の重なり度合いが高いほど彩度を強くして表示する。これにより、映像３０００における被験者の注視している領域の確認が容易となる。表示制御部２０２は、例えば、注視領域Ｐ１２と、注視領域Ｐ２２とを半透明に映像３０００に重畳させることで、注視領域Ｐ１２と、注視領域Ｐ２２との重なり具合の把握も容易となる。
　本開示では、映像に対する注視点の表示として、例えば、表示画面全体を格子状に分割し、格子ごとの注視率を棒グラフなどで表示してもよい。例えば、本開示では、表示画面上において、各格子はグリッド線で描画されている。そのため、以下では、表示画面上の格子のことをグリッドと呼ぶこともある。
　図１３を用いて、本実施形態に係る注視点を表示する方法の一例について説明する。図１３は、本実施形態に表示画面に注視点を表示する図１１Ａから図１１Ｅ及び図１２とは別の方法の一例を説明するための模式図である。
　図１３に示すように、表示制御部２０２は、映像４０００を表示画面上において、複数のグリッド４１００に分割し、各グリッド４１００に棒グラフ４１１０と、棒グラフ４１２０とを表示させてもよい。棒グラフ４１１０は、そのグリッドの男性の注視率を示しており、棒グラフ４１２０は、そのグリッドの女性の注視率を示している。棒グラフ４１１０と、棒グラフ４１２０とでは、色を変えて表示してもよいし、ハッチングなどを変えて表示してもよい。この場合、演算部２２０は、記憶部２２８に記憶されている被験者ごとの注視点データに基づいて、男性及び女性ごとに各グリッドの注視率を算出する。また、演算部２２０は、男性又は女性の人数で算出した注視率を正規化することが好ましい。
　表示制御部２０２は、演算部２２０の演算結果に基づいて、映像４０００に対して、複数のグリッド４１００に分割し、各グリッド４１００に棒グラフ４１１０と、棒グラフ４１２０とを表示する。表示制御部２０２は、映像４０００の再生時間ごとに注視率を算出し、棒グラフ４１１０と、棒グラフ４１２０とを表示する。すなわち、映像４０００に重畳して表示される棒グラフ４１１０と、棒グラフ４１２０とは、映像４０００の再生時間に応じて変化する。表示制御部２０２は、各グリッド４１００に正規化された棒グラフ４１１０と、正規化された棒グラフ４１２０とを表示することで、注視率の比較が容易となる。
　図１４を用いて、映像に注視点を表示させる方法について説明する。図１４は、映像に注視点を表示させる処理の流れの一例を示すフローチャートである。
　まず、注視点検出部２１４は、被験者の映像に対する注視点を計測する（ステップＳ１０１）。次に、注視点検出部２１４は、ステップＳ１０２において、全ての被験者の映像に対する注視点を計測したか判定する。全ての被験者の映像に対する注視点を計測していない場合（ステップＳ１０２のＮｏ）、注視点検出部２１４は、ステップＳ１０１に戻り、処理を継続する。一方、全ての被験者の映像に対する注視点を計測した場合（ステップＳ１０２のＹｅｓ）、注視点検出部２１４は、ステップＳ１０３に進む。
　なお、全ての被験者について予め注視点を計測している場合には、ステップＳ１０１と、ステップＳ１０２とは省略してもよい。
　次に、表示制御部２０２は、計測した注視点のうち、選択された表示すべき被験者の注視点の計測データを受け付ける（ステップＳ１０３）。
　図１５を用いて、計測データを表示させるべき被験者を選択する方法について説明する。図１５は、映像に表示させる被験者を選択する方法の一例を説明するための模式図である。
　図１５には、計測した被験者の計測データのうち、表示の有無を選択するための選択画面５０００が示されている。選択画面５０００には、表示／非表示ボタン５１００が含まれている。この場合、例えば、ユーザは、マウスなどの操作部を操作して、表示／非表示ボタン５１００をクリックすることで、被験者ごとに表示と、非表示とを設定することができる。選択画面５０００では、被検査番号が３と、５と、８との被験者が非表示に設定されている。選択画面５０００に示す例では、表示／非表示ボタン５１００が非表示の場合には、斜線が引かれ、表示の場合とは区別がつきやすく表示される。
　再び図１４を参照する。次に、表示制御部２０２は、映像に表示させる注視情報の種類を設定する（ステップＳ１０４）。
　図１６を用いて、映像に表示させる注視情報の種類を設定する方法について説明する。図１６は、映像に表示させる注視情報の種類を選択する方法の一例を説明するための模式図である。
　インターフェース６０００は、映像に表示させる注視情報の種類を選択するための設定画面の一例である。インターフェース６０００の中央部分には、映像７０００と、複数の被験者の注視点を重畳させた映像が表示される。インターフェース６０００の上部には、注視点マルチ表示スタートボタン６１００と、ヒートマップ表示スタートボタン６２００と、グリッド表示スタートボタン６３００との３つのスタートボタンが配置されている。インターフェース６０００の右部には、重心表示設定部６４００と、再生速度設定部６５００と、条件選択設定部６６００と、速度フィルタ設定部６７００とが示されている。
　本実施形態では、ユーザは、インターフェース６０００上で、所望に表示モードを選択することができる。注視点マルチ表示スタートボタン６１００を選択することで、例えば、図１１Ａから図１１Ｅで説明したような映像２０００が表示される。ヒートマップ表示スタートボタン６２００を選択することで、例えば、図１２で説明したような、映像３０００が表示される。グリッド表示スタートボタン６３００を選択することで、例えば、図１３で説明したような、映像４０００が表示される。すなわち、表示制御部２０２は、表示形態が異なる複数の注視情報を、ユーザからの指示に応じて選択的に表示する。
　重心表示設定部６４００では、注視点の重心を表示することができる。注視点の重心については後述する。
　再生速度設定部６５００では、映像７０００の再生速度を設定することができる。再生速度としては、例えば、２倍速、１倍速、１／２倍速などを設定可能である。再生速度設定部６５００では、再生させる映像に対応して解析する際に、適当な再生速度を設定することができる。
　条件選択設定部６６００では、映像７０００に表示する注視点の条件を設定することができる。本実施形態では、第一条件Ｍが選択されると、男性の被験者の注視点が表示される。第二条件Ｆが選択されると、女性の被験者の注視点が表示される。第二条件ありが選択されると、症例がある被験者の注視点が表示される。第二条件なしが選択されると、症例がない被験者の注視点が表示される。
　映像７０００において、被験者の注視点を調べる場合、又は注視点の重心を計算する場合に、速度が速い注視点の移動（サッケード）は、悪影響を及ぼす場合がある。このため、速度フィルタ設定部６７００では、所定の速度以上の早い速度で移動する注視点をキャンセルするためのフィルタを設定することができる。
　再び図１４を参照する。次に表示制御部２０２は、ステップＳ１０４で選択された表示方式に従って、注視点を映像に重畳させて表示する（ステップＳ１０５）。
　次に、出力制御部２２６は、注視点の計算結果をデータファイルとして出力する（ステップＳ１０６）。そして、出力制御部２２６は、映像に注視点を重畳して表示させた映像をビデオファイルとして出力する（ステップＳ１０７）。そして、図１４の処理は終了する。
　次に、図１７を用いて、映像に表示させるための注視点を検出する方法について説明する。図１７は、注視点を検出する処理の流れの一例を示すフローチャートである。
　まず、演算処理装置２０Ａは、被験者の注視点の計測に関する種々の計測情報を受け付ける（ステップＳ２０１）。具体的には、演算処理装置２０Ａは、図１０に示したデータセット４００に含まれる種々の情報を受け付ける。
　次に、演算処理装置２０Ａは、表示制御部２０２によって、映像の再生を開始する（ステップＳ２０２）。演算処理装置２０Ａは、表示制御部２０２によって、映像の再生を開始してからの経過時間を取得する（ステップＳ２０３）。
　演算処理装置２０Ａは、注視点検出部２１４によって、映像に対する被験者の注視点を検出する（ステップＳ２０４）。演算処理装置２０Ａは、注視点検出部２１４によって、ステップＳ２０５において、注視点の検出が成功したか否かを判定する。
　注視点の検出が失敗した場合（ステップＳ２０５のＹｅｓ）、注視点検出部２１４は、ステップＳ２０６に進み、失敗フラグをセットする（ステップＳ２０６）。そして、注視点検出部２１４は、ステップＳ２０７に進む。一方、注視点の検出が成功した場合（ステップＳ２０５のＮｏ）、注視点検出部２１４は、ステップＳ２０７に進む。
　演算処理装置２０Ａは、注視点検出部２１４によって、映像再生経過時間と、検出した注視点座標とを記憶部２２２に保存する（ステップＳ２０７）。注視点検出部２１４は、失敗フラグがセットされている場合には、失敗フラグを記憶部２２２に記憶する。
　次に、演算処理装置２０Ａは、表示制御部２０２によって、ステップＳ２０８において、映像の再生が完了したか否かを判定する。
　映像の再生が完了していない場合（ステップＳ２０８のＮｏ）、表示制御部２０２は、ステップＳ２０３に戻り、上述の処理を繰り返す。一方、映像の再生が完了した場合（ステップＳ２０８のＹｅｓ）、表示制御部２０２は、図１７の処理を終了する。
　次に、図１８を用いて、映像に注視点をマルチ表示する方法について説明する。図１８は、映像に注視点をマルチ表示する処理の流れの一例を示すフローチャートである。
　まず、演算処理装置２０Ａは、注視点を表示するための各種の条件を読み出す（ステップＳ３０１）。各種の条件は、図１０に示したデータセット４００に含まれる各種の情報及び被験者数に関する情報を含む。
　次に、演算処理装置２０Ａは、表示制御部２０２によって、映像の再生を開始する（ステップＳ３０２）。表示制御部２０２は、映像の再生を開始してからの経過時間を取得する（ステップＳ３０３）。
　次に、演算処理装置２０Ａは、被験者番号カウンタをクリアする（ステップＳ３０４）。具体的には、演算処理装置２０Ａは、被験者番号カウンタＨ＝０としてクリアする。ここで、被験者番号カウンタＨは、表示すべき被験者の注視点に関するデータを順次選択して取り出すために用いられるカウンタである。
　次に、演算処理装置２０Ａは、被験者番号カウンタをインクリメントする（ステップＳ３０５）。具体的には、演算処理装置２０Ａは、被験者カウンタＨ＝Ｈ＋１としてインクリメントする。
　次に、演算処理装置２０Ａは、被験者番号カウンタに対応するデータ行列の中から、映像の再生経過時間に対応した注視点の座標データを読み出す（ステップＳ３０６）。演算処理装置２０Ａは、図１０に図示のデータセット４００に基づいて、座標データを読み出すことができる。演算処理装置２０Ａが読み出す座標データには、失敗フラグに関する情報も含まれている。
　次に、演算処理装置２０Ａは、ステップＳ３０７において、失敗フラグ＝１（失敗）であるか否かを判定する。失敗フラグ＝０（成功）である場合（ステップＳ３０７のＮｏ）、演算処理装置２０Ａは、ステップＳ３０８に進む。一方、失敗フラグ＝１である場合（ステップＳ３０７のＹｅｓ）、演算処理装置２０Ａは、ステップＳ３１１に進む。
　次に、演算処理装置２０Ａは、ステップＳ３０８において、速度フィルタが設定されているか否かを判定する。速度フィルタ＝１（設定済み）である場合（ステップＳ３０８のＹｅｓ）、演算処理装置２０Ａは、ステップＳ３０９に進む。一方、速度フィルタ＝０（未設定）である場合（ステップＳ３０８のＮｏ）、演算処理装置２０Ａは、ステップＳ３１０に進む。
　次に、演算処理装置２０Ａは、ステップＳ３０８のＹｅｓの後、速度フィルタを計算する（ステップＳ３０９）。具体的には、演算処理装置２０Ａは、所定時間ごとに計測される注視点座標において、前回計測された注視点の位置（座標）から今回計測された注視点の位置（座標）の距離を算出する。そして、演算処理装置２０Ａは、算出した距離が所定以上の距離であれば、そのデータは表示しないと判定する。
　次に、演算処理装置２０Ａは、映像再生経過時間に対応した注視点座標を所定の色でプロットし、映像に重畳して表示する（ステップＳ３１０）。
　次に、演算処理装置２０Ａは、ステップＳ３１１において、全ての被験者に対して処理が完了したか否かを判定する。具体的には、演算処理装置２０Ａは、被験者数カウンタＨが被験者数以上であるか否かを判定する。
　全ての被験者の処理が完了している場合（ステップＳ３１１のＹｅｓ）、演算処理装置２０Ａは、ステップＳ３１２に進む。一方、全ての被験者に対して処理が完了していない場合（ステップＳ３１１のＮｏ）、演算処理装置２０Ａは、ステップＳ３０５に戻り、上述の処理を繰り返す。
　次に、演算処理装置２０Ａは、注視点の重心を算出する（ステップＳ３１２）。具体的には、演算処理装置２０Ａは、図１６に示す重心表示設定部６４００で設定された重心を算出する。図１６において、第一重心Ｇ１１は、所定の距離内にある注視点が所定数以上ある集合中の注視点の重心である。第一重心Ｇ１１においては、注視点が複数の場所にまとまって点在している場合、点在している位置ごとの重心を求めることが可能である。また、第二重心Ｇ２１は、注視点の点在位置に依らず、表示されている設定条件ごと（例えば、男性や女性）の注視点全体の重心である。第二重心Ｇ２１では、対応する被験者の平均的な注視位置を求めることができる。
　次に、演算処理装置２０Ａは、ステップＳ３１２で算出した重心の位置にプロット表示を行い、映像に重畳して表示する（ステップＳ３１３）。具体的には、演算処理装置２０Ａは、表示制御部２０２によって、注視点の重心又は所定数以上ある集合中の注視点の重心を映像に重畳して表示する。
　次に、演算処理装置２０Ａは、ステップＳ３１４において、映像の再生が完了したか否かを判定する。
　映像の再生が完了していない場合（ステップＳ３１４のＮｏ）、演算処理装置２０Ａは、ステップＳ３０３に戻り、上述の処理を繰り返す。一方、映像の再生が完了している場合（ステップＳ３１４のＹｅｓ）、演算処理装置２０Ａは、図１８の処理を終了する。
　次に、図１９を用いて、映像にヒートマップを表示する方法について説明する。図１９は、映像に注視点のヒートマップを表示する処理の流れの一例を示すフローチャートである。
　ステップＳ４０１からステップＳ４０７の処理については、図１８に図示のステップＳ３０１からステップＳ３０７の処理と同じなので説明は省略する。
　ステップＳ４０７のＮｏの後、演算処理装置２０Ａは、ステップＳ４０９に進む。一方、ステップＳ４０７のＹｅｓの後、演算処理装置２０Ａは、ステップＳ４０８に進む。
　次に、演算処理装置２０Ａは、失敗と判定された注視点の座標データを除外する（ステップＳ４０８）。
　次に、演算処理装置２０Ａは、ステップＳ４０９において、全ての被験者に対して処理が完了したか否かを判定する。
　全ての被験者の処理が完了している場合（ステップＳ４０９のＹｅｓ）、演算処理装置２０Ａは、ステップＳ４１０に進む。一方、全ての被験者に対して処理が完了していない場合（ステップＳ４０９のＮｏ）、演算処理装置２０Ａは、ステップＳ４０５に戻り、上述の処理を繰り返す。
　次に、演算処理装置２０Ａは、設定された情報に従って、注視点のヒートマップを計算する（ステップＳ４１０）。具体的には、演算処理装置２０Ａは、図１２に示した通り、注視点の数に応じてヒートマップの彩度を変更する。
　次に、演算処理装置２０Ａは、算出したヒートマップを映像に重畳して表示する（ステップＳ４１１）。
　ステップＳ４１２からステップＳ４１４については、図１８に図示のステップＳ３１２からステップＳ３１４と同じなので説明は省略する。
　次に、図２０を用いて、映像にグリッドごとに注視率を表示する方法について説明する。図２０は、映像にグリッドごとに注視率を表示する処理の流れの一例を示すフローチャートである。
　ステップＳ５０１からステップＳ５０９は、図１９に図示のステップＳ４０１からステップＳ４０９と同じなので説明は省略する。
　ステップＳ５０９のＹｅｓの後、演算処理装置２０Ａは、映像をグリッドで分割する（ステップＳ５１０）。ここで、各グリッドの大きさ、グリッドの数は任意である。具体的には、演算処理装置２０Ａは、映像において、注視点を評価したい領域ごとにグリッドで分割することができる。
　次に、演算処理装置２０Ａは、設定された情報に従って、各グリッド内の注視点を計算する（ステップＳ５１１）。次に、演算処理装置２０Ａは、注視点のデータ数によって、注視率の正規化を行う（ステップＳ５１２）。例えば、視線検出装置１００は、グリッド内の注視率を男性と女性別に集計し、それぞれの人数で正規化する。これにより、演算処理装置２０Ａは、男性と女性との人数が異なる場合であっても、両者の注視率の比較を実行することが可能となる。
　次に、演算処理装置２０Ａは、算出し正規化した注視率を、グリッドごとに棒グラフで表示する（ステップＳ５１３）。例えば、演算処理装置２０Ａは、図１３に示したように、男性と、女性ごとに棒グラフで注視率を表示する。
　次に、演算処理装置２０Ａは、ステップＳ５１４において、映像の再生が完了したか否かを判定する。
　映像の再生が完了していない場合（ステップＳ５１４のＮｏ）、演算処理装置２０Ａは、ステップＳ５０３に戻り、上述の処理を繰り返す。一方、映像の再生が完了している場合（ステップＳ５１４のＹｅｓ）、演算処理装置２０Ａは、図２０の処理を終了する。
　上述のとおり、本開示では、映像に対する被験者ごとの注視傾向を映像に重畳して表示することができる。具体的には、本開示では、映像において注視点を表示したり、ヒートマップを表示したり、映像をグリッドに分割してグリットごとの注視率を表示したりすることができる。これにより、本開示は、映像に対する被験者の注視傾向を検証することができる。具体的には、映像の変化にともなって、注視点がどのように変化するかを視覚的に容易に把握することができる。
　特に、本開示では、グリッドごとに注視率を表示することで、特定の条件で分類した被験者群同士の注視率を比較することができる。これにより、被験者ごとの映像に対する被験者の注視傾向をより精度よく検証することができる。
　本開示を用いることで、発達障がい者の注視パターンと被験者の注視パターンとを識別して同時に表示することにより、被験者の発達障がいの傾向を評価することができ、発達障がいの診断の一助とすることができる。
　本開示の実施形態では、発達障がいのデータを用いて説明をおこなったが、本開示は発達障がいに限らず、認知機能障害や脳機能障害を始めとする注視点を用いた評価をおこなう際に利用することができる。
　以上、本開示の実施形態を説明したが、これら実施形態の内容により本開示が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
　本開示に係る表示装置、表示方法、およびプログラムは、映像に対する被験者の視線の分布を映像と共に表示して注視傾向を検証するための装置に利用することができる。
　２０…コンピュータシステム、１００…視線検出装置、１０１…表示装置、１０１Ｓ…表示部、１０２…ステレオカメラ装置、１０３…照明装置、２０２…表示制御部、２１４…注視点検出部、２１６…領域設定部、２１８…判定部、２２０…演算部、２２２…記憶部、２２４…評価部、２２６…出力制御部

Claims (6)

  1. 　映像に対する被験者の注視点の位置データを記憶する記憶部と、
    　前記位置データから前記注視点を視覚的に示す注視情報を算出する演算部と、
    　前記注視情報を、前記映像の再生経過時間に応じて前記映像に重畳して表示部の表示画面に表示する表示制御部と、
    　を備える、表示装置。
  2. 　前記演算部は、表示形態が異なる複数の前記注視情報を算出し、
    　前記表示制御部は、複数の前記注視情報から、ユーザが設定した条件に応じて、選択された注視情報を前記映像に重畳して表示する、
    　請求項１に記載の表示装置。
  3. 　前記表示制御部は、前記表示画面を格子状に分割し、かつ格子ごとに複数の前記被験者の注視率を所定時間単位で表示する、
    　請求項１または２に記載の表示装置。
  4. 　前記演算部は、更に、所定時間ごとに、前記注視点の重心又は所定数以上の前記注視点の集合の重心を算出し、
    　前記表示制御部は、前記注視点の重心又は所定数以上の前記注視点の集合の重心を表示する、
    　請求項１または２に記載の表示装置。
  5. 　映像に対する被験者の注視点の位置データから前記注視点を視覚的に示す注視情報を算出する演算ステップと、
    　前記注視情報を、前記映像の再生経過時間に応じて前記映像に重畳して表示部の表示画面に表示する表示制御ステップと、
    　を含む、表示方法。
  6. 　映像に対する被験者の注視点の位置データから前記注視点を視覚的に示す注視情報を算出する演算ステップと、
    　前記注視情報を、前記映像の再生経過時間に応じて前記映像に重畳して表示部の表示画面に表示する表示制御ステップと、
    　をコンピュータに実行させるための、プログラム。
PCT/JP2019/036112 2018-12-28 2019-09-13 表示装置、表示方法、およびプログラム WO2020137028A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP19905742.3A EP3884846A4 (en) 2018-12-28 2019-09-13 DISPLAY DEVICE, DISPLAY PROCESS AND PROGRAM
US17/346,326 US20210303066A1 (en) 2018-12-28 2021-06-14 Display device, display method, and computer-readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-248420 2018-12-28
JP2018248420A JP6988787B2 (ja) 2018-12-28 2018-12-28 表示装置、表示方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/346,326 Continuation US20210303066A1 (en) 2018-12-28 2021-06-14 Display device, display method, and computer-readable storage medium

Publications (1)

Publication Number Publication Date
WO2020137028A1 true WO2020137028A1 (ja) 2020-07-02

Family

ID=71128403

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/036112 WO2020137028A1 (ja) 2018-12-28 2019-09-13 表示装置、表示方法、およびプログラム

Country Status (4)

Country Link
US (1) US20210303066A1 (ja)
EP (1) EP3884846A4 (ja)
JP (1) JP6988787B2 (ja)
WO (1) WO2020137028A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102287281B1 (ko) * 2020-01-13 2021-08-06 주식회사 비주얼캠프 시선 분석 방법 및 이를 수행하기 위한 장치
JP2023087377A (ja) * 2021-12-13 2023-06-23 キヤノン株式会社 視線検出装置
JP7398854B1 (ja) * 2023-06-30 2023-12-15 ヴィアゲート株式会社 ウェブページ閲覧解析システム、ウェブページ閲覧解析方法およびウェブページ閲覧解析プログラム
JP7398853B1 (ja) * 2023-06-30 2023-12-15 ヴィアゲート株式会社 動画視聴解析システム、動画視聴解析方法および動画視聴解析プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012217524A (ja) * 2011-04-05 2012-11-12 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム
JP2013223713A (ja) * 2012-03-21 2013-10-31 Hamamatsu Univ School Of Medicine 自閉症診断支援方法およびシステム並びに自閉症診断支援装置
JP2015043963A (ja) * 2013-07-29 2015-03-12 株式会社Ｊｖｃケンウッド 診断支援装置および診断支援方法
JP2017158866A (ja) 2016-03-10 2017-09-14 株式会社Ｊｖｃケンウッド 診断支援装置、診断支援方法、トレーニング支援装置、及びトレーニング支援方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4755045A (en) * 1986-04-04 1988-07-05 Applied Science Group, Inc. Method and system for generating a synchronous display of a visual presentation and the looking response of many viewers
US6346887B1 (en) * 1999-09-14 2002-02-12 The United States Of America As Represented By The Secretary Of The Navy Eye activity monitor
WO2013066790A1 (en) * 2011-11-02 2013-05-10 Intuitive Surgical Operations, Inc. Method and system for stereo gaze tracking
EP2907453B1 (en) * 2012-09-28 2018-11-21 JVC Kenwood Corporation Diagnosis assistance device and diagnosis assistance method
US20150234457A1 (en) * 2012-10-15 2015-08-20 Umoove Services Ltd. System and method for content provision using gaze analysis
US11461936B2 (en) * 2015-03-17 2022-10-04 Raytrx, Llc Wearable image manipulation and control system with micro-displays and augmentation of vision and sensing in augmented reality glasses
JP6737234B2 (ja) * 2017-05-22 2020-08-05 株式会社Ｊｖｃケンウッド 評価装置、評価方法、及び評価プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012217524A (ja) * 2011-04-05 2012-11-12 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム
JP2013223713A (ja) * 2012-03-21 2013-10-31 Hamamatsu Univ School Of Medicine 自閉症診断支援方法およびシステム並びに自閉症診断支援装置
JP2015043963A (ja) * 2013-07-29 2015-03-12 株式会社Ｊｖｃケンウッド 診断支援装置および診断支援方法
JP2017158866A (ja) 2016-03-10 2017-09-14 株式会社Ｊｖｃケンウッド 診断支援装置、診断支援方法、トレーニング支援装置、及びトレーニング支援方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3884846A4

Also Published As

Publication number Publication date
EP3884846A4 (en) 2021-12-22
EP3884846A1 (en) 2021-09-29
US20210303066A1 (en) 2021-09-30
JP6988787B2 (ja) 2022-01-05
JP2020106772A (ja) 2020-07-09

Similar Documents

Publication Publication Date Title
WO2020137028A1 (ja) 表示装置、表示方法、およびプログラム
EP3123943B1 (en) Detection device and detection method
EP3815621B1 (en) Assessment device, assessment method, and assessment program
US20210290130A1 (en) Evaluation device, evaluation method, and non-transitory storage medium
US11937928B2 (en) Evaluation apparatus, evaluation method, and evaluation program
US20230098675A1 (en) Eye-gaze detecting device, eye-gaze detecting method, and computer-readable storage medium
JP6747172B2 (ja) 診断支援装置、診断支援方法、及びコンピュータプログラム
EP3811852B1 (en) Device, method, and program for detecting gaze
US20210290133A1 (en) Evaluation device, evaluation method, and non-transitory storage medium
US11653831B2 (en) Visual performance examination device, visual performance examination method, and computer program
US11883102B2 (en) Visual function detection apparatus, method of detecting visual function, and program
EP3970624B1 (en) Evaluation device, evaluation method, and evaluation program
JP2019024776A (ja) 評価装置、評価方法、及び評価プログラム
JP7043889B2 (ja) 視機能検出装置、視機能検出方法及びプログラム
JP7215246B2 (ja) 表示装置、表示方法、及び表示プログラム
JP7027958B2 (ja) 評価装置、評価方法、及び評価プログラム
WO2020031471A1 (ja) 評価装置、評価方法、及び評価プログラム
US20210298689A1 (en) Evaluation device, evaluation method, and non-transitory storage medium
WO2019181272A1 (ja) 評価装置、評価方法、及び評価プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19905742

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019905742

Country of ref document: EP

Effective date: 20210623