WO2015146491A1 - 検出装置および検出方法 - Google Patents

検出装置および検出方法 Download PDF

Info

Publication number
WO2015146491A1
WO2015146491A1 PCT/JP2015/055992 JP2015055992W WO2015146491A1 WO 2015146491 A1 WO2015146491 A1 WO 2015146491A1 JP 2015055992 W JP2015055992 W JP 2015055992W WO 2015146491 A1 WO2015146491 A1 WO 2015146491A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewpoint
image
unit
subject
geometric pattern
Prior art date
Application number
PCT/JP2015/055992
Other languages
English (en)
French (fr)
Inventor
首藤　勝行
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2014062184A external-priority patent/JP6187347B2/ja
Priority claimed from JP2014062183A external-priority patent/JP2015181797A/ja
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to CN201580015593.1A priority Critical patent/CN106163418B/zh
Priority to SG11201607901YA priority patent/SG11201607901YA/en
Priority to EP15768199.0A priority patent/EP3123943B1/en
Priority to AU2015235511A priority patent/AU2015235511B2/en
Publication of WO2015146491A1 publication Critical patent/WO2015146491A1/ja
Priority to US15/272,603 priority patent/US10159408B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A61B3/0058—Operational features thereof characterised by display arrangements for multiple images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation

Definitions

  • the present invention relates to a detection apparatus and a detection method.
  • the present invention has been made in view of the above, and an object of the present invention is to provide a detection device and a detection method capable of improving detection accuracy.
  • the present invention provides a display unit, an imaging unit that images a subject, and a line of sight that detects the gaze direction of the subject from a captured image captured by the imaging unit.
  • a first control unit that is a viewpoint of the subject in the person image based on the line-of-sight direction, an output control unit that causes the display unit to display a diagnostic image including a detection unit, a person image, and a geometric pattern image; Detecting the viewpoint, the center of the geometric pattern in the geometric pattern image, the characteristic part of the geometric pattern, the part where the density of the line drawing the geometric pattern is higher than the other part, and the part where the geometric pattern changes
  • a viewpoint detection unit that detects a second viewpoint that is the viewpoint of the subject in a region including at least one of the above.
  • the detection apparatus and the detection method according to the present invention have an effect of improving detection accuracy.
  • FIG. 1 is a diagram illustrating an example of the arrangement of a display unit, a stereo camera, an infrared light source, and a subject according to the present embodiment.
  • FIG. 2 is a diagram illustrating an example of the arrangement of the display unit, the stereo camera, the infrared light source, and the subject according to the present embodiment.
  • FIG. 3 is a diagram illustrating an outline of functions of the diagnosis support apparatus.
  • FIG. 4 is a block diagram illustrating an example of detailed functions of each unit illustrated in FIG. 3.
  • FIG. 5 is a diagram for explaining an overview of processing executed by the diagnosis support apparatus of this embodiment.
  • FIG. 6 is an explanatory diagram showing the difference between the method using two light sources and the present embodiment using one light source.
  • FIG. 1 is a diagram illustrating an example of the arrangement of a display unit, a stereo camera, an infrared light source, and a subject according to the present embodiment.
  • FIG. 3 is a diagram illustrating an outline of functions of the diagnosis support apparatus.
  • FIG. 7 is a diagram for explaining calculation processing for calculating the distance between the pupil center position and the corneal curvature center position.
  • FIG. 8 is a flowchart illustrating an example of calculation processing according to the present embodiment.
  • FIG. 9 is a diagram showing a method of calculating the position of the corneal curvature center using the distance obtained in advance.
  • FIG. 10 is a flowchart illustrating an example of a line-of-sight detection process according to the present embodiment.
  • FIG. 11 is a diagram illustrating an example of a diagnostic image.
  • FIG. 12 is a diagram illustrating an example of a diagnostic image used in the present embodiment.
  • FIG. 13 is a diagram illustrating another example of a diagnostic image used in the present embodiment.
  • FIG. 14 is a flowchart illustrating an example of a diagnosis support process when the diagnostic image of FIG. 12 is used.
  • FIG. 15 is a flowchart illustrating an example of a diagnosis support process when the diagnostic image of FIG. 13 is used.
  • FIG. 16 is a diagram illustrating another example of a diagnostic image used in the present embodiment.
  • the detection device is used as a diagnosis support device that supports the diagnosis of developmental disabilities using the line-of-sight detection result.
  • Applicable devices are not limited to diagnosis support devices.
  • the detection device (diagnosis support device) of this embodiment detects a line of sight using an illumination unit installed at one place.
  • the detection device (diagnosis support device) of the present embodiment calculates the corneal curvature center position with high accuracy by using a result obtained by gazing at one point on the subject before detecting the line of sight.
  • an illumination part is an element which can irradiate light to a test subject's eyeball including a light source.
  • the light source is an element that generates light, such as an LED (Light Emitting Diode).
  • a light source may be comprised from one LED, and may be comprised by combining several LED and arrange
  • the “light source” may be used as a term representing the illumination unit in this way.
  • the line of sight may be detected using illumination units installed at two or more locations.
  • a line-of-sight detection method similar to that of Patent Document 2 can be applied.
  • 1 and 2 are diagrams showing an example of the arrangement of the display unit, stereo camera, infrared light source, and test subject of this embodiment.
  • the diagnosis support apparatus of this embodiment includes a display unit 101, a stereo camera 102, and an LED light source 103.
  • the stereo camera 102 is disposed below the display unit 101.
  • the LED light source 103 is disposed at the center position of two cameras included in the stereo camera 102.
  • the LED light source 103 is a light source that irradiates near infrared rays having a wavelength of 850 nm, for example.
  • FIG. 1 shows an example in which the LED light source 103 (illumination unit) is configured by nine LEDs.
  • the stereo camera 102 uses a lens that can transmit near-infrared light having a wavelength of 850 nm.
  • the stereo camera 102 includes a right camera 202 and a left camera 203.
  • the LED light source 103 irradiates near-infrared light toward the eyeball 111 of the subject.
  • the pupil 112 is reflected and darkened with low brightness
  • the corneal reflection 113 generated as a virtual image in the eyeball 111 is reflected and brightened with high brightness. Accordingly, the positions of the pupil 112 and the corneal reflection 113 on the image can be acquired by each of the two cameras (the right camera 202 and the left camera 203).
  • the three-dimensional world coordinate values of the positions of the pupil 112 and the corneal reflection 113 are calculated from the positions of the pupil 112 and the corneal reflection 113 obtained by two cameras.
  • the center position of the screen of the display unit 101 is set as the origin
  • the top and bottom are Y coordinates (up is +)
  • the side is X coordinates (right is +)
  • the depth is Z coordinates ( The front is +).
  • FIG. 3 is a diagram showing an outline of functions of the diagnosis support apparatus 100.
  • FIG. 3 shows a part of the configuration shown in FIGS. 1 and 2 and a configuration used for driving the configuration.
  • the diagnosis support apparatus 100 includes a right camera 202, a left camera 203, an LED light source 103, a speaker 205, a drive / IF (interface) unit 313, a control unit 300, and a storage unit 150.
  • the display unit 101 In FIG. 3, the display screen 201 shows the positional relationship between the right camera 202 and the left camera 203 in an easy-to-understand manner, but the display screen 201 is a screen displayed on the display unit 101.
  • the drive unit and the IF unit may be integrated or separate.
  • the speaker 205 functions as an audio output unit that outputs audio or the like for alerting the subject during calibration.
  • the drive / IF unit 313 drives each unit included in the stereo camera 102.
  • the drive / IF unit 313 serves as an interface between each unit included in the stereo camera 102 and the control unit 300.
  • the control unit 300 is a communication I / F that communicates with a control device such as a CPU (Central Processing Unit) and a storage device such as a ROM (Read Only Memory) and a RAM (Random Access Memory) by connecting to a network. And a computer equipped with a bus for connecting each unit.
  • a control device such as a CPU (Central Processing Unit) and a storage device such as a ROM (Read Only Memory) and a RAM (Random Access Memory) by connecting to a network.
  • a computer equipped with a bus for connecting each unit.
  • the storage unit 150 stores various information such as a control program, a measurement result, and a diagnosis support result.
  • the storage unit 150 stores, for example, an image to be displayed on the display unit 101.
  • the display unit 101 displays various information such as a target image for diagnosis.
  • FIG. 4 is a block diagram showing an example of detailed functions of each unit shown in FIG. As shown in FIG. 4, the display unit 101 and the drive / IF unit 313 are connected to the control unit 300.
  • the drive / IF unit 313 includes camera IFs 314 and 315, an LED drive control unit 316, and a speaker drive unit 322.
  • the right camera 202 and the left camera 203 are connected to the drive / IF unit 313 via the camera IFs 314 and 315, respectively.
  • the driving / IF unit 313 drives these cameras to image the subject.
  • the speaker driving unit 322 drives the speaker 205.
  • the diagnosis support apparatus 100 may include an interface (printer IF) for connecting to a printer as a printing unit.
  • the printer may be provided inside the diagnosis support apparatus 100.
  • the control unit 300 controls the entire diagnosis support apparatus 100.
  • the control unit 300 includes a first calculation unit 351, a second calculation unit 352, a third calculation unit 353, a gaze detection unit 354, a viewpoint detection unit 355, an output control unit 356, and an evaluation unit 357. I have. Note that the line-of-sight detection device only needs to include at least the first calculation unit 351, the second calculation unit 352, the third calculation unit 353, and the line-of-sight detection unit 354.
  • Each element included in the control unit 300 (the first calculation unit 351, the second calculation unit 352, the third calculation unit 353, the line-of-sight detection unit 354, the viewpoint detection unit 355, the output control unit 356, and the evaluation unit 357) It may be realized by software (program), may be realized by a hardware circuit, or may be realized by using software and a hardware circuit in combination.
  • the program When implemented by a program, the program is a file in an installable or executable format, such as a CD-ROM (Compact Disk Read Only Memory), a flexible disk (FD), a CD-R (Compact Disk Recordable), a DVD ( It is recorded on a computer-readable recording medium such as Digital Versatile Disk) and provided as a computer program product.
  • the program may be provided by being stored on a computer connected to a network such as the Internet and downloaded via the network.
  • the program may be provided or distributed via a network such as the Internet.
  • the program may be provided by being incorporated in advance in a ROM or the like.
  • the first calculation unit 351 calculates the position of the pupil center (first position) indicating the center of the pupil from the eyeball image captured by the stereo camera 102.
  • the second calculator 352 calculates the position of the corneal reflection center (second position) indicating the center of corneal reflection from the captured image of the eyeball.
  • the third calculation unit 353 calculates the corneal curvature center (third position) from the straight line connecting the LED light source 103 and the corneal reflection center. For example, the third calculation unit 353 calculates a position on the straight line where the distance from the corneal reflection center is a predetermined value as the corneal curvature center. As the predetermined value, a value determined in advance from a general radius of curvature of the cornea or the like can be used.
  • the third calculation unit 353 may calculate the corneal curvature center in consideration of individual differences. In this case, the third calculation unit 353 first uses the pupil center and the corneal reflection center calculated when the subject is gazes at the target position, the straight line connecting the pupil center and the target position, the corneal reflection center, and the LED. The intersection (fourth position) of the straight line connecting to the light source 103 is calculated. Then, the third calculation unit 353 calculates a distance (first distance) between the pupil center and the calculated intersection, and stores it in the storage unit 150, for example.
  • the target position may be a position that is determined in advance and can calculate a three-dimensional world coordinate value.
  • the center position of the display screen 201 (the origin of the three-dimensional world coordinates) can be set as the target position.
  • the output control unit 356 displays an image (target image) or the like that causes the subject to gaze at the target position (center) on the display screen 201. Thereby, a test subject can be made to gaze at a target position.
  • the target image may be any image as long as it allows the subject to pay attention.
  • an image in which a display mode such as luminance or color changes, an image in which the display mode is different from other regions, or the like can be used as the target image.
  • the target position is not limited to the center of the display screen 201, and may be an arbitrary position. If the center of the display screen 201 is set as the target position, the distance from an arbitrary end of the display screen 201 is minimized. For this reason, it becomes possible to make the measurement error at the time of gaze detection smaller, for example.
  • the processing up to the calculation of the distance is executed in advance, for example, before actual gaze detection is started.
  • the third calculation unit 353 calculates, on the straight line connecting the LED light source 103 and the corneal reflection center, a position where the distance from the pupil center is a previously calculated distance as the corneal curvature center. .
  • the gaze detection unit 354 detects the gaze of the subject from the pupil center and the corneal curvature center. For example, the gaze detection unit 354 detects the direction from the corneal curvature center to the pupil center as the gaze direction of the subject.
  • the viewpoint detection unit 355 detects the viewpoint of the subject using the detected gaze direction.
  • the viewpoint detection unit 355 detects, for example, a viewpoint (gaze point) that is a point on the display screen 201 where the subject gazes.
  • the viewpoint detection unit 355 detects, for example, the intersection of the line-of-sight vector represented in the three-dimensional world coordinate system as shown in FIG. 2 and the XY plane as the gaze point of the subject.
  • the output control unit 356 controls the output of various information to the display unit 101, the speaker 205, and the like. For example, the output control unit 356 causes the target image to be output to the target position on the display unit 101. Further, the output control unit 356 controls the output to the display unit 101 such as a diagnostic image and an evaluation result by the evaluation unit 357.
  • the diagnostic image may be an image according to the evaluation process based on the line-of-sight (viewpoint) detection result.
  • a diagnostic image including an image such as a geometric pattern image
  • other images such as a person image
  • the image may be a still image or a moving image.
  • the geometric pattern image is an image including one or more geometric patterns, for example.
  • the person image may be an image including a person's face, for example.
  • the evaluation unit 357 performs an evaluation process based on the diagnostic image and the gazing point detected by the viewpoint detection unit 355. For example, in the case of diagnosing a developmental disorder, the evaluation unit 357 analyzes the diagnostic image and the gazing point, and evaluates whether or not the image preferred by the subject with the developmental disorder has been gazed.
  • FIG. 5 is a diagram illustrating an outline of processing executed by the diagnosis support apparatus 100 according to the present embodiment. Elements described in FIGS. 1 to 4 are denoted by the same reference numerals, and description thereof is omitted.
  • the pupil center 407 and the corneal reflection center 408 represent the center of the pupil detected when the LED light source 103 is turned on and the center of the corneal reflection point, respectively.
  • the corneal curvature radius 409 represents the distance from the corneal surface to the corneal curvature center 410.
  • FIG. 6 is an explanatory diagram showing a difference between a method using two light sources (illumination units) (hereinafter referred to as method A) and the present embodiment using one light source (illumination unit). Elements described in FIGS. 1 to 4 are denoted by the same reference numerals, and description thereof is omitted. The connection between the left and right cameras (the right camera 202 and the left camera 203) and the control unit 300 is not shown and is omitted.
  • Method A uses two LED light sources 511 and 512 instead of the LED light source 103.
  • a straight line 515 connecting the cornea reflection center 513 and the LED light source 511 when the LED light source 511 is irradiated and a straight line 516 connecting the cornea reflection center 514 and the LED light source 512 when the LED light source 512 is irradiated.
  • An intersection is calculated. This intersection is the corneal curvature center 505.
  • a straight line 523 connecting the corneal reflection center 522 and the LED light source 103 when the LED light source 103 is irradiated is considered.
  • a straight line 523 passes through the corneal curvature center 505. It is also known that the radius of curvature of the cornea is almost constant with little influence from individual differences. From this, the corneal curvature center when the LED light source 103 is irradiated exists on the straight line 523, and can be calculated by using a general curvature radius value.
  • the viewpoint position may deviate from the original position due to individual differences in the eyeballs, and accurate viewpoint position detection cannot be performed. There is.
  • FIG. 7 is a diagram for explaining calculation processing for calculating the corneal curvature center position and the distance between the pupil center position and the corneal curvature center position before performing viewpoint detection (line-of-sight detection). Elements described in FIGS. 1 to 4 are denoted by the same reference numerals, and description thereof is omitted.
  • the target position 605 is a position for displaying a target image or the like at one point on the display unit 101 and causing the subject to stare.
  • the center position of the screen of the display unit 101 is set.
  • a straight line 613 is a straight line connecting the LED light source 103 and the corneal reflection center 612.
  • a straight line 614 is a straight line connecting the target position 605 (gaze point) that the subject looks at and the pupil center 611.
  • a corneal curvature center 615 is an intersection of the straight line 613 and the straight line 614.
  • the third calculation unit 353 calculates and stores the distance 616 between the pupil center 611 and the corneal curvature center 615.
  • FIG. 8 is a flowchart illustrating an example of calculation processing according to the present embodiment.
  • the output control unit 356 reproduces the target image at one point on the screen of the display unit 101 (step S101), and causes the subject to gaze at the one point.
  • the control unit 300 turns on the LED light source 103 toward the eyes of the subject using the LED drive control unit 316 (step S102).
  • the control unit 300 images the eyes of the subject with the left and right cameras (the right camera 202 and the left camera 203) (step S103).
  • the pupil part is detected as a dark part (dark pupil) by irradiation of the LED light source 103. Further, a corneal reflection virtual image is generated as a reflection of LED irradiation, and a corneal reflection point (corneal reflection center) is detected as a bright portion. That is, the first calculation unit 351 detects a pupil portion from the captured image, and calculates coordinates indicating the position of the pupil center. The second calculation unit 352 detects a corneal reflection portion from the captured image and calculates coordinates indicating the position of the corneal reflection center. The first calculation unit 351 and the second calculation unit 352 calculate each coordinate value for each of the two images acquired by the left and right cameras (step S104).
  • the left and right cameras are pre-calibrated with a stereo calibration method to obtain three-dimensional world coordinates, and conversion parameters are calculated.
  • a stereo calibration method any conventionally used method such as a method using Tsai's camera calibration theory can be applied.
  • the first calculation unit 351 and the second calculation unit 352 convert the coordinates of the left and right cameras into the three-dimensional world coordinates of the pupil center and the corneal reflection center using this conversion parameter (step S105).
  • the 3rd calculation part 353 calculates
  • the third calculation unit 353 calculates a straight line connecting the world coordinates of the center of the target image displayed at one point on the screen of the display unit 101 and the world coordinates of the pupil center (step S107).
  • the third calculation unit 353 obtains an intersection point between the straight line calculated in step S106 and the straight line calculated in step S107, and sets this intersection point as the corneal curvature center (step S108).
  • the third calculation unit 353 calculates the distance between the pupil center and the corneal curvature center at this time and stores it in the storage unit 150 or the like (step S109). The stored distance is used to calculate the corneal curvature center at the time of subsequent detection of the viewpoint (line of sight).
  • the distance between the pupil center and the corneal curvature center when looking at one point on the display unit 101 in the calculation process is kept constant within a range in which the viewpoint in the display unit 101 is detected.
  • the distance between the center of the pupil and the center of corneal curvature may be obtained from the average of all the values calculated during playback of the target image, or from the average of several values of the values calculated during playback. You may ask for it.
  • FIG. 9 is a diagram showing a method of calculating the corrected position of the corneal curvature center using the distance between the pupil center and the corneal curvature center obtained in advance when performing viewpoint detection.
  • a gazing point 805 represents a gazing point obtained from a corneal curvature center calculated using a general curvature radius value.
  • a gazing point 806 represents a gazing point obtained from a corneal curvature center calculated using a distance obtained in advance.
  • the pupil center 811 and the corneal reflection center 812 indicate the position of the pupil center and the position of the corneal reflection center calculated at the time of viewpoint detection, respectively.
  • a straight line 813 is a straight line connecting the LED light source 103 and the corneal reflection center 812.
  • the corneal curvature center 814 is the position of the corneal curvature center calculated from a general curvature radius value.
  • the distance 815 is the distance between the pupil center and the corneal curvature center calculated by the prior calculation process.
  • the corneal curvature center 816 is the position of the corneal curvature center calculated using the distance obtained in advance.
  • the corneal curvature center 816 is obtained from the fact that the corneal curvature center exists on the straight line 813 and the distance between the pupil center and the corneal curvature center is the distance 815.
  • the line of sight 817 calculated when a general radius of curvature value is used is corrected to the line of sight 818.
  • the gazing point on the screen of the display unit 101 is corrected from the gazing point 805 to the gazing point 806.
  • the connection between the left and right cameras (the right camera 202 and the left camera 203) and the control unit 300 is not shown and is omitted.
  • FIG. 10 is a flowchart illustrating an example of a line-of-sight detection process according to the present embodiment.
  • the line-of-sight detection process of FIG. 10 can be executed as the process of detecting the line of sight in the diagnostic process using the diagnostic image.
  • a process for displaying a diagnostic image, an evaluation process by the evaluation unit 357 using the detection result of the gazing point, and the like are executed.
  • Steps S201 to S205 are the same as steps S102 to S106 in FIG.
  • the third calculation unit 353 calculates, as the corneal curvature center, a position that is on the straight line calculated in step S205 and whose distance from the pupil center is equal to the distance obtained by the previous calculation process (step S206).
  • the line-of-sight detection unit 354 obtains a vector (line-of-sight vector) connecting the pupil center and the corneal curvature center (step S207). This vector indicates the line-of-sight direction viewed by the subject.
  • the viewpoint detection unit 355 calculates the three-dimensional world coordinate value of the intersection between the line-of-sight direction and the screen of the display unit 101 (step S208). This value is a coordinate value representing one point on the display unit 101 that the subject gazes in world coordinates.
  • the viewpoint detection unit 355 converts the obtained three-dimensional world coordinate value into a coordinate value (x, y) represented in the two-dimensional coordinate system of the display unit 101 (step S209). Thereby, the viewpoint (gaze point) on the display part 101 which a test subject looks at can be calculated.
  • FIG. 11 is a diagram showing an example of a diagnostic image displayed by such a method.
  • a diagnostic image including a person image (area H) is displayed on the left near the center of the display screen 201 and a geometric pattern image (area K) is displayed on the right.
  • the stop time of a gaze point is measured in the whole area H and the whole area K, respectively.
  • the person image was gazed even when the line of sight was accidentally directed to the edge of the area H or the like. It is judged.
  • partial areas (areas) suitable for diagnosis support are provided in the person image and the geometric pattern image, respectively. Then, the time when this portion is watched is detected, and the diagnosis is supported by comparing the detected times. For example, a determination area (first specific region) is provided in the face portion of the person image, and a determination area (second specific region) is provided in the central portion of the geometric pattern. And it determines based on the gaze time of each determination area. Thereby, the difference in the gaze time between the subject with the regular development and the subject with developmental disabilities becomes larger depending on whether the face portion of the person is particularly well seen or the center of the geometric pattern is well looked at. As a result, detection with higher accuracy can be realized.
  • FIG. 12 is a diagram illustrating an example of a diagnostic image used in the present embodiment. Similar to FIG. 11, a diagnostic image including a person image (area H) on the left near the center of the display screen 201 and a geometric pattern image (area K) on the right is displayed. In the present embodiment, a specific determination area is further provided in each of the person image and the geometric pattern image. For example, area H includes area 1A and area 2A as determination areas. Area K includes area 3B, area 4B, and area 5B as determination areas.
  • Area 1A is an area including the face of the first person (girl).
  • Area 2A is an area including the face of the second person (baby).
  • Area 3B is an area including the center of the upper left geometric pattern among the three geometric patterns in area K.
  • Area 4B is an area including the center of the lower geometric pattern.
  • Area 5B is an area including the center of the geometric pattern on the center right.
  • an area determined to be interested in a person is at least one of area 1A and area 2A.
  • the area that is determined to be interested in the geometric pattern is at least one of area 3B, area 4B, and area 5B.
  • FIG. 13 is a diagram showing another example of a diagnostic image used in the present embodiment.
  • area H includes area 12A and area 13A as determination areas.
  • Area K includes area 11B as a determination area.
  • FIG. 13 is an example of a diagnostic image in which the arrangement of the person image (area H) and the geometric pattern image (area K) is different from that in FIG. That is, in FIG. 13, the left is a geometric pattern image (area K), and the right is a person image (area H).
  • Area 11B is an area including the center of the entire geometric pattern in area K.
  • the area 12A is an area including the face of the first person (girl).
  • the area 13A is an area including the face of the second person (mother).
  • an area that is determined to be interested in a person is at least one of area 12A and area 13A.
  • An area that is determined to be interested in a geometric pattern is defined as area 11B.
  • the shape of the determination area is an ellipse (or circle), but the shape of the determination area is not limited to this and may be an arbitrary shape.
  • FIG. 12 shows an example of a geometric pattern image including three concentric geometric patterns, but the number of geometric patterns may be arbitrary.
  • the diagnostic image may be a moving image. In this case, the determination area may be moved in accordance with the movement of the image. Further, a black “ ⁇ ” trajectory as a symbol on the diagnostic image indicates an example of a trajectory of a gazing point detected on the diagnostic image.
  • FIG. 14 is a flowchart illustrating an example of a diagnosis support process when the diagnosis image of FIG. 12 is used.
  • control unit 300 starts reproduction of an image (video) (step S301).
  • control unit 300 resets a timer that measures a time slightly shorter than the video playback time (step S302).
  • the control unit 300 is not in both areas, the counter 1 that counts up when the determination area in the person image is watched, and the counter 2 that counts up when the determination area in the geometric pattern image is watched. In this case, the counter 3 that counts up is reset (step S303).
  • the gaze point measurement described below is performed, for example, for each frame of a stereo camera that captures images synchronously. That is, the gazing point is measured at predetermined time intervals. Therefore, the count values of the counter 1, the counter 2, and the counter 3 correspond to the gaze time.
  • the counter 1 corresponds to a time (gaze time) at which a gaze point (first viewpoint) is detected in the determination area in the person image.
  • the counter 2 corresponds to a time (gazing time) in which a gazing point (second viewpoint) is detected in the determination area in the geometric pattern image.
  • gazing point detection is performed (step S304).
  • the point-of-gaze detection is performed by the first calculation unit 351, the second calculation unit 352, the third calculation unit 353, and the line-of-sight detection unit 354, for example, according to the procedure described with reference to FIG.
  • the control unit 300 determines whether gazing point detection has failed (step S305). For example, gaze point detection fails when an image of the pupil and corneal reflection cannot be obtained due to blinking or the like. In addition, when the gazing point is not in the display screen 201 (when other than the display screen 201 is viewed), the gazing point detection fails.
  • step S305: Yes If the point-of-gaze detection fails (step S305: Yes), the process from step S306 to step S313 is skipped and the process proceeds to step S314 so as not to affect the counter 1, the counter 2, and the counter 3.
  • step S305: No the control unit 300 determines whether or not the gaze point is in the area 1A based on the obtained coordinates of the gaze point (step S306). If within area 1A (step S306: Yes), control unit 300 counts up counter 1 (step S311). When not in the area 1A (step S306: No), the control unit 300 determines whether or not the gazing point is in the area 2A (step S307). If within area 2A (step S307: Yes), control unit 300 counts up counter 1 (step S311).
  • step S307: No the control unit 300 determines whether or not the gazing point is in the area 3B from the obtained coordinates of the gazing point (step S308). If within area 3B (step S308: Yes), control unit 300 counts up counter 2 (step S312). When not in the area 3B (step S308: No), the control unit 300 determines whether or not the gazing point is in the area 4B (step S309). If the gazing point is in the area 4B (step S309: Yes), the control unit 300 counts up the counter 2 (step S312).
  • control unit 300 determines whether or not the gazing point is in the area 5B (step S310). If within area 5B (step S310: Yes), control unit 300 counts up counter 2 (step S312).
  • step S310 When there is no gazing point in any of the determination areas (step S310: No), the control unit 300 counts up the counter 3 because neither the human face nor the vicinity of the center of the geometric pattern is seen. (Step S313).
  • step S314 the control unit 300 determines that the timer has been completed when the value of the timer reaches a predetermined value corresponding to the video end time. If not completed (step S314: No), the process returns to step S304 and is repeated.
  • step S314 Yes
  • the control unit 300 stops the reproduction of the video (step S315).
  • the control unit 300 outputs the data of the counter 1 (step S316).
  • the data of the counter 1 corresponds to the gaze time of the determination area in the person image.
  • the control unit 300 outputs the data of the counter 2 (step S317).
  • the data of the counter 2 corresponds to the gaze time of the determination area in the geometric pattern.
  • the evaluation unit 357 calculates the ratio between the counter 1 and the counter 2 (step S318).
  • the ratio in this case is the ratio of the count value of counter 1 to the count value of counter 2, the ratio of the count value of counter 2 to the count value of counter 1, and the count value of counter 1 + the count value of counter 2
  • Such an evaluation value is a guideline for the possibility of developmental disabilities. The higher the percentage of gaze at the judgment area in the geometric pattern, the higher the possibility of developmental disability.
  • the evaluation unit 357 outputs the calculated evaluation value (ratio data) (step S319).
  • the evaluation unit 357 calculates the ratio of the count value of the counter 1 to the count values of all viewpoints used for evaluation (count value of the counter 1 + count value of the counter 2 + count value of the counter 3) (step S320). ). The higher this value, the lower the possibility of developmental disabilities.
  • the evaluation unit 357 calculates the ratio of the count value of the counter 2 to the count values of all viewpoints used for evaluation (count value of the counter 1 + count value of the counter 2 + count value of the counter 3) (step S321). ).
  • count value of the counter 1 + count value of the counter 2 + count value of the counter 3 the higher the possibility of developmental disabilities.
  • the method for calculating the evaluation value is not limited to the above. Any evaluation value may be used as long as it can determine which of the person image and the pattern image is being watched. In the example of FIG. 14, three evaluation values are calculated (step S318, step S320, and step S321), but the number of evaluation values to be calculated is arbitrary.
  • the present embodiment not the entire human image and the geometric image (for example, the area H and the area K), but the partial detection area (diagnosis target) in the human image and a part of the geometric image. ).
  • the accuracy of detection (diagnosis) can be improved.
  • FIG. 15 is a flowchart illustrating an example of a diagnosis support process when the diagnosis image of FIG. 13 is used.
  • Steps S401 to S405 are the same as steps S301 to S305 in FIG.
  • control unit 300 determines whether or not the gaze point is in the area 11B from the obtained gaze point coordinates (step S406). If within area 11B (step S406: Yes), control unit 300 counts up counter 2 (step S410).
  • step S406 determines whether or not the gazing point is in the area 12A (step S407). If within area 12A (step S407: Yes), control unit 300 counts up counter 1 (step S409). When it is not in the area 12A (step S407: No), the control unit 300 determines whether or not the gazing point is in the area 13A (step S408). If within the area 13A (step S408: Yes), the control unit 300 counts up the counter 1 (step S409).
  • step S408 If there is no gazing point in any of the determination areas (step S408: No), the control unit 300 counts up the counter 3 because neither a human face nor the vicinity of the center of the geometric pattern is seen. (Step S411).
  • steps S412 to S419 are the same as steps S314 to S321 in FIG.
  • the determination area provided in the person image is not limited to the area including the face portion.
  • the determination area provided in the geometric pattern image is not limited to the area including the center of the geometric pattern. In each image, any area may be used as long as the difference in gaze time between the standard development subject and the developmentally disabled subject is large.
  • an area including eyes in the person image may be used as the determination area.
  • the area including the characteristic part of the geometric pattern the area including the part where the density of the line for drawing the geometric pattern is higher than the other part, the area including the part where the geometric pattern changes, Etc. may be used as the determination area.
  • FIG. 16 is a diagram illustrating another example of a diagnostic image used in the present embodiment.
  • FIG. 16 is an example of a diagnostic image that includes a person image from the center to the left and a geometric pattern image (area K) on the right.
  • Area 22A and area 23A are determination areas in the person image.
  • Area 21B is a determination area in the geometric pattern image.
  • the diagnosis support process of FIG. 15 may be executed using the areas 22A, 23A, and 21B instead of the areas 12A, 13A, and 11B of FIG.
  • the diagnosis image has a determination area in each of the person image and the geometric pattern image, but the person image has a determination area in the person image, and the geometric pattern image has a geometric pattern image.
  • the viewpoint may be detected using the entire determination area. Further, for a human image, the entire human image may be used as a determination area, and for a geometric pattern image, a determination area may be provided in the geometric pattern image to detect the viewpoint. By providing a determination area in at least one of the images, the accuracy of viewpoint detection can be improved.
  • the following effects can be obtained. (1) Because the difference in gaze time (evaluation result) between a typical developmental subject and a developmentally disabled subject is greater than the conventional method of comparing the gaze time when looking at the entire human image with the gaze time looking at the entire geometric pattern image Increased sensitivity and specificity. (2) It is not necessary to arrange light sources (illuminating units) at two places, and it becomes possible to perform line-of-sight detection with a light source arranged at one place. (3) Since there is only one light source, the apparatus can be made compact and the cost can be reduced.
  • Diagnosis support apparatus 101 Display part 102 Stereo camera 103 LED light source 150 Storage part 201 Display screen 202 Right camera 203 Left camera 205 Speaker 300 Control part 313 Drive / IF part 316 LED drive control part 322 Speaker drive part 351 1st calculation part 352 Second calculation unit 353 Third calculation unit 354 Gaze detection unit 355 View point detection unit 356 Output control unit 357 Evaluation unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Developmental Disabilities (AREA)
  • Psychology (AREA)
  • Pathology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

　表示部（１０１）と、被験者を撮像する撮像部（１０２）と、撮像部（１０２）により撮像された撮像画像から、被験者の視線方向を検出する視線検出部（３５４）と、顔の画像を含む自人物画像と、幾何学模様画像と、を含む診断画像を表示部（１０１）に表示させる出力制御部（３５６）と、視線方向に基づいて、人物画像内における被験者の視点である第１視点を検出し、幾何学模様画像内の幾何学模様の中心、幾何学模様の特徴部分、幾何学模様を描画する線の密度が他の部分より大きい部分、および幾何学模様が変化する部分の少なくとも１つを含む領域における被験者の視点である第２視点を検出する視点検出部（３５５）と、を備える。

Description

検出装置および検出方法
　本発明は、検出装置および検出方法に関する。
　最近、発達障がい者が増加傾向にあると言われている。発達障がいは、早期に発見し療育を開始することで症状を軽減し、社会に適応できる効果が高くなることがわかっている。我が国でも、１歳半検診時の問診などにより早期発見を目指している。しかし、精神科医不足や、問診に時間が掛かるなどの問題があり、その効果は十分とはいえない。そこで、客観的で効率的な発達障がいの診断支援装置が求められている。
　発達障がい早期発見のためには、例えば１歳半検診時に診断できることが理想的である。また、検診時の使用について配慮することが必要である。発達障がい児の特徴として、対面する相手の目を見ない（視線をそらす）ことが挙げられる。また、発達障がい児の特徴として、人物映像より幾何学模様の映像を好むことが知られている。カメラで人の顔を撮影して、角膜反射と瞳孔の位置を計算することにより注視点を検出する方法などを応用して、発達障がいを診断支援する方法が提案されている。
特開２０１１－２０６５４２号公報 特開２００５－１９８７４３号公報
Pierce　K　et　al.,"Preference　for　Geometric　Patterns　Early　in　Life　as　a　Risk　Factor　for　Autism."，Arch　Gen　Psychiatry.　2011　Jan;68（1）:101-109.
　上記のように注視点を検出する方法や、発達障がいの被験者の診断を支援する方法が知られているが、さらに高精度の検出方法が求められていた。
　本発明は、上記に鑑みてなされたものであって、検出の精度を向上できる検出装置および検出方法を提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明は、表示部と、被験者を撮像する撮像部と、前記撮像部により撮像された撮像画像から、前記被験者の視線方向を検出する視線検出部と、人物画像と、幾何学模様画像と、を含む診断画像を前記表示部に表示させる出力制御部と、前記視線方向に基づいて、前記人物画像内における前記被験者の視点である第１視点を検出し、前記幾何学模様画像内の幾何学模様の中心、幾何学模様の特徴部分、幾何学模様を描画する線の密度が他の部分より大きい部分、および幾何学模様が変化する部分の少なくとも１つを含む領域における前記被験者の視点である第２視点を検出する視点検出部と、を備える。
　本発明にかかる検出装置および検出方法は、検出の精度を向上できるという効果を奏する。
図１は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。 図２は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。 図３は、診断支援装置の機能の概要を示す図である。 図４は、図３に示す各部の詳細な機能の一例を示すブロック図である。 図５は、本実施形態の診断支援装置により実行される処理の概要を説明する図である。 図６は、２つの光源を用いる方法と、１つの光源を用いる本実施形態との違いを示す説明図である。 図７は、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。 図８は、本実施形態の算出処理の一例を示すフローチャートである。 図９は、事前に求めた距離を使用して角膜曲率中心の位置を算出する方法を示した図である。 図１０は、本実施形態の視線検出処理の一例を示すフローチャートである。 図１１は、診断画像の一例を示す図である。 図１２は、本実施形態で用いる診断画像の一例を示す図である。 図１３は、本実施形態で用いる診断画像の他の例を示す図である。 図１４は、図１２の診断画像を用いる場合の診断支援処理の一例を示すフローチャートである。 図１５は、図１３の診断画像を用いる場合の診断支援処理の一例を示すフローチャートである。 図１６は、本実施形態で用いる診断画像の他の例を示す図である。
　以下に、本発明にかかる検出装置および検出方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、以下では、視線検出結果を用いて発達障がいなどの診断を支援する診断支援装置に検出装置を用いた例を説明する。適用可能な装置は診断支援装置に限られるものではない。
　本実施形態の検出装置（診断支援装置）は、１ヵ所に設置された照明部を用いて視線を検出する。また、本実施形態の検出装置（診断支援装置）は、視線検出前に被験者に１点を注視させて測定した結果を用いて、角膜曲率中心位置を高精度に算出する。
　なお、照明部とは、光源を含み、被験者の眼球に光を照射可能な要素である。光源とは、例えばＬＥＤ（Light　Emitting　Diode）などの光を発生する素子である。光源は、１個のＬＥＤから構成されてもよいし、複数のＬＥＤを組み合わせて１ヵ所に配置することにより構成されてもよい。以下では、このように照明部を表す用語として「光源」を用いる場合がある。
　また、２ヶ所以上に設置された照明部を用いて視線を検出するように構成してもよい。この場合は、例えば、特許文献２と同様の視線検出方法を適用できる。
　図１および２は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。
　図１に示すように、本実施形態の診断支援装置は、表示部１０１と、ステレオカメラ１０２と、ＬＥＤ光源１０３と、を含む。ステレオカメラ１０２は、表示部１０１の下に配置される。ＬＥＤ光源１０３は、ステレオカメラ１０２に含まれる２つのカメラの中心位置に配置される。ＬＥＤ光源１０３は、例えば波長８５０ｎｍの近赤外線を照射する光源である。図１では、９個のＬＥＤによりＬＥＤ光源１０３（照明部）を構成する例が示されている。なお、ステレオカメラ１０２は、波長８５０ｎｍの近赤外光を透過できるレンズを使用する。
　図２に示すように、ステレオカメラ１０２は、右カメラ２０２と左カメラ２０３とを備えている。ＬＥＤ光源１０３は、被験者の眼球１１１に向かって近赤外光を照射する。ステレオカメラ１０２で取得される画像では、瞳孔１１２が低輝度で反射して暗くなり、眼球１１１内に虚像として生じる角膜反射１１３が高輝度で反射して明るくなる。従って、瞳孔１１２および角膜反射１１３の画像上の位置を２台のカメラ（右カメラ２０２、左カメラ２０３）それぞれで取得することができる。
　さらに２台のカメラにより得られる瞳孔１１２および角膜反射１１３の位置から、瞳孔１１２および角膜反射１１３の位置の三次元世界座標値を算出する。本実施形態では、三次元世界座標として、表示部１０１の画面の中央位置を原点として、上下をＹ座標（上が＋）、横をＸ座標（向かって右が＋）、奥行きをＺ座標（手前が＋）としている。
　図３は、診断支援装置１００の機能の概要を示す図である。図３では、図１および２に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図３に示すように、診断支援装置１００は、右カメラ２０２と、左カメラ２０３と、ＬＥＤ光源１０３と、スピーカ２０５と、駆動・ＩＦ（interface）部３１３と、制御部３００と、記憶部１５０と、表示部１０１と、を含む。図３において、表示画面２０１は、右カメラ２０２および左カメラ２０３との位置関係を分かりやすく示しているが、表示画面２０１は表示部１０１において表示される画面である。なお、駆動部とＩＦ部は一体でもよいし、別体でもよい。
　スピーカ２０５は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する音声出力部として機能する。
　駆動・ＩＦ部３１３は、ステレオカメラ１０２に含まれる各部を駆動する。また、駆動・ＩＦ部３１３は、ステレオカメラ１０２に含まれる各部と、制御部３００とのインタフェースとなる。
　制御部３００は、例えば、ＣＰＵ（Central　Processing　Unit）などの制御装置と、ＲＯＭ（Read　Only　Memory）やＲＡＭ（Random　Access　Memory）などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆと、各部を接続するバスを備えているコンピュータなどにより実現できる。
　記憶部１５０は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。記憶部１５０は、例えば、表示部１０１に表示する画像等を記憶する。表示部１０１は、診断のための対象画像等、各種情報を表示する。
　図４は、図３に示す各部の詳細な機能の一例を示すブロック図である。図４に示すように、制御部３００には、表示部１０１と、駆動・ＩＦ部３１３が接続される。駆動・ＩＦ部３１３は、カメラＩＦ３１４、３１５と、ＬＥＤ駆動制御部３１６と、スピーカ駆動部３２２と、を備える。
　駆動・ＩＦ部３１３には、カメラＩＦ３１４、３１５を介して、それぞれ、右カメラ２０２、左カメラ２０３が接続される。駆動・ＩＦ部３１３がこれらのカメラを駆動することにより、被験者を撮像する。
　スピーカ駆動部３２２は、スピーカ２０５を駆動する。なお、診断支援装置１００が、印刷部としてのプリンタと接続するためのインタフェース（プリンタＩＦ）を備えてもよい。また、プリンタを診断支援装置１００の内部に備えるように構成してもよい。
　制御部３００は、診断支援装置１００全体を制御する。制御部３００は、第１算出部３５１と、第２算出部３５２と、第３算出部３５３と、視線検出部３５４と、視点検出部３５５と、出力制御部３５６と、評価部３５７と、を備えている。なお、視線検出装置としては、少なくとも第１算出部３５１、第２算出部３５２、第３算出部３５３、および、視線検出部３５４が備えられていればよい。
　制御部３００に含まれる各要素（第１算出部３５１、第２算出部３５２、第３算出部３５３、視線検出部３５４、視点検出部３５５、出力制御部３５６、および、評価部３５７）は、ソフトウェア（プログラム）で実現してもよいし、ハードウェア回路で実現してもよいし、ソフトウェアとハードウェア回路とを併用して実現してもよい。
　プログラムで実現する場合、当該プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ（Compact　Disk　Read　Only　Memory）、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Compact　Disk　Recordable）、ＤＶＤ（Digital　Versatile　Disk）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
　第１算出部３５１は、ステレオカメラ１０２により撮像された眼球の画像から、瞳孔の中心を示す瞳孔中心の位置（第１位置）を算出する。第２算出部３５２は、撮像された眼球の画像から、角膜反射の中心を示す角膜反射中心の位置（第２位置）を算出する。
　第３算出部３５３は、ＬＥＤ光源１０３と角膜反射中心とを結ぶ直線と、から角膜曲率中心（第３位置）を算出する。例えば、第３算出部３５３は、この直線上で、角膜反射中心からの距離が所定値となる位置を、角膜曲率中心として算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値を用いることができる。
　角膜の曲率半径値には個人差が生じうるため、事前に定められた値を用いて角膜曲率中心を算出すると誤差が大きくなる可能性がある。従って、第３算出部３５３が、個人差を考慮して角膜曲率中心を算出してもよい。この場合、第３算出部３５３は、まず目標位置を被験者に注視させたときに算出された瞳孔中心および角膜反射中心を用いて、瞳孔中心と目標位置とを結ぶ直線と、角膜反射中心とＬＥＤ光源１０３とを結ぶ直線と、の交点（第４位置）を算出する。そして第３算出部３５３は、瞳孔中心と算出した交点との距離を（第１距離）を算出し、例えば記憶部１５０に記憶する。
　目標位置は、予め定められ、三次元世界座標値が算出できる位置であればよい。例えば、表示画面２０１の中央位置（三次元世界座標の原点）を目標位置とすることができる。この場合、例えば出力制御部３５６が、表示画面２０１上の目標位置（中央）に、被験者に注視させる画像（目標画像）等を表示する。これにより、被験者に目標位置を注視させることができる。
　目標画像は、被験者を注目させることができる画像であればどのような画像であってもよい。例えば、輝度や色などの表示態様が変化する画像、および、表示態様が他の領域と異なる画像などを目標画像として用いることができる。
　なお、目標位置は表示画面２０１の中央に限られるものではなく、任意の位置でよい。表示画面２０１の中央を目標位置とすれば、表示画面２０１の任意の端部との距離が最小になる。このため、例えば視線検出時の測定誤差をより小さくすることが可能となる。
　距離の算出までの処理は、例えば実際の視線検出を開始するまでに事前に実行しておく。実際の視線検出時には、第３算出部３５３は、ＬＥＤ光源１０３と角膜反射中心とを結ぶ直線上で、瞳孔中心からの距離が、事前に算出した距離となる位置を、角膜曲率中心として算出する。
　視線検出部３５４は、瞳孔中心と角膜曲率中心とから被験者の視線を検出する。例えば視線検出部３５４は、角膜曲率中心から瞳孔中心へ向かう方向を被験者の視線方向として検出する。
　視点検出部３５５は、検出された視線方向を用いて被験者の視点を検出する。視点検出部３５５は、例えば、表示画面２０１で被験者が注視する点である視点（注視点）を検出する。視点検出部３５５は、例えば図２のような三次元世界座標系で表される視線ベクトルとＸＹ平面との交点を、被験者の注視点として検出する。
　出力制御部３５６は、表示部１０１およびスピーカ２０５などに対する各種情報の出力を制御する。例えば、出力制御部３５６は、表示部１０１上の目標位置に目標画像を出力させる。また、出力制御部３５６は、診断画像、および、評価部３５７による評価結果などの表示部１０１に対する出力を制御する。
　診断画像は、視線（視点）検出結果に基づく評価処理に応じた画像であればよい。例えば発達障がいを診断する場合であれば、発達障がいの被験者が好む画像（幾何学模様画像など）と、それ以外の画像（人物画像など）と、を含む診断画像を用いてもよい。画像は、静止画像であっても動画像であってもよい。幾何学模様画像は、例えば１以上の幾何学模様を含む画像である。人物画像は、例えば人物の顔を含む画像であればよい。なお、動物、植物、および自然の景観などをカメラで撮像した画像（静止画、動画）に人物が存在する画像を用いてもよい。また、人物などを模したキャラクタの画像（静止画、動画）を用いてもよい。
　評価部３５７は、診断画像と、視点検出部３５５により検出された注視点とに基づく評価処理を行う。例えば発達障がいを診断する場合であれば、評価部３５７は、診断画像と注視点とを解析し、発達障がいの被験者が好む画像を注視したか否かを評価する。
　図５は、本実施形態の診断支援装置１００により実行される処理の概要を説明する図である。図１～図４で説明した要素については同一の符号を付し説明を省略する。
　瞳孔中心４０７および角膜反射中心４０８は、それぞれ、ＬＥＤ光源１０３を点灯させた際に検出される瞳孔の中心、および、角膜反射点の中心を表している。角膜曲率半径４０９は、角膜表面から角膜曲率中心４１０までの距離を表す。
　図６は、２つの光源（照明部）を用いる方法（以下、方法Ａとする）と、１つの光源（照明部）を用いる本実施形態との違いを示す説明図である。図１～図４で説明した要素については同一の符号を付し説明を省略する。なお、左右カメラ（右カメラ２０２、左カメラ２０３）と制御部３００とが接続することについては図示せず省略する。
　方法Ａは、ＬＥＤ光源１０３の代わりに、２つのＬＥＤ光源５１１、５１２を用いる。方法Ａでは、ＬＥＤ光源５１１を照射したときの角膜反射中心５１３とＬＥＤ光源５１１とを結ぶ直線５１５と、ＬＥＤ光源５１２を照射したときの角膜反射中心５１４とＬＥＤ光源５１２とを結ぶ直線５１６との交点が算出される。この交点が角膜曲率中心５０５となる。
　これに対し、本実施形態では、ＬＥＤ光源１０３を照射したときの、角膜反射中心５２２とＬＥＤ光源１０３とを結ぶ直線５２３を考える。直線５２３は、角膜曲率中心５０５を通る。また角膜の曲率半径は個人差による影響が少なくほぼ一定の値になることが知られている。このことから、ＬＥＤ光源１０３を照射したときの角膜曲率中心は、直線５２３上に存在し、一般的な曲率半径値を用いることにより算出することが可能である。
　しかし、一般的な曲率半径値を用いて求めた角膜曲率中心の位置を使用して視点を算出すると、眼球の個人差により視点位置が本来の位置からずれて、正確な視点位置検出ができない場合がある。
　図７は、視点検出（視線検出）を行う前に、角膜曲率中心位置と、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。図１～図４で説明した要素については同一の符号を付し説明を省略する。
　目標位置６０５は、表示部１０１上の一点に目標画像等を出して、被験者に見つめさせるための位置である。本実施形態では表示部１０１の画面の中央位置としている。直線６１３は、ＬＥＤ光源１０３と角膜反射中心６１２とを結ぶ直線である。直線６１４は、被験者が見つめる目標位置６０５（注視点）と瞳孔中心６１１とを結ぶ直線である。角膜曲率中心６１５は、直線６１３と直線６１４との交点である。第３算出部３５３は、瞳孔中心６１１と角膜曲率中心６１５との距離６１６を算出して記憶しておく。
　図８は、本実施形態の算出処理の一例を示すフローチャートである。
　まず出力制御部３５６は、表示部１０１の画面上の１点に目標画像を再生し（ステップＳ１０１）、被験者にその１点を注視させる。次に、制御部３００は、ＬＥＤ駆動制御部３１６を用いてＬＥＤ光源１０３を被験者の目に向けて点灯させる（ステップＳ１０２）。制御部３００は、左右カメラ（右カメラ２０２、左カメラ２０３）で被験者の目を撮像する（ステップＳ１０３）。
　ＬＥＤ光源１０３の照射により、瞳孔部分は暗い部分（暗瞳孔）として検出される。またＬＥＤ照射の反射として、角膜反射の虚像が発生し、明るい部分として角膜反射点（角膜反射中心）が検出される。すなわち、第１算出部３５１は、撮像された画像から瞳孔部分を検出し、瞳孔中心の位置を示す座標を算出する。また、第２算出部３５２は、撮像された画像から角膜反射部分を検出し、角膜反射中心の位置を示す座標を算出する。なお、第１算出部３５１および第２算出部３５２は、左右カメラで取得した２つの画像それぞれに対して、各座標値を算出する（ステップＳ１０４）。
　なお、左右カメラは、三次元世界座標を取得するために、事前にステレオ較正法によるカメラ較正が行われており、変換パラメータが算出されている。ステレオ較正法は、Ｔｓａｉのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。
　第１算出部３５１および第２算出部３５２は、この変換パラメータを使用して、左右カメラの座標から、瞳孔中心と角膜反射中心の三次元世界座標に変換を行う（ステップＳ１０５）。第３算出部３５３は、求めた角膜反射中心の世界座標と、ＬＥＤ光源１０３の中心位置の世界座標とを結ぶ直線を求める（ステップＳ１０６）。次に、第３算出部３５３は、表示部１０１の画面上の１点に表示される目標画像の中心の世界座標と、瞳孔中心の世界座標とを結ぶ直線を算出する（ステップＳ１０７）。第３算出部３５３は、ステップＳ１０６で算出した直線とステップＳ１０７で算出した直線との交点を求め、この交点を角膜曲率中心とする（ステップＳ１０８）。第３算出部３５３は、このときの瞳孔中心と角膜曲率中心との間の距離を算出して記憶部１５０などに記憶する（ステップＳ１０９）。記憶された距離は、その後の視点（視線）検出時に、角膜曲率中心を算出するために使用される。
　算出処理で表示部１０１上の１点を見つめる際の瞳孔中心と角膜曲率中心との間の距離は、表示部１０１内の視点を検出する範囲で一定に保たれている。瞳孔中心と角膜曲率中心との間の距離は、目標画像を再生中に算出された値全体の平均から求めてもよいし、再生中に算出された値のうち何回かの値の平均から求めてもよい。
　図９は、視点検出を行う際に、事前に求めた瞳孔中心と角膜曲率中心との距離を使用して、補正された角膜曲率中心の位置を算出する方法を示した図である。注視点８０５は、一般的な曲率半径値を用いて算出した角膜曲率中心から求めた注視点を表す。注視点８０６は、事前に求めた距離を用いて算出した角膜曲率中心から求めた注視点を表す。
　瞳孔中心８１１および角膜反射中心８１２は、それぞれ、視点検出時に算出された瞳孔中心の位置、および、角膜反射中心の位置を示す。直線８１３は、ＬＥＤ光源１０３と角膜反射中心８１２とを結ぶ直線である。角膜曲率中心８１４は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離８１５は、事前の算出処理により算出した瞳孔中心と角膜曲率中心との距離である。角膜曲率中心８１６は、事前に求めた距離を用いて算出した角膜曲率中心の位置である。角膜曲率中心８１６は、角膜曲率中心が直線８１３上に存在すること、および、瞳孔中心と角膜曲率中心との距離が距離８１５であることから求められる。これにより一般的な曲率半径値を用いる場合に算出される視線８１７は、視線８１８に補正される。また、表示部１０１の画面上の注視点は、注視点８０５から注視点８０６に補正される。なお、左右カメラ（右カメラ２０２、左カメラ２０３）と制御部３００とが接続することについては図示せず省略する。
　図１０は、本実施形態の視線検出処理の一例を示すフローチャートである。例えば、診断画像を用いた診断処理の中で視線を検出する処理として、図１０の視線検出処理を実行することができる。診断処理では、図１０の各ステップ以外に、診断画像を表示する処理、および、注視点の検出結果を用いた評価部３５７による評価処理などが実行される。
　ステップＳ２０１～ステップＳ２０５は、図８のステップＳ１０２～ステップＳ１０６と同様であるため説明を省略する。
　第３算出部３５３は、ステップＳ２０５で算出した直線上であって、瞳孔中心からの距離が、事前の算出処理によって求めた距離と等しい位置を角膜曲率中心として算出する（ステップＳ２０６）。
　視線検出部３５４は、瞳孔中心と角膜曲率中心とを結ぶベクトル（視線ベクトル）を求める（ステップＳ２０７）。このベクトルが、被験者が見ている視線方向を示している。視点検出部３５５は、この視線方向と表示部１０１の画面との交点の三次元世界座標値を算出する（ステップＳ２０８）。この値が、被験者が注視する表示部１０１上の１点を世界座標で表した座標値である。視点検出部３５５は、求めた三次元世界座標値を、表示部１０１の二次元座標系で表される座標値（ｘ，ｙ）に変換する（ステップＳ２０９）。これにより、被験者が見つめる表示部１０１上の視点（注視点）を算出することができる。
　次に、診断支援処理の詳細について説明する。診断支援の方法として、例えば、左右に人物画像と幾何学模様画像とを並列させた診断画像を用いて、左右の各画像のエリア（領域）内を注視した時間を集計する方法が考えられる。図１１は、このような方法で表示する診断画像の一例を示す図である。表示画面２０１の中央付近の左に人物画像（エリアＨ）を含み、右に幾何学模様画像（エリアＫ）を含む診断画像が表示される。そして、エリアＨ全体およびエリアＫ全体で、それぞれ注視点の停留時間が測定される。このような方法では、例えば、人物画像（エリアＨ）内の顔部分を注視するのではなく、エリアＨの端部などに偶発的に視線が向いた場合であっても、人物画像を注視したと判断される。
　そこで、本実施形態では、人物画像および幾何学模様画像に、診断支援に適する一部の領域（エリア）をそれぞれ設ける。そして、この部分を注視した時間を検出し、検出した時間を比較することにより診断支援を行う。例えば、人物画像中の顔の部分に判定エリア（第１特定領域）を設け、幾何学模様の中心部分に判定エリア（第２特定領域）を設ける。そして、それぞれの判定エリアの注視時間を基に判定する。これにより、人物の顔部分を特によく見たか、幾何学模様の中心をよく見たかで、定型発達の被験者と発達障がいの被験者との注視時間の差がより大きくなる。この結果、さらに高精度の検出を実現できる。
　図１２は、本実施形態で用いる診断画像の一例を示す図である。図１１と同様に、表示画面２０１の中央付近の左に人物画像（エリアＨ）を含み、右に幾何学模様画像（エリアＫ）を含む診断画像が表示される。本実施形態では、人物画像および幾何学模様画像のそれぞれの中に、さらに特定の判定エリアを設ける。例えば、エリアＨは、エリア１Ａおよびエリア２Ａを判定エリアとして含む。また、エリアＫは、エリア３Ｂ、エリア４Ｂおよびエリア５Ｂを判定エリアとして含む。
　エリア１Ａは、第１の人物（少女）の顔を含むエリアである。エリア２Ａは、第２の人物（赤ちゃん）の顔を含むエリアである。エリア３Ｂは、エリアＫ内の３つの幾何学模様のうち左上部の幾何学模様の中心を含むエリアである。エリア４Ｂは、下部の幾何学模様の中心を含むエリアである。エリア５Ｂは、中央右の幾何学模様の中心を含むエリアである。
　被験者が人に興味があるか、幾何学模様に興味があるかを測定する場合、人に興味があると判定するエリアを、エリア１Ａおよびエリア２Ａの少なくとも１つとする。また、幾何学模様に興味があると判定するエリアを、エリア３Ｂ、エリア４Ｂ、およびエリア５Ｂの少なくとも１つとする。
　図１３は、本実施形態で用いる診断画像の他の例を示す図である。図１３の例では、エリアＨは、エリア１２Ａおよびエリア１３Ａを判定エリアとして含む。また、エリアＫは、エリア１１Ｂを判定エリアとして含む。図１３は、図１２に対して、人物画像（エリアＨ）および幾何学模様画像（エリアＫ）の配置が異なる診断画像の例である。すなわち、図１３では、左が幾何学模様画像（エリアＫ）、右が人物画像（エリアＨ）となる。このように異なった配置の診断画像を用いることにより、被験者の視線が左右の位置関係に依存していないか確認し、より正確な診断を行うことが可能となる。
　エリア１１Ｂは、エリアＫ内の幾何学模様全体の中心を含むエリアである。エリア１２Ａは、第１の人物（少女）の顔を含むエリアである。エリア１３Ａは、第２の人物（母親）の顔を含むエリアである。
　被験者が人に興味があるか、幾何学模様に興味があるかを測定する場合、人に興味があると判定するエリアをエリア１２Ａおよびエリア１３Ａの少なくとも１つとする。また、幾何学模様に興味があると判定するエリアをエリア１１Ｂとする。
　なお、図１２および１３では、判定エリアの形状を楕円（または円）としているが、判定エリアの形状はこれに限られるものではなく、任意の形状としてよい。また、例えば図１２では同心円状の幾何学模様を３つ含む幾何学模様画像の例が示されているが、幾何学模様の個数は任意でよい。上記のように診断画像は動画像であってもよく、この場合、画像の動きに合わせて判定エリアも移動させればよい。また、診断画像上の記号である黒い「○」の軌跡は、診断画像上で検出される注視点の軌跡の例を示している。
　図１４は、図１２の診断画像を用いる場合の診断支援処理の一例を示すフローチャートである。
　まず、制御部３００は、画像（映像）の再生を開始する（ステップＳ３０１）。次に、制御部３００は、映像の再生時間より僅かに短い時間を計測するタイマをリセットする（ステップＳ３０２）。次に、制御部３００は、人物画像内の判定エリアを注視した時にカウントアップするカウンタ１と、幾何学模様画像内の判定エリアを注視した時にカウントアップするカウンタ２と、双方のエリア内ではない場合にカウントアップするカウンタ３と、をリセットする（ステップＳ３０３）。
　以下に説明する注視点測定は、例えば、同期して撮像するステレオカメラの１フレームごとに行う。すなわち所定の時間間隔ごとに注視点が測定される。従って、カウンタ１、カウンタ２、およびカウンタ３のカウント値は、注視時間に対応する。カウンタ１は、人物画像内の判定エリアで注視点（第１視点）が検出される時間（注視時間）に相当する。また、カウンタ２は、幾何学模様画像内の判定エリアで注視点（第２視点）が検出される時間（注視時間）に相当する。
　次に、注視点検出が行われる（ステップＳ３０４）。注視点検出は、例えば図１０までで説明したような手順に従い、第１算出部３５１、第２算出部３５２、第３算出部３５３、および、視線検出部３５４により実行される。次に、制御部３００は、注視点検出が失敗したかを判断する（ステップＳ３０５）。例えば、瞬きなどにより瞳孔および角膜反射の画像が得られない場合に、注視点検出が失敗する。また、注視点が表示画面２０１内にない場合（表示画面２０１以外を見ていた場合）も、注視点検出が失敗する。
　注視点検出に失敗した場合（ステップＳ３０５：Ｙｅｓ）、カウンタ１、カウンタ２、およびカウンタ３に影響させないため、ステップＳ３０６～ステップＳ３１３までの処理をスキップして、ステップＳ３１４に移動する。
　注視点検出が成功した場合（ステップＳ３０５：Ｎｏ）、制御部３００は、得られた注視点の座標より、注視点がエリア１Ａ内にあるか否かを判断する（ステップＳ３０６）。エリア１Ａ内にあれば（ステップＳ３０６：Ｙｅｓ）、制御部３００は、カウンタ１をカウントアップする（ステップＳ３１１）。エリア１Ａ内にない場合（ステップＳ３０６：Ｎｏ）、制御部３００は、注視点がエリア２Ａ内にあるか否かを判断する（ステップＳ３０７）。エリア２Ａ内にあれば（ステップＳ３０７：Ｙｅｓ）、制御部３００は、カウンタ１をカウントアップする（ステップＳ３１１）。
　注視点がエリア２Ａ内にない場合（ステップＳ３０７：Ｎｏ）、制御部３００は、得られた注視点の座標より、注視点がエリア３Ｂ内にあるか否かを判断する（ステップＳ３０８）。エリア３Ｂ内にあれば（ステップＳ３０８：Ｙｅｓ）、制御部３００は、カウンタ２をカウントアップする（ステップＳ３１２）。エリア３Ｂ内にない場合（ステップＳ３０８：Ｎｏ）、制御部３００は、注視点がエリア４Ｂ内にあるか否かを判断する（ステップＳ３０９）。注視点がエリア４Ｂ内にあれば（ステップＳ３０９：Ｙｅｓ）、制御部３００は、カウンタ２をカウントアップする（ステップＳ３１２）。注視点がエリア４Ｂ内にない場合（ステップＳ３０９：Ｎｏ）、制御部３００は、注視点がエリア５Ｂ内にあるか否かを判断する（ステップＳ３１０）。エリア５Ｂ内にあれば（ステップＳ３１０：Ｙｅｓ）、制御部３００は、カウンタ２をカウントアップする（ステップＳ３１２）。
　いずれの判定エリア内にも注視点がない場合は（ステップＳ３１０：Ｎｏ）、人の顔も、幾何学模様の中心付近も見ていないことになるので、制御部３００は、カウンタ３をカウントアップする（ステップＳ３１３）。
　次に、映像の終了を確認するため、制御部３００は、タイマの完了を調べる（ステップＳ３１４）。例えば、制御部３００は、タイマの値が映像の終了時間に対応する所定値に達した場合に、タイマが完了したと判定する。完了していない場合（ステップＳ３１４：Ｎｏ）、ステップＳ３０４に戻り処理を繰り返す。
　タイマが完了した場合（ステップＳ３１４：Ｙｅｓ）、制御部３００は、映像の再生を停止させる（ステップＳ３１５）。次に、制御部３００は、カウンタ１のデータを出力する（ステップＳ３１６）。カウンタ１のデータは、人物画像内の判定エリアの注視時間に対応する。次に、制御部３００は、カウンタ２のデータを出力する（ステップＳ３１７）。カウンタ２のデータは、幾何学模様内の判定エリアの注視時間に対応する。
　次に、評価部３５７は、カウンタ１とカウンタ２の割合を計算する（ステップＳ３１８）。この場合の割合は、具体的に、カウンタ２の計数値に対するカウンタ１の計数値の割合、カウンタ１の計数値に対するカウンタ２の計数値の割合、カウンタ１の計数値＋カウンタ２の計数値に対するカウンタ１の計数値の割合、またはカウンタ１の計数値＋カウンタ２の計数値に対するカウンタ２の計数値の割合などである。このような評価値は、発達障がいの可能性の指針になる。幾何学模様内の判定エリアを注視した割合が高いほど、発達障がいの可能性が高くなる。評価部３５７は、算出した評価値（割合データ）を出力する（ステップＳ３１９）。
　次に、評価部３５７は、評価に用いる全ての視点の計数値（カウンタ１の計数値＋カウンタ２の計数値＋カウンタ３の計数値）に対するカウンタ１の計数値の割合を計算する（ステップＳ３２０）。この値が高いほど、更に発達障がいの可能性が低いことになる。
　次に、評価部３５７は、評価に用いる全ての視点の計数値（カウンタ１の計数値＋カウンタ２の計数値＋カウンタ３の計数値）に対するカウンタ２の計数値の割合を計算する（ステップＳ３２１）。この値が高いほど、更に発達障がいの可能性が高いことになる。
　なお、評価値の算出方法は上記に限られるものではない。人物画像および模様画像のいずれを注視しているかを判定可能な値であればどのような評価値を用いてもよい。図１４の例では、３つの評価値を算出したが（ステップＳ３１８、ステップＳ３２０、ステップＳ３２１）、算出する評価値の個数は任意である。
　このように、本実施形態では、人物画像および幾何学画像の全体（例えばエリアＨ、エリアＫ）ではなく、人物画像内および幾何学画像内の一部のエリアを、視点の検出対象（診断対象）とする。これにより、例えば、注視する意図がなく偶発的に視点がエリア内に入った場合に誤って注視点を検出することを回避できる。すなわち、検出（診断）の精度を向上させることができる。
　図１５は、図１３の診断画像を用いる場合の診断支援処理の一例を示すフローチャートである。
　ステップＳ４０１～ステップＳ４０５は、図１４のステップＳ３０１～ステップＳ３０５と同様であるため説明を省略する。
　注視点検出が成功した場合、制御部３００は、得られた注視点の座標より、注視点がエリア１１Ｂ内にあるか否かを判断する（ステップＳ４０６）。エリア１１Ｂ内にあれば（ステップＳ４０６：Ｙｅｓ）、制御部３００は、カウンタ２をカウントアップする（ステップＳ４１０）。
　注視点がエリア１１Ｂ内にない場合（ステップＳ４０６：Ｎｏ）、制御部３００は、注視点がエリア１２Ａ内にあるか否かを判断する（ステップＳ４０７）。エリア１２Ａ内にあれば（ステップＳ４０７：Ｙｅｓ）、制御部３００は、カウンタ１をカウントアップする（ステップＳ４０９）。エリア１２Ａ内にない場合（ステップＳ４０７：Ｎｏ）、制御部３００は、注視点がエリア１３Ａ内にあるか否かを判断する（ステップＳ４０８）。エリア１３Ａ内にあれば（ステップＳ４０８：Ｙｅｓ）、制御部３００は、カウンタ１をカウントアップする（ステップＳ４０９）。
　いずれの判定エリア内にも注視点がない場合（ステップＳ４０８：Ｎｏ）、人の顔も、幾何学模様の中心付近も見ていないことになるので、制御部３００は、カウンタ３をカウントアップする（ステップＳ４１１）。
　ステップＳ４１２～ステップＳ４１９は、図１３のステップＳ３１４～ステップＳ３２１と同様であるため説明を省略する。
　なお、人物画像内に設ける判定エリアは顔部分を含むエリアに限られるものではない。同様に、幾何学模様画像内に設ける判定エリアは幾何学模様の中心を含むエリアに限られるものではない。各画像中で、定型発達被験者と発達障がい被験者との注視時間の差が大きくなるエリアであれば、どのようなエリアであってもよい。
　例えば、顔部分の画像が大きいような場合であれば、人物画像内の目を含むエリアを判定エリアとしてもよい。また、幾何学模様画像内で、幾何学模様の特徴部分を含むエリア、幾何学模様を描画する線の密度が他の部分より大きい部分を含むエリア、幾何学模様が変化する部分を含むエリア、などを判定エリアとしてもよい。
　また、診断画像は、人物画像と幾何学模様画像とを並列させた画像に限られるものではなく、人物画像と幾何学模様画像とを含んでいればどのような画像であってもよい。図１６は、本実施形態で用いる診断画像の他の例を示す図である。図１６は、人物画像を中央から左部に含み、右部に幾何学模様画像（エリアＫ）を含む診断画像の例である。エリア２２Ａおよびエリア２３Ａは、人物画像内の判定エリアである。エリア２１Ｂは、幾何学模様画像内の判定エリアである。図１６の診断画像を用いる場合は、図１３のエリア１２Ａ、１３Ａおよび１１Ｂの代わりに、エリア２２Ａ、２３Ａおよび２１Ｂを用いて、例えば図１５の診断支援処理を実行すればよい。
　また、診断画像は、人物画像内および幾何学模様画像内のそれぞれに判定エリアを設けているが、人物画像については人物画像内に判定エリアを設けて、幾何学模様画像については幾何学模様画像全体を判定エリアとして視点を検出してもよい。また、人物画像については人物画像全体を判定エリアとして、幾何学模様画像については幾何学模様画像内に判定エリアを設けて視点を検出してもよい。少なくとも一方の画像内に判定エリアを設けることで、視点の検出の精度を向上することができる。
　以上のように、本実施形態によれば、例えば以下のような効果が得られる。
（１）人物画像全体を見た注視時間と幾何学模様画像全体を見た注視時間を比較する従来方法より、定型発達被験者と発達障がい被験者との注視時間（評価結果）の差が大きくなるため、感度および特異度が高くなる。
（２）光源（照明部）を２ヶ所に配置する必要がなく、１ヵ所に配置した光源で視線検出を行うことが可能となる。
（３）光源が１ヵ所になったため、装置をコンパクトにすることが可能となり、コストダウンも実現できる。
　特願２０１４－０６２１８３号（出願日：２０１４年３月２５日）および特願２０１４－０６２１８４号（出願日：２０１４年３月２５日）の全内容は、ここに援用される。
　１００　診断支援装置
　１０１　表示部
　１０２　ステレオカメラ
　１０３　ＬＥＤ光源
　１５０　記憶部
　２０１　表示画面
　２０２　右カメラ
　２０３　左カメラ
　２０５　スピーカ
　３００　制御部
　３１３　駆動・ＩＦ部
　３１６　ＬＥＤ駆動制御部
　３２２　スピーカ駆動部
　３５１　第１算出部
　３５２　第２算出部
　３５３　第３算出部
　３５４　視線検出部
　３５５　視点検出部
　３５６　出力制御部
　３５７　評価部

Claims (7)

  1. 　表示部と、
    　被験者を撮像する撮像部と、
    　前記撮像部により撮像された撮像画像から、前記被験者の視線方向を検出する視線検出部と、
    　人物画像と、幾何学模様画像と、を含む診断画像を前記表示部に表示させる出力制御部と、
    　前記視線方向に基づいて、前記人物画像内における前記被験者の視点である第１視点を検出し、前記幾何学模様画像内の幾何学模様の中心、幾何学模様の特徴部分、幾何学模様を描画する線の密度が他の部分より大きい部分、および幾何学模様が変化する部分の少なくとも１つを含む領域における前記被験者の視点である第２視点を検出する視点検出部と、
    　を備える検出装置。
  2. 　前記視点検出部は、前記人物画像内の顔を含む領域における前記被験者の視点である第１視点を検出する、
    　請求項１に記載の検出装置。
  3. 　前記第１視点と前記第２視点とに基づいて前記被験者の評価値を算出する評価部をさらに備える、
    　請求項１または２に記載の検出装置。
  4. 　前記評価部は、前記第２視点の計数値に対する前記第１視点の計数値の割合、前記第１視点の計数値に対する前記第２視点の計数値の割合、評価に用いる全ての視点の計数値に対する前記第１視点の計数値の割合、および評価に用いる全ての視点の計数値に対する前記第２視点の計数値の割合のうち少なくとも１つに基づいて前記被験者の評価値を算出する、
    　請求項３に記載の検出装置。
  5. 　光を照射する光源を含む照明部と、
    　前記照明部によって光が照射され、前記撮像部によって撮像された被験者の眼球の画像から瞳孔の中心を示す第１位置を算出する第１算出部と、
    　撮像された前記眼球の画像から角膜反射の中心を示す第２位置を算出する第２算出部と、
    　前記光源と前記第２位置とを結ぶ直線に基づいて、角膜曲率中心を示す第３位置を算出する第３算出部と、をさらに備え、
    　前記視線検出部は、前記第１位置と前記第３位置に基づいて前記被験者の視線を検出する、
    　請求項１に記載の検出装置。
  6. 　表示部と、
    　被験者を撮像する撮像部と、
    　前記撮像部により撮像された撮像画像から、前記被験者の視線方向を検出する視線検出部と、
    　顔を含む人物画像と、幾何学模様画像と、を含む診断画像を前記表示部に表示させる出力制御部と、
    　前記視線方向に基づいて、前記人物画像内の顔を含む領域における前記被験者の視点である第１視点を検出し、前記幾何学模様画像内における前記被験者の視点である第２視点を検出する視点検出部と、
    　を備える検出装置。
  7. 　被験者を撮像する撮像部により撮像された撮像画像から、前記被験者の視線方向を検出する視線検出ステップと、
    　人物画像と、幾何学模様画像と、を含む診断画像を表示部に表示させる出力制御ステップと、
    　前記視線方向に基づいて、前記人物画像内における前記被験者の視点である第１視点を検出し、前記幾何学模様画像内の幾何学模様の中心、幾何学模様の特徴部分、幾何学模様を描画する線の密度が他の部分より大きい部分、および幾何学模様が変化する部分の少なくとも１つを含む領域における前記被験者の視点である第２視点を検出する視点検出ステップと、
    　を含む検出方法。
PCT/JP2015/055992 2014-03-25 2015-02-27 検出装置および検出方法 WO2015146491A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201580015593.1A CN106163418B (zh) 2014-03-25 2015-02-27 检测装置和检测方法
SG11201607901YA SG11201607901YA (en) 2014-03-25 2015-02-27 Detection apparatus and detection method
EP15768199.0A EP3123943B1 (en) 2014-03-25 2015-02-27 Detection device and detection method
AU2015235511A AU2015235511B2 (en) 2014-03-25 2015-02-27 Detection device and detection method
US15/272,603 US10159408B2 (en) 2014-03-25 2016-09-22 Detection apparatus and detection method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014-062183 2014-03-25
JP2014062184A JP6187347B2 (ja) 2014-03-25 2014-03-25 検出装置および検出方法
JP2014-062184 2014-03-25
JP2014062183A JP2015181797A (ja) 2014-03-25 2014-03-25 検出装置および検出方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/272,603 Continuation US10159408B2 (en) 2014-03-25 2016-09-22 Detection apparatus and detection method

Publications (1)

Publication Number Publication Date
WO2015146491A1 true WO2015146491A1 (ja) 2015-10-01

Family

ID=54195022

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/055992 WO2015146491A1 (ja) 2014-03-25 2015-02-27 検出装置および検出方法

Country Status (6)

Country Link
US (1) US10159408B2 (ja)
EP (1) EP3123943B1 (ja)
CN (1) CN106163418B (ja)
AU (1) AU2015235511B2 (ja)
SG (1) SG11201607901YA (ja)
WO (1) WO2015146491A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3251584A1 (en) * 2016-05-31 2017-12-06 Fujitsu Limited Line-of-sight detector and line-of-sight detection method
CN108027977A (zh) * 2015-12-01 2018-05-11 Jvc 建伍株式会社 视线检测装置以及视线检测方法
CN108140244A (zh) * 2015-12-01 2018-06-08 Jvc 建伍株式会社 视线检测装置以及视线检测方法
CN109690553A (zh) * 2016-06-29 2019-04-26 醒眸行有限公司 执行眼睛注视跟踪的系统和方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016046642A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
EP3187100A4 (en) * 2014-08-29 2018-05-09 Alps Electric Co., Ltd. Line-of-sight detection device
US10496166B2 (en) * 2016-04-12 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Eye tracking device and eye tracking method
US20180356885A1 (en) * 2017-06-10 2018-12-13 Tsunami VR, Inc. Systems and methods for directing attention of a user to virtual content that is displayable on a user device operated by the user
WO2019027506A1 (en) 2017-08-01 2019-02-07 Apple Inc. DETERMINATION OF CLEAR-PATTERN LIGHTING VERSUS DENSE
CN109325393B (zh) 2017-08-01 2022-12-09 苹果公司 使用单一网络的面部检测、姿态估计和距相机距离的估计
US10769414B2 (en) 2018-06-03 2020-09-08 Apple Inc. Robust face detection
US11903711B2 (en) 2022-06-09 2024-02-20 EarliTec Diagnostics, Inc. Assessing developmental disorders via eye tracking

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013223713A (ja) * 2012-03-21 2013-10-31 Hamamatsu Univ School Of Medicine 自閉症診断支援方法およびシステム並びに自閉症診断支援装置
JP2014018484A (ja) * 2012-07-19 2014-02-03 Jvc Kenwood Corp 診断支援装置および診断支援方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996005766A1 (en) * 1994-08-23 1996-02-29 Assist Advanced Technologies Ltd. A user controlled combination video game and exercise system
JP3453911B2 (ja) 1995-03-02 2003-10-06 富士ゼロックス株式会社 視線認識装置
JP4500992B2 (ja) 2004-01-14 2010-07-14 国立大学法人静岡大学 三次元視点計測装置
US7682025B2 (en) * 2007-02-04 2010-03-23 Miralex Systems Incorporated Gaze tracking using multiple images
US8371693B2 (en) 2010-03-30 2013-02-12 National University Corporation Shizuoka University Autism diagnosis support apparatus
JP5912351B2 (ja) 2011-09-05 2016-04-27 国立大学法人浜松医科大学 自閉症診断支援システム及び自閉症診断支援装置
CA2870751C (en) * 2012-07-31 2015-08-18 Japan Science And Technology Agency Point-of-gaze detection device, point-of-gaze detecting method, personal parameter calculating device, personal parameter calculating method, program, and computer-readable storage medium
JP6217445B2 (ja) * 2013-03-07 2017-10-25 株式会社Ｊｖｃケンウッド 診断支援装置および診断支援方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013223713A (ja) * 2012-03-21 2013-10-31 Hamamatsu Univ School Of Medicine 自閉症診断支援方法およびシステム並びに自閉症診断支援装置
JP2014018484A (ja) * 2012-07-19 2014-02-03 Jvc Kenwood Corp 診断支援装置および診断支援方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAREN PIERCE ET AL.: "Preference for Geometric Patterns Early in Life as a Risk Factor for Autism", ARCH GEN PSYCHIATRY, vol. 68, no. 1, January 2011 (2011-01-01), pages 101 - 109, XP055263645 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108027977A (zh) * 2015-12-01 2018-05-11 Jvc 建伍株式会社 视线检测装置以及视线检测方法
CN108140244A (zh) * 2015-12-01 2018-06-08 Jvc 建伍株式会社 视线检测装置以及视线检测方法
EP3367337A4 (en) * 2015-12-01 2018-12-26 JVC KENWOOD Corporation Line of sight detection device and line of sight detection method
US10722113B2 (en) 2015-12-01 2020-07-28 JVC Kenwood Corporation Gaze detection apparatus and gaze detection method
CN108140244B (zh) * 2015-12-01 2021-09-24 Jvc 建伍株式会社 视线检测装置以及视线检测方法
EP3251584A1 (en) * 2016-05-31 2017-12-06 Fujitsu Limited Line-of-sight detector and line-of-sight detection method
CN107440678A (zh) * 2016-05-31 2017-12-08 富士通株式会社 视线检测器和视线检测方法
CN109690553A (zh) * 2016-06-29 2019-04-26 醒眸行有限公司 执行眼睛注视跟踪的系统和方法

Also Published As

Publication number Publication date
AU2015235511B2 (en) 2017-06-01
EP3123943A4 (en) 2017-03-29
US20170007120A1 (en) 2017-01-12
EP3123943A1 (en) 2017-02-01
CN106163418B (zh) 2019-06-18
EP3123943B1 (en) 2021-04-07
AU2015235511A1 (en) 2016-11-10
CN106163418A (zh) 2016-11-23
SG11201607901YA (en) 2016-11-29
US10159408B2 (en) 2018-12-25

Similar Documents

Publication Publication Date Title
WO2015146491A1 (ja) 検出装置および検出方法
US10117569B2 (en) Diagnosis supporting device and diagnosis supporting method
JP6210023B2 (ja) 視線検出支援装置および視線検出支援方法
JP6201956B2 (ja) 視線検出装置および視線検出方法
JP6638354B2 (ja) 視線検出装置及び視線検出方法
JP6269377B2 (ja) 診断支援装置および診断支援方法
JP6245093B2 (ja) 診断支援装置および診断支援方法
JP6900994B2 (ja) 視線検出装置及び視線検出方法
JP6142822B2 (ja) 診断支援装置および診断支援方法
US10123695B2 (en) Diagnosis supporting device and method of supporting diagnosis
JP6380178B2 (ja) 診断支援装置および診断支援方法
JP2016028669A (ja) 瞳孔検出装置、および瞳孔検出方法
JP2015144635A (ja) 検出装置および検出方法
JP6217446B2 (ja) 制御装置、診断支援装置、制御方法及び制御プログラム
JP2017099513A (ja) 診断支援装置および診断支援方法
JP6187347B2 (ja) 検出装置および検出方法
JP6327171B2 (ja) 注視点検出装置および注視点検出方法
JP6142825B2 (ja) 診断支援装置および診断支援方法
JP2015181797A (ja) 検出装置および検出方法
JP6269177B2 (ja) 瞳孔検出装置、視線検出装置および瞳孔検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15768199

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015768199

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015768199

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: IDP00201607155

Country of ref document: ID

ENP Entry into the national phase

Ref document number: 2015235511

Country of ref document: AU

Date of ref document: 20150227

Kind code of ref document: A