WO2019186680A1 - 眼球トラッキング方法、眼球トラッキング装置、及びプログラム - Google Patents

眼球トラッキング方法、眼球トラッキング装置、及びプログラム Download PDF

Info

Publication number
WO2019186680A1
WO2019186680A1 PCT/JP2018/012328 JP2018012328W WO2019186680A1 WO 2019186680 A1 WO2019186680 A1 WO 2019186680A1 JP 2018012328 W JP2018012328 W JP 2018012328W WO 2019186680 A1 WO2019186680 A1 WO 2019186680A1
Authority
WO
WIPO (PCT)
Prior art keywords
eye
fitting
pupil
ellipse
iris
Prior art date
Application number
PCT/JP2018/012328
Other languages
English (en)
French (fr)
Inventor
和雄 船曳
一郎 中原
Original Assignee
株式会社ニューロプログラミングリサーチ
和雄 船曳
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニューロプログラミングリサーチ, 和雄 船曳 filed Critical 株式会社ニューロプログラミングリサーチ
Priority to PCT/JP2018/012328 priority Critical patent/WO2019186680A1/ja
Priority to JP2020510224A priority patent/JP7109034B2/ja
Publication of WO2019186680A1 publication Critical patent/WO2019186680A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Definitions

  • the present invention relates to an eyeball tracking method, an eyeball tracking device, and a program for tracking an eyeball movement.
  • Patent Document 1 describes a technique in which an ellipse is fitted to a pupil included in an image, and the center position of the ellipse obtained by the fitting is specified as the position of the pupil.
  • the pupil has an elliptical shape.
  • the shape of a pupil partially missing due to eyelids is a shape lacking a portion of an ellipse.
  • the position of the pupil included in the image is specified by performing fitting with an ellipse. For this reason, with the conventional trunking technique, the position of a pupil partially missing due to eyelids may not be correctly identified.
  • the present invention has been made in view of such a situation, and provides an eyeball tracking method, an eyeball trunking device, and a program thereof capable of tracking the movement of the eyeball more stably than in the past. Objective.
  • the second step of specifying the position of the pupil or the iris based on the result and the result of the fitting attempt by the ellipse does not satisfy the first condition, the pupil or the iris
  • An eyeball tracking device includes a first fitting unit that attempts to fit an ellipse to a pupil or iris included in an image, and a result of the fitting attempt using the ellipse satisfies a predetermined first condition.
  • the first position specifying unit for specifying the position of the pupil or the iris, and the result of the fitting attempt by the ellipse does not satisfy the first condition, the pupil or the iris
  • a second fitting unit that tries to fit by the first graphic lacking a part of the ellipse and a position of the pupil or the iris based on the result of the fitting attempt by the first graphic A two-position specifying unit.
  • a program according to an aspect of the present invention is a program for causing a computer to execute an eyeball tracking process for tracking the movement of an eyeball, wherein the eyeball tracking process is performed on a pupil or an iris included in an image.
  • the position of the pupil or the iris is specified based on the result of the fitting attempt by one figure.
  • a fourth step is a program for causing a computer to execute an eyeball tracking process for tracking the movement of an eyeball, wherein the eyeball tracking process is performed on a pupil or an iris included in an image.
  • the eyeball tracking method, eyeball tracking device, and program according to the present invention it is possible to track the movement of the eyeball more stably than in the past.
  • FIG. 1 is a schematic diagram illustrating an example of a state in which the eyeball tracking device according to the embodiment is used.
  • FIG. 2 is a schematic diagram illustrating an inner structure of the imaging apparatus according to the embodiment.
  • FIG. 3 is a block diagram illustrating a functional configuration of the eyeball tracking device according to the embodiment.
  • FIG. 4A is an example of an image acquired by the image acquisition unit according to the embodiment.
  • FIG. 4B is an example of an image acquired by the image acquisition unit according to the embodiment.
  • FIG. 4C is an example of an image acquired by the image acquisition unit according to the embodiment.
  • FIG. 4D is an example of an image acquired by the image acquisition unit according to the embodiment.
  • FIG. 5A is a first graphic with a part of an ellipse missing.
  • FIG. 5A is a first graphic with a part of an ellipse missing.
  • FIG. 5B is a second graphic in which a part of the ellipse is missing.
  • FIG. 5C is a third graphic with a part of the ellipse missing.
  • FIG. 6 is a data configuration diagram of association information.
  • FIG. 7 is a flowchart of eyeball tracking processing.
  • FIG. 8 is a flowchart of the image analysis process.
  • FIG. 9 is a flowchart of the position specifying process.
  • FIG. 10 is a flowchart of the interpolation process.
  • FIG. 11A is an example of a left-eye image before processing.
  • FIG. 11B is an example of a processed image after processing.
  • FIG. 12 is a diagram showing transition of the center position of the pupil.
  • FIG. 13 is a diagram showing transition of the center position of the pupil.
  • FIG. 14 is a data configuration diagram of association information.
  • the second step of specifying the position of the pupil or the iris based on the result and the result of the fitting attempt by the ellipse does not satisfy the first condition, the pupil or the iris
  • An eyeball tracking device includes a first fitting unit that attempts to fit an ellipse to a pupil or iris included in an image, and a result of the fitting attempt using the ellipse satisfies a predetermined first condition.
  • the first position specifying unit for specifying the position of the pupil or the iris, and the result of the fitting attempt by the ellipse does not satisfy the first condition, the pupil or the iris
  • a second fitting unit that tries to fit by the first graphic lacking a part of the ellipse and a position of the pupil or the iris based on the result of the fitting attempt by the first graphic A two-position specifying unit.
  • a program according to an aspect of the present invention is a program for causing a computer to execute an eyeball tracking process for tracking the movement of an eyeball, wherein the eyeball tracking process is performed on a pupil or an iris included in an image.
  • the position of the pupil or the iris is specified based on the result of the fitting attempt by one figure.
  • a fourth step is a program for causing a computer to execute an eyeball tracking process for tracking the movement of an eyeball, wherein the eyeball tracking process is performed on a pupil or an iris included in an image.
  • the eyeball tracking method, the eyeball tracking device, and the program according to one aspect of the present invention described above due to the absence of a part of the pupil or the iris due to the eyelid, the oval for the pupil or the iris Even if the result of the fitting attempt is a result that does not satisfy the predetermined condition, the first figure in which a part of the ellipse is missing is applied to the pupil or iris.
  • the eyeball tracking method, the eyeball tracking device, and the program according to one aspect of the present invention can increase the possibility of correctly specifying the position of the pupil or the iris as compared with the conventional eyeball tracking method.
  • the eyeball tracking method it is possible to track the movement of the eyeball more stably than in the past.
  • the fourth step specifies the position of the pupil or the iris based on the result.
  • the figure is a figure in which a part of the ellipse is missing from the pupil or the iris
  • the seventh step specifies the position of the pupil or the iris based on the result.
  • the first graphic is a graphic in which a quarter region of the ellipse is missing from the ellipse, and the second graphic is the ellipse from the ellipse. Of a missing figure 1/2 region, the third figure from the ellipse, and may be a figure 3/4 area of the ellipse is missing.
  • the first figure is a figure in which the 1 ⁇ 4 region on the upper side of the ellipse is missing in the vertical direction when the direction in which the left and right eyes are aligned is a horizontal direction from the ellipse
  • the second graphic is a graphic in which the half area above the ellipse is missing in the vertical direction from the ellipse
  • the third graphic is the ellipse in the vertical direction from the ellipse.
  • the upper 3/4 area may be a missing figure.
  • satisfying the predetermined first condition may mean that, in an attempt to fit the ellipse, a fitting rate is a predetermined value indicating that the fitting is successful.
  • reliability information indicating whether the position of the pupil or the iris is specified in the second step or the fourth step is generated, and the second step or the fourth step is generated.
  • the position information indicating the position of the pupil or the iris specified by any of the above and the reliability information may be stored in association with each other.
  • the second step when the result of the fitting attempt by the ellipse with respect to the right eye image satisfies the first condition, the right eye pupil or the fitting attempt is performed based on the result.
  • the position of the iris of the right eye is specified and the result of the fitting attempt by the ellipse with respect to the left eye image satisfies the first condition, the position of the pupil of the left eye or the iris of the left eye is determined based on the result.
  • the result of the fitting attempt by the ellipse to the right eye image is the first article.
  • the right eye pupil or the right eye iris is fitted with the first figure, and the result of the fitting with the ellipse on the left eye image does not satisfy the first condition.
  • Trying to fit the first eye figure to the left eye pupil or the left eye iris and in the fourth step, based on the result of the first figure fitting attempt to the right eye image, The position of the iris of the pupil or the right eye is specified, and the position of the pupil of the left eye or the iris of the left eye is specified based on the result of the fitting attempt by the first graphic with respect to the left eye image.
  • the position of the right eye pupil or the right eye iris is specified in either the second step or the fourth step.
  • Left eye position information indicating the position of the left eye iris or the left eye iris, the right eye reliability information, and the left eye reliability information may be stored in association with each other.
  • the left eye position information is updated based on the right eye position information
  • the right eye position information may be updated based on the left eye position information
  • the first step, the second step, the third step, and the fourth step may be executed for each of a plurality of images that are continuously captured.
  • the image may be an image captured in a state where infrared light emitted from an infrared light irradiation device is irradiated on the pupil or the iris.
  • the image may be an image captured in a state where irradiation of visible light to the pupil or the iris is suppressed by a light shielding body.
  • a recording medium such as a system, method, integrated circuit, computer program, or computer-readable CD-ROM.
  • the system, method, integrated circuit, computer program Alternatively, it may be realized by any combination of recording media.
  • an eyeball tracking device that identifies the position of a pupil included in an image from the image will be described.
  • FIG. 1 is a schematic diagram illustrating an example of a state in which the eyeball tracking device 10 according to the present embodiment is used by being connected to an imaging device 20 that captures an image including a pupil.
  • the imaging device 20 is fixed and attached to the head in a state of covering both eyes of the subject like goggles-type underwater glasses. Then, the imaging device 20 continuously captures a plurality of right eye images and left eye images of the subject at the same timing at a predetermined frame rate (for example, 60 fps).
  • a predetermined frame rate for example, 60 fps.
  • FIG. 2 is a schematic diagram showing an inner structure of the imaging device 20.
  • the entire inner side of the imaging device 20 is covered with a light shield 21.
  • the right eye imaging camera 22, the left eye imaging camera 23, the right eye infrared light irradiation device 24, the left eye infrared light irradiation device 25, and the control part 26 are arrange
  • the light shield 21 prevents the inside of the imaging device 20 from entering due to visible light from the outside in a state where the imaging device 20 is mounted on the head of the subject. For this reason, the subject wearing the imaging device 20 cannot visually recognize the appearance of the outside world.
  • the right-eye infrared light irradiation device 24 is disposed at a position near the right eye of the subject in a state where the imaging device 20 is mounted on the subject's head, and irradiates the right eye with infrared light.
  • the right-eye imaging camera 22 is disposed at a position substantially facing the right eye of the subject in a state where the imaging device 20 is mounted on the head of the subject, and the right-eye image by infrared light emitted from the right-eye infrared light irradiation device 24. Image.
  • the left-eye infrared light irradiation device 25 is disposed at a position near the left eye of the subject in a state where the imaging device 20 is mounted on the subject's head, and irradiates the left eye with infrared light.
  • the left-eye imaging camera 23 is disposed at a position substantially facing the left eye of the subject in a state where the imaging device 20 is mounted on the head of the subject, and a left-eye image by infrared light emitted from the left-eye infrared light irradiation device 25. Image.
  • the control unit 26 controls operations of the right-eye imaging camera 22, the left-eye imaging camera 23, the right-eye infrared light irradiation device 24, and the left-eye infrared light irradiation device 25. Then, the right-eye imaging camera 22 and the left-eye imaging camera 23 continuously capture a plurality of right-eye images and left-eye images of the subject at the same timing at a predetermined frame rate (for example, 60 fps). Then, the captured right eye image and left eye image are transmitted to the eyeball tracking device 10.
  • a predetermined frame rate for example, 60 fps
  • An image picked up by the image pickup device 20 having the above-described configuration is an image picked up in a state where infrared light emitted from the right-eye infrared light irradiation device 24 or the left-eye infrared light irradiation device 25 is irradiated, and is shielded from light
  • the image is captured by the body 21 in a state where the irradiation of visible light is suppressed.
  • the eye tracking device 10 is realized by, for example, a computer including a memory (not shown) and a processor (not shown) that executes a program stored in the memory.
  • the imaging device 20 will be described by exemplifying a configuration in which a right eye image and a left eye image are captured in a state in which the subject cannot visually recognize an external state by being attached to the subject.
  • the imaging device 20 is not necessarily limited to the configuration illustrated above as long as it can capture the right-eye image and the left-eye image.
  • the imaging device 20 may be configured such that a part or all of the light shield 21 can be attached and detached, and the right eye image and the left eye image can be captured in a state where the subject can visually recognize the front.
  • the subject is presented with some target (may be a stationary target or a moving target), The right-eye image and the left-eye image can be captured in a state where the subject visually recognizes the target.
  • the arrangement positions of the right-eye imaging camera 22 and the left-eye imaging camera 23 are not necessarily limited to the positions illustrated in FIG.
  • the right-eye imaging camera 22 is arranged at a position shifted from the front in the front direction of the right eye so as not to block the line of sight in front of the right eye, and the left-eye imaging camera 23 does not block the line of sight in front of the left eye. You may arrange
  • the arrangement positions of the right eye infrared light irradiation device 24 and the left eye infrared light irradiation device 25 are not necessarily limited to the positions illustrated in FIG.
  • a mirror hot mirror that reflects only infrared light is disposed in front of the right eye, and the infrared light from the right-eye infrared light irradiation device 24 disposed on the side or rear of the right eye is reflected on the mirror.
  • the infrared light is irradiated to the right eye
  • a mirror that reflects only infrared light
  • the left eye infrared light irradiation device 25 arranged on the left eye side or rear side is arranged.
  • the infrared light may be reflected on the mirror so that the infrared light is irradiated to the left eye.
  • the imaging device 20 captures only one of the right eye image and the left eye image.
  • the imaging device 20 transmits only the image of the eye on the imaging side to the eyeball tracking device 10, and the eyeball tracking device 10 acquires only the image of the eye on the side imaged by the imaging device 20. It becomes.
  • FIG. 3 is a block diagram showing a functional configuration of the eyeball tracking device 10.
  • the eye tracking device 10 includes an image acquisition unit 30, a first fitting unit 31, a second fitting unit 32, a first position specifying unit 33, a second position specifying unit 34, An association unit 35 and an interpolation unit 36 are included.
  • the image acquisition unit 30 acquires and stores images (right-eye image and left-eye image) transmitted from the imaging device 20.
  • FIG. 4A, 4B, 4C, and 4D are examples of images acquired by the image acquisition unit 30.
  • FIG. 4A, 4B, 4C, and 4D are examples of images acquired by the image acquisition unit 30.
  • the image acquired by the image acquisition unit 30 includes, for example, an image including the entire pupil as shown in FIG. 4A, for example, about 1/4 of the upper pupil as shown in FIG. 4B.
  • the upper half of the pupil as shown in FIG. 4C is covered with wrinkles, for example, the upper third of the pupil as shown in FIG. 4D is covered with wrinkles. Images are included.
  • 1st fitting part 31 tries the fitting by an ellipse with respect to the pupil contained in an image.
  • the first fitting part 31 further includes an elliptical contour fitting part 41 and an elliptical fitting part 42.
  • the elliptical contour fitting unit 41 tries to fit the elliptical contour (circumference) to the pupil included in the image.
  • the elliptical fitting unit 42 tries to fit an elliptical shape to the pupil included in the image. More specifically, when the fitting rate is not the first predetermined value (for example, 90% or more) indicating that the fitting was successful in the fitting attempt by the elliptical contour made by the elliptical contour fitting unit 41, the above Attempt fitting by ellipse shape.
  • the first predetermined value for example, 90% or more
  • fitting with an elliptical contour can obtain a fitting result with higher reliability than fitting with an elliptical shape.
  • the fitting success rate (for example, the probability that the fitting rate becomes a predetermined value (for example, 90% or more)) is lower in the fitting with the elliptical contour than the fitting with the elliptical shape.
  • the second fitting unit 32 tries to fit a pupil included in the image with a figure lacking a part of an ellipse.
  • FIG. 5A, FIG. 5B, and FIG. 5C are examples of a figure in which a part of an ellipse is missing.
  • the figure shown in FIG. 5A is a figure in which the 1 ⁇ 4 area 201 on the upper side of the ellipse 200 is missing from the ellipse 200 in the vertical direction when the direction in which the left and right eyes are aligned is the horizontal direction. Called one figure.
  • the upper quarter region of the ellipse is a figure obtained by dividing the ellipse into two by a straight line orthogonal to the axis at a point of the upper quarter of the vertical axis of the ellipse. Say the upper figure.
  • FIG. 5B The figure shown in FIG. 5B is a figure in which the upper half region 202 of the ellipse 200 is missing from the ellipse 200 in the vertical direction when the direction in which the left and right eyes are aligned is the horizontal direction. Called two figures.
  • the upper half area of the ellipse is a figure obtained by dividing the ellipse into two parts by a straight line orthogonal to the axis at a point half of the upper axis of the ellipse in the vertical direction. Say the upper figure.
  • FIG. 5C The figure shown in FIG. 5C is a figure in which the upper 3/4 area 203 of the ellipse 200 is missing from the ellipse 200 in the vertical direction when the direction in which the left and right eyes are aligned is the horizontal direction. Called 3 figures.
  • the upper 3/4 region of the ellipse is a figure obtained by dividing the ellipse into two by a straight line orthogonal to the axis at a point 3/4 above the vertical axis of the ellipse. Say the upper figure.
  • the second fitting unit 32 further includes a first graphic shape fitting unit 43, a second graphic shape fitting unit 44, and a third graphic shape fitting unit 45.
  • the first graphic shape fitting unit 43 tries to fit the pupil included in the image by the shape of the first graphic. More specifically, when the fitting rate is not a second predetermined value (for example, 90% or more) indicating that the fitting is successful in the fitting attempt by the elliptical shape made by the elliptical fitting unit 42, the first Attempt fitting by the shape of one figure.
  • a second predetermined value for example, 90% or more
  • the second graphic shape fitting unit 44 tries to fit the pupil included in the image based on the shape of the second graphic. More specifically, when the fitting rate is not the third predetermined value (for example, 90% or more) indicating that the fitting is successful in the fitting attempt by the shape of the first graphic made by the first graphic shape fitting unit 43. In addition, an attempt is made to perform fitting using the shape of the second graphic.
  • the third predetermined value for example, 90% or more
  • the third graphic shape fitting unit 45 tries to fit the pupil included in the image by the shape of the third graphic. More specifically, when the fitting rate is not the fourth predetermined value (for example, 90% or more) indicating that the fitting is successful in the fitting attempt by the shape of the second graphic made by the second graphic shape fitting unit 44. In addition, an attempt is made to fit by the shape of the third graphic.
  • the fourth predetermined value for example, 90% or more
  • the first position specifying unit 33 specifies the position of the pupil based on the result.
  • the first position specifying unit 33 (1) is a first predetermined value indicating that the fitting rate has been successful in the fitting attempt by the elliptical contour performed by the elliptical contour fitting unit 41.
  • the center position of the ellipse fitted by the ellipse contour fitting unit 41 is specified as the pupil position.
  • the predetermined condition referred to here is a first predetermined value indicating that the fitting rate is successful in the fitting attempt by the elliptical contour fitting unit 41, or the fitting condition by the elliptical fitting unit 42 In the trial, it is a condition that the fitting rate is a second predetermined value indicating that the fitting is successful.
  • the second position specifying unit 34 determines the position of the pupil based on the result. Identify.
  • the second position specifying unit 34 indicates that (1) the fitting rate was successful in the fitting attempt based on the shape of the first graphic made by the first graphic shape fitting unit 43.
  • the center position of the ellipse in the first graphic fitted by the first graphic shape fitting unit 43 is specified as the position of the pupil.
  • the third graphic shape In the fitting attempt by the second graphic shape performed by the second graphic shape fitting unit 44, when the fitting rate is not the fourth predetermined value indicating that the fitting was successful, the third graphic shape In the fitting attempt by the shape of the third graphic made by the fitting unit 45, when the fitting rate is the fifth predetermined value (for example, 90% or more) indicating that the fitting is successful, the third graphic shape fitting unit
  • the center position of the ellipse in the third graphic fitted by 45 is specified as the position of the pupil.
  • the predetermined condition referred to here is based on the second graphic shape fitting unit 44 in which the fitting rate is a third predetermined value indicating that the fitting is successful in the fitting attempt by the first graphic shape fitting unit 43.
  • the fitting rate is a fourth predetermined value indicating that the fitting has been successful, or in the fitting attempt by the third graphic shape fitting unit 45, the fitting rate indicates that the fitting has been successful.
  • 5 is a condition of a predetermined value.
  • the second position specifying unit 34 when the fitting rate is not the fifth predetermined value indicating that the fitting is successful.
  • a predetermined position indicating that the fitting was not successful may be specified as the position of the pupil, or, for example, a null value may be returned.
  • the associating unit 35 specifies the position of the pupil by means of the elliptical contour fitting unit 41, the elliptical shape fitting unit 42, , Generating reliability information indicating which one of the first graphic shape fitting unit 43, the second graphic shape fitting unit 44, and the third graphic shape fitting unit 45 is specified based on the fitting performed by the fitting unit. .
  • the associating unit 35 when the pupil position is specified based on the fitting by the elliptical contour fitting unit 41, the associating unit 35 generates reliability information indicating a numerical value “5”, and When the position is specified based on the fitting by the elliptical shape fitting unit 42, reliability information indicating a numerical value “4” is generated, and the position of the pupil is specified by the first graphic shape fitting unit 43.
  • reliability information indicating a numerical value “3” is generated, and when the position of the pupil is specified based on the fitting by the second graphic shape fitting unit 44, Reliability information indicating a numerical value “2” is generated, and the position of the pupil is specified based on the fitting by the third graphic shape fitting unit 45 When it generates the reliability information indicating the value "1". Further, the associating unit 35 generates reliability information indicating a numerical value “0” when the position of the pupil is not specified.
  • the associating unit 35 includes an elliptical contour fitting unit 41, an elliptical fitting unit 42, a first graphic shape fitting unit 43, a second graphic shape fitting unit 44, and a third graphic shape fitting unit 45.
  • the position information indicating the position of the pupil specified based on the fitting by any of the fitting units is stored in association with the generated reliability information.
  • the associating unit 35 when the associating unit 35 generates right eye reliability information for the right eye image and generates left eye reliability information for the left eye image captured at the same timing as the right eye image, the right eye image in the right eye image is displayed.
  • Right eye position information indicating the position of the right eye, right eye reliability information in the right eye image, left eye position information indicating the position of the left eye pupil in the left eye image, and left eye reliability information in the left eye image Association information is generated and the generated association information is stored.
  • FIG. 6 is a data configuration diagram of association information stored in the association unit 35.
  • the frame number is a numerical value indicating the frame order (imaging order) of a plurality of right-eye images and left-eye images continuously captured by the imaging device 20 at a predetermined frame rate (for example, 60 fps).
  • frame number 1 is a numerical value indicating that the target image (right eye image and left eye image) is an image captured at the first imaging timing in continuous shooting
  • frame number 2 is the target image.
  • Light-eye image and left-eye image is a numerical value indicating that the image is captured at the second imaging timing in continuous shooting.
  • the association information stored in the association unit 35 is the right eye position for each of the right eye image and the left eye image captured at the same timing in a plurality of continuously captured right eye images and left eye images.
  • the information, the right eye reliability information, the left eye position information, and the left eye reliability information are associated with each other.
  • the interpolation unit 36 updates the left eye position information based on the right eye position information when the right eye reliability information and the left eye reliability information satisfy a predetermined condition.
  • the interpolation unit 36 compares the right-eye reliability information and the left-eye reliability information corresponding to the same frame number with respect to the association information stored by the association unit 35, and determines the left-eye reliability information. Is smaller than the value of the right eye reliability information, the position of the left eye pupil is estimated based on the position of the right eye pupil indicated by the right eye position information of the frame. Then, the left eye position information of the frame in the association information stored by the association unit 35 is updated with new left eye position information indicating the estimated pupil position.
  • the predetermined condition referred to here is a condition that the value of the left eye reliability information is smaller than the value of the right eye reliability information in the right eye reliability information and the left eye reliability information corresponding to the same frame number. It is.
  • the interpolation unit 36 updates the right eye position information based on the left eye position information when the right eye reliability information and the left eye reliability information satisfy a predetermined condition.
  • the interpolation unit 36 compares the right eye reliability information and the left eye reliability information corresponding to the same frame number with respect to the association information stored by the association unit 35, and the right eye reliability information is compared. Is smaller than the value of the left eye reliability information, the position of the right eye pupil is estimated based on the position of the left eye pupil indicated by the left eye position information of the frame. Then, the right eye position information of the frame in the association information stored by the association unit 35 is updated with new right eye position information indicating the estimated pupil position.
  • the predetermined condition referred to here is a condition that the value of the right eye reliability information is smaller than the value of the left eye reliability information in the right eye reliability information and the left eye reliability information corresponding to the same frame number. It is.
  • the interpolator 36 uses this phenomenon to estimate the position of the pupil of the other eye based on the position of the pupil of one eye.
  • the estimation method for example, when one eye is the right eye and the other eye is the left eye, the movement of the right eye pupil is identified from the right eye position information of several frames before and after the target frame, It may be a method of estimating the position of the left-eye pupil in the target frame, assuming that the left-eye pupil has made the same movement as the identified right-eye pupil.
  • the interpolation unit 36 estimates the pupil of the other eye estimated based on the position of the pupil of the eye with the larger reliability information value.
  • the position of the pupil of the eye with the smaller reliability information value ie, the other eye is updated.
  • the interpolation unit 36 corresponds to the one eye.
  • the position of the pupil of the other eye can be estimated from the position information of the other eye, and the position information of the other eye can be updated, that is, interpolated.
  • the eyeball trunking process for specifying the position of the pupil included in the image from the image and the position of the pupil of the other eye based on the position of the pupil of the one eye are performed.
  • Interpolation processing for interpolating the position is performed.
  • FIG. 7 is a flowchart of eyeball tracking processing performed by the eyeball tracking device 10.
  • the eyeball tracking process is started when the imaging device 20 is connected to the eyeball tracking device 10.
  • the image acquisition unit 30 When the eye tracking process is started, the image acquisition unit 30 includes N right-eye images and N images that are continuously captured by the imaging device 20 N (N is an integer of 2 or more) at a predetermined frame rate (for example, 60 fps).
  • the left eye image is acquired (step S10).
  • the eye tracking device 10 When the images are acquired, the eye tracking device 10 performs image analysis processing on the N right eye images and the N left eye images acquired by the image acquisition unit 30 (step S20).
  • FIG. 8 is a flowchart showing the detailed processing contents of the image analysis processing performed by the eyeball tracking device 10.
  • the eyeball tracking device 10 substitutes 1 for the variable k (step S100). Then, the eyeball tracking device 10 selects the right eye image of the k-th frame from the images acquired by the image acquisition unit 30 (step S110), and for the selected right eye image, the pupil of the pupil included in the image is selected. A position specifying process for specifying the position is performed (step S120).
  • FIG. 9 is a flowchart showing the detailed processing contents of the position specifying process performed by the eyeball tracking device 10.
  • the elliptical contour fitting unit 41 tries to fit the pupil included in the selected image with an elliptical contour (circumference) (step S200).
  • the first position specifying unit 33 sets the fitting rate to a first predetermined value (for example, 90% or more) indicating that the fitting is successful in the fitting attempt. It is checked whether or not there is (step S205).
  • a first predetermined value for example, 90% or more
  • step S205 when the fitting rate is the first predetermined value indicating that the fitting was successful (step S205: Yes), the first position specifying unit 33 uses the ellipse fitted by the ellipse contour fitting unit 41. Is specified as the position of the pupil (step S250).
  • step S205 when the fitting rate is not the first predetermined value indicating that the fitting has been successful (step S205: No), the elliptical fitting unit 42 applies to the pupil included in the selected image. Fitting with an ellipse shape is attempted (step S210).
  • the first position specifying unit 33 sets the fitting rate to a second predetermined value (for example, 90% or more) indicating that the fitting is successful in the fitting attempt. It is checked whether or not there is (step S215).
  • a second predetermined value for example, 90% or more
  • step S215 when the fitting rate is the second predetermined value indicating that the fitting was successful (step S215: Yes), the first position specifying unit 33 uses the elliptical fitting unit 42 to fit the ellipse. Is specified as the position of the pupil (step S255).
  • step S215 when the fitting rate is not the second predetermined value indicating that the fitting was successful (step S215: No), the first graphic shape fitting unit 43 applies the pupil included in the selected image. Then, fitting with the shape of the first graphic is attempted (step S220).
  • the second position specifying unit 34 determines that the fitting rate is a third predetermined value (for example, 90% or more) indicating that the fitting is successful in the fitting attempt. ) Is checked (step S225).
  • a third predetermined value for example, 90% or more
  • step S225 when the fitting rate is the third predetermined value indicating that the fitting is successful (step S225: Yes), the second position specifying unit 34 is fitted by the first graphic shape fitting unit 43.
  • the center position of the ellipse in the first graphic is specified as the position of the pupil (step S260).
  • step S225 when the fitting rate is not the third predetermined value indicating that the fitting was successful (step S225: No), the second graphic shape fitting unit 44 applies the pupil included in the selected image. Then, fitting with the shape of the second graphic is attempted (step S230).
  • the second position specifying unit 34 determines that the fitting rate is a fourth predetermined value (for example, 90% or more) indicating that the fitting is successful in the fitting attempt. ) Is checked (step S235).
  • a fourth predetermined value for example, 90% or more
  • step S235 when the fitting rate is the fourth predetermined value indicating that the fitting was successful (step S235: Yes), the second position specifying unit 34 is fitted by the second graphic shape fitting unit 44.
  • the center position of the ellipse in the second graphic is specified as the position of the pupil (step S265).
  • step S235 when the fitting rate is not the fourth predetermined value indicating that the fitting was successful (step S235: No), the third graphic shape fitting unit 45 applies the pupil included in the selected image. Then, fitting with the shape of the third graphic is attempted (step S240).
  • the second position specifying unit 34 determines that the fitting rate is a fifth predetermined value (for example, 90% or more) indicating that the fitting is successful in the fitting attempt. ) Is checked (step S245).
  • a fifth predetermined value for example, 90% or more
  • step S245 when the fitting rate is the fifth predetermined value indicating that the fitting was successful (step S245: Yes), the second position specifying unit 34 is fitted by the third graphic shape fitting unit 45.
  • the center position of the ellipse in the third graphic is specified as the pupil position (step S270).
  • step S245 when the fitting rate is not the fifth predetermined value indicating that the fitting was successful (step S245: No), when the process of step S250 is finished, when the process of step S255 is finished, step S260.
  • step S265 ends, the process of step S265 ends, and the process of step S270 ends, the position specifying process ends.
  • step S20 the description of the image analysis process
  • the eyeball tracking device 10 selects the k-th frame left-eye image from the images acquired by the image acquisition unit 30 (step S130), and the selected left-eye image is selected. Then, a position specifying process for specifying the position of the pupil included in the image is performed (step S140).
  • step S140 is the same process as the image analysis process in step S120, and since it has already been described, the description thereof is omitted here.
  • step S140 the eyeball tracking device 10 substitutes k + 1 for the variable k (step S150). Then, the eyeball tracking device 10 checks whether k is N or less (step S160).
  • step S160 when k is N or less (step S160: Yes), the eyeball tracking device 10 proceeds to the process of step S120 again, and repeats the processes after step S120.
  • step S160 when k is not equal to or less than N (step S160: No), the eye tracking device 10 ends the image analysis process.
  • the associating unit 35 When the image analysis processing in step S20 ends, the associating unit 35 generates right eye reliability information for each of the N right eye images acquired by the image acquiring unit 30, and for each of the N left eye images. Generate left eye reliability information.
  • the associating unit 35 associates the right eye position information, the right eye reliability information, the left eye position information, and the left eye reliability information with respect to each of the N sets of right eye images and left eye images having the same frame number. Then, association information (see FIG. 6) is generated (step S30), and the generated association information is stored.
  • step S30 ends, the eyeball tracking device 10 ends the eyeball tracking process.
  • FIG. 10 is a flowchart of the interpolation process performed by the eye tracking device 10.
  • Interpolation process starts when the eyeball tracking process ends.
  • the interpolation unit 36 acquires association information stored in the association unit 35 (step S300), and substitutes 1 for the variable k (step S305).
  • the interpolation unit 36 selects the right eye reliability information and the left eye reliability information of the k-th frame from the acquired association information (step S310), and the value of the selected left eye reliability information is the selected right eye. It is checked whether or not the value is smaller than the reliability information value (step S315).
  • step S315 when the value of the left eye reliability information is smaller than the value of the right eye reliability information (step S315: Yes), the interpolation unit 36 calculates the right eye of the kth frame from the acquired association information. Position information is selected, and the position of the left-eye pupil is estimated based on the position of the right-eye pupil indicated by the selected right-eye position information (step S320). Then, the interpolation unit 36 updates the left eye position information of the kth frame in the association information stored by the association unit 35 with new left eye position information indicating the estimated position of the right eye pupil (step S325).
  • step S315 when the value of the left eye reliability information is not smaller than the value of the right eye reliability information (step S315: No), the interpolation unit 36 selects the value of the selected right eye reliability information. Is smaller than the value of the selected left eye reliability information (step S330).
  • step S330 when the value of the right eye reliability information is smaller than the value of the left eye reliability information (step S330: Yes), the interpolation unit 36 calculates the left eye of the kth frame from the acquired association information. Position information is selected, and the position of the right-eye pupil is estimated based on the position of the left-eye pupil indicated by the selected left-eye position information (step S335). Then, the interpolation unit 36 updates the right eye position information of the kth frame in the association information stored by the association unit 35 with the new right eye position information indicating the estimated right eye pupil position (step S340).
  • step S325 When the process of step S325 is completed, when the process of step S340 is completed, and when the value of the right eye reliability information is not smaller than the value of the left eye reliability information in the process of step S330 (step (S330: No), the interpolation unit 36 substitutes k + 1 for the variable k (step S345). Then, the interpolation unit 36 checks whether k is N or less (step S350).
  • step S350 when k is N or less (step S350: Yes), the eye tracking device 10 proceeds to the process of step S310 again, and repeats the processes after step S310.
  • step S350 when k is not N or less (step S350: No), the eye tracking device 10 ends the interpolation process.
  • the eyeball tracking device 10 first attempts to fit an ellipse to the pupil included in the image. If the fitting by the ellipse is not successful, the fitting by the figure lacking a part of the ellipse is tried.
  • the eyeball tracking device 10 can increase the possibility of correctly specifying the position of the pupil as compared with the conventional eyeball tracking method in which the fitting with an ellipse is performed on the pupil.
  • the eyeball tracking device 10 it is possible to track the movement of the eyeball more stably than in the prior art.
  • the inventor conducted the following experiment in order to demonstrate the superiority of the conventional eyeball trunking method in which only the fitting with an ellipse is performed on the pupil by the eyeball tracking process performed by the eyeball tracking device 10.
  • the subject is presented with a target that repeatedly moves from the front in the horizontal direction to the direction of elevation +15 degrees, instructed to view it, and the left eye image is displayed with the entire pupil included in the image. Continuous imaging. Then, ellipse fitting is performed on the pupil included in each left-eye image, and the center position of the pupil is traced.
  • FIG. 11A is an example of a left-eye image before processing
  • FIG. 11B is an example of a processed image after processing.
  • each processed image is acquired by the eye tracking device 10 to generate association information, and the center position of the left eye pupil indicated by the left eye position information recorded in the association information is traced.
  • FIG. 12 is a diagram showing the transition of the center position of the pupil traced in the above experiment.
  • the horizontal axis is the elapsed time from the start of continuous imaging of the left eye image
  • the vertical axis is the normalized position of the center position of the pupil in the vertical direction.
  • the solid line indicates the transition of the center position of the pupil when fitting the ellipse to the pupil included in the left-eye image before processing, and the broken line lacks the upper half included in the processed image.
  • the transition of the center position of the pupil when fitting with an ellipse is performed on the pupil, and the alternate long and short dash line is based on the left eye position information recorded in the association information when the eye tracking device 10 acquires the processed image.
  • the transition of the center position of the left eye pupil shown is shown.
  • the eyeball tracking process (corresponding to the one-dot chain line) performed by the eyeball tracking device 10 is a conventional eyeball trunking method (only a broken line). It can be seen that the actual pupil movement (corresponding to the solid line) can be reproduced more faithfully than (corresponding).
  • the eye tracking device 10 associates the right eye position information, the right eye reliability information, the left eye position information, and the left eye reliability information with respect to the right eye image and the left eye image captured at the same timing.
  • calculation processing for the right eye position information based on the right eye reliability information, and left eye position information performed based on the left eye reliability information which are difficult to realize with the conventional eye tracking method.
  • An arithmetic process for the right eye position information performed based on the left eye reliability information, an arithmetic process for the left eye position information performed based on the right eye reliability information, and the like can be realized.
  • right eye reliability information is associated with each right eye position information
  • each left eye position information is associated with a left eye position. Information is associated.
  • the inventor further conducted the following experiment in order to demonstrate the effectiveness of the interpolation processing performed by the eyeball tracking device 10.
  • the subject is presented with a target that repeatedly moves in the direction of elevation +15 degrees from the front in the horizontal direction, and instructed to view it, the right eye image and the entire pupil are included in the image.
  • the left eye image is continuously captured.
  • ellipse fitting is performed on the pupil included in each left-eye image, and the center position of the pupil is traced.
  • the right eye image and each processed image are acquired by the eye tracking device 10 and (1) the left eye position information recorded in the association information in a state where only the eye tracking process is performed without performing the interpolation process.
  • the center position of the pupil of the traced left eye is also referred to as “the center position of the pupil before the interpolation process”.
  • the center position of the pupil of the left eye indicated by the information is traced.
  • the center position of the pupil of the left eye is also referred to as “the center position of the pupil after the interpolation process”.
  • FIG. 13 is a diagram showing the transition of the center position of the pupil of the left eye traced in the above experiment.
  • the horizontal axis is the elapsed time from the start of continuous imaging of the right eye image and the left eye image
  • the vertical axis is the normalized position of the center position of the pupil in the vertical direction.
  • the solid line indicates the transition of the center position of the pupil when the ellipse fitting is performed on the pupil included in the left-eye image before processing
  • the broken line indicates the case where the interpolation processing is not performed.
  • the transition of the center position of the pupil indicated by the association information is shown, and the alternate long and short dash line shows the transition of the center position of the pupil indicated by the updated association information when interpolation processing is performed.
  • the eyeball tracking device 10 has been described on the assumption that the object whose position is specified is the pupil.
  • the eyeball tracking device according to one embodiment of the present invention does not have to be limited to a configuration in which the target whose position is specified is the pupil.
  • an example in which the object whose position is specified is an iris is also conceivable.
  • An example of this configuration is understood by, for example, replacing “pupil” with “iris” in the embodiment.
  • the eyeball tracking device 10 performs the fitting with the figure lacking a part of the ellipse, in order, the first figure lacking the 1 ⁇ 4 region above the ellipse and the upper part of the ellipse. It has been described that a fitting attempt consisting of three steps, that is, the second figure lacking 1/2 of the area and the third figure lacking the 3/4 area above the ellipse, is performed. However, if the eye tracking device according to one aspect of the present invention can perform a fitting attempt using a graphic with a part of an ellipse missing, an example of a configuration in which a fitting attempt including three steps using the above three graphics is necessarily performed. It is not necessary to be limited to.
  • the eyeball tracking device for example, as a fitting attempt using a figure lacking a part of an ellipse, the first figure lacking the upper third region of the ellipse in turn
  • a two-stage fitting attempt with a second figure lacking the 2/3 region on the upper side of the ellipse is considered.
  • an image in which the lower part of the pupil is covered with a tear bag may be captured.
  • the eyeball tracking device for example, as an attempt of fitting with a figure lacking a part of an ellipse, in order, a quarter region below the ellipse A three-stage fitting trial consisting of a first figure lacking an ellipse, a second figure lacking the lower half of the ellipse, and a third figure lacking the lower 3/4 area of the ellipse. Examples of configurations to perform are also conceivable.
  • the eyeball tracking device 10 has been described as starting the interpolation process when the eyeball tracking process ends.
  • the eyeball tracking device according to one embodiment of the present invention is not necessarily limited to the above configuration.
  • the eyeball tracking device for example, whether or not the eye movement of the right eye and the eye movement of the left eye are moving in conjunction with each other after the eye trunking process is completed ( It may be a configuration example in which interpolation processing is performed only when the determination is high (whether or not there is a high correlation) and the determination is affirmative. More specifically, in the eyeball tracking device according to one aspect of the present invention, (A) the right eye reliability information value and the left eye reliability information are obtained from the association information generated by the association unit 35 after the eyeball tracking process is completed.
  • the frame number is both “4” or “5” (that is, both the pupil position of the right eye and the pupil position of the left eye are specified based on fitting by an ellipse). .
  • B Whether or not the right eye eye movement and the left eye eye movement are moving in conjunction with each other based on the position of the right eye pupil and the position of the left eye pupil corresponding to the specified frame number (high correlation Whether or not there is).
  • C You may be the structure which starts an interpolation process only when the determination is affirmative.
  • the interpolation unit 36 estimates the position of the pupil of the other eye based on the position of the pupil of one eye, for example, the horizontal direction component of the eye movement and the eye movement.
  • the vertical direction component and the rotation direction component of the eye movement may be distinguished and calculated.
  • the eyeball tracking device 10 has been described as generating and storing the association information shown in FIG.
  • the eyeball tracking device according to one aspect of the present invention is not necessarily limited to a configuration that generates and stores association information as shown in FIG.
  • the right-eye interpolation information is information indicating whether or not the corresponding right-eye position information has been updated by the interpolation unit 36 based on the corresponding left-eye position information (that is, whether or not the left-eye interpolation information has been complemented). Is information indicating whether or not the corresponding left-eye position information has been updated by the interpolation unit 36 based on the corresponding right-eye position information (that is, whether or not it has been supplemented).
  • the right-eye interpolation information indicates that, when the value is “1”, the corresponding right-eye position information is updated by the interpolation unit 36 based on the corresponding left-eye position information. “0” indicates that the corresponding left eye position information has not been updated by the interpolation unit 36 based on the corresponding right eye position information.
  • the left-eye interpolation information indicates that when the value is “1”, the corresponding left-eye position information is updated by the interpolation unit 36 based on the corresponding right-eye position information. Is “0”, the corresponding right eye position information is not updated by the interpolation unit 36 based on the corresponding left eye position information.
  • the user who uses the eye tracking device having such a configuration example has identified the position of the pupil of each right eye and the position of the pupil of each left eye based on the fitting by an ellipse from the association information. It is specified in an unstable state (for example, a situation where the heel is lowered and the fitting hierarchy changes gradually), or is specified by a position estimated from the position of the pupil of the other eye Can know.
  • a configuration example including a display unit that displays association information to be generated and stored may be used.
  • a modified first position specifying unit (described later) in which a part of the function is changed is used.
  • the second position specifying unit 34 an example of a configuration including a modified second position specifying unit (described later) in which a part of the function is deformed is also conceivable.
  • the deformation first position specifying unit is (1) when the fitting rate is a first predetermined value indicating that the fitting is successful in the fitting attempt by the elliptical contour performed by the elliptical contour fitting unit 41. Specifies the center position of the ellipse fitted by the ellipse contour fitting unit 41 as the position of the pupil.
  • the deformed second position specifying unit is (1) a third predetermined value indicating that the fitting rate is successful in the fitting attempt by the shape of the first graphic made by the first graphic shape fitting unit 43.
  • the pupil is obtained by dividing the center position of the ellipse fitted by the ellipse fitting section 42 and the center position of the ellipse in the first figure fitted by the first figure shape fitting section 43 at a predetermined ratio. Specify as the position of.
  • Each component (functional block) in the eyeball tracking device 10 may be individually made into one chip by a semiconductor device such as IC (Integrated Circuit), LSI (Large Scale Integration), or a part or all of them. It may be made into one chip so that it may be included. Further, the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible. An FPGA (Field Programmable Gate Array) that can be programmed after manufacturing the LSI or a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used. Furthermore, if integrated circuit technology that replaces LSI appears as a result of progress in semiconductor technology or other derived technology, functional blocks may be integrated using this technology.
  • IC Integrated Circuit
  • LSI Large Scale Integration
  • all or part of the various processes described above may be realized by hardware such as an electronic circuit or may be realized by using software.
  • the processing by software is realized by a processor included in the eyeball tracking device 10 executing a program stored in a memory.
  • the program may be recorded on a recording medium and distributed or distributed. For example, by installing the distributed program in a device having another processor and causing the processor to execute the program, it is possible to cause the device to perform each of the above processes.
  • the present invention can be widely used for an eyeball tracking device that tracks the movement of the eyeball.

Abstract

眼球トラッキング方法は、画像に含まれる瞳孔又は虹彩に対して、楕円によるフィッティングを試みる第１ステップと、楕円によるフィッティングの試みの結果が所定の第１条件を満たす場合に、その結果に基づいて、瞳孔又は虹彩の位置を特定する第２ステップと、楕円によるフィッティングの試みの結果が第１条件を満たさない場合に、瞳孔又は虹彩に対して、楕円の一部が欠けた第１図形によるフィッティングを試みる第３ステップと、第１図形によるフィッティングの試みの結果に基づいて、瞳孔又は虹彩の位置を特定する第４ステップとを含む。

Description

眼球トラッキング方法、眼球トラッキング装置、及びプログラム
　本発明は、眼球の運動を追跡する眼球トラッキング方法、眼球トラッキング装置、及びそのプログラムに関する。
　従来、画像から、その画像に含まれる瞳孔の位置を特定し、特定した瞳孔の位置に基づいて、眼球の運動を追跡する技術が知られている。
　例えば、特許文献１には、画像に含まれる瞳孔に対して、楕円によるフィッティングを行い、そのフィッティングによって得られる楕円の中心位置を、その瞳孔の位置として特定する技術が記載されている。
特開２０１６－２４６１６号公報
　瞳孔は、その一部が、しばしば瞼によって覆い隠されてしまう。
　一般に、瞳孔は、その形状が楕円である。このため、瞼によって一部が欠けた瞳孔は、その形状が、楕円の一部が欠けた形状となる。
　上述したように、従来の眼球トランキング技術では、画像に含まれる瞳孔に対して、楕円によるフィッティングを行うことで、その位置を特定する。このため、従来のトランキング技術では、瞼によって一部が欠けた瞳孔に対しては、その位置を正しく特定することができないことがある。
　このように、従来の眼球トラッキング方法では、瞳孔の一部が瞼によって欠けていることに起因して、眼球の運動を追跡することが、しばしば困難になることがある。
　本発明は、このような状況に鑑みてなされたものであり、従来と比べて、より安定して眼球の運動を追跡し得る眼球トラッキング方法、眼球トランキング装置、及びそのプログラムを提供することを目的とする。
　本発明の一態様に係る眼球トラッキング方法は、画像に含まれる瞳孔又は虹彩に対して、楕円によるフィッティングを試みる第１ステップと、前記楕円によるフィッティングの試みの結果が所定の第１条件を満たす場合に、当該結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第２ステップと、前記楕円によるフィッティングの試みの結果が前記第１条件を満たさない場合に、前記瞳孔又は前記虹彩に対して、前記楕円の一部が欠けた第１図形によるフィッティングを試みる第３ステップと、前記第１図形によるフィッティングの試みの結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第４ステップと、を含む。
　本発明の一態様に係る眼球トラッキング装置は、画像に含まれる瞳孔又は虹彩に対して、楕円によるフィッティングを試みる第１フィッティング部と、前記楕円によるフィッティングの試みの結果が所定の第１条件を満たす場合に、当該結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第１位置特定部と、前記楕円によるフィッティングの試みの結果が前記第１条件を満たさない場合に、前記瞳孔又は前記虹彩に対して、前記楕円の一部が欠けた第１図形によるフィッティングを試みる第２フィッティング部と、前記第１図形によるフィッティングの試みの結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第２位置特定部と、を備える。
　本発明の一態様に係るプログラムは、眼球の動きをトラッキングするための眼球トラッキング処理をコンピュータに実行させるためのプログラムであって、前記眼球トラッキング処理は、画像に含まれる瞳孔又は虹彩に対して、楕円によるフィッティングを試みる第１ステップと、前記楕円によるフィッティングの試みの結果が所定の第１条件を満たす場合に、当該結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第２ステップと、前記楕円によるフィッティングの試みの結果が前記第１条件を満たさない場合に、前記瞳孔又は前記虹彩に対して、前記楕円の一部が欠けた第１図形によるフィッティングを試みる第３ステップと、前記第１図形によるフィッティングの試みの結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第４ステップと、を含む。
　上記本発明に係る眼球トラッキング方法、眼球トラッキング装置、及びプログラムによると、従来の比べて、より安定して眼球の運動を追跡し得る。
図１は、実施の形態に係る眼球トラッキング装置が使用される様子の一例を示す模式図である。 図２は、実施の形態に係る撮像装置の内側の構造を示す模式図である。 図３は、実施の形態に係る眼球トラッキング装置の機能構成を示すブロック図である。 図４Ａは、実施の形態に係る画像取得部によって取得される画像の一例である。 図４Ｂは、実施の形態に係る画像取得部によって取得される画像の一例である。 図４Ｃは、実施の形態に係る画像取得部によって取得される画像の一例である。 図４Ｄは、実施の形態に係る画像取得部によって取得される画像の一例である。 図５Ａは、楕円の一部が欠けた第１図形である。 図５Ｂは、楕円の一部が欠けた第２図形である。 図５Ｃは、楕円の一部が欠けた第３図形である。 図６は、関連付け情報のデータ構成図である。 図７は、眼球トラッキング処理のフローチャートである。 図８は、画像解析処理のフローチャートである。 図９は、位置特定処理のフローチャートである。 図１０は、補間処理のフローチャートである。 図１１Ａは、加工前の左目画像の一例である。 図１１Ｂは、加工後の加工画像の一例である。 図１２は、瞳孔の中心位置の推移を示す図である。 図１３は、瞳孔の中心位置の推移を示す図である。 図１４は、関連付け情報のデータ構成図である。
　本発明の一態様に係る眼球トラッキング方法は、画像に含まれる瞳孔又は虹彩に対して、楕円によるフィッティングを試みる第１ステップと、前記楕円によるフィッティングの試みの結果が所定の第１条件を満たす場合に、当該結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第２ステップと、前記楕円によるフィッティングの試みの結果が前記第１条件を満たさない場合に、前記瞳孔又は前記虹彩に対して、前記楕円の一部が欠けた第１図形によるフィッティングを試みる第３ステップと、前記第１図形によるフィッティングの試みの結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第４ステップと、を含む。
　本発明の一態様に係る眼球トラッキング装置は、画像に含まれる瞳孔又は虹彩に対して、楕円によるフィッティングを試みる第１フィッティング部と、前記楕円によるフィッティングの試みの結果が所定の第１条件を満たす場合に、当該結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第１位置特定部と、前記楕円によるフィッティングの試みの結果が前記第１条件を満たさない場合に、前記瞳孔又は前記虹彩に対して、前記楕円の一部が欠けた第１図形によるフィッティングを試みる第２フィッティング部と、前記第１図形によるフィッティングの試みの結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第２位置特定部と、を備える。
　本発明の一態様に係るプログラムは、眼球の動きをトラッキングするための眼球トラッキング処理をコンピュータに実行させるためのプログラムであって、前記眼球トラッキング処理は、画像に含まれる瞳孔又は虹彩に対して、楕円によるフィッティングを試みる第１ステップと、前記楕円によるフィッティングの試みの結果が所定の第１条件を満たす場合に、当該結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第２ステップと、前記楕円によるフィッティングの試みの結果が前記第１条件を満たさない場合に、前記瞳孔又は前記虹彩に対して、前記楕円の一部が欠けた第１図形によるフィッティングを試みる第３ステップと、前記第１図形によるフィッティングの試みの結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第４ステップと、を含む。
　上述したように、瞳孔に対して楕円によるフィッティングを行う従来の眼球トラッキング方法では、瞳孔の一部が瞼によって欠けていることに起因して、眼球の運動を追跡することが、しばしば困難になることがある。
　これに対して、上記本発明の一態様に係る眼球トラッキング方法、眼球トラッキング装置、及びプログラムでは、瞳孔又は虹彩の一部が瞼によって欠けていることに起因して、その瞳孔又は虹彩に対する楕円によるフィッティングの試みの結果が所定の条件を満たさない結果となる場合であっても、その瞳孔又は虹彩に対して、楕円の一部が欠けた第１図形によるフィッティングを行う。
　このため、上記本発明の一態様に係る眼球トラッキング方法、眼球トラッキング装置、及びプログラムは、従来の眼球トラッキング方法よりも、瞳孔又は虹彩の位置を正しく特定する可能性を高めることができる。
　従って、上記本発明の一態様に係る眼球トラッキング方法、眼球トラッキング装置、及びプログラムによると、従来に比べて、より安定して眼球の運動を追跡し得る。
　上記眼球トラッキング方法において、前記第４ステップは、前記第１図形によるフィッティングの試みの結果が所定の第２条件を満たす場合に、当該結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第５ステップと、前記第１図形によるフィッティングの試みの結果が前記第２条件を満たさない場合に、前記瞳孔又は前記虹彩に対して、前記楕円の一部が欠けた図形であって、前記第１図形よりも欠けた領域の割合が大きい第２図形によるフィッティングを試みる第６ステップと、前記第２図形によるフィッティングの試みの結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第７ステップと、を含むとしてもよい。
　上記眼球トラッキング方法において、前記第７ステップは、前記第２図形によるフィッティングの試みの結果が所定の第３条件を満たす場合に、当該結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第８ステップと、前記第２図形によるフィッティングの試みの結果が前記第３条件を満たさない場合に、前記瞳孔又は前記虹彩に対して、前記楕円の一部が欠けた図形であって、前記第２図形よりも欠けた領域の割合が大きい第３図形によるフィッティングを試みる第９ステップと、前記第３図形によるフィッティングの試みの結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第１０ステップと、を含み、前記第１図形は、前記楕円から、前記楕円の１／４領域が欠けた図形であり、前記第２図形は、前記楕円から、前記楕円の１／２領域が欠けた図形であり、前記第３図形は、前記楕円から、前記楕円の３／４領域が欠けた図形であるとしてもよい。
　上記眼球トラッキング方法において、前記第１図形は、前記楕円から、左右の目が並ぶ方向を水平方向とする場合における垂直方向において、前記楕円の上側の前記１／４領域が欠けた図形であり、前記第２図形は、前記楕円から、前記垂直方向において、前記楕円の上側の前記１／２領域が欠けた図形であり、前記第３図形は、前記楕円から、前記垂直方向において、前記楕円の上側の前記３／４領域が欠けた図形であるとしてもよい。
　上記眼球トラッキング方法において、前記所定の第１条件を満たすとは、前記楕円のフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す所定値であることをいうとしてもよい。
　上記眼球トラッキング方法において、更に、前記瞳孔又は前記虹彩の位置が、前記第２ステップ又は前記第４ステップのいずれで特定されたかを示す信頼性情報を生成し、前記第２ステップ又は前記第４ステップのいずれかで特定された前記瞳孔又は前記虹彩の位置を示す位置情報と、前記信頼性情報とを関連付けて記憶する第１１ステップを含むとしてもよい。
　上記眼球トラッキング方法において、前記第１ステップでは、右目の瞳孔又は右目の虹彩を含む右目画像と、当該右目画像と同じタイミングで撮像された、左目の瞳孔又は左目の虹彩を含む左目画像とに対して、前記楕円によるフィッティングの試みを行い、前記第２ステップでは、前記右目画像に対する前記楕円によるフィッティングの試みの結果が前記第１条件を満たす場合に、当該結果に基づいて、前記右目の瞳孔又は前記右目の虹彩の位置を特定し、前記左目画像に対する前記楕円によるフィッティングの試みの結果が前記第１条件を満たす場合に、当該結果に基づいて、前記左目の瞳孔又は前記左目の虹彩の位置を特定し、前記第３ステップでは、前記右目画像に対する前記楕円によるフィッティングの試みの結果が前記第１条件を満たさない場合に、前記右目の瞳孔又は前記右目の虹彩に対して、前記第１図形によるフィッティングを試み、前記左目画像に対する前記楕円によるフィッティングの試みの結果が前記第１条件を満たさない場合に、前記左目の瞳孔又は前記左目の虹彩に対して、前記第１図形によるフィッティングを試み、前記第４ステップでは、前記右目画像に対する前記第１図形によるフィッティングの試みの結果に基づいて、前記右目の瞳孔又は前記右目の虹彩の位置を特定し、前記左目画像に対する前記第１図形によるフィッティングの試みの結果に基づいて、前記左目の瞳孔又は前記左目の虹彩の位置を特定し、前記第１１ステップでは、前記右目の瞳孔又は前記右目の虹彩の位置が、前記第２ステップ又は前記第４ステップのいずれで特定されたかを示す右目信頼性情報と、前記左目の瞳孔又は左目の虹彩の位置が、前記第２ステップ又は前記第４ステップのいずれで特定されたかを示す左目信頼性情報とを生成し、前記第２ステップ又は前記第４ステップのいずれかで特定された前記右目の瞳孔又は前記右目の虹彩の位置を示す右目位置情報と、前記第２ステップ又は前記第４ステップのいずれかで特定された前記左目の瞳孔又は前記左目の虹彩の位置を示す左目位置情報と、前記右目信頼性情報と、前記左目信頼性情報とを関連付けて記憶するとしてもよい。
　上記眼球トラッキング方法において、更に、前記右目信頼性情報と、前記左目信頼性情報とが、所定の第４条件を満たす場合に、前記左目位置情報を、前記右目位置情報に基づいて更新し、前記右目信頼性情報と、前記左目信頼性情報とが、所定の第５条件を満たす場合に、前記右目位置情報を、前記左目位置情報とに基づいて更新する第１２ステップを含むとしてもよい。
　上記眼球トラッキング方法において、前記第１ステップ、前記第２ステップ、前記第３ステップ、及び前記第４ステップは、連続撮像された複数の画像のそれぞれに対して実行されるとしてもよい。
　上記眼球トラッキング方法において、前記画像は、前記瞳孔又は前記虹彩に対して、赤外光照射装置から発せられた赤外光が照射された状態で撮像された画像であるとしてもよい。
　上記眼球トラッキング方法において、前記画像は、遮光体により、前記瞳孔又は前記虹彩に対する可視光の照射が抑制された状態で撮像された画像であるとしてもよい。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されても良く、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されても良い。
　以下、本発明の一態様に係る眼球トラッキング装置の具体例について説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
　（実施の形態）
　ここでは、本発明の一態様として、画像から、その画像に含まれる瞳孔の位置を特定する眼球トラッキング装置について説明する。
　［１．構成］
　図１は、本実施の形態に係る眼球トラッキング装置１０が、瞳孔を含む画像を撮像する撮像装置２０に接続されて使用される様子の一例を示す模式図である。
　図１に示されるように、撮像装置２０は、ゴーグル型水中眼鏡のように、被験者の両目を覆う状態で、頭部に固定されて装着される。そして、撮像装置２０は、被験者の右目画像と左目画像とを、同じタイミングで複数枚、所定のフレームレート（例えば６０ｆｐｓ）で連続撮像する。
　図２は、撮像装置２０の内側の構造を示す模式図である。
　図２に示されるように、撮像装置２０は、その内側全体が、遮光体２１で覆われている。そして、撮像装置２０の内側には、右目撮像カメラ２２と、左目撮像カメラ２３と、右目赤外光照射装置２４と、左目赤外光照射装置２５と、制御部２６とが配置されている。
　遮光体２１は、撮像装置２０が被験者の頭部に装着された状態において、外界からの可視光による、撮像装置２０の内側への進入を抑止する。このため、撮像装置２０を装着する被験者は、外界の様子を視認することができない。
　右目赤外光照射装置２４は、撮像装置２０が被験者の頭部に装着された状態において、被験者の右目の近傍となる位置に配置され、右目に赤外光を照射する。
　右目撮像カメラ２２は、撮像装置２０が被験者の頭部に装着された状態において、被験者の右目に略正対する位置に配置され、右目赤外光照射装置２４から照射される赤外光による右目画像の撮像を行う。
　左目赤外光照射装置２５は、撮像装置２０が被験者の頭部に装着された状態において、被験者の左目の近傍となる位置に配置され、左目に赤外光を照射する。
　左目撮像カメラ２３は、撮像装置２０が被験者の頭部に装着された状態において、被験者の左目に略正対する位置に配置され、左目赤外光照射装置２５から照射される赤外光による左目画像の撮像を行う。
　制御部２６は、右目撮像カメラ２２と、左目撮像カメラ２３と、右目赤外光照射装置２４と、左目赤外光照射装置２５との動作を制御する。そして、右目撮像カメラ２２と左目撮像カメラ２３とに、被験者の右目画像と左目画像とを、同じタイミングで複数枚、所定のフレームレート（例えば６０ｆｐｓ）で連続撮像させる。そして、撮像させた右目画像と左目画像とを、眼球トラッキング装置１０に送信する。
　上記構成の撮像装置２０によって撮像される画像は、右目赤外光照射装置２４又は左目赤外光照射装置２５から発せられた赤外光が照射された状態で撮像された画像であって、遮光体２１によって、可視光の照射が抑制された状態で撮像された画像となる。
　眼球トラッキング装置１０は、例えば、メモリ（図示せず）と、メモリに記憶されたプログラムを実行するプロセッサ（図示せず）とを含むコンピュータによって実現される。
　本実施の形態では、撮像装置２０として、被験者に装着されることで、被験者が外部の様子を視認することができない状態で、右目画像と左目画像とを撮像する構成を例示して説明するが、撮像装置２０は、右目画像と左目画像とを撮像することができれば、必ずしも、上記例示の構成に限定される必要はない。一例として、撮像装置２０は、遮光体２１の一部又は全部が着脱可能であり、被験者が前方を視認可能な状態で右目画像と左目画像とを撮像することができる構成であっても構わない。このような構成の場合には、被験者に対して、何かの視標（静止している視標であってもよいし、動いている視標であってもよい。）を提示して、被験者にその視標を視認してもらっている状態で、右目画像と左目画像との撮像が可能となる。
　また、右目撮像カメラ２２と、左目撮像カメラ２３との配置位置についても、必ずしも、図２に例示される通りの位置に限定される必要はない。一例として、右目撮像カメラ２２は、右目の前方の視線を遮らないように、右目の前方方向正面からずれた位置に配置され、左目撮像カメラ２３は、左目の前方の視線を遮らないように、左目の前方方向正面からずれた位置に配置されていても構わない。
　また、右目赤外光照射装置２４と、左目赤外光照射装置２５との配置位置についても、必ずしも、図２に例示される通りの位置に限定される必要はない。一例として、右目の前方に、赤外線のみを反射するミラー（ホットミラー）を配置し、右目側方又は後方に配置された右目赤外光照射装置２４からの赤外光を、そのミラーに反射させることで、その赤外光を右目に照射し、左目の前方に、赤外線のみを反射するミラー（ホットミラー）を配置し、左目側方又は後方に配置された左目赤外光照射装置２５からの赤外光を、そのミラーに反射させることで、その赤外光を左目に照射する構成であっても構わない。
　さらには、撮像装置２０は、右目画像と左目画像とのうちの一方の画像のみを撮像する構成例もあり得る。この場合には、撮像装置２０は、撮像する側の目の画像のみを眼球トラッキング装置１０に送信し、眼球トラッキング装置１０は、撮像装置２０によって撮像される側の目の画像のみを取得することとなる。
　図３は、眼球トラッキング装置１０の機能構成を示すブロック図である。
　図３に示されるように、眼球トラッキング装置１０は、画像取得部３０と、第１フィッティング部３１と、第２フィッティング部３２と、第１位置特定部３３と、第２位置特定部３４と、関連付け部３５と、補間部３６とを含んで構成される。
　画像取得部３０は、撮像装置２０から送信される画像（右目画像及び左目画像）を取得して記憶する。
　図４Ａ、４Ｂ、４Ｃ、４Ｄは、画像取得部３０によって取得される画像の一例である。
　画像取得部３０によって取得される画像には、例えば、図４Ａに示されるような瞳孔の全体が含まれる画像、例えば、図４Ｂに示されるような瞳孔の上方１／４程度が瞼によって覆われている画像、例えば、図４Ｃに示されるような瞳孔の上方１／２程度が瞼によって覆われている画像、例えば、図４Ｄに示されるような瞳孔の上方３／４程度が瞼によって覆われている画像等が含まれる。
　再び図３に戻って、眼球トラッキング装置１０の機能構成の説明を続ける。
　第１フィッティング部３１は、画像に含まれる瞳孔に対して、楕円によるフィッティングを試みる。
　第１フィッティング部３１は、更に、楕円輪郭フィッティング部４１と、楕円形状フィッティング部４２とを含む。
　楕円輪郭フィッティング部４１は、画像に含まれる瞳孔に対して、楕円の輪郭（円周）によるフィッティングを試みる。
　楕円形状フィッティング部４２は、画像に含まれる瞳孔に対して、楕円の形状によるフィッティングを試みる。より具体的には、楕円輪郭フィッティング部４１によってなされた、楕円の輪郭によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第１所定値（例えば９０％以上）でない場合に、上記楕円の形状によるフィッティングの試みを行う。
　一般に、楕円の輪郭によるフィッティングの方が、楕円の形状によるフィッティングよりも、より高い信頼度でフィッティング結果を得ることができる。その反面、楕円の輪郭によるフィッティングの方が、楕円の形状によるフィッティングよりも、そのフィッティング成功率（例えば、フィッティング率が所定値（例えば、９０％以上）となる確率）が低下する。
　第２フィッティング部３２は、画像に含まれる瞳孔に対して、楕円の一部が欠けた図形によるフィッティングを試みる。
　図５Ａ、図５Ｂ、図５Ｃは、楕円の一部が欠けた図形の一例である。
　図５Ａに示される図形は、楕円２００から、左右の目が並ぶ方向を水平方向とする場合における垂直方向において、楕円２００の上側の１／４領域２０１が欠けた図形であって、ここでは第１図形と呼ぶ。
　ここで、楕円の上側の１／４領域とは、楕円の垂直方向の軸の上側１／４の地点においてその軸に直交する直線によって、その楕円が２分割されることで得られる図形のうち、上側の図形のことを言う。
　図５Ｂに示される図形は、楕円２００から、左右の目が並ぶ方向を水平方向とする場合における垂直方向において、楕円２００の上側の１／２領域２０２が欠けた図形であって、ここでは第２図形と呼ぶ。
　ここで、楕円の上側の１／２領域とは、楕円の垂直方向の軸の上側１／２の地点においてその軸に直交する直線によって、その楕円が２分割されることで得られる図形のうち、上側の図形のことを言う。
　図５Ｃに示される図形は、楕円２００から、左右の目が並ぶ方向を水平方向とする場合における垂直方向において、楕円２００の上側の３／４領域２０３が欠けた図形であって、ここでは第３図形と呼ぶ。
　ここで、楕円の上側の３／４領域とは、楕円の垂直方向の軸の上側３／４の地点においてその軸に直交する直線によって、その楕円が２分割されることで得られる図形のうち、上側の図形のことを言う。
　再び図３に戻って、眼球トラッキング装置１０の機能構成の説明を続ける。
　第２フィッティング部３２は、更に、第１図形形状フィッティング部４３と、第２図形形状フィッティング部４４と、第３図形形状フィッティング部４５とを含む。
　第１図形形状フィッティング部４３は、画像に含まれる瞳孔に対して、第１図形の形状によるフィッティングを試みる。より具体的には、楕円形状フィッティング部４２によってなされた楕円の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第２所定値（例えば９０％以上）でない場合に、上記第１図形の形状によるフィッティングの試みを行う。
　第２図形形状フィッティング部４４は、画像に含まれる瞳孔に対して、第２図形の形状によるフィッティングを試みる。より具体的には、第１図形形状フィッティング部４３によってなされた第１図形の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第３所定値（例えば９０％以上）でない場合に、上記第２図形の形状によるフィッティングの試みを行う。
　第３図形形状フィッティング部４５は、画像に含まれる瞳孔に対して、第３図形の形状によるフィッティングを試みる。より具体的には、第２図形形状フィッティング部４４によってなされた第２図形の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第４所定値（例えば９０％以上）でない場合に、上記第３図形の形状によるフィッティングの試みを行う。
　第１位置特定部３３は、第１フィッティング部３１によってなされた、楕円によるフィッティングの試みの結果が所定の条件を満たす場合に、その結果に基づいて、瞳孔の位置を特定する。
　より具体的には、第１位置特定部３３は、（１）楕円輪郭フィッティング部４１によってなされた、楕円の輪郭によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第１所定値である場合は、楕円輪郭フィッティング部４１によってフィッティングされた楕円の中心位置を、瞳孔の位置として特定する。そして、（２）楕円輪郭フィッティング部４１によってなされた、楕円の輪郭によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第１所定値でない場合において、楕円形状フィッティング部４２によってなされた、楕円の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングが成功したことを示す第２所定値であるときに、楕円形状フィッティング部４２によってフィッティングされた楕円の中心位置を、瞳孔の位置として特定する。
　すなわち、ここで言う所定の条件とは、楕円輪郭フィッティング部４１によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第１所定値である、又は、楕円形状フィッティング部４２によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第２所定値であるという条件である。
　第２位置特定部３４は、第２フィッティング部３２によってなされた、楕円の一部が欠けた図形によるフィッティングの試みの結果が所定の条件を満たす場合に、その結果に基づいて、瞳孔の位置を特定する。
　より具体的には、第２位置特定部３４は、（１）第１図形形状フィッティング部４３によってなされた、第１図形の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第３所定値である場合に、第１図形形状フィッティング部４３によってフィッティングされた第１図形における楕円の中心位置を、瞳孔の位置として特定する。そして、（２）第１図形形状フィッティング部４３によってなされた、第１図形の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第３所定値でない場合において、第２図形形状フィッティング部４４によってなされた、第２図形の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第４所定値であるときは、第２図形形状フィッティング部４４によってフィッティングされた第２図形における楕円の中心位置を、瞳孔の位置として特定する。また、（３）第２図形形状フィッティング部４４によってなされた、第２図形の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第４所定値でない場合において、第３図形形状フィッティング部４５によってなされた、第３図形の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第５所定値（例えば９０％以上）であるときは、第３図形形状フィッティング部４５によってフィッティングされた第３図形における楕円の中心位置を、瞳孔の位置として特定する。
　すなわち、ここで言う所定の条件とは、第１図形形状フィッティング部４３によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第３所定値である、第２図形形状フィッティング部４４によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第４所定値である、又は、第３図形形状フィッティング部４５によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第５所定値であるという条件である。
　また、第２位置特定部３４は、第３図形形状フィッティング部４５によってなされた、第３図形の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第５所定値でない場合には、例えば、予め定められた、フィッティングに成功しなかった旨を示す位置を瞳孔の位置として特定してもよいし、例えば、ヌル値を返すとしてもよい。
　関連付け部３５は、第１位置特定部３３又は第２位置特定部３４によって瞳孔の位置が特定された場合に、その瞳孔の位置の特定が、楕円輪郭フィッティング部４１と、楕円形状フィッティング部４２と、第１図形形状フィッティング部４３と、第２図形形状フィッティング部４４と、第３図形形状フィッティング部４５とのうち、いずれのフィッティング部によるフィッティングに基づいて特定されたかを示す信頼性情報を生成する。
　より具体的には、関連付け部３５は、瞳孔の位置の特定が、楕円輪郭フィッティング部４１によるフィッティングに基づいて特定された場合には、数値「５」を示す信頼性情報を生成し、瞳孔の位置の特定が、楕円形状フィッティング部４２によるフィッティングに基づいて特定された場合には、数値「４」を示す信頼性情報を生成し、瞳孔の位置の特定が、第１図形形状フィッティング部４３によるフィッティングに基づいて特定された場合には、数値「３」を示す信頼性情報を生成し、瞳孔の位置の特定が、第２図形形状フィッティング部４４によるフィッティングに基づいて特定された場合には、数値「２」を示す信頼性情報を生成し、瞳孔の位置の特定が、第３図形形状フィッティング部４５によるフィッティングに基づいて特定された場合には、数値「１」を示す信頼性情報を生成する。さらに、関連付け部３５は、瞳孔の位置が特定されなかった場合には、数値「０」を示す信頼性情報を生成する。
　また、関連付け部３５は、楕円輪郭フィッティング部４１と、楕円形状フィッティング部４２と、第１図形形状フィッティング部４３と、第２図形形状フィッティング部４４と、第３図形形状フィッティング部４５とのうち、いずれかのフィッティング部によるフィッティングに基づいて特定された瞳孔の位置を示す位置情報と、生成した信頼性情報とを関連付けて記憶する。
　さらに、関連付け部３５は、右目画像に対して右目信頼性情報を生成し、その右目画像と同じタイミングで撮像された左目画像に対して左目信頼性情報を生成した場合に、その右目画像における右目の瞳孔の位置を示す右目位置情報と、その右目画像における右目信頼性情報と、その左目画像における左目の瞳孔の位置を示す左目位置情報と、その左目画像における左目信頼性情報とを互いに関連付けて関連付け情報を生成し、生成した関連付け情報を記憶する。
　図６は、関連付け部３５が記憶する関連付け情報のデータ構成図である。
　図６において、フレーム番号は、撮像装置２０によって、所定のフレームレート（例えば６０ｆｐｓ）で連続撮像された複数の右目画像及び左目画像のフレーム順（撮像順）を示す数値である。例えば、フレーム番号１は、対象となる画像（右目画像及び左目画像）が、連続撮影における最初の撮像タイミングで撮像された画像であることを示す数値であり、フレーム番号２は、対象となる画像（右目画像及び左目画像）が、連続撮影における２回目の撮像タイミングで撮像された画像であることを示す数値である。
　図６に示されるように、関連付け部３５が記憶する関連付け情報は、連続撮像された複数の右目画像及び左目画像において、互いに同じタイミングで撮像された右目画像と左目画像とのそれぞれについて、右目位置情報と、右目信頼性情報と、左目位置情報と、左目信頼性情報とが互いに対応付けられた情報となっている。
　補間部３６は、右目信頼性情報と、左目信頼性情報とが、所定の条件を満たす場合に、左目位置情報を、右目位置情報に基づいて更新する。
　より具体的には、補間部３６は、関連付け部３５によって記憶される関連付け情報に対して、同じフレーム番号に対応する右目信頼性情報と左目信頼性情報とを比較して、その左目信頼性情報の値の方が、その右目信頼性情報の値よりも小さい場合に、そのフレームの右目位置情報によって示される右目の瞳孔の位置に基づいて、左目の瞳孔の位置を推定する。そして、推定した瞳孔の位置を示す新たな左目位置情報で、関連付け部３５によって記憶される関連付け情報における、そのフレームの左目位置情報を更新する。
　すなわち、ここで言う所定の条件とは、同じフレーム番号に対応する右目信頼性情報と左目信頼性情報とにおいて、左目信頼性情報の値の方が、右目信頼性情報の値よりも小さいという条件である。
　また、補間部３６は、右目信頼性情報と、左目信頼性情報とが、所定の条件を満たす場合に、右目位置情報を、左目位置情報に基づいて更新する。
　より具体的には、補間部３６は、関連付け部３５によって記憶される関連付け情報に対して、同じフレーム番号に対応する右目信頼性情報と左目信頼性情報とを比較して、その右目信頼性情報の値の方が、その左目信頼性情報の値よりも小さい場合に、そのフレームの左目位置情報によって示される左目の瞳孔の位置に基づいて、右目の瞳孔の位置を推定する。そして、推定した瞳孔の位置を示す新たな右目位置情報で、関連付け部３５によって記憶される関連付け情報における、そのフレームの右目位置情報を更新する。
　すなわち、ここで言う所定の条件とは、同じフレーム番号に対応する右目信頼性情報と左目信頼性情報とにおいて、右目信頼性情報の値の方が、左目信頼性情報の値よりも小さいという条件である。
　一般に、右目の眼球運動と左目の眼球運動とが連動して動く現象が知られている。補間部３６は、この現象を利用して、一方の目の瞳孔の位置に基づいて、他方の目の瞳孔の位置を推定する。推定方法の一例としては、例えば、一方の目が右目で、他方の目が左目であるときに、対象となるフレームの前後の数フレームの右目位置情報から、右目の瞳孔の動きを特定し、特定した右目の瞳孔の動きと同様の動きを左目の瞳孔がしたと仮定して、その対象となるフレームにおける左目の瞳孔の位置を推定する方法であってよい。そして、補間部３６は、右目と左目とでその信頼性情報の値が異なる場合に、より信頼性情報の値が大きい方の目の瞳孔の位置に基づいて推定される他方の目の瞳孔の位置で、より信頼性情報の値が小さい方の目（すなわち、他方の目）の瞳孔の位置を更新する。
　このように、補間部３６は、一方の目の画像しか存在しない場合（すなわち、一方の目の信頼性情報の値が「０」である場合に対応。）であっても、その一方の目の位置情報から、他方の目の瞳孔の位置を推定して、他方の目の位置情報を更新、すなわち補間することができる。
　上記構成の眼球トラッキング装置１０が行う動作について、以下、図面を参照しながら説明する。
　［２．動作］
　眼球トラッキング装置１０は、その特徴的な動作として、画像から、その画像に含まれる瞳孔の位置を特定する眼球トランキング処理と、一方の目の瞳孔の位置に基づいて、他方の目の瞳孔の位置を補間する補間処理とを行う。
　以下、この眼球トラッキング処理と補間処理とについて、図面を参照しながら順に説明する。
　　［２－１．眼球トラッキング処理］
　図７は、眼球トラッキング装置１０が行う眼球トラッキング処理のフローチャートである。
　眼球トラッキング処理は、眼球トラッキング装置１０に撮像装置２０が接続されることで開始される。
　眼球トラッキング処理が開始されると、画像取得部３０は、撮像装置２０によって所定のフレームレート（例えば６０ｆｐｓ）でＮ（Ｎは２以上の整数）回連続撮像された、Ｎ枚の右目画像とＮ枚の左目画像とを取得する（ステップＳ１０）。
　画像を取得すると、眼球トラッキング装置１０は、画像取得部３０によって取得された、Ｎ枚の右目画像と、Ｎ枚の左目画像とに対して、画像解析処理を行う（ステップＳ２０）。
　図８は、眼球トラッキング装置１０が行う画像解析処理の詳細な処理内容を示すフローチャートである。
　画像解析処理が開始されると、眼球トラッキング装置１０は、変数ｋに１を代入する（ステップＳ１００）。そして、眼球トラッキング装置１０は、画像取得部３０によって取得された画像の中から、第ｋフレームの右目画像を選択し（ステップＳ１１０）、選択した右目画像に対して、その画像に含まれる瞳孔の位置を特定する位置特定処理を行う（ステップＳ１２０）。
　図９は、眼球トラッキング装置１０が行う位置特定処理の詳細な処理内容を示すフローチャートである。
　位置特定処理が開始されると、楕円輪郭フィッティング部４１は、選択された画像に含まれる瞳孔に対して、楕円の輪郭（円周）によるフィッティングを試みる（ステップＳ２００）。
　楕円輪郭フィッティング部４１によるフィッティングの試みが行われると、第１位置特定部３３は、そのフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第１所定値（例えば９０％以上）であるか否かを調べる（ステップＳ２０５）。
　ステップＳ２０５の処理において、フィッティング率が、フィッティングに成功したことを示す第１所定値である場合に（ステップＳ２０５：Ｙｅｓ）、第１位置特定部３３は、楕円輪郭フィッティング部４１によってフィッティングされた楕円の中心位置を、瞳孔の位置として特定する（ステップＳ２５０）。
　ステップＳ２０５の処理において、フィッティング率が、フィッティングに成功したことを示す第１所定値でない場合に（ステップＳ２０５：Ｎｏ）、楕円形状フィッティング部４２は、選択された画像に含まれる瞳孔に対して、楕円の形状によるフィッティングを試みる（ステップＳ２１０）。
　楕円形状フィッティング部４２によるフィッティングの試みが行われると、第１位置特定部３３は、そのフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第２所定値（例えば９０％以上）であるか否かを調べる（ステップＳ２１５）。
　ステップＳ２１５の処理において、フィッティング率が、フィッティングに成功したことを示す第２所定値である場合に（ステップＳ２１５：Ｙｅｓ）、第１位置特定部３３は、楕円形状フィッティング部４２によってフィッティングされた楕円の中心位置を、瞳孔の位置として特定する（ステップＳ２５５）。
　ステップＳ２１５の処理において、フィッティング率が、フィッティングに成功したことを示す第２所定値でない場合に（ステップＳ２１５：Ｎｏ）、第１図形形状フィッティング部４３は、選択された画像に含まれる瞳孔に対して、第１図形の形状によるフィッティングを試みる（ステップＳ２２０）。
　第１図形形状フィッティング部４３によるフィッティングの試みが行われると、第２位置特定部３４は、そのフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第３所定値（例えば９０％以上）であるか否かを調べる（ステップＳ２２５）。
　ステップＳ２２５の処理において、フィッティング率が、フィッティングに成功したことを示す第３所定値である場合に（ステップＳ２２５：Ｙｅｓ）、第２位置特定部３４は、第１図形形状フィッティング部４３によってフィッティングされた第１図形における楕円の中心位置を、瞳孔の位置として特定する（ステップＳ２６０）。
　ステップＳ２２５の処理において、フィッティング率が、フィッティングに成功したことを示す第３所定値でない場合に（ステップＳ２２５：Ｎｏ）、第２図形形状フィッティング部４４は、選択された画像に含まれる瞳孔に対して、第２図形の形状によるフィッティングを試みる（ステップＳ２３０）。
　第２図形形状フィッティング部４４によるフィッティングの試みが行われると、第２位置特定部３４は、そのフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第４所定値（例えば９０％以上）であるか否かを調べる（ステップＳ２３５）。
　ステップＳ２３５の処理において、フィッティング率が、フィッティングに成功したことを示す第４所定値である場合に（ステップＳ２３５：Ｙｅｓ）、第２位置特定部３４は、第２図形形状フィッティング部４４によってフィッティングされた第２図形における楕円の中心位置を、瞳孔の位置として特定する（ステップＳ２６５）。
　ステップＳ２３５の処理において、フィッティング率が、フィッティングに成功したことを示す第４所定値でない場合に（ステップＳ２３５：Ｎｏ）、第３図形形状フィッティング部４５は、選択された画像に含まれる瞳孔に対して、第３図形の形状によるフィッティングを試みる（ステップＳ２４０）。
　第３図形形状フィッティング部４５によるフィッティングの試みが行われると、第２位置特定部３４は、そのフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第５所定値（例えば９０％以上）であるか否かを調べる（ステップＳ２４５）。
　ステップＳ２４５の処理において、フィッティング率が、フィッティングに成功したことを示す第５所定値である場合に（ステップＳ２４５：Ｙｅｓ）、第２位置特定部３４は、第３図形形状フィッティング部４５によってフィッティングされた第３図形における楕円の中心位置を、瞳孔の位置として特定する（ステップＳ２７０）。
　ステップＳ２４５の処理において、フィッティング率が、フィッティングに成功したことを示す第５所定値でない場合（ステップＳ２４５：Ｎｏ）、ステップＳ２５０の処理が終了した場合、ステップＳ２５５の処理が終了した場合、ステップＳ２６０の処理が終了した場合、ステップＳ２６５の処理が終了した場合、及び、ステップＳ２７０の処理が終了した場合に、位置特定処理は終了する。
　再び図８に戻って、画像解析処理（ステップＳ２０）の説明を続ける。
　ステップＳ１２０の画像解析処理が終了すると、眼球トラッキング装置１０は、画像取得部３０によって取得された画像の中から、第ｋフレームの左目画像を選択し（ステップＳ１３０）、選択した左目画像に対して、その画像に含まれる瞳孔の位置を特定する位置特定処理を行う（ステップＳ１４０）。
　ステップＳ１４０の画像解析処理は、ステップＳ１２０の画像解析処理と同様の処理であり、既に説明済みであるため、ここではその説明を省略する。
　ステップＳ１４０の画像解析処理が終了すると、眼球トラッキング装置１０は、変数ｋにｋ＋１を代入する（ステップＳ１５０）。そして、眼球トラッキング装置１０は、ｋがＮ以下であるか否かを調べる（ステップＳ１６０）。
　ステップＳ１６０の処理において、ｋがＮ以下である場合に（ステップＳ１６０：Ｙｅｓ）、眼球トラッキング装置１０は、再びステップＳ１２０の処理に進み、ステップＳ１２０以降の処理を繰り返す。
　ステップＳ１６０の処理において、ｋがＮ以下でない場合に（ステップＳ１６０：Ｎｏ）、眼球トラッキング装置１０は、その画像解析処理を終了する。
　再び図７に戻って、眼球トラッキング処理の説明を続ける。
　ステップＳ２０の画像解析処理が終了すると、関連付け部３５は、画像取得部３０によって取得された、Ｎ枚の右目画像それぞれに対して右目信頼性情報を生成し、Ｎ枚の左目画像それぞれに対して左目信頼性情報を生成する。
　そして、関連付け部３５は、同じフレーム番号からなるＮ組の右目画像と左目画像との組それぞれについて、右目位置情報と、右目信頼性情報と、左目位置情報と、左目信頼性情報とを互いに関連付けて、関連付け情報（図６参照）を生成し（ステップＳ３０）、生成した関連付け情報を記憶する。
　ステップＳ３０の処理が終了すると、眼球トラッキング装置１０は、その眼球トラッキング処理を終了する。
　　［２－２．補間処理］
　図１０は、眼球トラッキング装置１０が行う補間処理のフローチャートである。
　補間処理は、眼球トラッキング処理が終了することで開始される。
　補間処理が開始されると、補間部３６は、関連付け部３５に記憶される関連付け情報を取得し（ステップＳ３００）、変数ｋに１を代入する（ステップＳ３０５）。
　そして、補間部３６は、取得した関連付け情報から、第ｋフレームの右目信頼性情報と左目信頼性情報とを選択し（ステップＳ３１０）、選択した左目信頼性情報の値の方が、選択した右目信頼性情報の値よりも小さいか否かを調べる（ステップＳ３１５）。
　ステップＳ３１５の処理において、左目信頼性情報の値の方が、右目信頼性情報の値よりも小さい場合に（ステップＳ３１５：Ｙｅｓ）、補間部３６は、取得した関連付け情報から、第ｋフレームの右目位置情報を選択し、左目の瞳孔の位置を、選択した右目位置情報によって示される右目の瞳孔の位置に基づいて推定する（ステップＳ３２０）。そして、補間部３６は、推定した右目の瞳孔の位置を示す新たな左目位置情報で、関連付け部３５によって記憶される関連付け情報における、第ｋフレームの左目位置情報を更新する（ステップＳ３２５）。
　ステップＳ３１５の処理において、左目信頼性情報の値の方が、右目信頼性情報の値よりも小さくない場合に（ステップＳ３１５：Ｎｏ）、補間部３６は、選択した右目信頼性情報の値の方が、選択した左目信頼性情報の値よりも小さいか否かを調べる（ステップＳ３３０）。
　ステップＳ３３０の処理において、右目信頼性情報の値の方が、左目信頼性情報の値よりも小さい場合に（ステップＳ３３０：Ｙｅｓ）、補間部３６は、取得した関連付け情報から、第ｋフレームの左目位置情報を選択し、右目の瞳孔の位置を、選択した左目位置情報によって示される左目の瞳孔の位置に基づいて推定する（ステップＳ３３５）。そして、補間部３６は、推定した右目の瞳孔の位置を示す新たな右目位置情報で、関連付け部３５によって記憶される関連付け情報における、第ｋフレームの右目位置情報を更新する（ステップＳ３４０）。
　ステップＳ３２５の処理が終了した場合、ステップＳ３４０の処理が終了した場合、及び、ステップＳ３３０の処理において、右目信頼性情報の値の方が、左目信頼性情報の値よりも小さくない場合に（ステップＳ３３０：Ｎｏ）、補間部３６は、変数ｋにｋ＋１を代入する（ステップＳ３４５）。そして、補間部３６は、ｋがＮ以下であるか否かを調べる（ステップＳ３５０）。
　ステップＳ３５０の処理において、ｋがＮ以下である場合に（ステップＳ３５０：Ｙｅｓ）、眼球トラッキング装置１０は、再びステップＳ３１０の処理に進み、ステップＳ３１０以降の処理を繰り返す。
　ステップＳ３５０の処理において、ｋがＮ以下でない場合に（ステップＳ３５０：Ｎｏ）、眼球トラッキング装置１０は、その補間処理を終了する。
　［３．効果等］
　瞳孔に対して楕円によるフィッティングを行う従来の眼球トラッキング方法では、瞳孔の一部が瞼によって欠けていることに起因して、眼球の運動を追跡することが、しばしば困難になることがある。
　一方、眼球トラッキング装置１０は、上述した通り、まず、画像に含まれる瞳孔に対して、楕円によるフィッティングを試みる。そして、楕円によるフィッティングに成功しなかった場合には、楕円の一部が欠けた図形によるフィッティングを試みる。
　このため、眼球トラッキング装置１０は、瞳孔に対して楕円によるフィッティングを行う従来の眼球トラッキング方法よりも、瞳孔の位置を正しく特定する可能性を高めることができる。
　従って、上記眼球トラッキング装置１０によると、従来に比べて、より安定して眼球の運動を追跡し得る。
　発明者は、上記眼球トラッキング装置１０の行う眼球トラッキング処理による、瞳孔に対して楕円によるフィッティングのみを行う従来の眼球トランキング方法に対する優位性を実証するために、以下に示す実験を行った。
　まず、被験者に対して、水平方向前方方向から、仰角方向＋１５度方向へと繰り返し動く視標を提示し、それを見るように指示した上で、瞳孔全体が画像に含まれる状態で左目画像を連続撮像する。そして、各左目画像に含まれる瞳孔に対して、楕円によるフィッティングを行い、瞳孔の中心位置をトレースする。
　次に、各左目画像に対して、瞳孔の上半分が欠如するように加工した加工画像を生成する。
　図１１Ａは、加工前の左目画像の一例であり、図１１Ｂは、加工後の加工画像の一例である。
　そして、各加工画像に含まれる上半分が欠如した瞳孔に対して、楕円によるフィッティングを行い、瞳孔の中心位置をトレースする。
　その後、各加工画像を眼球トラッキング装置１０に取得させて、関連付け情報を生成させ、その関連付け情報に記録された左目位置情報によって示される左目の瞳孔の中心位置をトレースする。
　図１２は、上記実験においてトレースされた瞳孔の中心位置の推移を示す図である。
　図１２において、横軸は、左目画像の連続撮像を開始してからの経過時間であり、縦軸は、垂直方向における、瞳孔の中心位置の正規化された位置である。
　また、図１２において、実線は、加工前の左目画像に含まれる瞳孔に対して楕円によるフィッティングを行った場合における瞳孔の中心位置の推移を示し、破線は、加工画像に含まれる上半分が欠如した瞳孔に対して楕円によるフィッティングを行った場合における瞳孔の中心位置の推移を示し、一点鎖線は、加工画像を眼球トラッキング装置１０に取得させた場合における、関連付け情報に記録された左目位置情報によって示される左目の瞳孔の中心位置の推移を示す。
　上記実験により、図１２に示されるように、眼球トラッキング装置１０の行う眼球トラッキング処理（一点鎖線の対応）の方が、瞳孔に対して楕円によるフィッティングのみを行う従来の眼球トランキング方法（破線に対応）よりも、より忠実に、実際の瞳孔の動き（実線に対応）を再現し得ることがわかる。
　また、眼球トラッキング装置１０は、上述した通り、同じタイミングで撮像された右目画像と左目画像とについて、右目位置情報と、右目信頼性情報と、左目位置情報と、左目信頼性情報とを互いに関連付けて記憶する。
　従って、上記眼球トラッキング装置１０によると、従来の眼球トラッキング方法では実現することが困難である、右目信頼性情報に基づいて行う右目位置情報に対する演算処理、左目信頼性情報に基づいて行う左目位置情報に対する演算処理、左目信頼性情報に基づいて行う右目位置情報に対する演算処理、及び、右目信頼性情報に基づいて行う左目位置情報に対する演算処理等を実現することができるようになる。
　また、従来の眼球トラッキング方法では、特定された各右目の瞳孔の位置及び各左目の瞳孔の位置が、それぞれどの程度の信頼性を有しているのかがわからなかった。
　これに対して、眼球トラッキング装置１０では、上述した通り、図６に示されるように、各右目位置情報には、それぞれ右目信頼性情報が対応付けられ、各左目位置情報には、それぞれ左目位置情報が対応付けられる。
　従って、上記眼球トラッキング装置１０によると、従来の眼球トラッキング方法では知りえなかった、各右目の瞳孔の位置及び各左目の瞳孔の位置が、それぞれどの程度の信頼性を有しているのかを知ることができるようになる。
　発明者は、上記眼球トラッキング装置１０の行う補間処理の有効性を実証するために、さらに、以下に示す実験を行った。
　まず、被験者に対して、水平方向前方方向から、仰角方向＋１５度方向へと繰り返し動く視標を提示し、それを見るように指示した上で、瞳孔全体が画像に含まれる状態で右目画像と左目画像とを連続撮像する。そして、各左目画像に含まれる瞳孔に対して、楕円によるフィッティングを行い、瞳孔の中心位置をトレースする。
　次に、各左目画像に対して、瞳孔の上半分が欠如するように加工した加工画像を生成する。
　その後、各右目画像及び各加工画像を眼球トラッキング装置１０に取得させて、（１）補間処理を行わせることなく、眼球トラッキング処理のみを行わせた状態で、関連付け情報に記録された左目位置情報によって示される左目の瞳孔の中心位置をトレースする。以下このトレースされた左目の瞳孔の中心位置のことを「補間処理前の瞳孔の中心位置」とも呼ぶ。
　そして、（２）各右目画像及び各加工画像を眼球トラッキング装置１０に取得させて、眼球トラッキング処理と補間処理とを行わせた状態で、補間部３６により更新された関連付け情報に記録された左目情報によって示される左目の瞳孔の中心位置をトレースする。以下、この左目の瞳孔の中心位置のことを「補間処理後の瞳孔の中心位置」とも呼ぶ。
　図１３は、上記実験においてトレースされた左目の瞳孔の中心位置の推移を示す図である。
　図１３において、横軸は、右目画像及び左目画像の連続撮像を開始してからの経過時間であり、縦軸は、垂直方向における、瞳孔の中心位置の正規化された位置である。
　また、図１３において、実線は、加工前の左目画像に含まれる瞳孔に対して楕円によるフィッティングを行った場合における瞳孔の中心位置の推移を示し、破線は、補間処処理を行わなかった場合における関連付け情報によって示される瞳孔の中心位置の推移を示し、一点鎖線は、補間処理を行った場合における更新された関連付け情報によって示される瞳孔の中心位置の推移を示す。
　上記実験により、図１３に示されるように、補間処理を行う場合（一点鎖線に対応）の方が、補間処理を行わない場合（破線に対応）よりも、より忠実に、実際の瞳孔の動き（実線に対応）を再現し得ることがわかる。
　（他の実施の形態）
　以上のように、本出願において開示する技術の例示として、実施の形態について説明した。しかしながら、本開示による技術は、これに限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。
　（１）実施の形態において、眼球トラッキング装置１０は、位置を特定する対象が瞳孔であるとして説明した。しかしながら、本発明の一態様に係る眼球トラッキング装置は、位置を特定する対象が瞳孔である構成に限定される必要はない。
　本発明の一態様に係る眼球トラッキング装置の他の一例として、例えば、位置を特定する対象が虹彩である構成の例も考えられる。この構成の例は、例えば、実施の形態において、「瞳孔」を「虹彩」と読み替えることで理解される。
　（２）実施の形態において、眼球トラッキング装置１０は、楕円の一部が欠けた図形によるフィッティングの試みとして、順番に、楕円の上側の１／４領域が欠けた第１図形と、楕円の上側の１／２領域が欠けた第２図形と、楕円の上側の３／４領域が欠けた第３図形との３段階からなるフィッティングの試みを行うとして説明した。しかしながら、本発明の一態様に係る眼球トラッキング装置は、楕円の一部が欠けた図形によるフィッティングの試みを行うことができれば、必ずしも上記３つの図形による３段階からなるフィッティングの試みを行う構成の例に限定される必要はない。
　本発明の一態様に係る眼球トラッキング装置の他の一例として、例えば、楕円の一部が欠けた図形によるフィッティングの試みとして、順番に、楕円の上側の１／３領域が欠けた第１図形と、楕円の上側の２／３領域が欠けた第２図形との２段階からなるフィッティングの試みを行う構成の例も考えられる。
　さらには、逆に、フィッティングの対象となる楕円の一部が欠けた図形をさらに細かく分類することで、より多数の段階（例えば、５段階や１０段階）による階層的なフィッティングの試みを行う構成の例も考えられる。
　（３）また、被験者が下方を見た場合等には、瞳孔の下方が涙袋に覆われている画像が撮像されることもあり得る。これに対応するため、本発明の一態様に係る眼球トラッキング装置の他の一例として、例えば、楕円の一部が欠けた図形によるフィッティングの試みとして、順番に、楕円の下側の１／４領域が欠けた第１図形と、楕円の下側の１／２領域が欠けた第２図形と、楕円の下側の３／４領域が欠けた第３図形との３段階からなるフィッティングの試みを行う構成の例も考えられる。
　（４）実施の形態において、眼球トラッキング装置１０は、補間処理を、眼球トラッキング処理が終了することで開始するとして説明した。しかしながら、本発明の一態様に係る眼球トラッキング装置は、必ずしも、上記構成に限定される必要はない。
　実施の形態において、一般に、右目の眼球運動と左目の眼球運動とが連動して動くとして説明した。しかしながら、例外的に、例えば、被験者の脳幹部に障害がある場合には、両眼の共同運動不全が起こる可能性がある。このような被験者に対しては、一方の目の瞳孔の位置に基づいて、他方の目の瞳孔の位置を推定することが困難になることがある。
　このため、本発明の一態様に係る眼球トラッキング装置の他の一例として、例えば、眼球トランキング処理が終了した後に、右目の眼球運動と左目の眼球運動とが連動して動いているか否か（高い相関関係があるか否か）を判定し、その判定が肯定的である場合に限って、補間処理を行う構成例であっても構わない。より具体的には、本発明の一態様に係る眼球トラッキング装置は、（Ａ）眼球トラッキング処理が完了した後に、関連付け部３５が生成した関連付け情報から、右目信頼性情報の値と左目信頼性情報の値とが、共に「４」又は「５」となる（すなわち、右目の瞳孔の位置と左目の瞳孔の位置との双方が、楕円によるフィッティングに基づいて特定されている）フレーム番号を特定する。そして、（Ｂ）特定したフレーム番号に対応する右目の瞳孔の位置と左目の瞳孔の位置とから、右目の眼球運動と左目の眼球運動とが連動して動いているか否か（高い相関関係があるか否か）を判定する。そして、（Ｃ）その判定が肯定的であった場合に限って、補間処理を開始する構成であっても構わない。
　（５）また、一般に、右目の眼球運動と左目の眼球運動との連動動作において、連動動作の水平方向成分に対する信頼度と、連動動作の垂直方向成分に対する信頼度と、連動動作の廻旋方向成分に対する信頼度とが、互いに異なることもあり得る。このため、これに対応して、補間部３６は、一方の目の瞳孔の位置に基づいて他方の目の瞳孔の位置を推定する際に、例えば、眼球運動の水平方向成分と、眼球運動の垂直方向成分と、眼球運動の回旋方向成分とを区別して演算するとしても構わない。
　（６）実施の形態において、眼球トラッキング装置１０は、図６に示される関連付け情報を生成して記憶するとして説明した。しかしながら、本発明の一態様に係る眼球トラッキング装置は、必ずしも、図６に示される通りの関連付け情報を生成して記憶する構成に限定される必要はない。
　本発明の一態様に係る眼球トラッキング装置の他の一例として、例えば、図１４に示される関連付け情報を生成して記憶する構成の例も考えられる。
　図１４において、フレーム番号と、右目位置情報と、右目信頼性情報と、左目位置情報と、左目信頼性情報とは、図６に示される関連付け情報の場合と同様である。このため、ここでの説明は省略する。そして、右目補間情報は、対応する右目位置情報が、補間部３６によって、対応する左目位置情報に基づいて更新されたか否か（すなわち、補完されたか否か）を示す情報であり、左目補間情報は、対応する左目位置情報が、補間部３６によって、対応する右目位置情報に基づいて更新されたか否か（すなわち、補完されたか否か）を示す情報である。ここでは、右目補間情報は、その値が「１」の場合に、対応する右目位置情報が、補間部３６によって、対応する左目位置情報に基づいて更新されている旨を示し、その値が「０」の場合に、対応する左目位置情報が、補間部３６によって、対応する右目位置情報に基づいて更新されていない旨を示す。そして、同様に、左目補間情報は、その値が「１」の場合に、対応する左目位置情報が、補間部３６によって、対応する右目位置情報に基づいて更新されている旨を示し、その値が「０」の場合に、対応する右目位置情報が、補間部３６によって、対応する左目位置情報に基づいて更新されていない旨を示す。
　このような構成例の眼球トラッキング装置を利用するユーザは、その関連付け情報から、特定された各右目の瞳孔の位置及び各左目の瞳孔の位置が、楕円によるフィッティングに基づいて特定されたものなのか、不安定な状態（例えば、瞼が下がってきてフィッティングの階層が小刻みに変化する状況等）で特定されたものなのか、他方の目の瞳孔の位置から推定された位置により特定されたものなのか等を知ることができる。
　また、本発明の一態様に係る眼球トラッキング装置の他の一例として、例えば、生成して記憶する関連付け情報を表示する表示部を備える構成例であっても構わない。
　（７）本発明の一態様に係る眼球トラッキング装置の他の一例として、例えば、第１位置特定部３３の替わりに、その機能の一部が変形された変形第１位置特定部（後述）を備え、第２位置特定部３４の替わりに、その機能の一部が変形された変形第２位置特定部（後述）を備える構成の例も考えられる。
　ここで、変形第１位置特定部は、（１）楕円輪郭フィッティング部４１によってなされた、楕円の輪郭によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第１所定値である場合は、楕円輪郭フィッティング部４１によってフィッティングされた楕円の中心位置を、瞳孔の位置として特定する。そして、（２）楕円輪郭フィッティング部４１によってなされた、楕円の輪郭によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第１所定値でない場合において、楕円形状フィッティング部４２によってなされた、楕円の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングが成功したことを示す第２所定値であるときに、楕円輪郭フィッティング部４１によってフィッティングされた楕円の中心位置と、楕円形状フィッティング部４２によってフィッティングされた楕円の中心位置とを所定の比率で按分することで瞳孔の位置として特定する。
　また、変形第２位置特定部は、（１）第１図形形状フィッティング部４３によってなされた、第１図形の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第３所定値である場合に、楕円形状フィッティング部４２によってフィッティングされた楕円の中心位置と、第１図形形状フィッティング部４３によってフィッティングされた第１図形における楕円の中心位置とを所定の比率で按分することで瞳孔の位置として特定する。そして、（２）第１図形形状フィッティング部４３によってなされた、第１図形の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第３所定値でない場合において、第２図形形状フィッティング部４４によってなされた、第２図形の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第４所定値であるときは、第１図形形状フィッティング部４３によってフィッティングされた第１図形における楕円の中心位置と、第２図形形状フィッティング部４４によってフィッティングされた第２図形における楕円の中心位置とを、所定の比率で按分することで瞳孔の位置として特定する。また、（３）第２図形形状フィッティング部４４によってなされた、第２図形の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第４所定値でない場合において、第３図形形状フィッティング部４５によってなされた、第３図形の形状によるフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す第５所定値であるときは、第２図形形状フィッティング部４４によってフィッティングされた第２図形における楕円の中心位置と第３図形形状フィッティング部４５によってフィッティングされた第３図形における楕円の中心位置とを、所定の比率で按分することで瞳孔の位置として特定する。
　（８）眼球トラッキング装置１０における各構成要素（機能ブロック）は、ＩＣ（Integrated Circuit）、ＬＳＩ（Large Scale Integration）等の半導体装置により個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。
　また、上記各種処理の全部又は一部は、電子回路等のハードウェアにより実現されても、ソフトウェアを用いて実現されてもよい。なお、ソフトウェアによる処理は、眼球トラッキング装置１０に含まれるプロセッサがメモリに記憶されたプログラムを実行することにより実現されるものである。また、そのプログラムを記録媒体に記録して頒布や流通させてもよい。例えば、頒布されたプログラムを、他のプロセッサを有する装置にインストールして、そのプログラムをそのプロセッサに実行させることで、その装置に、上記各処理を行わせることが可能となる。
　また、上述した実施の形態で示した構成要素及び機能を任意に組み合わせることで実現される形態も本開示の範囲に含まれる。
　本発明は、眼球の運動を追跡する眼球トラッキング装置に広く利用可能である。
　１０　眼球トラッキング装置
　３０　画像取得部
　３１　第１フィッティング部
　３２　第２フィッティング部
　３３　第１位置特定部
　３４　第２位置特定部
　３５　関連付け部
　３６　補間部
　４１　楕円輪郭フィッティング部
　４２　楕円形状フィッティング部
　４３　第１図形形状フィッティング部
　４４　第２図形形状フィッティング部
　４５　第３図形形状フィッティング部

Claims (13)

  1. 　画像に含まれる瞳孔又は虹彩に対して、楕円によるフィッティングを試みる第１ステップと、
    　前記楕円によるフィッティングの試みの結果が所定の第１条件を満たす場合に、当該結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第２ステップと、
    　前記楕円によるフィッティングの試みの結果が前記第１条件を満たさない場合に、前記瞳孔又は前記虹彩に対して、前記楕円の一部が欠けた第１図形によるフィッティングを試みる第３ステップと、
    　前記第１図形によるフィッティングの試みの結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第４ステップと、を含む
    　眼球トラッキング方法。
  2. 　前記第４ステップは、
    　　前記第１図形によるフィッティングの試みの結果が所定の第２条件を満たす場合に、当該結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第５ステップと、
    　　前記第１図形によるフィッティングの試みの結果が前記第２条件を満たさない場合に、前記瞳孔又は前記虹彩に対して、前記楕円の一部が欠けた図形であって、前記第１図形よりも欠けた領域の割合が大きい第２図形によるフィッティングを試みる第６ステップと、
    　　前記第２図形によるフィッティングの試みの結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第７ステップと、を含む
    　請求項１に記載の眼球トラッキング方法。
  3. 　前記第７ステップは、
    　　前記第２図形によるフィッティングの試みの結果が所定の第３条件を満たす場合に、当該結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第８ステップと、
    　　前記第２図形によるフィッティングの試みの結果が前記第３条件を満たさない場合に、前記瞳孔又は前記虹彩に対して、前記楕円の一部が欠けた図形であって、前記第２図形よりも欠けた領域の割合が大きい第３図形によるフィッティングを試みる第９ステップと、
    　　前記第３図形によるフィッティングの試みの結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第１０ステップと、を含み、
    　前記第１図形は、前記楕円から、前記楕円の１／４領域が欠けた図形であり、
    　前記第２図形は、前記楕円から、前記楕円の１／２領域が欠けた図形であり、
    　前記第３図形は、前記楕円から、前記楕円の３／４領域が欠けた図形である
    　請求項２に記載の眼球トラッキング方法。
  4. 　前記第１図形は、前記楕円から、左右の目が並ぶ方向を水平方向とする場合における垂直方向において、前記楕円の上側の前記１／４領域が欠けた図形であり、
    　前記第２図形は、前記楕円から、前記垂直方向において、前記楕円の上側の前記１／２領域が欠けた図形であり、
    　前記第３図形は、前記楕円から、前記垂直方向において、前記楕円の上側の前記３／４領域が欠けた図形である
    　請求項３に記載の眼球トラッキング方法。
  5. 　前記所定の第１条件を満たすとは、前記楕円のフィッティングの試みにおいて、フィッティング率が、フィッティングに成功したことを示す所定値であることをいう
    　請求項１～４のいずれか１項に記載の眼球トラッキング方法。
  6. 　更に、前記瞳孔又は前記虹彩の位置が、前記第２ステップ又は前記第４ステップのいずれで特定されたかを示す信頼性情報を生成し、前記第２ステップ又は前記第４ステップのいずれかで特定された前記瞳孔又は前記虹彩の位置を示す位置情報と、前記信頼性情報とを関連付けて記憶する第１１ステップを含む
    　請求項１～５のいずれか１項に記載の眼球トラッキング方法。
  7. 　前記第１ステップでは、右目の瞳孔又は右目の虹彩を含む右目画像と、当該右目画像と同じタイミングで撮像された、左目の瞳孔又は左目の虹彩を含む左目画像とに対して、前記楕円によるフィッティングの試みを行い、
    　前記第２ステップでは、前記右目画像に対する前記楕円によるフィッティングの試みの結果が前記第１条件を満たす場合に、当該結果に基づいて、前記右目の瞳孔又は前記右目の虹彩の位置を特定し、前記左目画像に対する前記楕円によるフィッティングの試みの結果が前記第１条件を満たす場合に、当該結果に基づいて、前記左目の瞳孔又は前記左目の虹彩の位置を特定し、
    　前記第３ステップでは、前記右目画像に対する前記楕円によるフィッティングの試みの結果が前記第１条件を満たさない場合に、前記右目の瞳孔又は前記右目の虹彩に対して、前記第１図形によるフィッティングを試み、前記左目画像に対する前記楕円によるフィッティングの試みの結果が前記第１条件を満たさない場合に、前記左目の瞳孔又は前記左目の虹彩に対して、前記第１図形によるフィッティングを試み、
    　前記第４ステップでは、前記右目画像に対する前記第１図形によるフィッティングの試みの結果に基づいて、前記右目の瞳孔又は前記右目の虹彩の位置を特定し、前記左目画像に対する前記第１図形によるフィッティングの試みの結果に基づいて、前記左目の瞳孔又は前記左目の虹彩の位置を特定し、
    　前記第１１ステップでは、
    　　前記右目の瞳孔又は前記右目の虹彩の位置が、前記第２ステップ又は前記第４ステップのいずれで特定されたかを示す右目信頼性情報と、前記左目の瞳孔又は左目の虹彩の位置が、前記第２ステップ又は前記第４ステップのいずれで特定されたかを示す左目信頼性情報とを生成し、
    　　前記第２ステップ又は前記第４ステップのいずれかで特定された前記右目の瞳孔又は前記右目の虹彩の位置を示す右目位置情報と、前記第２ステップ又は前記第４ステップのいずれかで特定された前記左目の瞳孔又は前記左目の虹彩の位置を示す左目位置情報と、前記右目信頼性情報と、前記左目信頼性情報とを関連付けて記憶する
    　請求項６に記載の眼球トラッキング方法。
  8. 　更に、前記右目信頼性情報と、前記左目信頼性情報とが、所定の第４条件を満たす場合に、前記左目位置情報を、前記右目位置情報に基づいて更新し、前記右目信頼性情報と、前記左目信頼性情報とが、所定の第５条件を満たす場合に、前記右目位置情報を、前記左目位置情報とに基づいて更新する第１２ステップを含む
    　請求項７に記載の眼球トラッキング方法。
  9. 　前記第１ステップ、前記第２ステップ、前記第３ステップ、及び前記第４ステップは、連続撮像された複数の画像のそれぞれに対して実行される
    　請求項１～８のいずれか１項に記載の眼球トラッキング方法。
  10. 　前記画像は、前記瞳孔又は前記虹彩に対して、赤外光照射装置から発せられた赤外光が照射された状態で撮像された画像である
    　請求項１～９のいずれか１項に記載の眼球トラッキング方法。
  11. 　前記画像は、遮光体により、前記瞳孔又は前記虹彩に対する可視光の照射が抑制された状態で撮像された画像である
    　請求項１～１０のいずれか１項に記載の眼球トラッキング方法。
  12. 　画像に含まれる瞳孔又は虹彩に対して、楕円によるフィッティングを試みる第１フィッティング部と、
    　前記楕円によるフィッティングの試みの結果が所定の第１条件を満たす場合に、当該結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第１位置特定部と、
    　前記楕円によるフィッティングの試みの結果が前記第１条件を満たさない場合に、前記瞳孔又は前記虹彩に対して、前記楕円の一部が欠けた第１図形によるフィッティングを試みる第２フィッティング部と、
    　前記第１図形によるフィッティングの試みの結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第２位置特定部と、を備える
    　眼球トラッキング装置。
  13. 　眼球の動きをトラッキングするための眼球トラッキング処理をコンピュータに実行させるためのプログラムであって、
    　前記眼球トラッキング処理は、
    　画像に含まれる瞳孔又は虹彩に対して、楕円によるフィッティングを試みる第１ステップと、
    　前記楕円によるフィッティングの試みの結果が所定の第１条件を満たす場合に、当該結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第２ステップと、
    　前記楕円によるフィッティングの試みの結果が前記第１条件を満たさない場合に、前記瞳孔又は前記虹彩に対して、前記楕円の一部が欠けた第１図形によるフィッティングを試みる第３ステップと、
    　前記第１図形によるフィッティングの試みの結果に基づいて、前記瞳孔又は前記虹彩の位置を特定する第４ステップと、を含む
    　プログラム。
PCT/JP2018/012328 2018-03-27 2018-03-27 眼球トラッキング方法、眼球トラッキング装置、及びプログラム WO2019186680A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2018/012328 WO2019186680A1 (ja) 2018-03-27 2018-03-27 眼球トラッキング方法、眼球トラッキング装置、及びプログラム
JP2020510224A JP7109034B2 (ja) 2018-03-27 2018-03-27 眼球トラッキング方法、眼球トラッキング装置、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/012328 WO2019186680A1 (ja) 2018-03-27 2018-03-27 眼球トラッキング方法、眼球トラッキング装置、及びプログラム

Publications (1)

Publication Number Publication Date
WO2019186680A1 true WO2019186680A1 (ja) 2019-10-03

Family

ID=68059361

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/012328 WO2019186680A1 (ja) 2018-03-27 2018-03-27 眼球トラッキング方法、眼球トラッキング装置、及びプログラム

Country Status (2)

Country Link
JP (1) JP7109034B2 (ja)
WO (1) WO2019186680A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111208905A (zh) * 2020-01-08 2020-05-29 北京未动科技有限公司 一种多模组视线追踪方法、系统和视线追踪设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308618A (ja) * 1999-04-28 2000-11-07 Agency Of Ind Science & Technol 視線計測方法、視線計測装置
JP2003317102A (ja) * 2002-04-24 2003-11-07 Oki Electric Ind Co Ltd 瞳孔・虹彩円検出装置
JP2017182739A (ja) * 2016-03-31 2017-10-05 富士通株式会社 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308618A (ja) * 1999-04-28 2000-11-07 Agency Of Ind Science & Technol 視線計測方法、視線計測装置
JP2003317102A (ja) * 2002-04-24 2003-11-07 Oki Electric Ind Co Ltd 瞳孔・虹彩円検出装置
JP2017182739A (ja) * 2016-03-31 2017-10-05 富士通株式会社 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111208905A (zh) * 2020-01-08 2020-05-29 北京未动科技有限公司 一种多模组视线追踪方法、系统和视线追踪设备

Also Published As

Publication number Publication date
JP7109034B2 (ja) 2022-07-29
JPWO2019186680A1 (ja) 2021-03-18

Similar Documents

Publication Publication Date Title
CN108885799B (zh) 信息处理设备，信息处理系统以及信息处理方法
JP5109922B2 (ja) ドライバモニタリング装置およびドライバモニタリング装置用のプログラム
CN104573623B (zh) 人脸检测装置、方法
CN109788215B (zh) 图像处理装置、计算机可读存储介质以及图像处理方法
CN111566612A (zh) 基于姿势和视线的视觉数据采集系统
US8073253B2 (en) Machine learning based triple region segmentation framework using level set on PACS
JP2018530045A (ja) 一連のイメージからのオブジェクトの３ｄ再構成のための方法、一連のイメージからのオブジェクトの３ｄ再構成を実行するように構成されたコンピュータ読取可能記憶媒体及び装置
JP2000163196A (ja) ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置
JP6187817B2 (ja) 顔検出装置、方法およびプログラム
JP5519085B1 (ja) 動画像生成装置および動画像生成方法
US20100302394A1 (en) Blinked eye artifact removal for a digital imaging device
JP5325800B2 (ja) 画像処理装置、画像撮影装置、画像表示装置、およびプログラム
JP6497162B2 (ja) 画像処理装置および画像処理方法
US20230034538A1 (en) Image pickup apparatus used as action camera, control method therefor, and storage medium storing control program therefor
WO2019186680A1 (ja) 眼球トラッキング方法、眼球トラッキング装置、及びプログラム
WO2019187283A1 (ja) 画像処理装置、画像表示システムおよび画像処理方法
JP4702534B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US20220012922A1 (en) Information processing apparatus, information processing method, and computer readable medium
CN109565549A (zh) 用于运行内饰摄像机的方法和设备
WO2022059265A1 (ja) 画像処理装置、及び画像処理プログラム
US20230047470A1 (en) Information processing apparatus, information processing method, and computer-readable recording medium
Foong et al. Droopy mouth detection model in stroke warning
JP2010193406A (ja) 画像入力装置及び被写体検出方法、プログラム
JP5111321B2 (ja) 瞼尤度演算装置、及びプログラム
WO2023245708A1 (zh) 基于机器视觉的电极植入方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18911841

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020510224

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18911841

Country of ref document: EP

Kind code of ref document: A1