WO2016129156A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2016129156A1
WO2016129156A1 PCT/JP2015/081260 JP2015081260W WO2016129156A1 WO 2016129156 A1 WO2016129156 A1 WO 2016129156A1 JP 2015081260 W JP2015081260 W JP 2015081260W WO 2016129156 A1 WO2016129156 A1 WO 2016129156A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
user
processing apparatus
present
optical axis
Prior art date
Application number
PCT/JP2015/081260
Other languages
English (en)
French (fr)
Inventor
辰吾 鶴見
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP15882030.8A priority Critical patent/EP3258684A4/en
Priority to US15/534,649 priority patent/US20180267323A1/en
Publication of WO2016129156A1 publication Critical patent/WO2016129156A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • a head-mounted display hereinafter sometimes referred to as “HMD”
  • an eyewear-type wearable device such as a glasses-type wearable device
  • eyewear a device that is used by being mounted on the user's head has been developed.
  • a technique regarding the HMD for example, a technique described in Patent Document 1 below can be cited.
  • various images are displayed on the display screen, such as a guide display image described in Patent Document 1, for example.
  • a guide display image is displayed according to a wearing state in which the user's left eye inputs image content and a user's right eye in which the image content is input. Is replaced.
  • the device when a device that is used by being mounted on the user's head is used, the device is mounted on the user's head by physically shifting the mounting position of the device that is mounted on the user's head. It is possible that the mounted state of the device used in this way (hereinafter, simply referred to as “mounted state”) may change.
  • mounted state the mounted state of the device used in this way
  • only the guide display image is replaced according to a predetermined wearing state. Therefore, for example, as in the technique described in Patent Document 1, even if the image is changed according to a predetermined wearing state, it is possible to cope with the change in the wearing state as described above. Absent.
  • This disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of controlling processing based on the mounting state of a device used by being worn on the user's head.
  • the wearing state of the device used by being worn on the user's head is determined.
  • An information processing apparatus includes a determination unit that performs a process and a process control unit that performs a process corresponding to the determined mounting state.
  • the optical axis vector corresponding to the user's line of sight estimated based on the captured image obtained by capturing the eye irradiated with the light from the light source, and the first The wearing state of the device used by being worn on the user's head based on the distance from the eyeball center position estimated based on the plurality of time-series captured images at the second time point before the time point There is provided an information processing method executed by the information processing apparatus, the method including: a step of determining whether or not the image is attached;
  • the optical axis vector corresponding to the user's line of sight estimated based on the captured image obtained by capturing the eye irradiated with the light from the light source, and the first The wearing state of the device used by being worn on the user's head based on the distance from the eyeball center position estimated based on the plurality of time-series captured images at the second time point before the time point
  • a program for causing a computer to execute a step corresponding to the determined mounting state is
  • the information processing apparatus performs, for example, the following (1) control process and (2) control process, and controls the process based on the wearing state of the apparatus that is worn on the user's head. To do.
  • the information processing apparatus controls the processing based on the mounting state, thereby realizing processing corresponding to the mounting state even when the above-described change in the mounting state occurs.
  • Examples of the device used by being mounted on the user's head according to the present embodiment include eyewear (for example, a spectacle-type (including monocular) device), an HMD, and the like.
  • the device used by being mounted on the user's head according to the present embodiment may be the information processing device according to the present embodiment, or may be an external device of the information processing device according to the present embodiment.
  • the information processing apparatus is estimated from a captured image obtained by capturing an eye irradiated with light from a light source (hereinafter sometimes simply referred to as “captured image”). Based on the optical axis vector corresponding to the user's line of sight and the center position of the eyeball, the wearing state of the device used by being worn on the user's head is determined.
  • examples of the light source according to the present embodiment include an IR LED (InfraRed Light Emitting Diode).
  • the light source which concerns on this embodiment is not restricted to the light source which emits infrared rays light, such as IR LED.
  • the light source according to the present embodiment emits light of an arbitrary wavelength capable of detecting a cornea reflection image (also referred to as a “Purkinje image”) in which light from the light source is reflected on the cornea from a captured image. It may be.
  • the cornea reflection image is used, for example, for detecting the user's line of sight.
  • the corneal reflection image corresponding to the light source according to the present embodiment may be indicated as “bright spot”.
  • examples of the captured image according to the present embodiment include a captured image captured by an imaging device included in an apparatus that is used by being mounted on the user's head. Further, the captured image according to the present embodiment may be a captured image captured by an external imaging device connected to an apparatus that is mounted on the user's head and used.
  • the light source according to the present embodiment may be, for example, a light source included in a device that is used by being mounted on the user's head according to the present embodiment, or may be used by being mounted on the user's head according to the present embodiment. It may be an external light source connected to the device.
  • the captured image according to the present embodiment is an imaging device included in an apparatus that is used by being mounted on the user's head, or an external imaging device that is connected to an apparatus that is used by being mounted on the user's head. It is not restricted to the image imaged by.
  • the captured image according to the present embodiment may be an image captured by an arbitrary imaging device capable of capturing an eye irradiated with light from a light source.
  • the light source according to the present embodiment may be a light source provided in some device, or may be an independent light source that does not depend on other devices.
  • the light source according to the present embodiment is provided, for example, at a position where the generated light is irradiated to the user's eyes.
  • the captured image according to the present embodiment is provided with an imaging device (or an external imaging device connected to an apparatus used by being mounted on the user's head).
  • an imaging device or an external imaging device connected to an apparatus used by being mounted on the user's head.
  • the imaging device may be referred to as “camera”.
  • the determination processing according to the present embodiment will be described more specifically.
  • the information processing apparatus includes an optical axis vector corresponding to the user's line of sight estimated based on the captured image at the first time point,
  • the wearing state is determined based on the distance from the center position of the eyeball estimated based on a plurality of time-series captured images at a second time point before the first time point.
  • the optical axis vector according to the present embodiment is an example of a vector corresponding to the line of sight.
  • an optical axis vector according to the present embodiment for example, the outer direction of the eyeball connecting the corneal center position (three-dimensional position of the corneal center (corneal curvature center)) and the pupil center position (three-dimensional position of the pupil center). The vector going to
  • the optical axis vector does not change when the mounting state of the device used by being mounted on the user's head according to the present embodiment does not change.
  • the cornea center position, the pupil center position, and the eyeball center position exist on a straight line.
  • the information processing apparatus for example, the optical axis vector estimated at time t (an example of the first time point) and an arbitrary time point (an example of the second time point) up to time t ⁇ 1.
  • the distance from the center position of the eyeball estimated in (1) is calculated, and the calculated distance is compared with a threshold value.
  • the threshold value related to the determination of the change in the wearing state according to the present embodiment may be a fixed value set in advance, or a variable value that can be appropriately set by a user operation or the like. Also good.
  • the threshold for determining the change in the wearing state according to the present embodiment is, for example, “a display position on a display screen corresponding to a device that is used by being worn on the user's head, and a position where the user who wears the device can tolerate. It is set from the viewpoints of “whether the user can be authenticated by iris authentication”.
  • a display screen corresponding to a device used by being mounted on the user's head for example, “a device used by being mounted on the user's head is arranged in a direction in which the user's line of sight faces when worn.
  • the information processing apparatus determines that there is no multiplication deviation when, for example, the calculated distance is equal to or less than a set threshold value (or when the distance is smaller than the threshold value). In addition, the information processing apparatus according to the present embodiment determines that a multiplication shift has occurred when the calculated distance is greater than a set threshold (or when the distance is equal to or greater than the threshold). .
  • the information processing apparatus can determine the wearing state of the apparatus that is used while being worn on the user's head.
  • the information processing apparatus can detect a change in the wearing state by determining the wearing state of the device that is worn and used on the user's head.
  • the information processing apparatus can also detect a change in the wearing state, for example, when it is determined that a change in the wearing state has occurred continuously in a set number of frames. is there.
  • the optical axis vector used in the determination processing according to the present embodiment is estimated as a vector corresponding to the user's line of sight using, for example, a corneal reflection method using a corneal reflection image in which light from the light source is reflected by the cornea. It can be estimated as part of the processing related to the detection of the line of sight. Needless to say, the optical axis vector according to the present embodiment may be estimated by a process independent of the process related to the detection of the line of sight.
  • the processing related to the estimation of the optical axis vector according to the present embodiment may be performed by the information processing apparatus according to the present embodiment, or may be performed by an external device of the information processing apparatus according to the present embodiment.
  • the eyeball center position used in the determination processing according to the present embodiment is estimated based on a plurality of time-series captured images.
  • the processing related to the estimation of the eyeball center position according to the present embodiment may be performed by the information processing apparatus according to the present embodiment, or may be performed by an external device of the information processing apparatus according to the present embodiment.
  • FIG. 1 is an explanatory diagram showing an example of processing related to the detection of the line of sight according to the present embodiment, and shows an example of processing related to the detection of the line of sight using the cornea reflection method.
  • a in FIG. 1 shows an example of a captured image.
  • the captured image includes a pupil, a bright spot on the cornea (corneal reflection image), a bright spot outlier, and the like.
  • FIG. 1A shows an example in which four bright spots corresponding to light from four light sources are included in the captured image.
  • the bright spot outlier is, for example, reflection of light from a light source (for example, illumination) other than the light source for obtaining a cornea reflection image that can be included in a captured image, or a contact that is attached to the eye. It looks like a corneal reflection image due to reflection at the edge of the lens.
  • B in FIG. 1 to H in FIG. 1 show an example of processing related to the detection of the line of sight performed on the captured image shown in A of FIG. FIG. 1 shows an example in which the number of light sources related to detection of bright spots is four.
  • the processing related to the detection of the line of sight includes, for example, seven steps shown in the following (i) to (vii).
  • the information processing apparatus detects the pupil by, for example, binarizing the captured image and determining a region including the pupil.
  • the method of detecting the pupil from the captured image is not limited to the example shown above.
  • the information processing apparatus according to the present embodiment indicates that “a pixel difference feature amount (for example, a difference value between pixel values (luminance values) of a combination of two pixels set on an image. The same applies hereinafter.) And any method that can detect the pupil from the image, such as “a method using a boosting technique”.
  • the information processing apparatus detects corneal reflection image candidates using, for example, “a method using a pixel difference feature amount and a boosting technique”.
  • the captured image may have an outlier that looks similar to the corneal reflection image. Therefore, when a candidate for a cornea reflection image is detected by image recognition using the method described above, the cornea reflection image and the outlayer can be detected as candidates for the cornea reflection image.
  • the information processing apparatus sets the existence range of the corneal reflection image (bright spot) based on, for example, the position of the pupil specified from the captured image (hereinafter referred to as “the position of the appearance of the pupil”). Then, the cornea reflection image is detected by selecting four or less corneal reflection image candidates, which are the number of light sources, from the candidates of the cornea reflection image existing in the existence range.
  • the information processing apparatus according to the present embodiment for example, selects four or less corneal reflection image candidates that are the number of light sources based on the score of a corneal reflection image detector constructed using machine learning or the like. By selecting, it is also possible to detect a cornea reflection image.
  • the method for detecting a corneal reflection image according to the present embodiment is not limited to the above.
  • the corneal reflection image according to the present embodiment may be detected by performing the following processes (a) to (d).
  • the information processing apparatus estimates the eyeball center position based on a plurality of time-series captured images.
  • frame images (still images) constituting a moving image
  • the frame image may be simply referred to as “frame”.
  • the three-dimensional position of the corneal curvature center and the pupil center is obtained from the observation position on the corneal reflection image and the pupil image.
  • the three-dimensional position of the eyeball center is obtained. It cannot be estimated directly.
  • the information processing apparatus uses the time-series captured images to estimate the intersection of the optical axis vectors at each time point obtained based on each of the plurality of captured images as the eyeball center position.
  • the optical axis vector at each time point is estimated by a process described later with reference to FIG. Further, for example, by eliminating the outlier of the estimated optical axis vector, it is possible to prevent a decrease in the estimation accuracy of the eyeball center position due to the influence of the outlier.
  • FIG. 2 is an explanatory diagram showing an example of processing related to eye gaze detection according to the present embodiment, and shows an overview of processing related to estimation of the eyeball center position.
  • the information processing apparatus sets the nearest point of a plurality of optical axis vectors as the eyeball center position.
  • the apparatus used by being mounted on the user's head is eyewear such as a glasses-type wearable apparatus, and the imaging device is fixed to the apparatus used by being mounted on the user's head. If the device is mounted on the user's head and is used (unless the device is mounted on the user's head), the eyeball It can be assumed that the center position is fixed relative to the imaging device.
  • FIG. 3 is an explanatory diagram showing an example of processing related to eye gaze detection according to the present embodiment, and shows an overview of processing related to estimation of the eyeball center position.
  • the position of the imaging device is represented as “camera center”, and an example in which the camera center is the origin is shown.
  • the vector may be denoted as “x ⁇ ”.
  • the corneal center position is “c ⁇ ”
  • the optical axis vector is “d ⁇ ”
  • the eyeball center position to be obtained is “p ⁇ ”.
  • the point L i on the i-th optical axis vector (i is a positive integer) is expressed by, for example, the following Equation 1.
  • “t i ” shown in Equation 1 is an auxiliary variable.
  • Equation 2 The distance between the points L i on the eyeball center position and the optical axis vector is represented by Equation 2 below.
  • the information processing apparatus obtains, for example, a point that minimizes the sum of squares of the distance to the point Li for all i, and sets the obtained point as the eyeball center position.
  • the information processing apparatus estimates the eyeball center position by solving n + 1 (n is a positive integer) simultaneous equations shown in Equation 3 below and obtaining the value of p, for example. To do.
  • “F” shown in Equation 3 below is expressed by Equation 4 below, for example.
  • the information processing apparatus estimates the corneal center position based on the eyeball center position estimated by the process (a).
  • the information processing apparatus estimates the corneal center position by performing the following processes (b-1) and (b-2), for example.
  • (B-1) Estimation of Pupil Center Position
  • the information processing apparatus estimates the pupil center position based on the eyeball center position estimated by the process (a).
  • the principle of the process (b-1) is the same as the process of the fifth step shown in (v) described later.
  • FIG. 4 is an explanatory diagram showing an example of processing related to the detection of the line of sight according to the present embodiment, and shows an overview of processing related to estimation of the pupil center position.
  • FIG. 4A shows a sphere centered on the center of the eyeball and having a radius of r + M.
  • r is the corneal radius
  • M is the distance between the eyeball center and the cornea center (hereinafter, the same applies to the description of other figures).
  • L shown in FIG. 4 is the distance between the cornea center and the pupil center (hereinafter, the same applies to the description of other drawings).
  • the corneal radius r, the distance M between the center of the eyeball and the center of the cornea, and the distance L between the center of the cornea and the center of the pupil correspond to an example of information about the eye according to the present embodiment.
  • examples of the corneal radius r and the distance L between the corneal center and the pupil center include set fixed values.
  • the distance M between the center of the eyeball and the center of the cornea may be an estimated value based on the center position of the eyeball estimated by the process (a), or may be a fixed value that is set. May be.
  • the distance M between the eyeball center and the cornea center can be estimated at an arbitrary timing after the eyeball center position is estimated in the process (a).
  • the information processing apparatus assumes that the pupil is refracted on the spherical surface shown in FIG. 4A, and calculates the three-dimensional position of the pupil center using Snell's law.
  • the information processing apparatus includes, for example, the eyeball center position estimated by the process (a) and the pupil estimated by the process (b-1). The position on the line segment connecting the center positions is estimated as the corneal center position.
  • FIG. 5 is an explanatory diagram showing an example of processing related to eye gaze detection according to the present embodiment, and shows an overview of processing related to estimation of the corneal center position.
  • the information processing apparatus for example, based on the distance L between the cornea center and the pupil center (an example of information about the eye) and the distance M between the eyeball center and the cornea center (an example of information about the eye), A point (x, y, z) that divides a line segment connecting the estimated pupil center position and the estimated eyeball center position into L: M is estimated as the cornea center position.
  • (C) Estimation of candidate position of corneal reflection image The information processing apparatus according to the present embodiment estimates the candidate position of the corneal reflection image based on the corneal center position estimated by the process (b).
  • the candidate position of the corneal reflection image may be referred to as “bright spot candidate position”.
  • the information processing apparatus estimates the candidate position of the corneal reflection image based on, for example, the estimated corneal center position, information about the eye, and the position of the light source.
  • FIG. 6 is an explanatory diagram showing an example of processing related to eye gaze detection according to the present embodiment, and shows an overview of processing related to estimation of candidate positions of a cornea reflection image.
  • the information processing apparatus includes, for example, an estimated corneal center position, a corneal radius r (an example of information related to the eye), and data indicating an arrangement of IR LEDs with respect to the imaging device (an example of information indicating the position of the light source) ),
  • the reflection position (x, y, z) of the light from the light source is obtained using the law of reflection.
  • the information processing apparatus projects the obtained reflection position (x, y, z) on the image plane, thereby expressing the candidate position (for example, (u, v) coordinates of the corneal reflection image. Estimated position).
  • FIG. 7 is an explanatory diagram showing an example of processing related to eye gaze detection according to the present embodiment, and shows an overview of processing related to estimation of a candidate position of a cornea reflection image.
  • O (0, 0) shown in FIG. 7 indicates the center of the camera
  • L shown in FIG. 7 indicates the position of one IR LED (an example of a light source).
  • C (cx, cy) shown in FIG. 7 indicates the eyeball center position
  • G (gx, gz) shown in FIG. 7 indicates the position of the bright spot.
  • the camera center, bright spot, IR LED, and eyeball center are on the same plane.
  • the x-axis is taken in the direction passing through the camera center and the IR LED position
  • the z-axis is taken in the direction perpendicular to the x-axis and close to the eyeball center position.
  • G (gx, gz) is a point on the circumference having a radius r + M centered on the eyeball center C (cx, cy).
  • the information processing apparatus solves, for example, the nonlinear simultaneous equations shown in the following Expression 5 with respect to gx and gy, and converts them into direction vectors of bright spots (corneal reflection images) in the camera coordinate system, thereby converting the corneal reflection.
  • An image candidate position (u, v) is obtained.
  • the information processing apparatus detects a corneal reflection image from the captured image based on the candidate position of the corneal reflection image estimated by the process (c).
  • FIG. 8 is an explanatory diagram showing an example of processing related to the detection of the line of sight according to the present embodiment, and shows an overview of processing related to detection of a cornea reflection image.
  • the information processing apparatus is estimated by, for example, the candidate position of the corneal reflection image detected by the image recognition by the process according to the second step shown in (ii) above and the process of (c) above.
  • constraints such as “distance from the candidate position of the cornea reflection image” and “inclination of u direction and v direction between cornea reflection images corresponding to the positional relationship between multiple IR LEDs”, etc.
  • a corneal reflection image is detected.
  • the information processing apparatus detects a corneal reflection image from a captured image by performing, for example, the processes shown in (a) to (d) in the process related to the third step shown in (iii) above. It is also possible to do.
  • the corneal reflection image is detected more than in the case where the process shown in the third step shown in (iii) is performed. Therefore, the existence range of the corneal reflection image can be greatly reduced.
  • the processing shown in (a) to (d) is performed in the third step shown in (iii) above, the case where the processing related to the third step shown in (iii) is performed.
  • the corneal reflection image can be detected from the captured image with higher accuracy.
  • each process shown in (iv) to (vii) described later is performed.
  • the estimation accuracy of the vector corresponding to the line of sight is more than that in the case where the process according to the third step shown in (iii) is performed. Can be further enhanced.
  • the information processing apparatus uses, for example, information (data) related to eyes such as the positions (u, v coordinates) of a plurality of detected cornea reflection images, the positions of light sources, and the cornea radius (corneal curvature radius). Based on this, the corneal center position is estimated.
  • the present embodiment such as the radius of curvature of the cornea and other information described later (for example, data indicating values related to the eye such as the distance between the center of the eyeball and the center of the cornea, the distance between the center of the cornea and the center of the pupil), etc.
  • the value indicated by the information related to the eye is, for example, a fixed value set in advance.
  • the value indicated by the information related to the eyes according to the present embodiment may be a value unique to each user, or may be a value standardized using values unique to a plurality of users.
  • the value indicated by the information related to the eyes according to the present embodiment is a unique value for each user, for example, for a user specified by any method capable of authenticating the user, such as biometric authentication or password authentication. Information about the corresponding eye is used.
  • the information processing apparatus includes, for example, information about the eye such as the corneal center position estimated in the fourth step shown in (iv) above, the distance L between the corneal center and the pupil center, and the corneal radius r, Then, the pupil center position is estimated using the law of refraction.
  • the information processing apparatus estimates the pupil center position using, for example, the same principle as the process (b-1) (estimation of the pupil center position).
  • the information processing apparatus uses, for example, the cornea center position estimated in the fourth step shown in (iv) above and the pupil center position estimated in the fifth step shown in (v) above.
  • an optical axis vector (an example of a vector corresponding to the line of sight) is estimated.
  • a vector that connects the corneal center position and the pupil center position and goes outward from the eyeball is set as an optical axis vector.
  • Gaze vector estimation (H in FIG. 1)
  • a line-of-sight vector (an example of a vector corresponding to the line of sight) representing a line of sight is a vector that connects the fovea of the eye and the center of the cornea. Further, as shown by H in FIG. 1, a shift may occur between the line-of-sight vector and the optical axis vector.
  • the information processing apparatus corrects the optical axis vector estimated in the sixth step shown in (vi) above by using, for example, the offset value obtained by calibration, so that the line-of-sight vector Is estimated.
  • the offset value according to the present embodiment may be a fixed value set in advance, for example.
  • the optical axis vector and the line-of-sight vector which are vectors corresponding to the line of sight, are estimated by the process related to the first step shown in (i) to the process related to the seventh step shown in (vii).
  • the information processing apparatus estimates the eyeball center position, for example, by the process (estimation of the eyeball center position) shown in (a) above.
  • the process shown in (a) may be performed as part of the process related to the detection of the line of sight, or as a process independent of the process related to the detection of the line of sight. Also good.
  • optical axis vector and the eyeball center position used in the determination processing according to the present embodiment are estimated by the above processing, for example.
  • the information processing apparatus includes, for example, the optical axis vector estimated at the first time point and the eyeball center estimated at the second time point before the first time point.
  • the wearing state is determined based on the comparison result between the position distance and the threshold value.
  • FIG. 9 is an explanatory diagram showing an example of processing related to the information processing method according to the present embodiment.
  • FIG. 9 illustrates an example in which the information processing apparatus according to the present embodiment performs the determination process according to the present embodiment together with the process related to the detection of the line of sight as illustrated with reference to FIG.
  • “multiplication detection” shown in FIG. 9 corresponds to an example of a determination process according to the present embodiment.
  • the optical axis vector and the line-of-sight vector are collectively referred to as “eye axis vector”.
  • the information processing apparatus performs processing related to the first step shown in (i) to processing related to the seventh step shown in (vii).
  • the information processing apparatus according to the present embodiment does not perform the determination process according to the present embodiment.
  • the information processing apparatus basically performs processing related to the first step shown in (i) to processing related to the seventh step shown in (vii). However, in the third step shown in (iii) above, the processing shown in (a) (estimation of the center position of the eyeball) to the processing shown in (d) (detection of the cornea reflection image) is performed.
  • the determination processing according to the present embodiment is performed as indicated by “multiply detection” in FIG.
  • the information processing apparatus according to the present embodiment performs, for example, the process from time t illustrated in FIG. 9 again.
  • the information processing apparatus determines the mounting state of the apparatus that is used while being worn on the user's head, for example, by performing processing as shown in FIG. 9 at each time.
  • the processing related to the estimation of the optical axis vector according to the present embodiment and the processing related to the estimation of the eyeball center position according to the present embodiment may be performed by the information processing apparatus according to the present embodiment. Alternatively, it may be performed in an external device of the information processing apparatus according to the present embodiment.
  • the processing related to the estimation of the optical axis vector according to the present embodiment and the processing related to the estimation of the eyeball center position according to the present embodiment are performed in an external device
  • the information processing device according to the present embodiment Using the estimation result acquired from the external device, the determination process according to the present embodiment is performed.
  • the information processing apparatus performs a process corresponding to the wearing state of the apparatus used by being worn on the user's head determined in the process (determination process) of (1) above. Make it.
  • the information processing apparatus according to the present embodiment transmits, for example, control information (data) including a processing command, processing data corresponding to the processing command, and the like to a target to perform processing corresponding to the wearing state.
  • control information data
  • processing data data corresponding to the processing command
  • the like to a target to perform processing corresponding to the wearing state.
  • examples of a target to perform processing corresponding to the wearing state according to the present embodiment include a device that is used by being worn on the user's head.
  • the target that the information processing apparatus according to the present embodiment performs the process corresponding to the wearing state is not limited to the apparatus that is used by being worn on the user's head.
  • the information processing apparatus may be an external device of a device used by being mounted on the user's head, such as a device associated with a user wearing a device that is used by being mounted on the user's head.
  • the information processing apparatus for example, “information indicating a user (for example, a user ID or the like) Data) and a table (or database) "that associates information (for example, data such as a device ID and an address for performing communication) on a target device that performs processing corresponding to the mounting state.
  • the device corresponding to the information indicating the authenticated user is specified.
  • the information processing apparatus which concerns on this embodiment makes the specified apparatus the object which performs the process corresponding to a mounting state.
  • the information processing apparatus is applied to the user's head when a change in the mounting state of the apparatus used by being mounted on the user's head is detected. It controls the display position on the display screen corresponding to the device that is mounted and used.
  • the information processing apparatus displays, for example, a display on a display screen corresponding to an apparatus that is used by being worn on the user's head when, for example, a change in the wearing state is detected.
  • the position is set as a display position corresponding to the optical axis vector.
  • a display screen corresponding to a device that is used by being mounted on the user's head for example, “a device that is used by being mounted on the user's head, and in which the user's line of sight faces when the device is mounted.
  • the display position corresponding to the optical axis vector according to the present embodiment for example, “the line-of-sight vector in which the optical axis vector is corrected on the display screen corresponding to the device worn on the user's head and used” “Display position with the position of the intersection with the display screen as the center position of the display area where the display is performed”.
  • the display position corresponding to the optical axis vector according to the present embodiment is, for example, “the position of the intersection of the optical axis vector and the display screen on the display screen corresponding to the device used by being worn on the user's head”. May be the “display position” which is the center position of the display area where the display is performed.
  • FIG. 10 and 11 are explanatory diagrams for explaining an example of processing related to the information processing method according to the present embodiment.
  • a shown in FIG. 10 and A shown in FIG. 11 show the case where the shift is not generated
  • B shown in FIG. 10 and B shown in FIG. 11 show the case where the shift is generated.
  • . 10 and 11 show an example in which the device used by being worn on the user's head is eyewear.
  • the information processing apparatus causes the display area to be set to a display position corresponding to the optical axis vector as shown in FIG.
  • the device used on the user's head is mounted.
  • the user who is viewing can view the content displayed in the display area in the same manner as in the case where the shift shown in FIG.
  • the information processing apparatus causes the display area to be set at a display position corresponding to the optical axis vector. Therefore, even in the above case, the user wearing the device that is worn on the user's head is displayed in the display area in the same manner as the case shown in FIG. You can see the contents.
  • the display position is automatically adjusted by performing the control process according to the first example. Therefore, by performing the control processing according to the first example, it is possible to realize the optimization of the display position, and the convenience of the user wearing the device that is used by being worn on the user's head. Can be improved.
  • the information processing apparatus for example, causes the display device to perform visual notification by displaying characters or images, or performs auditory notification by outputting sound (including music).
  • the audio output device By causing the audio output device to perform, the user is notified that a change in the wearing state has been detected.
  • the information processing apparatus for example, transmits control signals and data related to notifications to a communication unit (described later) included in the information processing apparatus according to the present embodiment or an external communication device, a display device, and an audio output device. , The user is notified that a change in the wearing state has been detected.
  • the device is mounted on the display position on the display screen corresponding to the device used by being mounted on the user's head due to the occurrence of the displacement”. Used when worn on the user's head, such as when the user can no longer accept the position or when the user is unable to authenticate with iris authentication due to a misalignment. The user can be prompted to re-mount the device to be installed.
  • the content of the notification related to the control processing according to the second example is not limited to notifying that a change in the wearing state has been detected, for example, wearing a device that is worn and used on the user's head.
  • Other notification contents related to the misalignment may be included, such as a notification that prompts the user to fix the problem directly.
  • the information processing apparatus is applied to the user's head according to the detection frequency of the change in the wearing state of the apparatus used while being worn on the user's head. It controls the display position on the display screen corresponding to the device that is mounted and used.
  • the information processing apparatus causes, for example, display on a display screen corresponding to an apparatus used by being worn on the user's head according to the detection frequency of a change in the wearing state. To change the way.
  • a value indicating the detection frequency of the change in the wearing state is equal to or greater than the set threshold value for the frequency. (Or when the detection frequency becomes greater than the threshold value), it is determined that a situation in which frequent shifts occur.
  • the threshold value related to the detection frequency of the change in the wearing state according to the present embodiment may be a fixed value set in advance or a variable value that can be set as appropriate by a user operation or the like. .
  • the information processing apparatus is not a display method that superimposes an image or a character on the object, but an image.
  • Images and characters are displayed on a display screen corresponding to a device used by being worn on the user's head by a display method in which the user does not care even if the display position of characters and characters deviates from the object.
  • a display related to a display method that the user does not care even if the display position of an image or a character according to the present embodiment deviates from the object for example, an image or Examples include displaying characters and displaying them on the edge of the display screen without being linked to the position of the object.
  • control processing according to the third example for example, a display corresponding to a situation in which frequent shifts occur (for example, in an apparatus used by being mounted on the user's head in the situation). It is possible to realize display using a display method that makes it difficult for the user to recognize the deviation from the environment on the corresponding display screen. Therefore, the convenience of the user can be improved by performing the control process according to the third example.
  • the information processing apparatus is mounted on a device used by being worn on the user's head, which is determined in the processing (determination processing) of (1) above. Processing related to detection of the user's line of sight corresponding to the state is performed.
  • the corneal reflection method includes a “three-dimensional model utilization method” that uses a three-dimensional model of an eye as shown in FIG. 1 and a “2D Mapping method”.
  • the “3D model use method” can estimate the line of sight more accurately when a shift occurs. is there.
  • the “2D Mapping method” has a smaller processing load.
  • the information processing apparatus performs processing related to the detection of the user's line of sight using the “three-dimensional model usage method” and the user using the “2D Mapping method” according to the determined wearing state.
  • the processing related to the detection of the user's line of sight corresponding to the wearing state is performed by switching the processing related to the detection of the visual line.
  • the information processing apparatus performs processing related to the detection of the user's line of sight using the “2D Mapping method” when there is no misalignment, and when the misalignment occurs. Performs processing related to detection of the user's line of sight using the “three-dimensional model utilization method”.
  • control process according to the fourth example for example, it is possible to reduce the processing load related to the process related to the detection of the user's line of sight and improve the detection accuracy of the line of sight.
  • the information processing apparatus performs control processing according to the first example shown in the above (2-1) to the fourth example shown in the above (2-4). It is also possible to perform a process combining two or more of the control processes according to the example.
  • the information processing apparatus performs, for example, the control process according to the first example shown in (2-1) to the control process according to the fifth example shown in (2-5), thereby The processing corresponding to the mounting state of the device used by being mounted on the head of the head is performed.
  • the information processing apparatus performs, for example, the process (1) (determination process) and the process (2) (control process) as the process related to the information processing method according to the present embodiment. Do.
  • the process which concerns on the information processing method which concerns on this embodiment is not restricted to the process (determination process) of said (1), and the process (control process) of said (2).
  • the information processing apparatus can further perform processing (estimation processing) for estimating the optical axis vector and the eyeball center position.
  • the information processing apparatus according to the present embodiment is estimated in the estimation process in the process (1) (determination process), for example. Based on the distance between the optical axis vector and the center position of the eyeball, the wearing state of the device used by being worn on the user's head is determined. Even when the information processing apparatus according to the present embodiment further performs the estimation process, the information processing apparatus according to the present embodiment uses one or both of the optical axis vector and the eyeball center position estimated by the external apparatus. Needless to say, it is possible to perform the process (determination process) of (1) above.
  • the process related to the information processing method according to the present embodiment includes, for example, “the process (1) (determination process) and the process (2) (control process)” or “the process (1) above”.
  • the process related to the information processing method according to the present embodiment includes, for example, “the process (1) (determination process) and the process (2) (control process)” or “the process (1) above”.
  • the process related to the information processing method according to the present embodiment includes, for example, “the process (1) (determination process) and the process (2) (control process)” or “the process (1) above”.
  • Each of the (determination process), the process (2) (control process), and the estimation process can be regarded as two or more processes (depending on an arbitrary separation method).
  • FIG. 12 is a block diagram illustrating an example of the configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes, for example, an imaging unit 102 and a control unit 104.
  • the information processing apparatus 100 communicates with a ROM (Read Only Memory, not shown), a RAM (Random Access Memory, not shown), a storage unit (not shown), and an external device wirelessly or by wire. You may provide the communication part (not shown) for performing, the operation part (not shown) which a user can operate, the display part (not shown) which displays a various screen on a display screen, etc.
  • the information processing apparatus 100 connects the above constituent elements by, for example, a bus as a data transmission path.
  • a ROM (not shown) stores control data such as a program used by the control unit 104 and calculation parameters.
  • a RAM (not shown) temporarily stores a program executed by the control unit 104.
  • the storage unit is a storage unit included in the information processing apparatus 100.
  • data used for processing related to detection of a user's line of sight such as information about eyes, image data indicating a captured image, an application, and the like Store various data.
  • information about eyes such as a corneal radius, a distance between the center of the eyeball and the center of the cornea, and a distance between the center of the cornea and the center of the pupil is stored for each user.
  • the storage unit (not shown) may store, for example, corneal reflection images and pupil detection dictionary data.
  • examples of the storage unit include a magnetic recording medium such as a hard disk, a non-volatile memory such as a flash memory, and the like. Further, the storage unit (not shown) may be detachable from the information processing apparatus 100.
  • Examples of the communication unit include a communication interface described later.
  • the operation input device mentioned later is mentioned, for example.
  • the display device mentioned later is mentioned, for example.
  • FIG. 13 is an explanatory diagram illustrating an example of a hardware configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes, for example, an MPU 150, a ROM 152, a RAM 154, a recording medium 156, an input / output interface 158, an operation input device 160, a display device 162, a communication interface 164, an imaging device 166, and an IR. LED 168.
  • the information processing apparatus 100 connects each component with a bus 170 as a data transmission path, for example.
  • the MPU 150 includes, for example, one or more processors configured with arithmetic circuits such as an MPU (Micro Processing Unit) and various processing circuits, and functions as the control unit 104 that controls the entire information processing apparatus 100. .
  • the MPU 150 serves as, for example, an estimation unit 110, a determination unit 112, and a processing control unit 114 described later in the information processing apparatus 100.
  • the ROM 152 stores programs used by the MPU 150, control data such as calculation parameters, and the like.
  • the RAM 154 temporarily stores a program executed by the MPU 150, for example.
  • the recording medium 156 functions as a storage unit (not shown).
  • the recording medium 156 stores various data such as data used for processing related to detection of the user's line of sight such as information about eyes, image data indicating captured images, and applications.
  • data used for processing related to detection of the user's line of sight such as information about eyes, image data indicating captured images, and applications.
  • Examples of the recording medium 156 include a magnetic recording medium such as a hard disk and a non-volatile memory such as a flash memory. Further, the recording medium 156 may be detachable from the information processing apparatus 100.
  • the input / output interface 158 connects, for example, the operation input device 160 and the display device 162.
  • the operation input device 160 functions as an operation unit (not shown)
  • the display device 162 functions as a display unit (not shown).
  • examples of the input / output interface 158 include a USB (Universal Serial Bus) terminal, a DVI (Digital Visual Interface) terminal, an HDMI (High-Definition Multimedia Interface) (registered trademark) terminal, and various processing circuits. .
  • the operation input device 160 is provided on the information processing apparatus 100, for example, and is connected to the input / output interface 158 inside the information processing apparatus 100.
  • Examples of the operation input device 160 include a button, a direction key, a rotary selector such as a jog dial, or a combination thereof.
  • the display device 162 is provided on the information processing apparatus 100, for example, and is connected to the input / output interface 158 inside the information processing apparatus 100.
  • Examples of the display device 162 include a liquid crystal display (Liquid Crystal Display), an organic EL display (Organic Electro-Luminescence Display, or an OLED display (Organic Light Emitting Diode Display)), and the like.
  • the input / output interface 158 can be connected to an external device such as an operation input device (for example, a keyboard or a mouse), a display device, or an imaging device as an external device of the information processing apparatus 100.
  • an operation input device for example, a keyboard or a mouse
  • a display device for example, a liquid crystal display
  • an imaging device as an external device of the information processing apparatus 100.
  • the display device 162 may be a device capable of display and user operation, such as a touch device.
  • the communication interface 164 is a communication unit included in the information processing apparatus 100, and is connected to an external imaging device, an external display device, or a user's head according to the external embodiment via a network (or directly). It functions as a communication unit (not shown) for performing wireless or wired communication with an external device (or external device) such as a device that is mounted and used.
  • Examples of the communication interface 164 include a communication antenna and an RF (Radio Frequency) circuit (wireless communication), an IEEE 802.15.1 port and a transmission / reception circuit (wireless communication), an IEEE 802.11 port and a transmission / reception circuit (wireless communication), or Examples include LAN (Local Area Network) terminals and transmission / reception circuits (wired communication).
  • the communication unit (not shown) has a configuration corresponding to an arbitrary standard capable of communication such as a USB (Universal Serial Bus) terminal and a transmission / reception circuit, or an arbitrary communication capable of communicating with an external device via a network. It may be a configuration.
  • an arbitrary standard capable of communication such as a USB (Universal Serial Bus) terminal and a transmission / reception circuit, or an arbitrary communication capable of communicating with an external device via a network. It may be a configuration.
  • a wired network such as a LAN or a WAN (Wide Area Network), a wireless LAN (WLAN: Wireless Local Area Network) or a wireless WAN via a base station (WWAN: Wireless Wide Area Area).
  • a communication protocol such as TCP / IP (Transmission Control Protocol / Internet Protocol).
  • the imaging device 166 is an imaging unit included in the information processing apparatus 100 and functions as the imaging unit 102 that generates an image (captured image) by imaging.
  • the imaging device 166 includes, for example, one or more imaging devices that capture images of each eye of the user or both eyes of the user.
  • the imaging device 166 is provided in the position which can image the eye irradiated with the light from light sources, such as IR LED, for example.
  • the information processing apparatus 100 can perform processing related to the information processing method according to the present embodiment, for example, based on a captured image generated by imaging in the imaging device 166.
  • the imaging device 166 includes, for example, a lens / imaging device and a signal processing circuit.
  • the lens / imaging device includes, for example, an optical lens and an image sensor using a plurality of imaging devices such as CMOS (Complementary Metal Oxide Semiconductor).
  • the signal processing circuit includes, for example, an AGC (Automatic Gain Control) circuit and an ADC (Analog to Digital Converter), and converts an analog signal generated by the image sensor into a digital signal (image data).
  • the signal processing circuit performs various processes related to, for example, RAW development.
  • the signal processing circuit may perform various signal processing such as, for example, White Balance correction processing, color tone correction processing, gamma correction processing, YCbCr conversion processing, and edge enhancement processing.
  • the IR LED 168 is a light source provided in the information processing apparatus 100, and includes a plurality of IR LEDs.
  • the IR LED 168 is provided, for example, at a position where light is irradiated to the user's eyes. As described above, it goes without saying that the light source provided in the information processing apparatus 100 is not limited to the IR LED.
  • the information processing apparatus 100 performs processing related to the information processing method according to the present embodiment, for example, with the configuration illustrated in FIG. 13. Note that the hardware configuration of the information processing apparatus 100 according to the present embodiment is not limited to the configuration illustrated in FIG. 13.
  • the information processing apparatus 100 includes the imaging device 166. It is possible to adopt a configuration that does not include one or both of the IR LED 168.
  • the information processing apparatus 100 may not include the communication interface 164 if the information processing apparatus 100 is configured to perform stand-alone processing, for example. Further, the information processing apparatus 100 may be configured without the recording medium 156, the operation input device 160, and the display device 162.
  • the imaging unit 102 generates a captured image (captured image in the present embodiment) in which the eye irradiated with light from the light source is captured.
  • An example of the imaging unit 102 is an imaging device 166.
  • the control unit 104 is configured by, for example, an MPU and plays a role of controlling the entire information processing apparatus 100.
  • the control unit 104 includes, for example, an estimation unit 110, a determination unit 112, and a processing control unit 114, and plays a role of leading processing related to the information processing method according to the present embodiment.
  • the control unit 104 performs the process (1) (determination process), the process (2) (control process), and the estimation process according to the information processing method according to this embodiment.
  • An example of a configuration in the case of performing as processing is shown.
  • the estimation unit 110 plays a role of leading the above estimation process, and estimates the optical axis vector and the eyeball center position based on the captured image.
  • the estimation unit 110 estimates the optical axis vector by the process shown with reference to FIG. 1, for example, and estimates the eyeball center position by the process shown in (a) (estimation of the eyeball center position).
  • the determination unit 112 plays a role of leading the process (determination process) of (1), and the optical axis vector estimated at the first time point and the second time point before the first time point. Based on the estimated distance from the center position of the eyeball, the wearing state of the device that is worn and used on the user's head is determined. The determination unit 112 determines the wearing state by threshold processing using, for example, the distance between the optical axis vector and the eyeball center position and a set threshold value.
  • the process control unit 114 plays a role of leading the process (2) (control process), and performs a process corresponding to the determined mounting state of the device used on the user's head.
  • the process control unit 114 performs, for example, any one of the control process according to the first example shown in (2-1) to the control process according to the fifth example shown in (2-5).
  • the control unit 104 includes, for example, an estimation unit 110, a determination unit 112, and a processing control unit 114, thereby leading the processing related to the information processing method according to the present embodiment.
  • the information processing apparatus 100 has, for example, the configuration shown in FIG. 12, and processes related to the information processing method according to this embodiment (for example, the process (1) (determination process), the process (2) (control process), And the above estimation process).
  • the information processing apparatus 100 can control the processing based on the mounting state of the apparatus used by being mounted on the user's head, for example, with the configuration shown in FIG.
  • the information processing apparatus 100 can exhibit the effects exhibited by performing the processing related to the information processing method according to the present embodiment as described above, for example.
  • the information processing apparatus includes one or more of the estimation unit 110, the determination unit 112, and the processing control unit 114 illustrated in FIG. Can be realized with a processing circuit).
  • the information processing apparatus may not include the estimation unit 110.
  • the process (1) (determination process) and (2) (control process) “the process (1) (determination process), and (2)
  • the process (control process) and the above-described estimation process are obtained by dividing the process related to the information processing method according to the present embodiment for convenience. Therefore, the configuration for realizing the processing according to the information processing method according to the present embodiment is not limited to the estimation unit 110, the determination unit 112, and the processing control unit 114 illustrated in FIG. 12, and the information processing method according to the present embodiment. It is possible to adopt a configuration according to the method of dividing the process.
  • the information processing apparatus has been described as the present embodiment, but the present embodiment is not limited to such a form.
  • a device such as an eyewear or HMD that is used by being mounted on a user's head, a computer such as a PC (Personal Computer) or a server, a communication device such as a mobile phone or a smartphone, or a tablet-type device
  • the present invention can be applied to various devices capable of performing the processing related to the information processing method according to the present embodiment.
  • this embodiment can also be applied to, for example, one or more ICs (Integrated Circuits) that can be incorporated into the above devices.
  • ICs Integrated Circuits
  • the information processing apparatus is applied to a system including one or two or more apparatuses that are premised on connection to a network (or communication between apparatuses) such as cloud computing. May be. That is, the information processing apparatus according to this embodiment described above can be realized as an information processing system including a plurality of apparatuses, for example.
  • a program for causing a computer to function as the information processing apparatus according to the present embodiment is a program capable of executing the process related to the information processing method according to this embodiment.
  • an effect produced by the processing related to the information processing method according to the above-described embodiment by executing a program for causing the computer to function as the information processing apparatus according to the present embodiment by a processor or the like in the computer. Can be played.
  • a program for causing a computer to function as the information processing apparatus according to the present embodiment is provided.
  • the present embodiment further includes a recording in which the program is stored.
  • a medium can also be provided.
  • an optical axis vector corresponding to a user's line of sight estimated based on a captured image in which an eye irradiated with light from a light source is captured, and a second before the first time point A determination unit that determines a mounting state of a device used by being mounted on the user's head based on a distance from an eyeball center position estimated based on a plurality of the time-series captured images at a time point; A processing control unit that performs processing corresponding to the determined wearing state;
  • An information processing apparatus comprising: (2) When the change in the wearing state is detected, the processing control unit displays a display position on a display screen corresponding to a device used by being worn on the user's head as a display position corresponding to the optical axis vector.
  • the information processing apparatus according to (1). (3) The information processing apparatus according to (1) or (2), wherein the processing control unit notifies that a change in the wearing state is detected. (4) The processing control unit changes a display method on a display screen corresponding to a device used by being worn on the user's head according to the detection frequency of the change in the wearing state. The information processing apparatus according to any one of 3). (5) The information processing apparatus according to any one of (1) to (4), wherein the processing control unit causes processing related to detection of a user's line of sight corresponding to the determined wearing state.
  • An estimation unit for estimating the optical axis vector and the eyeball center position The determination unit determines the wearing state based on a distance between the optical axis vector estimated by the estimation unit and the eyeball center position, according to any one of (1) to (5).
  • Information processing device Information processing device.
  • an optical axis vector corresponding to a user's line of sight estimated based on a captured image in which an eye irradiated with light from a light source is captured, and a second before the first time point Determining a wearing state of a device to be worn and used on the user's head based on a distance from an eyeball center position estimated based on a plurality of the time-series captured images at a time point; Performing a process corresponding to the determined wearing state; An information processing method executed by the information processing apparatus.
  • an optical axis vector corresponding to a user's line of sight estimated based on a captured image in which an eye irradiated with light from a light source is captured, and a second before the first time point Determining a wearing state of a device to be worn and used on the user's head based on a distance from an eyeball center position estimated based on a plurality of the time-series captured images at a time point; Performing a process corresponding to the determined wearing state; A program that causes a computer to execute.

Abstract

第１の時点において、光源からの光が照射される眼が撮像された撮像画像に基づいて推定されたユーザの視線に対応する光軸ベクトルと、第１の時点よりも前の第２の時点において、時系列の複数の撮像画像に基づいて推定された眼球中心位置との距離に基づいて、ユーザの頭部に装着されて用いられる装置の装着状態を判定する判定部と、判定された装着状態に対応する処理を行わせる処理制御部と、を備える、情報処理装置が提供される。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　例えば、ヘッドマウントディスプレイ（Head　Mounted　Display。以下、「ＨＭＤ」と示す場合がある。）や、眼鏡型のウェアラブル装置のようなアイウェア型のウェアラブル装置（以下、単に「アイウェア」と示す場合がある。）のように、ユーザの頭部に装着されて用いられる装置が開発されている。ＨＭＤに関する技術としては、例えば、下記の特許文献１に記載の技術が挙げられる。
特開２０１１－２４９９０６号公報
　ユーザの頭部に装着されて用いられる装置では、例えば特許文献１に記載のガイド表示画像のように、表示画面に様々な画像が表示される。また、例えば特許文献１の技術が用いられる場合には、ユーザの左眼に画像の内容を入力させる装着状態と、ユーザの右眼に画像の内容を入力させる装着状態とに応じてガイド表示画像の入れ替えが行われる。
　ここで、ユーザの頭部に装着されて用いられる装置が用いられる場合には、ユーザの頭部に装着されて用いられる装置の装着位置が物理的にずれることなどによって、ユーザの頭部に装着されて用いられる装置の装着状態（以下、単に「装着状態」と示す場合がある。）が変化することが起こりうる。しかしながら、例えば特許文献１に記載の技術が用いられる場合には、予め定められている装着状態に応じてガイド表示画像の入れ替えが行われるに過ぎない。よって、例えば特許文献１に記載の技術のように、予め定められている装着状態に応じて画像の入れ替えが行われたとしても、上記のような装着状態の変化に対応することは望むべくもない。
　本開示では、ユーザの頭部に装着されて用いられる装置の装着状態に基づき処理を制御することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、第１の時点において、光源からの光が照射される眼が撮像された撮像画像に基づいて推定されたユーザの視線に対応する光軸ベクトルと、上記第１の時点よりも前の第２の時点において、時系列の複数の上記撮像画像に基づいて推定された眼球中心位置との距離に基づいて、上記ユーザの頭部に装着されて用いられる装置の装着状態を判定する判定部と、判定された上記装着状態に対応する処理を行わせる処理制御部と、を備える、情報処理装置が提供される。
　また、本開示によれば、第１の時点において、光源からの光が照射される眼が撮像された撮像画像に基づいて推定されたユーザの視線に対応する光軸ベクトルと、上記第１の時点よりも前の第２の時点において、時系列の複数の上記撮像画像に基づいて推定された眼球中心位置との距離に基づいて、上記ユーザの頭部に装着されて用いられる装置の装着状態を判定するステップと、判定された上記装着状態に対応する処理を行わせるステップと、を有する、情報処理装置により実行される情報処理方法が提供される。
　また、本開示によれば、第１の時点において、光源からの光が照射される眼が撮像された撮像画像に基づいて推定されたユーザの視線に対応する光軸ベクトルと、上記第１の時点よりも前の第２の時点において、時系列の複数の上記撮像画像に基づいて推定された眼球中心位置との距離に基づいて、上記ユーザの頭部に装着されて用いられる装置の装着状態を判定するステップ、判定された上記装着状態に対応する処理を行わせるステップ、をコンピュータに実行させるためのプログラムが提供される。
　本開示によれば、ユーザの頭部に装着されて用いられる装置の装着状態に基づき処理を制御することができる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
本実施形態に係る視線の検出に係る処理の一例を示す説明図である。 本実施形態に係る視線の検出に係る処理の一例を示す説明図である。 本実施形態に係る視線の検出に係る処理の一例を示す説明図である。 本実施形態に係る視線の検出に係る処理の一例を示す説明図である。 本実施形態に係る視線の検出に係る処理の一例を示す説明図である。 本実施形態に係る視線の検出に係る処理の一例を示す説明図である。 本実施形態に係る視線の検出に係る処理の一例を示す説明図である。 本実施形態に係る視線の検出に係る処理の一例を示す説明図である。 本実施形態に係る情報処理方法に係る処理の一例を示す説明図である。 実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下では、下記に示す順序で説明を行う。
　　１．本実施形態に係る情報処理方法
　　２．本実施形態に係る情報処理装置
　　３．本実施形態に係るプログラム
（本実施形態に係る情報処理方法）
　本実施形態に係る情報処理装置の構成について説明する前に、まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げて、本実施形態に係る情報処理方法について説明する。
　上述したように、ユーザの頭部に装着されて用いられる装置が用いられる場合には、ユーザの頭部に装着されて用いられる装置の装着位置が物理的にずれること（いわゆる、掛けズレが生じること。以下、装着位置が物理的にずれることを「掛けズレ」と示す場合がある。）などによって、装着状態が変化することが起こりうる。また、例えば特許文献１に記載の技術のような既存の技術を用いたとしても、上記のような装着状態の変化に対応することはできない。
　そこで、本実施形態に係る情報処理装置は、例えば、下記の（１）制御処理、および（２）制御処理を行い、ユーザの頭部に装着されて用いられる装置の装着状態に基づき処理を制御する。本実施形態に係る情報処理装置は、装着状態に基づき処理を制御することによって、上記のような装着状態の変化が生じた場合であっても、装着状態に対応する処理を実現させる。
　本実施形態に係るユーザの頭部に装着されて用いられる装置としては、例えば、アイウェア（例えば、眼鏡型（片眼鏡も含む）の装置）や、ＨＭＤなどが挙げられる。本実施形態に係るユーザの頭部に装着されて用いられる装置は、本実施形態に係る情報処理装置であってもよいし、本実施形態に係る情報処理装置の外部装置であってもよい。
（１）判定処理
　本実施形態に係る情報処理装置は、光源からの光が照射される眼が撮像された撮像画像（以下、単に「撮像画像」と示す場合がある。）から推定される、ユーザの視線に対応する光軸ベクトルと眼球中心位置とに基づいて、ユーザの頭部に装着されて用いられる装置の装着状態を判定する。
　ここで、本実施形態に係る光源としては、例えば、ＩＲ　ＬＥＤ（InfraRed　Light　Emitting　Diode）が挙げられる。なお、本実施形態に係る光源は、ＩＲ　ＬＥＤなどの赤外線の光を出す光源に限られない。例えば、本実施形態に係る光源は、撮像画像から、光源の光が角膜において反射された角膜反射像（「プルキニエ像」とも呼ばれる。）を検出することが可能な任意の波長の光を出す光源であってもよい。角膜反射像は、例えば、ユーザの視線の検出などに用いられる。以下では、本実施形態に係る光源に対応する角膜反射像を、「輝点」と示す場合がある。
　また、本実施形態に係る撮像画像としては、例えば、ユーザの頭部に装着されて用いられる装置が備える撮像デバイスより撮像された撮像画像が挙げられる。また、本実施形態に係る撮像画像は、上記ユーザの頭部に装着されて用いられる装置に接続されている外部の撮像デバイスにより撮像された撮像画像であってもよい。
　本実施形態に係る光源は、例えば、本実施形態に係るユーザの頭部に装着されて用いられる装置が備える光源であってもよいし、本実施形態に係るユーザの頭部に装着されて用いられる装置に接続されている外部の光源であってもよい。
　なお、本実施形態に係る撮像画像は、ユーザの頭部に装着されて用いられる装置が備える撮像デバイス、または、当該ユーザの頭部に装着されて用いられる装置に接続されている外部の撮像デバイスにより撮像された画像に限られない。例えば、本実施形態に係る撮像画像は、光源からの光が照射される眼を撮像することが可能な、任意の撮像デバイスにより撮像された画像であってもよい。また、本実施形態に係る光源は、何らかの装置に備えられる光源であってもよいし、他の装置に依存しない独立の光源であってもよい。本実施形態に係る光源は、例えば、発生させた光がユーザの眼に照射される位置に設けられる。
　以下では、本実施形態に係る撮像画像が、ユーザの頭部に装着されて用いられる装置が備える撮像デバイス（または、当該ユーザの頭部に装着されて用いられる装置に接続されている外部の撮像デバイス）により撮像された画像である場合を主に例に挙げる。以下では、撮像デバイスを「カメラ」と示す場合がある。
　本実施形態に係る判定処理についてより具体的に説明すると、本実施形態に係る情報処理装置は、第１の時点において撮像画像に基づいて推定されたユーザの視線に対応する光軸ベクトルと、第１の時点よりも前の第２の時点において、時系列の複数の撮像画像に基づいて推定された眼球中心位置との距離に基づいて、装着状態を判定する。
　本実施形態に係る光軸ベクトルは、視線に対応するベクトルの一例である。本実施形態に係る光軸ベクトルとしては、例えば、角膜中心位置（角膜中心（角膜曲率中心）の３次元位置）と瞳孔中心位置（瞳孔中心の３次元位置）とを結んだ、眼球の外方向に向かうベクトルが該当する。
　ここで、本実施形態に係るユーザの頭部に装着されて用いられる装置の装着状態が変わらない場合には、光軸ベクトルは変化しない。また、ユーザの眼において、角膜中心位置、瞳孔中心位置、および眼球中心位置（眼球中心の３次元位置）は、一直線上に存在する。
　そこで、本実施形態に係る情報処理装置は、例えば、時刻ｔ（第１の時点の一例）で推定された光軸ベクトルと、時刻ｔ－１までの任意の時点（第２の時点の一例）で推定された眼球中心位置との距離を算出し、算出された距離と閾値とを比較する。
　ここで、本実施形態に係る装着状態の変化の判定に係る閾値は、予め設定されている固定値であってもよいし、ユーザの操作などによって適宜設定することが可能な可変値であってもよい。本実施形態に係る装着状態の変化の判定に係る閾値は、例えば、“ユーザの頭部に装着されて用いられる装置に対応する表示画面における表示位置を、当該装置を装着するユーザが許容できる位置とすることができるか”や、“虹彩認証によりユーザを認証することが可能な位置であるか”という観点で設定される。
　また、ユーザの頭部に装着されて用いられる装置に対応する表示画面としては、例えば、“ユーザの頭部に装着されて用いられる装置が備える、装着時にユーザの視線が向く方向に配置されている表示デバイスの表示画面”や、“ユーザの頭部に装着されて用いられる装置に接続されている、装着時にユーザの視線が向く方向に配置されている表示デバイスの表示画面”が挙げられる。
　本実施形態に係る情報処理装置は、例えば、算出された距離が設定されている閾値以下の場合（または、当該距離が当該閾値より小さい場合）に、掛けズレが生じていないと判定する。また、本実施形態に係る情報処理装置は、算出された距離が設定されている閾値よりも大きい場合（または、当該距離が当該閾値以上である場合）に、掛けズレが生じていると判定する。
　例えば上記のように、算出された距離と閾値とを比較することによって、本実施形態に係る情報処理装置は、ユーザの頭部に装着されて用いられる装置の装着状態を判定することができる。
　また、例えば上記のように、ユーザの頭部に装着されて用いられる装置の装着状態を判定することによって、本実施形態に係る情報処理装置は、装着状態の変化を検出することができる。なお、本実施形態に係る情報処理装置は、例えば、設定されている数の複数フレームで連続して装着状態の変化が生じたと判定された場合に、装着状態の変化を検出することも可能である。
　ここで、本実施形態に係る判定処理において用いられる光軸ベクトルは、例えば、光源の光が角膜において反射された角膜反射像を用いる角膜反射法を利用してユーザの視線に対応するベクトルを推定する、視線の検出に係る処理の一環として推定することが可能である。なお、本実施形態に係る光軸ベクトルは、上記視線の検出に係る処理とは独立した処理によって推定されてもよいことは、言うまでもない。本実施形態に係る光軸ベクトルの推定に係る処理は、本実施形態に係る情報処理装置が行ってもよいし、本実施形態に係る情報処理装置の外部装置において行われてもよい。
　また、本実施形態に係る判定処理において用いられる眼球中心位置は、時系列の複数の撮像画像に基づいて推定される。本実施形態に係る眼球中心位置の推定に係る処理は、本実施形態に係る情報処理装置が行ってもよいし、本実施形態に係る情報処理装置の外部装置において行われてもよい。
　以下、本実施形態に係る判定処理において用いられる光軸ベクトルの推定に係る処理の一例と、本実施形態に係る判定処理において用いられる眼球中心位置の推定に係る処理の一例をそれぞれ示す。また、以下では、本実施形態に係る判定処理において用いられる光軸ベクトルが、視線の検出に係る処理により推定される場合を例に挙げる。
［光軸ベクトルの推定に係る処理の一例］
　まず、本実施形態に係る判定処理において用いられる光軸ベクトルの推定に係る処理の一例を説明する。以下では、光軸ベクトルの推定に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げる。また、以下では、光軸ベクトルの推定に係る処理を含む、視線の検出に係る処理の一例を説明する。
　図１は、本実施形態に係る視線の検出に係る処理の一例を示す説明図であり、角膜反射法を利用した視線の検出に係る処理の一例を示している。
　ここで、図１のＡは、撮像画像の一例を示している。例えば図１のＡに示すように、撮像画像には、瞳孔や、角膜上の輝点（角膜反射像）、輝点のアウトライヤなどが含まれる。図１のＡでは、４つの光源からの光に対応する４つの輝点が、撮像画像に含まれている例を示している。上記輝点のアウトライヤとは、例えば、撮像画像に含まれうる、角膜反射像を得るための上記光源とは別の光源（例えば照明など）の光の映り込みや、眼に装着されているコンタクトレンズの縁での反射などによって、角膜反射像と似た見え方をするものである。
　また、図１のＢ～図１のＨは、図１のＡに示す撮像画像に対して行われる視線の検出に係る処理の一例を示している。図１では、輝点の検出に係る光源の数が、４つである例を示している。
　視線の検出に係る処理は、例えば下記の（ｉ）～（ｖｉｉ）に示す７ステップからなる。
（ｉ）第１のステップ：画像認識による瞳孔検出（図１のＢ）
　本実施形態に係る情報処理装置は、図１のＡに示す撮像画像から瞳孔を検出する。
　本実施形態に係る情報処理装置は、例えば、撮像画像を二値化して瞳孔を含む領域を判定することによって、瞳孔を検出する。なお、撮像画像から瞳孔を検出する方法は、上記に示す例に限られない。例えば、本実施形態に係る情報処理装置は、“ピクセル差分特徴量（例えば、画像上に複数設定された２画素の組み合わせそれぞれの画素値（輝度値）の差分値。以下、同様とする。）と、ブースティング技術とを用いる方法”など、画像から瞳孔を検出することが可能な任意の方法を用いることが可能である。
（ｉｉ）第２のステップ：画像認識による角膜反射像の候補の検出（図１のＣ）
　本実施形態に係る情報処理装置は、例えば“ピクセル差分特徴量と、ブースティング技術とを用いる方法”を用いて、角膜反射像の候補を検出する。
　ここで、上述したように、撮像画像には、角膜反射像と似た見え方をするアウトライヤが存在しうる。そのため、上記のような方法を用いる画像認識によって角膜反射像の候補を検出する場合には、角膜反射像およびアウトレイヤが、角膜反射像の候補として検出されうる。
（ｉｉｉ）第３のステップ：角膜反射像の検出（図１のＤ）
　本実施形態に係る情報処理装置は、例えば、撮像画像から特定される瞳孔の位置（以下、「瞳孔の見えの位置」と示す。）に基づいて角膜反射像（輝点）の存在範囲を設定し、当該存在範囲内に存在する角膜反射像の候補の中から、光源の数である４つ以下の数の角膜反射像の候補を選択することによって、角膜反射像を検出する。また、本実施形態に係る情報処理装置は、例えば、機械学習などを用いて構築した角膜反射像検出器のスコアに基づいて、光源の数である４つ以下の数の角膜反射像の候補を選択することによって、角膜反射像を検出することも可能である。
　なお、本実施形態に係る角膜反射像の検出方法は、上記に限られない。
　例えば、本実施形態に係る角膜反射像は、下記の（ａ）～（ｄ）に示す処理が行われることによって、検出されてもよい。
（ａ）眼球中心位置の推定
　本実施形態に係る情報処理装置は、時系列の複数の撮像画像に基づいて、眼球中心位置を推定する。
　本実施形態に係る時系列の複数の撮像画像としては、例えば、動画像を構成するフレーム画像（静止画像）が挙げられる。以下では、フレーム画像を単に「フレーム」と示す場合がある。
　角膜反射法が用いられる場合には、角膜反射像と瞳孔の画像上の観測位置から、角膜曲率中心と瞳孔中心の３次元位置が求められるが、角膜反射法では、眼球中心の３次元位置を直接推定することができない。
　そこで、本実施形態に係る情報処理装置は、時系列の撮像画像を利用して、複数の撮像画像それぞれに基づき得られる各時点における光軸ベクトルの交点を、眼球中心位置として推定する。
　各時点における光軸ベクトルは、例えば図１を参照して示す、後述する処理により推定される。また、例えば、推定された光軸ベクトルのアウトライヤを除くことによって、アウトライヤの影響による眼球中心位置の推定精度の低下を防止することが可能である。
　図２は、本実施形態に係る視線の検出に係る処理の一例を示す説明図であり、眼球中心位置の推定に係る処理の概要を示している。
　図２に示すように、誤差などの影響により正確には光軸ベクトルは、１点で交わらない。そこで、本実施形態に係る情報処理装置は、複数の光軸ベクトルの最近傍点を眼球中心位置とする。
　ここで、本実施形態に係るユーザの頭部に装着されて用いられる装置が、例えば眼鏡型ウェアラブル装置などのアイウェアであり、撮像デバイスが当該ユーザの頭部に装着されて用いられる装置に固定されている場合には、“当該ユーザの頭部に装着されて用いられる装置の掛けズレ（当該ユーザの頭部に装着されて用いられる装置の装着状態の変化の一例）が起きない限り、眼球中心位置は撮像デバイスに対して固定される”と仮定することができる。
　図３は、本実施形態に係る視線の検出に係る処理の一例を示す説明図であり、眼球中心位置の推定に係る処理の概要を示している。図３では、撮像デバイスの位置を「カメラ中心」と表しており、当該カメラ中心を原点としている例を示している。以下では、便宜上、ベクトルを“ｘ→”と標記する場合がある。
　図３に示すように、角膜中心位置を“ｃ→”、光軸ベクトルを“ｄ→”、求めたい眼球中心位置を“ｐ→”とする。ｉ番目（ｉは、正の整数。）の光軸ベクトル上の点Ｌｉは、例えば下記の数式１で表される。ここで、数式１に示す“ｔｉ”は、補助変数である。
Figure JPOXMLDOC01-appb-M000001
　また、眼球中心位置と光軸ベクトル上の点Ｌｉとの距離は、下記の数式２で表される。
Figure JPOXMLDOC01-appb-M000002
　よって、本実施形態に係る情報処理装置は、例えば全てのｉに対して、点Ｌｉとの距離の二乗和を最小にする点を求め、求められた点を眼球中心位置とする。具体的には、本実施形態に係る情報処理装置は、例えば下記の数式３に示すｎ＋１個（ｎは、正の整数）の連立方程式を解きｐの値を求めることによって、眼球中心位置を推定する。ここで、下記の数式３に示す“Ｆ”は、例えば下記の数式４で表される。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
（ｂ）角膜中心位置の推定
　本実施形態に係る情報処理装置は、上記（ａ）の処理により推定された眼球中心位置に基づいて、角膜中心位置を推定する。
　具体的には、本実施形態に係る情報処理装置は、例えば下記の（ｂ－１）および（ｂ－２）の処理を行うことによって、角膜中心位置を推定する。
（ｂ－１）瞳孔中心位置の推定
　本実施形態に係る情報処理装置は、上記（ａ）の処理により推定された眼球中心位置に基づいて瞳孔中心位置を推定する。ここで、（ｂ－１）の処理の原理は、後述する（ｖ）に示す第５のステップの処理と同様である。
　図４は、本実施形態に係る視線の検出に係る処理の一例を示す説明図であり、瞳孔中心位置の推定に係る処理の概要を示している。
　図４のＡは、眼球中心位置を中心とし、半径をｒ＋Ｍとする球を示している。ここで、ｒは、角膜半径であり、Ｍは、眼球中心－角膜中心間の距離である（以下、他の図の説明においても同様とする。）。また、図４に示すＬは、角膜中心－瞳孔中心間の距離である（以下、他の図の説明においても同様とする。）。角膜半径ｒ、眼球中心－角膜中心間の距離Ｍ、および角膜中心－瞳孔中心間の距離Ｌは、それぞれ本実施形態に係る眼に関する情報の一例に該当する。
　ここで、角膜半径ｒ、および角膜中心－瞳孔中心間の距離Ｌとしては、例えば、設定された固定値が挙げられる。また、眼球中心－角膜中心間の距離Ｍは、例えば、上記（ａ）の処理により推定された眼球中心位置に基づいて、推定された値であってもよいし、設定された固定値であってもよい。なお、眼球中心－角膜中心間の距離Ｍの推定は、上記（ａ）の処理において眼球中心位置が推定された後の任意のタイミングで行うことが可能である。
　本実施形態に係る情報処理装置は、例えば、瞳孔が図４のＡに示す球面上で屈折していると仮定し、スネルの法則を用いて瞳孔中心の３次元位置を算出する。
（ｂ－２）角膜中心位置の推定
　本実施形態に係る情報処理装置は、例えば、上記（ａ）の処理により推定された眼球中心位置と、上記（ｂ－１）の処理により推定された瞳孔中心位置を結ぶ線分上の位置を、角膜中心位置として推定する。
　図５は、本実施形態に係る視線の検出に係る処理の一例を示す説明図であり、角膜中心位置の推定に係る処理の概要を示している。
　本実施形態に係る情報処理装置は、例えば、角膜中心－瞳孔中心間の距離Ｌ（眼に関する情報の一例）、および眼球中心－角膜中心間の距離Ｍ（眼に関する情報の一例）に基づいて、推定された瞳孔中心位置と推定された眼球中心位置とを結ぶ線分を、Ｌ：Ｍに分割する点（ｘ，ｙ，ｚ）を、角膜中心位置として推定する。
（ｃ）角膜反射像の候補位置の推定
　本実施形態に係る情報処理装置は、上記（ｂ）の処理により推定された角膜中心位置に基づいて、角膜反射像の候補位置を推定する。以下では、角膜反射像の候補位置を「輝点候補位置」と示す場合がある。
　本実施形態に係る情報処理装置は、例えば、推定された角膜中心位置、眼に関する情報、および光源の位置に基づいて、角膜反射像の候補位置を推定する。
　図６は、本実施形態に係る視線の検出に係る処理の一例を示す説明図であり、角膜反射像の候補位置の推定に係る処理の概要を示している。
　本実施形態に係る情報処理装置は、例えば、推定された角膜中心位置、角膜半径ｒ（眼に関する情報の一例）、および撮像デバイスに対するＩＲ　ＬＥＤの配置を示すデータ（光源の位置を示す情報の一例）に基づき、反射の法則を利用して、光源の光の反射位置（ｘ，ｙ，ｚ）を求める。そして、本実施形態に係る情報処理装置は、求めた反射位置（ｘ，ｙ，ｚ）を、画像平面に投影することによって、角膜反射像の候補位置（例えば、（ｕ，ｖ）座標で表される位置）を推定する。
　角膜反射像の候補位置の推定に係る処理について、より具体的に説明する。
　図７は、本実施形態に係る視線の検出に係る処理の一例を示す説明図であり、角膜反射像の候補位置の推定に係る処理の概要を示している。図７に示すＯ（０，０）は、カメラ中心を示しており、図７に示すＬは、一のＩＲ　ＬＥＤ（光源の一例）の位置を示している。また、図７に示すＣ（ｃｘ，ｃｙ）は、眼球中心位置を示しており、図７に示すＧ（ｇｘ，ｇｚ）は、輝点の位置を示している。
　球面反射の法則により、カメラ中心、輝点、ＩＲ　ＬＥＤ、および眼球中心は同一平面上に存在する。例えば図７に示すように、上記平面上において、カメラ中心と、ＩＲ　ＬＥＤの位置とを通る方向にｘ軸をとり、ｘ軸に直交し、眼球中心位置に近い方向にｚ軸をとる。
　ここで、ＩＲ　ＬＥＤの光（光源の光の一例）の入射角と反射角は等しいので、θ＝∠ＯＧＮ＝∠ＬＧＮとなる。また、Ｇ（ｇｘ，ｇｚ）は、眼球中心Ｃ（ｃｘ，ｃｙ）を中心とし、半径ｒ＋Ｍの円周上の点である。
　本実施形態に係る情報処理装置は、例えば、下記の数式５に示す非線形連立方程式をｇｘ、ｇｙについて解き、カメラ座標系における輝点（角膜反射像）の方向ベクトルに換算することによって、角膜反射像の候補位置（ｕ，ｖ）を求める。
Figure JPOXMLDOC01-appb-M000005
（ｄ）角膜反射像の検出
　本実施形態に係る情報処理装置は、上記（ｃ）の処理により推定された角膜反射像の候補位置に基づいて、撮像画像から角膜反射像を検出する。
　図８は、本実施形態に係る視線の検出に係る処理の一例を示す説明図であり、角膜反射像の検出に係る処理の概要を示している。
　本実施形態に係る情報処理装置は、例えば、“上記（ｉｉ）に示す第２のステップに係る処理によって画像認識により検出された角膜反射像の候補位置と、上記（ｃ）の処理により推定された角膜反射像の候補位置との距離”や、“複数のＩＲ　ＬＥＤ間の位置関係に対応する角膜反射像間のｕ方向、ｖ方向の傾き”などを、拘束条件とすることによって、撮像画像から角膜反射像を検出する。
　本実施形態に係る情報処理装置は、上記（ｉｉｉ）に示す第３のステップに係る処理において、例えば上記（ａ）～（ｄ）に示す処理を行うことによって、撮像画像から角膜反射像を検出することも可能である。
　ここで、上記（ａ）～（ｄ）に示す処理が行われることによって、上記（ｉｉｉ）に示す第３のステップに係る処理において示した処理が行われる場合よりも、角膜反射像を検出するための角膜反射像の存在範囲を大幅に縮小することができる。
　よって、上記（ｉｉｉ）に示す第３のステップにおいて上記（ａ）～（ｄ）に示す処理が行われる場合には、上述した（ｉｉｉ）に示す第３のステップに係る処理が行われる場合よりも、撮像画像から角膜反射像をより精度よく検出することができる。
　また、上記（ｉｉｉ）に示す第３のステップにおいて上記（ａ）～（ｄ）に示す処理により検出された角膜反射像を用いて、後述する（ｉｖ）～（ｖｉｉ）に示す各処理が行われることによって、上述した（ｉｉｉ）に示す第３のステップに係る処理が行われる場合よりも、視線に対応するベクトル（光軸ベクトル、または、光軸ベクトルが補正された視線ベクトル）の推定精度を、より高めることができる。
（ｉｖ）第４のステップ：角膜反射像の位置を利用した角膜中心位置（３次元位置）の推定（図１のＥ）
　本実施形態に係る情報処理装置は、例えば、検出された複数の角膜反射像の位置（ｕ,ｖ座標）、光源の位置、および角膜半径（角膜曲率半径）などの眼に関する情報（データ）に基づいて、角膜中心位置を推定する。
　ここで、角膜曲率半径や、後述する他の情報（例えば、眼球中心－角膜中心間の距離や、角膜中心－瞳孔中心間の距離などの眼に関連する値を示すデータ）などの本実施形態に係る眼に関する情報が示す値は、例えば、予め設定されている固定値である。本実施形態に係る眼に関する情報が示す値は、ユーザごとに固有の値であってもよいし、複数のユーザの固有の値を用いて標準化された値であってもよい。本実施形態に係る眼に関する情報が示す値がユーザごとに固有の値である場合には、例えば、生体認証やパスワード認証など、ユーザを認証することが可能な任意の方法により特定されたユーザに対応する眼に関する情報が、用いられる。
（ｖ）第５のステップ：瞳孔中心位置（３次元位置）の推定（図１のＦ）
　本実施形態に係る情報処理装置は、例えば、上記（ｉｖ）に示す第４のステップにおいて推定された角膜中心位置や、角膜中心－瞳孔中心間の距離Ｌや角膜半径ｒなどの眼に関する情報、および屈折の法則を用いて、瞳孔中心位置を推定する。本実施形態に係る情報処理装置は、例えば上記（ｂ－１）の処理（瞳孔中心位置の推定）と同様の原理を利用して、瞳孔中心位置を推定する。
（ｖｉ）第６のステップ：光軸ベクトルの推定（図１のＧ）
　本実施形態に係る情報処理装置は、例えば、上記（ｉｖ）に示す第４のステップにおいて推定された角膜中心位置と、上記（ｖ）に示す第５のステップにおいて推定された瞳孔中心位置を用いて、光軸ベクトル（視線に対応するベクトルの一例）を推定する。
　本実施形態に係る情報処理装置は、例えば、角膜中心位置と瞳孔中心位置とを結んだ、眼球の外方向に向かうベクトルを、光軸ベクトルとする。
（ｖｉｉ）第７のステップ：視線ベクトルの推定（図１のＨ）
　視線を示すベクトルである視線ベクトル（視線に対応するベクトルの一例）は、眼の中心窩と角膜中心とを結んだベクトルである。また、図１のＨに示すように、視線ベクトルと光軸ベクトルとには、ずれが生じうる。
　本実施形態に係る情報処理装置は、例えば、キャリブレーションにより得られたオフセット値を利用して、上記（ｖｉ）に示す第６のステップにおいて推定された光軸ベクトルを補正することによって、視線ベクトルを推定する。なお、本実施形態に係るオフセット値は、例えば、予め設定される固定値であってもよい。
　例えば、上記（ｉ）に示す第１ステップに係る処理～上記（ｖｉｉ）に示す第７ステップに係る処理によって、視線に対応するベクトルである光軸ベクトルおよび視線ベクトルが推定される。
［眼球中心位置の推定に係る処理の一例］
　次に、本実施形態に係る判定処理において用いられる眼球中心位置の推定に係る処理の一例を説明する。以下では、眼球中心位置の推定に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げる。
　本実施形態に係る情報処理装置は、例えば、上記（ａ）に示す処理（眼球中心位置の推定）によって、眼球中心位置を推定する。
　ここで、上記（ａ）に示す処理（眼球中心位置の推定）は、視線の検出に係る処理の一環として行われてもよいし、視線の検出に係る処理とは独立した処理として行われてもよい。
　本実施形態に係る判定処理において用いられる光軸ベクトルと眼球中心位置とは、例えば上記のような処理によって推定される。
　また、上述したように、本実施形態に係る情報処理装置は、例えば、第１の時点において推定される光軸ベクトル、および第１の時点よりも前の第２の時点において推定された眼球中心位置の距離と、閾値との比較結果に基づいて、装着状態を判定する。
　図９は、本実施形態に係る情報処理方法に係る処理の一例を示す説明図である。図９は、本実施形態に係る情報処理装置が、図１を参照して示したような視線の検出に係る処理と共に、本実施形態に係る判定処理を行う例を示している。ここで、図９に示す“掛けズレ検出”が、本実施形態に係る判定処理の一例に該当する。また、図９では、光軸ベクトル、および視線ベクトルを、総称して「眼軸ベクトル」と示している。
　図９に示す時刻ｔでは、本実施形態に係る情報処理装置は、上記（ｉ）に示す第１ステップに係る処理～上記（ｖｉｉ）に示す第７ステップに係る処理を行う。ここで、時刻ｔでは、図９に示すように、本実施形態に係る情報処理装置は、本実施形態に係る判定処理を行わない。
　図９に示す時刻ｔ＋１、ｔ＋２では、本実施形態に係る情報処理装置は、基本的に上記（ｉ）に示す第１ステップに係る処理～上記（ｖｉｉ）に示す第７ステップに係る処理を行うが、上記（ｉｉｉ）に示す第３ステップでは、上記（ａ）に示す処理（眼球中心位置の推定）～上記（ｄ）に示す処理（角膜反射像の検出）を行う。
　また、図９に示す時刻ｔ＋１、ｔ＋２では、図９において“掛けズレ検出”と示されているように、本実施形態に係る判定処理が行われる。ここで、本実施形態に係る判定処理によって装着状態の変化が検出された場合には、本実施形態に係る情報処理装置は、例えば、図９に示す時刻ｔからの処理を再度行う。
　本実施形態に係る情報処理装置は、例えば、各時刻において図９に示すような処理を行うことによって、ユーザの頭部に装着されて用いられる装置の装着状態を判定する。
　なお、上述したように、本実施形態に係る光軸ベクトルの推定に係る処理、および本実施形態に係る眼球中心位置の推定に係る処理それぞれは、本実施形態に係る情報処理装置が行ってもよいし、本実施形態に係る情報処理装置の外部装置において行われてもよい。本実施形態に係る光軸ベクトルの推定に係る処理、および本実施形態に係る眼球中心位置の推定に係る処理が、外部装置において行われる場合には、本実施形態に係る情報処理装置は、当該外部装置から取得される推定結果を用いて、本実施形態に係る判定処理を行う。
（２）制御処理
　本実施形態に係る情報処理装置は、上記（１）の処理（判定処理）において判定されたユーザの頭部に装着されて用いられる装置の装着状態に対応する処理を、行わせる。本実施形態に係る情報処理装置は、例えば、装着状態に対応する処理を行わせる対象に対して、処理命令や処理命令に対応する処理の処理データなどを含む制御情報（データ）を送信することによって、当該装着状態に対応する処理を行わせる対象に装着状態に対応する処理を行わせる。
　ここで、本実施形態に係る装着状態に対応する処理を行わせる対象としては、ユーザの頭部に装着されて用いられる装置が挙げられる。
　なお、本実施形態に係る情報処理装置が装着状態に対応する処理を行わせる対象は、ユーザの頭部に装着されて用いられる装置に限られない。
　例えば、ユーザの頭部に装着されて用いられる装置を装着しているユーザに対応付けられている装置など、ユーザの頭部に装着されて用いられる装置の外部装置であってもよい。ユーザの頭部に装着されて用いられる装置を装着しているユーザの認証が行われる場合には、本実施形態に係る情報処理装置は、例えば、“ユーザを示す情報（例えば、ユーザＩＤなどのデータ）と、装着状態に対応する処理を行わせる対象の装置に関する情報（例えば、装置ＩＤや、通信を行うためのアドレスなどのデータ）とが対応付けられているテーブル（またはデータベース）”を用いて、認証されたユーザを示す情報に対応する装置を特定する。そして、本実施形態に係る情報処理装置は、特定された装置を、装着状態に対応する処理を行わせる対象とする。
（２－１）制御処理の第１の例
　本実施形態に係る情報処理装置は、ユーザの頭部に装着されて用いられる装置の装着状態の変化が検出された場合に、ユーザの頭部に装着されて用いられる装置に対応する表示画面における表示位置を制御する。
　より具体的には、本実施形態に係る情報処理装置は、例えば、装着状態の変化が検出された場合には、例えば、ユーザの頭部に装着されて用いられる装置に対応する表示画面における表示位置を、光軸ベクトルに対応する表示位置とさせる。
　ここで、ユーザの頭部に装着されて用いられる装置に対応する表示画面としては、例えば、“ユーザの頭部に装着されて用いられる装置が備える、当該装置の装着時にユーザの視線が向く方向に配置されている表示デバイスの表示画面”や、“ユーザの頭部に装着されて用いられる装置に接続されている、当該装置の装着時にユーザの視線が向く方向に配置されている表示デバイスの表示画面”が挙げられる。
　また、本実施形態に係る光軸ベクトルに対応する表示位置としては、例えば、“ユーザの頭部に装着されて用いられる装置に対応する表示画面における、光軸ベクトルが補正された視線ベクトルと当該表示画面との交点の位置を、表示が行われる表示領域の中心位置とする表示位置”が、挙げられる。また、本実施形態に係る光軸ベクトルに対応する表示位置は、例えば、“ユーザの頭部に装着されて用いられる装置に対応する表示画面における、光軸ベクトルと当該表示画面との交点の位置を、表示が行われる表示領域の中心位置とする表示位置”であってもよい。
　図１０、図１１は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図１０に示すＡ、および図１１に示すＡは、掛けズレが生じていない場合を示しており、図１０に示すＢ、および図１１に示すＢは、掛けズレが生じた場合を示している。また、図１０、図１１は、ユーザの頭部に装着されて用いられる装置が、アイウェアである例を示している。
　掛けズレが生じた場合（装着状態の変化の一例）には、図１０のＡ、Ｂに示すように、画像や文字などを表示させることが可能な表示可能領域の位置が、掛けズレによって変化する。そこで、本実施形態に係る情報処理装置は、掛けズレが生じた場合には、図１１のＢに示すように、表示領域を、光軸ベクトルに対応する表示位置に設定させる。
　例えば図１１のＢに示すように、表示領域が光軸ベクトルに対応する表示位置に設定されることによって、掛けズレが生じた場合においても、ユーザの頭部に装着されて用いられる装置を装着しているユーザは、図１１のＡに示す掛けズレが生じていない場合と同様に、表示領域に表示されている内容を見ることができる。
　また、例えば、図１０のＢに示す掛けズレが生じている状態から、図１０のＡに示す掛けズレが生じていない状態に変化した場合（装着状態の変化の一例）には、本実施形態に係る情報処理装置は、図１１のＡに示すように、表示領域を、光軸ベクトルに対応する表示位置に設定させる。よって、上記の場合においても、ユーザの頭部に装着されて用いられる装置を装着しているユーザは、図１１のＢに示す掛けズレが生じていた場合と同様に、表示領域に表示されている内容を見ることができる。
　例えば図１１に示すように、第１の例に係る制御処理が行われることによって、表示位置が自動的に調整される。よって、第１の例に係る制御処理が行われることによって、表示位置の最適化の実現を図ることができ、また、ユーザの頭部に装着されて用いられる装置を装着しているユーザの利便性を向上させることができる。
（２－２）制御処理の第２の例
　本実施形態に係る情報処理装置は、装着状態の変化が検出されたことを通知させる。
　本実施形態に係る情報処理装置は、例えば、文字や画像を表示させることによる視覚的な通知を表示デバイスに行わせることや、音声（音楽も含む。）を出力させることによる聴覚的な通知を音声出力デバイスに行わせることによって、装着状態の変化が検出されたことをユーザに対して通知させる。本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理装置が備える通信部（後述する）や外部の通信デバイスに、制御信号や通知に係るデータを、表示デバイスや音声出力デバイスに対して送信させることによって、装着状態の変化が検出されたことをユーザに対して通知させる。
　第２の例に係る制御処理が行われることにより、例えば、“掛けズレが生じることによって、ユーザの頭部に装着されて用いられる装置に対応する表示画面における表示位置を、当該装置を装着するユーザが許容できる位置とすることができなくなった場合”や、“掛けズレが生じることによって、虹彩認証によりユーザを認証することができなくなった場合”などに、ユーザの頭部に装着されて用いられる装置の装着し直しを、ユーザに促すことができる。
　なお、第２の例に係る制御処理に係る通知の内容は、装着状態の変化が検出されたことを通知することに限られず、例えば、ユーザの頭部に装着されて用いられる装置の装着し直しを直接的にユーザに促す通知など、掛けズレに関する他の通知内容が含まれていてもよい。
（２－３）制御処理の第３の例
　本実施形態に係る情報処理装置は、ユーザの頭部に装着されて用いられる装置の装着状態の変化の検出頻度に応じて、ユーザの頭部に装着されて用いられる装置に対応する表示画面における表示位置を制御する。
　より具体的には、本実施形態に係る情報処理装置は、例えば、装着状態の変化の検出頻度に応じて、ユーザの頭部に装着されて用いられる装置に対応する表示画面への表示のさせ方を変えさせる。
　例えば、ユーザの頭部に装着されて用いられる装置を装着しているユーザが、運動をしているときや、乗り物に乗車しているときなどには、頻繁に掛けズレが発生しうる。本実施形態に係る情報処理装置は、例えば、装着状態の変化の検出頻度を示す値（例えば、装着状態の変化の検出回数を示す値）が、設定されている当該頻度に係る閾値以上となったとき（または、当該検出頻度が当該閾値より大きくなったとき）に、頻繁に掛けズレが発生している状況であると判定する。本実施形態に係る装着状態の変化の検出頻度に係る閾値は、予め設定されている固定値であってもよいし、ユーザの操作などによって適宜設定することが可能な可変値であってもよい。
　そして、頻繁に掛けズレが発生している状況であると判定した場合には、本実施形態に係る情報処理装置は、オブジェクトにぴったりと画像や文字などを重畳させるような表示方法ではなく、画像や文字などの表示位置がオブジェクトからずれてもユーザが気にならない表示方法によって、ユーザの頭部に装着されて用いられる装置に対応する表示画面に、画像や文字などを表示させる。ここで、本実施形態に係る画像や文字などの表示位置がオブジェクトからずれてもユーザが気にならない表示方法に係る表示としては、例えば、オブジェクトの上部などに緩やかに位置合わせをして画像や文字を表示させることや、オブジェクトの位置とは連動させずに表示画面の端などに表示させることなどが挙げられる。
　第３の例に係る制御処理が行われる場合には、例えば、頻繁に掛けズレが発生している状況に対応する表示（例えば、当該状況において、ユーザの頭部に装着されて用いられる装置に対応する表示画面へのより環境とのずれがユーザに認識され難い表示方法による表示など）を、実現させることが可能となる。よって、第３の例に係る制御処理が行われることによって、ユーザの利便性の向上を図ることができる。
（２－４）制御処理の第４の例
　本実施形態に係る情報処理装置は、上記（１）の処理（判定処理）において判定された、ユーザの頭部に装着されて用いられる装置の装着状態に対応するユーザの視線の検出に係る処理を行わせる。
　例えば、角膜反射法には、図１を参照して示したような眼の３次元モデルを利用する“３次元モデル利用法”と、“２Ｄ　Ｍａｐｐｉｎｇ法”とが存在する。ここで、“３次元モデル利用法”と“２Ｄ　Ｍａｐｐｉｎｇ法”とを比較すると、“３次元モデル利用法”の方が、掛けズレが発生した場合においてより精度よく視線を推定することが可能である。また、“３次元モデル利用法”と“２Ｄ　Ｍａｐｐｉｎｇ法”とを比較すると、“２Ｄ　Ｍａｐｐｉｎｇ法”の方が処理負荷が小さい。
　そこで、本実施形態に係る情報処理装置は、判定された装着状態に応じて、“３次元モデル利用法”を利用したユーザの視線の検出に係る処理と、“２Ｄ　Ｍａｐｐｉｎｇ法”を利用したユーザの視線の検出に係る処理とを切り替えさせることによって、装着状態に対応するユーザの視線の検出に係る処理を行わせる。例えば、本実施形態に係る情報処理装置は、掛けズレが発生していない場合には、“２Ｄ　Ｍａｐｐｉｎｇ法”を利用したユーザの視線の検出に係る処理を行わせ、掛けズレが発生した場合には、“３次元モデル利用法”を利用したユーザの視線の検出に係る処理を行わせる。
　第４の例に係る制御処理が行われることにより、例えば、ユーザの視線の検出に係る処理に係る処理負荷の低減と視線の検出精度の向上とを図ることが可能となる。
（２－５）制御処理の第５の例
　本実施形態に係る情報処理装置は、上記（２－１）に示す第１の例に係る制御処理～上記（２－４）に示す第４の例に係る制御処理のうちの２以上を組み合わせた処理を、行うことも可能である。
　本実施形態に係る情報処理装置は、例えば上記（２－１）に示す第１の例に係る制御処理～上記（２－５）に示す第５の例に係る制御処理を行うことによって、ユーザの頭部に装着されて用いられる装置の装着状態に対応する処理を行わせる。
　本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理方法に係る処理として、例えば、上記（１）の処理（判定処理）、および上記（２）の処理（制御処理）を行う。
　なお、本実施形態に係る情報処理方法に係る処理は、上記（１）の処理（判定処理）、および上記（２）の処理（制御処理）に限られない。
　例えば、上述したように、本実施形態に係る情報処理装置は、光軸ベクトルと眼球中心位置とを推定する処理（推定処理）を、さらに行うことも可能である。
　本実施形態に係る情報処理装置が上記推定処理をさらに行う場合には、本実施形態に係る情報処理装置は、例えば、上記（１）の処理（判定処理）において、上記推定処理において推定された光軸ベクトルと眼球中心位置との距離に基づいて、ユーザの頭部に装着されて用いられる装置の装着状態を判定する。なお、本実施形態に係る情報処理装置が上記推定処理をさらに行う場合においても、本実施形態に係る情報処理装置は、外部装置において推定された光軸ベクトルと眼球中心位置との一方または双方を用いて、上記（１）の処理（判定処理）を行うことが可能であることは、言うまでもない。
　なお、“上記（１）の処理（判定処理）、および上記（２）の処理（制御処理）”や、“上記（１）の処理（判定処理）、上記（２）の処理（制御処理）、および上記推定処理”は、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る処理は、例えば、“上記（１）の処理（判定処理）、および上記（２）の処理（制御処理）”や、“上記（１）の処理（判定処理）、上記（２）の処理（制御処理）、および上記推定処理”それぞれを、１つの処理と捉えることが可能である。また、本実施形態に係る情報処理方法に係る処理は、例えば、“上記（１）の処理（判定処理）、および上記（２）の処理（制御処理）”や、“上記（１）の処理（判定処理）、上記（２）の処理（制御処理）、および上記推定処理”それぞれを、（任意の切り分け方によって）２以上の処理と捉えることも可能である。
（本実施形態に係る情報処理装置）
　次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な本実施形態に係る情報処理装置の構成の一例について説明する。
　図１２は、本実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。情報処理装置１００は、例えば、撮像部１０２と、制御部１０４とを備える。
　また、情報処理装置１００は、例えば、ＲＯＭ（Read　Only　Memory。図示せず）や、ＲＡＭ（Random　Access　Memory。図示せず）、記憶部（図示せず）、外部装置と無線または有線で通信を行うための通信部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。情報処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
　ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。
　記憶部（図示せず）は、情報処理装置１００が備える記憶手段であり、例えば、眼に関する情報などのユーザの視線の検出に係る処理に用いられるデータや、撮像画像を示す画像データ、アプリケーションなど様々なデータを記憶する。記憶部（図示せず）には、例えば、角膜半径や、眼球中心－角膜中心間の距離、角膜中心－瞳孔中心間の距離などの眼に関する情報が、ユーザごとに記憶される。また、記憶部（図示せず）には、例えば、角膜反射像や瞳孔の検出用の辞書データが記憶されていてもよい。
　ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard　Disk）などの磁気記録媒体や、フラッシュメモリ（flash　memory）などの不揮発性メモリ（nonvolatile　memory）などが挙げられる。また、記憶部（図示せず）は、情報処理装置１００から着脱可能であってもよい。
　通信部（図示せず）としては、例えば後述する通信インタフェースが挙げられる。また、操作部（図示せず）としては、例えば後述する操作入力デバイスが挙げられ、表示部（図示せず）としては、例えば後述する表示デバイスが挙げられる。
［情報処理装置１００のハードウェア構成例］
　図１３は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示す説明図である。情報処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４と、撮像デバイス１６６と、ＩＲ　ＬＥＤ１６８とを備える。また、情報処理装置１００は、例えば、データの伝送路としてのバス１７０で各構成要素間を接続する。
　ＭＰＵ１５０は、例えば、ＭＰＵ（Micro　Processing　Unit）などの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、情報処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、情報処理装置１００において、例えば、後述する推定部１１０、判定部１１２、および処理制御部１１４の役目を果たす。
　ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
　記録媒体１５６は、記憶部（図示せず）として機能し、例えば、眼に関する情報などのユーザの視線の検出に係る処理に用いられるデータや、撮像画像を示す画像データ、アプリケーションなど様々なデータを記憶する。
　記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記録媒体１５６は、情報処理装置１００から着脱可能であってもよい。
　入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal　Serial　Bus）端子や、ＤＶＩ（Digital　Visual　Interface）端子、ＨＤＭＩ（High-Definition　Multimedia　Interface）（登録商標）端子、各種処理回路などが挙げられる。
　操作入力デバイス１６０は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。
　表示デバイス１６２は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid　Crystal　Display）や有機ＥＬディスプレイ（Organic　Electro-Luminescence　Display。または、ＯＬＥＤディスプレイ（Organic　Light　Emitting　Diode　Display）ともよばれる。）などが挙げられる。
　なお、入出力インタフェース１５８が、情報処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や表示デバイス、撮像デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１６２は、例えばタッチデバイスなど、表示とユーザ操作とが可能なデバイスであってもよい。
　通信インタフェース１６４は、情報処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部の撮像装置や外部の表示装置、外部の本実施形態に係るユーザの頭部に装着されて用いられる装置などの外部装置（または、外部デバイス）と、無線または有線で通信を行うための通信部（図示せず）として機能する。通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio　Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local　Area　Network）端子および送受信回路（有線通信）などが挙げられる。また、通信部（図示せず）は、ＵＳＢ（Universal　Serial　Bus）端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成であってもよい。
　また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide　Area　Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ：Wireless　Local　Area　Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ：Wireless　Wide　Area　Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission　Control　Protocol/Internet　Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
　撮像デバイス１６６は、情報処理装置１００が備える撮像手段であり、撮像により画像（撮像画像）を生成する撮像部１０２として機能する。撮像デバイス１６６は、例えば、ユーザの片目ごとに、またはユーザの両目を撮像する、１または２以上の撮像デバイスで構成される。また、撮像デバイス１６６は、例えば、ＩＲ　ＬＥＤなどの光源からの光が照射される眼を撮像することが可能な位置に設けられる。
　撮像デバイス１６６を備える場合、情報処理装置１００では、例えば、撮像デバイス１６６において撮像により生成された撮像画像に基づいて、本実施形態に係る情報処理方法に係る処理を行うことが可能となる。
　撮像デバイス１６６は、例えば、レンズ／撮像素子と信号処理回路とを含んで構成される。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、ＡＧＣ（Automatic　Gain　Control）回路やＡＤＣ（Analog　to　Digital　Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路は、例えばＲＡＷ現像に係る各種処理を行う。さらに、信号処理回路は、例えば、Ｗｈｉｔｅ　Ｂａｌａｎｃｅ補正処理や、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理など各種信号処理を行ってもよい。
　ＩＲ　ＬＥＤ１６８は、情報処理装置１００が備える光源であり、複数のＩＲ　ＬＥＤで構成される。ＩＲ　ＬＥＤ１６８は、例えば、光がユーザの眼に照射される位置に設けられる。なお、上述したように、情報処理装置１００が備える光源がＩＲ　ＬＥＤに限られないことは、言うまでもない。
　情報処理装置１００は、例えば図１３に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置１００のハードウェア構成は、図１３に示す構成に限られない。
　例えば、外部の本実施形態に係るユーザの頭部に装着されて用いられる装置から取得された、本実施形態に係る撮像画像を処理する場合などには、情報処理装置１００は、撮像デバイス１６６とＩＲ　ＬＥＤ１６８との一方または双方を備えない構成をとることが可能である。
　また、情報処理装置１００は、例えば、スタンドアロンで処理を行う構成である場合には、通信インタフェース１６４を備えていなくてもよい。また、情報処理装置１００は、記録媒体１５６や、操作入力デバイス１６０、表示デバイス１６２を備えない構成をとることも可能である。
　再度、図１２を参照して、本実施形態に係る情報処理装置１００の構成の一例について説明する。撮像部１０２は、光源からの光が照射される眼が撮像された撮像画像（本実施形態に撮像画像）を生成する。撮像部１０２としては、例えば撮像デバイス１６６が挙げられる。
　制御部１０４は、例えばＭＰＵなどで構成され、情報処理装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば、推定部１１０と、判定部１１２と、処理制御部１１４とを備え、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。ここで、図１２では、制御部１０４が、上記（１）の処理（判定処理）、上記（２）の処理（制御処理）、および上記推定処理を、本実施形態に係る情報処理方法に係る処理として行う場合の構成の一例を示している。
　推定部１１０は、上記推定処理を主導的に行う役目を果たし、撮像画像に基づいて光軸ベクトルと眼球中心位置とを推定する。推定部１１０は、例えば図１を参照して示した処理によって、光軸ベクトルを推定し、また、上記（ａ）に示す処理（眼球中心位置の推定）によって、眼球中心位置を推定する。
　判定部１１２は、上記（１）の処理（判定処理）を主導的に行う役目を果たし、第１の時点において推定された光軸ベクトルと、第１の時点よりも前の第２の時点において推定された眼球中心位置との距離に基づいて、ユーザの頭部に装着されて用いられる装置の装着状態を判定する。判定部１１２は、例えば、上記光軸ベクトルと眼球中心位置との距離と、設定されている閾値とを用いた閾値処理によって、装着状態を判定する。
　処理制御部１１４は、上記（２）の処理（制御処理）を主導的に行う役目を果たし、判定されたユーザの頭部に装着されて用いられる装置の装着状態に対応する処理を行わせる。処理制御部１１４は、例えば、上記（２－１）に示す第１の例に係る制御処理～上記（２－５）に示す第５の例に係る制御処理のいずれかの処理を行う。
　制御部１０４は、例えば、推定部１１０、判定部１１２、および処理制御部１１４を備えることによって、本実施形態に係る情報処理方法に係る処理を主導的に行う。
　情報処理装置１００は、例えば図１２に示す構成によって、本実施形態に係る情報処理方法に係る処理（例えば、上記（１）の処理（判定処理）、上記（２）の処理（制御処理）、および上記推定処理）を行う。
　したがって、情報処理装置１００は、例えば図１２に示す構成によって、ユーザの頭部に装着されて用いられる装置の装着状態に基づき処理を制御することができる。
　また、例えば図１２に示す構成によって、情報処理装置１００は、例えば上述したような、本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。
　なお、本実施形態に係る情報処理装置の構成は、図１２に示す構成に限られない。
　例えば、本実施形態に係る情報処理装置は、図１２に示す推定部１１０、判定部１１２、および処理制御部１１４のうちの１または２以上を、制御部１０４とは個別に備える（例えば、別の処理回路で実現する）ことができる。
　また、例えば外部装置において上記推定処理が行われ、当該外部装置において推定された光軸ベクトルと眼球中心位置とを用いて、上記（１）の処理（判定処理）を行う場合には、本実施形態に係る情報処理装置は、推定部１１０を有していなくてもよい。
　また、上述したように、“上記（１）の処理（判定処理）、および上記（２）の処理（制御処理）”や、“上記（１）の処理（判定処理）、上記（２）の処理（制御処理）、および上記推定処理”は、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る処理を実現するための構成は、図１２に示す推定部１１０、判定部１１２、および処理制御部１１４に限られず、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。
　以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、アイウェアやＨＭＤなどのユーザの頭部に装着されて用いられる装置や、ＰＣ（Personal　Computer）やサーバなどのコンピュータ、携帯電話やスマートフォンなどの通信装置、タブレット型の装置など、本実施形態に係る情報処理方法に係る処理を行うことが可能な様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、１または２以上のＩＣ（Integrated　Circuit）に適用することもできる。
　また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした、１または２以上の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置からなる情報処理システムとして実現することも可能である。
（本実施形態に係るプログラム）
　コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（例えば、“上記（１）の処理（判定処理）、および上記（２）の処理（制御処理）”や、“上記（１）の処理（判定処理）、上記（２）の処理（制御処理）、および上記推定処理”など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいてプロセッサなどにより実行されることによって、ユーザの頭部に装着されて用いられる装置の装着状態に基づき処理を制御することができる。
　また、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記では、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
　上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　第１の時点において、光源からの光が照射される眼が撮像された撮像画像に基づいて推定されたユーザの視線に対応する光軸ベクトルと、前記第１の時点よりも前の第２の時点において、時系列の複数の前記撮像画像に基づいて推定された眼球中心位置との距離に基づいて、前記ユーザの頭部に装着されて用いられる装置の装着状態を判定する判定部と、
　判定された前記装着状態に対応する処理を行わせる処理制御部と、
　を備える、情報処理装置。
（２）
　前記処理制御部は、前記装着状態の変化が検出された場合には、前記ユーザの頭部に装着されて用いられる装置に対応する表示画面における表示位置を、前記光軸ベクトルに対応する表示位置とさせる、（１）に記載の情報処理装置。
（３）
　前記処理制御部は、前記装着状態の変化が検出されたことを通知させる、（１）、または（２）に記載の情報処理装置。
（４）
　前記処理制御部は、前記装着状態の変化の検出頻度に応じて、前記ユーザの頭部に装着されて用いられる装置に対応する表示画面への表示のさせ方を変えさせる、（１）～（３）のいずれか１つに記載の情報処理装置。
（５）
　前記処理制御部は、判定された前記装着状態に対応するユーザの視線の検出に係る処理を行わせる、（１）～（４）のいずれか１つに記載の情報処理装置。
（６）
　前記光軸ベクトルと前記眼球中心位置とを推定する推定部をさらに備え、
　前記判定部は、前記推定部において推定された前記光軸ベクトルと前記眼球中心位置との距離に基づいて、前記装着状態を判定する、（１）～（５）のいずれか１つに記載の情報処理装置。
（７）
　第１の時点において、光源からの光が照射される眼が撮像された撮像画像に基づいて推定されたユーザの視線に対応する光軸ベクトルと、前記第１の時点よりも前の第２の時点において、時系列の複数の前記撮像画像に基づいて推定された眼球中心位置との距離に基づいて、前記ユーザの頭部に装着されて用いられる装置の装着状態を判定するステップと、
　判定された前記装着状態に対応する処理を行わせるステップと、
　を有する、情報処理装置により実行される情報処理方法。
（８）
　第１の時点において、光源からの光が照射される眼が撮像された撮像画像に基づいて推定されたユーザの視線に対応する光軸ベクトルと、前記第１の時点よりも前の第２の時点において、時系列の複数の前記撮像画像に基づいて推定された眼球中心位置との距離に基づいて、前記ユーザの頭部に装着されて用いられる装置の装着状態を判定するステップ、
　判定された前記装着状態に対応する処理を行わせるステップ、
　をコンピュータに実行させるためのプログラム。
　１００　　情報処理装置
　１０２　　撮像部
　１０４　　制御部
　１１０　　推定部
　１１２　　判定部
　１１４　　処理制御部

Claims (8)

  1. 　第１の時点において、光源からの光が照射される眼が撮像された撮像画像に基づいて推定されたユーザの視線に対応する光軸ベクトルと、前記第１の時点よりも前の第２の時点において、時系列の複数の前記撮像画像に基づいて推定された眼球中心位置との距離に基づいて、前記ユーザの頭部に装着されて用いられる装置の装着状態を判定する判定部と、
    　判定された前記装着状態に対応する処理を行わせる処理制御部と、
    　を備える、情報処理装置。
  2. 　前記処理制御部は、前記装着状態の変化が検出された場合には、前記ユーザの頭部に装着されて用いられる装置に対応する表示画面における表示位置を、前記光軸ベクトルに対応する表示位置とさせる、請求項１に記載の情報処理装置。
  3. 　前記処理制御部は、前記装着状態の変化が検出されたことを通知させる、請求項１に記載の情報処理装置。
  4. 　前記処理制御部は、前記装着状態の変化の検出頻度に応じて、前記ユーザの頭部に装着されて用いられる装置に対応する表示画面への表示のさせ方を変えさせる、請求項１に記載の情報処理装置。
  5. 　前記処理制御部は、判定された前記装着状態に対応するユーザの視線の検出に係る処理を行わせる、請求項１に記載の情報処理装置。
  6. 　前記光軸ベクトルと前記眼球中心位置とを推定する推定部をさらに備え、
    　前記判定部は、前記推定部において推定された前記光軸ベクトルと前記眼球中心位置との距離に基づいて、前記装着状態を判定する、請求項１に記載の情報処理装置。
  7. 　第１の時点において、光源からの光が照射される眼が撮像された撮像画像に基づいて推定されたユーザの視線に対応する光軸ベクトルと、前記第１の時点よりも前の第２の時点において、時系列の複数の前記撮像画像に基づいて推定された眼球中心位置との距離に基づいて、前記ユーザの頭部に装着されて用いられる装置の装着状態を判定するステップと、
    　判定された前記装着状態に対応する処理を行わせるステップと、
    　を有する、情報処理装置により実行される情報処理方法。
  8. 　第１の時点において、光源からの光が照射される眼が撮像された撮像画像に基づいて推定されたユーザの視線に対応する光軸ベクトルと、前記第１の時点よりも前の第２の時点において、時系列の複数の前記撮像画像に基づいて推定された眼球中心位置との距離に基づいて、前記ユーザの頭部に装着されて用いられる装置の装着状態を判定するステップ、
    　判定された前記装着状態に対応する処理を行わせるステップ、
    　をコンピュータに実行させるためのプログラム。
PCT/JP2015/081260 2015-02-13 2015-11-06 情報処理装置、情報処理方法、およびプログラム WO2016129156A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP15882030.8A EP3258684A4 (en) 2015-02-13 2015-11-06 Information processing device, information processing method, and program
US15/534,649 US20180267323A1 (en) 2015-02-13 2015-11-06 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-025929 2015-02-13
JP2015025929A JP2016149660A (ja) 2015-02-13 2015-02-13 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2016129156A1 true WO2016129156A1 (ja) 2016-08-18

Family

ID=56615324

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/081260 WO2016129156A1 (ja) 2015-02-13 2015-11-06 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US20180267323A1 (ja)
EP (1) EP3258684A4 (ja)
JP (1) JP2016149660A (ja)
WO (1) WO2016129156A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018158921A1 (ja) * 2017-03-02 2018-09-07 サン電子株式会社 画像表示装置、及び、眼の挙動検出方法
JP6479272B1 (ja) * 2018-01-05 2019-03-06 三菱電機株式会社 視線方向較正装置、視線方向較正方法および視線方向較正プログラム
CN109640072A (zh) * 2018-12-25 2019-04-16 鸿视线科技(北京)有限公司 3d互动方法及系统
EP3523782A4 (en) * 2016-10-05 2020-06-24 Magic Leap, Inc. PERIOCULAR TEST FOR MIXED REALITY CALIBRATION
US10976549B2 (en) 2016-09-28 2021-04-13 Magic Leap, Inc. Face model capture by a wearable device
JP2021511723A (ja) * 2018-01-17 2021-05-06 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 眼の回転中心決定、深度平面選択、およびディスプレイシステム内のレンダリングカメラ位置付け
US11880033B2 (en) 2018-01-17 2024-01-23 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2016296723B2 (en) * 2015-07-20 2021-03-04 Magic Leap, Inc. Collimating fiber scanner design with inward pointing angles in virtual/augmented reality system
US10795316B2 (en) 2016-02-22 2020-10-06 Real View Imaging Ltd. Wide field of view hybrid holographic display
EP3420413A1 (en) 2016-02-22 2019-01-02 Real View Imaging Ltd. A method and system for displaying holographic images within a real object
US11663937B2 (en) * 2016-02-22 2023-05-30 Real View Imaging Ltd. Pupil tracking in an image display system
CN107665040A (zh) * 2016-07-27 2018-02-06 Fove股份有限公司 视线检测系统、偏移检测方法、偏移检测程序
EP4011274A1 (en) * 2017-09-08 2022-06-15 Tobii AB Eye tracking using eyeball center position
KR102486421B1 (ko) * 2017-10-16 2023-01-10 삼성디스플레이 주식회사 헤드 마운트 디스플레이 장치 및 이의 동작 방법
EP3827426A4 (en) 2018-07-24 2022-07-27 Magic Leap, Inc. AD SYSTEMS AND PROCEDURES FOR DETERMINING A REGISTRATION BETWEEN AN AD AND A USER'S EYES
JP2022124971A (ja) * 2021-02-16 2022-08-26 株式会社日立エルジーデータストレージ ヘッドマウントディスプレイ装置およびその制御方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005300730A (ja) * 2004-04-08 2005-10-27 Nikon Corp ヘッドマウントディスプレイ
JP2010112979A (ja) * 2008-11-04 2010-05-20 Advanced Telecommunication Research Institute International インタラクティブ看板システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4812033A (en) * 1985-02-26 1989-03-14 Canon Kabushiki Kaisha Ophthalmic apparatus
JP4560368B2 (ja) * 2004-10-08 2010-10-13 キヤノン株式会社 眼検出装置および画像表示装置
CN103380625A (zh) * 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
CA2750287C (en) * 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US20140176591A1 (en) * 2012-12-26 2014-06-26 Georg Klein Low-latency fusing of color image data
JP2016106668A (ja) * 2014-12-02 2016-06-20 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005300730A (ja) * 2004-04-08 2005-10-27 Nikon Corp ヘッドマウントディスプレイ
JP2010112979A (ja) * 2008-11-04 2010-05-20 Advanced Telecommunication Research Institute International インタラクティブ看板システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP3258684A4 *
SHIN'ICHI HIKITA ET AL.: "A Method for Eye-Tracking Based on Estimation of the Eye Rotation Center with Two Light Images Reflected on the Cornea", THE TRANSACTIONS OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS D (INFORMATION AND SYSTEMS, vol. J96-D, no. 1, 1 January 2013 (2013-01-01), pages 250 - 257, XP009504458, ISSN: 1880-4535 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10976549B2 (en) 2016-09-28 2021-04-13 Magic Leap, Inc. Face model capture by a wearable device
US11740474B2 (en) 2016-09-28 2023-08-29 Magic Leap, Inc. Face model capture by a wearable device
US11428941B2 (en) 2016-09-28 2022-08-30 Magic Leap, Inc. Face model capture by a wearable device
US11906742B2 (en) 2016-10-05 2024-02-20 Magic Leap, Inc. Periocular test for mixed reality calibration
US11100692B2 (en) 2016-10-05 2021-08-24 Magic Leap, Inc. Periocular test for mixed reality calibration
EP3523782A4 (en) * 2016-10-05 2020-06-24 Magic Leap, Inc. PERIOCULAR TEST FOR MIXED REALITY CALIBRATION
JPWO2018158921A1 (ja) * 2017-03-02 2019-12-19 サン電子株式会社 画像表示装置、及び、眼の挙動検出方法
WO2018158921A1 (ja) * 2017-03-02 2018-09-07 サン電子株式会社 画像表示装置、及び、眼の挙動検出方法
CN111527374A (zh) * 2018-01-05 2020-08-11 三菱电机株式会社 视线方向校正装置、视线方向校正方法及视线方向校正程序
US10977488B2 (en) 2018-01-05 2021-04-13 Mitsubishi Electric Corporation Line-of-sight direction calibration device, line-of-sight direction calibration method, and line-of-sight direction calibration program
CN111527374B (zh) * 2018-01-05 2021-10-22 三菱电机株式会社 视线方向校正装置、视线方向校正方法及视线方向校正程序
WO2019135281A1 (ja) * 2018-01-05 2019-07-11 三菱電機株式会社 視線方向較正装置、視線方向較正方法および視線方向較正プログラム
JP6479272B1 (ja) * 2018-01-05 2019-03-06 三菱電機株式会社 視線方向較正装置、視線方向較正方法および視線方向較正プログラム
JP2021511723A (ja) * 2018-01-17 2021-05-06 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 眼の回転中心決定、深度平面選択、およびディスプレイシステム内のレンダリングカメラ位置付け
JP7390297B2 (ja) 2018-01-17 2023-12-01 マジック リープ， インコーポレイテッド 眼の回転中心決定、深度平面選択、およびディスプレイシステム内のレンダリングカメラ位置付け
US11880033B2 (en) 2018-01-17 2024-01-23 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
US11883104B2 (en) 2018-01-17 2024-01-30 Magic Leap, Inc. Eye center of rotation determination, depth plane selection, and render camera positioning in display systems
CN109640072A (zh) * 2018-12-25 2019-04-16 鸿视线科技(北京)有限公司 3d互动方法及系统

Also Published As

Publication number Publication date
US20180267323A1 (en) 2018-09-20
EP3258684A4 (en) 2018-11-07
JP2016149660A (ja) 2016-08-18
EP3258684A1 (en) 2017-12-20

Similar Documents

Publication Publication Date Title
WO2016129156A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2016088418A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US10928896B2 (en) Information processing apparatus and information processing method
US9952667B2 (en) Apparatus and method for calibration of gaze detection
US20160217794A1 (en) Information processing apparatus, information processing method, and program
US11693475B2 (en) User recognition and gaze tracking in a video system
US11163995B2 (en) User recognition and gaze tracking in a video system
CN107438812B (zh) 信息处理设备、信息处理方法和程序
KR20160108388A (ko) 복수의 광원들과 센서들을 사용한 눈 시선 검출
US10893802B2 (en) Information processing apparatus, information processing method, and recording medium
EP4026318A1 (en) Intelligent stylus beam and assisted probabilistic input to element mapping in 2d and 3d graphical user interfaces
JP6123694B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN111095364A (zh) 信息处理装置、信息处理方法和程序
JP6911834B2 (ja) 情報処理装置、情報処理方法、およびプログラム
EP3617851B1 (en) Information processing device, information processing method, and recording medium
WO2017195450A1 (ja) 情報処理装置、情報処理方法
US10402939B2 (en) Information processing device, information processing method, and program
JP7400721B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2016042261A (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2016129154A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN117711054A (zh) 一种数据的检验方法、电子设备及介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15882030

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15534649

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015882030

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE