WO2018220963A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2018220963A1
WO2018220963A1 PCT/JP2018/011827 JP2018011827W WO2018220963A1 WO 2018220963 A1 WO2018220963 A1 WO 2018220963A1 JP 2018011827 W JP2018011827 W JP 2018011827W WO 2018220963 A1 WO2018220963 A1 WO 2018220963A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
iris
pupil
information processing
polar coordinate
Prior art date
Application number
PCT/JP2018/011827
Other languages
English (en)
French (fr)
Inventor
横山　正幸
井手　直紀
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/491,079 priority Critical patent/US11080888B2/en
Priority to JP2019521972A priority patent/JPWO2018220963A1/ja
Publication of WO2018220963A1 publication Critical patent/WO2018220963A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 discloses a user's eyeball based on a positional relationship between a Purkinje image obtained by irradiating the user's eyeball with infrared (IR) light and the center position of the pupil.
  • IR infrared
  • An example of a technique for estimating the direction in which the line of sight is directed (hereinafter also referred to as “line of sight” or simply “line of sight”) is disclosed.
  • the present disclosure proposes an information processing apparatus, an information processing method, and a program that can more accurately estimate the center of the pupil even in a situation where it is difficult to image the entire pupil.
  • an information processing apparatus includes an acquisition unit that acquires information about an iris in an eyeball, and an estimation unit that estimates a center position of a pupil in the eyeball based on the information about the iris.
  • the information processing method includes: a computer acquiring information related to an iris in the eyeball; and estimating a center position of a pupil in the eyeball based on the information related to the iris. Is provided.
  • a program that causes a computer to acquire information related to an iris in an eyeball and to estimate a center position of a pupil in the eyeball based on the information related to the iris.
  • an information processing apparatus capable of estimating the center of the pupil more accurately even in a situation where it is difficult to image the entire pupil, and A program is provided.
  • FIG. 3 is an explanatory diagram for describing an example of a schematic configuration of an input / output device according to the embodiment. It is explanatory drawing for demonstrating an example of the process which concerns on the position estimation of a pupil. It is the block diagram shown about an example of the function structure of the information processing system which concerns on the embodiment. It is explanatory drawing for demonstrating the outline
  • FIG. 3 is a functional block diagram illustrating a configuration example of a hardware configuration of an information processing apparatus configuring a communication system according to an embodiment of the present disclosure.
  • FIG. 1 is an explanatory diagram for explaining an example of a schematic configuration of an information processing system according to an embodiment of the present disclosure, and applies various contents to a user by applying a so-called AR (Augmented Reality) technique. An example in the case of presenting is shown.
  • AR Augmented Reality
  • reference numeral m111 schematically shows an object (for example, a real object) located in the real space.
  • Reference numerals v131 and v133 schematically indicate virtual contents (for example, virtual objects) presented so as to be superimposed on the real space. That is, the information processing system 1 according to the present embodiment superimposes a virtual object on a real space object such as the real object m111 and presents it to the user based on the AR technology.
  • FIG. 1 in order to make the characteristics of the information processing system according to the present embodiment easier to understand, both real objects and virtual objects are presented together.
  • the information processing system 1 includes an information processing device 10 and an input / output device 20.
  • the information processing apparatus 10 and the input / output apparatus 20 are configured to be able to transmit and receive information to and from each other via a predetermined network.
  • the type of network connecting the information processing apparatus 10 and the input / output apparatus 20 is not particularly limited.
  • the network may be a so-called wireless network such as a network based on the Wi-Fi (registered trademark) standard.
  • the network may be configured by the Internet, a dedicated line, a LAN (Local Area Network), a WAN (Wide Area Network), or the like.
  • the network may include a plurality of networks, and at least a part of the network may be configured as a wired network.
  • the input / output device 20 has a configuration for acquiring various input information and presenting various output information to a user holding the input / output device 20.
  • the presentation of output information by the input / output device 20 is controlled by the information processing device 10 based on the input information acquired by the input / output device 20.
  • the input / output device 20 acquires information for recognizing the real object m111 (for example, a captured real space image) as input information, and outputs the acquired information to the information processing device 10.
  • the information processing device 10 recognizes the position of the real object m111 in the real space based on the information acquired from the input / output device 20, and causes the input / output device 20 to present the virtual objects v131 and v133 based on the recognition result.
  • the input / output device 20 can present the virtual objects v131 and v133 to the user so that the virtual objects v131 and v133 are superimposed on the real object m111 based on so-called AR technology.
  • the input / output device 20 is configured as a so-called head-mounted device that is used by being worn on at least a part of the head by the user, and information for detecting or estimating the user's line of sight is used. You may be comprised so that acquisition is possible.
  • the input / output device 20 may capture an image of the user's eyeball U11 using an imaging unit or the like, and acquire the imaging result as information for detecting the user's line of sight.
  • the information processing apparatus 10 can detect the user's line of sight by analyzing the image of the eyeball U11 acquired by the input / output device 20.
  • the information processing apparatus 10 when the information processing apparatus 10 recognizes that the user is gazing at a desired target (for example, the real object m111 or the virtual objects v131 and v133) based on the detection result of the user's line of sight,
  • the target may be specified as the operation target.
  • the information processing apparatus 10 may specify a target to which the user's line of sight is directed as an operation target with a predetermined operation on the input / output device 20 as a trigger.
  • the information processing apparatus 10 may provide various services to the user via the input / output device 20 by specifying the operation target and executing the process associated with the operation target.
  • the input / output device 20 and the information processing device 10 are illustrated as different devices, but the input / output device 20 and the information processing device 10 may be integrally configured. Details of the configuration and processing of the input / output device 20 and the information processing device 10 will be described later.
  • a case where a glasses-type wearable device is applied as the input / output device 20 has been described as an example.
  • the configuration and aspect of the device to which the technology according to the present disclosure is applied are not necessarily limited.
  • a terminal device configured to be portable such as a smartphone may be applied as the input / output device 20.
  • FIG. 2 is an explanatory diagram for explaining an example of a schematic configuration of the input / output device according to the present embodiment.
  • the input / output device 20 can be configured as a so-called head-mounted device that is used by a user by mounting it on at least a part of the head.
  • the input / output device 20 is configured as a so-called eyewear type (glasses type) device, and at least one of the lenses 293a and 293b is a transmission type display (output unit 211). It is configured as.
  • the input / output device 20 includes first imaging units 201a and 201b, an operation unit 207, and a holding unit 291 corresponding to a frame of glasses. Further, the input / output device 20 may include second imaging units 203a and 203b.
  • the input / output device 20 includes the second imaging units 203a and 203b.
  • the holding unit 291 includes the output unit 211, the first imaging units 201a and 201b, the second imaging units 203a and 203b, and the operation unit 207. It holds so that it may become a predetermined positional relationship with respect to the user's head.
  • the input / output device 20 may include a sound collection unit for collecting the user's voice.
  • the lens 293a corresponds to a right eye side lens
  • the lens 293b corresponds to a left eye side lens. That is, the holding unit 291 holds the output unit 211 so that the output unit 211 (in other words, the lenses 293a and 293b) is positioned in front of the user's eyes when the input / output device 20 is mounted.
  • the first imaging units 201a and 201b are configured as so-called stereo cameras, and when the input / output device 20 is mounted on the user's head, the direction in which the user's head is facing (that is, in front of the user). Are held by the holding portions 291 so as to face each other. At this time, the first imaging unit 201a is held near the right eye of the user, and the first imaging unit 201b is held near the left eye of the user. Based on such a configuration, the first imaging units 201a and 201b capture a subject located in front of the input / output device 20 (in other words, a real object located in real space) from different positions.
  • the input / output device 20 acquires the image of the subject located in front of the user, and also from the input / output device 20 based on the parallax between images captured by the first imaging units 201a and 201b. It is possible to calculate the distance to the subject.
  • the configuration and method are not particularly limited as long as the distance between the input / output device 20 and the subject can be measured.
  • the distance between the input / output device 20 and the subject may be measured based on a method such as multi-camera stereo, moving parallax, TOF (Time Of Flight), or Structured Light.
  • TOF refers to projecting light such as infrared rays to a subject and measuring the time until the posted light is reflected and returned by the subject for each pixel, and based on the measurement result, This is a method of obtaining an image (so-called distance image) including the distance (depth) of the image.
  • the Structured Light is a distance image that includes the distance (depth) to the subject based on the change in the pattern obtained from the imaging result by irradiating the subject with light such as infrared rays and imaging it. It is a method to obtain.
  • the moving parallax is a method of measuring the distance to the subject based on the parallax even in a so-called monocular camera. Specifically, the subject is imaged from different viewpoints by moving the camera, and the distance to the subject is measured based on the parallax between the captured images. At this time, the distance to the subject can be measured with higher accuracy by recognizing the moving distance and moving direction of the camera using various sensors. Note that the configuration of the imaging unit (for example, a monocular camera, a stereo camera, or the like) may be changed according to the distance measurement method.
  • the second imaging units 203a and 203b are respectively held by the holding unit 291 so that when the input / output device 20 is mounted on the user's head, the user's eyeball is positioned within each imaging range.
  • the second imaging unit 203a is held so that the user's right eye is positioned within the imaging range.
  • the image of the right eyeball imaged by the second imaging unit 203a that is, the eyeball U11 shown in FIG. 2
  • the positional relationship between the second imaging unit 203a and the right eye And the direction in which the line of sight of the right eye is directed can be recognized.
  • the second imaging unit 203b is held so that the left eye of the user is positioned within the imaging range.
  • the input / output device 20 is configured to include both the second imaging units 203a and 203b. However, only one of the second imaging units 203a and 203b may be provided. Good.
  • the operation unit 207 is configured to accept an operation from the user with respect to the input / output device 20.
  • the operation unit 207 may be configured by an input device such as a touch panel and buttons.
  • the operation unit 207 is held at a predetermined position of the input / output device 20 by the holding unit 291. For example, in the example illustrated in FIG. 2, the operation unit 207 is held at a position corresponding to a temple of glasses.
  • the input / output device 20 is provided with, for example, an acceleration sensor or an angular velocity sensor (gyro sensor), and the movement of the head of the user wearing the input / output device 20 (in other words, the input / output device). 20 itself) can be detected.
  • the input / output device 20 detects components of the yaw direction, the pitch direction, and the roll direction as movements of the user's head. A change in at least one of the position and posture of the head may be recognized.
  • the input / output device 20 can recognize a change in its position and posture in the real space according to the movement of the user's head.
  • the input / output device 20 displays the content on the output unit 211 so that virtual content (that is, virtual object) is superimposed on the real object located in the real space. It can also be presented.
  • An example of a method for the input / output device 20 to estimate its own position and orientation in real space (that is, self-position estimation) will be described later in detail.
  • HMD Head Mounted Display
  • examples of a head-mounted display device include a see-through HMD, a video see-through HMD, and a retinal projection HMD.
  • the see-through type HMD uses, for example, a half mirror or a transparent light guide plate to hold a virtual image optical system including a transparent light guide unit or the like in front of the user's eyes and display an image inside the virtual image optical system. Therefore, a user wearing a see-through HMD can view an external scenery while viewing an image displayed inside the virtual image optical system.
  • the see-through type HMD for example, is based on the AR technology, based on the recognition result of at least one of the position and orientation of the see-through type HMD, with respect to the optical image of the real object located in the real space. It is also possible to superimpose virtual object images.
  • a specific example of the see-through HMD is a so-called glasses-type wearable device in which a portion corresponding to a lens of glasses is configured as a virtual image optical system.
  • the input / output device 20 illustrated in FIG. 2 corresponds to an example of a see-through HMD.
  • the video see-through HMD When the video see-through HMD is mounted on the user's head or face, the video see-through HMD is mounted so as to cover the user's eyes, and a display unit such as a display is held in front of the user's eyes. Further, the video see-through HMD has an imaging unit for imaging a surrounding landscape, and displays an image of a landscape in front of the user captured by the imaging unit on the display unit. With such a configuration, it is difficult for a user wearing a video see-through HMD to directly view an external landscape, but it is possible to confirm the external landscape from an image displayed on the display unit. Become. At this time, the video see-through HMD superimposes a virtual object on an external landscape image according to the recognition result of at least one of the position and orientation of the video see-through HMD, for example, based on the AR technology. You may let them.
  • a projection unit is held in front of the user's eyes, and the image is projected from the projection unit toward the user's eyes so that the image is superimposed on an external landscape. More specifically, in the retinal projection type HMD, an image is directly projected from the projection unit onto the retina of the user's eye, and the image is formed on the retina. With such a configuration, it is possible to view a clearer video even for a myopic or farsighted user. In addition, the user wearing the retinal projection type HMD can view an external landscape while viewing an image projected from the projection unit.
  • the retinal projection type HMD is based on, for example, the AR technology, and an optical image of a real object located in the real space according to at least one of the positions and orientations of the retinal projection type HMD. It is also possible to superimpose a virtual object image on the image.
  • the configuration of the input / output device 20 according to the present embodiment has been described on the assumption that the AR technology is applied.
  • the configuration of the input / output device 20 is not necessarily limited.
  • the input / output device 20 according to the present embodiment may be configured as an HMD called an immersive HMD.
  • the immersive HMD is mounted so as to cover the user's eyes, and a display unit such as a display is held in front of the user's eyes. For this reason, it is difficult for a user wearing an immersive HMD to directly view an external landscape (that is, a real world landscape), and only the image displayed on the display unit enters the view.
  • the immersive HMD can give an immersive feeling to the user who is viewing the image.
  • the user's eye is captured by an imaging unit such as a camera, and the position of the pupil is detected from the captured image, thereby estimating the user's line of sight
  • an imaging unit such as a camera
  • the position of the pupil is detected from the captured image, thereby estimating the user's line of sight
  • a technique for estimating the user's gaze direction based on the positional relationship between the Purkinje image obtained by irradiating the user's eyeball with infrared (IR) light and the center position of the pupil Is mentioned.
  • a Purkinje image in a captured image obtained by corneal reflection of IR light is used, and the distance Loc between the center of curvature of the cornea and the center of the pupil is known.
  • a method of calculating the rotation angle ⁇ of the eyeball optical axis from the distance xc between the midpoint (xd + xe) / 2 of the plurality of Purkinje images in the captured image and the pupil center is disclosed.
  • the coefficient A1 for correcting the individual difference of the distance Loc and the correction coefficient B1 for converting the rotation angle ⁇ to the actual line-of-sight angle (visual axis) ⁇ H are set in advance before the line-of-sight detection. It is necessary to keep.
  • Japanese Laid-Open Patent Publication No. 09-28673 discloses a method of specifying a user by matching with a registered iris pattern (iris authentication) and selecting correction information held for each individual.
  • the position of the pupil or iris region may be estimated by image processing.
  • a method for estimating the position of the pupil or iris based on image processing for example, a method of searching for a region having a high degree of coincidence with the edge of a graphic template such as a circle or an ellipse is often applied.
  • FIG. 3 is an explanatory diagram for explaining an example of processing related to pupil position estimation, and schematically shows a situation when the user's eyeball U11 is viewed from the front of the user.
  • reference symbol U111 schematically indicates the pupil of the user's eyeball U11.
  • Reference symbol U21 schematically shows the user's eyelid. That is, in the example shown in FIG. 3, a part of the pupil U111 is shielded by the eyelid U21.
  • the center position of the pupil U111 is estimated based on image processing, for example, the region indicated by the reference symbol P21 is estimated as the region of the pupil U111. Therefore, in this case, the center P11 of the region P21 is estimated as the center of the pupil U111. However, in the example shown in FIG. 3, the pupil U111 is partially shielded by the eyelid U21, and the actual center is at the position indicated by the reference symbol P10.
  • the accuracy of gaze estimation is reduced.
  • the outline (edge) of the pupil may be blurred or the contrast with the iris pattern may be reduced. Even in such a case, it is difficult to estimate the exact position of the pupil, and as a result, the accuracy of eye gaze estimation may be reduced.
  • the center of the pupil can be estimated more accurately even in a situation where it is difficult to image the entire pupil.
  • An example of this technology is proposed.
  • FIG. 4 is a block diagram illustrating an example of a functional configuration of the information processing system according to the present embodiment.
  • the information processing system 1 includes the information processing device 10 and the input / output device 20.
  • the input / output device 20 illustrates the imaging unit 203 (corresponding to the second imaging units 203 a and 203 b illustrated in FIG. 1) that captures an image of the user's eyeball U ⁇ b> 11, and other configurations The illustration is omitted for.
  • the information processing apparatus 10 for the information processing apparatus 10, a configuration related to estimation of the user's line of sight is illustrated, and other configurations are not illustrated.
  • the imaging unit 203 captures an image of the user's eyeball U ⁇ b> 11 and outputs the captured image to the information processing apparatus 10.
  • the timing at which the imaging unit 203 captures the image of the eyeball U11 is not particularly limited.
  • the image of the eyeball U11 may be sequentially acquired by capturing the image of the imaging unit 203 and the eyeball U11 as a moving image.
  • the imaging unit 203 may capture an image of the eyeball U11 using a predetermined event as a trigger.
  • the information processing apparatus 10 includes an authentication processing unit 101, a pupil center estimation unit 103, a Purkinje image position detection unit 105, a line-of-sight estimation unit 107, and a storage unit 109.
  • the storage unit 109 is a storage area for storing various data temporarily or permanently. For example, an image of the eyeball U11 captured by the imaging unit 203 may be stored.
  • the authentication processing unit 101 acquires the image of the eyeball U11 captured by the imaging unit 203 from the imaging unit 203, and authenticates the user using the iris pattern captured in the image.
  • FIG. 5 is an explanatory diagram for explaining an overview of processing related to iris authentication in the information processing system according to the present embodiment.
  • reference symbol V ⁇ b> 11 indicates an image of the eyeball U ⁇ b> 11 captured by the imaging unit 203.
  • an image V11 in which the pupil and the iris are imaged is used for the iris authentication.
  • the authentication processing unit 101 includes an image V11 including the pupil and iris imaged by the imaging unit 203 as subjects, and the pupil and iris stored in a predetermined storage area (for example, the storage unit 109) in advance as subjects.
  • the user is authenticated by comparing with another image (that is, the image of the eyeball U11).
  • the information processing apparatus 10 uses an iris pattern region included as a subject in the image V11 of the eyeball U11 for estimation of the center of the pupil (and thus estimation of the line of sight). .
  • the information processing apparatus 10 uses the image V11 of the eyeball U11 used for iris authentication (specifically, an image including an iris pattern region) as the center of the pupil. Is used as a template for performing estimation (and hence gaze estimation). Therefore, the authentication processing unit 101 stores the image of the eyeball U11 used for authentication in the storage unit 109 as the template.
  • the entire iris pattern may not necessarily be captured, but the wider the range of the captured iris pattern, the more the center of the pupil. It is possible to further improve the accuracy related to the estimation. Therefore, for example, at the time of iris authentication, the user is prompted to perform an operation such as opening the eyes so that a wider range of the iris pattern is captured (ideally, the entire iris pattern is captured). May be.
  • the template is also referred to as “iris template”.
  • FIG. 6 is a diagram showing an example of a user interface for iris authentication in the information processing system 1 according to the present embodiment.
  • Notification information V111 for prompting the user is displayed.
  • FIG. 7 is a diagram showing another example of a user interface for iris authentication in the information processing system 1 according to the present embodiment, and an example when a terminal device such as a smartphone is used as the input / output device 20. Is shown.
  • notification information V111 ′ for prompting the user to open the eyes to the output unit 211 ′ of the terminal device so that the image V11 of the user's eyeball U11 is captured in a more preferable manner. Is displayed.
  • a partial image including an iris region may be stored in the storage unit 109 in the image V11 of the eyeball U11.
  • an eye region in other words, a region including an iris
  • the eye area segmentation is disclosed in, for example, “N. Liu et al.,“ Accurate Iris Segmentation in Non-cooperative Environment Using Fully Convolutional Networks ”, IEEE ICB 2016”.
  • the Purkinje image position detection unit 105 acquires the image V11 of the eyeball U11 imaged by the imaging unit 203 from the imaging unit 203 and performs image analysis on the image V11, whereby the position of the Purkinje image in the image V11 is obtained. Is detected. Note that a technique relating to the extraction of the Purkinje image is disclosed in JP-A-2015-13031 and the like. Although not shown in the example shown in FIG. 4, the input / output device 20 has a configuration necessary for extracting the Purkinje image, such as a light source for irradiating the eyeball U11 with infrared light. May be included in the information processing apparatus 10, or a device for realizing the configuration may be separately provided. Then, the Purkinje image position detection unit 105 outputs information indicating the detection result of the position of the Purkinje image in the image V11 of the eyeball U11 to the line-of-sight estimation unit 107.
  • the pupil center estimation unit 103 acquires an image V11 of the eyeball U11 captured by the imaging unit 203 from the imaging unit 203.
  • the pupil center estimation unit 103 extracts a partial image of the region including the iris from the acquired image V11 of the eyeball U11, and compares the partial image with an iris template stored in advance in the storage unit 109, thereby the image V11.
  • the position of the center of the pupil (hereinafter also referred to as “the center position of the pupil”) is estimated. Note that the details of the process related to the estimation of the center position of the pupil will be described later. Then, the pupil center estimation unit 103 outputs information indicating the estimation result of the center position of the pupil in the image V11 of the eyeball U11 to the line-of-sight estimation unit 107.
  • the line-of-sight estimation unit 107 acquires information indicating the detection result of the position of the Purkinje image in the image V11 of the eyeball U11 captured by the imaging unit 203 from the Purkinje image position detection unit 105.
  • the line-of-sight estimation unit 107 acquires information indicating the estimation result of the center position of the pupil in the image V11 from the pupil center estimation unit 103. Then, the line-of-sight estimation unit 107 estimates the direction in which the user's line of sight is directed (that is, the line-of-sight direction) based on the detection result of the Purkinje image position and the estimation result of the center position of the pupil.
  • the gaze estimation unit 107 outputs information indicating the estimation result of the gaze direction to a predetermined output destination.
  • the information processing apparatus 10 can use the estimation result of the line-of-sight direction for execution of various processes.
  • the pupil center estimation unit 103 and the line-of-sight estimation unit 107 correspond to an example of an “estimation unit”. Further, the portion of the pupil center estimation unit 103 that acquires the image V11 from the imaging unit 203 corresponds to an example of an “acquisition unit”.
  • the functional configuration of the information processing system 1 is merely an example, and the functional configuration of the information processing system 1 is not necessarily the example illustrated in FIG. 4 as long as the above-described functions can be realized. It is not limited to.
  • a part of the configuration of the information processing apparatus 10 may be provided outside the information processing apparatus 10.
  • a part of the configuration of the information processing apparatus 10 (for example, the authentication processing unit 101) may be provided on the input / output device 20 side.
  • each function of the information processing apparatus 10 may be realized by cooperation of a plurality of apparatuses.
  • the information processing device 10 and the input / output device 20 may be configured integrally.
  • the configuration corresponding to the information processing apparatus 10 may be configured as an integrated circuit such as an IC (for example, a semiconductor chip).
  • the integrated circuit may be incorporated in the input / output device 20 (for example, an HMD or a smartphone).
  • the iris information in the image V11 of the eyeball U11 captured by the imaging unit 203 is compared with the iris information in the iris template (that is, the image of the eyeball U11) acquired in advance.
  • the center position of the pupil in the image V11 is estimated.
  • comparison of iris information between an image captured by the imaging unit 203 and an iris template acquired in advance it can be assumed that this becomes difficult.
  • the “rubber sheet model” is applied for comparison of iris information.
  • the rubber sheet model is a model that assumes that the iris pattern around the pupil expands and contracts in the circumferential direction like rubber according to the expansion and contraction of the pupil.
  • documents such as US Pat. No. 5,291,560A and “J. Daugman,“ How Iris Recognition Works ”” disclose an example in which a rubber sheet model is applied to comparison of iris patterns in iris authentication.
  • FIG. 8 is an explanatory diagram for explaining the outline of the rubber sheet model.
  • the diagram on the left schematically shows the eyeball U11a with the pupil contracted. That is, the reference symbol U111a schematically shows the pupil of the eyeball U11a.
  • Reference symbol U113a schematically shows an iris pattern of the eyeball U11a.
  • the diagram on the right side schematically shows the eyeball U11b with the pupil expanded. That is, the reference symbol U111b schematically shows the pupil of the eyeball U11b.
  • Reference symbol U113b schematically shows an iris pattern of the eyeball U11b.
  • FIG. 9 is a flowchart showing an example of a series of processing flows of the information processing system according to the present embodiment, and particularly shows a processing flow related to estimation of the center position of the pupil.
  • the information processing apparatus 10 sequentially acquires images V ⁇ b> 11 of the eyeball U ⁇ b> 11 captured by the imaging unit 203 and uses the acquired images V ⁇ b> 11 to estimate the center position of the pupil. (S101).
  • the information processing apparatus 10 determines the search range for the center position of the pupil and the center position of the iris and the maximum iris diameter in the image V11 (S103). These parameters may be set as fixed when, for example, the position and size of the eye region (in other words, the region including the pupil and iris) in the image V11 can be assumed in advance. As another example, the approximate position and size of the eye area may be determined based on a conventional method such as circle fitting or segmentation applied by iris authentication or the like. Note that it is more desirable to select a method with a smaller processing amount for determining the initial values of the parameters and the like in accordance with the performance of the signal processing processor.
  • the information processing apparatus 10 sequentially sets points that are candidates for the center position of the pupil and the center position of the iris within the set search range, and executes processing related to analysis and comparison described later for each candidate. Thus, a candidate that substantially matches the center position of the pupil is identified from the candidates.
  • the information processing apparatus 10 sets points that are candidates for the center position of the pupil and the center position of the iris from the search range (S105).
  • the search range S105
  • the position between the center of the pupil and the center of the iris increases as the line of sight faces sideways. Therefore, the eye area can be detected with higher accuracy when the center of the pupil and the center of the iris are individually set.
  • the relative positional relationship between the imaging unit 203 and the eyeball U11 can be assumed in advance, for example, only the center of the pupil is searched, and the center of the iris depends on the center position of the pupil.
  • the predetermined relative position may be specified.
  • the information processing apparatus 10 converts the region within the above-mentioned maximum iris diameter range in the image V11 into polar coordinates in accordance with the setting of candidate points for the pupil center and the iris center (S107).
  • the information processing apparatus 10 may perform polar coordinates along the iris circle with the point set as the candidate for the center of the pupil as the origin.
  • FIG. 10 is an explanatory diagram for explaining an outline of processing for converting a region within the range of the maximum iris diameter into polar coordinates.
  • reference symbol P111 schematically indicates a point set as a candidate for the center of the pupil U111.
  • Reference numeral P113 schematically shows an iris circle.
  • ⁇ indicates a direction corresponding to the radial coordinate in the polar coordinate conversion
  • ⁇ indicates a direction corresponding to the angular coordinate in the polar coordinate conversion.
  • the positional relationship between the pupil circle and the iris circle may vary depending on the positional relationship between the eyeball U11 and the imaging unit 203 or the difference in the line-of-sight direction.
  • the polar coordinate conversion described above makes it possible to obtain a polar coordinate image that is less affected by the positional relationship between the eyeball U11 and the imaging unit 203 and the difference in the line-of-sight direction in the rubber sheet model.
  • FIG. 11 is an explanatory diagram for explaining an outline of a polar coordinate image obtained by converting a region within the range of the maximum iris diameter into polar coordinates.
  • reference signs D110c and D110d each schematically show a partial image corresponding to a region within the range of the iris circle in the image V11 of the eyeball U11.
  • Reference sign D120 schematically shows a polar coordinate image obtained by converting each of the partial images D110c and D110d to polar coordinates.
  • the partial image D110c corresponds to a region within the range of the iris circle in a state where the pupil does not face the imaging unit 203 side (or in a state where the pupil of the eyeball U11 and the imaging unit 203 do not face each other).
  • reference numerals U111c and U113c schematically show the respective areas of the pupil and the iris in the partial image D110c.
  • Reference symbol P113c schematically shows an iris circle in the partial image D110c.
  • Reference symbol P111c schematically shows the center of the pupil U111c. In other words, in the example shown in FIG.
  • the polar coordinate image D120 can be acquired by converting the partial image D110c of the iris circle P113c into polar coordinates around the center P111c of the pupil.
  • the region indicated by the reference symbol D121 corresponds to the pupil region.
  • the region indicated by reference sign D123 corresponds to an iris region.
  • the partial image D110d is a partial image corresponding to a region within the range of the iris circle in a state where the pupil faces the imaging unit 203 side (or a state where the pupil of the eyeball U11 and the imaging unit 203 face each other). It corresponds to. That is, reference numerals U111d and U113d schematically show the respective areas of the pupil and the iris in the partial image D110d. Reference symbol P113d schematically shows an iris circle in the partial image D110c. Reference symbol P111d schematically shows the center of the pupil U111d. In other words, in the example shown in FIG. 11, the polar coordinate image D120 can be acquired by converting the partial image D110d of the iris circle P113d to polar coordinates around the point P111d.
  • partial images for example, partial images D110c and D110d
  • polar coordinate images for example, polar coordinate image D120
  • the iris template acquired at the time of iris authentication may be converted into a polar coordinate image by converting it into polar coordinates in the same manner.
  • a polar coordinate image including an iris region based on the imaging result by the imaging unit 203 that is, the image V11 of the captured eyeball U11
  • polar coordinate image Rc a polar coordinate image including an iris region based on the imaging result by the imaging unit 203
  • polar coordinate image Rt the polar coordinate image corresponding to the iris template acquired in advance at the time of iris authentication is also referred to as “polar coordinate image Rt”.
  • the polar coordinate image Rc corresponds to an example of a “first polar coordinate image”.
  • the polar coordinate image Rt corresponds to an example of a “second polar coordinate image”.
  • the information processing apparatus 10 indicates the degree of coincidence between the polar coordinate images by comparing the polar coordinate image Rc based on the imaging result by the imaging unit 203 with the polar coordinate image Rt corresponding to the iris template.
  • a score (matching score) is calculated (S109).
  • a general image matching prescription such as block matching or normalized correlation is used for the above score for comparison between images. It is possible to use it for calculation.
  • the polar coordinate image Rc based on the imaging result by the imaging unit 203 and the polar coordinate image Rt corresponding to the iris template are adjusted so that the height corresponding to the ⁇ direction substantially matches.
  • the height corresponding to the ⁇ direction is adjusted to be approximately the same between the polar coordinate image based on the imaging result by the imaging unit 203 and the polar coordinate image corresponding to the iris template. explain.
  • an image acquired in advance as an iris template it is more preferable to apply an image obtained by extracting only a region corresponding to an iris based on a conventional method such as circle fitting or segmentation.
  • a conventional method such as circle fitting or segmentation.
  • FIG. 12 is an explanatory diagram for describing processing related to comparison between polar coordinate images by the information processing apparatus according to the present embodiment.
  • the left diagram schematically shows a polar coordinate image Rt acquired in advance as an iris template.
  • the diagram on the right side schematically shows a polar coordinate image Rc based on the imaging result by the imaging unit 203.
  • only a region corresponding to the iris is cut out as the polar coordinate image Rt corresponding to the iris template.
  • the polar image Rc includes the entire iris pattern. Therefore, it is more desirable that the maximum iris diameter when generating the polar coordinate image Rc is set larger.
  • a region corresponding to the polar coordinate image Rc (that is, a region corresponding to the inside of the iris circle) is also referred to as “iris candidate region” for convenience.
  • the iris candidate region corresponding to the polar coordinate image Rc based on the imaging result by the imaging unit 203 includes a region corresponding to the pupil (hereinafter also referred to as “pupil region”), an eyelid, a white eye, and the like. In some cases, a region corresponding to the outside of the iris (hereinafter also referred to as “iris outer region”) is included.
  • the phase of the iris pattern included in the iris candidate region (that is, the polar coordinate image Rc side) is the ⁇ direction with respect to the iris template (that is, the polar coordinate image Rt side). There is a case where it shifts in the vertical direction in FIG. In view of such a situation, when the polar coordinate image Rc and the polar coordinate image Rt are compared, it is preferable to search for a condition with a higher score by sequentially adjusting various parameter conditions on the polar coordinate image Rc side.
  • FIG. 13 is an explanatory diagram for describing processing related to comparison between polar coordinate images by the information processing apparatus according to the present embodiment, and illustrates an example of parameters on the polar coordinate image Rc side to be adjusted.
  • the parameter PT indicates the start position of the region corresponding to the iris in the ⁇ direction in the iris candidate region (in other words, the region corresponding to the iris template).
  • W T indicates the width of the region corresponding to the iris in the ⁇ direction in the iris candidate region.
  • ⁇ T indicates the phase in the ⁇ direction of the iris pattern included in the iris candidate region.
  • the information processing apparatus 10 sequentially changes the conditions of the start position P T of the region corresponding to the iris, the width W T of the region, and the phase ⁇ T of the iris pattern on the polar coordinate image Rc side while sequentially changing the polar image It is preferable to search for a condition having a higher score between Rc and the polar coordinate image Rt.
  • the information processing apparatus 10 searches for a condition of a parameter having a higher score for the polar coordinate image Rc with the origin set as a candidate for the center of the pupil, and the searched condition is the pupil. Is set as a parameter of the polar coordinate image Rc corresponding to the center candidate. That is, the information processing apparatus 10 searches for the condition that maximizes the score, for example, by calculating the score while sequentially changing the conditions (that is, the parameters P T , W T , and ⁇ T ). As illustrated in FIG.
  • the information processing apparatus 10 sequentially changes the candidate points for the center position of the pupil and the center position of the iris within the search range (S105), and a series of reference numerals S107 to S113. The process is sequentially executed for each candidate point (S115, NO). Then, the information processing apparatus 10 performs the above-described processing on all candidate points for the center position of the pupil and the center position of the iris within the search range, and finally the pupil center position and iris having the highest score.
  • the information about the candidate points for the respective center positions is output as the final result. That is, the information output as the final result indicates the actual position and size of the pupil and iris.
  • the information processing apparatus 10 acquires the image V11 of the eyeball U11 that is newly imaged by the imaging unit 203 as a new target (S101). As described above, the information processing apparatus 10 executes a series of processes indicated by reference numerals S101 to S115 unless an instruction to end the series of processes is given (S117, NO). When the information processing apparatus 10 is instructed to end the series of processes (S117, YES), the information processing apparatus 10 ends the series of processes indicated by reference numerals S101 to S117.
  • FIG. 14 is an explanatory diagram for explaining an overview of an information processing system according to a modification.
  • the diagram on the left schematically shows each pixel of the polar coordinate image described above and the pixel value (for example, luminance value) of the pixel. That is, the diagram on the left side of FIG. 14 shows an 8 ⁇ 8 pixel polar coordinate image, and each numerical value indicates the pixel value of the corresponding pixel.
  • the information processing apparatus 10 integrates the polar coordinate image Rc of the iris candidate region in the direction corresponding to the radial coordinate in the polar coordinate conversion (that is, the ⁇ direction), and sequentially integrates the pixel values of each pixel.
  • the diagram on the right side of FIG. 14 shows an example of an integral image obtained by converting the polar coordinate image shown as the diagram on the left side.
  • the information processing apparatus 10 sequentially accumulates the pixel values while projecting each pixel of the polar coordinate image in the ⁇ direction (in other words, averages the pixel values for each row), thereby obtaining the polar coordinate image.
  • the polar coordinate image Rt corresponding to the iris template may be converted into an integrated image by a similar method.
  • the polar coordinate image Rt of M ⁇ rows N ⁇ columns corresponding to the iris template can be dimensionally compressed to M ⁇ rows 1 columns.
  • the integrated image obtained by converting the polar coordinate image Rc corresponds to an example of “first integrated image”.
  • the integral image obtained by converting the polar coordinate image Rt corresponds to an example of a “second integral image”.
  • the one-dimensional data after projection is compared between the polar coordinate image Rt and the polar coordinate image Rc, so It becomes possible to calculate the score more simply than the comparison.
  • the projection vector of the target region is calculated from the polar coordinate image Rc, and the SAD (absolute difference value) or normalized correlation is calculated between the projection vector and the projection vector calculated based on the polar coordinate image Rt. It is preferable to compare the projection vectors by calculating the above. As a result, it is possible to calculate the cost with a smaller amount of calculation than in the case of comparing between conventional images. In particular, in the comparison between the conventional images, it may be necessary to perform the comparison while scaling the images. On the other hand, according to this method, by appropriately changing the range in which the difference vector is calculated, processing related to scaling of the integral image becomes unnecessary, and the amount of calculation is further increased compared to the comparison between the conventional images. It becomes possible to reduce.
  • the information processing apparatus 10 sequentially changes the conditions of the start position P T of the region corresponding to the iris and the width W T of the region while changing the polar coordinate image Rc and
  • the projection vectors may be compared between polar coordinate images Rt.
  • the mask region in the iris circle can be specified by, for example, a known segmentation process. Therefore, for example, in the information processing system according to the modified example, in calculating the projection vector described above, the score is calculated with higher accuracy by performing the calculation after excluding the mask region (that is, the region such as the eyelid). It is also possible to do.
  • FIG. 15 is a functional block diagram illustrating a configuration example of the hardware configuration of the information processing apparatus configuring the communication system according to an embodiment of the present disclosure.
  • the information processing apparatus 900 constituting the communication system mainly includes a CPU 901, a ROM 902, and a RAM 903.
  • the information processing apparatus 900 further includes a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, and a connection port 923. And a communication device 925.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls all or a part of the operation in the information processing apparatus 900 according to various programs recorded in the ROM 902, the RAM 903, the storage apparatus 919, or the removable recording medium 927.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 primarily stores programs used by the CPU 901, parameters that change as appropriate during execution of the programs, and the like. These are connected to each other by a host bus 907 constituted by an internal bus such as a CPU bus.
  • a host bus 907 constituted by an internal bus such as a CPU bus.
  • the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925 are connected to the external bus 911 via an interface 913.
  • the input device 915 is an operation means operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, a lever, and a pedal. Further, the input device 915 may be, for example, remote control means (so-called remote control) using infrared rays or other radio waves, or an external connection device such as a mobile phone or a PDA corresponding to the operation of the information processing device 900. 929 may be used. Furthermore, the input device 915 includes an input control circuit that generates an input signal based on information input by a user using the above-described operation means and outputs the input signal to the CPU 901, for example. A user of the information processing apparatus 900 can input various data and instruct a processing operation to the information processing apparatus 900 by operating the input device 915.
  • the output device 917 is a device that can notify the user of the acquired information visually or audibly. Examples of such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, display devices such as lamps, audio output devices such as speakers and headphones, printer devices, and the like.
  • the output device 917 outputs results obtained by various processes performed by the information processing apparatus 900. Specifically, the display device displays results obtained by various processes performed by the information processing device 900 as text or images.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs the analog signal.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 900.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores programs executed by the CPU 901 and various data.
  • the storage unit 109 illustrated in FIG. 4 can be configured by the storage device 919.
  • the drive 921 is a reader / writer for a recording medium, and is built in or externally attached to the information processing apparatus 900.
  • the drive 921 reads information recorded on a removable recording medium 927 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 903.
  • the drive 921 can also write a record to a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory that is mounted.
  • the removable recording medium 927 is, for example, a DVD medium, an HD-DVD medium, a Blu-ray (registered trademark) medium, or the like.
  • the removable recording medium 927 may be a compact flash (registered trademark) (CF: CompactFlash), a flash memory, an SD memory card (Secure Digital memory card), or the like. Further, the removable recording medium 927 may be, for example, an IC card (Integrated Circuit card) on which a non-contact IC chip is mounted, an electronic device, or the like.
  • CF CompactFlash
  • SD memory card Secure Digital memory card
  • the connection port 923 is a port for directly connecting to the information processing apparatus 900.
  • Examples of the connection port 923 include a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, and the like.
  • As another example of the connection port 923 there are an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, and the like.
  • the communication device 925 is a communication interface configured with, for example, a communication device for connecting to a communication network (network) 931.
  • the communication device 925 is, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communication, or the like.
  • the communication device 925 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet or other communication devices.
  • the communication network 931 connected to the communication device 925 is configured by a wired or wireless network, and may be, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like. .
  • a computer program for realizing each function of the information processing apparatus 900 constituting the information processing system according to the present embodiment as described above can be produced and mounted on a personal computer or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • the number of computers that execute the computer program is not particularly limited.
  • the computer program may be executed by a plurality of computers (for example, a plurality of servers) in cooperation with each other.
  • the information processing apparatus 10 acquires information about the iris in the eyeball, and estimates the center position of the pupil in the eyeball based on the information about the iris. To do. Specifically, the information processing apparatus 10 extracts a partial image of the region including the iris from the eyeball image captured by the predetermined imaging unit 203, and estimates the center position of the pupil based on the extracted partial image. To do. As a more specific example, the information processing apparatus 10 converts the partial image of the region including the iris extracted from the image of the eyeball imaged by the imaging unit 203 to polar coordinates around the point in the region corresponding to the pupil. To generate a polar coordinate image.
  • the information processing apparatus 10 compares the generated polar coordinate image with the polar coordinate image corresponding to the previously generated iris template.
  • the information processing apparatus 10 performs the comparison between the polar coordinate images for each point in the region corresponding to the pupil (that is, the search region), and determines the point corresponding to the polar coordinate image having a smaller difference from the iris template. It is presumed that it substantially matches the center position of.
  • the pupil of the pupil is compared with the conventional method. It becomes possible to detect the center position with high accuracy. In other words, according to the information processing system according to the present embodiment, it is possible to further improve the detection accuracy of the user's line of sight.
  • the rubber sheet model is applied, and the center position of the pupil is determined based on the polar coordinate image obtained by polarizing the partial image including the pupil and the iris. It may be estimated. Due to such a configuration, the center position of the pupil (and hence the user's line of sight) can be accurately detected even in a situation where the positional relationship and the line-of-sight direction between the eyeball and the imaging unit 203 change. It becomes.
  • the configuration relating to the estimation of the center position of the pupil based on the polar coordinate image obtained by converting the partial image including the pupil and the iris into a polar coordinate is merely an example, and does not necessarily limit the configuration of the information processing system according to the present embodiment. . That is, the configuration of the information processing system and the method related to the estimation are not particularly limited as long as the center position of the pupil can be estimated based on the partial image of the region including the iris in the eyeball image.
  • an example in which an image including a pupil and an iris acquired at the time of iris authentication is used as an iris template has been described.
  • the acquisition method and acquisition timing of the iris template are not particularly limited.
  • an opportunity for registration of an iris template may be explicitly provided.
  • an iris template may be dynamically acquired.
  • an iris template may be generated based on a more suitable image (for example, an image in which pupils and irises are captured more widely) among images sequentially captured by the imaging unit 203.
  • the entire iris may not necessarily be captured as an eyeball image acquired in advance as an iris template.
  • an iris template is generated based on an image having a wider range of the imaged iris, the accuracy related to the estimation of the center position of the pupil is further improved.
  • the mode of the information is not particularly limited.
  • information for example, a feature amount of an iris portion
  • the information processing apparatus 10 may reconstruct the iris template and information on the iris candidate region to be compared with the iris template (for example, a polar coordinate image) based on the acquired information.
  • a partial image including a pupil and an iris extracted from an eyeball image, and a polar coordinate image obtained by converting the partial image into polar coordinates may be acquired as information related to the iris.
  • the process related to the extraction of the partial image and the process related to the polar coordinate need not be executed again.
  • the application destination of the process for estimating the center position of the pupil is not necessarily limited to the detection of the line of sight. Is not limited. That is, if the system requires processing related to estimation or detection of the center position of the pupil, the technology according to the present disclosure can be applied to the processing. Further, it goes without saying that the configuration and mode of the devices (for example, the input / output device 20 and the like) constituting the system can be appropriately changed according to the application destination of the technology according to the present disclosure.
  • An acquisition unit that acquires information about the iris in the eyeball;
  • An estimation unit that estimates a center position of a pupil in the eyeball based on the information about the iris;
  • An information processing apparatus comprising: (2) The acquisition unit acquires an image of the eyeball imaged by a predetermined imaging unit as information on the iris, The estimation unit extracts a partial image of the region including the iris from the image, and estimates the center position of the pupil based on the extracted partial image.
  • the information processing apparatus according to (1).
  • the estimation unit generates a polar coordinate image by converting the partial image into a polar coordinate centered on a point in a region corresponding to the pupil, and estimates the center position of the pupil based on the polar coordinate image. ).
  • the estimation unit estimates the center position of the pupil based on a comparison between the first polar coordinate image that is the generated polar coordinate image and a second polar coordinate image that is the other polar coordinate image that has been generated previously.
  • the information processing apparatus according to (3).
  • the estimation unit estimates a center position of the pupil based on a comparison between the iris region of the first polar coordinate image and the iris region of the second polar coordinate image; The information processing apparatus according to (4).
  • the estimation unit includes Sequentially changing the conditions relating to the size of the area to be extracted as the iris area from the first polar image, Based on a comparison between the iris region of the first polar coordinate image corresponding to each of the width conditions and the iris region of the second polar coordinate image, the center position of the pupil Estimate The information processing apparatus according to (5).
  • the estimation unit includes Sequentially controlling the phase of the iris region in the first polar coordinate image in a direction corresponding to the angular coordinate in the polar coordinate conversion; Estimating the center position of the pupil based on a comparison between the iris region of the first polar coordinate image in which the phase is controlled and the iris region of the second polar coordinate image; The information processing apparatus according to (5) or (6).
  • the estimation unit includes Generating the first polar coordinate image for each of a plurality of points in a region corresponding to the pupil; Estimating the center position of the pupil based on a comparison between the first polar coordinate image corresponding to each of the plurality of points and the second polar coordinate image; The information processing apparatus according to any one of (4) to (7). (9) The estimation unit estimates that a point corresponding to the first polar coordinate image having a smaller difference from the second polar coordinate image among the plurality of points substantially matches the center position of the pupil. The information processing apparatus according to (8).
  • the estimation unit generates an integrated image by integrating each pixel value of the polar coordinate image in a direction corresponding to the radial coordinate in the polar coordinate conversion, and estimates the center position of the pupil based on the integrated image.
  • the information processing apparatus according to (3).
  • the estimation unit estimates the center position of the pupil based on a comparison between the first integrated image that is the generated integrated image and the second integrated image that is the other integrated image that has been generated previously.
  • (12) The estimation unit includes: an integrated value of the pixel value in the iris region of the first integrated image; and an integrated value of the pixel value in the iris region of the second integrated image.
  • the information processing apparatus according to (11) wherein a center position of the pupil is estimated based on the information.
  • the estimation unit includes A value obtained by normalizing the integral value of the pixel value in the iris region of the first integral image according to the width of the iris region; A value obtained by normalizing the integral value of the pixel value in the iris region of the second integral image according to the width of the iris region; Estimating the center position of the pupil based on a comparison between The information processing apparatus according to (12).
  • the region has a substantially circular shape,
  • the polar coordinate image has a substantially rectangular shape, The information processing apparatus according to any one of (3) to (13).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

【課題】瞳孔の全体を撮像することが困難な状況下においても、より正確に当該瞳孔の中心を推定可能とする。 【解決手段】眼球中の虹彩に関する情報を取得する取得部と、前記虹彩に関する情報に基づき、前記眼球中の瞳孔の中心位置を推定する推定部と、を備える、情報処理装置。

Description

情報処理装置、情報処理方法、及びプログラム
　本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
　近年では、ユーザの視線を検出し、検出された視線を、スマートフォンやウェアラブルデバイス等のような各種情報処理装置の動作の制御に利用する技術が各種提案されている。
　ユーザの視線を検出するための手法としては、例えば、カメラ等の撮像部によりユーザの眼球を撮像し、撮像された画像から瞳孔の位置を検出することで、当該ユーザの視線を推定する方法が挙げられる。具体的な一例として、特許文献１には、ユーザの眼球に向けて赤外（ＩＲ）光を照射して得られるプルキンエ像と、瞳孔の中心位置と、の間の位置関係に基づき、ユーザの視線が向いている方向（以降では、「視線方向」または単に「視線」とも称する）を推定する技術の一例が開示されている。
特開２０１５－１３０３１号公報
　しかしながら、ユーザの眼球は少なくとも一部がまぶたにより遮蔽されており、撮像部により眼球の画像を撮像したとしても、必ずしも瞳孔の全体が撮像できるとは限らない。そのため、例えば、瞳孔の一部がまぶたにより遮蔽されているような状況下（即ち、瞳孔の全体が撮像されていないような状況下）においては、当該瞳孔の中心を正確に推定することが困難となり、結果として視線方向の検出結果に誤差が生じる場合もある。
　そこで、本開示では、瞳孔の全体を撮像することが困難な状況下においても、より正確に当該瞳孔の中心を推定することが可能な、情報処理装置、情報処理方法、及びプログラムを提案する。
　本開示によれば、眼球中の虹彩に関する情報を取得する取得部と、前記虹彩に関する情報に基づき、前記眼球中の瞳孔の中心位置を推定する推定部と、を備える、情報処理装置が提供される。
　また、本開示によれば、コンピュータが、眼球中の虹彩に関する情報を取得することと、前記虹彩に関する情報に基づき、前記眼球中の瞳孔の中心位置を推定することと、を含む、情報処理方法が提供される。
　本開示によれば、コンピュータに、眼球中の虹彩に関する情報を取得することと、前記虹彩に関する情報に基づき、前記眼球中の瞳孔の中心位置を推定することと、を実行させる、プログラムが提供される。
　以上説明したように本開示によれば、瞳孔の全体を撮像することが困難な状況下においても、より正確に当該瞳孔の中心を推定することが可能な、情報処理装置、情報処理方法、及びプログラムが提供される。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明するための説明図である。 同実施形態に係る入出力装置の概略的な構成の一例について説明するための説明図である。 瞳孔の位置推定に係る処理の一例について説明するための説明図である。 同実施形態に係る情報処理システムの機能構成の一例について示したブロック図である。 同実施形態に係る情報処理システムにおける虹彩認証に係る処理の概要について説明するための説明図である。 同実施形態に係る情報処理システムにおける虹彩認証のユーザインタフェースの一例を示した図である。 同実施形態に係る情報処理システムにおける虹彩認証のユーザインタフェースの他の一例を示した図である。 ラバーシートモデルの概要について説明するための説明図である。 同実施形態に係る情報処理システムの一連の処理の流れの一例について示したフローチャートである。 最大虹彩径の範囲内の領域を極座標化する処理の概要について説明するための説明図である。 最大虹彩径の範囲内の領域を極座標化することで得られる極座標画像の概要について説明するための説明図である。 同実施形態に係る情報処理装置による極座標画像間の比較に係る処理について説明するための説明図である。 同実施形態に係る情報処理装置による極座標画像間の比較に係る処理について説明するための説明図である。 変形例に係る情報処理システムの概要について説明するための説明図である。 本開示の一実施形態に係る通信システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．概略構成
　　１．１．システム構成
　　１．２．入出力装置の構成
　２．視線検出に関する検討
　３．技術的特徴
　　３．１．機能構成
　　３．２．瞳孔の中心位置の推定に係る処理の詳細
　　３．３．変形例
　４．ハードウェア構成の一例
　５．むすび
　＜＜１．概略構成＞＞
　　＜１．１．システム構成＞
　まず、図１を参照して、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明する。図１は、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明するための説明図であり、所謂ＡＲ（Augmented　Reality）技術を応用してユーザに対して各種コンテンツを提示する場合の一例を示している。
　図１において、参照符号ｍ１１１は、実空間上に位置する物体（例えば、実オブジェクト）を模式的に示している。また、参照符号ｖ１３１及びｖ１３３は、実空間上に重畳するように提示される仮想的なコンテンツ（例えば、仮想オブジェクト）を模式的に示している。即ち、本実施形態に係る情報処理システム１は、ＡＲ技術に基づき、例えば、実オブジェクトｍ１１１等の実空間上の物体に対して、仮想オブジェクトを重畳してユーザに提示する。なお、図１では、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、実オブジェクトと仮想オブジェクトとの双方をあわせて提示している。
　図１に示すように、本実施形態に係る情報処理システム１は、情報処理装置１０と、入出力装置２０とを含む。情報処理装置１０と入出力装置２０とは、所定のネットワークを介して互いに情報を送受信可能に構成されている。なお、情報処理装置１０と入出力装置２０とを接続するネットワークの種別は特に限定されない。具体的な一例として、当該ネットワークは、Ｗｉ－Ｆｉ（登録商標）規格に基づくネットワークのような、所謂無線のネットワークにより構成されていてもよい。また、他の一例として、当該ネットワークは、インターネット、専用線、ＬＡＮ（Local　Area　Network）、または、ＷＡＮ（Wide　Area　Network）等により構成されていてもよい。また、当該ネットワークは、複数のネットワークを含んでもよく、少なくとも一部が有線のネットワークとして構成されていてもよい。
　入出力装置２０は、各種入力情報の取得や、当該入出力装置２０を保持するユーザに対して各種出力情報の提示を行うための構成である。また、入出力装置２０による出力情報の提示は、情報処理装置１０により、当該入出力装置２０により取得された入力情報に基づき制御される。例えば、入出力装置２０は、実オブジェクトｍ１１１を認識するための情報（例えば、撮像された実空間の画像）を入力情報として取得し、取得した情報を情報処理装置１０に出力する。情報処理装置１０は、入出力装置２０から取得した情報に基づき、実空間上における実オブジェクトｍ１１１の位置を認識し、当該認識結果に基づき、入出力装置２０に仮想オブジェクトｖ１３１及びｖ１３３を提示させる。このような制御により、入出力装置２０は、所謂ＡＲ技術に基づき、実オブジェクトｍ１１１に対して仮想オブジェクトｖ１３１及びｖ１３３が重畳するように、当該仮想オブジェクトｖ１３１及びｖ１３３をユーザに提示することが可能となる。
　また、入出力装置２０は、例えば、ユーザが頭部の少なくとも一部に装着して使用する、所謂頭部装着型デバイスとして構成されており、当該ユーザの視線を検出または推定するための情報を取得可能に構成されていてもよい。例えば、図１に示す例では、入出力装置２０は、撮像部等によりユーザの眼球Ｕ１１の画像を撮像し、撮像結果を当該ユーザの視線を検出するための情報として取得してもよい。このような構成により、例えば、情報処理装置１０は、入出力装置２０により取得された眼球Ｕ１１の画像を解析することで、ユーザの視線を検出することが可能となる。また、情報処理装置１０は、ユーザの視線の検出結果に基づき、当該ユーザが所望の対象（例えば、実オブジェクトｍ１１１や、仮想オブジェクトｖ１３１及びｖ１３３等）を注視していることを認識した場合に、当該対象を操作対象として特定してもよい。また、情報処理装置１０は、入出力装置２０に対する所定の操作をトリガとして、ユーザの視線が向けられている対象を操作対象として特定してもよい。以上のようにして、情報処理装置１０は、操作対象を特定し、当該操作対象に関連付けられた処理を実行することで、入出力装置２０を介して各種サービスをユーザに提供してもよい。
　なお、図１では、入出力装置２０と情報処理装置１０とが互いに異なる装置として示されているが、入出力装置２０及び情報処理装置１０は一体的に構成されていてもよい。また、入出力装置２０及び情報処理装置１０の構成及び処理の詳細については別途後述する。また、図１に示す例では、入出力装置２０としてメガネ型のウェアラブルデバイスを適用する場合を例に説明したが、必ずしも本開示に係る技術を適用する装置の構成や態様を限定するものではない。具体的な一例として、入出力装置２０として、スマートフォン等のような携行可能に構成された端末装置が適用されてもよい。
　以上、図１を参照して、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明した。
　　＜１．２．入出力装置の構成＞
　続いて、図２を参照して、図１に示した本実施形態に係る入出力装置２０の概略的な構成の一例について説明する。図２は、本実施形態に係る入出力装置の概略的な構成の一例について説明するための説明図である。
　前述したように、本実施形態に係る入出力装置２０は、ユーザが頭部の少なくとも一部に装着して使用する、所謂頭部装着型デバイスとして構成することが可能である。例えば、図２に示す例では、入出力装置２０は、所謂アイウェア型（メガネ型）のデバイスとして構成されており、レンズ２９３ａ及び２９３ｂのうち少なくともいずれかが透過型のディスプレイ（出力部２１１）として構成されている。また、入出力装置２０は、第１撮像部２０１ａ及び２０１ｂと、操作部２０７と、メガネのフレームに相当する保持部２９１とを備える。また、入出力装置２０は、第２撮像部２０３ａ及び２０３ｂを備えてもよい。なお、以降では、入出力装置２０が、第２撮像部２０３ａ及び２０３ｂを備えているものとして各種説明を行う。保持部２９１は、入出力装置２０がユーザの頭部に装着されたときに、出力部２１１と、第１撮像部２０１ａ及び２０１ｂと、第２撮像部２０３ａ及び２０３ｂと、操作部２０７とを、当該ユーザの頭部に対して所定の位置関係となるように保持する。また、図２には図示していないが、入出力装置２０は、ユーザの音声を集音するための集音部を備えていてもよい。
　ここで、入出力装置２０のより具体的な構成について説明する。例えば、図２に示す例では、レンズ２９３ａが、右眼側のレンズに相当し、レンズ２９３ｂが、左眼側のレンズに相当する。即ち、保持部２９１は、入出力装置２０が装着された場合に、出力部２１１（換言すると、レンズ２９３ａ及び２９３ｂ）がユーザの眼前に位置するように、当該出力部２１１を保持する。
　第１撮像部２０１ａ及び２０１ｂは、所謂ステレオカメラとして構成されており、入出力装置２０がユーザの頭部に装着されたときに、当該ユーザの頭部が向いた方向（即ち、ユーザの前方）を向くように、保持部２９１によりそれぞれ保持される。このとき、第１撮像部２０１ａが、ユーザの右眼の近傍に保持され、第１撮像部２０１ｂが、当該ユーザの左眼の近傍に保持される。このような構成に基づき、第１撮像部２０１ａ及び２０１ｂは、入出力装置２０の前方に位置する被写体（換言すると、実空間に位置する実オブジェクト）を互いに異なる位置から撮像する。これにより、入出力装置２０は、ユーザの前方に位置する被写体の画像を取得するとともに、第１撮像部２０１ａ及び２０１ｂそれぞれにより撮像された画像間の視差に基づき、当該入出力装置２０から、当該被写体までの距離を算出することが可能となる。
　なお、入出力装置２０と被写体との間の距離を測定可能であれば、その構成や方法は特に限定されない。具体的な一例として、マルチカメラステレオ、移動視差、ＴＯＦ（Time　Of　Flight）、Structured　Light等の方式に基づき、入出力装置２０と被写体との間の距離が測定されてもよい。ここで、ＴＯＦとは、被写体に対して赤外線等の光を投光し、投稿した光が当該被写体で反射して戻るまでの時間を画素ごとに測定することで、当該測定結果に基づき被写体までの距離（深度）を含めた画像（所謂距離画像）を得る方式である。また、Structured　Lightは、被写体に対して赤外線等の光によりパターンを照射しそれを撮像することで、撮像結果から得られる当該パターンの変化に基づき、被写体までの距離（深度）を含めた距離画像を得る方式である。また、移動視差とは、所謂単眼カメラにおいても、視差に基づき被写体までの距離を測定する方法である。具体的には、カメラを移動させることで、被写体を互いに異なる視点から撮像し、撮像された画像間の視差に基づき被写体までの距離を測定する。なお、このとき各種センサによりカメラの移動距離及び移動方向を認識することで、被写体までの距離をより精度良く測定することが可能となる。なお、距離の測定方法に応じて、撮像部の構成（例えば、単眼カメラ、ステレオカメラ等）を変更してもよい。
　また、第２撮像部２０３ａ及び２０３ｂは、入出力装置２０がユーザの頭部に装着されたときに、それぞれの撮像範囲内に当該ユーザの眼球が位置するように、保持部２９１によりそれぞれ保持される。具体的な一例として、第２撮像部２０３ａは、撮像範囲内にユーザの右眼が位置するように保持される。このような構成に基づき、第２撮像部２０３ａにより撮像された右眼の眼球（即ち、図２に示す眼球Ｕ１１）の画像と、当該第２撮像部２０３ａと当該右眼との間の位置関係と、に基づき、当該右眼の視線が向いている方向を認識することが可能となる。同様に、第２撮像部２０３ｂは、撮像範囲内に当該ユーザの左眼が位置するように保持される。即ち、第２撮像部２０３ｂにより撮像された左眼の眼球の画像と、当該第２撮像部２０３ｂと当該左眼との間の位置関係と、に基づき、当該左眼の視線が向いている方向を認識することが可能となる。なお、図２に示す例では、入出力装置２０が第２撮像部２０３ａ及び２０３ｂの双方を含む構成について示しているが、第２撮像部２０３ａ及び２０３ｂのうちいずれかのみが設けられていてもよい。
　操作部２０７は、入出力装置２０に対するユーザからの操作を受け付けるための構成である。操作部２０７は、例えば、タッチパネルやボタン等のような入力デバイスにより構成されていてもよい。操作部２０７は、保持部２９１により、入出力装置２０の所定の位置に保持されている。例えば、図２に示す例では、操作部２０７は、メガネのテンプルに相当する位置に保持されている。
　また、本実施形態に係る入出力装置２０は、例えば、加速度センサや、角速度センサ（ジャイロセンサ）が設けられ、当該入出力装置２０を装着したユーザの頭部の動き（換言すると、入出力装置２０自体の動き）を検出可能に構成されていてもよい。具体的な一例として、入出力装置２０は、ユーザの頭部の動きとして、ヨー（yaw）方向、ピッチ（pitch）方向、及びロール（roll）方向それぞれの成分を検出することで、当該ユーザの頭部の位置及び姿勢のうち少なくともいずれかの変化を認識してもよい。
　以上のような構成に基づき、本実施形態に係る入出力装置２０は、ユーザの頭部の動きに応じた、実空間上における自身の位置や姿勢の変化を認識することが可能となる。また、このとき入出力装置２０は、所謂ＡＲ技術に基づき、実空間に位置する実オブジェクトに対して、仮想的なコンテンツ（即ち、仮想オブジェクト）が重畳するように、出力部２１１に当該コンテンツを提示することも可能となる。なお、入出力装置２０が、実空間上における自身の位置及び姿勢を推定するための方法（即ち、自己位置推定）の一例については、詳細を別途後述する。
　なお、入出力装置２０として適用可能な頭部装着型の表示装置（ＨＭＤ：Head　Mounted　Display）の一例としては、例えば、シースルー型ＨＭＤ、ビデオシースルー型ＨＭＤ、及び網膜投射型ＨＭＤが挙げられる。
　シースルー型ＨＭＤは、例えば、ハーフミラーや透明な導光板を用いて、透明な導光部等からなる虚像光学系をユーザの眼前に保持し、当該虚像光学系の内側に画像を表示させる。そのため、シースルー型ＨＭＤを装着したユーザは、虚像光学系の内側に表示された画像を視聴している間も、外部の風景を視野に入れることが可能となる。このような構成により、シースルー型ＨＭＤは、例えば、ＡＲ技術に基づき、当該シースルー型ＨＭＤの位置及び姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。なお、シースルー型ＨＭＤの具体的な一例として、メガネのレンズに相当する部分を虚像光学系として構成した、所謂メガネ型のウェアラブルデバイスが挙げられる。例えば、図２に示した入出力装置２０は、シースルー型ＨＭＤの一例に相当する。
　ビデオシースルー型ＨＭＤは、ユーザの頭部または顔部に装着された場合に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。また、ビデオシースルー型ＨＭＤは、周囲の風景を撮像するための撮像部を有し、当該撮像部により撮像されたユーザの前方の風景の画像を表示部に表示させる。このような構成により、ビデオシースルー型ＨＭＤを装着したユーザは、外部の風景を直接視野に入れることは困難ではあるが、表示部に表示された画像により、外部の風景を確認することが可能となる。また、このときビデオシースルー型ＨＭＤは、例えば、ＡＲ技術に基づき、当該ビデオシースルー型ＨＭＤの位置及び姿勢のうち少なくともいずれかの認識結果に応じて、外部の風景の画像に対して仮想オブジェクトを重畳させてもよい。
　網膜投射型ＨＭＤは、ユーザの眼前に投影部が保持されており、当該投影部からユーザの眼に向けて、外部の風景に対して画像が重畳するように当該画像が投影される。より具体的には、網膜投射型ＨＭＤでは、ユーザの眼の網膜に対して、投影部から画像が直接投射され、当該画像が網膜上で結像する。このような構成により、近視や遠視のユーザの場合においても、より鮮明な映像を視聴することが可能となる。また、網膜投射型ＨＭＤを装着したユーザは、投影部から投影される画像を視聴している間も、外部の風景を視野に入れることが可能となる。このような構成により、網膜投射型ＨＭＤは、例えば、ＡＲ技術に基づき、当該網膜投射型ＨＭＤの位置や姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。
　また、上記では、ＡＲ技術を適用することを前提として、本実施形態に係る入出力装置２０の構成の一例について説明したが、必ずしも、当該入出力装置２０の構成を限定するものではない。例えば、ＶＲ技術を適用することを想定した場合には、本実施形態に係る入出力装置２０は、没入型ＨＭＤと呼ばれるＨＭＤとして構成されていてもよい。没入型ＨＭＤは、ビデオシースルー型ＨＭＤと同様に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。そのため、没入型ＨＭＤを装着したユーザは、外部の風景（即ち、現実世界の風景）を直接視野に入れることが困難であり、表示部に表示された映像のみが視界に入ることとなる。このような構成により、没入型ＨＭＤは、画像を視聴しているユーザに対して没入感を与えることが可能となる。
　以上、図２を参照して、本開示の一実施形態に係る入出力装置の概略的な構成の一例について説明した。
　＜＜２．視線検出に関する検討＞＞
　続いて、ユーザの視線を検出する技術の一例について概要を説明したうえで、本開示の一実施形態に係る情報処理システムの課題について整理する。
　ユーザの視線を検出（推定）するための手法としては、例えば、カメラ等の撮像部によりユーザの眼球を撮像し、撮像された画像から瞳孔の位置を検出することで、当該ユーザの視線を推定する方法が挙げられる。具体的な一例として、ユーザの眼球に向けて赤外（ＩＲ）光を照射して得られるプルキンエ像と、瞳孔の中心位置と、の間の位置関係に基づき、ユーザの視線方向を推定する技術が挙げられる。
　より具体的には、例えば、特開平０６－３０４１４１号公報には、ＩＲ光の角膜反射により得られる撮影画像中のプルキンエ像を利用し、角膜の曲率中心と瞳孔中心間の距離Ｌｏｃを既知として、撮影画像中の複数のプルキンエ像の中点（ｘｄ＋ｘｅ）／２と瞳孔中心との距離ｘｃの距離から眼球光軸の回転角度θを算出する方法が開示されている。なお、当該方法では、距離Ｌｏｃの個人差を補正する係数Ａ１と、回転角度θを実際の視線角度（視軸）θＨに変換するための補正係数Ｂ１とは、視線検出前にあらかじめ設定しておく必要がある。また、特開平０９－２８６７３号公報には、登録された虹彩模様とのマッチング（虹彩認証）によりユーザを特定し、個人ごとに保持された補正情報を選択する方法が開示されている。
　上述した角膜反射法のように瞳孔または虹彩を含んだ領域の位置を視線推定に利用する場合には、例えば、画像処理により瞳孔や虹彩領域の位置を推定する場合がある。なお、画像処理に基づき瞳孔や虹彩の位置を推定する手法としては、例えば、円や楕円のような図形テンプレートのエッジに対する一致度の高い領域を探索する手法が適用されることが多い。
　しかしながら、ユーザの眼球は、少なくとも一部がまぶたにより遮蔽されており、撮像部により眼球の画像を撮像したとしても、必ずしも瞳孔の全体が撮像できるとは限らない。例えば、図３は、瞳孔の位置推定に係る処理の一例について説明するための説明図であり、ユーザの眼球Ｕ１１を、当該ユーザの正面から見た場合の状況を模式的に示している。図３において、参照符号Ｕ１１１は、ユーザの眼球Ｕ１１の瞳孔を模式的に示している。また、参照符号Ｕ２１は、ユーザのまぶたを模式的に示しいている。即ち、図３に示す例では、まぶたＵ２１により、瞳孔Ｕ１１１の一部が遮蔽されている。
　図３に示すような状態において、画像処理に基づき瞳孔Ｕ１１１の中心の位置を推定する場合には、例えば、参照符号Ｐ２１で示された領域が、瞳孔Ｕ１１１の領域として推定されることとなる。そのため、この場合には、領域Ｐ２１の中心Ｐ１１が、瞳孔Ｕ１１１の中心として推定されることとなる。しかしながら、図３に示す例では、瞳孔Ｕ１１１は、まぶたＵ２１により一部が遮蔽されており、実際の中心は、参照符号Ｐ１０で示された位置となる。
　このように、瞳孔の一部がまぶたにより遮蔽されているような状況下では、当該瞳孔全体の画像を撮像することが困難であり、瞳孔の正確な位置を推定することが困難となる場合がある。このような場合には、視線推定の精度を低下する場合も想定され得る。また、撮像部により撮像された眼球の画像において、瞳孔の輪郭（エッジ）がぼやけたり、虹彩模様に対するコントラストが低下するような場合もある。このような場合においても、瞳孔の正確な位置を推定することが困難となり、ひいては、視線推定の精度を低下する場合がある。
　このような状況を鑑み、本開示では、図３を参照して説明した例のように、瞳孔の全体を撮像することが困難な状況下においても、より正確に当該瞳孔の中心の推定を可能とする技術の一例について提案する。
　＜＜３．技術的特徴＞＞
　以下に、本実施形態に係る情報処理システムの技術的特徴について説明する。
　　＜３．１．機能構成＞
　まず、図４を参照して、本実施形態に係る情報処理システムの機能構成の一例について、特に、図１を参照して説明した情報処理装置１０の構成に着目して説明する。図４は、本実施形態に係る情報処理システムの機能構成の一例について示したブロック図である。
　図１を参照して前述したように、本実施形態に係る情報処理システム１は、情報処理装置１０と、入出力装置２０とを含む。なお、図４に示す例では、入出力装置２０については、ユーザの眼球Ｕ１１の画像を撮像する撮像部２０３（図１に示す第２撮像部２０３ａ及び２０３ｂに相当）について図示し、その他の構成については図示を省略している。また、図４に示す例では、情報処理装置１０については、ユーザの視線の推定に係る構成について図示し、その他の構成については図示を省略している。
　図４に示すように、撮像部２０３は、ユーザの眼球Ｕ１１の画像を撮像し、撮像した当該画像を情報処理装置１０に出力する。なお、撮像部２０３が、眼球Ｕ１１の画像を撮像するタイミングは特に限定されない。具体的な一例として、撮像部２０３、眼球Ｕ１１の画像を動画像として撮像することで、当該眼球Ｕ１１の画像を逐次取得してもよい。また、他の一例として、撮像部２０３は、所定のイベントをトリガとして、眼球Ｕ１１の画像を撮像してもよい。
　図４に示すように、情報処理装置１０は、認証処理部１０１と、瞳孔中心推定部１０３と、プルキンエ像位置検出部１０５と、視線推定部１０７と、記憶部１０９とを含む。
　記憶部１０９は、各種データを、一時的または恒常的に記憶するための記憶領域である。例えば、撮像部２０３により撮像された眼球Ｕ１１の画像が記憶されてもよい。
　認証処理部１０１は、撮像部２０３により撮像された眼球Ｕ１１の画像を当該撮像部２０３から取得し、当該画像に撮像された虹彩模様を利用してユーザの認証を行う。例えば、図５は、本実施形態に係る情報処理システムにおける虹彩認証に係る処理の概要について説明するための説明図である。図５において、参照符号Ｖ１１は、撮像部２０３により撮像された眼球Ｕ１１の画像を示している。虹彩認証には、図５に示すように、瞳孔及び虹彩が撮像された画像Ｖ１１が用いられる。即ち、認証処理部１０１は、撮像部２０３により撮像された瞳孔及び虹彩を被写体として含む画像Ｖ１１を、あらかじめ所定の記憶領域（例えば、記憶部１０９）に記憶された、瞳孔及び虹彩を被写体として含む他の画像（即ち、眼球Ｕ１１の画像）と比較することで、ユーザの認証を行う。
　また、詳細は後述するが、本実施形態に係る情報処理装置１０は、眼球Ｕ１１の画像Ｖ１１に被写体として含まれる虹彩模様の領域を、瞳孔の中心の推定（ひいては、視線の推定）に利用する。このような特性から、例えば、図４に示す例では、情報処理装置１０は、虹彩認証に利用した眼球Ｕ１１の画像Ｖ１１（具体的には、虹彩模様の領域を含む画像）を、瞳孔の中心の推定（ひいては、視線の推定）を行うためのテンプレートとして利用する。そのため、認証処理部１０１は、認証に利用した眼球Ｕ１１の画像を、当該テンプレートとして記憶部１０９に記憶させる。
　なお、本実施形態に係る情報処理システム１においては、上記テンプレートとしては、必ずしも虹彩模様の全体が撮像されていなくてもよいが、撮像されている虹彩模様の範囲がより広いほど、瞳孔の中心の推定に係る精度をより向上させることが可能となる。そのため、例えば、虹彩認証時に、虹彩模様のより広い範囲が撮像されるように（理想的には、虹彩模様の全体が撮像されるように）、ユーザに対して目を見開く等の動作を促してもよい。なお、以降の説明では、上記テンプレートを、「虹彩テンプレート」とも称する。
　例えば、図６は、本実施形態に係る情報処理システム１における虹彩認証のユーザインタフェースの一例を示した図である。図６に示す例では、ユーザの眼球Ｕ１１の画像Ｖ１１がより好適な態様で撮像されるように、図２に示す入出力装置２０の出力部２１１に、画面の中央を見つめて目を見開く動作をユーザに促すための報知情報Ｖ１１１が表示されている。
　また、図７は、本実施形態に係る情報処理システム１における虹彩認証のユーザインタフェースの他の一例を示した図であり、スマートフォン等のような端末装置を入出力装置２０として使用した場合の一例を示している。図７に示す例では、ユーザの眼球Ｕ１１の画像Ｖ１１がより好適な態様で撮像されるように、当該端末装置の出力部２１１’に、目を見開く動作をユーザに促すための報知情報Ｖ１１１’が表示されている。
　また、上記虹彩テンプレートとして、眼球Ｕ１１の画像Ｖ１１のうち、虹彩の領域を含む部分画像が記憶部１０９に記憶されてもよい。この場合には、例えば、目領域セグメンテーション等の手法を適用することで、眼球Ｕ１１の画像Ｖ１１から目領域（換言すると、虹彩が含まれる領域）を抽出することが可能である。なお、目領域セグメンテーションについては、例えば、「N.Liu　et　al.,　“Accurate　Iris　Segmentation　in　Non－cooperative　Environments　Using　Fully　Convolutional　Networks”,　IEEE　ICB　2016」に開示されている。
　プルキンエ像位置検出部１０５は、撮像部２０３により撮像された眼球Ｕ１１の画像Ｖ１１を当該撮像部２０３から取得し、画像Ｖ１１に対して画像解析を施すことで、当該画像Ｖ１１中におけるプルキンエ像の位置を検出する。なお、プルキンエ像の抽出に係る手法については、特開２０１５－１３０３１号公報等に開示されている。また、図４に示す例では図示を省略しているが、眼球Ｕ１１に対して赤外光を照射するための光源等のように、プルキンエ像を抽出するために必要な構成が入出力装置２０や情報処理装置１０に含まれていてもよいし、当該構成を実現する装置が別途設けられていてもよい。そして、プルキンエ像位置検出部１０５は、眼球Ｕ１１の画像Ｖ１１中におけるプルキンエ像の位置の検出結果を示す情報を、視線推定部１０７に出力する。
　瞳孔中心推定部１０３は、撮像部２０３により撮像された眼球Ｕ１１の画像Ｖ１１を当該撮像部２０３から取得する。瞳孔中心推定部１０３は、取得した眼球Ｕ１１の画像Ｖ１１のうち虹彩を含む領域の部分画像を抽出し、当該部分画像を記憶部１０９にあらかじめ記憶された虹彩テンプレートと比較することで、当該画像Ｖ１１中における瞳孔の中心の位置（以下、「瞳孔の中心位置」とも称する）を推定する。なお、瞳孔の中心位置の推定に係る処理については、詳細を別途後述する。そして、瞳孔中心推定部１０３は、眼球Ｕ１１の画像Ｖ１１中における瞳孔の中心位置の推定結果を示す情報を、視線推定部１０７に出力する。
　視線推定部１０７は、撮像部２０３により撮像された眼球Ｕ１１の画像Ｖ１１中におけるプルキンエ像の位置の検出結果を示す情報を、プルキンエ像位置検出部１０５から取得する。また、視線推定部１０７は、当該画像Ｖ１１中における瞳孔の中心位置の推定結果を示す情報を瞳孔中心推定部１０３から取得する。そして、視線推定部１０７は、プルキンエ像の位置の検出結果と、瞳孔の中心位置の推定結果と、に基づき、ユーザの視線が向いている方向（即ち、視線方向）を推定する。
　そして、視線推定部１０７は、視線方向の推定結果を示す情報を、所定の出力先に出力する。このような構成により、例えば、情報処理装置１０は、上記視線方向の推定結果を、各種処理の実行に利用することが可能となる。なお、瞳孔中心推定部１０３や視線推定部１０７が、「推定部」の一例に相当する。また、瞳孔中心推定部１０３のうち、撮像部２０３から画像Ｖ１１を取得する部分が「取得部」の一例に相当する。
　なお、上述した本実施形態に係る情報処理システム１の機能構成はあくまで一例であり、上述した各機能を実現することが可能であれば、情報処理システム１の機能構成は必ずしも図４に示す例には限定されない。具体的な一例として、情報処理装置１０の一部の構成が、当該情報処理装置１０の外部に設けられていてもよい。より具体的な一例として、情報処理装置１０の一部の構成（例えば、認証処理部１０１）が、入出力装置２０側に設けられていてもよい。また、他の一例として、情報処理装置１０の各機能が、複数の装置が連携することにより実現されてもよい。また、他の一例として、前述したように、情報処理装置１０と入出力装置２０とが一体的に構成されていてもよい。また、情報処理装置１０に相当する構成のうち少なくとも一部の構成が、ＩＣ等のような集積回路（例えば、半導体チップ等）として構成されていてもよい。この場合には、例えば、当該集積回路が、入出力装置２０（例えば、ＨＭＤやスマートフォン等）に内蔵されていてもよい。
　以上、図４を参照して、本実施形態に係る情報処理システムの機能構成の一例について、特に、図１を参照して説明した情報処理装置１０の構成に着目して説明した。
　　＜３．２．瞳孔の中心位置の推定に係る処理の詳細＞
　続いて、瞳孔の中心位置の推定に係る処理の詳細について説明する。
　　（ラバーシートモデルの適用）
　本実施形態に係る情報処理システムでは、撮像部２０３により撮像された眼球Ｕ１１の画像Ｖ１１における虹彩の情報を、あらかじめ取得された虹彩テンプレート（即ち、眼球Ｕ１１の画像）における虹彩の情報と比較することで、当該画像Ｖ１１中における瞳孔の中心位置を推定する。しかしながら、一般的には、照明等の環境やユーザの状態によって瞳孔径が変化するため、撮像部２０３により撮像された画像と、あらかじめ取得された虹彩テンプレートと、の間での虹彩の情報の比較が困難となる場合が想定され得る。
　そこで、本実施形態に係る情報処理システムでは、虹彩情報の比較に「ラバーシートモデル」を適用する。ラバーシートモデルとは、瞳孔周囲の虹彩模様が、瞳孔に伸縮に応じてゴムのように円周方向に伸縮すると仮定したモデルである。例えば、ＵＳ５２９１５６０Ａや「J．Daugman，　“How　Iris　Recognition　Works”」等の文献には、虹彩認証における虹彩模様の比較にラバーシートモデルを適用する場合の一例が開示されている。
　例えば、図８は、ラバーシートモデルの概要について説明するための説明図である。図８において、左側の図は、瞳孔が収縮した状態の眼球Ｕ１１ａを模式的に示している。即ち、参照符号Ｕ１１１ａは、眼球Ｕ１１ａの瞳孔を模式的に示している。また、参照符号Ｕ１１３ａは、眼球Ｕ１１ａの虹彩模様を模式的に示している。また、右側の図は、瞳孔が拡張した状態の眼球Ｕ１１ｂを模式的に示している。即ち、参照符号Ｕ１１１ｂは、眼球Ｕ１１ｂの瞳孔を模式的に示している。また、参照符号Ｕ１１３ｂは、眼球Ｕ１１ｂの虹彩模様を模式的に示している。
　　（瞳孔の中心位置の推定に係る処理の流れ）
　続いて、図９を参照して、撮像部２０３により撮像された眼球Ｕ１１の画像Ｖ１１における瞳孔の中心位置の推定に係る処理の流れの一例について説明する。図９は、本実施形態に係る情報処理システムの一連の処理の流れの一例について示したフローチャートであり、特に、瞳孔の中心位置の推定に係る処理の流れについて示している。
　図９に示すように、情報処理装置１０（瞳孔中心推定部１０３）は、撮像部２０３により撮像された眼球Ｕ１１の画像Ｖ１１を逐次取得し、取得した当該画像Ｖ１１を、瞳孔の中心位置の推定に係る処理の対象とする（Ｓ１０１）。
　情報処理装置１０は、眼球Ｕ１１の画像Ｖ１１を取得すると、当該画像Ｖ１１中における瞳孔の中心位置及び虹彩の中心位置の探索範囲と、最大虹彩径とを決定する（Ｓ１０３）。これらのパラメータについては、例えば、画像Ｖ１１中における目領域（換言すると、瞳孔及び虹彩を含む領域）の位置や大きさがあらかじめ想定され得る場合には固定として設定されていてもよい。また、他の一例として、虹彩認証等により適用される円フィッティングやセグメンテーション等のような従来の手法に基づき、目領域のおおよその位置や大きさが決定されてもよい。なお、信号処理用のプロセッサの性能に応じて、上記パラメータ等の初期値の決定に、より処理量の少ない手法が選択されるとより望ましい。
　次いで、情報処理装置１０は、設定した探索範囲内において瞳孔の中心位置及び虹彩の中心位置それぞれの候補となる点を逐次設定し、当該候補ごとに後述する解析及び比較に係る処理を実行することにより、当該候補の中から瞳孔の中心位置と略一致する候補を特定する。
　具体的には、情報処理装置１０は、探索範囲内から瞳孔の中心位置及び虹彩の中心位置それぞれの候補となる点を設定する（Ｓ１０５）。なお、一般的には、撮像部２０３が眼球Ｕ１１と正対している状態においては、視線が横を向くほど瞳孔の中心と虹彩の中心との間の位置が離間する。そのため、瞳孔の中心と虹彩の中心とは個別に設定された方が、より精度の高い目領域の検出を行うことが可能となる。ただし、撮像部２０３と眼球Ｕ１１との間の相対的な位置関係を事前に想定し得る場合には、例えば、瞳孔の中心のみを探索の対象とし、虹彩の中心については瞳孔の中心位置に応じた所定の相対位置として特定されてもよい。
　次いで、情報処理装置１０は、瞳孔の中心及び虹彩の中心それぞれの候補となる点の設定に応じて、画像Ｖ１１における上述した最大虹彩径の範囲内の領域を極座標化する（Ｓ１０７）。このとき、例えば、情報処理装置１０は、瞳孔の中心の候補として設定した点を原点として、虹彩円に沿って極座標化を行うとよい。具体的な一例として、図１０は、最大虹彩径の範囲内の領域を極座標化する処理の概要について説明するための説明図である。図１０において、参照符号Ｐ１１１は、瞳孔Ｕ１１１の中心の候補として設定した点を模式的に示している。また、参照符号Ｐ１１３は、虹彩円を模式的に示している。また、ρが、当該極座標化における動径座標に対応する方向を示しており、θが、当該極座標化における角度座標に対応する方向を示している。
　瞳孔円と虹彩円との間の位置関係については、眼球Ｕ１１と撮像部２０３との間の位置関係や視線方向の違いにより変化し得る。一方で、上述した極座標化により、ラバーシートモデルにおいて、眼球Ｕ１１と撮像部２０３との間の位置関係や視線方向の違いによる影響のより少ない極座標画像を得ることが可能となる。
　例えば、図１１は、最大虹彩径の範囲内の領域を極座標化することで得られる極座標画像の概要について説明するための説明図である。図１１において、参照符号Ｄ１１０ｃ及びＤ１１０ｄのそれぞれは、眼球Ｕ１１の画像Ｖ１１のうち虹彩円の範囲内の領域に相当する部分画像を模式的に示している。また、参照符号Ｄ１２０は、部分画像Ｄ１１０ｃ及びＤ１１０ｄそれぞれを極座標化することで得られる極座標画像を模式的に示している。
　具体的には、部分画像Ｄ１１０ｃは、瞳孔が撮像部２０３側を向いていない状態（または、眼球Ｕ１１の瞳孔と撮像部２０３とが正対していない状態）における虹彩円の範囲内の領域に相当する部分画像に相当する。即ち、参照符号Ｕ１１１ｃ及びＵ１１３ｃは、部分画像Ｄ１１０ｃにおける瞳孔及び虹彩それぞれの領域を模式的に示している。また、参照符号Ｐ１１３ｃは、部分画像Ｄ１１０ｃにおける虹彩円を模式的に示している。また、参照符号Ｐ１１１ｃは、瞳孔Ｕ１１１ｃの中心を模式的に示している。即ち、図１１に示す例では、虹彩円Ｐ１１３ｃの部分画像Ｄ１１０ｃを、瞳孔の中心Ｐ１１１ｃを中心として極座標化することにより、極座標画像Ｄ１２０を取得することが可能となる。なお、極座標画像Ｄ１２０において、参照符号Ｄ１２１で示された領域は、瞳孔の領域に相当する。また、参照符号Ｄ１２３で示された領域は、虹彩の領域に相当する。
　また、部分画像Ｄ１１０ｄは、瞳孔が撮像部２０３側を向いている状態（または、眼球Ｕ１１の瞳孔と撮像部２０３とが正対している状態）における虹彩円の範囲内の領域に相当する部分画像に相当する。即ち、参照符号Ｕ１１１ｄ及びＵ１１３ｄは、部分画像Ｄ１１０ｄにおける瞳孔及び虹彩それぞれの領域を模式的に示している。また、参照符号Ｐ１１３ｄは、部分画像Ｄ１１０ｃにおける虹彩円を模式的に示している。また、参照符号Ｐ１１１ｄは、瞳孔Ｕ１１１ｄの中心を模式的に示している。即ち、図１１に示す例では、虹彩円Ｐ１１３ｄの部分画像Ｄ１１０ｄを、点Ｐ１１１ｄを中心として極座標化することにより、極座標画像Ｄ１２０を取得することが可能となる。
　即ち、ラバーシートモデルの適用を想定すると、図１１における部分画像Ｄ１１０ｃ及びＤ１１０ｄのように眼球Ｕ１１と撮像部２０３との間の位置関係や視線方向が異なるような状況下においても、理想的には、同様の極座標画像Ｄ１２０を取得することが可能となる。また、上記極座標化に伴い、虹彩円の領域に相当する略円形の形状を有する部分画像（例えば、部分画像Ｄ１１０ｃ及びＤ１１０ｄ）を、略矩形の形状を有する極座標画像（例えば、極座標画像Ｄ１２０）に変換することが可能となる。これにより、例えば、虹彩円の領域に相当する略円形の形状を有する部分画像を解析する場合に比べて、ラインアクセスによるアクセス速度の向上が見込まれる。また、並列処理が可能となるため、処理全体の速度性能の向上も見込まれる。なお、虹彩認証時に取得される虹彩テンプレートについても、同様に極座標化することで極座標画像に変換しておくとよい。なお、以降の説明では、便宜上、撮像部２０３による撮像結果（即ち、撮像された眼球Ｕ１１の画像Ｖ１１）に基づく虹彩の領域を含む極座標画像を「極座標画像Ｒｃ」とも称する。また、虹彩認証時にあらかじめ取得された虹彩テンプレートに対応する極座標画像を「極座標画像Ｒｔ」とも称する。なお、極座標画像Ｒｃが、「第１の極座標画像」の一例に相当する。また、極座標画像Ｒｔが、「第２の極座標画像」の一例に相当する。
　次いで、図９に示すように、情報処理装置１０は、撮像部２０３による撮像結果に基づく極座標画像Ｒｃを虹彩テンプレートに対応する極座標画像Ｒｔと比較することで、当該極座標画像間の一致度を示すスコア（マッチングスコア）を算出する（Ｓ１０９）。ここで、前述した極座標化により略矩形の形状を有する極座標画像に変換しておくことで、画像間の比較に、ブロックマッチングや正規化相関等のような一般的な画像マッチングの処方を上記スコアの算出に利用することが可能となる。
　なお、上記画像間の比較に際し、撮像部２０３による撮像結果に基づく極座標画像Ｒｃと、虹彩テンプレートに対応する極座標画像Ｒｔと、の間で、θ方向に対応する高さが略一致するように調整（例えば、スケーリング）することで、当該比較に係る処理を簡素化することも可能となる。以降においては、撮像部２０３による撮像結果に基づく極座標画像と、虹彩テンプレートに対応する極座標画像と、の間で、θ方向に対応する高さが略一致するように調整されていることを前提として説明する。
　また、虹彩テンプレートとしてあらかじめ取得しておく画像については、円フィッティングやセグメンテーション等の従来の手法に基づき、虹彩に相当する領域のみを予め抽出したものを適用するとなお良い。これにより、例えば、当該虹彩テンプレートを利用した処理を容易かつ高精度に実現可能となり、当該虹彩テンプレートを保持する記憶領域のサイズもより小さく抑え得ることが可能となる。
　ここで、図１２を参照して、撮像部２０３による撮像結果に基づく極座標画像Ｒｃと、虹彩テンプレートに対応する極座標画像Ｒｔと、の間の比較に係る処理についてより詳しく説明する。図１２は、本実施形態に係る情報処理装置による極座標画像間の比較に係る処理について説明するための説明図である。図１２において、左側の図は、虹彩テンプレートとしてあらかじめ取得された極座標画像Ｒｔを模式的に示している。また、右側の図は、撮像部２０３による撮像結果に基づく極座標画像Ｒｃを模式的に示している。なお、図１２に示す例では、虹彩テンプレートに対応する極座標画像Ｒｔとして、虹彩に対応する領域のみが切り出されている。また、極座標画像Ｒｃについては、虹彩模様の全体が含まれていることがより望ましい。そのため、極座標画像Ｒｃを生成する際の最大虹彩径については大きめに設定されていることがより望ましい。なお、以降の説明では、極座標画像Ｒｃに対応する領域（即ち、虹彩円の内部に対応する領域）を、便宜上「虹彩候補領域」とも称する。
　図１２に示すように、撮像部２０３による撮像結果に基づく極座標画像Ｒｃに対応する虹彩候補領域には、瞳孔に相当する領域（以下、「瞳孔領域」とも称する）や、まぶたや白目等のような虹彩の外側に相当する領域（以下、「虹彩外側領域」とも称する）が含まれる場合がある。また、眼球がロール方向に回転している場合においては、虹彩候補領域（即ち、極座標画像Ｒｃ側）に含まれる虹彩模様の位相が、虹彩テンプレート（即ち、極座標画像Ｒｔ側）に対してθ方向（図１２の上下方向）にずれる場合がある。このような状況を鑑み、極座標画像Ｒｃと極座標画像Ｒｔとの比較に際し、極座標画像Ｒｃ側において各種パラメータの条件を逐次調整することで、スコアのより高い条件を探索するとよい。
　例えば、図１３は、本実施形態に係る情報処理装置による極座標画像間の比較に係る処理について説明するための説明図であり、調整対象となる極座標画像Ｒｃ側のパラメータの一例を示している。図１３において、パラメータＰＴは、虹彩候補領域中のρ方向における虹彩に対応する領域（換言すると、虹彩テンプレートに対応する領域）の開始位置を示している。また、ＷＴは、虹彩候補領域中のρ方向における虹彩に対応する領域の幅を示している。また、θＴは、虹彩候補領域に含まれる虹彩模様のθ方向の位相を示している。
　即ち、情報処理装置１０は、極座標画像Ｒｃ側において、虹彩に対応する領域の開始位置ＰＴ、当該領域の幅ＷＴ、及び虹彩模様の位相θＴそれぞれの条件を逐次変化させながら、極座標画像Ｒｃと極座標画像Ｒｔとの間で上記スコアのより高い条件を探索するとよい。
　以上のようにして、情報処理装置１０は、瞳孔の中心の候補として設定した点を原点とした極座標画像Ｒｃについて、スコアのより高いパラメータの条件を探索し、探索された当該条件を、当該瞳孔の中心の候補に対応する極座標画像Ｒｃのパラメータとして設定する。即ち、情報処理装置１０は、例えば、条件（即ち、パラメータＰＴ、ＷＴ、及びθＴ）を逐次変更しながらスコアを算出することで、スコアが最大となる当該条件を探索する。そして、図９に示すように、情報処理装置１０は、当該条件に対応するスコアが過去に算出したスコアよりも高い場合（即ち、スコアが最大の場合）には（Ｓ１１１、ＹＥＳ）、当該スコアと共に、そのときの瞳孔の中心位置、虹彩の中心位置、瞳孔径、及び虹彩径の情報を保存する（Ｓ１１３）。なお、当該条件に対応するスコアが過去に算出したスコアよりも低い場合（即ち、スコアが最大ではない場合）には（Ｓ１１１、ＮＯ）、上記情報の保存は行わなくてもよい。
　以上のようにして、情報処理装置１０は、探索範囲内において瞳孔の中心位置及び虹彩の中心位置それぞれの候補となる点を逐次変更しながら（Ｓ１０５）、参照符号Ｓ１０７～Ｓ１１３で示した一連の処理を、当該候補となる点ごとに逐次実行する（Ｓ１１５、ＮＯ）。そして、情報処理装置１０は、探索範囲内における瞳孔の中心位置及び虹彩の中心位置それぞれの候補となる点すべてについて上記処理を実行し、最終的にスコアが最も高かった、瞳孔の中心位置及び虹彩の中心位置それぞれの候補となる点に関する情報を最終結果として出力する。即ち、当該最終結果として出力される情報が、実際の瞳孔及び虹彩それぞれの位置や大きさを示していることとなる。
　そして、情報処理装置１０は、探索範囲内における上記探索が終了すると（Ｓ１１５、ＹＥＳ）、撮像部２０３により新たに撮像される眼球Ｕ１１の画像Ｖ１１を新たな対象として取得する（Ｓ１０１）。以上のようにして、情報処理装置１０は、一連の処理の終了が指示されない限り（Ｓ１１７、ＮＯ）、参照符号Ｓ１０１～Ｓ１１５で示された一連の処理を実行する。そして、情報処理装置１０は、一連の処理の終了が指示されると（Ｓ１１７、ＹＥＳ）、参照符号Ｓ１０１～Ｓ１１７で示した一連の処理の実行を終了する。
　以上、図９～図１３を参照して、撮像部２０３により撮像された眼球Ｕ１１の画像Ｖ１１における瞳孔の中心位置の推定に係る処理の流れの一例について説明した。
　　＜３．３．変形例＞
　続いて、本実施形態に係る情報処理システムの変形例として、眼球の画像における瞳孔の中心位置の推定に係る処理の他の一例について説明する。
　上記実施形態として説明した例では、瞳孔の中心位置及び虹彩の中心位置の候補となる点ごとに、虹彩候補領域の極座標画像Ｒｃ（即ち、撮像部２０３による撮像結果に基づく極座標画像Ｒｃ）と、虹彩テンプレートに対応する極座標画像Ｒｔと、の比較を行う。即ち、画像間の比較を行うこととなるため、処理量が比較的大きくなる傾向にある。画像間の比較を並列化することで処理速度を高めることも可能ではあるが、本変形例では、比較に係る処理をより簡素化することで処理速度を向上させる手法の一例について説明する。
　例えば、図１４は、変形例に係る情報処理システムの概要について説明するための説明図である。図１４において、左側の図は、前述した極座標画像の各画素と、当該画素の画素値（例えば、輝度値）を模式的に示している。即ち、図１４の左側の図は、８×８画素の極座標画像を示しており、各数値は対応する画素の画素値を示している。
　変形例に係る情報処理装置１０は、虹彩候補領域の極座標画像Ｒｃを、極座標化における動径座標に対応する方向（即ち、ρ方向）に向けて、各画素の画素値を逐次積分した積分画像に変換する。例えば、図１４の右側の図は、左側の図として示した極座標画像が変換された積分画像の一例を示している。
　具体的には、情報処理装置１０は、極座標画像の各画素をρ方向に射影しながら、画素値を逐次積算する（換言すると、行ごとに画素値を平均化する）ことで、当該極座標画像を積分画像に変換する。なお、虹彩テンプレートに対応する極座標画像Ｒｔについても、同様の手法により積分画像に変換しておくとよい。このような制御により、例えば、虹彩テンプレートに対応するＭρ行Ｎθ列の極座標画像Ｒｔを、Ｍρ行１列に次元圧縮することも可能となる。なお、極座標画像Ｒｃが変換された積分画像が、「第１の積分画像」の一例に相当する。また、極座標画像Ｒｔが変換された積分画像が、「第２の積分画像」の一例に相当する。
　ここで、虹彩模様がラバーシートモデルを適用可能な略放射状の形状と仮定すると、極座標画像Ｒｔと極座標画像Ｒｃとの間で、射影後の１次元データどうしの比較を行うことで、画像間の比較に比べて簡易的にスコアを算出することが可能となる。
　具体的な一例として、図１４の左側の図として示した８×８画素の極座標画像のうち、５列目から７列目までを虹彩に対応する領域として抽出する場合について説明する。この場合には、右側の図に示した積分画像のうち、７列目のθ方向１次元ベクトルから、４列目のθ方向１次元ベクトルを引いた差分ベクトルを、ρ方向の幅（＝３）で正規化したベクトル（例えば、ρ方向の幅（＝３）で除算したベクトル）が、抽出対象となる領域に対応する射影値（即ち、θ方向１次元ベクトル）となる。このようにして、極座標画像Ｒｃから対象となる領域の射影ベクトルを算出し、当該射影ベクトルを、極座標画像Ｒｔに基づき算出される射影ベクトルとの間で、ＳＡＤ（差分絶対値）や正規化相関等を算出することで、射影ベクトル間の比較を行うとよい。これにより、従来の画像間を比較する場合に比べて、より少ない計算量でコストを算出することが可能となる。特に、従来の画像間の比較においては、画像のスケーリングを行いながらの比較が必要となる場合がある。これに対して、本手法に依れば、差分ベクトルを算出する範囲を適宜変更することで、積分画像のスケーリングに係る処理が不要となり、従来の画像間の比較に比べて、計算量をより低減することが可能となる。
　また、情報処理装置１０は、例えば、極座標画像Ｒｃが変換された積分画像において、虹彩に対応する領域の開始位置ＰＴ、当該領域の幅ＷＴの条件を逐次変更しながら、極座標画像Ｒｃ及び極座標画像Ｒｔ間における上記射影ベクトルの比較を行ってもよい。このような制御により、例えば、極座標画像Ｒｃ中において虹彩に対応する領域が特定されていないような状況下においても、算出されたコストがより高い条件に基づき、虹彩に対応する領域を特定することも可能となる。
　また、公知の技術により、虹彩円内に存在しえるまぶた等の領域を、無効な領域としてマスク処理によりあらかじめ除外することも可能である。また、虹彩円内のマスク領域については、例えば、公知のセグメンテーション処理により特定することが可能である。そのため、例えば、変形例に係る情報処理システムにおいて、上述した射影ベクトルの算出に際し、マスク領域（即ち、まぶた等の領域）を除外したうえで当該算出を行うことにより、より高い精度でスコアを算出することも可能となる。
　以上、図１４を参照して、本実施形態に係る情報処理システムの変形例として、眼球の画像における瞳孔の中心位置の推定に係る処理の他の一例について説明した。
　＜＜４．ハードウェア構成の一例＞＞
　続いて、図１５を参照しながら、前述した情報処理装置１０や入出力装置２０のように、本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一例について、詳細に説明する。図１５は、本開示の一実施形態に係る通信システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
　本実施形態に係る通信システムを構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
　ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。例えば、図４に示す認証処理部１０１、瞳孔中心推定部１０３、プルキンエ像位置検出部１０５、及び視線推定部１０７は、ＣＰＵ９０１により構成され得る。
　ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる
　出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
　ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。例えば、図４に示す記憶部１０９は、ストレージ装置９１９により構成され得る。
　ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ－ＤＶＤメディア又はＢｌｕ－ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ　ｍｅｍｏｒｙ　ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ　ｃａｒｄ）又は電子機器等であってもよい。
　接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。
　通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
　以上、本開示の実施形態に係る通信システムを構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図１５では図示しないが、情報処理システムを構成する情報処理装置９００に対応する各種の構成を当然備える。
　なお、上述のような本実施形態に係る情報処理システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。
　＜＜５．むすび＞＞
　以上説明したように、本実施形態に係る情報処理システム１において、情報処理装置１０は、眼球中の虹彩に関する情報を取得し、当該虹彩に関する情報に基づき、前記眼球中の瞳孔の中心位置を推定する。具体的には、情報処理装置１０は、所定の撮像部２０３により撮像された眼球の画像から、虹彩を含む領域の部分画像を抽出し、抽出した当該部分画像に基づき、瞳孔の中心位置を推定する。より具体的な一例として、情報処理装置１０は、撮像部２０３により撮像された眼球の画像から抽出した虹彩を含む領域の部分画像を、瞳孔に対応する領域中の点を中心として極座標化することで極座標画像を生成する。また、情報処理装置１０は、生成した極座標画像を、従前に生成された虹彩テンプレートに対応する極座標画像と比較する。情報処理装置１０は、当該極座標画像間の比較を、瞳孔に対応する領域（即ち、探索領域）中の点それぞれに実行し、虹彩テンプレートとの差がより小さい極座標画像に対応する点を、瞳孔の中心位置に略一致するものと推定する。
　以上のような構成により、本実施形態に係る情報処理システムに依れば、まぶた等に遮蔽され瞳孔全体の画像を取得することが困難な状況下においても、従来の手法に比べて、瞳孔の中心位置を精度良く検出することが可能となる。即ち、本実施形態に係る情報処理システムに依れば、ユーザの視線の検出精度をより向上させることが可能となる。
　また、図１１を参照して説明したように、本実施形態に係る情報処理システムでは、ラバーシートモデルを適用し、瞳孔及び虹彩を含む部分画像を極座標化した極座標画像に基づき瞳孔の中心位置を推定してもよい。このような構成のため、眼球と撮像部２０３との間の位置関係や視線方向が変化するような状況下においても、瞳孔の中心位置（ひいては、ユーザの視線）を精度良く検出することが可能となる。なお、瞳孔及び虹彩を含む部分画像を極座標化した極座標画像に基づく瞳孔の中心位置の推定に係る構成はあくまで一例であり、必ずしも、本実施形態に係る情報処理システムの構成を限定するものではない。即ち、眼球の画像のうち虹彩を含む領域の部分画像に基づき、瞳孔の中心位置を推定することが可能であれば、当該情報処理システムの構成や、当該推定に係る方法は特に限定はされない。
　また、上述した例では、虹彩認証時に取得された瞳孔及び虹彩を含む画像を虹彩テンプレートして使用する例について説明したが、瞳孔の中心の推定に係る処理の従前に取得することが可能であれば、虹彩テンプレートの取得方法や取得タイミングは特に限定されない。具体的な一例として、虹彩テンプレートの登録に係る契機が明示的に設けられていてもよい。また、他の一例として、虹彩テンプレートが動的に取得されてもよい。具体的な一例として、撮像部２０３により逐次撮像される画像のうち、より好適な画像（例えば、瞳孔や虹彩がより広く撮像されている画像）に基づき虹彩テンプレートが生成されてもよい。
　また、前述したように、本実施形態に係る情報処理システムにおいては、虹彩テンプレートとしてあらかじめ取得される眼球の画像としては、必ずしも虹彩の全体が撮像されていなくてもよい。なお、撮像される虹彩の範囲がより広い画像に基づき虹彩テンプレートが生成されると、瞳孔の中心位置の推定に係る精度がより向上することは前述したとおりである。
　なお、上記では、虹彩に関する情報として、所定の撮像部により撮像された当該虹彩を含む眼球の画像を利用する例について説明したが、上述した瞳孔の中心位置の推定に係る処理を実現することが可能であれば、当該情報の態様は特に限定されない。具体的な一例として、虹彩を含む眼球の画像に対する画像解析の結果として得られた情報（例えば、虹彩の部分の特徴量等）が、上記虹彩に関する情報として取得されてもよい。この場合には、例えば、情報処理装置１０は、取得した当該情報に基づき、虹彩テンプレートや、当該虹彩テンプレートと比較される虹彩候補領域の情報（例えば、極座標画像）を再構成してもよい。また、他の一例として、眼球の画像から抽出された瞳孔及び虹彩を含む部分画像や、当該部分画像を極座標化した極座標画像が、上記虹彩に関する情報として取得されてもよい。なお、この場合には、当該部分画像の抽出に係る処理や、当該極座標化に係る処理が改めて実行されなくてもよい。
　また、上記では、ユーザの視線を検出する場合の処理に着目して説明したが、本実施形態に係る情報処理システムにおける、瞳孔の中心位置を推定する処理の適用先は、必ずしも視線検出のみには限定されない。即ち、瞳孔の中心位置の推定または検出に係る処理を要するシステムであれば、当該処理に対して本開示に係る技術を応用することが可能である。また、本開示に係る技術の応用先に応じて、当該システムを構成する装置（例えば、入出力装置２０等）の構成や態様を適宜変更可能であることは言うまでもない。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　眼球中の虹彩に関する情報を取得する取得部と、
　前記虹彩に関する情報に基づき、前記眼球中の瞳孔の中心位置を推定する推定部と、
　を備える、情報処理装置。
（２）
　前記取得部は、前記虹彩に関する情報として、所定の撮像部により撮像された前記眼球の画像を取得し、
　前記推定部は、前記画像から、前記虹彩を含む領域の部分画像を抽出し、抽出した当該部分画像に基づき、前記瞳孔の中心位置を推定する、
　前記（１）に記載の情報処理装置。
（３）
　前記推定部は、前記部分画像を前記瞳孔に対応する領域中の点を中心として極座標化することで極座標画像を生成し、当該極座標画像に基づき、前記瞳孔の中心位置を推定する、前記（２）に記載の情報処理装置。
（４）
　前記推定部は、生成した前記極座標画像である第１の極座標画像と、従前に生成された他の前記極座標画像である第２の極座標画像と、の比較に基づき、前記瞳孔の中心位置を推定する、前記（３）に記載の情報処理装置。
（５）
　前記推定部は、前記第１の極座標画像のうちの前記虹彩の領域と、前記第２の極座標画像のうちの前記虹彩の領域と、の比較に基づき、前記瞳孔の中心位置を推定する、前記（４）に記載の情報処理装置。
（６）
　前記推定部は、
　前記第１の極座標画像から前記虹彩の領域として抽出する領域の広さに関する条件を逐次変更し、
　当該広さの条件それぞれに対応する第１の極座標画像のうちの当該虹彩の領域と、前記第２の極座標画像のうちの前記虹彩の領域と、の間の比較に基づき、前記瞳孔の中心位置を推定する、
　前記（５）に記載の情報処理装置。
（７）
　前記推定部は、
　前記第１の極座標画像のうちの前記虹彩の領域の位相を前記極座標化における角度座標に対応する方向に逐次制御し、
　前記位相が制御された当該第１の極座標画像に前記虹彩の領域と、前記第２の極座標画像のうちの前記虹彩の領域と、の間の比較に基づき、前記瞳孔の中心位置を推定する、
　前記（５）または（６）に記載の情報処理装置。
（８）
　前記推定部は、
　前記瞳孔に対応する領域中の複数の点それぞれについて前記第１の極座標画像を生成し、
　当該複数の点それぞれに対応する当該第１の極座標画像と、前記第２の極座標画像と、の間の比較に基づき、前記瞳孔の中心位置を推定する、
　前記（４）～（７）のいずれか一項に記載の情報処理装置。
（９）
　前記推定部は、前記複数の点のうち、前記第２の極座標画像との間の差がより少ない前記第１の極座標画像に対応する点が、前記瞳孔の中心位置に略一致するものと推定する、前記（８）に記載の情報処理装置。
（１０）
　前記推定部は、前記極座標画像の各画素値を、前記極座標化における動径座標に対応する方向に積分することで積分画像を生成し、当該積分画像に基づき、前記瞳孔の中心位置を推定する、前記（３）に記載の情報処理装置。
（１１）
　前記推定部は、生成した前記積分画像である第１の積分画像と、従前に生成された他の前記積分画像である第２の積分画像と、の比較に基づき、前記瞳孔の中心位置を推定する、前記（１０）に記載の情報処理装置。
（１２）
　前記推定部は、前記第１の積分画像のうちの前記虹彩の領域における前記画素値の積分値と、前記第２の積分画像のうちの前記虹彩の領域における前記画素値の積分値と、に基づき、前記瞳孔の中心位置を推定する、前記（１１）に記載の情報処理装置。
（１３）
　前記推定部は、
　前記第１の積分画像のうちの前記虹彩の領域における前記画素値の積分値を当該虹彩の領域の幅に応じて正規化した値と、
　前記第２の積分画像のうちの前記虹彩の領域における前記画素値の積分値を当該虹彩の領域の幅に応じて正規化した値と、
　の間の比較に基づき、前記瞳孔の中心位置を推定する、
　前記（１２）に記載の情報処理装置。
（１４）
　前記領域は、略円形の形状を有し、
　前記極座標画像は、略矩形の形状を有する、
　前記（３）～（１３）のいずれか一項に記載の情報処理装置。
（１５）
　前記推定部は、前記瞳孔の中心位置の推定結果に基づき、視線の方向を推定する、前記（１）～（１４）のいずれか一項に記載の情報処理装置。
（１６）
　コンピュータが、
　眼球中の虹彩に関する情報を取得することと、
　前記虹彩に関する情報に基づき、前記眼球中の瞳孔の中心位置を推定することと、
　を含む、情報処理方法。
（１７）
　コンピュータに、
　眼球中の虹彩に関する情報を取得することと、
　前記虹彩に関する情報に基づき、前記眼球中の瞳孔の中心位置を推定することと、
　を実行させる、プログラム。
　１　　　情報処理システム
　１０　　情報処理装置
　１０１　認証処理部
　１０３　瞳孔中心推定部
　１０５　プルキンエ像位置検出部
　１０７　視線推定部
　１０９　記憶部
　２０　　入出力装置
　２０１ａ、２０１ｂ　第１撮像部
　２０３　撮像部
　２０３ａ、２０３ｂ　第２撮像部
　２０７　操作部
　２１１　出力部
　２９１　保持部
　２９３ａ、２９３ｂ　レンズ

Claims (17)

  1. 　眼球中の虹彩に関する情報を取得する取得部と、
    　前記虹彩に関する情報に基づき、前記眼球中の瞳孔の中心位置を推定する推定部と、
    　を備える、情報処理装置。
  2. 　前記取得部は、前記虹彩に関する情報として、所定の撮像部により撮像された前記眼球の画像を取得し、
    　前記推定部は、前記画像から、前記虹彩を含む領域の部分画像を抽出し、抽出した当該部分画像に基づき、前記瞳孔の中心位置を推定する、
    　請求項１に記載の情報処理装置。
  3. 　前記推定部は、前記部分画像を前記瞳孔に対応する領域中の点を中心として極座標化することで極座標画像を生成し、当該極座標画像に基づき、前記瞳孔の中心位置を推定する、請求項２に記載の情報処理装置。
  4. 　前記推定部は、生成した前記極座標画像である第１の極座標画像と、従前に生成された他の前記極座標画像である第２の極座標画像と、の比較に基づき、前記瞳孔の中心位置を推定する、請求項３に記載の情報処理装置。
  5. 　前記推定部は、前記第１の極座標画像のうちの前記虹彩の領域と、前記第２の極座標画像のうちの前記虹彩の領域と、の比較に基づき、前記瞳孔の中心位置を推定する、請求項４に記載の情報処理装置。
  6. 　前記推定部は、
    　前記第１の極座標画像から前記虹彩の領域として抽出する領域の広さに関する条件を逐次変更し、
    　当該広さの条件それぞれに対応する第１の極座標画像のうちの当該虹彩の領域と、前記第２の極座標画像のうちの前記虹彩の領域と、の間の比較に基づき、前記瞳孔の中心位置を推定する、
    　請求項５に記載の情報処理装置。
  7. 　前記推定部は、
    　前記第１の極座標画像のうちの前記虹彩の領域の位相を前記極座標化における角度座標に対応する方向に逐次制御し、
    　前記位相が制御された当該第１の極座標画像に前記虹彩の領域と、前記第２の極座標画像のうちの前記虹彩の領域と、の間の比較に基づき、前記瞳孔の中心位置を推定する、
    　請求項５に記載の情報処理装置。
  8. 　前記推定部は、
    　前記瞳孔に対応する領域中の複数の点それぞれについて前記第１の極座標画像を生成し、
    　当該複数の点それぞれに対応する当該第１の極座標画像と、前記第２の極座標画像と、の間の比較に基づき、前記瞳孔の中心位置を推定する、
    　請求項４に記載の情報処理装置。
  9. 　前記推定部は、前記複数の点のうち、前記第２の極座標画像との間の差がより少ない前記第１の極座標画像に対応する点が、前記瞳孔の中心位置に略一致するものと推定する、請求項８に記載の情報処理装置。
  10. 　前記推定部は、前記極座標画像の各画素値を、前記極座標化における動径座標に対応する方向に積分することで積分画像を生成し、当該積分画像に基づき、前記瞳孔の中心位置を推定する、請求項３に記載の情報処理装置。
  11. 　前記推定部は、生成した前記積分画像である第１の積分画像と、従前に生成された他の前記積分画像である第２の積分画像と、の比較に基づき、前記瞳孔の中心位置を推定する、請求項１０に記載の情報処理装置。
  12. 　前記推定部は、前記第１の積分画像のうちの前記虹彩の領域における前記画素値の積分値と、前記第２の積分画像のうちの前記虹彩の領域における前記画素値の積分値と、に基づき、前記瞳孔の中心位置を推定する、請求項１１に記載の情報処理装置。
  13. 　前記推定部は、
    　前記第１の積分画像のうちの前記虹彩の領域における前記画素値の積分値を当該虹彩の領域の幅に応じて正規化した値と、
    　前記第２の積分画像のうちの前記虹彩の領域における前記画素値の積分値を当該虹彩の領域の幅に応じて正規化した値と、
    　の間の比較に基づき、前記瞳孔の中心位置を推定する、
    　請求項１２に記載の情報処理装置。
  14. 　前記領域は、略円形の形状を有し、
    　前記極座標画像は、略矩形の形状を有する、
    　請求項３に記載の情報処理装置。
  15. 　前記推定部は、前記瞳孔の中心位置の推定結果に基づき、視線の方向を推定する、請求項１に記載の情報処理装置。
  16. 　コンピュータが、
    　眼球中の虹彩に関する情報を取得することと、
    　前記虹彩に関する情報に基づき、前記眼球中の瞳孔の中心位置を推定することと、
    　を含む、情報処理方法。
  17. 　コンピュータに、
    　眼球中の虹彩に関する情報を取得することと、
    　前記虹彩に関する情報に基づき、前記眼球中の瞳孔の中心位置を推定することと、
    　を実行させる、プログラム。
PCT/JP2018/011827 2017-06-02 2018-03-23 情報処理装置、情報処理方法、及びプログラム WO2018220963A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/491,079 US11080888B2 (en) 2017-06-02 2018-03-23 Information processing device and information processing method
JP2019521972A JPWO2018220963A1 (ja) 2017-06-02 2018-03-23 情報処理装置、情報処理方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017110199 2017-06-02
JP2017-110199 2017-06-02

Publications (1)

Publication Number Publication Date
WO2018220963A1 true WO2018220963A1 (ja) 2018-12-06

Family

ID=64454649

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/011827 WO2018220963A1 (ja) 2017-06-02 2018-03-23 情報処理装置、情報処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US11080888B2 (ja)
JP (1) JPWO2018220963A1 (ja)
WO (1) WO2018220963A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113456022A (zh) * 2021-07-01 2021-10-01 河北北方学院 一种基于大数据拟合的视力监测档案管理系统与方法
JP7128597B1 (ja) 2021-07-05 2022-08-31 克弥 西沢 熱画像を用いる生体認証装置
JP7439980B2 (ja) 2020-02-21 2024-02-28 日本電気株式会社 生体認証装置、生体認証方法、および生体認証用プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004005167A (ja) * 2002-05-31 2004-01-08 Matsushita Electric Ind Co Ltd 目位置特定方法および装置
JP2004504684A (ja) * 2000-07-24 2004-02-12 シーイング・マシーンズ・プロプライエタリー・リミテッド 顔画像処理システム
JP2005304544A (ja) * 2004-04-16 2005-11-04 Honda Motor Co Ltd 視線検出装置
JP2008090482A (ja) * 2006-09-29 2008-04-17 Oki Electric Ind Co Ltd 個人認証システム及び個人認証方法
JP2017068615A (ja) * 2015-09-30 2017-04-06 富士通株式会社 視線検出システム、視線検出方法および視線検出プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4664147B2 (ja) * 2005-07-29 2011-04-06 株式会社山武 虹彩認証装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004504684A (ja) * 2000-07-24 2004-02-12 シーイング・マシーンズ・プロプライエタリー・リミテッド 顔画像処理システム
JP2004005167A (ja) * 2002-05-31 2004-01-08 Matsushita Electric Ind Co Ltd 目位置特定方法および装置
JP2005304544A (ja) * 2004-04-16 2005-11-04 Honda Motor Co Ltd 視線検出装置
JP2008090482A (ja) * 2006-09-29 2008-04-17 Oki Electric Ind Co Ltd 個人認証システム及び個人認証方法
JP2017068615A (ja) * 2015-09-30 2017-04-06 富士通株式会社 視線検出システム、視線検出方法および視線検出プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7439980B2 (ja) 2020-02-21 2024-02-28 日本電気株式会社 生体認証装置、生体認証方法、および生体認証用プログラム
CN113456022A (zh) * 2021-07-01 2021-10-01 河北北方学院 一种基于大数据拟合的视力监测档案管理系统与方法
JP7128597B1 (ja) 2021-07-05 2022-08-31 克弥 西沢 熱画像を用いる生体認証装置
WO2023282274A1 (ja) * 2021-07-05 2023-01-12 克弥 西沢 熱画像認証装置
JP2023008014A (ja) * 2021-07-05 2023-01-19 克弥 西沢 熱画像を用いる生体認証装置

Also Published As

Publication number Publication date
US11080888B2 (en) 2021-08-03
US20200098136A1 (en) 2020-03-26
JPWO2018220963A1 (ja) 2020-04-02

Similar Documents

Publication Publication Date Title
US11749025B2 (en) Eye pose identification using eye features
US11715231B2 (en) Head pose estimation from local eye region
US10928904B1 (en) User recognition and gaze tracking in a video system
US11163995B2 (en) User recognition and gaze tracking in a video system
WO2012137801A1 (ja) 入力装置及び入力方法並びにコンピュータプログラム
US11487354B2 (en) Information processing apparatus, information processing method, and program
JPWO2016021034A1 (ja) ３次元上の注視点の位置特定アルゴリズム
WO2018220963A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN114391117A (zh) 眼睛跟踪延迟增强
WO2021095277A1 (ja) 視線検出方法、視線検出装置、及び制御プログラム
JP6855872B2 (ja) 顔認識装置
US20200364441A1 (en) Image acquisition system for off-axis eye images
JP2018205819A (ja) 注視位置検出用コンピュータプログラム、注視位置検出装置及び注視位置検出方法
WO2019021601A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JPWO2018146922A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2019066618A (ja) 画像表示システム、画像表示方法及び画像表示プログラム
JP2021077333A (ja) 視線検出方法、視線検出装置、及び制御プログラム
JP2016085322A (ja) 表示装置、表示装置の制御方法、表示システム、及び、プログラム
JP2018149234A (ja) 注視点推定システム、注視点推定方法及び注視点推定プログラム
JP2017091190A (ja) 画像処理装置、画像処理方法およびプログラム
KR101601508B1 (ko) 시선 추적 방법
WO2021095278A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
US20230306790A1 (en) Spoof detection using intraocular reflection correspondences
EP4227732A1 (en) Method for head image recording and corresponding mobile device
WO2024021251A1 (zh) 身份校验方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18810002

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019521972

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18810002

Country of ref document: EP

Kind code of ref document: A1