WO2025196865A1 - 情報処理装置、情報処理方法及び記録媒体 - Google Patents

情報処理装置、情報処理方法及び記録媒体

Info

Publication number
WO2025196865A1
WO2025196865A1 PCT/JP2024/010465 JP2024010465W WO2025196865A1 WO 2025196865 A1 WO2025196865 A1 WO 2025196865A1 JP 2024010465 W JP2024010465 W JP 2024010465W WO 2025196865 A1 WO2025196865 A1 WO 2025196865A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
user
information processing
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/010465
Other languages
English (en)
French (fr)
Inventor
政人 佐々木
厚史 伊藤
竜一 赤司
悠歩 庄司
恵 木村
佑也 小林
崇史 野中
真二 大湊
航介 吉見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to PCT/JP2024/010465 priority Critical patent/WO2025196865A1/ja
Publication of WO2025196865A1 publication Critical patent/WO2025196865A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Definitions

  • This disclosure relates to the technical fields of information processing devices, information processing methods, and recording media.
  • gaze detection may be performed, for example, as described in Patent Document 1.
  • the objective of this disclosure is to provide an information processing device, an information processing method, and a recording medium that aim to improve upon the technology related to the prior art documents mentioned above.
  • One aspect of an information processing device includes a display unit, a first acquisition means for acquiring an eye image of a subject, a gaze estimation means for performing gaze estimation to estimate the gaze of the subject using the eye image, and a control means for performing calibration related to the gaze estimation, wherein the control means controls the display unit to display an instruction image related to the calibration, and the first acquisition means acquires at least a portion of the eye image of the subject captured while the instruction image is being displayed on the display unit as a first eye image that is also used for biometric authentication of the subject.
  • One aspect of the information processing method is an information processing method for an information processing device equipped with a display unit, which acquires an eye image of a subject, performs gaze estimation to estimate the subject's gaze using the eye image, performs calibration related to the gaze estimation, controls the display unit to display an instruction image related to the calibration, and acquires at least a portion of the subject's eye image captured while the instruction image is being displayed on the display unit as a first eye image that is also used for biometric authentication of the subject.
  • One embodiment of the recording medium has recorded thereon a computer program for causing a computer having a display unit to execute an information processing method that acquires an eye image of a subject, performs gaze estimation to estimate the subject's gaze using the eye image, performs calibration related to the gaze estimation, controls the display unit to display an instruction image related to the calibration, and acquires at least a portion of the subject's eye image captured while the instruction image is being displayed on the display unit as a first eye image that is also used for biometric authentication of the subject.
  • FIG. 1 is a block diagram illustrating an example of an information processing apparatus according to an embodiment.
  • 10 is a flowchart illustrating an example of an operation related to calibration for gaze estimation.
  • FIG. 10 is a block diagram illustrating another example of the information processing device according to the embodiment.
  • FIG. 1 is a block diagram illustrating an example of a configuration of a calculation device according to an embodiment.
  • FIG. 10 is a block diagram illustrating another example of the information processing device according to the embodiment. 1 shows an example of an information processing system according to an embodiment.
  • FIG. 10 is a block diagram illustrating another example of the information processing device according to the embodiment.
  • FIG. 1 is a diagram illustrating an example of a head-mounted display.
  • FIGS. 10A and 10B are diagrams illustrating examples of instruction images for guiding the user's line of sight.
  • 10 is a flowchart illustrating another example of the operation related to calibration for gaze estimation.
  • FIG. 10 is a block diagram illustrating another example of the information processing device according to the embodiment.
  • FIG. 10 is a diagram illustrating an example of the positional relationship between the user's eyes and a camera.
  • FIG. 10 is a block diagram illustrating another example of the information processing device according to the embodiment.
  • FIG. 10 is a diagram illustrating an example of a head-mounted display when a user is wearing glasses.
  • FIG. 10 is a diagram illustrating an example of the operation of the information processing device when a user is wearing glasses.
  • FIG. 1 A first embodiment of an information processing device, an information processing method, and a recording medium will be described with reference to Fig. 1 and Fig. 2.
  • the first embodiment of the information processing device, the information processing method, and the recording medium will be described using an information processing device 10.
  • the information processing device 10 includes a display unit 11, an image acquisition unit 12, a gaze estimation unit 13, and a control unit 14.
  • the display unit 11 may be disposed in the housing of the information processing device 10, or may have a housing different from the housing of the information processing device 10 (for example, a housing unique to the display unit 11).
  • the image acquisition unit 12 acquires an image of the eyes of the user of the information processing device 10.
  • the image of the user's eyes may be generated, for example, by a camera arranged around the display unit 11 capturing an image of the user's eyes.
  • the camera may be a device different from the information processing device 10, or may constitute a part of the information processing device 10. If the camera constitutes a part of the information processing device 10, the camera may constitute at least a part of the image acquisition unit 12.
  • the number of cameras capturing an image of the user's eyes is not limited to one, and there may be multiple cameras.
  • the gaze estimation unit 13 performs gaze estimation to estimate the user's gaze (e.g., the user's gaze toward the display unit 11) using the eye image acquired by the image acquisition unit 12.
  • the following method is an example of a gaze estimation method. It is assumed that the user's eyes are illuminated by a point light source that emits near-infrared light.
  • the gaze estimation unit 13 may estimate the gaze based on the relative positional relationship between the position of near-infrared light reflected from the cornea (i.e., the Purkinje image) contained in the eye image and the position of the pupil contained in the eye image.
  • the gaze estimation unit 13 may estimate the gaze based on the relative positional relationship between the position of the inner or outer corner of the eye contained in the eye image and the position of the pupil or iris contained in the eye image. Alternatively, the gaze estimation unit 13 may estimate the gaze using a machine learning model that outputs the gaze direction when an eye image is input.
  • the gaze estimation method is not limited to the above-described method, and various existing methods can be applied. Gaze estimation may also be referred to as "gaze measurement" or "eye tracking.” Note that the user is the subject of gaze estimation. Therefore, the user may also be referred to as the "subject" or "target.”
  • the control unit 14 performs calibration related to gaze estimation.
  • Calibration may mean, for example, at least one of acquiring the user's eye characteristics and detecting the user's eye movement in order to accurately calculate the user's gaze point in gaze estimation.
  • eye characteristics may include, for example, eyeball size, eye color, eye shape, and whether the user wears glasses or contact lenses.
  • the control unit 14 controls the display unit 11 to display an instruction image related to the calibration.
  • the instruction image may be an image containing content for guiding the user's gaze (for example, at least one of a bright spot, arrow, symbol, graphic, and instructional text).
  • the image acquisition unit 12 acquires an image of the user's eye captured while the instruction image is displayed on the display unit 11.
  • the eye image can be said to indicate the state of the user's eyes when the user is gazing at a predetermined position on the display unit 11 (i.e., the position to which the user's gaze is guided by the instruction image).
  • the control unit 14 may acquire the user's eye characteristics and/or detect the user's eye movement based on the eye image. Note that the control unit 14 may change the setting values (e.g., parameter values) related to gaze estimation based on the calibration results. Alternatively, the gaze estimation unit 13 may change the setting values related to gaze estimation based on the calibration results. The gaze estimation unit 13 may perform gaze estimation of the user using the setting values related to gaze estimation changed based on the calibration results.
  • the image acquisition unit 12 acquires at least a portion of the user's eye image captured while the instruction image is displayed on the display unit 11 as an eye image that is also used for user biometric authentication (e.g., iris authentication).
  • biometric authentication e.g., iris authentication
  • the control unit 14 controls the display unit 11 to display an instruction image (step S101). While the instruction image is displayed on the display unit 11, the image acquisition unit 12 acquires an image of the user's eyes (step S102). After the processing of step S102, the processing of step S101 may be performed again. In other words, the processing of steps S101 and S102 may be performed repeatedly. In this case, the instruction image displayed in the current processing of step S101 may be different from the instruction image displayed in the previous processing of step S101. For example, in the previous processing of step S101, an instruction image may be displayed to guide the user's gaze to one position on the display unit 11.
  • an instruction image may be displayed to guide the user's gaze to another position on the display unit 11 (i.e., a position different from the above-mentioned one position).
  • the image acquisition unit 12 acquires at least a portion of the eye image acquired in the processing of step S102 as an eye image that is also used for biometric authentication of the user.
  • the information processing device 10 may perform an information processing method in which it acquires an image of the user's eyes, performs gaze estimation to estimate the user's gaze using the eye image, performs calibration related to the gaze estimation, controls the display unit 11 to display an instruction image related to the calibration, and acquires at least a portion of the user's eye image captured while the instruction image is being displayed on the display unit 11 as an eye image that is also used for biometric authentication of the user.
  • the information processing device 10 described above may be realized by a computer reading a computer program recorded on a recording medium.
  • the recording medium may store a computer program for causing a computer equipped with a display unit to execute an information processing method that acquires an image of a user's eyes, performs gaze estimation to estimate the user's gaze using the eye image, performs calibration related to the gaze estimation, controls the display unit to display an instruction image related to the calibration, and acquires at least a portion of the user's eye image captured while the instruction image is being displayed on the display unit as an eye image that is also used for biometric authentication of the user.
  • a gaze operation interface has been proposed as an operation interface for a computer (e.g., corresponding to an information processing device 10).
  • a gaze operation different from the one intended by the user may be selected. This is partly due to a discrepancy between the user's actual gaze point and the user's gaze point estimated by gaze estimation. To suppress this discrepancy, calibration of gaze estimation is often performed.
  • the camera that captures the user's eyes to estimate the gaze is positioned so as not to obstruct the user's view of the computer's display screen. For this reason, when the user is looking at the display screen, the user's gaze and the optical axis of the camera are often different.
  • biometric authentication using an image of the user's eyes may be required, for example, for login authentication.
  • the eye image generated by the camera capturing an image of the user's eyes may not be suitable for biometric authentication. This is because the camera is not positioned with the intention of performing biometric authentication on the user.
  • the inventors of the present application have focused on the fact that the user's gaze is guided to various positions during calibration related to gaze estimation. In other words, due to the user's gaze being guided to various positions during calibration, it is expected that one or more eye images generated by the camera capturing images of the user's eyes will include an eye image suitable for biometric authentication.
  • the control unit 14 controls the display unit 11 to display an instruction image related to calibration, and the image acquisition unit 12 acquires at least a portion of the user's eye image when the instruction image is displayed on the display unit 11 as an eye image to be used for biometric authentication of the user.
  • a portion of the eye image used for calibration related to gaze estimation can also be used for biometric authentication.
  • the information processing device 10 can efficiently acquire the user's eye image to be used for biometric authentication.
  • user biometric authentication in addition to iris authentication, at least one of face authentication, fingerprint authentication, palm print authentication, voice print authentication, and ear acoustic authentication may be performed.
  • multimodal biometric authentication may be performed as user biometric authentication.
  • Second Embodiment A second embodiment of the information processing device, information processing method, and recording medium will be described with reference to Figures 3 and 4.
  • the second embodiment of the information processing device, information processing method, and recording medium will be described using an information processing device 100. Note that, for the second embodiment, descriptions that overlap with the first embodiment will be omitted as appropriate.
  • the information processing device 100 includes a calculation device 110, a storage device 120, a communication device 130, an input device 140, and an output device 150.
  • the calculation device 110, the storage device 120, the communication device 130, the input device 140, and the output device 150 may be connected via a data bus 160.
  • the computing device 110 may have a processor 110a.
  • the computing device 110 may have other processors in addition to the processor 110a.
  • the computing device 110 may have one or more processors.
  • the processor 110a may be a multi-core processor.
  • the computing device 110 can be said to logically have multiple processors.
  • the processor 110a may be, for example, at least one of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (Field Programmable Gate Array), a TPU (Tensor Processing Unit), and a quantum processor.
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • FPGA Field Programmable Gate Array
  • TPU Torsor Processing Unit
  • quantum processor a quantum processor
  • the storage device 120 may have memory 120a.
  • the storage device 120 may have other memories in addition to memory 120a. That is, the storage device 120 may have one or more memories.
  • the memory 120a may be, for example, at least one of RAM (Random Access Memory), ROM (Read Only Memory), a hard disk device, a magneto-optical disk device, an SSD (Solid State Drive), and an optical disk array. Therefore, the storage device 120 may have memory 120a as a non-transitory recording medium.
  • the storage device 120 can store desired data.
  • the memory 120a of the storage device 120 may store a computer program 121 executed by the arithmetic device 110.
  • the storage device 120 may temporarily store data that is temporarily used by the arithmetic device 110 when the arithmetic device 110 is executing the computer program 121.
  • the computer program 121 may be recorded on a computer-readable, non-transitory recording medium.
  • the computer program 121 may be stored in memory 120a by reading the recording medium using a recording medium reading device (not shown) provided in the information processing device 100.
  • the recording medium may be at least one of an optical disk, a magnetic medium, a magneto-optical disk, a semiconductor memory, or any other medium capable of storing a program.
  • the computer program 121 may be acquired (in other words, downloaded) from a device (not shown) external to the information processing device 100 via the communication device 130.
  • the acquired computer program 121 may be stored in memory 120a.
  • the communication device 130 may be capable of communicating with devices external to the information processing device 100. Note that the communication device 130 may perform wired communication or wireless communication.
  • the input device 140 is a device capable of accepting information input to the information processing device 100 from outside.
  • the input device 140 may include an operating device (e.g., a keyboard, mouse, touch panel, etc.) that can be operated by a user of the information processing device 100.
  • the input device 140 may include a recording medium reading device that can read information recorded on a recording medium that is detachable from the information processing device 100, such as a USB (Universal Serial Bus) memory.
  • the communication device 130 may function as an input device.
  • the output device 150 is a device capable of outputting information to the outside of the information processing device 100.
  • the output device 150 may output visual information such as text or images, auditory information such as sound, or tactile information such as vibration, as the information.
  • the output device 150 may include, for example, at least one of a display, speaker, printer, and vibration motor.
  • the output device 150 may also be capable of outputting information to a recording medium that is detachable from the information processing device 100, such as a USB memory. Note that when the information processing device 100 outputs information via the communication device 130, the communication device 130 may function as the output device.
  • the processor 110a of the computing device 110 may execute the processing to be performed by the information processing device 100 together with the memory 120a of the storage device 120 in which the computer program 121 is stored (in other words, together with the memory 120a and the computer program 121 stored in the memory 120a).
  • a logical functional block for executing the processing to be performed by the information processing device 100 may be realized within the computing device 110 (e.g., within the processor 110a).
  • the calculation device 110 may have an image acquisition unit 111, a gaze estimation unit 112, and a control unit 113 as logically realized functional blocks or as physically realized processing circuits. At least one of the image acquisition unit 111, the gaze estimation unit 112, and the control unit 113 may be realized in a form that combines logical functional blocks and physical processing circuits (i.e., hardware).
  • the image acquisition unit 111, the gaze estimation unit 112, and the control unit 113 may be realized by a single processor (for example, processor 110a).
  • the image acquisition unit 111, the gaze estimation unit 112, and the control unit 113 may each be realized by different processors.
  • parts of the image acquisition unit 111, the gaze estimation unit 112, and the control unit 113 may be realized by a single processor, and the remaining parts of the image acquisition unit 111, the gaze estimation unit 112, and the control unit 113 may be realized by one or more processors different from the single processor.
  • the output device 150 may include a display device 151.
  • the display device 151 may be, for example, at least one of a liquid crystal display, an organic EL (Electro-Luminescence) display, and a head-mounted display.
  • the "image acquisition unit 111,” “gaze estimation unit 112,” “control unit 113,” and “display device 151” are components corresponding to the “image acquisition unit 12," “gaze estimation unit 13,” “control unit 14,” and “display unit 11" in the first embodiment described above, respectively.
  • the image acquisition unit 111 acquires an image of the user's eyes of the information processing device 100.
  • the image of the user's eyes may be generated, for example, by a camera arranged around the display device 151 capturing an image of the user's eyes.
  • the camera may be a device different from the information processing device 100.
  • the image acquisition unit 111 may acquire the image of the user's eyes generated by the camera, for example, via the communication device 130.
  • the camera may constitute part of the information processing device 100.
  • the image acquisition unit 111 may acquire the image of the user's eyes generated by the camera, for example, via the data bus 160.
  • the number of cameras capturing the user's eyes is not limited to one, and may be multiple.
  • there are multiple cameras capturing the user's eyes there may be a camera capturing the user's left eye and a camera capturing the user's right eye. If there are multiple cameras capturing the user's eyes, there may be multiple cameras capturing the user's left eye, or multiple cameras capturing the user's right eye.
  • the gaze estimation unit 112 performs gaze estimation to estimate the user's gaze (for example, the user's gaze toward the display device 151) using the eye image acquired by the image acquisition unit 111.
  • the control unit 113 performs calibration related to gaze estimation.
  • the gaze estimation unit 113 may perform gaze estimation of the user using setting values related to gaze estimation that have been changed based on the results of the calibration.
  • the image acquisition unit 111 acquires at least a portion of the user's eye image captured while the instruction image is displayed on the display device 151 as an eye image that is also used for user biometric authentication (e.g., iris authentication).
  • biometric authentication e.g., iris authentication
  • FIG. 5 A second embodiment of an information processing device, an information processing method, and a recording medium will be described with reference to FIG. 5 .
  • a third embodiment of an information processing device, an information processing method, and a recording medium will be described below using an information processing device 100a. Note that, for the third embodiment, descriptions that overlap with the first and second embodiments will be omitted as appropriate. Also, in the drawings, parts common to other embodiments are designated by the same reference numerals.
  • the information processing device 100a includes a calculation device 110, a storage device 120, a communication device 130, an input device 140, and an output device 150.
  • the calculation device 110 may include an image acquisition unit 111, a gaze estimation unit 112, a control unit 113, and an authentication unit 114 as logically realized functional blocks or as physically realized processing circuits.
  • At least one of the image acquisition unit 111, the gaze estimation unit 112, the control unit 113, and the authentication unit 114 may be realized in a form that mixes logical functional blocks and physical processing circuits (i.e., hardware).
  • the image acquisition unit 111, the gaze estimation unit 112, the control unit 113, and the authentication unit 114 are realized as functional blocks
  • the image acquisition unit 111, the gaze estimation unit 112, the control unit 113, and the authentication unit 114 may be realized by a single processor (e.g., processor 110a).
  • the image acquisition unit 111, the gaze estimation unit 112, the control unit 113, and the authentication unit 114 may each be realized by different processors.
  • parts of the image acquisition unit 111, the gaze estimation unit 112, the control unit 113, and the authentication unit 114 may be realized by a single processor, and the remaining parts of the image acquisition unit 111, the gaze estimation unit 112, the control unit 113, and the authentication unit 114 may be realized by one or more processors different from the single processor.
  • the authentication unit 114 performs biometric authentication of the user using at least a portion of the eye image acquired by the image acquisition unit 111.
  • the operation of the authentication unit 114 when performing iris authentication as an example of biometric authentication will be described below.
  • the authentication unit 114 may extract an iris image including an iris region, which is the area corresponding to the user's iris, from the eye image.
  • the authentication unit 114 may calculate a matching score by comparing the extracted iris image with a pre-registered iris image.
  • the matching score may refer to a score indicating the degree of match between the extracted iris image and the pre-registered iris image. Note that the higher the degree of match between the extracted iris image and the pre-registered iris image, the higher the matching score may be.
  • the authentication unit 114 may extract features related to the extracted iris image.
  • the authentication unit 114 may calculate a matching score by matching the extracted features with pre-registered features.
  • the matching score may refer to a score indicating the degree of match between the features extracted from the iris image and the pre-registered features. Note that the higher the degree of match between the features extracted from the iris image and the pre-registered features, the higher the matching score may be.
  • the authentication unit 114 may compare the matching score with a predetermined threshold. If the matching score is equal to or greater than the predetermined threshold, the authentication unit 114 may determine that the user is a person associated with a pre-registered iris image or feature amount. In this case, it can be said that a person (e.g., identification information) corresponding to the user has been identified through biometric authentication. If the matching score is less than the predetermined threshold, the authentication unit 114 may determine that the user is not a person associated with a pre-registered iris image or feature amount. In this case, it can be said that a person corresponding to the user has not been identified through biometric authentication.
  • the authentication unit 114 may calculate a matching score for the user's left eye and a matching score for the user's right eye. However, the authentication unit 114 may calculate only one of the matching score for the left eye and the matching score for the right eye. In other words, the authentication unit 114 may calculate at least one of the matching score for the left eye and the matching score for the right eye.
  • the authentication unit 114 may calculate the matching score based on the degree of match between the iris image of the user's left eye and one pre-registered iris image, and the degree of match between the iris image of the user's right eye and another pre-registered iris image. Alternatively, the authentication unit 114 may calculate the matching score based on the degree of match between the feature extracted from the iris image of the user's left eye and one pre-registered feature, and the degree of match between the feature extracted from the iris image of the user's right eye and another pre-registered feature.
  • the control unit 113 may associate at least one of the results of calibration related to gaze estimation and the setting values related to gaze estimation that have been changed based on the results of the calibration with the identified person (e.g., identification information) and store them in the storage device 120.
  • the control unit 113 may acquire from the storage device 120 at least one of the results of calibration related to gaze estimation and the setting values related to gaze estimation that have been changed based on the results of the calibration, which are associated with the identified person (e.g., identification information).
  • the image acquisition unit 111 acquires at least a part of the image of the user's eyes when the instruction image is displayed on the display device 151 as an image of the eyes that is also used for biometric authentication of the user.
  • At least one of the results of calibration related to gaze estimation and the setting values related to gaze estimation changed based on the results of the calibration may be stored in the storage device 120 in association with a person identified by biometric authentication.
  • the eye image used for biometric authentication by the authentication unit 114 is acquired by the image acquisition unit 111 when calibration related to gaze estimation is being performed. Therefore, the image processing unit 111 does not need to separately acquire the eye image used for biometric authentication. In other words, the user does not need to capture an image of the eyes for biometric authentication separately from calibration related to gaze estimation.
  • the control unit 113 may acquire from the storage device 120 at least one of the results of the calibration related to gaze estimation associated with the identified person and the setting values related to gaze estimation that have been changed based on the results of the calibration. In this case, the control unit 113 may, for example, terminate the calibration when the person corresponding to the user is identified.
  • the information processing device 100a according to the third embodiment can reduce the burden on the user of at least one of biometric authentication and calibration related to gaze estimation.
  • a second embodiment of an information processing device, an information processing method, and a recording medium will be described with reference to FIG. 6 .
  • a fourth embodiment of an information processing device, an information processing method, and a recording medium will be described below using an information processing device 100. Note that, for the fourth embodiment, descriptions that overlap with the first to third embodiments will be omitted as appropriate. Also, in the drawings, parts common to other embodiments are designated by the same reference numerals.
  • the information processing device 100 may be configured to be able to communicate with the authentication device 200 shown in FIG. 6 via the communication device 130.
  • the authentication device 200 may be, for example, a personal computer or a server device (e.g., a cloud server).
  • the information processing device 100 and the authentication device 200 may form a single information processing system.
  • the arithmetic device 110 of the information processing device 100 may transmit the user's eye image (here, the eye image used for biometric authentication of the user) acquired by the image acquisition unit 111 to the authentication device 200 via the communication device 130.
  • the authentication device 200 may use the eye image to perform iris authentication, an example of biometric authentication. For a specific example of iris authentication, please refer to the third embodiment described above.
  • the authentication device 200 may transmit the results of the biometric authentication to the information processing device 100.
  • the control unit 113 of the computing device 110 may associate at least one of the results of calibration related to gaze estimation and the setting values related to gaze estimation that have been changed based on the results of the calibration with the identified person (e.g., identification information) and store them in the storage device 120.
  • the control unit 113 may acquire from the storage device 120 at least one of the results of calibration related to gaze estimation and the setting values related to gaze estimation that have been changed based on the results of the calibration, which are associated with the identified person (e.g., identification information).
  • the information processing device 100b includes a calculation device 110, a storage device 120, a communication device 130, an input device 140, an output device 150, and cameras 171 and 172.
  • the calculation device 110, the storage device 120, the communication device 130, the input device 140, the output device 150, and the cameras 171 and 172 may be connected via a data bus 160.
  • the cameras 171 and 172 may be cameras capable of capturing near-infrared light. In other words, the cameras 171 and 172 may be cameras equipped with image sensors sensitive to the near-infrared wavelength range.
  • the calculation device 110 may not include the authentication unit 114. In this case, the information processing device 100b may be configured to communicate with an authentication device different from the information processing device 100b (for example, the authentication device 200 according to the fourth embodiment) via the communication device 130. The user's biometric authentication may then be performed by the authentication device.
  • the output device 150 may have a head-mounted display (HMD) 152.
  • HMD head-mounted display
  • the head-mounted display 152 will be described further with reference to FIG. 8.
  • an immersive head-mounted display (so-called immersive VR (Virtual Reality) goggles) is given as an example of the head-mounted display 152.
  • the head-mounted display 152 is not limited to an immersive head-mounted display, and may be, for example, a video see-through head-mounted display or an optical see-through head-mounted display (so-called AR (Augmented Reality) glasses).
  • the head-mounted display 152 may be a standalone head-mounted display.
  • the arithmetic device 110, the storage device 120, the communication device 130, the input device 140, and the cameras 171 and 172 may constitute part of the head-mounted display 152.
  • the head-mounted display 152 may be a PC-connected head-mounted display that is connected to a personal computer, which is an example of the information processing device 100b.
  • the head-mounted display 152 may be a hybrid head-mounted display (i.e., a head-mounted display that can operate as both a standalone type and a PC-connected type).
  • the head-mounted display 152 has a display 1521, a lens 1522L for the left eye, a lens 1522R for the right eye, and multiple light sources 1523#1, 1523#2, 1523#3, and 1523#4 that emit near-infrared light.
  • Light sources 1523#1 and 1523#2 may be arranged around lens 1522L.
  • Light sources 1523#3 and 1523#4 may be arranged around lens 1522R.
  • Lenses 1522L and 1522R may be referred to as VR lenses.
  • Camera 171 may be arranged on the head-mounted display 152 so as to be able to capture an image of the user's left eye.
  • Camera 172 may be arranged on the head-mounted display 152 so as to be able to capture an image of the user's right eye. Cameras 171 and 172 may constitute part of the head-mounted display 152. That is, the head-mounted display 152 may have cameras 171 and 172. Note that the head-mounted display 152 may have a display for the left eye and a display for the right eye instead of the display 1521. Note that the number of light sources emitting near-infrared light is not limited to four, and may be five or more, or three or less.
  • Figure 9 shows an example of an instruction image for guiding the user's gaze.
  • the background of the instruction image in Figure 9 is a white background.
  • the background of an actual instruction image may be a background with a relatively low brightness value, such as black or gray.
  • the instruction image (specifically, images Img#1 to Img#9) includes dots for guiding the user's gaze.
  • the instruction image is not limited to dots and may include at least one of, for example, an arrow, a symbol, a figure, and an instruction.
  • the control unit 113 may first control the output device 150 to display the image Img#1 shown in FIG. 9(a) on the head-mounted display 152 (specifically, display 1521).
  • the control unit 113 may also control the output device 150 to display, for example, text saying "Look at the point on the screen” superimposed on the image Img#1.
  • the control unit 113 may also control the output device 150 to output, for example, a sound saying "Look at the point on the screen.”
  • the control unit 113 may control the output device 150 to display the text saying "Look at the point on the screen that will be displayed now” and/or to output a sound saying "Look at the point on the screen that will be displayed now” before the image Img#1 is displayed.
  • image Img#1 When image Img#1 is displayed (in other words, when the user is looking at image Img#1 displayed on display 1521), camera 171 may capture the user's left eye, and camera 172 may capture the user's right eye. Eye image EIL#1 may be generated by camera 171 capturing the user's left eye. Eye image EIR#1 may be generated by camera 172 capturing the user's right eye. Image acquisition unit 111 may acquire eye images EIL#1 and EIR#1. Note that eye images EIL#1 and EIR#1 may be at least temporarily stored in storage device 120.
  • At least some of the light sources of multiple light sources 1523#1, 1523#2, 1523#4 may emit near-infrared light (in other words, at least some of the light sources may illuminate the user with near-infrared light).
  • the control unit 113 may control the output device 150 to display image Img#2 shown in FIG. 9(b) on the head-mounted display 152 instead of image Img#1.
  • image Img#2 While image Img#2 is being displayed (in other words, while the user is looking at image Img#2 displayed on display 1521), camera 171 may capture an image of the user's left eye, and camera 172 may capture an image of the user's right eye.
  • Eye image EIL#2 may be generated by camera 171 capturing an image of the user's left eye.
  • Eye image EIR#2 may be generated by camera 172 capturing an image of the user's right eye.
  • the image acquisition unit 111 may acquire eye images EIL#2 and EIR#2. Note that eye images EIL#2 and EIR#2 may be at least temporarily stored in the storage device 120.
  • image Img#1 when image Img#1 is displayed on head-mounted display 152, the point the user should look at (in other words, the point the user should focus on) is displayed near the left edge of the screen.
  • the user looks at a point included in image Img#1 the user's left eye can be expected to face toward camera 171. Therefore, eye image EIL#1 can be expected to include most of the iris of the user's left eye.
  • image Img#2 When image Img#2 is displayed on head-mounted display 152, the point the user should look at (in other words, the point the user should focus on) is displayed near the right edge of the screen.
  • the user looks at a point included in image Img#2 the user's right eye is expected to be directed toward camera 172. Therefore, eye image EIRL#2 is expected to include most of the iris of the user's right eye.
  • the image acquisition unit 111 may also acquire the eye images EIL#1 and EIR#2 as eye images to be used for biometric authentication of the user (e.g., iris authentication).
  • the image acquisition unit 111 may transmit the eye images EIL#1 and EIR#2 to the authentication unit 114.
  • the authentication unit 114 may use the eye images EIL#1 and EIR#2 to perform biometric authentication of the user.
  • the control unit 113 may control the output device 150 to display image Img#3 shown in FIG. 9(c) on the head-mounted display 152 instead of image Img#2.
  • image Img#3 is being displayed (in other words, while the user is looking at image Img#3 displayed on display 1521)
  • camera 171 may capture an image of the user's left eye
  • camera 172 may capture an image of the user's right eye.
  • Eye image EIL#3 may be generated by camera 171 capturing an image of the user's left eye.
  • Eye image EIR#3 may be generated by camera 172 capturing an image of the user's right eye.
  • the image acquisition unit 111 may acquire eye images EIL#3 and EIR#3. Note that eye images EIL#3 and EIR#3 may be at least temporarily stored in the storage device 120.
  • the control unit 113 may control the output device 150 to display image Img#4 shown in FIG. 9(d) on the head-mounted display 152 instead of image Img#3.
  • image Img#4 is being displayed (in other words, while the user is looking at image Img#4 displayed on display 1521)
  • camera 171 may capture an image of the user's left eye
  • camera 172 may capture an image of the user's right eye.
  • Eye image EIL#4 may be generated by camera 171 capturing an image of the user's left eye.
  • Eye image EIR#4 may be generated by camera 172 capturing an image of the user's right eye.
  • the image acquisition unit 111 may acquire eye images EIL#4 and EIR#4. Note that eye images EIL#4 and EIR#4 may be at least temporarily stored in the storage device 120.
  • the control unit 113 may control the output device 150 to display image Img#5 shown in FIG. 9(e) on the head-mounted display 152 instead of image Img#4.
  • image Img#5 While image Img#5 is being displayed (in other words, while the user is looking at image Img#5 displayed on display 1521), camera 171 may capture an image of the user's left eye, and camera 172 may capture an image of the user's right eye.
  • Eye image EIL#5 may be generated by camera 171 capturing an image of the user's left eye.
  • Eye image EIR#5 may be generated by camera 172 capturing an image of the user's right eye.
  • the image acquisition unit 111 may acquire eye images EIL#5 and EIR#5. Note that eye images EIL#5 and EIR#5 may be at least temporarily stored in the storage device 120.
  • the control unit 113 may control the output device 150 to display image Img#6 shown in FIG. 9(f) on the head-mounted display 152 instead of image Img#5.
  • image Img#6 is being displayed (in other words, while the user is looking at image Img#6 displayed on display 1521)
  • camera 171 may capture an image of the user's left eye
  • camera 172 may capture an image of the user's right eye.
  • Eye image EIL#6 may be generated by camera 171 capturing an image of the user's left eye.
  • Eye image EIR#6 may be generated by camera 172 capturing an image of the user's right eye.
  • the image acquisition unit 111 may acquire eye images EIL#6 and EIR#6. Note that eye images EIL#6 and EIR#6 may be at least temporarily stored in the storage device 120.
  • the control unit 113 may control the output device 150 to display image Img#7 shown in FIG. 9(g) on the head-mounted display 152 instead of image Img#6.
  • image Img#7 While image Img#7 is being displayed (in other words, while the user is looking at image Img#7 displayed on display 1521), camera 171 may capture an image of the user's left eye, and camera 172 may capture an image of the user's right eye.
  • Eye image EIL#7 may be generated by camera 171 capturing an image of the user's left eye.
  • Eye image EIR#7 may be generated by camera 172 capturing an image of the user's right eye.
  • the image acquisition unit 111 may acquire eye images EIL#7 and EIR#7. Note that eye images EIL#7 and EIR#7 may be at least temporarily stored in the storage device 120.
  • the control unit 113 may control the output device 150 to display image Img#8 shown in FIG. 9(h) on the head-mounted display 152 instead of image Img#7.
  • image Img#8 While image Img#8 is being displayed (in other words, while the user is looking at image Img#8 displayed on display 1521), camera 171 may capture an image of the user's left eye, and camera 172 may capture an image of the user's right eye.
  • Eye image EIL#8 may be generated by camera 171 capturing an image of the user's left eye.
  • Eye image EIR#8 may be generated by camera 172 capturing an image of the user's right eye.
  • the image acquisition unit 111 may acquire eye images EIL#8 and EIR#8. Note that eye images EIL#8 and EIR#8 may be at least temporarily stored in the storage device 120.
  • the control unit 113 may control the output device 150 to display image Img#9 shown in FIG. 9(i) on the head-mounted display 152 instead of image Img#8.
  • image Img#9 While image Img#9 is being displayed (in other words, while the user is looking at image Img#9 displayed on display 1521), camera 171 may capture an image of the user's left eye, and camera 172 may capture an image of the user's right eye.
  • Eye image EIL#9 may be generated by camera 171 capturing an image of the user's left eye.
  • Eye image EIR#9 may be generated by camera 172 capturing an image of the user's right eye.
  • the image acquisition unit 111 may acquire eye images EIL#9 and EIR#9. Note that eye images EIL#9 and EIR#9 may be at least temporarily stored in the storage device 120.
  • the control unit 113 may, for example, acquire the characteristics of the user's eyes and/or detect the eye movement of the user's eyes based on the eye images EIL#1 to EIL#9 and the eye images EIR#1 to EIR#9. For example, the control unit 113 may calculate a calibration value for calibrating a setting value (e.g., a parameter value) related to gaze estimation based on at least one of the characteristics of the user's eyes and the eye movement of the user's eyes. The control unit 113 may output calibration information indicating the calculated calibration value as the result of the calibration.
  • a setting value e.g., a parameter value
  • the control unit 113 may associate the calibration information with the identified person (e.g., identification information) and store it in the storage device 120. For example, if a person corresponding to the user is not identified through biometric authentication using eye images EIL#1 and EIR#2, the control unit 113 may associate the calibration information with new identification information for identifying the user and store it in the storage device 120.
  • the identified person e.g., identification information
  • the control unit 113 may associate the calibration information with new identification information for identifying the user and store it in the storage device 120.
  • the control unit 113 may obtain the calibration information from the storage device 120 based on the identified person (e.g., identification information). In this case, the control unit 113 does not need to control the output device 150 to display images Img#3 to Img#9. In other words, images Img#3 to Img#9 do not need to be displayed.
  • control unit 113 may control the output device 150 to display, for example, a single image including multiple points that the user should look at.
  • the control unit 113 may make at least one of the color, brightness, size, and shape of the point that the user should currently look at different from the other points.
  • control unit 113 may, for example, transmit to the output device 150 coordinate information indicating the coordinates of a point displayed to guide the user's gaze, and control the output device 150 to display the point at the coordinates indicated by the coordinate information.
  • control unit 113 may control output device 150 to display a first instruction image (e.g., image Img#1) on head-mounted display 152 (specifically, display 1521) (step S201). While the first instruction image is displayed, camera 171 may capture an image of the user's left eye, and camera 172 may capture an image of the user's right eye.
  • Image acquisition unit 111 may acquire first eye images (e.g., eye images EIL#1 and EIR#1) generated by cameras 171 and 172 capturing images of the user's left eye and right eye, respectively (step S202).
  • control unit 113 may control the output device 150 to display a second instruction image (e.g., image Img#2) on the head-mounted display 152 instead of the first instruction image (step S203).
  • a second instruction image e.g., image Img#2
  • the camera 171 may capture an image of the user's left eye
  • the camera 172 may capture an image of the user's right eye.
  • the image acquisition unit 111 may acquire second eye images (e.g., eye images EIL#2 and EIR#2) generated by the cameras 171 and 172 capturing the images of the user's left eye and right eye, respectively (step S204).
  • the image acquisition unit 111 may transmit at least a portion of the first eye image and the second eye image (e.g., eye images EIL#1 and EIR#2) to the authentication unit 114.
  • the authentication unit 114 may perform biometric authentication of the user (e.g., iris authentication) using the first eye image and the second eye image (step S205).
  • the authentication unit 114 may perform biometric authentication of the user using at least a portion of the first eye image (e.g., eye image EIL#1).
  • the authentication unit 114 may perform biometric authentication of the user using at least a portion of the second eye image (e.g., eye image EIR#2). In this case, if a person corresponding to the user is identified through biometric authentication using at least a portion of the first eye image, the authentication unit 114 does not need to perform biometric authentication using at least a portion of the second eye image.
  • the control unit 113 may determine whether the biometric authentication was successful (step S206). Here, if a person corresponding to the user is identified through biometric authentication, the control unit 113 may determine that the biometric authentication was successful. On the other hand, if a person corresponding to the user is not identified through biometric authentication, the control unit 113 may determine that the biometric authentication was not successful (in other words, that the biometric authentication failed).
  • step S207 the control unit 113 may determine whether or not past calibration information related to the user exists.
  • the control unit 113 may determine that past calibration information related to the user exists.
  • the control unit 113 may determine that past calibration information related to the user does not exist.
  • step S207 If it is determined in the processing of step S207 that past calibration information related to the user exists (step S207: Yes), the control unit 113 may acquire calibration information (i.e., past calibration information) linked to the person identified by biometric authentication and corresponding to the user, based on the person's (e.g., identification information) from the storage device 120 (step S208). In this case, the control unit 113 may end the calibration related to gaze estimation. Note that in the processing of step S208, the control unit 113 may acquire setting values related to gaze estimation that have been changed based on the results of the past calibration, in addition to or instead of the past calibration information.
  • calibration information i.e., past calibration information linked to the person identified by biometric authentication and corresponding to the user, based on the person's (e.g., identification information) from the storage device 120 (step S208).
  • the control unit 113 may end the calibration related to gaze estimation. Note that in the processing of step S208, the control unit 113 may acquire setting values related to gaze estimation that have been
  • step S206 If it is determined in the process of step S206 that biometric authentication has not been successful (step S206: No), or if it is determined in the process of step S207 that past calibration information related to the user does not exist (step S207: No), the control unit 113 may continue calibration related to gaze estimation (step S209). For example, the control unit 113 may control the output device 150 to display a third instruction image (e.g., images Img#3 to Img#9) on the head-mounted display 152 instead of the second instruction image. While the third instruction image is being displayed, the camera 171 may capture the user's left eye, and the camera 172 may capture the user's right eye.
  • a third instruction image e.g., images Img#3 to Img#9
  • the image acquisition unit 111 may acquire third eye images (e.g., eye images EIL#3 to EIL#9 and eye images EIR#3 to EIR#9) generated by the cameras 171 and 172 capturing the user's left eye and right eye, respectively.
  • third eye images e.g., eye images EIL#3 to EIL#9 and eye images EIR#3 to EIR#9
  • the cameras e.g., cameras 171 and 172
  • the cameras are arranged in positions that do not obstruct the user's view of the display screen. For this reason, it is difficult to use eye images generated by the cameras capturing images of the user's eyes for biometric authentication of the user.
  • the user's gaze is guided so that the user's iris faces the camera (specifically, so that the iris of the user's left eye faces camera 171, and so that the iris of the user's right eye faces camera 172). Therefore, in this embodiment, when calibration is being performed, cameras 171 and 172 capture images of the user's eyes, making it possible to generate eye images (e.g., eye images EIL#1 and EIR#2) suitable for user biometric authentication.
  • eye images EIL#1 and EIR#2 eye images
  • the control unit 113 may acquire the calibration information and terminate the calibration. This reduces the burden on the user.
  • the arithmetic unit 110 of the information processing device 100c may have, as logically realized functional blocks or as physically realized processing circuits, an image acquisition unit 111, a gaze estimation unit 112, a control unit 113, an authentication unit 114, and a position estimation unit 115.
  • At least one of the image acquisition unit 111, gaze estimation unit 112, control unit 113, authentication unit 114 and position estimation unit 115 may be realized in a form that mixes logical functional blocks and physical processing circuits (i.e., hardware).
  • the image acquisition unit 111, gaze estimation unit 112, control unit 113, authentication unit 114 and position estimation unit 115 may be realized as functional blocks
  • the image acquisition unit 111, gaze estimation unit 112, control unit 113, authentication unit 114 and position estimation unit 115 may be realized by a single processor (e.g., processor 110a).
  • the image acquisition unit 111, gaze estimation unit 112, control unit 113, authentication unit 114 and position estimation unit 115 may each be realized by different processors.
  • the image acquisition unit 111, the gaze estimation unit 112, the control unit 113, the authentication unit 114, and part of the position estimation unit 115 may be realized by a single processor, and the remaining parts of the image acquisition unit 111, the gaze estimation unit 112, the control unit 113, the authentication unit 114, and the position estimation unit 115 may be realized by one or more processors different from the single processor.
  • head-mounted displays may have different positions for the cameras (e.g., cameras 171 and 172) placed on the head-mounted display (e.g., head-mounted display 152).
  • the position of the point used to guide the user's gaze is fixed in order to orient the iris of the user's eye toward the camera, it may be difficult to obtain an eye image suitable for user biometric authentication when calibration related to gaze estimation is performed.
  • the shape of the user's eyes contained in the eye image will change depending on the relative positional relationship between the user's eyes and the camera.
  • an eye image such as that shown in Figure 12(b) may be generated.
  • an eye image such as that shown in Figure 12(c) may be generated.
  • an eye image such as that shown in Figure 12(d) may be generated.
  • the control unit 113 may first control the output device 150 to display, for example, image Img#3 shown in FIG. 9(c) on the head-mounted display 152 (specifically, display 1521). While image Img#3 is being displayed (in other words, while the user is looking at image Img#3 displayed on display 1521), camera 171 may capture an image of the user's left eye, and camera 172 may capture an image of the user's right eye. Eye image EIL#3a may be generated by camera 171 capturing an image of the user's left eye. Eye image EIR#3a may be generated by camera 172 capturing an image of the user's right eye. The image acquisition unit 111 may acquire eye images EIL#3a and EIR#3a. Note that eye images EIL#3a and EIR#3a may be at least temporarily stored in the storage device 120.
  • the position estimation unit 115 may use the eye images EIL#3a and EIR#3a to estimate the positions of the cameras 171 and 172 on the head-mounted display 152.
  • the control unit 113 may then control the output device 150 to display, instead of image Img#3, an image (e.g., image Img#1 in Figure 9(a)) on the head-mounted display 152 that guides the user's gaze so that the iris of the user's left eye faces toward the camera 171.
  • the control unit 113 may determine the positions of points included in the displayed image based on the estimated position of the camera 171.
  • control unit 113 may control the output device 150 to display on the head-mounted display 152 an image (e.g., image Img#2 in FIG. 9(b)) that guides the user's gaze so that the iris of the user's right eye faces the camera 172, instead of the image that guides the user's gaze so that the iris of the user's left eye faces the camera 171.
  • image Img#2 in FIG. 9(b) an image that guides the user's gaze so that the iris of the user's right eye faces the camera 172
  • the control unit 113 may determine the positions of points included in the displayed image based on the estimated position of the camera 172.
  • the user's gaze can be appropriately guided so that the iris of the user's eye faces toward the camera.
  • Seventh Embodiment A seventh embodiment of an information processing device, an information processing method, and a recording medium will be described with reference to FIG. 13 .
  • the seventh embodiment of an information processing device, an information processing method, and a recording medium will be described using an information processing device 100d. Note that, for the seventh embodiment, descriptions that overlap with the first to sixth embodiments will be omitted as appropriate. Furthermore, in the drawings, parts common to other embodiments are indicated by the same reference numerals.
  • the arithmetic unit 110 of the information processing device 100d may have an image acquisition unit 111, a gaze estimation unit 112, a control unit 113, an authentication unit 114, and an information acquisition unit 116 as logically realized functional blocks or as physically realized processing circuits.
  • At least one of the image acquisition unit 111, gaze estimation unit 112, control unit 113, authentication unit 114 and information acquisition unit 116 may be realized in a format that mixes logical functional blocks and physical processing circuits (i.e., hardware).
  • the image acquisition unit 111, gaze estimation unit 112, control unit 113, authentication unit 114 and information acquisition unit 116 may be realized as functional blocks
  • the image acquisition unit 111, gaze estimation unit 112, control unit 113, authentication unit 114 and information acquisition unit 116 may be realized by a single processor (for example, processor 110a).
  • the image acquisition unit 111, gaze estimation unit 112, control unit 113, authentication unit 114 and information acquisition unit 116 may each be realized by different processors.
  • the image acquisition unit 111, the gaze estimation unit 112, the control unit 113, the authentication unit 114, and part of the information acquisition unit 116 may be realized by a single processor, and the remaining parts of the image acquisition unit 111, the gaze estimation unit 112, the control unit 113, the authentication unit 114, and the information acquisition unit 116 may be realized by one or more processors different from the single processor.
  • the information acquisition unit 116 may acquire camera position information indicating the positions of the cameras 171 and 172 arranged on the head-mounted display 152 from a device external to the information processing device 100d (e.g., a cloud server) via the communication device 130.
  • a device external to the information processing device 100d e.g., a cloud server
  • the control unit 113 may first control the output device 150 to display on the head-mounted display 152 an image (e.g., image Img#1 in Figure 9(a)) that guides the user's gaze so that the iris of the user's left eye faces the camera 171. In this case, the control unit 113 may determine the positions of points included in the displayed image based on the position of the camera 171 indicated by the camera position information.
  • image Img#1 in Figure 9(a) an image that guides the user's gaze so that the iris of the user's left eye faces the camera 171.
  • the control unit 113 may determine the positions of points included in the displayed image based on the position of the camera 171 indicated by the camera position information.
  • control unit 113 may control the output device 150 to display on the head-mounted display 152 an image (e.g., image Img#2 in FIG. 9(b)) that guides the user's gaze so that the iris of the user's right eye faces the camera 172, instead of the image that guides the user's gaze so that the iris of the user's left eye faces the camera 171.
  • the control unit 113 may determine the positions of points included in the displayed image based on the position of the camera 172 indicated by the camera position information.
  • the user is wearing glasses.
  • the left eye lens 300L of the glasses is located between the user's left eye and the camera 171.
  • the right eye lens 300R of the glasses is located between the user's right eye and the camera 172.
  • the multiple light sources 1523#1, 1523#2, 1523#4 may emit near-infrared light (in other words, at least some of the light sources may illuminate the user with near-infrared light). Therefore, if the user is wearing eyeglasses, the near-infrared light may be reflected by the lenses of the eyeglasses (e.g., lenses 300L and 300R).
  • Figure 14(b) shows eye image EIRg as an example of an eye image generated by camera 172 capturing an image of a user's right eye when the user is wearing eyeglasses.
  • eye image EIRg includes a high-brightness area hba, which is an area of relatively high brightness caused by the reflected near-infrared light.
  • hba is an area of relatively high brightness caused by the reflected near-infrared light.
  • An eye image in which the high-brightness area hba overlaps the iris of a user's eye e.g., eye image EIRg
  • eye image EIRg eye image
  • user biometric authentication e.g., iris authentication
  • the control unit 113 of the information processing device 100b may determine whether or not the user is wearing eyeglasses based on the eye image generated by cameras 171 and 172 capturing images of the user's eyes. As shown in FIG. 14(b), if the user is wearing eyeglasses, the eye image EIRg includes the eyeglass frame fr. The control unit 113 may determine whether or not the eye image includes the eyeglass frame. Then, if it is determined that the eye image includes the eyeglass frame, the control unit 113 may determine that the user is wearing eyeglasses. On the other hand, if it is determined that the eye image does not include the eyeglass frame, the control unit 113 may determine that the user is not wearing eyeglasses.
  • the control unit 113 may detect a high-brightness area hba from the eye image (e.g., eye image EIRg). If a high-brightness area hba is detected, the control unit 113 may determine whether the high-brightness area hba overlaps the iris area, which is the area corresponding to the iris. If it is determined that the high-brightness area hba overlaps the iris area, the control unit 113 may change the illumination mode of the user by the multiple light sources 1523#1, 1523#2, 1523#3, and 1523#4 so that the high-brightness area hba does not overlap the iris area.
  • a high-brightness area hba from the eye image (e.g., eye image EIRg). If a high-brightness area hba is detected, the control unit 113 may determine whether the high-brightness area hba overlaps the iris area, which is the area corresponding to the iris. If it is determined
  • the operation of the information processing device 100b according to the eighth embodiment will now be described with reference to the flowchart in FIG. 15.
  • the operation shown in the flowchart in FIG. 15 may be, for example, a calibration subroutine.
  • the operation shown in the flowchart in FIG. 15 may also be performed before calibration related to gaze estimation is performed.
  • the control unit 113 may first control the output device 150 to display, for example, image Img#1 shown in FIG. 9(a) on the head-mounted display 152 (specifically, display 1521). While image Img#1 is being displayed (in other words, while the user is looking at image Img#1 displayed on display 1521), camera 171 may capture an image of the user's left eye, and camera 172 may capture an image of the user's right eye. Eye image EIL#1 may be generated by camera 171 capturing an image of the user's left eye. Eye image EIR#1 may be generated by camera 172 capturing an image of the user's right eye.
  • the image acquisition unit 111 may acquire eye images EIL#1 and EIR#1 (step S301). Note that eye images EIL#1 and EIR#1 may be at least temporarily stored in the storage device 120.
  • the control unit 113 may determine whether the user is wearing glasses based on at least one of the eye images EIL#1 and EIR#1 (step S302). If it is determined in the processing of step S302 that the user is not wearing glasses (step S302: No), the operation shown in the flowchart of FIG. 15 may be terminated.
  • step S302 If it is determined in the processing of step S302 that the user is wearing eyeglasses (step S302: Yes), the control unit 113 may detect high-brightness areas hba (in other words, light source reflections) caused by near-infrared light reflected by the lenses of the eyeglasses (e.g., lenses 300L and 300R) (step S303).
  • image Img#1 is an image for guiding the user's gaze so that the iris of the user's left eye faces toward the camera 171. Therefore, in the processing of step S303, the control unit 113 may detect only the high-brightness areas hba included in the eye image EIL#1.
  • the control unit 113 may determine whether to change the user's illumination mode using the multiple light sources 1523#1, 1523#2, 1523#3, and 1523#4 (step S304).
  • the control unit 113 may determine not to change the user's illumination mode. If the detected high-brightness area hba does not overlap the iris area, the control unit 113 may determine not to change the user's illumination mode. On the other hand, if the detected high-brightness area hba overlaps the iris area, the control unit 113 may determine to change the user's illumination mode.
  • step S304 If it is determined in the processing of step S304 that the user's lighting mode will not be changed (step S304: No), the operation shown in the flowchart of FIG. 15 may be temporarily terminated. If it is determined in the processing of step S304 that the user's lighting mode will be changed (step S304: Yes), the control unit 113 may control the multiple light sources 1523#1, 1523#2, 1523#3, and 1523#4 so that the high-brightness area hba does not overlap the iris area (step S305). As a result, the user's lighting mode may be changed.
  • image acquisition unit 111 may acquire eye images EIL#1a and EIR#1a (step S306). That is, in the processing of step S306, image acquisition unit 111 may acquire eye images EIL#1a and EIR#1a of the user after the lighting conditions of the user have been changed. Note that eye images EIL#1a and EIR#1a may be at least temporarily stored in storage device 120.
  • the control unit 113 may control the output device 150 to display, for example, image Img#2 shown in FIG. 9(b) on the head-mounted display 152 instead of image Img#1.
  • image Img#2 While image Img#2 is being displayed (in other words, while the user is looking at image Img#2 displayed on display 1521), camera 171 may capture an image of the user's left eye, and camera 172 may capture an image of the user's right eye.
  • Eye image EIL#2 may be generated by camera 171 capturing an image of the user's left eye.
  • Eye image EIR#2 may be generated by camera 172 capturing an image of the user's right eye.
  • the image acquisition unit 111 may acquire eye images EIL#2 and EIR#2. Note that eye images EIL#2 and EIR#2 may be at least temporarily stored in the storage device 120.
  • the control unit 113 may detect a high-brightness area hba caused by near-infrared light reflected by the lenses of the glasses (step S303).
  • image Img#2 is an image for guiding the user's gaze so that the iris of the user's right eye faces toward the camera 172. Therefore, in the processing of step S303, the control unit 113 may detect only the high-brightness area hba included in the eye image EIR#2.
  • the control unit 113 may determine whether or not to change the user's lighting mode (step S304). If it is determined in the processing of step S304 that the user's lighting mode will not be changed (step S304: No), the operation shown in the flowchart of FIG. 15 may be temporarily terminated. If it is determined in the processing of step S304 that the user's lighting mode will be changed (step S304: Yes), the control unit 113 may control the multiple light sources 1523#1, 1523#2, 1523#3, and 1523#4 so that the high-brightness area hba does not overlap the iris area (step S305). As a result, the user's lighting mode may be changed.
  • image acquisition unit 111 may acquire eye images EIL#2a and EIR#2a (step S306). That is, in the processing of step S306, image acquisition unit 111 may acquire eye images EIL#2a and EIR#2a of the user after the lighting conditions of the user have been changed. Note that eye images EIL#2a and EIR#2a may be at least temporarily stored in storage device 120.
  • the information processing device 100b of the eighth embodiment it is possible to determine whether the user is wearing eyeglasses.
  • the illumination mode of the user by the multiple light sources 1523#1, 1523#2, 1523#3, and 1523#4 is changed so that the high-brightness area hba does not overlap the iris area. Therefore, according to the information processing device 100b of the eighth embodiment, even when the user is wearing eyeglasses, it is possible to appropriately acquire an eye image used for biometric authentication of the user.
  • a display unit A display unit; a first acquisition means for acquiring an eye image of a subject; a gaze estimation means for estimating the gaze of the subject using the eye image; a control means for performing calibration related to the gaze estimation; Equipped with the control means controls the display unit to display an instruction image related to the calibration;
  • the first acquisition means acquires at least a part of the eye image of the target captured while the instruction image is displayed on the display unit, as a first eye image that is also used for biometric authentication of the target.
  • Appendix 2 an authentication means for performing biometric authentication of the target using the first eye image; 2.
  • the information processing device wherein, when the target is identified based on the biometric authentication, the control means acquires past calibration information related to the target.
  • the instruction images include a first instruction image for directing one of the subject's left and right eyes toward a first camera that captures an image of the one of the left and right eyes, a second instruction image for directing the other of the subject's left and right eyes toward a second camera that captures an image of the other of the left and right eyes, and one or more third instruction images different from the first instruction image and the second instruction image,
  • the control means controls the display unit to display the first indication image, and after the first indication image is displayed, controls the display unit to display the second indication image
  • the first acquisition unit acquires, as the first eye image, an eye image of one of the left and right eyes of the target when the first indication image is displayed on the display unit, and acquires, as the first eye image, an eye image of the other of the left and right eyes of the target when the second indication image is displayed on the display unit
  • the authentication means performs the biometric authentication of the target using the eye image of one of the left and right eyes and the eye image of the
  • the display unit is a head-mounted display, a second acquisition means for acquiring position information indicating a position of a camera disposed on the head mounted display;
  • the information processing device according to any one of claims 1 to 4, wherein the control means changes the instruction image based on the position information.
  • the display unit is a head-mounted display
  • the control means controls the display unit to display, as the instruction image, a fourth instruction image that guides the line of sight of the subject to a predetermined position on the display unit;
  • the first acquisition unit acquires a second eye image as the eye image of the target when the fourth instruction image is displayed on the display unit;
  • the information processing device according to any one of appendixes 1 to 4, further comprising: a position estimation unit that estimates a position of a camera disposed on the head-mounted display using the second-eye image.
  • Appendix 7 An information processing device as described in any one of appendices 1 to 6, wherein when the control means performs the calibration, the control means controls the display unit to display one instruction image at one position on the display unit to guide the subject's gaze, and after the subject's gaze is directed to the one position, the control means controls the display unit to display another instruction image at another position on the display unit to guide the subject's gaze.
  • An information processing method comprising: controlling the display unit to display an instruction image related to the calibration; and acquiring at least a portion of the eye image of the subject captured while the instruction image is displayed on the display unit as a first eye image that is also used for biometric authentication of the subject.
  • a recording medium having recorded thereon a computer program for causing a computer having a display unit to execute an information processing method, which comprises acquiring an eye image of a subject, performing gaze estimation to estimate the subject's gaze using the eye image, performing calibration related to the gaze estimation, controlling the display unit to display an instruction image related to the calibration, and acquiring at least a portion of the eye image of the subject captured while the instruction image is being displayed on the display unit as a first eye image that is also used for biometric authentication of the subject.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Collating Specific Patterns (AREA)

Abstract

情報処理装置は、表示部と、対象の目画像を取得する第１取得手段と、目画像を用いて対象の視線を推定する視線推定を行う視線推定手段と、視線推定に関するキャリブレーションを行う制御手段と、を備える。制御手段は、キャリブレーションに係る指示画像を表示するように表示部を制御し、第１取得手段は、指示画像が表示部に表示されているときに撮像された対象の目画像の少なくとも一部を、対象の生体認証にも用いられる第１目画像として取得する。

Description

情報処理装置、情報処理方法及び記録媒体
　この開示は、情報処理装置、情報処理方法及び記録媒体の技術分野に関する。
　この種の情報処理装置では、例えば特許文献１に記載されているような視線検出が行われることがある。
特開２０１５－０１３０３１号公報
　この開示は、上述した先行技術文献に関連する技術の改良を目的とする情報処理装置、情報処理方法及び記録媒体を提供することを課題とする。
　情報処理装置の一態様は、表示部と、対象の目画像を取得する第１取得手段と、前記目画像を用いて前記対象の視線を推定する視線推定を行う視線推定手段と、前記視線推定に関するキャリブレーションを行う制御手段と、を備え、前記制御手段は、前記キャリブレーションに係る指示画像を表示するように前記表示部を制御し、前記第１取得手段は、前記指示画像が前記表示部に表示されているときに撮像された前記対象の前記目画像の少なくとも一部を、前記対象の生体認証にも用いられる第１目画像として取得する。
　情報処理方法の一態様は、表示部を備える情報処理装置における情報処理方法であって、対象の目画像を取得し、前記目画像を用いて前記対象の視線を推定する視線推定を行い、前記視線推定に関するキャリブレーションを行い、前記キャリブレーションに係る指示画像を表示するように前記表示部を制御し、前記指示画像が前記表示部に表示されているときに撮像された前記対象の前記目画像の少なくとも一部を、前記対象の生体認証にも用いられる第１目画像として取得する。
　記録媒体の一態様は、表示部を備えるコンピュータに、対象の目画像を取得し、前記目画像を用いて前記対象の視線を推定する視線推定を行い、前記視線推定に関するキャリブレーションを行い、前記キャリブレーションに係る指示画像を表示するように前記表示部を制御し、前記指示画像が前記表示部に表示されているときに撮像された前記対象の目画像の少なくとも一部を、前記対象の生体認証にも用いられる第１目画像として取得する情報処理方法を実行させるためのコンピュータプログラムが記録されている。
実施形態に係る情報処理装置の一例を示すブロック図である。 視線推定に関するキャリブレーションに係る動作の一例を示すフローチャートである。 実施形態に係る情報処理装置の他の例を示すブロック図である。 実施形態に係る演算装置の構成の一例を示すブロック図である。 実施形態に係る情報処理装置の他の例を示すブロック図である。 実施形態に係る情報処理システムの一例を示す 実施形態に係る情報処理装置の他の例を示すブロック図である。 ヘッドマウントディスプレイの一例を示す図である。 ユーザの視線を誘導するための指示画像の例を示す図である。 視線推定に関するキャリブレーションに係る動作の他の例を示すフローチャートである。 実施形態に係る情報処理装置の他の例を示すブロック図である。 ユーザの目とカメラとの位置関係の一例を示す図である。 実施形態に係る情報処理装置の他の例を示すブロック図である。 ユーザが眼鏡を装用している場合のヘッドマウントディスプレイの一例を示す図である。 ユーザが眼鏡を装用している場合の情報処理装置の動作の一例を示す図である。
　＜第１実施形態＞
　情報処理装置、情報処理方法及び記録媒体に係る第１実施形態について図１及び図２を参照して説明する。以下では、情報処理装置１０を用いて、情報処理装置、情報処理方法及び記録媒体に係る第１実施形態を説明する。
　図１において、情報処理装置１０は、表示部１１、画像取得部１２、視線推定部１３及び制御部１４を備える。表示部１１は、情報処理装置１０の筐体に配置されていてもよいし、情報処理装置１０の筐体とは異なる筐体（例えば、表示部１１独自の筐体）を有していてもよい。
　画像取得部１２は、情報処理装置１０のユーザの目画像を取得する。尚、ユーザの目画像は、例えば表示部１１の周囲に配置されたカメラがユーザの目を撮像することによって生成されてよい。尚、上記カメラは、情報処理装置１０とは異なる装置であってもよいし、情報処理装置１０の一部を構成していてもよい。カメラが情報処理装置１０の一部を構成している場合、該カメラは、が画像取得部１２の少なくとも一部を構成していてもよい。尚、ユーザの目を撮像するカメラは、一つに限らず、複数個であってよい。
　視線推定部１３は、画像取得部１２が取得した目画像を用いて、ユーザの視線（例えば、ユーザの表示部１１に対する視線）を推定する視線推定を行う。視線推定の方法の一例として次の方法が挙げられる。前提として、近赤外光を発する点光源でユーザの目が照らされているものとする。視線推定部１３は、目画像に含まれる、角膜で反射された近赤外光（即ち、プルキニエ像）の位置と、目画像に含まれる瞳孔の位置との相対的な位置関係に基づいて、視線を推定してよい。或いは、視線推定部１３は、目画像に含まれる目頭又は目尻の位置と、目画像に含まれる瞳孔又は虹彩の位置との相対的な位置関係に基づいて、視線を推定してよい。或いは、視線推定部１３は、目画像が入力された場合に、視線方向を出力する機械学習モデルを用いて視線を推定してもよい。尚、視線推定の方法には、上述した方法に限らず、既存の各種態様を適用可能である。尚、視線推定は、「視線計測」又は「アイトラッキング」と称されてもよい。尚、ユーザは、視線推定の対象者である。このため、ユーザは、「対象者」又は「対象」と称されてもよい。
　制御部１４は、視線推定に関するキャリブレーションを行う。キャリブレーションは、例えば、視線推定においてユーザの視点を正確に算出するために、ユーザの目の特性を取得すること及びユーザの目の眼球運動を検出することの少なくとも一方を意味してよい。尚、目の特性には、例えば、眼球の大きさ、眼の色、眼の形、眼鏡及びコンタクトレンズの少なくとも一方の装用、等が含まれていてよい。例えば、制御部１４は、キャリブレーションに係る指示画像を表示するように表示部１１を制御する。指示画像は、ユーザの視線を誘導するための内容（例えば、輝点、矢印、記号、図形及び指示文の少なくとも一つ）を含む画像であってよい。ここで、画像取得部１２は、指示画像が表示部１１に表示されているときに撮像されたユーザの目画像を取得する。該目画像は、ユーザが表示部１１上の所定の位置（即ち、指示画像によりユーザの視線が誘導された位置）を注視している場合のユーザの目の状態を示していると言える。制御部１４は、目画像に基づいて、ユーザの目の特性を取得してよい、及び／又は、ユーザの目の眼球運動を検出してよい。尚、制御部１４は、キャリブレーションの結果に基づいて、視線推定に係る設定値（例えば、パラメータの値）を変更してよい。或いは、視線推定部１３は、キャリブレーションの結果に基づいて、視線推定に係る設定値を変更してよい。視線推定部１３は、キャリブレーションの結果に基づいて変更された視線推定に係る設定値を用いて、ユーザの視線推定を行ってよい。
　本実施形態では特に、画像取得部１２は、指示画像が表示部１１に表示されているときに撮像されたユーザの目画像の少なくとも一部を、ユーザの生体認証（例えば、虹彩認証）にも用いられる目画像として取得する。
　視線推定に関するキャリブレーションに係る動作について図２のフローチャートを参照して説明を加える。図２において、制御部１４は、指示画像を表示するように表示部１１を制御する（ステップＳ１０１）。指示画像が表示部１１に表示されている期間に、画像取得部１２は、ユーザの目画像を取得する（ステップＳ１０２）。ステップＳ１０２の処理の後、ステップＳ１０１の処理が再度行われてよい。つまり、ステップＳ１０１及びＳ１０２の処理は繰り返し行われてよい。この場合、今回のステップＳ１０１の処理で表示される指示画像は、前回のステップＳ１０１の処理で表示された指示画像と異なっていてよい。例えば、前回のステップＳ１０１の処理では、表示部１１の一の位置にユーザの視線を誘導する指示画像が表示されてよい。今回のステップＳ１０１の処理では、表示部１１の他の位置（即ち、上記一の位置とは異なる位置）にユーザの視線を誘導する指示画像が表示されてよい。ここで特に、画像取得部１２は、ステップＳ１０２の処理で取得する目画像の少なくとも一部を、ユーザの生体認証にも用いられる目画像として取得する。
　情報処理装置１０は、ユーザの目画像を取得し、目画像を用いてユーザの視線を推定する視線推定を行い、視線推定に関するキャリブレーションを行い、キャリブレーションに係る指示画像を表示するように表示部１１を制御し、指示画像が表示部１１に表示されているときに撮像されたユーザの目画像の少なくとも一部を、ユーザの生体認証にも用いられる目画像として取得する情報処理方法が行われてよい。
　上述した情報処理装置１０は、コンピュータが記録媒体に記録されたコンピュータプログラムを読み込むことによって実現されてよい。この場合、記録媒体には、表示部を備えるコンピュータに、ユーザの目画像を取得し、目画像を用いてユーザの視線を推定する視線推定を行い、視線推定に関するキャリブレーションを行い、キャリブレーションに係る指示画像を表示するように表示部を制御し、指示画像が表示部に表示されているときに撮像されたユーザの目画像の少なくとも一部を、ユーザの生体認証にも用いられる目画像として取得する情報処理方法を実行させるためのコンピュータプログラムが記録されていてよい。
　（技術的効果）
　コンピュータ（例えば、情報処理装置１０に相当）の操作インターフェースとして視線操作インターフェースが提案されている。視線操作インターフェースを用いた視線操作では、例えばユーザが意図したものとは異なるものが選択されることがある。これは、ユーザの実際の注視点と、視線推定により推定されるユーザの注視点とにずれが生じていることが一因である。このずれを抑制するために、視線推定に関するキャリブレーションが行われることが多い。
　視線操作インターフェースを有するコンピュータにおいて、視線推定を行うためにユーザの目を撮像するカメラは、ユーザがコンピュータの表示画面を見ることを妨げないような位置に配置される。このため、ユーザが表示画面を見ている場合、ユーザの視線と上記カメラの光軸とは異なっていることが多い。
　ところで、例えばログイン認証等に、ユーザの目画像を用いた生体認証（例えば、虹彩認証）が要求されることがある。ここで、上記カメラがユーザの目を撮像することにより生成される目画像は、生体認証に適しない可能性がある。なぜなら、上記カメラは、ユーザの生体認証を意図して配置されていないからである。
　本願発明者は、視線推定に関するキャリブレーションにおいて、ユーザの視線が様々な位置に誘導されることに着目した。つまり、キャリブレーションにおいて、ユーザの視線が様々な位置に誘導されることに起因して、上記カメラがユーザの目を撮像することによって生成される一以上の目画像に、生体認証に適した目画像が含まれることが期待できる。
　そこで、情報処理装置１０では、制御部１４がキャリブレーションに係る指示画像を表示するように表示部１１を制御するとともに、画像取得部１２が指示画像が表示部１１に表示されている場合のユーザの目画像の少なくとも一部を、ユーザの生体認証にも用いられる目画像として取得する。情報処理装置１０によれば、視線推定に関するキャリブレーションのための目画像の一部を、生体認証にも用いることができる。つまり、情報処理装置１０によれば、生体認証に用いられるユーザの目画像を効率的に取得することができる。
　尚、ユーザの生体認証として、例えば虹彩認証に加えて、顔認証、指紋認証、掌紋認証、声紋認証及び耳音響認証の少なくとも一つが行われよい。つまり、ユーザの生体認証として、マルチモーダル生体認証が行われてもよい。
　＜第２実施形態＞
　情報処理装置、情報処理方法及び記録媒体に係る第２実施形態について図３及び図４を参照して説明する。以下では、情報処理装置１００を用いて、情報処理装置、情報処理方法及び記録媒体に係る第２実施形態を説明する。尚、第２実施形態について、上述した第１実施形態と重複する説明を適宜省略する。
　図３において、情報処理装置１００は、演算装置１１０、記憶装置１２０、通信装置１３０、入力装置１４０及び出力装置１５０を備える。演算装置１１０、記憶装置１２０、通信装置１３０、入力装置１４０及び出力装置１５０は、データバス１６０を介して接続されていてよい。
　演算装置１１０は、プロセッサ１１０ａを有していてよい。尚、演算装置１１０は、プロセッサ１１０ａに加えて、他のプロセッサを有していてよい。つまり、演算装置１１０は、１以上のプロセッサを有していてよい。尚、プロセッサ１１０ａは、マルチコアプロセッサであってよい。演算装置１１０が、マルチコアプロセッサである単一のプロセッサ１１０ａを有する場合、演算装置１１０は、論理的に、複数のプロセッサを有していると言える。
　プロセッサ１１０ａは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＴＰＵ（ＴｅｎｓｏｒＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、及び、量子プロセッサのうち少なくとも一つであってよい。
　記憶装置１２０は、メモリ１２０ａを有していてよい。尚、記憶装置１２０は、メモリ１２０ａに加えて、他のメモリを有していてよい。つまり、記憶装置１２０は、１以上のメモリを有していてよい。メモリ１２０ａは、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、及び、光ディスクアレイのうち少なくとも一つであってよい。従って、記憶装置１２０は、一時的でない記録媒体としてのメモリ１２０ａを有していてよい。
　記憶装置１２０は、所望のデータを記憶可能である。記憶装置１２０のメモリ１２０ａには、演算装置１１０が実行するコンピュータプログラム１２１が記憶されていてよい。記憶装置１２０は、演算装置１１０がコンピュータプログラム１２１を実行している場合に、演算装置１１０が一時的に使用するデータを一時的に記憶してよい。
　尚、コンピュータプログラム１２１は、コンピュータで読み取り可能であって且つ一時的でない記録媒体に記録されていてもよい。この場合、情報処理装置１００が備える図示しない記録媒体読み取り装置を用いて上記記録媒体が読み取られることによって、メモリ１２０ａにコンピュータプログラム１２１が記憶されてよい。尚、上記記録媒体として、光ディスク、磁気媒体、光磁気ディスク、半導体メモリ、及び、その他プログラムを格納可能な任意の媒体の少なくとも一つが用いられてよい。尚、コンピュータプログラム１２１は、通信装置１３０を介して、情報処理装置１００の外部の図示しない装置から取得されてもよい（言い換えれば、ダウンロードされてもよい）。該取得されたコンピュータプログラム１２１は、メモリ１２０ａに記憶されてよい。
　通信装置１３０は、情報処理装置１００の外部の装置と通信可能であってもよい。尚、通信装置１３０は、有線通信を行ってもよいし、無線通信を行ってもよい。
　入力装置１４０は、外部から情報処理装置１００に対する情報の入力を受け付け可能な装置である。入力装置１４０は、情報処理装置１００のユーザが操作可能な操作装置（例えば、キーボード、マウス、タッチパネル等）を含んでよい。入力装置１４０は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリ等の、情報処理装置１００に着脱可能な記録媒体に記録されている情報を読み取り可能な記録媒体読取装置を含んでよい。尚、情報処理装置１００に、通信装置１３０を介して情報が入力される場合（言い換えれば、情報処理装置１００が通信装置１３０を介して情報を取得する場合）、通信装置１３０は入力装置として機能してよい。
　出力装置１５０は、情報処理装置１００の外部に対して情報を出力可能な装置である。出力装置１５０は、上記情報として、文字や画像等の視覚情報を出力してもよいし、音声等の聴覚情報を出力してもよいし、振動等の触覚情報を出力してもよい。出力装置１５０は、例えば、ディスプレイ、スピーカ、プリンタ及び振動モータの少なくとも一つを含んでいてよい。出力装置１５０は、例えばＵＳＢメモリ等の、情報処理装置１００に着脱可能な記録媒体に情報を出力可能であってもよい。尚、情報処理装置１００が通信装置１３０を介して情報を出力する場合、通信装置１３０は出力装置として機能してよい。
　演算装置１１０のプロセッサ１１０ａは、コンピュータプログラム１２１が記憶された、記憶装置１２０のメモリ１２０ａとともに（言い換えれば、メモリ１２０ａと、メモリ１２０ａに記憶されたコンピュータプログラム１２１とともに）、情報処理装置１００が行うべき処理を実行してよい。例えば、プロセッサ１１０ａが、コンピュータプログラム１２１を実行することによって、演算装置１１０内に（例えば、プロセッサ１１０ａ内に）、情報処理装置１００が行うべき処理を実行するための論理的な機能ブロックが実現されてもよい。
　図４に示すように、演算装置１１０は、論理的に実現される機能ブロックとして、又は、物理的に実現される処理回路として、画像取得部１１１、視線推定部１１２及び制御部１１３を有していてよい。尚、画像取得部１１１、視線推定部１１２及び制御部１１３の少なくとも一つは、論理的な機能ブロックと、物理的な処理回路（即ち、ハードウェア）とが混在する形式で実現されてよい。
　尚、画像取得部１１１、視線推定部１１２及び制御部１１３が機能ブロックとして実現される場合、画像取得部１１１、視線推定部１１２及び制御部１１３は、単一のプロセッサ（例えば、プロセッサ１１０ａ）により実現されてもよい。或いは、画像取得部１１１、視線推定部１１２及び制御部１１３は、夫々異なるプロセッサにより実現されてもよい。或いは、画像取得部１１１、視線推定部１１２及び制御部１１３の一部が、一のプロセッサにより実現され、画像取得部１１１、視線推定部１１２及び制御部１１３の残りの部分が、一のプロセッサとは異なる一以上のプロセッサにより実現されてもよい。
　出力装置１５０は、表示装置１５１を有していてよい。表示装置１５１は、例えば、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ及びヘッドマウントディスプレイの少なくとも一つであってよい。尚、「画像取得部１１１」、「視線推定部１１２」、「制御部１１３」及び「表示装置１５１」は、夫々、上述した第１実施形態における「画像取得部１２」、「視線推定部１３」、「制御部１４」及び「表示部１１」に対応する構成要素である。
　画像取得部１１１は、情報処理装置１００のユーザの目画像を取得する。尚、ユーザの目画像は、例えば表示装置１５１の周囲に配置されたカメラがユーザの目を撮像することによって生成されてよい。尚、上記カメラは、情報処理装置１００とは異なる装置であってよい。この場合、画像取得部１１１は、例えば通信装置１３０を介して、上記カメラにより生成されたユーザの目画像を取得してよい。上記カメラは、情報処理装置１００の一部を構成していてもよい。この場合、画像取得部１１１は、例えばデータバス１６０を介して、上記カメラにより生成されたユーザの目画像を取得してよい。尚、ユーザの目を撮像するカメラは、一つに限らず、複数個であってよい。尚、ユーザの目を撮像するカメラが複数個である場合、ユーザの左目を撮像するカメラと、ユーザの右目を撮像するカメラとがあってよい。また、ユーザの目を撮像カメラが複数個である場合、ユーザの左目を撮像するカメラが複数個あってもよいし、ユーザの右目を撮像するカメラが複数個あってもよい。
　視線推定部１１２は、画像取得部１１１が取得した目画像を用いて、ユーザの視線（例えば、ユーザの表示装置１５１に対する視線）を推定する視線推定を行う。制御部１１３は、視線推定に関するキャリブレーションを行う。視線推定部１３は、キャリブレーションの結果に基づいて変更された視線推定に係る設定値を用いて、ユーザの視線推定を行ってよい。
　視線推定に関するキャリブレーションにおいて、画像取得部１１１は、指示画像が表示装置１５１に表示されているときに撮像されたユーザの目画像の少なくとも一部を、ユーザの生体認証（例えば、虹彩認証）にも用いられる目画像として取得する。
　（技術的効果）
　第２実施形態に係る情報処理装置１００によれば、上述した第１実施形態に係る情報処理装置１０と同様に、生体認証に用いられるユーザの目画像を効率的に取得することができる。
　＜第３実施形態＞
　情報処理装置、情報処理方法及び記録媒体に係る第２実施形態について図５を参照して説明する。以下では、情報処理装置１００ａを用いて、情報処理装置、情報処理方法及び記録媒体に係る第３実施形態を説明する。尚、第３実施形態について、上述した第１実施形態及び第２実施形態と重複する説明を適宜省略する。また、図面上における、他の実施形態との共通箇所には同一符号を付して示す。
　図５において、情報処理装置１００ａは、演算装置１１０、記憶装置１２０、通信装置１３０、入力装置１４０及び出力装置１５０を備える。演算装置１１０は、論理的に実現される機能ブロックとして、又は、物理的に実現される処理回路として、画像取得部１１１、視線推定部１１２、制御部１１３及び認証部１１４を有していてよい。
　尚、画像取得部１１１、視線推定部１１２、制御部１１３及び認証部１１４の少なくとも一つは、論理的な機能ブロックと、物理的な処理回路（即ち、ハードウェア）とが混在する形式で実現されてよい。尚、画像取得部１１１、視線推定部１１２、制御部１１３及び認証部１１４が機能ブロックとして実現される場合、画像取得部１１１、視線推定部１１２、制御部１１３及び認証部１１４は、単一のプロセッサ（例えば、プロセッサ１１０ａ）により実現されてもよい。或いは、画像取得部１１１、視線推定部１１２、制御部１１３及び認証部１１４は、夫々異なるプロセッサにより実現されてもよい。或いは、画像取得部１１１、視線推定部１１２、制御部１１３及び認証部１１４の一部が、一のプロセッサにより実現され、画像取得部１１１、視線推定部１１２、制御部１１３及び認証部１１４の残りの部分が、一のプロセッサとは異なる一以上のプロセッサにより実現されてもよい。
　認証部１１４は、画像取得部１１１が取得した目画像の少なくとも一部を用いて、ユーザの生体認証を行う。認証部１１４が、生体認証の一例としての虹彩認証を行う場合の動作について説明する。認証部１１４は、目画像から、ユーザの虹彩に相当する領域である虹彩領域を含む虹彩画像を抽出してよい。認証部１１４は、該抽出された虹彩画像と、予め登録された虹彩画像とを照合することによって照合スコアを算出してよい。ここで、照合スコアは、抽出された虹彩画像と予め登録された虹彩画像との一致の程度を示すスコアを意味してよい。尚、抽出された虹彩画像と予め登録された虹彩画像との一致の程度が高いほど、照合スコアは大きくなってよい。
　或いは、認証部１１４は、上記抽出された虹彩画像に係る特徴量を抽出してよい。認証部１１４は、該抽出された特徴量と、予め登録された特徴量とを照合することによって照合スコアを算出してよい。ここで、照合スコアは、虹彩画像から抽出された特徴量と予め登録された特徴量との一致の程度を示すスコアを意味してよい。尚、虹彩画像から抽出された特徴量と予め登録された特徴量との一致の程度が高くなるほど、照合スコアは大きくなってよい。
　認証部１１４は、照合スコアと所定の閾値とを比較してよい。照合スコアが所定の閾値以上である場合、認証部１１４は、ユーザが、予め登録された虹彩画像又は特徴量に係る人物であると判定してよい。この場合、生体認証によりユーザに対応する人物（例えば、識別情報）が特定されたと言える。照合スコアが所定の閾値未満である場合、認証部１１４は、ユーザが、予め登録された虹彩画像又は特徴量に係る人物ではないと判定してよい。この場合、生体認証によりユーザに対応する人物が特定されなかったと言える。
　尚、認証部１１４は、ユーザの左目に係る照合スコアとユーザの右目に係る照合スコアとを算出してもよい。ただし、認証部１１４は、左目に係る照合スコアと右目に係る照合スコアとの一方だけを算出してもよい。つまり、認証部１１４は、左目に係る照合スコアと右目に係る照合スコアとの少なくとも一方の照合スコアを算出してよい。
　尚、認証部１１４は、ユーザの左目に係る虹彩画像と予め登録された一の虹彩画像との一致の程度と、ユーザの右目に係る虹彩画像と予め登録された他の虹彩画像との一致の程度とに基づいて、照合スコアを算出してもよい。或いは、認証部１１４は、ユーザの左目に係る虹彩画像から抽出された特徴量と予め登録された一の特徴量との一致の程度と、ユーザの右目に係る虹彩画像から抽出された特徴量と予め登録された他の特徴量との一致の程度とに基づいて、照合スコアを算出してもよい。
　生体認証によりユーザに対応する人物が特定された場合、制御部１１３は、視線推定に関するキャリブレーションの結果、及び、キャリブレーションの結果に基づいて変更された視線推定に係る設定値の少なくとも一方を、上記特定された人物（例えば、識別情報）に紐づけて、記憶装置１２０に記憶してよい。生体認証によりユーザに対応する人物が特定された場合、制御部１１３は、上記特定された人物（例えば、識別情報）に紐づけられている、視線推定に関するキャリブレーションの結果、及び、キャリブレーションの結果に基づいて変更された視線推定に係る設定値の少なくとも一方を記憶装置１２０から取得してよい。
　（技術的効果）
　画像取得部１１１は、視線推定に関するキャリブレーションにおいて、指示画像が表示装置１５１に表示されている場合のユーザの目画像の少なくとも一部を、ユーザの生体認証にも用いられる目画像として取得する。
　上述したように、情報処理装置１００ａでは、視線推定に関するキャリブレーションの結果、及び、キャリブレーションの結果に基づいて変更された視線推定に係る設定値の少なくとも一方が、生体認証により特定された人物に紐づけて記憶装置１２０に記憶されてよい。ここで、認証部１１４による生体認証に用いられる目画像は、視線推定に関するキャリブレーションが行われている場合に、画像取得部１１１により取得される。このため、画像処理部１１１は、生体認証に用いられる目画像を別途取得しなくてよい。つまり、ユーザは、視線推定に関するキャリブレーションとは別に、生体認証のための目の撮像を行わなくてよい。
　視線推定に関するキャリブレーションが行われている場合に、画像取得部１１１が取得した目画像を用いた生体認証によりユーザに対応する人物が特定された場合、制御部１１３は、特定された人物に紐づけられている、視線推定に関するキャリブレーションの結果、及び、キャリブレーションの結果に基づいて変更された視線推定に係る設定値の少なくとも一方を記憶装置１２０から取得してよい。この場合、制御部１１３は、例えば、ユーザに対応する人物が特定された時点で、キャリブレーションを終了してよい。
　このように、第３実施形態に係る情報処理装置１００ａによれば、生体認証、及び、視線推定に関するキャリブレーションの少なくとも一方のユーザの負担を軽減することができる。
　＜第４実施形態＞
　情報処理装置、情報処理方法及び記録媒体に係る第２実施形態について図６を参照して説明する。以下では、情報処理装置１００を用いて、情報処理装置、情報処理方法及び記録媒体に係る第４実施形態を説明する。尚、第４実施形態について、上述した第１実施形態乃至第３実施形態と重複する説明を適宜省略する。また、図面上における、他の実施形態との共通箇所には同一符号を付して示す。
　第４実施形態に係る情報処理装置１００は、通信装置１３０を介して、図６に示す認証装置２００と通信可能に構成されていてよい。認証装置２００は、例えば、パーソナルコンピュータであってもよいし、サーバ装置（例えば、クラウドサーバ）であってもよい。尚、情報処理装置１００と認証装置２００とは、一つの情報処理システムを構成していてもよい。
　情報処理装置１００の演算装置１１０は、画像取得部１１１が取得したユーザの目画像（ここでは、ユーザの生体認証に用いられる目画像）を、通信装置１３０を介して、認証装置２００に送信してよい。認証装置２００は、上記目画像を用いて、生体認証の一例としての虹彩認証を行ってよい。尚、虹彩認証の具体例については、上述した第３実施形態を参照されたい。認証装置２００は、生体認証の結果を情報処理装置１００に送信してよい。
　生体認証によりユーザに対応する人物が特定された場合、演算装置１１０の制御部１１３は、視線推定に関するキャリブレーションの結果、及び、キャリブレーションの結果に基づいて変更された視線推定に係る設定値の少なくとも一方を、上記特定された人物（例えば、識別情報）に紐づけて、記憶装置１２０に記憶してよい。生体認証によりユーザに対応する人物が特定された場合、制御部１１３は、上記特定された人物（例えば、識別情報）に紐づけられている、視線推定に関するキャリブレーションの結果、及び、キャリブレーションの結果に基づいて変更された視線推定に係る設定値の少なくとも一方を記憶装置１２０から取得してよい。
　（技術的効果）
　第４実施形態に係る情報処理装置１００によれば、上述した第３実施形態に係る情報処理装置１００ａと同様に、生体認証、及び、視線推定に関するキャリブレーションの少なくとも一方のユーザの負担を軽減することができる。
　＜第５実施形態＞
　情報処理装置、情報処理方法及び記録媒体に係る第５実施形態について図７乃至図１０を参照して説明する。以下では、情報処理装置１００ｂを用いて、情報処理装置、情報処理方法及び記録媒体に係る第５実施形態を説明する。尚、第５実施形態について、上述した第１実施形態乃至第４実施形態と重複する説明を適宜省略する。また、図面上における、他の実施形態との共通箇所には同一符号を付して示す。
　図７において、情報処理装置１００ｂは、演算装置１１０、記憶装置１２０、通信装置１３０、入力装置１４０、出力装置１５０並びにカメラ１７１及び１７２を備える。演算装置１１０、記憶装置１２０、通信装置１３０、入力装置１４０、出力装置１５０並びにカメラ１７１及び１７２は、データバス１６０を介して接続されていてよい。カメラ１７１及び１７２は、近赤外光を撮像可能なカメラであってよい。言い換えれば、カメラ１７１及び１７２は、近赤外波長域に感度を有する撮像素子を備えるカメラであってよい。尚、演算装置１１０は、認証部１１４を有していなくてもよい。この場合、情報処理装置１００ｂは、通信装置１３０を介して、情報処理装置１００ｂとは異なる認証装置（例えば、第４実施形態に係る認証装置２００）と通信可能に構成されていてよい。そして、ユーザの生体認証は、上記認証装置で行われてもよい。
　出力装置１５０は、ヘッドマウントディスプレイ（ＨＭＤ）１５２を有していてよい。ここで、ヘッドマウントディスプレイ１５２について、図８を参照して説明を加える。本実施形態では、ヘッドマウントディスプレイ１５２の一例として、没入型のヘッドマウントディスプレイ（いわゆる、没入型のＶＲ（Ｖｉｒｔｕｒａｌ　Ｒｅａｌｉｔｙ）ゴーグル）を挙げる。尚、ヘッドマウントディスプレイ１５２は、没入型のヘッドマウントディスプレイに限らず、例えば、ビデオシースルー型のヘッドマウントディスプレイであってもよいし、光学シースルー型のヘッドマウントディスプレイ（いわゆる、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）グラス）であってもよい。
　尚、ヘッドマウントディスプレイ１５２は、スタンドアローン型のヘッドマウントディスプレイであってよい。この場合、演算装置１１０、記憶装置１２０、通信装置１３０、入力装置１４０並びにカメラ１７１及び１７２は、ヘッドマウントディスプレイ１５２の一部を構成していてよい。ヘッドマウントディスプレイ１５２は、情報処理装置１００ｂの一例としてのパーソナルコンピュータに接続される、ＰＣ接続型のヘッドマウントディスプレイであってよい。ヘッドマウントディスプレイ１５２は、ハイブリッド型のヘッドマウントディスプレイ（即ち、スタンドアローン型としても、ＰＣ接続型としても動作可能なヘッドマウントディスプレイ）であってよい。
　図８において、ヘッドマウントディスプレイ１５２は、ディスプレイ１５２１と、左目用のレンズ１５２２Ｌと、右目用のレンズ１５２２Ｒと、近赤外光を発する複数の光源１５２３＃１、１５２３＃２、１５２３＃３及び１５２３＃４とを有する。尚、光源１５２３＃１及び１５２３＃２は、レンズ１５２２Ｌの周囲に配置されていてよい。光源１５２３＃３及び１５２３＃４は、レンズ１５２２Ｒの周囲に配置されていてよい。尚、レンズ１５２２Ｌ及び１５２２Ｒは、ＶＲレンズと称されてもよい。カメラ１７１は、ユーザの左目を撮像可能に、ヘッドマウントディスプレイ１５２に配置されてよい。カメラ１７２は、ユーザの右目を撮像可能に、ヘッドマウントディスプレイ１５２に配置されてよい。尚、カメラ１７１及び１７２は、ヘッドマウントディスプレイ１５２の一部を構成していてもよい。つまり、ヘッドマウントディスプレイ１５２は、カメラ１７１及び１７２を有していてもよい。尚、ヘッドマウントディスプレイ１５２は、ディスプレイ１５２１に代えて、左目用のディスプレイと右目用のディスプレイとを有していてもよい。尚、近赤外光を発する光源の数は、４に限らず、５以上であってもよいし、３以下であってもよい。
　視線推定に関するキャリブレーションの具体例について図９を参照して説明する。図９は、ユーザの視線を誘導ための指示画像の例を示す。図９では、便宜上、指示画像の背景を白い背景にしている。しかしながら、実際の指示画像の背景は、例えば黒色や灰色等の、比較的輝度値の低い背景であってよい。図９では、指示画像（具体的には、画像Ｉｍｇ＃１乃至Ｉｍｇ＃９）は、ユーザの視線を誘導するための点を含んでいる。しかしながら、指示画像は、点に限らず、例えば矢印、記号、図形及び指示文の少なくとも一つを含んでいてよい。
　視線推定に関するキャリブレーションにおいて、制御部１１３は、先ず、図９（ａ）に示す画像Ｉｍｇ＃１をヘッドマウントディスプレイ１５２（具体的には、ディスプレイ１５２１）に表示するように出力装置１５０を制御してよい。制御部１１３は、例えば「画面上の点を見てください」という文字が、画像Ｉｍｇ＃１に重畳して表示されるように出力装置１５０を制御してもよい。制御部１１３は、例えば「画面上の点を見てください」という音声を出力するように出力装置１５０を制御してもよい。例えば、制御部１１３は、画像Ｉｍｇ＃１が表示される前に、「これから表示する画面上の点を見てください」という文字を表示するように、及び／又は、「これから表示する画面上の点を見てください」という音声を出力するように出力装置１５０を制御してもよい。
　画像Ｉｍｇ＃１が表示されている状態で（言い換えれば、ユーザがディスプレイ１５２１に表示された画像Ｉｍｇ＃１を見ている状態で）、カメラ１７１はユーザの左目を撮像してよく、カメラ１７２はユーザの右目を撮像してよい。カメラ１７１がユーザの左目を撮像することによって、目画像ＥＩＬ＃１が生成されてよい。カメラ１７２がユーザの右目を撮像することによって、目画像ＥＩＲ＃１が生成されてよい。画像取得部１１１は、目画像ＥＩＬ＃１及びＥＩＲ＃１を取得してよい。尚、目画像ＥＩＬ＃１及びＥＩＲ＃１は、記憶装置１２０に、少なくとも一時的に記憶されてよい。尚、カメラ１７１及び１７２各々がユーザの目を撮像する場合、複数の光源１５２３＃１、１５２３＃２、１５２３＃４の少なくとも一部の光源は近赤外光を発していてよい（言い換えれば、少なくとも一部の光源は、近赤外光でユーザを照らしていてよい）。
　その後、制御部１１３は、画像Ｉｍｇ＃１に代えて、図９（ｂ）に示す画像Ｉｍｇ＃２をヘッドマウントディスプレイ１５２に表示するように出力装置１５０を制御してよい。画像Ｉｍｇ＃２が表示されている状態で（言い換えれば、ユーザがディスプレイ１５２１に表示された画像Ｉｍｇ＃２を見ている状態で）、カメラ１７１はユーザの左目を撮像してよく、カメラ１７２はユーザの右目を撮像してよい。カメラ１７１がユーザの左目を撮像することによって、目画像ＥＩＬ＃２が生成されてよい。カメラ１７２がユーザの右目を撮像することによって、目画像ＥＩＲ＃２が生成されてよい。画像取得部１１１は、目画像ＥＩＬ＃２及びＥＩＲ＃２を取得してよい。尚、目画像ＥＩＬ＃２及びＥＩＲ＃２は、記憶装置１２０に、少なくとも一時的に記憶されてよい。
　ここで、画像Ｉｍｇ＃１がヘッドマウントディスプレイ１５２に表示されている場合、ユーザが見るべき（言い換えれば、ユーザが注視すべき）点は、画面の左側の端部近傍に表示される。ユーザが画像Ｉｍｇ＃１に含まれる点を見る場合、ユーザの左目は、カメラ１７１側に向くことが期待できる。このため、目画像ＥＩＬ＃１には、ユーザの左目の虹彩の大部分が含まれることが期待できる。
　画像Ｉｍｇ＃２がヘッドマウントディスプレイ１５２に表示されている場合、ユーザが見るべき（言い換えれば、ユーザが注視すべき）点は、画面の右側の端部近傍に表示される。ユーザが画像Ｉｍｇ＃２に含まれる点を見る場合、ユーザの右目は、カメラ１７２側に向くことが期待できる。このため、目画像ＥＩＲＬ＃２には、ユーザの右目の虹彩の大部分が含まれることが期待できる。
　画像取得部１１１は、目画像ＥＩＬ＃１及びＥＩＲ＃２を、ユーザの生体認証（例えば、虹彩認証）に用いられる目画像としても取得してよい。画像取得部１１１は、目画像ＥＩＬ＃１及びＥＩＲ＃２を、認証部１１４に送信してよい。認証部１１４は、目画像ＥＩＬ＃１及びＥＩＲ＃２を用いて、ユーザの生体認証を行ってよい。
　さて、画像取得部１１１が目画像ＥＩＬ＃２及びＥＩＲ＃２を取得した後、制御部１１３は、画像Ｉｍｇ＃２に代えて、図９（ｃ）に示す画像Ｉｍｇ＃３をヘッドマウントディスプレイ１５２に表示するように出力装置１５０を制御してよい。画像Ｉｍｇ＃３が表示されている状態で（言い換えれば、ユーザがディスプレイ１５２１に表示された画像Ｉｍｇ＃３を見ている状態で）、カメラ１７１はユーザの左目を撮像してよく、カメラ１７２はユーザの右目を撮像してよい。カメラ１７１がユーザの左目を撮像することによって、目画像ＥＩＬ＃３が生成されてよい。カメラ１７２がユーザの右目を撮像することによって、目画像ＥＩＲ＃３が生成されてよい。画像取得部１１１は、目画像ＥＩＬ＃３及びＥＩＲ＃３を取得してよい。尚、目画像ＥＩＬ＃３及びＥＩＲ＃３は、記憶装置１２０に、少なくとも一時的に記憶されてよい。
　その後、制御部１１３は、画像Ｉｍｇ＃３に代えて、図９（ｄ）に示す画像Ｉｍｇ＃４をヘッドマウントディスプレイ１５２に表示するように出力装置１５０を制御してよい。画像Ｉｍｇ＃４が表示されている状態で（言い換えれば、ユーザがディスプレイ１５２１に表示された画像Ｉｍｇ＃４を見ている状態で）、カメラ１７１はユーザの左目を撮像してよく、カメラ１７２はユーザの右目を撮像してよい。カメラ１７１がユーザの左目を撮像することによって、目画像ＥＩＬ＃４が生成されてよい。カメラ１７２がユーザの右目を撮像することによって、目画像ＥＩＲ＃４が生成されてよい。画像取得部１１１は、目画像ＥＩＬ＃４及びＥＩＲ＃４を取得してよい。尚、目画像ＥＩＬ＃４及びＥＩＲ＃４は、記憶装置１２０に、少なくとも一時的に記憶されてよい。
　その後、制御部１１３は、画像Ｉｍｇ＃４に代えて、図９（ｅ）に示す画像Ｉｍｇ＃５をヘッドマウントディスプレイ１５２に表示するように出力装置１５０を制御してよい。画像Ｉｍｇ＃５が表示されている状態で（言い換えれば、ユーザがディスプレイ１５２１に表示された画像Ｉｍｇ＃５を見ている状態で）、カメラ１７１はユーザの左目を撮像してよく、カメラ１７２はユーザの右目を撮像してよい。カメラ１７１がユーザの左目を撮像することによって、目画像ＥＩＬ＃５が生成されてよい。カメラ１７２がユーザの右目を撮像することによって、目画像ＥＩＲ＃５が生成されてよい。画像取得部１１１は、目画像ＥＩＬ＃５及びＥＩＲ＃５を取得してよい。尚、目画像ＥＩＬ＃５及びＥＩＲ＃５は、記憶装置１２０に、少なくとも一時的に記憶されてよい。
　その後、制御部１１３は、画像Ｉｍｇ＃５に代えて、図９（ｆ）に示す画像Ｉｍｇ＃６をヘッドマウントディスプレイ１５２に表示するように出力装置１５０を制御してよい。画像Ｉｍｇ＃６が表示されている状態で（言い換えれば、ユーザがディスプレイ１５２１に表示された画像Ｉｍｇ＃６を見ている状態で）、カメラ１７１はユーザの左目を撮像してよく、カメラ１７２はユーザの右目を撮像してよい。カメラ１７１がユーザの左目を撮像することによって、目画像ＥＩＬ＃６が生成されてよい。カメラ１７２がユーザの右目を撮像することによって、目画像ＥＩＲ＃６が生成されてよい。画像取得部１１１は、目画像ＥＩＬ＃６及びＥＩＲ＃６を取得してよい。尚、目画像ＥＩＬ＃６及びＥＩＲ＃６は、記憶装置１２０に、少なくとも一時的に記憶されてよい。
　その後、制御部１１３は、画像Ｉｍｇ＃６に代えて、図９（ｇ）に示す画像Ｉｍｇ＃７をヘッドマウントディスプレイ１５２に表示するように出力装置１５０を制御してよい。画像Ｉｍｇ＃７が表示されている状態で（言い換えれば、ユーザがディスプレイ１５２１に表示された画像Ｉｍｇ＃７を見ている状態で）、カメラ１７１はユーザの左目を撮像してよく、カメラ１７２はユーザの右目を撮像してよい。カメラ１７１がユーザの左目を撮像することによって、目画像ＥＩＬ＃７が生成されてよい。カメラ１７２がユーザの右目を撮像することによって、目画像ＥＩＲ＃７が生成されてよい。画像取得部１１１は、目画像ＥＩＬ＃７及びＥＩＲ＃７を取得してよい。尚、目画像ＥＩＬ＃７及びＥＩＲ＃７は、記憶装置１２０に、少なくとも一時的に記憶されてよい。
　その後、制御部１１３は、画像Ｉｍｇ＃７に代えて、図９（ｈ）に示す画像Ｉｍｇ＃８をヘッドマウントディスプレイ１５２に表示するように出力装置１５０を制御してよい。画像Ｉｍｇ＃８が表示されている状態で（言い換えれば、ユーザがディスプレイ１５２１に表示された画像Ｉｍｇ＃８を見ている状態で）、カメラ１７１はユーザの左目を撮像してよく、カメラ１７２はユーザの右目を撮像してよい。カメラ１７１がユーザの左目を撮像することによって、目画像ＥＩＬ＃８が生成されてよい。カメラ１７２がユーザの右目を撮像することによって、目画像ＥＩＲ＃８が生成されてよい。画像取得部１１１は、目画像ＥＩＬ＃８及びＥＩＲ＃８を取得してよい。尚、目画像ＥＩＬ＃８及びＥＩＲ＃８は、記憶装置１２０に、少なくとも一時的に記憶されてよい。
　その後、制御部１１３は、画像Ｉｍｇ＃８に代えて、図９（ｉ）に示す画像Ｉｍｇ＃９をヘッドマウントディスプレイ１５２に表示するように出力装置１５０を制御してよい。画像Ｉｍｇ＃９が表示されている状態で（言い換えれば、ユーザがディスプレイ１５２１に表示された画像Ｉｍｇ＃９を見ている状態で）、カメラ１７１はユーザの左目を撮像してよく、カメラ１７２はユーザの右目を撮像してよい。カメラ１７１がユーザの左目を撮像することによって、目画像ＥＩＬ＃９が生成されてよい。カメラ１７２がユーザの右目を撮像することによって、目画像ＥＩＲ＃９が生成されてよい。画像取得部１１１は、目画像ＥＩＬ＃９及びＥＩＲ＃９を取得してよい。尚、目画像ＥＩＬ＃９及びＥＩＲ＃９は、記憶装置１２０に、少なくとも一時的に記憶されてよい。
　制御部１１３は、目画像ＥＩＬ＃１乃至ＥＩＬ＃９、及び、目画像ＥＩＲ＃１乃至ＥＩＲ＃９に基づいて、例えば、ユーザの目の特性を取得してよい、及び／又は、ユーザの目の眼球運動を検出してよい。例えば、制御部１１３は、ユーザの目の特性及びユーザの目の眼球運動の少なくとも一つに基づいて、視線推定に係る設定値（例えば、パラメータの値）を校正するための校正値を算出してよい。制御部１１３は、該算出された校正値を示すキャリブレーション情報を、キャリブレーションの結果として出力してよい。
　例えば、目画像ＥＩＬ＃１及びＥＩＲ＃２を用いた生体認証により、ユーザに対応する人物が特定された場合、制御部１１３は、上記キャリブレーション情報を、該特定された人物（例えば、識別情報）に紐づけて記憶装置１２０に記憶してよい。例えば、目画像ＥＩＬ＃１及びＥＩＲ＃２を用いた生体認証により、ユーザに対応する人物が特定されなかった場合、制御部１１３は、上記キャリブレーション情報を、ユーザを識別するための新たな識別情報に紐づけて記憶装置１２０に記憶してよい。
　例えば、目画像ＥＩＬ＃１及びＥＩＲ＃２を用いた生体認証により、ユーザに対応する人物が特定された場合であって、該特定された人物（例えば、識別情報）に紐づいたキャリブレーション情報（即ち、過去のキャリブレーション情報）が記憶装置１２０に記憶されている場合、制御部１１３は、特定された人物（例えば、識別情報）に基づいて、キャリブレーション情報を記憶装置１２０から取得してよい。この場合、制御部１１３は、画像Ｉｍｇ＃３乃至Ｉｍｇ＃９を表示するように出力装置１５０を制御しなくてもよい。つまり、画像Ｉｍｇ＃３乃至Ｉｍｇ＃９は表示されなくてよい。
　尚、視線推定に関するキャリブレーションにおいて、制御部１１３は、画像Ｉｍｇ＃１乃至Ｉｍｇ＃９を順次表示することに代えて、例えば、ユーザが見るべき複数の点を含む一つの画像を表示するように出力装置１５０を制御してよい。この場合、制御部１１３は、ユーザが現在見るべき点の、色、輝度、大きさ及び形状の少なくとも一つを、他の点と異ならしめてよい。
　尚、例えば画像Ｉｍｇ＃１から画像Ｉｍｇ＃２に変更することは、画像に含まれる点の位置を変更することとみなすことができる。このため、視線推定に関するキャリブレーションにおいて、制御部１１３は、指示画像（例えば、画像Ｉｍｇ＃１乃至Ｉｍｇ＃９）を表示するように出力装置１５０を制御することに代えて、例えば、ユーザの視線を誘導するために表示される点の座標を示す座標情報を出力装置１５０に送信するとともに、座標情報により示される座標に上記点を表示するように出力装置１５０を制御してもよい。
　情報処理装置１００ｂの動作について図１０のフローチャートを参照して説明を加える。図１０において、制御部１１３は、第１の指示画像（例えば、画像Ｉｍｇ＃１）をヘッドマウントディスプレイ１５２（具体的には、ディスプレイ１５２１）に表示するように出力装置１５０を制御してよい（ステップＳ２０１）。第１の指示画像が表示されている状態で、カメラ１７１はユーザの左目を撮像してよく、カメラ１７２はユーザの右目を撮像してよい。画像取得部１１１は、カメラ１７１及び１７２が、夫々ユーザの左目及び右目を撮像することによって生成された第１の目画像（例えば、目画像ＥＩＬ＃１及びＥＩＲ＃１）を取得してよい（ステップＳ２０２）。
　次に、制御部１１３は、第１の指示画像に代えて、第２の指示画像（例えば、画像Ｉｍｇ＃２）をヘッドマウントディスプレイ１５２に表示するように出力装置１５０を制御してよい（ステップＳ２０３）。第２の指示画像が表示されている状態で、カメラ１７１はユーザの左目を撮像してよく、カメラ１７２はユーザの右目を撮像してよい。画像取得部１１１は、カメラ１７１及び１７２が、夫々ユーザの左目及び右目を撮像することによって生成された第２の目画像（例えば、目画像ＥＩＬ＃２及びＥＩＲ＃２）を取得してよい（ステップＳ２０４）。
　画像取得部１１１は、第１の目画像及び第２の目画像の少なくとも一部（例えば、目画像ＥＩＬ＃１及びＥＩＲ＃２）を、認証部１１４に送信してよい。認証部１１４は、第１の目画像及び第２の目画像を用いて、ユーザの生体認証（例えば、虹彩認証）を行ってよい（ステップＳ２０５）。尚、認証部１１４は、ステップＳ２０２の処理の後に、第１の目画像の少なくとも一部（例えば、目画像ＥＩＬ＃１）を用いて、ユーザの生体認証を行ってもよい。また、認証部１１４は、ステップＳ２０４の処理の後に、第２の目画像の少なくとも一部（例えば、目画像ＥＩＲ＃２）を用いて、ユーザの生体認証を行ってもよい。この場合、第１の目画像の少なくとも一部を用いた生体認証で、ユーザに対応する人物が特定された場合、認証部１１４は、第２の目画像の少なくとも一部を用いた生体認証を行わなくてもよい。
　制御部１１３は、生体認証が成功したか否かを判定してよい（ステップＳ２０６）。ここで、生体認証によりユーザに対応する人物が特定された場合、制御部１１３は、生体認証が成功したと判定してよい。他方で、生体認証によりユーザに対応する人物が特定されなかった場合、制御部１１３は、生体認証が成功しなかった（言い換えれば、生体認証が失敗した）と判定してよい。
　ステップＳ２０６の処理において、生体認証に成功したと判定された場合（ステップＳ２０６：Ｙｅｓ）、制御部１１３は、ユーザに係る過去のキャリブレーション情報が存在するか否かを判定してよい（ステップＳ２０７）。ここで、生体認証により特定された、ユーザに対応する人物に紐づけられたキャリブレーション情報が記憶装置１２０に記憶されている場合、制御部１１３は、ユーザに係る過去のキャリブレーション情報が存在すると判定してよい。他方で、生体認証により特定された、ユーザに対応する人物に紐づけられたキャリブレーション情報が記憶装置１２０に記憶されていない場合、制御部１１３は、ユーザに係る過去のキャリブレーション情報が存在しないと判定してよい。
　ステップＳ２０７の処理において、ユーザに係る過去のキャリブレーション情報が存在すると判定された場合（ステップＳ２０７：Ｙｅｓ）、制御部１１３は、生体認証により特定された、ユーザに対応する人物（例えば、識別情報）に基づいて、該人物に紐づけられたキャリブレーション情報（即ち、過去のキャリブレーション情報）を記憶装置１２０から取得してよい（ステップＳ２０８）。この場合、制御部１１３は、視線推定に関するキャリブレーションを終了してよい。尚、ステップＳ２０８の処理において、制御部１１３は、過去のキャリブレーション情報に加えて又は代えて、過去のキャリブレーションの結果に基づいて変更された視線推定に係る設定値を取得してもよい。
　ステップＳ２０６の処理において、生体認証に成功しなかったと判定された場合（ステップＳ２０６：Ｎｏ）、又は、ステップＳ２０７の処理において、ユーザに係る過去のキャリブレーション情報が存在しないと判定された場合（ステップＳ２０７：Ｎｏ）、制御部１１３は、視線推定に関するキャリブレーションを継続してよい（ステップＳ２０９）。例えば、制御部１１３は、第２の指示画像に代えて、第３の指示画像（例えば、画像Ｉｍｇ＃３乃至Ｉｍｇ＃９）をヘッドマウントディスプレイ１５２に表示するように出力装置１５０を制御してよい。第３の指示画像が表示されている状態で、カメラ１７１はユーザの左目を撮像してよく、カメラ１７２はユーザの右目を撮像してよい。画像取得部１１１は、カメラ１７１及び１７２が、夫々ユーザの左目及び右目を撮像することによって生成された第３の目画像（例えば、目画像ＥＩＬ＃３乃至ＥＩＬ＃９、及び、目画像ＥＩＲ＃３乃至ＥＩＲ＃９）を取得してよい
　（技術的効果）
　ユーザがヘッドマウントディスプレイ（例えば、ヘッドマウントディスプレイ１５２）を装用している場合、ユーザの目と、ヘッドマウントディスプレイに配置されたカメラ（例えば、カメラ１７１及び１７２）との相対的な位置関係は固定されている。加えて、上記カメラは、ユーザが表示画面を見ることを妨げないような位置に配置される。このため、上記カメラがユーザの目を撮像することにより生成される目画像は、ユーザの生体認証に用いることが難しい。
　これに対して、本実施形態では、視線推定に関するキャリブレーションにおいて、ユーザの虹彩がカメラ側を向くように（具体的には、ユーザの左目の虹彩がカメラ１７１側を向くように、ユーザの右目の虹彩がカメラ１７２側を向くように）、ユーザの視線が誘導される。このため、本実施形態では、キャリブレーションが行われている場合に、カメラ１７１及び１７２がユーザの目を撮像することによって、ユーザの生体認証に適した目画像（例えば、目画像ＥＩＬ＃１及びＥＩＲ＃２）を生成することができる。
　上述したように、キャリブレーションが行われている場合に、画像取得部１１１が取得した目画像を用いた生体認証によりユーザに対応する人物が特定され、該特定された人物に紐づけられたキャリブレーション情報（即ち、過去のキャリブレーション情報）が存在する場合、制御部１１３は、該キャリブレーション情報を取得して、キャリブレーションを終了してよい。このため、ユーザの負担を軽減することができる。
　＜第６実施形態＞
　情報処理装置、情報処理方法及び記録媒体に係る第６実施形態について図１１及び図１２を参照して説明する。以下では、情報処理装置１００ｃを用いて、情報処理装置、情報処理方法及び記録媒体に係る第６実施形態を説明する。尚、第６実施形態について、上述した第１実施形態乃至第５実施形態と重複する説明を適宜省略する。また、図面上における、他の実施形態との共通箇所には同一符号を付して示す。
　図１１において、情報処理装置１００ｃの演算装置１１０は、論理的に実現される機能ブロックとして、又は、物理的に実現される処理回路として、画像取得部１１１、視線推定部１１２、制御部１１３、認証部１１４及び位置推定部１１５を有していてよい。
　尚、画像取得部１１１、視線推定部１１２、制御部１１３、認証部１１４及び位置推定部１１５の少なくとも一つは、論理的な機能ブロックと、物理的な処理回路（即ち、ハードウェア）とが混在する形式で実現されてよい。尚、画像取得部１１１、視線推定部１１２、制御部１１３、認証部１１４及び位置推定部１１５が機能ブロックとして実現される場合、画像取得部１１１、視線推定部１１２、制御部１１３、認証部１１４及び位置推定部１１５は、単一のプロセッサ（例えば、プロセッサ１１０ａ）により実現されてもよい。或いは、画像取得部１１１、視線推定部１１２、制御部１１３、認証部１１４及び位置推定部１１５は、夫々異なるプロセッサにより実現されてもよい。或いは、画像取得部１１１、視線推定部１１２、制御部１１３、認証部１１４及び位置推定部１１５の一部が、一のプロセッサにより実現され、画像取得部１１１、視線推定部１１２、制御部１１３、認証部１１４及び位置推定部１１５の残りの部分が、一のプロセッサとは異なる一以上のプロセッサにより実現されてもよい。
　ところで、ヘッドマウントディスプレイの機種が異なると、ヘッドマウントディスプレイ（例えば、ヘッドマウントディスプレイ１５２）に配置されるカメラ（例えば、カメラ１７１及び１７２）の位置が異なることがある。この場合、ユーザの目の虹彩をカメラ側に向けるために、ユーザの視線を誘導するための点の位置が固定されていると、視線推定に関するキャリブレーションが行われている場合に、ユーザの生体認証に適した目画像を取得することが困難になる可能性がある。
　ユーザの目とカメラとの相対的な位置関係によって、目画像に含まれるユーザの目の形状等が変化する。ここで、図１２を参照して説明を加える。図１２（ａ）の位置Ｐ＃１にカメラが配置されている場合、例えば図１２（ｂ）に示すような目画像が生成されてよい。図１２（ａ）の位置Ｐ＃２にカメラが配置されている場合、例えば図１２（ｃ）に示すような目画像が生成されてよい。図１２（ａ）の位置Ｐ＃３にカメラが配置されている場合、例えば図１２（ｄ）に示すような目画像が生成されてよい。
　視線推定に関するキャリブレーションが行われる場合、制御部１１３は、先ず、例えば図９（ｃ）に示す画像Ｉｍｇ＃３をヘッドマウントディスプレイ１５２（具体的には、ディスプレイ１５２１）に表示するように出力装置１５０を制御してよい。画像Ｉｍｇ＃３が表示されている状態で（言い換えれば、ユーザがディスプレイ１５２１に表示された画像Ｉｍｇ＃３を見ている状態で）、カメラ１７１はユーザの左目を撮像してよく、カメラ１７２はユーザの右目を撮像してよい。カメラ１７１がユーザの左目を撮像することによって、目画像ＥＩＬ＃３ａが生成されてよい。カメラ１７２がユーザの右目を撮像することによって、目画像ＥＩＲ＃３ａが生成されてよい。画像取得部１１１は、目画像ＥＩＬ＃３ａ及びＥＩＲ＃３ａを取得してよい。尚、目画像ＥＩＬ＃３ａ及びＥＩＲ＃３ａは、記憶装置１２０に、少なくとも一時的に記憶されてよい。
　位置推定部１１５は、目画像ＥＩＬ＃３ａ及びＥＩＲ＃３ａを用いて、ヘッドマウントディスプレイ１５２におけるカメラ１７１及び１７２各々の位置を推定してよい。その後、制御部１１３は、画像Ｉｍｇ＃３に代えて、ユーザの左目の虹彩がカメラ１７１側を向くようにユーザの視線を誘導する画像（例えば、図９（ａ）の画像Ｉｍｇ＃１）をヘッドマウントディスプレイ１５２に表示するように出力装置１５０を制御してよい。この場合、制御部１１３は、上記推定されたカメラ１７１の位置に基づいて、表示される画像に含まれる点の位置を決定してよい。
　その後、制御部１１３は、ユーザの左目の虹彩がカメラ１７１側を向くようにユーザの視線を誘導する画像に代えて、ユーザの右目の虹彩がカメラ１７２側を向くようにユーザの視線を誘導する画像（例えば、図９（ｂ）の画像Ｉｍｇ＃２）をヘッドマウントディスプレイ１５２に表示するように出力装置１５０を制御してよい。この場合、制御部１１３は、上記推定されたカメラ１７２の位置に基づいて、表示される画像に含まれる点の位置を決定してよい。
　（技術的効果）
　第６実施形態に係る情報処理装置１００ｃによれば、視線推定に関するキャリブレーションが行われている場合に、ユーザの目の虹彩がカメラ側を向くようにユーザの視線を適切に誘導することができる。
　＜第７実施形態＞
　情報処理装置、情報処理方法及び記録媒体に係る第７実施形態について図１３を参照して説明する。以下では、情報処理装置１００ｄを用いて、情報処理装置、情報処理方法及び記録媒体に係る第７実施形態を説明する。尚、第７実施形態について、上述した第１実施形態乃至第６実施形態と重複する説明を適宜省略する。また、図面上における、他の実施形態との共通箇所には同一符号を付して示す。
　図１３において、情報処理装置１００ｄの演算装置１１０は、論理的に実現される機能ブロックとして、又は、物理的に実現される処理回路として、画像取得部１１１、視線推定部１１２、制御部１１３、認証部１１４及び情報取得部１１６を有していてよい。
　尚、画像取得部１１１、視線推定部１１２、制御部１１３、認証部１１４及び情報取得部１１６の少なくとも一つは、論理的な機能ブロックと、物理的な処理回路（即ち、ハードウェア）とが混在する形式で実現されてよい。尚、画像取得部１１１、視線推定部１１２、制御部１１３、認証部１１４及び情報取得部１１６が機能ブロックとして実現される場合、画像取得部１１１、視線推定部１１２、制御部１１３、認証部１１４及び情報取得部１１６は、単一のプロセッサ（例えば、プロセッサ１１０ａ）により実現されてもよい。或いは、画像取得部１１１、視線推定部１１２、制御部１１３、認証部１１４及び情報取得部１１６は、夫々異なるプロセッサにより実現されてもよい。或いは、画像取得部１１１、視線推定部１１２、制御部１１３、認証部１１４及び情報取得部１１６の一部が、一のプロセッサにより実現され、画像取得部１１１、視線推定部１１２、制御部１１３、認証部１１４及び情報取得部１１６の残りの部分が、一のプロセッサとは異なる一以上のプロセッサにより実現されてもよい。
　情報取得部１１６は、ヘッドマウントディスプレイ１５２に配置されているカメラ１７１及び１７２各々の位置を示すカメラ位置情報を、通信装置１３０を介して、情報処理装置１００ｄの外部の装置（例えば、クラウドサーバ）から取得してよい。
　視線推定に関するキャリブレーションが行われる場合、制御部１１３は、先ず、ユーザの左目の虹彩がカメラ１７１側を向くようにユーザの視線を誘導する画像（例えば、図９（ａ）の画像Ｉｍｇ＃１）をヘッドマウントディスプレイ１５２に表示するように出力装置１５０を制御してよい。この場合、制御部１１３は、カメラ位置情報により示されるカメラ１７１の位置に基づいて、表示される画像に含まれる点の位置を決定してよい。
　その後、制御部１１３は、ユーザの左目の虹彩がカメラ１７１側を向くようにユーザの視線を誘導する画像に代えて、ユーザの右目の虹彩がカメラ１７２側を向くようにユーザの視線を誘導する画像（例えば、図９（ｂ）の画像Ｉｍｇ＃２）をヘッドマウントディスプレイ１５２に表示するように出力装置１５０を制御してよい。この場合、制御部１１３は、カメラ位置情報により示されるカメラ１７２の位置に基づいて、表示される画像に含まれる点の位置を決定してよい。
　（技術的効果）
　第７実施形態に係る情報処理装置１００ｄによれば、上述した第６実施形態に係る情報処理装置１００ｃと同様に、視線推定に関するキャリブレーションが行われている場合に、ユーザの目の虹彩がカメラ側を向くようにユーザの視線を適切に誘導することができる。
　＜第８実施形態＞
　情報処理装置、情報処理方法及び記録媒体に係る第８実施形態について図７、図１４及び図１５を参照して説明する。以下では、情報処理装置１００ｂを用いて、情報処理装置、情報処理方法及び記録媒体に係る第８実施形態を説明する。尚、第８実施形態について、上述した第１実施形態乃至第７実施形態と重複する説明を適宜省略する。また、図面上における、他の実施形態との共通箇所には同一符号を付して示す。
　第８実施形態では、ユーザは眼鏡を装用しているものとする。例えば図１４（ａ）に示すように、ユーザが眼鏡を装用している場合、眼鏡の左目のレンズ３００Ｌは、ユーザの左目とカメラ１７１との間に存在する。眼鏡の右目のレンズ３００Ｒは、ユーザの右目とカメラ１７２との間に存在する。
　第５実施形態で述べたように、カメラ１７１及び１７２各々がユーザの目を撮像する場合、複数の光源１５２３＃１、１５２３＃２、１５２３＃４の少なくとも一部の光源は近赤外光を発していてよい（言い換えれば、少なくとも一部の光源は、近赤外光でユーザを照らしていてよい）。このため、ユーザが眼鏡を装用している場合、眼鏡のレンズ（例えば、レンズ３００Ｌ及び３００Ｒ）で近赤外光が反射されることがある。
　図１４（ｂ）は、ユーザが眼鏡を装用している場合に、カメラ１７２がユーザの右目を撮像することによって生成された目画像の一例としての目画像ＥＩＲｇを示している。図１４（ｂ）に示すように、眼鏡のレンズ（ここでは、レンズ３００Ｒ）で近赤外光が反射された結果、目画像ＥＩＲｇには、反射された近赤外光に起因する比較的高い輝度の領域である高輝度領域ｈｂａが含まれる。尚、図１４（ｂ）では、図面の煩雑化を避けるため、符号“ｈｂａ”を一つだけ示しているが、画像ＥＩＲｇに含まれる複数の白丸各々が、高輝度領域ｈｂａに該当する。
　高輝度領域ｈｂａがユーザの目の虹彩に重なっている目画像（例えば、目画像ＥＩＲｇ）は、ユーザの生体認証（例えば、虹彩認証）に用いることが難しい。なぜなら、高輝度領域ｈｂａに起因して、虹彩に係る情報の一部ば失われているからである。
　そこで、情報処理装置１００ｂの制御部１１３は、カメラ１７１及び１７２がユーザの目を撮像することによって生成された目画像に基づいて、ユーザが眼鏡を装用しているか否かを判定してよい。図１４（ｂ）に示すように、ユーザが眼鏡を装用している場合、目画像ＥＩＲｇには眼鏡のフレームｆｒが含まれる。制御部１１３は、目画像に眼鏡のフレームが含まれるか否かを判定してよい。そして、目画像に眼鏡のフレームが含まれると判定された場合、制御部１１３は、ユーザが眼鏡を装用していると判定してよい。他方で、目画像に眼鏡のフレームが含まれていないと判定された場合、制御部１１３は、ユーザが眼鏡を装用していないと判定してよい。
　ユーザが眼鏡を装用していると判定された場合、制御部１１３は、目画像（例えば、目画像ＥＩＲｇ）から、高輝度領域ｈｂａを検出してよい。高輝度領域ｈｂａが検出された場合、制御部１１３は、高輝度領域ｈｂａが、虹彩に相当する領域である虹彩領域に重なっているか否かを判定してよい。高輝度領域ｈｂａが虹彩領域に重なっていると判定された場合、制御部１１３は、高輝度領域ｈｂａが虹彩領域に重ならないように、複数の光源１５２３＃１、１５２３＃２、１５２３＃３及び１５２３＃４によるユーザの照明態様を変更してよい。
　第８実施形態に係る情報処理装置１００ｂの動作について図１５のフローチャートを参照して説明を加える。ここでは、視線推定に関するキャリブレーションが行われている場合に図１５のフローチャートにより示される動作が行われるものとする。この場合、図１５のフローチャートにより示される動作は、例えば、キャリブレーションのサブルーチンであってよい。尚、図１５のフローチャートにより示される動作は、視線推定に関するキャリブレーションを行う前に行われてもよい。
　図１５において、制御部１１３は、先ず、例えば図９（ａ）に示す画像Ｉｍｇ＃１をヘッドマウントディスプレイ１５２（具体的には、ディスプレイ１５２１）に表示するように出力装置１５０を制御してよい。画像Ｉｍｇ＃１が表示されている状態で（言い換えれば、ユーザがディスプレイ１５２１に表示された画像Ｉｍｇ＃１を見ている状態で）、カメラ１７１はユーザの左目を撮像してよく、カメラ１７２はユーザの右目を撮像してよい。カメラ１７１がユーザの左目を撮像することによって、目画像ＥＩＬ＃１が生成されてよい。カメラ１７２がユーザの右目を撮像することによって、目画像ＥＩＲ＃１が生成されてよい。画像取得部１１１は、目画像ＥＩＬ＃１及びＥＩＲ＃１を取得してよい（ステップＳ３０１）。尚、目画像ＥＩＬ＃１及びＥＩＲ＃１は、記憶装置１２０に、少なくとも一時的に記憶されてよい。
　制御部１１３は、目画像ＥＩＬ＃１及びＥＩＲ＃１の少なくとも一方に基づいて、ユーザが眼鏡を装用しているか否かを判定してよい（ステップＳ３０２）。ステップＳ３０２の処理において、ユーザが眼鏡を装用していないと判定された場合（ステップＳ３０２：Ｎｏ）、図１５のフローチャートにより示される動作は終了されてよい。
　ステップＳ３０２の処理において、ユーザが眼鏡を装用していると判定された場合（ステップＳ３０２：Ｙｅｓ）、制御部１１３は、眼鏡のレンズ（例えば、レンズ３００Ｌ及び３００Ｒ）で反射された近赤外光に起因する高輝度領域ｈｂａ（言い換えれば、光源反射）を検出してよい（ステップＳ３０３）。ここで、画像Ｉｍｇ＃１は、ユーザの左目の虹彩がカメラ１７１側を向くようにユーザの視線を誘導するための画像である。このため、ステップＳ３０３の処理では、制御部１１３は、目画像ＥＩＬ＃１に含まれる高輝度領域ｈｂａだけを検出してもよい。
　次に、制御部１１３は、複数の光源１５２３＃１、１５２３＃２、１５２３＃３及び１５２３＃４によるユーザの照明態様を変更するか否かを判定してよい（ステップＳ３０４）。ここで、制御部１１３は、ステップＳ３０３の処理において、高輝度領域ｈｂａが検出されなかった場合、ユーザの照明態様を変更しないと判定してよい。制御部１１３は、検出された高輝度領域ｈｂａが虹彩領域に重なっていない場合、ユーザの照明態様を変更しないと判定してよい。他方で、制御部１１３は、検出された高輝度領域ｈｂａが虹彩領域に重なっている場合、ユーザの照明態様を変更すると判定してよい。
　ステップＳ３０４の処理において、ユーザの照明態様を変更しないと判定された場合（ステップＳ３０４：Ｎｏ）、図１５のフローチャートにより示される動作は一旦終了されてよい。ステップＳ３０４の処理において、ユーザの照明態様を変更すると判定された場合（ステップＳ３０４：Ｙｅｓ）、制御部１１３は、高輝度領域ｈｂａが虹彩領域に重ならないように、複数の光源１５２３＃１、１５２３＃２、１５２３＃３及び１５２３＃４を制御してよい（ステップＳ３０５）。この結果、ユーザの照明態様が変更されてよい。
　次に、画像Ｉｍｇ＃１が表示されている状態で、カメラ１７１はユーザの左目を撮像してよく、カメラ１７２はユーザの右目を撮像してよい。カメラ１７１がユーザの左目を撮像することによって、目画像ＥＩＬ＃１ａが生成されてよい。カメラ１７２がユーザの右目を撮像することによって、目画像ＥＩＲ＃１ａが生成されてよい。画像取得部１１１は、目画像ＥＩＬ＃１ａ及びＥＩＲ＃１ａを取得してよい（ステップＳ３０６）。つまり、ステップＳ３０６の処理では、画像取得部１１１は、ユーザの照明態様が変更された後のユーザの目画像ＥＩＬ＃１ａ及びＥＩＲ＃１ａを取得してよい。尚、目画像ＥＩＬ＃１ａ及びＥＩＲ＃１ａは、記憶装置１２０に、少なくとも一時的に記憶されてよい。
　その後、制御部１１３は、画像Ｉｍｇ＃１に代えて、例えば図９（ｂ）に示す画像Ｉｍｇ＃２をヘッドマウントディスプレイ１５２に表示するように出力装置１５０を制御してよい。画像Ｉｍｇ＃２が表示されている状態で（言い換えれば、ユーザがディスプレイ１５２１に表示された画像Ｉｍｇ＃２を見ている状態で）、カメラ１７１はユーザの左目を撮像してよく、カメラ１７２はユーザの右目を撮像してよい。カメラ１７１がユーザの左目を撮像することによって、目画像ＥＩＬ＃２が生成されてよい。カメラ１７２がユーザの右目を撮像することによって、目画像ＥＩＲ＃２が生成されてよい。画像取得部１１１は、目画像ＥＩＬ＃２及びＥＩＲ＃２を取得してよい。尚、目画像ＥＩＬ＃２及びＥＩＲ＃２は、記憶装置１２０に、少なくとも一時的に記憶されてよい。
　目画像ＥＩＬ＃１及びＥＩＲ＃１の少なくとも一方に基づいて、ユーザが眼鏡を装用していると判定された場合（ステップＳ３０２：Ｙｅｓ）、制御部１１３は、眼鏡のレンズで反射された近赤外光に起因する高輝度領域ｈｂａを検出してよい（ステップＳ３０３）。ここで、画像Ｉｍｇ＃２は、ユーザの右目の虹彩がカメラ１７２側を向くようにユーザの視線を誘導するための画像である。このため、今回のステップＳ３０３の処理では、制御部１１３は、目画像ＥＩＲ＃２に含まれる高輝度領域ｈｂａだけを検出してもよい。
　次に、制御部１１３は、ユーザの照明態様を変更するか否かを判定してよい（ステップＳ３０４）。ステップＳ３０４の処理において、ユーザの照明態様を変更しないと判定された場合（ステップＳ３０４：Ｎｏ）、図１５のフローチャートにより示される動作は一旦終了されてよい。ステップＳ３０４の処理において、ユーザの照明態様を変更すると判定された場合（ステップＳ３０４：Ｙｅｓ）、制御部１１３は、高輝度領域ｈｂａが虹彩領域に重ならないように、複数の光源１５２３＃１、１５２３＃２、１５２３＃３及び１５２３＃４を制御してよい（ステップＳ３０５）。この結果、ユーザの照明態様が変更されてよい。
　次に、画像Ｉｍｇ＃２が表示されている状態で、カメラ１７１はユーザの左目を撮像してよく、カメラ１７２はユーザの右目を撮像してよい。カメラ１７１がユーザの左目を撮像することによって、目画像ＥＩＬ＃２ａが生成されてよい。カメラ１７２がユーザの右目を撮像することによって、目画像ＥＩＲ＃２ａが生成されてよい。画像取得部１１１は、目画像ＥＩＬ＃２ａ及びＥＩＲ＃２ａを取得してよい（ステップＳ３０６）。つまり、ステップＳ３０６の処理では、画像取得部１１１は、ユーザの照明態様が変更された後のユーザの目画像ＥＩＬ＃２ａ及びＥＩＲ＃２ａを取得してよい。尚、目画像ＥＩＬ＃２ａ及びＥＩＲ＃２ａは、記憶装置１２０に、少なくとも一時的に記憶されてよい。
　（技術的効果）
　第８実施形態に係る情報処理装置１００ｂによれば、ユーザが眼鏡を装用しているか否かを判定することができる。第８実施形態に係る情報処理装置１００ｂでは、ユーザが眼鏡を装用している場合に、高輝度領域ｈｂａが虹彩領域に重ならないように複数の光源１５２３＃１、１５２３＃２、１５２３＃３及び１５２３＃４によるユーザの照明態様が変更される。このため、第８実施形態に係る情報処理装置１００ｂによれば、ユーザが眼鏡を装用している場合であっても、ユーザの生体認証に用いられる目画像を適切に取得することができる。
　＜付記＞
　上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
　（付記１）
　表示部と、
　対象の目画像を取得する第１取得手段と、
　前記目画像を用いて前記対象の視線を推定する視線推定を行う視線推定手段と、
　前記視線推定に関するキャリブレーションを行う制御手段と、
　を備え、
　前記制御手段は、前記キャリブレーションに係る指示画像を表示するように前記表示部を制御し、
　前記第１取得手段は、前記指示画像が前記表示部に表示されているときに撮像された前記対象の前記目画像の少なくとも一部を、前記対象の生体認証にも用いられる第１目画像として取得する
　情報処理装置。
　（付記２）
　前記第１目画像を用いて、前記対象の生体認証を行う認証手段を備え、
　前記生体認証に基づいて前記対象が特定された場合、前記制御手段は、前記対象に係る過去のキャリブレーション情報を取得する
　付記１に記載の情報処理装置。
　（付記３）
　前記指示画像は、前記対象の左右一方の目を、前記左右一方の目を撮像する第１カメラ側に向けさせるための第１指示画像と、前記対象の左右他方の目を、前記左右他方の目を撮像する第２カメラ側に向けさせるための第２指示画像と、前記第１指示画像及び前記第２指示画像とは異なる一以上の第３指示画像とを含み、
　前記制御手段が前記キャリブレーションを行う場合、前記制御手段は、前記第１指示画像を表示するように前記表示部を制御するとともに、前記第１指示画像が表示された後、前記第２指示画像を表示するように前記表示部を制御し、
　前記第１取得部は、前記第１指示画像が前記表示部に表示されているときの前記対象の前記左右一方の目の目画像を前記第１目画像として取得するとともに、前記第２指示画像が前記表示部に表示されているときの前記対象の前記左右他方の目の目画像を前記第１目画像として取得し、
　前記認証手段は、前記第１目画像としての、前記左右一方の目の目画像と前記左右他方の目の目画像とを用いて、前記対象の前記生体認証を行い、
　前記生体認証によって前記対象が特定された場合、前記制御手段は、前記一以上の第３指示画像を表示しないように前記表示部を制御するとともに、前記対象に係る過去のキャリブレーション情報を取得し、
　前記生体認証によって前記対象が特定されなかった場合、前記制御手段は、前記一以上の第３指示画像を表示するように前記表示部を制御する
　付記２に記載の情報処理装置。
　（付記４）
　前記指示画像は、前記対象の視線を誘導するための内容を含む画像である
　付記１乃至３のいずれか一項に記載の情報処理装置。
　（付記５）
　前記表示部は、ヘッドマウントディスプレイであり、
　前記ヘッドマウントディスプレイに配置されたカメラの位置を示す位置情報を取得する第２取得手段を備え、
　前記制御手段は、前記位置情報に基づいて、前記指示画像を変更する
　付記１乃至４のいずれか一項に記載の情報処理装置。
　（付記６）
　前記表示部は、ヘッドマウントディスプレイであり、
　前記制御手段が前記キャリブレーションを行う場合、前記制御手段は、前記指示画像として、前記表示部の所定の位置に前記対象の視線を誘導する第４指示画像を表示するように前記表示部を制御し、
　前記第１取得部は、前記第４指示画像が前記表示部に表示されているときの前記対象の前記目画像としての第２目画像を取得し、
　当該情報処理装置は、前記第２目画像を用いて、前記ヘッドマウントディスプレイに配置されたカメラの位置を推定する位置推定手段を備える
　付記１乃至４のいずれか一項に記載の情報処理装置。
　（付記７）
　前記制御手段が前記キャリブレーションを行う場合、前記制御手段は、前記表示部の一の位置に前記対象の視線を誘導する一の指示画像を表示するように前記表示部を制御し、前記対象の視線が前記一の位置に向けられた後、前記表示部の他の位置に前記対象の視線を誘導する他の指示画像を表示するように前記表示部を制御する
　付記１乃至６のいずれか一項に記載の情報処理装置。
　（付記８）
　前記対象を光で照らす照明手段を備え、
　前記対象が眼鏡を装用している場合、前記制御手段は、前記照明手段の照明態様を変更する
　付記１乃至７のいずれか一項に記載の情報処理装置。
　（付記９）
　表示部を備える情報処理装置における情報処理方法であって、
　対象の目画像を取得し、
　前記目画像を用いて前記対象の視線を推定する視線推定を行い、
　前記視線推定に関するキャリブレーションを行い、
　前記キャリブレーションに係る指示画像を表示するように前記表示部を制御し、前記指示画像が前記表示部に表示されているときに撮像された前記対象の前記目画像の少なくとも一部を、前記対象の生体認証にも用いられる第１目画像として取得する
　情報処理方法。
　（付記１０）
　表示部を備えるコンピュータに、対象の目画像を取得し、前記目画像を用いて前記対象の視線を推定する視線推定を行い、前記視線推定に関するキャリブレーションを行い、前記キャリブレーションに係る指示画像を表示するように前記表示部を制御し、前記指示画像が前記表示部に表示されているときに撮像された前記対象の目画像の少なくとも一部を、前記対象の生体認証にも用いられる第１目画像として取得する情報処理方法を実行させるためのコンピュータプログラムが記録されている
　記録媒体。
　また、上述した付記１に従属する付記２乃至付記８に記載した構成の一部又は全ては、付記９及び付記１０各々に対しても付記２乃至付記８と同様の従属関係により従属し得る。更には、付記１、付記９及び付記１０に限らず、上述した各実施形態から逸脱しない範囲において、様々なハードウェア、ソフトウェア、ソフトウェアを記録するための種々の記録手段、又はシステムに対しても同様に、付記として記載した構成の一部又は全てを従属させ得る。
　この開示は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う情報処理装置、情報処理方法及び記録媒体もまたこの開示の技術的範囲に含まれるものである。
　１０、１００、１００ａ、１００ｂ、１００ｃ、１００ｄ　情報処理装置
　１１　表示部
　１２、１１１　画像取得部
　１３、１１２　視線推定部
　１４、１１３　制御部

Claims (20)

  1. 　表示部と、
    　対象の目画像を取得する第１取得手段と、
    　前記目画像を用いて前記対象の視線を推定する視線推定を行う視線推定手段と、
    　前記視線推定に関するキャリブレーションを行う制御手段と、
    　を備え、
    　前記制御手段は、前記キャリブレーションに係る指示画像を表示するように前記表示部を制御し、
    　前記第１取得手段は、前記指示画像が前記表示部に表示されているときに撮像された前記対象の前記目画像の少なくとも一部を、前記対象の生体認証にも用いられる第１目画像として取得する
    　情報処理装置。
  2. 　前記第１目画像を用いて、前記対象の生体認証を行う認証手段を備え、
    　前記生体認証に基づいて前記対象が特定された場合、前記制御手段は、前記対象に係る過去のキャリブレーション情報を取得する
    　請求項１に記載の情報処理装置。
  3. 　前記指示画像は、前記対象の左右一方の目を、前記左右一方の目を撮像する第１カメラ側に向けさせるための第１指示画像と、前記対象の左右他方の目を、前記左右他方の目を撮像する第２カメラ側に向けさせるための第２指示画像と、前記第１指示画像及び前記第２指示画像とは異なる一以上の第３指示画像とを含み、
    　前記制御手段が前記キャリブレーションを行う場合、前記制御手段は、前記第１指示画像を表示するように前記表示部を制御するとともに、前記第１指示画像が表示された後、前記第２指示画像を表示するように前記表示部を制御し、
    　前記第１取得部は、前記第１指示画像が前記表示部に表示されているときの前記対象の前記左右一方の目の目画像を前記第１目画像として取得するとともに、前記第２指示画像が前記表示部に表示されているときの前記対象の前記左右他方の目の目画像を前記第１目画像として取得し、
    　前記認証手段は、前記第１目画像としての、前記左右一方の目の目画像と前記左右他方の目の目画像とを用いて、前記対象の前記生体認証を行い、
    　前記生体認証によって前記対象が特定された場合、前記制御手段は、前記一以上の第３指示画像を表示しないように前記表示部を制御するとともに、前記対象に係る過去のキャリブレーション情報を取得し、
    　前記生体認証によって前記対象が特定されなかった場合、前記制御手段は、前記一以上の第３指示画像を表示するように前記表示部を制御する
    　請求項２に記載の情報処理装置。
  4. 　前記指示画像は、前記対象の視線を誘導するための内容を含む画像である
    　請求項１に記載の情報処理装置。
  5. 　前記表示部は、ヘッドマウントディスプレイであり、
    　前記ヘッドマウントディスプレイに配置されたカメラの位置を示す位置情報を取得する第２取得手段を備え、
    　前記制御手段は、前記位置情報に基づいて、前記指示画像を変更する
    　請求項１に記載の情報処理装置。
  6. 　前記表示部は、ヘッドマウントディスプレイであり、
    　前記制御手段が前記キャリブレーションを行う場合、前記制御手段は、前記指示画像として、前記表示部の所定の位置に前記対象の視線を誘導する第４指示画像を表示するように前記表示部を制御し、
    　前記第１取得部は、前記第４指示画像が前記表示部に表示されているときの前記対象の前記目画像としての第２目画像を取得し、
    　当該情報処理装置は、前記第２目画像を用いて、前記ヘッドマウントディスプレイに配置されたカメラの位置を推定する位置推定手段を備える
    　請求項１に記載の情報処理装置。
  7. 　前記制御手段が前記キャリブレーションを行う場合、前記制御手段は、前記表示部の一の位置に前記対象の視線を誘導する一の指示画像を表示するように前記表示部を制御し、前記対象の視線が前記一の位置に向けられた後、前記表示部の他の位置に前記対象の視線を誘導する他の指示画像を表示するように前記表示部を制御する
    　請求項１に記載の情報処理装置。
  8. 　前記対象を光で照らす照明手段を備え、
    　前記対象が眼鏡を装用している場合、前記制御手段は、前記照明手段の照明態様を変更する
    　請求項１に記載の情報処理装置。
  9. 　前記表示部がヘッドマウントディスプレイである
    　請求項２に記載の情報処理装置。
  10. 　前記指示画像は、前記対象の視線を誘導するための内容を含む画像である
    　請求項９に記載の情報処理装置。
  11. 　前記ヘッドマウントディスプレイに配置されたカメラの位置を示す位置情報を取得する第２取得手段を備え、
    　前記制御手段は、前記位置情報に基づいて、前記指示画像を変更する
    　請求項９に記載の情報処理装置。
  12. 　前記制御手段が前記キャリブレーションを行う場合、前記制御手段は、前記指示画像として、前記表示部の所定の位置に前記対象の視線を誘導する第４指示画像を表示するように前記表示部を制御し、
    　前記第１取得部は、前記第４指示画像が前記表示部に表示されているときの前記対象の前記目画像としての第２目画像を取得し、
    　当該情報処理装置は、前記第２目画像を用いて、前記ヘッドマウントディスプレイに配置されたカメラの位置を推定する位置推定手段を備える
    　請求項９に記載の情報処理装置。
  13. 　前記制御手段が前記キャリブレーションを行う場合、前記制御手段は、前記表示部の一の位置に前記対象の視線を誘導する一の指示画像を表示するように前記表示部を制御し、前記対象の視線が前記一の位置に向けられた後、前記表示部の他の位置に前記対象の視線を誘導する他の指示画像を表示するように前記表示部を制御する
    　請求項９に記載の情報処理装置。
  14. 　前記対象を光で照らす照明手段を備え、
    　前記対象が眼鏡を装用している場合、前記制御手段は、前記照明手段の照明態様を変更する
    　請求項９に記載の情報処理装置。
  15. 　前記表示部がヘッドマウントディスプレイである
    　請求項３に記載の情報処理装置。
  16. 　前記ヘッドマウントディスプレイに配置されたカメラの位置を示す位置情報を取得する第２取得手段を備え、
    　前記制御手段は、前記位置情報に基づいて、前記指示画像を変更する
    　請求項１５に記載の情報処理装置。
  17. 　前記制御手段が前記キャリブレーションを行う場合、前記制御手段は、前記指示画像として、前記表示部の所定の位置に前記対象の視線を誘導する第４指示画像を表示するように前記表示部を制御し、
    　前記第１取得部は、前記第４指示画像が前記表示部に表示されているときの前記対象の前記目画像としての第２目画像を取得し、
    　当該情報処理装置は、前記第２目画像を用いて、前記ヘッドマウントディスプレイに配置されたカメラの位置を推定する位置推定手段を備える
    　請求項１５に記載の情報処理装置。
  18. 　前記対象を光で照らす照明手段を備え、
    　前記対象が眼鏡を装用している場合、前記制御手段は、前記照明手段の照明態様を変更する
    　請求項１５に記載の情報処理装置。
  19. 　表示部を備える情報処理装置における情報処理方法であって、
    　対象の目画像を取得し、
    　前記目画像を用いて前記対象の視線を推定する視線推定を行い、
    　前記視線推定に関するキャリブレーションを行い、
    　前記キャリブレーションに係る指示画像を表示するように前記表示部を制御し、前記指示画像が前記表示部に表示されているときに撮像された前記対象の前記目画像の少なくとも一部を、前記対象の生体認証にも用いられる第１目画像として取得する
    　情報処理方法。
  20. 　表示部を備えるコンピュータに、対象の目画像を取得し、前記目画像を用いて前記対象の視線を推定する視線推定を行い、前記視線推定に関するキャリブレーションを行い、前記キャリブレーションに係る指示画像を表示するように前記表示部を制御し、前記指示画像が前記表示部に表示されているときに撮像された前記対象の目画像の少なくとも一部を、前記対象の生体認証にも用いられる第１目画像として取得する情報処理方法を実行させるためのコンピュータプログラムが記録されている
    　記録媒体。
PCT/JP2024/010465 2024-03-18 2024-03-18 情報処理装置、情報処理方法及び記録媒体 Pending WO2025196865A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/010465 WO2025196865A1 (ja) 2024-03-18 2024-03-18 情報処理装置、情報処理方法及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/010465 WO2025196865A1 (ja) 2024-03-18 2024-03-18 情報処理装置、情報処理方法及び記録媒体

Publications (1)

Publication Number Publication Date
WO2025196865A1 true WO2025196865A1 (ja) 2025-09-25

Family

ID=97138721

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/010465 Pending WO2025196865A1 (ja) 2024-03-18 2024-03-18 情報処理装置、情報処理方法及び記録媒体

Country Status (1)

Country Link
WO (1) WO2025196865A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140226131A1 (en) * 2013-02-14 2014-08-14 The Eye Tribe Aps Systems and methods of eye tracking calibration
US8913004B1 (en) * 2010-03-05 2014-12-16 Amazon Technologies, Inc. Action based device control
US20190042842A1 (en) * 2017-08-04 2019-02-07 Facebook Technologies, Llc Eye tracking using time multiplexing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8913004B1 (en) * 2010-03-05 2014-12-16 Amazon Technologies, Inc. Action based device control
US20140226131A1 (en) * 2013-02-14 2014-08-14 The Eye Tribe Aps Systems and methods of eye tracking calibration
US20190042842A1 (en) * 2017-08-04 2019-02-07 Facebook Technologies, Llc Eye tracking using time multiplexing

Similar Documents

Publication Publication Date Title
US9536354B2 (en) Object outlining to initiate a visual search
CN115167723B (zh) 能够进行眼睛追踪的可穿戴设备
US9165381B2 (en) Augmented books in a mixed reality environment
US9405977B2 (en) Using visual layers to aid in initiating a visual search
US10437882B2 (en) Object occlusion to initiate a visual search
CN116529786A (zh) 多相机生物识别成像系统
CN116583885A (zh) 生物识别认证系统中的姿态优化
CN116569221A (zh) 用于成像系统的灵活照明
US20240289927A1 (en) Processor, image processing method, and image processing program
CN116472564A (zh) 基于所获取图像的质量自动选择生物识别
US9934583B2 (en) Expectation maximization to determine position of ambient glints
US12481159B2 (en) Control device, glasses-type information display device, control method, and control program
WO2025117003A1 (en) Identifying an object for object recognition based on a user's gaze determined by a headset
US12189849B2 (en) Processor, information processing method, and information processing program
WO2025220495A1 (ja) ウェアラブルデバイス、情報処理方法及び記録媒体
US12525115B2 (en) Lens distance test for head-mounted display devices
US12196971B2 (en) Image processing device, glasses-type information display device, image processing method, and image processing program
US20230308619A1 (en) Control device, control method, and control program
EP4513886A1 (en) Method and apparatus for eye movement tracking, and device and storage medium
US20260011183A1 (en) Synthetic Gaze Enrollment
CN120708267A (zh) 实时虹膜检测与增强
CN117761892A (zh) 头戴式显示器设备的透镜距离测试

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24930961

Country of ref document: EP

Kind code of ref document: A1