WO2016139850A1 - 情報処理装置、制御方法、およびプログラム - Google Patents

情報処理装置、制御方法、およびプログラム Download PDF

Info

Publication number
WO2016139850A1
WO2016139850A1 PCT/JP2015/083013 JP2015083013W WO2016139850A1 WO 2016139850 A1 WO2016139850 A1 WO 2016139850A1 JP 2015083013 W JP2015083013 W JP 2015083013W WO 2016139850 A1 WO2016139850 A1 WO 2016139850A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
sight
user
unit
information processing
Prior art date
Application number
PCT/JP2015/083013
Other languages
English (en)
French (fr)
Inventor
安田　亮平
野田　卓郎
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2017503317A priority Critical patent/JP6677239B2/ja
Priority to US15/552,551 priority patent/US11023038B2/en
Priority to EP15884016.5A priority patent/EP3267295B1/en
Priority to CN201580077167.0A priority patent/CN107407977B/zh
Publication of WO2016139850A1 publication Critical patent/WO2016139850A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B60K35/235—Head-up displays [HUD] with means for detecting the driver's gaze direction or eye points
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/90—Calibration of instruments, e.g. setting initial or reference parameters; Testing of instruments, e.g. detecting malfunction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons

Definitions

  • the present disclosure relates to an information processing device, a control method, and a program.
  • a technology related to gaze calibration that corrects individual differences in the gaze of the user has been proposed.
  • a visual target that is, a calibration marker
  • the user's eyeball is based on the line-of-sight position before and after the line-of-sight guidance.
  • a calibration technique for acquiring individual difference correction data for correcting detection errors due to individual differences has been proposed.
  • the present disclosure proposes an information processing apparatus, a control method, and a program that can perform an eye gaze detection calibration in a normal user operation without requiring an operation only for the eye gaze detection calibration.
  • a recognition unit that recognizes a position of a gaze target associated with a user operation, a gaze detection unit that detects a user's gaze position during a user operation, the recognized gaze target position, and the gaze position Based on the above, an information processing apparatus including a gaze detection adjustment unit that performs gaze detection adjustment by the gaze detection unit is proposed.
  • a control method including adjusting the gaze detection by the gaze detection adjustment unit is proposed.
  • the computer recognizes the position of the gaze target accompanying the user operation, the gaze detection unit that detects the gaze position of the user at the time of the user operation, and the recognized position of the gaze target.
  • a program for functioning as a gaze detection adjustment unit that adjusts gaze detection by the gaze detection unit based on the gaze position is proposed.
  • an operation only for eye gaze detection calibration is not required, and it becomes possible to perform eye gaze detection calibration in a normal user operation.
  • Embodiments 2-1 First embodiment 2-1-1. Gaze detection calibration using pointer 2-1-2. Gaze detection calibration in the case of using a controller 2-1-3. Gaze detection calibration using fingertip 2-2. Second embodiment 2-3. Third Embodiment 2-4. Fourth embodiment 2-5. Fifth embodiment 2-6. 6. Sixth Embodiment Summary
  • the line-of-sight detection calibration according to an embodiment of the present disclosure recognizes the position of the gaze target at the time of a user operation for performing the original purpose of the apparatus, and recognizes the position of the gaze target that has been recognized, Based on the above, adjustment (that is, calibration) of eye gaze detection is performed. This eliminates the need for a conventional gaze detection calibration operation and makes it possible to perform gaze detection calibration in a normal user operation.
  • the information processing apparatus 20 recognizes the user's gaze target, detects the user's gaze position when the user moves the indicator to the gaze target, and determines the gaze target position and the gaze position. Based on the deviation, sight line detection calibration is performed.
  • the pointer may be a pointer (that is, a virtual object) that is an example of the operation target object displayed on the screen, or may be a controller (that is, a real object) that is an example of the operation target object that is held by the user.
  • the user's fingertip may be used when gesture input is possible.
  • Gaze detection calibration using a pointer An example of the indicator is a pointer displayed on the screen. The user moves the pointer to a predetermined icon display area to select an icon and execute application processing corresponding to the icon. Such a situation will be described with reference to FIG.
  • FIG. 1 is a diagram for explaining line-of-sight detection calibration when the pointer is a pointer according to the first embodiment.
  • FIG. 1 for example, in a system in which a pointer 50 displayed on a screen 31 is operated with a line of sight, a user who is a user operates the pointer 50 on the screen 31 with a fingertip, a remote controller, or the like as a use start operation of the system. Move to the displayed start icon 40. The position of the user's fingertip and the line-of-sight position P are detected based on a captured image captured by the camera 10 installed in the vicinity of the screen 31.
  • the line-of-sight detection calibration is performed based on the shift between the line-of-sight position P detected when the pointer 50 is moved to the display area of the start icon 40 and the display area (the center position) of the start icon 40 that is the object of gaze. Can be performed.
  • An example of a system configuration that realizes such line-of-sight detection calibration is shown in FIG.
  • FIG. 2 is a diagram illustrating a configuration of the information processing system 101a according to the first embodiment.
  • the information processing system 101a includes a camera 10, an information processing device 20-1a, and a display device 30-1a.
  • the camera 10 is a stereo camera, for example, and captures the user's face and body existing in front of the screen 31 and outputs the captured image to the information processing apparatus 20-1a.
  • the display device 30-1a has a function of outputting an image according to the control of the information processing device 20-1a.
  • the display device 30-1a may be realized by a liquid crystal display, for example, or may be realized by a projector that projects an image. In the example shown in FIG. 1, the display device 30-1a is realized by a projector (not shown), and projects an image on the screen 31.
  • the information processing apparatus 20-1a has a line-of-sight operation function that detects the user's line of sight based on the captured image acquired from the camera 10, and operates the pointer 50 displayed on the display apparatus 30-1a according to the line of sight. .
  • the information processing apparatus 20-1a can perform gaze detection calibration that corrects gaze detection errors due to individual differences in accordance with a normal operation by the user.
  • the information processing apparatus 20-1a includes an instruction position detection unit 21-1a, an application processing unit 22-1a, a line-of-sight detection unit 23-1a, and a line-of-sight detection adjustment unit 24-1a.
  • an instruction position detection unit 21-1a the information processing apparatus 20-1a includes an instruction position detection unit 21-1a, an application processing unit 22-1a, a line-of-sight detection unit 23-1a, and a line-of-sight detection adjustment unit 24-1a.
  • the designated position detection unit 21-1a detects the designated position by the user with respect to the display screen of the screen 31.
  • the indicated position detection unit 21-1a recognizes the user's fingertip based on the captured image captured by the camera 10, detects the position on the display screen of the screen 31 indicated by the fingertip, and detects the detected coordinates.
  • the position is output to the application processing unit 22-1b.
  • the movement of the remote controller is recognized based on the sensor value detected by the gyro sensor mounted on the remote controller, and the screen indicated by the gyro remote controller 31 is detected on the display screen, and the detected coordinate position is output to the application processing unit 22-1b.
  • the movement of the remote controller is recognized based on the infrared light emitted from the remote controller, and the position on the display screen of the screen 31 indicated by the infrared remote controller is designated. And the detected coordinate position is output to the application processing unit 22-1b.
  • the application processing unit 22-1a controls the pointer 50 in the screen displayed by the display device 30-1a according to the user's line of sight. In addition, the application processing unit 22-1a controls the display position of the pointer in the display screen according to the coordinate position of the designated position detected by the designated position detection unit 21-1a. In addition, when the pointer 50 selects an icon, the application processing unit 22-1a executes processing corresponding to the icon. For example, when the pointer 50 moves to the display area of the start icon 40 as shown in FIG. 1, a system use start process for operating the pointer 50 with a line of sight is performed. The application processing unit 22-1a also functions as a recognition unit that recognizes the coordinate position of an icon (an example of a gaze target) on the display screen.
  • the line-of-sight detection unit 23-1a detects the line of sight (specifically, the line-of-sight direction or line-of-sight position) based on the captured image of the user's eye acquired from the camera 10.
  • the line-of-sight detection adjustment unit 24-1a acquires the display position and display area (icon size) of the start icon 40 that is the gaze target and the position of the pointer 50 that moves according to the user operation from the application processing unit 22-1a. Then, the line-of-sight detection calibration execution determination is performed based on whether or not the pointer 50 has stopped within a display area of the start icon 40 for a certain period of time.
  • the line-of-sight detection adjustment unit 24-1a also displays the line-of-sight position P sampled continuously from the line-of-sight detection unit 23-1a and the start icon 40 while the pointer 50 remains within the display area of the start icon 40.
  • the line-of-sight detection calibration is performed based on the position. Specifically, a correction parameter is obtained from the difference between the detected line-of-sight position P and the center position of the display area of the start icon 40, and the line-of-sight detection error due to individual differences is corrected.
  • the configuration of the information processing system 101a according to the present embodiment has been specifically described above.
  • the system configuration shown in FIG. 2 is an example, and the present embodiment is not limited to this.
  • the system configuration of the present embodiment may be the configuration shown in FIG.
  • FIG. 3 is a diagram showing a configuration of another information processing system 101b according to the first embodiment.
  • the information processing system 101b includes a pointing position detection camera 11-1b, a line-of-sight detection camera 12-1b, an information processing device 20-1b, and a display device 30-1b.
  • the information processing system 101b differs from the information processing system 101a described above in that it includes a plurality of cameras.
  • the indication position is detected and the line of sight is detected based on the captured image captured by the one camera 10.
  • the information processing system 101b shown in FIG. -1b and the line-of-sight detection camera 12-1b are provided, and the pointing position detection and the line-of-sight detection are performed based on the captured images acquired by the respective cameras.
  • the information processing apparatus 20-1b includes a designated position detection unit 21-1b, an application processing unit 22-1b, a line-of-sight detection unit 23-1b, and a line-of-sight detection adjustment unit 24-1b.
  • the main function of each component is the same as that of each component of the information processing apparatus 20-1a described with reference to FIG. 2, and thus detailed description thereof is omitted here.
  • the designated position detection unit 21-1b detects the designated position by the user based on the captured image acquired from the designated position detection camera 11-1b.
  • the line-of-sight detection unit 23-1b detects the user's line of sight based on the captured image acquired from the line-of-sight detection camera 12-1b.
  • the camera 10-1a, the pointing position detection camera 11-1b and the line-of-sight detection camera 12-1b, the information processing device 20-1a, and the display device 30-1a are separately provided. Although comprised, this embodiment is not limited to this, For example, these may be comprised by the same body.
  • FIG. 4 is a flowchart showing an eye-gaze detection calibration operation process when the pointer is a pointer according to the first embodiment.
  • the information processing apparatus 20-1 (20-1a, 20-1b), the pointing position detection unit 21-1 (21-1a, 21-1) 1b), application processing unit 22-1 (22-1a, 22-1b), line-of-sight detection unit 23-1 (23-1a, 23-1b), line-of-sight detection adjustment unit 24-1 (24-1a, 24-1b) ).
  • step S103 the line-of-sight detection adjustment unit 24-1 displays a display area of an icon, for example, a start icon 40, based on the information output from the application processing unit 22-1. It is determined whether or not the pointer 50 is contained therein.
  • the line-of-sight detection unit 23-1 samples the line-of-sight position P in step S106.
  • the line-of-sight detection unit 23-1 continuously samples the line-of-sight position P, and if the pointer 50 is not in the display area of the start icon 40 (S103 / No), the data being sampled may be cleared. Good.
  • step S109 the line-of-sight detection adjustment unit 24-1 determines whether to execute calibration based on whether the pointer 50 has entered the display area of the start icon 40 and a predetermined time has passed. At this time, the line-of-sight detection adjusting unit 24-1 may confirm that the line-of-sight position P is within a certain range and perform the calibration execution determination.
  • the line-of-sight detection adjustment unit 24-1 executes line-of-sight detection calibration in step S112. Specifically, the line-of-sight detection adjustment unit 24-1 corrects the line-of-sight detection error based on the difference between the center position of the display area of the start icon 40 and the sampled line-of-sight position P. This is because in the operation of stopping the pointer 50 within the display area of the start icon 40, it is estimated that the user is gazing at the start icon 40 (line of sight S).
  • the line-of-sight position P may be an average value of a plurality of sampled line-of-sight position data, or a standard deviation ⁇ of the plurality of sampled line-of-sight position data may be calculated and only those within 3 ⁇ may be used. .
  • step S115 the application processing unit 22-1 performs a use start process corresponding to the start icon 40 selected by the pointer 50 (that is, a process after icon selection).
  • the selection of the start icon 40 is based on the condition that the pointer 50 is in the display area of the start icon 40 for a certain period of time.
  • the user performs an operation for performing the original purpose of the apparatus, that is, the pointer 50 within the display area of the start icon 40 for starting use. It is possible to execute the line-of-sight detection calibration in the operation of putting in, so that the operation only for the line-of-sight detection calibration is unnecessary.
  • FIG. 5 is a diagram for explaining line-of-sight detection calibration when the indicator according to the first embodiment is a controller.
  • the controller 51 held by the user is moved to 43 to perform the login process of the user (if the individual can be identified by face recognition, the login process of the individual).
  • an association process between the connected controller 51 and the user who performed the login process is also performed. After login, an operation corresponding to the user's line of sight can be performed.
  • the detection area 43 corresponds to each user.
  • a plurality of detection areas 43a and 43b are provided on each user's face 42a and 42b, respectively. Displayed in correspondence. Accordingly, the user A logs in by moving the controller 51a used by the user A to the detection area 43a displayed near the face 42a, and the user B also enters the detection area 43b displayed near the face 42b. The controller 51b used by the user is moved to log in.
  • the line-of-sight detection calibration is executed in an operation that performs the original purpose of the apparatus, such as a login operation using the controller 51.
  • the configuration of the information processing system according to this embodiment is the same as the system configuration described above with reference to FIGS. That is, the information processing system 101 according to the present embodiment includes the camera 10-1c (or the pointing position detection camera 11-1c and the line-of-sight detection camera 12-1c), the information processing device 20-1c, and the display device 30-1c. including.
  • the information processing apparatus 20-1c includes an indicated position detection unit 21-1c, an application processing unit 22-1c, a line-of-sight detection unit 23-1c, and a line-of-sight detection adjustment unit 24-1c.
  • the designated position detection unit 21-1c detects the position on the display screen of the controller 51 that is captured by the user and captured by the camera 10-1c.
  • the application processing unit 22-1c also logs in the user corresponding to the detection area 43 when the controller 51 enters the detection area 43 based on the coordinate position of the controller 51 detected by the indicated position detection unit 21-1c. Execute the process.
  • the application processing unit 22-1c also functions as a recognition unit that recognizes the coordinate position of the detection area 43 (an example of a gaze target) on the display screen.
  • the line-of-sight detection unit 23-1c performs line-of-sight detection based on the captured image of the user's eye captured by the camera 10-1c (for example, detects the line-of-sight position Pa of the user A and the line-of-sight position Pb of the user B).
  • the line-of-sight detection adjustment unit 24-1c is based on the line-of-sight position P sampled continuously from the line-of-sight detection unit 23-1c and the display position of the detection area 43.
  • Perform detection calibration Specifically, a correction parameter is obtained from the deviation between the detected line-of-sight position P and the center position of the display area 43, and the line-of-sight detection error due to individual differences is corrected.
  • FIG. 6 is a flowchart illustrating an operation process of eye-gaze detection calibration when the indicator according to the first embodiment is a controller.
  • step S203 the line-of-sight detection adjusting unit 24-1 controls the controller within the display area of the detection area 43 that is the gaze target based on the information output from the application processing unit 22-1. It is determined whether 51 is entered.
  • the line-of-sight detection unit 23-1 samples the line-of-sight position P in step S206.
  • the line-of-sight detection unit 23-1 continuously samples the line-of-sight position P, and if the controller 51 is not included in the display area 43 (S203 / No), the data being sampled may be cleared. Good.
  • step S209 the line-of-sight detection adjustment unit 24-1 determines whether to execute calibration based on whether the controller 51 has entered the display area of the detection area 43 and a predetermined time has passed. At this time, the line-of-sight detection adjusting unit 24-1 may confirm that the line-of-sight position P is within a certain range and perform the calibration execution determination.
  • the line-of-sight detection adjustment unit 24-1 executes line-of-sight detection calibration in step S212. Specifically, the line-of-sight detection adjustment unit 24-1 corrects the line-of-sight detection error based on the deviation between the center position of the display area of the detection area 43 and the sampled line-of-sight position P. This is because it is estimated that the user is gazing at the detection area 43 in the operation of stopping the controller 51 within the display area of the detection area 43.
  • step S215 the application processing unit 22-1 performs login processing of the user in response to a user operation that the user moves the controller 51 to the detection area 43.
  • the user performs the original purpose of the apparatus, that is, in the operation of moving the controller 51 to the detection area 43 for the login process. It is possible to execute the line-of-sight detection calibration and eliminate the need only for the line-of-sight detection calibration.
  • FIG. 7 is a diagram for explaining line-of-sight detection calibration when the pointer is a fingertip according to the first embodiment.
  • an information processing device 20-1d realized by smart eyeglasses is attached to the user
  • text, icons, etc. are displayed on the display device 30-1d located in front of the user's eyes.
  • a system is assumed in which the user can select a fingertip forward and match it with the icon display position.
  • the information processing apparatus 20-1d can detect the user's line of sight and perform control according to the line of sight.
  • the position of the fingertip is detected based on a captured image captured by the pointing position detection camera 11-1d provided outward in the information processing apparatus 20-1d. Further, as shown in FIG. 7, the line of sight of the wearer (user) is detected based on the captured image captured by the line-of-sight detection camera 12-1d provided inward in the information processing apparatus 20-1d. .
  • the display device 30-1d has transparency, and a user wearing the information processing device 20-1d can visually recognize the real space through the display device 30-1d as shown in FIG.
  • the display device 30-1d has a text 44 “A message has been received from Mr. XX.
  • a mail icon 45 When opening a message, please point to the mail icon with your fingertips” and a mail icon 45. Is displayed.
  • the user raises the fingertip 52 in front of him and performs a gesture indicating the mail icon 45 displayed on the display device 30-1d.
  • the position of the fingertip 52 is captured by an indicated position detection camera 11-1d provided outwardly on the information processing apparatus 20-1d and detected by the information processing apparatus 20-1d. If the position of the fingertip 52 in the user's field of view detected based on the captured image is within the display area of the mail icon 45, the information processing apparatus 20-1d determines that the mail icon 45 has been selected, and displays the mail content. 30-1d.
  • the line-of-sight detection calibration is executed in the operation of performing the original purpose of the apparatus, such as an operation of selecting an icon with the fingertip 52.
  • the configuration of the information processing system according to the present embodiment is the same as the system configuration described above with reference to FIG. That is, the information processing system 101d according to the present embodiment includes a pointing position detection camera 11-1d, a line-of-sight detection camera 12-1d, an information processing device 20-1d, and a display device 30-1d. As in the case shown in FIG. 3, the information processing apparatus 20-1d includes a designated position detection unit 21-1d, an application processing unit 22-1d, a line-of-sight detection unit 23-1d, and a line-of-sight detection adjustment unit 24-1d.
  • the designated position detection unit 21-1d detects the position of the user's fingertip 52 (the coordinate position on the transparent display device 30-1d) based on the captured image captured by the designated position detection camera 11-1d. Further, when the fingertip 52 points to the mail icon 45 based on the coordinate position of the fingertip 52 detected by the designated position detection unit 21-1d, the application processing unit 22-1d displays the mail content corresponding to the mail icon 45. Processing to be displayed on the display device 30-1d is executed.
  • the application processing unit 22-1d also functions as a recognition unit that recognizes the coordinate position of the mail icon 45 (an example of a gaze target) on the display screen.
  • the line-of-sight detection unit 23-1d performs line-of-sight detection based on the captured image of the user's eye captured by the line-of-sight detection camera 12-1d.
  • the line-of-sight detection adjustment unit 24-1d determines the line-of-sight based on the line-of-sight position P sampled continuously from the line-of-sight detection unit 23-1d and the display position of the mail icon 45.
  • Perform detection calibration Specifically, a correction parameter is obtained from the difference between the detected line-of-sight position P and the center position of the display area of the mail icon 45, and the line-of-sight detection error due to individual differences is corrected.
  • FIG. 8 is a flowchart showing an operation process of eye-gaze detection calibration when the pointer is a fingertip according to the first embodiment.
  • step S303 the line-of-sight detection adjustment unit 24-1 places the fingertip within the display area of the mail icon 45 that is the gaze target based on the information output from the application processing unit 22-1. It is determined whether or not 52 is entered.
  • the line-of-sight detection unit 23-1 samples the line-of-sight position P in step S306.
  • the line-of-sight detection unit 23-1 continuously samples the line-of-sight position P, and when the fingertip 52 is not in the display area of the mail icon 45 (S303 / No), the data being sampled may be cleared. Good.
  • step S309 the line-of-sight detection adjustment unit 24-1 determines whether to execute calibration based on whether or not a predetermined time has passed since the fingertip 52 has entered the display area of the mail icon 45. At this time, the line-of-sight detection adjusting unit 24-1 may confirm that the line-of-sight position P is within a certain range and perform the calibration execution determination.
  • the line-of-sight detection adjustment unit 24-1 executes line-of-sight detection calibration in step S312. Specifically, the line-of-sight detection adjustment unit 24-1 corrects the line-of-sight detection error based on the difference between the center position of the display area of the mail icon 45 and the sampled line-of-sight position P. This is because it is presumed that the user is gazing at the mail icon 45 in the operation of stopping the fingertip 52 within the display area of the mail icon 45.
  • step S315 the application processing unit 22-1 performs display processing of the mail content corresponding to the mail icon 45 in response to a user operation that the user points the mail icon 45 with the fingertip 52.
  • the operation for the user to perform the original purpose of the apparatus that is, the operation of moving the fingertip 52 into the icon display area for icon selection.
  • the line-of-sight detection calibration is executed, and an operation only for the line-of-sight detection calibration can be eliminated.
  • the entire display area is gradually covered by changing the display position of the gaze target (for example, the start icon 40, the detection area 43, and the mail icon 45) each time.
  • the gaze target for example, the start icon 40, the detection area 43, and the mail icon 45
  • the information processing system 102 is displayed on the display screen (virtual object).
  • the gaze target may be a real object.
  • FIG. 9 is a diagram for explaining line-of-sight detection calibration when the gaze target is a real object according to the second embodiment.
  • an information processing apparatus 20-2 realized by smart eyeglasses is attached to the user, text, icons, and the like are displayed on the display device 30-2 positioned in front of the user's eyes.
  • a system capable of control according to the user's line of sight is shown in FIG. 9, when an information processing apparatus 20-2 realized by smart eyeglasses is attached to the user, text, icons, and the like are displayed on the display device 30-2 positioned in front of the user's eyes.
  • the display device 30-2 has transparency, and the user wearing the information processing device 20-1d can visually recognize the real space through the display device 30-2 as shown in FIG. Therefore, the user can move the device 60 (real object) such as a smart watch or smart band that he / she wears, or a smartphone he / she owns in front of his / her eyes (in the field of view 47).
  • the information processing apparatus 20-2 performs the line-of-sight detection calibration based on the position of the device 60 and the line-of-sight position P detected at that time. I do.
  • the line-of-sight detection calibration is executed in the operation of performing the original purpose of the apparatus, such as moving the device in front of the eyes and viewing it.
  • FIG. 10 is a diagram illustrating a configuration of an information processing system 102a according to the second embodiment.
  • the information processing system 102a includes a device 60, a device detection camera 11-2, a line-of-sight detection camera 12-2, an information processing device 20-2a, and a display device 30-2.
  • the device 60 is realized by, for example, a smart watch, a smart band, a smartphone, or the like.
  • the device detection camera 11-2 is provided outward in the information processing apparatus 20-2 and images the user's field of view. The captured image is used for detection of the device 60. Further, the line-of-sight detection camera 12-2 is provided inwardly in the information processing apparatus 20-2 and images the user's eyes. The captured image is used for line-of-sight detection.
  • the information processing apparatus 20-2a includes an application processing unit 22-2a, a line-of-sight detection unit 23-2a, a line-of-sight detection adjustment unit 24-2a, and a device detection unit 25-2a.
  • the device detection unit 21-2a detects the device 60 that is in the user's field of view 47 based on the captured image captured by the device detection camera 11-2.
  • the device detection unit 21-2a can also receive the model information from the device 60 and recognize the presence of the device 60 that the user has.
  • the application processing unit 22-2a can execute predetermined control (application processing) corresponding to the device 60 detected by the device detection unit 25-2a. Further, the application processing unit 22-2a may function as a recognition unit that recognizes the coordinate position of the device 60 (an example of a gaze target) in the display device 30-2 corresponding to the region of the field of view 47 of the user. At this time, the application processing unit 22-2a determines the coordinate position of the device 60 (an example of a gaze target) on the display device 30-2 based on the captured image output from the device detection unit 25-2a together with the detection result of the device 60. Recognize
  • the line-of-sight detection unit 23-2a performs line-of-sight detection based on the captured image of the user's eye captured by the line-of-sight detection camera 12-2.
  • the line-of-sight detection adjustment unit 24-2a detects the line-of-sight position P continuously sampled from the line-of-sight detection unit 23-2a and the device 60 recognized by the application processing unit 22-2b.
  • the line-of-sight detection calibration is performed based on the position. Specifically, a correction parameter is obtained from the deviation between the detected line-of-sight position P and the center position of the object region of the device 60, and the line-of-sight detection error due to individual differences is corrected.
  • the configuration of the information processing system 102a according to the present embodiment has been specifically described above.
  • the system configuration illustrated in FIG. 10 is an example, and the present embodiment is not limited to this.
  • the line-of-sight detection calibration by the line-of-sight detection adjustment unit 24-2a and the application process by the application processing unit 22-2a are synchronized. That is, some application processing is performed in the information processing apparatus 20-2a according to an operation in which the user visually recognizes the device 60, and line-of-sight detection calibration is also performed.
  • the present embodiment is not limited to this, and application processing and line-of-sight detection calibration may be asynchronous.
  • the system configuration in the asynchronous case will be described with reference to FIG.
  • FIG. 11 is a diagram showing a configuration of another information processing system 102b according to the second embodiment.
  • the information processing system 102b includes a device 60, a device detection camera 11-2, a line-of-sight detection camera 12-2, an information processing device 20-2b, and a display device 30-2.
  • the information processing apparatus 20-2b includes an application processing unit 22-2b, a line-of-sight detection unit 23-2b, a line-of-sight detection adjustment unit 24-2b, and a device detection unit 25-2b.
  • the device detection unit 25-2b detects the user device 60 existing in the field of view 47 based on the captured image captured by the device detection camera 11-2, and also transmits the device in the display device 30-2 that transmits the device. It also functions as a recognition unit that recognizes the coordinate position of 60 (an example of a gaze target). Unlike the device detection unit 25-2a, the device detection unit 25-2b outputs the coordinate position of the device 60 to the line-of-sight detection adjustment unit 24-2b.
  • the line-of-sight detection adjustment unit 24-2b performs line-of-sight detection calibration based on the line-of-sight position P sampled continuously from the line-of-sight detection unit 23-2a and the position of the device 60 recognized by the device detection unit 25-2b. I do.
  • the line-of-sight detection calibration is performed in accordance with an operation in which the user visually recognizes the device 60 asynchronously with the application processing in the application processing unit 22-2b.
  • FIG. 12 is a flowchart illustrating an operation process of eye-gaze detection calibration according to the second embodiment.
  • the information processing apparatus 20-2 (20-2a, 20-2b) and the application processing unit 22-2 (22-2a, 22-2b)
  • gaze detection adjustment unit 24-2 24-2a, 24-2b
  • device detection unit 25-2 25-2a, 25-2b
  • the line-of-sight detection adjustment unit 24-2 determines whether or not the device 60 to be watched is in the field of view 47. Specifically, the line-of-sight detection adjustment unit 24-2 detects the device 60 by the device detection unit 25-2 based on a captured image captured by the device detection camera 11-2 that captures the user's field of view. , It is determined that the device 60 is in the field of view 47.
  • step S406 when it is determined that the device 60 is in the user's field of view 47 (S403 / Yes), in step S406, the line-of-sight detection unit 23-2 is based on the captured image captured by the line-of-sight detection camera 12-2. Then, the line-of-sight position P is sampled. The line-of-sight detection unit 23-2 continuously samples the line-of-sight position P, and when the device 60 is not in the field of view 47 (S403 / No), the data being sampled may be cleared.
  • step S409 the line-of-sight detection adjustment unit 24-2 determines whether to execute calibration based on whether or not a predetermined time has elapsed since the device 60 entered the field of view 47. At this time, the line-of-sight detection adjustment unit 24-2 may confirm that the line-of-sight position P is within a certain range and perform the calibration execution determination.
  • the line-of-sight detection adjustment unit 24-2 executes line-of-sight detection calibration in step S412. Specifically, the line-of-sight detection adjustment unit 24-2 corrects the line-of-sight detection error based on the difference between the center position of the object region of the device 60 and the sampled line-of-sight position P. This is because it is estimated that the user is gazing at the device 60 in the operation of moving the device 60 in front of the eyes and entering the field of view 47.
  • the line-of-sight position P may be an average value of a plurality of sampled line-of-sight position data, or a standard deviation ⁇ of a plurality of sampled line-of-sight position data may be calculated and only a value within ⁇ 2 ⁇ may be used. .
  • step S415 the application processing unit 22-2 performs predetermined application processing corresponding to the operation in which the device 60 enters the field of view 47 and the user is viewing the device 60. If the line-of-sight detection calibration and application processing are asynchronous (in the case of the information processing system 102b shown in FIG. 11), the processing in S415 is not performed.
  • the line-of-sight detection calibration is performed during the normal operation in which the user visually recognizes the device 60, and the line-of-sight detection calibration is performed. Only the operation can be made unnecessary.
  • FIG. 13 is a diagram for explaining line-of-sight detection calibration according to the third embodiment.
  • the user touches the passcode screen 48 displayed on the touch panel display 32 of the information processing apparatus 20-3 realized by a smartphone with the finger 54 to cancel the passcode.
  • a system is assumed in which an operation (selection operation) is performed, and when the input passcode is correct, the lock is released.
  • the passcode screen 48 includes 0 to 9 numeric buttons 49 as shown in FIG. 13, and the user touches the plurality of numeric buttons 49 with the finger 54 in order while confirming the digits, and inputs the passcode.
  • the numeric button 49 it is presumed that the user is viewing the numeric button 49 (an example of a gaze target).
  • the line-of-sight detection calibration can be performed based on the 49 display positions and the detected line-of-sight position P.
  • the line-of-sight detection calibration is executed in the operation of performing the original purpose of the apparatus, that is, inputting the passcode to release the lock in this way.
  • FIG. 14 is a diagram illustrating a configuration of an information processing device 20-3 according to the third embodiment.
  • the information processing apparatus 20-3 includes a gaze detection camera 12-3, an application processing unit 22-3, a gaze detection unit 23-3, a gaze detection adjustment unit 24-3, and a touch panel display 32.
  • the information processing apparatus 20-3 may be realized by a tablet terminal, a smart watch, or the like in addition to the smartphone shown in FIG.
  • the line-of-sight detection camera 12-3 is provided on the surface on which the touch panel display 32 is provided in the information processing apparatus 20-3, and images a user who performs an operation input to the touch panel display 32.
  • the application processing unit 22-3 performs various processes in accordance with user operation inputs from the touch panel display 32. For example, the application processing unit 22-3 performs display control on the touch panel display 32, music application, game application, Internet communication, and the like. In addition, the application processing unit 22-3 checks the passcode input from the touch panel display 32, performs lock release control if it is correct, and displays an error if it is incorrect. Furthermore, the application processing unit 22-3 functions as a recognition unit that recognizes the coordinate position of the numeric button 49 (an example of a gaze target) displayed on the touch panel display 32.
  • the passcode is input by the numeric buttons 49, but the present embodiment is not limited to this, and may be input by a character button, pattern input, or the like.
  • the line-of-sight detection unit 23-3 performs line-of-sight detection based on a captured image of the user's eye captured by the line-of-sight detection camera 12-3.
  • the line-of-sight detection adjustment unit 24-3 detects line-of-sight when the application processing unit 22-3 accepts an input of a passcode (that is, when the user performs a passcode input operation from the touch panel display 32). Perform calibration. Specifically, the line-of-sight detection adjusting unit 24-3 displays the line-of-sight position P sampled continuously from the line-of-sight detection unit 23-3 and the numeric buttons touched by the user recognized by the application processing unit 22-3.
  • a correction parameter is obtained from a deviation from the center position of the display area of 49 (an example of a gaze target) to correct a gaze detection error due to individual differences.
  • the touch panel display 32 has a display function and an operation input function, and receives an operation input for the display screen.
  • the touch panel display 32 is used as an example, but the present embodiment is not limited to this, and any display input unit that accepts an operation input on the display screen may be used.
  • FIG. 15 is a flowchart showing passcode release processing according to the third embodiment.
  • step S503 the line-of-sight detection adjusting unit 24-3 determines whether or not the numeric button 49 that is a gaze target is touched. Specifically, the line-of-sight detection adjustment unit 24-3 determines that the numeric button 49 displayed on the touch panel display 32 has been touched (selected) according to the notification from the application processing unit 22-3.
  • step S506 the line-of-sight detection adjustment unit 24-3 performs line-of-sight detection adjustment processing.
  • the line-of-sight detection adjustment processing by the line-of-sight detection adjustment unit 24-3 will be described later with reference to FIG.
  • step S509 the line-of-sight detection adjustment unit 24-3 determines whether or not the finger 54 has moved away from the number button 49.
  • step S512 the application processing unit 22-3 determines whether or not the number of input characters of the passcode is satisfied. The above steps S503 to S509 are repeated until the number of input characters is satisfied (S512 / No).
  • step S515 the application processing unit 22-3 checks the input passcode. If it is correct, the lock is released. Displays an error.
  • FIG. 16 is a flowchart showing an eye-gaze detection calibration operation process performed during the passcode cancellation process shown in FIG.
  • step S523 the line-of-sight detection unit 23-3 samples the line-of-sight position P.
  • step S526 the line-of-sight detection adjustment unit 24-3 determines whether to perform calibration based on whether or not the time for which the numeric button 49 has been touched has passed a predetermined time. At this time, the line-of-sight detection adjustment unit 24-3 may also make a calibration execution determination after confirming that the line-of-sight position P remains within a certain range.
  • the line-of-sight detection adjustment unit 24-3 executes line-of-sight detection calibration in step S529. Specifically, the line-of-sight detection adjustment unit 24-3 corrects the line-of-sight detection error based on the difference between the center position of the display area of the numeric button 49 touched with the finger 54 and the sampled line-of-sight position P. This is because it is estimated that the user is gazing at the numeric button 49 in the operation of inputting the passcode.
  • the line-of-sight position P may be an average value of a plurality of sampled line-of-sight position data, or a standard deviation ⁇ of the plurality of sampled line-of-sight position data may be calculated and only a value within ⁇ 2 ⁇ may be used. Good.
  • the line-of-sight detection calibration is executed during the operation of the user inputting the passcode, and the operation only for the line-of-sight detection calibration is not required. can do.
  • the display position (key arrangement) of a plurality of numeric buttons 49 to be watched is set randomly at different positions each time so that a correct passcode cannot be input unless the user visually recognizes the numeric buttons 49. Covers the entire display area.
  • an information processing system 104 according to the fourth embodiment will be specifically described with reference to FIGS.
  • the original purpose of the apparatus is to select one of a plurality of icons displayed on the display part of the HMD with a controller connected to an HMD (Head Mounted Display) which is a head-mounted display apparatus.
  • HMD Head Mounted Display
  • a description will be given of a case where gaze detection calibration is performed in the operation to be performed.
  • FIG. 17 is a diagram for explaining line-of-sight detection calibration according to the fourth embodiment.
  • the user performs information processing for a plurality of icons 70-1 to 70-n displayed on the display unit 30-4 of the information processing apparatus 20-4 realized by the HMD.
  • a system is assumed in which an operation for selecting an icon 70 is performed using the controller 63 connected to the device 20-4, and application processing corresponding to the selected icon 70 is performed.
  • the display unit 30-4 is positioned in front of the user when the user wears the information processing apparatus 20-4.
  • the selection screen displayed on the display unit 30-4 includes a plurality of icons 70-1 to 70-n and a cursor 72 that moves on the screen in response to the movement of the controller 63, as shown in FIG. (An example of the operation target object) is displayed.
  • an acceleration sensor or a gyro sensor is mounted on the controller 63, and the movement of the controller 63 is output to the information processing apparatus 20-4.
  • the user can select the icon 70 by placing the cursor 72 on an arbitrary icon 70 and pulling a physical trigger provided on the controller 63 (for example, a shooting controller as shown in FIG. 17).
  • the information processing apparatus 20-4 displays the selected icon 70.
  • the line-of-sight detection calibration can be performed based on the position and the detected line-of-sight position P.
  • the line-of-sight detection calibration is executed in the operation of performing the original purpose of the apparatus, such as selecting an icon on the screen.
  • FIG. 18 is a diagram illustrating a configuration of the information processing system 104 according to the fourth embodiment.
  • the information processing system 104 includes a controller 63 and an information processing apparatus 20-4 (HMD).
  • HMD information processing apparatus 20-4
  • the controller 63 has a sensor (for example, an acceleration sensor, a gyro sensor, etc.) that detects movement, and outputs the detected sensor value (movement information) to the information processing apparatus 20-4.
  • the controller 63 is provided with a physical trigger, and when the trigger is pulled by the user (that is, when a determination operation is performed), the controller 63 outputs a determination instruction to the information processing apparatus 20-4.
  • the controller 63 and the information processing apparatus 20-4 are connected for communication by wire or wireless.
  • the information processing apparatus 20-4 includes a line-of-sight detection camera 12-4, an application processing unit 22-4, a line-of-sight detection unit 23-4, a line-of-sight detection adjustment unit 24-4, and a display unit 30-. 4 is included.
  • the application processing unit 22-4 performs various processes according to the information output from the controller 63. For example, the application processing unit 22-4 performs display control of the cursor 72 displayed on the display unit 30-4 according to the motion information output from the controller 63. Further, the application processing unit 22-4 performs application processing corresponding to the icon selected by the cursor 72 in accordance with the determination instruction output from the controller 63. Furthermore, the application processing unit 22-4 functions as a recognition unit that recognizes the coordinate position of the icon 70 (an example of a gaze target) displayed on the display unit 30-4.
  • the line-of-sight detection camera 12-4 is provided inside the information processing apparatus 20-4, and images the eyes of the user when the information processing apparatus 20-4 is worn by the user.
  • the line-of-sight detection camera 12-4 outputs the acquired captured image to the line-of-sight detection unit 23-4.
  • the line-of-sight detection unit 23-4 performs line-of-sight detection based on the captured image of the user's eye captured by the line-of-sight detection camera 12-4.
  • the line-of-sight detection adjustment unit 24-3 performs line-of-sight detection calibration when the user performs a selection operation by placing the cursor 72 on the icon 70 displayed on the display unit 30-4.
  • the line-of-sight detection adjustment unit 24-4 includes the line-of-sight position P sampled continuously from the line-of-sight detection unit 23-4 and the icon 70 (an example of a gaze target) recognized by the application processing unit 22-4.
  • a correction parameter is obtained from the deviation from the center position of the display area, and a gaze detection error due to individual differences is corrected.
  • the display unit 30-4 is provided inside the information processing apparatus 20-4, and is positioned in front of the user's eyes when the information processing apparatus 20-4 is attached to the user.
  • the configuration of the information processing system 104 has been described above. Note that the configuration of the information processing apparatus 20-4 illustrated in FIG. 18 is a main part, and the configuration of the present apparatus is not limited to this.
  • the information processing apparatus 20-4 may further include a speaker, a microphone, a vibration unit, a biological sensor, an acceleration sensor, a gyro sensor, and the like.
  • FIG. 19 is a flowchart illustrating an operation process of eye-gaze detection calibration according to the fourth embodiment.
  • step S603 the line-of-sight detection adjustment unit 24-2 determines whether or not the cursor 72 is in the display area of the icon 70 that is the gaze target. When the display area of the cursor 72 is larger than the icon 70, it may be determined whether or not the cursor 72 overlaps the icon 70.
  • step S606 the line-of-sight detection unit 23-4 captures an image captured by the line-of-sight detection camera 12-4.
  • the line-of-sight position P is sampled based on the image. Note that the line-of-sight detection unit 23-4 continuously samples the line-of-sight position P, and when the cursor 72 is not in the display area of the icon 70 (S603 / No), the data being sampled may be cleared.
  • step S609 the line-of-sight detection adjustment unit 24-4 determines whether or not to execute calibration based on whether or not a predetermined time has elapsed since the cursor 72 entered the display area of the icon 70 and a determination operation has been performed. I do. At this time, the line-of-sight detection adjustment unit 24-4 may determine whether or not the line-of-sight position P is within a certain range and perform the calibration execution determination. In the present embodiment, the determination operation is, for example, an operation of pulling a trigger provided in the controller 63. At this time, the controller 63 outputs a determination instruction to the application processing unit 22-4.
  • the line-of-sight detection adjustment unit 24-4 executes line-of-sight detection calibration in step S612. Specifically, the line-of-sight detection adjustment unit 24-4 corrects the line-of-sight detection error based on the difference between the center position of the display area of the selected icon 70 and the sampled line-of-sight position P. This is because it is presumed that the user is gazing at the icon 70 in the operation of selecting the icon 70 by placing the cursor 72 on it.
  • the line-of-sight position P may be an average value of a plurality of sampled line-of-sight position data, or a standard deviation ⁇ of a plurality of sampled line-of-sight position data may be calculated and only a value within ⁇ 2 ⁇ may be used. .
  • step S615 the application processing unit 22-4 performs application processing corresponding to the selected icon.
  • the line-of-sight detection calibration is performed in the operation in which the user moves the cursor 72 to the icon 70 and selects the icon 70, and only for the line-of-sight detection calibration. Operation can be made unnecessary.
  • the entire display area is gradually covered by changing the display positions of the icons 70-1 to 70-n to be watched to different positions each time.
  • a system that performs display control according to the user's line of sight in an HUD (Head Up Display) that displays an image on a windshield of a vehicle or a pop-up transmission type display provided at the top of a meter panel.
  • HUD Head Up Display
  • the HUD displays various information necessary for driving, such as travel speed, time, and navigation information, in front of the driver, so that the driver can check the information without moving the line of sight and driving. It becomes possible to improve the safety of the machine.
  • FIG. 20 is a diagram for explaining line-of-sight detection calibration according to the fifth embodiment.
  • a camera line-of-sight detection camera 12-5) that captures the face of the user in the driver's seat is installed in the vehicle, and the face of the user sitting in the driver's seat is imaged.
  • Perform eye gaze detection Thereby, for example, as shown in the left side of FIG. 20, when the user operates the room mirror 28a, it is estimated that the user is viewing the room mirror 28a (an example of a gaze target).
  • 105 allows gaze detection calibration based on the installation position of the room mirror 28a and the gaze position P. Also, as shown in the right of FIG. 20, when the user is operating the side mirror 28L, it is estimated that the user is viewing the side mirror 28L (an example of a gaze target). The gaze detection calibration based on the position and the gaze position P is possible. The operation of the side mirror 28L is performed by a side mirror adjustment switch 28b provided around the driver's seat.
  • the line-of-sight detection calibration is executed in the operation for performing the original purpose of the apparatus, such as adjusting the angle of the room mirror and the side mirror when the vehicle is in the vehicle.
  • FIG. 21 is a diagram illustrating a configuration of an information processing system 105 according to the fifth embodiment.
  • the information processing system 105 includes an operation target device 28, a line-of-sight detection camera 12-5, an information processing device 20-5, and a display device 30-5.
  • the operation target device 28 is a device that is a user operation target.
  • the operation target device 28 is a room mirror 28a, a side mirror adjustment switch 28b, or side mirrors 28L and 28R (not shown in FIG. (Provided on the right side).
  • the operation target device 28 detects a user operation and outputs detection information to the line-of-sight detection adjustment unit 24-5.
  • a touch sensor is provided on the room mirror 28a, and a user operation can be detected when the user manually adjusts the angle of the room mirror 28a.
  • the user operates the side mirror adjustment switch 28b while visually recognizing the mirror.
  • the side mirror adjustment switch 28b can detect a user operation on the side mirrors 28L and 28R. Is possible.
  • the built-in camera is provided in the room mirror 28a and the side mirrors 28L and 28R, it is also possible to detect a user operation by analyzing a captured image.
  • the captured image acquired by the built-in camera may be output to the line-of-sight detection adjustment unit 24-5, and the line-of-sight detection adjustment unit 24-5 may analyze the captured image and detect a user operation.
  • the line-of-sight detection camera 12-5 is provided in the vehicle and images the face of the user sitting on the seat.
  • the line-of-sight detection camera 12-5 outputs the acquired captured image to the line-of-sight detection unit 23-5.
  • the display device 30-5 is a transmissive display, and presents various information necessary for driving such as travel speed, time, navigation information, etc. without moving the driver's line of sight.
  • the display device 30-5 is realized by at least a part of the windshield, or is provided in a pop-up manner on the top of the meter panel.
  • the information processing device 20-5 may be mounted in a car, a terminal device installed detachably in a car, or a mobile device such as a smartphone or a tablet terminal possessed by a user. Also good. As illustrated in FIG. 21, the information processing apparatus 20-5 includes an application processing unit 22-5, a line-of-sight detection adjustment unit 24-5, and a line-of-sight detection unit 23-5.
  • the application processing unit 22-5 performs display control of the display device 30-5.
  • the application processing unit 22-5 acquires various information necessary for driving such as travel speed, time, and navigation information, and controls to display the information on the display device 30-5.
  • the application processing unit 22-5 can also perform display control according to the line of sight detected by the line-of-sight detection unit 23-5.
  • the line-of-sight detection unit 23-5 performs line-of-sight detection based on the captured image of the user's eye captured by the line-of-sight detection camera 12-5.
  • the line-of-sight detection adjustment unit 24-5 performs line-of-sight detection calibration when the user is operating the room mirror or the side mirror. Specifically, the line-of-sight detection adjustment unit 24-5 detects the difference between the line-of-sight position P continuously sampled from the line-of-sight detection unit 23-5 and the installation position of the room mirror or the side mirror (an example of a gaze target). A correction parameter is obtained to correct a gaze detection error due to individual differences. Since the installation position of the mirror is fixed, it can be set in advance.
  • the line-of-sight detection adjustment unit 24-5 also functions as a recognition unit that recognizes the preset fixed installation position of the mirror that is the gaze target.
  • the information processing system 105 has been specifically described above.
  • the system configuration shown in FIG. 21 is an example, and the present embodiment is not limited to this.
  • the information processing system 105 may further include a speaker device, and may perform audio output control such as travel speed, time information, or navigation information according to the user's line of sight.
  • FIG. 22 is a flowchart illustrating an operation process of eye-gaze detection calibration according to the fifth embodiment.
  • the line-of-sight detection adjustment unit 24-5 determines whether or not the mirror (the room mirror 28a or the side mirrors 28L and 28R) is operated by the user. Specifically, the line-of-sight detection adjustment unit 24-5 makes a determination based on the detection information output from the operation target device 28.
  • step S706 the line-of-sight detection unit 23-5 determines the line-of-sight position based on the captured image captured by the line-of-sight detection camera 12-5. Sampling P.
  • the line-of-sight detection unit 23-5 continuously samples the line-of-sight position P, and when it is determined that the mirror is not operated (S703 / No), the data being sampled may be cleared.
  • step S709 the line-of-sight detection adjustment unit 24-5 determines whether to execute calibration based on whether or not a certain period of time has elapsed during which the mirror has been operated. At this time, the line-of-sight detection adjustment unit 24-5 may determine that the line-of-sight position P is within a certain range and determine whether to perform calibration.
  • the line-of-sight detection adjustment unit 24-5 executes line-of-sight detection calibration in step S712. Specifically, the line-of-sight detection adjustment unit 24-5 corrects the line-of-sight detection error based on the deviation between the mirror installation position and the sampled line-of-sight position P. This is because it is estimated that the user is gazing at the mirror in the operation of adjusting the angle of the mirror.
  • the line-of-sight position P may be an average value of a plurality of sampled line-of-sight position data, or a standard deviation ⁇ of a plurality of sampled line-of-sight position data may be calculated and only a value within ⁇ 2 ⁇ may be used. .
  • the user performs the line-of-sight detection calibration in the operation of adjusting the mirror angle, and the operation only for the line-of-sight detection calibration is not required. be able to.
  • the present embodiment is a display control according to the user's line of sight in an HUD that displays an image on a windshield of a car or a pop-up transmissive display provided on the top of a meter panel. Assuming a system that performs
  • FIG. 23 is a diagram for explaining line-of-sight detection calibration according to the sixth embodiment.
  • the line of sight is mainly directed forward during driving of the automobile, and is directed toward the rear-view mirror and the side mirror except for the front. Since the installation location of each mirror is fixed, it is assumed that the distribution of the line-of-sight position when the driver is looking at other than the front tends to concentrate on the installation location of each mirror.
  • Gaze areas E1 to E4 in which the line of sight is concentrated are acquired.
  • the gaze area E1 is the front (windshield) and the gaze area E2.
  • the gaze area E3 corresponds to the left side mirror 28L
  • the gaze area E4 corresponds to the right side mirror 28R. Accordingly, it is possible to perform the line-of-sight detection calibration based on the gaze areas E2 to E4 and the actual installation positions of the room mirror 28a, the side mirror 28L, and the side mirror 28R.
  • the line-of-sight detection calibration is executed in the operation of performing the original purpose of the apparatus, such as viewing the room mirror and the side mirror while the vehicle is operating.
  • FIG. 24 is a diagram illustrating a configuration of the information processing system 106 according to the sixth embodiment.
  • the information processing system 106 includes a line-of-sight detection camera 12-6, an information processing device 20-6, and a display device 30-6.
  • the line-of-sight detection camera 12-6 is provided in the vehicle and images the face of the user sitting on the seat.
  • the line-of-sight detection camera 12-6 outputs the acquired captured image to the line-of-sight detection unit 23-6.
  • the display device 30-6 is a transmissive display and presents various information necessary for driving such as travel speed, time, navigation information, etc. without moving the driver's line of sight.
  • the display device 30-6 is realized by at least a part of the windshield, or is provided in a pop-up manner on the top of the meter panel.
  • the information processing device 20-6 may be mounted on a car, a terminal device installed detachably on the car, or a mobile device such as a smartphone or a tablet terminal possessed by a user. Also good. As shown in FIG. 24, the information processing apparatus 20-6 includes an application processing unit 22-6, a line-of-sight detection adjustment unit 24-6, a line-of-sight detection unit 23-6, and a gaze area extraction unit 29.
  • the application processing unit 22-6 performs display control of the display device 30-6.
  • the application processing unit 22-6 controls to acquire various information necessary for driving, such as travel speed, time, and navigation information, and to display the information on the display device 30-6.
  • the application processing unit 22-6 can also perform display control according to the line of sight detected by the line-of-sight detection unit 23-6.
  • the line-of-sight detection unit 23-6 performs line-of-sight detection based on the captured image of the user's eye captured by the line-of-sight detection camera 12-6.
  • the gaze area extraction unit 29 extracts a gaze area where the gaze is concentrated based on the gaze position of the driving user continuously detected by the gaze detection unit 23-6.
  • the line-of-sight detection adjustment unit 24-6 performs line-of-sight detection calibration based on the gaze area extracted by the gaze area extraction unit 29 and the installation position of the corresponding mirror (an example of a gaze target). Specifically, the line-of-sight detection adjustment unit 24-6 obtains a correction parameter from the shift between the gaze area and a preset mirror position, and corrects the line-of-sight detection error due to individual differences. Since the installation position of the mirror is fixed, it can be set in advance. The line-of-sight detection adjustment unit 24-6 also functions as a recognition unit that recognizes the preset fixed installation position of the mirror that is the gaze target.
  • the information processing system 106 has been specifically described above.
  • the system configuration shown in FIG. 24 is an example, and the present embodiment is not limited to this.
  • the information processing system 106 may further include a speaker device, and may perform audio output control such as travel speed, time information, or navigation information according to the user's line of sight.
  • FIG. 25 is a flowchart illustrating an operation process of eye-gaze detection calibration according to the sixth embodiment.
  • the line-of-sight detection unit 23-6 determines whether or not the vehicle is running. Specifically, for example, the line-of-sight detection unit 23-6 is based on information detected by various sensors (not shown) such as an acceleration sensor, a gyro sensor, and a position measurement unit mounted on the information processing apparatus 20-6. Determine whether the car is running.
  • various sensors not shown
  • the line-of-sight detection unit 23-6 is based on information detected by various sensors (not shown) such as an acceleration sensor, a gyro sensor, and a position measurement unit mounted on the information processing apparatus 20-6. Determine whether the car is running.
  • step S806 the line-of-sight detection unit 23-6 determines the line-of-sight position based on the captured image captured by the line-of-sight detection camera 12-6. Sampling P.
  • the line-of-sight detection unit 23-6 continuously samples the line-of-sight position P, and when it is determined that the vehicle is not running (S803 / No), the data being sampled may be cleared.
  • the line-of-sight detection adjustment unit 24-5 determines whether or not the gaze area is extracted by the gaze area extraction unit 29.
  • the gaze area extraction unit 29 extracts a gaze area based on the gaze position P of the traveling user that is continuously detected by the gaze detection unit 23-6. Specifically, for example, the gaze area extraction unit 29 separates gaze position data gathered forward and gaze position data gathered outside the front based on the accumulated gaze position P, and extracts a gaze area. Note that the gaze position sampling is repeated until gaze detection data that can extract the gaze area is accumulated (S809 / No).
  • step S812 the line-of-sight detection adjusting unit 24-6 performs line-of-sight detection calibration. Specifically, the line-of-sight detection adjustment unit 24-6 corrects the line-of-sight detection error based on the difference between the extracted gaze area and the installation position of the mirror corresponding to the gaze area. This is because the area where the line-of-sight position is concentrated outside the front during driving is estimated to be an area corresponding to each mirror.
  • the line-of-sight detection calibration is performed while the user looks at the room mirror and the side mirror while driving, and only for the line-of-sight detection calibration. Operation can be made unnecessary.
  • the configuration of the information processing apparatuses 20-1 to 20-6 is not limited to the above-described example, and may further include a communication unit, an operation input unit, a microphone, a speaker, or various sensors.
  • the information processing apparatuses 20-1 to 20-6 described above are realized by a hardware configuration such as a CPU, a ROM, a RAM, and a storage unit, and thereby each function (indicated position detection unit 21, application processing unit 22, The gaze detection unit 23, the gaze detection adjustment unit 24, and the gaze area extraction unit 29) are executed.
  • this technique can also take the following structures.
  • a recognition unit for recognizing a position of a gaze target accompanying a user operation A line-of-sight detection unit that detects a user's line-of-sight position during user operation; A line-of-sight detection adjustment unit that adjusts line-of-sight detection by the line-of-sight detection unit based on the recognized position of the gaze target and the line-of-sight position;
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the gaze target is a virtual object or a real object that is a target for a user operation purpose. (3) The information processing apparatus according to (2), further including an application processing unit that executes predetermined application processing in response to a user operation on the gaze target.
  • the gaze target is an image icon displayed on the display unit
  • the user operation is an operation of moving an operation target object within a display area of the image icon
  • the line-of-sight detection adjustment unit detects line-of-sight based on the line-of-sight position detected when the user moves the operation target object on the display screen into the display area of the image icon and the display position of the image icon.
  • the information processing device is a glasses-type wearable device having a transparent display unit
  • the user operation is an operation of pointing an image icon displayed on the display unit with a fingertip
  • the line-of-sight detection adjustment unit moves a fingertip recognized based on a captured image obtained by imaging a user's visual field direction when wearing the glasses-type wearable device into a display area of an image icon displayed on the display unit
  • the information processing apparatus according to (3), wherein the line-of-sight detection is adjusted based on the line-of-sight position detected when the image is displayed and the display position of the image icon.
  • the gaze target is a detection area display displayed on a display screen that displays a captured image of the user in real time
  • the user operation is an operation of moving an object gripped by the user into the detection area display
  • the line-of-sight detection adjusting unit adjusts line-of-sight detection based on the line-of-sight position detected when the object enters the detection area display and the display position of the detection area display (3)
  • the information processing apparatus described in 1. (8) The information processing apparatus according to (7), wherein the application processing unit executes predetermined application processing when an object gripped by the user enters the detection area display.
  • the gaze target is a button image included in a passcode input screen displayed on the display unit
  • the user operation is an operation of selecting a button image included in the passcode input screen and inputting a passcode
  • the line-of-sight detection adjustment unit adjusts line-of-sight detection based on the line-of-sight position detected when the user selects the button image and the display position of the button image.
  • Information processing device (10) The information according to (9), wherein the application processing unit determines whether the passcode input by the selection of the button image included in the passcode input screen is correct, and executes a lock release process when the passcode is correct. Processing equipment.
  • the information processing apparatus is an HMD mounted on a user's head; Head Mounted Display,
  • the gaze target is a plurality of selection images displayed on a display unit located in front of the user's eyes when the HMD is worn,
  • the user operation is an operation of selecting one selection image by an operation target object from the plurality of selection images
  • the line-of-sight detection adjustment unit includes a line-of-sight position detected when a user moves and selects an operation target object on the display screen within the display area of the selected image, and a display position of the selected selected image.
  • the information processing apparatus is a glasses-type wearable device having a transparent display unit,
  • the user operation is an operation of visually recognizing a real object via the display unit,
  • the line-of-sight detection adjustment unit is detected when the real object recognized based on a captured image obtained by capturing the direction of the user's visual field when the glasses-type wearable device is mounted is in the user's visual field.
  • the information processing apparatus according to (2), wherein the line-of-sight detection is adjusted based on a line-of-sight position and a coordinate position in the display unit of the real object visually recognized through the display unit having transparency.
  • the real object is a device possessed by the user.
  • the gaze target is a mirror provided in an automobile
  • the user operation is an angle adjustment operation of the mirror
  • the line-of-sight detection unit detects the user's line-of-sight position based on a captured image captured by an imaging unit provided in a vehicle
  • the line-of-sight detection adjustment unit adjusts line-of-sight detection based on the line-of-sight position detected when the angle adjustment operation of the mirror is performed and the fixed position of the mirror on which the user performs angle adjustment.
  • the information processing apparatus according to (2) which is performed.
  • the gaze target is a mirror provided in an automobile
  • the user operation is a visual recognition operation of the mirror during driving
  • the line-of-sight detection unit detects the user's line-of-sight position based on a captured image captured by the imaging unit provided in the vehicle
  • the line-of-sight detection adjustment unit adjusts line-of-sight detection based on the position of the gaze area extracted from the gaze position history detected during the user's operation and the fixed position of the mirror corresponding to the gaze area.
  • the information processing apparatus according to (2) which is performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】視線検出キャリブレーションのためだけの操作を不要とし、通常のユーザ操作の中で視線検出キャリブレーションを行うことが可能な情報処理装置、制御方法、およびプログラムを提供する。 【解決手段】ユーザ操作に伴う注視対象の位置を認識する認識部と、ユーザ操作時におけるユーザの視線位置を検出する視線検出部と、前記認識された注視対象の位置と、前記視線位置とに基づいて、前記視線検出部による視線検出の調整を行う視線検出調整部と、を備える、情報処理装置により解決する。

Description

情報処理装置、制御方法、およびプログラム
　本開示は、情報処理装置、制御方法、およびプログラムに関する。
　従来から、人間や動物の眼（具体的には、瞳孔、角膜）を撮影して視線および注視点を検出したり、眼球運動を検出する電極を頭部に装着させて視線および注視点を検出したりといった視線検出技術が提案されている。このような視線検出技術を用いることにより、視線や注視点の位置および動きに基づいた操作入力（いわゆる視線入力）が可能となる。
　また、視線検出技術の精度を高めるため、使用者の視線の個人差を補正する視線キャリブレーションに関する技術も提案されている。例えば、下記特許文献１では、観察面上の任意の位置に視標（すなわちキャリブレーションマーカー）を表示して使用者の視線を誘導し、視線誘導前後の視線位置に基づいて、使用者の眼球の個人差による検出誤差を補正するための個人差補正データを取得するキャリブレーション技術が提案されている。
特開２００１－４９０６号公報
　しかしながら、上記特許文献１に開示されているような従来のキャリブレーション技術では、装置の本来の目的を遂行するための操作や作業と無関係な、キャリブレーションのためだけの操作や作業をユーザに行わせるため、ユーザにとって負担や苦痛となっていた。
　そこで、本開示では、視線検出キャリブレーションのためだけの操作を不要とし、通常のユーザ操作の中で視線検出キャリブレーションを行うことが可能な情報処理装置、制御方法、およびプログラムを提案する。
　本開示によれば、ユーザ操作に伴う注視対象の位置を認識する認識部と、ユーザ操作時におけるユーザの視線位置を検出する視線検出部と、前記認識された注視対象の位置と、前記視線位置とに基づいて、前記視線検出部による視線検出の調整を行う視線検出調整部と、を備える情報処理装置を提案する。
　本開示によれば、ユーザ操作に伴う注視対象の位置を認識することと、ユーザ操作時におけるユーザの視線位置を検出することと、前記認識された注視対象の位置と、前記視線位置とに基づいて、視線検出調整部により視線検出の調整を行うことと、を含む制御方法を提案する。
　本開示によれば、コンピュータを、ユーザ操作に伴う注視対象の位置を認識する認識部と、ユーザ操作時におけるユーザの視線位置を検出する視線検出部と、前記認識された注視対象の位置と、前記視線位置とに基づいて、前記視線検出部による視線検出の調整を行う視線検出調整部と、として機能させるためのプログラムを提案する。
　以上説明したように本開示によれば、視線検出キャリブレーションのためだけの操作を不要とし、通常のユーザ操作の中で視線検出キャリブレーションを行うことが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
第１の実施形態による指示体がポインタの場合における視線検出キャリブレーションについて説明する図である。 第１の実施形態による情報処理システムの構成を示す図である。 第１の実施形態による他の情報処理システムの構成を示す図である。 第１の実施形態による指示体がポインタの場合における視線検出キャリブレーションの動作処理を示すフローチャートである。 第１の実施形態による指示体がコントローラの場合における視線検出キャリブレーションについて説明する図である。 第１の実施形態による指示体がコントローラの場合における視線検出キャリブレーションの動作処理を示すフローチャートである。 第１の実施形態による指示体が指先の場合における視線検出キャリブレーションについて説明する図である。 第１の実施形態による指示体が指先の場合における視線検出キャリブレーションの動作処理を示すフローチャートである。 第２の実施形態による注視対象が実物体の場合における視線検出キャリブレーションについて説明する図である。 第２の実施形態による情報処理システムの構成を示す図である。 第２の実施形態による他の情報処理システムの構成を示す図である。 第２の実施形態による視線検出キャリブレーションの動作処理を示すフローチャートである。 第３の実施形態による視線検出キャリブレーションについて説明する図である。 第３の実施形態による他の情報処理システムの構成を示す図である。 第３の実施形態によるパスコード解除処理を示すフローチャートである。 図１５に示すパスコード解除処理中に行われる視線検出キャリブレーションの動作処理を示すフローチャートである。 第４の実施形態による視線検出キャリブレーションについて説明する図である。 第４の実施形態による情報処理システムの構成を示す図である。 第４の実施形態による視線検出キャリブレーションの動作処理を示すフローチャートである。 第５の実施形態による視線検出キャリブレーションについて説明する図である。 第５の実施形態による情報処理システムの構成を示す図である。 第５の実施形態による視線検出キャリブレーションの動作処理を示すフローチャートである。 第６の実施形態による視線検出キャリブレーションについて説明する図である。 第６の実施形態による情報処理システムの構成を示す図である。 第６の実施形態による視線検出キャリブレーションの動作処理を示すフローチャートである。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による視線検出キャリブレーションの概要
　２．各実施形態
　　２－１．第１の実施形態
　　　２－１－１．ポインタを用いた場合における視線検出キャリブレーション
　　　２－１－２．コントローラを用いた場合における視線検出キャリブレーション
　　　２－１－３．指先を用いた場合における視線検出キャリブレーション
　　２－２．第２の実施形態
　　２－３．第３の実施形態
　　２－４．第４の実施形態
　　２－５．第５の実施形態
　　２－６．第６の実施形態
　３．まとめ
　＜＜１．本開示の一実施形態による視線検出キャリブレーションの概要＞＞
　本開示の一実施形態による視線検出キャリブレーションは、装置本来の目的を遂行するためのユーザ操作時の注視対象の位置を認識し、認識した注視対象の位置と、操作時のユーザの視線位置とに基づいて、視線検出の調整（すなわちキャリブレーション）を行う。これにより、従来のような視線検出キャリブレーションのためだけの操作を不要とし、通常のユーザ操作の中で視線検出キャリブレーションを行うことが可能となる。
　以下、このような視線検出キャリブレーションを実現する本開示による情報処理システムについて、複数の実施形態を用いて具体的に説明する。
　＜＜２．各実施形態＞＞
　＜２－１．第１の実施形態＞
　まず、指示体を用いたユーザ操作時における視線検出キャリブレーションについて説明する。本実施形態による情報処理装置２０は、ユーザの注視対象を認識し、当該注視対象にユーザが指示体を移動させた際のユーザの視線位置を検出して、注視対象の位置と視線位置とのずれに基づいて、視線検出キャリブレーションを行う。指示体は、画面上に表示された操作対象オブジェクトの一例であるポインタ（すなわち仮想物体）であってもよいし、ユーザが把持する操作対象物体の一例であるコントローラ（すなわち実物体）であってもよいし、ジェスチャー入力が可能な場合はユーザの指先であってもよい。以下、各指示体を用いたユーザ操作時における視線検出キャリブレーションについて、図１～図８を参照して説明する。
　（２－１－１．ポインタを用いた場合における視線検出キャリブレーション）
　指示体の一例として、画面上に表示されたポインタが挙げられる。ユーザは、ポインタを所定のアイコンの表示領域に移動させることで、アイコンを選択し、アイコンに応じたアプリケーション処理を実行させる。このような状況について図１を参照して説明する。
　（概要）
　図１は、第１の実施形態による指示体がポインタの場合における視線検出キャリブレーションについて説明する図である。図１に示すように、例えばスクリーン３１に表示されたポインタ５０を視線で操作するシステムにおいて、利用者であるユーザは、当該システムの利用開始操作としてポインタ５０を指先やリモートコントローラ等でスクリーン３１に表示されたスタートアイコン４０に移動させる。ユーザの指先の位置や視線位置Ｐは、スクリーン３１の近傍に設置されたカメラ１０により撮像された撮像画像に基づいて検出される。
　このような利用開始操作の際、ユーザはスタートアイコン４０を目視で確認し（視線Ｓ）、ポインタ５０をスタートアイコン４０の表示領域に移動させていることが想定される。したがって、ポインタ５０をスタートアイコン４０の表示領域に移動させた際に検出された視線位置Ｐと、注視対象であるスタートアイコン４０の表示領域（の中心位置）とのずれに基づいて、視線検出キャリブレーションを行うことが可能である。かかる視線検出キャリブレーションを実現するシステム構成の一例を図２に示す。
　（構成）
　図２は、第１の実施形態による情報処理システム１０１ａの構成を示す図である。図２に示すように、情報処理システム１０１ａは、カメラ１０、情報処理装置２０－１ａ、および表示装置３０－１ａを含む。
　カメラ１０は、例えばステレオカメラであって、スクリーン３１の前面に存在するユーザの顔や身体を撮像し、撮像画像を情報処理装置２０－１ａに出力する。
　表示装置３０－１ａは、情報処理装置２０－１ａの制御に従って画像を出力する機能を有する。表示装置３０－１ａは、例えば液晶ディスプレイにより実現されてもよいし、画像を投影するプロジェクターにより実現されてもよい。図１に示す例では、表示装置３０－１ａは、プロジェクター（不図示）により実現され、スクリーン３１に画像を投影する。
　情報処理装置２０－１ａは、カメラ１０から取得した撮像画像に基づいてユーザの視線を検出し、視線に応じて表示装置３０－１ａで表示されるポインタ５０の操作等を行う視線操作機能を有する。また、情報処理装置２０－１ａは、ユーザによる通常の操作に伴い、個人差による視線検出誤差を補正する視線検出キャリブレーションを行うことが可能である。
　具体的には、情報処理装置２０－１ａは、図２に示すように、指示位置検出部２１－１ａ、アプリケーション処理部２２－１ａ、視線検出部２３－１ａ、視線検出調整部２４－１ａを有する。
　指示位置検出部２１－１ａは、スクリーン３１の表示画面に対するユーザによる指示位置を検出する。例えば指示位置検出部２１－１ａは、カメラ１０により撮像された撮像画像に基づいて、ユーザの指先を認識し、指先で指示しているスクリーン３１の表示画面上の位置を検出し、検出した座標位置をアプリケーション処理部２２－１ｂに出力する。また、ユーザがジャイロリモートコントローラを用いて指示している場合、リモートコントローラに搭載されたジャイロセンサで検知されたセンサ値に基づいてリモートコントローラの動きを認識し、ジャイロリモートコントローラで指示しているスクリーン３１の表示画面上の位置を検出し、検出した座標位置をアプリケーション処理部２２－１ｂに出力する。また、ユーザが赤外線リモートコントローラを用いて指示している場合、リモートコントローラから発光される赤外線に基づいてリモートコントローラの動きを認識し、赤外線リモートコントローラで指示しているスクリーン３１の表示画面上の位置を検出し、検出した座標位置をアプリケーション処理部２２－１ｂに出力する。
　アプリケーション処理部２２－１ａは、ユーザの視線に応じて、表示装置３０－１ａにより表示される画面中のポインタ５０の制御を行う。また、アプリケーション処理部２２－１ａは、指示位置検出部２１－１ａにより検出された指示位置の座標位置に応じて、表示画面中のポインタの表示位置を制御する。また、アプリケーション処理部２２－１ａは、ポインタ５０がアイコンを選択した場合、当該アイコンに対応する処理を実行する。例えば図１に示すようなスタートアイコン４０の表示領域にポインタ５０が移動した場合、ポインタ５０を視線で操作するシステムの利用開始処理を行う。また、アプリケーション処理部２２－１ａは、表示画面中のアイコン（注視対象の一例）の座標位置を認識する認識部としても機能する。
　視線検出部２３－１ａは、カメラ１０から取得したユーザの眼の撮像画像に基づいて視線（具体的には、視線方向または視線位置等）を検出する。
　視線検出調整部２４－１ａは、アプリケーション処理部２２－１ａから、注視対象であるスタートアイコン４０の表示位置および表示領域（アイコンのサイズ）と、ユーザ操作に応じて移動するポインタ５０の位置を取得し、スタートアイコン４０の表示領域内にポインタ５０が一定時間止まったか否かに基づいて視線検出キャリブレーションの実行判定を行う。また、視線検出調整部２４－１ａは、ポインタ５０がスタートアイコン４０の表示領域内に止まっている間に視線検出部２３－１ａから継続的にサンプリングされた視線位置Ｐと、スタートアイコン４０の表示位置とに基づいて、視線検出キャリブレーションを行う。具体的には、検出された視線位置Ｐとスタートアイコン４０の表示領域の中心位置とのずれから補正パラメータを求めて、個人差による視線検出誤差を補正する。
　以上、本実施形態による情報処理システム１０１ａの構成について具体的に説明した。なお、図２に示すシステム構成は一例であって、本実施形態はこれに限定されない。例えば、本実施形態のシステム構成は図３に示す構成であってもよい。
　図３は、第１の実施形態による他の情報処理システム１０１ｂの構成を示す図である。図３に示すように、情報処理システム１０１ｂは、指示位置検出用カメラ１１－１ｂ、視線検出用カメラ１２－１ｂ、情報処理装置２０－１ｂ、および表示装置３０－１ｂを含む。情報処理システム１０１ｂは、上述した情報処理システム１０１ａと比較すると、複数のカメラを含む点で異なる。
　上述した情報処理システム１０１ａでは、一のカメラ１０により撮像された撮像画像に基づいて指示位置の検出および視線検出を行っていたが、図３に示す情報処理システム１０１ｂでは、指示位置検出用カメラ１１－１ｂと視線検出用カメラ１２－１ｂを設けることで、それぞれのカメラで取得された撮像画像に基づいて、指示位置検出と視線検出が行われる。
　また、情報処理装置２０－１ｂは、図３に示すように、指示位置検出部２１－１ｂ、アプリケーション処理部２２－１ｂ、視線検出部２３－１ｂ、視線検出調整部２４－１ｂを有する。各構成の主な機能は、図２を参照して説明した情報処理装置２０－１ａの各構成と同様であるため、ここでの詳細な説明は省略する。また、指示位置検出部２１－１ｂは、指示位置検出用カメラ１１－１ｂから取得した撮像画像に基づいてユーザによる指示位置を検出する。また、視線検出部２３－１ｂは、視線検出用カメラ１２－１ｂから取得した撮像画像に基づいてユーザの視線を検出する。
　なお、図２および図３では、カメラ１０－１ａ、または指示位置検出用カメラ１１－１ｂおよび視線検出用カメラ１２－１ｂと、情報処理装置２０－１ａと、表示装置３０－１ａが別体により構成されているが、本実施形態はこれに限定されず、例えばこれらが同一体で構成されていてもよい。
　（動作）
　続いて、本実施形態による動作処理について図４を参照して説明する。図４は、第１の実施形態による指示体がポインタの場合における視線検出キャリブレーションの動作処理を示すフローチャートである。ここでは、図２および図３に示す各構成を区別する必要がない場合、情報処理装置２０－１（２０－１ａ、２０－１ｂ）、指示位置検出部２１－１（２１－１ａ、２１－１ｂ）、アプリケーション処理部２２－１（２２－１ａ、２２－１ｂ）、視線検出部２３－１（２３－１ａ、２３－１ｂ）、視線検出調整部２４－１（２４－１ａ、２４－１ｂ）と称す。
　図４に示すように、まず、ステップＳ１０３において、視線検出調整部２４－１は、アプリケーション処理部２２－１から出力された情報に基づいて、注視対象であるアイコン、例えばスタートアイコン４０の表示領域内にポインタ５０が入っているか否かを判断する。
　次に、スタートアイコン４０の表示領域内にポインタ５０が入っている場合（Ｓ１０３／Ｙｅｓ）、ステップＳ１０６において、視線検出部２３－１は、視線位置Ｐをサンプリングする。なお視線検出部２３－１は継続的に視線位置Ｐをサンプリングし、スタートアイコン４０の表示領域内にポインタ５０が入っていない場合（Ｓ１０３／Ｎｏ）、サンプリング中のデータをクリアするようにしてもよい。
　次いで、ステップＳ１０９において、視線検出調整部２４－１は、スタートアイコン４０の表示領域内にポインタ５０が入って一定時間が経過したか否かに基づいて、キャリブレーションの実行判定を行う。この際、視線検出調整部２４－１は、視線位置Ｐが一定範囲内に止まっていることも確認してキャリブレーションの実行判定を行ってもよい。
　次に、スタートアイコン４０の表示領域内にポインタ５０が入って一定時間が経過せずにポインタ５０が当該表示領域外に移動した場合（Ｓ１０９／Ｎｏ）、サンプリングしたデータはクリアされる。
　一方、スタートアイコン４０の表示領域内にポインタ５０が入って一定時間が経過した場合（Ｓ１０９／Ｙｅｓ）、ステップＳ１１２において、視線検出調整部２４－１は、視線検出キャリブレーションを実行する。具体的には、視線検出調整部２４－１は、スタートアイコン４０の表示領域の中心位置と、サンプリングした視線位置Ｐとのずれに基づいて、視線検出誤差を補正する。ポインタ５０をスタートアイコン４０の表示領域内に止まらせる操作では、ユーザはスタートアイコン４０を注視していること（視線Ｓ）が推定されるためである。
　また、視線位置Ｐは、複数サンプリングされた視線位置データの平均値であってもよいし、複数サンプリングされた視線位置データの標準偏差σを計算して、３σ以内のものだけを用いてもよい。
　そして、ステップＳ１１５において、アプリケーション処理部２２－１は、ポインタ５０で選択されたスタートアイコン４０に対応する利用開始処理（すなわちアイコン選択後の処理）を行う。スタートアイコン４０の選択は、ポインタ５０がスタートアイコン４０の表示領域内に一定時間入っていることが条件とされる。
　以上説明したように、本実施形態による情報処理システム１０１（１０１ａ、１０１ｂ）では、ユーザが装置本来の目的を遂行するための操作、すなわち利用開始のためにポインタ５０をスタートアイコン４０の表示領域内に入れるという操作の中で、視線検出キャリブレーションを実行し、視線検出キャリブレーションのためだけの操作を不要とすることができる。
　（２－１－２．コントローラを用いた場合における視線検出キャリブレーション）
　続いて、指示体としてコントローラを用いた場合における視線検出キャリブレーションについて図５～図６を参照して説明する。
　（概要）
　図５は、第１の実施形態による指示体がコントローラの場合における視線検出キャリブレーションについて説明する図である。ここでは、図５に示すように、表示装置３０－１ｃの表示画面にカメラ１０－１ｃで撮像したユーザの映像が表示され、画面に写るユーザの顔４２に紐付けられて表示される検出エリア４３にユーザが把持するコントローラ５１を移動させることでそのユーザのログイン処理（顔認識により個人が識別できた場合は当該個人のログイン処理）を行うシステムを想定する。また、接続されたコントローラ５１とログイン処理を行ったユーザとの紐付け処理も行われる。ログイン後は、ユーザの視線に応じた操作が実施され得る。
　検出エリア４３は、ユーザ毎に対応するものであって、例えば図５に示すように複数のユーザＡ、ユーザＢが映る場合、各ユーザの顔４２ａ、４２ｂに複数の検出エリア４３ａ、４３ｂが夫々対応付けて表示される。したがって、ユーザＡは、自身の顔４２ａ付近に表示されている検出エリア４３ａに自身が用いるコントローラ５１ａを移動させてログインし、ユーザＢも自身の顔４２ｂ付近に表示されている検出エリア４３ｂに自身が用いるコントローラ５１ｂを移動させてログインする。
　本実施形態では、このようなコントローラ５１を用いたログイン操作という装置本来の目的を遂行する操作の中で、視線検出キャリブレーションを実行する。
　（構成）
　本実施形態による情報処理システムの構成は、図２、図３を参照して上述したシステム構成と同様である。すなわち、本実施形態による情報処理システム１０１は、カメラ１０－１ｃ（または指示位置検出用カメラ１１－１ｃおよび視線検出用カメラ１２－１ｃ）と、情報処理装置２０－１ｃと、表示装置３０－１ｃを含む。情報処理装置２０－１ｃは、図２、図３に示す場合と同様に、指示位置検出部２１－１ｃ、アプリケーション処理部２２－１ｃ、視線検出部２３－１ｃ、および視線検出調整部２４－１ｃを有する。
　指示位置検出部２１－１ｃは、カメラ１０－１ｃで撮像されたユーザが把持するコントローラ５１の表示画面上における位置を検出する。また、アプリケーション処理部２２－１ｃは、指示位置検出部２１－１ｃにより検出されたコントローラ５１の座標位置に基づいて、コントローラ５１が検出エリア４３に入った場合、検出エリア４３に対応するユーザのログイン処理を実行する。また、アプリケーション処理部２２－１ｃは、表示画面中の検出エリア４３（注視対象の一例）の座標位置を認識する認識部としても機能する。
　視線検出部２３－１ｃは、カメラ１０－１ｃで撮像されたユーザの眼の撮像画像に基づいて、視線検出を行う（例えばユーザＡの視線位置Ｐａ、ユーザＢの視線位置Ｐｂを検出する）。視線検出調整部２４－１ｃは、コントローラ５１が検出エリア４３に入った場合、視線検出部２３－１ｃから継続的にサンプリングされた視線位置Ｐと、検出エリア４３の表示位置とに基づいて、視線検出キャリブレーションを行う。具体的には、検出された視線位置Ｐと検出エリア４３の表示領域の中心位置とのずれから補正パラメータを求めて、個人差による視線検出誤差を補正する。
　（動作）
　図６は、第１の実施形態による指示体がコントローラの場合における視線検出キャリブレーションの動作処理を示すフローチャートである。ここでは、情報処理装置２０－１（２０－１ｃ）、指示位置検出部２１－１（２１－１ｃ）、アプリケーション処理部２２－１（２２－１ｃ）、視線検出部２３－１（２３－１ｃ）、視線検出調整部２４－１（２４－１ｃ）と称す。
　図６に示すように、まず、ステップＳ２０３において、視線検出調整部２４－１は、アプリケーション処理部２２－１から出力された情報に基づいて、注視対象である検出エリア４３の表示領域内にコントローラ５１が入っているか否かを判断する。
　次に、検出エリア４３の表示領域内にコントローラ５１が入っている場合（Ｓ２０３／Ｙｅｓ）、ステップＳ２０６において、視線検出部２３－１は、視線位置Ｐをサンプリングする。なお視線検出部２３－１は継続的に視線位置Ｐをサンプリングし、検出エリア４３の表示領域内にコントローラ５１が入っていない場合（Ｓ２０３／Ｎｏ）、サンプリング中のデータをクリアするようにしてもよい。
　次いで、ステップＳ２０９において、視線検出調整部２４－１は、検出エリア４３の表示領域内にコントローラ５１が入って一定時間が経過したか否かに基づいて、キャリブレーションの実行判定を行う。この際、視線検出調整部２４－１は、視線位置Ｐが一定範囲内に止まっていることも確認してキャリブレーションの実行判定を行ってもよい。
　次に、検出エリア４３の表示領域内にコントローラ５１が入って一定時間が経過せずにコントローラ５１が当該表示領域外に移動した場合（Ｓ２０９／Ｎｏ）、サンプリングしたデータはクリアされる。
　一方、検出エリア４３の表示領域内にコントローラ５１が入って一定時間が経過した場合（Ｓ２０９／Ｙｅｓ）、ステップＳ２１２において、視線検出調整部２４－１は、視線検出キャリブレーションを実行する。具体的には、視線検出調整部２４－１は、検出エリア４３の表示領域の中心位置と、サンプリングした視線位置Ｐとのずれに基づいて、視線検出誤差を補正する。コントローラ５１を検出エリア４３の表示領域内に止まらせる操作では、ユーザは検出エリア４３を注視していることが推定されるためである。
　そして、ステップＳ２１５において、アプリケーション処理部２２－１は、ユーザがコントローラ５１を検出エリア４３に移動させるというユーザ操作に応じて、そのユーザのログイン処理を行う。
　以上説明したように、本実施形態による情報処理システム１０１ｃでは、ユーザが装置本来の目的を遂行するための操作、すなわちログイン処理のためにコントローラ５１を検出エリア４３に移動させるという操作の中で、視線検出キャリブレーションを実行し、視線検出キャリブレーションのためだけの操作を不要とすることができる。
　（２－１－３．指先を用いた場合における視線検出キャリブレーション）
　次に、指示体として指先を用いた場合における視線検出キャリブレーションについて図７～図８を参照して説明する。
　（概要）
　図７は、第１の実施形態による指示体が指先の場合における視線検出キャリブレーションについて説明する図である。ここでは、図７に示すように、スマートアイグラスにより実現される情報処理装置２０－１ｄがユーザに装着された際にユーザの眼前に位置する表示装置３０－１ｄに、テキストやアイコン等が表示され、ユーザは指先を前方に挙げてアイコンの表示位置と合わせることで選択することが可能なシステムを想定する。また、情報処理装置２０－１ｄは、ユーザの視線を検出し、視線に応じた制御も可能である。
　指先の位置は、図７に示すように、情報処理装置２０－１ｄに外向きに設けられた指示位置検出用カメラ１１－１ｄにより撮像された撮像画像に基づいて検出される。また、装着者（ユーザ）の視線は、図７に示すように、情報処理装置２０－１ｄに内向きに設けられた視線検出用カメラ１２－１ｄにより撮像された撮像画像に基づいて検出される。
　表示装置３０－１ｄは透過性を有し、情報処理装置２０－１ｄを装着するユーザは、図７に示すように表示装置３０－１ｄを介して実空間を視認することができる。また、図７に示す例では、表示装置３０－１ｄに、「○○さんからメッセージを受信しました。メッセージを開く場合は、メールアイコンを指先で指してください」というテキスト４４と、メールアイコン４５が表示されている。この場合、ユーザは指先５２を眼前に挙げて、表示装置３０－１ｄに表示されるメールアイコン４５を指すジェスチャーを行う。指先５２の位置は、情報処理装置２０－１ｄに外向きに設けられた指示位置検出用カメラ１１－１ｄにより撮像され、情報処理装置２０－１ｄで検出される。情報処理装置２０－１ｄは、撮像画像に基づいて検出したユーザの視界における指先５２の位置がメールアイコン４５の表示領域内に有る場合、メールアイコン４５が選択されたと判断し、メール内容を表示装置３０－１ｄに表示する。
　本実施形態では、このような指先５２でアイコンを選択する操作という装置本来の目的を遂行する操作の中で、視線検出キャリブレーションを実行する。
　（構成）
　本実施形態による情報処理システムの構成は、図３を参照して上述したシステム構成と同様である。すなわち、本実施形態による情報処理システム１０１ｄは、指示位置検出用カメラ１１－１ｄと、視線検出用カメラ１２－１ｄと、情報処理装置２０－１ｄと、表示装置３０－１ｄを含む。情報処理装置２０－１ｄは、図３に示す場合と同様に、指示位置検出部２１－１ｄ、アプリケーション処理部２２－１ｄ、視線検出部２３－１ｄ、および視線検出調整部２４－１ｄを有する。
　指示位置検出部２１－１ｄは、指示位置検出用カメラ１１－１ｄで撮像された撮像画像に基づいて、ユーザの指先５２の位置（透過する表示装置３０－１ｄにおける座標位置）を検出する。また、アプリケーション処理部２２－１ｄは、指示位置検出部２１－１ｄにより検出された指先５２の座標位置に基づいて、指先５２がメールアイコン４５を指した場合、メールアイコン４５に対応するメール内容を表示装置３０－１ｄに表示する処理を実行する。また、アプリケーション処理部２２－１ｄは、表示画面中のメールアイコン４５（注視対象の一例）の座標位置を認識する認識部としても機能する。
　視線検出部２３－１ｄは、視線検出用カメラ１２－１ｄで撮像されたユーザの眼の撮像画像に基づいて、視線検出を行う。視線検出調整部２４－１ｄは、指先５２がメールアイコン４５を指した場合、視線検出部２３－１ｄから継続的にサンプリングされた視線位置Ｐと、メールアイコン４５の表示位置とに基づいて、視線検出キャリブレーションを行う。具体的には、検出された視線位置Ｐとメールアイコン４５の表示領域の中心位置とのずれから補正パラメータを求めて、個人差による視線検出誤差を補正する。
　（動作）
　図８は、第１の実施形態による指示体が指先の場合における視線検出キャリブレーションの動作処理を示すフローチャートである。ここでは、情報処理装置２０－１（２０－１ｄ）、指示位置検出部２１－１（２１－１ｄ）、アプリケーション処理部２２－１（２２－１ｄ）、視線検出部２３－１（２３－１ｄ）、視線検出調整部２４－１（２４－１ｄ）と称す。
　図８に示すように、まず、ステップＳ３０３において、視線検出調整部２４－１は、アプリケーション処理部２２－１から出力された情報に基づいて、注視対象であるメールアイコン４５の表示領域内に指先５２が入っているか否かを判断する。
　次に、メールアイコン４５の表示領域内に指先５２が入っている場合（Ｓ３０３／Ｙｅｓ）、ステップＳ３０６において、視線検出部２３－１は、視線位置Ｐをサンプリングする。なお視線検出部２３－１は継続的に視線位置Ｐをサンプリングし、メールアイコン４５の表示領域内に指先５２が入っていない場合（Ｓ３０３／Ｎｏ）、サンプリング中のデータをクリアするようにしてもよい。
　次いで、ステップＳ３０９において、視線検出調整部２４－１は、メールアイコン４５の表示領域内に指先５２が入って一定時間が経過したか否かに基づいて、キャリブレーションの実行判定を行う。この際、視線検出調整部２４－１は、視線位置Ｐが一定範囲内に止まっていることも確認してキャリブレーションの実行判定を行ってもよい。
　次に、メールアイコン４５の表示領域内に指先５２が入って一定時間が経過せずに指先５２が当該表示領域外に移動した場合（Ｓ３０９／Ｎｏ）、サンプリングしたデータはクリアされる。
　一方、メールアイコン４５の表示領域内に指先５２が入って一定時間が経過した場合（Ｓ３０９／Ｙｅｓ）、ステップＳ３１２において、視線検出調整部２４－１は、視線検出キャリブレーションを実行する。具体的には、視線検出調整部２４－１は、メールアイコン４５の表示領域の中心位置と、サンプリングした視線位置Ｐとのずれに基づいて、視線検出誤差を補正する。指先５２をメールアイコン４５の表示領域内に止まらせる操作では、ユーザはメールアイコン４５を注視していることが推定されるためである。
　そして、ステップＳ３１５において、アプリケーション処理部２２－１は、ユーザが指先５２でメールアイコン４５を指すというユーザ操作に応じて、そのメールアイコン４５に対応するメール内容の表示処理を行う。
　以上説明したように、本実施形態による情報処理システム１０１ｄでは、ユーザが装置本来の目的を遂行するための操作、すなわちアイコン選択のために指先５２をアイコンの表示領域内に移動させるという操作の中で、視線検出キャリブレーションを実行し、視線検出キャリブレーションのためだけの操作を不要とすることができる。
　また、上述した第１の実施形態では、視線キャリブレーションを繰り返し行い、キャリブレーションの精度を段階的に高めていくことも可能である。例えば注視対象（例えばスタートアイコン４０、検出エリア４３、メールアイコン４５）の表示位置を毎回異なる位置にすることで、徐々に表示領域全体をカバーする。
　＜２－２．第２の実施形態＞
　続いて、第２の実施形態による情報処理システム１０２について、図９～図１２を参照して具体的に説明する。上述した第１の実施形態では、注視対象が表示画面上に表示されているもの（仮想物体）であったが、本開示はこれに限定されず、注視対象が実物体であってもよい。
　（概要）
　図９は、第２の実施形態による注視対象が実物体の場合における視線検出キャリブレーションについて説明する図である。ここでは、図９に示すように、スマートアイグラスにより実現される情報処理装置２０－２がユーザに装着された際にユーザの眼前に位置する表示装置３０－２にテキストやアイコン等が表示され、ユーザの視線に応じた制御が可能なシステムを想定する。
　表示装置３０－２は透過性を有し、情報処理装置２０－１ｄを装着するユーザは、図９に示すように表示装置３０－２を介して実空間を視認することができる。したがって、ユーザは身に付けたスマートウォッチやスマートバンド、所持するスマートフォン等のデバイス６０（実物体）を眼前（視界４７内）に移動させて見ることが可能である。この時、ユーザの視線はデバイス６０に向いていることが想定されるため、情報処理装置２０－２は、デバイス６０の位置と、その時検出された視線位置Ｐとに基づいて、視線検出キャリブレーションを行う。
　本実施形態では、このようにデバイスを眼前に移動させて視認するという装置本来の目的を遂行する操作の中で、視線検出キャリブレーションを実行する。
　（構成）
　図１０は、第２の実施形態による情報処理システム１０２ａの構成を示す図である。図１０に示すように、情報処理システム１０２ａは、デバイス６０、デバイス検出用カメラ１１－２、視線検出用カメラ１２－２、情報処理装置２０－２ａ、表示装置３０－２を含む。
　デバイス６０は、上述したように、例えばスマートウォッチ、スマートバンド、スマートフォン等により実現される。
　デバイス検出用カメラ１１－２は、情報処理装置２０－２に外向きに設けられ、ユーザの視界を撮像する。撮像画像はデバイス６０の検出に用いられる。また、視線検出用カメラ１２－２は、情報処理装置２０－２に内向きに設けられ、ユーザの眼を撮像する。撮像画像は視線検出に用いられる。
　また、情報処理装置２０－２ａは、図１０に示すように、アプリケーション処理部２２－２ａ、視線検出部２３－２ａ、視線検出調整部２４－２ａ、およびデバイス検出部２５－２ａを含む。
　デバイス検出部２１－２ａは、デバイス検出用カメラ１１－２で撮像された撮像画像に基づいて、ユーザの視界４７に入っているデバイス６０を検出する。また、デバイス検出部２１－２ａは、デバイス６０から機種情報を受信してユーザが持っているデバイス６０の存在を認識することも可能である。
　アプリケーション処理部２２－２ａは、デバイス検出部２５－２ａにより検出されたデバイス６０に対応する所定の制御（アプリケーション処理）を実行し得る。また、アプリケーション処理部２２－２ａは、ユーザの視界４７の領域に対応する表示装置３０－２におけるデバイス６０（注視対象の一例）の座標位置を認識する認識部として機能してもよい。この際、アプリケーション処理部２２－２ａは、デバイス６０の検出結果と共にデバイス検出部２５－２ａから出力された撮像画像に基づいて、表示装置３０－２におけるデバイス６０（注視対象の一例）の座標位置を認識する。
　視線検出部２３－２ａは、視線検出用カメラ１２－２で撮像されたユーザの眼の撮像画像に基づいて、視線検出を行う。視線検出調整部２４－２ａは、デバイス６０が視界４７内に有る場合、視線検出部２３－２ａから継続的にサンプリングされた視線位置Ｐと、アプリケーション処理部２２－２ｂにより認識されたデバイス６０の位置とに基づいて、視線検出キャリブレーションを行う。具体的には、検出された視線位置Ｐとデバイス６０の物体領域の中心位置とのずれから補正パラメータを求めて、個人差による視線検出誤差を補正する。
　以上、本実施形態による情報処理システム１０２ａの構成について具体的に説明した。なお、図１０に示すシステム構成は一例であって、本実施形態はこれに限定されない。
例えば図１０に示す情報処理システム１０２ａでは、視線検出調整部２４－２ａによる視線検出キャリブレーションと、アプリケーション処理部２２－２ａによるアプリケーション処理が同期する。すなわち、ユーザがデバイス６０を視認するという動作に応じて情報処理装置２０－２ａにおいて何らかのアプリケーション処理が行われると共に、視線検出キャリブレーションも行われる。しかし、本実施形態はこれに限定されず、アプリケーション処理と視線検出キャリブレーションが非同期であってもよい。以下、非同期の場合におけるシステム構成について図１１を参照して説明する。
　図１１は、第２の実施形態による他の情報処理システム１０２ｂの構成を示す図である。図１１に示すように、情報処理システム１０２ｂは、デバイス６０、デバイス検出用カメラ１１－２、視線検出用カメラ１２－２、情報処理装置２０－２ｂ、表示装置３０－２を含む。
　情報処理装置２０－２ｂは、図１１に示すように、アプリケーション処理部２２－２ｂ、視線検出部２３－２ｂ、視線検出調整部２４－２ｂ、およびデバイス検出部２５－２ｂを含む。デバイス検出部２５－２ｂは、デバイス検出用カメラ１１－２で撮像された撮像画像に基づいて視界４７の中に存在するユーザのデバイス６０を検出し、また、透過する表示装置３０－２におけるデバイス６０（注視対象の一例）の座標位置を認識する認識部としても機能する。そして、デバイス検出部２５－２ｂは、デバイス検出部２５－２ａと異なり、デバイス６０の座標位置を視線検出調整部２４－２ｂに出力する。
　視線検出調整部２４－２ｂは、視線検出部２３－２ａから継続的にサンプリングされた視線位置Ｐと、デバイス検出部２５－２ｂにより認識されたデバイス６０の位置とに基づいて、視線検出キャリブレーションを行う。
　このように、情報処理システム１０２ｂでは、アプリケーション処理部２２－２ｂにおけるアプリケーション処理とは非同期に、ユーザがデバイス６０を視認するという動作に応じて視線検出キャリブレーションを行う。
　（動作）
　続いて、本実施形態による動作処理について図１２を参照して説明する。図１２は、第２の実施形態による視線検出キャリブレーションの動作処理を示すフローチャートである。ここでは、図１０および図１１に示す各構成を区別する必要がない場合、情報処理装置２０－２（２０－２ａ、２０－２ｂ）、アプリケーション処理部２２－２（２２－２ａ、２２－２ｂ）、視線検出部２３－２（２３－２ａ、２３－２ｂ）、視線検出調整部２４－２（２４－２ａ、２４－２ｂ）、デバイス検出部２５－２（２５－２ａ、２５－２ｂ）と称す。
　図１２に示すように、まず、ステップＳ４０３において、視線検出調整部２４－２は、注視対象であるデバイス６０が視界４７内に有るか否かを判断する。具体的には、視線検出調整部２４－２は、ユーザの視界を撮像するデバイス検出用カメラ１１－２により撮像された撮像画像に基づいてデバイス検出部２５－２によりデバイス６０が検出された場合、デバイス６０が視界４７内に有ると判断する。
　次に、デバイス６０がユーザの視界４７に有ると判断された場合（Ｓ４０３／Ｙｅｓ）、ステップＳ４０６において、視線検出部２３－２は、視線検出用カメラ１２－２により撮像された撮像画像に基づいて視線位置Ｐをサンプリングする。なお視線検出部２３－２は継続的に視線位置Ｐをサンプリングし、デバイス６０が視界４７に無い場合（Ｓ４０３／Ｎｏ）、サンプリング中のデータをクリアするようにしてもよい。
　次いで、ステップＳ４０９において、視線検出調整部２４－２は、デバイス６０が視界４７に入って一定時間が経過したか否かに基づいて、キャリブレーションの実行判定を行う。この際、視線検出調整部２４－２は、視線位置Ｐが一定範囲内に止まっていることも確認してキャリブレーションの実行判定を行ってもよい。
　次に、デバイス６０が視界４７に入って一定時間が経過せずにデバイス６０が視界４７から外れた場合（Ｓ４０９／Ｎｏ）、サンプリングしたデータはクリアされる。
　一方、デバイス６０が視界４７に入って一定時間が経過した場合（Ｓ４０９／Ｙｅｓ）、ステップＳ４１２において、視線検出調整部２４－２は、視線検出キャリブレーションを実行する。具体的には、視線検出調整部２４－２は、デバイス６０の物体領域の中心位置と、サンプリングした視線位置Ｐとのずれに基づいて、視線検出誤差を補正する。デバイス６０を眼前に移動させて視界４７に入れる動作では、ユーザはデバイス６０を注視していることが推定されるためである。
　また、視線位置Ｐは、複数サンプリングされた視線位置データの平均値であってもよいし、複数サンプリングされた視線位置データの標準偏差σを計算して－２σ以内のものだけを用いてもよい。
　そして、ステップＳ４１５において、アプリケーション処理部２２－２は、デバイス６０が視界４７に入り、ユーザがデバイス６０を視認している動作に応じた所定のアプリケーション処理を行う。なお視線検出キャリブレーションとアプリケーション処理が非同期の場合（図１１に示す情報処理システム１０２ｂの場合）、当該Ｓ４１５の処理は行われない。
　以上説明したように、本実施形態による情報処理システム１０２（１０２ａ、１０２ｂ）では、ユーザがデバイス６０を視認するという通常の動作の中で、視線検出キャリブレーションを実行し、視線検出キャリブレーションのためだけの操作を不要とすることができる。
　＜２－３．第３の実施形態＞
　次に、第３の実施形態による情報処理装置２０－３について、図１３～図１６を参照して具体的に説明する。本実施形態では、表示画面に表示されたパスコード解除時のボタン操作という装置本来の目的を遂行するための操作の中で視線検出キャリブレーションを行う場合について説明する。
　（概要）
　図１３は、第３の実施形態による視線検出キャリブレーションについて説明する図である。ここでは、図１３に示すように、例えばスマートフォンにより実現される情報処理装置２０－３のタッチパネルディスプレイ３２に表示されたパスコード画面４８に対して、ユーザが指５４でパスコード解除のためのタッチ操作（選択操作）を行い、入力されたパスコードが正しい場合はロック解除を行うシステムを想定する。
　パスコード画面４８は、図１３に示すように０～９の数字ボタン４９を含み、ユーザは数字を確認しながら複数の数字ボタン４９を順番に指５４でタッチしてパスコードを入力する。ここで、ユーザが数字ボタン４９をタッチする際、ユーザは当該数字ボタン４９（注視対象の一例）を視認していることが推定されるため、情報処理装置２０－３は、タッチされた数字ボタン４９の表示位置と検出された視線位置Ｐとに基づいて視線検出キャリブレーションを行うことができる。
　本実施形態では、このようにロックを解除するためにパスコードを入力するという装置本来の目的を遂行する操作の中で、視線検出キャリブレーションを実行する。
　（構成）
　図１４は、第３の実施形態による情報処理装置２０－３の構成を示す図である。図１４に示すように、情報処理装置２０－３は、視線検出用カメラ１２－３、アプリケーション処理部２２－３、視線検出部２３－３、視線検出調整部２４－３、タッチパネルディスプレイ３２を含む。なお情報処理装置２０－３は、図１３に示すようなスマートフォンの他、タブレット端末、スマートウォッチ等により実現されてもよい。
　視線検出用カメラ１２－３は、情報処理装置２０－３においてタッチパネルディスプレイ３２が設けられている面に設けられ、タッチパネルディスプレイ３２に対して操作入力を行っているユーザを撮像する。
　アプリケーション処理部２２－３は、タッチパネルディスプレイ３２からのユーザによる操作入力に従って、各種処理を行う。例えば、アプリケーション処理部２２－３は、タッチパネルディスプレイ３２に対する表示制御や、音楽アプリケーション、ゲームアプリケーション、インターネット通信等の制御を行う。また、アプリケーション処理部２２－３は、タッチパネルディスプレイ３２から入力されたパスコードをチェックし、正しければロック解除制御を行い、誤っていればエラー表示を行う。さらに、アプリケーション処理部２２－３は、タッチパネルディスプレイ３２に表示される数字ボタン４９（注視対象の一例）の座標位置を認識する認識部として機能する。
　なお本実施形態では、パスコードの入力を数字ボタン４９により行っているが、本実施形態はこれに限定されず、例えば文字ボタンによる入力や、パターン入力等であってもよい。
　視線検出部２３－３は、視線検出用カメラ１２－３で撮像されたユーザの眼の撮像画像に基づいて、視線検出を行う。視線検出調整部２４－３は、アプリケーション処理部２２－３がパスコードの入力を受付けている場合（すなわち、ユーザがタッチパネルディスプレイ３２からユーザがパスコードの入力操作を行っている場合）、視線検出キャリブレーションを行う。具体的には、視線検出調整部２４－３は、視線検出部２３－３から継続的にサンプリングされた視線位置Ｐと、アプリケーション処理部２２－３により認識されたユーザがタッチしている数字ボタン４９（注視対象の一例）の表示領域の中心位置とのずれから補正パラメータを求めて、個人差による視線検出誤差を補正する。
　タッチパネルディスプレイ３２は、表示機能および操作入力機能を有し、表示画面に対する操作入力を受付ける。ここでは一例としてタッチパネルディスプレイ３２を用いたが、本実施形態はこれに限定されず、表示画面に対する操作入力を受付ける表示入力部であればよい。
　（動作）
　続いて、本実施形態による動作処理について図１５および図１６を参照して説明する。図１５は、第３の実施形態によるパスコード解除処理を示すフローチャートである。
　図１５に示すように、まず、ステップＳ５０３において、視線検出調整部２４－３は、注視対象である数字ボタン４９がタッチされたか否かを判断する。具体的には、視線検出調整部２４－３は、タッチパネルディスプレイ３２に表示した数字ボタン４９がタッチされたこと（選択されたこと）をアプリケーション処理部２２－３からの通知に従って判断する。
　次に、数字ボタン４９がタッチされたと判断された場合（Ｓ５０３／Ｙｅｓ）、ステップＳ５０６において、視線検出調整部２４－３は、視線検出の調整処理を行う。視線検出調整部２４－３による視線検出の調整処理については、図１６を参照して後述する。
　次いで、ステップＳ５０９において、視線検出調整部２４－３は、指５４が数字ボタン４９から離れたか否かを判断する。
　次に、指５４が数字ボタン４９から離れた場合（Ｓ５０９／Ｙｅｓ）、ステップＳ５１２において、アプリケーション処理部２２－３は、パスコードの入力文字数を満たしたか否かを判断する。入力文字数を満たすまで、上記Ｓ５０３～Ｓ５０９が繰り返される（Ｓ５１２／Ｎｏ）。
　そして、パスコードの入力文字数を満たした場合（Ｓ５１２／Ｙｅｓ）、ステップＳ５１５において、アプリケーション処理部２２－３は、入力されたパスコードのチェックを行い、正しければロックを解除し、誤っていればエラー表示を行う。
　続いて、上記Ｓ５０６に示す視線検出調整処理について図１６を参照して説明する。図１６は、図１５に示すパスコード解除処理中に行われる視線検出キャリブレーションの動作処理を示すフローチャートである。
　図１６に示すように、ステップＳ５２３において、視線検出部２３－３は、視線位置Ｐをサンプリングする。
　次に、ステップＳ５２６において、視線検出調整部２４－３は、数字ボタン４９をタッチした時間が一定時間を経過したか否かに基づいて、キャリブレーションの実行判定を行う。この際、視線検出調整部２４－３は、視線位置Ｐが一定範囲内に止まっていることも確認してキャリブレーションの実行判定を行ってもよい。
　次いで、一定時間が経過せずに指５４が数字ボタン４９から離れた場合（Ｓ５２６／Ｎｏ）、サンプリングしたデータはクリアされる。
　一方、一定時間が経過した場合（Ｓ５２６／Ｙｅｓ）、ステップＳ５２９において、視線検出調整部２４－３は、視線検出キャリブレーションを実行する。具体的には、視線検出調整部２４－３は、指５４でタッチした数字ボタン４９の表示領域の中心位置と、サンプリングした視線位置Ｐとのずれに基づいて、視線検出誤差を補正する。パスコードを入力する操作では、ユーザは数字ボタン４９を注視していることが推定されるためである。
　ここで、視線位置Ｐは、複数サンプリングされた視線位置データの平均値であってもよいし、複数サンプリングされた視線位置データの標準偏差σを計算して－２σ以内のものだけを用いてもよい。
　以上説明したように、本実施形態による情報処理装置２０－３では、ユーザがパスコードを入力する操作の中で、視線検出キャリブレーションを実行し、視線検出キャリブレーションのためだけの操作を不要とすることができる。
　また、上述した第３の実施形態による視線キャリブレーションを繰り返し行い、キャリブレーションの精度を段階的に高めていくことも可能である。例えば注視対象である複数の数字ボタン４９の表示位置（キー配置）を毎回異なる位置にランダムに設定することで、ユーザが数字ボタン４９を視認しなければ正しいパスコードが入力できないようにして、徐々に表示領域全体をカバーする。
　＜２－４．第４の実施形態＞
　次に、第４の実施形態による情報処理システム１０４について、図１７～図１９を参照して具体的に説明する。本実施形態では、頭部装着型の表示装置であるＨＭＤ（Head　Mounted　Display）と接続されたコントローラで、ＨＭＤの表示部に表示された複数のアイコンからいずれかを選択するといった装置本来の目的を遂行する操作の中で、視線検出キャリブレーションを行う場合について説明する。
　（概要）
　図１７は、第４の実施形態による視線検出キャリブレーションについて説明する図である。ここでは、図１７に示すように、例えばＨＭＤにより実現される情報処理装置２０－４の表示部３０－４に表示される複数のアイコン７０－１～７０－ｎに対して、ユーザが情報処理装置２０－４に接続されたコントローラ６３を用いてアイコン７０の選択操作を行い、選択されたアイコン７０に対応するアプリケーション処理を行うシステムを想定する。
　表示部３０－４は、ユーザが情報処理装置２０－４を装着した際に眼前に位置する。また、表示部３０－４に表示される選択画面は、例えば図１７に示すように、複数のアイコン７０－１～７０－ｎと、コントローラ６３の動きに対応して画面上を移動するカーソル７２（操作対象オブジェクトの一例）が表示される。コントローラ６３には、例えば加速度センサやジャイロセンサが搭載され、コントローラ６３の動きが情報処理装置２０－４に出力される。ユーザはカーソル７２を任意のアイコン７０に合せてコントローラ６３（例えば図１７に示すようなシューティングコントローラ）に設けられた物理的トリガーを引くことで、アイコン７０を選択することができる。ここで、ユーザがアイコン７０を選択する際、ユーザは当該アイコン７０（注視対象の一例）を視認していることが推定されるため、情報処理装置２０－４は、選択されたアイコン７０の表示位置と検出された視線位置Ｐに基づいて視線検出キャリブレーションを行うことができる。
　本実施形態では、このように画面上のアイコンを選択するという装置本来の目的を遂行する操作の中で、視線検出キャリブレーションを実行する。
　（構成）
　図１８は、第４の実施形態による情報処理システム１０４の構成を示す図である。図１８に示すように、情報処理システム１０４は、コントローラ６３および情報処理装置２０－４（ＨＭＤ）を含む。
　コントローラ６３は、動きを検知するセンサ（例えば加速度センサ、ジャイロセンサ等）を有し、検知したセンサ値（動き情報）を情報処理装置２０－４に出力する。また、コントローラ６３には物理的なトリガーが設けられ、ユーザによりトリガーが引かれると（すなわち決定操作が行われると）、コントローラ６３は、決定指示を情報処理装置２０－４に出力する。コントローラ６３と情報処理装置２０－４は、有線または無線により通信接続する。
　情報処理装置２０－４は、図１８に示すように、視線検出用カメラ１２－４、アプリケーション処理部２２－４、視線検出部２３－４、視線検出調整部２４－４、および表示部３０－４を含む。
　アプリケーション処理部２２－４は、コントローラ６３から出力された情報に応じて、各種処理を行う。例えばアプリケーション処理部２２－４は、コントローラ６３から出力された動き情報に応じて、表示部３０－４に表示するカーソル７２の表示制御を行う。また、アプリケーション処理部２２－４は、コントローラ６３から出力された決定指示に従い、カーソル７２で選択されたアイコンに対応するアプリケーション処理を行う。さらに、アプリケーション処理部２２－４は、表示部３０－４に表示されるアイコン７０（注視対象の一例）の座標位置を認識する認識部として機能する。
　視線検出用カメラ１２－４は、情報処理装置２０－４の内側に設けられ、情報処理装置２０－４がユーザに装着された状態においてユーザの眼を撮像する。視線検出用カメラ１２－４は、取得した撮像画像を視線検出部２３－４に出力する。
　視線検出部２３－４は、視線検出用カメラ１２－４で撮像されたユーザの眼の撮像画像に基づいて、視線検出を行う。視線検出調整部２４－３は、表示部３０－４に表示されたアイコン７０にユーザがカーソル７２を合わせて選択操作を行っている際、視線検出キャリブレーションを行う。具体的には、視線検出調整部２４－４は、視線検出部２３－４から継続的にサンプリングされた視線位置Ｐと、アプリケーション処理部２２－４により認識されたアイコン７０（注視対象の一例）の表示領域の中心位置とのずれから補正パラメータを求めて、個人差による視線検出誤差を補正する。
　表示部３０－４は、情報処理装置２０－４の内側に設けられ、情報処理装置２０－４がユーザに装着された状態においてユーザの眼前に位置する。
　以上、情報処理システム１０４の構成について説明した。なお、図１８に示す情報処理装置２０－４の構成は要部であって、本装置の構成はこれに限定されない。例えば情報処理装置２０－４は、さらにスピーカ、マイクロホン、振動部、生体センサ、加速度センサ、ジャイロセンサ等を有していてもよい。
　（動作）
　続いて、本実施形態による動作処理について図１９を参照して説明する。図１９は、第４の実施形態による視線検出キャリブレーションの動作処理を示すフローチャートである。
　図１９に示すように、まず、ステップＳ６０３において、視線検出調整部２４－２は、カーソル７２が、注視対象であるアイコン７０の表示領域に入っているか否かを判断する。なおカーソル７２の表示領域がアイコン７０よりも大きい場合、カーソル７２がアイコン７０と重複しているか否かの判断を行うようにしてもよい。
　次に、カーソル７２がアイコン７０の表示領域に入っていると判断された場合（Ｓ６０３／Ｙｅｓ）、ステップＳ６０６において、視線検出部２３－４は、視線検出用カメラ１２－４により撮像された撮像画像に基づいて視線位置Ｐをサンプリングする。なお視線検出部２３－４は継続的に視線位置Ｐをサンプリングし、カーソル７２がアイコン７０の表示領域に入っていない場合（Ｓ６０３／Ｎｏ）、サンプリング中のデータをクリアするようにしてもよい。
　次いで、ステップＳ６０９において、視線検出調整部２４－４は、カーソル７２がアイコン７０の表示領域に入って一定時間が経過し、かつ決定操作が行われたか否かに基づいて、キャリブレーションの実行判定を行う。この際、視線検出調整部２４－４は、視線位置Ｐが一定範囲内に止まっていることも確認してキャリブレーションの実行判定を行ってもよい。また、本実施形態において、決定操作とは、例えばコントローラ６３に設けられたトリガーを引く操作であって、この際コントローラ６３は、決定指示をアプリケーション処理部２２－４に出力する。
　次に、カーソル７２がアイコン７０の表示領域に入って一定時間が経過せずに当該表示領域から離れた場合（Ｓ６０９／Ｎｏ）、サンプリングしたデータはクリアされる。
　一方、カーソル７２がアイコン７０の表示領域に入って一定時間が経過した場合（Ｓ６０９／Ｙｅｓ）、ステップＳ６１２において、視線検出調整部２４－４は、視線検出キャリブレーションを実行する。具体的には、視線検出調整部２４－４は、選択されたアイコン７０の表示領域の中心位置と、サンプリングした視線位置Ｐとのずれに基づいて、視線検出誤差を補正する。アイコン７０にカーソル７２を合わせて選択する操作では、ユーザはアイコン７０を注視していることが推定されるためである。
　また、視線位置Ｐは、複数サンプリングされた視線位置データの平均値であってもよいし、複数サンプリングされた視線位置データの標準偏差σを計算して－２σ以内のものだけを用いてもよい。
　そして、ステップＳ６１５において、アプリケーション処理部２２－４は、選択されたアイコンに対応するアプリケーション処理を行う。
　以上説明したように、本実施形態による情報処理システム１０４では、ユーザがアイコン７０にカーソル７２を合わせて選択するという操作の中で、視線検出キャリブレーションを実行し、視線検出キャリブレーションのためだけの操作を不要とすることができる。
　また、上述した第４の実施形態による視線キャリブレーションを繰り返し行い、キャリブレーションの精度を段階的に高めていくことも可能である。例えば注視対象であるアイコン７０－１～７０－ｎの表示位置を毎回異なる位置にすることで、徐々に表示領域全体をカバーする。
　＜２－５．第５の実施形態＞
　次に、第５の実施形態による情報処理システム１０５について、図２０～図２２を参照して具体的に説明する。本実施形態では、ユーザが自動車に乗車した際にルームミラーやサイドミラーの角度を調整するという装置本来の目的を遂行するための操作の中で視線検出キャリブレーションを行う場合について説明する。
　（概要）
　本実施形態では、自動車のフロントガラスや、メーターパネル上部に設けられたポップアップ式の透過型のディスプレイに画像を表示するＨＵＤ（Head　Up　Display）において、ユーザの視線に応じた表示制御を行うシステムを想定する。ＨＵＤは、走行速度、時刻、およびナビゲーション情報等、運転に必要な様々な情報を運転手の前方に表示し、運転手は視線を大きく移動することなく情報を確認することができ、自動車走行中の安全性を高めることが可能となる。
　図２０は、第５の実施形態による視線検出キャリブレーションについて説明する図である。通常、自動車の運転席に座ったユーザは、シートベルトを着用し、ルームミラーおよびサイドミラーの角度調整を行うことが想定される。そこで本実施形態では、図２０に示すように、車内に運転席のユーザの顔を撮像するカメラ（視線検出用カメラ１２－５）を設置し、運転席に座るユーザの顔を撮像して、視線検出を行う。これにより、例えば図２０左に示すようにユーザがルームミラー２８ａを操作している際、ユーザは当該ルームミラー２８ａ（注視対象の一例）を視認していることが推定されるため、情報処理システム１０５は、ルームミラー２８ａの設置位置と視線位置Ｐに基づく視線検出キャリブレーションが可能となる。また、図２０右に示すようにユーザがサイドミラー２８Ｌを操作している際、ユーザは当該サイドミラー２８Ｌ（注視対象の一例）を視認していることが推定されるため、サイドミラー２８Ｌの設置位置と視線位置Ｐに基づく視線検出キャリブレーションが可能となる。サイドミラー２８Ｌの操作は、運転席周辺に設けられたサイドミラー調整スイッチ２８ｂにより行われる。
　本実施形態では、このように自動車乗車時におけるルームミラーやサイドミラーの角度調整を行うという装置本来の目的を遂行する操作の中で、視線検出キャリブレーションを実行する。
　（構成）
　図２１は、第５の実施形態による情報処理システム１０５の構成を示す図である。図２１に示すように、情報処理システム１０５は、操作対象装置２８、視線検出用カメラ１２－５、情報処理装置２０－５、および表示装置３０－５を含む。
　操作対象装置２８は、ユーザ操作の対象となる装置であって、本実施形態では、ルームミラー２８ａ、サイドミラー調整スイッチ２８ｂ、またはサイドミラー２８Ｌ、２８Ｒ（図２０には図示していないが、自動車の右側に設けられる）が相当する。操作対象装置２８は、ユーザ操作を検知し、検知情報を視線検出調整部２４－５に出力する。例えばルームミラー２８ａにはタッチセンサが設けられ、ユーザが手動でルームミラー２８ａの角度を調整している際にユーザ操作を検知することが可能である。また、サイドミラー２８Ｌ、２８Ｒの角度調整を行う際、ユーザはミラーを視認しながらサイドミラー調整スイッチ２８ｂを操作するので、サイドミラー調整スイッチ２８ｂはサイドミラー２８Ｌ、２８Ｒに対するユーザ操作を検知することが可能である。また、ルームミラー２８ａ、サイドミラー２８Ｌ、２８Ｒに内蔵カメラが設けられている場合、撮像画像を解析してユーザ操作を検知することも可能である。また、内蔵カメラにより取得した撮像画像を視線検出調整部２４－５に出力し、視線検出調整部２４－５において撮像画像の解析とユーザ操作の検知を行うようにしてもよい。
　視線検出用カメラ１２－５は、車内に設けられ、座席に座るユーザの顔を撮像する。視線検出用カメラ１２－５は、取得した撮像画像を視線検出部２３－５に出力する。
　表示装置３０－５は、透過型のディスプレイであって、運転手の視線を移動させることなく、走行速度、時刻、ナビゲーション情報等の運転に必要な様々な情報を提示する。具体的には、表示装置３０－５は、フロントガラスの少なくとも一部により実現されたり、メーターパネル上部にポップアップ式で設けられたりする。
　情報処理装置２０－５は、自動車に搭載されていてもよいし、自動車に着脱可能に設置される端末装置であってもよいし、ユーザが所持するスマートフォンやタブレット端末等のモバイル装置であってもよい。情報処理装置２０－５は、図２１に示すように、アプリケーション処理部２２－５、視線検出調整部２４－５、視線検出部２３－５を有する。
　アプリケーション処理部２２－５は、表示装置３０－５の表示制御を行う。例えば、アプリケーション処理部２２－５は、走行速度、時刻、およびナビゲーション情報等、運転に必要な様々な情報を取得し、表示装置３０－５に表示するよう制御する。また、アプリケーション処理部２２－５は、視線検出部２３－５により検出された視線に応じた表示制御を行うことも可能である。
　視線検出部２３－５は、視線検出用カメラ１２－５で撮像されたユーザの眼の撮像画像に基づいて、視線検出を行う。視線検出調整部２４－５は、ユーザがルームミラーまたはサイドミラーの操作を行っている際、視線検出キャリブレーションを行う。具体的には、視線検出調整部２４－５は、視線検出部２３－５から継続的にサンプリングされた視線位置Ｐと、ルームミラーまたはサイドミラー（注視対象の一例）の設置位置とのずれから補正パラメータを求めて、個人差による視線検出誤差を補正する。ミラーの設置位置は固定のため、予め設定され得る。視線検出調整部２４－５は、注視対象であるミラーの当該予め設定された固定の設置位置を認識する認識部としても機能する。
　以上、本実施形態による情報処理システム１０５について具体的に説明した。なお図２１に示すシステム構成は一例であって、本実施形態はこれに限定されない。例えば、情報処理システム１０５は、スピーカ装置をさらに備え、ユーザの視線に応じて走行速度、時刻情報、またはナビゲーション情報等の音声出力制御を行ってもよい。
　（動作）
　続いて、本実施形態による動作処理について図２２を参照して説明する。図２２は、第５の実施形態による視線検出キャリブレーションの動作処理を示すフローチャートである。
　図２２に示すように、まず、ステップＳ７０３において、視線検出調整部２４－５は、ユーザによりミラー（ルームミラー２８ａまたはサイドミラー２８Ｌ、２８Ｒ）が操作されているか否かを判断する。具体的には、視線検出調整部２４－５は、操作対象装置２８から出力された検知情報に基づいて判断する。
　次に、ミラーが操作されていると判断された場合（Ｓ７０３／Ｙｅｓ）、ステップＳ７０６において、視線検出部２３－５は、視線検出用カメラ１２－５により撮像された撮像画像に基づいて視線位置Ｐをサンプリングする。なお視線検出部２３－５は継続的に視線位置Ｐをサンプリングし、ミラーが操作されていないと判断された場合（Ｓ７０３／Ｎｏ）、サンプリング中のデータをクリアするようにしてもよい。
　次いで、ステップＳ７０９において、視線検出調整部２４－５は、ミラーが操作されている時間が一定時間経過したか否かに基づいて、キャリブレーションの実行判定を行う。この際、視線検出調整部２４－５は、視線位置Ｐが一定範囲内に止まっていることも確認してキャリブレーションの実行判定を行ってもよい。
　次に、一定時間が経過せずにミラー操作が終了した場合（Ｓ７０９／Ｎｏ）、サンプリングしたデータはクリアされる。
　一方、ミラー操作の時間が一定時間経過した場合（Ｓ７０９／Ｙｅｓ）、ステップＳ７１２において、視線検出調整部２４－５は、視線検出キャリブレーションを実行する。具体的には、視線検出調整部２４－５は、ミラーの設置位置と、サンプリングした視線位置Ｐとのずれに基づいて、視線検出誤差を補正する。ミラーの角度を調整する操作では、ユーザはミラーを注視していることが推定されるためである。
　また、視線位置Ｐは、複数サンプリングされた視線位置データの平均値であってもよいし、複数サンプリングされた視線位置データの標準偏差σを計算して－２σ以内のものだけを用いてもよい。
　以上説明したように、本実施形態による情報処理システム１０５では、ユーザがミラーの角度を調整する操作の中で、視線検出キャリブレーションを実行し、視線検出キャリブレーションのためだけの操作を不要とすることができる。
　＜２－６．第６の実施形態＞
　次に、第６の実施形態による情報処理システム１０６について、図２３～図２５を参照して具体的に説明する。本実施形態では、自動車を運転するという装置本来の目的を遂行するための操作の中で視線検出キャリブレーションを行う場合について説明する。
　（概要）
　本実施形態は、第５の実施形態と同様に、自動車のフロントガラスや、メーターパネル上部に設けられたポップアップ式の透過型のディスプレイに画像を表示するＨＵＤにおいて、ユーザの視線に応じた表示制御を行うシステムを想定する。
　図２３は、第６の実施形態による視線検出キャリブレーションについて説明する図である。通常、自動車の運転中は主に前方に視線が向けられ、前方以外ではルームミラーやサイドミラーの方向に向けられる。各ミラーの設置場所は固定されているため、運転手が前方以外を見ている際の視線位置の分布は各ミラーの設置場所に集中しやすくなることが想定される。
　例えば、図２３に示すように、車内に設けられたカメラ（視線検出用カメラ１２－６）で運転席に座るユーザの顔を継続的に撮像し、撮像画像に基づいて視線検出を行い、運転中に視線が集中している注視エリアＥ１～Ｅ４を取得する。上述したように、運転中のユーザの視線は、前方、ルームミラー、およびサイドミラー（注視対象の一例）に集中することが想定されるため、注視エリアＥ１は前方（フロントガラス）、注視エリアＥ２はルームミラー２８ａ、注視エリアＥ３は左側のサイドミラー２８Ｌ、注視エリアＥ４は右側のサイドミラー２８Ｒにそれぞれ対応する。従って、各注視エリアＥ２～Ｅ４と、ルームミラー２８ａ、サイドミラー２８Ｌ、およびサイドミラー２８Ｒの実際の設置位置に基づいて、視線検出キャリブレーションを行うことが可能となる。
　本実施形態では、このように自動車の運転中にルームミラーやサイドミラーを見るという装置本来の目的を遂行する操作の中で、視線検出キャリブレーションを実行する。
　（構成）
　図２４は、第６の実施形態による情報処理システム１０６の構成を示す図である。図２４に示すように、情報処理システム１０６は、視線検出用カメラ１２－６、情報処理装置２０－６、および表示装置３０－６を含む。
　視線検出用カメラ１２－６は、車内に設けられ、座席に座るユーザの顔を撮像する。視線検出用カメラ１２－６は、取得した撮像画像を視線検出部２３－６に出力する。
　表示装置３０－６は、透過型のディスプレイであって、運転手の視線を移動させることなく、走行速度、時刻、ナビゲーション情報等の運転に必要な様々な情報を提示する。具体的には、表示装置３０－６は、フロントガラスの少なくとも一部により実現されたり、メーターパネル上部にポップアップ式で設けられたりする。
　情報処理装置２０－６は、自動車に搭載されていてもよいし、自動車に着脱可能に設置される端末装置であってもよいし、ユーザが所持するスマートフォンやタブレット端末等のモバイル装置であってもよい。情報処理装置２０－６は、図２４に示すように、アプリケーション処理部２２－６、視線検出調整部２４－６、視線検出部２３－６、および注視エリア抽出部２９を有する。
　アプリケーション処理部２２－６は、表示装置３０－６の表示制御を行う。例えば、アプリケーション処理部２２－６は、走行速度、時刻、およびナビゲーション情報等、運転に必要な様々な情報を取得し、表示装置３０－６に表示するよう制御する。また、アプリケーション処理部２２－６は、視線検出部２３－６により検出された視線に応じた表示制御を行うことも可能である。
　視線検出部２３－６は、視線検出用カメラ１２－６で撮像されたユーザの眼の撮像画像に基づいて、視線検出を行う。注視エリア抽出部２９は、視線検出部２３－６により継続的に検出された運転中のユーザの視線位置に基づいて、視線が集中する注視エリアを抽出する。
　視線検出調整部２４－６は、注視エリア抽出部２９により抽出された注視エリアと、対応するミラー（注視対象の一例）の設置位置に基づいて、視線検出キャリブレーションを行う。具体的には、視線検出調整部２４－６は、注視エリアと、予め設定されているミラーの位置とのずれから補正パラメータを求めて、個人差による視線検出誤差を補正する。ミラーの設置位置は固定のため、予め設定され得る。視線検出調整部２４－６は、注視対象であるミラーの当該予め設定された固定の設置位置を認識する認識部としても機能する。
　以上、本実施形態による情報処理システム１０６について具体的に説明した。なお図２４に示すシステム構成は一例であって、本実施形態はこれに限定されない。例えば、情報処理システム１０６は、スピーカ装置をさらに備え、ユーザの視線に応じて走行速度、時刻情報、またはナビゲーション情報等の音声出力制御を行ってもよい。
　（動作）
　続いて、本実施形態による動作処理について図２５を参照して説明する。図２５は、第６の実施形態による視線検出キャリブレーションの動作処理を示すフローチャートである。
　図２６に示すように、まず、ステップＳ８０３において、視線検出部２３－６は、自動車が走行中であるか否かを判断する。具体的には、例えば視線検出部２３－６は、情報処理装置２０－６に搭載された加速度センサ、ジャイロセンサ、位置計測部等の各種センサ（不図示）により検知された情報に基づいて、自動車が走行中であるか否かを判断する。
　次に、自動車が走行中であると判断された場合（Ｓ８０３／Ｙｅｓ）、ステップＳ８０６において、視線検出部２３－６は、視線検出用カメラ１２－６により撮像された撮像画像に基づいて視線位置Ｐをサンプリングする。なお視線検出部２３－６は継続的に視線位置Ｐをサンプリングし、自動車が走行中ではないと判断された場合（Ｓ８０３／Ｎｏ）、サンプリング中のデータをクリアするようにしてもよい。
　次いで、ステップＳ８０９において、視線検出調整部２４－５は、注視エリア抽出部２９により注視エリアが抽出されたか否かを判断する。注視エリア抽出部２９は、視線検出部２３－６により継続的に検出される走行中のユーザの視線位置Ｐに基づいて注視エリアを抽出する。具体的には、例えば注視エリア抽出部２９は、蓄積された視線位置Ｐに基づいて、前方に集まる視線位置データと前方以外に集まる視線位置データとの分離を行い、注視エリアを抽出する。なお、注視エリアの抽出が行える程度の視線検出データが蓄積されるまで、視線位置のサンプリングが繰り返される（Ｓ８０９／Ｎｏ）。
　次に、注視エリアが抽出された場合（Ｓ８０９／Ｙｅｓ）、ステップＳ８１２において、視線検出調整部２４－６は、視線検出キャリブレーションを実行する。具体的には、視線検出調整部２４－６は、抽出された注視エリアと、当該注視エリアに対応するミラーの設置位置とのずれに基づいて、視線検出誤差を補正する。運転中に前方以外で視線位置が集中するエリアは、各ミラーに対応する領域であることが推定されるためである。
　以上説明したように、本実施形態による情報処理システム１０６では、ユーザが運転中にルームミラーやサイドミラーを見るという動作の中で、視線検出キャリブレーションを実行し、視線検出キャリブレーションのためだけの操作を不要とすることができる。
　　＜＜３．まとめ＞＞
　上述したように、本開示の実施形態による情報処理システムでは、視線検出キャリブレーションのためだけの操作を不要とし、通常のユーザ操作の中で視線検出キャリブレーションを行うことが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、情報処理装置２０－１～２０－６の構成は上述した例に限定されず、さらに通信部、操作入力部、マイクロホン、スピーカ、または各種センサ等を有していてもよい。
　また、上述した情報処理装置２０－１～２０－６は、ＣＰＵ、ＲＯＭ、ＲＡＭ、および記憶部等のハードウェア構成により実現され、これらにより各機能（指示位置検出部２１、アプリケーション処理部２２、視線検出部２３、視線検出調整部２４、注視エリア抽出部２９）を実行する。
　また、情報処理装置２０－１～２０－６に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置２０－１～２０－６の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　ユーザ操作に伴う注視対象の位置を認識する認識部と、
　ユーザ操作時におけるユーザの視線位置を検出する視線検出部と、
　前記認識された注視対象の位置と、前記視線位置とに基づいて、前記視線検出部による視線検出の調整を行う視線検出調整部と、
を備える、情報処理装置。
（２）
　前記注視対象は、ユーザ操作目的の対象となる仮想物体または実物体である、前記（１）に記載の情報処理装置。
（３）
　前記情報処理装置は、前記注視対象に対するユーザ操作に応じて所定のアプリケーション処理を実行するアプリケーション処理部をさらに備える、前記（２）に記載の情報処理装置。
（４）
　前記注視対象は、表示部に表示される画像アイコンであって、
　前記ユーザ操作は、前記画像アイコンの表示領域内に操作対象オブジェクトを移動させる操作であって、
　前記視線検出調整部は、ユーザが表示画面上の操作対象オブジェクトを前記画像アイコンの表示領域内に移動させた際に検出された視線位置と、前記画像アイコンの表示位置とに基づいて、視線検出の調整を行う、前記（３）に記載の情報処理装置。
（５）
　前記情報処理装置は、透過性を有する表示部を有するメガネ型のウェアラブル装置であって、
　前記ユーザ操作は、前記表示部に表示される画像アイコンを指先で指す動作であって、
　前記視線検出調整部は、前記メガネ型のウェアラブル装置を装着した際にユーザの視界方向を撮像した撮像画像に基づいて認識された指先が前記表示部に表示された画像アイコンの表示領域内に移動した際に検出された視線位置、および前記画像アイコンの表示位置に基づいて、視線検出の調整を行う、前記（３）に記載の情報処理装置。
（６）
　前記アプリケーション処理部は、前記画像アイコンが選択された際に、当該画像アイコンに紐付けられた所定のアプリケーション処理を実行する、前記（４）または（５）に記載の情報処理装置。
（７）
　前記注視対象は、ユーザの撮像画像をリアルタイムに表示する表示画面上に表示される検出エリア表示であって、
　前記ユーザ操作は、前記ユーザが把持する物体を前記検出エリア表示内に移動させる動作であって、
　前記視線検出調整部は、前記物体が前記検出エリア表示内に入った際に検出された視線位置と、前記検出エリア表示の表示位置とに基づいて、視線検出の調整を行う、前記（３）に記載の情報処理装置。
（８）
　前記アプリケーション処理部は、前記ユーザの把持する物体が前記検出エリア表示内に入った際に所定のアプリケーション処理を実行する、前記（７）に記載の情報処理装置。
（９）
　前記注視対象は、表示部に表示されるパスコード入力画面に含まれるボタン画像であって、
　前記ユーザ操作は、前記パスコード入力画面に含まれるボタン画像を選択してパスコードを入力する操作であって、
　前記視線検出調整部は、ユーザが前記ボタン画像を選択している際に検出された視線位置と、前記ボタン画像の表示位置とに基づいて、視線検出の調整を行う、前記（３）に記載の情報処理装置。
（１０）
　前記アプリケーション処理部は、前記パスコード入力画面に含まれる前記ボタン画像の選択により入力されたパスコードの正否を判断し、正しい場合にはロック解除処理を実行する、前記（９）に記載の情報処理装置。
（１１）
　前記情報処理装置は、ユーザの頭部に装着されるＨＭＤ;Head　Mounted　Displayであって、
　前記注視対象は、前記ＨＭＤを装着した際に前記ユーザの眼前に位置する表示部に表示される複数の選択画像であって、
　前記ユーザ操作は、前記複数の選択画像から操作対象オブジェクトにより一の選択画像を選択する操作であって、
　前記視線検出調整部は、ユーザが表示画面上の操作対象オブジェクトを前記選択画像の表示領域内に移動させて選択した際に検出された視線位置と、選択された前記選択画像の表示位置とに基づいて、視線検出の調整を行う、前記（３）に記載の情報処理装置。
（１２）
　前記操作対象オブジェクトは、前記ＨＭＤに接続されたコントローラの動きに応じて前記表示画面上を移動する、前記（１１）に記載の情報処理装置。
（１３）
　前記注視対象の表示位置は、表示画面上において毎回異なる場所に表示される、前記（４）～（１２）のいずれか１項に記載の情報処理装置。
（１４）
　前記情報処理装置は、透過性を有する表示部を有するメガネ型のウェアラブル装置であって、
　前記ユーザ操作は、前記表示部を介して実物体を視認する動作であって、
　前記視線検出調整部は、前記メガネ型のウェアラブル装置を装着した際にユーザの視界方向を撮像した撮像画像に基づいて認識された前記実物体が前記ユーザの視界に入っている際に検出された視線位置と、前記透過性を有する表示部を介して視認される前記実物体の前記表示部における座標位置に基づいて、視線検出の調整を行う、前記（２）に記載の情報処理装置。
（１５）
　前記実物体は、前記ユーザが所持するデバイスである、前記（１４）に記載の情報処理装置。
（１６）
　前記注視対象は、自動車に設けられたミラーであって、
　前記ユーザ操作は、前記ミラーの角度調整操作であって、
　前記視線検出部は、車内に設けられた撮像部で撮像した撮像画像に基づいて前記ユーザの視線位置を検出し、
　前記視線検出調整部は、前記ミラーの角度調整操作が行われている際に検出された視線位置と、前記ユーザが角度調整を行っているミラーの固定位置とに基づいて、視線検出の調整を行う、前記（２）に記載の情報処理装置。
（１７）
　前記注視対象は、自動車に設けられたミラーであって、
　前記ユーザ操作は、運転中における前記ミラーの視認動作であって、
　前記視線検出部は、車内に設けられ撮像部で撮像した撮像画像に基づいて前記ユーザの視線位置を検出し、
　前記視線検出調整部は、前記ユーザの運転中に検出された視線位置の履歴から抽出された注視エリアの位置と、当該注視エリアに対応するミラーの固定位置とに基づいて、視線検出の調整を行う、前記（２）に記載の情報処理装置。
（１８）
　ユーザ操作に伴う注視対象の位置を認識することと、
　ユーザ操作時におけるユーザの視線位置を検出することと、
　前記認識された注視対象の位置と、前記視線位置とに基づいて、視線検出調整部により視線検出の調整を行うことと、
を含む、制御方法。
（１９）
　コンピュータを、
　ユーザ操作に伴う注視対象の位置を認識する認識部と、
　ユーザ操作時におけるユーザの視線位置を検出する視線検出部と、
　前記認識された注視対象の位置と、前記視線位置とに基づいて、前記視線検出部による視線検出の調整を行う視線検出調整部と、
として機能させるための、プログラム。
　１０１～１０６　　情報処理システム
　１０－１ａ、１０－１ｃ　　カメラ
　１１－１ｂ、１１－１ｄ　　指示位置検出用カメラ
　１１－２　　デバイス検出用カメラ
　１２－１～１２－６　　視線検出用カメラ
　２０－１～２０－６　　情報処理装置
　２１－１～２１－６　　指示位置検出部
　２２－１～２２－６　　アプリケーション処理部
　２３－１～２３－６　　視線検出部
　２４－１～２４－６　　視線検出調整部
　２８　　操作対象装置
　２８ａ　　ルームミラー
　２８Ｌ、２８Ｒ　　サイドミラー
　２９　　注視エリア抽出部
　３０－１、３０－２、３０－５、３０－６　　表示装置
　３０－４　　表示部
　３１　　スクリーン
　３２　　タッチパネルディスプレイ
　４０　　スタートアイコン
　４３　　検出エリア
　４５　　メールアイコン
　４９　　数字ボタン
　５０　　ポインタ
　５１　　コントローラ
　５２　　指先
　６０　　デバイス
　６３　　コントローラ
　７０　　アイコン
　７２　　カーソル

Claims (19)

  1. 　ユーザ操作に伴う注視対象の位置を認識する認識部と、
    　ユーザ操作時におけるユーザの視線位置を検出する視線検出部と、
    　前記認識された注視対象の位置と、前記視線位置とに基づいて、前記視線検出部による視線検出の調整を行う視線検出調整部と、
    を備える、情報処理装置。
  2. 　前記注視対象は、ユーザ操作目的の対象となる仮想物体または実物体である、請求項１に記載の情報処理装置。
  3. 　前記情報処理装置は、前記注視対象に対するユーザ操作に応じて所定のアプリケーション処理を実行するアプリケーション処理部をさらに備える、請求項２に記載の情報処理装置。
  4. 　前記注視対象は、表示部に表示される画像アイコンであって、
    　前記ユーザ操作は、前記画像アイコンの表示領域内に操作対象オブジェクトを移動させる操作であって、
    　前記視線検出調整部は、ユーザが表示画面上の操作対象オブジェクトを前記画像アイコンの表示領域内に移動させた際に検出された視線位置と、前記画像アイコンの表示位置とに基づいて、視線検出の調整を行う、請求項３に記載の情報処理装置。
  5. 　前記情報処理装置は、透過性を有する表示部を有するメガネ型のウェアラブル装置であって、
    　前記ユーザ操作は、前記表示部に表示される画像アイコンを指先で指す動作であって、
    　前記視線検出調整部は、前記メガネ型のウェアラブル装置を装着した際にユーザの視界方向を撮像した撮像画像に基づいて認識された指先が前記表示部に表示された画像アイコンの表示領域内に移動した際に検出された視線位置、および前記画像アイコンの表示位置に基づいて、視線検出の調整を行う、請求項３に記載の情報処理装置。
  6. 　前記アプリケーション処理部は、前記画像アイコンが選択された際に、当該画像アイコンに紐付けられた所定のアプリケーション処理を実行する、請求項４に記載の情報処理装置。
  7. 　前記注視対象は、ユーザの撮像画像をリアルタイムに表示する表示画面上に表示される検出エリア表示であって、
    　前記ユーザ操作は、前記ユーザが把持する物体を前記検出エリア表示内に移動させる動作であって、
    　前記視線検出調整部は、前記物体が前記検出エリア表示内に入った際に検出された視線位置と、前記検出エリア表示の表示位置とに基づいて、視線検出の調整を行う、請求項３に記載の情報処理装置。
  8. 　前記アプリケーション処理部は、前記ユーザの把持する物体が前記検出エリア表示内に入った際に所定のアプリケーション処理を実行する、請求項７に記載の情報処理装置。
  9. 　前記注視対象は、表示部に表示されるパスコード入力画面に含まれるボタン画像であって、
    　前記ユーザ操作は、前記パスコード入力画面に含まれるボタン画像を選択してパスコードを入力する操作であって、
    　前記視線検出調整部は、ユーザが前記ボタン画像を選択している際に検出された視線位置と、前記ボタン画像の表示位置とに基づいて、視線検出の調整を行う、請求項３に記載の情報処理装置。
  10. 　前記アプリケーション処理部は、前記パスコード入力画面に含まれる前記ボタン画像の選択により入力されたパスコードの正否を判断し、正しい場合にはロック解除処理を実行する、請求項９に記載の情報処理装置。
  11. 　前記情報処理装置は、ユーザの頭部に装着されるＨＭＤ;Head　Mounted　Displayであって、
    　前記注視対象は、前記ＨＭＤを装着した際に前記ユーザの眼前に位置する表示部に表示される複数の選択画像であって、
    　前記ユーザ操作は、前記複数の選択画像から操作対象オブジェクトにより一の選択画像を選択する操作であって、
    　前記視線検出調整部は、ユーザが表示画面上の操作対象オブジェクトを前記選択画像の表示領域内に移動させて選択した際に検出された視線位置と、選択された前記選択画像の表示位置とに基づいて、視線検出の調整を行う、請求項３に記載の情報処理装置。
  12. 　前記操作対象オブジェクトは、前記ＨＭＤに接続されたコントローラの動きに応じて前記表示画面上を移動する、請求項１１に記載の情報処理装置。
  13. 　前記注視対象の表示位置は、表示画面上において毎回異なる場所に表示される、請求項４に記載の情報処理装置。
  14. 　前記情報処理装置は、透過性を有する表示部を有するメガネ型のウェアラブル装置であって、
    　前記ユーザ操作は、前記表示部を介して実物体を視認する動作であって、
    　前記視線検出調整部は、前記メガネ型のウェアラブル装置を装着した際にユーザの視界方向を撮像した撮像画像に基づいて認識された前記実物体が前記ユーザの視界に入っている際に検出された視線位置と、前記透過性を有する表示部を介して視認される前記実物体の前記表示部における座標位置に基づいて、視線検出の調整を行う、請求項２に記載の情報処理装置。
  15. 　前記実物体は、前記ユーザが所持するデバイスである、請求項１４に記載の情報処理装置。
  16. 　前記注視対象は、自動車に設けられたミラーであって、
    　前記ユーザ操作は、前記ミラーの角度調整操作であって、
    　前記視線検出部は、車内に設けられた撮像部で撮像した撮像画像に基づいて前記ユーザの視線位置を検出し、
    　前記視線検出調整部は、前記ミラーの角度調整操作が行われている際に検出された視線位置と、前記ユーザが角度調整を行っているミラーの固定位置とに基づいて、視線検出の調整を行う、請求項２に記載の情報処理装置。
  17. 　前記注視対象は、自動車に設けられたミラーであって、
    　前記ユーザ操作は、運転中における前記ミラーの視認動作であって、
    　前記視線検出部は、車内に設けられ撮像部で撮像した撮像画像に基づいて前記ユーザの視線位置を検出し、
    　前記視線検出調整部は、前記ユーザの運転中に検出された視線位置の履歴から抽出された注視エリアの位置と、当該注視エリアに対応するミラーの固定位置とに基づいて、視線検出の調整を行う、請求項２に記載の情報処理装置。
  18. 　ユーザ操作に伴う注視対象の位置を認識することと、
    　ユーザ操作時におけるユーザの視線位置を検出することと、
    　前記認識された注視対象の位置と、前記視線位置とに基づいて、視線検出調整部により視線検出の調整を行うことと、
    を含む、制御方法。
  19. 　コンピュータを、
    　ユーザ操作に伴う注視対象の位置を認識する認識部と、
    　ユーザ操作時におけるユーザの視線位置を検出する視線検出部と、
    　前記認識された注視対象の位置と、前記視線位置とに基づいて、前記視線検出部による視線検出の調整を行う視線検出調整部と、
    として機能させるための、プログラム。
PCT/JP2015/083013 2015-03-05 2015-11-25 情報処理装置、制御方法、およびプログラム WO2016139850A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017503317A JP6677239B2 (ja) 2015-03-05 2015-11-25 情報処理装置、制御方法、およびプログラム
US15/552,551 US11023038B2 (en) 2015-03-05 2015-11-25 Line of sight detection adjustment unit and control method
EP15884016.5A EP3267295B1 (en) 2015-03-05 2015-11-25 Information processing device, control method, and program
CN201580077167.0A CN107407977B (zh) 2015-03-05 2015-11-25 信息处理设备、控制方法及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015043389 2015-03-05
JP2015-043389 2015-03-05

Publications (1)

Publication Number Publication Date
WO2016139850A1 true WO2016139850A1 (ja) 2016-09-09

Family

ID=56848421

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/083013 WO2016139850A1 (ja) 2015-03-05 2015-11-25 情報処理装置、制御方法、およびプログラム

Country Status (5)

Country Link
US (1) US11023038B2 (ja)
EP (1) EP3267295B1 (ja)
JP (1) JP6677239B2 (ja)
CN (1) CN107407977B (ja)
WO (1) WO2016139850A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020038336A (ja) * 2019-02-19 2020-03-12 オムロン株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP2020154009A (ja) * 2019-03-18 2020-09-24 Ｎｅｃプラットフォームズ株式会社 情報表示システムおよびウェアラブルデバイス
WO2020209184A1 (ja) * 2019-04-09 2020-10-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2021153577A1 (ja) * 2020-01-31 2021-08-05 ソニーグループ株式会社 視線検出装置のキャリブレーション
WO2021220867A1 (ja) * 2020-04-28 2021-11-04 株式会社Ｎｔｔドコモ 情報処理装置
JP7031112B1 (ja) 2020-10-13 2022-03-08 裕行 池田 眼鏡型端末
JP2022038225A (ja) * 2020-08-26 2022-03-10 トヨタ自動車株式会社 顔情報取得装置および顔情報取得方法
US11429200B2 (en) 2020-10-13 2022-08-30 Hiroyuki Ikeda Glasses-type terminal

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3267295B1 (en) * 2015-03-05 2021-12-29 Sony Group Corporation Information processing device, control method, and program
US10466780B1 (en) * 2015-10-26 2019-11-05 Pillantas Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor
JP6832061B2 (ja) * 2015-12-29 2021-02-24 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム
JP6996883B2 (ja) * 2017-07-05 2022-01-17 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置
KR102374408B1 (ko) * 2017-09-08 2022-03-15 삼성전자주식회사 가상 현실에서의 포인터 제어 방법 및 전자 장치
US11556741B2 (en) 2018-02-09 2023-01-17 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
WO2019154509A1 (en) 2018-02-09 2019-08-15 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
EP3749172B1 (en) 2018-02-09 2022-03-30 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
US20190324528A1 (en) * 2018-04-20 2019-10-24 Microsoft Technology Licensing, Llc Adjusting gaze point based on determined offset adjustment
CN109213323B (zh) * 2018-08-28 2022-04-29 北京航空航天大学青岛研究院 一种基于眼动交互技术实现屏幕姿态估计的方法
US11537202B2 (en) 2019-01-16 2022-12-27 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
CN109917923B (zh) * 2019-03-22 2022-04-12 北京七鑫易维信息技术有限公司 基于自由运动调整注视区域的方法以及终端设备
CN109960412B (zh) * 2019-03-22 2022-06-07 北京七鑫易维信息技术有限公司 一种基于触控调整注视区域的方法以及终端设备
US10936057B2 (en) 2019-04-09 2021-03-02 Samsung Electronics Co., Ltd. System and method for natural three-dimensional calibration for robust eye tracking
WO2020244752A1 (en) 2019-06-05 2020-12-10 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
CN112148112B (zh) * 2019-06-27 2024-02-06 北京七鑫易维科技有限公司 校准方法及装置、非易失性存储介质和处理器
JP7518021B2 (ja) * 2021-03-08 2024-07-17 本田技研工業株式会社 較正装置及び較正方法
JP2022171084A (ja) * 2021-04-30 2022-11-11 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
CN113413594B (zh) * 2021-06-24 2024-09-03 网易（杭州）网络有限公司 虚拟角色的虚拟拍照方法、装置、存储介质及计算机设备
WO2024076009A1 (ko) * 2022-10-06 2024-04-11 삼성전자주식회사 사용자의 시선 정보를 조정하기 위한 웨어러블 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
CN117152411A (zh) * 2023-11-01 2023-12-01 安徽蔚来智驾科技有限公司 视线校准方法、控制装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09238905A (ja) * 1996-03-05 1997-09-16 Nissan Motor Co Ltd 視線方向計測装置
JPH1176165A (ja) * 1997-09-02 1999-03-23 Sanyo Electric Co Ltd 視線検出装置
JP2000276610A (ja) * 1999-03-26 2000-10-06 Mr System Kenkyusho:Kk ユーザインタフェース方法、情報処理装置およびプログラム記憶媒体
JP2010030361A (ja) * 2008-07-25 2010-02-12 Toyota Motor Corp 運転状態監視装置
JP2010199789A (ja) * 2009-02-24 2010-09-09 Brother Ind Ltd ヘッドマウントディスプレイ
US20140361996A1 (en) * 2013-06-06 2014-12-11 Ibrahim Eden Calibrating eye tracking system by touch input

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5481622A (en) * 1994-03-01 1996-01-02 Rensselaer Polytechnic Institute Eye tracking apparatus and method employing grayscale threshold values
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JP2000163196A (ja) * 1998-09-25 2000-06-16 Sanyo Electric Co Ltd ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置
US20060028459A1 (en) * 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Pre-loaded force sensor
GB0618979D0 (en) * 2006-09-27 2006-11-08 Malvern Scient Solutions Ltd Cursor control method
US7986816B1 (en) * 2006-09-27 2011-07-26 University Of Alaska Methods and systems for multiple factor authentication using gaze tracking and iris scanning
JP4384697B2 (ja) * 2008-03-26 2009-12-16 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム処理方法、ならびに、プログラム
TWI432172B (zh) * 2008-10-27 2014-04-01 Utechzone Co Ltd Pupil location method, pupil positioning system and storage media
WO2010071928A1 (en) * 2008-12-22 2010-07-01 Seeing Machines Limited Automatic calibration of a gaze direction algorithm from user behaviour
WO2012052061A1 (en) * 2010-10-22 2012-04-26 Institut für Rundfunktechnik GmbH Method and system for calibrating a gaze detector system
US9285874B2 (en) * 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
KR20190133080A (ko) * 2011-09-19 2019-11-29 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
WO2013059940A1 (en) * 2011-10-27 2013-05-02 Tandemlaunch Technologies Inc. System and method for calibrating eye gaze data
CN102510480B (zh) * 2011-11-04 2014-02-05 大连海事大学 驾驶员视线自动校准和跟踪系统
JP5630518B2 (ja) * 2012-03-14 2014-11-26 株式会社デンソー 運転支援装置
US9164580B2 (en) * 2012-08-24 2015-10-20 Microsoft Technology Licensing, Llc Calibration of eye tracking system
US9147248B2 (en) * 2012-12-21 2015-09-29 Tobii Technology Ab Hardware calibration of eye tracker
WO2014106219A1 (en) * 2012-12-31 2014-07-03 Burachas Giedrius Tomas User centric interface for interaction with visual display that recognizes user intentions
US20140195918A1 (en) * 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
KR20140090552A (ko) * 2013-01-09 2014-07-17 엘지전자 주식회사 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 및 그 제어 방법
US10073518B2 (en) * 2013-08-19 2018-09-11 Qualcomm Incorporated Automatic calibration of eye tracking for optical see-through head mounted display
US9785235B2 (en) * 2014-02-19 2017-10-10 Mitsubishi Electric Corporation Display control apparatus, display control method of display control apparatus, and eye gaze direction detection system
WO2016075532A1 (en) * 2014-11-14 2016-05-19 The Eye Tribe Aps Dynamic eye tracking calibration
EP3234737B1 (en) * 2014-12-16 2019-04-10 Koninklijke Philips N.V. Gaze tracking system with calibration improvement, accuracy compensation, and gaze localization smoothing
EP3267295B1 (en) * 2015-03-05 2021-12-29 Sony Group Corporation Information processing device, control method, and program
JP2017134558A (ja) * 2016-01-27 2017-08-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラムを記録したコンピュータ読み取り可能な記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09238905A (ja) * 1996-03-05 1997-09-16 Nissan Motor Co Ltd 視線方向計測装置
JPH1176165A (ja) * 1997-09-02 1999-03-23 Sanyo Electric Co Ltd 視線検出装置
JP2000276610A (ja) * 1999-03-26 2000-10-06 Mr System Kenkyusho:Kk ユーザインタフェース方法、情報処理装置およびプログラム記憶媒体
JP2010030361A (ja) * 2008-07-25 2010-02-12 Toyota Motor Corp 運転状態監視装置
JP2010199789A (ja) * 2009-02-24 2010-09-09 Brother Ind Ltd ヘッドマウントディスプレイ
US20140361996A1 (en) * 2013-06-06 2014-12-11 Ibrahim Eden Calibrating eye tracking system by touch input

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3267295A4 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7263825B2 (ja) 2019-02-19 2023-04-25 オムロン株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP2020038336A (ja) * 2019-02-19 2020-03-12 オムロン株式会社 情報処理装置、情報処理方法、および情報処理プログラム
US11557233B2 (en) 2019-03-18 2023-01-17 Nec Platforms, Ltd. Information display system and wearable device
JP2020154009A (ja) * 2019-03-18 2020-09-24 Ｎｅｃプラットフォームズ株式会社 情報表示システムおよびウェアラブルデバイス
WO2020189162A1 (ja) * 2019-03-18 2020-09-24 Ｎｅｃプラットフォームズ株式会社 情報表示システムおよびウェアラブルデバイス
WO2020209184A1 (ja) * 2019-04-09 2020-10-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2021153577A1 (ja) * 2020-01-31 2021-08-05 ソニーグループ株式会社 視線検出装置のキャリブレーション
JPWO2021220867A1 (ja) * 2020-04-28 2021-11-04
WO2021220867A1 (ja) * 2020-04-28 2021-11-04 株式会社Ｎｔｔドコモ 情報処理装置
JP7365501B2 (ja) 2020-04-28 2023-10-19 株式会社Ｎｔｔドコモ 情報処理装置
JP2022038225A (ja) * 2020-08-26 2022-03-10 トヨタ自動車株式会社 顔情報取得装置および顔情報取得方法
JP7367637B2 (ja) 2020-08-26 2023-10-24 トヨタ自動車株式会社 顔情報取得装置および顔情報取得方法
JP2022064283A (ja) * 2020-10-13 2022-04-25 裕行 池田 眼鏡型端末
US11429200B2 (en) 2020-10-13 2022-08-30 Hiroyuki Ikeda Glasses-type terminal
JP7031112B1 (ja) 2020-10-13 2022-03-08 裕行 池田 眼鏡型端末

Also Published As

Publication number Publication date
US20180032131A1 (en) 2018-02-01
EP3267295A1 (en) 2018-01-10
JP6677239B2 (ja) 2020-04-08
JPWO2016139850A1 (ja) 2017-12-14
CN107407977A (zh) 2017-11-28
EP3267295B1 (en) 2021-12-29
US11023038B2 (en) 2021-06-01
EP3267295A4 (en) 2018-10-24
CN107407977B (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
JP6677239B2 (ja) 情報処理装置、制御方法、およびプログラム
CN110647237B (zh) 在人工现实环境中基于手势的内容共享
US10506913B2 (en) Apparatus operation device, apparatus operation method, and electronic apparatus system
KR101459441B1 (ko) 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템 및 방법
KR101284797B1 (ko) 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법
JP6598617B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP5762892B2 (ja) 情報表示システム、情報表示方法、及び情報表示用プログラム
CN106066537B (zh) 头戴式显示器和头戴式显示器的控制方法
KR20150032019A (ko) 시선 추적 기반의 사용자 인터페이스 방법 및 그 장치
KR101709611B1 (ko) 디스플레이와 카메라가 장착된 스마트 안경과 이를 이용한 공간 터치 입력 및 보정 방법
JP6399692B2 (ja) ヘッドマウントディスプレイ、画像表示方法及びプログラム
CN112154402A (zh) 可穿戴设备及其控制方法、识别手势的方法和控制系统
JP6716028B2 (ja) 制御装置、情報処理システム、制御方法、及びプログラム
WO2021145067A1 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに拡張現実感システム
US20180150133A1 (en) Glasses-type terminal and control method therefor
US20180173306A1 (en) Apparatus operation device, apparatus operation method, and electronic apparatus system
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
CN117784926A (zh) 控制装置、控制方法和计算机可读存储介质
EP3961354A2 (en) Method, system and non-transitory computer-readable recording medium for supporting object control
WO2022208612A1 (ja) ウェアラブル端末装置、プログラムおよび表示方法
JP2023168746A (ja) 情報処理装置、情報処理システム、情報処理方法、プログラム
JP2016035654A (ja) 視線検出装置および視線入力システム
CN115803786A (zh) 信息处理装置、信息处理方法和程序
Wilder et al. Eye tracking in virtual environments
JP2018073311A (ja) 操作入力システム、操作入力プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15884016

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017503317

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015884016

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE