WO2017126195A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2017126195A1
WO2017126195A1 PCT/JP2016/082934 JP2016082934W WO2017126195A1 WO 2017126195 A1 WO2017126195 A1 WO 2017126195A1 JP 2016082934 W JP2016082934 W JP 2016082934W WO 2017126195 A1 WO2017126195 A1 WO 2017126195A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information processing
processing apparatus
guidance
detection result
Prior art date
Application number
PCT/JP2016/082934
Other languages
English (en)
French (fr)
Inventor
安田　亮平
野田　卓郎
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/066,790 priority Critical patent/US10684682B2/en
Priority to CN201680078442.5A priority patent/CN108463789B/zh
Publication of WO2017126195A1 publication Critical patent/WO2017126195A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • a corneal reflection method using a cornea reflection image (also referred to as a “Purkinje image”) in which light from a light source such as an IR LED (InfraRed Light Emitting Diode) is reflected on the cornea.
  • a method using a pupil corneal reflection method and a method using a detection result of myoelectricity of an eyeball.
  • This disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of improving the accuracy in estimating the user's line of sight.
  • an information processing apparatus including a processing unit that acquires information regarding gaze corresponding to the user based on a detection result of the user's head and a detection result of the user's line of sight.
  • the information processing apparatus includes a step of acquiring information regarding the gaze corresponding to the user based on the detection result of the user's head and the detection result of the user's line of sight. An information processing method is provided.
  • FIG. 1 is an explanatory diagram for explaining an example of a calibration method for a detection result of a line of sight, and shows an example of a captured image obtained by capturing the eyes of a user.
  • an optical axis and a visual axis As an axis related to the user's line of sight, as shown in FIG. 1, there are an optical axis and a visual axis.
  • the optical axis is a corneal normal passing through the center of the pupil.
  • the corneal center position three-dimensional position of the corneal center (corneal curvature center)
  • the pupil center position three-dimensional position of the pupil center
  • the optical axis can be estimated using, for example, an eyeball 3D model.
  • the visual axis cannot be estimated using an eyeball 3D model like the optical axis. Therefore, the line-of-sight detection result using the corneal reflection method is, for example, viewed by the user identified based on the direction indicated by the detected optical axis, the vector indicating the detected optical axis, and the detected optical axis. Examples include detection results based on the optical axis, such as one or more of the positions.
  • the visual axis is a line connecting the node (the central rear surface of the crystalline lens) and the fovea, and corresponds to the axis that the user (person) is actually looking at. As shown in FIG. 1, the visual axis and the optical axis do not coincide with each other, and the visual axis is inclined by about 4 [°] to 8 [°] with respect to the optical axis. Further, there are individual differences in how the visual axis is tilted with respect to the optical axis.
  • Calibration is performed in order to further reduce the deviation of the visual axis relative to the optical axis as described above (“offset” shown in FIG. 1).
  • the visual axis cannot be estimated using the eyeball 3D model like the optical axis. Therefore, the visual axis is estimated by calibrating the optical axis, for example, according to the following procedure. Estimate the optical axis when the user views a certain point in the field of view (hereinafter referred to as “calibration point”). The difference between the vector from the center of corneal curvature to the calibration point and the vector of the optical axis is taken. Using the calibration information based on the difference, the visual axis at the time point is estimated from the optical axis when the arbitrary point is seen.
  • the calibration information includes, for example, a correction coefficient for correcting a visual axis shift (“offset” shown in FIG. 1) with respect to the optical axis.
  • the correction coefficient used for calibration differs depending on the orientation of the eyeball. Therefore, when performing calibration, a plurality of calibration points (for example, 5 to 9 points) in the normal visual field are used.
  • a plurality of calibration points for example, 5 to 9 points
  • One reason why the correction coefficient varies depending on the direction of the eyeball is, for example, that rotation in the roll direction is added depending on the viewing direction because the eyeball rotates due to muscle pulling.
  • the correction coefficient indicated by the calibration information is calculated by, for example, calculating a correlation coefficient from the distribution of the calibration points and the distribution of the sampled data after performing calibration at each of the plurality of calibration points. It is obtained by obtaining a correction coefficient from the obtained correlation coefficient.
  • the correction coefficient indicated by the calibration information can be obtained, for example, by using the technique described in Patent Document 1 filed by the applicant.
  • the sampled data used to obtain the correction coefficient indicated by the calibration information in the information processing method according to the present embodiment includes data corresponding to a predetermined eye angle.
  • the sampled data according to the present embodiment is acquired based on the detection result of the head and the detection result of the line of sight. That is, the calibration information according to the present embodiment is acquired based on, for example, a head detection result and a line-of-sight detection result.
  • sampled data for obtaining calibration information may be referred to as “calibration calculation detection data”.
  • the method for obtaining the correction coefficient indicated by the calibration information is not limited to the example described above.
  • the information processing apparatus according to the present embodiment may obtain the correction coefficient by an arbitrary method capable of calculating the correction coefficient using the sampled data according to the present embodiment.
  • the optical axis is calibrated using the calibration information, so that the visual axis that is actually viewed by the user is estimated.
  • the information processing apparatus ensures calibration accuracy by, for example, the following processing. -When the user's eye movement is not settled, the user's gaze detection result is ignored. If the difference between the vector connecting the user's eye position and the calibration point and the vector of the optical axis is greater than a predetermined value, the detection result of the user's line of sight is ignored. When the calculated contribution rate of the correlation coefficient (a value indicating the strength of correlation) is equal to or less than a set threshold value (or when the contribution rate is smaller than the threshold value), calibration is performed again ( Retry calibration).
  • FIG. 2 is an explanatory diagram for explaining one factor that hinders improvement in the estimation accuracy of the visual axis.
  • FIG. 2 shows an example in which five calibration points are displayed on the display screen D, and calibration is performed using the five calibration points.
  • Examples of the display screen D include a “display screen of a display device” and a “wall on which an image is projected by an image projection device such as a projector” (hereinafter the same).
  • FIG. 2 shows an example in which the angle of the eye with respect to the front direction of the head does not change even when the user looks at different calibration points.
  • 2A shows a case where the user is looking at the calibration point P1
  • FIG. 2B shows a case where the user is looking at the calibration point P2.
  • the angle of the eyeball hardly changes.
  • the sight line detection result is calibrated using the acquired calibration information, the deviation of the sight axis relative to the optical axis ("offset" shown in FIG. 1) can be made sufficiently small. It is not always possible.
  • the information regarding the gaze according to the present embodiment includes data indicating one or both of the estimated gaze direction and the estimated gaze position.
  • the gaze direction according to the present embodiment includes, for example, a center direction perceived by the user
  • the gaze position according to the present embodiment includes, for example, a position perceived by the user.
  • the head detection result according to the present embodiment includes, for example, information indicating one or both of the detected head position and face orientation.
  • the head detection result according to the present embodiment is acquired by, for example, the following method.
  • the acquisition method of the detection result of the head concerning this embodiment is not restricted to the example shown below, You may acquire by the arbitrary methods which can detect (or estimate) a head.
  • a method of imaging the head with an imaging device installed in the environment and detecting it with the captured image for example, motion capture method
  • a method of imaging an environment with an imaging device attached to the head side and detecting it with a captured image for example, a method of detecting by imaging a marker installed in the environment, SLAM (Simultaneous Localization And Mapping), etc.
  • a method of detecting with a motion sensor for example, one or more of an acceleration sensor, an angular velocity sensor, and a geomagnetic sensor
  • processing related to acquisition of a head detection result may be performed by the information processing apparatus according to the present embodiment, or information according to the present embodiment. It may be performed in an external device of the processing device.
  • the information processing apparatus according to the present embodiment relates to the head detection result acquired from the external apparatus according to the information processing method according to the present embodiment. Used for processing.
  • Examples of the visual line detection result according to the present embodiment include information indicating the optical axis of the user (for example, data indicating an optical axis vector).
  • the line-of-sight detection result according to the present embodiment is acquired by, for example, the following method.
  • the acquisition method of the gaze detection result which concerns on this embodiment is not restricted to the example shown below, You may acquire by the arbitrary methods which can detect a gaze (or estimate).
  • the processing related to the acquisition of the line-of-sight detection result such as the processing of the captured image and the processing of the detection data of the myoelectric sensor may be performed by the information processing apparatus according to the present embodiment, or according to the present embodiment. It may be performed in an external device of the information processing apparatus.
  • the information processing apparatus according to the present embodiment relates the line-of-sight detection result acquired from the external device to the information processing method according to the present embodiment. Used for processing.
  • FIG. 3 and FIG. 4 are explanatory diagrams for explaining the information processing method according to the present embodiment, each showing an example of a device related to acquisition of a user's head detection result and a user's gaze detection result. ing. 3 and 4 show a case where the user is looking at the display screen D. FIG.
  • FIG. 3 shows, for example, “an example in which a gaze detection result is obtained by a corneal reflection method using a captured image captured by a spectacle-type eyewear G including a gaze detection imaging device that images the user's eyes”. Show. Also, FIG. 3 shows, for example, “images obtained by imaging the markers M1, M2, M3,... Mounted on the user's head by the imaging devices C1, C2, C3, C4, C5,. An example in which a head detection result is obtained by a motion capture method using an image is shown.
  • ⁇ Adjust the marker mounting position and angle ⁇ At each time point, it is expected that the accuracy will be the highest among the captured images obtained by the imaging devices C1, C2, C3, C4, C5,. Select the captured image of the imaging device.-Guide the user's standing position and face orientation to a place where accuracy can be ensured.
  • FIG. 4 is similar to the example illustrated in FIG. 3, for example, by “a corneal reflection method using a captured image captured by a spectacle-type eyewear G including an imaging device for detecting a sight line that captures the user's eyes”. An example in which a detection result of “is obtained” is shown.
  • FIG. 4 shows, for example, “an example detected by self-position identification based on a captured image captured by an imaging device (not shown) installed in the environment”.
  • the information processing apparatus calibrates the line-of-sight detection result based on calibration information corresponding to a predetermined eye angle.
  • the information processing apparatus acquires gaze information based on the head detection result and the calibrated gaze detection result.
  • the detection result of the calibrated line of sight includes, for example, information indicating the visual axis estimated based on the optical axis (for example, data indicating the visual axis vector).
  • the calibration information corresponding to the predetermined eye angle is acquired based on the detection result of the head and the detection of the line of sight, for example, by a guidance process described later.
  • the predetermined eye angle according to the present embodiment is determined by, for example, setting a range in which the line of sight is used without moving the head (hereinafter, referred to as “line of sight use range”).
  • line of sight use range a range in which the line of sight is used without moving the head.
  • the line-of-sight usage range follows the direction of the face.
  • the line-of-sight usage range corresponds to the eye swing width.
  • FIG. 5 is an explanatory diagram showing an example of the line-of-sight usage range R according to the present embodiment.
  • the visual line usage range R is defined by a vertical visual line usage range Rh and a horizontal visual line usage range Rv.
  • the predetermined eye angle according to the present embodiment corresponds to, for example, the eye angle when the eyes are moved from the center position of the line-of-sight usage range R to the vertex position of the line-of-sight usage range R.
  • FIG. 6 is an explanatory diagram showing an example of a method for setting the line-of-sight usage range R according to the present embodiment.
  • FIG. 6 shows an example of a method for setting the line-of-sight usage range R on a display screen of a display device or a display screen projected on a wall or the like.
  • the line-of-sight usage range R is set based on, for example, the line-of-sight usage range on the display screen D, the position of the user's face, and the distance d between the display screens D.
  • the information processing apparatus according to the present embodiment refers to, for example, a line-of-sight usage range by referring to a table (or database) in which the size of the line-of-sight usage range, the distance, and the size of the line-of-sight usage range R are associated. Set R.
  • the information processing apparatus according to the present embodiment may set the line-of-sight usage range R by an arbitrary algorithm that can set the line-of-sight usage range R using the line-of-sight usage range and the distance d.
  • the line-of-sight usage range on the display screen D is, for example, the entire drawing area on the display screen D, the range corresponding to the software window size, or the user interface (hereinafter referred to as “UI” (User Interface)). It is determined by the range corresponding to the size according to. Further, the position of the user's face includes a position indicated by a head detection result at a certain time.
  • the distance d may be a set fixed value, or may be a value detected by an arbitrary method such as a method using a distance sensor (or a value estimated by an arbitrary method). Good.
  • FIG. 7 is an explanatory diagram showing another example of a method for setting the line-of-sight usage range R according to the present embodiment.
  • FIG. 7 shows an example of a method for setting the line-of-sight usage range R on the display screen of a wearable device worn on the user's head, such as a head-mounted display or eyewear.
  • FIG. 7 shows an example in which the wearable device worn on the head is a transmissive wearable device that allows the wearing user to see the real space together with the image displayed on the display screen.
  • the wearable device worn on the head is a shielded wearable device in which the worn user cannot see the real space together with the image displayed on the display screen, the same method as in FIG. A line-of-sight usage range R is set.
  • the display screen D is a display screen of a transmissive wearable device, for example, as shown in FIG. 7, a field of view that can be seen through a wearable device frame larger than the display screen D or through the lens of the wearable device. , Set as the line-of-sight usage range R.
  • the line-of-sight usage range R is set by the method described with reference to FIGS. 6 and 7, for example. Needless to say, the method of setting the line-of-sight usage range R is not limited to the method described with reference to FIGS. Also, the line-of-sight usage range R can be adjusted after being set, as will be described later.
  • the information processing apparatus calibrates the line-of-sight detection result based on the calibration information corresponding to the predetermined eye angle according to the present embodiment.
  • the predetermined eye angle according to the present embodiment is determined based on a line-of-sight usage range that is a range in which the user uses the line of sight without moving the head.
  • the information processing apparatus has a case where the user's eye swing width is too large, the user's eye swing width is too small, or the user's eye swing width is uneven. It is possible to calibrate the detection result of the line of sight using calibration information that can improve the accuracy of estimation regarding the line of sight of the user as compared with the calibration information corresponding to the case.
  • the information processing apparatus can improve the accuracy in estimating the user's line of sight by performing the processing according to the information processing method according to the present embodiment.
  • the processes related to the information processing method according to this embodiment are not limited to the processes described above. Hereinafter, other processes according to the information processing method according to the present embodiment will be described.
  • the information processing apparatus according to the present embodiment may perform, for example, one or both of the following process (1) and the following process (2) as a process related to the information processing method according to the present embodiment. Is possible.
  • the information processing apparatus When acquiring calibration information, the information processing apparatus according to the present embodiment performs a guidance process for guiding the user so that the angle of the user's eyes is a predetermined angle.
  • FIG. 8 is an explanatory diagram for explaining guidance processing according to the information processing method according to the present embodiment.
  • FIG. 8A shows an example of an eye coordinate system
  • FIG. 8A shows a right-hand coordinate system
  • FIG. 8B shows an example of the set line-of-sight usage range R, and eye angle guidance points P1, P2, P3, P4, and P5 corresponding to the line-of-sight usage range R.
  • the guidance point for the angle of the eye for example, the positions of the vertices of the line-of-sight usage range R can be cited as in the guidance points P1, P2, P3, and P4 shown in FIG.
  • the guidance point of the eye angle may be the center position of the line-of-sight usage range R (or any position within the line-of-sight usage range R), for example, as a guidance point P5 shown in FIG.
  • the guide point of the eye angle is not limited to one point, and may be a region including the position of the vertex of the line-of-sight usage range R and the center position of the line-of-sight usage range R.
  • the guidance point of the eye angle may be referred to as a “guidance region”.
  • FIGS. 9 to 12 are explanatory diagrams for explaining the flow of obtaining calibration information by performing the guidance processing according to the present embodiment.
  • the flow of acquiring calibration information by performing the guidance process will be described with reference to FIGS. 9 to 12 as appropriate.
  • the information processing apparatus guides the orientation of the face in a state where the user gazes at one point on the display screen D.
  • the center position of the line-of-sight usage range R can be cited.
  • one point on the display screen D that the information processing apparatus according to the present embodiment gazes at is not limited to the center position of the line-of-sight usage range R.
  • the information processing apparatus displays a marker (an example of a predetermined object described later) on the display screen D, thereby causing the user to pay attention to one point on the display screen D.
  • the information processing apparatus displays a marker on the display screen D by transmitting a control signal including a display command to the display device or the image projection device.
  • FIG. 10A shows an example of the angle of the eye when the user is gazing at the marker on the display screen D.
  • the information processing apparatus guides the angle of the eye to a predetermined angle by guiding the face direction while gazing at the marker.
  • FIG. 10A shows an example in which the angle of the eye is guided to the guidance point P1.
  • the information processing apparatus when the eye angle is guided to the guidance point P1, the information processing apparatus according to the present embodiment samples data in a state of being guided to the guidance point P1.
  • the information processing apparatus according to the present embodiment determines, for example, that sampling of data at the guidance point P1 is completed when a set number of data is obtained.
  • FIG. 10C illustrates an example in which the information processing apparatus according to the present embodiment changes the guidance point P1 to a guidance point P1 ′ that reduces the guidance range for guiding the user.
  • FIG. 11 shows an example of the line-of-sight usage range after calibration is performed.
  • R1 shown in FIG. 11 indicates the set line-of-sight usage range
  • R2 shown in FIG. 11 indicates the line-of-sight usage range in which calibration could actually be performed.
  • the line-of-sight use range becomes smaller than the set initial line-of-sight use range.
  • FIG. 12 shows another example of the visual line usage range after calibration is performed.
  • R1 illustrated in FIG. 12 indicates the set line-of-sight usage range
  • R2 illustrated in FIG. 12 indicates the line-of-sight usage range in which calibration could actually be performed.
  • Rmin shown in FIG. 12 indicates the minimum range of the line-of-sight usage range that has been set.
  • the minimum range Rmin of the line-of-sight usage range is, for example, a line-of-sight usage range that is set in order to ensure accuracy in estimation regarding the line of sight.
  • the minimum range Rmin of the line-of-sight use range may be a fixed line-of-sight use range set in advance, or may be a variable line-of-sight use range that can be changed based on a user operation or the like.
  • the minimum range Rmin of the line-of-sight usage range may be set for each software that uses information regarding gaze.
  • the line-of-sight usage range R ⁇ b> 2 that can actually be calibrated is the minimum of the line-of-sight usage range.
  • the range Rmin is not satisfied, there is a possibility that the accuracy in the estimation regarding the line of sight cannot be ensured.
  • the information processing apparatus may perform the following process as an exception process.
  • ⁇ Retry calibration when the wearable device to be worn on the head is used, the information processing apparatus according to the present embodiment confirms the wearing state of the wearable device by, for example, one or both of an image and sound. The user may be prompted. ⁇ Finish calibration and do not let the software use gaze information. At this time, the information processing apparatus according to the present embodiment may notify the user that the line of sight cannot be used by one or both of displaying an error screen and outputting an error sound.
  • the information processing apparatus can end the calibration and cause the software to use the information regarding the gaze as it is.
  • the information processing apparatus may change the UI to be displayed in anticipation of a decrease in accuracy of estimation regarding the line of sight.
  • Examples of UI changes include, for example, reducing the number of display objects and increasing the size of an object in the case of a UI for selecting a menu object by line of sight.
  • the information processing apparatus may switch each exception processing as described above based on a comparison result between the line-of-sight usage range R2 and the minimum range Rmin.
  • the information processing apparatus switches each exception process by threshold processing using, for example, the size of an area where the line-of-sight usage range R2 does not satisfy the minimum range Rmin and one or more thresholds.
  • the guidance process according to the present embodiment includes, for example, one of the processes shown in (1-1) to (1-4) below, or of these processes: The process which combined 2 or more which can be combined is mentioned.
  • the information processing apparatus guides the user to change the face orientation while viewing a predetermined object displayed on the display screen. .
  • the information processing apparatus guides the user by one or more of a visual guidance method, an auditory guidance method, and a tactile guidance method.
  • examples of guidance by the guidance processing according to the first example include the following examples (A) to (D).
  • the information processing apparatus guides the user by, for example, displaying an instruction object that instructs the face direction on the display screen as a predetermined object.
  • Examples of the pointing object include an object that indicates the face direction with an arrow, an object that indicates the face direction using a model indicating the face direction, or an object obtained by combining these.
  • the pointing object according to the present embodiment is not limited to the example shown above, and may be any object that can indicate the orientation of the face by being displayed on the display screen.
  • FIG. 13 is an explanatory diagram for explaining guidance processing according to the information processing method according to the present embodiment, and shows an example of visual guidance.
  • FIG. 13 shows an example in which the user is guided by display on the display screen D, and shows an example in which the user is guided by an instruction object that indicates the face direction with an arrow.
  • FIG. 13A shows an example of a guide screen for guidance.
  • B of FIG. 13 shows an example of a guidance screen by the pointing object
  • C of FIG. 13 shows another example of the guidance screen by the pointing object.
  • FIG. 13B shows an example in which the pointing object M1 is displayed at the position of the display screen that the user continues to watch while moving the face.
  • the direction of the arrow indicated by the pointing object M1 in FIG. 13 changes so that, for example, the eye angle enters the guidance region (eye angle guidance point).
  • the pointing object changes to an object that does not indicate a direction as indicated by M2 in FIG.
  • FIG. 13C shows an example in which the indication object M1 is displayed at the position of the display screen corresponding to each of the guidance regions (eye angle guidance points).
  • the guidance method using the pointing object is the same as when the guidance screen shown in FIG. 13B is displayed.
  • FIG. 14 is an explanatory diagram for explaining guidance processing according to the information processing method according to the present embodiment, and shows another example of visual guidance.
  • FIG. 14 shows another example in which the user is guided by display on the display screen D, and shows an example in which the user is guided by an instruction object that indicates the face direction using a model indicating the face direction.
  • FIG. 14A shows an example of a guide screen for guidance.
  • B of FIG. 14 shows an example of the guidance screen by the pointing object
  • C of FIG. 14 shows another example of the guidance screen by the pointing object.
  • FIG. 14B shows an example in which the indication object M1 is displayed at the position of the display screen that the user keeps watching while moving the face.
  • the orientation of the face of the model indicated by the pointing object M1 in FIG. 14 changes so that the eye angle enters the guidance region (eye angle guidance point), for example, as indicated by M2 in FIG.
  • the pointing object is changed to, for example, a model facing the front or an object that does not indicate a direction as indicated by M2 in FIG.
  • an object M3 indicating the current face direction of the user may be displayed on the display screen D in addition to the instruction object M1, as in the guidance screen shown in FIG.
  • FIG. 14C shows an example in which the indication object M1 and the object M3 facing the front are displayed in a superimposed manner.
  • a user when a user is guided by a pointing object that indicates the face direction using a model indicating the face direction, as shown in FIG. 13C, display screens corresponding to the respective guidance areas (guidance points of the eye angle)
  • the pointing object M1 may be displayed at the position.
  • processing related to visual guidance is not limited to the example described with reference to FIGS.
  • the information processing apparatus may change the face orientation indicated by the pointing object.
  • Examples of changing the direction of the face indicated by the pointing object include, for example, “the direction of the pointing face is opposite to the guiding direction immediately before the face direction is no longer detected”, “the direction of the pointing face Can be changed to a specific pattern such as rotating the user's neck once, or “the direction of the indicated face can be changed randomly”.
  • FIG. 15 is an explanatory diagram for explaining guidance processing according to the information processing method according to the present embodiment, and is displayed on the display screen D when the orientation of the face is not detected when guidance is not completed. An example of changing the indicated object is shown.
  • the information processing apparatus When guidance is performed using the instruction object M1 illustrated in A of FIG. 15, when the face orientation is not detected, the information processing apparatus according to the present embodiment, for example, displays an instruction displayed on the display screen D.
  • the object is changed to an instruction object M2 shown in FIG.
  • B of FIG. 15 shows an example in which the pointing object M2 is changed to the pointing object M2 whose direction is opposite to that of the pointing object M1.
  • the information processing apparatus when the face orientation is detected again by changing to the instruction object M2, the information processing apparatus according to the present embodiment guides the guidance object to the guidance area (eye angle guidance point). M3 is displayed.
  • the possibility that the user's face orientation is detected again by changing the face orientation indicated by the pointing object when the face orientation is not detected when the guidance is not completed It becomes possible to raise more. Therefore, when the orientation of the face is not detected when the guidance is not completed, the guidance can be completed more reliably by changing the orientation of the face designated by the pointing object.
  • the information processing apparatus may reduce the guidance range for guiding the user.
  • the information processing apparatus guides the user by changing the guide point of the eye angle so that the guide range for guiding the user is reduced. Reduce the guidance range.
  • the information processing apparatus has a load for the user to move his / her face based on a comparison result between a predetermined angle corresponding to the guidance region (guidance point of the eye angle) and the user's eye angle.
  • the display position of the pointing object (an example of a predetermined object) may be changed so as to reduce.
  • the information processing apparatus changes the display position of the pointing object (predetermined object) so that the difference between the predetermined angle and the user's eye angle is small.
  • FIG. 16 is an explanatory diagram for explaining the guidance processing according to the information processing method according to the present embodiment, and the display position of the pointing object displayed on the display screen D so that the load of moving the face by the user is reduced. An example of changing is shown.
  • the information processing apparatus when guidance is performed by the pointing object M1, the information processing apparatus according to the present embodiment has the user's eye angle with respect to the guidance area (eye angle guidance point). It is determined whether or not the predetermined range is set.
  • the information processing apparatus according to the present embodiment for example, when the difference value between the predetermined angle and the user's eye angle is smaller than a set threshold value (or when the difference value is equal to or less than the threshold value). ) Is determined to be within a predetermined range.
  • the information processing apparatus when it is determined that the angle of the user's eyes is within a predetermined range set with respect to the guidance area, the information processing apparatus according to the present embodiment, as shown in FIG.
  • the display position of the pointing object M1 is changed.
  • the information processing apparatus according to the present embodiment changes the display position of the pointing object M1 so that the angle of the user's eyes approaches the guidance region (eye angle guidance point).
  • the information processing apparatus can reduce the load of the user moving the face during guidance.
  • the information processing apparatus guides the user, for example, by outputting a voice instructing the face direction from a voice output device such as a speaker.
  • FIG. 17 is an explanatory diagram for explaining guidance processing according to the information processing method according to the present embodiment, and shows an example of auditory guidance.
  • FIG. 17 shows an example in which the user is guided by a voice instructing the face direction.
  • FIG. 17A shows an example of a guide screen for guidance.
  • FIG. 17B and FIG. 17C show examples of the guidance screen.
  • the guidance screen shown in B of FIG. 17 is displayed, and the voice for instructing the orientation of the face as shown by reference numeral S1 in FIG. Is output.
  • the information processing apparatus outputs a voice indicating the relationship between the guidance area (guidance point of the eye angle) and the eye angle, as indicated by reference numeral S2 in FIG. May be.
  • examples of the voice indicating the relationship between the guidance area and the eye angle include a voice in which the relation between the guidance area and the eye angle is represented by the pitch of the voice.
  • the eye angle enters the guidance area Example ".
  • processing related to auditory guidance is not limited to the example described with reference to FIG.
  • the information processing apparatus when the angle of the eye enters the guidance region, the information processing apparatus according to the present embodiment provides vibration feedback by vibrating a vibration device having an actuator or the like attached to the user's head. You may also go further.
  • the information processing apparatus is based on a comparison result between a predetermined angle corresponding to the guidance area (guidance point of the eye angle) and the angle of the user's eye, as in (A) above.
  • the display position of a marker (an example of a predetermined object) that causes the user to continue watching as shown in FIG. 17 may be changed so that the load of moving the face by the user is reduced.
  • the information processing apparatus may be tactilely guided by vibration feedback, for example.
  • tactile guidance for example, “when a plurality of vibration devices respectively corresponding to the face-facing directions are mounted on the user's head, the vibration devices corresponding to the guidance directions are vibrated.” Is mentioned.
  • the information processing apparatus can also perform guidance by combining two or more of the guidance methods shown in (A) to (C) above. is there.
  • the user is guided to change the face orientation while viewing a predetermined object displayed on the display screen.
  • the guidance processing according to the first example is performed, for example, it is not necessary to move the user's line of sight, and the eye keeps looking at one point, so that the detection data for calibration calculation can be sampled continuously. There is an advantage of being.
  • the information processing apparatus guides the user by displaying an object that follows the face direction on the display screen.
  • the object that follows the direction of the face corresponds to a predetermined object that allows the user to keep watching.
  • FIGS. 18 to 22 are explanatory diagrams for explaining the guidance processing according to the information processing method according to the present embodiment.
  • FIG. 18 shows an example of the user's movement when the user moves an object that follows the direction of the face.
  • 19 to 22 show examples of guidance by an object that follows the orientation of the face displayed on the display screen D, respectively.
  • an example of the guidance process according to the second example will be described with reference to FIGS. 19 to 22 as appropriate.
  • FIG. 19A shows an example of a guide screen for guidance.
  • the object S corresponds to an object that follows the direction of the face.
  • the marker M corresponds to an object corresponding to the guidance area (guidance point of the eye angle).
  • the information processing apparatus uses, for example, one or more of a visual method, an auditory method, and a tactile method.
  • Feedback to the user may be performed.
  • FIG. 19B shows an example in which feedback is given to the user by a visual method.
  • the marker M When a predetermined number of samplings are completed in the marker M corresponding to the current guidance area and another guidance area exists, the marker M is displayed at a position corresponding to the other guidance area, and to the other guidance area. Is guided.
  • FIG. 20 shows an example in which data relating to the line of sight is sampled by moving the marker S on the object O that rotates according to the orientation of the face to the target position M.
  • the marker S corresponds to an object that follows the direction of the face.
  • the marker M corresponds to an object corresponding to the guidance area (guidance point of the eye angle).
  • the information processing apparatus uses, for example, one or more of a visual method, an auditory method, and a tactile method. , Feedback to the user may be performed.
  • FIG. 21 shows an example in which data relating to the line of sight is sampled by changing the tunnel display so that the tip of the tunnel can be seen at the position of the marker M using the tunnel display in which the curve changes according to the orientation of the face.
  • the tunnel display corresponds to an object that follows the direction of the face.
  • the marker M corresponds to the object corresponding to the guidance area (guidance point of the eye angle).
  • the information processing apparatus is, for example, one of a visual method, an auditory method, and a tactile method. Alternatively, feedback to the user may be performed by two or more.
  • the tunnel display shows a state in which the end of the tunnel can be seen, but when the marker M is not in a state in which the end of the tunnel can be seen, the information processing apparatus according to the present embodiment (For example, the standing position) may be guided so that the tip of the tunnel can be seen at the position of the marker M.
  • the user's position is estimated based on, for example, a captured image captured by an imaging device arranged in the environment.
  • the information processing apparatus according to the present embodiment guides the position of the user by one or more of a visual method, an auditory method, and a tactile method, for example.
  • FIG. 22 shows the locus S when the head is rotated as shown in FIG. 18 on the display screen D, and the magnitude of the movement for rotating the head is made larger than the marker M1, whereby the data relating to the line of sight is displayed. Shows an example of sampling.
  • the trajectory S corresponds to an object that follows the direction of the face.
  • the marker M1 corresponds to an object corresponding to the guidance area (guidance point of the eye angle).
  • the shape of the marker that is the object corresponding to the guidance area (the guidance point of the eye angle) is set by the guidance point.
  • 22A shows a marker M1 that is a circular marker and a marker M2 that is a rectangular marker as an example of a marker that is an object corresponding to the guidance area (guidance point of the eye angle).
  • the magnitude of the movement for rotating the head as shown in B of FIG. 22 when the magnitude of the movement for rotating the head as shown in B of FIG. 22 is not larger than the marker M1, the magnitude of the movement for rotating the head as shown in C of FIG.
  • the data relating to the line of sight is sampled as detection data for calibration calculation.
  • the detection data for calibration calculation is acquired continuously.
  • FIG. 22C shows an example in which a state in which the magnitude of the movement of rotating the head is larger than the marker M1 is fed back to the user by a visual method.
  • Examples of the guidance processing according to the second example include the examples shown in (a) to (d) above. Needless to say, examples of guidance by displaying an object that follows the orientation of the face on the display screen are not limited to the examples shown in (a) to (d) above.
  • the user is guided by displaying an object that follows the orientation of the face on the display screen.
  • the guidance processing according to the second example is performed, for example, the user can move his / her face while obtaining feedback on how much to move, so that the user can easily understand the guidance. There is.
  • the information processing apparatus guides the user by controlling a device that changes the movement of the head.
  • the information processing apparatus transmits, for example, a control signal including a command for controlling the operation of the device that changes the movement of the head to the device that changes the movement of the head. Control the device that changes the movement of the.
  • a device that changes the movement of the head a device that stimulates the head, a device that stimulates muscles that act on the rotation of the head, a device that supports the head such as a headrest, etc. Is mentioned.
  • FIG. 23 is an explanatory diagram for explaining guidance processing according to the information processing method according to the present embodiment, and shows an example of guidance by controlling a device that changes the movement of the head.
  • FIG. 23A shows a case where the device is guided by the device D1 for stimulating the head.
  • the device D1 for stimulating the head is mounted on the user's head, for example, and induces rotation of the head by stimulating the head.
  • Examples of the device D1 for stimulating the head include a device using hanger reflection.
  • FIG. 23B shows a case where the device is guided by the device D2 that performs stimulation to the muscles that act on the rotation of the head.
  • a device D2 for stimulating muscles acting on the head rotation is attached to a site where muscles acting on the head rotation exist, such as a neck portion, and the head is stimulated by electrical stimulation. Trigger the rotation.
  • FIG. 23C shows a case where the device is guided by a device D3 that supports the head, such as a headrest.
  • the device D3 that supports the head supports the user's head and rotates the head by applying an external force to the head.
  • controlling a device that changes the movement of the head as shown in FIG. for example, controlling a device that changes the movement of the head as shown in FIG.
  • the example of the device that changes the movement of the head is not limited to the example shown in FIG. 23, and may be any device that can change the movement of the head.
  • the user is guided by controlling the device that changes the movement of the head as described above.
  • the guidance processing according to the third example is performed, for example, the user's head moves freely by a device that changes the movement of the head, so that there is an advantage that the user can concentrate on watching. is there.
  • the information processing apparatus may further guide the user to change the user's position (for example, standing position).
  • the position of the user is estimated based on, for example, a captured image captured by an imaging device arranged in the environment.
  • the information processing apparatus guides the position of the user by one or more of a visual method, an auditory method, and a tactile method, for example.
  • the present embodiment can also notify the user of the state of the user's guidance.
  • the information processing apparatus according to the present embodiment notifies the user of the state of guidance of the user by one or more of a visual method, an auditory method, and a tactile method, for example.
  • the information processing apparatus may perform guidance processing corresponding to software that uses information regarding gaze.
  • the information processing apparatus refers to, for example, a table (or database) in which information indicating software (for example, software ID) and information indicating guidance processing (for example, guidance processing ID) are associated with each other.
  • information indicating software for example, software ID
  • information indicating guidance processing for example, guidance processing ID
  • the information processing apparatus performs, for example, the above processing as the guidance processing.
  • the information processing apparatus according to the present embodiment performs guidance processing to guide the user, for example, the following effects are achieved.
  • -It is not limited to the size of the calibration point display area, and the user's eyes can be shaken within a desired range.
  • the information processing apparatus performs processing for controlling software that uses information regarding gaze.
  • software that uses information regarding gaze include OS (Operating System), system software, and application software.
  • the information processing apparatus causes software to perform an operation corresponding to one or both of the gaze direction and the gaze position indicated by the gaze information, for example.
  • the software controlled by the information processing apparatus according to the present embodiment may be software executed in the information processing apparatus according to the present embodiment, or in an external device of the information processing apparatus according to the present embodiment. It may be software that is being executed.
  • the software controlled by the information processing apparatus according to the present embodiment is software executed by an external apparatus
  • the information processing apparatus according to the present embodiment outputs a control signal including a control command for controlling the software,
  • the software is controlled by transmitting to the external device.
  • the information processing apparatus can perform UI control as software control.
  • the information processing apparatus determines the size of the UI to be displayed on the display screen based on the detection result of the head and the line-of-sight usage range set when the calibration information is acquired. Then, the information processing apparatus according to the present embodiment displays the UI having the determined size on the display screen.
  • FIG. 24 is an explanatory diagram for explaining an example of software control processing according to the information processing method according to the present embodiment, and shows an example of UI control.
  • each area indicated by reference characters SC1 and SC2 in the display screen D corresponds to an example of a UI corresponding to software.
  • the area indicated by reference characters SC1 and SC2 is an operation screen for the user to perform an operation with a line of sight will be described.
  • the operation screens SC1 and SC2 are positions at which the user faces (for example, It is displayed in a gaze direction indicated by information related to gaze or a position corresponding to a gaze position indicated by information related to gaze.
  • the information processing apparatus for example, the distance from the front of the user's face to the display screen D based on the line-of-sight use range (calibrated eye swing width), the detection result of the head, and the like. Based on the above, the size of the UI to be displayed on the display screen is determined.
  • the information processing apparatus displays, for example, on the display screen by referring to “a table (or database) in which settings indicating the line-of-sight usage range, distance, and UI size are associated”. The size of the UI to be determined is determined.
  • the user selects an object related to the UI such as a menu item included in the operation screens SC1 and SC2 with a line of sight.
  • an arbitrary determination operation such as an operation of an operation device such as a button, an operation by voice, or an operation of a gesture, for example, processing corresponding to the object related to the selected UI is performed. Is called.
  • the information processing apparatus determines the size of the UI to be displayed on the display screen as described above, for example, can ensure the detection accuracy of the line of sight, and can improve the visibility of the UI. Can be increased.
  • FIG. 25 is a flowchart illustrating an example of processing according to the information processing method according to the present embodiment.
  • the information processing apparatus sets an eye angle guidance target (S100).
  • the information processing apparatus sets eye angle guidance targets in the order of eye angle guidance points P5, P1, P2, P3, and P4 shown in FIG. 8B, for example.
  • the setting example of the eye angle guidance target is not limited to the example shown above.
  • the information processing apparatus detects the user's line of sight and the position and orientation of the head based on the detection result of the user's head and the detection result of the user's line of sight (S102).
  • the information processing apparatus updates the user guidance expression and the feedback expression based on the detection result in step S102 (S104).
  • the information processing apparatus determines whether the eye angle is within the guidance target range (S106).
  • the information processing apparatus determines that the eye angle is within the guidance target range when the eye angle enters the guidance area (guidance point of the eye angle).
  • step S106 If it is not determined in step S106 that the eye angle is within the guidance target range, the information processing apparatus according to the present embodiment repeats the processing from step S102.
  • the information processing apparatus If it is determined in step S106 that the eye angle is within the guidance target range, the information processing apparatus according to the present embodiment satisfies a condition that can be used as a calibration point. Is determined (S108). Examples of conditions that can be used as calibration points include conditions related to the above-described processing for ensuring the accuracy of calibration (such as the movement of the user's eyes being settled). .
  • step S108 If it is not determined in step S108 that the condition that can be used as a calibration point is satisfied, the information processing apparatus according to the present embodiment repeats the processing from step S102.
  • step S108 If it is determined in step S108 that the condition that can be used as a calibration point is satisfied, the information processing apparatus according to the present embodiment samples the detection data for calibration calculation (S110).
  • the information processing apparatus determines whether or not the sampling number of the calibration calculation detection data has reached the target number (S112).
  • the information processing apparatus according to the present embodiment determines that the sampling number has reached the target number, for example, when the sampling number is equal to or greater than the threshold corresponding to the target number (when the sampling number is larger than the threshold).
  • the threshold value corresponding to the target number may be a fixed value set in advance, or may be a variable value that can be changed based on a user operation or the like.
  • step S112 If it is not determined in step S112 that the sampling number has reached the target number, the information processing apparatus according to the present embodiment repeats the processing from step S102.
  • the information processing apparatus When it is determined in step S112 that the sampling number has reached the target number, the information processing apparatus according to the present embodiment has no other guidance target and does not need to retry the current guidance target. It is determined whether or not (S114).
  • the information processing apparatus for example, when the contribution ratio of the correlation coefficient calculated based on the sampled detection data for calibration calculation is equal to or less than a set threshold (or the contribution ratio is If it is smaller than the threshold value, it is determined that a retry is necessary.
  • Step S114 when it is not determined that there is no other guidance target and a retry for the current guidance target is not necessary, the information processing apparatus according to the present embodiment repeats the processing from Step S100, for example.
  • step S114 If it is determined in step S114 that there is no other guidance target and that no retry is required for the current guidance target, the information processing apparatus according to the present embodiment samples the detected calibration calculation detection data. Based on the above, a calibration process is executed (S116).
  • the information processing apparatus according to the present embodiment generates calibration information based on, for example, sampled detection data for calibration calculation.
  • the information processing apparatus according to the present embodiment calibrates the line-of-sight detection result based on, for example, calibration information.
  • the information processing apparatus performs, for example, the process illustrated in FIG. 25 as the process related to the information processing method according to the present embodiment. Note that it goes without saying that an example of processing related to the information processing method according to the present embodiment is not limited to the example shown in FIG.
  • FIG. 26 is a block diagram illustrating an example of the configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes, for example, a communication unit 102 and a control unit 104.
  • the information processing apparatus 100 is operated by, for example, a ROM (Read Only Memory. Not shown), a RAM (Random Access Memory. Not shown), a storage unit (not shown), or a user of the information processing apparatus 100.
  • a possible operation unit (not shown), a display unit (not shown) for displaying various screens on the display screen, and the like may be provided.
  • the information processing apparatus 100 connects the above constituent elements by, for example, a bus as a data transmission path.
  • a ROM (not shown) stores control data such as a program used by the control unit 104 and calculation parameters.
  • a RAM (not shown) temporarily stores a program executed by the control unit 104.
  • the storage unit is a storage unit included in the information processing apparatus 100.
  • calibration information “the size of the line-of-sight use range, the distance, and the size of the line-of-sight use range R are associated with each other.
  • examples of the storage unit (not shown) include a magnetic recording medium such as a hard disk, and a non-volatile memory such as a flash memory. Further, the storage unit (not shown) may be detachable from the information processing apparatus 100.
  • an operation input device to be described later can be cited.
  • a display part (not shown), the display device mentioned later is mentioned.
  • FIG. 27 is an explanatory diagram illustrating an example of a hardware configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes, for example, an MPU 150, a ROM 152, a RAM 154, a recording medium 156, an input / output interface 158, an operation input device 160, a display device 162, and a communication interface 164.
  • the information processing apparatus 100 connects each component with a bus 166 as a data transmission path, for example.
  • the information processing apparatus 100 is driven by, for example, power supplied from an internal power supply such as a battery provided in the information processing apparatus 100, or power supplied from a connected external power supply.
  • the MPU 150 includes, for example, one or more processors configured with arithmetic circuits such as an MPU (Micro Processing Unit) and various processing circuits, and functions as the control unit 104 that controls the entire information processing apparatus 100. . Further, the MPU 150 plays a role of, for example, the processing unit 110 described later in the information processing apparatus 100.
  • the processing unit 110 may be configured with a dedicated (or general-purpose) circuit (for example, a processor separate from the MPU 150) that can realize the processing of the processing unit 110.
  • the ROM 152 stores programs used by the MPU 150, control data such as calculation parameters, and the like.
  • the RAM 154 temporarily stores a program executed by the MPU 150, for example.
  • the recording medium 156 functions as a storage unit (not shown), and stores various data such as data related to the information processing method according to the present embodiment such as calibration information and various applications.
  • examples of the recording medium 156 include a magnetic recording medium such as a hard disk and a non-volatile memory such as a flash memory. Further, the recording medium 156 may be detachable from the information processing apparatus 100.
  • the input / output interface 158 connects, for example, the operation input device 160 and the display device 162.
  • the operation input device 160 functions as an operation unit (not shown)
  • the display device 162 functions as a display unit (not shown).
  • examples of the input / output interface 158 include a USB (Universal Serial Bus) terminal, a DVI (Digital Visual Interface) terminal, an HDMI (High-Definition Multimedia Interface) (registered trademark) terminal, and various processing circuits. .
  • the operation input device 160 is provided on the information processing apparatus 100, for example, and is connected to the input / output interface 158 inside the information processing apparatus 100.
  • Examples of the operation input device 160 include a button, a direction key, a rotary selector such as a jog dial, or a combination thereof.
  • the display device 162 is provided on the information processing apparatus 100, for example, and is connected to the input / output interface 158 inside the information processing apparatus 100.
  • Examples of the display device 162 include a liquid crystal display (Liquid Crystal Display), an organic EL display (Organic Electro-Luminescence Display, or an OLED display (Organic Light Emitting Diode Display)), and the like.
  • the input / output interface 158 can be connected to an external device such as an operation input device (for example, a keyboard or a mouse) external to the information processing apparatus 100 or an external display device.
  • the display device 162 may be a device capable of display and user operation, such as a touch panel.
  • the communication interface 164 is a communication unit included in the information processing apparatus 100, and is a communication unit 102 for performing wireless or wired communication with, for example, an external device or an external device via a network (or directly). Function as.
  • the communication interface 164 for example, a communication antenna and an RF (Radio Frequency) circuit (wireless communication), an IEEE 802.15.1 port and a transmission / reception circuit (wireless communication), an IEEE 802.11 port and a transmission / reception circuit (wireless communication). ), Or a LAN (Local Area Network) terminal and a transmission / reception circuit (wired communication).
  • RF Radio Frequency
  • the information processing apparatus 100 performs a process related to the information processing method according to the present embodiment, for example, with the configuration illustrated in FIG. Note that the hardware configuration of the information processing apparatus 100 according to the present embodiment is not limited to the configuration illustrated in FIG.
  • the information processing apparatus 100 may not include the communication interface 164 when communicating with an external apparatus or the like via a connected external communication device.
  • the communication interface 164 may be configured to be able to communicate with one or more external devices or the like by a plurality of communication methods.
  • the information processing apparatus 100 can have a configuration that does not include the recording medium 156, the operation input device 160, and the display device 162, for example.
  • the information processing apparatus 100 can take a configuration according to an application example of the information processing apparatus 100 described later, for example.
  • part or all of the configuration shown in FIG. 27 may be realized by one or two or more ICs (Integrated Circuits).
  • the communication unit 102 is a communication unit included in the information processing apparatus 100 and communicates with an external device wirelessly or by wire via a network (or directly).
  • the communication of the communication unit 102 is controlled by the control unit 104, for example.
  • examples of the communication unit 102 include a communication antenna and an RF circuit, a LAN terminal, and a transmission / reception circuit, but the configuration of the communication unit 102 is not limited to the above.
  • the communication unit 102 can have a configuration corresponding to an arbitrary standard capable of performing communication such as a USB terminal and a transmission / reception circuit, or an arbitrary configuration capable of communicating with an external device via a network.
  • the communication unit 102 may be configured to be able to communicate with one or more external devices or the like by a plurality of communication methods.
  • the control unit 104 is configured by, for example, an MPU and plays a role of controlling the entire information processing apparatus 100.
  • the control unit 104 includes, for example, a processing unit 110 and plays a role of leading the processing related to the information processing method according to the present embodiment.
  • the processing unit 110 plays a leading role in performing processing related to the information processing method according to the present embodiment, and relates to gaze corresponding to the user based on the detection result of the user's head and the detection result of the user's gaze. Get information.
  • the processing unit 110 calibrates the detection result of the line of sight based on the calibration information, and acquires information on the gaze based on the detection result of the head and the detection result of the calibrated line of sight.
  • the processing unit 110 may further perform, for example, one or both of the processing (guidance processing) shown in (1) above and the processing (software control processing) shown in (2) above.
  • FIG. 28 is a block diagram for explaining an example of functions of the processing unit 110 included in the information processing apparatus 100 according to the present embodiment.
  • FIG. 28 shows an example of a configuration when the processing unit 110 has a function of performing the process (guidance process) shown in (1) above and the process (software control process) shown in (2) above. ing.
  • the processing unit 110 includes, for example, a guidance processing unit 112, a calibration processing unit 114, a gaze detection unit 116, and a software control unit 118.
  • the guidance processing unit 112 performs the processing (guidance processing) shown in (1) above.
  • the calibration processing unit 114 generates calibration information based on, for example, sampled detection data for calibration calculation. And the calibration process part 114 respond
  • recording is performed on a storage medium (not shown) or a recording medium such as an external recording medium.
  • a set period has elapsed since the last generation of the calibration information. In this case, it is performed when an operation for performing calibration is detected.
  • the calibration processing unit 114 calibrates the line-of-sight detection result based on the calibration information, for example.
  • the gaze detection unit 116 acquires information related to gaze corresponding to the user based on the detection result of the user's head and the detection result of the user's gaze.
  • the gaze detection unit 116 acquires gaze information based on the head detection result and the calibrated gaze detection result. To do.
  • the gaze detection unit 116 estimates one or both of the gaze direction and the gaze position based on the detection result of the user's head and the detection result of the user's gaze (or the calibrated gaze detection result). By doing so, information on gaze is acquired.
  • the software control unit 118 performs the process (software control process) shown in (2) above.
  • the processing unit 110 has a configuration shown in FIG. 28, for example, and plays a role of leading the processing related to the information processing method according to the present embodiment. Needless to say, the configuration of the processing unit 110 is not limited to the example shown in FIG.
  • the information processing apparatus 100 performs a process related to the information processing method according to the present embodiment, for example, with the configuration illustrated in FIG. Therefore, the information processing apparatus 100 can improve accuracy in estimation related to the user's line of sight, for example, with the configuration illustrated in FIG.
  • the information processing apparatus 100 can exhibit the effects achieved by performing the processing related to the information processing method according to the present embodiment as described above.
  • the information processing apparatus can include the processing unit 110 illustrated in FIG. 26 separately from the control unit 104 (for example, realized by another processing circuit).
  • the processing unit 110 may be realized by a plurality of processing circuits, and each function may be performed by a plurality of processing circuits in a distributed manner.
  • the configuration for realizing the processing related to the information processing method according to the present embodiment is not limited to the configuration illustrated in FIG. 26, and takes a configuration according to the method of dividing the processing according to the information processing method according to the present embodiment. It is possible.
  • the information processing apparatus when communicating with an external device via an external communication device having the same function and configuration as the communication unit 102, does not include the communication unit 102. Also good.
  • the information processing apparatus has been described as the present embodiment, but the present embodiment is not limited to such a form.
  • the present embodiment is used by being worn on a user's body, such as a “computer such as a personal computer (PC) or a server” or an “eyewear type device, a clock type device, a bracelet type device, etc.” Books such as “any wearable device”, “communication device such as a smartphone”, “image projection device such as a projector”, “display device”, “tablet device”, “game machine”, “mobile object such as a car”
  • the present invention can be applied to various devices capable of performing processing related to the information processing method according to the embodiment.
  • the present embodiment can be applied to a processing IC that can be incorporated in the above-described device, for example.
  • the information processing apparatus may be applied to a processing system that is premised on connection to a network (or communication between apparatuses), such as cloud computing.
  • a processing system in which processing according to the information processing method according to the present embodiment is performed for example, “a part of processing according to the information processing method according to the present embodiment is performed by one apparatus configuring the processing system.
  • a system in which processing other than the part of the processing according to the information processing method according to the present embodiment is performed by another device that configures the processing system.
  • a program for causing a computer to function as the information processing apparatus according to the present embodiment (for example, a program capable of executing processing related to the information processing method according to the present embodiment) is executed by a processor or the like in the computer.
  • a processor or the like in the computer is executed by a processor or the like in the computer.
  • an effect produced by the processing related to the information processing method according to the above-described embodiment by executing a program for causing the computer to function as the information processing apparatus according to the present embodiment by a processor or the like in the computer. Can be played.
  • a program for causing a computer to function as the information processing apparatus according to the present embodiment is provided.
  • the present embodiment further includes a recording in which the program is stored.
  • a medium can also be provided.
  • An information processing apparatus comprising: a processing unit that acquires information on gaze corresponding to the user based on a detection result of the user's head and a detection result of the user's line of sight.
  • the processor is Based on calibration information corresponding to a predetermined eye angle acquired based on the detection result of the head and the detection result of the visual line, the detection result of the visual line is calibrated, The information processing apparatus according to (1), wherein information regarding the gaze is acquired based on the detection result of the head and the calibrated detection result of the line of sight.
  • the information processing apparatus When obtaining the calibration information, The information processing apparatus according to (2), wherein the processing unit performs a guidance process for guiding the user so that an angle of the user's eyes becomes the predetermined angle.
  • the predetermined object is an instruction object for instructing the direction of the face
  • the information processing apparatus according to (4), wherein the processing unit guides the user by displaying the instruction object on the display screen.
  • the information processing apparatus changes a face direction indicated by the pointing object when the face direction is not detected when the guidance is not completed.
  • the information regarding the gaze is the information processing apparatus according to any one of (1) to (14), wherein the gaze information indicates one or both of an estimated gaze direction and an estimated gaze position.
  • the processing unit determines the size of the user interface to be displayed on the display screen based on the detection result of the head and the line-of-sight usage range set when the calibration information is acquired.
  • An information processing method executed by an information processing apparatus comprising: acquiring information related to gaze corresponding to the user based on a detection result of the user's head and a detection result of the user's line of sight.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

ユーザの頭の検出結果と、ユーザの視線の検出結果とに基づいて、ユーザに対応する注視に関する情報を取得する処理部を備える、情報処理装置が提供される。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　視線の検出に用いられる手法としては、例えば、“ＩＲ　ＬＥＤ（InfraRed　Light　Emitting　Diode）などの光源の光が角膜において反射された角膜反射像（「プルキニエ像」とも呼ばれる。）を用いる角膜反射法（瞳孔角膜反射法）を利用する方法”、“眼球の筋電の検出結果を利用する方法”などが、挙げられる。
　ここで、上記のような手法を用いることによって得られる視線の検出結果により推定されるユーザが見ている位置などと、実際にユーザが注視している位置などとの間には、誤差が生じる場合がある。そのため、上記のような手法を用いて検出される視線の検出結果をキャリブレーションして上記誤差を小さくし、キャリブレーションされた視線の検出結果を利用してユーザが見ている位置などを推定することが行われている。
　このような中、視線のキャリブレーションに係る技術が開発されている。視線のキャリブレーションに係る技術としては、例えば下記の特許文献１に記載の技術が挙げられる。
特開２０１５－１５２９３９号公報
　検出された視線をキャリブレーションするために用いられるキャリブレーション情報（後述する）を取得するときにおいて、例えば、ユーザの眼の振り幅が大きすぎる場合、ユーザの眼の振り幅が小さすぎる場合、あるいは、ユーザの眼の振り幅に偏りがある場合などには、取得されたキャリブレーション情報を利用して視線の検出結果をキャリブレーションしたとしても、上述した誤差を十分に小さくすることができるとは限らない。そのため、キャリブレーション情報を利用して視線の検出結果をキャリブレーションしたとしても、ユーザが注視している位置や方向などの推定精度が、十分な精度とはならないことが起こりうる。
　本開示では、ユーザの視線に関する推定における精度の向上を図ることが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、ユーザの頭の検出結果と、上記ユーザの視線の検出結果とに基づいて、上記ユーザに対応する注視に関する情報を取得する処理部を備える、情報処理装置が提供される。
　また、本開示によれば、ユーザの頭の検出結果と、上記ユーザの視線の検出結果とに基づいて、上記ユーザに対応する注視に関する情報を取得するステップを有する、情報処理装置により実行される情報処理方法が提供される。
　また、本開示によれば、ユーザの頭の検出結果と、上記ユーザの視線の検出結果とに基づいて、上記ユーザに対応する注視に関する情報を取得する機能を、コンピュータに実現させるためのプログラムが提供される。
　本開示によれば、ユーザの視線に関する推定における精度の向上を図ることができる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
視線の検出結果のキャリブレーション方法の一例を説明するための説明図である。 視軸の推定精度の向上を阻害する一因を説明するための説明図である。 本実施形態に係る情報処理方法を説明するための説明図である。 本実施形態に係る情報処理方法を説明するための説明図である。 本実施形態に係る視線使用範囲の一例を示す説明図である。 本実施形態に係る視線使用範囲の設定方法の一例を示す説明図である。 本実施形態に係る視線使用範囲の設定方法の他の例を示す説明図である。 本実施形態に係る情報処理方法に係る誘導処理を説明するための説明図である。 本実施形態に係る誘導処理を行うことによるキャリブレーション情報を取得の流れを説明するための説明図である。 本実施形態に係る誘導処理を行うことによるキャリブレーション情報を取得の流れを説明するための説明図である。 本実施形態に係る誘導処理を行うことによるキャリブレーション情報を取得の流れを説明するための説明図である。 本実施形態に係る誘導処理を行うことによるキャリブレーション情報を取得の流れを説明するための説明図である。 本実施形態に係る情報処理方法に係る誘導処理を説明するための説明図である。 本実施形態に係る情報処理方法に係る誘導処理を説明するための説明図である。 本実施形態に係る情報処理方法に係る誘導処理を説明するための説明図である。 本実施形態に係る情報処理方法に係る誘導処理を説明するための説明図である。 本実施形態に係る情報処理方法に係る誘導処理を説明するための説明図である。 本実施形態に係る情報処理方法に係る誘導処理を説明するための説明図である。 本実施形態に係る情報処理方法に係る誘導処理を説明するための説明図である。 本実施形態に係る情報処理方法に係る誘導処理を説明するための説明図である。 本実施形態に係る情報処理方法に係る誘導処理を説明するための説明図である。 本実施形態に係る情報処理方法に係る誘導処理を説明するための説明図である。 本実施形態に係る情報処理方法に係る誘導処理を説明するための説明図である。 本実施形態に係る情報処理方法に係るソフトウェアの制御処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。 本実施形態に係る情報処理装置が備える処理部が有する機能の一例を説明するためのブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下では、下記に示す順序で説明を行う。
　　１．本実施形態に係る情報処理方法
　　２．本実施形態に係る情報処理装置
　　３．本実施形態に係るプログラム
（本実施形態に係る情報処理方法）
　まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げる。
［１］視線の検出結果のキャリブレーション方法について
　まず、視線の検出結果のキャリブレーション方法について説明する。以下では、角膜反射法を利用する方法により視線が検出される場合における視線の検出結果のキャリブレーション方法を、例に挙げる。
　図１は、視線の検出結果のキャリブレーション方法の一例を説明するための説明図であり、ユーザの眼を撮像した撮像画像の一例を示している。
　ユーザの視線に関する軸としては、図１に示すように、光軸と、視軸とが挙げられる。
　ここで、光軸とは、瞳孔中心を通る角膜法線であり、例えば、角膜中心位置（角膜中心（角膜曲率中心）の３次元位置）と瞳孔中心位置（瞳孔中心の３次元位置）とを結んだ線が該当する。光軸は、例えば、眼球３Ｄモデルを用いて推定することが可能である。一方、視軸は、光軸のように眼球３Ｄモデルを用いて推定することができない。よって、角膜反射法を利用した視線の検出結果とは、例えば、検出された光軸が示す方向、検出された光軸を示すベクトル、検出された光軸に基づき特定されるユーザが見ている位置などのうちの１または２以上など、光軸に基づく検出結果が、挙げられる。
　視軸とは、節点（水晶体中央後面）と中心窩を結ぶ線であり、実際にユーザ（人）が見ている軸に該当する。視軸と光軸とは、図１に示すように一致しておらず、視軸は、光軸に対して４［°］～８［°］程度傾いている。また、光軸に対する視軸の傾き方には、個人差がある。
　上記のような光軸に対する視軸のずれ（図１に示す“オフセット”）をより小さくするために、キャリブレーションが行われる。
　また、視軸は、上述したように、光軸のように眼球３Ｄモデルを用いて推定することができない。そのため、視軸は、例えば下記のような手順により、光軸をキャリブレーションすることにより推定される。
　　・視野内のある点（以下、「キャリブレーション点」と示す。）をユーザが見たときの光軸を推定する。
　　・角膜曲率中心から上記キャリブレーション点へのベクトルと、光軸のベクトルとの差分をとる。
　　・上記差分に基づくキャリブレーション情報を用いて、任意の点を見た時点の光軸から、当該時点における視軸を推定する。
　キャリブレーション情報としては、例えば、光軸に対する視軸のずれ（図１に示す“オフセット”）を補正するための補正係数が挙げられる。
　ここで、キャリブレーションに用いられる補正係数は、眼球の向きによって異なる。そのため、キャリブレーションを行う場合には、通常視野内の複数のキャリブレーション点（例えば、５点～９点）が用いられる。補正係数が眼球の向きによって異なる一因としては、例えば、眼球が筋肉の引っ張りにより回転するために、見る方向によってロール方向の回転が加わることが、挙げられる
　キャリブレーション情報が示す補正係数は、例えば、上記複数のキャリブレーション点それぞれにおいて一通りキャリブレーションが行われた後に、キャリブレーション点の分布とサンプリングされたデータの分布から相関係数を算出し、算出された相関係数から補正係数を求めることにより得られる。キャリブレーション情報が示す補正係数は、例えば、本件出願人が出願した特許文献１に記載の技術を用いることにより、得ることが可能である。
　後述するように、本実施形態に係る情報処理方法における、キャリブレーション情報が示す補正係数を得るために用いられるサンプリングされたデータとしては、所定の眼の角度に対応するデータが挙げられる。また、後述するように、本実施形態に係るサンプリングされたデータは、頭の検出結果および視線の検出結果に基づき取得される。つまり、本実施形態に係るキャリブレーション情報は、例えば、頭の検出結果および視線の検出結果に基づき取得される。以下では、キャリブレーション情報を得るためのサンプリングされたデータを、「キャリブレーション計算用検出データ」と示す場合がある。
　なお、キャリブレーション情報が示す補正係数の取得方法は、上記に示す例に限られない。本実施形態に係る情報処理装置は、例えば、上記本実施形態に係るサンプリングされたデータを用いて補正係数を算出することが可能な、任意の方法によって、補正係数を得てもよい。
　例えば上記のように、キャリブレーション情報を用いて光軸がキャリブレーションされることによって、実際にユーザが見ている軸である視軸が推定される。
　また、視線の検出結果をキャリブレーションする場合には、ユーザがキャリブレーション点を見ていないときにおけるキャリブレーション情報を使わないようにすることが、キャリブレーションの精度を担保する上で必要となる。本実施形態に係る情報処理装置は、例えば下記のような処理によって、キャリブレーションの精度の担保を図る。
　　・ユーザの眼の動きが静定していないときは、ユーザの視線の検出結果を無視する。
　　・ユーザの眼の位置とキャリブレーション点を結んだベクトルと、光軸のベクトルとの差が所定より大きいときは、ユーザの視線の検出結果を無視する。
　　・算出された相関係数の寄与率（相関の強さを表す値）が、設定されている閾値以下の場合（または、当該寄与率が当該閾値より小さい場合）は、キャリブレーションを再度行う（キャリブレーションをリトライする）。
［２］視軸の推定精度の向上を阻害する一因について
　しかしながら、上述したように、キャリブレーション情報を取得するときにおいて、例えば、ユーザの眼の振り幅が大きすぎる場合、ユーザの眼の振り幅が小さすぎる場合、あるいは、ユーザの眼の振り幅に偏りがある場合などには、取得されたキャリブレーション情報を利用して視線の検出結果をキャリブレーションしたとしても、光軸に対する視軸のずれ（図１に示す“オフセット”）を十分に小さくすることができるとは限らない。
　図２は、視軸の推定精度の向上を阻害する一因を説明するための説明図である。図２は、表示画面Ｄに５つのキャリブレーション点が表示され、５つのキャリブレーション点を利用してキャリブレーションが行われる例を示している。表示画面Ｄとしては、例えば、“表示デバイスの表示画面”、“プロジェクタなどの画像投射デバイスにより画像が投射された壁”などが挙げられる（以下、同様とする。）。
　また、図２は、ユーザが異なるキャリブレーション点を見ていても、頭の正面方向に対する眼の角度が変わらない例を示している。図２のＡは、ユーザが、キャリブレーション点Ｐ１を見ている場合を示し、図２のＢは、キャリブレーション点Ｐ２を見ている場合を示している。
　例えば図２のＢに示すように、キャリブレーション点Ｐ２を見るためにユーザが頭を上に傾けた場合には、図２のＡに示すキャリブレーション点Ｐ１を見ている場合と、頭の正面方向に対する眼の角度が変わらない状態が生じうる。
　例えば図２に示すように、キャリブレーション点の位置が異なっていても、ユーザが顔を各キャリブレーション点の方向に向けながら見る場合には、眼球の角度としては、ほとんど変化がなくなってしまう。上記の場合には、取得されたキャリブレーション情報を利用して視線の検出結果をキャリブレーションしたとしても、光軸に対する視軸のずれ（図１に示す“オフセット”）を十分に小さくすることができるとは限らない。
［３］本実施形態に係る情報処理方法に係る処理
［３－１］本実施形態に係る情報処理方法に係る処理の概要
　そこで、本実施形態に係る情報処理装置は、検出対象のユーザ（以下、単に「ユーザ」と示す。）の頭の検出結果と、ユーザの視線の検出結果とに基づいて、ユーザに対応する注視に関する情報を取得する。
　本実施形態に係る注視に関する情報としては、推定された注視方向と、推定された注視位置との一方または双方を示すデータが挙げられる。本実施形態に係る注視方向としては、例えば、ユーザが知覚している中心方向が挙げられ、また、本実施形態に係る注視位置としては、例えば、ユーザが知覚している位置が挙げられる。注視に関する情報を取得することによって、本実施形態に係る情報処理装置は、推定された注視方向と、推定された注視位置との一方または双方を、ユーザの視線に関する推定の結果として得る。
　本実施形態に係る頭の検出結果としては、例えば、検出された頭の位置と顔の向きとの一方または双方を示す情報が、挙げられる。本実施形態に係る頭の検出結果は、例えば下記の方法によって取得される。なお、本実施形態に係る頭の検出結果の取得方法は、下記に示す例に限られず、頭を検出すること（または推定すること）が可能な、任意の方法によって、取得されてもよい。
　　・環境に設置した撮像デバイスにより頭部を撮像し、撮像画像により検出する方法（例えばモーションキャプチャ方式など）
　　・頭部側に取り付けられた撮像デバイスにより環境を撮像し、撮像画像により検出する方法（例えば、環境に設置されたマーカが撮像されることにより検出する方法、ＳＬＡＭ（Simultaneous　Localization　And　Mapping）など）
　　・頭部側に取り付けられた動きセンサ（例えば、加速度センサ、角速度センサ、地磁気センサのうちの１または２以上）で検出する方法
　また、例えば撮像画像の処理や動きセンサの検出データの処理などの、頭の検出結果の取得に係る処理は、本実施形態に係る情報処理装置が行ってもよいし、本実施形態に係る情報処理装置の外部装置において行われてもよい。頭の検出結果の取得に係る処理が外部装置において行われる場合、本実施形態に係る情報処理装置は、当該外部装置から取得された頭の検出結果を、本実施形態に係る情報処理方法に係る処理に用いる。
　本実施形態に係る視線の検出結果としては、例えば、ユーザの光軸を示す情報（例えば、光軸ベクトルを示すデータなど）が挙げられる。本実施形態に係る視線の検出結果は、例えば下記の方法によって取得される。なお、本実施形態に係る視線の検出結果の取得方法は、下記に示す例に限られず、視線を検出すること（または推定すること）が可能な、任意の方法によって、取得されてもよい。
　　・眼が撮像された撮像画像に基づく角膜反射法
　　・眼が撮像された撮像画像から検出される瞳孔形状から推定する方法
　　・眼が撮像された撮像画像から検出される瞳孔と瞼の位置関係から推定する方法
　　・眼が撮像された撮像画像から検出される白目と黒目の関係から推定する方法
　　・眼球の筋電を検出する筋電センサにより検出された眼球の筋電から推定する方法
　また、例えば撮像画像の処理や筋電センサの検出データの処理などの、視線の検出結果の取得に係る処理は、本実施形態に係る情報処理装置が行ってもよいし、本実施形態に係る情報処理装置の外部装置において行われてもよい。視線の検出結果の取得に係る処理が外部装置において行われる場合、本実施形態に係る情報処理装置は、当該外部装置から取得された視線の検出結果を、本実施形態に係る情報処理方法に係る処理に用いる。
　図３、図４は、本実施形態に係る情報処理方法を説明するための説明図であり、ユーザの頭の検出結果とユーザの視線の検出結果との取得に係るデバイスの一例を、それぞれ示している。図３、図４は、ユーザが、表示画面Ｄを見ている場合を示している。
　図３は、例えば“ユーザの眼を撮像する視線検出用の撮像デバイスを備える眼鏡型のアイウェアＧによって撮像された撮像画像を利用した角膜反射法によって、視線の検出結果が得られる例”を示している。また、図３は、例えば“ユーザの頭に装着されているマーカＭ１、Ｍ２、Ｍ３、…を、環境に配置されている撮像デバイスＣ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、…によって撮像された撮像画像を利用したモーションキャプチャ方式によって、頭の検出結果が得られる例”を示している。
　図３に示す例では、例えば下記のような工夫によって、頭の検出精度、視線の検出精度の向上を図ることが可能である。
　　・マーカの取り付け位置、角度を調整すること
　　・各時点において、撮像デバイスＣ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、…による撮像により得られた撮像画像の中から、精度が最も高いことが予想される撮像デバイスの撮像画像を選択すること
　　・ユーザの立ち位置、顔の向きを、精度を担保することが可能なところに誘導すること
　図４は、図３に示す例と同様に、例えば“ユーザの眼を撮像する視線検出用の撮像デバイスを備える眼鏡型のアイウェアＧによって撮像された撮像画像を利用した角膜反射法によって、視線の検出結果が得られる例”を示している。また、図４は、例えば“環境に設置されている撮像デバイス（図示せず）により撮像された撮像画像に基づく、自己位置同定によって検出される例”を示している。
　より具体的には、本実施形態に係る情報処理装置は、所定の眼の角度に対応するキャリブレーション情報に基づいて、視線の検出結果をキャリブレーションする。
　そして、本実施形態に係る情報処理装置は、頭の検出結果と、キャリブレーションされた視線の検出結果とに基づいて、注視に関する情報を取得する。キャリブレーションされた視線の検出結果としては、例えば、光軸に基づき推定された視軸を示す情報（例えば、視軸ベクトルを示すデータなど）が挙げられる。
　所定の眼の角度に対応するキャリブレーション情報は、例えば後述する誘導処理によって、頭の検出結果および視線の検出結果に基づき取得される。
　ここで、本実施形態に係る所定の眼の角度は、例えば、ユーザが頭を動かさない状態で視線を利用する範囲（以下、「視線使用範囲」と示す。）を設定することによって、決定される。視線使用範囲は、ユーザの顔の向きが変化した場合には顔の向きに合わせて追従することとなる。また、視線使用範囲は、眼の振り幅に該当する。
　図５は、本実施形態に係る視線使用範囲Ｒの一例を示す説明図である。図５に示すように、視線使用範囲Ｒは、垂直方向の視線使用範囲Ｒｈと水平方向の視線使用範囲Ｒｖとにより規定される。
　本実施形態に係る所定の眼の角度は、例えば、視線使用範囲Ｒの中心位置から視線使用範囲Ｒの頂点の位置へと目を動かしたときにおける眼の角度に該当する。
　以下、視線使用範囲Ｒの設定方法の一例を説明する。
　図６は、本実施形態に係る視線使用範囲Ｒの設定方法の一例を示す説明図である。図６は、表示デバイスの表示画面や壁などに投射された表示画面における、視線使用範囲Ｒの設定方法の一例を示している。
　視線使用範囲Ｒは、例えば、表示画面Ｄ上における視線利用範囲と、ユーザの顔の位置と表示画面Ｄ間の距離ｄとに基づき設定される。本実施形態に係る情報処理装置は、例えば、視線利用範囲の大きさ、距離、および視線使用範囲Ｒの大きさが対応付けられているテーブル（または、データベース）を参照することによって、視線使用範囲Ｒを設定する。なお、本実施形態に係る情報処理装置は、視線利用範囲および距離ｄを利用して視線使用範囲Ｒを設定することが可能な、任意のアルゴリズムによって、視線使用範囲Ｒを設定してもよい。
　表示画面Ｄ上における視線利用範囲は、例えば、表示画面Ｄにおける描画領域全体、ソフトウェアのウィンドウサイズに対応する範囲、あるいは、メニューのサイズなどのユーザインタフェース（以下「ＵＩ」（User　Interface）と示す場合がある。）に係るサイズに対応する範囲などにより、決定される。また、ユーザの顔の位置としては、ある時点における頭の検出結果が示す位置が挙げられる。また、距離ｄは、設定されている固定値であってもよいし、距離センサなどを用いる方法などの任意の方法によって検出された値（または任意の方法により推定された値）であってもよい。
　図７は、本実施形態に係る視線使用範囲Ｒの設定方法の他の例を示す説明図である。図７は、ヘッドマウントディスプレイやアイウェアなどのユーザの頭部に装着されるウェアラブルデバイスの表示画面における、視線使用範囲Ｒの設定方法の一例を示している。
　図７では、頭部に装着されるウェアラブルデバイスが、装着したユーザが表示画面に表示された画像と共に実空間を見ることが可能な透過型のウェアラブルデバイスである例を示している。なお、頭部に装着されるウェアラブルデバイスが、装着したユーザが表示画面に表示された画像と共に実空間を見ることができない遮蔽型のウェアラブルデバイスである場合には、図６と同様の方法により、視線使用範囲Ｒが設定される。
　表示画面Ｄが透過型のウェアラブルデバイスの表示画面である場合には、例えば図７に示すように、表示画面Ｄよりも大きなウェアラブルデバイスのフレーム、またはウェアラブルデバイスのレンズを通して見ることが可能な視野を、視線使用範囲Ｒとして設定する。
　視線使用範囲Ｒは、例えば図６、図７を参照して説明した方法によって設定される。なお、視線使用範囲Ｒの設定方法が、図６、図７を参照して説明した方法に限られないことは、言うまでもない。また、視線使用範囲Ｒは、後述するように、設定された後に調整されうる。
　上記のように、本実施形態に係る情報処理装置は、本実施形態に係る所定の眼の角度に対応するキャリブレーション情報に基づいて、視線の検出結果をキャリブレーションする。また、本実施形態に係る所定の眼の角度は、ユーザが頭を動かさない状態で視線を利用する範囲である視線使用範囲に基づき決定される。
　よって、本実施形態に係る情報処理装置は、ユーザの眼の振り幅が大きすぎる場合、ユーザの眼の振り幅が小さすぎる場合、あるいは、ユーザの眼の振り幅に偏りがある場合などの各場合に対応するキャリブレーション情報と比較して、ユーザの視線に関する推定の精度をより向上させることが可能なキャリブレーション情報を用いて、視線の検出結果をキャリブレーションすることが、可能である。
　したがって、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理を行うことによって、ユーザの視線に関する推定における精度の向上を図ることができる。
　また、ユーザの視線に関する推定における精度の向上を図ることができることによって、ユーザの視線を本来目指している精度で安定して利用することが、可能となる。
［３－２］本実施形態に係る情報処理方法に係る他の処理
　なお、本実施形態に係る情報処理方法に係る処理は、上記に示す処理に限られない。以下、本実施形態に係る情報処理方法に係る他の処理について、説明する。本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば下記の（１）に示す処理と下記の（２）に示す処理との一方または双方を行うことが可能である。
（１）誘導処理
　キャリブレーション情報を取得する場合、本実施形態に係る情報処理装置は、ユーザの眼の角度が所定の角度となるようにユーザを誘導する誘導処理を行う。
　図８は、本実施形態に係る情報処理方法に係る誘導処理を説明するための説明図である。
　図８のＡは、眼の座標系の一例を示しており、図８のＡでは、右手座標系を示している。また図８のＢは、設定された視線使用範囲Ｒの一例と、視線使用範囲Ｒに対応する眼の角度の誘導ポイントＰ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５とを、示している。眼の角度の誘導ポイントとしては、例えば図８のＢに示す誘導ポイントＰ１、Ｐ２、Ｐ３、Ｐ４のように、視線使用範囲Ｒの頂点の位置が挙げられる。眼の角度の誘導ポイントは、例えば図８のＢに示す誘導ポイントＰ５のように、視線使用範囲Ｒの中心位置（または、視線使用範囲Ｒ内の任意の位置）であってもよい。また、眼の角度の誘導ポイントは、１点に限られず、視線使用範囲Ｒの頂点の位置、視線使用範囲Ｒの中心位置を含む領域であってもよい。以下では、眼の角度の誘導ポイントを「誘導領域」と示す場合がある。
　図９～図１２は、本実施形態に係る誘導処理を行うことによるキャリブレーション情報を取得の流れを説明するための説明図である。以下、図９～図１２を適宜参照して、誘導処理を行うことによるキャリブレーション情報を取得の流れを説明する。
　図９に示すように、本実施形態に係る情報処理装置は、表示画面Ｄ上の１点をユーザに注視させた状態で、顔の向きを誘導する。
　ここで、本実施形態に係る情報処理装置が注視させる表示画面Ｄ上の１点としては、例えば、視線使用範囲Ｒの中心位置が挙げられる。なお、本実施形態に係る情報処理装置が注視させる表示画面Ｄ上の１点が、視線使用範囲Ｒの中心位置に限られないことは、言うまでもない。
　また、本実施形態に係る情報処理装置は、表示画面Ｄ上にマーカ（後述する所定のオブジェクトの一例）を表示させることによって、表示画面Ｄ上の１点をユーザに注視させる。本実施形態に係る情報処理装置は、表示デバイス、または、画像投射デバイスに表示命令を含む制御信号を送信することによって、表示画面Ｄ上にマーカを表示させる。
　図１０のＡに示すＰは、ユーザが表示画面Ｄのマーカを注視しているときの眼の角度の一例を示している。本実施形態に係る情報処理装置は、マーカを注視している状態で顔の向きを誘導することによって、眼の角度を所定の角度へと誘導する。図１０のＡでは、誘導ポイントＰ１へと眼の角度を誘導する例を示している。
　図１０のＢに示すように、眼の角度が誘導ポイントＰ１に誘導されると、本実施形態に係る情報処理装置は、誘導ポイントＰ１に誘導された状態におけるデータをサンプリングする。本実施形態に係る情報処理装置は、例えば、設定された個数のデータが得られた場合に、誘導ポイントＰ１におけるデータのサンプリングが完了したと判定する。
　誘導ポイントＰ１におけるデータのサンプリングが完了すると、他の誘導ポイントへと誘導し、各誘導ポイントにおいてデータをサンプリングする。
　なお、眼の角度が大きすぎて視線が検出されない場合など、誘導を行うことができないと判定された場合には、本実施形態に係る情報処理装置は、図１０のＣに示すように、ユーザを誘導する誘導範囲が小さくなるように誘導ポイントを変更することも可能である。
ユーザを誘導する誘導範囲が小さくなるように誘導ポイントが変更された場合には、視線使用範囲は、設定された当初の視線使用範囲よりも小さくなる。図１０のＣでは、本実施形態に係る情報処理装置が、誘導ポイントＰ１を、ユーザを誘導する誘導範囲が小さくなるような誘導ポイントＰ１’に変更した例を示している。
　図１１は、キャリブレーションが行われた後の、視線使用範囲の一例を示している。図１１に示すＲ１は、設定された視線使用範囲を示しており、図１１に示すＲ２は、実際にキャリブレーションを行うことができた視線使用範囲を示している。
　図１０のＣを参照して示したように、誘導ポイントが変更された場合には視線使用範囲は、設定された当初の視線使用範囲よりも小さくなる。注視に関する情報を利用するソフトウェアにおいて利用される眼の角度を、視線使用範囲Ｒ２に基づいて決定することによって、当該ソフトウェアにおける視線に関する推定における精度を、担保することが可能となる。
　また、図１２は、キャリブレーションが行われた後の、視線使用範囲の他の例を示している。図１２に示すＲ１は、設定された視線使用範囲を示しており、図１２に示すＲ２は、実際にキャリブレーションを行うことができた視線使用範囲を示している。また、図１２に示すＲｍｉｎは、設定されている視線使用範囲の最小範囲を示している。
　ここで、視線使用範囲の最小範囲Ｒｍｉｎとは、例えば、視線に関する推定における精度を担保するために設定される視線使用範囲である。視線使用範囲の最小範囲Ｒｍｉｎは、予め設定されている固定の視線使用範囲であってもよいし、ユーザの操作などに基づいて変更可能な可変の視線使用範囲であってもよい。また、視線使用範囲の最小範囲Ｒｍｉｎは、注視に関する情報を利用するソフトウェアごとに設定されてもよい。
　図１０のＣを参照して示したように誘導ポイントが変更された場合には、図１２に示すように、実際にキャリブレーションを行うことができた視線使用範囲Ｒ２が、視線使用範囲の最小範囲Ｒｍｉｎを満たさない場合には、視線に関する推定における精度を担保することができない恐れがある。
　よって、視線使用範囲Ｒ２が最小範囲Ｒｍｉｎを満たさない場合には、本実施形態に係る情報処理装置は、例外処理として、下記のような処理を行ってもよい。
　　・キャリブレーションのリトライを行う。このとき、本実施形態に係る情報処理装置は、頭部に装着するウェアラブルデバイスが用いられている場合には、当該ウェアラブルデバイスの装着状態の確認を、例えば画像と音声との一方または双方により、ユーザに促してもよい。
　　・キャリブレーションを終了し、注視に関する情報をソフトウェアに利用させない。このとき、本実施形態に係る情報処理装置は、エラー画面を表示することと、エラー音声を出力させることとの一方または双方により、視線が利用できない旨をユーザに対して通知させてもよい。
　なお、視線使用範囲Ｒ２が最小範囲Ｒｍｉｎを満たさない場合における例外処理は、上記に示す例に限られない。
　例えば、本実施形態に係る情報処理装置は、キャリブレーションを終了し、注視に関する情報をソフトウェアにそのまま利用させることも可能である。このとき、本実施形態に係る情報処理装置は、視線に関する推定の精度の低下を見込み、表示するＵＩを変更させてもよい。ＵＩの変更例としては、例えば、メニューオブジェクトを視線で選択させるＵＩの場合において、表示オブジェクト数を少なくし、オブジェクトのサイズを大きくすることなどが、挙げられる。
　また、本実施形態に係る情報処理装置は、上記のような各例外処理を、視線使用範囲Ｒ２と最小範囲Ｒｍｉｎとの比較結果に基づき切り替えてもよい。本実施形態に係る情報処理装置は、例えば、視線使用範囲Ｒ２が最小範囲Ｒｍｉｎを満たさない領域の大きさと、１または２以上の閾値とを用いた閾値処理によって、各例外処理を切り替える。
　より具体的には、本実施形態に係る誘導処理としては、例えば、下記の（１－１）に示す処理～（１－４）に示す処理のうちの１つの処理、またはこれらの処理のうちの組み合わせ可能な２つ以上を組み合わせた処理が、挙げられる。
（１－１）誘導処理の第１の例
　本実施形態に係る情報処理装置は、表示画面に表示される所定のオブジェクトを見ている状態で顔の向きを変えさせるように、ユーザを誘導する。
　本実施形態に係る情報処理装置は、視覚的な誘導方法、聴覚的な誘導方法、触覚的な誘導方法のうちの、１または２以上の方法によって、ユーザを誘導する。一例を挙げると、第１の例に係る誘導処理による誘導の例としては、下記の（Ａ）～（Ｄ）に示す例が挙げられる。
（Ａ）視覚的な誘導の例
　本実施形態に係る情報処理装置は、例えば、顔の向きを指示する指示オブジェクトを、所定のオブジェクトとして表示画面に表示させることによって、ユーザを誘導する。
　指示オブジェクトとしては、例えば、顔の向きを矢印で指示するオブジェクト、顔の向きを示すモデルにより顔の向きを指示するオブジェクト、または、これらを組み合わせたオブジェクトが挙げられる。なお、本実施形態に係る指示オブジェクトは、上記に示す例に限られず、表示画面に表示されることにより顔の向きを指示することが可能な、任意のオブジェクトであってもよい。
　図１３は、本実施形態に係る情報処理方法に係る誘導処理を説明するための説明図であり、視覚的な誘導の一例を示している。図１３は、表示画面Ｄへの表示によってユーザを誘導する場合における一例であり、顔の向きを矢印で指示する指示オブジェクトによって、ユーザを誘導する例を示している。図１３のＡは、誘導のためのガイド画面の一例を示している。図１３のＢは、指示オブジェクトによる誘導画面の一例を示しており、図１３のＣは、指示オブジェクトによる誘導画面の他の例を示している。
　図１３のＢに示す誘導画面が表示される場合を例に挙げると、表示画面Ｄにガイド画面（図１３に示すＡ）が表示された後に、図１３のＢに示す誘導画面が表示される。図１３のＢは、ユーザが顔を動かす間に見続けてもらう表示画面の位置に、指示オブジェクトＭ１が表示される例を示している。
　図１３の指示オブジェクトＭ１が示す矢印の方向は、例えば、誘導領域（眼の角度の誘導ポイント）に眼の角度が入るように、変わる。また、ユーザの顔を動かす必要がない場合には、指示オブジェクトは、図１３のＭ２に示すような方向を示さないオブジェクトへと変わる。
　誘導領域において所定数のサンプリングが完了し、他の誘導領域が存在する場合には、他の誘導領域への誘導が行われる。
　また、図１３のＣに示す誘導画面が表示される場合を例に挙げると、表示画面Ｄにガイド画面（図１３に示すＡ）が表示された後に、図１３のＣに示す誘導画面が表示される。図１３のＣは、誘導領域（眼の角度の誘導ポイント）それぞれに対応する表示画面の位置に、指示オブジェクトＭ１が表示される例を示している。
　図１３のＣに示す誘導画面が表示される場合における、指示オブジェクトを用いた誘導方法は、図１３のＢに示す誘導画面が表示される場合と同様である。
　図１４は、本実施形態に係る情報処理方法に係る誘導処理を説明するための説明図であり、視覚的な誘導の他の例を示している。図１４は、表示画面Ｄへの表示によってユーザを誘導する場合における他の例であり、顔の向きを示すモデルにより顔の向きを指示する指示オブジェクトによって、ユーザを誘導する例を示している。図１４のＡは、誘導のためのガイド画面の一例を示している。図１４のＢは、指示オブジェクトによる誘導画面の一例を示しており、図１４のＣは、指示オブジェクトによる誘導画面の他の例を示している。
　図１４のＢに示す誘導画面が表示される場合を例に挙げると、表示画面Ｄにガイド画面（図１４に示すＡ）が表示された後に、図１４のＢに示す誘導画面が表示される。図１４のＢは、ユーザが顔を動かす間に見続けてもらう表示画面の位置に、指示オブジェクトＭ１が表示される例を示している。
　図１４の指示オブジェクトＭ１が示すモデルの顔の向きは、例えば図１４のＭ２に示すように、誘導領域（眼の角度の誘導ポイント）に眼の角度が入るように、変わる。また、ユーザの顔を動かす必要がない場合には、指示オブジェクトは、例えば、正面を向いているモデルや、図１３のＭ２に示すような方向を示さないオブジェクトへと変わる。
　また、図１４のＣに示す誘導画面のように、指示オブジェクトＭ１に加えて、ユーザの現在の顔の向きを示すオブジェクトＭ３を、表示画面Ｄに表示させてもよい。図１４のＣは、指示オブジェクトＭ１と、正面を向いているオブジェクトＭ３とを重畳して表示させている例を示している。図１４のＣのような表示がされることによって、ユーザは、顔を向ける目標と、現在認識されている自己の顔の向きとを、併せて認識することができる。よって、図１４のＣのような表示がされることによって、より高い誘導効果が期待される。
　誘導領域において所定数のサンプリングが完了し、他の誘導領域が存在する場合には、他の誘導領域への誘導が行われる。
　なお、顔の向きを示すモデルにより顔の向きを指示する指示オブジェクトによって、ユーザを誘導する例は、図１４に示す例に限られない。
　例えば、顔の向きを示すモデルにより顔の向きを指示する指示オブジェクトによって、ユーザを誘導する場合、図１３のＣに示すように、誘導領域（眼の角度の誘導ポイント）それぞれに対応する表示画面の位置に、指示オブジェクトＭ１が表示されてもよい。
　なお、視覚的な誘導に係る処理は、図１３、図１４を参照して説明した例に限られない。
　例えば、誘導が完了していないときに顔の向きが検出されなくなった場合には、本実施形態に係る情報処理装置は、指示オブジェクトが指示する顔の向きを、変えてもよい。
　指示オブジェクトが指示する顔の向きを変える例としては、例えば、“指示する顔の向きを、顔の向きが検出されなくなる直前の誘導方向と逆の向きとすること”、“指示する顔の向きを、ユーザの首を一回転させるなどの特定のパターンに変えること”、“指示する顔の向きを、ランダムに変えること”などが、挙げられる。
　図１５は、本実施形態に係る情報処理方法に係る誘導処理を説明するための説明図であり、誘導が完了していないときに顔の向きが検出されなくなった場合における、表示画面Ｄに表示される指示オブジェクトの変更例を示している。
　図１５のＡに示す指示オブジェクトＭ１により誘導を行っているときに、顔の向きが検出されなくなった場合には、本実施形態に係る情報処理装置は、例えば、表示画面Ｄに表示される指示オブジェクトを、図１５のＢに示す指示オブジェクトＭ２に変える。ここで、図１５のＢは、指示オブジェクトＭ１と向きが逆向きの指示オブジェクトＭ２に変えた例を示している。
　また、指示オブジェクトＭ２に変えたことにより、顔の向きが再度検出された場合には、本実施形態に係る情報処理装置は、誘導領域（眼の角度の誘導ポイント）に誘導するための指示オブジェクトＭ３を、表示させる。
　上記のように、誘導が完了していないときに顔の向きが検出されなくなった場合に指示オブジェクトが指示する顔の向きを変えることによって、ユーザの顔の向きが再度検出される可能性を、より高めることが可能となる。よって、誘導が完了していないときに顔の向きが検出されなくなった場合に指示オブジェクトが指示する顔の向きを変えることによって、誘導をより確実に完了させることができる。
　また、顔の向きが再度検出された場合には、本実施形態に係る情報処理装置は、ユーザを誘導する誘導範囲を小さくしてもよい。本実施形態に係る情報処理装置は、例えば図１０のＣを参照して示したように、ユーザを誘導する誘導範囲が小さくなるように眼の角度の誘導ポイントを変更することによって、ユーザを誘導する誘導範囲を小さくする。
　また、本実施形態に係る情報処理装置は、誘導領域（眼の角度の誘導ポイント）に対応する所定の角度と、ユーザの眼の角度との比較結果に基づいて、ユーザが顔を動かす負荷が低減するように、指示オブジェクト（所定のオブジェクトの一例）の表示位置を変えてもよい。本実施形態に係る情報処理装置は、指示オブジェクト（所定のオブジェクト）の表示位置を、所定の角度とユーザの眼の角度との差が小さくなるように、変える。
　図１６は、本実施形態に係る情報処理方法に係る誘導処理を説明するための説明図であり、ユーザが顔を動かす負荷が低減するように、表示画面Ｄに表示される指示オブジェクトの表示位置を変える例を、示している。
　図１６のＡに示すように指示オブジェクトＭ１により誘導が行われている場合、本実施形態に係る情報処理装置は、ユーザの眼の角度が、誘導領域（眼の角度の誘導ポイント）に対して設定されている所定の範囲内に入ったか否かを判定する。本実施形態に係る情報処理装置は、例えば、所定の角度とユーザの眼の角度との差分値が設定されている閾値より小さくなった場合（または、当該差分値が当該閾値以下となった場合）に、所定の範囲内に入ったと判定する。
　そして、ユーザの眼の角度が、誘導領域に対して設定されている所定の範囲内に入ったと判定された場合には、本実施形態に係る情報処理装置は、図１６のＢに示すように、指示オブジェクトＭ１の表示位置を変える。本実施形態に係る情報処理装置は、ユーザの眼の角度が誘導領域（眼の角度の誘導ポイント）に近づくように、指示オブジェクトＭ１の表示位置を変える。
　例えば図１６に示すように指示オブジェクトＭ１の表示位置が変えられることによって、誘導領域（眼の角度の誘導ポイント）に対して、ユーザの眼の角度があと少しであるときに、誘導が完了するまでの時間をより短縮することが可能となる。よって、本実施形態に係る情報処理装置は、誘導に際して、ユーザが顔を動かす負荷を低減させることができる。
（Ｂ）聴覚的な誘導の例
　本実施形態に係る情報処理装置は、例えば、顔の向きを指示する音声を、スピーカなどの音声出力デバイスから出力させることによって、ユーザを誘導する。
　図１７は、本実施形態に係る情報処理方法に係る誘導処理を説明するための説明図であり、聴覚的な誘導の一例を示している。図１７は、顔の向きを指示する音声によって、ユーザを誘導する例を示している。図１７のＡは、誘導のためのガイド画面の一例を示している。図１７のＢ、図１７のＣは、誘導画面の一例を示している。
　表示画面Ｄにガイド画面（図１７に示すＡ）が表示された後に、図１７のＢに示す誘導画面が表示され、図１７のＢにおいて符号Ｓ１で示すように、顔の向きを指示する音声が出力される。
　また、本実施形態に係る情報処理装置は、例えば、図１７のＣにおいて符号Ｓ２で示すように、誘導領域（眼の角度の誘導ポイント）と眼の角度との関係を示す音声を、出力させてもよい。ここで、誘導領域と眼の角度との関係を示す音声としては、例えば、誘導領域と眼の角度との関係が音声のピッチで表される音声が挙げられる。一例としては、“眼の角度が誘導領域に近づくほど「ピッ、ピッ、ピッ、…」という音声のピッチが速くなり、眼の角度が誘導領域に入ると、「ピー」というような連続音となる例”が、挙げられる。
　誘導領域において所定数のサンプリングが完了し、他の誘導領域が存在する場合には、他の誘導領域への誘導が行われる。
　なお、聴覚的な誘導に係る処理は、図１７を参照して説明した例に限られない。
　例えば、本実施形態に係る情報処理装置は、眼の角度が誘導領域に入った場合には、ユーザの頭部に装着された、アクチュエータなどを有する振動デバイスを振動させることなどによって、振動フィードバックをさらに行ってもよい。
　また、本実施形態に係る情報処理装置は、上記（Ａ）と同様に、誘導領域（眼の角度の誘導ポイント）に対応する所定の角度と、ユーザの眼の角度との比較結果に基づいて、ユーザが顔を動かす負荷が低減するように、図１７に示すようなユーザに見続けさせるマーカ（所定のオブジェクトの一例）の表示位置を変えてもよい。
（Ｃ）触覚的な誘導の例
　本実施形態に係る情報処理装置は、例えば、振動フィードバックにより触覚的に誘導してもよい。触覚的に誘導する例としては、例えば、“顔を向ける方向にそれぞれ対応する複数の振動デバイスがユーザの頭部に装着されている場合において、誘導する方向に対応する振動デバイスを振動させること”が、挙げられる。
（Ｄ）複数の誘導方法の組み合わせ
　また、本実施形態に係る情報処理装置は、上記（Ａ）～上記（Ｃ）に示す誘導方法のうちの２以上を、組み合わせて誘導を行うことも可能である。
　第１の例に係る誘導処理では、上記のように、表示画面に表示される所定のオブジェクトを見ている状態で顔の向きを変えさせるように、ユーザが誘導される。第１の例に係る誘導処理が行われる場合には、例えば、ユーザの視線移動が必要なく、眼が１点を見続けているので、連続してキャリブレーション計算用検出データのサンプリングが可能であるという利点がある。
（１－２）誘導処理の第２の例
　本実施形態に係る情報処理装置は、顔の向きに追従するオブジェクトを表示画面に表示させることによって、ユーザを誘導する。顔の向きに追従するオブジェクトは、ユーザに見続けさせる所定のオブジェクトに該当する。
　図１８～図２２は、本実施形態に係る情報処理方法に係る誘導処理を説明するための説明図である。図１８は、顔の向きに追従するオブジェクトをユーザが動かす場合におけるユーザの動きの一例を示している。また、図１９～図２２は、表示画面Ｄに表示されている顔の向きに追従するオブジェクトによる誘導の例をそれぞれ示している。以下、図１９～図２２を適宜参照して、第２の例に係る誘導処理の一例を説明する。
（ａ）顔の向きに追従するオブジェクトによる誘導の第１の例（図１９）
　図１９のＡは、誘導のためのガイド画面の一例を示している。図１９では、オブジェクトＳが、顔の向きに追従するオブジェクトに該当する。また、図１９では、マーカＭが、誘導領域（眼の角度の誘導ポイント）に対応するオブジェクトに該当する。
　図１９に示す例では、オブジェクトＳとマーカＭとが一致した状態における視線に係るデータを、キャリブレーション計算用検出データとしてサンプリングする。ここで、オブジェクトＳとマーカＭとが一致したときにおけるデータをサンプリングする理由は、オブジェクトＳとマーカＭとが一致していないときには、ユーザの視線が、オブジェクトＳとマーカＭとの間を移動している可能性があるためである。
　また、オブジェクトＳとマーカＭとが一致した場合には、本実施形態に係る情報処理装置は、例えば、視覚的な方法、聴覚的な方法、触覚的な方法のうちの１または２以上などによって、ユーザに対するフィードバックを行ってもよい。図１９のＢでは、視覚的な方法によりユーザに対するフィードバックを行っている例を示している。
　現在の誘導領域に対応するマーカＭにおいて所定数のサンプリングが完了し、他の誘導領域が存在する場合には、他の誘導領域に対応する位置にマーカＭが表示され、当該他の誘導領域への誘導が行われる。
（ｂ）顔の向きに追従するオブジェクトによる誘導の第２の例（図２０）
　図２０は、顔の向きに応じて回転するオブジェクトＯ上のマーカＳを、目標位置Ｍに移動させることによって、視線に係るデータがサンプリングされる例を示している。図２０では、マーカＳが、顔の向きに追従するオブジェクトに該当する。また、図２０では、マーカＭが、誘導領域（眼の角度の誘導ポイント）に対応するオブジェクトに該当する。
　図２０に示す例では、マーカＳとマーカＭとが一致した状態における視線に係るデータを、キャリブレーション計算用検出データとしてサンプリングする。また、マーカＳとマーカＭとが一致した場合には、本実施形態に係る情報処理装置は、例えば、視覚的な方法、聴覚的な方法、触覚的な方法のうちの１または２以上などによって、ユーザに対するフィードバックを行ってもよい。
（ｃ）顔の向きに追従するオブジェクトによる誘導の第３の例（図２１）
　図２１は、顔の向きに合わせてカーブが変化するトンネル表示を用いて、マーカＭの位置においてトンネルの先が見通せる様にトンネル表示を変えさせることによって、視線に係るデータがサンプリングされる例を示している。図２１では、トンネル表示が、顔の向きに追従するオブジェクトに該当する。また、図２１では、マーカＭが、誘導領域（眼の角度の誘導ポイント）に対応するオブジェクトに該当する。
　図２１に示す例では、図２１のＡに示すようなトンネルの先が見通せない状態が、図２１のＢに示すようなマーカＭの位置においてトンネルの先が見通せる状態となったときに、視線に係るデータを、キャリブレーション計算用検出データとしてサンプリングする。また、マーカＭの位置においてトンネルの先が見通せる状態となった場合には、本実施形態に係る情報処理装置は、例えば、視覚的な方法、聴覚的な方法、触覚的な方法のうちの１または２以上などによって、ユーザに対するフィードバックを行ってもよい。
　また、図２１のＣに示すように、トンネル表示はトンネルの先が見通せる状態であるが、マーカＭの位置においてトンネルの先が見通せる状態ではない場合、本実施形態に係る情報処理装置は、ユーザの位置（例えば立ち位置）を、マーカＭの位置においてトンネルの先が見通せる状態となるように誘導してもよい。ユーザの位置は、例えば、環境に配置されている撮像デバイスにより撮像された撮像画像などに基づいて推定される。本実施形態に係る情報処理装置は、例えば、視覚的な方法、聴覚的な方法、触覚的な方法のうちの１または２以上などによって、ユーザの位置を誘導する。
（ｄ）顔の向きに追従するオブジェクトによる誘導の第４の例（図２２）
　図２２は、図１８に示すように頭を回転させたときの軌跡Ｓを表示画面にＤに表示させ、頭を回転させる動きの大きさをマーカＭ１よりも大きくさせることによって、視線に係るデータがサンプリングされる例を示している。図２２では、軌跡Ｓが、顔の向きに追従するオブジェクトに該当する。また、図２２では、マーカＭ１が、誘導領域（眼の角度の誘導ポイント）に対応するオブジェクトに該当する。
　誘導領域（眼の角度の誘導ポイント）に対応するオブジェクトであるマーカの形状は、誘導ポイントによって設定される。図２２のＡでは、誘導領域（眼の角度の誘導ポイント）に対応するオブジェクトであるマーカの一例として、円形のマーカであるマーカＭ１と、矩形のマーカであるマーカＭ２とを示している。
　図２２に示す例では、図２２のＢに示すような頭を回転させる動きの大きさがマーカＭ１よりも大きくない状態が、図２２のＣに示すような頭を回転させる動きの大きさがマーカＭ１よりも大きい状態となったときに、視線に係るデータを、キャリブレーション計算用検出データとしてサンプリングする。ここで、図２２に示す例では、キャリブレーション計算用検出データが連続的に取得される。
　また、頭を回転させる動きの大きさがマーカＭ１よりも大きい状態となった場合には、本実施形態に係る情報処理装置は、例えば、視覚的な方法、聴覚的な方法、触覚的な方法のうちの１または２以上などによって、ユーザに対するフィードバックを行ってもよい。図２２のＣでは、頭を回転させる動きの大きさがマーカＭ１よりも大きい状態が、視覚的な方法によって、ユーザに対してフィードバックされている例を示している。
　第２の例に係る誘導処理の一例としては、上記（ａ）～上記（ｄ）に示す例が挙げられる。なお、顔の向きに追従するオブジェクトを表示画面に表示させることによる誘導の例が、上記（ａ）～上記（ｄ）に示す例に限られないことは、言うまでもない。
　第２の例に係る誘導処理では、上記のように、顔の向きに追従するオブジェクトを表示画面に表示させることによって、ユーザが誘導される。第２の例に係る誘導処理が行われる場合には、例えば、ユーザは、どれ位大きく動かせばよいのかについてのフィードバックを得ながら顔を動かすことができるので、ユーザにとって分かりやすい誘導であるという利点がある。
（１－３）誘導処理の第３の例
　本実施形態に係る情報処理装置は、頭部の動きを変えさせるデバイスを制御することによって、ユーザを誘導する。本実施形態に係る情報処理装置は、例えば、頭部の動きを変えさせるデバイスの動作を制御する命令を含む制御信号を、頭部の動きを変えさせるデバイスに対して送信することによって、頭部の動きを変えさせるデバイスを制御する。
　ここで、頭部の動きを変えさせるデバイスとしては、頭部への刺激を行うデバイス、頭部の回旋に作用する筋肉への刺激を行うデバイス、あるいは、ヘッドレストなどの頭部を支持するデバイスなどが、挙げられる。
　図２３は、本実施形態に係る情報処理方法に係る誘導処理を説明するための説明図であり、頭部の動きを変えさせるデバイスを制御することによる誘導の例を示している。
　図２３のＡは、頭部への刺激を行うデバイスＤ１により誘導される場合を示している。頭部への刺激を行うデバイスＤ１は、例えばユーザの頭部に装着され、頭部を刺激することにより頭部の回転を誘発する。頭部への刺激を行うデバイスＤ１としては、例えば、ハンガー反射を利用するデバイスが挙げられる。
　図２３のＢは、頭部の回旋に作用する筋肉への刺激を行うデバイスＤ２により誘導される場合を示している。頭部の回旋に作用する筋肉への刺激を行うデバイスＤ２は、例えば首部分など、頭部の回旋に作用する筋肉が存在する部位に装着され、電気刺激により当該筋肉を刺激することにより頭部の回転を誘発する。
　図２３のＣは、ヘッドレストなどの頭部を支持するデバイスＤ３により誘導される場合を示している。頭部を支持するデバイスＤ３は、ユーザの頭部を支持し、頭部へと外力を加えることによって、頭部を回転させる。
　第３の例に係る誘導処理の一例としては、例えば図２３に示すような頭部の動きを変えさせるデバイスを制御することが挙げられる。なお、頭部の動きを変えさせるデバイスの例は、図２３に示す例に限られず、頭部の動きを変えさせることが可能な、任意のデバイスであってもよい。
　第３の例に係る誘導処理では、上記のように、頭部の動きを変えさせるデバイスが制御されることによって、ユーザが誘導される。第３の例に係る誘導処理が行われる場合には、例えば、頭部の動きを変えさせるデバイスによりユーザの頭は勝手に動くので、ユーザは見ることに意識を集中することができるという利点がある。
（１－４）誘導処理の他の例
　本実施形態に係る情報処理装置は、さらに、ユーザの位置（例えば立ち位置）を変えさせるようにユーザを誘導してもよい。ユーザの位置は、上述したように、例えば環境に配置されている撮像デバイスにより撮像された撮像画像などに基づいて推定される。本実施形態に係る情報処理装置は、例えば、視覚的な方法、聴覚的な方法、触覚的な方法のうちの１または２以上などによって、ユーザの位置を誘導する。
　ユーザの位置がさらに誘導されることによって、例えば、ユーザが頭を動かすときの負荷の軽減と、サンプリングされるキャリブレーション計算用検出データを用いたキャリブレーションの精度の向上とを、図ることが可能となる。
　また、上記（１－１）に示す第１の例に係る誘導処理～上記（１－３）に示す第３の例に係る誘導処理それぞれにおいてユーザに対するフィードバックとして示したように、本実施形態に係る情報処理装置は、ユーザの誘導の状態を、ユーザに対して通知させることも可能である。本実施形態に係る情報処理装置は、例えば、視覚的な方法、聴覚的な方法、触覚的な方法のうちの１または２以上などによって、ユーザの誘導の状態をユーザに対して通知させる。
　また、本実施形態に係る情報処理装置は、注視に関する情報を利用するソフトウェアに対応する誘導処理を行ってもよい。
　本実施形態に係る情報処理装置は、例えば、ソフトウェアを示す情報（例えばソフトウェアのＩＤ）と、誘導処理を示す情報（例えば誘導処理のＩＤ）とが対応付けられているテーブル（またはデータベース）を参照することによって、ソフトウェアに対応する誘導処理を特定し、特定された誘導処理を行う。
　本実施形態に係る情報処理装置は、誘導処理として、例えば上記のような処理を行う。本実施形態に係る情報処理装置が誘導処理を行ってユーザを誘導することによって、例えば下記のような効果が奏される。
　　・キャリブレーション時におけるユーザの負荷が軽減される。
　　・キャリブレーション点の表示領域の大きさに限定されず、ユーザの眼を所望の範囲で振らせることができる。
（２）ソフトウェアの制御処理
　本実施形態に係る情報処理装置は、注視に関する情報を利用するソフトウェアを制御する処理を行う。ここで、注視に関する情報を利用するソフトウェアとしては、例えば、ＯＳ（Operating　System）、システムソフトウェア、アプリケーションソフトウェアなどが、挙げられる。
　本実施形態に係る情報処理装置は、例えば、注視に関する情報が示す注視方向と注視位置との一方または双方に応じた動作を、ソフトウェアに行わせる。ここで、本実施形態に係る情報処理装置が制御するソフトウェアは、本実施形態に係る情報処理装置において実行されているソフトウェアであってもよいし、本実施形態に係る情報処理装置の外部装置において実行されているソフトウェアであってもよい。本実施形態に係る情報処理装置が制御するソフトウェアが、外部装置において実行されているソフトウェアである場合には、本実施形態に係る情報処理装置は、ソフトウェアを制御する制御命令を含む制御信号を、上記外部装置へと送信することによって、ソフトウェアを制御する。
　また、本実施形態に係る情報処理装置は、ソフトウェアの制御として、ＵＩの制御を行うことも可能である。本実施形態に係る情報処理装置は、頭の検出結果と、キャリブレーション情報を取得するときに設定される視線使用範囲とに基づいて、表示画面に表示させるＵＩの大きさを決定する。そして、本実施形態に係る情報処理装置は、決定された大きさのＵＩを、表示画面に表示させる。
　図２４は、本実施形態に係る情報処理方法に係るソフトウェアの制御処理の一例を説明するための説明図であり、ＵＩの制御の一例を示している。
　ここで、表示画面Ｄ内において符号ＳＣ１、ＳＣ２で示される領域それぞれが、ソフトウェアに対応するＵＩの一例に該当する。以下では、符号ＳＣ１、ＳＣ２で示される領域が、ユーザが視線による操作を行うための操作画面である場合を例に挙げる。
　例えば、ボタンなどの操作デバイスの操作、音声による操作、ジェスチャなどの操作などの、任意の操作画面の呼び出し操作で行うと、操作画面ＳＣ１、ＳＣ２が、ユーザが顔を向けている位置（例えば、注視に関する情報が示す注視方向、または注視に関する情報が示す注視位置に対応する位置）に表示される。
　ここで、本実施形態に係る情報処理装置は、例えば、視線使用範囲（キャリブレーションを行った眼の振り幅）と、頭の検出結果などに基づくユーザの顔の正面から表示画面Ｄまでの距離とに基づいて、表示画面に表示させるＵＩの大きさを決定する。本実施形態に係る情報処理装置は、例えば、“視線使用範囲、距離、およびＵＩの大きさを示す設定が対応付けられているテーブル（または、データベース）”を参照することにより、表示画面に表示させるＵＩの大きさを決定する。
　ユーザは、操作画面ＳＣ１、ＳＣ２に含まれるメニュー項目などのＵＩに係るオブジェクトを視線で選択する。また、ユーザが、例えば、ボタンなどの操作デバイスの操作、音声による操作、ジェスチャなどの操作などの、任意の決定操作を行った場合には、選択されたＵＩに係るオブジェクトに対応する処理が行われる。
　本実施形態に係る情報処理装置が、上記のように表示画面に表示させるＵＩの大きさを決定することによって、例えば、視線の検出精度を担保することができ、また、ＵＩの見易さをより高めることができる。
［３－３］本実施形態に係る情報処理方法に係る処理の一例
　次に、本実施形態に係る情報処理方法に係る処理の一例を示す。図２５は、本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。
　本実施形態に係る情報処理装置は、眼の角度の誘導目標を設定する（Ｓ１００）。本実施形態に係る情報処理装置は、例えば、眼の角度の誘導目標を、例えば図８のＢに示す眼の角度の誘導ポイントＰ５、Ｐ１、Ｐ２、Ｐ３、Ｐ４の順に設定する。なお、眼の角度の誘導目標の設定例が、上記に示す例に限られないことは、言うまでもない。
　本実施形態に係る情報処理装置は、ユーザの頭の検出結果と、当該ユーザの視線の検出結果とに基づいて、ユーザの視線、および頭部の位置、向きを検出する（Ｓ１０２）。
　本実施形態に係る情報処理装置は、ステップＳ１０２における検出の結果に基づきユーザの誘導表現とフィードバック表現とを更新する（Ｓ１０４）。
　本実施形態に係る情報処理装置は、眼の角度が誘導目標範囲内に入っているか否かを判定する（Ｓ１０６）。本実施形態に係る情報処理装置は、誘導領域（眼の角度の誘導ポイント）に眼の角度が入った場合に、眼の角度が誘導目標範囲内に入っていると判定する。
　ステップＳ１０６において眼の角度が誘導目標範囲内に入っていると判定されない場合、本実施形態に係る情報処理装置は、ステップＳ１０２からの処理を繰り返す。
　また、ステップＳ１０６において眼の角度が誘導目標範囲内に入っていると判定された場合には、本実施形態に係る情報処理装置は、キャリブレーション点として利用することができる条件を満たしているか否かを判定する（Ｓ１０８）。キャリブレーション点として利用することができる条件としては、例えば、上述したキャリブレーションの精度の担保を図るための処理に係る条件（ユーザの眼の動きが静定していることなど）が、挙げられる。
　ステップＳ１０８においてキャリブレーション点として利用することができる条件を満たしていると判定されない場合、本実施形態に係る情報処理装置は、ステップＳ１０２からの処理を繰り返す。
　また、ステップＳ１０８においてキャリブレーション点として利用することができる条件を満たしていると判定された場合には、本実施形態に係る情報処理装置は、キャリブレーション計算用検出データをサンプリングする（Ｓ１１０）。
　ステップＳ１１０の処理を行うと、本実施形態に係る情報処理装置は、キャリブレーション計算用検出データのサンプリング数が目標数に達しているか否かを判定する（Ｓ１１２）。本実施形態に係る情報処理装置は、例えば、サンプリング数が目標数に対応する閾値以上である場合（サンプリング数当該閾値より大きい場合）に、サンプリング数が目標数に達していると判定する。ここで、目標数に対応する閾値は、予め設定されている固定値であってもよいし、ユーザの操作などに基づき変更可能な可変値であってもよい。
　ステップＳ１１２においてサンプリング数が目標数に達していると判定されない場合、本実施形態に係る情報処理装置は、ステップＳ１０２からの処理を繰り返す。
　また、ステップＳ１１２においてサンプリング数が目標数に達していると判定された場合には、本実施形態に係る情報処理装置は、他の誘導目標がなく、かつ現在の誘導目標に対するリトライが必要ないか否かを判定する（Ｓ１１４）。本実施形態に係る情報処理装置は、例えば、サンプリングされたキャリブレーション計算用検出データに基づき算出された相関係数の寄与率が、設定されている閾値以下の場合（または、当該寄与率が当該閾値より小さい場合）は、リトライが必要であると判定する。
　ステップＳ１１４において、他の誘導目標がなく、かつ現在の誘導目標に対するリトライが必要ないと判定されない場合、本実施形態に係る情報処理装置は、例えばステップＳ１００からの処理を繰り返す。
　また、ステップＳ１１４において、他の誘導目標がなく、かつ現在の誘導目標に対するリトライが必要ないと判定された場合には、本実施形態に係る情報処理装置は、サンプリングされたキャリブレーション計算用検出データに基づいて、キャリブレーション処理を実行する（Ｓ１１６）。本実施形態に係る情報処理装置は、例えば、サンプリングされたキャリブレーション計算用検出データに基づいてキャリブレーション情報を生成する。また、本実施形態に係る情報処理装置は、例えば、キャリブレーション情報に基づいて視線の検出結果をキャリブレーションする。
　本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば図２５に示す処理を行う。なお、本実施形態に係る情報処理方法に係る処理の例が、図２５に示す例に限られないことは、言うまでもない。
（本実施形態に係る情報処理装置）
　次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な本実施形態に係る情報処理装置の構成の一例について、説明する。
　図２６は、本実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。情報処理装置１００は、例えば、通信部１０２と、制御部１０４とを備える。
　また、情報処理装置１００は、例えば、ＲＯＭ（Read　Only　Memory。図示せず）や、ＲＡＭ（Random　Access　Memory。図示せず）、記憶部（図示せず）、情報処理装置１００の使用者が操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。情報処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
　ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。
　記憶部（図示せず）は、情報処理装置１００が備える記憶手段であり、例えば、キャリブレーション情報や“視線利用範囲の大きさ、距離、および視線使用範囲Ｒの大きさが対応付けられているテーブル”などの、本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard　Disk）などの磁気記録媒体や、フラッシュメモリ（flash　memory）などの不揮発性メモリ（nonvolatile　memory）などが挙げられる。また、記憶部（図示せず）は、情報処理装置１００から着脱可能であってもよい。
　操作部（図示せず）としては、後述する操作入力デバイスが挙げられる。また、表示部（図示せず）としては、後述する表示デバイスが挙げられる。
［情報処理装置１００のハードウェア構成例］
　図２７は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示す説明図である。情報処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４とを備える。また、情報処理装置１００は、例えば、データの伝送路としてのバス１６６で各構成要素間を接続する。また、情報処理装置１００は、例えば、情報処理装置１００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
　ＭＰＵ１５０は、例えば、ＭＰＵ（Micro　Processing　Unit）などの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、情報処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、情報処理装置１００において、例えば、後述する処理部１１０の役目を果たす。なお、処理部１１０は、処理部１１０の処理を実現可能な専用の（または汎用の）回路（例えば、ＭＰＵ１５０とは別体のプロセッサなど）で構成されていてもよい。
　ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
　記録媒体１５６は、記憶部（図示せず）として機能し、例えば、キャリブレーション情報などの本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、情報処理装置１００から着脱可能であってもよい。
　入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal　Serial　Bus）端子や、ＤＶＩ（Digital　Visual　Interface）端子、ＨＤＭＩ（High-Definition　Multimedia　Interface）（登録商標）端子、各種処理回路などが挙げられる。
　また、操作入力デバイス１６０は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクタ、あるいは、これらの組み合わせなどが挙げられる。
　また、表示デバイス１６２は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid　Crystal　Display）や有機ＥＬディスプレイ（Organic　Electro-Luminescence　Display。または、ＯＬＥＤディスプレイ（Organic　Light　Emitting　Diode　Display）ともよばれる。）などが挙げられる。
　なお、入出力インタフェース１５８が、情報処理装置１００の外部の操作入力デバイス（例えば、キーボードやマウスなど）や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１６２は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。
　通信インタフェース１６４は、情報処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、例えば外部装置や外部のデバイスなどと、無線または有線で通信を行うための通信部１０２として機能する。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio　Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local　Area　Network）端子および送受信回路（有線通信）などが挙げられる。
　情報処理装置１００は、例えば図２７に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置１００のハードウェア構成は、図２７に示す構成に限られない。
　例えば、情報処理装置１００は、接続されている外部の通信デバイスを介して外部装置などと通信を行う場合には、通信インタフェース１６４を備えていなくてもよい。また、通信インタフェース１６４は、複数の通信方式によって、１または２以上の外部装置などと通信を行うことが可能な構成であってもよい。
　また、情報処理装置１００は、例えば、記録媒体１５６や、操作入力デバイス１６０、表示デバイス１６２を備えない構成をとることが可能である。
　また、情報処理装置１００は、例えば、後述する情報処理装置１００の適用例に応じた構成をとることが可能である。
　また、例えば、図２７に示す構成（または変形例に係る構成）の一部または全部は、１、または２以上のＩＣ（Integrated　Circuit）で実現されてもよい。
　再度図２６を参照して、情報処理装置１００の構成の一例について説明する。通信部１０２は、情報処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線または有線で通信を行う。また、通信部１０２は、例えば制御部１０４により通信が制御される。
　ここで、通信部１０２としては、例えば、通信アンテナおよびＲＦ回路や、ＬＡＮ端子および送受信回路などが挙げられるが、通信部１０２の構成は、上記に限られない。例えば、通信部１０２は、ＵＳＢ端子および送受信回路などの通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。また、通信部１０２は、複数の通信方式によって、１または２以上の外部装置などと通信を行うことが可能な構成であってもよい。
　制御部１０４は、例えばＭＰＵなどで構成され、情報処理装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば、処理部１１０を備え、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
　処理部１１０は、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たし、ユーザの頭の検出結果と、ユーザの視線の検出結果とに基づいて、ユーザに対応する注視に関する情報を取得する。
　処理部１１０は、例えば、キャリブレーション情報に基づいて視線の検出結果をキャリブレーションし、頭の検出結果と、キャリブレーションされた視線の検出結果とに基づいて、注視に関する情報を取得する。
　また、処理部１１０は、例えば、上記（１）に示す処理（誘導処理）と、上記（２）に示す処理（ソフトウェアの制御処理）との一方または双方などを、さらに行ってもよい。
　図２８は、本実施形態に係る情報処理装置１００が備える処理部１１０が有する機能の一例を説明するためのブロック図である。図２８では、処理部１１０が、上記（１）に示す処理（誘導処理）と上記（２）に示す処理（ソフトウェアの制御処理）とを行う機能を有している場合における構成の一例を示している。
　処理部１１０は、例えば、誘導処理部１１２と、キャリブレーション処理部１１４と、注視検出部１１６と、ソフトウェア制御部１１８とを有する。
　誘導処理部１１２は、上記（１）に示す処理（誘導処理）を行う。
　キャリブレーション処理部１１４は、例えば、サンプリングされたキャリブレーション計算用検出データに基づいてキャリブレーション情報を生成する。そして、キャリブレーション処理部１１４は、生成したキャリブレーション情報を、ユーザを示す情報（例えば、ユーザＩＤ、ユーザの生体情報などのユーザを特定することが可能な１または２以上のデータなど）と対応付けて、記憶部（図示せず）または外部記録媒体などの記録媒体に、記録させる。
　ここで、キャリブレーション情報を生成する処理は、例えば、記録媒体にキャリブレーション情報が記憶されていない場合（例えば、初期状態）、前回キャリブレーション情報が生成されてから設定されている期間が経過した場合、キャリブレーションを行う操作が検出された場合に、行われる。
　また、キャリブレーション処理部１１４は、例えば、キャリブレーション情報に基づいて視線の検出結果をキャリブレーションする。
　注視検出部１１６は、ユーザの頭の検出結果と、ユーザの視線の検出結果とに基づいて、ユーザに対応する注視に関する情報を取得する。キャリブレーション処理部１１４において線の検出結果がキャリブレーションされている場合には、注視検出部１１６は、頭の検出結果と、キャリブレーションされた視線の検出結果とに基づいて、注視に関する情報を取得する。注視検出部１１６は、ユーザの頭の検出結果と、ユーザの視線の検出結果（または、キャリブレーションされた視線の検出結果）とに基づいて、注視方向と注視位置との一方または双方を推定することによって、注視に関する情報を取得する。
　ソフトウェア制御部１１８は、上記（２）に示す処理（ソフトウェアの制御処理）を行う。
　処理部１１０は、例えば図２８に示す構成を有することにより、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。なお、処理部１１０の構成が、図２８に示す例に限られないことは、言うまでもない。
　情報処理装置１００は、例えば図２６に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。したがって、情報処理装置１００は、例えば図２６に示す構成によって、ユーザの視線に関する推定における精度の向上を図ることができる。
　また、例えば図２６に示す構成によって、情報処理装置１００は、上述したような本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。
　なお、本実施形態に係る情報処理装置の構成は、図２６に示す構成に限られない。
　例えば、本実施形態に係る情報処理装置は、図２６に示す処理部１１０を、制御部１０４とは個別に備える（例えば、別の処理回路で実現する）ことができる。また、処理部１１０は、複数の処理回路で実現され、各機能が複数の処理回路で分散して行われてもよい。
　また、本実施形態に係る情報処理方法に係る処理を実現するための構成は、図２６に示す構成に限られず、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。
　また、例えば、通信部１０２と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合には、本実施形態に係る情報処理装置は、通信部１０２を備えていなくてもよい。
　以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、“ＰＣ（Personal　Computer）やサーバなどのコンピュータ”や、“アイウェア型の装置、時計型の装置、腕輪型の装置などのようなユーザの身体に装着して用いられる任意のウェアラブル装置”、“スマートフォンなどの通信装置”、“プロジェクタなどの画像投射装置”、“表示装置”、“タブレット型の装置”、“ゲーム機”、“自動車などの移動体”など、本実施形態に係る情報処理方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣに適用することもできる。
　また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした処理システムに適用されてもよい。本実施形態に係る情報処理方法に係る処理が行われる処理システムの一例としては、例えば“処理システムを構成する一の装置によって本実施形態に係る情報処理方法に係る処理の一部の処理が行われ、処理システムを構成する他の装置によって本実施形態に係る情報処理方法に係る処理の当該一部の処理以外の処理が行われるシステム”などが、挙げられる。
（本実施形態に係るプログラム）
　コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（例えば、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいてプロセッサなどにより実行されることによって、ユーザの視線に関する推定における精度の向上を図ることができる。
　また、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記では、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
　上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザの頭の検出結果と、前記ユーザの視線の検出結果とに基づいて、前記ユーザに対応する注視に関する情報を取得する処理部を備える、情報処理装置。
（２）
　前記処理部は、
　前記頭の検出結果および前記視線の検出結果に基づき取得される、所定の眼の角度に対応するキャリブレーション情報に基づいて、前記視線の検出結果をキャリブレーションし、
　前記頭の検出結果と、キャリブレーションされた前記視線の検出結果とに基づいて、前記注視に関する情報を取得する、（１）に記載の情報処理装置。
（３）
　前記キャリブレーション情報を取得する場合、
　前記処理部は、前記ユーザの眼の角度が前記所定の角度となるように前記ユーザを誘導する誘導処理を行う、（２）に記載の情報処理装置。
（４）
　前記処理部は、表示画面に表示される所定のオブジェクトを見ている状態で顔の向きを変えさせるように前記ユーザを誘導する、第１の誘導処理を行う、（３）に記載の情報処理装置。
（５）
　前記所定のオブジェクトは、顔の向きを指示する指示オブジェクトであり、
　前記処理部は、前記指示オブジェクトを前記表示画面に表示させることによって、前記ユーザを誘導する、（４）に記載の情報処理装置。
（６）
　前記処理部は、誘導が完了していないときに顔の向きが検出されなくなった場合には、前記指示オブジェクトが指示する顔の向きを、変える、（５）に記載の情報処理装置。
（７）
　前記処理部は、顔の向きが再度検出された場合には、前記ユーザを誘導する誘導範囲を小さくする、（６）に記載の情報処理装置。
（８）
　前記処理部は、顔の向きを指示する音声を音声出力デバイスから出力させることによって、前記ユーザを誘導する、（４）～（７）のいずれか１つに記載の情報処理装置。
（９）
　前記処理部は、前記所定の角度と前記ユーザの眼の角度との比較結果に基づいて、前記所定のオブジェクトの表示位置を、前記所定の角度と前記ユーザの眼の角度との差が小さくなるように、変える、（４）～（８）のいずれか１つに記載の情報処理装置。
（１０）
　前記処理部は、顔の向きに追従するオブジェクトを表示画面に表示させることによって前記ユーザを誘導する、第２の誘導処理を行う、（３）に記載の情報処理装置。
（１１）
　前記処理部は、頭部の動きを変えさせるデバイスを制御することによって前記ユーザを誘導する、第３の誘導処理を行う、（３）に記載の情報処理装置。
（１２）
　前記処理部は、前記ユーザの誘導の状態を、ユーザに対して通知させる、（３）～（１１）のいずれか１つに記載の情報処理装置。
（１３）
　前記処理部は、さらに、前記ユーザの位置を変えさせるように前記ユーザを誘導する、（３）～（１２）のいずれか１つに記載の情報処理装置。
（１４）
　前記処理部は、前記注視に関する情報を利用するソフトウェアに対応する前記誘導処理を行う、（３）～（１３）のいずれか１つに記載の情報処理装置。
（１５）
　前記注視に関する情報は、推定された注視方向と、推定された注視位置との一方または双方を示す、（１）～（１４）のいずれか１つに記載の情報処理装置。
（１６）
　前記処理部は、さらに、前記注視に関する情報を利用するソフトウェアを制御する処理を行う、（２）～（１４）のいずれか１つに記載の情報処理装置。
（１７）
　前記処理部は、前記頭の検出結果と、前記キャリブレーション情報を取得するときに設定される視線使用範囲とに基づいて、表示画面に表示させるユーザインタフェースの大きさを決定する、（１６）に記載の情報処理装置。
（１８）
　ユーザの頭の検出結果と、前記ユーザの視線の検出結果とに基づいて、前記ユーザに対応する注視に関する情報を取得するステップを有する、情報処理装置により実行される情報処理方法。
（１９）
　ユーザの頭の検出結果と、前記ユーザの視線の検出結果とに基づいて、前記ユーザに対応する注視に関する情報を取得する機能を、コンピュータに実現させるためのプログラム。
　１００　　情報処理装置
　１０２　　通信部
　１０４　　制御部
　１１０　　処理部
　１１２　　誘導処理部
　１１４　　キャリブレーション処理部
　１１６　　注視検出部
　１１８　　ソフトウェア制御部

Claims (19)

  1. 　ユーザの頭の検出結果と、前記ユーザの視線の検出結果とに基づいて、前記ユーザに対応する注視に関する情報を取得する処理部を備える、情報処理装置。
  2. 　前記処理部は、
    　前記頭の検出結果および前記視線の検出結果に基づき取得される、所定の眼の角度に対応するキャリブレーション情報に基づいて、前記視線の検出結果をキャリブレーションし、
    　前記頭の検出結果と、キャリブレーションされた前記視線の検出結果とに基づいて、前記注視に関する情報を取得する、請求項１に記載の情報処理装置。
  3. 　前記キャリブレーション情報を取得する場合、
    　前記処理部は、前記ユーザの眼の角度が前記所定の角度となるように前記ユーザを誘導する誘導処理を行う、請求項２に記載の情報処理装置。
  4. 　前記処理部は、表示画面に表示される所定のオブジェクトを見ている状態で顔の向きを変えさせるように前記ユーザを誘導する、第１の誘導処理を行う、請求項３に記載の情報処理装置。
  5. 　前記所定のオブジェクトは、顔の向きを指示する指示オブジェクトであり、
    　前記処理部は、前記指示オブジェクトを前記表示画面に表示させることによって、前記ユーザを誘導する、請求項４に記載の情報処理装置。
  6. 　前記処理部は、誘導が完了していないときに顔の向きが検出されなくなった場合には、前記指示オブジェクトが指示する顔の向きを、変える、請求項５に記載の情報処理装置。
  7. 　前記処理部は、顔の向きが再度検出された場合には、前記ユーザを誘導する誘導範囲を小さくする、請求項６に記載の情報処理装置。
  8. 　前記処理部は、顔の向きを指示する音声を音声出力デバイスから出力させることによって、前記ユーザを誘導する、請求項４に記載の情報処理装置。
  9. 　前記処理部は、前記所定の角度と前記ユーザの眼の角度との比較結果に基づいて、前記所定のオブジェクトの表示位置を、前記所定の角度と前記ユーザの眼の角度との差が小さくなるように、変える、請求項４に記載の情報処理装置。
  10. 　前記処理部は、顔の向きに追従するオブジェクトを表示画面に表示させることによって前記ユーザを誘導する、第２の誘導処理を行う、請求項３に記載の情報処理装置。
  11. 　前記処理部は、頭部の動きを変えさせるデバイスを制御することによって前記ユーザを誘導する、第３の誘導処理を行う、請求項３に記載の情報処理装置。
  12. 　前記処理部は、前記ユーザの誘導の状態を、ユーザに対して通知させる、請求項３に記載の情報処理装置。
  13. 　前記処理部は、さらに、前記ユーザの位置を変えさせるように前記ユーザを誘導する、請求項３に記載の情報処理装置。
  14. 　前記処理部は、前記注視に関する情報を利用するソフトウェアに対応する前記誘導処理を行う、請求項３に記載の情報処理装置。
  15. 　前記注視に関する情報は、推定された注視方向と、推定された注視位置との一方または双方を示す、請求項１に記載の情報処理装置。
  16. 　前記処理部は、さらに、前記注視に関する情報を利用するソフトウェアを制御する処理を行う、請求項２に記載の情報処理装置。
  17. 　前記処理部は、前記頭の検出結果と、前記キャリブレーション情報を取得するときに設定される視線使用範囲とに基づいて、表示画面に表示させるユーザインタフェースの大きさを決定する、請求項１６に記載の情報処理装置。
  18. 　ユーザの頭の検出結果と、前記ユーザの視線の検出結果とに基づいて、前記ユーザに対応する注視に関する情報を取得するステップを有する、情報処理装置により実行される情報処理方法。
  19. 　ユーザの頭の検出結果と、前記ユーザの視線の検出結果とに基づいて、前記ユーザに対応する注視に関する情報を取得する機能を、コンピュータに実現させるためのプログラム。
PCT/JP2016/082934 2016-01-18 2016-11-07 情報処理装置、情報処理方法、およびプログラム WO2017126195A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/066,790 US10684682B2 (en) 2016-01-18 2016-11-07 Information processing device and information processing method
CN201680078442.5A CN108463789B (zh) 2016-01-18 2016-11-07 信息处理设备、信息处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-006848 2016-01-18
JP2016006848A JP2017129898A (ja) 2016-01-18 2016-01-18 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2017126195A1 true WO2017126195A1 (ja) 2017-07-27

Family

ID=59361584

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/082934 WO2017126195A1 (ja) 2016-01-18 2016-11-07 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US10684682B2 (ja)
JP (1) JP2017129898A (ja)
CN (1) CN108463789B (ja)
WO (1) WO2017126195A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024100936A1 (ja) * 2022-11-11 2024-05-16 パナソニックＩｐマネジメント株式会社 入力装置、画面決定方法および視線入力システム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016002656A1 (ja) * 2014-06-30 2016-01-07 凸版印刷株式会社 視線計測システム、視線計測方法、及びプログラム
WO2018030515A1 (ja) * 2016-08-12 2018-02-15 国立大学法人静岡大学 視線検出装置
WO2018163637A1 (ja) * 2017-03-09 2018-09-13 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
JP6833997B2 (ja) * 2017-06-29 2021-02-24 マクセル株式会社 携帯端末
JP6876639B2 (ja) * 2018-02-05 2021-05-26 Kddi株式会社 表示制御装置、表示制御方法及びプログラム
JP7341166B2 (ja) 2018-05-22 2023-09-08 マジック リープ， インコーポレイテッド ウェアラブルシステムのためのトランスモード入力融合
CN110377158B (zh) * 2019-07-22 2023-03-31 北京七鑫易维信息技术有限公司 基于变化视场范围的眼球追踪的校准方法及电子设备
CN113819901B (zh) * 2020-06-19 2023-11-07 长鑫存储技术有限公司 光学传感器的姿态调整装置及方法、自动物料运输系统
JP2022136843A (ja) 2021-03-08 2022-09-21 本田技研工業株式会社 較正装置及び較正方法
US11482141B1 (en) * 2021-07-29 2022-10-25 GM Global Technology Operations LLC Reticle and target based calibration for augmented reality head-up displays

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015528359A (ja) * 2012-09-17 2015-09-28 ゼンゾモトリック インストルメンツ ゲゼルシャフト フュア イノベイティブ ゼンゾリク ミット ベシュレンクテル ハフツング 三次元物体上の注視点決定方法及び装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102112943A (zh) * 2008-08-07 2011-06-29 皇家飞利浦电子股份有限公司 确定用户头部运动/注视关系的方法和系统以及交互式显示系统
JP2015152939A (ja) 2014-02-10 2015-08-24 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2015153302A (ja) * 2014-02-18 2015-08-24 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
US9785235B2 (en) * 2014-02-19 2017-10-10 Mitsubishi Electric Corporation Display control apparatus, display control method of display control apparatus, and eye gaze direction detection system
US9727136B2 (en) * 2014-05-19 2017-08-08 Microsoft Technology Licensing, Llc Gaze detection calibration
US10048749B2 (en) * 2015-01-09 2018-08-14 Microsoft Technology Licensing, Llc Gaze detection offset for gaze tracking models

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015528359A (ja) * 2012-09-17 2015-09-28 ゼンゾモトリック インストルメンツ ゲゼルシャフト フュア イノベイティブ ゼンゾリク ミット ベシュレンクテル ハフツング 三次元物体上の注視点決定方法及び装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAKASHI NAGAMATSU: "A Model of Rotation of the Visual and Optical Axes of the Eyeball on the Basis of Listing's Law, and Gaze-Estimation and Evaluation Method Using the Model", THE TRANSACTIONS OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS (J93-D, vol. J93-D, no. 4, 1 April 2010 (2010-04-01), pages 511 - 521 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024100936A1 (ja) * 2022-11-11 2024-05-16 パナソニックＩｐマネジメント株式会社 入力装置、画面決定方法および視線入力システム

Also Published As

Publication number Publication date
JP2017129898A (ja) 2017-07-27
CN108463789A (zh) 2018-08-28
CN108463789B (zh) 2022-05-24
US10684682B2 (en) 2020-06-16
US20190011983A1 (en) 2019-01-10

Similar Documents

Publication Publication Date Title
WO2017126195A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11347311B2 (en) Systems and methods for providing haptic feedback for remote interactions
US10664950B2 (en) Information processing method and system for executing the information processing method
JP2019087279A (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
US10884577B2 (en) Identification of dynamic icons based on eye movement
JP2013258614A (ja) 画像生成装置および画像生成方法
WO2017130514A1 (ja) 情報処理装置、情報処理方法、およびプログラムを記録したコンピュータ読み取り可能な記録媒体
JP6220937B1 (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
WO2018020735A1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
EP3940507A1 (en) Information processing device, information processing method, and computer-readable recording medium
JP2019125215A (ja) 情報処理装置、情報処理方法、及び記録媒体
WO2017051595A1 (ja) 情報処理装置、情報処理方法及びプログラム
EP3944228A1 (en) Electronic device, method for controlling electronic device, program, and storage medium
US20170193633A1 (en) Information processing device, information processing method, and program
JP6159455B1 (ja) 仮想空間を提供する方法、プログラム、および記録媒体
JP6934374B2 (ja) プロセッサを備えるコンピュータにより実行される方法
WO2020026380A1 (ja) 表示装置、表示方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
JP2023184238A (ja) 情報処理装置、情報処理方法、プログラム
JP2018033938A (ja) 仮想空間を提供する方法、プログラム、および記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16886434

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16886434

Country of ref document: EP

Kind code of ref document: A1