WO2016147499A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2016147499A1
WO2016147499A1 PCT/JP2015/084328 JP2015084328W WO2016147499A1 WO 2016147499 A1 WO2016147499 A1 WO 2016147499A1 JP 2015084328 W JP2015084328 W JP 2015084328W WO 2016147499 A1 WO2016147499 A1 WO 2016147499A1
Authority
WO
WIPO (PCT)
Prior art keywords
index
history
information indicating
control unit
information
Prior art date
Application number
PCT/JP2015/084328
Other languages
English (en)
French (fr)
Inventor
野田　卓郎
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/554,817 priority Critical patent/US20180239442A1/en
Publication of WO2016147499A1 publication Critical patent/WO2016147499A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 a pointer is displayed on each of a plurality of displays in a multi-display environment, and a pointer used by the user is appropriately selected according to the use state of the user.
  • Technology is disclosed.
  • Gaze input technology is one of the user interface technologies that have been attracting attention in recent years.
  • the line-of-sight input technique is a technique for tracking the direction and movement of a user's line of sight and reflecting the tracking result on the movement of an index such as a pointer or focus.
  • the line-of-sight input technique has the convenience that the user's line of sight can be directly reflected in the input.
  • the index follows the movement of the line of sight that is not intended to move the index, and when the line of sight is moved back to the original position, the position of the index may deviate from the original position. There was inconvenience. In the said patent document 1, the technique for eliminating the said inconvenience is not disclosed at all.
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of improving the convenience of the line-of-sight input technology.
  • a storage control unit that acquires a history of information indicating a correspondence relationship between a position of a user's point of gaze and an index position indicating an operation position operated by the user, and the user's attention Based on the history of information indicating the correspondence acquired by the detection unit that detects the position of the viewpoint and the storage control unit, the display is displayed at a position corresponding to the current position of the gazing point detected by the detection unit And a display control unit that controls the display position of the index.
  • a history of information indicating a correspondence relationship between the position of the user's point of gaze and the position of the index indicating the operation position operated by the user is acquired from the storage unit; Detecting the position of the viewpoint and controlling the display position of the index so that it is displayed at a position corresponding to the detected current position of the gazing point based on the acquired history of information indicating the correspondence relationship And an information processing method executed by a processor is provided.
  • the storage control unit that acquires the history of information indicating the correspondence relationship between the position of the user's point of gaze and the position of the index indicating the operation position operated by the user from the storage unit, A detection unit for detecting the position of the user's gaze point and a current history of the gaze point detected by the detection unit based on a history of information indicating the correspondence acquired by the storage control unit.
  • a program for causing a display control unit to control the display position of the index so as to be displayed at a corresponding position.
  • FIG. 1 is a diagram for explaining an overview of an information processing system 1 according to the present embodiment.
  • the information processing system 1 includes an information processing device 100 and a display device 200. Further, the information processing system 1 may include an operation device 300.
  • the user operates the index 10 (pointer) displayed on the display device 200 ⁇ / b> A with the operation device 300.
  • the operation device 300 is a device that receives an operation by a user.
  • the operating device 300 shown in FIG. 1 is a gyro mouse.
  • the gyro mouse 300 has an inertial sensor such as an acceleration sensor and a gyro sensor inside, and can reflect inclination, acceleration, and the like in the position and movement of the index 10.
  • the operation device 300 may be realized by various devices such as a mouse, a keyboard, and a touch pad.
  • the display device 200 is a device that displays information. Display devices 200A, 200B, and 200C shown in FIG. 1 are displays. The display device 200 can display arbitrary content such as an image, video, application, text, and Web content. Further, the display device 200 displays an index 10 indicating an operation position such as a pointer, a focus, or a cursor. The display device 200 performs wired communication or wireless communication with the information processing device 100 and displays the index 10 based on control by the information processing device 100.
  • the information processing device 100 is a device that controls the display position of the index displayed on the display device 200.
  • the information processing apparatus 100 shown in FIG. 1 is a PC (Personal Computer).
  • the information processing apparatus 100 controls the display position of the index 10 based on information acquired by the operation apparatus 300.
  • the information processing apparatus 100 may include, for example, a sensor that detects a user's line of sight or voice, and may accept an index operation using voice input or line of sight input.
  • the information processing system 1 can have various forms other than the example shown in FIG.
  • the information processing apparatus 100 and the display apparatus 200 may be realized by an HMD (Head Mounted Display).
  • the line-of-sight input can be realized by detecting the line of sight with a camera directed to both eyes of the user wearing the HMD.
  • the index follows the movement of the line of sight that is not intended to move the index, and when the line of sight is moved and returned to the original position, the position of the index is changed from the original position.
  • the information processing apparatus 100 according to an embodiment of the present disclosure has been created.
  • the information processing apparatus 100 according to the present embodiment can reduce the inconvenience described above by correcting the display position of the index based on the history of information indicating the correspondence between the position of the gazing point and the position of the index. Is possible.
  • FIG. 2 is a block diagram illustrating an example of a logical configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes a sensor unit 110, a communication unit 120, a storage unit 130, and a control unit 140.
  • the sensor unit 110 has a function of detecting various information related to user operations.
  • the sensor unit 110 can be realized by an image sensor, a depth sensor, a microphone, or the like that targets the user as a sensing target.
  • the sensor unit 110 relating to eye-gaze input is preferably provided in the vicinity of the display device 200 or at a position where the user's eyeball can be sensed from the front, such as an HMD or glasses.
  • the sensor unit 110 outputs the detected information to the control unit 140.
  • the communication unit 120 has a function of transmitting / receiving data to / from other devices.
  • the communication unit 120 is a system such as LAN (Local Area Network), wireless LAN, Wi-Fi (Wireless Fidelity, registered trademark), infrared communication, Bluetooth (registered trademark), etc. Communicate indirectly via an access point.
  • the communication unit 120 receives information acquired by the operation device 300 or transmits information indicating the display position of the index to the display device 200.
  • the storage unit 130 is a part that records and reproduces data on a predetermined recording medium.
  • the storage unit 130 stores a history of information indicating a correspondence relationship between the position of the index and the position of the gazing point.
  • the control unit 140 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 100 according to various programs. As illustrated in FIG. 2, the control unit 140 functions as a detection unit 141, a storage control unit 143, a display control unit 145, and an estimation unit 147.
  • the detection unit 141 has a function of detecting information indicating a user operation.
  • the storage control unit 143 has a function of storing information indicating the correspondence relationship between the position of the index and the position of the gazing point in the storage unit 130 and acquiring the information from the storage unit 130.
  • the display control unit 145 has a function of controlling the display position of the index displayed on the display device 200.
  • the estimation unit 147 has a function of performing estimation based on a history of information indicating a correspondence relationship between the position of the gazing point and the position of the index.
  • the information processing apparatus 100 (for example, the detection unit 141) according to the present embodiment has a function of acquiring information indicating a user operation.
  • the information indicating the user operation is information including information indicating an index movement instruction, information indicating a display object selection instruction, information indicating a menu display instruction, and the like.
  • information indicating a user operation is also referred to as operation information.
  • the detection unit 141 may detect operation information based on information detected by the sensor unit 110. Specifically, the detection unit 141 recognizes the position of the user's eyes and the direction of the line of sight based on the image information and the depth information, thereby performing operations related to the line-of-sight input such as the position of the point of interest, the direction of movement of the line of sight, and speed Information may be detected. Further, the detection unit 141 may detect operation information related to gesture input by recognizing a user's gesture based on the image information and the depth information. Moreover, the detection part 141 may detect the operation information regarding audio
  • the detection unit 141 may detect the operation information based on information received from the operation device 300 by the communication unit 120. Specifically, the detection unit 141 may acquire operation information related to touch input, mouse input, or keyboard input based on information indicating touch on the touch pad, mouse movement, or keyboard key press.
  • the information processing apparatus 100 (for example, the display control unit 145) according to the present embodiment has a function of providing a multimodal interface.
  • the display control unit 145 controls the display position of the index based on various modal operation information.
  • a description will be given particularly regarding the line-of-sight input.
  • the display control unit 145 controls the display position of the index using the line-of-sight input.
  • controlling the display position of the index using line-of-sight input refers to controlling the display position based on operation information related to line-of-sight input.
  • the display control unit 145 controls the display position of the index using the position of the gazing point.
  • the gaze point refers to a point that the user gazes at, for example, an arbitrary point on the display surface of the display device 200.
  • the display control unit 145 displays an index at the position of the gazing point.
  • the display control unit 145 positions the index at a position that is appropriately shifted from the position of the gazing point in consideration of this error. May be corrected. In this way, control of the display position of the index using line-of-sight input is realized.
  • the position of the gazing point can also be regarded as a focused position.
  • the position on the display surface is the position of the point of interest.
  • the position in the real space where the virtual object is actually superimposed is not the position on the lens.
  • the position of the viewpoint The same applies to the case where a virtual object is displayed superimposed on the virtual space.
  • the multi-modal interface function allows the user to operate while switching to a suitable modal from a plurality of modals.
  • the user can perform an operation while switching the modal, such as performing an operation with a large movement amount across a large screen or a plurality of screens by line-of-sight input, and performing subsequent fine operations by touch input or the like. is there.
  • the user can make adjustment using another modal.
  • the information processing apparatus 100 (for example, the display control unit 145) according to the present embodiment has a function of appropriately limiting the control of the display position of the index using the line-of-sight input.
  • the display control unit 145 controls the display position of the index using line-of-sight input according to whether or not the difference between the position of the index operated by the user and the position of the user's gaze point exceeds a threshold value. Control whether or not. For example, the display control unit 145 controls the display position of the index using the line-of-sight input when the difference exceeds the threshold (enables the line-of-sight input), and displays the index using the line-of-sight input when the difference does not exceed the threshold. Do not control the position (disable gaze input). As described above, the line-of-sight input is limited within a range that does not exceed the threshold value, so that it is possible to avoid the movement of the index due to fine line-of-sight movement.
  • the display control unit 145 sets an area indicating that the difference from the position of the gazing point is within a threshold range, and the index is located in the area. When the index is located outside the region, the gaze input may be validated. As another method, the display control unit 145 sets an area indicating that the difference from the position of the index is within a threshold range, invalidates the gaze input when the gazing point is located in the area, When the gazing point is located outside the area, the gaze input may be validated. In this specification, the former method will be described as an example. An area where the difference from the position of the gazing point is within the threshold range is also referred to as a gazing area.
  • the information processing apparatus 100 (for example, the storage control unit 143) according to the present embodiment has a function of storing information indicating a correspondence relationship between the position of the user's gazing point and the position of the index operated by the user.
  • the storage control unit 143 causes the storage unit 130 to store information indicating the correspondence between the position of the gazing point and the position of the index.
  • Information indicating this correspondence relationship is also referred to as correspondence relationship information below.
  • the correspondence relationship information includes, for example, information indicating the position of the gazing point and the index.
  • the storage control unit 143 stores the correspondence information, thereby realizing a display control function using the history of correspondence information described later. For example, when the user adjusts the error between the position of the gazing point and the position where the user actually wants to match the index using another modal, the position of the gazing point and the position of the index are shifted.
  • the information processing apparatus 100 stores the adjustment result as correspondence relationship information, and reproduces it by a display control function using the history of the correspondence relationship information. Thereby, since the user can abbreviate
  • the position of the gazing point can be detected by the detection unit 141, and the position of the index can be acquired by the display control unit 145 that
  • the storage control unit 143 determines whether to store the correspondence information in the storage unit 130 according to whether the difference between the position of the index and the position of the gazing point exceeds a threshold (second threshold). Control. For example, the storage control unit 143 stores the correspondence information when the difference exceeds the threshold, and does not store the correspondence information when the difference does not exceed the threshold. As a result, the information processing apparatus 100 adjusts the error between the position of the point of interest and the position where the user actually wants to match the index at the timing when the index follows the movement of the line of sight without the intention to move the index. Later correspondence information can be stored.
  • the threshold value in this function may be the same as or different from the threshold value used in the input restriction function described above. In this specification, it is assumed that these threshold values are the same. Here, this function will be described in detail with a specific example with reference to FIG.
  • FIG. 3 is a diagram for explaining the correspondence information storage function of the information processing apparatus 100 according to the present embodiment.
  • the display device 200 displays the index 10 at the position of the gazing point 20. If there is an error between the position of the gazing point 20 and the position where the user actually wants to match the index 10, as indicated by reference numeral 402, the user deviates the position of the index 10 from the gazing point 20 using another modal. Adjust to the correct position.
  • the information processing apparatus 100 invalidates the line-of-sight input when the index 10 is located in the gaze area 30 and maintains the position of the index 10 even if the gaze point 20 moves by the input restriction function described above. Also good.
  • the information processing apparatus 100 validates the line-of-sight input and moves to the position of the gazing point 20.
  • the index 10 is displayed.
  • the information processing apparatus 100 may store information indicating a correspondence relationship between the position of the past index 11 and the position of the gazing point 21 corresponding to the index 10 and the gazing point 20 in the reference numeral 402.
  • the information processing apparatus 100 stores information indicating a correspondence relationship between the position of the index 10 and the position of the gazing point 20 at the timing indicated by reference numeral 402 when the display position of the index 10 is adjusted by the user. May be. Note that the gaze point 20 and the gaze area 30, the past index 11, and the past gaze point 21 are not displayed.
  • Correspondence relationship information may include various information in addition to information indicating the position of the point of interest and the index.
  • the correspondence information may include information indicating the content displayed when information indicating the position of the point of interest or the position of the index is detected.
  • the storage control unit 143 includes information indicating the content displayed at the time when the position of the gazing point is detected by the detection unit 141 or when the information indicating the position of the index is acquired by the display control unit 145. It is stored in correspondence information.
  • the storage control unit 143 stores information indicating the content displayed on the display device 200 at the time of reference numeral 402, for example, in the correspondence information.
  • the correspondence relationship information may include information indicating the accuracy of detecting the position of the gazing point at the time when the information indicating the position of the gazing point is detected.
  • the storage control unit 143 stores information indicating the line-of-sight detection accuracy at the time of reference numeral 402 in FIG.
  • the information indicating the accuracy of the line-of-sight detection may include information indicating the resolution of the image sensor included in the sensor unit 110, for example.
  • the information indicating the accuracy of gaze detection may include information indicating the distance between the sensor unit 110 and the user.
  • the correspondence information may include information indicating the time when the correspondence between the position of the gazing point and the position of the index is acquired.
  • the storage control unit 143 stores information indicating the time indicated by reference numeral 402 in FIG. 3 in the correspondence information, for example.
  • the correspondence information may include information for identifying the target user.
  • the storage control unit 143 stores information indicating the user's face recognition result in the correspondence information.
  • the information processing apparatus 100 (for example, the storage control unit 143 and the display control unit 145) according to the present embodiment has a function of controlling the display position of the index using the history of correspondence information stored in the storage unit 130. .
  • the storage control unit 143 acquires the history of correspondence information from the storage unit 130. Then, the display control unit 145 controls the display position of the index so that it is displayed at a position corresponding to the current position of the gazing point, based on the acquired history of correspondence information. For example, the display control unit 145 reproduces the positional relationship between the position of the gazing point and the position of the index when the user has adjusted the error between the position of the gazing point and the position where the user actually wants to match the index. Correct the display position of the index. Thereby, the user can omit the adjustment again, and convenience is improved.
  • the display control unit 145 determines the history of the correspondence information depending on whether the difference between the current position of the gazing point and the position of the past gazing point in the history of the correspondence information exceeds a threshold value (first threshold value). Whether to control the display position of the indicator may be determined based on the above. For example, the display control unit 145 determines to correct the display position of the index based on the history of correspondence information when the difference exceeds the threshold value, and performs correction based on the history of correspondence information when the difference does not exceed the threshold value. Judge that there is no. Thus, when the current gazing point has moved to a position where the distance from the past gazing point position is within the threshold value, the display position of the index is corrected based on the history of the correspondence information.
  • a threshold value first threshold value
  • the size of the threshold may be different depending on each history of correspondence information.
  • a region in which the difference from the position of the past gazing point in the history of correspondence information is within a threshold range is also referred to as an action region.
  • the distance between the position of the gazing point generated by the correction and the position of the index is also referred to as a correction amount.
  • the display control unit 145 determines the index based on the history of the correspondence information according to whether or not the difference between the current position of the gazing point and the position of the past index in the history of the correspondence information exceeds a threshold value. It may be determined whether to control the display position.
  • Threshold value can be set in various ways.
  • the display control unit 145 may set the first threshold according to the difference between the position of the past index and the position of the gazing point in the history of the correspondence information.
  • the display control unit 145 sets a large action area for the history of correspondence information having a large error between the position of the past index and the position of the gazing point, and a small action area for the history of correspondence information having a small error. May be set.
  • the display control unit 145 may set an action region having a radius that is a distance obtained by multiplying the distance between the position of the gaze point in the past and the position of the index by a number exceeding 1. With such a setting method, it is possible to make more areas on the display surface as the action areas.
  • the display control unit 145 may display the index at the position of the past index in the history of the correspondence information.
  • the display control unit 145 extracts the history of correspondence information including the current position of the gazing point in the action area, and displays the current index at the position of the past index in the extracted correspondence information. Thereby, the absolute position of the past index is reproduced.
  • the display control unit 145 displays the index at a position where the relative positional relationship between the past gazing point and the index in the history of the correspondence information is reflected on the current position of the gazing point detected by the detection unit 141. It may be displayed.
  • the display control unit 145 extracts the history of correspondence information including the current position of the gazing point in the action area, and calculates the relative position of the index based on the position of the past gazing point in the extracted correspondence information.
  • the current index is displayed at a position added to the current gaze point position. Thereby, the relative positional relationship between the past gazing point and the index is reproduced.
  • FIG. 4 is a diagram for explaining a display control function using the history of correspondence information of the information processing apparatus 100 according to the present embodiment.
  • the display device 200 displays the index 10 at the position of the gazing point 20.
  • Reference numeral 411 indicates the past index 11, the gazing point 21, and the action area 40 related to the past gazing point 21 in the history of certain correspondence information. It is assumed that the past index 11, the past gazing point 21, and the action area 40 are not displayed.
  • the display device 200 displays the index 10 at a position corresponding to the positional relationship between the past index 11 and the gazing point 21. To do. At this time, the absolute position of the past index 11 may be reproduced, or the relative positional relationship between the past gazing point 21 and the index 11 may be reproduced.
  • the display control unit 145 can select the history of correspondence information used for controlling the display position of the index from various history of correspondence information based on various criteria.
  • the display control unit 145 may control the display position of the index based on the history of correspondence information corresponding to the currently displayed content. For example, the display control unit 145 uses the history of correspondence information detected and stored when content that is the same as or similar to the content currently displayed on the display device 200 is displayed. Thereby, for example, when the tendency of error between the position of the gazing point and the position where the user actually wants to match the index is different for each application, the information processing apparatus 100 can correct the display position according to this tendency. It becomes possible. Note that the display control unit 145 may perform adjustments such as enlarging or reducing the action area and increasing or decreasing the correction amount according to the difference between the current and past contents.
  • the display control unit 145 may control the display position of the index based on the history of correspondence information corresponding to the accuracy of detecting the current position of the gazing point. For example, the display control unit 145 uses a history of correspondence information that is detected and stored when the visual line detection accuracy is the same as or close to the current visual line detection accuracy. Specifically, the display control unit 145 has the same relationship information that the resolution of the image sensor is the same as the current value or within the threshold range, and the distance between the sensor unit 110 and the user is the same as the current value or within the threshold value range. The history is used. Thereby, the information processing apparatus 100 can provide stable operability. Note that the display control unit 145 may perform adjustments such as enlarging or reducing the action region and increasing or reducing the correction amount according to the difference between the current and past gaze detection accuracy.
  • the display control unit 145 may control the display position of the index based on the history of the correspondence information in which the position of the past gazing point in the history of the correspondence information is closest to the current position of the gazing point. For example, when a plurality of action areas overlap, the display control unit 145 uses the history of correspondence information in which the gazing point has been in the past at a position closer to the current gazing point position. Accordingly, the information processing apparatus 100 can select a more appropriate history of correspondence information from a plurality of history of correspondence information.
  • the display control unit 145 may control the display position of the index based on the history of the correspondence information with a short elapsed time since acquisition. Thereby, the information processing apparatus 100 can reproduce the positional relationship in the history of the new correspondence relationship information.
  • the display control unit 145 may control the display position of the index based on the history of correspondence information acquired for the target user.
  • the information processing apparatus 100 can reproduce the positional relationship using the history of correspondence information that differs for each user.
  • the information processing apparatus 100 (for example, the display control unit 145 and the estimation unit 147) according to the present embodiment has a function of performing calibration related to line-of-sight detection.
  • the information processing apparatus 100 accumulates information indicating an error between the position of the gazing point and the position where the user actually wants to match the index by the above-described correspondence information storage function. Therefore, the detection unit 141 may output the detection result on the assumption that the position where this error is added to the position of the detected gaze point is the correct gaze point. In this way, calibration for line-of-sight detection is realized.
  • this function will be described in detail with a specific example with reference to FIG.
  • FIG. 5 is a diagram showing an example of a map for calibration related to eye-gaze detection.
  • Each arrow 50 included in FIG. 5 indicates the content of calibration on the display surface of the display device 200.
  • the start point of the arrow 50 corresponds to the position of the gazing point detected in the past, and the end point corresponds to the position where the user actually wants to match the index in the past. Therefore, when the detected position of the current gazing point matches the origin of any of the arrows 50 shown in FIG. 5, the detection unit 141 outputs the position of the end point as a gazing point detection result.
  • the estimation unit 147 may estimate correspondence information that is not included in the history based on the history of the correspondence information. For example, the estimation unit 147 calculates an average or weighted average of the difference between the position of the gazing point and the position of the index in the history of correspondence information related to the gazing point that has been located in the past around the position of the current gazing point. By doing so, you may estimate the correspondence information regarding the position of the current point of interest. Thereby, the information processing apparatus 100 performs calibration according to the tendency of the surrounding error even when the history of the correspondence information in which the position of the gazing point matches the current position is not stored in the storage unit 130. be able to.
  • FIG. 6 is a flowchart illustrating an example of the flow of index display position control processing executed in the information processing apparatus 100 according to the present embodiment.
  • the detection unit 141 detects a gazing point (step S102).
  • the display control unit 145 determines whether or not the current gazing point is located within the action area related to the history of the correspondence information (step S104). When it determines with it being in the range (step S104 / YES), the display control part 145 controls the display position of a parameter
  • the display control unit 145 determines whether or not the display position of the index has been adjusted by the user using another modal (step S110).
  • the storage control unit 143 stores information indicating the correspondence relationship between the adjusted position of the gazing point and the position of the index, and is stored in the storage unit 130.
  • the correspondence information history is updated (step S112). At this time, the history of old correspondence relationship information may be deleted, or may be averaged with newly stored correspondence relationship information. Thereafter, the process ends.
  • step S110 / NO the process ends.
  • FIG. 7 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus according to the present embodiment.
  • the information processing apparatus 900 illustrated in FIG. 7 can realize the information processing apparatus 100 illustrated in FIG. 2, for example.
  • Information processing by the information processing apparatus 100 according to the present embodiment is realized by cooperation of software and hardware described below.
  • the information processing apparatus 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a.
  • the information processing apparatus 900 includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, a communication device 913, and a sensor 915.
  • the information processing apparatus 900 may include a processing circuit such as a DSP or an ASIC in place of or in addition to the CPU 901.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 900 according to various programs. Further, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901 can form the control unit 140 shown in FIG.
  • the CPU 901, ROM 902, and RAM 903 are connected to each other by a host bus 904a including a CPU bus.
  • the host bus 904 a is connected to an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 904.
  • an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus
  • PCI Peripheral Component Interconnect / Interface
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily have to be configured separately, and these functions may be mounted on one bus.
  • the input device 906 is realized by a device in which information is input by the user, such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever.
  • the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA that supports the operation of the information processing device 900.
  • the input device 906 may include, for example, an input control circuit that generates an input signal based on information input by the user using the above-described input means and outputs the input signal to the CPU 901.
  • a user of the information processing apparatus 900 can input various data and instruct a processing operation to the information processing apparatus 900 by operating the input device 906.
  • the output device 907 is formed of a device that can notify the user of the acquired information visually or audibly. Examples of such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, display devices such as laser projectors, LED projectors and lamps, audio output devices such as speakers and headphones, printer devices, and the like. .
  • the output device 907 outputs results obtained by various processes performed by the information processing device 900. Specifically, the display device visually displays results obtained by various processes performed by the information processing device 900 in various formats such as text, images, tables, and graphs.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs it aurally.
  • the storage device 908 is a data storage device formed as an example of a storage unit of the information processing device 900.
  • the storage apparatus 908 is realized by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 908 can form, for example, the storage unit 130 shown in FIG.
  • the drive 909 is a storage medium reader / writer, and is built in or externally attached to the information processing apparatus 900.
  • the drive 909 reads information recorded on a removable storage medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 903.
  • the drive 909 can also write information to a removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port with an external device capable of transmitting data by USB (Universal Serial Bus), for example.
  • USB Universal Serial Bus
  • the communication device 913 is a communication interface formed by a communication device or the like for connecting to the network 920, for example.
  • the communication device 913 is, for example, a communication card for wired or wireless LAN (Local Area Network), LTE (Long Term Evolution), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communication, or the like.
  • the communication device 913 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet and other communication devices.
  • the communication device 913 can form, for example, the communication unit 120 illustrated in FIG.
  • the network 920 is a wired or wireless transmission path for information transmitted from a device connected to the network 920.
  • the network 920 may include a public line network such as the Internet, a telephone line network, and a satellite communication network, various LANs including the Ethernet (registered trademark), a wide area network (WAN), and the like.
  • the network 920 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • IP-VPN Internet Protocol-Virtual Private Network
  • the sensor 915 is various sensors such as a camera, a stereo camera, a TOF (Time-of-Flight) distance measuring sensor, or a microphone.
  • the sensor 915 acquires information indicating the user's gesture and voice, the direction and movement of the user's line of sight, and the like.
  • the sensor 915 can form, for example, the sensor unit 110 shown in FIG.
  • each of the above components may be realized using a general-purpose member, or may be realized by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level at the time of carrying out this embodiment.
  • a computer program for realizing each function of the information processing apparatus 900 according to the present embodiment as described above can be produced and mounted on a PC or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • the information processing apparatus 100 detects the current user's current note detected based on the history of the correspondence information indicating the correspondence between the position of the user's gaze point and the position of the index.
  • An index is displayed at a position corresponding to the position of the viewpoint. For example, when the user adjusts the error between the position of the gazing point and the position where the user actually wants to match the index using another modal, the information processing apparatus 100 stores the adjustment result as correspondence information. .
  • the information processing apparatus 100 can reproduce the positional relationship between the original position of the gazing point and the position of the index based on the history of the correspondence information when the user moves the line of sight once and returns it. It becomes possible. Thereby, since the user can abbreviate
  • the information processing apparatus 100 can store / update correspondence information at any time.
  • the information processing apparatus 100 accumulates correspondence information for each place that the user is viewing on the display surface of the display apparatus 200.
  • the tendency of the error between the position of the gazing point and the position where the user actually wants to match the index may differ for each place on the display surface.
  • the information processing apparatus 100 corrects the display position of the index in accordance with this tendency. Can do. Therefore, it is possible to improve the accuracy of the line-of-sight input experienced by the user.
  • processing described with reference to the flowcharts and sequence diagrams in this specification may not necessarily be executed in the order shown. Some processing steps may be performed in parallel. Further, additional processing steps may be employed, and some processing steps may be omitted.
  • each device described in this specification may be realized as a single device, or a part or all of them may be realized as separate devices.
  • the storage unit 130 and the control unit 140 are provided in a device such as a server connected to the sensor unit 110 and the communication unit 120 via a network or the like. Also good.
  • each device described in this specification may be realized as a separate device or may be realized as an integrally formed device.
  • the information processing device 100 and the display device 200 may be integrally formed, or the information processing device 100 and the operation device 300 may be integrally formed.
  • a storage control unit that acquires a history of information indicating a correspondence relationship between the position of the user's point of sight and the position of the index indicating the operation position operated by the user;
  • a detecting unit for detecting a position of the user's point of gaze;
  • the display position of the index is controlled to be displayed at a position corresponding to the current position of the gazing point detected by the detection unit.
  • a display control unit An information processing apparatus comprising: (2) The display control unit indicates the correspondence according to whether a difference between the current position of the gazing point and the position of the gazing point in the history of information indicating the correspondence exceeds a first threshold value.
  • the information processing apparatus wherein it is determined whether to control a display position of the index based on an information history.
  • the information indicating the correspondence includes information indicating the content displayed at the time when the information indicating the position of the gazing point or the position of the index is detected,
  • the display control unit according to any one of (1) to (3), wherein the display control unit controls the display position of the index based on a history of information indicating the correspondence relationship corresponding to the currently displayed content.
  • Information processing device is any one of (1) to (3), wherein the display control unit controls the display position of the index based on a history of information indicating the correspondence relationship corresponding to the currently displayed content.
  • the information indicating the correspondence includes information indicating the accuracy of detecting the position of the gazing point at the time when the information indicating the position of the gazing point is detected.
  • the display control unit includes the current position of the gazing point. 5.
  • the information processing apparatus according to any one of (1) to (4), wherein a display position of the index is controlled based on a history of information indicating the correspondence relationship corresponding to the accuracy of detecting.
  • the display control unit controls the display position of the index based on a history of information indicating the correspondence relationship where the position of the gazing point in the history of information indicating the correspondence relationship is closest to the current position of the gazing point.
  • the information processing apparatus according to any one of (1) to (5).
  • the display control unit controls the display position of the index based on a history of information indicating the correspondence relationship in which an elapsed time after detection is short. Information processing device.
  • the display control unit displays the index at a position of the index in a history of information indicating the correspondence relationship.
  • the display control unit displays the index at a position where the relative position relationship between the gazing point and the index in the history of information indicating the correspondence is reflected in the current position of the gazing point.
  • the information processing apparatus according to any one of (1) to (7).
  • the information processing apparatus further includes: an estimation unit that estimates information indicating the correspondence not included in the history based on a history of information indicating the correspondence, any of (1) to (9) The information processing apparatus according to one item.
  • the storage control unit determines whether or not to store the information indicating the correspondence relationship in the storage unit according to whether or not a difference between the position of the index and the position of the gazing point exceeds a second threshold value.

Abstract

【課題】視線入力技術に関する利便性を向上させることが可能な情報処理装置、情報処理方法及びプログラムを提案する。 【解決手段】ユーザの注視点の位置と前記ユーザに操作される操作位置を示す指標の位置との対応関係を示す情報の履歴を記憶部から取得する記憶制御部と、前記ユーザの注視点の位置を検出する検出部と、前記記憶制御部により取得された前記対応関係を示す情報の履歴に基づいて、前記検出部により検出された現在の前記注視点の位置に対応する位置に表示されるよう前記指標の表示位置を制御する表示制御部と、を備える情報処理装置。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　近年、情報処理装置の多様化や増加に伴い、より効率的に情報処理装置を操作するためのユーザインタフェースに関する技術が盛んに開発されている。
　そのような技術の一例として、下記特許文献１では、マルチディスプレイ環境において、複数のディスプレイの各々にポインタを表示しておき、ユーザの使用状況に応じてユーザにより使用されるポインタを適切に選択する技術が開示されている。
特開２００９－２２３４９４号公報
　近年注目されているユーザインタフェースに関する技術のひとつに、視線入力技術がある。視線入力技術は、ユーザの視線の向きや動きをトラッキングして、トラッキング結果をポインタやフォーカス等の指標の動き等に反映させる技術である。視線入力技術は、ユーザの視線を直接的に入力に反映可能であるという利便性を有する。一方で、視線入力技術は、指標を移動させる意図の無い視線の移動にも指標が追従してしまい、一度視線を動かして元に戻した際に指標の位置が元の位置からずれてしまい得るという不便さがあった。上記特許文献１では、上記不便さを解消するための技術は何ら開示されていない。
　そこで、本開示では、視線入力技術に関する利便性を向上させることが可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提案する。
　本開示によれば、ユーザの注視点の位置と前記ユーザに操作される操作位置を示す指標の位置との対応関係を示す情報の履歴を記憶部から取得する記憶制御部と、前記ユーザの注視点の位置を検出する検出部と、前記記憶制御部により取得された前記対応関係を示す情報の履歴に基づいて、前記検出部により検出された現在の前記注視点の位置に対応する位置に表示されるよう前記指標の表示位置を制御する表示制御部と、を備える情報処理装置が提供される。
　また、本開示によれば、ユーザの注視点の位置と前記ユーザに操作される操作位置を示す指標の位置との対応関係を示す情報の履歴を記憶部から取得することと、前記ユーザの注視点の位置を検出することと、取得された前記対応関係を示す情報の履歴に基づいて、検出された現在の前記注視点の位置に対応する位置に表示されるよう前記指標の表示位置を制御することと、を含むプロセッサにより実行される情報処理方法が提供される。
　また、本開示によれば、コンピュータを、ユーザの注視点の位置と前記ユーザに操作される操作位置を示す指標の位置との対応関係を示す情報の履歴を記憶部から取得する記憶制御部と、前記ユーザの注視点の位置を検出する検出部と、前記記憶制御部により取得された前記対応関係を示す情報の履歴に基づいて、前記検出部により検出された現在の前記注視点の位置に対応する位置に表示されるよう前記指標の表示位置を制御する表示制御部と、として機能させるためのプログラムが提供される。
　以上説明したように本開示によれば、視線入力技術に関する利便性を向上させることが可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本実施形態に係る情報処理システムの概要を説明するための図である。 本実施形態に係る情報処理装置の論理的な構成の一例を示すブロック図である。 本実施形態に係る情報処理装置の対応関係情報記憶機能を説明するための図である。 本実施形態に係る情報処理装置の対応関係情報の履歴を用いた表示制御機能を説明するための図である。 視線検出に係るキャリブレーションのためのマップの一例を示す図である。 本実施形態に係る情報処理装置において実行される指標の表示位置制御処理の流れの一例を示すフローチャートである。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　　１．はじめに
　　　１．１．全体構成
　　　１．２．技術的課題
　　２．構成例
　　３．技術的特徴
　　　３．１．操作情報取得機能
　　　３．２．マルチモーダル・インタフェース機能
　　　３．３．入力制限機能
　　　３．４．対応関係情報記憶機能
　　　３．５．対応関係情報の履歴を用いた表示制御機能
　　　３．６．キャリブレーション機能
　　４．動作処理例
　　５．ハードウェア構成例
　　６．まとめ
　＜＜１．はじめに＞＞
　まず、図１を参照して、本開示の一実施形態に係る情報処理装置の概要を説明する。
　　＜１．１．全体構成＞
　図１は、本実施形態に係る情報処理システム１の概要を説明するための図である。図１に示すように、情報処理システム１は、情報処理装置１００及び表示装置２００を含む。また、情報処理システム１は、操作装置３００を含んでもよい。図１に示した例では、ユーザが操作装置３００を持って表示装置２００Ａに表示された指標１０（ポインタ）を操作している。
　操作装置３００は、ユーザによる操作を受け付ける装置である。図１に示した操作装置３００は、ジャイロマウスである。ジャイロマウス３００は、加速度センサ及びジャイロセンサ等の慣性センサを内部に有し、傾きや加速度等を指標１０の位置や動きに反映させることが可能である。操作装置３００は、マウス、キーボード、タッチパッド等の多様な装置により実現されてもよい。
　表示装置２００は、情報を表示する装置である。図１に示した表示装置２００Ａ、２００Ｂ及び２００Ｃは、ディスプレイである。表示装置２００は、画像、映像、アプリケーション、テキスト、Ｗｅｂコンテンツ等の任意のコンテンツを表示可能である。また、表示装置２００は、ポインタ、フォーカス又はカーソルといった操作位置を示す指標１０を表示する。表示装置２００は、情報処理装置１００との間で有線通信又は無線通信を行い、情報処理装置１００による制御に基づいて指標１０を表示する。
　情報処理装置１００は、表示装置２００に表示される指標の表示位置を制御する装置である。図１に示した情報処理装置１００は、ＰＣ（Personal　Computer）である。例えば、情報処理装置１００は、操作装置３００により取得された情報に基づいて、指標１０の表示位置を制御する。情報処理装置１００は、例えば、ユーザの視線や音声を検出するセンサを有してもよく、音声入力、視線入力を用いた指標の操作を受け付けてもよい。
　なお、情報処理システム１は、図１に示した例以外にも多様な形態を有し得る。例えば、情報処理装置１００及び表示装置２００は、ＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）により実現されてもよい。その場合、例えばＨＭＤを装着したユーザの両眼に向けたカメラにより視線が検出されることで、視線入力が実現され得る。
　　＜１．２．技術的課題＞
　表示装置２００Ａのような大画面や、表示装置２００Ｂ、２００Ｃのように複数の画面が存在し、その全てが視野に収まりきらない状況において、視線入力は他のモーダルと比較して有効であると言える。なぜならば、視線入力は入力範囲が広く、指標が視線に追従するためユーザが指標を見失うことが少ないためである。また指標の移動量が多い場合、マウス入力であれば例えば何度もマウスを往復させるような動作が要されるところ、視線入力ではそのような煩雑な動作が要されない。これに関し、マウスの移動量に対する指標の移動量を増加させると、上記の煩雑さは軽減されるものの、ポインティング精度が低くなってしまうという弊害があった。
　しかし、上述したように、視線入力技術は、指標を移動させる意図の無い視線の移動にも指標が追従してしまい、一度視線を動かして元に戻した際に指標の位置が元の位置からずれてしまい得るという不便さがあった。例えば、複数のウィンドウが並んで表示されている場合や、複数並んでいるファイルの中からひとつのファイルを選択するような作業中において、この不便さが顕在化する。そこで、上記事情を一着眼点にして、本開示の一実施形態に係る情報処理装置１００を創作するに至った。本実施形態に係る情報処理装置１００は、注視点の位置と指標の位置との対応関係を示す情報の履歴に基づいて指標の表示位置を補正することで、上記の不便さを軽減することが可能である。
　以上、本実施形態に係る情報処理装置１００の概要を説明した。続いて、図２を参照して、本実施形態に係る情報処理装置１００の構成例を説明する。
　＜＜２．構成例＞＞
　図２は、本実施形態に係る情報処理装置１００の論理的な構成の一例を示すブロック図である。図２に示すように、情報処理装置１００は、センサ部１１０、通信部１２０、記憶部１３０及び制御部１４０を含む。
　センサ部１１０は、ユーザ操作に関する各種情報を検出する機能を有する。例えば、センサ部１１０は、ユーザをセンシング対象とする画像センサ、深度センサ又はマイク等により実現され得る。なお、視線検出の精度を向上させるために、視線入力に関するセンサ部１１０は、表示装置２００の付近又はＨＭＤや眼鏡等の、ユーザの眼球を正面からセンシング可能な位置に設けられることが望ましい。センサ部１１０は、検出した情報を制御部１４０へ出力する。
　通信部１２０は、他の装置との間でデータの送受信を行う機能を有する。通信部１２０は、例えばＬＡＮ（Local　Area　Network）、無線ＬＡＮ、Ｗｉ－Ｆｉ（Wireless　Fidelity、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の方式で、他の装置と直接的に、又はネットワークアクセスポイント等を経由して間接的に通信する。例えば、通信部１２０は、操作装置３００により取得された情報を受信したり、指標の表示位置を示す情報を表示装置２００へ送信したりする。
　記憶部１３０は、所定の記録媒体に対してデータの記録再生を行う部位である。例えば、記憶部１３０は、指標の位置と注視点の位置との対応関係を示す情報の履歴を記憶する。
　制御部１４０は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置１００内の動作全般を制御する。図２に示すように、制御部１４０は、検出部１４１、記憶制御部１４３、表示制御部１４５及び推定部１４７として機能する。検出部１４１は、ユーザ操作を示す情報を検出する機能を有する。記憶制御部１４３は、指標の位置と注視点の位置との対応関係を示す情報を記憶部１３０に記憶させ、及び記憶部１３０から取得する機能を有する。表示制御部１４５は、表示装置２００に表示される指標の表示位置を制御する機能を有する。推定部１４７は、注視点の位置と指標の位置との対応関係を示す情報の履歴に基づく推定を行う機能を有する。
　以上、本実施形態に係る情報処理装置１００の構成例を説明した。続いて、図３及び図４を参照して、本実施形態に係る情報処理装置１００の技術的特徴を説明する。
　＜＜３．技術的特徴＞＞
　　＜３．１．操作情報取得機能＞
　本実施形態に係る情報処理装置１００（例えば、検出部１４１）は、ユーザ操作を示す情報を取得する機能を有する。
　ここで、ユーザ操作を示す情報とは、指標の移動指示を示す情報、表示オブジェクトの選択指示を示す情報、メニュー表示指示を示す情報等を含む情報である。以下では、ユーザ操作を示す情報を操作情報とも称する。
　例えば、検出部１４１は、センサ部１１０により検出された情報に基づいて操作情報を検出してもよい。具体的には、検出部１４１は、画像情報及び深度情報に基づいてユーザの目の位置及び視線の向きを認識することで、注視点の位置や視線が動く向き、速度等の視線入力に関する操作情報を検出してもよい。また、検出部１４１は、画像情報及び深度情報に基づいてユーザのジェスチャを認識することで、ジェスチャ入力に関する操作情報を検出してもよい。また、検出部１４１は、音声情報に基づいてユーザの音声を認識することで、音声入力に関する操作情報を検出してもよい。
　例えば、検出部１４１は、通信部１２０により操作装置３００から受信された情報に基づいて操作情報を検出してもよい。具体的には、検出部１４１は、タッチパッドへのタッチ、マウスの移動又はキーボードのキー押下を示す情報に基づいて、タッチ入力、マウス入力又はキーボード入力に関する操作情報を取得してもよい。
　　＜３．２．マルチモーダル・インタフェース機能＞
　本実施形態に係る情報処理装置１００（例えば、表示制御部１４５）は、マルチモーダル・インタフェースを提供する機能を有する。例えば、表示制御部１４５は、各種モーダルの操作情報に基づいて、指標の表示位置を制御する。ここでは、特に視線入力に関する説明を行う。
　例えば、表示制御部１４５は、視線入力を用いて指標の表示位置を制御する。なお、視線入力を用いて指標の表示位置を制御するとは、視線入力に関する操作情報に基づいて表示位置を制御することを指す。具体的には、表示制御部１４５は、注視点の位置を用いて指標の表示位置を制御する。注視点とは、ユーザが注視する点を指し、例えば、表示装置２００の表示面における任意の点である。例えば、表示制御部１４５は、注視点の位置に指標を表示する。注視点の位置とユーザが実際に指標を合わせたい位置とに誤差が生じる場合も考えられるので、表示制御部１４５は、注視点の位置からこの誤差を加味して適宜ずらした位置に指標の位置を補正してもよい。このようにして、視線入力を用いた指標の表示位置の制御が実現される。
　なお、注視点の位置は、焦点が当たる位置とも捉えることが可能である。例えば、ディスプレイ等に関しては、表示面上の位置が注視点の位置となる。一方で、ＨＭＤ等の、透過性を有するレンズ上で実空間に仮想オブジェクトを重畳させて表示する装置に関しては、レンズ上の位置ではなく、実際に仮想オブジェクトが重畳される実空間における位置が注視点の位置となる。仮想空間に仮想オブジェクトを重畳させて表示する場合も同様である。
　マルチモーダル・インタフェース機能により、ユーザは、複数のモーダルの中から適したモーダルに切り替えながら操作することが可能である。例えば、ユーザは、大きな画面又は複数の画面に跨るような移動量の大きな操作を視線入力により行い、その後の細かな操作をタッチ入力等により行うといったモーダルを切り替えながらの操作を行うことが可能である。また、ユーザは、注視点の位置とユーザが実際に操作したい位置とに誤差が生じた場合に、他のモーダルを用いて調整することが可能である。
　　＜３．３．入力制限機能＞
　本実施形態に係る情報処理装置１００（例えば、表示制御部１４５）は、視線入力を用いた指標の表示位置の制御を適宜制限する機能を有する。
　例えば、表示制御部１４５は、ユーザにより操作される指標の位置とユーザの注視点の位置との差分が閾値を超えるか否かに応じて、視線入力を用いた指標の表示位置の制御を行うか否かを制御する。例えば、表示制御部１４５は、差分が閾値を超える場合に視線入力を用いた指標の表示位置の制御を行い（視線入力を有効化）、閾値を超えない場合に視線入力を用いた指標の表示位置の制御を行わない（視線入力を無効化）。このように、閾値を超えない範囲では視線入力が制限されることで、細かな視線の揺れで指標が移動してしまうことを回避することができる。なお、入力制限のための具体的な手法としては、表示制御部１４５は、注視点の位置からの差分が閾値の範囲内であることを示す領域を設定し、当該領域内に指標が位置するときは視線入力を無効化し、当該領域外に指標が位置するときは視線入力を有効化してもよい。他の手法として、表示制御部１４５は、指標の位置からの差分が閾値の範囲内であることを示す領域を設定し、当該領域内に注視点が位置するときは視線入力を無効化し、当該領域外に注視点が位置するときは視線入力を有効化してもよい。本明細書では、一例として前者の手法が採用されるものとして説明する。また、注視点の位置からの差分が閾値の範囲内である領域を、注視領域とも称する。
　　＜３．４．対応関係情報記憶機能＞
　本実施形態に係る情報処理装置１００（例えば、記憶制御部１４３）は、ユーザの注視点の位置とユーザに操作される指標の位置との対応関係を示す情報を記憶する機能を有する。
　例えば、記憶制御部１４３は、注視点の位置と指標の位置との対応関係を示す情報を記憶部１３０に記憶させる。この対応関係を示す情報を、以下では対応関係情報とも称する。対応関係情報は、例えば注視点及び指標の位置を示す情報を含む。記憶制御部１４３が対応関係情報を記憶することにより、後述する対応関係情報の履歴を用いた表示制御機能が実現される。例えば、注視点の位置とユーザが実際に指標を合わせたい位置との誤差を、ユーザが他のモーダルを用いて調整した場合、注視点の位置と指標の位置とがずれることとなる。情報処理装置１００は、この調整結果を対応関係情報として記憶しておき、対応関係情報の履歴を用いた表示制御機能により再現する。これにより、ユーザは、再度の調整を省略することができるので、利便性が向上する。なお、注視点の位置は、検出部１４１により検出され得、指標の位置は、指標を制御する表示制御部１４５により取得され得る。
　例えば、記憶制御部１４３は、指標の位置と注視点の位置との差分が閾値（第２の閾値）を超えるか否かに応じて、対応関係情報を記憶部１３０に記憶させるか否かを制御する。例えば、記憶制御部１４３は、差分が閾値を超える場合に対応関係情報を記憶させ、閾値を超えない場合に対応関係情報を記憶させない。これにより、情報処理装置１００は、指標を移動させる意図の無い視線の移動によって指標が追従してしまったタイミングで、注視点の位置とユーザが実際に指標を合わせたい位置との誤差を調整した後の対応関係情報を記憶することが可能となる。なお、本機能における閾値は、上述した入力制限機能において用いられる閾値と同一であってもよいし異なっていてもよい。本明細書では、これらの閾値が同一であるものとして説明する。ここで、図３を参照して、本機能について具体例を挙げて詳しく説明する。
　図３は、本実施形態に係る情報処理装置１００の対応関係情報記憶機能を説明するための図である。符号４０１に示すように、表示装置２００は、注視点２０の位置に指標１０を表示している。注視点２０の位置とユーザが実際に指標１０を合わせたい位置とに誤差が生じている場合、符号４０２に示すように、ユーザが他のモーダルを用いて指標１０の位置を注視点２０からずれた位置に調整する。ここで、情報処理装置１００は、上述した入力制限機能により、注視領域３０内に指標１０が位置する場合は視線入力を無効化して、注視点２０が動いても指標１０の位置を維持してもよい。そして、符号４０３に示すように、注視点２０の位置が大きく動いて指標１０の位置が注視領域３０外に出た場合、情報処理装置１００は、視線入力を有効化して注視点２０の位置に指標１０を表示する。このとき、情報処理装置１００は、符号４０２における指標１０及び注視点２０に対応する、過去の指標１１の位置と注視点２１の位置との対応関係を示す情報を記憶してもよい。他の例として、情報処理装置１００は、符号４０２に示した、ユーザにより指標１０の表示位置が調整されたタイミングで、指標１０の位置と注視点２０の位置との対応関係を示す情報を記憶してもよい。なお、注視点２０及び注視領域３０、過去の指標１１及び過去の注視点２１は表示されないものとする。
　対応関係情報は、注視点及び指標の位置を示す情報の他にも多様な情報を含み得る。
　例えば、対応関係情報は、注視点の位置又は指標の位置を示す情報が検出された時点で表示されていたコンテンツを示す情報を含んでいてもよい。例えば、記憶制御部１４３は、検出部１４１により注視点の位置が検出された時点、又は指標の位置を示す情報が表示制御部１４５により取得された時点で表示されていたコンテンツを示す情報を、対応関係情報に含めて記憶する。図３に示した例においては、記憶制御部１４３は、例えば符号４０２の時点で表示装置２００が表示していたコンテンツを示す情報を、対応関係情報に含めて記憶する。
　例えば、対応関係情報は、注視点の位置を示す情報が検出された時点での注視点の位置を検出する精度を示す情報を含んでいてもよい。例えば、記憶制御部１４３は、例えば図３における符号４０２の時点での視線検出精度を示す情報を、対応関係情報に含めて記憶する。視線検出の精度を示す情報は、例えばセンサ部１１０に含まれる画像センサの解像度を示す情報等を含んでいてもよい。また、一般的にセンサとユーザとの距離が短いほど視線検出の精度が向上するので、視線検出の精度を示す情報は、センサ部１１０とユーザとの距離を示す情報を含んでいてもよい。
　例えば、対応関係情報は、注視点の位置と指標の位置との対応関係が取得された時刻を示す情報を含んでいてもよい。例えば、記憶制御部１４３は、例えば図３における符号４０２における時刻を示す情報を、対応関係情報に含めて記憶する。
　例えば、対応関係情報は、対象のユーザを識別するための情報を含んでいてもよい。例えば、記憶制御部１４３は、ユーザの顔認識結果を示す情報等を、対応関係情報に含めて記憶する。
　　＜３．５．対応関係情報の履歴を用いた表示制御機能＞
　本実施形態に係る情報処理装置１００（例えば、記憶制御部１４３、及び表示制御部１４５）は、記憶部１３０に記憶された対応関係情報の履歴を用いて指標の表示位置を制御する機能を有する。
　例えば、記憶制御部１４３は、対応関係情報の履歴を記憶部１３０から取得する。そして、表示制御部１４５は、取得された対応関係情報の履歴に基づいて、現在の注視点の位置に対応する位置に表示されるよう指標の表示位置を制御する。例えば、表示制御部１４５は、ユーザが過去に注視点の位置とユーザが実際に指標を合わせたい位置との誤差を調整した際の、注視点の位置と指標の位置との位置関係が再現されるよう、指標の表示位置を補正する。これにより、ユーザは再度の調整を省略することができ、利便性が向上する。
　表示制御部１４５は、現在の注視点の位置と対応関係情報の履歴における過去の注視点の位置との差分が閾値（第１の閾値）を超えるか否かに応じて、対応関係情報の履歴に基づいて指標の表示位置を制御するか否かを判定してもよい。例えば、表示制御部１４５は、差分が閾値を超える場合に対応関係情報の履歴に基づいて指標の表示位置を補正すると判定し、閾値を超えない場合に対応関係情報の履歴に基づいた補正を行わないと判定する。これにより、過去の注視点の位置からの距離が閾値内の位置に現在の注視点が移動してきた場合に、対応関係情報の履歴に基づいて指標の表示位置が補正される。なお、閾値の大きさは、対応関係情報の履歴の各々によって異なっていてもよい。以下、対応関係情報の履歴における過去の注視点の位置からの差分が閾値の範囲内である領域を、作用領域とも称する。また、補正により生じた注視点の位置と指標の位置との距離を、補正量とも称する。なお、表示制御部１４５は、現在の注視点の位置と対応関係情報の履歴における過去の指標の位置との差分が閾値を超えるか否かに応じて、対応関係情報の履歴に基づいて指標の表示位置を制御するか否かを判定してもよい。
　閾値の値は、多様な方法で設定され得る。例えば、表示制御部１４５は、対応関係情報の履歴における過去の指標の位置と注視点の位置との差分の大きさに応じて第１の閾値を設定してもよい。例えば、表示制御部１４５は、過去の指標の位置と注視点の位置との誤差が大きい対応関係情報の履歴に関しては大きな作用領域を設定し、誤差が小さい対応関係情報の履歴に関しては小さな作用領域を設定してもよい。このような設定方法により、表示面における誤差が大きい領域においては、誤差が小さい領域と比較してより多く領域を作用領域とすることが可能となる。また、表示制御部１４５は、過去の注視点の位置と指標の位置との距離に１を超える数を掛けた距離を半径とする作用領域を設定してもよい。このような設定方法により、表示面におけるより多く領域を作用領域とすることが可能となる。
　また、指標の表示位置の制御方法は多様に考えられる。
　例えば、表示制御部１４５は、対応関係情報の履歴における過去の指標の位置に、指標を表示してもよい。例えば、表示制御部１４５は、現在の注視点の位置を作用領域に含む対応関係情報の履歴を抽出して、抽出した対応関係情報における過去の指標の位置に、現在の指標を表示する。これにより、過去の指標の絶対的な位置が再現されることとなる。
　例えば、表示制御部１４５は、対応関係情報の履歴における過去の注視点及び指標の相対的な位置関係を、検出部１４１により検出された現在の注視点の位置に反映させた位置に、指標を表示してもよい。例えば、表示制御部１４５は、現在の注視点の位置を作用領域に含む対応関係情報の履歴を抽出して、抽出した対応関係情報における過去の注視点の位置を基準とした指標の相対位置を、現在の注視点の位置に加算した位置に、現在の指標を表示する。これにより、過去の注視点及び指標の相対的な位置関係が再現されることとなる。
　ここで、図４を参照して、本機能について具体例を挙げて詳しく説明する。
　図４は、本実施形態に係る情報処理装置１００の対応関係情報の履歴を用いた表示制御機能を説明するための図である。符号４１１に示すように、表示装置２００は、注視点２０の位置に指標１０を表示している。符号４１１においては、ある対応関係情報の履歴における過去の指標１１、注視点２１、及び過去の注視点２１に関する作用領域４０をそれぞれ示している。過去の指標１１、過去の注視点２１、及び作用領域４０は表示されないものとする。符号４１２に示すように、注視点２０の位置が動いて作用領域４０内に入った場合、表示装置２００は、過去の指標１１及び注視点２１の位置関係に対応する位置に、指標１０を表示する。このとき、過去の指標１１の絶対的な位置が再現されてもよいし、過去の注視点２１及び指標１１の相対的な位置関係が再現されてもよい。
　表示制御部１４５は、対応関係情報の履歴の中から、指標の表示位置の制御に用いる対応関係情報の履歴を、多様な基準で選択し得る。
　例えば、表示制御部１４５は、現在表示されているコンテンツに対応する対応関係情報の履歴に基づいて指標の表示位置を制御してもよい。例えば、表示制御部１４５は、表示装置２００に現在表示されているコンテンツと同一又は類似するコンテンツが表示されていたときに検出され記憶された対応関係情報の履歴を用いる。これにより、例えばアプリケーションごとに注視点の位置とユーザが実際に指標を合わせたい位置との誤差の傾向が異なる場合に、情報処理装置１００は、この傾向に応じた表示位置の補正を行うことが可能となる。なお、表示制御部１４５は、現在と過去のコンテンツの差分に応じて、作用領域を拡大又は縮小する、補正量を増加又は減少させる等の調整を行ってもよい。
　例えば、表示制御部１４５は、現在の注視点の位置を検出する精度に対応する対応関係情報の履歴に基づいて指標の表示位置を制御してもよい。例えば、表示制御部１４５は、現在の視線検出精度と同一又は近い視線検出精度を有していたときに検出され記憶された対応関係情報の履歴を用いる。具体的には、表示制御部１４５は、画像センサの解像度が現在と同一又は閾値の範囲内であり、センサ部１１０とユーザとの距離が現在と同一又は閾値の範囲内である、対応関係情報の履歴を用いる。これにより、情報処理装置１００は、安定した操作性を提供することができる。なお、表示制御部１４５は、現在と過去の視線検出精度の差分に応じて、作用領域を拡大又は縮小する、補正量を増加又は縮小させる等の調整を行ってもよい。
　例えば、表示制御部１４５は、対応関係情報の履歴における過去の注視点の位置が現在の注視点の位置に最も近い対応関係情報の履歴に基づいて指標の表示位置を制御してもよい。例えば、表示制御部１４５は、複数の作用領域が重複する場合に、より現在の注視点の位置に近い位置に過去に注視点があった対応関係情報の履歴を用いる。これにより、情報処理装置１００は、複数の対応関係情報の履歴の中から、より適切な対応関係情報の履歴を選択することが可能となる。
　例えば、表示制御部１４５は、取得されてからの経過時間が短い対応関係情報の履歴に基づいて指標の表示位置を制御してもよい。これにより、情報処理装置１００は、より新しい対応関係情報の履歴における位置関係を再現することが可能となる。
　例えば、表示制御部１４５は、対象のユーザについて取得された対応関係情報の履歴に基づいて指標の表示位置を制御してもよい。これにより、情報処理装置１００は、ユーザごとに異なる対応関係情報の履歴を用いて位置関係を再現することが可能となる。
　　＜３．６．キャリブレーション機能＞
　本実施形態に係る情報処理装置１００（例えば、表示制御部１４５及び推定部１４７）は、視線検出に係るキャリブレーションを行う機能を有する。
　情報処理装置１００は、上述した対応関係情報記憶機能により、注視点の位置とユーザが実際に指標を合わせたい位置との誤差を示す情報を蓄積していく。そのため、検出部１４１は、検出した注視点の位置に、この誤差を加味した位置が正しい注視点であるものとして検出結果を出力してもよい。このようにして、視線検出に係るキャリブレーションが実現される。以下、図５を参照して、本機能について具体例を挙げて詳しく説明する。
　図５は、視線検出に係るキャリブレーションのためのマップの一例を示す図である。図５に含まれる矢印５０の各々は、表示装置２００の表示面におけるキャリブレーションの内容を示している。矢印５０の始点は、過去に検出された注視点の位置に相当し、終点は、過去にユーザが実際に指標を合わせたい位置に相当する。そのため、検出部１４１は、検出した現在の注視点の位置が図５に示した矢印５０のいずれかの原点に一致する場合、終点の位置を注視点の検出結果として出力する。
　ただし、現在の注視点の位置と過去の注視点の位置とが一致するとは限らない。そのため、推定部１４７は、対応関係情報の履歴に基づいて、履歴に含まれていない対応関係情報を推定してもよい。例えば、推定部１４７は、現在の注視点の位置の周辺に過去に位置していた注視点に係る対応関係情報の履歴における、注視点の位置と指標の位置との差分を平均又は加重平均等することで、現在の注視点の位置に係る対応関係情報を推定してもよい。これにより、情報処理装置１００は、注視点の位置が現在と一致する対応関係情報の履歴が記憶部１３０に記憶されていない場合であっても、周囲の誤差の傾向に応じてキャリブレーションを行うことができる。
　以上、本実施形態に係る情報処理装置１００の技術的特徴を説明した。続いて、図６及び図７を参照して、本実施形態に係る情報処理装置１００の動作処理例を説明する。
　＜＜４．動作処理例＞＞
　図６は、本実施形態に係る情報処理装置１００において実行される指標の表示位置制御処理の流れの一例を示すフローチャートである。
　図６に示すように、まず、検出部１４１は、注視点を検出する（ステップＳ１０２）。次いで、表示制御部１４５は、現在の注視点は対応関係情報の履歴に係る作用領域内に位置するか否かを判定する（ステップＳ１０４）。範囲内であると判定された場合（ステップＳ１０４／ＹＥＳ）、表示制御部１４５は、対応関係情報の履歴を用いて指標の表示位置を制御する（ステップＳ１０６）。一方で、範囲外であると判定された場合（ステップＳ１０４／ＮＯ）、表示制御部１４５は、注視点の位置に指標を表示する（ステップＳ１０８）。
　その後、表示制御部１４５は、指標の表示位置がユーザにより他のモーダルを用いて調整されたか否かを判定する（ステップＳ１１０）。調整されたと判定された場合（ステップＳ１１０／ＹＥＳ）、記憶制御部１４３は、調整後の注視点の位置と指標の位置との対応関係を示す情報を記憶することで、記憶部１３０に記憶された対応関係情報の履歴を更新する（ステップＳ１１２）。このとき、古い対応関係情報の履歴は削除されてもよいし、新しく記憶される対応関係情報と平均化されてもよい。その後処理は終了する。一方で、調整されていないと判定された場合（ステップＳ１１０／ＮＯ）、処理は終了する。
　以上、本実施形態に係る情報処理装置１００の動作処理例を説明した。
　＜＜５．ハードウェア構成例＞＞
　最後に、図７を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図７は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図７に示す情報処理装置９００は、例えば、図２に示した情報処理装置１００を実現し得る。本実施形態に係る情報処理装置１００による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
　図７に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３及びセンサ９１５を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図２に示す制御部１４０を形成し得る。
　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図２に示す記憶部１３０を形成し得る。
　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、図２に示す通信部１２０を形成し得る。
　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　センサ９１５は、例えば、カメラ、ステレオカメラ、ＴＯＦ（Time-of-Flight）方式の測距センサ又はマイクロフォン等の各種のセンサである。センサ９１５は、ユーザのジェスチャや音声、ユーザの視線の向きや動き等を示す情報を取得する。センサ９１５は、例えば、図２に示すセンサ部１１０を形成し得る。
　以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　＜＜６．まとめ＞＞
　以上、図１～図７を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る情報処理装置１００は、ユーザの注視点の位置と指標の位置との対応関係を示す対応関係情報の履歴に基づいて、検出されたユーザの現在の注視点の位置に対応する位置に指標を表示する。例えば、注視点の位置とユーザが実際に指標を合わせたい位置との誤差を、ユーザが他のモーダルを用いて調整した場合に、情報処理装置１００は、この調整結果を対応関係情報として記憶する。そして、情報処理装置１００は、ユーザが一度視線を動かして元に戻した際に、対応関係情報の履歴に基づいて、元々の注視点の位置と指標の位置との位置関係を再現することが可能となる。これにより、ユーザは、再度の調整を省略することができるので、視線入力に関する利便性が向上する。
　また、本実施形態に係る情報処理装置１００は、対応関係情報を随時記憶／更新することが可能である。情報処理装置１００は、表示装置２００の表示面におけるユーザが見ている場所ごとに対応関係情報を蓄積する。注視点の位置とユーザが実際に指標を合わせたい位置との誤差の傾向は、表示面における場所ごとに異なり得るところ、情報処理装置１００は、この傾向に合わせて指標の表示位置を補正することができる。よって、ユーザが体感する視線入力の精度を向上させることができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
　また、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、図２に示した情報処理装置１００の機能構成例のうち、記憶部１３０及び制御部１４０が、センサ部１１０及び通信部１２０とネットワーク等で接続されたサーバ等の装置に備えられていても良い。
　また、本明細書において説明した各装置は、別々の装置として実現されてもよく、一体的に形成された装置として実現されてもよい。例えば、情報処理装置１００及び表示装置２００が一体的に形成されてもよいし、情報処理装置１００及び操作装置３００が一体的に形成されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザの注視点の位置と前記ユーザに操作される操作位置を示す指標の位置との対応関係を示す情報の履歴を記憶部から取得する記憶制御部と、
　前記ユーザの注視点の位置を検出する検出部と、
　前記記憶制御部により取得された前記対応関係を示す情報の履歴に基づいて、前記検出部により検出された現在の前記注視点の位置に対応する位置に表示されるよう前記指標の表示位置を制御する表示制御部と、
を備える情報処理装置。
（２）
　前記表示制御部は、現在の前記注視点の位置と前記対応関係を示す情報の履歴における前記注視点の位置との差分が第１の閾値を超えるか否かに応じて、前記対応関係を示す情報の履歴に基づいて前記指標の表示位置を制御するか否かを判定する、前記（１）に記載の情報処理装置。
（３）
　前記表示制御部は、前記対応関係を示す情報の履歴における前記指標の位置と前記注視点の位置との差分の大きさに応じて前記第１の閾値を設定する、前記（２）に記載の情報処理装置。
（４）
　前記対応関係を示す情報は、前記注視点の位置又は前記指標の位置を示す情報が検出された時点で表示されていたコンテンツを示す情報を含み、
　前記表示制御部は、現在表示されているコンテンツに対応する前記対応関係を示す情報の履歴に基づいて前記指標の表示位置を制御する、前記（１）～（３）のいずれか一項に記載の情報処理装置。
（５）
　前記対応関係を示す情報は、前記注視点の位置を示す情報が検出された時点での前記注視点の位置を検出する精度を示す情報を含み
　前記表示制御部は、現在の前記注視点の位置を検出する精度に対応する前記対応関係を示す情報の履歴に基づいて前記指標の表示位置を制御する、前記（１）～（４）のいずれか一項に記載の情報処理装置。
（６）
　前記表示制御部は、前記対応関係を示す情報の履歴における前記注視点の位置が現在の前記注視点の位置に最も近い前記対応関係を示す情報の履歴に基づいて前記指標の表示位置を制御する、前記（１）～（５）のいずれか一項に記載の情報処理装置。
（７）
　前記表示制御部は、検出されてからの経過時間が短い前記対応関係を示す情報の履歴に基づいて前記指標の表示位置を制御する、前記（１）～（６）のいずれか一項に記載の情報処理装置。
（８）
　前記表示制御部は、前記対応関係を示す情報の履歴における前記指標の位置に、前記指標を表示する、前記（１）～（７）のいずれか一項に記載の情報処理装置。
（９）
　前記表示制御部は、前記対応関係を示す情報の履歴における前記注視点及び前記指標の相対的な位置関係を、現在の前記注視点の位置に反映させた位置に、前記指標を表示する、前記（１）～（７）のいずれか一項に記載の情報処理装置。
（１０）
　前記情報処理装置は、前記対応関係を示す情報の履歴に基づいて、履歴に含まれていない前記対応関係を示す情報を推定する推定部をさらに備える、前記（１）～（９）のいずれか一項に記載の情報処理装置。
（１１）
　前記記憶制御部は、前記対応関係を示す情報を前記記憶部に記憶させる、前記（１）～（１０）のいずれか一項に記載の情報処理装置。
（１２）
　前記記憶制御部は、前記指標の位置と前記注視点の位置との差分が第２の閾値を超えるか否かに応じて、前記対応関係を示す情報を前記記憶部に記憶させるか否かを制御する、前記（１１）に記載の情報処理装置。
（１３）
　ユーザの注視点の位置と前記ユーザに操作される操作位置を示す指標の位置との対応関係を示す情報の履歴を記憶部から取得することと、
　前記ユーザの注視点の位置を検出することと、
　取得された前記対応関係を示す情報の履歴に基づいて、検出された現在の前記注視点の位置に対応する位置に表示されるよう前記指標の表示位置を制御することと、
を含むプロセッサにより実行される情報処理方法。
（１４）
　コンピュータを、
　ユーザの注視点の位置と前記ユーザに操作される操作位置を示す指標の位置との対応関係を示す情報の履歴を記憶部から取得する記憶制御部と、
　前記ユーザの注視点の位置を検出する検出部と、
　前記記憶制御部により取得された前記対応関係を示す情報の履歴に基づいて、前記検出部により検出された現在の前記注視点の位置に対応する位置に表示されるよう前記指標の表示位置を制御する表示制御部と、
として機能させるためのプログラム。
　１　　　　情報処理システム
　１０　　　指標
　２０　　　注視点
　３０　　　注視領域
　４０　　　作用領域
　１００　　情報処理装置
　１１０　　センサ部
　１２０　　通信部
　１３０　　記憶部
　１４０　　制御部
　１４１　　検出部
　１４３　　記憶制御部
　１４５　　表示制御部
　１４７　　推定部
　２００　　表示装置
　３００　　操作装置

Claims (14)

  1. 　ユーザの注視点の位置と前記ユーザに操作される操作位置を示す指標の位置との対応関係を示す情報の履歴を記憶部から取得する記憶制御部と、
    　前記ユーザの注視点の位置を検出する検出部と、
    　前記記憶制御部により取得された前記対応関係を示す情報の履歴に基づいて、前記検出部により検出された現在の前記注視点の位置に対応する位置に表示されるよう前記指標の表示位置を制御する表示制御部と、
    を備える情報処理装置。
  2. 　前記表示制御部は、現在の前記注視点の位置と前記対応関係を示す情報の履歴における前記注視点の位置との差分が第１の閾値を超えるか否かに応じて、前記対応関係を示す情報の履歴に基づいて前記指標の表示位置を制御するか否かを判定する、請求項１に記載の情報処理装置。
  3. 　前記表示制御部は、前記対応関係を示す情報の履歴における前記指標の位置と前記注視点の位置との差分の大きさに応じて前記第１の閾値を設定する、請求項２に記載の情報処理装置。
  4. 　前記対応関係を示す情報は、前記注視点の位置又は前記指標の位置を示す情報が検出された時点で表示されていたコンテンツを示す情報を含み、
    　前記表示制御部は、現在表示されているコンテンツに対応する前記対応関係を示す情報の履歴に基づいて前記指標の表示位置を制御する、請求項１に記載の情報処理装置。
  5. 　前記対応関係を示す情報は、前記注視点の位置を示す情報が検出された時点での前記注視点の位置を検出する精度を示す情報を含み
    　前記表示制御部は、現在の前記注視点の位置を検出する精度に対応する前記対応関係を示す情報の履歴に基づいて前記指標の表示位置を制御する、請求項１に記載の情報処理装置。
  6. 　前記表示制御部は、前記対応関係を示す情報の履歴における前記注視点の位置が現在の前記注視点の位置に最も近い前記対応関係を示す情報の履歴に基づいて前記指標の表示位置を制御する、請求項１に記載の情報処理装置。
  7. 　前記表示制御部は、検出されてからの経過時間が短い前記対応関係を示す情報の履歴に基づいて前記指標の表示位置を制御する、請求項１に記載の情報処理装置。
  8. 　前記表示制御部は、前記対応関係を示す情報の履歴における前記指標の位置に、前記指標を表示する、請求項１に記載の情報処理装置。
  9. 　前記表示制御部は、前記対応関係を示す情報の履歴における前記注視点及び前記指標の相対的な位置関係を、現在の前記注視点の位置に反映させた位置に、前記指標を表示する、請求項１に記載の情報処理装置。
  10. 　前記情報処理装置は、前記対応関係を示す情報の履歴に基づいて、履歴に含まれていない前記対応関係を示す情報を推定する推定部をさらに備える、請求項１に記載の情報処理装置。
  11. 　前記記憶制御部は、前記対応関係を示す情報を前記記憶部に記憶させる、請求項１に記載の情報処理装置。
  12. 　前記記憶制御部は、前記指標の位置と前記注視点の位置との差分が第２の閾値を超えるか否かに応じて、前記対応関係を示す情報を前記記憶部に記憶させるか否かを制御する、請求項１１に記載の情報処理装置。
  13. 　ユーザの注視点の位置と前記ユーザに操作される操作位置を示す指標の位置との対応関係を示す情報の履歴を記憶部から取得することと、
    　前記ユーザの注視点の位置を検出することと、
    　取得された前記対応関係を示す情報の履歴に基づいて、検出された現在の前記注視点の位置に対応する位置に表示されるよう前記指標の表示位置を制御することと、
    を含むプロセッサにより実行される情報処理方法。
  14. 　コンピュータを、
    　ユーザの注視点の位置と前記ユーザに操作される操作位置を示す指標の位置との対応関係を示す情報の履歴を記憶部から取得する記憶制御部と、
    　前記ユーザの注視点の位置を検出する検出部と、
    　前記記憶制御部により取得された前記対応関係を示す情報の履歴に基づいて、前記検出部により検出された現在の前記注視点の位置に対応する位置に表示されるよう前記指標の表示位置を制御する表示制御部と、
    として機能させるためのプログラム。
PCT/JP2015/084328 2015-03-17 2015-12-07 情報処理装置、情報処理方法及びプログラム WO2016147499A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/554,817 US20180239442A1 (en) 2015-03-17 2015-12-07 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-053849 2015-03-17
JP2015053849 2015-03-17

Publications (1)

Publication Number Publication Date
WO2016147499A1 true WO2016147499A1 (ja) 2016-09-22

Family

ID=56920060

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/084328 WO2016147499A1 (ja) 2015-03-17 2015-12-07 情報処理装置、情報処理方法及びプログラム

Country Status (2)

Country Link
US (1) US20180239442A1 (ja)
WO (1) WO2016147499A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0830380A (ja) * 1994-05-10 1996-02-02 Minolta Co Ltd 表示装置
JPH1176165A (ja) * 1997-09-02 1999-03-23 Sanyo Electric Co Ltd 視線検出装置
JP2003345335A (ja) * 2002-05-28 2003-12-03 Minolta Co Ltd 読取補助画像表示装置
JP2007025963A (ja) * 2005-07-14 2007-02-01 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム、ならびに、視線校正データ生成プログラム
JP2014211795A (ja) * 2013-04-19 2014-11-13 株式会社ニコン 視線検出装置
JP2015046111A (ja) * 2013-08-29 2015-03-12 株式会社Ｊｖｃケンウッド 視点検出装置および視点検出方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6204828B1 (en) * 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
US20070078552A1 (en) * 2006-01-13 2007-04-05 Outland Research, Llc Gaze-based power conservation for portable media players
US7616782B2 (en) * 2004-05-07 2009-11-10 Intelliview Technologies Inc. Mesh based frame processing and applications
US20070165019A1 (en) * 2005-07-12 2007-07-19 Hale Kelly S Design Of systems For Improved Human Interaction
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US8151188B2 (en) * 2008-07-23 2012-04-03 General Electric Company Intelligent user interface using on-screen force feedback and method of use
US20100182232A1 (en) * 2009-01-22 2010-07-22 Alcatel-Lucent Usa Inc. Electronic Data Input System
US8430510B2 (en) * 2009-11-19 2013-04-30 Panasonic Corporation Noise reduction device, electro-oculography measuring device, ophthalmological diagnosis device, eye-gaze tracking device, wearable camera, head-mounted display, electronic eyeglasses, noise reduction method, and recording medium
JP5271330B2 (ja) * 2010-09-29 2013-08-21 株式会社東芝 音声対話システム、方法、及びプログラム
US9383579B2 (en) * 2011-10-12 2016-07-05 Visteon Global Technologies, Inc. Method of controlling a display component of an adaptive display system
CA2853709C (en) * 2011-10-27 2020-09-01 Tandemlaunch Technologies Inc. System and method for calibrating eye gaze data
US20130169532A1 (en) * 2011-12-29 2013-07-04 Grinbath, Llc System and Method of Moving a Cursor Based on Changes in Pupil Position
US9426447B2 (en) * 2012-10-09 2016-08-23 Electronics And Telecommunications Research Institute Apparatus and method for eye tracking
EP2956844B1 (en) * 2013-02-14 2017-05-24 Facebook, Inc. Systems and methods of eye tracking calibration
KR101970577B1 (ko) * 2013-04-09 2019-04-19 엘지디스플레이 주식회사 입체 영상 표시 장치 및 그의 아이-트랙킹 방법
JP6015547B2 (ja) * 2013-05-09 2016-10-26 株式会社デンソー 視線入力装置
JPWO2014188565A1 (ja) * 2013-05-23 2017-02-23 パイオニア株式会社 表示制御装置
JP2016529635A (ja) * 2013-08-27 2016-09-23 オークランド ユニサービシズ リミテッド 凝視制御インターフェース方法およびシステム
JP6318751B2 (ja) * 2014-03-20 2018-05-09 富士通株式会社 情報処理装置、アクション切替方法、及びアクション切替プログラム
US9396534B2 (en) * 2014-03-31 2016-07-19 Toshiba Medical Systems Corporation Medical image processing apparatus and medical image processing system
CN106662917B (zh) * 2014-04-11 2020-06-12 脸谱科技有限责任公司 眼睛跟踪校准系统和方法
US10564714B2 (en) * 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US20150379132A1 (en) * 2014-06-26 2015-12-31 United Video Properties, Inc. Systems and methods for providing context-specific media assets

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0830380A (ja) * 1994-05-10 1996-02-02 Minolta Co Ltd 表示装置
JPH1176165A (ja) * 1997-09-02 1999-03-23 Sanyo Electric Co Ltd 視線検出装置
JP2003345335A (ja) * 2002-05-28 2003-12-03 Minolta Co Ltd 読取補助画像表示装置
JP2007025963A (ja) * 2005-07-14 2007-02-01 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム、ならびに、視線校正データ生成プログラム
JP2014211795A (ja) * 2013-04-19 2014-11-13 株式会社ニコン 視線検出装置
JP2015046111A (ja) * 2013-08-29 2015-03-12 株式会社Ｊｖｃケンウッド 視点検出装置および視点検出方法

Also Published As

Publication number Publication date
US20180239442A1 (en) 2018-08-23

Similar Documents

Publication Publication Date Title
EP2813922B1 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
WO2017187708A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20190104758A (ko) 이동단말기 및 그 제어 방법
JP6750697B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20210117048A1 (en) Adaptive assistive technology techniques for computing devices
US20220366874A1 (en) Eye gaze control of magnification user interface
CN111147743A (zh) 摄像头控制方法及电子设备
WO2016147498A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20220191577A1 (en) Changing Resource Utilization associated with a Media Object based on an Engagement Score
WO2016088410A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP6575518B2 (ja) 表示制御装置、表示制御方法およびプログラム
WO2019021566A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US10503278B2 (en) Information processing apparatus and information processing method that controls position of displayed object corresponding to a pointing object based on positional relationship between a user and a display region
JP6374203B2 (ja) 表示システム及びプログラム
WO2016147499A1 (ja) 情報処理装置、情報処理方法及びプログラム
EP3851939A1 (en) Positioning a user-controlled spatial selector based on extremity tracking information and eye tracking information
WO2019054037A1 (ja) 情報処理装置、情報処理方法、およびプログラム
EP2770726A1 (en) Display device, and method of controlling a camera of the display device
US10635802B2 (en) Method and apparatus for accessing Wi-Fi network
CN111432155B (zh) 视频通话方法、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15885591

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15554817

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 15885591

Country of ref document: EP

Kind code of ref document: A1