WO2016147498A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2016147498A1
WO2016147498A1 PCT/JP2015/084316 JP2015084316W WO2016147498A1 WO 2016147498 A1 WO2016147498 A1 WO 2016147498A1 JP 2015084316 W JP2015084316 W JP 2015084316W WO 2016147498 A1 WO2016147498 A1 WO 2016147498A1
Authority
WO
WIPO (PCT)
Prior art keywords
index
input
information processing
control unit
information
Prior art date
Application number
PCT/JP2015/084316
Other languages
English (en)
French (fr)
Inventor
野田　卓郎
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/554,807 priority Critical patent/US10802620B2/en
Publication of WO2016147498A1 publication Critical patent/WO2016147498A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • a multimodal interface that enables input of information using a plurality of types of input means (modal) such as GUI input, voice input, and line-of-sight input. Since a multi-modal interface can use a plurality of types of modals, it is desirable that each modal can be properly used.
  • modal input means
  • Patent Document 1 when a coordinate input means for an index by line-of-sight input is newly provided, an input signal does not collide between the line-of-sight input and another coordinate input means.
  • a technique for enabling only one of the coordinate input means is disclosed.
  • Gaze input is one of the most convenient modals.
  • the line-of-sight input technique is a technique for tracking the direction and movement of a user's line of sight and reflecting the tracking result on the movement of an index such as a pointer or focus. While the line-of-sight input technology has the convenience that the line of sight of the user can be directly reflected in the input, there has been the inconvenience that the movement of the line of sight without the input intention such as the movement of the line of sight is reflected in the input. . However, the above Patent Document 1 only discloses that only one of the modals is enabled, and when gaze input is enabled, the user is still forced to endure the inconvenience described above. It was.
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of controlling the display position of the index based on the movement of the line of sight intended to be input.
  • an acquisition unit that acquires information indicating a user operation, and a difference between an index position indicating an operation position operated by the user indicated by the information acquired by the acquisition unit and a position of the user's point of sight
  • An information processing apparatus includes a display control unit that determines whether to control the display position of the index using line-of-sight input according to whether or not the threshold value exceeds a threshold value.
  • the threshold value is obtained by acquiring information indicating a user operation, and the difference between the position of the index indicating the operation position operated by the user indicated by the acquired information and the position of the user's gazing point.
  • An information processing method executed by a processor includes determining whether to control the display position of the index using line-of-sight input according to whether or not it exceeds.
  • the computer includes an acquisition unit that acquires information indicating a user operation, an index position that indicates an operation position operated by the user indicated by the information acquired by the acquisition unit, and a user's gaze point And a display control unit for determining whether or not to control the display position of the index using line-of-sight input according to whether or not the difference from the position exceeds a threshold is provided.
  • the display position of the index can be controlled based on the movement of the line of sight intended to be input.
  • the above effects are not necessarily limited, and any of the effects shown in the present specification, or other effects that can be grasped from the present specification, together with or in place of the above effects. May be played.
  • elements having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numerals.
  • a plurality of elements having substantially the same functional configuration are distinguished as necessary, such as the display devices 200A, 200B, and 200C.
  • the same reference numerals are given.
  • the display devices 200A, 200B, and 200C they are simply referred to as the display device 200.
  • FIG. 1 is a diagram for explaining an overview of an information processing system 1 according to the present embodiment.
  • the information processing system 1 includes an information processing device 100 and a display device 200. Further, the information processing system 1 may include an operation device 300.
  • the user operates the index 10 (pointer) displayed on the display device 200 ⁇ / b> A with the operation device 300.
  • the operation device 300 is a device that receives an operation by a user.
  • the operating device 300 shown in FIG. 1 is a gyro mouse.
  • the gyro mouse 300 has an inertial sensor such as an acceleration sensor and a gyro sensor inside, and can reflect inclination, acceleration, and the like in the position and movement of the index 10.
  • the operation device 300 may be realized by various devices such as a mouse, a keyboard, and a touch pad.
  • the display device 200 is a device that displays information. Display devices 200A, 200B, and 200C shown in FIG. 1 are displays. The display device 200 can display arbitrary content such as an image, video, application, text, and Web content. Further, the display device 200 displays an index 10 indicating an operation position such as a pointer, a focus, or a cursor. The display device 200 performs wired communication or wireless communication with the information processing device 100 and displays the index 10 based on control by the information processing device 100.
  • the information processing device 100 is a device that controls the display position of the index displayed on the display device 200.
  • the information processing apparatus 100 shown in FIG. 1 is a PC (Personal Computer).
  • the information processing apparatus 100 controls the display position of the index 10 based on information acquired by the operation apparatus 300.
  • the information processing apparatus 100 may include, for example, a sensor that detects a user's line of sight or voice, and may accept an index operation using voice input or line of sight input.
  • the information processing system 1 can have various forms other than the example shown in FIG.
  • the information processing apparatus 100 and the display apparatus 200 may be realized by an HMD (Head Mounted Display).
  • the line-of-sight input can be realized by detecting the line of sight with a camera directed to both eyes of the user wearing the HMD.
  • the line-of-sight input technology has the convenience that the user's line of sight can be directly reflected in the input, while the movement of the line of sight with no input intention such as a shake of the line of sight is reflected in the input. There was inconvenience that it would end up.
  • the information processing apparatus 100 according to an embodiment of the present disclosure has been created.
  • the information processing apparatus 100 according to the present embodiment can reduce the inconvenience described above by appropriately combining the line-of-sight input and other modals.
  • FIG. 2 is a block diagram illustrating an example of a logical configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes a sensor unit 110, a communication unit 120, a storage unit 130, and a control unit 140.
  • the sensor unit 110 has a function of detecting various information related to user operations.
  • the sensor unit 110 can be realized by an image sensor, a depth sensor, a microphone, or the like that targets the user as a sensing target.
  • the sensor unit 110 relating to eye-gaze input is preferably provided in the vicinity of the display device 200 or at a position where the user's eyeball can be sensed from the front, such as an HMD or glasses.
  • the sensor unit 110 outputs the detected information to the control unit 140.
  • the communication unit 120 has a function of transmitting / receiving data to / from other devices.
  • the communication unit 120 is a system such as LAN (Local Area Network), wireless LAN, Wi-Fi (Wireless Fidelity, registered trademark), infrared communication, Bluetooth (registered trademark), etc. Communicate indirectly via an access point.
  • the communication unit 120 receives information acquired by the operation device 300 or transmits information indicating the display position of the index to the display device 200.
  • the storage unit 130 is a part that records and reproduces data on a predetermined recording medium.
  • the storage unit 130 stores the history of the position of the index and the position of the gazing point, and stores the setting of the size of the gaze area (threshold size) described later.
  • the control unit 140 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 100 according to various programs. As illustrated in FIG. 2, the control unit 140 functions as an acquisition unit 141 and a display control unit 143.
  • the acquisition unit 141 has a function of acquiring information indicating a user operation.
  • the display control unit 143 has a function of controlling the display position of the index displayed on the display device 200.
  • the information processing apparatus 100 (for example, the acquisition unit 141) according to the present embodiment has a function of acquiring information indicating a user operation.
  • the information indicating the user operation is information including information indicating an index movement instruction, information indicating a display object selection instruction, information indicating a menu display instruction, trigger information described later, and the like.
  • information indicating a user operation is also referred to as operation information.
  • the acquisition unit 141 may acquire operation information based on information detected by the sensor unit 110. Specifically, the acquisition unit 141 recognizes the position of the user's eyes and the direction of the line of sight based on the image information and the depth information, thereby performing operations related to the line-of-sight input such as the position of the point of interest, the direction of movement of the line of sight, and the speed. Information may be acquired.
  • the acquisition unit 141 may acquire operation information related to gesture input by recognizing the user's gesture based on the image information and the depth information. Further, the acquisition unit 141 may acquire operation information related to voice input by recognizing a user's voice based on the voice information.
  • the acquisition unit 141 may acquire operation information based on information received from the operation device 300 by the communication unit 120. Specifically, the acquisition unit 141 may acquire operation information related to touch input, mouse input, or keyboard input based on information indicating touch on the touch pad, mouse movement, or keyboard key press.
  • the information processing apparatus 100 (for example, the display control unit 143) according to the present embodiment has a function of providing a multimodal interface.
  • the display control unit 143 controls the display position of the index based on various modal operation information.
  • a description will be given particularly regarding the line-of-sight input.
  • the display control unit 143 controls the display position of the index using the line-of-sight input.
  • controlling the display position of the index using line-of-sight input refers to controlling the display position based on operation information related to line-of-sight input.
  • the display control unit 143 controls the display position of the index using the position of the gazing point.
  • the gaze point refers to a point that the user gazes at, for example, an arbitrary point on the display surface of the display device 200.
  • the display control unit 143 displays an index at the position of the gazing point.
  • the display control unit 143 displays the index at a position that is appropriately shifted from the position of the gazing point in consideration of this error.
  • the position may be corrected. In this way, control of the display position of the index using line-of-sight input is realized.
  • the information processing apparatus 100 (for example, the display control unit 143) according to the present embodiment has a function of reflecting operation information on the display based on the priority set for each modal.
  • the display control unit 143 may set a higher priority for a modal that has a higher operation load for the user or higher operation accuracy and certainty.
  • FIG. 3 shows an example of setting priority.
  • FIG. 3 is a diagram illustrating an example of priorities set for each modal. In the example illustrated in FIG. 3, the line-of-sight input, the gesture input, the touch input, and the voice input are performed in order from the modal having the lowest priority.
  • the display control unit 143 may select operation information to be reflected on the display from operation information using one or more modals acquired by the acquisition unit 141 according to the priority set for each modal. Good. For example, the display control unit 143 preferentially selects operation information using a modal having a high priority. Specifically, in the example illustrated in FIG. 3, when the operation information related to the line-of-sight input and the operation information related to the gesture input are acquired at the same time, the display control unit 143 uses the operation information related to the gesture input, Control the display position. Thereby, the user can operate the index by preferentially using a modal having a high priority.
  • the user can perform an operation while switching the modal, such as performing an operation with a large movement amount across a large screen or a plurality of screens by line of sight input, and performing subsequent fine operations by touch input or the like.
  • the modal such as performing an operation with a large movement amount across a large screen or a plurality of screens by line of sight input, and performing subsequent fine operations by touch input or the like.
  • the user can adjust using another modal.
  • the priority may be arbitrarily set by the user.
  • the display control unit 143 determines whether to control the display position of the index using the line-of-sight input according to whether operation information using a modal having a higher priority than the line-of-sight input is acquired. It may be determined. For example, the display control unit 143 does not control the display position of the index using the gaze input when the operation information using the modal having a higher priority than the gaze input is acquired (the gaze input is invalidated). ), The display position of the index using the gaze input is controlled when it is not acquired (gaze input is validated). Specifically, in the example illustrated in FIG.
  • the display control unit 143 controls the display position of the index using the operation information related to the line-of-sight input during the period when the operation information related to the line-of-sight input is acquired.
  • the display control unit 143 controls the display position of the index using the operation information related to the gesture input during the period in which the operation information related to the line-of-sight input and the operation information related to the gesture input are acquired at the same time. In this way, the user can smoothly perform an operation while switching the modal without separately giving a switching instruction.
  • the information processing apparatus 100 may be able to acquire information indicating that the user intends to move the index. For example, when the user touches the touch pad, it can be said that there is an intention to move the index using the touch pad without moving the touched finger.
  • Information indicating that the user intends to move the index is also referred to as trigger information.
  • the trigger information can be detected by the operation device 300 and transmitted to the information processing device 100, for example.
  • the information processing apparatus 100 may control the display position of the index according to the presence or absence of the trigger information.
  • the display control unit 143 determines whether or not to control the display position of the index using the line-of-sight input according to whether or not trigger information related to a modal with a higher priority than the line-of-sight input is acquired. May be determined.
  • the display control unit 143 invalidates the gaze input when trigger information related to a modal for which higher priority than the gaze input is set, and validates the gaze input when it is not obtained.
  • the information processing apparatus 100 can control the validation / invalidation of the line-of-sight input even when there is no explicit indicator movement instruction from the user. Therefore, for example, when the user is thinking without touching the finger while touching the touch pad, it is avoided that the index follows the line of sight that moves unconsciously.
  • the information processing apparatus 100 (for example, the display control unit 143) according to the present embodiment has a function of appropriately limiting the control of the display position of the index using the line-of-sight input.
  • the display control unit 143 controls the display position of the index using the line-of-sight input according to whether the difference between the position of the index operated by the user and the position of the user's gaze point exceeds a threshold value. It is determined whether or not. For example, the display control unit 143 validates the line-of-sight input when the difference exceeds the threshold value, and invalidates the line-of-sight input when the difference does not exceed the threshold value. As a specific method, the display control unit 143 sets an area indicating that the difference from the position of the gazing point is within a threshold range, and invalidates the gaze input when the index is located within the area. When the index is located outside the area, the line-of-sight input may be validated.
  • the display control unit 143 sets an area indicating that the difference from the position of the index is within a threshold range, invalidates the gaze input when the gazing point is located within the area, When the gazing point is located outside the area, the gaze input may be validated.
  • the former method will be described as an example.
  • An area where the difference from the position of the gazing point is within the threshold range is also referred to as a gazing area.
  • FIG. 4 is a diagram for explaining the input restriction function of the information processing apparatus 100 according to the present embodiment.
  • the display device 200 places the index 10 in the vicinity of the gazing point 20, and more specifically, a gazing region indicating that the difference from the position of the gazing point 20 is within a threshold range. 30 is displayed inside. Note that the gaze point 20 and the gaze area 30 are not displayed.
  • the display control unit 143 invalidates the line-of-sight input and maintains the position of the index 10 even if the gazing point 20 moves (the position of the index 10 is not moved).
  • the display control unit 143 validates the sight line input, and The index 10 is displayed at the 20 position.
  • the movement of the index 10 accompanying the movement of the gazing point 20 is limited in the gaze area 30, so that it is possible to avoid the movement of the index 10 due to a fine gaze fluctuation.
  • the display control unit 143 uses the priority setting function described above, and even if the index 10 is located outside the gaze area 30, the display control unit 143 uses the line of sight when there is an operation using another modal having a higher priority than the line-of-sight input. Input may be invalidated.
  • the threshold value that is, the size of the gaze area 30 can be set based on various information.
  • a threshold setting method will be described.
  • the display control unit 143 may set the threshold according to the accuracy of detecting the position of the gazing point (accuracy of gaze detection). For example, the display control unit 143 sets a smaller value for the threshold value as the accuracy of line-of-sight detection is higher, and sets a larger value as the accuracy is lower. This is because the higher the accuracy of gaze detection, the smaller the error between the actual gaze point and the gaze point recognized by the information processing apparatus 100, and the greater the accuracy, the greater the error.
  • the accuracy of line-of-sight detection can be determined by the resolution of the image sensor included in the sensor unit 110, for example.
  • the display control unit 143 may set a threshold according to the distance between the sensor unit 110 and the user.
  • the display control unit 143 uses the former in the case of using a sensor provided at a position far from the user, such as around a wall-mounted display, and in the case of using a sensor provided at a close distance, such as glasses. Is set to a threshold value greater than the latter. With such settings, it is possible to provide stable operability even in an environment where the information processing apparatus 100 is inaccurate.
  • the display control unit 143 may set a threshold according to the distance between the position of the user's eyeball and the position of the point of sight. For example, the display control unit 143 sets a smaller value as the distance between the position of the user's eyeball and the position of the gazing point is shorter, and sets a larger value as the distance is longer. This is because the closer the distance is, the larger the amount of movement of the gazing point relative to the movement amount of the user's line of sight, and the closer the distance is, the smaller the amount of movement of the gazing point relative to the movement amount of the user's line of sight.
  • the position of the gazing point can also be regarded as the position where the focus is applied.
  • the position on the display surface is the position of the point of interest.
  • the position in the real space where the virtual object is actually superimposed is not the position on the lens.
  • the position of the viewpoint The same applies to the case where a virtual object is displayed superimposed on the virtual space.
  • the information processing apparatus 100 prevents the indicator from going out of the gaze area due to a slight fluctuation of the line of sight when the distance between the position of the user's eyeball and the position of the gazing point is long. Can do. Further, when the distance between the position of the user's eyeball and the position of the gazing point is short, the information processing apparatus 100 can move the index by moving the index out of the gaze area with a slight movement of the line of sight.
  • the display control unit 143 may set a threshold according to the displayed content. For example, the display control unit 143 can set the gaze area as one of the window areas on the multi-window screen. In this case, the line-of-sight input is invalidated in the window being watched. Further, when text is displayed, the display control unit 143 may set an area in which text in an arbitrary unit such as one line, sentence, or paragraph is displayed as a gaze area. In this case, the line-of-sight input is invalidated in the line, sentence, or paragraph being watched. With such a setting, the information processing apparatus 100 can realize appropriate line-of-sight input restriction according to content.
  • the display control unit 143 may set the threshold value to a fixed value.
  • the information processing apparatus 100 can provide operability that does not vary depending on the environment. This fixed value may be arbitrarily set by the user.
  • the display control unit 143 may invalidate the line-of-sight input under various other conditions. For example, the display control unit 143 may invalidate the line-of-sight input when the movement speed of the line of sight is below a threshold value. This is because there is an input intention when the movement speed of the line of sight is fast, and it is considered that there is no input intention when the movement speed is slow.
  • the information processing apparatus 100 (for example, the display control unit 143) according to the present embodiment has a function of performing various types of support for improving the convenience of line-of-sight input.
  • the display control unit 143 may automatically scroll downward when the position of the gazing point approaches the lower end of the Web page, for example. Thereby, the complicated display mentioned above is avoided.
  • the display control unit 143 stores the position of the index and the position of the gazing point in the storage unit 130, and for example, when the gazing point returns to the vicinity of the position of the gazing point within a predetermined time, The position of the index may be returned to the original position. As a result, the displacement of the index position is automatically corrected, so that the trouble of adjusting using another modal is reduced.
  • FIG. 5 is a flowchart illustrating an example of the flow of index display position control processing executed in the information processing apparatus 100 according to the present embodiment.
  • the acquisition unit 141 determines whether or not modal operation information having a higher priority than the line-of-sight input has been acquired (step S102).
  • the display control unit 143 invalidates the line-of-sight input and controls the display position of the index based on the operation information of other modals (step S104).
  • the acquisition unit 141 determines whether or not trigger information related to a modal having a higher priority than the line-of-sight input is acquired (step S106). .
  • step S106 / YES When it is determined that the trigger information has been acquired (step S106 / YES), the display control unit 143 invalidates the line-of-sight input, and the operation information when another modal operation information from which the trigger information has been acquired is acquired. The display position of the index is controlled based on (Step S104). On the other hand, when it is determined that the trigger information is not acquired (step S106 / NO), the display control unit 143 determines whether or not the index is located within the gaze region (step S108).
  • step S108 If it is determined that the index is located in the gaze area (step S108 / YES), the display control unit 143 invalidates the line-of-sight input (step S110) and maintains the position of the index (step S112). On the other hand, when it is determined that the index is located outside the gaze area (step S108 / NO), the display control unit 143 validates the line-of-sight input (step S114) and displays the index at the position of the gaze point (step S108). S116).
  • Touchpad that can acquire trigger information This example is a specific example of a touchpad that can acquire trigger information.
  • the acquisition unit 141 can acquire information indicating that a finger has touched the touch pad as trigger information. Therefore, the display control unit 143 invalidates the line-of-sight input while the finger is touching the touch pad. During that period, the display control unit 143 moves the index according to the movement amount of the finger on the touch pad.
  • the display control unit 143 validates the line-of-sight input while the finger is not touched on the touch pad. During that period, the display control unit 143 displays the index at the position of the gazing point when the position of the index is outside the gaze area.
  • the finger is once released to return to the original touch position in order to move the index greatly.
  • the line-of-sight input becomes effective during the period when the finger is once released. Therefore, when the user's line of sight is directed to the target display object, the indicator can be automatically displayed at the target position.
  • the position of the index is maintained when the index is in the gaze area, a situation in which the index moved greatly returns to the original position is avoided.
  • Touchpad incapable of acquiring trigger information This example is a specific example of a touchpad incapable of acquiring trigger information.
  • the acquisition unit 141 acquires information indicating that the finger has moved on the touch pad as operation information. Therefore, the display control unit 143 invalidates the line-of-sight input during a period in which information indicating that the finger has moved on the touch pad is acquired. During that period, the display control unit 143 moves the index according to the movement amount of the finger on the touch pad.
  • the display control unit 143 validates the line-of-sight input during a period in which information indicating that the finger has moved on the touch pad is not acquired, for example, during a period in which the movement amount is 0 although touched. During that period, the display control unit 143 displays the index at the position of the gazing point when the position of the index is outside the gaze area.
  • Gyro mouse capable of acquiring trigger information
  • a touch sensor is provided on the surface of the gyro mouse, and the acquisition unit 141 can acquire information indicating that the user has touched the gyro mouse as trigger information. Therefore, the display control unit 143 invalidates the line-of-sight input while the finger is touching the touch sensor of the gyro mouse. During that period, the display control unit 143 moves the index in accordance with the gyro mouse posture, acceleration, and the like. On the other hand, the display control unit 143 validates the line-of-sight input while the finger is not touching the touch sensor of the gyro mouse.
  • the display control unit 143 displays the index at the position of the gazing point when the position of the index is outside the gaze area. For example, the line-of-sight input is validated when the finger is released from the touch sensor for a button operation or the like.
  • This example is a specific example related to a gesture input capable of acquiring trigger information.
  • the acquisition unit 141 uses, as trigger information, information indicating that the user raised his hand, that the finger was pointed in the direction of the display device 200, or that the finger shape became the pointing shape. It can be acquired. Therefore, the display control unit 143 invalidates the line-of-sight input during the period when the trigger information is acquired. During that period, the display control unit 143 moves the index according to the gesture recognition result. On the other hand, the display control unit 143 validates the line-of-sight input during a period when the trigger information is not acquired. During that period, the display control unit 143 displays the index at the position of the gazing point when the position of the index is outside the gaze area.
  • a display object selection instruction and a menu display instruction in addition to movement.
  • an action of pushing a hand or changing the shape of a hand can be assigned to these instructions.
  • the position of the hand does not move and the shape of the finger changes to a shape other than the pointing hand, so that neither operation information nor trigger information may be acquired.
  • the position of the index is maintained when the position of the index is within the gaze area, a situation in which the position of the index is shifted during the period during which such a gesture is performed or the period before and after the gesture is avoided. .
  • the line-of-sight input may be invalidated even if trigger information is not acquired during a period in which a gesture to which such an instruction is assigned is performed. In that case, even if the position of the index is outside the gaze area, a situation in which the position of the index is shifted is avoided.
  • the selection instruction or the like is performed using other modals such as voice input, the user can perform the selection instruction while moving the index. Therefore, the information processing apparatus 100 can omit the above-described correspondence. is there.
  • Cursor input incapable of acquiring trigger information This example is a specific example in the case where a cursor is operated by a cursor key of a keyboard.
  • the acquisition unit 141 acquires information indicating that the cursor key has been pressed as operation information. Therefore, the display control unit 143 invalidates the line-of-sight input during a period in which information indicating that the cursor key is pressed is acquired. During that period, the display control unit 143 moves the index in the direction corresponding to the pressed cursor key.
  • the display control unit 143 validates the line-of-sight input during a period in which information indicating that the cursor key is pressed is not acquired. During that period, the display control unit 143 displays the index at the position of the gazing point when the position of the index is outside the gaze area.
  • FIG. 6 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus according to the present embodiment.
  • the information processing apparatus 900 illustrated in FIG. 6 can realize the information processing apparatus 100 illustrated in FIG. 2, for example.
  • Information processing by the information processing apparatus 100 according to the present embodiment is realized by cooperation of software and hardware described below.
  • the information processing apparatus 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a.
  • the information processing apparatus 900 includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, a communication device 913, and a sensor 915.
  • the information processing apparatus 900 may include a processing circuit such as a DSP or an ASIC in place of or in addition to the CPU 901.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 900 according to various programs. Further, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901 can form the control unit 140 shown in FIG.
  • the CPU 901, ROM 902, and RAM 903 are connected to each other by a host bus 904a including a CPU bus.
  • the host bus 904 a is connected to an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 904.
  • an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus
  • PCI Peripheral Component Interconnect / Interface
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily have to be configured separately, and these functions may be mounted on one bus.
  • the input device 906 is realized by a device in which information is input by the user, such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever.
  • the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA that supports the operation of the information processing device 900.
  • the input device 906 may include, for example, an input control circuit that generates an input signal based on information input by the user using the above-described input means and outputs the input signal to the CPU 901.
  • a user of the information processing apparatus 900 can input various data and instruct a processing operation to the information processing apparatus 900 by operating the input device 906.
  • the output device 907 is formed of a device that can notify the user of the acquired information visually or audibly. Examples of such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, display devices such as laser projectors, LED projectors and lamps, audio output devices such as speakers and headphones, printer devices, and the like. .
  • the output device 907 outputs results obtained by various processes performed by the information processing device 900. Specifically, the display device visually displays results obtained by various processes performed by the information processing device 900 in various formats such as text, images, tables, and graphs.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs it aurally.
  • the storage device 908 is a data storage device formed as an example of a storage unit of the information processing device 900.
  • the storage apparatus 908 is realized by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 908 can form, for example, the storage unit 130 shown in FIG.
  • the drive 909 is a storage medium reader / writer, and is built in or externally attached to the information processing apparatus 900.
  • the drive 909 reads information recorded on a removable storage medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 903.
  • the drive 909 can also write information to a removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port with an external device capable of transmitting data by USB (Universal Serial Bus), for example.
  • USB Universal Serial Bus
  • the communication device 913 is a communication interface formed by a communication device or the like for connecting to the network 920, for example.
  • the communication device 913 is, for example, a communication card for wired or wireless LAN (Local Area Network), LTE (Long Term Evolution), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communication, or the like.
  • the communication device 913 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet and other communication devices.
  • the communication device 913 can form, for example, the communication unit 120 illustrated in FIG.
  • the network 920 is a wired or wireless transmission path for information transmitted from a device connected to the network 920.
  • the network 920 may include a public line network such as the Internet, a telephone line network, and a satellite communication network, various LANs including the Ethernet (registered trademark), a wide area network (WAN), and the like.
  • the network 920 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • IP-VPN Internet Protocol-Virtual Private Network
  • the sensor 915 is various sensors such as a camera, a stereo camera, a TOF (Time-of-Flight) distance measuring sensor, or a microphone.
  • the sensor 915 acquires information indicating the user's gesture and voice, the direction and movement of the user's line of sight, and the like.
  • the sensor 915 can form, for example, the sensor unit 110 shown in FIG.
  • each of the above components may be realized using a general-purpose member, or may be realized by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level at the time of carrying out this embodiment.
  • a computer program for realizing each function of the information processing apparatus 900 according to the present embodiment as described above can be produced and mounted on a PC or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • the information processing apparatus 100 acquires operation information and determines whether the difference between the position of the index indicated by the operation information and the position of the user's gaze point exceeds a threshold value. Then, it is determined whether or not the display control of the index using the line-of-sight input is performed. As a result, as long as the difference between the position of the index and the position of the gazing point does not exceed the threshold, it is avoided that the index moves according to the movement of the line of sight with no input intention such as the movement of the line of sight. Then, the information processing apparatus 100 can move the index according to the movement of the line of sight with the input intention such that the difference between the position of the index and the position of the gazing point exceeds the threshold value.
  • the information processing apparatus 100 can preferentially reflect an operation using a modal having a high priority on the display position of the indicator based on the priority set for each modal. Accordingly, an appropriate combination of the line-of-sight input and other modals such as performing an operation with a large amount of movement by line-of-sight input and performing a subsequent fine operation by touch input or the like is realized, and user convenience is improved.
  • processing described with reference to the flowcharts and sequence diagrams in this specification may not necessarily be executed in the order shown. Some processing steps may be performed in parallel. Further, additional processing steps may be employed, and some processing steps may be omitted.
  • each device described in this specification may be realized as a single device, or a part or all of them may be realized as separate devices.
  • the storage unit 130 and the control unit 140 are provided in a device such as a server connected to the sensor unit 110 and the communication unit 120 via a network or the like. Also good.
  • each device described in this specification may be realized as a separate device or may be realized as an integrally formed device.
  • the information processing device 100 and the display device 200 may be integrally formed, or the information processing device 100 and the operation device 300 may be integrally formed.
  • a display control unit for determining whether to control the display position of An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the display control unit sets the threshold according to accuracy of detecting the position of the gazing point. (3) The information processing apparatus according to (1) or (2), wherein the display control unit sets the threshold according to a distance between a position of a user's eyeball and a position of the gazing point.
  • the information processing apparatus sets the threshold value according to displayed content.
  • the information processing apparatus sets the threshold value to a fixed value.
  • the display control unit indicates a user operation to be reflected in display from information indicating a user operation using one or more input means acquired by the acquisition unit according to a priority set for each input unit.
  • the information processing apparatus according to any one of (1) to (5), wherein information is selected.
  • the display control unit uses the line-of-sight input according to whether information indicating a user operation using an input unit set with a higher priority than the input unit using the position of the gazing point is acquired.
  • the information processing apparatus according to (6), wherein whether or not to control the display position of the index is determined.
  • the display control unit depends on whether or not information indicating that there is an intention to move the index is obtained using an input unit that has a higher priority than an input unit that uses the position of the gazing point.
  • the information processing apparatus according to (6) or (7), wherein whether or not to control the display position of the index using line-of-sight input is determined.
  • the information processing apparatus according to any one of (1) to (8), wherein the display control unit determines whether to display the index at the position of the gazing point.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】入力する意図のある視線の動きに基づいて指標の表示位置を制御することが可能な情報処理装置、情報処理方法及びプログラムを提供する。 【解決手段】ユーザ操作を示す情報を取得する取得部と、前記取得部により取得された情報が示すユーザにより操作される操作位置を示す指標の位置とユーザの注視点の位置との差分が閾値を超えるか否かに応じて、視線入力を用いた前記指標の表示位置の制御を行うか否かを判定する表示制御部と、を備える情報処理装置。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　近年、ＧＵＩ入力や音声入力、視線入力等の複数種類の入力手段（モーダル）を用いた情報の入力を可能にする、マルチモーダル・インタフェースが注目されている。マルチモーダル・インタフェースでは、複数種類のモーダルを利用可能であるため、それぞれのモーダルが適切に使い分け可能になることが望ましい。
　そのための技術の一例として、下記特許文献１では、視線入力による指標の座標入力手段を新たに設けた場合に、視線入力と他の座標入力手段との間で入力信号に衝突が生じないように、いずれかひとつの座標入力手段のみを有効にする技術が開示されている。
特開平８－２４１１６３号公報
　利便性の高いモーダルのひとつとして、視線入力がある。視線入力技術は、ユーザの視線の向きや動きをトラッキングして、トラッキング結果をポインタやフォーカス等の指標の動き等に反映させる技術である。視線入力技術は、ユーザの視線を直接的に入力に反映可能であるという利便性を有する一方、視線の揺れ等の入力意図の無い視線の動きまで入力に反映されてしまうという不便さがあった。しかし、上記特許文献１では、いずれかひとつのモーダルのみを有効にすることが開示されるに留まっており、視線入力が有効になった場合、ユーザは依然として上記の不便さに耐えることを強いられていた。
　そこで、本開示では、入力する意図のある視線の動きに基づいて指標の表示位置を制御することが可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提案する。
　本開示によれば、ユーザ操作を示す情報を取得する取得部と、前記取得部により取得された情報が示すユーザにより操作される操作位置を示す指標の位置とユーザの注視点の位置との差分が閾値を超えるか否かに応じて、視線入力を用いた前記指標の表示位置の制御を行うか否かを判定する表示制御部と、を備える情報処理装置が提供される。
　また、本開示によれば、ユーザ操作を示す情報を取得することと、取得された情報が示すユーザにより操作される操作位置を示す指標の位置とユーザの注視点の位置との差分が閾値を超えるか否かに応じて、視線入力を用いた前記指標の表示位置の制御を行うか否かを判定することと、を含むプロセッサにより実行される情報処理方法が提供される。
　また、本開示によれば、コンピュータを、ユーザ操作を示す情報を取得する取得部と、前記取得部により取得された情報が示すユーザにより操作される操作位置を示す指標の位置とユーザの注視点の位置との差分が閾値を超えるか否かに応じて、視線入力を用いた前記指標の表示位置の制御を行うか否かを判定する表示制御部と、として機能させるためのプログラムが提供される。
　以上説明したように本開示によれば、入力する意図のある視線の動きに基づいて指標の表示位置を制御することが可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本実施形態に係る情報処理システムの概要を説明するための図である。 本実施形態に係る情報処理装置の論理的な構成の一例を示すブロック図である。 モーダルごとに設定される優先度の一例を示す図である。 本実施形態に係る情報処理装置の入力制限機能を説明するための図である。 本実施形態に係る情報処理装置において実行される指標の表示位置制御処理の流れの一例を示すフローチャートである。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実質的に同一の機能構成を有する要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の要素を、必要に応じて表示装置２００Ａ、２００Ｂ及び２００Ｃのように区別する。ただし、実質的に同一の機能構成を有する複数の要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、表示装置２００Ａ、２００Ｂ及び２００Ｃを特に区別する必要が無い場合には、単に表示装置２００と称する。
　なお、説明は以下の順序で行うものとする。
　　１．はじめに
　　　１．１．全体構成
　　　１．２．技術的課題
　　２．構成例
　　３．技術的特徴
　　　３．１．操作情報取得機能
　　　３．２．マルチモーダル・インタフェース機能
　　　３．３．優先度設定機能
　　　３．４．入力制限機能
　　　３．５．視線入力支援機能
　　４．動作処理例
　　５．具体例
　　６．ハードウェア構成例
　　７．まとめ
　＜＜１．はじめに＞＞
　まず、図１を参照して、本開示の一実施形態に係る情報処理装置の概要を説明する。
　　＜１．１．全体構成＞
　図１は、本実施形態に係る情報処理システム１の概要を説明するための図である。図１に示すように、情報処理システム１は、情報処理装置１００及び表示装置２００を含む。また、情報処理システム１は、操作装置３００を含んでもよい。図１に示した例では、ユーザが操作装置３００を持って表示装置２００Ａに表示された指標１０（ポインタ）を操作している。
　操作装置３００は、ユーザによる操作を受け付ける装置である。図１に示した操作装置３００は、ジャイロマウスである。ジャイロマウス３００は、加速度センサ及びジャイロセンサ等の慣性センサを内部に有し、傾きや加速度等を指標１０の位置や動きに反映させることが可能である。操作装置３００は、マウス、キーボード、タッチパッド等の多様な装置により実現されてもよい。
　表示装置２００は、情報を表示する装置である。図１に示した表示装置２００Ａ、２００Ｂ及び２００Ｃは、ディスプレイである。表示装置２００は、画像、映像、アプリケーション、テキスト、Ｗｅｂコンテンツ等の任意のコンテンツを表示可能である。また、表示装置２００は、ポインタ、フォーカス又はカーソルといった操作位置を示す指標１０を表示する。表示装置２００は、情報処理装置１００との間で有線通信又は無線通信を行い、情報処理装置１００による制御に基づいて指標１０を表示する。
　情報処理装置１００は、表示装置２００に表示される指標の表示位置を制御する装置である。図１に示した情報処理装置１００は、ＰＣ（Personal　Computer）である。例えば、情報処理装置１００は、操作装置３００により取得された情報に基づいて、指標１０の表示位置を制御する。情報処理装置１００は、例えば、ユーザの視線や音声を検出するセンサを有してもよく、音声入力、視線入力を用いた指標の操作を受け付けてもよい。
　なお、情報処理システム１は、図１に示した例以外にも多様な形態を有し得る。例えば、情報処理装置１００及び表示装置２００は、ＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）により実現されてもよい。その場合、例えばＨＭＤを装着したユーザの両眼に向けたカメラにより視線が検出されることで、視線入力が実現され得る。
　　＜１．２．技術的課題＞
　表示装置２００Ａのような大画面や、表示装置２００Ｂ、２００Ｃのように複数の画面が存在し、その全てが視野に収まりきらない状況において、視線入力は他のモーダルと比較して有効であると言える。なぜならば、視線入力は入力範囲が広く、指標が視線に追従するためユーザが指標を見失うことが少ないためである。また指標の移動量が多い場合、マウス入力であれば例えば何度もマウスを往復させるような動作が要されるところ、視線入力ではそのような煩雑な動作が要されない。これに関し、マウスの移動量に対する指標の移動量を増加させると、上記の煩雑さは軽減されるものの、ポインティング精度が低くなってしまうという弊害があった。
　しかし、上述したように、視線入力技術は、ユーザの視線を直接的に入力に反映可能であるという利便性を有する一方、視線の揺れ等の入力意図の無い視線の動きまで入力に反映されてしまうという不便さがあった。そこで、上記事情を一着眼点にして、本開示の一実施形態に係る情報処理装置１００を創作するに至った。本実施形態に係る情報処理装置１００は、マルチモーダル・インタフェースに関し、視線入力と他のモーダルとを適切に組み合わせることで、上記の不便さを軽減することが可能である。
　以上、本実施形態に係る情報処理装置１００の概要を説明した。続いて、図２を参照して、本実施形態に係る情報処理装置１００の構成例を説明する。
　＜＜２．構成例＞＞
　図２は、本実施形態に係る情報処理装置１００の論理的な構成の一例を示すブロック図である。図２に示すように、情報処理装置１００は、センサ部１１０、通信部１２０、記憶部１３０及び制御部１４０を含む。
　センサ部１１０は、ユーザ操作に関する各種情報を検出する機能を有する。例えば、センサ部１１０は、ユーザをセンシング対象とする画像センサ、深度センサ又はマイク等により実現され得る。なお、視線検出の精度を向上させるために、視線入力に関するセンサ部１１０は、表示装置２００の付近又はＨＭＤや眼鏡等の、ユーザの眼球を正面からセンシング可能な位置に設けられることが望ましい。センサ部１１０は、検出した情報を制御部１４０へ出力する。
　通信部１２０は、他の装置との間でデータの送受信を行う機能を有する。通信部１２０は、例えばＬＡＮ（Local　Area　Network）、無線ＬＡＮ、Ｗｉ－Ｆｉ（Wireless　Fidelity、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の方式で、他の装置と直接的に、又はネットワークアクセスポイント等を経由して間接的に通信する。例えば、通信部１２０は、操作装置３００により取得された情報を受信したり、指標の表示位置を示す情報を表示装置２００へ送信したりする。
　記憶部１３０は、所定の記録媒体に対してデータの記録再生を行う部位である。例えば、記憶部１３０は、指標の位置及び注視点の位置の履歴を記憶したり、後述する注視領域の大きさ（閾値の大きさ）の設定を記憶したりする。
　制御部１４０は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置１００内の動作全般を制御する。図２に示すように、制御部１４０は、取得部１４１及び表示制御部１４３として機能する。取得部１４１は、ユーザ操作を示す情報を取得する機能を有する。表示制御部１４３は、表示装置２００に表示される指標の表示位置を制御する機能を有する。
　以上、本実施形態に係る情報処理装置１００の構成例を説明した。続いて、図３及び図４を参照して、本実施形態に係る情報処理装置１００の技術的特徴を説明する。
　＜＜３．技術的特徴＞＞
　　＜３．１．操作情報取得機能＞
　本実施形態に係る情報処理装置１００（例えば、取得部１４１）は、ユーザ操作を示す情報を取得する機能を有する。
　ここで、ユーザ操作を示す情報とは、指標の移動指示を示す情報、表示オブジェクトの選択指示を示す情報、メニュー表示指示を示す情報、及び後述するトリガ情報等を含む情報である。以下では、ユーザ操作を示す情報を操作情報とも称する。
　例えば、取得部１４１は、センサ部１１０により検出された情報に基づいて操作情報を取得してもよい。具体的には、取得部１４１は、画像情報及び深度情報に基づいてユーザの目の位置及び視線の向きを認識することで、注視点の位置や視線が動く向き、速度等の視線入力に関する操作情報を取得してもよい。また、取得部１４１は、画像情報及び深度情報に基づいてユーザのジェスチャを認識することで、ジェスチャ入力に関する操作情報を取得してもよい。また、取得部１４１は、音声情報に基づいてユーザの音声を認識することで、音声入力に関する操作情報を取得してもよい。
　例えば、取得部１４１は、通信部１２０により操作装置３００から受信された情報に基づいて操作情報を取得してもよい。具体的には、取得部１４１は、タッチパッドへのタッチ、マウスの移動又はキーボードのキー押下を示す情報に基づいて、タッチ入力、マウス入力又はキーボード入力に関する操作情報を取得してもよい。
　　＜３．２．マルチモーダル・インタフェース機能＞
　本実施形態に係る情報処理装置１００（例えば、表示制御部１４３）は、マルチモーダル・インタフェースを提供する機能を有する。例えば、表示制御部１４３は、各種モーダルの操作情報に基づいて、指標の表示位置を制御する。ここでは、特に視線入力に関する説明を行う。
　例えば、表示制御部１４３は、視線入力を用いて指標の表示位置を制御する。なお、視線入力を用いて指標の表示位置を制御するとは、視線入力に関する操作情報に基づいて表示位置を制御することを指す。具体的には、表示制御部１４３は、注視点の位置を用いて指標の表示位置を制御する。注視点とは、ユーザが注視する点を指し、例えば、表示装置２００の表示面における任意の点である。例えば、表示制御部１４３は、注視点の位置に指標を表示する。注視点の位置とユーザが実際に指標を合わせたい位置とに誤差が生じる場合も考えられるので、表示制御部１４３は、注視点の位置からこの誤差を加味して適宜ずらした位置に指標の表示位置を補正してもよい。このようにして、視線入力を用いた指標の表示位置の制御が実現される。
　　＜３．３．優先度設定機能＞
　本実施形態に係る情報処理装置１００（例えば、表示制御部１４３）は、モーダルごとに設定された優先度に基づいて、操作情報を表示に反映させる機能を有する。
　例えば、表示制御部１４３は、ユーザにとって操作負荷が高い、又は操作精度や確実性の高いモーダルほど、高い優先度を設定してもよい。一例として、図３に優先度の設定例を示した。図３は、モーダルごとに設定される優先度の一例を示す図である。図３に示した例では、優先度が低いモーダルから順に、視線入力、ジェスチャ入力、タッチ入力、音声入力となっている。
　例えば、表示制御部１４３は、モーダルごとに設定された優先度に応じて、取得部１４１により取得されたひとつ以上のモーダルを用いた操作情報の中から表示に反映させる操作情報を選択してもよい。例えば、表示制御部１４３は、優先度が高いモーダルを用いた操作情報を優先的に選択する。具体的には、図３に示した例に関しては、視線入力に関する操作情報とジェスチャ入力に関する操作情報とが同時に取得された場合、表示制御部１４３は、ジェスチャ入力に関する操作情報を用いて、指標の表示位置を制御する。これにより、ユーザは、優先度の高いモーダルを優先的に用いて指標を操作することが可能となる。例えば、ユーザは、大きな画面又は複数の画面に跨るような移動量の大きな操作を視線入力により行い、その後の細かな操作をタッチ入力等により行うといったモーダルを切り替えながらの操作を行うことが可能となる。また、ユーザは、注視点の位置とユーザが実際に指標を合せたい位置とに誤差が生じた場合に、他のモーダルを用いて調整することが可能である。なお、優先度はユーザにより任意に設定されてもよい。
　例えば、表示制御部１４３は、視線入力よりも高い優先度が設定されたモーダルを用いた操作情報が取得されたか否かに応じて、視線入力を用いた指標の表示位置の制御を行うか否かを判定してもよい。例えば、表示制御部１４３は、視線入力よりも高い優先度が設定されたモーダルを用いた操作情報が取得された場合に視線入力を用いた指標の表示位置の制御を行わず（視線入力を無効化）、取得されない場合に視線入力を用いた指標の表示位置の制御を行う（視線入力を有効化）。具体的には、図３に示した例に関しては、表示制御部１４３は、視線入力に関する操作情報が取得される期間は視線入力に関する操作情報を用いて指標の表示位置を制御する。そして、表示制御部１４３は、視線入力に関する操作情報とジェスチャ入力に関する操作情報とが同時に取得される期間はジェスチャ入力に関する操作情報を用いて指標の表示位置を制御する。このように、ユーザは、モーダルを切り替えながらの操作を、切り替え指示を別途行うことなく円滑に行うことができる。
　ここで、情報処理装置１００は、ユーザが指標を移動させる意図が有ることを示す情報を取得可能な場合がある。例えば、ユーザがタッチパッドに触れた場合、触れた指を動かさずとも、タッチパッドを用いた指標の移動をこれから行う意図が有ると言える。このような、ユーザが指標を移動させる意図が有ることを示す情報を、トリガ情報とも称する。トリガ情報は、例えば操作装置３００により検出され情報処理装置１００へ送信され得る。情報処理装置１００は、このトリガ情報の有無に応じて指標の表示位置を制御してもよい。
　例えば、表示制御部１４３は、視線入力よりも高い優先度が設定されたモーダルに係るトリガ情報が取得されたか否かに応じて、視線入力を用いた指標の表示位置の制御を行うか否かを判定してもよい。例えば、表示制御部１４３は、視線入力よりも高い優先度が設定されたモーダルに係るトリガ情報が取得された場合に視線入力を無効化し、取得されない場合に視線入力を有効化する。これにより、情報処理装置１００は、ユーザによる明示的な指標の移動指示がない場合であっても、視線入力の有効化／無効化を制御することが可能である。よって、例えばユーザがタッチパッドを触れながらも指を動かさずに考え事をしている場合に、指標が無意識に動く視線に追従してしまうことが回避される。
　　＜３．４．入力制限機能＞
　本実施形態に係る情報処理装置１００（例えば、表示制御部１４３）は、視線入力を用いた指標の表示位置の制御を適宜制限する機能を有する。
　例えば、表示制御部１４３は、ユーザにより操作される指標の位置とユーザの注視点の位置との差分が閾値を超えるか否かに応じて、視線入力を用いた指標の表示位置の制御を行うか否かを判定する。例えば、表示制御部１４３は、差分が閾値を超える場合に視線入力を有効化し、閾値を超えない場合に視線入力を無効化する。具体的な手法としては、表示制御部１４３は、注視点の位置からの差分が閾値の範囲内であることを示す領域を設定し、当該領域内に指標が位置するときは視線入力を無効化し、当該領域外に指標が位置するときは視線入力を有効化してもよい。他の手法として、表示制御部１４３は、指標の位置からの差分が閾値の範囲内であることを示す領域を設定し、当該領域内に注視点が位置するときは視線入力を無効化し、当該領域外に注視点が位置するときは視線入力を有効化してもよい。本明細書では、一例として前者の手法が採用されるものとして説明する。また、注視点の位置からの差分が閾値の範囲内である領域を、注視領域とも称する。以下、図４を参照して、本機能について詳しく説明する。
　図４は、本実施形態に係る情報処理装置１００の入力制限機能を説明するための図である。図４の左図に示した例では、表示装置２００は、指標１０を注視点２０の付近に、より詳しくは、注視点２０の位置からの差分が閾値の範囲内であることを示す注視領域３０の内部に表示している。なお、注視点２０及び注視領域３０は表示されないものとする。表示制御部１４３は、この注視領域３０内に指標１０が位置する場合は、視線入力を無効化し、注視点２０が動いても指標１０の位置を維持する（指標１０の位置を移動させない）。一方で、図４の右図に示すように、注視点２０が移動して注視領域３０外に指標１０が位置することとなった場合、表示制御部１４３は、視線入力を有効化し、注視点２０の位置に指標１０を表示する。このように、注視領域３０内では注視点２０の移動に伴う指標１０の移動が制限されることで、細かな視線の揺れで指標１０が移動してしまうことを回避することができる。なお、表示制御部１４３は、上述した優先度設定機能により、注視領域３０外に指標１０が位置していても、視線入力よりも優先度が高い他のモーダルを用いた操作がある場合は視線入力を無効化してもよい。
　閾値の値、即ち注視領域３０の大きさは、多様な情報に基づいて設定され得る。以下、閾値の設定方法の一例を説明する。
　例えば、表示制御部１４３は、注視点の位置を検出する精度（視線検出の精度）に応じて閾値を設定してもよい。例えば、表示制御部１４３は、視線検出の精度が良いほど閾値に小さな値を設定し、精度が悪いほど大きな値を設定する。視線検出の精度が良いほど実際の注視点と情報処理装置１００により認識される注視点との誤差が少なく、精度が悪いほど誤差が大きいためである。視線検出の精度は、例えばセンサ部１１０に含まれる画像センサの解像度等により定まり得る。一般的に、センサとユーザとの距離が短いほど視線検出の精度が向上するので、表示制御部１４３は、センサ部１１０とユーザとの距離に応じて閾値を設定してもよい。例えば、表示制御部１４３は、壁掛け型のディスプレイ周辺のようにユーザから遠い位置に設けられたセンサを用いる場合と、眼鏡のように至近距離に設けられたセンサを用いる場合とでは、前者の方に後者よりも大きな値の閾値を設定する。このような設定により、情報処理装置１００、精度が悪い環境においても、安定した操作性を提供することができる。
　例えば、表示制御部１４３は、ユーザの眼球の位置と注視点の位置との距離に応じて閾値を設定してもよい。例えば、表示制御部１４３は、ユーザの眼球の位置と注視点の位置との距離が近いほど小さな値を設定し、遠いほど大きな値を設定する。距離が近いほどユーザの視線の移動量に対する注視点の移動量が大きく、距離が近いほどユーザの視線の移動量に対する注視点の移動量が小さくなるためである。ここで、注視点の位置は、焦点が当たる位置とも捉えることが可能である。例えば、ディスプレイ等に関しては、表示面上の位置が注視点の位置となる。一方で、ＨＭＤ等の、透過性を有するレンズ上で実空間に仮想オブジェクトを重畳させて表示する装置に関しては、レンズ上の位置ではなく、実際に仮想オブジェクトが重畳される実空間における位置が注視点の位置となる。仮想空間に仮想オブジェクトを重畳させて表示する場合も同様である。このような設定により、情報処理装置１００は、ユーザの眼球の位置と注視点の位置との距離が遠い場合に、少しの視線の揺れで指標が注視領域外に出てしまうことを防止することができる。また、情報処理装置１００は、ユーザの眼球の位置と注視点の位置との距離が近い場合に、少しの視線の移動で指標を注視領域外に出して指標を移動させることができる。
　例えば、表示制御部１４３は、表示されているコンテンツに応じて閾値を設定してもよい。例えば、表示制御部１４３は、マルチウィンドウ画面において注視領域をいずれかのウィンドウ領域に設定し得る。この場合、注視されているウィンドウ内では視線入力が無効化される。また、表示制御部１４３は、テキストが表示されている場合、１行単位、文単位又は段落単位等の任意の単位のテキストが表示されている領域を、注視領域として設定してもよい。この場合、注視されている１行、文、又は段落内では、視線入力が無効化される。このような設定により、情報処理装置１００は、コンテンツに応じた適切な視線入力の制限を実現することができる。
　例えば、表示制御部１４３は、閾値を固定値に設定してもよい。これにより、情報処理装置１００は、環境によって変動しない操作性を提供することができる。なお、この固定値は、ユーザにより任意に設定されてもよい。
　なお、表示制御部１４３は、他にも多様な条件下で視線入力を無効化してもよい。例えば、表示制御部１４３は、視線の移動速度が閾値を下回る場合に視線入力を無効化してもよい。視線の移動速度が速い場合は入力意図があり、遅い場合は考え事等をしていて入力意図が無いとも考えられるためである。
　　＜３．５．視線入力支援機能＞
　本実施形態に係る情報処理装置１００（例えば、表示制御部１４３）は、視線入力の利便性を向上させるための各種支援を行う機能を有する。
　例えば、スクロールバーにポインタを置いておき、Ｗｅｂページをスクロールしながら閲覧するケースがある。このようなケースにおいては、スクロールバーと閲覧中のＷｅｂページ内のコンテンツとの間でポインタが行き来してしまい、表示が煩雑になり得る。そこで、表示制御部１４３は、例えば注視点の位置がＷｅｂページの下端に近づいた際に自動的に下方向へスクロールさせてもよい。これにより、上述した煩雑な表示が回避される。
　例えば、時計をちらっと確認してまた元の位置に視線を戻すケースがある。このようなケースにおいては、時計と元々見ていたコンテンツとの間でポインタが行き来してしまい、ポインタが元々の位置からずれた位置に戻って来てしまい得る。そこで、表示制御部１４３は、指標の位置及び注視点の位置を記憶部１３０に記憶しておき、例えば所定時間内にもとの注視点の位置の近傍に注視点が戻ってきた場合に、指標の位置をもとの位置に戻してもよい。これにより、指標の位置のずれが自動的に修正されるので、他のモーダルを用いて調整する手間が軽減される。
　以上、本実施形態に係る情報処理装置１００の技術的特徴を説明した。続いて、図５を参照して、本実施形態に係る情報処理装置１００の動作処理例を説明する。
　＜＜４．動作処理例＞＞
　図５は、本実施形態に係る情報処理装置１００において実行される指標の表示位置制御処理の流れの一例を示すフローチャートである。
　図５に示すように、まず、取得部１４１は、視線入力より優先度が高いモーダルの操作情報が取得されたか否かを判定する（ステップＳ１０２）。操作情報が取得されたと判定された場合（ステップＳ１０２／ＹＥＳ）、表示制御部１４３は、視線入力を無効化し、他のモーダルの操作情報に基づいて指標の表示位置を制御する（ステップＳ１０４）。一方で、操作情報が取得されないと判定された場合（ステップＳ１０２／ＮＯ）、取得部１４１は、視線入力より優先度が高いモーダルに係るトリガ情報が取得されたか否かを判定する（ステップＳ１０６）。
　トリガ情報が取得されたと判定された場合（ステップＳ１０６／ＹＥＳ）、表示制御部１４３は、視線入力を無効化し、トリガ情報が取得された他のモーダルの操作情報が取得された場合に当該操作情報に基づいて指標の表示位置を制御する（ステップＳ１０４）。一方で、トリガ情報が取得されないと判定された場合（ステップＳ１０６／ＮＯ）、表示制御部１４３は、指標が注視領域内に位置するか否かを判定する（ステップＳ１０８）。
　そして、指標が注視領域内に位置すると判定された場合（ステップＳ１０８／ＹＥＳ）、表示制御部１４３は、視線入力を無効化して（ステップＳ１１０）、指標の位置を維持する（ステップＳ１１２）。一方で、指標が注視領域外に位置すると判定された場合（ステップＳ１０８／ＮＯ）、表示制御部１４３は、視線入力を有効化して（ステップＳ１１４）、注視点の位置に指標を表示する（ステップＳ１１６）。
　以上、本実施形態に係る情報処理装置１００の動作処理例を説明した。続いて、本技術を適用した具体的な例を以下に説明する。
　＜＜５．具体例＞＞
　　（１）トリガ情報を取得可能なタッチパッド
　本例は、トリガ情報を取得可能なタッチパッドに関する具体例である。例えば、取得部１４１は、タッチパッドに指がタッチしたことを示す情報を、トリガ情報として取得可能である。そのため、表示制御部１４３は、タッチパッドに指がタッチされている期間は視線入力を無効化する。その期間、表示制御部１４３は、タッチパッド上での指の移動量に応じて指標を移動させる。一方で、表示制御部１４３は、タッチパッドに指がタッチされていない期間は視線入力を有効化する。その期間、表示制御部１４３は、指標の位置が注視領域外になった場合に注視点の位置に指標を表示する。
　ここで、タッチパッドを用いた操作法のひとつに、指標を大きく動かすために指をいったん離して元のタッチ位置にもどすような操作がある。この指をいったん離した期間、視線入力が有効になる。そのため、ユーザの視線がターゲットとなる表示オブジェクトに向いている場合、ターゲットの位置に指標が自動的に表示され得る。一方で、指標が注視領域内にある場合は指標の位置が維持されるので、大きく動かした指標が元の位置に戻ってしまうような事態が回避される。
　　（２）トリガ情報を取得不可能なタッチパッド
　本例は、トリガ情報を取得不可能なタッチパッドに関する具体例である。例えば、取得部１４１は、タッチパッド上で指が移動したことを示す情報を、操作情報として取得である。そのため、表示制御部１４３は、タッチパッド上で指が移動したことを示す情報が取得される期間、視線入力を無効化する。その期間、表示制御部１４３は、タッチパッド上での指の移動量に応じて指標を移動させる。一方で、表示制御部１４３は、タッチパッド上で指が移動したことを示す情報が取得されない期間、例えばタッチはされているものの移動量が０である期間、視線入力を有効化する。その期間、表示制御部１４３は、指標の位置が注視領域外になった場合に注視点の位置に指標を表示する。
　　（３）トリガ情報を取得可能なジャイロマウス
　本例は、トリガ情報を取得可能なジャイロマウスに関する具体例である。例えば、ジャイロマウスの表面にタッチセンサが設けられており、取得部１４１は、ユーザがジャイロマウスに触れたことを示す情報を、トリガ情報として取得可能である。そのため、表示制御部１４３は、ジャイロマウスのタッチセンサに指がタッチされている期間は視線入力を無効化する。その期間、表示制御部１４３は、ジャイロマウスの姿勢や加速度等に応じて指標を移動させる。一方で、表示制御部１４３は、ジャイロマウスのタッチセンサに指がタッチされていない期間は視線入力を有効化する。その期間、表示制御部１４３は、指標の位置が注視領域外になった場合に注視点の位置に指標を表示する。例えば、ボタン操作等のためにタッチセンサから指が離される場合に、視線入力が有効化される。
　　（４）トリガ情報を取得可能なジェスチャ入力
　本例は、トリガ情報を取得可能なジェスチャ入力に関する具体例である。例えば、取得部１４１は、ユーザが手を挙げたこと、指が表示装置２００の方向に向けられたこと、又は指の形状が指差しの形状になったこと等を示す情報を、トリガ情報として取得可能である。そのため、表示制御部１４３は、トリガ情報が取得される期間は視線入力を無効化する。その期間、表示制御部１４３は、ジェスチャ認識結果に応じて指標を移動させる。一方で、表示制御部１４３は、トリガ情報が取得されない期間は視線入力を有効化する。その期間、表示制御部１４３は、指標の位置が注視領域外になった場合に注視点の位置に指標を表示する。
　ここで、指標の操作に関し、移動の他にも表示オブジェクトの選択指示やメニュー表示指示等の指示がある。例えば、ジェスチャ入力においては、手を突き出したり手の形を変えたりする動作がこれらの指示に割り当てられ得る。このような指示が割り当てられたジェスチャが行われる期間、例えば手の位置が動かずに指の形状が指差し以外の形状に変化するので、操作情報もトリガ情報も取得されない場合がある。その場合、指標の位置が注視領域内である場合は指標の位置が維持されるので、このようなジェスチャを行っている期間又はその前後の期間に指標の位置がずれてしまう事態が回避される。また、このような指示が割り当てられたジェスチャが行われる期間、トリガ情報が取得されなくても、視線入力が無効化されてもよい。その場合、指標の位置が注視領域外であったとしても、指標の位置がずれてしまう事態が回避される。なお、選択指示等が音声入力等の他のモーダルを用いて行われる場合、ユーザは指標を動かしながら選択指示等を行うことが可能であるので、情報処理装置１００は上述した対応を省略可能である。
　　（５）トリガ情報を取得不可能なカーソル入力
　本例は、キーボードのカーソルキーによりカーソルが操作される場合の具体例である。例えば、取得部１４１は、カーソルキーが押下されたことを示す情報を、操作情報として取得である。そのため、表示制御部１４３は、カーソルキーが押下されたことを示す情報が取得される期間、視線入力を無効化する。その期間、表示制御部１４３は、押下されたカーソルキーに対応する方向へ指標を移動させる。一方で、表示制御部１４３は、カーソルキーが押下されたことを示す情報が取得されない期間、視線入力を有効化する。その期間、表示制御部１４３は、指標の位置が注視領域外になった場合に注視点の位置に指標を表示する。
　以上、本技術を適用した具体的な例を説明した。
　＜＜６．ハードウェア構成例＞＞
　最後に、図６を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図６は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図６に示す情報処理装置９００は、例えば、図２に示した情報処理装置１００を実現し得る。本実施形態に係る情報処理装置１００による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
　図６に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３及びセンサ９１５を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図２に示す制御部１４０を形成し得る。
　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図２に示す記憶部１３０を形成し得る。
　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、図２に示す通信部１２０を形成し得る。
　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　センサ９１５は、例えば、カメラ、ステレオカメラ、ＴＯＦ（Time-of-Flight）方式の測距センサ又はマイクロフォン等の各種のセンサである。センサ９１５は、ユーザのジェスチャや音声、ユーザの視線の向きや動き等を示す情報を取得する。センサ９１５は、例えば、図２に示すセンサ部１１０を形成し得る。
　以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　＜＜７．まとめ＞＞
　以上、図１～図６を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る情報処理装置１００は、操作情報を取得して、操作情報が示す指標の位置とユーザの注視点の位置との差分が閾値を超えるか否かに応じて、視線入力を用いた指標の表示制御を行うか否かを判定する。これにより、指標の位置と注視点の位置との差分が閾値を超えない限り、視線の揺れ等の入力意図の無い視線の動きに応じて指標が移動してしまうことが回避される。そして、情報処理装置１００は、指標の位置と注視点の位置との差分が閾値を超えるような、入力意図のある視線の動きに応じて指標を移動させることができる。
　また、本実施形態に係る情報処理装置１００は、モーダルごとに設定された優先度に基づき、優先度の高いモーダルを用いた操作を優先的に指標の表示位置に反映させることができる。これにより、移動量の大きな操作を視線入力により行い、その後の細かな操作をタッチ入力等により行うといった、視線入力と他のモーダルとの適切な組み合わせが実現され、ユーザの利便性が向上する。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
　また、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、図２に示した情報処理装置１００の機能構成例のうち、記憶部１３０及び制御部１４０が、センサ部１１０及び通信部１２０とネットワーク等で接続されたサーバ等の装置に備えられていても良い。
　また、本明細書において説明した各装置は、別々の装置として実現されてもよく、一体的に形成された装置として実現されてもよい。例えば、情報処理装置１００及び表示装置２００が一体的に形成されてもよいし、情報処理装置１００及び操作装置３００が一体的に形成されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザ操作を示す情報を取得する取得部と、
　前記取得部により取得された情報が示すユーザにより操作される操作位置を示す指標の位置とユーザの注視点の位置との差分が閾値を超えるか否かに応じて、視線入力を用いた前記指標の表示位置の制御を行うか否かを判定する表示制御部と、
を備える情報処理装置。
（２）
　前記表示制御部は、前記注視点の位置を検出する精度に応じて前記閾値を設定する、前記（１）に記載の情報処理装置。
（３）
　前記表示制御部は、ユーザの眼球の位置と前記注視点の位置との距離に応じて前記閾値を設定する、前記（１）又は（２）に記載の情報処理装置。
（４）
　前記表示制御部は、表示されているコンテンツに応じて前記閾値を設定する、前記（１）～（３）のいずれか一項に記載の情報処理装置。
（５）
　前記表示制御部は、前記閾値を固定値に設定する、前記（１）に記載の情報処理装置。
（６）
　前記表示制御部は、入力手段ごとに設定された優先度に応じて、前記取得部により取得されたひとつ以上の入力手段を用いたユーザ操作を示す情報の中から表示に反映させるユーザ操作を示す情報を選択する、前記（１）～（５）のいずれか一項に記載の情報処理装置。
（７）
　前記表示制御部は、前記注視点の位置を用いる入力手段よりも高い優先度が設定された入力手段を用いたユーザ操作を示す情報が取得されたか否かに応じて、視線入力を用いた前記指標の表示位置の制御を行うか否かを判定する、前記（６）に記載の情報処理装置。
（８）
　前記表示制御部は、前記注視点の位置を用いる入力手段よりも高い優先度が設定された入力手段を用いて前記指標を移動させる意図が有ることを示す情報が取得されたか否かに応じて、視線入力を用いた前記指標の表示位置の制御を行うか否かを判定する、前記（６）又は（７）に記載の情報処理装置。
（９）
　前記表示制御部は、前記注視点の位置に前記指標を表示するか否かを判定する、前記（１）～（８）のいずれか一項に記載の情報処理装置。
（１０）
　ユーザ操作を示す情報を取得することと、
　取得された情報が示すユーザにより操作される操作位置を示す指標の位置とユーザの注視点の位置との差分が閾値を超えるか否かに応じて、視線入力を用いた前記指標の表示位置の制御を行うか否かを判定することと、
を含むプロセッサにより実行される情報処理方法。
（１１）
　コンピュータを、
　ユーザ操作を示す情報を取得する取得部と、
　前記取得部により取得された情報が示すユーザにより操作される操作位置を示す指標の位置とユーザの注視点の位置との差分が閾値を超えるか否かに応じて、視線入力を用いた前記指標の表示位置の制御を行うか否かを判定する表示制御部と、
として機能させるためのプログラム。
　１　　　　情報処理システム
　１０　　　指標
　２０　　　注視点
　３０　　　注視領域
　１００　　情報処理装置
　１１０　　センサ部
　１２０　　通信部
　１３０　　記憶部
　１４０　　制御部
　１４１　　取得部
　１４３　　表示制御部
　２００　　表示装置
　３００　　操作装置

Claims (11)

  1. 　ユーザ操作を示す情報を取得する取得部と、
    　前記取得部により取得された情報が示すユーザにより操作される操作位置を示す指標の位置とユーザの注視点の位置との差分が閾値を超えるか否かに応じて、視線入力を用いた前記指標の表示位置の制御を行うか否かを判定する表示制御部と、
    を備える情報処理装置。
  2. 　前記表示制御部は、前記注視点の位置を検出する精度に応じて前記閾値を設定する、請求項１に記載の情報処理装置。
  3. 　前記表示制御部は、ユーザの眼球の位置と前記注視点の位置との距離に応じて前記閾値を設定する、請求項１に記載の情報処理装置。
  4. 　前記表示制御部は、表示されているコンテンツに応じて前記閾値を設定する、請求項１に記載の情報処理装置。
  5. 　前記表示制御部は、前記閾値を固定値に設定する、請求項１に記載の情報処理装置。
  6. 　前記表示制御部は、入力手段ごとに設定された優先度に応じて、前記取得部により取得されたひとつ以上の入力手段を用いたユーザ操作を示す情報の中から表示に反映させるユーザ操作を示す情報を選択する、請求項１に記載の情報処理装置。
  7. 　前記表示制御部は、前記注視点の位置を用いる入力手段よりも高い優先度が設定された入力手段を用いたユーザ操作を示す情報が取得されたか否かに応じて、視線入力を用いた前記指標の表示位置の制御を行うか否かを判定する、請求項６に記載の情報処理装置。
  8. 　前記表示制御部は、前記注視点の位置を用いる入力手段よりも高い優先度が設定された入力手段を用いて前記指標を移動させる意図が有ることを示す情報が取得されたか否かに応じて、視線入力を用いた前記指標の表示位置の制御を行うか否かを判定する、請求項６に記載の情報処理装置。
  9. 　前記表示制御部は、前記注視点の位置に前記指標を表示するか否かを判定する、請求項１に記載の情報処理装置。
  10. 　ユーザ操作を示す情報を取得することと、
    　取得された情報が示すユーザにより操作される操作位置を示す指標の位置とユーザの注視点の位置との差分が閾値を超えるか否かに応じて、視線入力を用いた前記指標の表示位置の制御を行うか否かを判定することと、
    を含むプロセッサにより実行される情報処理方法。
  11. 　コンピュータを、
    　ユーザ操作を示す情報を取得する取得部と、
    　前記取得部により取得された情報が示すユーザにより操作される操作位置を示す指標の位置とユーザの注視点の位置との差分が閾値を超えるか否かに応じて、視線入力を用いた前記指標の表示位置の制御を行うか否かを判定する表示制御部と、
    として機能させるためのプログラム。
PCT/JP2015/084316 2015-03-17 2015-12-07 情報処理装置、情報処理方法及びプログラム WO2016147498A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/554,807 US10802620B2 (en) 2015-03-17 2015-12-07 Information processing apparatus and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-053848 2015-03-17
JP2015053848 2015-03-17

Publications (1)

Publication Number Publication Date
WO2016147498A1 true WO2016147498A1 (ja) 2016-09-22

Family

ID=56919972

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/084316 WO2016147498A1 (ja) 2015-03-17 2015-12-07 情報処理装置、情報処理方法及びプログラム

Country Status (2)

Country Link
US (1) US10802620B2 (ja)
WO (1) WO2016147498A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6789668B2 (ja) * 2016-05-18 2020-11-25 ソニーモバイルコミュニケーションズ株式会社 情報処理装置、情報処理システム、情報処理方法
US10515270B2 (en) * 2017-07-12 2019-12-24 Lenovo (Singapore) Pte. Ltd. Systems and methods to enable and disable scrolling using camera input
CN109101110A (zh) * 2018-08-10 2018-12-28 北京七鑫易维信息技术有限公司 一种操作指令执行方法、装置、用户终端及存储介质
JP2023006771A (ja) * 2021-06-30 2023-01-18 キヤノン株式会社 制御装置およびその制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08241163A (ja) * 1995-03-01 1996-09-17 Canon Inc 情報処理装置
JP2013210742A (ja) * 2012-03-30 2013-10-10 Fujitsu Ltd 情報処理装置、情報処理方法、および情報処理プログラム
WO2015092995A1 (ja) * 2013-12-18 2015-06-25 株式会社デンソー 表示制御装置、表示制御プログラム、及び表示制御プログラム製品

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6603491B2 (en) * 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US7382358B2 (en) * 2003-01-16 2008-06-03 Forword Input, Inc. System and method for continuous stroke word-based text input
US20070165019A1 (en) * 2005-07-12 2007-07-19 Hale Kelly S Design Of systems For Improved Human Interaction
US7742857B2 (en) * 2005-12-07 2010-06-22 Mazda Motor Corporation Automotive information display system
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
JP2010215194A (ja) * 2009-03-19 2010-09-30 Hyundai Motor Co Ltd 車載機器の操作装置
US20120215403A1 (en) * 2011-02-20 2012-08-23 General Motors Llc Method of monitoring a vehicle driver
US9383579B2 (en) * 2011-10-12 2016-07-05 Visteon Global Technologies, Inc. Method of controlling a display component of an adaptive display system
WO2013059940A1 (en) * 2011-10-27 2013-05-02 Tandemlaunch Technologies Inc. System and method for calibrating eye gaze data
US8947382B2 (en) * 2012-02-28 2015-02-03 Motorola Mobility Llc Wearable display device, corresponding systems, and method for presenting output on the same
JP2014064784A (ja) * 2012-09-26 2014-04-17 Renesas Microsystem:Kk 視線検出装置、視線検出方法及びプログラム
JP6090786B2 (ja) * 2013-05-09 2017-03-08 国立大学法人 東京大学 背景差分抽出装置及び背景差分抽出方法
JP6015547B2 (ja) * 2013-05-09 2016-10-26 株式会社デンソー 視線入力装置
JPWO2014188565A1 (ja) * 2013-05-23 2017-02-23 パイオニア株式会社 表示制御装置
JP6292054B2 (ja) * 2013-11-29 2018-03-14 富士通株式会社 運転支援装置、方法、及びプログラム
GB201322873D0 (en) * 2013-12-23 2014-02-12 Tobii Technology Ab Eye gaze determination
US9580081B2 (en) * 2014-01-24 2017-02-28 Tobii Ab Gaze driven interaction for a vehicle
JP6033804B2 (ja) * 2014-02-18 2016-11-30 本田技研工業株式会社 車載機器操作装置
JP6318751B2 (ja) * 2014-03-20 2018-05-09 富士通株式会社 情報処理装置、アクション切替方法、及びアクション切替プログラム
US10298745B2 (en) * 2017-08-29 2019-05-21 Ralph Peter Guisti Method and apparatus for modifying interaction with a mobile-device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08241163A (ja) * 1995-03-01 1996-09-17 Canon Inc 情報処理装置
JP2013210742A (ja) * 2012-03-30 2013-10-10 Fujitsu Ltd 情報処理装置、情報処理方法、および情報処理プログラム
WO2015092995A1 (ja) * 2013-12-18 2015-06-25 株式会社デンソー 表示制御装置、表示制御プログラム、及び表示制御プログラム製品

Also Published As

Publication number Publication date
US10802620B2 (en) 2020-10-13
US20180239440A1 (en) 2018-08-23

Similar Documents

Publication Publication Date Title
KR102471977B1 (ko) 복수의 전자장치 사이에서 가상 객체를 표시하는 방법 및 이를 지원하는 전자 장치
EP3164785B1 (en) Wearable device user interface control
CN109753159B (zh) 用于控制电子装置的方法和设备
US10831318B2 (en) Adaptive enclosure for a mobile computing device
US9965039B2 (en) Device and method for displaying user interface of virtual input device based on motion recognition
US20150143283A1 (en) Information processing device, display control method, and program
US20150002475A1 (en) Mobile device and method for controlling graphical user interface thereof
KR20150091322A (ko) 아이웨어 상에서의 멀티 터치 상호작용 기법
US20150160731A1 (en) Method of recognizing gesture through electronic device, electronic device, and computer readable recording medium
US20150077381A1 (en) Method and apparatus for controlling display of region in mobile device
KR102297473B1 (ko) 신체를 이용하여 터치 입력을 제공하는 장치 및 방법
US20120268359A1 (en) Control of electronic device using nerve analysis
WO2016147498A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11803233B2 (en) IMU for touch detection
US20210117048A1 (en) Adaptive assistive technology techniques for computing devices
US11915671B2 (en) Eye gaze control of magnification user interface
CN110795402B (zh) 显示文件列表的方法、装置及电子设备
US20210400329A1 (en) Changing Resource Utilization Associated with a Media Object Based on an Engagement Score
CN111443860A (zh) 触控方法和电子设备
EP3433713B1 (en) Selecting first digital input behavior based on presence of a second, concurrent, input
EP3851939A1 (en) Positioning a user-controlled spatial selector based on extremity tracking information and eye tracking information
WO2017110178A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR20130042674A (ko) 디스플레이기기 및 디스플레이기기의 카메라 제어 방법
KR102353919B1 (ko) 터치의 압력에 응답하여 지정된 동작을 수행하는 전자 장치 및 방법
CN110851810A (zh) 响应方法及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15885590

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15554807

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 15885590

Country of ref document: EP

Kind code of ref document: A1