WO2015170520A1 - 情報処理システムおよび情報処理方法 - Google Patents

情報処理システムおよび情報処理方法 Download PDF

Info

Publication number
WO2015170520A1
WO2015170520A1 PCT/JP2015/058782 JP2015058782W WO2015170520A1 WO 2015170520 A1 WO2015170520 A1 WO 2015170520A1 JP 2015058782 W JP2015058782 W JP 2015058782W WO 2015170520 A1 WO2015170520 A1 WO 2015170520A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
user
display
movement
neck
Prior art date
Application number
PCT/JP2015/058782
Other languages
English (en)
French (fr)
Inventor
亜由美 加藤
俊一 笠原
翼 塚原
木村　淳
真一 河野
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP15788737.3A priority Critical patent/EP3144775B1/en
Priority to JP2016517837A priority patent/JP6547741B2/ja
Priority to US15/303,650 priority patent/US20170038838A1/en
Priority to CN201580022253.1A priority patent/CN106255940B/zh
Priority to KR1020167028996A priority patent/KR102391860B1/ko
Publication of WO2015170520A1 publication Critical patent/WO2015170520A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Definitions

  • This disclosure relates to an information processing system and an information processing method.
  • wearable terminals that users wear and use have been actively developed.
  • a head-mounted terminal used by a user wearing on the head.
  • the head-mounted terminal is configured such that the display unit is positioned in front of the eyes of the user wearing the head-mounted terminal. Therefore, the user can check and operate information by wearing the head-mounted terminal without performing, for example, an operation of taking out the display terminal from a bag or a pocket.
  • Patent Document 1 discloses a technique for scrolling icons using the movement of the line of sight of a user wearing a head-mounted terminal.
  • Patent Document 2 discloses a technique for canceling a passcode with a line of sight.
  • the present disclosure proposes a new and improved information processing system and information processing method capable of enhancing the operability by line of sight on a head-mounted terminal.
  • a gaze detection unit that detects a user's gaze
  • a motion detection unit that detects a motion of a device worn by the user
  • an object that can be selected by the gaze displayed in the display area An information processing system is provided that includes a display control unit that is moved in response to the information.
  • the information processing includes detecting the movement of the device worn by the user and moving an object that can be selected by the line of sight displayed in the display area according to the movement of the device. A method is provided.
  • the movement of the user wearing the apparatus is detected by the movement detection unit, and the display position of the object that can be selected by the line of sight is changed according to the movement of the user. Accordingly, the object is displayed at a position where the user can easily move the line of sight, and the object can be easily selected by the line of sight.
  • FIG. 7 is an explanatory diagram illustrating an example of an object display position change process by the information processing apparatus according to the first embodiment of the present disclosure.
  • FIG. It is a block diagram which shows the function structure of the information processing apparatus which concerns on the embodiment.
  • It is a flowchart which shows the display change process according to the motion of the user's neck which concerns on the embodiment.
  • It is explanatory drawing which shows an example of the operation input for making the display change by a user's neck movement impossible.
  • FIG. 1 is an explanatory diagram illustrating an example of the head-mounted terminal 10.
  • FIG. 2 is an explanatory diagram illustrating an example of an object display position changing process by the information processing apparatus according to the present embodiment.
  • the head-mounted terminal 10 used in the present embodiment is a device that is used by a user wearing the head.
  • An example of the head-mounted terminal 10 is a glasses-type terminal as shown in FIG.
  • the head-mounted terminal 10 shown in FIG. 1 includes a front part having a display unit 12 positioned in front of the user's eyes when worn, and support parts 14R and 14L provided on the left and right of the front part, respectively.
  • the head-mounted terminal 10 can be mounted by positioning the support portions 14R and 14L on the side of the head and fixing the front portion to the nose.
  • the display unit 12 includes a right-eye display unit 12R and a left-eye display unit 12L. Various types of information are displayed on the display unit 12 by a display unit (not shown) that projects an image.
  • the display unit 12 according to the present embodiment is, for example, an optically transmissive display panel, and does not block the outside field of view, so that the user can naturally see the outside world and the content displayed on the display unit 12.
  • the head-mounted terminal 10 includes, for example, a gyro sensor 16 that detects angular velocity as a sensor for detecting the movement of the neck of the user wearing the terminal.
  • the gyro sensor 16 may be provided, for example, in the support portion 14L, or may be provided in another place of the terminal.
  • the gyro sensor 16 detects the angular velocity of the head-mounted terminal 10 that rotates with the rotation of the neck.
  • the angular velocity detected by the gyro sensor 16 is used as a value representing the movement of the user's neck.
  • the head-mounted terminal 10 includes a line-of-sight sensor (reference numeral 18 in FIG. 3) that detects the line of sight of the user wearing the terminal.
  • a line-of-sight sensor for example, a visible camera or an infrared camera that captures the user's eyes may be used.
  • the user's line of sight can be identified by analyzing the image acquired by the line-of-sight sensor. With this function, in the head-mounted terminal 10 according to the present embodiment, the user can operate the information displayed in the display area of the display unit 12 by moving the line of sight.
  • the form of the head-mounted terminal 10 is not limited to that shown in FIG.
  • the shape of the head-mounted terminal 10 may be a goggle-type terminal or the like, and the display unit may be provided in both eyes as shown in FIG. 1, corresponding to one of the eyes. It may be provided.
  • the display method is not limited to the optical transmission type, and may be a non-transmission type that blocks the outside field of view, a video transmission type that captures the state of the outside world, and displays it on the display unit.
  • the head-mounted terminal 10 may include, for example, a touch sensor, a microphone, a speaker, a GPS, and the like in addition to the display unit 12, the display unit, and the gyro sensor 16.
  • Such a head-mounted terminal 10 includes an information processing apparatus (reference numeral 100 in FIG. 3) for controlling various functions.
  • the information processing apparatus performs a process of controlling a display unit that displays information on the display unit 12 or causing an application to function based on a user operation.
  • the head-mounted terminal 10 can operate the terminal with a line of sight.
  • a line of sight For example, as shown on the left side of FIG. 2, it is assumed that the user wearing the head-mounted terminal 10 is looking at the display area 200 of the display unit 12.
  • objects such as a mail icon 212 for starting a mailer, an application icon 214 for functioning an application, and a microphone icon 216 are displayed.
  • the user can select an arbitrary object by moving the line of sight and aligning the line of sight with the object.
  • an operation can be performed within a range in which the user can move the line of sight in the display area 200.
  • an object near the edge of the display area 200 such as a mail icon 212 can be displayed.
  • Turning the line of sight increases the burden on the eyes.
  • the range in which a person can move his / her line of sight naturally without moving his / her face is about 30 ° in the horizontal direction. For this reason, when the angle of view of the display area 200 exceeds 30 °, it exceeds the range in which the user can naturally point the line of sight, and it becomes difficult to select objects at both ends of the display area 200.
  • the amount of movement of the line of sight in the display area 200 is small relative to the movement of the line of sight of the person, and the line of sight does not move in the display area 200 as expected even if the user moves the line of sight. For example, when the line of sight is moved by 10 ° in the horizontal direction, the display area 200 moves only about 30 to 40 pixels. For this reason, it is inconvenient to select adjacent objects such as the mail icon 212 and the application icon 214 with a fine movement of the line of sight.
  • the display position of the object displayed in the display area 200 is changed according to the movement of the user's neck so that the operation with the line of sight is facilitated.
  • the display position is changed so that it becomes wider.
  • the object is displayed in a range in which the user can move the line of sight naturally, and the interval L between adjacent objects is widened, so that each object can be easily selected.
  • the information processing apparatus moves the object so that the user can easily select the line of sight according to the movement.
  • the process of changing the display position of the object according to the movement of the neck by the information processing apparatus will be described in detail.
  • FIG. 3 shows a functional configuration of the information processing apparatus 100 of the head-mounted terminal 10 according to the present embodiment. Note that FIG. 3 shows functional units related to the process of changing the display position of the object according to the movement of the neck, but the information processing apparatus 100 may include other functional units. Good.
  • the information processing apparatus 100 according to the present embodiment, the gyro sensor 16, and the line-of-sight sensor 18 constitute an information processing system that changes the display position of the object according to the movement of the user's neck.
  • the information processing apparatus 100 includes a display unit state confirmation unit 110, an input information processing unit 120, a display control unit 130, a display processing unit 140, and an execution processing unit 150. Is provided.
  • the display unit state confirmation unit 110 is a functional unit that confirms the on / off state of the display unit 12.
  • Display unit state confirmation unit 110 outputs the on / off state of display unit 12 to input information processing unit 120.
  • the input information processing unit 120 acquires input information from the user based on detection results of the gyro sensor 16 and the line-of-sight sensor 18 of the head-mounted terminal 10 and various input units of the head-mounted terminal 10. .
  • the input information processing unit 120 analyzes the movement of the user's neck from the detection result of the gyro sensor 16 and identifies the input made by the user.
  • the input information processing unit 120 specifies an object that the user is viewing from among the objects displayed in the display area 200 of the display unit 12 based on the detection result of the visual line sensor 18.
  • the input information processing unit 120 also turns on or off the display unit 12 based on the on / off state of the display unit 12 input from the display unit state confirmation unit 110 and the user's operation performed using various input units.
  • the input information to be switched is specified.
  • the input information processing unit 120 displays the operation or operation input from the user based on the detection results of the gyro sensor 16 and the line-of-sight sensor 18 and the various input units of the head-mounted terminal 10. Get as input information.
  • the input information is output to the display control unit 130 and the execution processing unit 150.
  • the display control unit 130 changes the display position of the object displayed on the display unit 12 based on the input information acquired by the input information processing unit 120. Based on the input information, the display control unit 130 changes the display position of the object displayed on the display unit 12 according to the movement of the user's neck so that the user can easily operate. Further, the display control unit 130 may perform display so that the object selected according to the movement of the line of sight can be visually recognized. Details of the processing by the display control unit 130 will be described later. The display control unit 130 outputs display control information for changing the display on the display unit 12 to the display processing unit 140.
  • the display processing unit 140 performs various display processes for displaying on the display unit 12 based on the display control information.
  • the display information displayed in the display area 200 such as an object is displayed on the display unit 12 after being displayed by the display processing unit 140.
  • the execution processing unit 150 executes various processes based on the input information acquired by the input information processing unit 120. For example, when an object displayed on the display unit 12 is selected and determined, the execution processing unit 150 executes an application associated with the object.
  • the configuration in which the gyro sensor 16, the line-of-sight sensor 18, and the information processing apparatus 100 that configure the information processing system are all included in the head-mounted terminal 10 is shown, but the present disclosure is not limited to such an example.
  • the head-mounted terminal 10 may be provided with only the gyro sensor 16 and the line-of-sight sensor 18, and the information processing apparatus 100 may be provided in a separate information processing terminal.
  • the information processing terminal for example, a smartphone or a server can be considered.
  • the detection result of each sensor is transmitted to the information processing terminal and subjected to display control processing by the information processing apparatus 100 of the information processing terminal.
  • the information processing terminal transmits display information to be displayed on the display unit 12 of the head-mounted terminal 10 to the head-mounted terminal 10 according to the processing result.
  • FIG. 4 is a flowchart showing display change processing according to the movement of the user's neck according to the present embodiment.
  • FIG. 5 is an explanatory diagram for explaining a situation where the display unit 12 is turned off.
  • FIG. 6 is an explanatory diagram illustrating an example of an operation input for disabling display change due to the user's neck movement.
  • FIG. 7 is an explanatory diagram illustrating another example of an operation input for disabling display change due to a user's neck movement.
  • FIG. 5 is an explanatory diagram for explaining a situation where the display unit 12 is turned off.
  • FIG. 6 is an explanatory diagram illustrating an example of an operation input for disabling display change due to the user's neck movement.
  • FIG. 7 is an explanatory diagram illustrating another example of an operation input for disabling display change due to a user's neck movement.
  • FIG. 8 is an explanatory diagram illustrating an example of an operation for changing the display position of the object in accordance with the movement of the user's neck and selecting the object.
  • FIG. 9 is an explanatory diagram illustrating an example of an operation input for canceling a selected object.
  • FIG. 10 is an explanatory diagram showing an example in which a cancel icon for canceling the selected object is displayed.
  • the load when selecting an object using line-of-sight input is reduced by changing the display position of the object displayed on the display unit 12 according to the movement of the user's neck.
  • the display unit 12 may be automatically turned off to suppress power consumption. For example, it is assumed that two objects 4A and 4B are displayed in the display area 200 as shown on the left side of FIG. At this time, if there is no input from the user for a predetermined time or longer, the display unit 12 is turned off and the objects 4A and 4B are not displayed as shown on the right side of FIG. When the display unit 12 is in the off state, nothing happens even if the user turns his / her neck left or right. This is to prevent some processing from being erroneously executed due to, for example, the movement of the neck when the user is talking to a person.
  • the display change process As shown in FIG. 4, first, it is confirmed whether or not the display unit 12 is in an on state (S100).
  • the on / off state of the display unit 12 is performed by the display unit state confirmation unit 110, and the confirmation result is output to the input information processing unit 120. If the display unit 12 is in the ON state based on the confirmation result, the input information processing unit 120 proceeds to the process of step S120. On the other hand, if the display unit 12 is in the off state, the input information processing unit 120 determines whether or not there has been a user operation input for turning on the display unit 12 (S110).
  • step S110 the input information processing unit 120 determines whether or not there is an operation input for turning on the display unit 12, and repeats the processing from step S100 until the operation input is detected.
  • the input information processing unit 120 detects an operation input that turns on the display unit 12
  • the input information processing unit 120 determines whether the neck input mode for changing the display position of the object according to the movement of the user's neck is on. Confirm (S120).
  • the display unit 12 is in the on state, there is a case where it is not desired to change the display position of the object by the movement of the neck.
  • the user can also turn off the neck input mode.
  • an operation input for turning off the neck input mode for example, as shown in FIG. 6, a simple neck gesture in which the user shakes the head lightly left and right may be used.
  • an operation of selecting and determining by moving the line of sight to the hold button 220 for turning off the neck input mode displayed in the display area 200 may be used.
  • step S120 If it is determined in step S120 that the neck input mode is OFF, the process returns to step S100 and the process is repeated.
  • the display control unit 130 displays the display area 200 of the display unit 12 according to the movement of the user's neck based on the detection result of the gyro sensor 16 that detects the movement of the user's neck.
  • the display position of the displayed object is changed (S130).
  • an object group including two objects 4A and 4B is displayed near the end of the display area 200 as a normal state, and the user selects the object 4A.
  • the normal state the user is facing the front, and the direction of the front is the reference position.
  • the user turns his / her neck in the direction (left side in FIG. 8) in which the object to be selected is displayed. Due to the movement of the neck, as shown in the upper right of FIG. 8, the objects 4A and 4B are displayed so that the interval L between the objects 4A and 4B is larger than the normal state only for the object group displayed in the direction in which the neck is turned. The position is changed.
  • the interval L between the objects 4A and 4B may be widened so that the object selected by the user's line of sight is not erroneously recognized.
  • the interval L may be set to about 40 pixels. Since this interval L varies depending on individual differences of users and system configurations, for example, the degree of saccade movement of the eyeball is detected when the head-mounted terminal 10 is activated, and the interval according to the movement of the user's line of sight By setting L, erroneous detection of line-of-sight input can be prevented more reliably.
  • the object can be selected more robustly using the line-of-sight input. Further, by turning the neck left and right, the object can be arranged in a range where the user can move the line of sight naturally without depending on the size of the display area 200.
  • the user selects a desired object by his / her line of sight while changing the display position of the objects 4A and 4B displayed in the display area 200 by turning his / her neck left and right.
  • the object 4A is selected by directing the line of sight toward the object 4A.
  • a selection object 230 indicating a state where the object is selected may be displayed so that the user can easily understand the object selected.
  • the input information processing unit 120 determines whether an operation input for determining the object is performed in a state where the object is selected (S140).
  • an operation input for determining an object for example, the selected object can be continuously viewed for a predetermined time, a predetermined operation can be performed from the input unit of the head-mounted terminal 10, or a nose gesture can be performed by moving the neck up and down. It can be considered.
  • step S140 While the operation input for determining the object is not performed in step S140, the process returns to step S130 and the process is repeated. That is, the display position of the object displayed in the display area 200 is changed according to the movement of the user's neck. At this time, the selected object may be canceled by the movement of the neck or the line of sight of the user. For example, as shown on the left side of FIG. 9, the user turns the neck to the left and selects the object 4A, and then turns to the front side as shown on the right side of FIG. 9, thereby changing the display positions of the objects 4A and 4B in the display area 200. You may return to a normal state and cancel selection of object 4A.
  • a cancel object 240 for returning the display of the object to the normal state may be provided on the side opposite to the direction in which the user turns the neck.
  • the cancel object 240 is selected and determined by the user's line of sight, the display of the object becomes a normal state.
  • the process of step S130 is performed.
  • step S140 When it is detected in step S140 that an operation input for determining an object has been performed, the execution processing unit 150 executes a process associated with the determined object (S150).
  • the object display position changing process according to the movement of the user's neck according to the present embodiment has been described.
  • the display position of the object is changed so that the interval between the objects is widened.
  • the object is displayed at a position where the user can easily move the line of sight, so that the object can be easily selected by the line of sight.
  • the display position of the object in the normal state is not limited to the above example.
  • a plurality of objects 4A to 4G may be arranged close to each other across the width direction of the display area 200. Even in such a case, as described above, it is easy to select an object by widening the interval between the objects in the direction in which the user rotates the neck.
  • the display area 200 is set according to the rotation angle of the neck.
  • the object displayed on 200 may be changed. For example, when the user slightly turns the neck to the left (for example, about 15 °) from the normal state in the upper left of FIG. 11 that is the display state when the user is facing the front, the normal state is shown in the upper right of FIG. Only the objects 4B to 4D on the left side from the center are displayed. At this time, the objects 4B to 4D are displayed at equal intervals with wider intervals than in the normal state.
  • the objects 4A to 4C displayed near the left end in the normal state are displayed at equal intervals at wider intervals than in the normal state. Is done.
  • the interval between objects that can be easily selected by the user's line of sight is increased. Can be maintained.
  • the range in which a person's neck can be rotated naturally is about 70 ° on the left and right.
  • the neck is rotated 70 ° to the right, the rightmost object is displayed, and when the neck is rotated 70 ° to the left, the leftmost object is displayed.
  • An object displayed in the display area 200 may be changed. As a result, the user can display a desired object in an easily selectable state with a comfortable neck movement.
  • the number of objects 4A to 4C displayed in the display area 200 may be small.
  • the number of objects 4A to 4C displayed in the display area 200 may be small.
  • the object is moved to the opposite side of the neck rotation and displayed near the center where the user can easily operate with a line of sight. Good.
  • the interval between adjacent objects may be increased by the amount of rotation of the neck by the user, that is, as the neck rotation angle increases.
  • the objects 4A to 4E are displayed in the display area 200 and the objects 4F to 4Z are not displayed in the normal state where the user is facing the front.
  • the objects 4A to 4E displayed in the display area 200 move to the right side.
  • the object displayed at the left end of the display area 200 in the normal state is displayed near the center of the display area 200, and the non-displayed objects 4Y and 4Z are displayed.
  • the objects 4D and 4E are not displayed.
  • the object when the user moves his / her neck at a predetermined angular velocity or higher, the object can be scrolled and a hidden object can be displayed.
  • the user performs such an operation to display a desired object in the display area 200.
  • the user selects a desired object by line of sight, but as described in the first embodiment, it is difficult to direct the line of sight to the object displayed near the end of the display area 200. Therefore, by applying the processing according to the first embodiment and widening the interval between the objects by the movement of the user's neck, the object at the end can be easily operated by the line of sight.
  • the display may not be changed even if the user rotates the neck later than the predetermined angular velocity for a predetermined time.
  • the object displayed in the display area 200 may be returned to the state before scrolling.
  • the object display position changing process according to the movement of the user's neck according to the second embodiment has been described.
  • the object when there is an object that is not displayed in the display area 200, the object can be scrolled by rotating the neck at a predetermined angular velocity or higher. Then, in a state where a desired object is displayed in the display area 200, the interval between the objects displayed in the rotation direction can be increased by rotating the neck slower than a predetermined angular velocity. As a result, the object can be displayed in a state where it can be easily selected.
  • the display position of the object is changed so that the interval in the width direction (horizontal direction) of the display area is increased. It is not limited to examples. For example, as shown in FIG. 16, it is assumed that objects 4A and 4B are displayed adjacent to the left end of the display area 200 in a normal state where the user is facing the front. At this time, when the user rotates his / her neck to the left, the distance between the objects 4A and 4B may be increased by moving the objects 4A and 4B in the horizontal direction and the vertical direction.
  • objects 4A to 4C are stacked and displayed at the left end of the display area 200 in a normal state where the user is facing the front.
  • the objects 4A to 4C may be moved so as to be scattered in the horizontal direction and the vertical direction so as to widen these intervals.
  • the display position of the object that is changed according to the movement of the user's neck may be changed only in the horizontal direction, or may be changed in both the horizontal direction and the vertical direction. Further, the movement of the user's neck may be a vertical movement in addition to a horizontal movement (that is, a horizontal direction).
  • the head-mounted terminal 10 according to the present embodiment can also be configured as shown in FIG. 18, for example.
  • a hardware configuration example of the head-mounted terminal 10 according to the present embodiment will be described with reference to FIG.
  • the head-mounted terminal 10 can be realized by a processing device such as a computer as described above.
  • the head-mounted terminal 10 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a.
  • the head-mounted terminal 10 includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, and a communication device 913.
  • a processing device such as a computer as described above.
  • the head-mounted terminal 10 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a.
  • the head-mounted terminal 10 includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls the overall operation in the head-mounted terminal 10 according to various programs. Further, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like. These are connected to each other by a host bus 904a including a CPU bus.
  • the host bus 904a is connected to an external bus 904b such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 904.
  • an external bus 904b such as a PCI (Peripheral Component Interconnect / Interface) bus
  • PCI Peripheral Component Interconnect / Interface
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily have to be configured separately, and these functions may be mounted on one bus.
  • the input device 906 includes an input means for inputting information by the user such as a mouse, keyboard, touch panel, button, microphone, switch, and lever, and an input control circuit that generates an input signal based on the input by the user and outputs the input signal to the CPU 901. Etc.
  • the output device 907 includes, for example, a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device and a display device such as a lamp, and an audio output device such as a speaker.
  • LCD liquid crystal display
  • OLED Organic Light Emitting Diode
  • the storage device 908 is an example of a storage unit of the head-mounted terminal 10 and is a device for storing data.
  • the storage device 908 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 908 drives a hard disk and stores programs executed by the CPU 901 and various data.
  • the drive 909 is a reader / writer for a storage medium, and is built in or externally attached to the head-mounted terminal 10.
  • the drive 909 reads information recorded on a mounted removable recording medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 903.
  • the connection port 911 is an interface connected to an external device, and is a connection port with an external device capable of transmitting data by USB (Universal Serial Bus), for example.
  • the communication device 913 is a communication interface configured by a communication device or the like for connecting to the communication network 5, for example.
  • the communication device 913 may be a wireless LAN (Local Area Network) compatible communication device, a wireless USB compatible communication device, or a wire communication device that performs wired communication.
  • the gyro sensor 16 is used as a sensor for detecting the movement of the user's neck, but the present technology is not limited to such an example.
  • the head-mounted terminal 10 is provided with a camera that captures the outside, and the movement amount of the feature point included in the image captured by the camera is acquired by image processing, thereby obtaining the movement and angular velocity of the user's neck. May be.
  • a line-of-sight detection unit that detects a user's line of sight
  • a motion detector that detects the motion of the device worn by the user
  • a display control unit for moving an object selectable by the line of sight displayed in the display area according to the movement of the device
  • An information processing system comprising: (2) The information processing system according to (1), wherein the display control unit moves the object in a direction different from a direction in which the device moves. (3) The information processing system according to (1) or (2), wherein the display control unit moves the adjacent objects so that an interval between the objects increases.
  • the display control unit sets a cancel object for returning to the display state of the object before the movement in the direction in which the device moves in the display area.
  • the information processing system according to any one of (1) to (3), wherein the information is displayed at a position opposite to the first position.
  • the display control unit returns the object to a display state before moving.
  • the information processing system described.
  • (6) The information processing system according to any one of (1) to (5), wherein the motion detection unit detects a rotation angle of the device from a reference position.
  • the device is a head-mounted display device, The information processing system according to any one of (1) to (9), wherein the motion detection unit detects a motion of the device due to a motion of a neck of a user wearing the head-mounted display device. (11) detecting the movement of the device worn by the user; Moving an object selectable by the line of sight displayed in the display area according to the movement of the device; Including an information processing method.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】頭部装着端末での視線による操作性を高めることの可能な情報処理システムを提供する。 【解決手段】ユーザの視線を検出する視線検出部と、ユーザが装着する装置の動きを検出する動き検出部と、表示領域に表示されている視線により選択可能なオブジェクトを前記装置の動きに応じて移動させる表示制御部と、を備える、情報処理システムが提供される。

Description

情報処理システムおよび情報処理方法
　本開示は、情報処理システムおよび情報処理方法に関する。
　近年、ユーザが装着して使用するウェアラブル端末の開発が盛んに行われている。ウェアラブル端末の１つとして、ユーザが頭部に装着して使用する頭部装着型端末がある。頭部装着型端末は、これ装着したユーザの眼の前に表示部が位置するように構成されている。したがって、ユーザは、頭部装着型端末を装着することで、例えば表示端末を鞄やポケット等から取り出す動作をすることなく、情報の確認や操作を行うことが可能となる。
　このような頭部装着端末は、例えば端末に設けられたタッチセンサへの入力や音声により操作することもできるが、表示部がユーザの眼の前に設けられることから、視線による操作も多く試みられている。例えば特許文献１には、頭部装着端末を装着したユーザの視線の動きを用い、アイコンをスクロールさせる技術が開示されている。また、例えば特許文献２には、視線でパスコード解除を行う技術が開示されている。
米国特許公開２０１３／０１０６６７４号 米国特許第８２３５５２９号明細書
　しかし、視線による操作では、表示部に表示されたアイコンの選択決定において、視線を動かして画面の端付近のアイコンを選択、決定するのは眼の負担となる。このため、ユーザが視線を動かして操作できる範囲は限定される。また、個人差はあるが、ユーザの視線の動きに対して画像でのピクセル移動は小さく、視線の細かな動きで隣り合うアイコンを選択するのは不自由である。
　そこで、本開示では、頭部装着端末での視線による操作性を高めることが可能な、新規かつ改良された情報処理システムおよび情報処理方法を提案する。
　本開示によれば、ユーザの視線を検出する視線検出部と、ユーザが装着する装置の動きを検出する動き検出部と、表示領域に表示されている視線により選択可能なオブジェクトを前記装置の動きに応じて移動させる表示制御部と、を備える、情報処理システムが提供される。
　また、本開示によれば、ユーザが装着する装置の動きを検出すること、表示領域に表示されている視線により選択可能なオブジェクトを前記装置の動きに応じて移動させること、を含む、情報処理方法が提供される。
　本開示によれば、装置を装着したユーザの動きを動き検出部により検出し、視線により選択可能なオブジェクトの表示位置をユーザの動きに応じて変更する。これにより、ユーザが視線を動かし易い位置にオブジェクトを表示させ、視線によるオブジェクトの選択を行い易くする。
　以上説明したように本開示によれば、頭部装着端末での視線による操作性を高めることが可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
頭部装着型端末の一例を示す説明図である。 本開示の第１の実施形態に係る情報処理装置によるオブジェクトの表示位置変更処理の一例を示す説明図である。 同実施形態に係る情報処理装置の機能構成を示すブロック図である。 同実施形態に係るユーザの首の動きに応じた表示変更処理を示すフローチャートである。 表示部がオフ状態となる状況を説明する説明図である。 ユーザの首の動きによる表示変更を不可とするための操作入力の一例を示す説明図である。 ユーザの首の動きによる表示変更を不可とするための操作入力の他の一例を示す説明図である。 ユーザの首の動きに応じてオブジェクトの表示位置を変更し、オブジェクトを選択する操作の一例を示す説明図である。 選択されたオブジェクトをキャンセルする操作入力の一例を示す説明図である。 選択されたオブジェクトをキャンセルするキャンセルアイコンが表示された例を示す説明図である。 表示領域に表示されているオブジェクト数が多い場合のオブジェクトの表示位置変更処理を説明する説明図である。 表示領域に表示されているオブジェクト数が少ない場合のオブジェクトの表示位置変更処理を説明する説明図である。 本開示の第２の実施形態に係る表示変更処理の説明図であって、非表示のオブジェクトを表示領域に表示させる動作を示す。 同実施形態に係る表示変更処理の説明図であって、スクロール後に表示されたオブジェクトの表示状態を所定時間維持する状態を示す。 同実施形態に係る表示変更処理の説明図であって、オブジェクトの表示状態が所定時間経過後に通常状態に戻る状態を示す。 オブジェクトの間隔の広げ方の一例を示す説明図である。 オブジェクトの間隔の広げ方の他の一例を示す説明図である。 頭部装着型端末のハードウェア構成の一例を示すハードウェア構成図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．第１の実施形態（首の動きに応じてオブジェクトの間隔を広げる）
　　１．１．概要
　　１．２．機能構成
　　１．３．ユーザの首の動きに応じた表示変更処理
　２．第２の実施形態（首の動きに応じて非表示のオブジェクトを表示させる）
　３．変形例
　４．ハードウェア構成例
　＜１．第１の実施形態＞
　［１．１．概要］
　まず、図１および図２を参照して、本開示の第１の実施形態に係る情報処理装置による処理の概要について説明する。なお、図１は、頭部装着型端末１０の一例を示す説明図である。図２は、本実施形態に係る情報処理装置によるオブジェクトの表示位置変更処理の一例を示す説明図である。
　本実施形態において用いられる頭部装着型端末１０は、ユーザが頭部に装着して使用される装置である。頭部装着型端末１０としては、例えば、図１に示すようなメガネ型端末がある。図１に示す頭部装着型端末１０では、装着時にユーザの眼の前に位置する表示部１２を備えるフロント部と、フロント部の左右にそれぞれ設けられる支持部１４Ｒ、１４Ｌとからなる。支持部１４Ｒ、１４Ｌを頭部側部に位置させ、フロント部を鼻に固定することで、頭部装着型端末１０を装着することができる。
　表示部１２は、右眼用表示部１２Ｒと、左眼用表示部１２Ｌとからなる。表示部１２には、映像を投影する表示ユニット（図示せず。）によって各種情報が表示される。本実施形態に係る表示部１２は、例えば光学透過型の表示パネルであって、外界の視界を遮らないため、ユーザは外界と表示部１２に表示される内容とを自然に見ることができる。
　本実施形態に係る頭部装着型端末１０は、当該端末を装着したユーザの首の動きを検出するためのセンサとして、例えば角速度を検出するジャイロセンサ１６を備えている。ジャイロセンサ１６は、例えば支持部１４Ｌに設けてもよく、端末の他の場所に設けてもよい。頭部装着型端末１０を装着したユーザが首を回転させると、首の回転とともに回転する頭部装着型端末１０の角速度がジャイロセンサ１６により検出される。このジャイロセンサ１６により検出された角速度がユーザの首の回転の動きを表す値として利用される。
　また、頭部装着型端末１０は、当該端末を装着したユーザの視線を検出する視線センサ（図３の符号１８）を備える。視線センサとしては、例えば、ユーザの眼を撮像する可視カメラや赤外線カメラ等を用いてもよい。視線センサにより取得された画像を解析することで、ユーザの視線を特定することができる。この機能により、本実施形態に係る頭部装着型端末１０では、ユーザは視線を動かすことで表示部１２の表示領域に表示された情報を操作することができる。
　なお、頭部装着型端末１０の形態は、図１に示すものに限定されない。例えば頭部装着型端末１０の形状は、ゴーグル型端末等であってもよく、表示部は、図１に示すように両眼に設けられていてもよく、いずれか一方の眼に対応して設けられていてもよい。また、表示方式は、光学透過型に限定されず、外界の視界を遮る非透過型や、外界の様子を撮影して表示部に映し出すビデオ透過型等であってもよい。さらに、頭部装着型端末１０は、表示部１２、表示ユニット、ジャイロセンサ１６以外にも、例えばタッチセンサやマイク、スピーカ、ＧＰＳ等を備えていてもよい。
　このような頭部装着型端末１０は、各種機能を制御するため情報処理装置（図３の符号１００）を備えている。情報処理装置は、例えば表示部１２に情報を表示させる表示ユニットを制御したり、ユーザの操作に基づきアプリケーションを機能させたりする処理を行う。
　ここで、本実施形態に係る頭部装着型端末１０は、当該端末の操作を視線によって行うことができる。例えば図２左側に示すように、頭部装着型端末１０を装着しているユーザは、表示部１２の表示領域２００を見ているとする。表示領域２００には、例えば、メーラーを起動するメールアイコン２１２や、アプリケーションを機能するアプリアイコン２１４、マイクアイコン２１６等のオブジェクトが表示されている。ユーザは、視線を動かし、オブジェクトに視線を合わせることで、任意のオブジェクトを選択することができる。
　このような視線による操作においては、表示領域２００のうちユーザが視線を動かすことの可能な範囲で操作を行うことができるが、例えばメールアイコン２１２のように表示領域２００の端付近にあるオブジェクトに視線を向けるのは眼の負担が大きくなる。一般に、人が顔を動かさずに自然に視線を動かすことのできる範囲は、水平方向約３０°である。このため、表示領域２００の画角が３０°を超えて広くなると、ユーザが自然に視線を向けることのできる範囲を超えてしまい、表示領域２００の両端にあるオブジェクトの選択が難しくなる。
　また、人の視線の動きに対して表示領域２００での視線の移動量は小さく、ユーザが視線を動かしても思ったほどに表示領域２００では視線は移動しない。例えば、視線を水平方向に１０°動かしたとき、表示領域２００では３０～４０ピクセルほどしか動かない。このため、視線の細かな動きで、例えばメールアイコン２１２とアプリアイコン２１４とのように隣接するオブジェクトを選択するのは不自由である。
　そこで、本実施形態に係る頭部装着型端末１０では、ユーザの首の動きに応じて表示領域２００に表示されているオブジェクトの表示位置を変化させて、視線による操作が行い易くなるようにする。例えば、図２右側に示すように、ユーザが左を向くと、表示領域２００の左側に隣接して表示されていたメールアイコン２１２およびアプリアイコン２１４を、それぞれ右側に移動させ、これらの間隔Ｌが広くなるように表示位置を変化させる。これにより、ユーザが自然に視線を動かすことのできる範囲にオブジェクトが表示され、また、隣接するオブジェクトの間隔Ｌが広がることで、それぞれのオブジェクトを選択し易くなる。
　このように、情報処理装置は、ユーザが操作したいオブジェクトの存在する方向に首を動かしたとき、その動きに応じて、視線で選択し易くなるようにオブジェクトを移動させる。以下、情報処理装置による首の動きに応じたオブジェクトの表示位置を変更する処理について、詳細に説明していく。
　［１．２．機能構成］
　図３に、本実施形態に係る頭部装着型端末１０の情報処理装置１００の機能構成を示す。なお、図３には、首の動きに応じたオブジェクトの表示位置を変更する処理に関係する機能部を示しているが、情報処理装置１００は、これ以外の他の機能部を備えていてもよい。本実施形態に係る情報処理装置１００と、ジャイロセンサ１６および視線センサ１８により、ユーザの首の動きに応じてオブジェクトの表示位置を変更させる情報処理システムが構成される。
　本実施形態に係る情報処理装置１００は、図３に示すように、表示部状態確認部１１０と、入力情報処理部１２０と、表示制御部１３０と、表示処理部１４０と、実行処理部１５０とを備える。
　表示部状態確認部１１０は、表示部１２のオンオフ状態を確認する機能部である。表示部状態確認部１１０は、表示部１２のオンオフ状態を入力情報処理部１２０へ出力する。
　入力情報処理部１２０は、頭部装着型端末１０のジャイロセンサ１６や視線センサ１８の検出結果や、頭部装着型端末１０の各種入力部からのに基づいて、ユーザからの入力情報を取得する。例えば、入力情報処理部１２０は、ジャイロセンサ１６の検出結果よりユーザの首の動きを解析し、ユーザが行った入力を特定する。また、例えば、入力情報処理部１２０は、視線センサ１８の検出結果より、表示部１２の表示領域２００に表示されているオブジェクトのうち、ユーザが見ているオブジェクトを特定する。また、入力情報処理部１２０は、表示部状態確認部１１０から入力された表示部１２のオンオフ状態と、各種入力部を用いて行われたユーザの操作とに基づいて、表示部１２のオンオフ状態の切り換える入力情報を特定する。
　このように、入力情報処理部１２０は、ジャイロセンサ１６や視線センサ１８の検出結果や、頭部装着型端末１０の各種入力部からのに基づいて、ユーザから入力された操作あるいは動作の内容を入力情報として取得する。入力情報は、表示制御部１３０や実行処理部１５０へ出力される。
　表示制御部１３０は、入力情報処理部１２０により取得された入力情報に基づいて、表示部１２に表示されているオブジェクトの表示位置を変更する。表示制御部１３０は、入力情報に基づき、ユーザの首の動きに応じて表示部１２に表示されたオブジェクトの表示位置を、ユーザが操作し易いように変更する。また、表示制御部１３０は、視線の動きに応じて選択されたオブジェクトを視覚的にわかるような表示を行ってもよい。なお、この表示制御部１３０による処理の詳細については後述する。表示制御部１３０は、表示部１２の表示を変化させる表示制御情報を表示処理部１４０へ出力する。
　表示処理部１４０は、表示制御情報に基づいて表示部１２に表示するための各種表示処理を行う。オブジェクト等の表示領域２００に表示される表示情報は、表示処理部１４０により表示処理された後、表示部１２に表示される。
　実行処理部１５０は、入力情報処理部１２０により取得された入力情報に基づいて、各種処理を実行する。実行処理部１５０は、例えば、表示部１２に表示されたオブジェクトが選択され、決定されたとき、当該オブジェクトに関連付けられているアプリケーションを実行する。
　なお、本実施形態では、情報処理システムを構成するジャイロセンサ１６、視線センサ１８および情報処理装置１００を頭部装着型端末１０にすべて備える構成を示したが、本開示はかかる例に限定されない。例えば、頭部装着型端末１０にはジャイロセンサ１６および視線センサ１８のみを設け、情報処理装置１００を別途の情報処理端末に設けてもよい。情報処理端末としては、例えばスマートフォンやサーバ等が考えられる。この場合、各センサの検出結果は情報処理端末に送信され、情報処理端末の情報処理装置１００により表示制御処理される。情報処理端末は、処理結果に応じて頭部装着型端末１０の表示部１２に表示させる表示情報を頭部装着型端末１０に送信する。
　［１．３．ユーザの首の動きに応じた表示変更処理］
　次に、図４～図１０に基づいて、本実施形態に係るユーザの首の動きに応じた表示変更処理について説明する。なお、図４は、本実施形態に係るユーザの首の動きに応じた表示変更処理を示すフローチャートである。図５は、表示部１２がオフ状態となる状況を説明する説明図である。図６は、ユーザの首の動きによる表示変更を不可とするための操作入力の一例を示す説明図である。図７は、ユーザの首の動きによる表示変更を不可とするための操作入力の他の一例を示す説明図である。図８は、ユーザの首の動きに応じてオブジェクトの表示位置を変更し、オブジェクトを選択する操作の一例を示す説明図である。図９は、選択されたオブジェクトをキャンセルする操作入力の一例を示す説明図である。図１０は、選択されたオブジェクトをキャンセルするキャンセルアイコンが表示された例を示す説明図である。
　上述したように、頭部装着型端末１０において、視線入力を用いて表示部１２に表示されたオブジェクトを選択するとき、表示領域２００の端部に表示されているオブジェクトの選択は眼の負担となる。そこで、本実施形態では、ユーザの首の動きに応じて表示部１２に表示されたオブジェクトの表示位置を変更することにより、視線入力を用いてオブジェクトを選択するときの負荷を軽減する。
　まず、入力に関して、一般的に頭部装着型端末１０では、ユーザからの入力が所定時間以上ない場合、電力消費抑制のため、自動で表示部１２をオフ状態にすることがある。例えば、図５左側に示すように、表示領域２００に２つのオブジェクト４Ａ、４Ｂが表示されているとする。このとき、ユーザからの入力が所定時間以上ない場合、図５右側に示すように表示部１２はオフ状態となり、オブジェクト４Ａ、４Ｂは非表示となる。表示部１２がオフ状態のときには、ユーザが首を左右に回しても何も起こらない。これは、例えばユーザが人と話している際の首の動き等により誤って何かしらの処理を実行してしまわないようにするためである。
　そこで、本実施形態に係る表示変更処理では、図４に示すように、まず、表示部１２がオン状態であるか否かが確認される（Ｓ１００）。表示部１２のオンオフ状態は、表示部状態確認部１１０により行われ、確認結果は入力情報処理部１２０へ出力される。入力情報処理部１２０は、確認結果より表示部１２がオン状態であれば、ステップＳ１２０の処理へ進む。一方、表示部１２がオフ状態であれば、入力情報処理部１２０は、表示部１２をオン状態とするユーザの操作入力があったか否かを判定する（Ｓ１１０）。
　表示部１２をオン状態とする操作入力としては、例えば、頭部装着型端末１０に設けられた入力部から所定の操作を行ったり、首を上下に動かしてうなずくジェスチャを行ったりする等が考えられる。入力情報処理部１２０は、ステップＳ１１０にて、表示部１２をオン状態とする操作入力の有無を判定し、当該操作入力が検出されるまでステップＳ１００からの処理を繰り返す。そして、入力情報処理部１２０は、表示部１２をオン状態とする操作入力を検出すると、次いで、ユーザの首の動きに応じてオブジェクトの表示位置を変更する首入力モードがオン状態であるかを確認する（Ｓ１２０）。
　表示部１２はオン状態であるが、首の動きによってオブジェクトの表示位置を変更させたくない場合もある。このような場合、例えばユーザは、首入力モードをオフ状態にすることもできる。首入力モードをオフ状態にする操作入力としては、例えば、図６に示すように、ユーザが首を左右に軽く振るような簡易な首のジェスチャであってもよい。あるいは、例えば図７に示すように、表示領域２００に表示された首入力モードをオフ状態にするためのｈｏｌｄボタン２２０に視線を移動させて選択、決定する操作であってもよい。
　ステップＳ１２０にて首入力モードがオフ状態であると判定した場合には、ステップＳ１００からの処理に戻り、処理を繰り返す。一方、首入力モードがオン状態である場合、ユーザの首の動きを検出するジャイロセンサ１６の検出結果に基づき、表示制御部１３０によってユーザの首の動きに応じて表示部１２の表示領域２００に表示されたオブジェクトの表示位置が変更される（Ｓ１３０）。
　例えば、図８左上に示すように、通常状態として表示領域２００の端部付近に２つのオブジェクト４Ａ、４Ｂからなるオブジェクト群が表示されており、ユーザがオブジェクト４Ａを選択する場合を考える。通常状態において、ユーザは正面を向いており、この正面の向きを基準位置とする。このとき、ユーザが選択したいオブジェクトが表示されている向き（図８では左側）に首を回す。この首の動きにより、図８右上に示すように、首を回した向きに表示されているオブジェクト群のみ、オブジェクト４Ａ、４Ｂの間隔Ｌが通常状態よりも大きくなるようにオブジェクト４Ａ、４Ｂの表示位置が変更される。
　オブジェクト４Ａ、４Ｂの間隔Ｌは、ユーザの視線により選択されるオブジェクトを誤認識しない程度に広げればよい。例えば、４０ピクセル程度に間隔Ｌを設定するようにしてもよい。なお、この間隔Ｌは、ユーザの個人差やシステムの構成によって変化するため、例えば、頭部装着型端末１０の起動時に眼球のサッケード運動の程度を検出し、ユーザの視線の動きに応じた間隔Ｌを設定することで、より確実に視線入力の誤検出を防止することができる。
　このように、オブジェクト４Ａ、４Ｂの間隔Ｌを大きくすることで、各オブジェクト４Ａ、４Ｂに視線を向けやすくなり、視線入力を用いて、よりロバストにオブジェクトを選択することができるようになる。また、首を左右に回すことにより、表示領域２００のサイズに寄らず、ユーザが自然に視線を動かすことのできる範囲にオブジェクトを配置させることが可能となる。
　また、ユーザの首の動きによってオブジェクト４Ａ、４Ｂの間隔Ｌを広げる際に、これらのオブジェクト群において首の回転の向きと反対側にあるオブジェクト４Ｂの表示位置のみを変更させてもよいが、オブジェクト４Ａも表示領域中央側へ移動させてもよい。これにより、ユーザが自然に視線を向けにくい範囲から自然に視線を動かすことのできる範囲にオブジェクトが表示されるので、オブジェクトの選択が容易になる。
　ユーザは、首を左右に回して表示領域２００に表示されているオブジェクト４Ａ、４Ｂの表示位置を変更させたりしながら、所望のオブジェクトを視線により選択する。例えば図８右下に示すように、視線をオブジェクト４Ａに向けることで、当該オブジェクト４Ａが選択された状態となる。このとき、ユーザに選択されているオブジェクトがわかりやすくなるように、例えばオブジェクトが選択されている状態を示す選択オブジェクト２３０を表示させてもよい。
　そして、入力情報処理部１２０は、オブジェクトが選択された状態で当該オブジェクトを決定する操作入力が行われたか否かを判定する（Ｓ１４０）。オブジェクトを決定する操作入力としては、例えば、選択されたオブジェクトを所定時間見続けたり、頭部装着型端末１０の入力部から所定の操作を行ったり、首を上下に動かしてうなずくジェスチャを行ったりする等が考えられる。
　ステップＳ１４０にてオブジェクトを決定する操作入力が行われない間は、ステップＳ１３０に戻り、処理を繰り返す。すなわち、ユーザの首の動きに応じて、表示領域２００に表示されたオブジェクトの表示位置が変更される。このとき、首の動きやユーザの視線により、選択されたオブジェクトのキャンセルを行うようにしてもよい。例えば図９左側に示すように、ユーザが首を左に回し、オブジェクト４Ａを選択した状態から、図９右側に示すように正面を向くことで、表示領域２００のオブジェクト４Ａ、４Ｂの表示位置を通常状態に戻し、オブジェクト４Ａの選択をキャンセルしてもよい。
　あるいは、図１０に示すように、ユーザが首を回した向きと反対側にオブジェクトの表示を通常状態に戻すためのキャンセルオブジェクト２４０を設けてもよい。キャンセルオブジェクト２４０がユーザの視線により選択、決定されることで、オブジェクトの表示は通常状態となる。表示部１２のオブジェクト表示が通常状態とされると、ユーザが正面を向いたことを検出した後、ステップＳ１３０の処理が行われる。
　ステップＳ１４０にてオブジェクトを決定する操作入力が行われたことが検出されると、実行処理部１５０は、決定されたオブジェクトに関連付けられた処理を実行する（Ｓ１５０）。
　以上、本実施形態に係るユーザの首の動きに応じたオブジェクトの表示位置変更処理について説明した。本実施形態のように、ユーザが首を回すと、オブジェクトの表示位置をオブジェクトの間隔が広くなるように変更する。これにより、ユーザが視線を動かし易い位置にオブジェクトが表示されるので、視線によるオブジェクトの選択が行い易くなる。
　なお、上記説明では、例えば図８に示すように、オブジェクト４Ａ、４Ｂが表示領域２００の左端付近に表示されている場合について説明したが、通常状態におけるオブジェクトの表示位置は上述の例に限らない。例えば、図１１に示すように、表示領域２００の幅方向にわたって複数のオブジェクト４Ａ～４Ｇが近接して配列されている場合もある。このような場合にも、上述と同様、ユーザが首を回転させた向きにあるオブジェクトについてオブジェクトの間隔を広げることで、オブジェクトを選択しやすくなる。
　具体的には、表示領域２００に配列されているオブジェクト４Ａ～４Ｇの数が多いときには、例えば、ユーザが首を回転させた向きのオブジェクトの間隔を広げるとともに、首の回転角度に応じて表示領域２００に表示するオブジェクトを変化させてもよい。例えば、ユーザが正面を向いているときの表示状態である図１１左上の通常状態から、ユーザが少し（例えば１５°程度）首を左へ回転させると、図１１右上に示すように、通常状態において中央から左側にあるオブジェクト４Ｂ～４Ｄのみが表示される。このときオブジェクト４Ｂ～４Ｄは、通常状態よりも広い間隔で、等間隔に表示される。
　そして、さらにユーザが首を左へ回転させると、図１１右下に示すように、通常状態において左端付近に表示されていたオブジェクト４Ａ～４Ｃが、通常状態よりも広い間隔で、等間隔に表示される。このように、ユーザの首の回転に応じてオブジェクトの間隔を広げて表示する際に、首の回転角度に応じて表示するオブジェクトを変化させることにより、ユーザが視線により選択しやすいオブジェクトの間隔を維持することができる。
　一般に、人の首を自然に回転させることの可能な範囲は左右それぞれ７０°程度とされている。これより、例えば、首が右に７０°回転されたとき右端のオブジェクトが表示され、首が左に７０°回転されたとき左端のオブジェクトが表示されるようにし、首が所定角度回転する毎に表示領域２００に表示されるオブジェクトを変化させるようにしてもよい。これにより、ユーザは無理のない首の動きで、選択しやすい状態で所望のオブジェクトを表示させることが可能となる。
　一方、図１２に示すように、表示領域２００に表示されているオブジェクト４Ａ～４Ｃの数が少ない場合もある。図１２に示す例では、図８とは異なり、隣接するオブジェクトの間隔は十分にある。このとき、よりユーザがオブジェクトを選択しやすいように、図１１の場合と同様、首の回転と反対側にオブジェクトを移動させて、ユーザが視線で操作しやすい中央付近に表示させるようにしてもよい。
　さらに、ユーザが首を回転させた分だけ、すなわち首の回転角度が大きくなるほど、隣接するオブジェクトの間隔を広げるようにしてもよい。オブジェクトの間隔が大きくなることで、隣接するオブジェクトを誤って選択する可能性が低くなり、誤操作を防止することができる。かかる処理は、オブジェクトの数が少ない場合に特に有効である。
　＜２．第２の実施形態＞
　次に、図１３～図１５に基づいて、本開示の第２の実施形態に係るユーザの首の動きに応じたオブジェクトの表示位置変更処理について説明する。本実施形態では、表示部１２に表示可能なオブジェクト４Ａ～４Ｚのうち、一部のみが表示領域２００に配列されている場合の処理について説明する。本実施形態においても、ユーザの首の動きに応じて、オブジェクトの間隔が大きくなるようにオブジェクトの表示位置が変更されるが、選択したいオブジェクトが非表示の場合もある。そこで、ユーザの首の動きにより、所望のオブジェクトを表示領域２００に表示させた後、オブジェクトの間隔を広げる処理を行うようにしてもよい。
　例えば、図１３上側に示すように、ユーザが正面を向いている通常状態において、表示領域２００内にオブジェクト４Ａ～４Ｅが表示されており、オブジェクト４Ｆ～４Ｚが非表示とされているとする。このとき、ユーザが首を所定の角速度以上で左に回転させると、表示領域２００に表示されているオブジェクト４Ａ～４Ｅが右側へ移動する。そして、図１３下側に示すように、通常状態において表示領域２００の左端に表示されていたオブジェクトが表示領域２００の中央付近に表示されるとともに、非表示であったオブジェクト４Ｙ、４Ｚが表示され、オブジェクト４Ｄ、４Ｅが非表示となる。
　このように、ユーザが首を所定の角速度以上で動かすことにより、オブジェクトをスクロールすることができ、非表示のオブジェクトを表示させることが可能となる。ユーザはかかる動作を行い、所望のオブジェクトを表示領域２００に表示させる。その後、ユーザは視線により所望のオブジェクトを選択するが、第１の実施形態にて説明したように、表示領域２００の端部付近に表示されているオブジェクトには視線を向けにくい。そこで、第１の実施形態に係る処理を適用し、ユーザの首の動きによってオブジェクトの間隔を広げることで、端部にあったオブジェクトも視線により容易に操作できるようになる。
　ここで、オブジェクトの間隔を広げるための首の動作は、ユーザが正面を向いた状態から行うと行い易い。そこで、ユーザが首を所定の角速度以上で動かしてオブジェクトをスクロールさせた後、所定時間はユーザが所定の角速度より遅く首を回転させても、その表示を変化させないようにしてもよい。
　例えば、図１４上側に示すように、ユーザが所定の角速度以上で左に首を回転させ、表示領域２００にオブジェクト４Ｙ～４Ｃが表示されているとする。その後、所定時間内にユーザが所定の角速度より遅く首を回転させて正面を向いても、図１４下側に示すように、表示領域２００にはオブジェクト４Ｙ～４Ｃが表示されている状態を維持する。これにより、ユーザは、オブジェクト４Ｙ～４Ｃから所望のオブジェクトを選択する際に、オブジェクトの間隔を広げるための首の動作を行い易くなる。
　なお、ユーザが首を所定の角速度以上で動かしてオブジェクトをスクロールさせた後、所定時間内に首を回転させて正面を向いた後、首を回転させる動作が所定時間以上行われなかった場合には、図１５に示すように、表示領域２００に表示されるオブジェクトをスクロール前の状態に戻すようにしてもよい。
　以上、第２の実施形態に係るユーザの首の動きに応じたオブジェクトの表示位置変更処理について説明した。本実施形態によれば、表示領域２００に表示されないオブジェクトが存在する場合に、首を所定の角速度以上で回転させることでオブジェクトをスクロールすることが可能となる。そして、表示領域２００に所望のオブジェクトが表示された状態で、所定の角速度より遅く首を回転させることで、回転方向に表示されているオブジェクトの間隔を広げることができる。これにより、オブジェクトを選択しやすい状態で表示させることができる。
　＜３．変形例＞
　上記実施形態では、ユーザの首の動きに応じてオブジェクトの間隔を広げるとき、表示領域の幅方向（水平方向）の間隔が広くなるようにオブジェクトの表示位置を変更させたが、本技術はかかる例に限定されない。例えば、図１６に示すように、ユーザが正面を向いている通常状態において、表示領域２００の左端にオブジェクト４Ａ、４Ｂが隣接して表示されているとする。このとき、ユーザが左側に首を回転すると、オブジェクト４Ａ、４Ｂを水平方向および垂直方向に移動させることにより、これらの間隔を広げるようにしてもよい。
　あるいは、図１７に示すように、ユーザが正面を向いている通常状態において、表示領域２００の左端にオブジェクト４Ａ～４Ｃが積層して表示されているとする。このとき、ユーザが左側に首を回転すると、オブジェクト４Ａ～４Ｃを水平方向および垂直方向にばらけるように移動させて、これらの間隔を広げるようにしてもよい。
　このように、ユーザの首の動きに応じて変更されるオブジェクトの表示位置は、水平方向のみ変更するようにしてもよく、水平方向および垂直方向ともに変更するようにしてもよい。また、ユーザの首の動きは左右（すなわち、水平方向）の動き以外にも、上下の動きであってもよい。
　＜４．ハードウェア構成例＞
　本実施形態に係る頭部装着型端末１０は、例えば図１８に示すように構成することもできる。以下、図１８に基づいて、本実施形態に係る頭部装着型端末１０の一ハードウェア構成例について説明する。
　本実施形態に係る頭部装着型端末１０は、上述したように、コンピュータ等の処理装置により実現することができる。頭部装着型端末１０は、図１８に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３と、ホストバス９０４ａとを備える。また、頭部装着型端末１０は、ブリッジ９０４と、外部バス９０４ｂと、インタフェース９０５と、入力装置９０６と、出力装置９０７と、ストレージ装置９０８と、ドライブ９０９と、接続ポート９１１と、通信装置９１３とを備える。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って頭部装着型端末１０内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４ａにより相互に接続されている。
　ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。出力装置９０７は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）装置およびランプなどの表示装置や、スピーカなどの音声出力装置を含む。
　ストレージ装置９０８は、頭部装着型端末１０の記憶部の一例であり、データ格納用の装置である。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。
　ドライブ９０９は、記憶媒体用リーダライタであり、頭部装着型端末１０に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。また、通信装置９１３は、例えば、通信網５に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１３は、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、ユーザの首の動きを検出するためのセンサとして、ジャイロセンサ１６を用いたが、本技術はかかる例に限定されない。例えば、頭部装着型端末１０に外部を撮影するカメラを設け、当該カメラにより撮影された画像に含まれる特徴点の移動量を画像処理により取得することで、ユーザの首の動きや角速度を求めてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）ユーザの視線を検出する視線検出部と、
　ユーザが装着する装置の動きを検出する動き検出部と、
　表示領域に表示されている視線により選択可能なオブジェクトを前記装置の動きに応じて移動させる表示制御部と、
を備える、情報処理システム。
（２）前記表示制御部は、前記オブジェクトを前記装置の動いた方向と異なる方向に移動させる、前記（１）に記載の情報処理システム。
（３）前記表示制御部は、隣接する前記オブジェクトの間隔が広がるように移動させる、前記（１）または（２）に記載の情報処理システム。
（４）前記装置の動きに応じて前記オブジェクトが移動されたとき、前記表示制御部は、移動前の前記オブジェクトの表示状態に戻すためのキャンセルオブジェクトを、前記表示領域における前記装置の動いた方向と逆側の位置に表示させる、前記（１）～（３）のいずれか１項に記載の情報処理システム。
（５）前記装置が前記オブジェクトを移動させる前の位置に戻ったとき、前記表示制御部は、前記オブジェクトを移動前の表示状態に戻す、前記（１）～（４）のいずれか１項に記載の情報処理システム。
（６）前記動き検出部は、基準位置からの前記装置の回転角度を検出する、前記（１）～（５）のいずれか１項に記載の情報処理システム。
（７）前記動き検出部は、前記装置の角速度を検出する、前記（１）～（６）のいずれか１項に記載の情報処理システム。
（８）前記表示制御部は、前記装置の角速度が所定速度以上であるとき、前記オブジェクトを前記装置の動いた方向と異なる方向にスクロールさせる、前記（７）に記載の情報処理システム。
（９）前記表示制御部は、前記オブジェクトがスクロールされた後、所定時間が経過するまで、前記スクロール後のオブジェクトの表示状態を維持する、前記（８）に記載の情報処理システム。
（１０）前記装置は頭部装着型表示装置であり、
　前記動き検出部は、前記頭部装着型表示装置を装着したユーザの首の動きによる装置の動きを検出する、前記（１）～（９）のいずれか１項に記載の情報処理システム。
（１１）ユーザが装着する装置の動きを検出すること、
　表示領域に表示されている視線により選択可能なオブジェクトを前記装置の動きに応じて移動させること、
を含む、情報処理方法。
　１０　　　頭部装着型端末
　１２　　　表示部
　１６　　　ジャイロセンサ
　１８　　　視線センサ
　１００　　情報処理装置
　１１０　　表示部状態確認部
　１２０　　入力情報処理部
　１３０　　表示処理部
　１４０　　表示処理部
　１５０　　実行処理部
　２００　　表示領域

Claims (11)

  1. 　ユーザの視線を検出する視線検出部と、
    　ユーザが装着する装置の動きを検出する動き検出部と、
    　表示領域に表示されている視線により選択可能なオブジェクトを前記装置の動きに応じて移動させる表示制御部と、
    を備える、情報処理システム。
  2. 　前記表示制御部は、前記オブジェクトを前記装置の動いた方向と異なる方向に移動させる、請求項１に記載の情報処理システム。
  3. 　前記表示制御部は、隣接する前記オブジェクトの間隔が広がるように移動させる、請求項１に記載の情報処理システム。
  4. 　前記装置の動きに応じて前記オブジェクトが移動されたとき、前記表示制御部は、移動前の前記オブジェクトの表示状態に戻すためのキャンセルオブジェクトを、前記表示領域における前記装置の動いた方向と逆側の位置に表示させる、請求項１に記載の情報処理システム。
  5. 　前記装置が前記オブジェクトを移動させる前の位置に戻ったとき、前記表示制御部は、前記オブジェクトを移動前の表示状態に戻す、請求項１に記載の情報処理システム。
  6. 　前記動き検出部は、基準位置からの前記装置の回転角度を検出する、請求項１に記載の情報処理システム。
  7. 　前記動き検出部は、前記装置の角速度を検出する、請求項１に記載の情報処理システム。
  8. 　前記表示制御部は、前記装置の角速度が所定速度以上であるとき、前記オブジェクトを前記装置の動いた方向と異なる方向にスクロールさせる、請求項７に記載の情報処理システム。
  9. 　前記表示制御部は、前記オブジェクトがスクロールされた後、所定時間が経過するまで、前記スクロール後のオブジェクトの表示状態を維持する、請求項８に記載の情報処理システム。
  10. 　前記装置は頭部装着型表示装置であり、
    　前記動き検出部は、前記頭部装着型表示装置を装着したユーザの首の動きによる装置の動きを検出する、請求項１に記載の情報処理システム。
  11. 　ユーザが装着する装置の動きを検出すること、
    　表示領域に表示されている視線により選択可能なオブジェクトを前記装置の動きに応じて移動させること、
    を含む、情報処理方法。
PCT/JP2015/058782 2014-05-09 2015-03-23 情報処理システムおよび情報処理方法 WO2015170520A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP15788737.3A EP3144775B1 (en) 2014-05-09 2015-03-23 Information processing system and information processing method
JP2016517837A JP6547741B2 (ja) 2014-05-09 2015-03-23 情報処理システムおよび情報処理方法
US15/303,650 US20170038838A1 (en) 2014-05-09 2015-03-23 Information processing system and information processing method
CN201580022253.1A CN106255940B (zh) 2014-05-09 2015-03-23 信息处理系统以及信息处理方法
KR1020167028996A KR102391860B1 (ko) 2014-05-09 2015-03-23 정보 처리 시스템 및 정보 처리 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014098043 2014-05-09
JP2014-098043 2014-05-09

Publications (1)

Publication Number Publication Date
WO2015170520A1 true WO2015170520A1 (ja) 2015-11-12

Family

ID=54392374

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/058782 WO2015170520A1 (ja) 2014-05-09 2015-03-23 情報処理システムおよび情報処理方法

Country Status (6)

Country Link
US (1) US20170038838A1 (ja)
EP (1) EP3144775B1 (ja)
JP (1) JP6547741B2 (ja)
KR (1) KR102391860B1 (ja)
CN (1) CN106255940B (ja)
WO (1) WO2015170520A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017130190A (ja) * 2015-12-04 2017-07-27 株式会社半導体エネルギー研究所 電子機器、表示システム
WO2017169909A1 (ja) * 2016-03-29 2017-10-05 日本電気株式会社 作業支援装置、ウェアラブル端末、作業支援方法および記録媒体
CN107320957A (zh) * 2017-08-21 2017-11-07 网易（杭州）网络有限公司 游戏界面显示方法及装置
JP2017228291A (ja) * 2016-06-16 2017-12-28 ハンド ヘルド プロダクツ インコーポレーティッド 視線検出により制御される標示スキャンシステム及び方法
WO2018150831A1 (ja) * 2017-02-16 2018-08-23 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
WO2020189254A1 (ja) 2019-03-15 2020-09-24 ソニー株式会社 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体
JP7039672B1 (ja) 2020-10-29 2022-03-22 ソフトバンク株式会社 制御装置、プログラム、及び制御方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017038248A1 (ja) * 2015-09-04 2017-03-09 富士フイルム株式会社 機器操作装置、機器操作方法、及び電子機器システム
JP6373920B2 (ja) * 2016-09-14 2018-08-15 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP6298130B2 (ja) 2016-09-14 2018-03-20 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
WO2019123770A1 (ja) 2017-12-20 2019-06-27 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN113196377B (zh) * 2018-12-20 2024-04-12 Ns西日本株式会社 显示光射出装置、平视显示装置、图像显示系统及头盔
JP7277306B2 (ja) * 2019-07-31 2023-05-18 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
CN112704876B (zh) * 2020-12-30 2022-10-04 腾讯科技（深圳）有限公司 虚拟对象互动模式的选择方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11259226A (ja) * 1998-03-13 1999-09-24 Canon Inc 視線入力意思伝達装置、視線入力意思伝達方法および記憶媒体
JP2002525769A (ja) * 1998-09-22 2002-08-13 ヴェガ ヴィスタ インコーポレイテッド 携帯型データディスプレイの直接的コントロール方法
JP2008033891A (ja) * 2006-06-27 2008-02-14 Matsushita Electric Ind Co Ltd 表示装置及びその制御方法
JP2011113256A (ja) * 2009-11-26 2011-06-09 Kyocera Mita Corp 表示装置及びこれを搭載した画像形成装置、電子機器

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19954653B4 (de) * 1999-11-13 2006-01-19 Contitech Profile Gmbh Extruder zur Aufbereitung von Kautschukmischungen
US7928926B2 (en) * 2006-06-27 2011-04-19 Panasonic Corporation Display apparatus and method for hands free operation that selects a function when window is within field of view
JP2008178075A (ja) * 2006-12-18 2008-07-31 Sony Corp 表示制御装置、表示制御方法、及びプログラム
CN103064579A (zh) * 2011-10-21 2013-04-24 艾迪讯科技股份有限公司 智能机互动系统服务平台
US8970452B2 (en) 2011-11-02 2015-03-03 Google Inc. Imaging method
US8866852B2 (en) * 2011-11-28 2014-10-21 Google Inc. Method and system for input detection
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
CN103020983B (zh) * 2012-09-12 2017-04-05 深圳先进技术研究院 一种用于目标跟踪的人机交互装置及方法
JP2014092941A (ja) * 2012-11-02 2014-05-19 Sony Corp 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
GB2514603B (en) * 2013-05-30 2020-09-23 Tobii Ab Gaze-controlled user interface with multimodal input
KR20150037254A (ko) * 2013-09-30 2015-04-08 엘지전자 주식회사 착용형 디스플레이 디바이스 및 레이어 제어 방법
US9442631B1 (en) * 2014-01-27 2016-09-13 Google Inc. Methods and systems for hands-free browsing in a wearable computing device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11259226A (ja) * 1998-03-13 1999-09-24 Canon Inc 視線入力意思伝達装置、視線入力意思伝達方法および記憶媒体
JP2002525769A (ja) * 1998-09-22 2002-08-13 ヴェガ ヴィスタ インコーポレイテッド 携帯型データディスプレイの直接的コントロール方法
JP2008033891A (ja) * 2006-06-27 2008-02-14 Matsushita Electric Ind Co Ltd 表示装置及びその制御方法
JP2011113256A (ja) * 2009-11-26 2011-06-09 Kyocera Mita Corp 表示装置及びこれを搭載した画像形成装置、電子機器

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017130190A (ja) * 2015-12-04 2017-07-27 株式会社半導体エネルギー研究所 電子機器、表示システム
WO2017169909A1 (ja) * 2016-03-29 2017-10-05 日本電気株式会社 作業支援装置、ウェアラブル端末、作業支援方法および記録媒体
JP2017228291A (ja) * 2016-06-16 2017-12-28 ハンド ヘルド プロダクツ インコーポレーティッド 視線検出により制御される標示スキャンシステム及び方法
WO2018150831A1 (ja) * 2017-02-16 2018-08-23 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
JPWO2018150831A1 (ja) * 2017-02-16 2019-12-12 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
US11170580B2 (en) 2017-02-16 2021-11-09 Sony Corporation Information processing device, information processing method, and recording medium
JP7095602B2 (ja) 2017-02-16 2022-07-05 ソニーグループ株式会社 情報処理装置、情報処理方法及び記録媒体
CN107320957A (zh) * 2017-08-21 2017-11-07 网易（杭州）网络有限公司 游戏界面显示方法及装置
WO2020189254A1 (ja) 2019-03-15 2020-09-24 ソニー株式会社 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体
US11720178B2 (en) 2019-03-15 2023-08-08 Sony Group Corporation Information processing device, information processing method, and computer-readable recording medium
JP7039672B1 (ja) 2020-10-29 2022-03-22 ソフトバンク株式会社 制御装置、プログラム、及び制御方法
JP2022072285A (ja) * 2020-10-29 2022-05-17 ソフトバンク株式会社 制御装置、プログラム、及び制御方法

Also Published As

Publication number Publication date
EP3144775B1 (en) 2020-07-08
JPWO2015170520A1 (ja) 2017-04-20
JP6547741B2 (ja) 2019-07-24
CN106255940B (zh) 2019-06-25
KR20170005406A (ko) 2017-01-13
US20170038838A1 (en) 2017-02-09
EP3144775A4 (en) 2018-03-21
KR102391860B1 (ko) 2022-04-29
EP3144775A1 (en) 2017-03-22
CN106255940A (zh) 2016-12-21

Similar Documents

Publication Publication Date Title
WO2015170520A1 (ja) 情報処理システムおよび情報処理方法
US11153431B2 (en) Mobile terminal and method of operating the same
US10416835B2 (en) Three-dimensional user interface for head-mountable display
JP6398987B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20160132189A1 (en) Method of controlling the display of images and electronic device adapted to the same
CN110546601B (zh) 信息处理装置、信息处理方法和程序
KR102197964B1 (ko) 포터블 디바이스 및 그 제어 방법
EP3370102B1 (en) Hmd device and method for controlling same
KR20140115906A (ko) 시선 위치를 디텍트하는 디스플레이 디바이스 및 제어 방법
US20160216792A1 (en) Head mounted display, and control method and control program for head mounted display
US20170139567A1 (en) Entering Unlock Sequences Using Head Movements
JP2018180051A (ja) 電子機器及びその制御方法
CN110998488B (zh) 改进的虚拟对象的激活
JP7495459B2 (ja) 頭部装着型ディスプレイ装置、頭部装着型ディスプレイ装置の制御方法
CN106257394B (zh) 用于头戴显示器的三维用户界面
TWI488070B (zh) 電子裝置控制方法以及使用此電子裝置控制方法的電子裝置
US20240053832A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
US20200143774A1 (en) Information processing device, information processing method, and computer program
KR20160079444A (ko) 디지털 디바이스 및 그 제어 방법
JP6635048B2 (ja) 情報処理装置
CN103677356A (zh) 电子设备
WO2018186004A1 (ja) 電子機器及びその制御方法
KR20200015045A (ko) 가상 입력 툴을 제공하기 위한 전자 장치 및 방법
JP2018180050A (ja) 電子機器及びその制御方法
US11842119B2 (en) Display system that displays virtual object, display device and method of controlling same, and storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15788737

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016517837

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15303650

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20167028996

Country of ref document: KR

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015788737

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015788737

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE