WO2018037641A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2018037641A1
WO2018037641A1 PCT/JP2017/018754 JP2017018754W WO2018037641A1 WO 2018037641 A1 WO2018037641 A1 WO 2018037641A1 JP 2017018754 W JP2017018754 W JP 2017018754W WO 2018037641 A1 WO2018037641 A1 WO 2018037641A1
Authority
WO
WIPO (PCT)
Prior art keywords
option
information processing
user
processing apparatus
presentation
Prior art date
Application number
PCT/JP2017/018754
Other languages
English (en)
French (fr)
Inventor
賢次 杉原
友久 田中
翼 塚原
遼 深澤
茜 矢野
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2018037641A1 publication Critical patent/WO2018037641A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 when the technique described in Patent Document 1 is used, a user performs an operation on a button or the like displayed on the display screen (corresponding to the operation image in Patent Document 1), and thereby a device corresponding to the operation image. (Corresponding to the operation target device in Patent Document 1) can be operated.
  • This disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of realizing a user interface capable of determining an option based on a user's action.
  • an information processing apparatus including a processing unit that changes the above-described option presentation process based on the content of an option determined according to the movement of the user.
  • an information processing method executed by the information processing apparatus which includes a step of changing the option presentation processing based on the content of the option determined according to the movement of the user.
  • the user interface realized by the information processing method according to the present embodiment is, for example, “user movement to a presented option (for example, approach to the option, contact with the option, the option Is a user interface whose choices are determined based on
  • “movement of the user” includes, for example, movement by a user's foot such as walking and movement by a vehicle.
  • the “user movement” is a movement by the user's foot
  • the “user movement” is, for example, an operation that advances one step or more in any of the front, back, left, and right directions, an operation that includes at least movement of both feet, It can be understood as an action that changes the position of the entire body. That is, when the “user movement” is a movement by the user's foot, the “user movement” may be regarded as not including, for example, an operation of moving one foot forward or an operation of reaching out.
  • FIG. 1 is an explanatory diagram for explaining an example of a user interface realized by the information processing method according to the present embodiment.
  • a user wearing a wearable device worn on the head of the user is moving on an arbitrary vehicle (an example of a moving unit) such as a bicycle or an electric standing two-wheeled vehicle.
  • an example of display displayed on the display screen of the wearable device is shown.
  • the wearable device used by being mounted on the user's head is a head mounted display (hereinafter referred to as “HMD”) will be mainly described as an example.
  • the wearable device used by being worn on the user's head according to the present embodiment may be, for example, a glasses-type wearable device (eyewear).
  • the HMD worn by the user may be a transmissive device or a non-transmissive device.
  • the transmissive HMD includes, for example, a half mirror, and is configured to superimpose and display a virtual object on an outside scene that is visible through the half mirror.
  • Such a transmission type HMD may be called an optical transmission type HMD.
  • a display method for realizing the transmissive type any display method capable of realizing the transmissive type, such as a hologram method and a pupil division method, can be adopted in addition to the half mirror method.
  • the non-transmissive HMD is configured to electronically show an outside scenery by displaying an image of the outside scenery imaged by an imaging device on a display screen, for example.
  • Such a non-transmissive HMD may be referred to as a video transmissive HMD.
  • a display format using an optical transmission type HMD or a video transmission type HMD is generally known as augmented reality (Augmented Reality. AR) or mixed reality (Mixed Reality. MR).
  • the non-transmissive HMD may be configured to display a virtual space image on a display screen instead of the real space image, for example.
  • Such a non-transparent HMD display format is generally known as virtual reality (VR).
  • the information processing apparatus according to the present embodiment can be applied to the HMD.
  • the information processing apparatus according to the present embodiment is applied to an HMD, it is assumed that the information processing apparatus is mainly applied to an optical transmission type HMD, but the information processing apparatus according to the present embodiment is of a video transmission type HMD or VR format. It can also be applied to a non-transmissive HMD.
  • S1 and S2 shown in FIG. 1 show examples of options presented to the user.
  • a virtual object corresponding to an option is displayed on the display screen.
  • the virtual object is simply referred to as “object”.
  • the object corresponding to the option includes, for example, an arbitrary object associated with the option such as a two-dimensional icon, a three-dimensional icon, and a gate-shaped object.
  • the object corresponding to the option may be displayed so as to be arranged on the real object, or may be displayed so as to float in the real space.
  • the user can determine the option by moving to the presented option.
  • the movement to the option according to the present embodiment for determining the presented option includes, for example, approach to the option, contact with the option, passage of the option, and the like.
  • the information processing method enables an option to be determined based on the user's action, for example, the option is determined by the user moving to the presented option.
  • a type of NUI a user interface capable of determining options based on user actions
  • the information processing apparatus according to the present embodiment may be, for example, an HMD worn by a user, or an external device of the HMD (for example, a communication device such as a smartphone or a server) Etc.).
  • a communication device such as a smartphone or a server
  • the information processing apparatus changes the option presentation process based on the content of the option determined according to the movement of the user.
  • the above options are determined based on, for example, information related to user movement.
  • the information related to movement according to the present embodiment includes, for example, information related to the position of the user (described later).
  • the information processing apparatus according to the present embodiment determines an option to be presented based on the position of the user indicated by the information regarding the position of the user.
  • the information that can be included in the information related to movement according to the present embodiment is not limited to information related to the position of the user. An example of information that can be included in the information related to movement will be described later.
  • the information processing apparatus identifies the content of options based on, for example, option information regarding options.
  • option information regarding options.
  • the information processing apparatus changes the option presentation processing by controlling the option presentation based on the option information, for example.
  • the option information is data related to options.
  • the option information includes, for example, data indicating an option (for example, an ID indicating an option) and data indicating whether the option is associated with a place.
  • the option information may include object data corresponding to an option such as an icon and data (for example, a program ID) indicating processing associated with the option.
  • the “location where options are linked” is, for example, a position (absolute position) that is specified regardless of the position of the user.
  • the absolute position according to the present embodiment refers to a position uniquely represented by latitude and longitude, for example.
  • the “location” indicates, for example, a position specified regardless of the position of the user.
  • the “position” according to the present embodiment can be regarded as having no spatial extent, unlike a “region” described later. Examples of the “spatial spread” according to the present embodiment include a one-dimensional spread, a two-dimensional spread, and a three-dimensional spread.
  • the “space” according to the present embodiment indicates, for example, a three-dimensional space or a two-dimensional space.
  • the data indicating whether the option according to the present embodiment is associated with a place includes a flag indicating whether the option is associated with a place.
  • the data indicating whether the option is linked to a location includes, for example, data indicating the location where the option is linked.
  • Examples of data indicating a place where options according to the present embodiment are linked include data directly indicating a place by latitude and longitude, or data indirectly indicating a place such as an ID indicating a store. It is done.
  • the option information includes, for example, a storage unit (described later), an external recording medium connected to the information processing apparatus according to the present embodiment, a recording medium included in an external apparatus of the information processing apparatus according to the present embodiment such as a server, and the like. Stored in the recording medium.
  • the information processing apparatus according to the present embodiment performs processing based on option information, for example, by directly reading option information from the recording medium as described above or by acquiring option information via an external device .
  • the information processing apparatus changes the presentation process based on whether or not the option indicated by the option information is associated with the place.
  • the information processing apparatus according to the present embodiment can change the way of presenting the options.
  • the information processing apparatus can present a plurality of options. Further, when presenting a plurality of options, the information processing apparatus according to the present embodiment can present one or both of an option associated with a place and an option not associated with a place.
  • the information processing apparatus specifies the position of the user based on, for example, information on the position of the user (an example of information on movement of the user).
  • information regarding the position of the user according to the present embodiment for example, data indicating the position of the user can be cited.
  • the information related to the position of the user may include one or both of data indicating the user's moving acceleration (described later) and map data.
  • data indicating movement acceleration for example, it is possible to estimate the position of the user.
  • the position of the user is estimated by using, for example, data indicating movement acceleration corresponding to the point in time after the position is specified and map data. can do.
  • the information processing apparatus according to the present embodiment specifies the position of the user based on data indicating the position of the user will be described.
  • the information processing apparatus specifies the position of the user by acquiring data indicating the position of the user, for example.
  • the data indicating the position of the user is obtained from a position sensor such as a GNSS (Global Navigation Satellite System) device (or a GNSS device outside the HMD, which is the same hereinafter) provided in the HMD worn by the user. To be acquired. Further, the data indicating the position of the user may be obtained by a process related to an arbitrary method capable of estimating the position, such as a method using signal strength. The process related to any method capable of estimating the position as described above may be performed by the information processing apparatus according to the present embodiment, or may be performed by an external apparatus of the information processing apparatus according to the present embodiment. May be.
  • GNSS Global Navigation Satellite System
  • the space corresponding to the position of the user is, for example, a space recognized by analyzing a captured image acquired from an imaging device (or an imaging device outside the HMD) provided in the HMD worn by the user.
  • the space corresponding to the user position may be regarded as a space recognized by analyzing a captured image acquired from an imaging device provided at a location corresponding to the user position.
  • the space recognition method corresponding to the user's position may be a combination of different methods.
  • the movement of the user in the virtual reality is not the movement in the real space actually recognized by the user but the virtual movement in the predefined space. Is recognized by the system related to virtual reality. That is, when the display format of the non-transparent HMD is virtual reality, the position of the user in the virtual space is not an absolute position, but a virtual position calculated from a virtual movement in the virtual space. Recognized by such systems. For example, head tracking may be used for estimating the position of the user when the display format of the non-transmissive HMD is virtual reality.
  • the information processing apparatus determines, for example, an option associated with a location corresponding to the identified user position as an option to be presented.
  • examples of the place corresponding to the position of the user include a place included in a predetermined area including the position of the user.
  • the predetermined area may be, for example, a fixed area in which the size and shape are set in advance, or may be an area in which one or both of the size and the shape can be changed based on a user operation or the like. Also good.
  • the information processing apparatus controls the option presentation position and the option presentation timing, for example, as shown in (I) and (II) below.
  • a presentation process corresponding to the determined option is performed.
  • the information processing apparatus is capable of presenting options (first presentation position) based on the recognition result of the space corresponding to the user's position. ).
  • the information processing apparatus performs a presentation process so that the determined option is presented at the determined presentation position.
  • the information processing apparatus dynamically changes the orientation of the object corresponding to the determined option based on one or both of the user's moving direction and the user's line-of-sight direction. May be.
  • the information processing apparatus changes the orientation of the object corresponding to the option so that the option is more easily recognized when the user moves in the traveling direction.
  • the information processing apparatus changes the direction of the object corresponding to the option so as to match the direction of the user's line of sight, for example.
  • the space corresponding to the position of the user corresponds to a space for performing a layout for presenting options (hereinafter sometimes referred to as “layout space”).
  • a space corresponding to the position of the user for example, “a captured image acquired from an imaging device included in the HMD worn by the user (or an imaging device external to the HMD; the same shall apply hereinafter).
  • a space recognized by analyzing the image and “a space recognized by analyzing a captured image acquired from an imaging device provided at a location corresponding to the position of the user” Can be mentioned.
  • a recognition result of the space corresponding to the position of the user a recognition result of an area where an option recognized by analyzing a captured image acquired from the imaging device as described above can be presented, One or both of the recognition results of the areas where the options recognized by analyzing the captured image cannot be presented are listed.
  • the area where the option can be presented and the area where the option cannot be presented are recognized, for example, by detecting an obstacle from which the option cannot be presented from the captured image.
  • the process related to the recognition of the space corresponding to the user's position may be performed by the information processing apparatus according to the present embodiment, or may be performed by the external apparatus of the information processing apparatus according to the present embodiment.
  • the information processing apparatus can present options, for example, in areas other than areas where recognized options can be presented or areas where recognized options cannot be presented. Is determined as the correct presentation position.
  • processing related to the control of the presentation position when the option is linked to the place is not limited to the example shown above.
  • the information processing apparatus may cause the determined option to be presented at the presentation position set for the place where the option is linked.
  • the data indicating the presentation position set for the place where the above options are linked is included in, for example, option information regarding the options linked to the place.
  • the information processing apparatus specifies a presentation position set for a place where options are linked by referring to option information including data indicating the presentation position, for example.
  • the information processing apparatus can further determine the presentation position based on the presentation timing, for example, and can display the determined option at the determined presentation position.
  • an option with an earlier presentation timing may be presented with an option. “Determining a position closer to the user in a possible area as the presentation position”.
  • the information processing apparatus determines the presentation timing (first presentation timing, second presentation timing) of a choice determined based on information related to the movement of the user. decide.
  • the presentation timing according to the present embodiment is, for example, presenting options from a set predetermined time point, such as causing the options to be presented after X [seconds] (X is a positive integer) from when the presentation timing is determined. It is expressed by the time to make it.
  • the information processing apparatus presents the determined option at the determined presentation timing.
  • the information related to the movement of the user includes, for example, one or more of data indicating the moving means of the user, data indicating the moving speed of the user, and data indicating the moving acceleration of the user.
  • the user's moving means is estimated based on, for example, a change in the position indicated by the data indicating the user's position at a predetermined time.
  • the moving speed of the user is calculated from, for example, the moving distance of the user at a predetermined time and the predetermined time.
  • the moving distance of the user at the predetermined time for example, the Euclidean distance between “the user's position at one time” and “the user's position at another time” can be mentioned.
  • the interval between the one time point and the other time point corresponds to the predetermined time.
  • the predetermined time may be a fixed interval set in advance, or may be a variable interval that can be changed based on a user operation or the like.
  • the moving distance of the user may be represented by the value of the counter by updating the value of the counter.
  • the moving acceleration of the user is specified based on data acquired from a sensor that detects a motion such as an acceleration sensor, for example.
  • the user's moving acceleration may be calculated by differentiating the moving speed of the user.
  • the processing related to acquisition of information related to user movement as described above may be performed by the information processing apparatus according to the present embodiment, or may be performed by an external apparatus of the information processing apparatus according to the present embodiment.
  • the method for specifying (or estimating) the moving means of the user and the method (or estimating method) of the moving speed of the user are not limited to the examples shown above.
  • the information processing apparatus includes, for example, a “table (or database) in which a user's moving means and presentation timing are associated” stored in a recording medium, and a “user” stored in the recording medium Or a table (or database) in which the moving acceleration of the user is associated with the presentation timing stored in the recording medium (or database).
  • the presentation timing is determined by referring to.
  • the information processing apparatus for example, “a table (or database) in which a user's moving speed, a user's moving acceleration, and a presentation timing are associated with each other” stored in a recording medium.
  • the presentation timing may be determined by referring to. That is, the information processing apparatus according to the present embodiment can determine the presentation timing based on at least one of the moving speed and the moving acceleration of the user, for example.
  • the information processing apparatus may determine the presentation timing by performing an arbitrary algorithm operation that can obtain the presentation timing based on information related to the movement of the user, for example.
  • the information processing apparatus sets the presentation timing according to the movement speed based on the movement-related information or the movement acceleration speed based on the movement-related information. By setting the presentation timing according to the moving speed or the moving acceleration speed, the information processing apparatus according to the present embodiment can change the presentation timing.
  • the movement speed based on the information on movement for example, the movement speed indicated by the data indicating the movement speed of the user (an example of information on movement) or the data indicating the movement means of the user (an example of information on movement)
  • the moving speed corresponding to the moving means indicated by The moving speed corresponding to the moving means is obtained, for example, by referring to a “table (or database) in which the moving means of the user and the moving speed are associated” stored in the recording medium.
  • the movement acceleration based on the information on movement for example, the movement acceleration indicated by the data indicating the movement acceleration of the user (an example of information on movement), or the data indicating the movement means of the user (an example of information on movement).
  • the moving acceleration corresponding to the moving means shown is mentioned.
  • the movement acceleration corresponding to the movement means is obtained by referring to, for example, a “table (or database) in which the user movement means and the movement acceleration are associated” stored in the recording medium.
  • the information processing apparatus determines the earlier presentation timing, for example, as the moving speed is faster or the moving acceleration is faster. As described above, as the moving speed or the moving acceleration is faster, the earlier presentation timing is determined, thereby allowing the user to more easily recognize the presented option.
  • the example in which the presentation timing is set according to the moving speed or the moving acceleration is not limited to the example shown above.
  • the information processing apparatus determines the presentation timing of options determined based on the information related to the movement of the user, and presents the options determined at the determined presentation timing.
  • processing related to the control of the presentation timing when the option is linked to the place is not limited to the example shown above.
  • the information processing apparatus may present the determined option at a preset presentation timing.
  • the data indicating the preset presentation timing is included, for example, in option information regarding options linked to a place.
  • the information processing apparatus identifies a preset presentation timing by referring to option information including data indicating the presentation timing, for example.
  • presentation control process when the option is associated with the place is not limited to the process described above.
  • the information processing apparatus further performs a process that can be applied even when an option is associated with a place, in the presentation control process described in (1-2) described later. Is possible.
  • FIG. 2 is an explanatory diagram for explaining an example of a process related to the information processing method according to the present embodiment.
  • summary of the presentation control process in the case where it is not tied to is shown.
  • FIG. 2 shows an example in which three options 1 to 3 that are not linked to a place are presented. Further, as shown in FIG. 2, priority may be set for the options.
  • the information processing apparatus determines a reference position for presenting the options based on the position of the user.
  • the information processing apparatus determines the reference position based on the position of the user when a predetermined trigger is detected, for example. For example, the information processing apparatus according to the present embodiment determines the position of the user as the reference position. In addition, the information processing apparatus according to the present embodiment specifies a position based on the user's position, such as “determines a position closest to the user's position among preset positions as a reference position”.
  • the reference position may be determined by any method.
  • the predetermined trigger for example, “a predetermined application is started on a predetermined device”, “an application being executed on the predetermined device is in a predetermined state”, “a user is predetermined "It has become a state of”.
  • Examples of the predetermined device include a device set as a trigger detection target, such as an HMD worn by a user.
  • the predetermined state in the application being executed for example, that the application being executed has been set, such as passing a checkpoint when the training application is being executed, Can be mentioned.
  • the example of the predetermined state in the application being executed is not limited to the example shown above.
  • Examples of the predetermined state of the user include, for example, “the user is in a predetermined place such as in a store”, “an arbitrary vehicle (such as a bicycle, an electric standing motorcycle, and the like) And the like ".
  • the user is at a predetermined location based on, for example, analyzing a position indicated by data indicating the position of the user or a captured image acquired from an imaging device included in the HMD worn by the user. Is done.
  • a vehicle such as a bicycle (an example of a moving unit), for example, by analyzing a captured image or estimating the moving unit of the user.
  • the user's state may be estimated by an arbitrary method capable of estimating the user's state.
  • the processing related to the estimation of the user state may be performed by the information processing apparatus according to the present embodiment, or may be performed by an external apparatus of the information processing apparatus according to the present embodiment.
  • the example of the predetermined state of the user is not limited to the example shown above.
  • the information processing apparatus When the reference position is determined as described above, the information processing apparatus according to the present embodiment causes an option to be presented at the presentation position (second presentation position) corresponding to the determined reference position.
  • the information processing apparatus determines the option to be presented, for example, as shown in (i) below. Further, when the option is not linked to the place, the information processing apparatus according to the present embodiment, for example, as shown in the following (ii) and (iii), each of the option presentation position and the option presentation timing Control.
  • the presentation position of the option the information processing apparatus according to the present embodiment can perform the presentation process so that the option that is not associated with the place is presented at the presentation position based on the reference position.
  • the information processing apparatus can perform a presentation process so that options that are not associated with a place are presented at the determined presentation timing.
  • the information processing apparatus determines options to be presented based on a predetermined trigger, for example.
  • predetermined trigger for example, as described above, “a predetermined application has been started”, “a user has entered a predetermined state”, or the like can be cited.
  • An example of determining an option based on a predetermined trigger is as follows.
  • the information processing apparatus for example, an option that presents an option corresponding to an application when it is detected that the predetermined application is activated. Determine as.
  • the information processing apparatus refers to, for example, an option corresponding to the activated application by referring to a “table (or database) in which the application and the option are associated” stored in the recording medium. Is identified.
  • the information processing apparatus is, for example, that the user is in a store (an example in which the user's state is in a predetermined state). Is detected as an option for presenting an option corresponding to the state in the store.
  • the information processing apparatus refers to a “table (or database) in which user statuses and options are associated with each other” stored in a recording medium so that the information processing apparatus is in a store. Identify the corresponding choice.
  • processing related to the determination of the option to be presented when the option is not linked to a place is not limited to the example shown above.
  • the information processing apparatus may determine all of the options indicated by the option information regarding the options not linked to the place as the options to be presented.
  • the information processing apparatus performs an operation of an arbitrary algorithm such as “determine one or more options randomly from options indicated by option information regarding options not linked to a place”. It is also possible to determine options to be presented by going and selecting options.
  • the size of a region where a recognized option can be presented corresponds to the option. It is determined that it is difficult to present all of the options to the user at once when the size of the object to be performed is smaller than the total area size.
  • the information processing apparatus switches the options to be presented.
  • the information processing apparatus switches and presents options by, for example, rotating and displaying objects corresponding to a plurality of options.
  • the information processing apparatus corresponds to the “plurality of options” by changing an object corresponding to an option displayed on the display screen every time a predetermined time elapses. "Rotating and displaying objects" is realized.
  • the information processing apparatus changes the object corresponding to the option displayed on the display screen when, for example, gaze of the object for rotation by the user is detected, thereby changing the “multiple” “Rotating and displaying an object corresponding to an option” may be realized. It goes without saying that the method of switching the presented options to be presented is not limited to the example shown above.
  • the information processing apparatus may determine the number of options that can be presented, and may determine options to be presented based on the determined number of options.
  • the information processing apparatus determines, for example, options for presenting options equal to or less than the determined number of options.
  • the information processing apparatus according to the present embodiment selects an option that is equal to or less than the number of options determined among the options indicated by the option information related to options that are not tied to a place by performing an arbitrary algorithm operation, Determine the options to present.
  • the information processing apparatus determines the number of options that can be presented based on, for example, the recognition result of the space specified based on the reference position.
  • the space specified based on the reference position corresponds to the layout space.
  • the space specified based on the reference position for example, “a space recognized by analyzing a captured image acquired from an imaging device included in the HMD worn by the user” (when the reference position is the user's position)
  • the space specified based on the reference position is, for example, “a space recognized by analyzing a captured image acquired from an imaging device provided at a location corresponding to the user's position” (for example, the reference position is An example of a space in a case where the position is closest to the user's position among preset positions).
  • a recognition result of the space specified based on the reference position a recognition result of an area where an option recognized by analyzing a captured image acquired from the imaging device as described above can be presented; One or both of the recognition results of the areas where the options recognized by analyzing the captured image cannot be presented are listed.
  • the processing related to the recognition of the space specified based on the reference position may be performed by the information processing apparatus according to the present embodiment, or may be performed by an external apparatus of the information processing apparatus according to the present embodiment.
  • the information processing apparatus corresponds to, for example, the size of an area in which a recognized option can be presented (the size of the combined area when there are a plurality of such areas) corresponding to the option. Determine the number of choices by dividing by the size of the object you want.
  • the information processing apparatus can determine the number of options based on the recognition result of the space specified based on the reference position and information on the movement of the user.
  • the information processing apparatus determines the number of options by adjusting the number of options obtained based on the recognition result of the space specified based on the reference position based on the information related to the movement of the user. For example, the information processing apparatus according to the present embodiment adjusts the number of options to be smaller as the movement speed based on movement information is higher.
  • the information processing apparatus determines a presentation position corresponding to the reference position based on the reference position.
  • the information processing apparatus causes the determined option to be presented at the determined presentation position.
  • the information processing apparatus dynamically changes the orientation of the object corresponding to the determined option based on, for example, one or both of the user's moving direction and the user's line-of-sight direction. It may be changed.
  • the information processing apparatus determines a presentation position where an option can be presented as a presentation position corresponding to the reference position based on the recognition result of the space specified based on the reference position.
  • the recognition result of the space specified based on the reference position for example, as described above, one or both of the recognition result of the area where the option can be presented and the recognition result of the area where the option cannot be presented Is mentioned.
  • the information processing apparatus for example, presents a region that can present a recognized option or a region that excludes a region that cannot present a recognized option as a presentation position corresponding to the reference position. Determine as.
  • processing related to the control of the presentation position when the option is not linked to the place is not limited to the example shown above.
  • the information processing apparatus determines the presentation position corresponding to the reference position based on the priority for the option. It is possible to do.
  • the information processing apparatus when the priority is included in the option information related to the option not associated with the place, the information processing apparatus according to the present embodiment identifies the priority by referring to the option information.
  • the information processing apparatus performs priority calculation by performing an arbitrary algorithm that can estimate the priority for the option, such as estimation of the priority based on the history of selection of the option. May be specified.
  • the presentation position corresponding to the reference position based on the priority for example, “the presentation position of the option having a higher priority is selected, and the movement distance of the user is greater in the area where the option can be presented. “To be a position where it becomes smaller”.
  • the information processing apparatus is based on the recognition result of the space specified based on the reference position and the number of options determined.
  • the presenting position corresponding to the reference position may be determined by determining an interval between options to be presented.
  • the information processing apparatus determines the presentation position corresponding to the reference position so that the determined interval is satisfied.
  • examples of the spacing between options include one or more of a horizontal spacing, a vertical spacing, and a depth spacing.
  • the fact that the determined interval is satisfied means that, for example, the interval between the objects corresponding to the options is equal to or greater than the determined interval.
  • the information processing apparatus determines the presentation timing (third presentation timing) of the determined option based on information related to the movement of the user.
  • the information processing apparatus determines the presentation timing of the determined option, for example, similarly to the processing related to the control of the presentation timing shown in (II) above.
  • the information processing apparatus determines the options to be presented, for example, as shown in (i) above.
  • the information processing apparatus controls the option presentation position and the option presentation timing, for example, as shown in (ii) and (iii) above. .
  • the presentation position of the option the information processing apparatus according to the present embodiment can perform the presentation process so that the option that is not associated with the place is presented at the presentation position based on the reference position.
  • the presentation timing of options the information processing apparatus according to the present embodiment can perform a presentation process so that options that are not associated with a place are presented at the determined presentation timing.
  • presentation control process when the option is not linked to the place is not limited to the process described above.
  • the information processing apparatus performs one or both of the following process (iv) and the following process (v) as the presentation control process when the option is not linked to a place: Is possible.
  • the information processing apparatus determines the option presentation size based on information related to user movement. Then, the information processing apparatus according to the present embodiment performs a presentation process so that options that are not associated with a place are presented in the determined presentation size.
  • the information processing apparatus is stored, for example, in a “table (or database) in which a user's moving means and an option presentation size are associated” stored in a recording medium, or in a recording medium.
  • the option presentation size is determined by referring to the “table (or database) in which the moving speed of the user and the option presentation size are associated with each other”.
  • the information processing apparatus may determine the option presentation size by performing, for example, an arbitrary algorithm that can obtain the option presentation size based on the information related to the movement of the user. Good.
  • the information processing apparatus can further determine the presentation size of options based on the estimation accuracy of the user's position.
  • the estimation accuracy of the user position is determined based on, for example, the type of sensor that acquires the user position data, the user position estimation method, and the like.
  • the information processing apparatus according to the present embodiment is, for example, a table stored in a recording medium that associates “estimation method of a user position data or a user position estimation method and user position data with estimation accuracy”. (Or database) "is used to identify the user's position estimation accuracy. Needless to say, the method for specifying the user position estimation accuracy is not limited to the example shown above.
  • the information processing apparatus determines the option presentation size by adjusting the option presentation size specified based on the user movement information based on the user position estimation accuracy. For example, the information processing apparatus according to the present embodiment adjusts the option presentation size larger as the estimation accuracy of the user's position is lower. When a plurality of user position estimation accuracies are specified, the option presentation size may be adjusted in accordance with the worse estimation accuracy.
  • the information processing apparatus can determine the option size set based on the user operation or the like as the option presentation size.
  • (V) Processing related to change of option presentation position processing related to dynamic layout based on line of sight
  • the information processing apparatus controls the option presentation position by determining the user's attention to the presented option. By controlling the presentation position of the option, the information processing apparatus according to the present embodiment can change the presentation position of the option.
  • the information processing apparatus changes the presentation position corresponding to the reference position so that an option that is not associated with the place determined to be watched by the user approaches the user.
  • the information processing apparatus according to the present embodiment corresponds to the reference position so that the option approaches the user by changing the option determined to be watched by the user to a presentation position where the distance to the user becomes smaller. Change the presentation position. More specifically, the information processing apparatus according to the present embodiment selects the option determined to be watched by the user as a position where the user's moving distance becomes smaller in the area where the option can be presented. To do.
  • the determination of the user's gaze on the presented option is performed, for example, by reflecting data on the user's line of sight in the real space in the virtual space and performing processing in the virtual space.
  • the data relating to the user's line of sight is obtained by processing related to an arbitrary method capable of estimating the user's line of sight, such as a method using a corneal reflection method (pupil corneal reflection method).
  • Processing related to acquisition of data relating to the user's line of sight may be performed by the information processing apparatus according to the present embodiment, or may be performed by an external apparatus of the information processing apparatus according to the present embodiment.
  • the information processing apparatus specifies a position where the user is gazing in the virtual space based on, for example, data on the user's line of sight.
  • the information processing apparatus indicates, for example, “a time during which the specified gaze position in the virtual space is included in the area corresponding to the option in the virtual space” (hereinafter, “gaze time”). )), It is determined whether the user is gazing at the option.
  • the area corresponding to the option in the virtual space may be, for example, a fixed area whose size and shape are set in advance, or one or both of the size and the shape based on a user operation or the like. May be a changeable region.
  • the information processing apparatus determines, for example, whether the user is gazing at an option based on a comparison result between the gaze time and a threshold value related to the set gaze.
  • the information processing apparatus determines that the user is gazing at an option when, for example, the gaze time is equal to or greater than the threshold for gaze (or when the gaze time is greater than the threshold for gaze).
  • the information processing apparatus does not determine that the user is gazing at an option when, for example, the gaze time is smaller than the threshold value regarding gaze (or when the gaze time is less than or equal to the threshold value regarding gaze). .
  • the threshold for gaze according to the present embodiment may be a fixed value set in advance or a variable value that can be changed based on a user operation or the like.
  • the information processing apparatus according to the present embodiment specifies a threshold value for gaze by reading data indicating a threshold value for gaze from a recording medium such as a storage unit (described later), for example.
  • the method of determining whether the user is paying attention to the option is not limited to the example shown above.
  • the information processing apparatus according to the present embodiment may determine that the user is gazing at the option with the longest gazing time.
  • the information processing apparatus may highlight an option determined to be watched by the user.
  • the information processing apparatus determines that the user is gazing by one or more arbitrary methods that can emphasize an object corresponding to an option, such as the example shown below. Highlight the selected option.
  • the example of highlighting the option determined to be watched by the user is not limited to the example shown below.
  • -Increase the brightness value of the object corresponding to the option determined to be watched by the user -Enlarge the characters included in the object corresponding to the option determined to be watched by the user-
  • the object corresponding to the option determined to be blinking is blinked.
  • the object indicating that the user selected the object corresponding to the option determined to be gazing (for example, it is determined that the user is gazing).
  • processing related to the change of the option presentation position is not limited to the example shown above.
  • the information processing apparatus when it is determined that the user is gazing at the presented option when a plurality of options are presented, changes the presentation position of the plurality of options. Also good.
  • the information processing apparatus changes the presentation position of the plurality of options by rotating the plurality of presented options, for example.
  • the information processing apparatus processes, for example, the process indicated by (1-1) above (one or more of the processes indicated by (1-1) above) for the options associated with the place. I do.
  • the information processing apparatus according to the present embodiment for options that are not associated with a place, for example, the process shown in (1-2) above (one or more of the processes shown in (1-2) above) Process).
  • an option is presented as shown in FIG. 1, for example, by performing a presentation control process.
  • the user can determine the option by moving to the presented option.
  • the option is determined based on the user's action that the option is determined by the user moving to the presented option.
  • An experiential NUI that can be determined (a user interface capable of determining an option based on a user action) is realized.
  • the user moves when the user is moving on a vehicle such as a bicycle as in the example illustrated in FIG.
  • a vehicle such as a bicycle
  • the user can determine the option while moving, such as determining the presented option while riding a vehicle such as a bicycle.
  • the effects produced by presenting options by the presentation control process are not limited to the examples shown below.
  • the user can concentrate on the experience of riding (or cycling) without being constrained by operation, as in the case of determining options through an existing user interface such as GUI.
  • the user can enjoy the experience of riding a bicycle (or cycling). Since the choice is determined by the movement of the user, a more flexible service can be provided to the user.
  • the options are determined by the movement of the user, it is possible to more easily reflect the user's intention that can change depending on the situation.
  • the information processing apparatus performs one or both of the following (2) determination process and (3) execution control process described below as a process related to the information processing method according to the present embodiment. It is possible to do further.
  • the information processing apparatus performs determination determination for the presented option based on the user position.
  • the information processing apparatus determines, for example, whether the user has moved to the option presentation position based on the user's position.
  • the information processing apparatus according to the present embodiment determines that the presented option has been determined when it is determined that the user has moved to the option presentation position.
  • the information processing apparatus determines, for example, one or more of the approach to the presented option, the contact with the presented option, and the passage of the presented option, so that the user can select the option. It is determined whether it has moved to the presentation position.
  • the information processing apparatus for example, when the user determines that one of approach to the presented option, contact with the presented option, and passage of the presented option has been performed. It determines with having moved to the presentation position of an option.
  • the approach to the presented option is determined, for example, by determining whether or not the user's position is included in a predetermined area including the presenting position of the option.
  • the predetermined area including the option presentation position may be, for example, a fixed area in which a size and a shape are set in advance, or one of the size and the shape based on a user operation or the like. Both may be changeable areas.
  • the contact with the presented option is determined by determining whether or not the position of the user matches the presenting position of the option, for example.
  • the pass of the presented option is determined, for example, by determining whether or not the user's position is included in a predetermined area including the present position of the option, and the determination result includes the user's position in the predetermined area. The determination is made by determining whether the position of the user changes from the determination result to a determination result not included in the predetermined area.
  • the determination methods for approaching the presented option, contacting the presented option, and passing the presented option are not limited to the examples described above.
  • the information processing apparatus according to the present embodiment can make a determination using an analysis result of a captured image acquired from an imaging device included in an HMD worn by the user.
  • the information processing apparatus indicates “virtual positional relationship between a user in real space and a virtual object placed in the virtual space in virtual space” (hereinafter, “virtual positional relationship”). .) May change when the option is determined.
  • virtual positional relationship for example, as described above, a captured image acquired from an imaging device (or an imaging device outside the HMD) provided in the HMD worn by the user is analyzed. The space recognized by this is mentioned.
  • the information processing apparatus determines, for example, whether or not a change in the virtual positional relationship has occurred based on “information indicating the virtual positional relationship” (an example of information related to movement).
  • the information processing apparatus for example, when one or more of approach to the presented option, contact with the presented option, and passage of the presented option is determined in the virtual space It is determined that the virtual positional relationship has changed.
  • the option is determined by moving the user to the presented option. Therefore, by performing the determination process according to the present embodiment, the user can perform selection of the presented option and determination of the presented option by a series of operations of moving to the option. .
  • the information processing apparatus may further determine that the user has moved to the option presentation position when a predetermined condition is satisfied.
  • the predetermined condition for example, the user is paying attention to an option to be determined (or having been paying attention to the option), or the moving speed of the user is equal to or higher than a set threshold value.
  • the predetermined condition relating to the determination process is not limited to the example shown above.
  • the information processing apparatus performs the determination related to the selection of the presented option and the determination related to the determination of the displayed option based on a series of user actions of moving to the option. This can be done in stages.
  • the information processing apparatus performs, for example, determination of approach to the presented option as determination related to selection of the presented option.
  • the information processing apparatus according to the present embodiment determines that the presented option has been selected, for example, when the user's position is included in a predetermined area including the option presenting position.
  • the information processing apparatus performs determination of passing of the presented option or determination of contact with the presented option as determination regarding determination of the presented option.
  • the information processing apparatus for example, “when it is determined that the presented option has been selected and the passage of the presented option is determined” or “presented option” If it is determined that the contact with the presented option is determined ", it is determined that the presented option has been determined.
  • the information processing apparatus when the determination related to the selection of the presented option and the determination related to the determination of the displayed option are performed in stages, the information processing apparatus according to the present embodiment is presented, for example, The method of presenting options may be changed based on the result of determination relating to selection of the selected option.
  • the information processing apparatus highlights an option determined to be selected, for example.
  • the information processing apparatus can select an option determined to be selected by one or more arbitrary methods that can emphasize an object corresponding to the option, for example, as shown in the following example. Highlight it. Needless to say, the example of highlighting the option determined to be selected is not limited to the example shown below. -Increase the brightness value of the object corresponding to the option determined to be selected-Enlarge the characters included in the object corresponding to the option determined to be selected-Blink the object corresponding to the option determined to be selected -Add an object indicating that the object corresponding to the option determined to be selected is selected (for example, an object surrounding the object corresponding to the option determined to be selected).
  • Execution control process The information processing apparatus according to the present embodiment controls execution of a process corresponding to the determined option.
  • the information processing apparatus according to the present embodiment When the information processing apparatus according to the present embodiment performs the process (2) (determination process), the information processing apparatus according to the present embodiment corresponds to the option determined by the process (2) (determination process). Control the execution of processing. In addition, when the same process as the process (2) (determination process) is performed in the external apparatus, the information processing apparatus according to the present embodiment controls the execution of the process corresponding to the option determined in the external apparatus. To do.
  • the information processing apparatus is, for example, “execution control processing according to the first example shown in (4-1) below” or “first example shown in (4-1) below”.
  • execution control process and the execution control process according to the second example shown in (4-2) below are performed.
  • the information processing apparatus causes a process corresponding to the determined option to be executed.
  • the information processing apparatus for example, selects an option determined by referring to a “table (or database) in which an option and an executed process are associated with each other” stored in a recording medium. Specify the process corresponding to. Then, the information processing apparatus according to the present embodiment executes the specified process.
  • the method of executing the process corresponding to the determined option is not limited to the example shown above.
  • the information processing apparatus determines, for example, whether a predetermined stop condition is satisfied, and stops execution of a process corresponding to the option being executed when it is determined that the predetermined stop condition is satisfied. .
  • the stop condition for example, “after execution of processing corresponding to an option, it is determined that the user has moved to the position where the option is presented”, “upward, “A user's predetermined gesture such as a shake has been detected”, “A predetermined voice has been detected”, “A user interface for canceling such as a cancel button has been operated”, “A user has a bicycle etc.
  • Examples of the user interface for canceling include a user interface in which a cancel button is always displayed on the display screen, a user interface in which a physical button is provided in the HMD, and the like.
  • the user interface for canceling may be a “user interface in which a cancel button or the like is displayed on the display screen for a set time after the choices are determined”.
  • a cancel button or the like displayed on the display screen is operated by any method that allows the user to select and determine, such as a pressing operation, voice, gesture, and line of sight.
  • the example of the stop condition according to the present embodiment is not limited to the example shown above.
  • FIG. 3 is a flowchart for explaining an example of processing related to the information processing method according to the present embodiment.
  • the information processing apparatus detects the current position of the user (S100).
  • the information processing apparatus specifies the position of the user by acquiring data indicating the position of the user.
  • the information processing apparatus estimates the moving means of the user (S102).
  • the user's moving means is estimated based on, for example, a change in a position indicated by data indicating the user's position at a predetermined time.
  • the information processing apparatus recognizes a layout space (a space corresponding to the user's position or a space corresponding to the reference position) (S104). For example, the information processing apparatus according to the present embodiment recognizes a layout space by analyzing a captured image acquired from an imaging device included in an HMD worn by a user.
  • the information processing apparatus presents options (S106).
  • the information processing apparatus presents one or more options by performing the process (1) (presentation control process).
  • the information processing apparatus performs a selection determination process for the presented option (S108).
  • FIG. 4 is a flowchart for explaining an example of processing related to the information processing method according to the present embodiment, and shows an example of processing in step S108 shown in FIG.
  • the information processing apparatus determines whether or not a selection start condition is satisfied (S200).
  • step S200 the information processing apparatus according to the present embodiment determines, for example, whether or not the position of the user is within a certain distance from the presentation position.
  • the process for determining whether or not the user's position is within a certain distance from the presentation position corresponds to an example of a process for determining approach to the presented option. Needless to say, the example of the process of step S200 is not limited to the example shown above.
  • the information processing apparatus determines whether or not the user is traveling on another route (S202). For example, the information processing apparatus according to the present embodiment determines whether or not the user is traveling on another route based on data indicating the position of the user.
  • step S202 If it is not determined in step S202 that the user is traveling on another route, the information processing apparatus according to the present embodiment repeats the processing from step S200.
  • the information processing apparatus performs processing for canceling the presentation of the option (S204). For example, the information processing apparatus according to the present embodiment cancels the presentation of the option by not displaying an object corresponding to the presented option. Further, the information processing apparatus according to the present embodiment may cause the object corresponding to the presented option to be faded out.
  • step S200 determines whether the selection start condition is satisfied.
  • step S206 the information processing apparatus according to the present embodiment determines, for example, whether or not the user has passed the option.
  • the process for determining whether or not the user has passed the option corresponds to an example of a process for determining whether the presented option has been passed. Needless to say, the example of the process in step S206 is not limited to the example shown above.
  • step S206 determines whether or not the user is traveling on another route, similarly to step S202 (S208).
  • step S208 If it is determined in step S208 that the user is traveling on another route, the information processing apparatus according to the present embodiment performs the processing from step S204.
  • the information processing apparatus sets the focus for the option (target) determined to satisfy the selection start condition in step S200. (S210) and focus emphasis processing is performed (S212).
  • the information processing apparatus is capable of emphasizing the object corresponding to the option, such as increasing the luminance value of the object corresponding to the option determined to be selected.
  • the process according to the method is performed as a focus emphasis process.
  • step S206 determines that the option (target) determined to satisfy the selection start condition in step S200 has been determined ( S214).
  • step S108 shown in FIG. 3 for example, the processing shown in FIG. 4 is performed.
  • step S108 shown in FIG. 3 is not restricted to the example shown in FIG.
  • the information processing apparatus may not perform the processes shown in steps S210 and S212 shown in FIG.
  • the information processing apparatus can further perform, for example, the above-described processing for determining the number of options that can be presented and the above-described processing for switching the options to be presented.
  • the information processing apparatus performs, for example, the processes illustrated in FIGS. 3 and 4 as the processes related to the information processing method according to the present embodiment. Needless to say, the example of the process related to the information processing method according to the present embodiment is not limited to the example illustrated in FIGS. 3 and 4.
  • FIG. 5 is an explanatory diagram for explaining an example of a use case to which the information processing method according to this embodiment is applied.
  • FIG. 5 shows a use case in which options are determined by the direction in which the user has advanced through the intersection.
  • FIG. 5 shows an example in which options are presented to a user wearing a glasses-type wearable device by displaying an icon corresponding to the option on the display screen of the glasses-type wearable device. ing.
  • the information processing apparatus sets the user's destination.
  • the information processing apparatus sets the user's destination based on, for example, an operation for specifying the user's destination or information indicating the user's schedule.
  • the information processing apparatus sets the user's destination by acquiring information indicating the user's schedule from, for example, a server that manages information indicating the user's schedule and specifying the schedule.
  • the information processing apparatus specifies the current position of the user by acquiring data indicating the position of the user from a GNSS device or the like.
  • the information processing apparatus estimates the moving means of the user based on data acquired from a sensor that detects a change in position indicated by data indicating the position of the user or a motion such as an acceleration sensor. In the example illustrated in FIG. 5, it is assumed that the information processing apparatus according to the present embodiment has estimated that the user's moving means is walking.
  • the information processing apparatus recognizes the layout space at the intersection. Then, the information processing apparatus according to the present embodiment determines a presentation position where an option or the like can be presented by recognizing an obstacle or the like, and presents the option at the determined presentation position.
  • the information processing apparatus according to the present embodiment indicates that “the main road priority option S1 indicating that the route is to be guided to the destination by the route passing through the main road, and the time route is to be guided to the destination. An example in which the time priority option S2 is displayed on the display screen of the glasses-type wearable device is shown.
  • the information processing apparatus When the user turns left at the intersection and the user's position is included in the area corresponding to the time priority option S2 (time priority selection area shown in FIG. 5), the information processing apparatus according to the present embodiment The option S2 is determined.
  • the information processing apparatus cancels the presentation of the option.
  • the information processing apparatus may cancel the presentation of the option by determining that the user is moving on another route.
  • a use case in which options are determined according to the direction in which the user has advanced through the intersection is realized.
  • the process related to the use case in which options are determined by the direction in which the user has advanced through the intersection is not limited to the example shown above.
  • the following use cases are realized by presenting hierarchical options and determining options.
  • the information processing apparatus when an option indicating entering a restaurant is presented, if it is determined that the user has passed the option, the information processing apparatus according to the present embodiment places a non-smoking seat at a position where the user can touch the hand. And an option indicating a smoking seat are presented.
  • the information processing apparatus determines an option indicating a non-smoking seat.
  • the information processing apparatus indicates that the user has selected the non-smoking seat by an arbitrary method such as a visual method using characters or an audio method using sound. To the restaurant clerk (an example of an execution control process). Therefore, it is realized that the restaurant clerk guides the user to the non-smoking seat without confirming again with the customer user.
  • the information processing apparatus determines an option indicating a smoking seat.
  • the information processing apparatus indicates that the user has selected the smoking seat by an arbitrary method such as a visual method using characters or an auditory method using sound. To the restaurant clerk (an example of an execution control process). Therefore, it is realized that the restaurant clerk guides the user to the smoking seat without confirming again with the customer user.
  • the information processing apparatus when it is not detected that the user has touched an option indicating a non-smoking seat and that the user has touched an option indicating a smoking seat, the information processing apparatus according to the present embodiment includes the option indicating the non-smoking seat and the smoking seat. Do not decide what options to show.
  • the information processing apparatus notifies the restaurant clerk that the user has not selected a seat by an arbitrary method such as a visual method using characters or an auditory method using voice (execution). An example of control processing). Therefore, it is realized that the restaurant clerk guides the user to the non-smoking seat or the smoking seat without confirming again with the customer user.
  • the presentation of the option indicating the non-smoking seat and the option indicating the smoking seat is canceled.
  • a use case in which a customer can select a seat in a restaurant by presenting hierarchical options and determining options (or a store clerk confirms again with a customer in a restaurant) Use case that can be guided to the seat without doing).
  • the use cases where the hierarchical choices are presented and the choices are determined, and the processes related to the use cases are not limited to the examples shown above.
  • FIG. 6 is a block diagram illustrating an example of the configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes a display unit 102 and a control unit 104, for example.
  • the information processing apparatus 100 is operated by, for example, a ROM (Read Only Memory. Not shown), a RAM (Random Access Memory. Not shown), a storage unit (not shown), or a user of the information processing apparatus 100.
  • a possible operation unit (not shown), a communication unit (not shown) for communicating with an external device, and the like may be provided.
  • the information processing apparatus 100 connects the above constituent elements by, for example, a bus as a data transmission path.
  • the information processing apparatus 100 is driven by power supplied from an internal power supply (not shown) such as a battery or power supplied from an external power supply of the information processing apparatus 100.
  • a ROM (not shown) stores control data such as a program used by the control unit 104 and calculation parameters.
  • a RAM (not shown) temporarily stores a program executed by the control unit 104.
  • a storage unit is a storage unit included in the information processing apparatus 100.
  • a “table (or database) in which a user's moving unit and presentation timing are associated” is included in this embodiment. Data related to the information processing method and various data such as various applications are stored.
  • the storage unit include a magnetic recording medium such as a hard disk, and a nonvolatile memory such as a flash memory. Further, the storage unit (not shown) may be detachable from the information processing apparatus 100.
  • an operation input device to be described later can be cited.
  • a communication part (not shown), the communication interface mentioned later is mentioned.
  • FIG. 7 is an explanatory diagram illustrating an example of a hardware configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes, for example, an MPU 150, a ROM 152, a RAM 154, a recording medium 156, an input / output interface 158, an operation input device 160, a display device 162, a communication interface 164, and a sensor group 166.
  • the information processing apparatus 100 connects each component with a bus 168 as a data transmission path, for example.
  • the MPU 150 includes, for example, one or more processors configured with arithmetic circuits such as an MPU (Micro Processing Unit) and various processing circuits, and functions as the control unit 104 that controls the entire information processing apparatus 100. .
  • processors configured with arithmetic circuits such as an MPU (Micro Processing Unit) and various processing circuits, and functions as the control unit 104 that controls the entire information processing apparatus 100. .
  • MPU Micro Processing Unit
  • the MPU 150 serves as, for example, a processing unit 110 described later in the information processing apparatus 100.
  • the MPU 150 estimates, for example, the posture of the user's head.
  • One or more processes related to the user may be performed, such as a process for performing the process, a process for estimating the user's line of sight, and a process for recognizing the space where the user is present.
  • processing unit 110 may be configured with a dedicated (or general-purpose) circuit (for example, a processor separate from the MPU 150) capable of realizing the processing of the processing unit 110.
  • a dedicated (or general-purpose) circuit for example, a processor separate from the MPU 150
  • the ROM 152 stores programs used by the MPU 150, control data such as calculation parameters, and the like.
  • the RAM 154 temporarily stores a program executed by the MPU 150, for example.
  • the recording medium 156 functions as a storage unit (not shown), and for example, an information processing method according to the present embodiment, such as “a table (or database) in which a user's moving means and presentation timing are associated”. And various data such as various applications are stored.
  • examples of the recording medium 156 include a magnetic recording medium such as a hard disk and a non-volatile memory such as a flash memory. Further, the recording medium 156 may be detachable from the information processing apparatus 100.
  • the input / output interface 158 connects, for example, the operation input device 160 and the display device 162.
  • the operation input device 160 functions as an operation unit (not shown), and the display device 162 functions as the display unit 102.
  • examples of the input / output interface 158 include a USB (Universal Serial Bus) terminal, a DVI (Digital Visual Interface) terminal, an HDMI (High-Definition Multimedia Interface) (registered trademark) terminal, and various processing circuits. .
  • the operation input device 160 is provided on the information processing apparatus 100, for example, and is connected to the input / output interface 158 inside the information processing apparatus 100.
  • Examples of the operation input device 160 include a button, a direction key, a rotary selector such as a jog dial, or a combination thereof.
  • the display device 162 is provided on the information processing apparatus 100, for example, and is connected to the input / output interface 158 inside the information processing apparatus 100.
  • Examples of the display device 162 include a liquid crystal display (Liquid Crystal Display), an organic EL display (Organic Electro-Luminescence Display, or an OLED display (Organic Light Emitting Diode Display)), and the like.
  • the information processing apparatus 100 is a device that is used by being worn on the user's head, such as an HMD or a glasses-type wearable device (eyewear)
  • the information processing apparatus 100 is provided for each of the user's right eye and left eye.
  • a display device 162 may be provided.
  • the input / output interface 158 can be connected to an external device such as an operation input device (for example, a keyboard or a mouse) external to the information processing apparatus 100 or an external display device.
  • the display device 162 may be a device capable of display and user operation, such as a touch panel.
  • the communication interface 164 is a communication unit included in the information processing apparatus 100, and is a communication unit (not shown) for performing wireless or wired communication with an external device such as a server via a network (or directly). )).
  • the communication interface 164 for example, a communication antenna and an RF (Radio Frequency) circuit (wireless communication), an IEEE 802.15.1 port and a transmission / reception circuit (wireless communication), an IEEE 802.11 port and a transmission / reception circuit (wireless communication). ), Or a LAN (Local Area Network) terminal and a transmission / reception circuit (wired communication).
  • the sensor group 166 is one or more sensors included in the information processing apparatus 100.
  • sensors constituting the sensor group 166 include “position sensors such as GNSS devices”, “posture detection sensors such as 9 DOF (9 Degrees of Freedom) sensors”, “imaging devices for gaze detection, and imaging for space recognition” 1 or 2 or more of “1 or 2 or more imaging devices such as a device and an imaging device for posture detection”.
  • position sensors such as GNSS devices
  • posture detection sensors such as 9 DOF (9 Degrees of Freedom) sensors
  • imaging devices for gaze detection and imaging for space recognition
  • 1 or 2 or more of “1 or 2 or more imaging devices such as a device and an imaging device for posture detection”.
  • the examples of the sensors constituting the sensor group 166 are not limited to the examples described above.
  • the information processing apparatus 100 performs processing related to the information processing method according to the present embodiment, for example, with the configuration illustrated in FIG. Note that the hardware configuration of the information processing apparatus 100 according to the present embodiment is not limited to the configuration illustrated in FIG.
  • the information processing apparatus 100 when the information processing apparatus 100 is an external apparatus of a device worn by a user such as an HMD (for example, a communication apparatus such as a smartphone or a computer such as a server)” or “in the information processing apparatus 100 When the configuration is such that an external display device is connected, the information processing apparatus 100 may not include the display device 162.
  • an HMD for example, a communication apparatus such as a smartphone or a computer such as a server
  • the information processing apparatus 100 when the information processing apparatus 100 is an external apparatus (for example, a communication apparatus such as a smartphone or a computer such as a server) of a device worn by a user such as an HMD” or “information processing apparatus When an external sensor group is connected to 100 ”, the information processing apparatus 100 may not include the sensor group 166.
  • an external apparatus for example, a communication apparatus such as a smartphone or a computer such as a server
  • the information processing apparatus 100 may not include the sensor group 166.
  • the information processing apparatus 100 may not include the communication interface 164 when communicating with an external apparatus or the like via a connected external communication device.
  • the communication interface 164 may be configured to be able to communicate with one or more external devices or the like by a plurality of communication methods.
  • the information processing apparatus 100 may be configured not to include one or both of the recording medium 156 and the operation input device 160, for example.
  • the information processing apparatus 100 can take a configuration according to an application example of the information processing apparatus 100 described later, for example.
  • a part or all of the configuration (or the configuration according to the modification) illustrated in FIG. 7 may be realized by one or two or more ICs (Integrated Circuits).
  • the display unit 102 is a display unit included in the information processing apparatus 100, and displays various screens such as a screen on which objects corresponding to options as shown in FIG. 1 are displayed on the display screen.
  • examples of the display unit 102 include a liquid crystal display and an organic EL display.
  • the display unit 102 is provided for each of the user's right eye and left eye. It may be provided.
  • the control unit 104 is configured by, for example, an MPU and plays a role of controlling the entire information processing apparatus 100.
  • the control unit 104 includes, for example, a processing unit 110 and plays a role of leading the processing related to the information processing method according to the present embodiment.
  • the processing unit 110 performs processing related to the information processing method according to the present embodiment.
  • the information processing apparatus according to the present embodiment performs processing related to the information processing method according to the present embodiment. It is possible to have a configuration according to the method of carving.
  • the information processing apparatus according to the present embodiment includes a “presentation control unit that performs the process (presentation control process) shown in (1) above, a determination unit that performs the process (determination process) above (2), An execution control unit that performs the process (3) (execution control process).
  • the information processing apparatus according to the present embodiment may include, for example, an image processing unit that processes a captured image, a state estimation unit that performs processing for estimating a user's state, and the like.
  • the processing unit 110 plays a role of leading the processing related to the information processing method according to the present embodiment.
  • the processing unit 110 performs the process (presentation control process) shown in (1) above, and controls the presentation of options based on the option information.
  • processing unit 110 may further perform one or both of the process (2) (determination process) and the process (3) (execution control process).
  • the information processing apparatus 100 performs processing related to the information processing method according to the present embodiment, for example, with the configuration shown in FIG. Therefore, the information processing apparatus 100 can realize a user interface capable of determining an option based on a user's operation, for example, with the configuration illustrated in FIG.
  • the information processing apparatus 100 can exhibit the effects exhibited by performing the processing related to the information processing method according to the present embodiment as described above.
  • the information processing apparatus can include the processing unit 110 illustrated in FIG. 6 separately from the control unit 104 (for example, realized by another processing circuit).
  • the processing unit 110 may be realized by a plurality of processing circuits, and each function may be performed by a plurality of processing circuits in a distributed manner.
  • the configuration for realizing the processing related to the information processing method according to the present embodiment is not limited to the configuration illustrated in FIG. 6, and takes a configuration according to the method of dividing the processing according to the information processing method according to the present embodiment. It is possible.
  • the information processing apparatus according to the present embodiment is an external apparatus (for example, a communication apparatus such as a smartphone or a computer such as a server) of a device worn by a user such as an HMD” or “book When the configuration is such that an external display device is connected to the information processing apparatus according to the embodiment ”, the information processing apparatus according to the present embodiment may not include the display unit 102.
  • an external apparatus for example, a communication apparatus such as a smartphone or a computer such as a server
  • the information processing apparatus according to the present embodiment may not include the display unit 102.
  • the information processing apparatus may further include other components such as a communication unit (not shown).
  • the information processing apparatus has been described as the present embodiment, but the present embodiment is not limited to such a form.
  • this embodiment can be used by a user such as a “computer (PC) such as a personal computer (PC) or a server”, “HMD”, “eyewear type wearable device”, “clock type device, bracelet type device” Books such as “Various wearable devices worn on the body”, “Communication devices such as smartphones”, “Tablet devices”, “Game machines”, “Moving objects such as bicycles, automobiles, and electric motorcycles”
  • PC computer
  • HMD headwear type wearable device
  • clock type device bracelet type device
  • Books such as “Various wearable devices worn on the body”
  • “Communication devices such as smartphones”, “Tablet devices”, “Game machines”, “Moving objects such as bicycles, automobiles, and electric motorcycles”
  • the present invention can be applied to various devices capable of performing processing related to the information processing method according to the embodiment.
  • the present embodiment can be applied to a processing IC that can be incorporated in the above-described device, for example.
  • the information processing apparatus may be applied to a processing system that is premised on connection to a network (or communication between apparatuses), such as cloud computing.
  • a processing system in which processing according to the information processing method according to the present embodiment is performed for example, “a part of processing according to the information processing method according to the present embodiment is performed by one apparatus configuring the processing system.
  • a system in which processing other than the part of the processing according to the information processing method according to the present embodiment is performed by another device that configures the processing system.
  • Program according to this embodiment A program for causing a computer system to function as the information processing apparatus according to the present embodiment (for example, “process shown in (1) (presentation control process)”, “process shown in (1) (presentation control process), And a program capable of executing a process according to the information processing method according to the present embodiment, such as “one or both of the process (2) (determination process) and the process (3) (execution control process)”. ) Is executed by a processor or the like in the computer system, thereby realizing a user interface capable of determining an option based on a user's operation.
  • the computer system according to the present embodiment includes a single computer or a plurality of computers. A series of processing relating to the information processing method according to the present embodiment is performed by the computer system according to the present embodiment.
  • a program for causing a computer system to function as the information processing apparatus according to the present embodiment is executed by a processor or the like in the computer system, thereby performing the above-described processing according to the information processing method according to the present embodiment. Effects can be achieved.
  • a program for causing a computer system to function as the information processing apparatus according to the present embodiment is provided.
  • the present embodiment further stores the program.
  • a recording medium can also be provided.
  • An information processing apparatus comprising: a processing unit that changes a process for presenting the option based on the content of the option determined according to the movement of the user.
  • a processing unit that changes a process for presenting the option based on the content of the option determined according to the movement of the user.
  • the information processing apparatus according to (1) wherein the option is determined based on information related to movement of the user.
  • the processing unit changes the presentation process based on whether the option is associated with a place.
  • the information on the movement includes information on the position of the user, The said process part determines the option shown based on the said user's position when the said option is tied with the place, The said presentation process corresponding to the determined said option is performed.
  • Information processing device comprising: a processing unit that changes a process for presenting the option based on the content of the option determined according to the movement of the user.
  • the processor is Based on a recognition result of a space corresponding to the user's position, a first presentation position capable of presenting the option linked to a place is determined, The information processing apparatus according to (4), wherein the presentation process is performed so that the decided option is presented at the decided first presentation position.
  • the information on the movement includes at least one of the moving speed of the user and the moving acceleration of the user, The information processing apparatus according to (5), wherein the processing unit changes the presentation process of the determined option based on at least one of the movement speed and the movement acceleration.
  • the processor is As the moving speed is faster or the moving acceleration is faster, the first presentation timing at which the determined option is presented is set earlier, The information processing apparatus according to (6), wherein the presentation processing of the determined option is performed at the set first presentation timing.
  • the processing unit determines a second presentation timing of the determined option based on the information on the movement, The information processing apparatus according to (4), wherein the presentation process of the decided option is performed at the decided second presentation timing.
  • the information on the movement includes information on the position of the user, When the option is not associated with a place, the processing unit is configured so that the option not associated with a place is presented at a second presentation position based on a reference position corresponding to the position of the user.
  • the information processing apparatus which performs a presentation process. (10) The processing unit determines a presentation position where the option can be presented as the second presentation position based on a recognition result of a space specified based on the reference position, as described in (9). Information processing device. (11) The information processing apparatus according to (9) or (10), wherein the processing unit further determines the second presentation position based on a priority for the option that is not associated with a place. (12) The information processing apparatus according to any one of (9) to (11), wherein the processing unit determines the number of options that can be presented based on a recognition result of a space specified based on the reference position. .
  • the information processing apparatus determines an interval between the options that are not associated with a presented location based on the recognition result of the space and the determined number of options.
  • the processor is Determining a third presentation timing of the option not linked to a location based on the information on the movement; The information processing apparatus according to any one of (9) to (13), wherein the presentation process is performed so that the option that is not associated with a place is presented at the determined third presentation timing.
  • the processing unit determines a presentation size of the option that is not tied to a place based on the information on the movement, The information processing apparatus according to any one of (9) to (14), wherein the presentation process is performed so that the option that is not associated with a place is presented at the determined presentation size.
  • the processing unit controls the second presentation position by determining the user's gaze on the presented option that is not associated with a place, and any one of (9) to (15) The information processing apparatus described in 1.
  • the information on the movement includes information indicating a virtual positional relationship between the user in the real space and a virtual object arranged in the virtual space in the virtual space,
  • the information processing apparatus according to any one of (2) to (17), wherein the processing unit performs determination determination on an option when the virtual positional relationship changes.
  • An information processing method executed by an information processing apparatus the method including a step of changing the option presentation process based on the content of an option determined according to a user's movement.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ユーザの移動に応じて決定される選択肢の内容に基づいて、前記選択肢の提示処理を変更する処理部を備える、情報処理装置が、提供される。

Description

情報処理装置、情報処理方法、およびプログラム
 本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
 表示画面に表示された操作画像に対する操作によって、操作対象機器の操作を可能とする技術が開発されている。上記技術としては、例えば下記の特許文献1に記載の技術が挙げられる。
特開2011-209965号公報
 例えば特許文献1に記載の技術が用いられる場合、ユーザは、表示画面に表示されたボタンなど(特許文献1における操作画像に該当する。)に対する操作を行うことによって、当該操作画像に対応する機器(特許文献1における操作対象機器に該当する。)を操作することが可能である。
 しかしながら、ユーザが表示画面に表示されたボタンなどに対する操作を行うユーザインタフェースでは、ユーザは、表示画面に表示されたボタンなどを意図的に操作する必要がある。そのため、ユーザにとってより自然で直感的な動作で操作を行うことが可能なユーザインタフェースが望まれている。
 本開示では、ユーザの動作に基づく選択肢の決定が可能なユーザインタフェースを実現することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
 本開示によれば、ユーザの移動に応じて決定される選択肢の内容に基づいて、上記選択肢の提示処理を変更する処理部を備える、情報処理装置が、提供される。
 また、本開示によれば、ユーザの移動に応じて決定される選択肢の内容に基づいて、上記選択肢の提示処理を変更するステップを有する、情報処理装置により実行される情報処理方法が、提供される。
 また、本開示によれば、ユーザの移動に応じて決定される選択肢の内容に基づいて、上記選択肢の提示処理を変更する機能を、コンピュータに実現させるためのプログラムが、提供される。
 本開示によれば、ユーザの動作に基づく選択肢の決定が可能なユーザインタフェースを実現することができる。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
本実施形態に係る情報処理方法により実現されるユーザインタフェースの一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための流れ図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための流れ図である。 本実施形態に係る情報処理方法が適用されるユースケースの一例を説明するための説明図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 また、以下では、下記に示す順序で説明を行う。
  1.本実施形態に係る情報処理方法
  2.本実施形態に係る情報処理装置
  3.本実施形態に係るプログラム
(本実施形態に係る情報処理方法)
 まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げる。
[1]本実施形態に係る情報処理方法の概要
 本実施形態に係る情報処理方法により、メニュー表示によるGUI(Graphical User Interface)のような既存のユーザインタフェースではなく、体験型のNUI(Natural User Interface)を実現する。
 より具体的には、本実施形態に係る情報処理方法により実現されるユーザインタフェースは、例えば“提示された選択肢へのユーザの移動(例えば、当該選択肢への接近、当該選択肢への接触、当該選択肢の通過)に基づき、選択肢が決定されるユーザインタフェース”である。ここで、本実施形態において“ユーザの移動”には、例えば、歩行などのユーザの足による移動や、乗り物での移動が含まれる。また、“ユーザの移動”がユーザの足による移動である場合、“ユーザの移動”は、例えば、前後左右のいずれかの方向に一歩以上進む動作、少なくとも両足の移動を含む動作、あるいはユーザの体全体の位置を変更する動作と捉えることができる。すなわち、“ユーザの移動”がユーザの足による移動である場合、“ユーザの移動”には、例えば、片足を前に出す動作や手を延ばす動作が含まれないものとみなされてもよい。
 図1は、本実施形態に係る情報処理方法により実現されるユーザインタフェースの一例を説明するための説明図である。
 図1は、例えばユーザの頭部に装着して用いられるウェアラブル装置を頭部に装着しているユーザが、自転車、電動立ち乗り二輪車などの任意の乗り物(移動手段の一例)で移動している場合に、当該ウェアラブル装置の表示画面に表示される表示の一例を示している。以下では、ユーザの頭部に装着して用いられるウェアラブル装置が、ヘッドマウントディスプレイ(以下、「HMD」と示す。)である場合を主に例に挙げる。本実施形態に係るユーザの頭部に装着して用いられるウェアラブル装置は、例えば、眼鏡型のウェアラブルデバイス(アイウェア)であってもよい。
 ここで、ユーザが装着しているHMDは、透過型の装置であってもよいし、非透過型の装置であってもよい。透過型HMDは、例えばハーフミラーを備え、ハーフミラーを透過して視認される外の景色に、仮想的なオブジェクトを重畳して表示するように構成される。このような透過型HMDは、光学透過型HMDと呼ばれる場合がある。なお、透過型を実現するための表示方式としては、ハーフミラー方式以外に、例えば、ホログラム方式や、瞳分割方式など、透過型を実現することが可能な任意の表示方式が採用されうる。また、非透過型HMDは、例えば撮像デバイスにより撮像された外の景色の画像を表示画面に表示させることにより電子的に外の景色を見せるように構成される。このような非透過型HMDは、ビデオ透過型HMDと呼ばれる場合がある。光学透過型HMDやビデオ透過型HMDによる表示形式は、一般的に拡張現実(Augmented Reality。AR)や複合現実(Mixed Reality。MR)として知られている。非透過型HMDは、例えば現実空間の画像に代えて仮想空間の画像を表示画面に表示させるように構成されてもよい。このような非透過型HMDの表示形式は、一般的に仮想現実(Virtual Reality。VR)として知られている。
 なお、後述するように、本実施形態に係る情報処理装置は、HMDに適用されうる。本実施形態に係る情報処理装置がHMDに適用される場合、主に光学透過型HMDに適用することが想定されるが、本実施形態に係る情報処理装置は、ビデオ透過型HMDやVR形式の非透過型HMDにも適用されうる。
 図1に示すS1、S2は、ユーザに対して提示される選択肢の一例を示している。本実施形態に係る情報処理方法により実現されるユーザインタフェースでは、例えば選択肢に対応する仮想的なオブジェクトが、表示画面に表示される。以下では、仮想的なオブジェクトを、単に「オブジェクト」と示す。
 選択肢に対応するオブジェクトとしては、例えば、2次元のアイコンや、3次元のアイコン、ゲート形状のオブジェクトなど、選択肢に対応付けられる任意のオブジェクトが挙げられる。選択肢に対応するオブジェクトは、実オブジェクト上に配置されているように表示されていてもよいし、実空間に浮いているように表示されてもよい。
 以下では、例えば図1に示すように“選択肢に対応するオブジェクトが表示画面に表示されること”を、「選択肢の提示」と示す。
 本実施形態に係る情報処理方法により実現されるユーザインタフェースが用いられる場合、ユーザは、提示された選択肢へと移動することによって、当該選択肢を決定することができる。ここで、提示された選択肢を決定するための、本実施形態に係る選択肢への移動としては、例えば、選択肢への接近、選択肢への接触、選択肢の通過などが、挙げられる。
 例えば図1に示すように、本実施形態に係る情報処理方法により、例えば提示された選択肢へとユーザが移動することにより選択肢が決定されるという、ユーザの動作に基づく選択肢の決定が可能な体験型のNUI(ユーザの動作に基づく選択肢の決定が可能なユーザインタフェース)が、実現される。
[2]本実施形態に係る情報処理方法に係る処理
 以下、上記のような体験型のNUIを実現することが可能な、本実施形態に係る情報処理方法に係る処理について、説明する。
 また、以下では、本実施形態に係る情報処理方法により実現されるユーザインタフェースが、図1に示す例のように、ユーザの頭部に装着されるHMDに適用される場合を、主に例に挙げる。また、以下に示す例において、本実施形態に係る情報処理装置は、例えば、ユーザが装着しているHMDであってもよいし、当該HMDの外部装置(例えば、スマートフォンなどの通信装置や、サーバなどのコンピュータなど)であってもよい。本実施形態に係る情報処理装置の適用例については、後述する。
(1)提示制御処理
 本実施形態に係る情報処理装置は、ユーザの移動に応じて決定される選択肢の内容に基づいて、選択肢の提示処理を変更する。
 上記選択肢は、例えば、ユーザの移動に関する情報に基づいて決定される。本実施形態に係る移動に関する情報には、例えば、ユーザの位置に関する情報(後述する)が含まれる。本実施形態に係る情報処理装置は、例えば後述するように、ユーザの位置に関する情報が示すユーザの位置に基づいて、提示される選択肢を決定する。なお、本実施形態に係る移動に関する情報に含まれうる情報は、ユーザの位置に関する情報に限られない。移動に関する情報に含まれうる情報の一例については、後述する。
 本実施形態に係る情報処理装置は、例えば選択肢に関する選択肢情報に基づいて、選択肢の内容を特定する。以下では、本実施形態に係る情報処理装置が、例えば、選択肢情報に基づいて選択肢の提示を制御して、選択肢の提示処理を変更する場合を例に挙げる。
 本実施形態に係る選択肢情報とは、選択肢に関するデータである。選択肢情報には、例えば、選択肢を示すデータ(例えば、選択肢を示すIDなど)と、選択肢が場所に紐づいているかを示すデータとが含まれる。また、選択肢情報には、アイコンなどの選択肢に対応するオブジェクトデータ、選択肢に対応付けられる処理を示すデータ(例えば、プログラムIDなど)が、含まれていてもよい。
 なお、本実施形態において、“選択肢が紐づいている場所”とは、例えば、ユーザの位置に関わらず特定される位置(絶対位置)である。本実施形態に係る絶対位置とは、例えば、緯度経度により一意に表される位置をいう。また、本明細書において単に“場所”と示した場合、“場所”は、例えばユーザの位置に関わらず特定される位置を指す。また、本実施形態に係る“位置”は、後述する“領域”とは異なり、空間的な広がりを有していないものと捉えることができる。本実施形態に係る“空間的な広がり”としては、例えば、一次元的広がり、二次元的広がり、あるいは、三次元的広がりが挙げられる。一方、本明細書において単に“空間”と示した場合、本実施形態に係る“空間”は、例えば、三次元的な空間、あるいは二次元的な空間を指す。
 本実施形態に係る選択肢が場所に紐づいているかを示すデータとしては、選択肢が場所に紐づいているか否かを示すフラグが挙げられる。
 また、選択肢が場所に紐づいている場合、選択肢が場所に紐づいているかを示すデータには、例えば、選択肢が紐づいている場所を示すデータが含まれる。本実施形態に係る選択肢が紐づいている場所を示すデータとしては、例えば、緯度経度などにより場所を直接的に示すデータ、または、店舗を示すIDなどの場所を間接的に示すデータが、挙げられる。
 選択肢情報は、例えば、記憶部(後述する)や、本実施形態に係る情報処理装置に接続された外部の記録媒体、サーバなどの本実施形態に係る情報処理装置の外部装置が備える記録媒体などの、記録媒体に記憶される。本実施形態に係る情報処理装置は、例えば、上記のような記録媒体から選択肢情報を直接的に読み出すこと、または、外部装置を介して選択肢情報を取得することによって、選択肢情報に基づく処理を行う。
 より具体的には、本実施形態に係る情報処理装置は、選択肢情報が示す選択肢が場所に紐づいているか否かに基づいて、提示処理を変更する。提示処理を変更することによって、本実施形態に係る情報処理装置は、選択肢を提示させる提示のさせ方を変えることができる。
 以下、選択肢が場所に紐づいている場合における提示制御処理の一例と、選択肢が場所に紐づいていない場合における提示制御処理の一例とについて、それぞれ説明する。なお、後述するように、本実施形態に係る情報処理装置は、複数の選択肢を提示させることが可能である。また、複数の選択肢を提示させる際には、本実施形態に係る情報処理装置は、場所に紐づいている選択肢と場所に紐づいていない選択肢との一方または双方を、提示させることができる。
(1-1)選択肢が場所に紐づいている場合における提示制御処理の一例
 選択肢が場所に紐づいている場合、本実施形態に係る情報処理装置は、ユーザの位置に基づいて提示する選択肢を決定し、決定された選択肢に対応する提示処理を行う。
 本実施形態に係る情報処理装置は、例えば、ユーザの位置に関する情報(ユーザの移動に関する情報の一例)に基づいて、ユーザの位置を特定する。ここで、本実施形態に係るユーザの位置に関する情報としては、例えば、ユーザの位置を示すデータが挙げられる。
 なお、本実施形態に係るユーザの位置に関する情報には、ユーザの移動加速度を示すデータ(後述する)、地図データのうちの一方または双方が、含まれていてもよい。移動加速度を示すデータなどが用いられることによって、例えば、ユーザの位置を推定することが可能である。一例を挙げると、ある時点におけるユーザの位置が特定された場合、例えば、位置が特定された後の時点に対応する移動加速度を示すデータと地図データとが用いられることによって、ユーザの位置を推定することができる。以下では、本実施形態に係る情報処理装置が、ユーザの位置を示すデータに基づいてユーザの位置を特定する場合を例に挙げる。
 本実施形態に係る情報処理装置は、例えば、ユーザの位置を示すデータを取得することにより、ユーザの位置を特定する。
 ユーザの位置を示すデータは、例えば、ユーザが装着しているHMDが備えるGNSS(Global Navigation Satellite System)デバイス(または、HMDの外部のGNSSデバイス。以下、同様とする。)などの、位置センサから取得される。また、ユーザの位置を示すデータは、例えば、信号強度を利用する方法などの位置を推定することが可能な任意の方法に係る処理により得られてもよい。上記のような位置を推定することが可能な任意の方法に係る処理は、本実施形態に係る情報処理装置により行われてもよいし、本実施形態に係る情報処理装置の外部装置により行われてもよい。
 ここで、例えば光学透過型HMDではなく、非透過型HMDの表示形式を採用して仮想現実内のユーザの位置を特定する場合について補足する。この場合、ユーザの位置に対応する空間は、例えば、ユーザが装着しているHMDが備える撮像デバイス(または、HMDの外部の撮像デバイス)から取得される撮像画像を解析することにより認識される空間としてみなされる。また、上記ユーザの位置に対応する空間は、ユーザの位置に対応する場所に設けられている撮像デバイスから取得される撮像画像を解析することにより認識される空間としてみなされてもよい。さらに、上記ユーザの位置に対応する空間の認識方法は、異なる方法が組み合されたものであってもよい。
 また、非透過型HMDの表示形式が仮想現実である場合、例えば、仮想現実におけるユーザの移動は、ユーザが実際に認識した実空間での移動ではなく、事前に定義された空間での仮想的な移動として、仮想現実に係るシステムに認識される。すなわち、非透過型HMDの表示形式が仮想現実である場合、仮想空間におけるユーザの位置は絶対位置ではなく、当該仮想空間内での仮想的な移動から算出される仮想的な位置として仮想現実に係るシステムに認識される。非透過型HMDの表示形式が仮想現実である場合におけるユーザの位置の推定には、例えばヘッドトラッキングが用いられてもよい。
 本実施形態に係る情報処理装置は、例えば、特定されたユーザの位置に対応する場所に紐付けられている選択肢を、提示する選択肢として決定する。
 ここで、ユーザの位置に対応する場所としては、例えば、ユーザの位置を含む所定の領域内に含まれる場所が、挙げられる。所定の領域は、例えば、大きさや形状が予め設定されている固定の領域であってもよいし、ユーザの操作などに基づいて、大きさと形状との一方または双方が変更可能な領域であってもよい。
 また、場所に紐づいている選択肢について、本実施形態に係る情報処理装置は、例えば下記の(I)、(II)に示すように、選択肢の提示位置と、選択肢の提示タイミングとをそれぞれ制御することによって、決定された選択肢に対応する提示処理を行う。
(I)提示位置の制御に係る処理
 本実施形態に係る情報処理装置は、ユーザの位置に対応する空間の認識結果に基づいて、選択肢を提示することが可能な提示位置(第1の提示位置)を決定する。
 そして、本実施形態に係る情報処理装置は、決定された提示位置に、決定された選択肢が提示されるように提示処理を行う。ここで、本実施形態に係る情報処理装置は、例えば、ユーザの移動方向と、ユーザの視線方向との一方または双方に基づいて、決定された選択肢に対応するオブジェクトの向きを、動的に変更してもよい。本実施形態に係る情報処理装置は、例えば、ユーザが進行方向に向かって移動するときにより選択肢が視認され易いように、選択肢に対応するオブジェクトの向きを変更する。また、本実施形態に係る情報処理装置は、例えば、ユーザの視線の向きに合わせるように、選択肢に対応するオブジェクトの向きを変更する。
 ユーザの位置に対応する空間は、選択肢を提示するためのレイアウトを行う空間(以下、「レイアウト空間」と示す場合がある。)に該当する。
 ここで、ユーザの位置に対応する空間としては、例えば、“ユーザが装着しているHMDが備える撮像デバイス(または、HMDの外部の撮像デバイス。以下、同様とする。)から取得される撮像画像を解析することにより認識される空間”と、“ユーザの位置に対応する場所に設けられている撮像デバイスから取得される撮像画像を解析することにより認識される空間”との一方または双方が、挙げられる。
 また、ユーザの位置に対応する空間の認識結果としては、上記のような撮像デバイスから取得される撮像画像を解析することにより認識される選択肢を提示することが可能な領域の認識結果と、当該撮像画像を解析することにより認識される選択肢を提示することができない領域の認識結果との一方または双方が、挙げられる。選択肢を提示することが可能な領域と選択肢を提示することができない領域とは、例えば、選択肢を提示することができない障害物を撮像画像から検出することなどによって、認識される。
 ユーザの位置に対応する空間の認識に係る処理は、本実施形態に係る情報処理装置により行われてもよいし、本実施形態に係る情報処理装置の外部装置により行われてもよい。
 本実施形態に係る情報処理装置は、例えば、認識された選択肢を提示することが可能な領域、または、認識された選択肢を提示することができない領域を除く領域を、選択肢を提示することが可能な提示位置として決定する。
 なお、選択肢が場所に紐づいている場合における提示位置の制御に係る処理は、上記に示す例に限られない。
 例えば、本実施形態に係る情報処理装置は、選択肢が紐づいている場所に対して設定されている提示位置に、決定された選択肢を提示させてもよい。
 上記選択肢が紐づいている場所に対して設定されている提示位置を示すデータは、例えば、場所に紐づいている選択肢に関する選択肢情報に含まれる。本実施形態に係る情報処理装置は、例えば、提示位置を示すデータを含む選択肢情報を参照することによって、選択肢が紐づいている場所に対して設定されている提示位置を、特定する。
 また、本実施形態に係る情報処理装置は、例えば、さらに提示タイミングに基づいて提示位置を決定し、決定された提示位置に決定された選択肢を提示させることが可能である。
 ユーザの位置に対応する空間の認識結果および提示タイミングに基づいて、選択肢を提示することが可能な提示位置を決定する例としては、例えば“より提示タイミングが早い選択肢程、選択肢を提示することが可能な領域におけるユーザにより近い位置を、提示位置として決定すること”などが挙げられる。
(II)提示タイミングの制御に係る処理
 本実施形態に係る情報処理装置は、ユーザの移動に関する情報に基づいて、決定された選択肢の提示タイミング(第1の提示タイミング、第2の提示タイミング)を決定する。
 本実施形態に係る提示タイミングは、例えば、提示タイミングの決定が行われた時点からX[秒](Xは、正の整数)後に選択肢を提示させるなど、設定された所定の時点から選択肢を提示させるまでの時間で表される。
 そして、本実施形態に係る情報処理装置は、決定された提示タイミングで、決定された選択肢を提示させる。
 ユーザの移動に関する情報には、例えば、ユーザの移動手段を示すデータ、ユーザの移動速度を示すデータ、ユーザの移動加速度を示すデータのうちの1または2以上が含まれる。
 ユーザの移動手段は、例えば、ユーザの位置を示すデータが示す位置の所定の時間における変化に基づき推定される。
 また、ユーザの移動速度は、例えば、所定の時間におけるユーザの移動距離と、当該所定の時間から算出される。
 所定の時間におけるユーザの移動距離としては、例えば、“一の時点におけるユーザの位置”と“他の時点におけるユーザの位置”とのユークリッド距離が、挙げられる。上記一の時点と上記他の時点との間隔が、上記所定の時間に該当する。上記所定の時間は、予め設定された固定の間隔であってもよいし、ユーザの操作などに基づいて変更可能な可変の間隔であってもよい。また、ユーザの移動距離は、カウンタの値を更新することにより、当該カウンタの値によって表されてもよい。
 また、ユーザの移動加速度は、例えば、加速度センサなどの動きを検出するセンサから取得されるデータに基づいて特定される。なお、ユーザの移動加速度は、ユーザの移動速度を微分することにより算出されてもよい。
 上記のようなユーザの移動に関する情報の取得に係る処理は、本実施形態に係る情報処理装置により行われてもよいし、本実施形態に係る情報処理装置の外部装置により行われてもよい。なお、ユーザの移動手段の特定方法(または推定方法)と、ユーザの移動速度の特定方法(または推定方法)とが、上記に示す例に限られないことは、言うまでもない。
 本実施形態に係る情報処理装置は、例えば、記録媒体に記憶されている“ユーザの移動手段と提示タイミングとが対応付けられているテーブル(またはデータベース)”、記録媒体に記憶されている“ユーザの移動速度と提示タイミングとが対応付けられているテーブル(またはデータベース)”、または、記録媒体に記憶されている“ユーザの移動加速度と提示タイミングとが対応付けられているテーブル(またはデータベース)”を参照することによって、提示タイミングを決定する。
 また、本実施形態に係る情報処理装置は、例えば、記録媒体に記憶されている“ユーザの移動速度、ユーザの移動加速度、および提示タイミングとが対応付けられているテーブル(またはデータベース)”
を参照することによって、提示タイミングを決定してもよい。つまり、本実施形態に係る情報処理装置は、例えば、ユーザの移動速度と移動加速度との少なくとも一方に基づいて、提示タイミングを決定することが可能である。
 さらに、本実施形態に係る情報処理装置は、例えば、ユーザの移動に関する情報に基づき提示タイミングを求めることが可能な、任意のアルゴリズムの演算を行うことによって、提示タイミングを決定してもよい。
 決定される提示タイミングの一例を挙げると、本実施形態に係る情報処理装置は、移動に関する情報に基づく移動速度、または、移動に関する情報に基づく移動加速速度に応じて、提示タイミングを設定する。移動速度または移動加速速度に応じた提示タイミングを設定することによって、本実施形態に係る情報処理装置は、提示タイミングを変更することができる。
 ここで、移動に関する情報に基づく移動速度としては、例えば、ユーザの移動速度を示すデータ(移動に関する情報の一例)が示す移動速度、または、ユーザの移動手段を示すデータ(移動に関する情報の一例)が示す移動手段に対応する移動速度が、挙げられる。移動手段に対応する移動速度は、例えば、記録媒体に記憶されている“ユーザの移動手段と移動速度とが対応付けられているテーブル(またはデータベース)”を参照することによって得られる。
 また、移動に関する情報に基づく移動加速度としては、例えば、ユーザの移動加速度を示すデータ(移動に関する情報の一例)が示す移動加速度、または、ユーザの移動手段を示すデータ(移動に関する情報の一例)が示す移動手段に対応する移動加速度が、挙げられる。移動手段に対応する移動加速度は、例えば、記録媒体に記憶されている“ユーザの移動手段と移動加速度とが対応付けられているテーブル(またはデータベース)”を参照することによって得られる。
 より具体的には、本実施形態に係る情報処理装置は、例えば、移動速度が速い程、または移動加速度が速い程、早い提示タイミングを決定する。上記のように、移動速度または移動加速度が速い程より早い提示タイミングが決定されることによって、ユーザに、提示された選択肢をより容易に認識させることができる。
 なお、移動速度または移動加速度に応じて提示タイミングを設定する例が、上記に示す例に限られないことは、言うまでもない。
 本実施形態に係る情報処理装置は、例えば上記に示すように、ユーザの移動に関する情報に基づいて決定された選択肢の提示タイミングを決定し、決定された提示タイミングで決定された選択肢を提示させる。
 なお、選択肢が場所に紐づいている場合における提示タイミングの制御に係る処理は、上記に示す例に限られない。
 例えば、本実施形態に係る情報処理装置は、予め設定されている提示タイミングで、決定された選択肢を提示させてもよい。
 上記予め設定されている提示タイミングを示すデータは、例えば、場所に紐づいている選択肢に関する選択肢情報に含まれる。本実施形態に係る情報処理装置は、例えば、提示タイミングを示すデータを含む選択肢情報を参照することによって、予め設定されている提示タイミングを、特定する。
 なお、選択肢が場所に紐づいている場合における提示制御処理は、上記に示す処理に限られない。
 例えば、本実施形態に係る情報処理装置は、後述する(1-2)に示す提示制御処理のうち、選択肢が場所に紐づいている場合にも適用することが可能な処理を、さらに行うことが可能である。
(1-2)選択肢が場所に紐づいていない場合における提示制御処理の一例
 図2は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、選択肢が場所に紐づいていない場合における提示制御処理の概要を示している。図2では、選択肢1~選択肢3という、場所に紐づいていない3つの選択肢が提示される例を示している。また、図2に示すように、選択肢には優先度が設定されていてもよい。
 例えば図2に示すように、場所に紐づいていない選択肢について、本実施形態に係る情報処理装置は、ユーザの位置に基づいて選択肢を提示するための基準位置を決定する。
 本実施形態に係る情報処理装置は、例えば、所定のトリガが検出されたときにおけるユーザの位置に基づいて基準位置を決定する。本実施形態に係る情報処理装置は、例えば、ユーザの位置を基準位置として決定する。また、本実施形態に係る情報処理装置は、例えば“予め設定された位置のうちの、ユーザの位置に最も近い位置を、基準位置として決定する”など、ユーザの位置に基づき位置が特定される任意の方法によって、基準位置を決定してもよい。
 ここで、所定のトリガとしては、例えば、“所定の装置において、所定のアプリケーションが起動したこと”、“所定の装置において実行されているアプリケーションが所定の状態となったこと”、“ユーザが所定の状態となったこと”などが、挙げられる。
 上記所定の装置としては、例えば、ユーザが装着しているHMDなどの、トリガの検出対象として設定されている装置が、挙げられる。
 実行されているアプリケーションにおける所定の状態の例としては、例えば、トレーニングアプリケーションが実行されているときにチェックポイントを通過したことなど、実行されているアプリケーションが設定されている状態となったことが、挙げられる。なお、実行されているアプリケーションにおける所定の状態の例が、上記に示す例に限られないことは、言うまでもない。
 また、ユーザにおける所定の状態の例としては、例えば、“ユーザが店舗内にいるなどの、ユーザが所定の場所にいること”や、“ユーザが自転車、電動立ち乗り二輪車などの任意の乗り物(移動手段の一例)に乗ったこと”などが、挙げられる。
 ユーザが所定の場所にいることは、例えば、ユーザの位置を示すデータが示す位置や、ユーザが装着しているHMDが備える撮像デバイスから取得される撮像画像を解析することなどに基づいて、推定される。また、ユーザが自転車などの乗り物(移動手段の一例)に乗ったことは、例えば、撮像画像を解析することや、ユーザの移動手段を推定することにより、推定される。なお、ユーザの状態は、ユーザの状態を推定することが可能な、任意の方法により推定されてもよい。
 ユーザの状態の推定に係る処理は、本実施形態に係る情報処理装置により行われてもよいし、本実施形態に係る情報処理装置の外部装置により行われてもよい。
 なお、ユーザにおける所定の状態の例が、上記に示す例に限られないことは、言うまでもない。
 上記のように基準位置が決定されると、本実施形態に係る情報処理装置は、決定された基準位置に対応する提示位置(第2の提示位置)に、選択肢を提示させる。
 選択肢が場所に紐づいていない場合、本実施形態に係る情報処理装置は、例えば下記の(i)に示すように、提示する選択肢を決定する。また、選択肢が場所に紐づいていない場合、本実施形態に係る情報処理装置は、例えば下記の(ii)、(iii)に示すように、選択肢の提示位置と、選択肢の提示タイミングとをそれぞれ制御する。選択肢の提示位置を制御することによって、本実施形態に係る情報処理装置は、基準位置に基づく提示位置に場所に紐づいていない選択肢が提示されるように、提示処理を行うことができる。また、選択肢の提示タイミングを制御することによって、本実施形態に係る情報処理装置は、決定された提示タイミングで場所に紐づいていない選択肢が提示されるように、提示処理を行うことができる。
(i)提示する選択肢の決定に係る処理
 本実施形態に係る情報処理装置は、例えば、所定のトリガに基づいて、提示する選択肢を決定する。
 所定のトリガとしては、例えば上述したように、“所定のアプリケーションが起動したこと”や“ユーザの状態が所定の状態となったこと”などが、挙げられる。
 所定のトリガに基づく選択肢の決定の一例を挙げると、本実施形態に係る情報処理装置は、例えば、所定のアプリケーションが起動したことが検出されたときに、当該アプリケーションに対応する選択肢を提示する選択肢として決定する。本実施形態に係る情報処理装置は、例えば、記録媒体に記憶されている“アプリケーションと選択肢とが対応付けられているテーブル(またはデータベース)”を参照することによって、起動されたアプリケーションに対応する選択肢を特定する。
 所定のトリガに基づく選択肢の決定の他の例を挙げると、本実施形態に係る情報処理装置は、例えば、ユーザが店舗内にいること(ユーザの状態が所定の状態となったことの一例)が検出されたときに、店舗内にいる状態に対応する選択肢を提示する選択肢として決定する。本実施形態に係る情報処理装置は、例えば、記録媒体に記憶されている“ユーザの状態と選択肢とが対応付けられているテーブル(またはデータベース)”を参照することによって、店舗内にいる状態に対応する選択肢を特定する。
 なお、選択肢が場所に紐づいていない場合における提示する選択肢の決定に係る処理は、上記に示す例に限られない。
 例えば、本実施形態に係る情報処理装置は、場所に紐づいていない選択肢に関する選択肢情報が示す選択肢の全てを、提示する選択肢として決定してもよい。
 また、本実施形態に係る情報処理装置は、例えば“場所に紐づいていない選択肢に関する選択肢情報が示す選択肢の中から1または2以上の選択肢をランダムに決定する”などの任意のアルゴリズムの演算を行って選択肢を選択することにより、提示する選択肢を決定することも可能である。
 ここで、例えば上記のように場所に紐づいていない選択肢に関する選択肢情報が示す選択肢の全てを提示する選択肢として決定する場合などには、ユーザの視認性の観点などから“提示する選択肢として決定された選択肢の全てを、一度にユーザに提示することが困難なケース”が生じることが、想定される。
 本実施形態に係る情報処理装置は、例えば“認識された選択肢を提示することが可能な領域の大きさ(当該領域が複数存在する場合には、合算した領域の大きさ)が、選択肢に対応するオブジェクトのサイズを合算した領域の大きさよりも小さい場合”に、選択肢の全てを一度にユーザに提示することが困難であると判定する。
 そして、選択肢の全てを一度にユーザに提示することが困難であると判定された場合には、本実施形態に係る情報処理装置は、提示する選択肢を切り替える。
 本実施形態に係る情報処理装置は、例えば、複数の選択肢に対応するオブジェクトをローテーションさせて表示させることなどによって、選択肢を切り替えて提示させる。
 一例を挙げると、本実施形態に係る情報処理装置は、例えば、所定の時間が経過するごとに表示画面に表示される選択肢に対応するオブジェクトを変化させることによって、上記“複数の選択肢に対応するオブジェクトをローテーションさせて表示させること”を実現する。また、本実施形態に係る情報処理装置は、例えば、ユーザによるローテーションさせるためのオブジェクトの注視が検出された場合に表示画面に表示される選択肢に対応するオブジェクトを変化させることによって、上記“複数の選択肢に対応するオブジェクトをローテーションさせて表示させること”を実現してもよい。なお、提示する選択肢を切り替えて提示させる方法が、上記に示す例に限られないことは、言うまでもない。
 さらに、本実施形態に係る情報処理装置は、提示することが可能な選択肢の数を決定し、決定された選択肢の数に基づいて提示する選択肢を決定してもよい。
 本実施形態に係る情報処理装置は、例えば、決定された選択肢の数以下の選択肢を、提示する選択肢を決定する。本実施形態に係る情報処理装置は、場所に紐づいていない選択肢に関する選択肢情報が示す選択肢のうちの決定された選択肢の数以下の選択肢を、任意のアルゴリズムの演算を行って選択することによって、提示する選択肢を決定する。
 一例を挙げると、本実施形態に係る情報処理装置は、例えば、基準位置に基づき特定される空間の認識結果に基づいて、提示することが可能な選択肢の数を決定する。
 基準位置に基づき特定される空間は、レイアウト空間に該当する。
 基準位置に基づき特定される空間としては、例えば“ユーザが装着しているHMDが備える撮像デバイスから取得される撮像画像を解析することにより認識される空間”(基準位置がユーザの位置である場合における空間の一例)が、挙げられる。また、基準位置に基づき特定される空間は、例えば“ユーザの位置に対応する場所に設けられている撮像デバイスから取得される撮像画像を解析することにより認識される空間”(例えば、基準位置が、予め設定された位置のうちのユーザの位置に最も近い位置である場合における空間の一例)であってもよい。
 また、基準位置に基づき特定される空間の認識結果としては、上記のような撮像デバイスから取得される撮像画像を解析することにより認識される選択肢を提示することが可能な領域の認識結果と、当該撮像画像を解析することにより認識される選択肢を提示することができない領域の認識結果との一方または双方が、挙げられる。
 基準位置に基づき特定される空間の認識に係る処理は、本実施形態に係る情報処理装置により行われてもよいし、本実施形態に係る情報処理装置の外部装置により行われてもよい。
 本実施形態に係る情報処理装置は、例えば、認識された選択肢を提示することが可能な領域の大きさ(当該領域が複数存在する場合には、合算した領域の大きさ)を、選択肢に対応するオブジェクトのサイズで除算することによって、選択肢の数を決定する。
 なお、選択肢の数の決定方法は、上記に示す例に限られない。
 例えば、本実施形態に係る情報処理装置は、基準位置に基づき特定される空間の認識結果と、ユーザの移動に関する情報とに基づいて、選択肢の数を決定することが可能である。
 本実施形態に係る情報処理装置は、基準位置に基づき特定される空間の認識結果に基づき得られる選択肢の数を、ユーザの移動に関する情報に基づいて調整することによって、選択肢の数を決定する。本実施形態に係る情報処理装置は、例えば、移動に関する情報に基づく移動速度が速い程、選択肢の数を小さく調整する。
 上記のように、移動速度が速い程、選択肢の数を小さく調整することによって、ユーザに、提示された選択肢をより容易に認識させることができる。
(ii)提示位置の制御に係る処理
 本実施形態に係る情報処理装置は、基準位置に基づいて、基準位置に対応する提示位置を決定する。
 そして、本実施形態に係る情報処理装置は、決定された提示位置に、決定された選択肢を提示させる。上述したように、本実施形態に係る情報処理装置は、例えば、ユーザの移動方向とユーザの視線方向との一方または双方に基づいて、決定された選択肢に対応するオブジェクトの向きを、動的に変更してもよい。
 本実施形態に係る情報処理装置は、基準位置に基づき特定される空間の認識結果に基づいて、選択肢を提示することが可能な提示位置を、基準位置に対応する提示位置として決定する。基準位置に基づき特定される空間の認識結果としては、例えば上述したように、選択肢を提示することが可能な領域の認識結果と、選択肢を提示することができない領域の認識結果との一方または双方が、挙げられる。
 本実施形態に係る情報処理装置は、例えば、認識された選択肢を提示することが可能な領域、または、認識された選択肢を提示することができない領域を除く領域を、基準位置に対応する提示位置として決定する。
 なお、選択肢が場所に紐づいていない場合における提示位置の制御に係る処理は、上記に示す例に限られない。
 例えば、図2に示すように選択肢に対して優先度が設定されている場合には、本実施形態に係る情報処理装置は、選択肢に対する優先度に基づいて、基準位置に対応する提示位置を決定することが、可能である。
 例えば、場所に紐づいていない選択肢に関する選択肢情報に優先度が含まれる場合、本実施形態に係る情報処理装置は、選択肢情報を参照することによって、優先度を特定する。また、本実施形態に係る情報処理装置は、例えば選択肢が選択された履歴に基づく優先度の推定など、選択肢に対する優先度を推定することが可能な任意のアルゴリズムの演算を行うことによって、優先度を特定してもよい。
 優先度に基づく基準位置に対応する提示位置の決定の例としては、例えば、“より優先度が高い選択肢の提示位置を、選択肢を提示することが可能な領域のうち、ユーザの移動距離がより小さくなる位置とすること”などが挙げられる。
 また、上述したように選択肢の数が決定される場合には、本実施形態に係る情報処理装置は、基準位置に基づき特定される空間の認識結果と決定された選択肢の数とに基づいて、提示する選択肢の間隔を決定して、基準位置に対応する提示位置を決定してもよい。本実施形態に係る情報処理装置は、決定された間隔が満たされるように、基準位置に対応する提示位置を決定する。ここで、選択肢の間隔としては、例えば、水平方向の間隔、垂直方向の間隔、奥行き方向の間隔のうちの1または2以上が挙げられる。また、決定された間隔が満たされるとは、例えば、選択肢に対応するオブジェクト間の間隔が、決定された間隔以上であることをいう。
(iii)提示タイミングの制御に係る処理
 本実施形態に係る情報処理装置は、ユーザの移動に関する情報に基づいて、決定された選択肢の提示タイミング(第3の提示タイミング)を決定する。
 本実施形態に係る情報処理装置は、例えば上記(II)に示す提示タイミングの制御に係る処理と同様に、決定された選択肢の提示タイミングを決定する。
 場所に紐づいていない選択肢について、本実施形態に係る情報処理装置は、例えば上記(i)に示すように提示する選択肢を決定する。また、場所に紐づいていない選択肢について、本実施形態に係る情報処理装置は、例えば上記(ii)、(iii)に示すように、選択肢の提示位置と、選択肢の提示タイミングとをそれぞれ制御する。選択肢の提示位置を制御することによって、本実施形態に係る情報処理装置は、基準位置に基づく提示位置に場所に紐づいていない選択肢が提示されるように、提示処理を行うことができる。また、選択肢の提示タイミングを制御することによって、本実施形態に係る情報処理装置は、決定された提示タイミングで場所に紐づいていない選択肢が提示されるように、提示処理を行うことができる。
 なお、選択肢が場所に紐づいていない場合における提示制御処理は、上記に示す処理に限られない。
 例えば、本実施形態に係る情報処理装置は、選択肢が場所に紐づいていない場合における提示制御処理として、下記の(iv)の処理と下記の(v)の処理との一方または双方を行うことが可能である。
(iv)選択肢の提示サイズの制御に係る処理
 本実施形態に係る情報処理装置は、ユーザの移動に関する情報に基づいて、選択肢の提示サイズを決定する。そして、本実施形態に係る情報処理装置は、場所に紐づいていない選択肢が決定された提示サイズで提示されるように提示処理を行う。
 本実施形態に係る情報処理装置は、例えば、記録媒体に記憶されている“ユーザの移動手段と選択肢の提示サイズとが対応付けられているテーブル(またはデータベース)”、または、記録媒体に記憶されている“ユーザの移動速度と選択肢の提示サイズとが対応付けられているテーブル(またはデータベース)”を参照することによって、選択肢の提示サイズを決定する。
 また、本実施形態に係る情報処理装置は、例えば、ユーザの移動に関する情報に基づき選択肢の提示サイズを求めることが可能な任意のアルゴリズムの演算を行うことによって、選択肢の提示サイズを決定してもよい。
 なお、選択肢の提示サイズの決定方法は、上記に示す例に限られない。
 例えば、本実施形態に係る情報処理装置は、さらに、ユーザの位置の推定精度に基づいて、選択肢の提示サイズを決定することが、可能である。
 ユーザの位置の推定精度は、例えば、ユーザの位置のデータを取得するセンサの種類や、ユーザの位置の推定方法などに基づき、決定される。本実施形態に係る情報処理装置は、例えば、記録媒体に記憶されている“ユーザの位置のデータを取得するセンサの種類またはユーザの位置の推定方法と、推定精度とが対応付けられているテーブル(またはデータベース)”を参照することによって、ユーザの位置の推定精度を特定する。なお、ユーザの位置の推定精度の特定方法が、上記に示す例に限られないことは、言うまでもない。
 本実施形態に係る情報処理装置は、ユーザの移動に関する情報に基づき特定される選択肢の提示サイズを、ユーザの位置の推定精度に基づいて調整することによって、選択肢の提示サイズを決定する。本実施形態に係る情報処理装置は、例えば、ユーザの位置の推定精度が悪い程、選択肢の提示サイズを大きく調整する。なお、ユーザの位置の推定精度が複数特定された場合には、より推定精度が悪い方に合わせて、選択肢の提示サイズを調整してもよい。
 また、本実施形態に係る情報処理装置は、ユーザの操作などに基づき設定された選択肢のサイズを、選択肢の提示サイズとして決定することも可能である。
(v)選択肢の提示位置の変更に係る処理(視線に基づく動的なレイアウトに係る処理)
 本実施形態に係る情報処理装置は、提示された選択肢に対するユーザの注視を判定することにより、選択肢の提示位置を制御する。選択肢の提示位置を制御することによって、本実施形態に係る情報処理装置は、選択肢の提示位置を変更することができる。
 例えば、本実施形態に係る情報処理装置は、ユーザにより注視されたと判定された場所に紐づいていない選択肢がユーザに近づくように、基準位置に対応する提示位置を変更する。本実施形態に係る情報処理装置は、例えば、ユーザにより注視されたと判定された選択肢をユーザとの距離がより小さくなる提示位置に変更することによって、選択肢がユーザに近づくように基準位置に対応する提示位置を変更する。より具体的には、本実施形態に係る情報処理装置は、ユーザにより注視されたと判定された選択肢を、選択肢を提示することが可能な領域のうちの、ユーザの移動距離がより小さくなる位置とする。
 上記のように、ユーザにより注視されたと判定された選択肢を、ユーザとの距離がより小さくなる提示位置に変更することによって、ユーザに、提示された選択肢をより容易に決定させることが可能となる。
 提示された選択肢に対するユーザの注視の判定は、例えば、実空間におけるユーザの視線に関するデータを仮想空間に反映させて、仮想空間内で処理を行うことによって、行われる。
 ユーザの視線に関するデータは、例えば、角膜反射法(瞳孔角膜反射法)を利用する方法などの、ユーザの視線を推定することが可能な任意の方法に係る処理により得られる。ユーザの視線に関するデータの取得に係る処理は、本実施形態に係る情報処理装置により行われてもよいし、本実施形態に係る情報処理装置の外部装置により行われてもよい。
 一例を挙げると、本実施形態に係る情報処理装置は、例えば、ユーザの視線に関するデータに基づいて、仮想空間においてユーザが注視している位置を特定する。
 そして、本実施形態に係る情報処理装置は、例えば、“仮想空間における特定された注視している位置が、仮想空間における選択肢に対応する領域に含まれる時間”(以下、「注視時間」と示す。)に基づいて、選択肢をユーザが注視しているか否かを判定する。
 ここで、仮想空間における選択肢に対応する領域は、例えば、大きさや形状が予め設定されている固定の領域であってもよいし、ユーザの操作などに基づいて、大きさと形状との一方または双方が変更可能な領域であってもよい。
 本実施形態に係る情報処理装置は、例えば、注視時間と、設定されている注視に関する閾値との比較結果に基づいて、選択肢をユーザが注視しているかを判定する。本実施形態に係る情報処理装置は、例えば、注視時間が注視に関する閾値以上である場合(または、注視時間が注視に関する閾値より大きい場合)に、選択肢をユーザが注視していると判定する。また、本実施形態に係る情報処理装置は、例えば、注視時間が注視に関する閾値より小さい場合(または、注視時間が注視に関する閾値以下である場合)に、選択肢をユーザが注視していると判定しない。
 本実施形態に係る注視に関する閾値は、予め設定されている固定値であってもよいし、ユーザの操作などに基づいて変更可能な可変値であってもよい。本実施形態に係る情報処理装置は、例えば、記憶部(後述する)などの記録媒体から、注視に関する閾値を示すデータを読み出すことによって、注視に関する閾値を特定する。
 なお、選択肢をユーザが注視しているかを判定する方法は、上記に示す例に限られない。例えば、提示された選択肢が複数存在する場合、本実施形態に係る情報処理装置は、注視時間が最も長い選択肢を、ユーザが注視していると判定してもよい。
 ここで、本実施形態に係る情報処理装置は、ユーザが注視していると判定された選択肢を強調表示してもよい。本実施形態に係る情報処理装置は、例えば下記に示す例のような、選択肢に対応するオブジェクトを強調することが可能な、1または2以上の任意の方法によって、ユーザが注視していると判定された選択肢を強調表示させる。なお、ユーザが注視していると判定された選択肢を強調表示させる例が、下記に示す例に限られないことは、言うまでもない。
  ・ユーザが注視していると判定された選択肢に対応するオブジェクトの輝度値を上げる
  ・ユーザが注視していると判定された選択肢に対応するオブジェクトに含まれる文字を拡大する
  ・ユーザが注視していると判定された選択肢に対応するオブジェクトを点滅させる
  ・ユーザが注視していると判定された選択肢に対応するオブジェクトに対して選択されたことを示すオブジェクト(例えば、ユーザが注視していると判定された選択肢に対応するオブジェクトを枠で囲むオブジェクトなど)を付加する
 なお、選択肢の提示位置の変更に係る処理は、上記に示す例に限られない。
 例えば、複数の選択肢が提示されているときに、提示された選択肢をユーザが注視していると判定された場合、本実施形態に係る情報処理装置は、複数の選択肢の提示位置を変更してもよい。一例を挙げると、本実施形態に係る情報処理装置は、例えば、提示されている複数の選択肢をローテーションさせることによって、複数の選択肢の提示位置を変更する。
 本実施形態に係る情報処理装置は、場所に紐づいている選択肢について、例えば上記(1-1)に示す処理(上記(1-1)に示す各処理のうちの1または2以上の処理)を行う。また、本実施形態に係る情報処理装置は、場所に紐づいていない選択肢について、例えば上記(1-2)に示す処理(上記(1-2)に示す各処理のうちの1または2以上の処理)を行う。
 本実施形態に係る情報処理方法に係る処理として、提示制御処理が行われることによって、例えば図1に示すように選択肢が提示される。
 また、図1を参照して説明したように、ユーザは、提示された選択肢へと移動することによって、当該選択肢を決定することができる。
 したがって、本実施形態に係る情報処理方法に係る処理として提示制御処理が行われることによって、例えば提示された選択肢へとユーザが移動することにより選択肢が決定されるという、ユーザの動作に基づく選択肢の決定が可能な体験型のNUI(ユーザの動作に基づく選択肢の決定が可能なユーザインタフェース)が、実現される。
 また、本実施形態に係る情報処理方法に係る処理として、上記提示制御処理が行われることによって、図1に示す例のようにユーザが自転車などの乗り物で移動しているときなど、ユーザが移動しているときに、選択肢が提示される。よって、ユーザは、自転車などの乗り物に乗りながら提示された選択肢の決定を行うなど、移動しながら選択肢の決定を行うことができる。
 また、ユーザが自転車で移動する例を挙げると、上記提示制御処理により選択肢が提示されることによって、例えば下記の効果が奏される。なお、上記提示制御処理により選択肢が提示されることにより奏される効果が、下記に示す例に限られないことは、言うまでもない。
  ・GUIのような既存のユーザインタフェースにより選択肢を決定する場合のように、操作にとらわれることなく、ユーザは、自転車に乗る(またはサイクリング)という体験に集中することができる。また、ユーザは、自転車に乗る(またはサイクリング)という体験を満喫することができる。
  ・ユーザの移動により選択肢が決定されるので、より柔軟なサービスをユーザに対して提供することが可能となる。また、ユーザの移動により選択肢が決定されるので、状況に応じて変わりうるユーザの意図を、より容易に反映させることができる。
 なお、本実施形態に係る情報処理方法に係る処理は、上記(1)に示す処理(提示制御処理)に限られない。
 例えば、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、下記に示す(2)決定処理と下記に示す(3)実行制御処理との一方または双方を、さらに行うことが可能である。
(2)決定処理
 本実施形態に係る情報処理装置は、ユーザの位置に基づいて提示された選択肢に対する決定判定を行う。
 本実施形態に係る情報処理装置は、例えば、ユーザの位置に基づいて、ユーザが選択肢の提示位置へと移動したかを判定する。そして、本実施形態に係る情報処理装置は、ユーザが選択肢の提示位置へと移動したと判定された場合に、提示された選択肢が決定されたと判定する。
 本実施形態に係る情報処理装置は、例えば、提示された選択肢への接近、提示された選択肢への接触、および提示された選択肢の通過の1または2以上を判定することによって、ユーザが選択肢の提示位置へと移動したかを判定する。本実施形態に係る情報処理装置は、例えば、提示された選択肢への接近、提示された選択肢への接触、および提示された選択肢の通過のいずれかが行われたと判定された場合に、ユーザが選択肢の提示位置へと移動したと判定する。
 提示された選択肢への接近は、例えば、ユーザの位置が当該選択肢の提示位置を含む所定の領域に含まれるか否かを判定することによって、判定される。ここで、選択肢の提示位置を含む所定の領域は、例えば、大きさや形状が予め設定されている固定の領域であってもよいし、ユーザの操作などに基づいて、大きさと形状との一方または双方が変更可能な領域であってもよい。
 また、提示された選択肢への接触は、例えば、ユーザの位置が当該選択肢の提示位置と一致するか否かを判定することによって、判定される。
 また、提示された選択肢の通過は、例えば、ユーザの位置が当該選択肢の提示位置を含む所定の領域に含まれるか否かを判定し、判定結果が、ユーザの位置が所定の領域に含まれる判定結果からユーザの位置が所定の領域に含まれない判定結果へと変化するかを判定することによって、判定される。
 なお、提示された選択肢への接近、提示された選択肢への接触、および提示された選択肢の通過それぞれの判定方法は、上記に示す例に限られない。例えば、本実施形態に係る情報処理装置は、ユーザが装着しているHMDが備える撮像デバイスから取得される撮像画像の解析結果を利用して、判定を行うことも可能である。
 なお、本実施形態に係る決定処理は、上記に示す例に限られない。
 例えば、本実施形態に係る情報処理装置は、“実空間におけるユーザと仮想空間における仮想空間に配置された仮想のオブジェクトとの仮想的な位置関係”(以下、「仮想的な位置関係」と示す。)が変化した場合に、選択肢に対する決定判定を行ってもよい。ここで、仮想的な位置関係における仮想空間としては、例えば上述したように、ユーザが装着しているHMDが備える撮像デバイス(または、HMDの外部の撮像デバイス)から取得される撮像画像を解析することにより認識される空間が、挙げられる。
 本実施形態に係る情報処理装置は、例えば、“仮想的な位置関係を示す情報”(移動に関する情報の一例)に基づいて、仮想的な位置関係の変化が生じたか否かを判定する。本実施形態に係る情報処理装置は、例えば、仮想空間において、提示された選択肢への接近、提示された選択肢への接触、および提示された選択肢の通過の1または2以上が判定されたときに、仮想的な位置関係が変化したと判定する。
 本実施形態に係る決定処理が行われることにより、ユーザが提示されている選択肢へと移動することによって、当該選択肢が決定される。よって、本実施形態に係る決定処理が行われることにより、ユーザは、提示されている選択肢の選択と提示されている選択肢の決定とを、選択肢への移動という一連の動作によって、行うことができる。
 なお、本実施形態に係る決定処理は、上記に示す例に限られない。
 例えば、本実施形態に係る情報処理装置は、さらに、所定の条件を満たす場合に、ユーザが選択肢の提示位置へと移動したと判定してもよい。
 上記所定の条件としては、例えば、ユーザが決定判定を行う対象の選択肢を注視していること(または、当該選択肢を注視していたこと)や、ユーザの移動速度が設定されている閾値以上であることなどが、挙げられる。なお、決定処理に係る所定の条件が、上記に示す例に限られないことは、言うまでもない。
 また、本実施形態に係る情報処理装置は、提示されている選択肢の選択に係る判定と、提示されている選択肢の決定に係る判定とを、選択肢への移動というユーザの一連の動作に基づいて、段階的に分けて行うことが可能である。
 一例を挙げると、本実施形態に係る情報処理装置は、例えば、提示された選択肢への接近の判定を、提示されている選択肢の選択に係る判定として行う。本実施形態に係る情報処理装置は、例えば、ユーザの位置が当該選択肢の提示位置を含む所定の領域に含まれる場合に、提示されている選択肢が選択されたと判定する。
 また、本実施形態に係る情報処理装置は、提示された選択肢の通過の判定、または、提示された選択肢への接触の判定を、提示されている選択肢の決定に係る判定として行う。本実施形態に係る情報処理装置は、例えば、“提示されている選択肢が選択されたと判定されているときに、提示された選択肢の通過が判定された場合”、または、“提示されている選択肢が選択されたと判定されているときに、提示された選択肢への接触が判定された場合”に、提示されている選択肢が決定されたと判定する。
 例えば上記のように、提示されている選択肢の選択に係る判定と提示されている選択肢の決定に係る判定とが段階的に行われる場合、本実施形態に係る情報処理装置は、例えば、提示されている選択肢の選択に係る判定の結果に基づいて、選択肢の提示方法を変化させてもよい。
 一例を挙げると、本実施形態に係る情報処理装置は、例えば、選択されたと判定された選択肢を強調表示させる。本実施形態に係る情報処理装置は、例えば下記に示す例のような、選択肢に対応するオブジェクトを強調することが可能な、1または2以上の任意の方法によって、選択されたと判定された選択肢を強調表示させる。なお、選択されたと判定された選択肢を強調表示させる例が、下記に示す例に限られないことは、言うまでもない。
  ・選択されたと判定された選択肢に対応するオブジェクトの輝度値を上げる
  ・選択されたと判定された選択肢に対応するオブジェクトに含まれる文字を拡大する
  ・選択されたと判定された選択肢に対応するオブジェクトを点滅させる
  ・選択されたと判定された選択肢に対応するオブジェクトに対して選択されたことを示すオブジェクト(例えば、選択されたと判定された選択肢に対応するオブジェクトを枠で囲むオブジェクトなど)を付加する
 上記のように選択されたと判定された選択肢を強調表示させることにより、選択肢が選択されたこと(選択肢がフォーカスされたこと)を、ユーザに通知することが可能となる。
(3)実行制御処理
 本実施形態に係る情報処理装置は、決定された選択肢に対応する処理の実行を制御する。
 本実施形態に係る情報処理装置が上記(2)の処理(決定処理)を行う場合、本実施形態に係る情報処理装置は、上記(2)の処理(決定処理)により決定された選択肢に対応する処理の実行を制御する。また、上記(2)の処理(決定処理)と同様の処理が、外部装置において行われる場合、本実施形態に係る情報処理装置は、外部装置において決定された選択肢に対応する処理の実行を制御する。
 本実施形態に係る情報処理装置は、例えば、“下記の(4-1)に示す第1の例に係る実行制御処理”、または、“下記の(4-1)に示す第1の例に係る実行制御処理および下記の(4-2)に示す第2の例に係る実行制御処理”を行う。
(4-1)実行制御処理の第1の例
 本実施形態に係る情報処理装置は、例えば、決定された選択肢に対応する処理を実行させる。
 本実施形態に係る情報処理装置は、例えば、記録媒体に記憶されている“選択肢と、実行される処理とが対応付けられているテーブル(またはデータベース)”を参照することによって、決定された選択肢に対応する処理を特定する。そして、本実施形態に係る情報処理装置は、特定された処理を実行する。
 なお、決定された選択肢に対応する処理を実行する方法が、上記に示す例に限られないことは、言うまでもない。
(4-2)実行制御処理の第2の例
 本実施形態に係る情報処理装置は、例えば、実行されている選択肢に対応する処理の実行を停止させる。
 本実施形態に係る情報処理装置は、例えば、所定の停止条件を満たすかを判定し、所定の停止条件を満たすと判定された場合に、実行されている選択肢に対応する処理の実行を停止させる。
 ここで、本実施形態に係る停止条件としては、例えば、“選択肢に対応する処理の実行後、ユーザが当該選択肢の提示位置へと移動したと判定されたこと”、“上を向く、首をふるなどのユーザの所定のジェスチャが検出されたこと”、“所定の音声が検出されたこと”、“キャンセルボタンなどのキャンセルのためのユーザインタフェースが操作されたこと”、“ユーザが自転車などの乗り物(移動手段の一例)から降りたこと”、あるいはこれらの組み合わせなどが、挙げられる。
 上記キャンセルのためのユーザインタフェースとしては、例えば、キャンセルボタンなどが常に表示画面に表示されるユーザインタフェースや、物理的なボタンがHMDなどに設けられるユーザインタフェースなどが、挙げられる。また、上記キャンセルのためのユーザインタフェースは、“キャンセルボタンなどが、選択肢の決定後、設定されている時間だけ、表示画面に表示されるユーザインタフェース”であってもよい。例えば、表示画面に表示されるキャンセルボタンなどは、押下する操作、音声、ジェスチャ、視線など、ユーザが選択と決定とを行うことが可能な任意の方法によって、操作される。
 なお、本実施形態に係る停止条件の例が、上記に示す例に限れないことは、言うまでもない。
[3]本実施形態に係る情報処理方法に係る処理の具体例
 次に、上述した本実施形態に係る情報処理方法に係る処理の具体例を説明する。
 図3は、本実施形態に係る情報処理方法に係る処理の一例を説明するための流れ図である。
 本実施形態に係る情報処理装置は、ユーザの現在位置を検出する(S100)。本実施形態に係る情報処理装置は、ユーザの位置を示すデータを取得することにより、ユーザの位置を特定する。
 本実施形態に係る情報処理装置は、ユーザの移動手段を推定する(S102)。ユーザの移動手段は、例えば、ユーザの位置を示すデータが示す位置の所定の時間における変化に基づき推定される。
 本実施形態に係る情報処理装置は、レイアウト空間(ユーザの位置に対応する空間、または、基準位置に対応する空間)を、認識する(S104)。本実施形態に係る情報処理装置は、例えば、ユーザが装着しているHMDが備える撮像デバイスなどから取得される撮像画像を解析することにより、レイアウト空間を認識する。
 本実施形態に係る情報処理装置は、選択肢を提示する(S106)。本実施形態に係る情報処理装置は、上記(1)の処理(提示制御処理)を行うことによって、1または2以上の選択肢を提示する。
 本実施形態に係る情報処理装置は、提示された選択肢に対する選択決定処理を行う(S108)。
 図4は、本実施形態に係る情報処理方法に係る処理の一例を説明するための流れ図であり、図3に示すステップS108の処理の一例を示している。
 本実施形態に係る情報処理装置は、選択開始条件を満たすか否かを判定する(S200)。本実施形態に係る情報処理装置は、ステップS200において、例えばユーザの位置が提示位置から一定距離内であるか否かを判定する。ユーザの位置が提示位置から一定距離内であるか否かを判定する処理は、提示された選択肢への接近を判定する処理の一例に該当する。なお、ステップS200の処理の例が、上記に示す例に限られないことは、言うまでもない。
 ステップS200において選択開始条件を満たすと判定されない場合には、本実施形態に係る情報処理装置は、ユーザが別ルートを走行しているか否かを判定する(S202)。本実施形態に係る情報処理装置は、例えば、ユーザの位置を示すデータに基づいて、ユーザが別ルートを走行しているか否かを判定する。
 ステップS202においてユーザが別ルートを走行していると判定されない場合には、本実施形態に係る情報処理装置は、ステップS200からの処理を繰り返す。
 また、ステップS202においてユーザが別ルートを走行していると判定された場合には、本実施形態に係る情報処理装置は、選択肢の提示を解除する処理を行う(S204)。本実施形態に係る情報処理装置は、例えば、提示されている選択肢に対応するオブジェクトを表示させないことによって、選択肢の提示を解除する。また、本実施形態に係る情報処理装置は、例えば、提示されている選択肢に対応するオブジェクトをフェードアウト表示させてもよい。
 そして、本実施形態に係る情報処理装置は、図4に示す処理を終了する。
 ステップS200において選択開始条件を満たすと判定された場合には、本実施形態に係る情報処理装置は、決定条件を満たしているか否を判定する(S206)。本実施形態に係る情報処理装置は、ステップS206において、例えばユーザが選択肢を通過したか否かを判定する。ユーザが選択肢を通過したか否かを判定する処理は、提示された選択肢の通過を判定する処理の一例に該当する。なお、ステップS206の処理の例が、上記に示す例に限られないことは、言うまでもない。
 ステップS206において決定条件を満たしていると判定されない場合には、本実施形態に係る情報処理装置は、ステップS202と同様に、ユーザが別ルートを走行しているか否かを判定する(S208)。
 ステップS208においてユーザが別ルートを走行していると判定された場合には、本実施形態に係る情報処理装置は、ステップS204からの処理を行う。
 また、ステップS208においてユーザが別ルートを走行していると判定されない場合には、本実施形態に係る情報処理装置は、ステップS200において選択開始条件を満たすと判定された選択肢(対象)に対するフォーカス設定を行い(S210)、フォーカス強調処理を行う(S212)。本実施形態に係る情報処理装置は、例えば、選択されたと判定された選択肢に対応するオブジェクトの輝度値を上げるなどの、選択肢に対応するオブジェクトを強調することが可能な1または2以上の任意の方法に係る処理を、フォーカス強調処理として行う。
 そして、本実施形態に係る情報処理装置は、ステップS200からの処理を繰り返す。
 ステップS206において決定条件を満たしていると判定された場合には、本実施形態に係る情報処理装置は、ステップS200において選択開始条件を満たすと判定された選択肢(対象)が決定されたと判定する(S214)。
 図3に示すステップS108では、例えば図4に示すような処理が行われる。
 なお、図3に示すステップS108の処理の例は、図4に示す例に限られない。
 例えば、本実施形態に係る情報処理装置は、図4に示すステップS210、S212に示す処理を行わなくてもよい。
 また、本実施形態に係る情報処理装置は、例えば、上述した提示することが可能な選択肢の数を決定する処理や、上述した提示する選択肢を切り替える処理などを、さらに行うことも可能である。
 本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば図3、図4に示す処理を行う。なお、本実施形態に係る情報処理方法に係る処理の例が、図3、図4に示す例に限られないことは、言うまでもない。
[4]本実施形態に係る情報処理方法が適用されるユースケースの一例
 図5は、本実施形態に係る情報処理方法が適用されるユースケースの一例を説明するための説明図である。図5は、ユーザが交差点を進んだ方向によって選択肢が決定されるユースケースを示している。また、図5では、眼鏡型のウェアラブルデバイスを装着しているユーザに対して、眼鏡型のウェアラブルデバイスの表示画面に選択肢に対応するアイコンが表示されることによって、選択肢が提示される例を示している。
 本実施形態に係る情報処理装置は、ユーザの目的地を設定する。本実施形態に係る情報処理装置は、例えば、ユーザの目的地を指定する操作や、ユーザのスケジュールを示す情報に基づいて、ユーザの目的地を設定する。本実施形態に係る情報処理装置は、例えば、ユーザのスケジュールを示す情報を管理するサーバなどからユーザのスケジュールを示す情報を取得して、スケジュールを特定することによって、ユーザの目的地を設定する。
 本実施形態に係る情報処理装置は、GNSSデバイスなどからユーザの位置を示すデータを取得することにより、ユーザの現在位置を特定する。
 本実施形態に係る情報処理装置は、ユーザの位置を示すデータが示す位置の変化や、加速度センサなどの動きを検出するセンサから取得されるデータに基づいて、ユーザの移動手段を推定する。図5に示す例では、本実施形態に係る情報処理装置が、ユーザの移動手段が徒歩であると推定されたものとする。
 本実施形態に係る情報処理装置が、交差点のY[m](Yは、正の整数)手前から選択肢を提示する場合を例に挙げる。
 本実施形態に係る情報処理装置は、交差点におけるレイアウト空間を認識する。そして、本実施形態に係る情報処理装置は、障害物などを認識して選択肢を提示することが可能な提示位置を決定し、決定された提示位置に選択肢を提示させる。図5では、本実施形態に係る情報処理装置が、“主要道路を通る経路で目的地まで誘導することを示す主要道優先の選択肢S1と、時間優先の経路で目的地まで誘導することを示す時間優先の選択肢S2とを、眼鏡型のウェアラブルデバイスの表示画面に表示させている例”を、示している。
 ユーザが交差点を直進し、ユーザの位置が主要道優先の選択肢S1に対応する領域(図5に示す主要道優先選択領域)に含まれると、本実施形態に係る情報処理装置は、主要道優先の選択肢S1を決定する。
 また、ユーザが交差点を左折し、ユーザの位置が時間優先の選択肢S2に対応する領域(図5に示す時間優先選択領域)に含まれると、本実施形態に係る情報処理装置は、時間優先の選択肢S2を決定する。
 また、ユーザが交差点を右折し、ユーザの位置が図5に示すキャンセル領域に含まれると、本実施形態に係る情報処理装置は、選択肢の提示を解除する。なお、本実施形態に係る情報処理装置は、ユーザが別ルートを移動していると判定することにより、選択肢の提示を解除してもよい。
 例えば図5を参照して示したような処理が行われることによって、ユーザが交差点を進んだ方向によって選択肢が決定されるユースケースが、実現される。なお、ユーザが交差点を進んだ方向によって選択肢が決定されるユースケースに係る処理が、上記に示す例に限られない
 なお、本実施形態に係る情報処理方法が適用されるユースケースは、上記に示す例に限られない。
 例えば、階層的な選択肢の提示と選択肢の決定とが行われることによって、下記のようなユースケースが実現される。
 例えば、飲食店に入ることを示す選択肢が提示されているときに、ユーザが当該選択肢を通過したと判定すると、本実施形態に係る情報処理装置は、ユーザが手で触れられる位置に、禁煙席を示す選択肢と、喫煙席を示す選択肢とを提示させる。
 ユーザが禁煙席を示す選択肢に触れたこと(提示された選択肢への接触の一例)が検出されると、本実施形態に係る情報処理装置は、禁煙席を示す選択肢を決定する。禁煙席を示す選択肢が決定されると、本実施形態に係る情報処理装置は、文字などによる視覚的な方法や音声による聴覚的な方法などの任意の方法によって、ユーザが禁煙席を選択したことを飲食店の店員に通知させる(実行制御処理の一例)。よって、飲食店の店員は、客であるユーザに改めて確認することなく、ユーザを禁煙席に案内することが実現される。
 また、ユーザが喫煙席を示す選択肢に触れたこと(提示された選択肢への接触の一例)が検出されると、本実施形態に係る情報処理装置は、喫煙席を示す選択肢を決定する。喫煙席を示す選択肢が決定されると、本実施形態に係る情報処理装置は、文字などによる視覚的な方法や音声による聴覚的な方法などの任意の方法によって、ユーザが喫煙席を選択したことを飲食店の店員に通知させる(実行制御処理の一例)。よって、飲食店の店員は、客であるユーザに改めて確認することなく、ユーザを喫煙席に案内することが実現される。
 また、ユーザが禁煙席を示す選択肢に触れたこと、およびユーザが喫煙席を示す選択肢に触れたことが検出されない場合、本実施形態に係る情報処理装置は、禁煙席を示す選択肢と喫煙席を示す選択肢とを決定しない。本実施形態に係る情報処理装置は、文字などによる視覚的な方法や音声による聴覚的な方法などの任意の方法によって、ユーザが席を選択しなかったことを飲食店の店員に通知させる(実行制御処理の一例)。よって、飲食店の店員は、客であるユーザに改めて確認することなく、ユーザを禁煙席または喫煙席に案内することが実現される。
 さらに、ユーザが飲食店に入ることを示す選択肢が提示されていた提示位置を、再度通過したと判定すると、禁煙席を示す選択肢と喫煙席を示す選択肢との提示を解除する。
 例えば上記にように、階層的な選択肢の提示と選択肢の決定とが行われることによって、飲食店において客が席を選択することが可能なユースケース(または、飲食店において店員が客に改めて確認することなく席に案内することが可能なユースケース)が、実現される。なお、階層的な選択肢の提示と選択肢の決定とが行われる場合のユースケース、および当該ユースケースに係る処理が、上記に示す例に限られないことは、言うまでもない。
(本実施形態に係る情報処理装置)
 次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な本実施形態に係る情報処理装置の構成の一例について、説明する。
 図6は、本実施形態に係る情報処理装置100の構成の一例を示すブロック図である。情報処理装置100は、例えば、表示部102と、制御部104とを備える。
 また、情報処理装置100は、例えば、ROM(Read Only Memory。図示せず)や、RAM(Random Access Memory。図示せず)、記憶部(図示せず)、情報処理装置100の使用者が操作可能な操作部(図示せず)、外部装置と通信を行うための通信部(図示せず)などを備えていてもよい。情報処理装置100は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。情報処理装置100は、バッテリなどの内部電源(図示せず)から供給される電力、または、情報処理装置100の外部電源から供給される電力によって、駆動する。
 ROM(図示せず)は、制御部104が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部104により実行されるプログラムなどを一時的に記憶する。
 記憶部(図示せず)は、情報処理装置100が備える記憶手段であり、例えば、“ユーザの移動手段と提示タイミングとが対応付けられているテーブル(またはデータベース)”などの、本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記憶部(図示せず)としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記憶部(図示せず)は、情報処理装置100から着脱可能であってもよい。
 操作部(図示せず)としては、後述する操作入力デバイスが挙げられる。また、通信部(図示せず)としては、後述する通信インタフェースが挙げられる。
[情報処理装置100のハードウェア構成例]
 図7は、本実施形態に係る情報処理装置100のハードウェア構成の一例を示す説明図である。情報処理装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164と、センサ群166とを備える。また、情報処理装置100は、例えば、データの伝送路としてのバス168で各構成要素間を接続する。
 MPU150は、例えば、MPU(Micro Processing Unit)などの演算回路で構成される、1または2以上のプロセッサや、各種処理回路などで構成され、情報処理装置100全体を制御する制御部104として機能する。
 また、MPU150は、情報処理装置100において、例えば、後述する処理部110の役目を果たす。
 また、例えば情報処理装置100が、HMDや眼鏡型のウェアラブルデバイス(アイウェア)など、ユーザの頭部に装着して用いられるデバイスである場合、MPU150は、例えば、ユーザの頭部の姿勢を推定する処理、ユーザの視線を推定する処理、ユーザがいる空間を認識する処理など、ユーザに関連する1または2以上の処理を行ってもよい。
 なお、処理部110は、処理部110の処理を実現可能な専用の(または汎用の)回路(例えば、MPU150とは別体のプロセッサなど)で構成されていてもよい。
 ROM152は、MPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。RAM154は、例えば、MPU150により実行されるプログラムなどを一時的に記憶する。
 記録媒体156は、記憶部(図示せず)として機能し、例えば、“ユーザの移動手段と提示タイミングとが対応付けられているテーブル(またはデータベース)”などの、本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体156としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体156は、情報処理装置100から着脱可能であってもよい。
 入出力インタフェース158は、例えば、操作入力デバイス160や、表示デバイス162を接続する。操作入力デバイス160は、操作部(図示せず)として機能し、また、表示デバイス162は、表示部102として機能する。ここで、入出力インタフェース158としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路などが挙げられる。
 また、操作入力デバイス160は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。操作入力デバイス160としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクタ、あるいは、これらの組み合わせなどが挙げられる。
 また、表示デバイス162は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。表示デバイス162としては、例えば、液晶ディスプレイ(Liquid Crystal Display)や有機ELディスプレイ(Organic Electro-Luminescence Display。または、OLEDディスプレイ(Organic Light Emitting Diode Display)ともよばれる。)などが挙げられる。また、例えば情報処理装置100が、HMDや眼鏡型のウェアラブルデバイス(アイウェア)など、ユーザの頭部に装着して用いられるデバイスである場合、情報処理装置100は、ユーザの右眼、左目ごと表示デバイス162を備えていてもよい。
 なお、入出力インタフェース158が、情報処理装置100の外部の操作入力デバイス(例えば、キーボードやマウスなど)や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス162は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。
 通信インタフェース164は、情報処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、例えばサーバなどの外部装置と、無線または有線で通信を行うための通信部(図示せず)として機能する。ここで、通信インタフェース164としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11ポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。
 センサ群166は、情報処理装置100が備える1または2以上のセンサである。センサ群166を構成するセンサとしては、例えば、“GNSSデバイスなどの位置センサ”、“9DOF(9 Degrees Of Freedom)センサなどの姿勢検出センサ”、“視線検出用の撮像デバイス、空間認識用の撮像デバイス、姿勢検出用の撮像デバイスなどの1または2以上の撮像デバイス”のうちの、1または2以上が挙げられる。なお、センサ群166を構成するセンサの例が、上記に示す例に限られないことは、言うまでもない。
 情報処理装置100は、例えば図7に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置100のハードウェア構成は、図7に示す構成に限られない。
 例えば、“情報処理装置100が、HMDなどのユーザが装着しているデバイスの外部装置(例えば、スマートフォンなどの通信装置や、サーバなどのコンピュータ)である場合”、または、“情報処理装置100に外部の表示デバイスが接続される構成である場合”には、情報処理装置100は、表示デバイス162を備えていなくてもよい。
 また、例えば、“情報処理装置100が、HMDなどのユーザが装着しているデバイスの外部装置(例えば、スマートフォンなどの通信装置や、サーバなどのコンピュータ)である場合”、または、“情報処理装置100に外部のセンサ群が接続される構成である場合”には、情報処理装置100は、センサ群166を備えていなくてもよい。
 また、例えば、情報処理装置100は、接続されている外部の通信デバイスを介して外部装置などと通信を行う場合には、通信インタフェース164を備えていなくてもよい。また、通信インタフェース164は、複数の通信方式によって、1または2以上の外部装置などと通信を行うことが可能な構成であってもよい。
 また、情報処理装置100は、例えば、記録媒体156と操作入力デバイス160との一方または双方を備えない構成をとることが可能である。
 また、情報処理装置100は、例えば、後述する情報処理装置100の適用例に応じた構成をとることが可能である。
 また、例えば、図7に示す構成(または変形例に係る構成)の一部または全部は、1、または2以上のIC(Integrated Circuit)で実現されてもよい。
 再度図6を参照して、情報処理装置100の構成の一例について説明する。表示部102は、情報処理装置100が備える表示手段であり、図1に示すような選択肢に対応するオブジェクトが表示された画面など、様々な画面を表示画面に表示する。
 ここで、表示部102としては、例えば、液晶ディスプレイや有機ELディスプレイなどが挙げられる。また、例えば情報処理装置100が、HMDや眼鏡型のウェアラブルデバイス(アイウェア)など、ユーザの頭部に装着して用いられるデバイスである場合、表示部102は、ユーザの右眼、左目ごとに設けられていてもよい。
 制御部104は、例えばMPUなどで構成され、情報処理装置100全体を制御する役目を果たす。また、制御部104は、例えば、処理部110を備え、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
 なお、以下では、処理部110が本実施形態に係る情報処理方法に係る処理を行う場合を例に挙げるが、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成を有することが可能である。一例を挙げると、本実施形態に係る情報処理装置は、“上記(1)に示す処理(提示制御処理)を行う提示制御部、上記(2)の処理(決定処理)を行う決定部、上記(3)の処理(実行制御処理)を行う実行制御部”を有する。また、本実施形態に係る情報処理装置は、例えば、撮像画像を処理する画像処理部や、ユーザの状態を推定する処理を行う状態推定部などを、有していてもよい。
 処理部110は、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。処理部110は、上記(1)に示す処理(提示制御処理)を行い、選択肢情報に基づいて選択肢の提示を制御する。
 また、処理部110は、例えば、上記(2)の処理(決定処理)と上記(3)の処理(実行制御処理)との一方または双方を、さらに行ってもよい。
 情報処理装置100は、例えば図6に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。したがって、情報処理装置100は、例えば図6に示す構成によって、ユーザの動作に基づく選択肢の決定が可能なユーザインタフェースを実現することができる。
 また、例えば図6に示す構成によって、情報処理装置100は、上述したような本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。
 なお、本実施形態に係る情報処理装置の構成は、図6に示す構成に限られない。
 例えば、本実施形態に係る情報処理装置は、図6に示す処理部110を、制御部104とは個別に備える(例えば、別の処理回路で実現する)ことができる。また、処理部110は、複数の処理回路で実現され、各機能が複数の処理回路で分散して行われてもよい。
 また、本実施形態に係る情報処理方法に係る処理を実現するための構成は、図6に示す構成に限られず、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。
 例えば、“本実施形態に係る情報処理装置が、HMDなどのユーザが装着しているデバイスの外部装置(例えば、スマートフォンなどの通信装置や、サーバなどのコンピュータ)である場合”、または、“本実施形態に係る情報処理装置に外部の表示デバイスが接続される構成である場合”には、本実施形態に係る情報処理装置は、表示部102を備えていなくてもよい。
 また、本実施形態に係る情報処理装置は、通信部(図示せず)などの他の構成要素をさらに備えていてもよい。
 以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、“PC(Personal Computer)やサーバなどのコンピュータ”や、“HMD”、“アイウェア型のウェアラブル装置”、“時計型の装置、腕輪型の装置などのようなユーザの身体に装着して用いられる様々なウェアラブル装置”、“スマートフォンなどの通信装置”、“タブレット型の装置”、“ゲーム機”、“自転車、自動車、電動立ち乗り二輪車などの移動体”など、本実施形態に係る情報処理方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、自動車への情報処理装置の適用の一例を挙げると、自動車に備えられるヘッドアップディスプレイへの適用が挙げられる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ICに適用することもできる。
 また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続(または各装置間の通信)を前提とした処理システムに適用されてもよい。本実施形態に係る情報処理方法に係る処理が行われる処理システムの一例としては、例えば“処理システムを構成する一の装置によって本実施形態に係る情報処理方法に係る処理の一部の処理が行われ、処理システムを構成する他の装置によって本実施形態に係る情報処理方法に係る処理の当該一部の処理以外の処理が行われるシステム”などが、挙げられる。
(本実施形態に係るプログラム)
 コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラム(例えば、“上記(1)に示す処理(提示制御処理)”、“上記(1)に示す処理(提示制御処理)、および上記(2)の処理(決定処理)と上記(3)の処理(実行制御処理)との一方または双方”など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム)が、コンピュータシステムにおいてプロセッサなどにより実行されることによって、ユーザの動作に基づく選択肢の決定が可能なユーザインタフェースを実現することができる。ここで、本実施形態に係るコンピュータシステムとしては、単体のコンピュータ、または、複数のコンピュータが挙げられる。本実施形態に係るコンピュータシステムによって、本実施形態に係る情報処理方法に係る一連の処理が行われる。
 また、コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータシステムにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、上記では、コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
 上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 ユーザの移動に応じて決定される選択肢の内容に基づいて、前記選択肢の提示処理を変更する処理部を備える、情報処理装置。
(2) 
 前記選択肢は、前記ユーザの移動に関する情報に基づいて決定される、(1)に記載の情報処理装置。
(3)
 前記処理部は、前記選択肢が場所に紐づいているか否かに基づいて、前記提示処理を変更する、(2)に記載の情報処理装置。
(4)
 前記移動に関する情報は、前記ユーザの位置に関する情報を含み、
 前記選択肢が場所に紐づいている場合、前記処理部は、前記ユーザの位置に基づいて提示される選択肢を決定し、決定された前記選択肢に対応する前記提示処理を行う、請求項3に記載の情報処理装置。
(5)
 前記処理部は、
 前記ユーザの位置に対応する空間の認識結果に基づいて、場所に紐づいている前記選択肢を提示することが可能な第1の提示位置を決定し、
 決定された前記第1の提示位置に、前記決定された選択肢が提示されるように前記提示処理を行う、(4)に記載の情報処理装置。
(6) 
 前記移動に関する情報は、前記ユーザの移動速度と前記ユーザの移動加速度との少なくとも一方を含み、
 前記処理部は、前記移動速度と前記移動加速度との少なくとも一方に基づいて、前記決定された選択肢の前記提示処理を変更する、(5)に記載の情報処理装置。
(7)
 前記処理部は、
 前記移動速度が速いまたは前記移動加速度が速い程、前記決定された選択肢が提示される第1の提示タイミングを、早く設定し、
 設定された前記第1の提示タイミングで、前記決定された選択肢の前記提示処理を行う
、(6)に記載の情報処理装置。
(8)
 前記処理部は、前記移動に関する情報に基づいて、前記決定された選択肢の第2の提示タイミングを決定し、
 決定された前記第2の提示タイミングで、前記決定された選択肢の前記提示処理を行う、(4)に記載の情報処理装置。
(9)
 前記移動に関する情報は、前記ユーザの位置に関する情報を含み、
前記選択肢が場所に紐づいていない場合、前記処理部は、前記ユーザの位置に対応する基準位置に基づく第2の提示位置に、場所に紐づいていない前記選択肢が提示されるように、前記提示処理を行う、(3)に記載の情報処理装置。
(10)
 前記処理部は、前記基準位置に基づき特定される空間の認識結果に基づいて、前記選択肢を提示することが可能な提示位置を、前記第2の提示位置として決定する、(9)に記載の情報処理装置。
(11)
 前記処理部は、さらに、場所に紐づいていない前記選択肢に対する優先度に基づいて、前記第2の提示位置を決定する、(9)、または(10)に記載の情報処理装置。
(12)
 前記処理部は、前記基準位置に基づき特定される空間の認識結果に基づいて、提示可能な前記選択肢の数を決定する、(9)~(11)のいずれか1つに記載の情報処理装置。
(13)
 前記処理部は、前記空間の認識結果、および決定された前記選択肢の数に基づいて、提示される場所に紐づいていない前記選択肢の間隔を決定する、(12)に記載の情報処理装置。
(14)
 前記処理部は、
 前記移動に関する情報に基づいて、場所に紐づいていない前記選択肢の第3の提示タイミングを決定し、
 決定された前記第3の提示タイミングで場所に紐づいていない前記選択肢が提示されるように前記提示処理を行う、(9)~(13)のいずれか1つに記載の情報処理装置。
(15)
 前記処理部は、前記移動に関する情報に基づいて、場所に紐づいていない前記選択肢の提示サイズを決定し、
 場所に紐づいていない前記選択肢が決定された前記提示サイズで提示されるように前記提示処理を行う、(9)~(14)のいずれか1つに記載の情報処理装置。
(16)
 前記処理部は、場所に紐づいていない、提示された前記選択肢に対する前記ユーザの注視を判定することにより、前記第2の提示位置を制御する、(9)~(15)のいずれか1つに記載の情報処理装置。
(17)
 前記処理部は、前記ユーザにより注視されたと判定された場所に紐づいていない前記選択肢が前記ユーザに近づくように前記第2の提示位置を変更する、(16)に記載の情報処理装置。
(18)
 前記移動に関する情報は、実空間における前記ユーザと、仮想空間における前記仮想空間に配置された仮想のオブジェクトとの仮想的な位置関係を示す情報を含み、
 前記処理部は、前記仮想的な位置関係が変化した場合に、選択肢に対する決定判定を行う、(2)~(17)のいずれか1つに記載の情報処理装置。
(19)
 ユーザの移動に応じて決定される選択肢の内容に基づいて、前記選択肢の提示処理を変更するステップを有する、情報処理装置により実行される情報処理方法。
(20)
 ユーザの移動に応じて決定される選択肢の内容に基づいて、前記選択肢の提示処理を変更する機能を、コンピュータに実現させるためのプログラム。
 100  情報処理装置
 102  表示部
 104  制御部
 110  処理部
 S1、S2  選択肢

Claims (20)

  1.  ユーザの移動に応じて決定される選択肢の内容に基づいて、前記選択肢の提示処理を変更する処理部を備える、情報処理装置。
  2.  前記選択肢は、前記ユーザの移動に関する情報に基づいて決定される、請求項1に記載の情報処理装置。
  3.  前記処理部は、前記選択肢が場所に紐づいているか否かに基づいて、前記提示処理を変更する、請求項2に記載の情報処理装置。
  4.  前記移動に関する情報は、前記ユーザの位置に関する情報を含み、
     前記選択肢が場所に紐づいている場合、前記処理部は、前記ユーザの位置に基づいて提示される選択肢を決定し、決定された前記選択肢に対応する前記提示処理を行う、請求項3に記載の情報処理装置。
  5.  前記処理部は、
     前記ユーザの位置に対応する空間の認識結果に基づいて、場所に紐づいている前記選択肢を提示することが可能な第1の提示位置を決定し、
     決定された前記第1の提示位置に、前記決定された選択肢が提示されるように前記提示処理を行う、請求項4に記載の情報処理装置。
  6.  前記移動に関する情報は、前記ユーザの移動速度と前記ユーザの移動加速度との少なくとも一方を含み、
     前記処理部は、前記移動速度と前記移動加速度との少なくとも一方に基づいて、前記決定された選択肢の前記提示処理を変更する、請求項5に記載の情報処理装置。
  7.  前記処理部は、
     前記移動速度が速いまたは前記移動加速度が速い程、前記決定された選択肢が提示される第1の提示タイミングを、早く設定し、
     設定された前記第1の提示タイミングで、前記決定された選択肢の前記提示処理を行う
    、請求項6に記載の情報処理装置。
  8.  前記処理部は、前記移動に関する情報に基づいて、前記決定された選択肢の第2の提示タイミングを決定し、
     決定された前記第2の提示タイミングで、前記決定された選択肢の前記提示処理を行う、請求項4に記載の情報処理装置。
  9.  前記移動に関する情報は、前記ユーザの位置に関する情報を含み、
    前記選択肢が場所に紐づいていない場合、前記処理部は、前記ユーザの位置に対応する基準位置に基づく第2の提示位置に、場所に紐づいていない前記選択肢が提示されるように、前記提示処理を行う、請求項3に記載の情報処理装置。
  10.  前記処理部は、前記基準位置に基づき特定される空間の認識結果に基づいて、前記選択肢を提示することが可能な提示位置を、前記第2の提示位置として決定する、請求項9に記載の情報処理装置。
  11.  前記処理部は、さらに、場所に紐づいていない前記選択肢に対する優先度に基づいて、前記第2の提示位置を決定する、請求項9に記載の情報処理装置。
  12.  前記処理部は、前記基準位置に基づき特定される空間の認識結果に基づいて、提示可能な前記選択肢の数を決定する、請求項9に記載の情報処理装置。
  13.  前記処理部は、前記空間の認識結果、および決定された前記選択肢の数に基づいて、提示される場所に紐づいていない前記選択肢の間隔を決定する、請求項12に記載の情報処理装置。
  14.  前記処理部は、
     前記移動に関する情報に基づいて、場所に紐づいていない前記選択肢の第3の提示タイミングを決定し、
     決定された前記第3の提示タイミングで場所に紐づいていない前記選択肢が提示されるように前記提示処理を行う、請求項9に記載の情報処理装置。
  15.  前記処理部は、前記移動に関する情報に基づいて、場所に紐づいていない前記選択肢の提示サイズを決定し、
     場所に紐づいていない前記選択肢が決定された前記提示サイズで提示されるように前記提示処理を行う、請求項9に記載の情報処理装置。
  16.  前記処理部は、場所に紐づいていない、提示された前記選択肢に対する前記ユーザの注視を判定することにより、前記第2の提示位置を制御する、請求項9に記載の情報処理装置。
  17.  前記処理部は、前記ユーザにより注視されたと判定された場所に紐づいていない前記選択肢が前記ユーザに近づくように前記第2の提示位置を変更する、請求項16に記載の情報処理装置。
  18.  前記移動に関する情報は、実空間における前記ユーザと、仮想空間における前記仮想空間に配置された仮想のオブジェクトとの仮想的な位置関係を示す情報を含み、
     前記処理部は、前記仮想的な位置関係が変化した場合に、選択肢に対する決定判定を行う、請求項2に記載の情報処理装置。
  19.  ユーザの移動に応じて決定される選択肢の内容に基づいて、前記選択肢の提示処理を変更するステップを有する、情報処理装置により実行される情報処理方法。
  20.  ユーザの移動に応じて決定される選択肢の内容に基づいて、前記選択肢の提示処理を変更する機能を、コンピュータに実現させるためのプログラム。
PCT/JP2017/018754 2016-08-24 2017-05-18 情報処理装置、情報処理方法、およびプログラム WO2018037641A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-163491 2016-08-24
JP2016163491 2016-08-24

Publications (1)

Publication Number Publication Date
WO2018037641A1 true WO2018037641A1 (ja) 2018-03-01

Family

ID=61245779

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/018754 WO2018037641A1 (ja) 2016-08-24 2017-05-18 情報処理装置、情報処理方法、およびプログラム

Country Status (1)

Country Link
WO (1) WO2018037641A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002297647A (ja) * 2001-03-30 2002-10-11 Toshiba Corp 位置情報表示装置、位置情報管理システムおよび同方法
JP2010066042A (ja) * 2008-09-09 2010-03-25 Toshiba Corp 画像照射システムおよび画像照射方法
JP2012187178A (ja) * 2011-03-09 2012-10-04 Fujitsu Ltd 視線検出装置及び視線検出方法
JP2014217566A (ja) * 2013-05-08 2014-11-20 株式会社テクノクラフト 宝探しゲーム配信システム
JP2016004246A (ja) * 2014-06-19 2016-01-12 三菱電機株式会社 ラベル配置装置、ラベル配置方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002297647A (ja) * 2001-03-30 2002-10-11 Toshiba Corp 位置情報表示装置、位置情報管理システムおよび同方法
JP2010066042A (ja) * 2008-09-09 2010-03-25 Toshiba Corp 画像照射システムおよび画像照射方法
JP2012187178A (ja) * 2011-03-09 2012-10-04 Fujitsu Ltd 視線検出装置及び視線検出方法
JP2014217566A (ja) * 2013-05-08 2014-11-20 株式会社テクノクラフト 宝探しゲーム配信システム
JP2016004246A (ja) * 2014-06-19 2016-01-12 三菱電機株式会社 ラベル配置装置、ラベル配置方法及びプログラム

Similar Documents

Publication Publication Date Title
US10169923B2 (en) Wearable display system that displays a workout guide
US9761057B2 (en) Indicating out-of-view augmented reality images
US20200097093A1 (en) Touch free interface for augmented reality systems
US9898863B2 (en) Information processing device, information processing method, and program
US9329678B2 (en) Augmented reality overlay for control devices
ES2759054T3 (es) Región basada en gestos del cuerpo humano y selección de volumen para HMD
EP4052115A1 (en) Porting physical object into virtual reality
CN109997098B (zh) 装置、相关联的方法和相关联的计算机可读介质
WO2013116699A1 (en) Accessing applications in a mobile augmented reality environment
KR20150110257A (ko) 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스
WO2018131238A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JPWO2017187708A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20160121287A (ko) 이벤트에 기반하여 화면을 디스플레이하는 방법 및 장치
WO2020247908A1 (en) Artificial reality system having a digit-mapped self-haptic input method
WO2017169273A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20190294314A1 (en) Image display device, image display method, and computer readable recording device
US11227494B1 (en) Providing transit information in an augmented reality environment
WO2017169400A1 (ja) 情報処理装置、情報処理方法、およびコンピュータ可読媒体
JPWO2017169158A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN118103799A (zh) 与远程设备的用户交互
KR20220078715A (ko) 무주의 조건 동안 그래픽 사용자 인터페이스에 영향을 미치는 정보의 상태 변화 연기
WO2018198503A1 (ja) 情報処理装置、情報処理方法、およびプログラム
EP3346375B1 (en) Program, recording medium, content provision device, and control method
WO2018037645A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2018037641A1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17843129

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 17843129

Country of ref document: EP

Kind code of ref document: A1