WO2020026986A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2020026986A1
WO2020026986A1 PCT/JP2019/029467 JP2019029467W WO2020026986A1 WO 2020026986 A1 WO2020026986 A1 WO 2020026986A1 JP 2019029467 W JP2019029467 W JP 2019029467W WO 2020026986 A1 WO2020026986 A1 WO 2020026986A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
user
action
display
agent
Prior art date
Application number
PCT/JP2019/029467
Other languages
English (en)
French (fr)
Inventor
賢次 杉原
真里 斎藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/250,432 priority Critical patent/US20210256263A1/en
Publication of WO2020026986A1 publication Critical patent/WO2020026986A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • a technique for providing an image according to user information to a user has been known.
  • a technique for providing an image according to user's behavior information to a user has been disclosed (for example, see Patent Document 1).
  • a technique is known in which user information is obtained and proposal information corresponding to the obtained user information is provided to the user as text data.
  • the proposal information includes unnecessary information for the user, and the proposal information is provided to the user as text data, the user may be uncomfortable. Therefore, it is desired to provide a technique capable of making a proposal to a user while reducing discomfort to the user.
  • a behavior information acquisition unit that acquires behavior information of a user, and based on the behavior information, acquires proposal information to the user related to a surrounding environment of the user at the time of acquiring the behavior information.
  • a proposal information acquisition unit that performs, based on the proposal information, a display control unit that controls a display device to display an avatar object that performs an action according to the proposal information in the user's field of view.
  • acquiring behavior information of a user and acquiring proposal information to the user related to a surrounding environment of the user at the time of acquiring the behavior information, based on the behavior information, And controlling a display device based on the suggestion information to display an avatar object that performs an action according to the suggestion information in the field of view of the user.
  • a computer a behavior information acquisition unit that acquires behavior information of a user, and a proposal to the user related to a surrounding environment of the user at the time of acquiring the behavior information based on the behavior information.
  • a proposal information acquisition unit that acquires information; and a display control unit that controls a display device to display, based on the proposal information, an avatar object that performs an action according to the proposal information within a field of view of the user.
  • a program for functioning as an information processing device is provided.
  • a technology that can make a proposal to a user while reducing discomfort to the user.
  • the above effects are not necessarily limited, and any of the effects shown in the present specification or other effects that can be grasped from the present specification are used together with or in place of the above effects. May be played.
  • FIG. 1 is a diagram illustrating a configuration example of an information processing system according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating a functional configuration example of an information processing apparatus.
  • FIG. 3 is a diagram illustrating a detailed configuration example of a control unit. It is a figure showing the example of composition of proposal definition information.
  • FIG. 4 is a diagram illustrating a configuration example of agent definition information. It is a figure showing an example of agent model information corresponding to action with thought. It is a figure showing the example of composition of agent model information corresponding to perceptual action.
  • FIG. 3 is a diagram illustrating a configuration example of map information. It is a figure for explaining the 1st example of making an agent perform action with thought.
  • FIG. 9 is a flowchart illustrating an example of an operation of the information processing device. 9 is a flowchart illustrating an example of an operation of the information processing device.
  • FIG. 3 is a block diagram illustrating a hardware configuration example of an information processing device.
  • a plurality of constituent elements having substantially the same or similar functional configuration may be distinguished from each other by the same reference numerals followed by different numbers. However, when it is not necessary to particularly distinguish each of a plurality of components having substantially the same or similar functional configuration, only the same reference numeral is assigned. Further, similar components in different embodiments may be distinguished by adding different alphabets after the same reference numerals. However, when it is not necessary to particularly distinguish each similar component, only the same reference numeral is assigned.
  • the proposal information includes unnecessary information for the user, and the proposal information is provided to the user as text data, the user may be uncomfortable. Therefore, in this specification, a technique that can make a proposal to a user while reducing discomfort to the user will be mainly described.
  • an object that performs an action according to the proposal information is displayed.
  • the proposal information is provided to the user indirectly via the object, so that the user is provided with a proposal while reducing discomfort to the user. It can be carried out.
  • an avatar object is used as an example of an object that performs an action according to proposal information.
  • the object that performs an action according to the proposal information is not limited to the avatar object.
  • an object that performs an action according to the proposal information may be referred to as an “agent”.
  • An agent may also mean an object that performs processing on behalf of a user.
  • the agent according to the embodiment of the present disclosure is not necessarily an object that performs processing on behalf of a user, and the type of processing performed by the agent according to the embodiment of the present disclosure is not particularly limited.
  • the agent is an object (virtual object) displayed in the display area of the display unit 150 (FIG. 2).
  • the agent may be a real object that can move independently.
  • the real object may be made movable in any manner.
  • the real object includes a rotating body (for example, a tire, a wheel, a roller, or the like)
  • the real object can move on a surface (such as a floor surface) by driving the rotating body to rotate. Is also good.
  • the real object includes a foot
  • the real object may be movable on a surface (eg, on a floor) by driving the foot to walk.
  • FIG. 1 is a diagram illustrating a configuration example of an information processing system according to an embodiment of the present disclosure.
  • the information processing system according to the embodiment of the present disclosure includes an information processing device 10.
  • the information processing device 10 is used by a user 20.
  • the information processing apparatus 10 is an HMD (Head Mounted Display) mounted on the head of the user 20.
  • HMD Head Mounted Display
  • the information processing device 10 is an HMD, it is possible to easily move the field of view even if the angle of view is restricted.
  • the information processing apparatus 10 is a see-through HMD.
  • the information processing device 10 is not limited to the HMD.
  • the information processing device 10 may be a smartphone, a mobile phone, a tablet terminal, a camera, or a PC (Personal Computer). Or another device.
  • the user 20 can visually recognize the real space.
  • the information processing apparatus 10 forms the visual field 50-1, and the user 20 can visually recognize the real space through the visual field 50-1.
  • Any object may exist in the real space.
  • a real object 31-1 (restaurant) exists in a real space as an example of an object different from the agent.
  • the real object 31-1 (restaurant) is only an example of the object. Therefore, another object may exist in the real space instead of the real object 31-1 (restaurant).
  • FIG. 2 is a diagram illustrating an example of a functional configuration of the information processing apparatus 10.
  • the information processing device 10 includes a sensor unit 110, a control unit 120, a storage unit 130, a communication unit 140, and a display unit 150. Further, the information processing device 10 may be connected to a server device (not shown) via a communication network.
  • the communication network includes, for example, the Internet.
  • the sensor unit 110 is configured to include a sensor, and detects user behavior information using the sensor.
  • the user's action information includes a user's action history (for example, walking, getting on a train, etc.), an action tendency estimated from the user's action history, a user's movement, a time at which the user exists (for example, the current time), The position of the user (for example, the current position of the user), the line of sight of the user, the biological information of the user, the voice of the user, and the like may be included.
  • the sensor unit 110 is configured to include at least one of an acceleration sensor and a gyro sensor
  • the behavior history of the user and the movement of the user are detected based on at least one of the acceleration sensor and the gyro sensor. May be.
  • the clock may detect the time at which the user is present (for example, the current time).
  • the sensor unit 110 includes a position sensor (for example, a GPS (Global Positioning System) sensor or the like)
  • the position of the user for example, the current position of the user
  • the position sensor for example, a GPS (Global Positioning System) sensor or the like
  • the user's line of sight may be detected based on an image captured by the image sensor.
  • the center position of the pupil and the positional relationship between the Purkinje images are detected from the image captured by the image sensor, and the line of sight is detected based on the positional relationship.
  • the user's line of sight may be detected in any manner.
  • the posture of the user's head may be detected as the user's line of sight.
  • biological information may be detected by the biological sensor.
  • the biological sensor includes an electroencephalogram sensor
  • the biological information may include an electroencephalogram detected by the electroencephalogram sensor.
  • the sensor unit 110 is configured to include a microphone, a voice of the user may be detected by the microphone.
  • the sensor unit 110 has a function of detecting the position and orientation of the user's head (sensor unit 110).
  • the sensor unit 110 is configured to include a position sensor (for example, a GPS (Global Positioning System) sensor or the like), and similarly to the position of the user (for example, the current position of the user), the position of the user's head is determined by the position sensor. The position may be detected.
  • a position sensor for example, a GPS (Global Positioning System) sensor or the like
  • the position of the user for example, the current position of the user
  • the position may be detected.
  • the sensor unit 110 may include a geomagnetic sensor, and detect the posture of the user's head using the geomagnetic sensor. Further, in addition to the geomagnetic sensor, or instead of the geomagnetic sensor, the sensor unit 110 may detect the posture of the user's head with higher accuracy based on at least one of the acceleration sensor and the gyro sensor. Good. Alternatively, when a camera is installed outside the information processing apparatus 10, a face or body orientation recognized from an image captured by the camera may be detected as the posture of the user's head.
  • the communication unit 140 includes a communication circuit, and acquires data from a server device (not shown) connected to the communication network and provides data to the server device (not shown) via the communication network. It has a function to perform.
  • the communication unit 140 is configured by a communication interface.
  • the number of server devices (not shown) connected to the communication network may be one or more.
  • the storage unit 130 is a recording medium that includes a memory and stores a program executed by the control unit 120 and data necessary for executing the program. Further, storage unit 130 temporarily stores data for calculation by control unit 120.
  • the storage unit 130 includes a magnetic storage device, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the display unit 150 has a function of displaying various screens.
  • the type of the display unit 150 is not limited.
  • the display unit 150 may be a display capable of performing a display visible to the user, and may be a liquid crystal display or an organic EL (Electro-Luminescence) display.
  • the control unit 120 controls each unit of the information processing device 10.
  • the control unit 120 may include, for example, one or a plurality of CPUs (Central Processing Units).
  • CPUs Central Processing Units
  • the control unit 120 is configured by a processing device such as a CPU, the processing device may be configured by an electronic circuit.
  • the control unit 120 can be realized by executing a program by such a processing device.
  • FIG. 3 is a diagram illustrating a detailed configuration example of the control unit 120.
  • the control unit 120 includes a context acquisition unit 121, a proposal information acquisition unit 122, an environment information acquisition unit 123, an attribute information acquisition unit 124, and a display control unit 129. Details of each of these functional blocks will be described later.
  • FIG. 4 is a diagram showing a configuration example of the proposal definition information 131.
  • the proposal definition information 131 includes a context and proposal information associated with each other.
  • the above-described behavior information for example, the behavior history of the user (which may include the current behavior), the behavior tendency of the user, the behavior of the user, the time at which the user exists (for example, the current time), the position of the user) (Eg, the user's current position), the user's line of sight, the user's biometric information, the user's voice, etc., as well as the user's schedule information (eg, information indicating what time the user is going to do what, etc.) ), A user's profile (eg, the user's gender, age, hobbies, etc.).
  • the behavior information for example, the behavior history of the user (which may include the current behavior), the behavior tendency of the user, the behavior of the user, the time at which the user exists (for example, the current time), the position of the user) (Eg, the user's current
  • FIG. 5 is a diagram showing a configuration example of the agent definition information 132.
  • the agent definition information 132 is configured by associating proposal information, action of the agent, action type, and perception type.
  • the action of the agent indicates an action to be performed by the agent.
  • the action type indicates the type of action to be performed by the agent.
  • the behavior type may include a behavior involving “thinking” and a behavior “perceiving” (hereinafter, also simply referred to as “perceived behavior”).
  • FIG. 6 is a diagram showing an example of agent model information 133 corresponding to an action involving thinking.
  • the agent model information 133 corresponding to the action involving thinking is configured by associating the user attribute information with the agent model.
  • “a humanoid agent dressed as an event participant” is associated with the user attribute information “event participant”.
  • user attribute information is not limited to event participants.
  • the attribute information of the user may include gender information of the user, or may include age information of the user.
  • FIG. 7 is a diagram showing a configuration example of the agent model information 134 corresponding to the perceived behavior.
  • the agent model information 134 corresponding to the perceived behavior includes a perception type and an agent model associated with each other.
  • the perceptual type indicates the type of perceptual action.
  • FIG. 7 shows “smell” as an example of the perception type, but the perception type is not limited to “smell”.
  • the perceptual type may include visual, auditory, tactile, or taste.
  • the agent model is not limited to the “dog-type agent”.
  • FIG. 8 is a diagram showing a configuration example of the map information 135.
  • the map information 135 is configured by associating sensor data with information on a real object.
  • An example of the sensor data is position information of the user (for example, latitude and longitude).
  • the information on the real object includes information on the type of the real object.
  • the type of the real object is not limited.
  • the type of the real object may be the type of a store (for example, a convenience store, a coffee shop, a restaurant, etc.), or the type of a facility (for example, a station).
  • the context acquisition unit 121 acquires the context of the user.
  • the context acquisition unit 121 can also function as an activity information acquisition unit that acquires activity information as an example of a context.
  • the proposal information obtaining unit 122 obtains, based on the context obtained by the context obtaining unit 121, the proposal information to the user related to the surrounding environment of the user at the time of obtaining the context.
  • the display control unit 129 controls the display unit 150 (display device) based on the proposal information so as to display an agent that performs an action according to the proposal information in the user's field of view.
  • the proposal information is indirectly provided to the user via the object, as compared with the case where the proposal information is provided to the user as text data. You can make a suggestion. Further, according to this configuration, even if an explicit input is not made by the user, the proposal information is acquired based on the automatically acquired context, so that the burden on the user input is reduced.
  • FIGS. 9 to 15 an example of controlling an agent will be described with reference to FIGS. 9 to 15 (and also to FIGS. 1 to 8 as appropriate). Specifically, first, an example in which the agent performs an action with thought will be described with reference to FIGS. 9 to 11 (and also to FIGS. 1 to 8 as appropriate). Next, an example in which the agent performs a perceptual action will be described with reference to FIGS. 12 to 15 (and FIGS. 1 to 8 as appropriate).
  • FIG. 9 is a diagram for describing a first example in which an agent performs an action with thought.
  • a field of view 50-2 of the user 20 is shown.
  • the real object 31-1 (restaurant) exists in the real space, and the real object 31-1 (restaurant) exists in the visual field 50-2. It is also assumed that, as map information 135 (FIG. 8), information in which the type (restaurant) of the real object is associated with the position information of the real object is registered.
  • the proposal definition information 131 (FIG. 4) the context “the current position of the user is within a predetermined distance from the position of the restaurant and the current time belongs to the lunch time zone (11:00 to 13:00)” It is assumed that information is associated with the proposal information “eating at a restaurant”. Also, as the agent definition information 132 (FIG. 5), information in which the proposal information “meals at a restaurant”, the action of the agent “heads for the restaurant”, and the action type “action with thought” are registered is registered. Assume that
  • the environment information acquisition unit 123 acquires environment information. More specifically, when the sensor unit 110 detects the position and orientation of the user, the environment information acquisition unit 123 determines the user and the real object 31 based on the position and orientation of the user and the map information 135 (FIG. 8). -1 (restaurant) (for example, the position of the real object 31-1 (restaurant) in the field of view of the user) is acquired as environment information.
  • the relative positional relationship between the user and the real object 31-1 (restaurant) may be obtained in any manner.
  • the relative positional relationship between the user and the real object 31-1 (restaurant) may be directly recognized from the captured image in the user's field of view.
  • the environmental information is not limited to the relative positional relationship between the user and the real object 31-1 (restaurant).
  • the environment information may be environmental sound around the user detected by a microphone, or illuminance detected by an illuminance sensor.
  • the context acquisition unit 121 acquires that the position of the user (current position) is within a predetermined distance from the position of the restaurant based on the environment information. Further, the context acquisition unit 121 acquires, based on the current time, that the current time belongs to the noon time zone (11:00 to 13:00).
  • the proposal information acquisition unit 122 acquires proposal information for the user related to the surrounding environment of the user. More specifically, based on the proposal definition information 131 (FIG. 4), the proposal information acquisition unit 122 determines that the context “the position of the user (current position) is within a predetermined distance from the position of the restaurant, and It obtains the proposal information "Eating at a restaurant" corresponding to "the time belongs to the lunch time zone (11:00 to 13:00)".
  • the display control unit 129 determines the behavior of the agent corresponding to the proposal information “Eat at a restaurant” “heading for a restaurant” and the behavior type “action with thinking”. To get.
  • the display control unit 129 displays the agents (the agent 32-1 and the agent 32-2) performing the action of the agent “heading for the restaurant” acquired by the proposal information acquiring unit 122 in the visual field 50-2. 150 is controlled. Note that the number of agents displayed in the visual field 50-2 is not limited to two, and may be one or three or more.
  • the attribute information acquisition unit 124 acquires the user attribute information.
  • the display control unit 129 acquires an agent corresponding to the user attribute information acquired by the attribute information acquisition unit 124. Then, the display control unit 129 controls the display unit 150 to display the acquired agent.
  • the user attribute information may be a context on which the proposal is based.
  • the proposal information is acquired based on the context that the event is scheduled to participate, even if an agent having the appearance (for example, clothes, belongings, etc.) that the attribute information “event participant” often has is displayed. Good.
  • the attribute information “event participant” may be replaced with gender, age, or the like.
  • the agent accompanying the user when the user performs the action may be displayed.
  • the attribute information obtaining unit 124 obtains the user attribute information “event participant”, and the display control unit 129 sets the user attribute information “event participant” based on the agent model information 133 corresponding to the action involving thinking. It is assumed that an agent model “model of an event participant's clothing” corresponding to “” is acquired. At this time, the display control unit 129 displays the agent model “the model of the clothes of the event participants” (the agent 32-1 and the agent 32-2) performing the agent's action “heading for the restaurant” in the visual field 50-2. The display unit 150 is controlled to perform the operation.
  • the display control unit 129 displays a comment 41-1 related to the proposal information “Eat at a restaurant” in association with the agent 32-2.
  • the comment 41-1 may be output in any manner, or may be output as audio.
  • the user attribute information includes event participants.
  • the user attribute information is not limited to an example including event participants.
  • the user attribute information may include the clothing of the user, or may include gender information of the user.
  • the display control unit 129 acquires an agent corresponding to the user attribute information acquired by the attribute information acquiring unit 124 (for example, an agent corresponding to attribute information substantially the same as the user attribute information). Then, the display control unit 129 controls the display unit 150 to display the acquired agent. This makes it possible to make more effective proposals to the user by utilizing the psychological characteristics of the user that it is easy to follow the actions of a person similar to the user.
  • the attribute information acquisition unit 124 acquires the user attribute information “user's clothing”, and the display control unit 129 determines the agent model “substantially the same as the user's clothing” corresponding to the user attribute information “user's clothing”.
  • the display unit 150 may be controlled to display the "model of clothes”.
  • the attribute information obtaining unit 124 obtains the user attribute information “user gender information”, and the display control unit 129 sets the agent model “gender of the same gender as the user gender” corresponding to the user attribute information “user gender information”.
  • the display unit 150 may be controlled to display “model”.
  • User attribute information may be obtained in any manner.
  • clothes recognized from the image captured by the sensor unit 110 may be acquired as the user attribute information.
  • clothes corresponding to the schedule information registered within a predetermined time from the current time may be acquired as the user attribute information.
  • the schedule information of the event participation is registered as the today's schedule information
  • the clothes often worn when participating in the event may be acquired as the user attribute information.
  • gender information or age information of a user may be acquired as user attribute information from a profile registered in advance.
  • FIG. 10 is a diagram for explaining a second example in which the agent performs an action involving thinking.
  • a field of view 50-3 of the user 20 is shown.
  • a real object 31-2 (convenience store) exists in the real space, and a real object 31-2 (convenience store) exists in the visual field 50-3.
  • map information 135 FIG. 8
  • information in which the type (convenience store) of the real object is associated with the position information of the real object is registered.
  • the proposal definition information 131 includes the context “the current location of the user is within a predetermined distance from the location of the convenience store and the current weather forecast is a forecast for raining”, and the proposal information “purchase rain gear”. "Is assumed to be registered.
  • the agent definition information 132 information in which proposal information “buy rain gear”, agent behavior “present in front of a convenience store”, and behavior type “thinking behavior” are registered. Assume the case.
  • the proposal definition information 131 the context "the current position of the user is within a predetermined distance from the position of the convenience store and the schedule information of the event participation is registered as today's schedule information" and the proposal information " It is assumed that information associated with "purchase a penlight battery” is registered.
  • the agent definition information 132 information in which proposal information “buy a penlight battery”, agent behavior “present in front of a convenience store”, and activity type “thinking behavior” are registered. Assume that it is done.
  • the environment information acquisition unit 123 acquires environment information. More specifically, the environment information acquisition unit 123 determines the relative positional relationship between the user and the real object 31-2 (convenience store) (for example, the position of the real object 31-2 (convenience store) in the user's field of view). Get as environment information.
  • the context acquisition unit 121 acquires that the position of the user (current position) is within a predetermined distance from the position of the real object 31-2 (convenience store) based on the environment information. Further, the context acquisition unit 121 acquires, based on the weather forecast (for example, obtained from a predetermined Web page), that today's weather forecast is a rainy forecast.
  • the proposal information acquisition unit 122 acquires proposal information for the user related to the surrounding environment of the user.
  • the surrounding environment of the user includes the weather around the user.
  • the proposal information acquisition unit 122 determines that the context “user's position (current position) is within a predetermined distance from the convenience store position, and today's weather forecast is It acquires proposal information "buy rain gear” corresponding to "it is a forecast to rain”.
  • the display control unit 129 acquires the agent action “present in front of the convenience store” and the action type “action with thinking” corresponding to the proposal information “buy rain gear”. I do.
  • the display control unit 129 controls the display unit 150 to display an agent performing an action related to weather.
  • the action related to weather may include an action related to the purchase of rain gear (eg, an action existing in front of a convenience store).
  • the display control unit 129 executes the agent (the agent 32-3, the agent 32-4, and the agent 32-6) which performs the action of the agent acquired by the proposal information acquiring unit 122 "existing in front of the convenience store". ) Is displayed in the visual field 50-3.
  • the action related to the purchase of rain gear may be an action of entering a convenience store or an action coming out of a convenience store, instead of the action existing in front of the convenience store.
  • the convenience store is merely an example of a store that sells rain gear, the convenience store may be replaced with another store that sells rain gear.
  • the context acquisition unit 121 acquires from the storage unit 130 that event participation schedule information is registered as today's schedule information.
  • the proposal information acquisition unit 122 acquires proposal information for the user related to the surrounding environment of the user. More specifically, based on the proposal definition information 131, the proposal information acquisition unit 122 determines that the context “the current position of the user is within a predetermined distance from the position of the convenience store, and The proposal information "Purchase a penlight battery" corresponding to "the schedule information is registered" is acquired.
  • the display control unit 129 determines, based on the agent definition information 132, the behavior of the agent corresponding to the proposal information "Purchase a penlight battery" "Existing in front of the convenience store” and the behavior type "Behavior with thinking". To get.
  • the display control unit 129 controls the display unit 150 to display an agent performing a purchasing action related to the surrounding environment. More specifically, the display control unit 129 controls the display unit 150 so as to arrange an agent in front of a store where purchasing behavior can be performed.
  • the display control unit 129 displays, within the visual field 50-3, an agent (agent 32-5) that performs the action of the agent “present in front of the convenience store” acquired by the proposal information acquisition unit 122.
  • the display unit 150 is controlled as follows.
  • the purchase behavior may be an action of entering the convenience store or an action coming out of the convenience store, instead of the behavior existing in front of the convenience store.
  • the convenience store since the convenience store is only an example of a store that can perform a purchasing action, the convenience store may be replaced with another store that can perform a purchasing action.
  • the comment 41-2 related to the proposal information “purchase rain gear” is displayed by the display control unit 129 in association with the agent 32-3, and related to the proposal information “purchase rain gear”.
  • the comment 41-3 is displayed in association with the agent 32-4, and the comment 41-5 associated with the proposal information "purchase rain gear” is displayed in association with the agent 32-6.
  • a comment 41-4 related to the proposal information “Purchase a penlight battery” is displayed in association with the agent 32-5.
  • the comments 41-2 to 41-5 may be output in any manner or may be output as audio.
  • the comment corresponding to the agent may be output.
  • all comments can be made using the phenomenon that a person can naturally hear voices of interest (the so-called “cocktail party effect”). May be output simultaneously as audio.
  • FIG. 11 is a diagram for explaining a third example in which the agent performs an action with thinking.
  • a field of view 50-4 of the user 20 is shown. It is assumed that information in which the context “fatigue state” is associated with the proposal information “recovery” is registered as the proposal definition information 131. It is also assumed that information in which proposal information “recovery”, agent action “recovery action”, and action type “action with thinking” are associated as agent definition information 132 is registered.
  • the context acquisition unit 121 acquires state information indicating the fatigue state of the user 20 as an example of user behavior information.
  • the walking distance of the user 20 is equal to or more than a predetermined distance as the fatigue state.
  • the walking distance can be measured based on the acceleration detected by the acceleration sensor and the angular velocity detected by the gyro sensor.
  • the fatigue state is not limited to such an example.
  • the proposal information acquisition unit 122 acquires proposal information “recovery” corresponding to the context “fatigue state”. Further, based on the agent definition information 132, the display control unit 129 acquires the agent action “recovery action” and the action type “action with thinking” corresponding to the proposal information “recovery”. The display control unit 129 controls the display unit 150 to display an agent performing a recovery action according to the user's fatigue state.
  • the display control unit 129 causes the display unit 150 to display the agent (agent 32-7) performing the action “recovery action” of the agent acquired by the proposal information acquiring unit 122 in the visual field 50-4.
  • the proposal information “recovery” may include at least one of a break and hydration
  • the agent action “recovery action” includes at least one of a break-related action and a hydration-related action. May include.
  • the recovery action As an example of the recovery action, an agent 32-7 having a facial expression with accumulated fatigue is displayed.
  • the recovery action is not limited to such an example.
  • the recovery action may be an action of taking a break, an action of supplying hydration, or an action of buying a drink.
  • the display control unit 129 displays the comment 41-6 related to the proposal information “recovery” in association with the agent 32-7.
  • the comment 41-6 may be output in any manner, or may be output as audio.
  • FIG. 12 is a diagram for describing a first example in which an agent performs a perceptual action.
  • a field of view 50-5 of the user 20 is shown.
  • the real object 31-3 (coffee shop) exists in the real space, and the real object 31-3 (coffee shop) exists in the visual field 50-5. It is also assumed that, as map information 135 (FIG. 8), information in which the type of a real object (café) is associated with the position information of the real object is registered.
  • map information 135 FIG. 8
  • the proposal definition information 131 (FIG. 4) the context “the current position of the user is within a predetermined distance from the position of the coffee shop and there is a tendency to frequently go to the coffee shop” and the suggestion information “in front of the coffee shop” It is assumed that information associated with "smell” is registered.
  • the agent definition information 132 (FIG. 5) the proposal information “smell in front of the coffee shop”, the agent action “turn nose to the odor particles”, the action type “perceived action”, and the perceived type “smell” are included. It is assumed that associated information is registered.
  • the environment information acquisition unit 123 acquires environment information. More specifically, the environment information acquisition unit 123 compares the relative positional relationship between the user and the real object 31-3 (coffee shop) (for example, the position of the real object 31-3 (coffee shop) in the user's field of view) with the environmental information. To get as
  • the context acquisition unit 121 acquires that the position of the user (current position) is within a predetermined distance from the position of the coffee shop based on the environment information. Further, the context acquisition unit 121 acquires that there is a tendency to go to a coffee shop.
  • the proposal information acquisition unit 122 acquires proposal information for the user related to the surrounding environment of the user. More specifically, based on the proposal definition information 131 (FIG. 4), the proposal information obtaining unit 122 determines that the context “the user's position (current position) is within a predetermined distance from the coffee shop position and Acquire proposal information "Smell in front of a coffee shop" corresponding to "there is a tendency to go often".
  • the display control unit 129 sets the agent action corresponding to the proposal information “smell in front of the coffee shop” “turns the nose to the odor particles” and the action type “perception” Acquisition of action and perception type “smell”.
  • the display control unit 129 determines an agent that performs a perceived behavior with respect to a surrounding environment related to at least one of sight, taste, smell, hearing, and touch.
  • the display unit 150 is controlled to display.
  • the display control unit 129 turns the nose to the odor particles (toward the odor particles included in the surrounding environment).
  • the display unit 150 is controlled to change the nose direction of the agent).
  • the display control unit 129 acquires the agent model “dog-type agent” corresponding to the perception type “smell” based on the agent model information 134 corresponding to the perceived behavior. Then, the display control unit 129 controls the display unit 150 to display the agent model “dog-type agent” (agent 32-8) that performs the agent action “turns the nose to the odor particles” in the visual field 50-5. .
  • the agent model “dog-type agent” corresponding to the perception type “smell”
  • the agent model “human-type agent” may be displayed, but the effect that emphasizes the sensory organ “nose” corresponding to the perception type “smell” is human-type. It should be given to agents.
  • by directing the nose of the agent model to the odor particles it becomes easier for the user to know in which direction the odor should be smelled.
  • the direction in which the odor particles exist may be the direction toward the position of the real object 31-3 (coffee shop).
  • FIG. 13 is a diagram for describing a second example in which the agent performs a perceptual action.
  • a field of view 50-6 of the user 20 is shown.
  • the real object 31-4 exists in the real space, and the virtual object 33-1 obtained by imaging the communication partner with the user 20 exists in the visual field 50-6.
  • the real object 31-4 is a moving object (for example, a person, a bicycle, a car, etc.), but the type of the real object 31-4 is not limited.
  • the virtual object 33-1 is not limited to a virtual object obtained by imaging a communication partner.
  • the proposal definition information 131 the context “the real object is approaching the user and the display unit is displaying the virtual object” is associated with the proposal information “turn the gaze to the real object”. It is assumed that different information is registered.
  • the agent definition information 132 the proposal information “points the gaze at the real object”, the agent action “change the gaze direction to the direction of the real object”, the action type “perceptual action” and the perception type “visual” are associated with each other. It is assumed that the obtained information is registered.
  • the environment information acquisition unit 123 acquires environment information. More specifically, the environment information acquisition unit 123 determines the position of the real object 31-4 (the relative position between the information processing apparatus 10 and the real object 31-4) based on the image captured by the image sensor included in the sensor unit 110. Positional relationship). Further, the environment information acquisition unit 123 acquires a change in the position of the real object 31-4 (for example, whether or not the real object 31-4 is approaching the user) as environment information.
  • the context acquisition unit 121 acquires that the real object 31-4 is approaching the user based on the environment information. Further, the context acquisition unit 121 acquires that the display unit 150 is displaying the virtual object 33-1.
  • the proposal information acquisition unit 122 acquires proposal information for the user related to the surrounding environment of the user. More specifically, based on the proposal definition information 131, the proposal information acquisition unit 122 proposes a proposal corresponding to the context “the real object is approaching the user and the display unit is displaying the virtual object”. The information “turn eyes to the real object” is acquired.
  • the display control unit 129 performs the action of the agent corresponding to the proposal information “turns the gaze to the real object” “changes the gaze direction to the direction of the real object”, the action type “perceived action ”And the perception type“ visual ”.
  • the display control unit 129 changes the gaze direction to the direction of the real object (the real object included in the surrounding environment).
  • the display unit 150 is controlled so that the gaze direction of the agent is changed so as to face the direction.
  • the display control unit 129 acquires an agent model “human agent” corresponding to the perception type “visual” based on the agent model information 134 corresponding to the perceived behavior. Then, the display control unit 129 displays the agent model “human-type agent” (agent 32-9) that performs the action of the agent “turns the gaze to the real object (real object 31-4)” in the visual field 50-6.
  • the display unit 150 is controlled as follows.
  • the direction in which the person's gaze is facing is easier to grasp than the direction in which the gaze of other animals is facing, by displaying the "humanoid agent" as an agent model corresponding to the perception type "vision", The user can easily notice the change in the gaze of the agent.
  • the line of sight of the agent model is directed to the real object, it becomes easier for the user to know in which direction the line of sight should be directed.
  • FIG. 14 is a diagram for describing a third example in which the agent performs a perceptual action.
  • a field of view 50-7 of the user 20 is shown.
  • a real object 31-5 (a scenic spot) exists in the real space, and a real object 31-5 (a scenic spot) exists in the visual field 50-5.
  • the map information 135 (FIG. 8) is registered with information in which the type (scenic spot) of the real object is associated with the position information of the real object.
  • the proposal definition information 131 information in which the context “the current position of the user is within a predetermined distance from the position of the scenic spot” and the proposal information “listen to the ear” are registered as the proposal definition information 131 is registered.
  • the agent definition information 132 information in which the proposal information “listens”, the agent action “listen to sound”, the action type “perceived action”, and the perception type “auditory” are registered is registered. Assume that it is done.
  • the environment information acquisition unit 123 acquires environment information. More specifically, the environment information acquisition unit 123 determines the relative positional relationship between the user and the real object 31-3 (scenic spot) (for example, the position of the real object 31-3 (scenic spot) in the user's field of view). Get as environment information.
  • the context acquisition unit 121 acquires, based on the environment information, that the position of the user (current position) is within a predetermined distance from the position of the scenic spot.
  • the proposal information acquisition unit 122 acquires proposal information for the user related to the surrounding environment of the user. More specifically, based on the proposal definition information 131, the proposal information acquiring unit 122 proposes the proposal information “ear” corresponding to the context “the position of the user (current position) is within a predetermined distance from the position of the scenic spot”. Get clear. "
  • the display control unit 129 sets the agent action “listen to sound” corresponding to the proposal information “listens”, the action type “perceptual action”, Acquires the perception type "hearing”.
  • the display control unit 129 listens to the sound (the agent's behavior toward the sound included in the surrounding environment). Control the display 150 (to listen).
  • the display control unit 129 acquires the agent model “rabbit-type agent” corresponding to the perception type “visual” based on the agent model information 134 corresponding to the perceptual behavior. Then, the display control unit 129 controls the display unit 150 to display the agent model “Rabbit agent” (agent 32-10) performing the agent action “listen to the sound” in the visual field 50-7. .
  • the agent model “rabbit-type agent” corresponding to the perception type “hearing” is easily grasped by the user.
  • the agent model “rabbit-type agent” may be displayed, but the effect that emphasizes the sensory organ “ear” corresponding to the perception type “auditory” is human-type. It should be given to agents.
  • the ear of the agent model is inclined to the sound, it becomes easier for the user to know in which direction the ear should be listened.
  • the direction in which the sound exists may be a direction toward the position of the real object 31-5 (scenic spot).
  • FIG. 15 is a diagram for describing a fourth example in which an agent performs a perceptual action.
  • a field of view 50-8 of the user 20 is shown.
  • the real object 31-5 exists in the real space, and the virtual object 33-1 obtained by imaging the communication partner with the user 20 exists in the visual field 50-8.
  • the real object 31-5 is a person, but the type of the real object 31-5 is not limited.
  • the virtual object 33-1 is not limited to a virtual object obtained by imaging a communication partner.
  • the proposal definition information 131 in which the context “the shoelace is unraveled” and the proposal information “see the feet” are associated with each other.
  • the agent definition information 132 information in which proposal information “seeing feet”, agent action “reproduce negative reaction”, action type “perceived action”, and perceived type “visual” are registered. Assume that it is done.
  • the environment information acquisition unit 123 acquires environment information. More specifically, the environment information acquisition unit 123 determines the position of the real object 31-5 (the relative position between the information processing apparatus 10 and the real object 31-5) based on the image captured by the image sensor included in the sensor unit 110. Positional relationship). Further, the environment information acquisition unit 123 acquires, as environment information, a reaction of the real object 31-5 to the user (for example, whether or not the user is looking at the user).
  • the context acquisition unit 121 acquires a negative reaction for the user of the real object 31-5 based on the environment information. As shown in FIG. 15, the negative action may include turning the real object 31-5 in the surrounding environment toward the user.
  • the context acquisition unit 121 determines user behavior information based on a negative reaction. In the example shown in FIG. 15, the line of sight of the real object 31-5 is facing the user's feet. Therefore, the context acquisition unit 121 determines that the shoelace of the user has been released.
  • the proposal information acquisition unit 122 acquires proposal information for the user related to the surrounding environment of the user. More specifically, the proposal information acquisition unit 122 acquires the proposal information “see feet” corresponding to the context “the shoelace is open” based on the proposal definition information 131.
  • the display control unit 129 determines the action “reproduces a negative reaction” of the agent corresponding to the proposal information “seeing the feet”, the action type “perceptual action”, and the perceptual type “visual To get.
  • the display control unit 129 controls the display unit 150 to display an agent that reproduces a negative reaction when the action type “perceived behavior” and the perceived type “visual” are acquired by the proposal information acquisition unit 122.
  • the display control unit 129 acquires an agent model “human agent” corresponding to the perception type “visual” based on the agent model information 134 corresponding to the perceived behavior. Then, the display control unit 129 controls the display unit 150 so as to display the agent model “humanoid agent” (agent 32-11) performing the agent action “reproduce the negative reaction” in the visual field 50-8. I do. In the example shown in FIG. 15, the agent 32-11 reproduces a negative reaction of turning his or her eyes on the user.
  • control example of the agent has been described above.
  • FIGS. 16 and 17 are flowcharts illustrating an example of the operation of the information processing device 10. Note that the flowcharts shown in FIGS. 16 and 17 merely show an example of the operation of the information processing apparatus 10. Therefore, the operation of the information processing apparatus 10 is not limited to the examples shown in FIGS.
  • the context is obtained by the context obtaining unit 121 (S11).
  • the context may include the user's schedule information and the user's profile in addition to the user's action information.
  • the proposal information acquisition unit 122 attempts to acquire proposal information based on the context acquired by the context acquisition unit 121 (S12). If the proposal information has not been acquired ("No" in S13), the operation proceeds to S11. On the other hand, if the proposal information has been acquired (“Yes” in S13), the operation proceeds to S14.
  • the display control unit 129 proceeds to S16.
  • the agent attribute information is added to the agent expression element (in the above, an element for specifying the agent model) (S15). ), And proceed to S16.
  • the display control unit 129 proceeds to S18.
  • the perception type is added to the agent expression element (element for specifying the agent model) (S17), and the process proceeds to S18.
  • the display control unit 129 determines an agent model (for example, an agent model corresponding to the expression element) based on the expression element of the agent (S18).
  • an agent model corresponding to each of the plurality of expression elements may be determined. For example, when the perceptual type “visual” and the perceptual type “smell” are expression elements, the agent model “human-type agent” corresponding to the perceptual type “visual” and the agent “dog-type agent” corresponding to the perceptual type “smell” May be determined. Alternatively, when the user attribute information "event participant” and the perception type “visual” are expression elements, the agent model corresponding to the user attribute information "event participant” and the perceived as the "humanoid agent dressed as the event participant” An agent model “human agent” corresponding to the type “sight” may be determined.
  • the display control unit 129 controls the display unit 150 to display the agent using the determined agent model (S21). If a state in which the user notices the agent is not detected and a process end instruction is not detected (“No” in S22), the display control unit 129 shifts the operation to S22. On the other hand, when a state in which the user notices the agent is detected, or when a processing end instruction is detected (“Yes” in S22), the display control unit 129 displays the agent that performs an action according to the presentation information. The display unit 150 is controlled to perform the operation (S23).
  • the display control unit 129 may cause the agent to perform a predetermined action that easily attracts the user's attention until a state in which the user notices the agent is detected. Whether the user has noticed the agent (whether the user is paying attention to the agent) may be determined based on whether the user's line of sight or face is facing the agent in the user's field of view, or The determination may be made based on a change in the biological information. Further, the display control unit 129 may control the display unit 150 to display an agent that uniformly performs an action according to the presentation information regardless of whether or not the user notices the agent.
  • the display control unit 129 displays an agent that performs an action according to the presentation information when a state in which the user notices the agent is detected.
  • the unit 150 may be controlled.
  • the display control unit 129 displays the agent that uniformly performs an action according to the presentation information regardless of whether the user notices the agent. May be controlled.
  • the processing end instruction may be detected when the user's attention is removed from the agent.
  • the display control unit 129 causes the operation to proceed to S24 when the user does not act according to the agent's action, and when the user does not ignore the agent, and when no processing end instruction is detected (“No” in S24). Whether the user has ignored the agent may be determined based on whether the user's line of sight or face is facing a place other than the agent within the user's field of view, or may be determined based on a change in the user's biometric information. May be determined. Alternatively, the display control unit 129 may determine that the user has ignored the agent when the user has not acted according to the agent's action for a predetermined time or more.
  • the display control unit 129 performs the display end processing. Perform (S25).
  • the display control unit 129 may delete the agent from the user's field of view, stop the agent from performing an action corresponding to the proposed state, or respond to the proposed state.
  • the agent may continue an action (default action) different from the action performed.
  • control of the agent is executed.
  • the control of the agent is not limited to the above example.
  • the agent performs an action with thinking and an example in which the agent performs a perceptual action
  • an example in which the agent performs an action with thought and an example in which the agent performs a perceptual action are not limited to the above-described examples.
  • an example in which the agent performs an action with thought and an example in which the agent performs a perceptual action will be further described.
  • the display control unit 129 sets the agent (e.g., clothes, belongings, etc.) in the same or similar style as the user (
  • the display unit 150 may be controlled to display a humanoid agent. By visually recognizing such an agent, the user can know that there is an event venue ahead of him.
  • the user can see what should be obtained before reaching the event site by visually recognizing the belongings of the agent (a humanoid agent or the like). Further, the user can see what is better to obtain by visually recognizing the shopping agent (humanoid agent or the like). Alternatively, by visually recognizing such an agent, the user can be informed that the rest space to which the user is heading may already be full.
  • the agent a humanoid agent or the like.
  • the display control unit 129 may cause the agent accompanying the user to perform a predetermined action. For example, when the state information indicating the user's fatigue state is acquired by the context acquisition unit 121, the display control unit 129 may cause the agent to perform a tired gesture. By visually recognizing such an agent, the user can understand that it is better to take a break soon.
  • the context acquisition unit 121 acquires that the user has walked a predetermined distance or more or has passed a predetermined time since the last hydration (for example, based on an image captured by the user).
  • the display control unit 129 may cause the agent to rehydrate. By visually recognizing such an agent, the user can conclude that he or she should soon rehydrate.
  • the display control unit 129 may cause the agent to perform a predetermined action. For example, when the context acquisition unit 121 acquires that another person is looking at the user's chest (for example, based on an image of another person), the display control unit 129 causes the agent to look at the user's chest. You may. Alternatively, when the context acquisition unit 121 acquires the user's button crossing (for example, based on an image captured by the user), the display control unit 129 may cause the agent to look at the user's chest. By visually recognizing such an agent, the user can check his / her chest and notice that the buttons are crossed.
  • the display control unit 129 causes the agent to look at the user's feet. You may.
  • the display control unit 129 causes the agent to look at the foot of the user. Is also good. By visually recognizing such an agent, the user can confirm his / her feet and notice that the shoelace has been unraveled.
  • the display control unit 129 causes the agent to perform a predetermined action indicating a sound leakage (for example, an action of closing an ear, an action of listening to music while causing sound leakage and causing annoyance to surroundings, and the like). You may. By visually recognizing such an agent, the user can confirm the loudness of the sound leaking from the earphones or headphones to the surroundings and recognize the sound leaking (can be careful not to raise the volume too much).
  • the display control unit may be used. 129 may change the agent to look at a real object (eg, a person, bicycle, car, etc.). By visually recognizing such an agent, the user can determine that he / she should check the surrounding safety.
  • a real object for example, a person, a bicycle, a car, or the like
  • the display control unit may be used. 129 may change the agent to look at a real object (eg, a person, bicycle, car, etc.). By visually recognizing such an agent, the user can determine that he / she should check the surrounding safety.
  • the display control unit 129 performs a predetermined action of paying attention to the odor (for example, smelling the odor) Behavior). By visually recognizing such an agent, the user can know that an acquaintance has changed the shampoo.
  • FIG. 18 is a block diagram illustrating a hardware configuration example of the information processing device 10 according to the embodiment of the present disclosure.
  • the information processing apparatus 10 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
  • the information processing device 10 includes a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925. Further, the information processing device 10 includes an imaging device 933 and a sensor 935.
  • the information processing apparatus 10 may include a processing circuit called a DSP (Digital Signal Processor) or an ASIC (Application Specific Integrated Circuit) instead of or in addition to the CPU 901.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls the entire operation in the information processing device 10 or a part thereof according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
  • the ROM 903 stores programs used by the CPU 901 and operation parameters.
  • the RAM 905 temporarily stores programs used in the execution of the CPU 901 and parameters that change as appropriate in the execution.
  • the CPU 901, the ROM 903, and the RAM 905 are mutually connected by a host bus 907 configured by an internal bus such as a CPU bus. Further, the host bus 907 is connected via a bridge 909 to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is a device operated by a user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 915 may include a microphone that detects a user's voice.
  • the input device 915 may be, for example, a remote control device using infrared rays or other radio waves, or may be an externally connected device 929 such as a mobile phone corresponding to the operation of the information processing device 10.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by the user and outputs the input signal to the CPU 901. By operating the input device 915, the user inputs various data to the information processing device 10 or instructs the information processing device 10 to perform a processing operation.
  • an imaging device 933 to be described later can also function as an input device by imaging the movement of the user's hand, the user's finger, and the like. At this time, the pointing position may be determined according to the movement of the hand or the direction of the finger.
  • the output device 917 is a device that can visually or audibly notify the user of the acquired information.
  • the output device 917 includes, for example, a liquid crystal display (LCD), a plasma display panel (PDP), an organic EL (Electro-Luminescence) display, a display device such as a projector, a display device such as a hologram, an audio output device such as a speaker and headphones, And a printer device.
  • the output device 917 outputs a result obtained by the processing of the information processing device 10 as a video such as a text or an image, or outputs a sound such as a sound or a sound. Further, the output device 917 may include a light or the like for brightening the surroundings.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 10.
  • the storage device 919 includes, for example, a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores programs executed by the CPU 901 and various data, various data acquired from the outside, and the like.
  • the drive 921 is a reader / writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or external to the information processing apparatus 10.
  • the drive 921 reads information recorded on the attached removable recording medium 927 and outputs the information to the RAM 905.
  • the drive 921 writes a record to the attached removable recording medium 927.
  • the connection port 923 is a port for directly connecting a device to the information processing apparatus 10.
  • the connection port 923 may be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • the connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition ⁇ Multimedia ⁇ Interface) port, or the like.
  • the communication device 925 is, for example, a communication interface including a communication device for connecting to the communication network 931.
  • the communication device 925 may be, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various kinds of communication, or the like.
  • the communication device 925 transmits and receives signals to and from the Internet and other communication devices using a predetermined protocol such as TCP / IP.
  • the communication network 931 connected to the communication device 925 is a network connected by wire or wireless, and is, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like.
  • the imaging device 933 includes, for example, an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and various members such as a lens for controlling imaging of a subject image on the imaging element.
  • an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor)
  • various members such as a lens for controlling imaging of a subject image on the imaging element.
  • This is an apparatus that captures an image of a real space and generates a captured image.
  • the imaging device 933 may capture a still image, or may capture a moving image.
  • the sensor 935 is, for example, various sensors such as a distance measuring sensor, an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, and a sound sensor.
  • the sensor 935 acquires information about the state of the information processing apparatus 10 itself, such as the attitude of the housing of the information processing apparatus 10, and information about the surrounding environment of the information processing apparatus 10, such as brightness and noise around the information processing apparatus 10. I do.
  • the sensor 935 may include a GPS (Global Positioning System) signal that receives a GPS (Global Positioning System) signal and measures the latitude, longitude, and altitude of the device.
  • GPS Global Positioning System
  • the behavior information acquisition unit that acquires the behavior information of the user, and the behavior information acquisition unit that acquires the behavior information related to the user's surrounding environment at the time of acquiring the behavior information based on the behavior information.
  • An information processing device comprising: a control unit. According to such a configuration, it is possible to make a proposal to the user while reducing discomfort to the user.
  • a program for causing hardware such as a CPU, a ROM, and a RAM built in a computer to perform functions equivalent to the functions of the control unit 120 described above.
  • a computer-readable recording medium on which the program is recorded can be provided.
  • the position of each component is not particularly limited. Part or all of the processing of each unit in the information processing device 10 may be performed by a server device (not shown). As a specific example, some or all of the blocks included in the control unit 120 in the information processing device 10 may exist in a server device (not illustrated) or the like. For example, some or all of the context acquisition unit 121, the proposal information acquisition unit 122, the environment information acquisition unit 123, the attribute information acquisition unit 124, and the display control unit 129 in the information processing device 10 exist in a server device (not shown) or the like. It may be.
  • An action information acquisition unit for acquiring action information of the user A proposal information acquisition unit that acquires proposal information to the user related to a surrounding environment of the user at the time when the behavior information is acquired, based on the behavior information; Based on the proposal information, a display control unit that controls a display device to display an avatar object that performs an action according to the proposal information within the user's field of view, An information processing device comprising: (2) Further comprising an attribute information acquisition unit for acquiring the user attribute information, The display control unit controls the display device to display the avatar object corresponding to the attribute information, The information processing device according to (1). (3) The user attribute information includes gender information, The information processing device according to (2).
  • the attribute information of the user includes clothes of the user, The information processing device according to (2) or (3).
  • the display control unit controls the display device to display the avatar object corresponding to substantially the same attribute information as the attribute information of the user, The information processing device according to any one of (2) to (4).
  • the display control unit controls the display device to display the avatar object that performs a perceptual action on the surrounding environment related to at least one of sight, taste, smell, hearing, and touch.
  • the information processing device according to any one of (1) to (5).
  • the display control unit controls the display device to change a line-of-sight direction of the avatar object to face a real object included in the surrounding environment, The information processing device according to (6).
  • the display control unit controls the display device to change a nose direction of the avatar object toward odor particles included in the surrounding environment, The information processing device according to (6).
  • the display control unit controls the display device to listen to the avatar object toward a sound included in the surrounding environment, The information processing device according to (6).
  • the surrounding environment includes weather around the user, The display control unit controls the display device to display the avatar object performing an action related to the weather, The information processing device according to any one of (1) to (5).
  • the weather-related actions include actions related to the purchase of rain gear, The information processing device according to (10).
  • the display control unit controls the display device to display the avatar object performing a purchasing behavior related to the surrounding environment, The information processing device according to any one of (1) to (5).
  • the display control unit controls the display device to arrange the avatar object in front of a store capable of performing the purchasing action.
  • the behavior information includes state information indicating a fatigue state of the user,
  • the display control unit controls the display device to display the avatar object performing a recovery action according to the state information,
  • the recovery action includes at least one of a break-related action and a hydration-related action, The information processing device according to (14).
  • the behavior information is determined based on a negative reaction to the user of the person in the surrounding environment based on the image recognition result of the surrounding environment,
  • the display control unit controls the display device to display the avatar object that reproduces the negative reaction,
  • the information processing device according to any one of (1) to (5).
  • the negative reaction includes a person in the surrounding environment looking at the user.
  • the information processing device is an HMD (Head Mounted Display), The information processing device according to any one of (1) to (17).
  • An information processing method including: (20) Computer An action information acquisition unit for acquiring action information of the user, A proposal information acquisition unit that acquires proposal information to the user related to a surrounding environment of the user at the time when the behavior information is acquired, based on the behavior information; Based on the proposal information, a display control unit that controls a display device to display an avatar object that performs an action according to the proposal information within the user's field of view, A program for functioning as an information processing device including a computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Human Computer Interaction (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

ユーザに与える不快感を低減させつつユーザに提案を行うことが可能な技術が提供されることが望まれる。ユーザの行動情報を取得する行動情報取得部（１２１）と、前記行動情報に基づいて、前記行動情報を取得した時点における前記ユーザの周辺環境に関連する前記ユーザへの提案情報を取得する提案情報取得部（１２２）と、前記提案情報に基づいて、前記ユーザの視野内に前記提案情報に応じた行動を行うアバターオブジェクトを表示するよう表示装置を制御する表示制御部（１２９）と、を備える、情報処理装置（１０）が提供される。

Description

情報処理装置、情報処理方法およびプログラム
　本開示は、情報処理装置、情報処理方法およびプログラムに関する。
　近年、ユーザ情報に応じた画像をユーザに提供する技術が知られている。例えば、ユーザの行動情報に応じた画像をユーザに提供する技術が開示されている（例えば、特許文献１参照）。また、ユーザ情報を取得し、取得したユーザ情報に応じた提案情報をテキストデータとしてユーザに提供する技術が知られている。
国際公開第２０１６／１５７６７７号
　しかし、ユーザにとって不要な情報が提案情報に含まれている場合などには、提案情報をテキストデータとしてユーザに提供する場合、ユーザに不快感を与えてしまうことがあり得る。そこで、ユーザに与える不快感を低減させつつユーザに提案を行うことが可能な技術が提供されることが望まれる。
　本開示によれば、ユーザの行動情報を取得する行動情報取得部と、前記行動情報に基づいて、前記行動情報を取得した時点における前記ユーザの周辺環境に関連する前記ユーザへの提案情報を取得する提案情報取得部と、前記提案情報に基づいて、前記ユーザの視野内に前記提案情報に応じた行動を行うアバターオブジェクトを表示するよう表示装置を制御する表示制御部と、を備える、情報処理装置が提供される。
　本開示によれば、ユーザの行動情報を取得することと、前記行動情報に基づいて、前記行動情報を取得した時点における前記ユーザの周辺環境に関連する前記ユーザへの提案情報を取得することと、前記提案情報に基づいて、前記ユーザの視野内に前記提案情報に応じた行動を行うアバターオブジェクトを表示するよう表示装置を制御することと、を含む、情報処理方法が提供される。
　本開示によれば、コンピュータを、ユーザの行動情報を取得する行動情報取得部と、前記行動情報に基づいて、前記行動情報を取得した時点における前記ユーザの周辺環境に関連する前記ユーザへの提案情報を取得する提案情報取得部と、前記提案情報に基づいて、前記ユーザの視野内に前記提案情報に応じた行動を行うアバターオブジェクトを表示するよう表示装置を制御する表示制御部と、を備える情報処理装置として機能させるためのプログラムが提供される。
　以上説明したように本開示によれば、ユーザに与える不快感を低減させつつユーザに提案を行うことが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る情報処理システムの構成例を示す図である。 情報処理装置の機能構成例を示す図である。 制御部の詳細構成例を示す図である。 提案定義情報の構成例を示す図である。 エージェント定義情報の構成例を示す図である。 思考を伴う行動に対応するエージェントモデル情報の例を示す図である。 知覚行動に対応するエージェントモデル情報の構成例を示す図である。 マップ情報の構成例を示す図である。 エージェントに思考を伴う行動を行わせる第１の例について説明するための図である。 エージェントに思考を伴う行動を行わせる第２の例について説明するための図である。 エージェントに思考を伴う行動を行わせる第３の例について説明するための図である。 エージェントに知覚行動を行わせる第１の例について説明するための図である。 エージェントに知覚行動を行わせる第２の例について説明するための図である。 エージェントに知覚行動を行わせる第３の例について説明するための図である。 エージェントに知覚行動を行わせる第４の例について説明するための図である。 情報処理装置の動作の例を示すフローチャートである。 情報処理装置の動作の例を示すフローチャートである。 情報処理装置のハードウェア構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　なお、説明は以下の順序で行うものとする。
　０．概要
　１．実施形態の詳細
　　１．１．システム構成例
　　１．２．情報処理装置の機能構成例
　　１．３．情報処理システムの機能詳細
　　　１．３．１．エージェント制御に利用される情報
　　　１．３．２．エージェントの制御
　　　１．３．３．情報処理装置の動作
　　　１．３．４．各種の変形例
　２．ハードウェア構成例
　３．むすび
　＜０．概要＞
　まず、本開示の実施形態の概要を説明する。近年、ユーザ情報に応じた画像をユーザに提供する技術が知られている。例えば、ユーザの行動情報に応じた画像をユーザに提供する技術が開示されている。また、ユーザ情報を取得し、取得したユーザ情報に応じた提案情報をテキストデータとしてユーザに提供する技術が知られている。
　しかし、ユーザにとって不要な情報が提案情報に含まれている場合などには、提案情報をテキストデータとしてユーザに提供する場合、ユーザに不快感を与えてしまうことがあり得る。そこで、本明細書においては、ユーザに与える不快感を低減させつつユーザに提案を行うことが可能な技術について主に説明する。
　具体的に、本開示の実施形態においては、提案情報に応じた行動を行うオブジェクトが表示される。これによって、提案情報がテキストデータとしてユーザに提供される場合と比較して、提案情報がオブジェクトを介して間接的にユーザに提供されるため、ユーザに与える不快感を低減させつつユーザに提案を行うことができる。以下では、提案情報に応じた行動を行うオブジェクトの例として、アバターオブジェクトが用いられる場合を主に想定する。しかし、提案情報に応じた行動を行うオブジェクトは、アバターオブジェクトに限定されない。
　また、以下では、提案情報に応じた行動を行うオブジェクトを「エージェント」と称する場合がある。エージェントには、ユーザの代わりに処理を行うオブジェクトという意味も存在し得る。しかし、本開示の実施形態に係るエージェントは、ユーザの代わりに処理を行うオブジェクトであるとは限らず、本開示の実施形態に係るエージェントが行う処理の種類は、特に限定されない。
　さらに、本開示の実施形態においては、エージェントが表示部１５０（図２）の表示領域に表示されるオブジェクト（仮想オブジェクト）である場合を主に説明する。しかし、エージェントは、自立的に移動可能な実オブジェクトであってもよい。このとき、実オブジェクトはどのようにして移動可能にされていてもよい。例えば、実オブジェクトが回転体（例えば、タイヤ、ホイールまたはローラなど）を備えている場合、実オブジェクトは、当該回転体を回転駆動することによって面上（床面上など）を移動可能であってもよい。あるいは、実オブジェクトが足部を備えている場合、実オブジェクトは、足部を歩行するように駆動することによって面上（床面上など）を移動可能であってもよい。
　以上において、本開示の実施形態の概要について説明した。
　＜１．実施形態の詳細＞
　まず、本開示の実施形態の詳細について説明する。
　［１．１．システム構成例］
　まず、図面を参照しながら、本開示の実施形態に係る情報処理システムの構成例について説明する。図１は、本開示の実施形態に係る情報処理システムの構成例を示す図である。図１に示したように、本開示の実施形態に係る情報処理システムは、情報処理装置１０を備える。情報処理装置１０は、ユーザ２０によって利用される。
　なお、本実施形態においては、情報処理装置１０がユーザ２０の頭部に装着されるＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）である場合を主に説明する。情報処理装置１０がＨＭＤである場合には、画角に制約があっても視野を容易に移動させることが可能である。特に、本実施形態においては、情報処理装置１０がシースルー型のＨＭＤである場合を主に説明する。しかし、情報処理装置１０はＨＭＤに限定されない。例えば、情報処理装置１０は、スマートフォンであってもよいし、携帯電話であってもよいし、タブレット端末であってもよいし、カメラであってもよいし、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）であってもよいし、他の機器であってもよい。
　ユーザ２０は、実空間を視認可能である。図１に示した例では、情報処理装置１０が視野５０－１を形成し、ユーザ２０は、視野５０－１を通して実空間を視認可能である。実空間には、どのようなオブジェクトが存在していてもよい。図１に示した例では、上記のエージェントとは異なるオブジェクトの例として、実オブジェクト３１－１（飲食店）が実空間に存在している。しかし、実オブジェクト３１－１（飲食店）はオブジェクトの一例に過ぎない。したがって、実オブジェクト３１－１（飲食店）の代わりに他のオブジェクトが実空間に存在してもよい。
　以上、本開示の実施形態に係る情報処理システムの構成例について説明した。
　［１．２．情報処理装置の機能構成例］
　続いて、情報処理装置１０の機能構成例について説明する。図２は、情報処理装置１０の機能構成例を示す図である。図２に示したように、情報処理装置１０は、センサ部１１０、制御部１２０、記憶部１３０、通信部１４０および表示部１５０を有している。また、情報処理装置１０は、通信ネットワークを介してサーバ装置（不図示）と接続されていてもよい。通信ネットワークは、例えば、インターネットを含む。
　センサ部１１０は、センサを含んで構成され、センサによってユーザの行動情報を検出する。ユーザの行動情報には、ユーザの行動履歴（例えば、歩行中、電車乗車中など）、ユーザの行動履歴から推定される行動傾向、ユーザの動き、ユーザが存在する時刻（例えば、現在時刻）、ユーザの位置（例えば、ユーザの現在位置）、ユーザの視線、ユーザの生体情報、ユーザの音声などが含まれてよい。例えば、センサ部１１０が加速度センサおよびジャイロセンサの少なくともいずれか一方を含んで構成されている場合、加速度センサおよびジャイロセンサの少なくともいずれか一方に基づいて、ユーザの行動履歴およびユーザの動きが検出されてよい。
　また、センサ部１１０が時計を含んで構成されている場合、時計によってユーザが存在する時刻（例えば、現在時刻）が検出されてよい。センサ部１１０が位置センサ（例えば、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）センサなど）を含んで構成されている場合、位置センサによってユーザの位置（例えば、ユーザの現在位置）が検出されてよい。
　また、センサ部１１０がイメージセンサを含んで構成されている場合、イメージセンサによって撮像された画像に基づいて、ユーザの視線が検出されてよい。ここでは、イメージセンサによって撮像された画像から瞳孔の中心位置およびプルキニエ像の位置関係が検出され、当該位置関係に基づいて視線が検出される場合を主に想定する。しかし、ユーザの視線はどのようにして検出されてもよい。例えば、ユーザの頭部の姿勢がユーザの視線として検出されてもよい。
　また、センサ部１１０が生体センサを含んで構成されている場合、生体センサによって生体情報が検出されてよい。例えば、生体センサが脳波センサを含んで構成される場合、生体情報は、脳波センサによって検出された脳波を含んでもよい。例えば、センサ部１１０がマイクロフォンを含んで構成されている場合、マイクロフォンによってユーザの音声が検出されてよい。
　また、センサ部１１０は、ユーザの頭部（センサ部１１０）の位置および姿勢を検出する機能を有する。例えば、センサ部１１０は、位置センサ（例えば、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）センサなど）を含んで構成され、ユーザの位置（例えば、ユーザの現在位置）と同様に、位置センサによってユーザの頭部の位置を検出してよい。
　また、センサ部１１０は、地磁気センサを含んで構成され、地磁気センサによってユーザの頭部の姿勢を検出してよい。さらに、センサ部１１０は、地磁気センサに加えて、または、地磁気センサの代わりに、加速度センサおよびジャイロセンサの少なくともいずれか一方に基づいて、より高精度にユーザの頭部の姿勢を検出してもよい。あるいは、情報処理装置１０の外部にカメラが設置されている場合には、当該カメラによって撮像された画像から認識される顔または身体の向きがユーザの頭部の姿勢として検出されてもよい。
　通信部１４０は、通信回路を含んで構成され、通信ネットワークに接続されたサーバ装置（不図示）からのデータの取得および当該サーバ装置（不図示）へのデータの提供を、通信ネットワークを介して行う機能を有する。例えば、通信部１４０は、通信インターフェースにより構成される。なお、通信ネットワークに接続されるサーバ装置（不図示）は、１つであってもよいし、複数であってもよい。
　記憶部１３０は、メモリを含んで構成され、制御部１２０によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。また、記憶部１３０は、制御部１２０による演算のためにデータを一時的に記憶する。記憶部１３０は、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または、光磁気記憶デバイスなどにより構成される。
　表示部１５０は、各種の画面を表示する機能を有する。表示部１５０の種類は限定されない。例えば、表示部１５０は、ユーザに視認可能な表示を行うことが可能なディスプレイであればよく、液晶ディスプレイであってもよいし、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイであってもよい。
　制御部１２０は、情報処理装置１０の各部の制御を実行する。制御部１２０は、例えば、１または複数のＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ；中央演算処理装置）などで構成されていてよい。制御部１２０がＣＰＵなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成されてよい。制御部１２０は、かかる処理装置によってプログラムが実行されることによって実現され得る。
　図３は、制御部１２０の詳細構成例を示す図である。図３に示したように、制御部１２０は、コンテキスト取得部１２１、提案情報取得部１２２、環境情報取得部１２３、属性情報取得部１２４および表示制御部１２９を備える。これらの各機能ブロックについての詳細は、後に説明する。
　以上、本実施形態に係る情報処理装置１０の機能構成例について説明した。
　［１．３．情報処理システムの機能詳細］
　続いて、本実施形態に係る情報処理システムの機能詳細について説明する。
　　（１．３．１．エージェント制御に利用される情報）
　図４～図８を参照しながら、エージェント制御に利用される各種情報の例について説明する。図４～図８を参照すると、エージェント制御に利用される各種情報の例として、提案定義情報１３１、エージェント定義情報１３２、思考を伴う行動に対応するエージェントモデル情報１３３、知覚行動に対応するエージェントモデル情報１３４、マップ情報１３５が示されている。エージェント制御に利用される各種情報は、記憶部１３０によって記憶されており、記憶部１３０から適宜に取得されて利用され得る。
　図４は、提案定義情報１３１の構成例を示す図である。図４に示されるように、提案定義情報１３１は、コンテキストと提案情報とが関連付けられて構成されている。例えば、コンテキストには、上記した行動情報（例えば、ユーザの行動履歴（現在の行動も含み得る）、ユーザの行動傾向、ユーザの動き、ユーザが存在する時刻（例えば、現在時刻）、ユーザの位置（例えば、ユーザの現在位置）、ユーザの視線、ユーザの生体情報、ユーザの音声など）の他、ユーザの予定情報（例えば、ユーザが何時から何時まで何をする予定であるのかを示す情報など）、ユーザのプロファイル（例えば、ユーザの性別、年齢、趣味など）が含まれてもよい。
　図５は、エージェント定義情報１３２の構成例を示す図である。図５に示されるように、エージェント定義情報１３２は、提案情報とエージェントの行動と行動種別と知覚種別とが関連付けられて構成されている。エージェントの行動は、エージェントに行わせる行動を示す。また、行動種別は、エージェントに行わせる行動の種別を示す。図５に示されるように、行動種別には、「思考」を伴う行動と「知覚」する行動（以下、単に「知覚行動」とも言う）とが存在し得る。
　図６は、思考を伴う行動に対応するエージェントモデル情報１３３の例を示す図である。図６に示されるように、思考を伴う行動に対応するエージェントモデル情報１３３は、ユーザ属性情報とエージェントモデルとが関連付けられて構成されている。図６に示された例では、ユーザ属性情報「イベント参加者」に対して、「イベント参加者の服装をした人型エージェント」が関連付けられている。しかし、ユーザの属性情報はイベント参加者に限定されない。例えば、ユーザの属性情報は、ユーザの性別情報を含んでもよいし、ユーザの年齢情報を含んでもよい。
　図７は、知覚行動に対応するエージェントモデル情報１３４の構成例を示す図である。図７に示されるように、知覚行動に対応するエージェントモデル情報１３４は、知覚種別とエージェントモデルとが関連付けられて構成されている。知覚種別は、知覚行動の種別を示す。図７には、知覚種別の例として、「嗅覚」が示されているが、知覚種別は「嗅覚」に限定されない。例えば、知覚種別は、視覚を含んでもよいし、聴覚を含んでもよいし、触覚を含んでもよいし、味覚を含んでもよい。エージェントモデルも「犬型エージェント」に限定されない。
　図８は、マップ情報１３５の構成例を示す図である。図８に示されるように、マップ情報１３５は、センサデータと実オブジェクトの情報とが関連付けられて構成されている。センサデータの例としては、ユーザの位置情報（例えば、緯度経度など）が挙げられる。また、実オブジェクトの情報としては、実オブジェクトの種類に関する情報が挙げられる。ここで、実オブジェクトの種類は限定されない。例えば、実オブジェクトの種類は、店舗の種類（例えば、コンビニエンスストア、喫茶店、飲食店など）であってもよいし、施設の種類（例えば、駅など）などであってもよい。
　以上、エージェント制御に利用される各種情報の例について説明した。
　　（１．３．２．エージェントの制御）
　続いて、エージェントの制御例について説明する。ここで、情報処理装置１０において、コンテキスト取得部１２１は、ユーザのコンテキストを取得する。コンテキスト取得部１２１は、コンテキストの例としての行動情報を取得する行動情報取得部としても機能し得る。提案情報取得部１２２は、コンテキスト取得部１２１によって取得されたコンテキストに基づいて、コンテキストを取得した時点におけるユーザの周辺環境に関連するユーザへの提案情報を取得する。表示制御部１２９は、提案情報に基づいて、ユーザの視野内に提案情報に応じた行動を行うエージェントを表示するよう表示部１５０（表示装置）を制御する。
　かかる構成によれば、提案情報がテキストデータとしてユーザに提供される場合と比較して、提案情報がオブジェクトを介して間接的にユーザに提供されるため、ユーザに与える不快感を低減させつつユーザに提案を行うことができる。さらに、かかる構成によれば、ユーザによる明示的な入力がなされなくても、自動的に取得されたコンテキストに基づいて提案情報が取得されるため、ユーザの入力に掛かる負担が軽減される。
　以下では、図９～図１５を参照しながら（適宜に図１～図８も参照しながら）、エージェントの制御例について説明する。具体的には、最初に、図９～図１１を参照しながら（適宜に図１～図８も参照しながら）、エージェントに思考を伴う行動を行わせる例を説明する。続いて、図１２～図１５を参照しながら（適宜に図１～図８も参照しながら）、エージェントに知覚行動を行わせる例を説明する。
　図９は、エージェントに思考を伴う行動を行わせる第１の例について説明するための図である。図９を参照すると、ユーザ２０の視野５０－２が示されている。実空間には実オブジェクト３１－１（飲食店）が存在しており、視野５０－２には実オブジェクト３１－１（飲食店）が存在している。また、マップ情報１３５（図８）として、実オブジェクトの種類（飲食店）とその実オブジェクトの位置情報とが関連付けられてなる情報が登録されている場合を想定する。
　また、提案定義情報１３１（図４）として、コンテキスト「ユーザの現在位置が飲食店の位置から所定の距離以内であり、かつ、現在時刻がお昼の時間帯（１１時～１３時）に属する」と、提案情報「飲食店で食事をする」とが関連付けられてなる情報が登録されている場合を想定する。また、エージェント定義情報１３２（図５）として、提案情報「飲食店で食事をする」とエージェントの行動「飲食店に向かう」と行動種別「思考を伴う行動」が関連付けられてなる情報が登録されている場合を想定する。
　このとき、環境情報取得部１２３は、環境情報を取得する。より具体的に、環境情報取得部１２３は、センサ部１１０によってユーザの位置および姿勢が検出された場合、ユーザの位置および姿勢とマップ情報１３５（図８）とに基づいて、ユーザと実オブジェクト３１－１（飲食店）との相対的な位置関係（例えば、ユーザの視野における実オブジェクト３１－１（飲食店）の位置）を環境情報として取得する。
　ユーザと実オブジェクト３１－１（飲食店）との相対的な位置関係は、どのようにして取得されてもよい。例えば、ユーザと実オブジェクト３１－１（飲食店）との相対的な位置関係は、ユーザの視野の撮像画像から直接認識されてもよい。さらに、環境情報は、ユーザと実オブジェクト３１－１（飲食店）との相対的な位置関係に限定されない。例えば、環境情報は、マイクロフォンによって検出されるユーザの周囲の環境音であってもよいし、照度センサによって検出される照度であってもよい。
　コンテキスト取得部１２１は、環境情報に基づいて、ユーザの位置（現在位置）が飲食店の位置から所定の距離以内であることを取得する。さらに、コンテキスト取得部１２１は、現在時刻に基づいて、現在時刻がお昼の時間帯（１１時～１３時）に属することを取得する。提案情報取得部１２２は、ユーザの周辺環境に関連するユーザへの提案情報を取得する。より具体的には、提案情報取得部１２２は、提案定義情報１３１（図４）に基づいて、コンテキスト「ユーザの位置（現在位置）が飲食店の位置から所定の距離以内であり、かつ、現在時刻がお昼の時間帯（１１時～１３時）に属する」に対応する提案情報「飲食店で食事をする」を取得する。
　さらに、表示制御部１２９は、エージェント定義情報１３２（図５）に基づいて、提案情報「飲食店で食事をする」に対応するエージェントの行動「飲食店に向かう」および行動種別「思考を伴う行動」を取得する。表示制御部１２９は、提案情報取得部１２２によって取得されたエージェントの行動「飲食店に向かう」を行うエージェント（エージェント３２－１およびエージェント３２－２）を視野５０－２内に表示するよう表示部１５０を制御する。なお、視野５０－２内に表示されるエージェントの数は２つに限定されず、１つであってもよいし、３つ以上であってもよい。
　より具体的に、属性情報取得部１２４は、提案情報取得部１２２によって行動種別「思考を伴う行動」が取得された場合、ユーザ属性情報を取得する。表示制御部１２９は、属性情報取得部１２４によって取得されたユーザ属性情報に対応するエージェントを取得する。そして、表示制御部１２９は、取得したエージェントを表示するよう表示部１５０を制御する。
　例えば、ユーザ属性情報は、提案の根拠となるコンテキストであってよい。例えば、イベント参加の予定があるというコンテキストに基づいて提案情報が取得された場合、属性情報「イベント参加者」がよく有している外観（例えば、服装、持ち物など）のエージェントが表示されてもよい。これによって、エージェントの外観を見るだけで、イベント参加者への提案がなされていることが容易に把握され得る。属性情報「イベント参加者」は、性別または年齢などに置き換えられてもよい。また、行動履歴に基づいて提案情報が取得された場合には、ユーザの行動に際してユーザに同行したエージェントが表示されてもよい。
　ここでは、属性情報取得部１２４が、ユーザ属性情報「イベント参加者」を取得し、表示制御部１２９が、思考を伴う行動に対応するエージェントモデル情報１３３に基づいて、ユーザ属性情報「イベント参加者」に対応するエージェントモデル「イベント参加者の服装のモデル」を取得する場合を想定する。このとき、表示制御部１２９は、エージェントの行動「飲食店に向かう」を行うエージェントモデル「イベント参加者の服装のモデル」（エージェント３２－１およびエージェント３２－２）を視野５０－２内に表示するよう表示部１５０を制御する。
　図９を参照すると、イベント参加者の服装のエージェント３２－１およびエージェント３２－２が、視野５０－２内において実オブジェクト３１－１（飲食店）に向かっている様子が表示されている。また、図９を参照すると、表示制御部１２９によって、提案情報「飲食店で食事をする」に関連するコメント４１－１がエージェント３２－２に関連付けられて表示されている。しかし、コメント４１－１は、どのようにして出力されてもよく、音声として出力されてもよい。
　なお、ここでは、ユーザ属性情報がイベント参加者を含む例を想定した。しかし、ユーザ属性情報はイベント参加者を含む例に限定されない。例えば、ユーザ属性情報は、ユーザの服装を含んでもよいし、ユーザの性別情報を含んでもよい。かかる場合には、表示制御部１２９は、属性情報取得部１２４によって取得されたユーザ属性情報に対応するエージェント（例えば、ユーザ属性情報と実質的に同一の属性情報に対応するエージェント）を取得する。そして、表示制御部１２９は、取得したエージェントを表示するよう表示部１５０を制御する。これによって、自分と似た人の行動には従いやすいというユーザの心理的な特性を利用して、より効果的にユーザへの提案を行うことが可能となる。
　例えば、属性情報取得部１２４は、ユーザ属性情報「ユーザの服装」を取得し、表示制御部１２９は、ユーザ属性情報「ユーザの服装」に対応するエージェントモデル「ユーザの服装と実質的に同一の服装のモデル」を表示するよう表示部１５０を制御すればよい。あるいは、属性情報取得部１２４は、ユーザ属性情報「ユーザの性別情報」を取得し、表示制御部１２９は、ユーザ属性情報「ユーザの性別情報」に対応するエージェントモデル「ユーザの性別と同じ性別のモデル」を表示するよう表示部１５０を制御すればよい。
　ユーザ属性情報はどのようにして取得されてもよい。例えば、センサ部１１０による撮像画像から認識された服装がユーザ属性情報として取得されてもよい。あるいは、現在時刻から所定の時間以内に登録されている予定情報に対応する服装がユーザ属性情報として取得されてもよい。例えば、今日の予定情報としてイベント参加の予定情報が登録されている場合、そのイベントへの参加時によく着用する服装がユーザ属性情報として取得されてもよい。また、あらかじめ登録されたプロファイルからユーザの性別情報または年齢情報がユーザ属性情報として取得されてもよい。
　図１０は、エージェントに思考を伴う行動を行わせる第２の例について説明するための図である。図１０を参照すると、ユーザ２０の視野５０－３が示されている。実空間には実オブジェクト３１－２（コンビニエンスストア）が存在しており、視野５０－３には実オブジェクト３１－２（コンビニエンスストア）が存在している。また、マップ情報１３５（図８）として、実オブジェクトの種類（コンビニエンスストア）とその実オブジェクトの位置情報とが関連付けられてなる情報が登録されている場合を想定する。
　また、提案定義情報１３１として、コンテキスト「ユーザの現在位置がコンビニエンスストアの位置から所定の距離以内であり、かつ、今日の天気予報は雨が降る予報である」と、提案情報「雨具を購入する」とが関連付けられてなる情報が登録されている場合を想定する。また、エージェント定義情報１３２として、提案情報「雨具を購入する」とエージェントの行動「コンビニエンスストアの前に存在する」と行動種別「思考を伴う行動」とが関連付けられてなる情報が登録されている場合を想定する。
　その他、提案定義情報１３１として、コンテキスト「ユーザの現在位置がコンビニエンスストアの位置から所定の距離以内であり、かつ、今日の予定情報としてイベント参加の予定情報が登録されている」と、提案情報「ペンライトの電池を購入する」とが関連付けられてなる情報が登録されている場合を想定する。また、エージェント定義情報１３２として、提案情報「ペンライトの電池を購入する」とエージェントの行動「コンビニエンスストアの前に存在する」と行動種別「思考を伴う行動」とが関連付けられてなる情報が登録されている場合を想定する。
　上記と同様にして、環境情報取得部１２３は、環境情報を取得する。より具体的に、環境情報取得部１２３は、ユーザと実オブジェクト３１－２（コンビニエンスストア）との相対的な位置関係（例えば、ユーザの視野における実オブジェクト３１－２（コンビニエンスストア）の位置）を環境情報として取得する。
　コンテキスト取得部１２１は、環境情報に基づいて、ユーザの位置（現在位置）が実オブジェクト３１－２（コンビニエンスストア）の位置から所定の距離以内であることを取得する。さらに、コンテキスト取得部１２１は、（例えば、所定のＷｅｂページから取得される）天気予報に基づいて、今日の天気予報は雨が降る予報であることを取得する。提案情報取得部１２２は、ユーザの周辺環境に関連するユーザへの提案情報を取得する。ここでは、ユーザの周辺環境は、ユーザの周辺の気象を含む。より具体的には、提案情報取得部１２２は、提案定義情報１３１に基づいて、コンテキスト「ユーザの位置（現在位置）がコンビニエンスストアの位置から所定の距離以内であり、かつ、今日の天気予報は雨が降る予報である」に対応する提案情報「雨具を購入する」を取得する。
　さらに、表示制御部１２９は、エージェント定義情報１３２に基づいて、提案情報「雨具を購入する」に対応するエージェントの行動「コンビニエンスストアの前に存在する」および行動種別「思考を伴う行動」を取得する。表示制御部１２９は、気象に関連する行動を行うエージェントを表示するよう表示部１５０を制御する。気象に関連する行動は、雨具の購入に関連する行動（例えば、コンビニエンスストアの前に存在する行動）を含んでよい。
　より具体的に、表示制御部１２９は、提案情報取得部１２２によって取得されたエージェントの行動「コンビニエンスストアの前に存在する」を行うエージェント（エージェント３２－３、エージェント３２－４およびエージェント３２－６）を視野５０－３内に表示するよう表示部１５０を制御する。なお、雨具の購入に関連する行動は、コンビニエンスストアの前に存在する行動の代わりに、コンビニエンスストアに入っていく行動であってもよいし、コンビニエンスストアから出てくる行動であってもよい。さらに、コンビニエンスストアは、雨具を販売する店舗の一例に過ぎないため、コンビニエンスストアは雨具を販売する他の店舗に置き換えられてもよい。
　さらに、コンテキスト取得部１２１は、記憶部１３０から、今日の予定情報としてイベント参加の予定情報が登録されていることを取得する。提案情報取得部１２２は、ユーザの周辺環境に関連するユーザへの提案情報を取得する。より具体的には、提案情報取得部１２２は、提案定義情報１３１に基づいて、コンテキスト「ユーザの現在位置がコンビニエンスストアの位置から所定の距離以内であり、かつ、今日の予定情報としてイベント参加の予定情報が登録されている」に対応する提案情報「ペンライトの電池を購入する」を取得する。
　さらに、表示制御部１２９は、エージェント定義情報１３２に基づいて、提案情報「ペンライトの電池を購入する」に対応するエージェントの行動「コンビニエンスストアの前に存在する」および行動種別「思考を伴う行動」を取得する。表示制御部１２９は、周辺環境に関連する購買行動を行うエージェントを表示するよう表示部１５０を制御する。より具体的に、表示制御部１２９は、購買行動を行うことが可能な店舗前にエージェントを配置するよう表示部１５０を制御する。
　さらに具体的に、表示制御部１２９は、提案情報取得部１２２によって取得されたエージェントの行動「コンビニエンスストアの前に存在する」を行うエージェント（エージェント３２－５）を視野５０－３内に表示するよう表示部１５０を制御する。なお、購買行動は、コンビニエンスストアの前に存在する行動の代わりに、コンビニエンスストアに入っていく行動であってもよいし、コンビニエンスストアから出てくる行動であってもよい。さらに、コンビニエンスストアは、購買行動を行うことが可能な店舗の一例に過ぎないため、コンビニエンスストアは購買行動を行うことが可能な他の店舗に置き換えられてもよい。
　図１０を参照すると、表示制御部１２９によって、提案情報「雨具を購入する」に関連するコメント４１－２がエージェント３２－３に関連付けられて表示され、提案情報「雨具を購入する」に関連するコメント４１－３がエージェント３２－４に関連付けられて表示され、提案情報「雨具を購入する」に関連するコメント４１－５がエージェント３２－６に関連付けられて表示されている。また、提案情報「ペンライトの電池を購入する」に関連するコメント４１－４がエージェント３２－５に関連付けられて表示されている。しかし、コメント４１－２～４１－５は、どのようにして出力されてもよく、音声として出力されてもよい。
　例えば、これらのコメントが音声として出力される場合、エージェントに対応するエリアにユーザ２０の視線が向いたことが検出された場合に、そのエージェントに対応するコメントが出力されてもよい。あるいは、複数の音声が同時に出力されている状態であっても、人は自分の興味がある音声を自然に聞き取ることができるという現象（いわゆる「カクテルパーティ効果」）を利用して、すべてのコメントが同時に音声として出力されてもよい。
　図１１は、エージェントに思考を伴う行動を行わせる第３の例について説明するための図である。図１１を参照すると、ユーザ２０の視野５０－４が示されている。提案定義情報１３１として、コンテキスト「疲労状態」と、提案情報「回復」とが関連付けられてなる情報が登録されている場合を想定する。また、エージェント定義情報１３２として、提案情報「回復」とエージェントの行動「回復行動」と行動種別「思考を伴う行動」とが関連付けられてなる情報が登録されている場合を想定する。
　コンテキスト取得部１２１は、ユーザの行動情報の例として、ユーザ２０の疲労状態を示す状態情報を取得する。ここでは、疲労状態として、ユーザ２０の歩行距離が所定の距離以上である場合を想定する。歩行距離は、加速度センサによって検出された加速度およびジャイロセンサによって検出された角速度に基づいて測定され得る。しかし、疲労状態は、かかる例に限定されない。
　提案情報取得部１２２は、コンテキスト「疲労状態」に対応する提案情報「回復」を取得する。さらに、表示制御部１２９は、エージェント定義情報１３２に基づいて、提案情報「回復」に対応するエージェントの行動「回復行動」および行動種別「思考を伴う行動」を取得する。表示制御部１２９は、ユーザの疲労状態に応じた回復行動を行うエージェントを表示するよう表示部１５０を制御する。
　より具体的に、表示制御部１２９は、提案情報取得部１２２によって取得されたエージェントの行動「回復行動」を行うエージェント（エージェント３２－７）を視野５０－４内に表示するよう表示部１５０を制御する。なお、提案情報「回復」は、休憩および水分補給のうち少なくとも１つを含んでよく、エージェントの行動「回復行動」は、休憩に関連する行動および水分補給に関連する行動のうち少なくとも１つを含んでよい。
　図１１を参照すると、回復行動の例として、疲労が蓄積した表情をするエージェント３２－７が表示されている。しかし、回復行動は、かかる例に限定されない。例えば、回復行動は、休憩を行う行動であってもよいし、水分補給を行う行動であってもよいし、飲み物を買う行動であってもよい。また、図１１を参照すると、表示制御部１２９によって、提案情報「回復」に関連するコメント４１－６がエージェント３２－７に関連付けられて表示されている。しかし、コメント４１－６は、どのようにして出力されてもよく、音声として出力されてもよい。
　図１２は、エージェントに知覚行動を行わせる第１の例について説明するための図である。図１２を参照すると、ユーザ２０の視野５０－５が示されている。実空間には実オブジェクト３１－３（喫茶店）が存在しており、視野５０－５には実オブジェクト３１－３（喫茶店）が存在している。また、マップ情報１３５（図８）として、実オブジェクトの種類（喫茶店）とその実オブジェクトの位置情報とが関連付けられてなる情報が登録されている場合を想定する。
　また、提案定義情報１３１（図４）として、コンテキスト「ユーザの現在位置が喫茶店の位置から所定の距離以内であり、かつ、喫茶店によく行く行動傾向がある」と、提案情報「喫茶店の前で匂いを嗅ぐ」とが関連付けられてなる情報が登録されている場合を想定する。また、エージェント定義情報１３２（図５）として、提案情報「喫茶店の前で匂いを嗅ぐ」とエージェントの行動「匂い粒子に鼻を向ける」と行動種別「知覚行動」と知覚種別「嗅覚」とが関連付けられてなる情報が登録されている場合を想定する。
　上記と同様にして、環境情報取得部１２３は、環境情報を取得する。より具体的に、環境情報取得部１２３は、ユーザと実オブジェクト３１－３（喫茶店）との相対的な位置関係（例えば、ユーザの視野における実オブジェクト３１－３（喫茶店）の位置）を環境情報として取得する。
　コンテキスト取得部１２１は、環境情報に基づいて、ユーザの位置（現在位置）が喫茶店の位置から所定の距離以内であることを取得する。さらに、コンテキスト取得部１２１は、喫茶店によく行く行動傾向があることを取得する。提案情報取得部１２２は、ユーザの周辺環境に関連するユーザへの提案情報を取得する。より具体的には、提案情報取得部１２２は、提案定義情報１３１（図４）に基づいて、コンテキスト「ユーザの位置（現在位置）が喫茶店の位置から所定の距離以内であり、かつ、喫茶店によく行く行動傾向があること」に対応する提案情報「喫茶店の前で匂いを嗅ぐ」を取得する。
　さらに、表示制御部１２９は、エージェント定義情報１３２（図５）に基づいて、提案情報「喫茶店の前で匂いを嗅ぐ」に対応するエージェントの行動「匂い粒子に鼻を向ける」、行動種別「知覚行動」および知覚種別「嗅覚」を取得する。表示制御部１２９は、提案情報取得部１２２によって行動種別「知覚行動」が取得された場合、視覚、味覚、嗅覚、聴覚および触覚のうち少なくとも１つに関連する周辺環境に対する知覚行動を行うエージェントを表示するよう表示部１５０を制御する。特に、表示制御部１２９は、提案情報取得部１２２によって行動種別「知覚行動」および知覚種別「嗅覚」が取得された場合、匂い粒子に鼻を向けるよう（周辺環境に含まれる匂い粒子に向かってエージェントの鼻方向を変更するよう）表示部１５０を制御する。
　より具体的に、表示制御部１２９は、知覚行動に対応するエージェントモデル情報１３４に基づいて、知覚種別「嗅覚」に対応するエージェントモデル「犬型エージェント」を取得する。そして、表示制御部１２９は、エージェントの行動「匂い粒子に鼻を向ける」を行うエージェントモデル「犬型エージェント」（エージェント３２－８）を視野５０－５内に表示するよう表示部１５０を制御する。
　知覚種別「嗅覚」に対応するエージェントモデル「犬型エージェント」が表示されることによって、知覚種別「嗅覚」がユーザに把握されやすくなる。あるいは、エージェントモデル「犬型エージェント」の代わりにエージェントモデル「人型エージェント」が表示されてもよいが、知覚種別「嗅覚」に対応する感覚器官「鼻」が強調されるようなエフェクトが人型エージェントに施されるとよい。また、エージェントモデルの鼻が匂い粒子に向けられることによって、どの方向に向かって匂いを嗅げばよいかがユーザに把握されやすくなる。匂い粒子が存在する方向は、実オブジェクト３１－３（喫茶店）の位置に向かう方向であってよい。
　図１３は、エージェントに知覚行動を行わせる第２の例について説明するための図である。図１３を参照すると、ユーザ２０の視野５０－６が示されている。実空間には実オブジェクト３１－４が存在しており、視野５０－６にはユーザ２０との通信相手を撮像して得られた仮想オブジェクト３３－１が存在している。なお、図１３に示されるように、実オブジェクト３１－４は移動物体（例えば、人、自転車、自動車など）であることが主に想定されるが、実オブジェクト３１－４の種類は限定されない。また、仮想オブジェクト３３－１は、通信相手を撮像して得られた仮想オブジェクトに限定されない。
　また、提案定義情報１３１として、コンテキスト「ユーザに向かって実オブジェクトが近づいている、かつ、表示部が仮想オブジェクト表示中である」と、提案情報「実オブジェクトに視線を向ける」とが関連付けられてなる情報が登録されている場合を想定する。また、エージェント定義情報１３２として、提案情報「実オブジェクトに視線を向ける」とエージェントの行動「実オブジェクトの方向に視線方向を変更する」と行動種別「知覚行動」と知覚種別「視覚」とが関連付けられてなる情報が登録されている場合を想定する。
　このとき、環境情報取得部１２３は、環境情報を取得する。より具体的に、環境情報取得部１２３は、センサ部１１０に含まれるイメージセンサによって撮像された画像に基づいて、実オブジェクト３１－４の位置（情報処理装置１０と実オブジェクト３１－４との相対的な位置関係）を取得する。また、環境情報取得部１２３は、実オブジェクト３１－４の位置の変化（例えば、ユーザに向かって実オブジェクト３１－４が近づいているか否か）を環境情報として取得する。
　コンテキスト取得部１２１は、環境情報に基づいて、ユーザに向かって実オブジェクト３１－４が近づいていることを取得する。さらに、コンテキスト取得部１２１は、表示部１５０が仮想オブジェクト３３－１を表示中であることを取得する。提案情報取得部１２２は、ユーザの周辺環境に関連するユーザへの提案情報を取得する。より具体的には、提案情報取得部１２２は、提案定義情報１３１に基づいて、コンテキスト「ユーザに向かって実オブジェクトが近づいている、かつ、表示部が仮想オブジェクト表示中である」に対応する提案情報「実オブジェクトに視線を向ける」を取得する。
　さらに、表示制御部１２９は、エージェント定義情報１３２に基づいて、提案情報「実オブジェクトに視線を向ける」に対応するエージェントの行動「実オブジェクトの方向に視線方向を変更する」、行動種別「知覚行動」および知覚種別「視覚」を取得する。表示制御部１２９は、提案情報取得部１２２によって行動種別「知覚行動」および知覚種別「視覚」が取得された場合、実オブジェクトの方向に視線方向を変更するよう（周辺環境に含まれる実オブジェクトの方向を向くようにエージェントの視線方向を変更するよう）表示部１５０を制御する。
　より具体的に、表示制御部１２９は、知覚行動に対応するエージェントモデル情報１３４に基づいて、知覚種別「視覚」に対応するエージェントモデル「人型エージェント」を取得する。そして、表示制御部１２９は、エージェントの行動「実オブジェクト（実オブジェクト３１－４）に視線を向ける」を行うエージェントモデル「人型エージェント」（エージェント３２－９）を視野５０－６内に表示するよう表示部１５０を制御する。
　人の視線が向いている方向は、他の動物の視線が向いている方向よりも把握しやすいため、知覚種別「視覚」に対応するエージェントモデルとして「人型エージェント」が表示されることによって、ユーザはエージェントの視線変更に気づきやすくなる。また、エージェントモデルの視線が実オブジェクトに向けられることによって、どの方向に視線を向ければよいかがユーザに把握されやすくなる。
　図１４は、エージェントに知覚行動を行わせる第３の例について説明するための図である。図１４を参照すると、ユーザ２０の視野５０－７が示されている。実空間には実オブジェクト３１－５（景勝地）が存在しており、視野５０－５には実オブジェクト３１－５（景勝地）が存在している。また、マップ情報１３５（図８）として、実オブジェクトの種類（景勝地）とその実オブジェクトの位置情報とが関連付けられてなる情報が登録されている場合を想定する。
　また、提案定義情報１３１として、コンテキスト「ユーザの現在位置が景勝地の位置から所定の距離以内である」と、提案情報「耳を澄ます」とが関連付けられてなる情報が登録されている場合を想定する。また、エージェント定義情報１３２として、提案情報「耳を澄ます」とエージェントの行動「音に向かって耳を傾ける」と行動種別「知覚行動」と知覚種別「聴覚」とが関連付けられてなる情報が登録されている場合を想定する。
　上記と同様にして、環境情報取得部１２３は、環境情報を取得する。より具体的に、環境情報取得部１２３は、ユーザと実オブジェクト３１－３（景勝地）との相対的な位置関係（例えば、ユーザの視野における実オブジェクト３１－３（景勝地）の位置）を環境情報として取得する。
　コンテキスト取得部１２１は、環境情報に基づいて、ユーザの位置（現在位置）が景勝地の位置から所定の距離以内であることを取得する。提案情報取得部１２２は、ユーザの周辺環境に関連するユーザへの提案情報を取得する。より具体的には、提案情報取得部１２２は、提案定義情報１３１に基づいて、コンテキスト「ユーザの位置（現在位置）が景勝地の位置から所定の距離以内である」に対応する提案情報「耳を澄ます」を取得する。
　さらに、表示制御部１２９は、エージェント定義情報１３２（図５）に基づいて、提案情報「耳を澄ます」に対応するエージェントの行動「音に向かって耳を傾ける」、行動種別「知覚行動」および知覚種別「聴覚」を取得する。表示制御部１２９は、提案情報取得部１２２によって行動種別「知覚行動」および知覚種別「聴覚」が取得された場合、音に向かって耳を傾けるよう（周辺環境に含まれる音に向かってエージェントの耳を傾けるよう）表示部１５０を制御する。
　より具体的に、表示制御部１２９は、知覚行動に対応するエージェントモデル情報１３４に基づいて、知覚種別「視覚」に対応するエージェントモデル「うさぎ型エージェント」を取得する。そして、表示制御部１２９は、エージェントの行動「音に向かって耳を傾ける」を行うエージェントモデル「うさぎエージェント」（エージェント３２－１０）を視野５０－７内に表示するよう表示部１５０を制御する。
　知覚種別「聴覚」に対応するエージェントモデル「うさぎ型エージェント」が表示されることによって、知覚種別「聴覚」がユーザに把握されやすくなる。あるいは、エージェントモデル「うさぎ型エージェント」の代わりにエージェントモデル「人型エージェント」が表示されてもよいが、知覚種別「聴覚」に対応する感覚器官「耳」が強調されるようなエフェクトが人型エージェントに施されるとよい。また、エージェントモデルの耳が音に傾けられることによって、どの方向に向かって耳を澄ませばよいかがユーザに把握されやすくなる。音が存在する方向は、実オブジェクト３１－５（景勝地）の位置に向かう方向であってよい。
　図１５は、エージェントに知覚行動を行わせる第４の例について説明するための図である。図１５を参照すると、ユーザ２０の視野５０－８が示されている。実空間には実オブジェクト３１－５が存在しており、視野５０－８にはユーザ２０との通信相手を撮像して得られた仮想オブジェクト３３－１が存在している。なお、図１５に示されるように、実オブジェクト３１－５は人であることが主に想定されるが、実オブジェクト３１－５の種類は限定されない。また、仮想オブジェクト３３－１は、通信相手を撮像して得られた仮想オブジェクトに限定されない。
　また、提案定義情報１３１として、コンテキスト「靴紐が解けている」と、提案情報「足元を見る」とが関連付けられてなる情報が登録されている場合を想定する。また、エージェント定義情報１３２として、提案情報「足元を見る」とエージェントの行動「否定的なリアクションを再現する」と行動種別「知覚行動」と知覚種別「視覚」とが関連付けられてなる情報が登録されている場合を想定する。
　このとき、環境情報取得部１２３は、環境情報を取得する。より具体的に、環境情報取得部１２３は、センサ部１１０に含まれるイメージセンサによって撮像された画像に基づいて、実オブジェクト３１－５の位置（情報処理装置１０と実オブジェクト３１－５との相対的な位置関係）を取得する。また、環境情報取得部１２３は、実オブジェクト３１－５のユーザに対するリアクション（例えば、ユーザに対して視線を向けているか否かなど）を環境情報として取得する。
　ここでは、コンテキスト取得部１２１は、環境情報に基づいて、実オブジェクト３１－５のユーザに対する否定的なリアクションを取得する。図１５に示されるように、否定的なりアクションは、周辺環境にいる実オブジェクト３１－５がユーザに対して視線を向けることを含んでよい。コンテキスト取得部１２１は、否定的なリアクションに基づいてユーザの行動情報を判定する。図１５に示された例では、実オブジェクト３１－５の視線がユーザの足元に向いている。そこで、コンテキスト取得部１２１は、ユーザの靴紐が解けていると判定する。
　提案情報取得部１２２は、ユーザの周辺環境に関連するユーザへの提案情報を取得する。より具体的には、提案情報取得部１２２は、提案定義情報１３１に基づいて、コンテキスト「靴紐が解けている」に対応する提案情報「足元を見る」を取得する。
　さらに、表示制御部１２９は、エージェント定義情報１３２に基づいて、提案情報「足元を見る」に対応するエージェントの行動「否定的なリアクションを再現する」、行動種別「知覚行動」および知覚種別「視覚」を取得する。表示制御部１２９は、提案情報取得部１２２によって行動種別「知覚行動」および知覚種別「視覚」が取得された場合、否定的なリアクションを再現するエージェントを表示するよう表示部１５０を制御する。
　より具体的に、表示制御部１２９は、知覚行動に対応するエージェントモデル情報１３４に基づいて、知覚種別「視覚」に対応するエージェントモデル「人型エージェント」を取得する。そして、表示制御部１２９は、エージェントの行動「否定的なリアクションを再現する」を行うエージェントモデル「人型エージェント」（エージェント３２－１１）を視野５０－８内に表示するよう表示部１５０を制御する。図１５に示された例では、エージェント３２－１１は、ユーザに対して視線を向けるという否定的なリアクションを再現している。
　以上、エージェントの制御例について説明した。
　　（１．３．３．情報処理装置の動作）
　図１６および図１７を参照しながら、情報処理装置１０の動作の例について説明する。図１６および図１７は、情報処理装置１０の動作の例を示すフローチャートである。なお、図１６および図１７に示したフローチャートは、情報処理装置１０の動作の一例を示すに過ぎない。したがって、情報処理装置１０の動作は、図１６および図１７に示した例に限定されない。
　まず、図１６に示されたように、コンテキスト取得部１２１によって、コンテキストが取得される（Ｓ１１）。コンテキストには、上記したように、ユーザの行動情報の他、ユーザの予定情報、ユーザのプロファイルが含まれてよい。提案情報取得部１２２は、コンテキスト取得部１２１によって取得されたコンテキストに基づいて、提案情報の取得を試みる（Ｓ１２）。提案情報が取得されなかった場合には（Ｓ１３において「Ｎｏ」）、Ｓ１１に動作が移行される。一方、提案情報が取得された場合には（Ｓ１３において「Ｙｅｓ」）、Ｓ１４に動作が移行される。
　表示制御部１２９は、提案情報が思考を伴う行動に対応しない場合には（Ｓ１４において「Ｎｏ」）、Ｓ１６に進む。一方、提案情報が思考を伴う行動に対応する場合には（Ｓ１４において「Ｙｅｓ」）、エージェントの表現要素（上記では、エージェントモデルを特定するための要素）にエージェント属性情報を追加して（Ｓ１５）、Ｓ１６に進む。
　また、表示制御部１２９は、提案情報が知覚行動に対応しない場合には（Ｓ１６において「Ｎｏ」）、Ｓ１８に進む。一方、提案情報が知覚行動に対応する場合には（Ｓ１６において「Ｙｅｓ」）、エージェントの表現要素（エージェントモデルを特定するための要素）に知覚種別を追加して（Ｓ１７）、Ｓ１８に進む。表示制御部１２９は、エージェントの表現要素に基づいてエージェントモデル（例えば、表現要素に対応するエージェントモデル）を決定する（Ｓ１８）。
　なお、エージェントの表現要素が複数である場合には、複数の表現要素それぞれに対応するエージェントモデルが決定されてよい。例えば、知覚種別「視覚」と知覚種別「嗅覚」が表現要素である場合、知覚種別「視覚」に対応するエージェントモデル「人型エージェント」と知覚種別「嗅覚」に対応するエージェント「犬型エージェント」が決定されてよい。あるいは、ユーザ属性情報「イベント参加者」と知覚種別「視覚」が表現要素である場合、ユーザ属性情報「イベント参加者」に対応するエージェントモデル「イベント参加者の服装をした人型エージェント」と知覚種別「視覚」に対応するエージェントモデル「人型エージェント」が決定されてよい。
　図１７に進んで、表示制御部１２９は、決定したエージェントモデルを用いてエージェントを表示するよう表示部１５０を制御する（Ｓ２１）。表示制御部１２９は、ユーザがエージェントに気づいた状態が検出されない場合、かつ、処理終了指示が検出されない場合（Ｓ２２において「Ｎｏ」）、Ｓ２２に動作を移行させる。一方、表示制御部１２９は、ユーザがエージェントに気づいた状態が検出された場合、または、処理終了指示が検出された場合（Ｓ２２において「Ｙｅｓ」）、提示情報に応じた行動を行うエージェントを表示するよう表示部１５０を制御する（Ｓ２３）。
　なお、表示制御部１２９は、ユーザがエージェントに気づいた状態が検出されるまで、ユーザの注意を惹きやすい所定の行動をエージェントに行わせてもよい。ユーザがエージェントに気づいたか否か（ユーザがエージェントに注目しているか否か）は、ユーザの視線または顔がユーザの視野内のエージェントに向いているかに基づいて判断してもよいし、ユーザの生体情報の変化に基づいて判断してもよい。また、表示制御部１２９は、ユーザがエージェントに気づいたか否かに関わらず、一律に提示情報に応じた行動を行うエージェントを表示するよう表示部１５０を制御してもよい。
　あるいは、表示制御部１２９は、提案情報が思考を伴う行動に対応する場合には、ユーザがエージェントに気づいた状態が検出された場合に、提示情報に応じた行動を行うエージェントを表示するよう表示部１５０を制御してもよい。一方、表示制御部１２９は、提案情報が知覚行動に対応する場合には、ユーザがエージェントに気づいたか否かに関わらず、一律に提示情報に応じた行動を行うエージェントを表示するよう表示部１５０を制御してもよい。また、処理終了指示は、ユーザの注目がエージェントから外れたことによって検出されてもよい。
　表示制御部１２９は、エージェントの行動に従ってユーザが行動しない場合、かつ、ユーザがエージェントを無視しない場合、かつ、処理終了指示が検出されない場合（Ｓ２４において「Ｎｏ」）、Ｓ２４に動作を移行させる。ユーザがエージェントを無視したか否かは、ユーザの視線または顔がユーザの視野内のエージェント以外の場所を向いているか否かに基づいて判断してもよいし、ユーザの生体情報の変化に基づいて判断してもよい。あるいは、表示制御部１２９は、ユーザが所定の時間以上エージェントの行動に従って行動しなかった場合に、ユーザがエージェントを無視したと見做してもよい。
　一方、表示制御部１２９は、エージェントの行動に従ってユーザが行動した場合、または、ユーザがエージェントを無視した場合、または、処理終了指示が検出された場合（Ｓ２４において「Ｙｅｓ」）、表示終了処理を行う（Ｓ２５）。なお、表示制御部１２９は、表示終了処理において、エージェントをユーザの視野から削除してもよいし、提案状態に応じた行動をエージェントに行わせるのを停止してもよいし、提案状態に応じた行動とは異なる行動（デフォルト動作）をエージェントに継続させてもよい。
　以上、情報処理装置１０の動作の例について説明した。
　　（１．３．４．各種の変形例）
　上記のようにして、本開示の実施形態に係るエージェントの制御が実行される。しかし、エージェントの制御は、上記した例に限定されない。例えば、上記では、思考を伴う行動をエージェントに行わせる例および知覚行動をエージェントに行わせる例について説明した。しかし、思考を伴う行動をエージェントに行わせる例および知覚行動をエージェントに行わせる例は、上記した例に限定されない。以下では、思考を伴う行動をエージェントに行わせる例および知覚行動をエージェントに行わせる例についてさらに説明する。
　まず、思考を伴う行動をエージェントに行わせる例について説明する。例えば、コンテキスト取得部１２１によってユーザがイベント会場の最寄り駅に到達したことが取得された場合に、表示制御部１２９は、ユーザと同一または類似する格好（例えば、服装、持ち物など）をしたエージェント（人型エージェントなど）を表示するよう表示部１５０を制御してもよい。ユーザは、かかるエージェントを視認することによって、自分が向かう先にイベント会場があることを察することができる。
　このとき、ユーザは、エージェント（人型エージェントなど）の持ち物を視認することによって、イベント会場に到達するまでに入手したほうがよいものを察することができる。また、ユーザは、買い物をしているエージェント（人型エージェントなど）を視認することによって、入手したほうがよいものを察することができる。あるいは、ユーザは、かかるエージェントを視認することによって、自身が向かう先にある休憩スペースが既に満席である可能性のあることを察することができる。
　また、例えば、コンテキスト取得部１２１によって所定のコンテキストが取得された場合、表示制御部１２９は、ユーザに同行しているエージェントに所定の行動をさせてもよい。例えば、コンテキスト取得部１２１によってユーザの疲労状態を示す状態情報が取得された場合、表示制御部１２９は、エージェントに疲れた仕草をさせてもよい。ユーザは、かかるエージェントを視認することによって、自分もそろそろ休憩したほうがよいと察することができる。
　あるいは、コンテキスト取得部１２１によって、（例えば、ユーザが撮像された画像に基づいて）最後にユーザが水分補給をしてから所定の距離以上歩行したことまたは所定の時間が経過したことが取得された場合、表示制御部１２９は、エージェントに水分補給をさせてもよい。ユーザは、かかるエージェントを視認することによって、自分もそろそろ水分補給をしたほうがよいと察することができる。
　また、コンテキスト取得部１２１によって所定のコンテキストが取得された場合、表示制御部１２９は、エージェントに所定の行動をさせてもよい。例えば、コンテキスト取得部１２１によって（例えば、他人が撮像された画像に基づいて）他人がユーザの胸元を見ていることが取得された場合、表示制御部１２９は、エージェントにユーザの胸元を見させてもよい。あるいは、コンテキスト取得部１２１によって（例えば、ユーザが撮像された画像に基づいて）ユーザのボタンの掛け違いが取得された場合、表示制御部１２９は、エージェントにユーザの胸元を見させてもよい。ユーザは、かかるエージェントを視認することによって、自分の胸元を確認して、ボタンの掛け違いに気づくことができる。
　例えば、コンテキスト取得部１２１によって（例えば、他人が撮像された画像に基づいて）他人がユーザの足元を見ていることが取得された場合、表示制御部１２９は、エージェントにユーザの足元を見させてもよい。あるいは、コンテキスト取得部１２１によって（例えば、ユーザが撮像された画像に基づいて）ユーザの靴紐が解けていることが取得された場合、表示制御部１２９は、エージェントにユーザの足元を見させてもよい。ユーザは、かかるエージェントを視認することによって、自分の足元を確認して、靴紐が解けていることに気づくことができる。
　例えば、コンテキスト取得部１２１によって（例えば、他人が撮像された画像に基づいて）イヤホンでユーザが音楽を聴いている間に他人がユーザを見ていること（例えば、不快な表情でユーザを見ていること）が取得された場合、表示制御部１２９は、音漏れを示す所定の行動（例えば、耳を塞ぐ行動、音漏れさせながら音楽を聴いて周囲に迷惑を掛ける行動など）をエージェントにさせてもよい。ユーザは、かかるエージェントを視認することによって、イヤホンまたはヘッドホンから周囲に漏れている音の大きさを確認して、音漏れを察することができる（音量を上げすぎないように注意することができる）。
　あるいは、コンテキスト取得部１２１によって、（例えば、ユーザが撮像された画像に基づいて）ユーザに向かって実オブジェクト（例えば、人、自転車、自動車など）が近づいていること取得された場合、表示制御部１２９は、実オブジェクト（例えば、人、自転車、自動車など）に視線を向けるようにエージェントを変更してもよい。ユーザは、かかるエージェントを視認することによって、自分も周囲の安全を確認したほうがよいと察することができる。
　例えば、コンテキスト取得部１２１によって（例えば、匂いセンサによって検出された匂いに基づいて）シャンプーの匂いが取得された場合、表示制御部１２９は、匂いに注意を払う所定の行動（例えば、匂いを嗅ぐ行動など）をエージェントにさせてもよい。ユーザは、かかるエージェントを視認することによって、知人がシャンプーを変えたことを察することができる。
　＜２．ハードウェア構成例＞
　次に、図１８を参照して、本開示の実施形態に係る情報処理装置１０のハードウェア構成例について説明する。図１８は、本開示の実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。
　図１８に示されるように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０５を含む。また、情報処理装置１０は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含む。さらに、情報処理装置１０は、撮像装置９３３、およびセンサ９３５を含む。情報処理装置１０は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１０の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置９３３も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。
　出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などであり得る。出力装置９１７は、情報処理装置１０の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。また、出力装置９１７は、周囲を明るくするためライトなどを含んでもよい。
　ストレージ装置９１９は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
　接続ポート９２３は、機器を情報処理装置１０に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポートなどであり得る。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１０と外部接続機器９２９との間で各種のデータが交換され得る。
　通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カードなどであり得る。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
　撮像装置９３３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
　センサ９３５は、例えば、測距センサ、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置１０の筐体の姿勢など、情報処理装置１０自体の状態に関する情報や、情報処理装置１０の周辺の明るさや騒音など、情報処理装置１０の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。
　＜３．むすび＞
　以上説明したように、本開示の実施形態によれば、ユーザの行動情報を取得する行動情報取得部と、前記行動情報に基づいて、前記行動情報を取得した時点における前記ユーザの周辺環境に関連する前記ユーザへの提案情報を取得する提案情報取得部と、前記提案情報に基づいて、前記ユーザの視野内に前記提案情報に応じた行動を行うアバターオブジェクトを表示するよう表示装置を制御する表示制御部と、を備える、情報処理装置が提供される。かかる構成によれば、ユーザに与える不快感を低減させつつユーザに提案を行うことが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した制御部１２０が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
　例えば、上記した情報処理装置１０の動作が実現されれば、各構成の位置は特に限定されない。情報処理装置１０における各部の処理の一部または全部はサーバ装置（不図示）によって行われてもよい。具体的な一例として、情報処理装置１０における制御部１２０が有する各ブロックの一部または全部は、サーバ装置（不図示）などに存在していてもよい。例えば、情報処理装置１０におけるコンテキスト取得部１２１、提案情報取得部１２２、環境情報取得部１２３、属性情報取得部１２４および表示制御部１２９の一部または全部は、サーバ装置（不図示）などに存在していてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザの行動情報を取得する行動情報取得部と、
　前記行動情報に基づいて、前記行動情報を取得した時点における前記ユーザの周辺環境に関連する前記ユーザへの提案情報を取得する提案情報取得部と、
　前記提案情報に基づいて、前記ユーザの視野内に前記提案情報に応じた行動を行うアバターオブジェクトを表示するよう表示装置を制御する表示制御部と、
　を備える、情報処理装置。
（２）
　前記ユーザの属性情報を取得する属性情報取得部を更に備え、
　前記表示制御部は、前記属性情報に対応する前記アバターオブジェクトを表示するよう前記表示装置を制御する、
　前記（１）に記載の情報処理装置。
（３）
　前記ユーザの属性情報は、性別情報を含む、
　前記（２）に記載の情報処理装置。
（４）
　前記ユーザの属性情報は、ユーザの服装を含む、
　前記（２）または（３）に記載の情報処理装置。
（５）
　前記表示制御部は、前記ユーザの属性情報と実質的に同一の属性情報に対応する前記アバターオブジェクトを表示するよう前記表示装置を制御する、
　前記（２）～（４）のいずれか一項に記載の情報処理装置。
（６）
　前記表示制御部は、視覚、味覚、嗅覚、聴覚および触覚のうち少なくとも１つに関連する前記周辺環境に対する知覚行動を行う前記アバターオブジェクトを表示するよう前記表示装置を制御する、
　前記（１）～（５）のいずれか一項に記載の情報処理装置。
（７）
　前記表示制御部は、前記周辺環境に含まれる実オブジェクトの方向を向くよう前記アバターオブジェクトの視線方向を変更するよう前記表示装置を制御する、
　前記（６）に記載の情報処理装置。
（８）
　前記表示制御部は、前記周辺環境に含まれる匂い粒子に向かって前記アバターオブジェクトの鼻方向を変更するよう前記表示装置を制御する、
　前記（６）に記載の情報処理装置。
（９）
　前記表示制御部は、前記周辺環境に含まれる音に向かって前記アバターオブジェクトの耳を傾けるよう前記表示装置を制御する、
　前記（６）に記載の情報処理装置。
（１０）
　前記周辺環境は、前記ユーザの周辺の気象を含み、
　前記表示制御部は、前記気象に関連する行動を行う前記アバターオブジェクトを表示するよう前記表示装置を制御する、
　前記（１）～（５）のいずれか一項に記載の情報処理装置。
（１１）
　前記気象に関連する行動は、雨具の購入に関連する行動を含む、
　前記（１０）に記載の情報処理装置。
（１２）
　前記表示制御部は、前記周辺環境に関連する購買行動を行う前記アバターオブジェクトを表示するよう前記表示装置を制御する、
　前記（１）～（５）のいずれか一項に記載の情報処理装置。
（１３）
　前記表示制御部は、前記購買行動を行うことが可能な店舗前に前記アバターオブジェクトを配置するよう前記表示装置を制御する、
　前記（１２）に記載の情報処理装置。
（１４）
　前記行動情報は、前記ユーザの疲労状態を示す状態情報を含み、
　前記表示制御部は、前記状態情報に応じた回復行動を行う前記アバターオブジェクトを表示するよう前記表示装置を制御する、
　前記（１）～（５）のいずれか一項に記載の情報処理装置。
（１５）
　前記回復行動は、休憩に関連する行動および水分補給に関連する行動のうち少なくとも１つを含む、
　前記（１４）に記載の情報処理装置。
（１６）
　前記行動情報は、前記周辺環境の画像認識結果に基づく前記周辺環境にいる人の前記ユーザに対する否定的なリアクションに基づいて判定され、
　前記表示制御部は、前記否定的なリアクションを再現する前記アバターオブジェクトを表示するよう前記表示装置を制御する、
　前記（１）～（５）のいずれか一項に記載の情報処理装置。
（１７）
　前記否定的なリアクションは、前記周辺環境にいる人が前記ユーザに対して視線を向けることを含む、
　前記（１６）に記載の情報処理装置。
（１８）
　前記情報処理装置は、ＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）である、
　前記（１）～（１７）のいずれか一項に記載の情報処理装置。
（１９）
　ユーザの行動情報を取得することと、
　前記行動情報に基づいて、前記行動情報を取得した時点における前記ユーザの周辺環境に関連する前記ユーザへの提案情報を取得することと、
　前記提案情報に基づいて、前記ユーザの視野内に前記提案情報に応じた行動を行うアバターオブジェクトを表示するよう表示装置を制御することと、
　を含む、情報処理方法。
（２０）
　コンピュータを、
　ユーザの行動情報を取得する行動情報取得部と、
　前記行動情報に基づいて、前記行動情報を取得した時点における前記ユーザの周辺環境に関連する前記ユーザへの提案情報を取得する提案情報取得部と、
　前記提案情報に基づいて、前記ユーザの視野内に前記提案情報に応じた行動を行うアバターオブジェクトを表示するよう表示装置を制御する表示制御部と、
　を備える情報処理装置として機能させるためのプログラム。
　１０　　情報処理装置
　１１０　センサ部
　１２０　制御部
　１２１　コンテキスト取得部
　１２２　提案情報取得部
　１２３　環境情報取得部
　１２４　属性情報取得部
　１２９　表示制御部
　１３０　記憶部
　１３１　提案定義情報
　１３２　エージェント定義情報
　１３３　思考を伴う行動に対応するエージェントモデル情報
　１３４　知覚行動に対応するエージェントモデル情報
　１３５　マップ情報
　１４０　通信部
　１５０　表示部
　２０　　ユーザ
　３１　　実オブジェクト
　３２　　エージェント
　３３　　仮想オブジェクト
　４１　　コメント
　５０　　視野

Claims (20)

  1. 　ユーザの行動情報を取得する行動情報取得部と、
    　前記行動情報に基づいて、前記行動情報を取得した時点における前記ユーザの周辺環境に関連する前記ユーザへの提案情報を取得する提案情報取得部と、
    　前記提案情報に基づいて、前記ユーザの視野内に前記提案情報に応じた行動を行うアバターオブジェクトを表示するよう表示装置を制御する表示制御部と、
    　を備える、情報処理装置。
  2. 　前記ユーザの属性情報を取得する属性情報取得部を更に備え、
    　前記表示制御部は、前記属性情報に対応する前記アバターオブジェクトを表示するよう前記表示装置を制御する、
    　請求項１に記載の情報処理装置。
  3. 　前記ユーザの属性情報は、性別情報を含む、
    　請求項２に記載の情報処理装置。
  4. 　前記ユーザの属性情報は、ユーザの服装を含む、
    　請求項２に記載の情報処理装置。
  5. 　前記表示制御部は、前記ユーザの属性情報と実質的に同一の属性情報に対応する前記アバターオブジェクトを表示するよう前記表示装置を制御する、
    　請求項２に記載の情報処理装置。
  6. 　前記表示制御部は、視覚、味覚、嗅覚、聴覚および触覚のうち少なくとも１つに関連する前記周辺環境に対する知覚行動を行う前記アバターオブジェクトを表示するよう前記表示装置を制御する、
    　請求項１に記載の情報処理装置。
  7. 　前記表示制御部は、前記周辺環境に含まれる実オブジェクトの方向を向くよう前記アバターオブジェクトの視線方向を変更するよう前記表示装置を制御する、
    　請求項６に記載の情報処理装置。
  8. 　前記表示制御部は、前記周辺環境に含まれる匂い粒子に向かって前記アバターオブジェクトの鼻方向を変更するよう前記表示装置を制御する、
    　請求項６に記載の情報処理装置。
  9. 　前記表示制御部は、前記周辺環境に含まれる音に向かって前記アバターオブジェクトの耳を傾けるよう前記表示装置を制御する、
    　請求項６に記載の情報処理装置。
  10. 　前記周辺環境は、前記ユーザの周辺の気象を含み、
    　前記表示制御部は、前記気象に関連する行動を行う前記アバターオブジェクトを表示するよう前記表示装置を制御する、
    　請求項１に記載の情報処理装置。
  11. 　前記気象に関連する行動は、雨具の購入に関連する行動を含む、
    　請求項１０に記載の情報処理装置。
  12. 　前記表示制御部は、前記周辺環境に関連する購買行動を行う前記アバターオブジェクトを表示するよう前記表示装置を制御する、
    　請求項１に記載の情報処理装置。
  13. 　前記表示制御部は、前記購買行動を行うことが可能な店舗前に前記アバターオブジェクトを配置するよう前記表示装置を制御する、
    　請求項１２に記載の情報処理装置。
  14. 　前記行動情報は、前記ユーザの疲労状態を示す状態情報を含み、
    　前記表示制御部は、前記状態情報に応じた回復行動を行う前記アバターオブジェクトを表示するよう前記表示装置を制御する、
    　請求項１に記載の情報処理装置。
  15. 　前記回復行動は、休憩に関連する行動および水分補給に関連する行動のうち少なくとも１つを含む、
    　請求項１４に記載の情報処理装置。
  16. 　前記行動情報は、前記周辺環境の画像認識結果に基づく前記周辺環境にいる人の前記ユーザに対する否定的なリアクションに基づいて判定され、
    　前記表示制御部は、前記否定的なリアクションを再現する前記アバターオブジェクトを表示するよう前記表示装置を制御する、
    　請求項１に記載の情報処理装置。
  17. 　前記否定的なリアクションは、前記周辺環境にいる人が前記ユーザに対して視線を向けることを含む、
    　請求項１６に記載の情報処理装置。
  18. 　前記情報処理装置は、ＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）である、
    　請求項１に記載の情報処理装置。
  19. 　ユーザの行動情報を取得することと、
    　前記行動情報に基づいて、前記行動情報を取得した時点における前記ユーザの周辺環境に関連する前記ユーザへの提案情報を取得することと、
    　前記提案情報に基づいて、前記ユーザの視野内に前記提案情報に応じた行動を行うアバターオブジェクトを表示するよう表示装置を制御することと、
    　を含む、情報処理方法。
  20. 　コンピュータを、
    　ユーザの行動情報を取得する行動情報取得部と、
    　前記行動情報に基づいて、前記行動情報を取得した時点における前記ユーザの周辺環境に関連する前記ユーザへの提案情報を取得する提案情報取得部と、
    　前記提案情報に基づいて、前記ユーザの視野内に前記提案情報に応じた行動を行うアバターオブジェクトを表示するよう表示装置を制御する表示制御部と、
    　を備える情報処理装置として機能させるためのプログラム。
PCT/JP2019/029467 2018-07-31 2019-07-26 情報処理装置、情報処理方法およびプログラム WO2020026986A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/250,432 US20210256263A1 (en) 2018-07-31 2019-07-26 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-143309 2018-07-31
JP2018143309A JP2021182172A (ja) 2018-07-31 2018-07-31 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2020026986A1 true WO2020026986A1 (ja) 2020-02-06

Family

ID=69232562

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/029467 WO2020026986A1 (ja) 2018-07-31 2019-07-26 情報処理装置、情報処理方法およびプログラム

Country Status (3)

Country Link
US (1) US20210256263A1 (ja)
JP (1) JP2021182172A (ja)
WO (1) WO2020026986A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023026546A1 (ja) * 2021-08-25 2023-03-02 ソニーセミコンダクタソリューションズ株式会社 情報処理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005100382A (ja) * 2003-09-01 2005-04-14 Matsushita Electric Ind Co Ltd 対話装置及び対話方法
JP2011137844A (ja) * 2008-04-18 2011-07-14 Revirth Corp 電子地図上の登録データ表示システム、表示データの作成方法及び装置
WO2014080678A1 (ja) * 2012-11-22 2014-05-30 ソニー株式会社 情報処理装置、システム、情報処理方法およびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050054381A1 (en) * 2003-09-05 2005-03-10 Samsung Electronics Co., Ltd. Proactive user interface
EP3042327A2 (en) * 2013-09-04 2016-07-13 Zero360, Inc. Wearable device
US9852234B2 (en) * 2015-09-16 2017-12-26 Brian Gannon Optimizing apparel combinations
KR102601622B1 (ko) * 2017-12-14 2023-11-10 매직 립, 인코포레이티드 가상 아바타들의 콘텍스추얼 기반 렌더링

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005100382A (ja) * 2003-09-01 2005-04-14 Matsushita Electric Ind Co Ltd 対話装置及び対話方法
JP2011137844A (ja) * 2008-04-18 2011-07-14 Revirth Corp 電子地図上の登録データ表示システム、表示データの作成方法及び装置
WO2014080678A1 (ja) * 2012-11-22 2014-05-30 ソニー株式会社 情報処理装置、システム、情報処理方法およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023026546A1 (ja) * 2021-08-25 2023-03-02 ソニーセミコンダクタソリューションズ株式会社 情報処理装置

Also Published As

Publication number Publication date
JP2021182172A (ja) 2021-11-25
US20210256263A1 (en) 2021-08-19

Similar Documents

Publication Publication Date Title
Hu et al. An overview of assistive devices for blind and visually impaired people
JP6030582B2 (ja) 視覚障害を有する個人のための光学装置
CN110874129A (zh) 显示系统
CN110996796B (zh) 信息处理设备、方法和程序
WO2016181670A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2017130486A1 (ja) 情報処理装置、情報処理方法およびプログラム
US11567581B2 (en) Systems and methods for position-based gesture control
JP2005315802A (ja) ユーザ支援装置
US11016558B2 (en) Information processing apparatus, and information processing method to determine a user intention
WO2016208261A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP7375770B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN118103799A (zh) 与远程设备的用户交互
US20220122333A1 (en) Information processing apparatus, information processing method, and program
US20200341540A1 (en) Information processing apparatus, information processing method, and program
WO2020026986A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2019123744A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20200279559A1 (en) Information processing apparatus, information processing method, and program
WO2016143415A1 (ja) 情報処理装置、情報処理方法およびプログラム
US20200279110A1 (en) Information processing apparatus, information processing method, and program
JP6992799B2 (ja) 情報処理装置、情報処理方法およびプログラム
US11792484B2 (en) Information providing system, information providing method and management apparatus for information providing system for providing information obtained through a robot
JP2005173419A (ja) 手話解釈装置
WO2020031795A1 (ja) 情報処理装置、情報処理方法およびプログラム
Makhataeva et al. Augmented Reality for Cognitive Impairments
US20240200962A1 (en) Providing directional awareness indicators based on context

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19844693

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19844693

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP