WO2019215983A1 - 情報処理システム、情報処理方法、および記録媒体 - Google Patents

情報処理システム、情報処理方法、および記録媒体 Download PDF

Info

Publication number
WO2019215983A1
WO2019215983A1 PCT/JP2019/005729 JP2019005729W WO2019215983A1 WO 2019215983 A1 WO2019215983 A1 WO 2019215983A1 JP 2019005729 W JP2019005729 W JP 2019005729W WO 2019215983 A1 WO2019215983 A1 WO 2019215983A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
message
information processing
information
processing system
Prior art date
Application number
PCT/JP2019/005729
Other languages
English (en)
French (fr)
Inventor
井原　圭吾
小野　秀行
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201980029807.9A priority Critical patent/CN112074804A/zh
Priority to US17/044,066 priority patent/US11544968B2/en
Publication of WO2019215983A1 publication Critical patent/WO2019215983A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/043—Real-time or near real-time messaging, e.g. instant messaging [IM] using or handling presence information
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/224—Monitoring or handling of messages providing notification on incoming messages, e.g. pushed notifications of received messages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Definitions

  • This disclosure relates to an information processing system, an information processing method, and a recording medium.
  • Patent Document 1 discloses that an icon reflecting the content is displayed immediately before reading out information such as an email in a vehicle.
  • Patent Document 2 discloses a technology in which a projector is installed at a front door or the like, and when a family member who returns home turns on a front light switch, the projector is activated to perform a lighting function and project a message. .
  • Patent Document 3 discloses a technology for projecting information useful for a rider or necessary image information onto a road surface when the rider gets off by a projector attached to a side mirror of the vehicle.
  • Patent Document 4 discloses a projection navigation that predicts a user's action, generates a guide image, and displays the guide image on a wall or a corridor with a projector.
  • a UI image such as a mouse pad area is used so that any real object can be used as a UI (user interface) for a user wearing a transmissive HMD (head mounted display).
  • a technique for displaying is disclosed.
  • the present disclosure proposes an information processing system, an information processing method, and a recording medium that realize more effective information presentation by presenting information when it is easy for a user to accept information.
  • the information includes a control unit that controls the presenting unit to present the message to the user when it is estimated that the user is likely to accept the message based on sensing data related to the user.
  • a processing system is proposed.
  • the processor includes controlling the presentation unit to present a message to the user when it is estimated that the user is likely to accept the message based on sensing data related to the user.
  • the control unit controls the presentation unit to present the message to the user.
  • a recording medium in which a program for functioning is recorded is proposed.
  • more effective information presentation can be realized by presenting information when it is easy for the user to accept information.
  • FIG. 1 is a diagram illustrating an overview of an information processing system according to an embodiment of the present disclosure.
  • the information processing system according to the present embodiment uses the output device 1 to present information in various scenes in daily life.
  • the output device 1 is assumed to be a projector that projects an image on various places such as a wall and a floor.
  • the projector is assumed to be a wearable type that can be carried and held by a user, and a projector type that is fixed in various places such as a room, an entrance, a kitchen, and a bathroom.
  • a wearable projector for example, it may be a shoulder-ride type output device 1A as shown in FIG.
  • the wearing method is not particularly limited, but may be fixed to the body with, for example, a clip or a belt).
  • the wearable projector may be mounted (integrated) on a hat, helmet, glasses, etc., or may be mounted from a neck or worn on a belt wrapped around the chest or waist. Also good.
  • the projector may be a drive type projector that can be driven in a pan / tilt direction.
  • the output device 1 can control the angle of the projector and the like so as to project an image on a predetermined projection location.
  • the projector may be a movable projector in which the projector itself can be moved back and forth, left and right in addition to driving in the pan / tilt direction.
  • the information processing system can present information to the user in various scenes in daily life.
  • the output device 1 includes various sensors for detecting the user and surrounding conditions (for example, a microphone that detects voice and environmental sounds, a position measuring unit that measures positions indoors and outdoors, body temperature, heart rate, etc. For example, a living body sensor for detecting movement, a motion sensor for detecting movement, and a distance measuring sensor for measuring a distance from an object).
  • the output device 1 determines whether or not the user can easily accept information based on various sensing data, and presents information when it is easy to accept information.
  • the output device 1A shown in FIG. 1 has a biosensor 122a, and a cord provided with the biosensor 122a at the tip is pulled out of the output device 1A and attached to the body, and the user's heart rate, body temperature, and the like are constantly detected. ing.
  • the “situation where information can be easily accepted” means, for example, a state where the user's psychological state is calm, a state where the emotion is flat, a state where the user is relaxed, or a vagueness A state etc. are assumed.
  • a psychological state of the user can be recognized by biosensor data such as heart rate, body temperature, and respiration, facial expression, whispering, movement, and the like.
  • biosensor data such as heart rate, body temperature, and respiration, facial expression, whispering, movement, and the like.
  • “information is easily accepted” can be recognized, for example, by analyzing voice data collected by a microphone or analyzing acceleration information detected by motion sensor data.
  • the “situation where information can be easily accepted” may be determined based on, for example, the following basic user behavior. -When the user is using a PC and there is no key input for a certain period of time (since there is a high possibility that the user is not working, information presentation is accepted without interruption) ⁇ When you wake up in the morning to an agent terminal such as an AI speaker (when you are ready to accept information)
  • the information that the output device 1 presents to the user may be a response from an agent system that recommends content or behavior according to the context, e-mail, message, notification information, recommendation information, advertisement information, health information, etc. It may be presentation information from an information presentation system that presents various information.
  • the information processing system according to the present embodiment can be used as a common platform (platform) for controlling the presentation timing of various information output from such various systems to the user.
  • the information presented to the user from the output device 1 may be, for example, any one of text, audio data, or an image (moving image, still image), or a combination including at least one.
  • an agent image character image
  • a message may be read out by the agent's voice to make it easier for the user to accept.
  • the output device 1A projects the agent on the mirror surface and outputs a message from the agent system as a voice.
  • the output device 1A projects the agent on steam or the mirror surface of the bathroom and outputs a message from the agent system as a voice when the user is relaxed by being immersed in the bathtub.
  • the agent when a user waits for boiling water to boil during cooking, the agent is projected on the surface of the pot by the installation type output device 1B provided in the kitchen, and from the agent system. Output a message as a voice.
  • the agent voice is output from, for example, a speaker provided in the output device 1.
  • the agent sound may be output so as to be heard only by the user using a directional speaker, a mosquito sound, or the like.
  • the agent voice may be localized so that it can be heard from the projection direction of the agent (such as voice AR (Augmented Reality)).
  • the information processing system can also sort out information by comparing the contents of information to be presented with the user's situation. This makes it possible to present an easy-to-accept message that matches the user's situation at an easy-to-accept timing.
  • the information processing system presents information that prompts the user to change the situation when the user is not in a situation where it is easy to accept information, and presents the information after making the situation easy to accept the information. It is also possible.
  • the output device 1 is not limited to a projector that projects and displays an image on a real object.
  • a display such as a smartphone, a smart band, a smart watch, a tablet terminal, a PC, a television device, or a game device having a display screen. It may be a device, or a transmissive or non-transmissive HMD (Head Mounted Display).
  • HMD Head Mounted Display
  • the agent image can be displayed in the user's field of view by the AR that superimposes and displays the image in the real space.
  • an agent image can be displayed on the virtual space image.
  • the output device 1 may be an audio output device that does not have display means, such as a smart earphone or a smart necklace.
  • FIG. 2 is a diagram illustrating an example of the overall configuration of the information processing system according to the present embodiment.
  • the information processing system according to the present embodiment includes an output device 1 and a management server 2.
  • the output device 1 and the management server 2 can be connected via the network 3.
  • the output device 1 may be a wearable projector possessed by each user, or may be a stationary projector.
  • the management server 2 when the management server 2 receives a message from the agent system server 4 and the user is in a situation where the user can easily accept the message according to the user situation based on the user sensing data acquired from the output device 1, the output device Control to output a message from 1.
  • the management server 2 receives information from a general information presentation system such as a content recommendation system (recommendation of various content information such as music, movies, events, and games), a health care system (presentation of health management information), and the like. May be received, or a message may be received from a mail server or a social network server.
  • the management server 2 is not limited to receiving a message from a general agent system that directly responds to a user for a short session, but for example, gradually solves problems from a long-term perspective.
  • You may receive the message from the new system called a master system which prompts a user to change the behavior for approaching.
  • the master is an example of a virtual agent that prompts the user to voluntarily change behavior, and the master system automatically generates a predetermined behavior code for each specific community or user, for example, and based on the behavior code.
  • Indirect promotion of behavioral change can solve community issues. While the user is acting in accordance with the words of the master (master), problems within the community are solved and the value standards within the community are adjusted without the user being aware of the code of conduct or without the user's awareness. Can take action and improve the community situation.
  • FIG. 3 is a block diagram illustrating an example of the configuration of the output device 1 according to the present embodiment.
  • the output device 1 includes a control unit 100, a communication unit 110, an input unit 120, an output unit 130, and a storage unit 140.
  • the control unit 100 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the output device 1 according to various programs.
  • the control unit 100 is realized by an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor, for example.
  • the control unit 100 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • control unit 100 controls the transmission of the sensing data acquired from the sensor 122 from the communication unit 110 to the management server 2 and the information received from the management server 2 via the communication unit 110 as an output unit.
  • the control output from 130 can be performed.
  • the control unit 100 also analyzes various sensing data (voice recognition, biometric data analysis, object recognition based on camera images and distance measurement data, movement state recognition, facial expression analysis, motion analysis, posture recognition, face recognition, line of sight. Recognition).
  • the communication unit 110 is connected to the network 3 by wire or wireless, and transmits / receives data to / from the management server 2 on the network.
  • the communication unit 110 is, for example, a wired / wireless LAN (Local Area Network), Wi-Fi (registered trademark), Bluetooth (registered trademark), a mobile communication network (LTE (Long Term Evolution), 3G (third generation mobile unit) Communication connection with the network 3 by communication method)) or the like.
  • the input unit 120 includes an operation input unit 121 and a sensor 122, and inputs information acquired from the operation input unit 121 or the sensor 122 to the control unit 100.
  • the operation input unit 121 detects an operation input to the output device 1 by the user.
  • the operation input unit 121 may be, for example, a touch sensor, a pressure sensor, or a proximity sensor, or may be a physical configuration such as a button, a switch, and a lever.
  • the sensor 122 is a variety of sensors that sense the user situation or the surrounding environment, and inputs the sensed data to the control unit 100.
  • the sensor 122 includes, for example, a positioning unit (outdoor positioning using a GPS (Global Positioning System) or the like, indoor positioning using Bluetooth, Wi-Fi, or the like), a camera, a microphone (hereinafter referred to as a microphone), a distance sensor.
  • Thermosensors for example, installed on a projector that measures the user's body temperature
  • ultrasonic sensors for example, acceleration sensors, gyro sensors, geomagnetic sensors
  • biosensors for example, body temperature, veins, pulse, heartbeat, breathing
  • Sweating blood pressure, electroencephalogram, electrooculogram, myoelectric value, eye movement, line of sight, etc.
  • environmental sensors eg illuminance, temperature, humidity, etc.
  • the output unit 130 is a presentation unit that presents information to the user under the control of the control unit 100.
  • the output unit 130 includes a projector 131 and a speaker 132.
  • the projector 131 is an example of an information display unit that can project an image on various places such as a wall, a floor, a ceiling, a mirror surface, and steam.
  • the projector 131 is used as the information display means, but the present embodiment is not limited to this, and is realized by a liquid crystal display (LCD) device, an organic light emitting diode (OLED) device, or the like. It may be a display unit.
  • LCD liquid crystal display
  • OLED organic light emitting diode
  • the speaker 132 reproduces an audio signal according to the control of the control unit 100.
  • the speaker 132 may be a directional speaker, for example. By using the directional speaker, only the user can hear the agent voice.
  • the speaker 132 can be made to be audible only to the user by using the mosquito sound in consideration of the user's age and the like.
  • the speaker 132 may be capable of realizing a sound AR by reproducing a sound signal localized by the control unit 100 so that the sound of the agent can be heard from the projection direction of the agent image.
  • the storage unit 140 is realized by a ROM (Read Only Memory) that stores programs used in the processing of the control unit 100, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the configuration example of the output device 1 according to the present embodiment has been specifically described above. Note that the configuration of the output device 1 is not limited to the example illustrated in FIG. 3.
  • the output device 1 may be configured by a plurality of devices, and the output unit 130 may further include a display device. Good.
  • FIG. 4 is a block diagram illustrating an example of the configuration of the management server 2 according to the present embodiment.
  • the management server 2 (information processing apparatus) includes a control unit 200, a communication unit 210, and a storage unit 220.
  • Control unit 200 The control unit 200 functions as an arithmetic processing device and a control device, and controls the overall operation in the management server 2 according to various programs.
  • the control unit 200 is realized by an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor, for example.
  • the control unit 200 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the control unit 200 also functions as a user management unit 201, a situation recognition unit 202, a message management unit 203, and a message presentation control unit 204.
  • the user management unit 201 manages information regarding each user who handles the output device 1 (identification information, attribute information such as age and gender, preference information, terminal information of the output device 1 and the like). Information about each user can be stored in the storage unit 220.
  • the situation recognition unit 202 recognizes the situation of the user himself or the user's surrounding environment based on the sensing data received from the output device 1 or the analysis result of the sensing data. For example, the situation recognizing unit 202 is in the middle of talking with someone, whether it is impatient or hurrying, whether the surroundings are noisy, alone, calm, or excited And so on. Furthermore, the situation recognizing unit 202 can estimate whether or not the user can easily accept the message.
  • the message management unit 203 manages information to be transmitted to the user received from the agent system server 4 in association with user identification information and the like.
  • the information to be transmitted to the user includes a response message from the agent to the user, an email addressed to the user, a message addressed to the user via the social network, notification information to the user, recommendation information, advertisement information, or Health information is assumed.
  • the message may be a message that is received from a master system (a master that indicates a user's behavior code) and prompts the user to voluntarily change behavior.
  • the message management unit 203 stores these messages in the storage unit 220 in association with the user.
  • the message presentation control unit 204 extracts the message addressed to the user from the storage unit 220 and presents the message to the user from the output device 1. Control. When receiving a message from the agent system server 4, the message presentation control unit 204 determines whether or not the message can be presented (in real time) based on the current situation recognition result of the user by the situation recognition unit 202. Also good. In addition, when the message cannot be presented, the message presentation control unit 204 may perform control so that the situation recognizing unit 202 presents the message at a timing estimated that the user has easily accepted the message.
  • the message presentation control unit 204 may check the user situation and the content of the message so that when the message content matches the user situation, the message presentation control unit 204 may present the message when it is easy for the user to accept the message. .
  • the message presentation control unit 204 changes the user situation (the user's own situation such as emotions and the environment around the user). May be transmitted.
  • the communication unit 210 is connected to the network 3 by wire or wirelessly and transmits / receives data to / from each output device 1 via the network 3.
  • the communication unit 210 is connected to the network 3 through, for example, a wired / wireless LAN (Local Area Network), Bluetooth, or Wi-Fi (Wireless Fidelity, registered trademark).
  • the storage unit 220 is realized by a ROM that stores programs and calculation parameters used for the processing of the control unit 200, and a RAM that temporarily stores parameters that change as appropriate.
  • the storage unit 220 may store a message received from the agent system server 4.
  • the configuration of the management server 2 according to this embodiment has been specifically described above.
  • the configuration of the management server 2 shown in FIG. 4 is an example, and the present embodiment is not limited to this.
  • at least a part of the configuration of the management server 2 may be in an external device, or at least a part of each function of the control unit 200 may be realized by the output device 1 or an edge server.
  • all the components of the control unit 200 shown in FIG. 4 and the storage unit 140 are provided in the output device 1, and the application of the output device 1 executes control to present the message received from the agent system server 4 according to the user situation You may make it do.
  • FIG. 5 is a sequence diagram showing an example of the flow of information presentation processing according to the first embodiment. As shown in FIG. 5, first, the output device 1 confirms the presence or absence of a message with the management server 2 (step S103).
  • the user management unit 201 of the management server 2 searches for a message (step S106).
  • the user management unit 201 may search the message to be transmitted to the user by making an inquiry to the agent system server 4, or the message addressed to the user from the messages received from the agent system server 4 and stored in the storage unit 220 in advance. You may search for.
  • the management server 2 transmits the retrieved message to the output device 1 (step S109).
  • the output device 1 acquires sensing data by the sensor 122 (step S112), and transmits the acquired sensing data to the management server 2 (step S115). Note that the output device 1 may transmit the analysis result of the sensing data to the management server 2 in real time.
  • the situation recognition unit 202 of the management server 2 recognizes the user situation based on the information (sensing data and sensing data analysis result) transmitted from the output device 1 (step S118). Details of the user situation recognition processing will be described later with reference to FIG.
  • the management server 2 notifies the output device 1 that the user is easily accepted (step S124).
  • the output device 1 controls the output of messages to the user in response to the notification from the management server 2 (step S127). Details of output control of a message to the user will be described later with reference to FIG.
  • FIG. 6 is a flowchart illustrating an example of the flow of the message output control process according to the present embodiment. Here, a case where a message is output using the projector 131 will be described.
  • the control unit 100 of the output device 1 sets the distance that the projector 131 can project based on the sensing data of the sensor 122. It is determined whether or not there is a single color plane (step S133). Specifically, the control unit 100 analyzes the camera image and distance measurement data acquired by the sensor 122, and projects an object (in this case, a single color plane) at a distance that can be projected from the projector 131. ) Is determined.
  • control unit 100 similarly analyzes the camera image and the distance measurement data, and determines whether the distance that can be projected from the projector 131 includes a mirror surface, a quiet water surface, or a white smoke-like object ( Steps S136 and S139).
  • the control unit 100 has a single color plane, mirror surface, quiet water surface, or white smoke-like object at a distance that can be projected by the projector 131 (step S133 / Yes, step S136 / Yes, or In step S139 / Yes, a message is displayed (projected) by the projector 131 using a character (agent image) and multimedia contents (message text, moving image, still image, etc.) (step S142).
  • the control unit 100 may output message voice data (agent voice data) from the speaker 132 as multimedia contents together with the display of the agent image.
  • the output device 1 when the message is presented using the projector 131, the output device 1 appropriately determines an appropriate projection location (projection location satisfying certain conditions) from the periphery of the user, and sends a message to the projection location. Control to project (drive control of projector 131). Accordingly, in various scenes in daily life, it is possible to present a message anywhere in a situation where the user can easily accept the message.
  • FIG. 7 is a sequence diagram illustrating an example of a flow of user status recognition processing based on sensing data according to the present embodiment.
  • the output device 1 acquires audio information with a microphone, analyzes audio data (step S153), and transmits the analysis result (feature data) to the management server 2 (step S153).
  • S156 the analysis result
  • the status recognition unit 202 of the management server 2 determines whether or not the user speaks based on the analysis result (step S159) and whether or not the surrounding environment is noisy (step S162).
  • the output device 1 measures the physical condition of the user with a biological sensor (such as a heart rate sensor or a body temperature sensor) (step S165), and transmits the measurement result (physical condition data) to the management server 2 (step S168). ).
  • a biological sensor such as a heart rate sensor or a body temperature sensor
  • the status recognition unit 202 of the management server 2 determines whether or not the user's heart rate is not too high and the body temperature is normal and kept calm based on the measurement result (step S171). Specifically, the situation recognizing unit 202 determines whether the user's heart rate does not exceed a predetermined value and whether the body temperature is normal heat of the user.
  • the output device 1 detects the user's movement with a motion sensor (acceleration sensor, gyro sensor, etc.) (step S174), and transmits the detection result (movement information) to the management server 2 (step S177).
  • a motion sensor acceleration sensor, gyro sensor, etc.
  • the situation recognition unit 202 of the management server 2 determines whether or not the user is moving violently based on the detection result (step S180). Whether or not the user is moving violently may be determined from, for example, a feature value obtained by analyzing acceleration data or the like, or may be determined by comparison with a predetermined threshold.
  • the situation recognition unit 202 of the management server 2 does not speak the user (Step S159 / No), the surrounding environment is not noisy (Step S162 / No), the user's heart rate is not too high, and the body temperature is also normal. If the calm state is maintained (step S171 / Yes) and the user is not moving violently (step S180 / No), it is estimated that the user is in a situation where it is easy to accept the message (step S183).
  • a message from the master system may include, for example, telling a father who does not help much with housework or childcare about the situation of a wife who is struggling alone or a crying infant (for example, a camera during childcare) Image projection, etc.).
  • steps S153 to S162 determination processing based on audio data
  • steps S165 to S171 determination processing based on biological data
  • steps S174 to S180 determination processing based on motion data
  • FIG. 7 It is not limited to the order shown in FIG. 7 and may be in parallel or in a different order.
  • Second Example presented according to message content and user status
  • the content of the message to be presented is compared with the user status, and the message is presented when the user status matches the content of the message. This makes it possible to further enhance the effect of message presentation. That is, even in a situation where the user can easily accept the message, if the content of the message does not match the user's state (physical condition, emotion, etc.), the message is not presented.
  • the content of the message includes keywords related to movement or moving the body, such as exercise or going out, it is desirable to present it when the user is in good physical condition and well-powered.
  • the content of the message includes a keyword related to preserving physical fitness such as a break or returning home, it is desirable to present it when the user is in a poor physical condition or tired. Therefore, for example, when a message recommends exercise, the user's physical condition is taken into consideration, and the message is not presented when the user is tired.
  • FIG. 8 is a sequence diagram showing an example of the flow of message accumulation processing according to the second embodiment.
  • the master system server first, the master system server generates a message that prompts the user to voluntarily change behavior (step S193), and transmits the message to the management server 2 (step S196).
  • the message presented by the master system that prompts the user to voluntarily change the behavior is cited, but this embodiment is not limited to this and is presented from a general agent system. Of course, it may be a response message or information presented from each information presentation system.
  • the message management unit 203 of the management server 2 performs semantic analysis of the message received from the master system server (step S199).
  • the message management unit 203 of the management server 2 determines whether or not the content should be taken into account when the message is displayed to the user (step S202). For example, if the message management unit 203 is a message that includes a predetermined keyword related to the user's condition (for example, a keyword related to requiring physical fitness such as “exercise” or a keyword related to physical fitness such as “rest”), It is determined that the message content should take into account the user status.
  • a predetermined keyword related to the user's condition for example, a keyword related to requiring physical fitness such as “exercise” or a keyword related to physical fitness such as “rest”.
  • the message management unit 203 associates the condition of the user status that matches the content of the message with the message as supplementary information.
  • the user condition may be, for example, “good / bad”, “powerful / non-powered”, “healthy / tired”, and the like.
  • the message management unit 203 accumulates the received message in the storage unit 220 (step S208).
  • the message management unit 203 of the management server 2 obtains a message addressed to the user from the system, the message management unit 203 performs a semantic analysis of the content, and for a message that should consider the user state, the condition of the user state Can be stored in advance after associating with the associated information.
  • Such message accumulation processing can be performed continuously. Next, an operation process when the accumulated message is presented to the user from the output device 1 will be described with reference to FIG.
  • FIG. 9 is a sequence diagram illustrating an example of the flow of message presentation processing according to the present embodiment.
  • the processing in steps S103 to S124 shown in FIG. 9 is the same as the processing with the same reference numerals described with reference to FIG. 5 in the first embodiment. That is, when there is a message to be presented to the user, an estimation process is performed to determine whether or not the current user situation is a situation where it is easy to accept the message.
  • the message output control processing is performed in the first embodiment.
  • the output device 1 It is checked whether or not incidental information (user condition conditions) is associated with the message transmitted from the management server 2 in step S109 (step S213).
  • the output device 1 analyzes the sensing data acquired by the sensor 122 (step S216), and transmits the analysis result to the management server 2 (step S216). S219).
  • the status recognition unit 202 of the management server 2 recognizes the user state based on the sensing data analysis result (step S222), and transmits the recognition result to the output device 1 (step S225). For example, if the body temperature is normal, no sigh, loud voice, smile, etc., the user status is recognized as “good physical condition”, the body temperature is higher than normal, and the sigh is greater than a predetermined value. If it is small, no speech, no smile, etc., it may be recognized that “physical condition is bad”.
  • the output device 1 determines whether or not the user status indicated by the recognition result from the management server 2 matches the incidental information (user status condition) associated with the message (step S228).
  • the condition of the user state as the incidental information may be, for example, “good / bad”, “healthy / not”, “healthy / tired”, and the like. Determines whether the current state of the user meets such a condition.
  • step S127 If the user status matches the incidental information (step S228 / Yes), the output device 1 controls output of a message to the user (step S127). Details of the message output control are the same as in the first embodiment (see FIG. 6). In addition, when the incidental information is not associated with the message in step S213 (step S213 / No), the output control of the message to the user can be performed without considering the match between the user state and the content ( Step S127).
  • the output device 1 may present a message having a content that matches the user's state among a plurality of messages received from the management server 2. For example, if there are messages such as “What should I do if I go to the batting center and do moderate exercise?” And “Let's go home early” as behavioral change messages to increase the time for family to get together, the user is sick and tired The latter message may be presented when the user is in good health, and the former message may be presented when the user is in good physical condition and has sufficient energy.
  • the message recommending the former exercise from the master system is that the stress is dissipated by the exercise, the amount of drinking caused by the user's stress is suppressed, thereby improving the quality of the user's sleep, and the wake-up time resulting from the sleeping time As soon as possible, you can have breakfast with your family and secure your time.
  • the latter message from the master system matches the life rhythm with other family members by allowing the user to return home early, so that dinner time can be taken together to secure a meeting time.
  • FIG. 10 is a diagram illustrating an example of guide content for changing a user's situation according to the third embodiment.
  • a guide display image 500 that requests to be quiet is presented (projected by the output device 1), thereby leading to a quiet situation in which a message can be easily accepted. be able to.
  • the user's child or family photo image 501, the image 502 encouraged by the user's favorite character, etc. can be presented to match the healthy state. It is possible to present a message with the content to be more effectively presented.
  • a direct message 504 such as “Relax!” And “Let's take a deep breath”.
  • FIGS. 11 to 13 are sequence diagrams showing an example of the flow of message presentation processing according to the third embodiment.
  • steps S103 to S121 shown in FIG. 11 is the same as the processing of the same reference numerals described with reference to FIG. 5 in the first embodiment. That is, when there is a message to be presented to the user, an estimation process is performed to determine whether or not the current user situation is a situation where it is easy to accept the message.
  • the management server 2 selects a guide image that controls the user's situation (that is, changes the situation to an easily acceptable situation) (step S121).
  • the guide image is transmitted to the output device 1 (step S256).
  • the guide image is accumulated in advance in the storage unit 220, for example, and the management server 2 selects an appropriate guide image based on the current user situation.
  • the output device 1 performs output control of the received guide image (step S259).
  • the guide image output control for example, the projector 131 projects the image onto an appropriate surrounding projection site.
  • the message output control processing described in the first embodiment with reference to FIG. 6 is applied. That is, the output device 1 projects a guide image at a place where there is a single color plane, a mirror surface, a quiet water surface, or a white smoke-like object at a projectable distance.
  • step S121 / Yes when it is estimated that the message is easily accepted (step S121 / Yes), the management server 2 notifies the output device 1 that the user is easily accepted as shown in FIG. S124).
  • the output device 1 checks whether or not incidental information (user state condition) is associated with the message transmitted from the management server 2 (step S213), and the incidental information is not associated. (Step S213 / No), the output control of the message to the user is performed (Step S127).
  • the processes shown in steps S124, S213, and S127 are the same as the processes with the same reference numerals described with reference to FIG. 9 in the second embodiment.
  • the output device 1 acquires the sensing data and sends it to the management server 2 as shown in FIG. It transmits (steps S216 and S219), and acquires the recognition result of the user state from the management server 2 (steps S222 and S225).
  • the output device 1 determines whether or not the user status indicated by the recognition result from the management server 2 matches the incidental information (user status condition) associated with the message (step S228).
  • the processes shown in steps S216 to S228 are the same as those shown in FIG. 9 described in the second embodiment.
  • the output device 1 notifies the management server 2 that the user status does not match (step S263).
  • the management server 2 selects a guide image that controls (transforms) the user state (emotion or the like) to match the user state condition indicated by the accompanying information according to the accompanying information (step S266).
  • the guide image is transmitted to the output device 1 (step S269).
  • the output device 1 performs output control of the received guide image (step S272).
  • the guide image output control for example, the projector 131 projects the image onto an appropriate surrounding projection site.
  • the message output control processing described in the first embodiment with reference to FIG. 6 is applied. That is, the output device 1 projects a guide image at a place where there is a single color plane, a mirror surface, a quiet water surface, or a white smoke-like object at a projectable distance.
  • the output device 1 controls output of the message to the user (step S127 in FIG. 12).
  • the projector 131 When presenting a message or a guide image to a user, in each of the above-described embodiments, as an example, the projector 131 appropriately projects the message or the guide image anywhere in various scenes of daily life by appropriately projecting it to an appropriate projection location around the user. It is possible to display.
  • an appropriate place object
  • projection place projection object
  • the output device 1 may perform projection control depending on whether or not the user's line of sight is directed to the projection location, or perform projection control depending on whether or not the user's focus is on the projection location. May be.
  • FIG. 15 is a flowchart showing an example of the flow of projection control processing according to the present embodiment.
  • the processes shown in steps S130 to S139 in FIG. 15 are the same as the processes with the same reference numerals shown in FIG. 6 described in the first embodiment. That is, when displaying a message when it is easy for the user to accept the message, the output device 1 displays an appropriate projection location around the user (for example, a single color plane, mirror surface, Water surface or white smoke).
  • an appropriate projection location around the user for example, a single color plane, mirror surface, Water surface or white smoke.
  • the output device 1 detects the user's line of sight with the line-of-sight detection sensor (step S303), and determines whether or not the user's line of sight is in the direction of the appropriate projection location determined in steps S133 to S139 (step S303).
  • Step S306 The gaze detection sensor is an example of the sensor 122.
  • a gaze detection method for example, a method of detecting from the detection result of the electrooculogram sensor or a method of detecting reflected light by applying infrared light (IR) to the eyeball.
  • Detection method corner reflection method or scleral reflection method, etc.
  • detection based on the position of the reference point of the eye eye and corneal reflection
  • moving point iris, pupil, etc.
  • the output device 1 may determine the user's face direction and head direction based on the camera image obtained by capturing the user's face and the sensing data of the motion sensor, and may regard this as the line-of-sight direction.
  • the output device 1 uses, for example, an eye refraction measurement sensor (such as an autorefractometer) to focus the user on the projection location. It is determined whether they are in agreement (that is, whether an image is formed in front of the retina) (step S309).
  • an eye refraction measurement sensor such as an autorefractometer
  • step S312 / Yes when the projection location is in focus (step S312 / Yes), the output device 1 projects a message and a guide image (step S315).
  • the output device 1 may determine a plurality of appropriate projection locations and select a location that is easy for the user to visually recognize.
  • whether or not the place is easy for the user to visually recognize is determined based on the line-of-sight direction and the focus, but the present embodiment is not limited to this. For example, it may be determined using either the line-of-sight direction or the focus, or other factors (being in front of the user, being in the direction of travel, being within the field of view, or immediately turning the line of sight) It may be determined based on the predicted location.
  • Whether or not the user can easily accept a message is determined by comparing sensing data obtained from various sensors such as a microphone, a camera, a biological sensor, and a motion sensor with a predetermined standard (a predetermined standard set in advance). However, depending on the environment surrounding the user, the determination criteria may change, and it may not be possible to make an accurate determination only with a predetermined rule.
  • the situation is “a situation in which a message can be easily accepted” based on a user's reaction (feedback) after presenting the message, and to judge the situation with higher accuracy.
  • a user's reaction feedback
  • the situation is “easily accepting the message”. You may learn that there was. Further, the user's behavior after presenting the message may be observed, and if there is behavioral change before and after the message is presented, it may be learned that the situation is “a situation where messages can be easily accepted”.
  • FIGS. 16 and 17 are sequence diagrams showing an example of a flow of processing for learning about determination as to whether or not it is a situation in which it is easy to accept a message according to the present embodiment.
  • steps S103 to S118 shown in FIG. 16 is the same as the processing of the same reference numerals described with reference to FIG. 5 in the first embodiment. That is, when there is a message to be transmitted to the user, the management server 2 recognizes the user situation based on the sensing data acquired in the output device 1.
  • the management server 2 transmits the recognition result of the user situation to the output device 1 (step S330).
  • the management server 2 when learning of user situation recognition described later has already been performed and “acceptable situation” data is recorded, the management server 2 recognizes the data as user situation recognition. The result is transmitted to the output device 1 together with the result.
  • step S333 when the data of “easy to accept” cannot be acquired from the management server 2 (that is, when the “easy to accept” is not learned) (step S333 / No), the output device 1 sends a message Is controlled (step S127). Details of the message output control are the same as in the first embodiment (see FIG. 6).
  • the output device 1 determines whether or not the message has been accepted by the user based on the reaction of the user after presenting the message (step S339). Details of such determination processing will be described later with reference to FIG.
  • step S342 when it is determined that the message has been accepted by the user (step S342 / Yes), the output device 1 notifies the management server 2 that the message has been accepted (step S345).
  • the management server 2 stores the recognition result of the user situation in step S118 as “a situation where the user can easily accept a message” (step S348).
  • step S342 / No when it is determined that the message has not been accepted by the user (step S342 / No), the output device 1 does not notify the management server 2.
  • the management server 2 can learn a situation in which a message is easily accepted for each user. As a result, for example, when running on a gym running machine, some people may be able to accept messages when moving violently. It becomes possible to learn.
  • step S333 when data of “easy to accept” can be acquired from the management server 2 (that is, when “easy to accept” has already been learned) (step S333 / Yes), FIG. As shown in FIG. 5, the output device 1 determines whether or not the recognized user status matches the “easily accepted status” (step S353).
  • step S353 / Yes when the recognized user status matches the “easily accepted status” (step S353 / Yes), the output device 1 performs output control of the message (step S127). Details of the message output control are the same as in the first embodiment (see FIG. 6).
  • the output device 1 determines whether or not the message has been accepted by the user based on the reaction of the user after presenting the message (step S339). Details of such determination processing will be described later with reference to FIG. In this embodiment, depending on the environment surrounding the user, etc., the situation in which the user's message can be easily accepted may have changed. Even so, the subsequent reaction of the user is observed again to determine whether or not the message is actually accepted.
  • step S362 when it is determined that the message has not been accepted by the user (step S362 / No), the output device 1 notifies the management server 2 that the message has not been accepted (step S365).
  • the management server 2 deletes the current user situation (situation where the message was not accepted) from the already recorded “easy to accept situation” data (step S368). As a result, it is possible to learn the case where the situation in which messages are easily accepted changes, and to update the “condition in which messages are easily accepted”.
  • step S362 / Yes If the message is accepted by the user (step S362 / Yes), the output device 1 does not notify the management server 2.
  • FIG. 18 is a flowchart showing an example of the flow of processing for determining whether a message has been accepted by the user according to the present embodiment.
  • the output device 1 performs user face recognition and line-of-sight analysis based on a camera image obtained by photographing the user's face by the sensor 122 (camera) (step S363), and the user receives the message It is determined whether or not the agent image projected as a presentation is directed (that is, whether or not a line of sight or a face is directed toward the agent image) (step S366).
  • the output device 1 determines that the message has not been accepted (step S378). Note that the output device 1 looks uncomfortable when the agent image is seen when the agent image is immediately removed from the view, when the agent image is not focused, or when the agent image is not focused. It may be determined that the message has not been accepted even when the user faces his face.
  • the output device 1 performs voice recognition based on the voice data collected by the sensor 122 (microphone) (step S369), and determines whether or not voice indicating approval of the message has been detected (step S372). .
  • step S372 when the voice indicating that the message is acknowledged ("I understand”, “OK”, “Like”, “It seems so”, “It looks interesting”, etc.) is not detected (step S372 / No), the output device 1 Is not accepted (step S378).
  • the output device 1 is not limited to the case where no voice indicating approval of the message is detected. For example, the output device 1 indicates that the user feels sighing, stroking, or presenting the message. When voice or the like is detected, it may be determined that the message has not been accepted.
  • step S375 When the user is facing the agent image (step S366 / Yes) and a voice indicating the approval of the message is detected (step S372 / Yes), the output device 1 determines that the message has been accepted. (Step S375).
  • the present embodiment is not limited to this.
  • the determination may be made using either the line of sight or the voice, or may be made based on other factors (such as the user's behavior after the message is presented or a gesture).
  • a computer-readable storage medium storing the computer program is also provided.
  • the controller is The information according to (1), wherein whether or not the user is likely to accept a message is estimated according to at least one of a noise situation around the user, the biological information, facial expression, and motion information of the user. Processing system.
  • the presenting unit is a projector, The controller is The information processing system according to (1) or (2), wherein when there is a projection location that satisfies a certain condition around the user, the projector is controlled to project the message on the projection location.
  • the controller is The information processing system according to (3), wherein a projection location that satisfies the certain condition is determined based on sensing data around the user.
  • the controller is The information processing system according to (3), wherein when there is a projection place visible to the user, the projector is controlled to project the message on the projection place.
  • the controller is The information processing system according to (5), wherein the line-of-sight analysis of the user is performed based on sensing data related to the user, and the projected projection location is determined.
  • the controller is The information processing system according to any one of (1) to (6), wherein the presenting unit is controlled to present the message that can be perceived by the user.
  • the controller is The information processing system according to (7), wherein the message is presented by at least one of an image and a sound. (9) The controller is Even when it is estimated that the user can easily accept the message, control is performed so as not to present the message to the user according to the content of the message. (1) to (8) The information processing system according to any one of claims. (10) The controller is When the content of the message and the state of the user match, the message is presented to the user, The information processing system according to (9), wherein when the content of the message does not match the state of the user, the message is not presented to the user.
  • the controller is When it is presumed that the user is not ready to accept the message, The information processing system according to any one of (1) to (10), wherein a control guide for making a situation of the user easier to accept a message is presented. (12) The information processing system according to (11), wherein the control guide is an image or a sound intended to change at least one of a noise situation around the user, biometric information, facial expression, and motion information of the user. . (13) The controller is When it is estimated that the user status does not match the content of the message, The information processing system according to (10), wherein a control guide for adjusting the state of the user to the content of the message is presented.
  • the controller is Based on the sensing data related to the user, detecting the user's reaction to the message presented by the presentation unit, The information processing according to any one of (1) to (13), wherein a situation where the user's message is easily accepted is updated by learning a relationship between the detection result and the situation of the user. system.
  • the controller is The information processing system according to any one of (1) to (14), wherein the presentation unit is controlled to present a message provided from an external agent system to the user.
  • Processor An information processing method including controlling a presentation unit to present a message to the user when it is estimated that the user is likely to accept the message based on sensing data related to the user.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】ユーザが情報を受け入れ易い状況である際に情報提示を行うことで、より効果的な情報提示を実現する情報処理システム、情報処理方法、および記録媒体を提供する。 【解決手段】ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御する制御部を備える、情報処理システム。

Description

情報処理システム、情報処理方法、および記録媒体
　本開示は、情報処理システム、情報処理方法、および記録媒体に関する。
　近年、スマートフォンやスマートウォッチなどのウェアラブルデバイスに代表されるモバイル端末の技術および通信技術が進化し、いつでも必要な情報を得ることができるようになった。また、大画面液晶や単焦点プロジェクタなどの表示デバイス技術も大きな進化を遂げ、情報を表示する場所に制約が少なくなり、どこでも情報を表示できるようになってきた。
　このような技術背景の中、様々なシーンにおいて情報を表示する技術が提案されている。例えば下記特許文献１では、車内においてメールなどの情報を音声で読み上げる直前に、その内容を反映したアイコンを表示することが開示されている。
　また、下記特許文献２では、玄関等にプロジェクタが設置され、帰宅した家族が玄関の照明スイッチを入れることにより、プロジェクタが起動して照明機能を果たすと共に、メッセージを投影する技術が開示されている。
　また、下記特許文献３では、車両のサイドミラーに取り付けられたプロジェクタにより、乗車者が降車するときに乗車者にとって有益な情報または必要な画像情報を路面に投射する技術が開示されている。
　また、下記特許文献４では、ユーザの行動を予測して案内画像を生成し、壁や廊下等にプロジェクタで案内画像を表示する投影ナビゲーションについて開示されている。
　また、下記特許文献５では、透過型のＨＭＤ（ヘッドマウンドディスプレイ）を装着しているユーザに対し、どの実物体もＵＩ（ユーザインタフェース）として用いることができるよう、マウスパッド領域等のＵＩ画像を表示する技術が開示されている。
特開２００５－３５２６４５号公報 特開２０１４－０２１４２８号公報 特開２０１７－０８７８７６号公報 特開２０１４－１２３２７７号公報 国際公開第２０１４／０４５６８３号
　しかしながら、上述した従来技術では、情報提示を受ける側のユーザの状況については考慮されていなかった。したがって、色々な場所にメッセージ等が提示されても、ユーザが焦っている場合等、情報を受け入れ易い状態にない場合は、提示した情報が十分に認識されず、見過ごされてしまうことが考え得る。
　そこで、本開示では、ユーザが情報を受け入れ易い状況である際に情報提示を行うことで、より効果的な情報提示を実現する情報処理システム、情報処理方法、および記録媒体を提案する。
　本開示によれば、ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御する制御部を備える、情報処理システムを提案する。
　本開示によれば、プロセッサが、ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御することを含む、情報処理方法を提案する。
　本開示によれば、コンピュータを、ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御する制御部として機能させるためのプログラムが記録された、記録媒体を提案する。
　以上説明したように本開示によれば、ユーザが情報を受け入れ易い状況である際に情報提示を行うことで、より効果的な情報提示を実現する。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要について説明する図である。 本実施形態による情報処理システムの全体構成の一例を示す図である。 本実施形態による出力デバイスの構成の一例を示すブロック図である。 本実施形態による管理サーバの構成の一例を示すブロック図である。 第１の実施例による情報提示処理の流れの一例を示すシーケンス図である。 第１の実施例によるメッセージの出力制御処理の流れの一例を示すフローチャートである。 第１の実施例によるセンシングデータに基づくユーザ状況の認識処理の流れの一例を示すシーケンス図である。 第２の実施例によるメッセージの蓄積処理の流れの一例を示すシーケンス図である。 第２の実施例によるメッセージ提示処理の流れの一例を示すシーケンス図である。 第３の実施例によるユーザの状況を変容させるガイドコンテンツの一例を示す図である。 第３の実施例によるメッセージ提示処理の流れの一例を示すシーケンス図である。 第３の実施例によるメッセージ提示処理の流れの一例を示すシーケンス図である。 第３の実施例によるメッセージ提示処理の流れの一例を示すシーケンス図である。 第４の実施例によるユーザが視認し易い場所への投影制御について説明する図である。 第４の実施例による投影制御処理の流れの一例を示すフローチャートである。 第５の実施例によるメッセージを受け入れ易い状況であるか否かの判断について学習する処理の流れの一例を示すシーケンス図である。 第５の実施例によるメッセージを受け入れ易い状況であるか否かの判断について学習する処理の流れの一例を示すシーケンス図である。 第５の実施例によるメッセージがユーザに受け入れられたか否かを判断する処理の流れの一例を示すフローチャートである。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理システムの概要
　２．構成例
　　２－１．システム構成例
　　２－２．出力デバイス１の構成例
　　２－３．管理サーバ２の構成例
　３．各実施例
　　３－１．第１の実施例（メッセージの提示）
　　３－２．第２の実施例（メッセージ内容とユーザ状態に応じて提示）
　　３－３．第３の実施例（ユーザ状況の変容）
　　３－４．第４の実施例（ユーザが視認できる場所に提示）
　　３－５．第５の実施例（「メッセージを受け入れ易い状況」の学習）
　４．まとめ
　＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
　図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。図１に示すように、本実施形態による情報処理システムでは、出力デバイス１を用いて、日常生活における様々なシーンで情報提示を行う。出力デバイス１は、例えば、壁や床等の様々な場所に画像を投影するプロジェクタが想定される。プロジェクタは、ユーザに把持されたり装着されたりして持ち運び可能なウェアラブル型と、部屋や玄関、キッチン、浴室等の様々な場所に固定される設置型が想定される。ウェアラブル型プロジェクタの場合、例えば図１に示すような肩乗り型の出力デバイス１Ａであってもよい（例えば、キャラクターをかたどった親しみやすいコンパクトな形状により構成されてもよい。また、肩乗り型プロジェクタの装着方法は特に限定しないが、例えばクリップやベルト等で身体に固定してもよい）。また、ウェアラブル型プロジェクタは、プロジェクタが帽子やヘルメット、メガネ等に装着（一体化）されてもよいし、首から下げて装着されてもよいし、胸部や腰に巻かれたベルトに装着されてもよい。また、プロジェクタは、パン・チルト方向に駆動が可能な駆動型プロジェクタであってもよい。出力デバイス１は、所定の投影場所に画像を投影するよう、プロジェクタの角度等を制御し得る。また、プロジェクタは、パン・チルト方向への駆動の他、プロジェクタ自体が前後左右等に移動できる移動型プロジェクタであってもよい。
　このような種々のプロジェクタにより、本実施形態による情報処理システムでは、日常生活における様々なシーンでユーザに情報提示を行うことができる。
　ここで、上述したように、色々な場所でユーザにメッセージ等を提示しても、ユーザが仲間と談笑している場合や、周囲が騒がしい場合、急いでいる場合、焦っている場合、興奮状態にある場合、激しく体を動かしている場合等、状況的に情報を受け入れられる状態にない場合は、提示した情報が十分に認識されず、見過ごされてしまうといったことが想定される。また、このような場合は、ユーザがメッセージを認識できたとしても、心理的に受け入れられない状態（無視してしまう、若しくは不快な思いを抱いてしまう等）になりかねない。
　そこで、本実施形態では、情報提示を受けるユーザの状況を鑑みて、ユーザが情報を受け入れ易い状況である際に情報提示を行うことで、より効果的な情報提示を実現する。本実施形態による出力デバイス１には、ユーザや周囲の状況を検知するための各種センサ（例えば、音声や環境音を検知するマイクロホン、屋内／屋外における位置を測位する位置測位部、体温や心拍等を検知する生体センサ、動きを検知するモーションセンサ、対象物との距離を測る測距センサ等）が設けられる。出力デバイス１は、各種センシングデータに基づいて、ユーザが情報を受け入れ易い状況であるか否かを判断し、受け入れ易い状況である場合に情報提示を行う。例えば図１に示す出力デバイス１Ａは、生体センサ１２２ａを有し、生体センサ１２２ａが先端に設けられたコードが出力デバイス１Ａから引き出されて身体に装着され、ユーザの心拍や体温等が常時検知されている。
　なお、本明細書において、「情報を受け入れ易い状況」とは、例えば、ユーザの心理状態が落ち着いている状態の場合や、感情がフラットな状態、リラックスしている状態、または、ぼんやりしている状態などが想定される。このようなユーザの心理状況は、例えば心拍や体温、呼吸等の生体センサデータや、顔の表情、呟き、動き等により認識し得る。また、心理状態の他、ユーザが他者と会話中ではない場合や、忙しく動き回っていない場合、ユーザが静止している場合、周りが静かである場合、ユーザが一人でいる場合等も、「情報を受け入れ易い状況」と推定し得る。これらは、例えばマイクロホンにより集音した音声データの解析や、モーションセンサデータにより検知した加速度情報等の解析により認識することが可能である。
　また、「情報を受け入れ易い状況」とは、例えば以下のようなユーザの基本的行動に基づいて判断してもよい。
・ユーザがＰＣを使用している際に、一定時間、キー入力がなかった場合（作業を行っていない可能性が高いため、情報提示が邪魔にならずに受け入れられる）
・ＡＩスピーカなどのエージェント端末に対して、朝、起床した時に第一声を掛けた場合（情報を受け入れる態勢にある）
　出力デバイス１がユーザに提示する情報は、コンテキストに応じてコンテンツや行動の推薦を行うエージェントシステムからの応答であってもよいし、メール、メッセージ、通知情報、推薦情報、広告情報、健康情報等の各種情報を提示する情報提示システムからの提示情報であってもよい。本実施形態による情報処理システムは、このような様々なシステムから出力される各種情報のユーザへの提示タイミングを制御する共通基盤（プラットフォーム）として活用し得る。
　また、出力デバイス１からユーザに提示する情報は、例えば、テキスト、音声データ、または画像（動画、静止画）のいずれか、または、少なくともいずれかを含む組み合わせであってもよい。エージェントシステムからの応答の場合は、エージェントの画像（キャラクター画像）を表示すると共にエージェントの音声でメッセージを読み上げることで、よりユーザに受け入れ易くしてもよい。
　また、出力デバイス１による情報提示は、壁、廊下、天井、またはテーブル等の家具への投影の他、図１に示すように、鏡や、湯気（白色の煙状）、水面（鍋に張ったお湯や油など）等に投影することも可能である。例えば図１に示す例では、ユーザが鏡を見て歯磨きをしている際に、落ち着いた状態であるため、出力デバイス１Ａが鏡面にエージェントを投影すると共に、エージェントシステムからのメッセージを音声出力する。また、出力デバイス１Ａは、ユーザが湯船に浸かって寛いでいる際に、湯気や浴室の鏡面にエージェントを投影すると共に、エージェントシステムからのメッセージを音声出力する。また、ユーザが料理中に鍋の湯が沸騰するのを待っていて暇な際に、キッチンに設けられた設置型の出力デバイス１Ｂにより、鍋の水面にエージェントを投影すると共に、エージェントシステムからのメッセージを音声出力する。いずれもユーザの視界にエージェントを投影することでユーザの注意を引き、音声出力やテキスト表示等により情報提示を行い、ユーザにストレスなく情報を受け入れさせることが可能となる。エージェント音声は、例えば出力デバイス１に設けられたスピーカから出力される。なお、エージェント音声は、指向性スピーカや、モスキート音等を用いて、ユーザにだけ聞こえるように音声出力してもよい。また、エージェント音声は、エージェントの投影方向から聞こえるよう音像定位してもよい（音声ＡＲ（Augmented　Reality）など）。
　また、さらに、本実施形態による情報処理システムは、提示する情報の内容と、ユーザの状況を照らし合わせて、情報の出し分けを行うことも可能である。これにより、ユーザの状況に合った受け入れ易いメッセージを受け入れ易いタイミングで提示することが可能となる。
　さらに、本実施形態による情報処理システムは、ユーザが情報を受け入れ易い状況ではない場合に、ユーザの状況の変容を促す情報を提示し、情報を受け入れ易い状況にさせた上で、情報提示を行うことも可能である。
　以上、本実施形態による情報処理システムの概要について説明した。なお、出力デバイス１は、画像を実物体に投影して表示するプロジェクタに限定されず、例えば、表示画面を有するスマートフォン、スマートバンド、スマートウォッチ、タブレット端末、ＰＣ、テレビ装置、ゲーム装置等の表示装置であってもよいし、透過型または非透過型のＨＭＤ（Head　Mounted　Display）であってもよい。透過型のＨＭＤを用いる場合、エージェント画像は、実空間に画像を重畳表示するＡＲによりユーザの視界内に表示され得る。また、非透過型のＨＭＤによりユーザが仮想空間映像を見ている際も、仮想空間映像上に、エージェント画像の表示を行い得る。また、出力デバイス１は、スマートイヤホンやスマートネックレス等、表示手段を有さない音声出力デバイスであってもよい。
　続いて、このような本実施形態による情報処理システムの構成について、図面を参照して具体的に説明する。
　＜＜２．構成例＞＞
　　＜２－１．システム構成例＞
　図２は、本実施形態による情報処理システムの全体構成の一例を示す図である。図２に示すように、本実施形態による情報処理システムは、出力デバイス１と、管理サーバ２とを含む。出力デバイス１と管理サーバ２は、ネットワーク３を介して接続され得る。出力デバイス１は、各ユーザが所持するウェアラブル型のプロジェクタであってもよいし、設置型のプロジェクタであってもよい。
　管理サーバ２は、例えばエージェントシステムサーバ４からメッセージを受信した際、出力デバイス１から取得したユーザのセンシングデータに基づいたユーザ状況に応じて、ユーザがメッセージを受け入れ易い状況である場合は、出力デバイス１からメッセージを出力するよう制御する。ここでは一例として、エージェントシステムからメッセージを受信する場合について説明しているが、本実施形態はこれに限定されない。例えば管理サーバ２は、一般的な情報提示システム、例えば、コンテンツ推薦システム（音楽、映画、イベント、ゲーム等の様々なコンテンツ情報の推薦）や、ヘルスケアシステム（健康管理情報の提示）等から情報を受信してもよいし、メールサーバやソーシャルネットワークサーバからメッセージを受信してもよい。
　また、管理サーバ２は、ユーザに対して直接的で短期的な１セッションの応答を行う一般的なエージェントシステムからのメッセージの受信に限られず、例えば、長期的な視野に立って徐々に課題解決に近付けていくための行動変容をユーザに促すマスターシステムと称す新たなシステムからのメッセージを受信してもよい。ここで、マスターとは、ユーザに自発的な行動変容を促す仮想的なエージェントの一例であって、マスターシステムは、例えば特定コミュニティやユーザ毎に所定の行動規範を自動生成し、行動規範に基づいて行動変容を間接的に促すことで、コミュニティの課題解決等を行い得る。ユーザがマスター（師匠的存在）の言葉に従って行動しているうちに、行動規範を意識せずとも、ユーザが気付かないうちに、コミュニティ内の課題が解決していたり、コミュニティ内の価値基準を合わせ行動を取ったりすることができ、コミュニティの状況を改善することが可能となる。
　　＜２－２．出力デバイス１の構成例＞
　次に、出力デバイス１の構成について図３を参照して説明する。図３は、本実施形態による出力デバイス１の構成の一例を示すブロック図である。図３に示すように、出力デバイス１は、制御部１００、通信部１１０、入力部１２０、出力部１３０、および記憶部１４０を有する。
　制御部１００は、演算処理装置および制御装置として機能し、各種プログラムに従って出力デバイス１内の動作全般を制御する。制御部１００は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。
　また、本実施形態による制御部１００は、センサ１２２から取得したセンシングデータを、通信部１１０から管理サーバ２に送信する制御と、通信部１１０を介して管理サーバ２から受信した情報を、出力部１３０から出力する制御と、を行い得る。また、制御部１００は、各種センシングデータの解析（音声認識、生体データの解析、カメラ画像や測距データに基づく物体認識、移動状態の認識、表情解析、動作解析、姿勢認識、顔認識、視線認識等）を行い得る。
　（通信部１１０）
　通信部１１０は、有線または無線によりネットワーク３と接続し、ネットワーク上の管理サーバ２とデータの送受信を行う。通信部１１０は、例えば有線／無線ＬＡＮ（Local　Area　Network）、またはＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯通信網（ＬＴＥ（Long　Term　Evolution）、３Ｇ（第３世代の移動体通信方式））等によりネットワーク３と通信接続する。
　（入力部１２０）
　入力部１２０は、操作入力部１２１、およびセンサ１２２を有し、操作入力部１２１、またはセンサ１２２から取得した情報を、制御部１００に入力する。操作入力部１２１は、ユーザによる出力デバイス１に対する操作入力を検出する。操作入力部１２１は、例えばタッチセンサ、圧力センサ、若しくは近接センサであってもよいし、ボタン、スイッチ、およびレバーなどの物理的構成であってもよい。
　センサ１２２は、ユーザ状況または周辺環境をセンシングする各種センサであり、センシングしたデータを、制御部１００に入力する。センサ１２２は、例えば、位置測位部（ＧＰＳ（Global　Positioning　System）等を用いた屋外測位、ＢｌｕｅｔｏｏｔｈやＷｉ-Ｆｉ等を用いた屋内測位）、カメラ、マイクロホン（以下、マイクと称す）、測距センサ、サーモセンサ（例えば設置型プロジェクタに設けられ、ユーザの体温を測る）、超音波センサ、モーションセンサ（例えば加速度センサ、ジャイロセンサ、地磁気センサ）、生体センサ（例えば体温、静脈、脈拍、心拍、呼吸、発汗、血圧、脳波、眼電位、筋電値、眼球の動き、視線等の検知）、環境センサ（例えば照度、気温、湿度等）が想定される。
　（出力部１３０）
　出力部１３０は、制御部１００の制御に従って、ユーザに対して情報提示を行う提示部である。出力部１３０は、プロジェクタ１３１およびスピーカ１３２を有する。プロジェクタ１３１は、壁や床、天井、鏡面、湯気等、様々な場所に画像を投影することが可能な情報表示手段の一例である。なお、ここでは情報表示手段としてプロジェクタ１３１を用いているが、本実施形態はこれに限定されず、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）装置等により実現される表示部であってもよい。
　スピーカ１３２は、制御部１００の制御に従って音声信号の再生を行う。スピーカ１３２は、例えば指向性スピーカであってもよい。指向性スピーカを用いることで、ユーザにだけエージェント音声が聞こえるようにすることができる。また、スピーカ１３２は、ユーザの年齢等を考慮し、モスキート音を用いることで、ユーザにだけエージェント音声が聞こえるようにすることもできる。また、スピーカ１３２は、制御部１００により、エージェント画像の投影方向からエージェントの音声が聞こえるよう音像定位された音声信号を再生し、音声ＡＲを実現することが可能なものであってもよい。
　（記憶部１４０）
　記憶部１４０は、制御部１００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）により実現される。
　以上、本実施形態による出力デバイス１の構成例について具体的に説明した。なお出力デバイス１の構成は、図３に示す例に限定されず、例えば、出力デバイス１が複数の装置により構成されていてもよいし、出力部１３０として、さらに表示装置を有していてもよい。
　　＜２－３．管理サーバ２の構成例＞
　続いて、管理サーバ２の構成について図４を参照して説明する。図４は、本実施形態による管理サーバ２の構成の一例を示すブロック図である。図４に示すように、管理サーバ２（情報処理装置）は、制御部２００、通信部２１０、および記憶部２２０を有する。
　（制御部２００）
　制御部２００は、演算処理装置および制御装置として機能し、各種プログラムに従って管理サーバ２内の動作全般を制御する。制御部２００は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部２００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。
　また、本実施形態による制御部２００は、ユーザ管理部２０１、状況認識部２０２、メッセージ管理部２０３、およびメッセージ提示制御部２０４としても機能する。
　ユーザ管理部２０１は、出力デバイス１を取り扱う各ユーザに関する情報（識別情報、年齢や性別等の属性情報、嗜好情報、出力デバイス１の端末情報等）を管理する。各ユーザの情報は、記憶部２２０に記憶され得る。
　状況認識部２０２は、出力デバイス１から受信したセンシングデータまたはセンシングデータの解析結果に基づいて、ユーザ自身やユーザの周囲環境等の状況の認識を行う。例えば、状況認識部２０２は、ユーザが誰かと話している最中か、焦ったり急いだりしているか、周囲が騒がしい状況であるか、一人でいるか、じっとして落ち着いているか、興奮しているか等の認識を行う。さらに、状況認識部２０２は、ユーザがメッセージを受け入れ易い状況であるか否かを推定し得る。
　メッセージ管理部２０３は、エージェントシステムサーバ４から受信したユーザに伝えるべき情報を、ユーザの識別情報等に関連付けて管理する。ユーザに伝えるべき情報は、上述したように、エージェントからのユーザへの応答メッセージや、ユーザ宛のメール、ソーシャルネットワークを介したユーザ宛のメッセージ、ユーザへの通知情報、推薦情報、広告情報、または健康情報等が想定される。また、マスターシステム（ユーザの行動規範を示すマスター）から受信した、ユーザに対する自発的な行動変容を促すメッセージであってもよい。メッセージ管理部２０３は、これらのメッセージをユーザに関連付けて記憶部２２０に蓄積する。
　メッセージ提示制御部２０４は、状況認識部２０２により、ユーザがメッセージを受け入れ易い状況であると推定された場合、当該ユーザ宛のメッセージを記憶部２２０から抽出し、出力デバイス１からユーザに提示するよう制御する。メッセージ提示制御部２０４は、エージェントシステムサーバ４からメッセージを受信した際に、状況認識部２０２によるユーザの現在の状況認識結果に基づいて、メッセージを（リアルタイムで）提示できるか否かを判断してもよい。また、メッセージ提示制御部２０４は、メッセージを提示できなかった場合、その後、状況認識部２０２によりユーザがメッセージを受け入れ易い状況になったと推定されたタイミングで提示するよう制御してもよい。
　また、メッセージ提示制御部２０４は、ユーザ状況とメッセージの内容を照らし合わせ、メッセージの内容がユーザ状況に合っている場合に、ユーザがメッセージを受け入れ易い状況の際に提示するよう制御してもよい。
　また、メッセージ提示制御部２０４は、状況認識部２０２により、ユーザがメッセージを受け入れ易い状況ではないと推定された場合、ユーザ状況（感情等のユーザ自身の状況やユーザ周辺の環境）を変容させるメッセージを送信するようにしてもよい。
　（通信部２１０）
　通信部２１０は、有線または無線によりネットワーク３と接続し、ネットワーク３を介して各出力デバイス１とデータの送受信を行う。通信部２１０は、例えば有線／無線ＬＡＮ（Local　Area　Network）、Ｂｌｕｅｔｏｏｔｈ、またはＷｉ－Ｆｉ（Wireless　Fidelity、登録商標）等によりネットワーク３と通信接続する。
　（記憶部２２０）
　記憶部２２０は、制御部２００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ、および適宜変化するパラメータ等を一時記憶するＲＡＭにより実現される。例えば本実施形態による記憶部２２０は、エージェントシステムサーバ４から受信したメッセージを記憶してもよい。
　以上、本実施形態による管理サーバ２の構成について具体的に説明した。なお図４に示す管理サーバ２の構成は一例であって、本実施形態はこれに限定されない。例えば管理サーバ２の少なくとも一部の構成が外部装置にあってもよいし、制御部２００の各機能の少なくとも一部が出力デバイス１や、エッジサーバなどにより実現されてもよい。また、図４に示す制御部２００の各構成および記憶部１４０を全て出力デバイス１に設け、出力デバイス１のアプリケーションにより、エージェントシステムサーバ４から受信したメッセージをユーザ状況に応じて提示する制御を実行するようにしてもよい。
　＜＜３．各実施例＞＞
　続いて、本実施形態による情報処理システムの各実施例について図面を用いて具体的に説明する。
　　＜３－１．第１の実施例（メッセージの提示）＞
　まず、本実施形態の第１の実施例について、図５～図７を参照して説明する。第１の実施例では、ユーザがメッセージを受け入れやすい状況にあるときにユーザに対してメッセージを提示することで、より効果的に情報提示を行うことを可能とする。
　図５は、第１の実施例による情報提示処理の流れの一例を示すシーケンス図である。図５に示すように、まず、出力デバイス１は、メッセージの有無を管理サーバ２に確認する（ステップＳ１０３）。
　次に、管理サーバ２のユーザ管理部２０１は、メッセージの検索を行う（ステップＳ１０６）。ユーザ管理部２０１は、エージェントシステムサーバ４に問い合わせてユーザに伝えるべきメッセージを検索してもよいし、予めエージェントシステムサーバ４から受信して記憶部２２０に蓄積していたメッセージから、ユーザ宛のメッセージを検索してもよい。
　次いで、管理サーバ２は、検索したメッセージを出力デバイス１に送信する（ステップＳ１０９）。
　次に、出力デバイス１は、センサ１２２によりセンシングデータを取得し（ステップＳ１１２）、取得したセンシングデータを管理サーバ２に送信する（ステップＳ１１５）。なお、出力デバイス１は、センシングデータの解析結果をリアルタイムで管理サーバ２に送信するようにしてもよい。
　次いで、管理サーバ２の状況認識部２０２は、出力デバイス１から送信された情報（センシングデータや、センシングデータの解析結果）に基づいて、ユーザ状況の認識を行う（ステップＳ１１８）。ユーザ状況の認識処理の詳細については、図７を参照して後述する。
　次に、ユーザがメッセージを受け入れ易い状況にあると推定された場合（ステップＳ１２１／Ｙｅｓ）、管理サーバ２は、ユーザが受け入れ易い状況にあることを出力デバイス１に通知する（ステップＳ１２４）。
　そして、出力デバイス１は、管理サーバ２からの通知に応じて、ユーザへのメッセージの出力制御を行う（ステップＳ１２７）。ユーザへのメッセージの出力制御の詳細については、図６を参照して後述する。
　以上により、本実施例によれば、ユーザがメッセージを受け入れ易い状況にあるときに、ユーザへのメッセージを出力することが可能となる。
　（メッセージの出力制御処理）
　続いて、上記ステップＳ１２７に示すメッセージの出力制御処理の一例について、図６を参照して説明する。図６は、本実施例によるメッセージの出力制御処理の流れの一例を示すフローチャートである。ここでは、プロジェクタ１３１を用いてメッセージを出力する場合について説明する。
　図６に示すように、ユーザがメッセージを受け入れ易い状況にある場合（ステップＳ１３０／Ｙｅｓ）、出力デバイス１の制御部１００は、センサ１２２のセンシングデータに基づいて、プロジェクタ１３１が投影可能な距離に単一色の平面があるか否かを判断する（ステップＳ１３３）。具体的には、制御部１００は、センサ１２２により取得されたカメラ画像および測距データを解析し、プロジェクタ１３１から投影可能な距離に、投影可能な形状をした物体（ここでは、単一色の平面）があるか否かを判断する。
　若しくは、制御部１００は、同様にカメラ画像および測距データを解析し、プロジェクタ１３１から投影可能な距離に、鏡面、静かな水面、または白色の煙状のものがあるか否かを判断する（ステップＳ１３６、Ｓ１３９）。
　次いで、制御部１００は、プロジェクタ１３１が投影可能な距離に、単一色の平面、鏡面、静かな水面、または白色の煙状のものがある場合（ステップＳ１３３／Ｙｅｓ、ステップＳ１３６／Ｙｅｓ、または、ステップＳ１３９／Ｙｅｓ）、キャラクター（エージェント画像）やマルチメディアコンテンツ（メッセージのテキスト、動画、静止画等）を用いて、プロジェクタ１３１によりメッセージを表示（投影）する（ステップＳ１４２）。また、制御部１００は、エージェント画像の表示と共に、マルチメディアコンテンツとしてメッセージの音声データ（エージェント音声データ）をスピーカ１３２から出力してもよい。
　以上説明したように、プロジェクタ１３１を用いてメッセージを提示する際、出力デバイス１は、ユーザ周辺から適切な投影場所（一定の条件を満たす投影場所）を適宜判断し、当該投影場所に、メッセージを投影するよう制御する（プロジェクタ１３１の駆動制御）。これにより、日常生活における様々なシーンにおいて、ユーザがメッセージを受け入れ易い状況の際に、どこででも、メッセージを提示することが可能となる。
　（ユーザ状況の認識処理）
　次に、図５に示す上記ステップＳ１１２～Ｓ１２１に示すユーザ状況の認識処理の詳細については、図７を参照して後述する。
　図７は、本実施例によるセンシングデータに基づくユーザ状況の認識処理の流れの一例を示すシーケンス図である。図７に示すように、まず、出力デバイス１は、マイクにより音声情報を取得し、音声データの解析を行い（ステップＳ１５３）、その解析結果（特徴量データ）を管理サーバ２に送信する（ステップＳ１５６）。
　次いで、管理サーバ２の状況認識部２０２は、解析結果に基づいて、ユーザ当人の話し声がするか否か（ステップＳ１５９）、および周辺環境が騒がしいか否かを判断する（ステップＳ１６２）。
　また、出力デバイス１は、生体センサ（心拍センサや、体温センサ等）により、ユーザの身体状況を測定し（ステップＳ１６５）、その測定結果（身体状況データ）を管理サーバ２に送信する（ステップＳ１６８）。
　次いで、管理サーバ２の状況認識部２０２は、測定結果に基づいて、ユーザの心拍が高すぎず、体温も平熱で平穏な状態が保たれているか否かを判断する（ステップＳ１７１）。具体的には、状況認識部２０２は、ユーザの心拍が所定値を超えていないか、また、体温がユーザの平熱であるか否かを判断する。
　また、出力デバイス１は、モーションセンサ（加速度センサや、ジャイロセンサ等）により、ユーザの動きを検知し（ステップＳ１７４）、その検知結果（動き情報）を管理サーバ２に送信する（ステップＳ１７７）。
　次いで、管理サーバ２の状況認識部２０２は、検知結果に基づいて、ユーザが激しく動いているか否かを判断する（ステップＳ１８０）。ユーザが激しく動いているか否かは、例えば加速度データ等を解析して得られた特徴量から判断してもよいし、所定の閾値と比較して判断してもよい。
　そして、管理サーバ２の状況認識部２０２は、ユーザ当人の話し声がせず（ステップＳ１５９／Ｎｏ）、周辺環境が騒がしくなく（ステップＳ１６２／Ｎｏ）、ユーザの心拍が高すぎず、体温も平熱で平穏な状態が保たれており（ステップＳ１７１／Ｙｅｓ）、かつ、ユーザが激しく動いていない場合（ステップＳ１８０／Ｎｏ）、ユーザはメッセージを受け入れ易い状況にあると推定する（ステップＳ１８３）。
　以上、本実施例によるユーザ状況の認識処理の一例について説明した。これにより、ユーザがメッセージを受け入れ易い状況にある場合にメッセージを提示することが可能となり、メッセージをより効果的に提示することが可能となる。特にマスターシステムからの（間接的に）行動変容を促すメッセージの場合、ユーザがメッセージを受け入れ易い状況にあることが、より望ましい。マスターシステムから提示されるメッセージとしては、例えば、家事や子育てをあまり手伝わない父親に対して、一人で苦労している妻や、泣いている乳児の様子を伝えること（例えば子育て中の様子のカメラ画像の投影等）が挙げられる。このようなメッセージが、例えばユーザ（父親）が湯船に浸かってのんびりしている時等に提示されることで、自然と、家事や子育てを手伝おうという気持ちにさせることが（すなわちメッセージを受け入れて自発的な行動変容が起こることが）、より期待できる。
また、オフィスのユーザの席が散らかっていることを職場の同僚たちがあまりよく思っていないことを知らせること（例えば散らかっている席を怪訝そうに人が見ている様子のカメラ画像の投影等）を提示することで、自然と、席を片付けようという気持ちにさせることが（すなわちメッセージを受け入れて自発的な行動変容が起こることが）、より期待できる。
　なお、図７に示す判断基準は一例であって、本実施例はこれに限定されない。
　また、図７に示すステップＳ１５３～Ｓ１６２（音声データに基づく判断処理）、ステップＳ１６５～ステップＳ１７１（生体データに基づく判断処理）、およびステップＳ１７４～Ｓ１８０（モーションデータに基づく判断処理）の順番は、図７に示す順番に限定されず、並列であってもよいし、異なる順番であってもよい。
　　＜３－２．第２の実施例（メッセージ内容とユーザ状態に応じて提示）＞
　続いて、本実施形態の第２の実施例について説明する。本実施例では、第１の実施例に示すユーザ状況のタイミングに加えて、提示するメッセージの内容と、ユーザ状態とを照らし合わせ、ユーザ状態がメッセージの内容に合っている場合にメッセージを提示することで、メッセージ提示の効果をさらに高めることを可能とする。すなわち、ユーザがメッセージを受け入れ易い状況であっても、メッセージの内容がユーザの状態（体調や感情など）に合っていない場合は、メッセージの提示を行わないようにする。
　例えば、メッセージの内容が、運動や外出等、移動や身体を動かすことに関するキーワードが含まれている場合は、ユーザの体調がよく気力が充実している状態の場合に提示することが望ましい。一方、メッセージの内容が、休憩や帰宅等、体力を温存することに関するキーワードが含まれている場合は、ユーザの体調が悪く疲れている状態の場合に提示することが望ましい。したがって、例えば運動を勧めるメッセージのときは、ユーザの体調も考慮し、ユーザが疲れている時にはメッセージの提示を行わないようにする。
　以下、図８～図９を参照して本実施例の動作処理について具体的に説明する。
　図８は、第２の実施例によるメッセージの蓄積処理の流れの一例を示すシーケンス図である。図８に示すように、まず、マスターシステムサーバは、ユーザに自発的な行動変容を促すメッセージを生成し（ステップＳ１９３）、管理サーバ２に送信する（ステップＳ１９６）。なお、ここではメッセージの一例として、ユーザに自発的な行動変容を促すマスターシステムにより提示されるものを挙げているが、本実施例はこれに限定されず、一般的なエージェントシステムから提示される応答メッセージや、各情報提示システムから提示される情報等であってももちろんよい。
　次に、管理サーバ２のメッセージ管理部２０３は、マスターシステムサーバから受信したメッセージの意味解析を行う（ステップＳ１９９）。
　次いで、管理サーバ２のメッセージ管理部２０３は、メッセージをユーザに表示する際にユーザの状態を考慮すべき内容であるか否かを判断する（ステップＳ２０２）。例えば、メッセージ管理部２０３は、ユーザの状態に関連する所定のキーワード（例えば、「運動」など体力を要することに関するキーワードや、「休む」など体力温存に関するキーワード）が含まれているメッセージの場合、ユーザの状態を考慮すべきメッセージ内容であると判断する。
　次に、ユーザの状態を考慮すべきメッセージ内容であると判断した場合（ステップＳ２０２／Ｙｅｓ）、メッセージ管理部２０３は、メッセージの内容に合致するユーザ状態の条件を、付帯情報として当該メッセージに対応付ける（ステップＳ２０５）。ユーザ状態の条件は、例えば、「体調が良い／悪い」「気力がある／ない」「元気である／疲れている」等が考え得る。
　そして、メッセージ管理部２０３は、受信したメッセージを記憶部２２０に蓄積する（ステップＳ２０８）。
　以上説明したように、管理サーバ２のメッセージ管理部２０３は、ユーザ宛のメッセージをシステムから取得した際、内容の意味解析を行い、ユーザ状態を考慮した方がよいメッセージについては、ユーザ状態の条件を付帯情報として対応付けた上で、予め蓄積しておくことが可能となる。
　このようなメッセージの蓄積処理は、継続的に行われ得る。次いで、蓄積したメッセージを出力デバイス１からユーザに提示する場合の動作処理について、図９を参照して説明する。
　図９は、本実施例によるメッセージ提示処理の流れの一例を示すシーケンス図である。図９に示すステップＳ１０３～Ｓ１２４の処理は、第１の実施例において図５を参照して説明した同符号の処理と同様である。すなわち、ユーザに提示するメッセージがある場合に、現在のユーザ状況が、メッセージを受け入れ易い状況であるか否かの推定処理が行われる。
　次に、メッセージを受け入れ易い状況である旨の通知を管理サーバ２から受けた際、第１の実施例ではメッセージの出力制御処理を行っていたが、本実施例では、出力デバイス１は、上記ステップＳ１０９において管理サーバ２から送信されたメッセージに付帯情報（ユーザ状態の条件）が対応付けられているか否かを確認する（ステップＳ２１３）。
　次いで、付帯情報が対応付けられている場合（ステップＳ２１３／Ｙｅｓ）、出力デバイス１は、センサ１２２により取得したセンシングデータの解析を行い（ステップＳ２１６）、解析結果を管理サーバ２に送信する（ステップＳ２１９）。
　次に、管理サーバ２の状況認識部２０２において、センシングデータの解析結果に基づいてユーザ状態の認識が行われ（ステップＳ２２２）、認識結果が出力デバイス１に送信される（ステップＳ２２５）。
ユーザ状態の認識は、例えば、体温が平熱、ため息などが無い、声が大きい、笑顔等の場合は、「体調が良い」と認識し、体温が平熱より高い、ため息が所定値より多い、声が小さい、無言、笑顔が無い等の場合は、「体調が悪い」と認識してもよい。
　次いで、出力デバイス１は、管理サーバ２からの認識結果で示されるユーザ状態が、メッセージに対応付けられていた付帯情報（ユーザ状態の条件）に合致するか否かを判断する（ステップＳ２２８）。付帯情報であるユーザ状態の条件は、上述したように、例えば、「体調が良い／悪い」「気力がある／ない」「元気である／疲れている」等であってもよく、出力デバイス１は、ユーザの現在の状態が、かかる条件に合致するか否かを判断する。
　そして、ユーザの状態が付帯情報に合致する場合（ステップＳ２２８／Ｙｅｓ）、出力デバイス１は、ユーザへのメッセージの出力制御を行う（ステップＳ１２７）。メッセージの出力制御の詳細は、第１の実施例と同様である（図６参照）。なお、上記ステップＳ２１３で、メッセージに付帯情報が対応付けられていない場合は（ステップＳ２１３／Ｎｏ）、ユーザの状態と内容の合致について考慮せずに、ユーザへのメッセージの出力制御を行い得る（ステップＳ１２７）。
　これにより、ユーザがメッセージを受け入れ易い状況にあり、かつ、提示するメッセージの内容がユーザの状態に合致する場合にメッセージを提示することが可能となる。
　また、出力デバイス１は、管理サーバ２から受信した複数のメッセージのうち、ユーザの状態に合致する内容のメッセージを提示するようにしてもよい。例えば家族の団欒時間を増やすための行動変容メッセージとして、「バッティングセンターに行って適度な運動をしたら？」というメッセージと、「早く帰りましょう」というメッセージがある場合、ユーザの体調が悪く疲れ切っているときは後者のメッセージを提示し、ユーザの体調がよく気力が充実しているときは前者のメッセージを提示するようにしてもよい。なお、マスターシステムからの前者の運動を勧めるメッセージは、運動によりストレス発散をさせ、ユーザのストレス量に起因する飲酒量を押さえ、これによりユーザの睡眠の質を上げ、睡眠時間に起因する起床時間を早めて、家族と一緒に朝食を取って団欒時間を確保させることが可能となる。また、マスターシステムからの後者のメッセージは、ユーザが早く帰宅することで他の家族との生活リズムが合い、夕食を一緒に取って団欒時間を確保させることが可能となる。
　　＜３－３．第３の実施例（ユーザ状況の変容）＞
　次に、本実施形態の第３の実施例について説明する。本実施例では、ユーザがメッセージを受け入れ難い状況にあるとき、ユーザの状況をメッセージを受け入れ易い状況に変容させるコントロールガイド（以下、ガイドコンテンツとも称す）を提示する。これにより、メッセージを受け入れ易い状況でメッセージを提示できる機会を増加させることができる。
　また、さらに、メッセージ内容がユーザ状態と合致しない場合、ユーザの状態をメッセージ内容に合致した状態に変容させる何らかのガイドコンテンツを提示する。これにより、ユーザ状態に合致した内容のメッセージを提示できる機会を増加させることができる。
　ユーザの状況や状態を変容させるガイドコンテンツとしては、例えば図１０に示すような例が考えられる。図１０は、第３の実施例によるユーザの状況を変容させるガイドコンテンツの一例を示す図である。
　図１０に示すように、例えばユーザが会話をしている場合は、静かにするよう要求するガイド表示画像５００を提示（出力デバイス１により投影）することで、メッセージを受け入れ易い静かな状況に導くことができる。また、ユーザが疲れて元気のない状態の場合は、ユーザの子供や家族の写真画像５０１や、ユーザを好きなキャラクターが励ましてくれている画像５０２等を提示することで、元気な状態に合致する内容のメッセージをより効果的に提示することが可能となる。また、ユーザが興奮したり焦ったり慌てている場合は、「落ち着け！」「深呼吸しましょう」等の直接的なメッセージ５０４等を提示することで、メッセージを受け入れ易い落ち着いた状況に導くことができる。
　このような本実施例の動作処理について、図１１～図１３を参照して説明する。
　図１１～図１３は、第３の実施例によるメッセージ提示処理の流れの一例を示すシーケンス図である。
　図１１に示すステップＳ１０３～Ｓ１２１の処理は、第１の実施例において図５を参照して説明した同符号の処理と同様である。すなわち、ユーザに提示するメッセージがある場合に、現在のユーザ状況が、メッセージを受け入れ易い状況であるか否かの推定処理が行われる。
　次に、メッセージを受け入れ易い状況ではないと推定された場合（ステップＳ１２１／Ｎｏ）、管理サーバ２は、ユーザの状況をコントロールする（つまり、受け入れ易い状況へ変容させる）ガイド画像を選択し（ステップＳ２５３）、ガイド画像を出力デバイス１に送信する（ステップＳ２５６）。ガイド画像は、例えば予め記憶部２２０に蓄積されており、管理サーバ２は、現在のユーザ状況に基づいて、適切なガイド画像を選択する。
　次いで、出力デバイス１は、受信したガイド画像の出力制御を行う（ステップＳ２５９）。ガイド画像の出力制御は、例えばプロジェクタ１３１により周囲の適切な投影場所に投影される。ガイド画像の投影制御の詳細は、第１の実施例において図６を参照して説明したメッセージの出力制御処理が適用される。すなわち、出力デバイス１は、投影可能な距離に、単一色の平面、鏡面、静かな水面、または白色の煙状のもの等がある場合に、その場所にガイド画像を投影する。
　かかるガイド画像の提示により、ユーザの状況がメッセージを受け入れ易い状況に変容することが期待される。ガイド画像を提示した後は、図１１に示すように、上記ステップＳ１１２からの処理が再度繰り返される。
　一方、メッセージを受け入れ易い状況にあると推定された場合（ステップＳ１２１／Ｙｅｓ）、管理サーバ２は、図１２に示すように、ユーザが受け入れ易い状況にあることを出力デバイス１に通知する（ステップＳ１２４）。
　次に、出力デバイス１は、管理サーバ２から送信されたメッセージに付帯情報（ユーザ状態の条件）が対応付けられているか否かを確認し（ステップＳ２１３）、付帯情報が対応付けられていない場合は（ステップＳ２１３／Ｎｏ）、ユーザへのメッセージの出力制御を行う（ステップＳ１２７）。なお、かかるステップＳ１２４、Ｓ２１３、Ｓ１２７に示す処理は、第２の実施例において図９を参照して説明した同符号の処理と同様である。
　続いて、管理サーバ２から送信されたメッセージに付帯情報が対応付けられている場合（ステップＳ２１３／Ｙｅｓ）、図１３に示すように、出力デバイス１は、センシングデータを取得して管理サーバ２に送信し（ステップＳ２１６、Ｓ２１９）、管理サーバ２からユーザ状態の認識結果を取得する（ステップＳ２２２、Ｓ２２５）。
　次いで、出力デバイス１は、管理サーバ２からの認識結果で示されるユーザ状態が、メッセージに対応付けられていた付帯情報（ユーザ状態の条件）に合致するか否かを判断する（ステップＳ２２８）。なお、上記ステップＳ２１６～Ｓ２２８に示す処理は、第２の実施例で説明した図９に示す同符号の処理と同様である。
　次に、ユーザ状態が、メッセージの付帯情報（ユーザ状態の条件）に合致しない場合（ステップＳ２２８／Ｎｏ）、出力デバイス１は、ユーザ状態が合致しないことを管理サーバ２に通知する（ステップＳ２６３）。
　次いで、管理サーバ２は、付帯情報に応じて、ユーザの状態（感情など）を、付帯情報で示されるユーザ状態の条件に合致するようコントロールする（変容させる）ガイド画像を選択し（ステップＳ２６６）、ガイド画像を出力デバイス１に送信する（ステップＳ２６９）。
　そして、出力デバイス１は、受信したガイド画像の出力制御を行う（ステップＳ２７２）。ガイド画像の出力制御は、例えばプロジェクタ１３１により周囲の適切な投影場所に投影される。ガイド画像の投影制御の詳細は、第１の実施例において図６を参照して説明したメッセージの出力制御処理が適用される。すなわち、出力デバイス１は、投影可能な距離に、単一色の平面、鏡面、静かな水面、または白色の煙状のもの等がある場合に、その場所にガイド画像を投影する。
　かかるガイド画像の提示により、ユーザ状態がメッセージ内容に合致した状態に変容することが期待される。ガイド画像を提示した後は、図１３に示すように、上記ステップＳ２１６からの処理が再度繰り返される。
　なお、ユーザ状態が、メッセージの付帯情報（ユーザ状態の条件）に合致する場合（ステップＳ２２８／Ｙｅｓ）、出力デバイス１は、ユーザへのメッセージの出力制御を行う（図１２のステップＳ１２７）。
　　＜３－４．第４の実施例（ユーザが視認できる場所に提示）＞
　次いで、本実施形態の第４の実施例について説明する。ユーザにメッセージやガイド画像を提示する場合、上述した各実施例では、一例としてプロジェクタ１３１によりユーザ周辺の適切な投影場所に適宜投影することで、日常生活の様々なシーンでどこでもメッセージやガイド画像を表示することを可能としている。ここで、投影場所（投影対象物）としては適切な場所（物体）であっても、ユーザの背後であったり、またはユーザが違う場所を見ていたり、焦点が合っていない場合、実際にはユーザが視認し難い場所となる。
　そこで、本実施例では、図１４に示すように、ユーザの頭や顔の向き、視線等から基づいて判断した視認可能領域に、適切な投影場所がある場合、当該投影場所に、ユーザへのメッセージやガイド画像を投影するよう制御することで、日常生活の様々なシーンにおいて、より確実に、ユーザにメッセージを提示することを可能とする。例えば、出力デバイス１は、ユーザの視線が投影場所に向いているか否かに応じて投影制御を行ってもよいし、ユーザの焦点が投影場所に合っているか否かに応じて投影制御を行ってもよい。
　以下、このような本実施例による投影制御について図１５を参照して説明する。
　図１５は、本実施例による投影制御処理の流れの一例を示すフローチャートである。図１５のステップＳ１３０～Ｓ１３９に示す処理は、第１の実施例で説明した図６に示す同符号の処理と同様である。すなわち、ユーザがメッセージを受け入れ易い状況である場合にメッセージを表示する際、出力デバイス１は、ユーザ周辺で適切な投影場所（例えば、投影可能な距離にある、単一色の平面、鏡面、静かな水面、または白色の煙状のもの等）を判断する処理を行う。
　次いで、出力デバイス１は、視線検出センサによりユーザの視線を検出し（ステップＳ３０３）、上記ステップＳ１３３～Ｓ１３９で判断した適切な投影場所の方向にユーザの視線が向いているか否かを判断する（ステップＳ３０６）。視線検出センサは、センサ１２２の一例であって、視線検出の方法としては、例えば眼電位センサの検出結果から検出する方式や、赤外光（ＩＲ）を眼球に当ててその反射光を検知して検出する方式（角膜反射法または強膜反射法等）、また、可視光カメラを用いて目の基準点（目頭や角膜反射）と動点（虹彩や瞳孔等）の位置に基づいて検出する方式等を利用し得る。また、出力デバイス１は、ユーザの顔を撮像したカメラ映像やモーションセンサのセンシングデータに基づいて、ユーザの顔向きや頭部方向を判断し、これを視線方向とみなしてもよい。
　次に、投影場所の方向にユーザの視線が向いている場合（ステップＳ３０６／Ｙｅｓ）、出力デバイス１は、例えば眼の屈折度測定センサ（オートレフケラトメータなど）により、投影場所にユーザの焦点が合っているか（すなわち、網膜の前で像が結ばれているか）を測定する（ステップＳ３０９）。
　次いで、投影場所に焦点が合っている場合（ステップＳ３１２／Ｙｅｓ）、出力デバイス１は、メッセージやガイド画像の投影を行う（ステップＳ３１５）。
　なお、出力デバイス１は、適切な投影場所を複数判断し、その中から、ユーザが視認し易い場所を選択するようにしてもよい。また、図１５に示すフローチャートでは、ユーザが視認し易い場所か否かを、視線方向と焦点に基づいて判断しているが、本実施例はこれに限定されない。例えば視線方向と焦点のいずれかを用いて判断してもよいし、他の要素（ユーザの前方にあること、進行方向にあること、視界範囲に入っていること、すぐに視線を向けることが予測される場所であること等）に基づいて判断してもよい。
　　＜３－５．第５の実施例（「メッセージを受け入れ易い状況」の学習）＞
　最後に、本実施形態の第５の実施例について説明する。ユーザがメッセージを受け入れ易い状況にあるか否かは、マイクやカメラ、生体センサ、モーションセンサ等の各種センサから得られたセンシングデータを、所定の基準（予め設定された既定の基準）と比較することで判断することが可能であるが、ユーザを取り巻く環境等によっては、その判断基準が変化する場合もあり、予め決めた一定のルールだけでは的確に判断できない場合もある。
　そこで、本実施例では、メッセージを提示した後のユーザの反応（フィードバック）に基づいて、「メッセージを受け入れやすい状況」であったか否かを学習し、より精度良く、状況を判断することを可能とする。例えば、エージェント画像を投影してメッセージを音声出力した場合に、ユーザがエージェントの方を見て「わかった」「ＯＫ」等のメッセージ受容の言葉を発した場合、「メッセージを受け入れやすい状況」であったと学習してもよい。また、メッセージを提示した後のユーザの行動を観測し、メッセージ提示前と後で行動変容があった場合、「メッセージを受け入れやすい状況」であったと学習してもよい。
　以下、このような本実施例による投影制御について図１６～図１８を参照して説明する。
　図１６および図１７は、本実施例によるメッセージを受け入れ易い状況であるか否かの判断について学習する処理の流れの一例を示すシーケンス図である。
　図１６に示すステップＳ１０３～Ｓ１１８の処理は、第１の実施例において図５を参照して説明した同符号の処理と同様である。すなわち、ユーザに伝えるべきメッセージがある際に、出力デバイス１において取得したセンシングデータに基づいて、管理サーバ２によりユーザ状況の認識が行われる。
　次に、管理サーバ２は、ユーザ状況の認識結果を出力デバイス１に送信する（ステップＳ３３０）。ここで、既に管理サーバ２において、後述するユーザ状況認識の学習が既に行われており、「受け入れ易い状況」のデータを記録している場合、管理サーバ２は、当該データを、ユーザ状況の認識結果と併せて出力デバイス１に送信する。
　次に、「受け入れ易い状況」のデータを管理サーバ２から取得できなかった場合（すなわち、「受け入れ易い状況」の学習が行われていない場合）（ステップＳ３３３／Ｎｏ）、出力デバイス１は、メッセージの出力制御を行う（ステップＳ１２７）。メッセージの出力制御の詳細は、第１の実施例と同様である（図６参照）。
　次いで、出力デバイス１は、メッセージを提示した後のユーザの反応に基づいて、当該メッセージがユーザに受け入れられたか否かを判断する（ステップＳ３３９）。かかる判断処理の詳細は、図１８を参照して後述する。
　次に、メッセージがユーザに受け入れられたと判断された場合（ステップＳ３４２／Ｙｅｓ）、出力デバイス１は、メッセージが受け入れられたことを管理サーバ２に通知する（ステップＳ３４５）。
　そして、管理サーバ２は、上記ステップＳ１１８におけるユーザ状況の認識結果を、「（ユーザがメッセージを）受け入れ易い状況」として記憶する（ステップＳ３４８）。
　一方、メッセージがユーザに受け入れられなかったと判断された場合は（ステップＳ３４２／Ｎｏ）、出力デバイス１は、管理サーバ２への通知は行わない。
　以上により、管理サーバ２は、ユーザ毎に、メッセージが受け入れ易い状況について学習することが可能となる。これにより、例えばジムのランニングマシーンでランニングをしている際など、人によっては激しく動いている場合にメッセージを受け入れ易い状況となる場合もあるため、このような人によって異なる受け入れ易さの状況を学習していくことが可能となる。
　なお、上記ステップＳ３３３で、「受け入れ易い状況」のデータを管理サーバ２から取得できた場合（すなわち、「受け入れ易い状況」の学習が既に行われていた場合）（ステップＳ３３３／Ｙｅｓ）、図１７に示すように、出力デバイス１は、認識されたユーザ状況が、「受け入れ易い状況」に合致するか否かを判断する（ステップＳ３５３）。
　次いで、認識されたユーザ状況が、「受け入れ易い状況」に合致する場合（ステップＳ３５３／Ｙｅｓ）、出力デバイス１は、メッセージの出力制御を行う（ステップＳ１２７）。メッセージの出力制御の詳細は、第１の実施例と同様である（図６参照）。
　次に、出力デバイス１は、メッセージを提示した後のユーザの反応に基づいて、メッセージがユーザに受け入れられたか否かを判断する（ステップＳ３３９）。かかる判断処理の詳細は、図１８を参照して後述する。本実施例では、ユーザを取り巻く環境等に応じて、ユーザのメッセージを受け入れ易い状況が変化している場合もあるため、学習結果に基づいてメッセージを受け入れ易い状況と判断してメッセージを提示した場合であっても、再度、その後のユーザの反応を観測し、実際にメッセージが受け入れられたか否かを判断する。
　次いで、メッセージがユーザに受け入れられなかったと判断された場合（ステップＳ３６２／Ｎｏ）、出力デバイス１は、メッセージが受け入れられなかったことを管理サーバ２に通知する（ステップＳ３６５）。
　そして、管理サーバ２は、既に記録されている「受け入れ易い状況」のデータのうち、今回のユーザ状況（メッセージが受け入れられなかった状況）を削除する（ステップＳ３６８）。これにより、メッセージを受け入れ易い状況が変化した場合を学習し、「受け入れ易い状況」を更新していくことが可能となる。
　なお、メッセージがユーザに受け入れられた場合は（ステップＳ３６２／Ｙｅｓ）、出力デバイス１は、管理サーバ２への通知は行わない。
　（メッセージが受け入れられたか否かの判断処理）
　続いて、上記ステップＳ３３９に示す、メッセージが受け入れられたか否かの判断処理の一例について、図１８を参照して説明する。
　図１８は、本実施例による、メッセージがユーザに受け入れられたか否かを判断する処理の流れの一例を示すフローチャートである。
　図１８に示すように、まず、出力デバイス１は、センサ１２２（カメラ）によりユーザの顔を撮影したカメラ画像に基づき、ユーザの顔認識と視線解析を行い（ステップＳ３６３）、ユーザが、メッセージの提示として投影したエージェント画像の方を向いたか否か（すなわち、エージェント画像の方に視線や顔を向けたか否か）を判断する（ステップＳ３６６）。
　次いで、エージェント画像の方を向かなかった場合（ステップＳ３６６／Ｎｏ）、出力デバイス１は、メッセージが受け入れられなかったと判断する（ステップＳ３７８）。なお、出力デバイス１は、エージェント画像の方を一瞬見ただけですぐに視線を外した場合や、エージェント画像に焦点が合っていない場合、注視していない場合、エージェント画像を見たが不快な顔をした場合等も、メッセージが受け入れられなかったと判断してもよい。
　次に、出力デバイス１は、センサ１２２（マイク）により集音した音声データに基づき、音声認識を行い（ステップＳ３６９）、メッセージの了承を示す音声が検出されたか否かを判断する（ステップＳ３７２）。
　次いで、メッセージの了承を示す音声（「わかったよ」「ＯＫ」「いいね」「そうなんだ」「面白そうだね」等）が検出されなかった場合（ステップＳ３７２／Ｎｏ）、出力デバイス１は、メッセージが受け入れられなかったと判断する（ステップＳ３７８）。なお、出力デバイス１は、メッセージの了承を示す音声が検出されなかった場合に限定されず、例えば、ユーザが溜息をついたり、舌打ちをしたり、メッセージの提示を邪魔に感じていることを示す音声等を検出した場合に、メッセージが受け入れられなかったと判断してもよい。
　そして、ユーザがエージェント画像の方を向いており（ステップＳ３６６／Ｙｅｓ）、かつ、メッセージの了承を示す音声が検出された場合（ステップＳ３７２／Ｙｅｓ）、出力デバイス１は、メッセージが受け入れられたと判断する（ステップＳ３７５）。
　なお、ここでは一例として視線と音声に基づいて、メッセージが受け入れられたことを判断しているが、本実施例はこれに限定されない。例えば視線と音声のいずれかを用いて判断してもよいし、他の要素（メッセージ提示後のユーザの行動や、ジェスチャ等）に基づいて判断してもよい。
　＜＜４．まとめ＞＞
　上述したように、本開示の実施形態による情報処理システムでは、ユーザが情報を受け入れ易い状況である際に情報提示を行うことで、より効果的な情報提示を実現する。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上述した出力デバイス１、または管理サーバ２に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、出力デバイス１、または管理サーバ２の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御する制御部を備える、
情報処理システム。
（２）
　前記制御部は、
　　前記ユーザ周辺の騒音状況、前記ユーザの生体情報、表情、動き情報の少なくともいずれかに応じて、当該ユーザがメッセージを受け入れ易い状況であるか否かを推定する、前記（１）に記載の情報処理システム。
（３）
　前記提示部は、プロジェクタであり、
　前記制御部は、
　　前記ユーザ周辺に一定の条件を満たす投影場所があるときに、当該投影場所に前記メッセージを投影するように前記プロジェクタを制御する、前記（１）または（２）に記載の情報処理システム。
（４）
　前記制御部は、
　　前記ユーザ周辺のセンシングデータに基づいて、前記一定の条件を満たす投影場所を決定する、前記（３）に記載の情報処理システム。
（５）
　前記制御部は、
　　前記ユーザが視認可能な投影場所があるときに、当該投影場所に前記メッセージを投影するように前記プロジェクタを制御する、前記（３）に記載の情報処理システム。
（６）
　前記制御部は、
　　前記ユーザに関わるセンシングデータに基づいて、前記ユーザの視線解析を行い、前記視認可能な投影場所を判断する、前記（５）に記載の情報処理システム。
（７）
　前記制御部は、
　　前記ユーザが知覚可能な前記メッセージを提示するように前記提示部を制御する、前記（１）～（６）のいずれか１項に記載の情報処理システム。
（８）
　前記制御部は、
　　前記メッセージを、画像または音声の少なくともいずれかにより提示する、前記（７）に記載の情報処理システム。
（９）
　前記制御部は、
　　前記ユーザがメッセージを受け入れ易い状況であると推定された際であっても、前記メッセージの内容に応じて、前記ユーザへのメッセージ提示を行わないよう制御する、前記（１）～（８）のいずれか１項に記載の情報処理システム。
（１０）
　前記制御部は、
　　前記メッセージの内容と、前記ユーザの状態とが合致する場合に、前記ユーザへのメッセージ提示を行い、
　　前記メッセージの内容と、前記ユーザの状態とが合致しない場合は、前記ユーザへのメッセージ提示を行わないよう制御する、前記（９）に記載の情報処理システム。
（１１）
　前記制御部は、
　　前記ユーザがメッセージを受け入れ易い状況ではないと推定されるとき、
　　前記ユーザの状況を、メッセージをより受け入れ易い状況にするためのコントロールガイドを提示する、前記（１）～（１０）のいずれか１項に記載の情報処理システム。
（１２）
　前記コントロールガイドは、前記ユーザ周辺の騒音状況、前記ユーザの生体情報、表情、動き情報の少なくともいずれかを変化させることを目的とした画像または音声である、前記（１１）に記載の情報処理システム。
（１３）
　前記制御部は、
　　前記ユーザの状態が前記メッセージの内容に合わないと推定されるとき、
　　前記ユーザの状態を、前記メッセージの内容に合うようにするためのコントロールガイドを提示する、前記（１０）に記載の情報処理システム。
（１４）
　前記制御部は、
　　前記ユーザに関わるセンシングデータに基づき、前記提示部により提示されたメッセージに対する前記ユーザの反応を検出し、
　　前記検出の結果と、前記ユーザの状況との関係性を学習することにより、前記ユーザのメッセージを受け入れ易い状況を更新する、前記（１）～（１３）のいずれか１項に記載の情報処理システム。
（１５）
　前記制御部は、
　　外部のエージェントシステムから提供されるメッセージを、前記ユーザに提示するように提示部を制御する、前記（１）～（１４）のいずれか１項に記載の情報処理システム。
（１６）
　プロセッサが、
　ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御することを含む、情報処理方法。
（１７）
　コンピュータを、
　ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御する制御部として機能させるためのプログラムが記録された、記録媒体。
　１　出力デバイス
　２　管理サーバ
　３　ネットワーク
　４　エージェントシステムサーバ
　１００　制御部
　１１０　通信部
　１２０　入力部
　１２１　操作入力部
　１２２　センサ
　１２２ａ　生体センサ
　１３０　出力部
　１３１　プロジェクタ
　１３２　スピーカ
　１４０　記憶部
　２００　制御部
　２０１　ユーザ管理部
　２０２　状況認識部
　２０３　メッセージ管理部
　２０４　メッセージ提示制御部
　２１０　通信部
　２２０　記憶部

Claims (17)

  1. 　ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御する制御部を備える、
    情報処理システム。
  2. 　前記制御部は、
    　　前記ユーザ周辺の騒音状況、前記ユーザの生体情報、表情、動き情報の少なくともいずれかに応じて、当該ユーザがメッセージを受け入れ易い状況であるか否かを推定する、請求項１に記載の情報処理システム。
  3. 　前記提示部は、プロジェクタであり、
    　前記制御部は、
    　　前記ユーザ周辺に一定の条件を満たす投影場所があるときに、当該投影場所に前記メッセージを投影するように前記プロジェクタを制御する、請求項１に記載の情報処理システム。
  4. 　前記制御部は、
    　　前記ユーザ周辺のセンシングデータに基づいて、前記一定の条件を満たす投影場所を決定する、請求項３に記載の情報処理システム。
  5. 　前記制御部は、
    　　前記ユーザが視認可能な投影場所があるときに、当該投影場所に前記メッセージを投影するように前記プロジェクタを制御する、請求項３に記載の情報処理システム。
  6. 　前記制御部は、
    　　前記ユーザに関わるセンシングデータに基づいて、前記ユーザの視線解析を行い、前記視認可能な投影場所を判断する、請求項５に記載の情報処理システム。
  7. 　前記制御部は、
    　　前記ユーザが知覚可能な前記メッセージを提示するように前記提示部を制御する、請求項１に記載の情報処理システム。
  8. 　前記制御部は、
    　　前記メッセージを、画像または音声の少なくともいずれかにより提示する、請求項７に記載の情報処理システム。
  9. 　前記制御部は、
    　　前記ユーザがメッセージを受け入れ易い状況であると推定された際であっても、前記メッセージの内容に応じて、前記ユーザへのメッセージ提示を行わないよう制御する、請求項１に記載の情報処理システム。
  10. 　前記制御部は、
    　　前記メッセージの内容と、前記ユーザの状態とが合致する場合に、前記ユーザへのメッセージ提示を行い、
    　　前記メッセージの内容と、前記ユーザの状態とが合致しない場合は、前記ユーザへのメッセージ提示を行わないよう制御する、請求項９に記載の情報処理システム。
  11. 　前記制御部は、
    　　前記ユーザがメッセージを受け入れ易い状況ではないと推定されるとき、
    　　前記ユーザの状況を、メッセージをより受け入れ易い状況にするためのコントロールガイドを提示する、請求項１に記載の情報処理システム。
  12. 　前記コントロールガイドは、前記ユーザ周辺の騒音状況、前記ユーザの生体情報、表情、動き情報の少なくともいずれかを変化させることを目的とした画像または音声である、請求項１１に記載の情報処理システム。
  13. 　前記制御部は、
    　　前記ユーザの状態が前記メッセージの内容に合わないと推定されるとき、
    　　前記ユーザの状態を、前記メッセージの内容に合うようにするためのコントロールガイドを提示する、請求項１０に記載の情報処理システム。
  14. 　前記制御部は、
    　　前記ユーザに関わるセンシングデータに基づき、前記提示部により提示されたメッセージに対する前記ユーザの反応を検出し、
    　　前記検出の結果と、前記ユーザの状況との関係性を学習することにより、前記ユーザのメッセージを受け入れ易い状況を更新する、請求項１に記載の情報処理システム。
  15. 　前記制御部は、
    　　外部のエージェントシステムから提供されるメッセージを、前記ユーザに提示するように提示部を制御する、請求項１に記載の情報処理システム。
  16. 　プロセッサが、
    　ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御することを含む、情報処理方法。
  17. 　コンピュータを、
    　ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御する制御部として機能させるためのプログラムが記録された、記録媒体。
PCT/JP2019/005729 2018-05-09 2019-02-18 情報処理システム、情報処理方法、および記録媒体 WO2019215983A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980029807.9A CN112074804A (zh) 2018-05-09 2019-02-18 信息处理系统、信息处理方法和记录介质
US17/044,066 US11544968B2 (en) 2018-05-09 2019-02-18 Information processing system, information processingmethod, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-090706 2018-05-09
JP2018090706A JP2021128350A (ja) 2018-05-09 2018-05-09 情報処理システム、情報処理方法、および記録媒体

Publications (1)

Publication Number Publication Date
WO2019215983A1 true WO2019215983A1 (ja) 2019-11-14

Family

ID=68468300

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/005729 WO2019215983A1 (ja) 2018-05-09 2019-02-18 情報処理システム、情報処理方法、および記録媒体

Country Status (4)

Country Link
US (1) US11544968B2 (ja)
JP (1) JP2021128350A (ja)
CN (1) CN112074804A (ja)
WO (1) WO2019215983A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210383803A1 (en) * 2018-11-01 2021-12-09 Sony Group Corporation Information processing apparatus, control method thereof, and program
US11137874B2 (en) * 2019-02-22 2021-10-05 Microsoft Technology Licensing, Llc Ergonomic mixed reality information delivery system for dynamic workflows
GB2613619A (en) * 2021-12-09 2023-06-14 Arafat Khalil Projector

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005237561A (ja) * 2004-02-25 2005-09-08 Canon Inc 情報処理装置及び方法
JP2006163911A (ja) * 2004-12-08 2006-06-22 Ntt Docomo Inc 通知用ユーザ状態管理装置、通知制御装置、情報通知装置および情報通知システム並びに情報通知方法
WO2016125359A1 (ja) * 2015-02-03 2016-08-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2016158792A1 (ja) * 2015-03-31 2016-10-06 ソニー株式会社 情報処理装置、制御方法、およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005352645A (ja) 2004-06-09 2005-12-22 Nissan Motor Co Ltd 情報提供装置および情報提供方法
US20060133586A1 (en) * 2004-12-08 2006-06-22 Ntt Docomo, Inc. Information notification system and information notification method
JP6051648B2 (ja) 2012-07-23 2016-12-27 セイコーエプソン株式会社 プロジェクター、およびその制御方法
JP6256339B2 (ja) 2012-09-21 2018-01-10 ソニー株式会社 制御装置および記憶媒体
US9232247B2 (en) * 2012-09-26 2016-01-05 Sony Corporation System and method for correlating audio and/or images presented to a user with facial characteristics and expressions of the user
JP5942840B2 (ja) 2012-12-21 2016-06-29 ソニー株式会社 表示制御システム及び記録媒体
WO2017018015A1 (ja) * 2015-07-28 2017-02-02 ソニー株式会社 通信装置、情報処理システム、記録媒体、および情報処理方法
JP6570425B2 (ja) 2015-11-06 2019-09-04 アルパイン株式会社 車両用投射装置および車両用投射システム
CN107087152B (zh) * 2017-05-09 2018-08-14 成都陌云科技有限公司 三维成像信息通信系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005237561A (ja) * 2004-02-25 2005-09-08 Canon Inc 情報処理装置及び方法
JP2006163911A (ja) * 2004-12-08 2006-06-22 Ntt Docomo Inc 通知用ユーザ状態管理装置、通知制御装置、情報通知装置および情報通知システム並びに情報通知方法
WO2016125359A1 (ja) * 2015-02-03 2016-08-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2016158792A1 (ja) * 2015-03-31 2016-10-06 ソニー株式会社 情報処理装置、制御方法、およびプログラム

Also Published As

Publication number Publication date
JP2021128350A (ja) 2021-09-02
CN112074804A (zh) 2020-12-11
US20210049352A1 (en) 2021-02-18
US11544968B2 (en) 2023-01-03

Similar Documents

Publication Publication Date Title
US11937943B2 (en) Detection of physical abuse or neglect using data from ear-wearable devices
Benssassi et al. Wearable assistive technologies for autism: opportunities and challenges
CN109475294B (zh) 用于治疗精神障碍的移动和可穿戴视频捕捉和反馈平台
CN105009026B (zh) 在环境中控制硬件的机器
TW494308B (en) Control method
KR20230107399A (ko) 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의자동 제어
CN110996796B (zh) 信息处理设备、方法和程序
KR20160034243A (ko) 지속적인 동반 디바이스를 제공하기 위한 장치 및 방법들
WO2019215983A1 (ja) 情報処理システム、情報処理方法、および記録媒体
JPWO2016181670A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020116233A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20200004321A1 (en) Information processing device, information processing method, and program
CN108140045A (zh) 在增强和替代通信系统中支持感知和对话处理量
KR20200111680A (ko) 정보 처리 장치, 정보 처리 방법, 및 기록 매체
JP6864831B2 (ja) ロボット装置及びプログラム
JP7347414B2 (ja) 情報処理システム、情報処理方法、および記録媒体
WO2018168247A1 (ja) 情報処理装置、情報処理方法およびプログラム
Cooper et al. Robot to support older people to live independently
Mansouri Benssassi et al. Wearable assistive technologies for autism: opportunities and challenges
US11942216B2 (en) Method for controlling robot, robot, and non-transitory computer-readable recording medium storing program
US20240221301A1 (en) Extended reality assistance based on user understanding
US20240071378A1 (en) Authoring context aware policies through natural language and demonstrations
US11270682B2 (en) Information processing device and information processing method for presentation of word-of-mouth information
WO2023243431A1 (ja) 介護ロボット、介護ロボットの制御方法、及び、情報処理装置
US20240071014A1 (en) Predicting context aware policies based on shared or similar interactions

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19799486

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19799486

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP