WO2022180770A1 - プログラム、情報処理装置、及び情報処理方法 - Google Patents

プログラム、情報処理装置、及び情報処理方法 Download PDF

Info

Publication number
WO2022180770A1
WO2022180770A1 PCT/JP2021/007279 JP2021007279W WO2022180770A1 WO 2022180770 A1 WO2022180770 A1 WO 2022180770A1 JP 2021007279 W JP2021007279 W JP 2021007279W WO 2022180770 A1 WO2022180770 A1 WO 2022180770A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
senses
control unit
character
expression
Prior art date
Application number
PCT/JP2021/007279
Other languages
English (en)
French (fr)
Inventor
享 山中
Original Assignee
享 山中
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 享 山中 filed Critical 享 山中
Priority to JP2023501941A priority Critical patent/JPWO2022180770A1/ja
Priority to PCT/JP2021/007279 priority patent/WO2022180770A1/ja
Publication of WO2022180770A1 publication Critical patent/WO2022180770A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to a program, an information processing device, and an information processing method.
  • Patent Literature 1 discloses a navigation system that provides route guidance by presenting route information to a user.
  • One of the purposes of the present invention is to provide a technique for enabling easier recognition or memory of presented information.
  • a program according to one aspect of the present invention causes a computer to function as a control unit that controls a device to present sensations based on the five senses.
  • An information processing apparatus includes a control unit that controls a device to present sensations based on the five senses.
  • An information processing method includes a control unit controlling a device to present sensations based on the five senses.
  • FIG. 1 is a diagram schematically showing an example of a system configuration for measuring the position of a terminal device in one embodiment
  • FIG. 1 is a diagram schematically showing an example of a system configuration for measuring the position of a terminal device in one embodiment
  • FIG. 4 is a diagram for exemplifying the processing flow of the system in one embodiment
  • 1 is a conceptual diagram for explaining a five senses device in one embodiment
  • FIG. 1 is a conceptual diagram for explaining the sensations presented by the system in one embodiment
  • FIG. FIG. 2 is a conceptual diagram for explaining situations detected by the system and characteristics of character representations presented in one embodiment.
  • FIG. 4 is a diagram for explaining the relationship between the system and multiple users in one embodiment
  • FIG. 4 is a diagram for explaining the relationship between the system and multiple users in one embodiment
  • 1 is a conceptual diagram illustrating the hardware configuration of a computer used by the system in one embodiment
  • the system 1 provides various experiences to the user by presenting various sensations based on the five senses (ie, sight, smell, taste, hearing, and touch).
  • the system 1 may present sensations based on brain sensation (for example, transmit information by BMI (Brain Machine Interface)).
  • BMI Brain Machine Interface
  • the system 1 includes a cloud system 10, a terminal device 20, a five senses device 30, an in-facility positioning system 40, and other systems/map DB 50 as main components.
  • Each of the components of the system 1 is configured to be communicable (or accessible) with each other.
  • each of the above configurations (or functions or processes of the system 1 to be described later) is realized by cooperation of one or more information processing devices (or computers, hereinafter the same) and software (programs) be done.
  • the functions of a plurality of configurations may be implemented on one device.
  • the functions of at least two configurations among the cloud system 10, the terminal device 20, and the five senses device 30 may be realized on one device.
  • each configuration included in the system 1 shown in FIG. 1 is shown one by one, at least a part of the configuration may be provided in plurality.
  • the system 1 may include multiple terminal devices 20 or five senses devices 30 .
  • the system 1 may not include a part of the configuration shown in FIG. 1, or may include a configuration not shown in FIG.
  • the cloud system 10 implements various functions and executes processing for providing various services to users.
  • the cloud system 10 uses a control unit (not shown) to transmit a control command to the terminal device 20 to control the five senses device 30 so as to present sensations based on the five senses to the user. That is, according to the present embodiment, the system 1 does not present only visual information or audio information to the user, for example, but presents sensations based on the five senses. It can be recognized or remembered more easily. It should be noted that, in the following description, the description "a sensation based on the five senses" does not necessarily mean a sensation based on all of the five senses, but means a sensation based on all or part of the five senses.
  • the cloud system 10 causes the control unit to issue a control command to the terminal device 20 to control the five sense device 30 so as to present a character expression that expresses a predetermined character by combining at least some of the senses based on the five senses.
  • the five senses device 30 presents a combination of at least part of the image, smell, taste, sound, and tactile sensation (skin sensation) of Character A in order to present a character representation of Character A in accordance with the control instructions. do.
  • the character A is a person
  • the five senses device 30 presents a human image, a human smell, a human taste, a human voice, and a feeling that a person touches the user's body, thereby expressing humanity. It is possible to In addition, since the taste is often not confirmed when recognizing a person, it is not necessary to present the taste of the person. Similarly, in the following description, tastes do not have to be presented by the cloud system 10 in order to represent characters.
  • the system 1 presents a character expression that expresses a predetermined character by combining at least some of the sensations based on the five senses. Therefore, the system 1 does not simply present only visual information or audio information to the user, for example, but presents a character expression, so the information presented by the system 1 tends to leave an impression, and the user is more likely to perceive the information. It can be easily recognized or remembered.
  • the predetermined characters above may include real characters or fictitious characters.
  • Real-life characters include living or deceased human or animal characters.
  • a real-life character may be, for example, the user's family member (eg, father, mother, brother, child, grandfather, or grandmother), or the user's pet (eg, dog or cat).
  • Fictional characters include, for example, characters created by humans or artificial intelligence technology.
  • a real-life character may be a character created based on the assumption of a real-life person or animal.
  • a character may be created using artificial intelligence techniques based on characteristics of a real person or animal.
  • a voice recording system, a camera system, an odor determination system, or a system that uses sensors to read information related to the five human senses may be used, and a character may be created based on the information read by the system.
  • the cloud system 10 uses the control unit to transmit a control command to the terminal device 20 to control the five-sense device 30 so as to present a guidance expression associated with the direction as a predetermined character.
  • the five senses device 30 presents a guidance representation associated with a direction such as forward, backward, right, or left according to the character representation of Character A in response to the control command. Guiding representations associated with directions are presented using senses based on the five senses. Guidance representations associated with directions for each of the five senses are described below.
  • ⁇ Taste Guided by taste Taste is associated with a sense of direction (or direction, the same applies hereinafter) in advance. For example, the taste of ethnic, Eskimo, coconut, milk, Asian, European, American, African, etc. is given a sense of direction. By presenting the taste to the user, the five senses device 30 can associate the direction of the meaning of the taste and guide the user.
  • ⁇ Sense of smell Guided by smell Corresponding sense of direction to smell in advance.
  • the five senses device 30 can make the user associate the direction given to the smell and guide the user.
  • ⁇ Tactile sense Guidance by touch
  • the five senses device 30 may guide the user by, for example, pushing or pulling the user by presenting vibration, tactile force, or the like to the user. Further, the five senses device 30 may present a tactile force sense such as vibration or tapping to a part of the user's body corresponding to the direction to be guided. The user selects the direction according to the part of the body where the vibration or tactile force is felt (for example, right shoulder, right arm, or right leg, left, left shoulder, left arm, or left leg, front for stomach, back for back or waist, (direction depending on finger or hand position).
  • ⁇ Vision Guidance by sight Guidance in the direction given to the presented image.
  • Guidance by sound is given in the direction indicated by the presented sound.
  • audible sounds are given meaning (eg, words), and the sensory device 30 can guide the user with the sounds.
  • the five-sense device 30 can also suggest a direction based on what is perceived as a type of voice or sound, or guide the user in a direction that can be directly grasped.
  • the guidance expression includes an expression that guides the user to perform an action including going in a predetermined direction, turning, or stopping.
  • the five senses device 30 can change or adjust the speed of the action to be guided by, for example, a change in the force with which the user is pulled.
  • the five senses device 30 can guide the user by adjusting the bending angle, for example, by adjusting the pulling angle.
  • the five senses device 30 can present a sense to the user to warn the user that the vehicle will turn before guiding the vehicle to turn.
  • the five senses device 30 can present a pulling sensation to the user, for example, to induce the moving (eg, walking) user to stop or slow down. In this case, the pulling force in the guidance to stop may be stronger than the pulling force in the guidance to move slowly.
  • the sensory device 30 can present the user with an upward tugging sensation to induce the user to climb (eg, stairs).
  • the sensory device 30 can present the user with a diagonally downward pulling sensation to guide the user to descend (eg, down a flight of stairs).
  • the five senses device 30 can guide the user according to the meaning grasped by the user by presenting voices, sounds, smells, tastes, body rhythm changes, characters, and the like.
  • the five senses device 30 may notify the user of the danger (by light, sound, voice, body, smell, taste, etc.) in the unlikely event that there is a danger. In addition, the five senses device 30 may make a notification indicating safety (guidance by light, sound, voice, body, smell, taste, etc.) if the situation is safe.
  • the cloud system 10 has, as functional configurations, “user authentication”, “scenario”, “voice UI” (voice user interface), “backend system”, “database”, “AI” (artificial intelligence), and a “front-end system (app)”.
  • User authentication identifies (authenticates) the user to the system or application.
  • a “scenario” has a process (algorithm) that defines an output for a series of input data.
  • the "voice UI" When the user speaks to the device (for example, the five senses device 30), the "voice UI" understands the utterance and operates according to the user's command.
  • the "backend system” installs software or links with the database.
  • a "database” manages data on a computer.
  • AI uses artificial intelligence technology such as machine learning or deep learning to output information (or features) detected from video, context, or user behavior. In other words, it performs tasks as flexibly as humans do, learning from experience and adapting to new inputs. By recognizing patterns in large amounts of data, computers can be trained to perform a variety of difficult tasks in business and life.
  • front-end system executes processing related to the part (user interface) that is directly visible to the user in the web service or web application.
  • Front-end system (application) accepts characters entered by users on websites and web applications, performs processing for displaying buttons that users click, and performs processing that cooperates with back-end systems. Run.
  • the terminal device 20 performs processing according to control commands or data received from the outside (for example, control commands received from the cloud system 10) or user operations (for example, controlling the five-sense device 30).
  • the terminal device 20 has, for example, a “five senses app” as an application for executing the above process.
  • the five senses device 30 presents sensations based on the five senses.
  • the five senses device 30 presents visual, olfactory, gustatory, auditory, and tactile sensations based on the control signal received from the terminal device 20 .
  • Visual presentation includes, for example, presenting a stimulus that causes the user to perceive an image.
  • Presenting the sense of smell includes, for example, presenting a stimulus for the user to recognize an odor.
  • Presentation of taste includes, for example, presenting a stimulus for the user to recognize taste.
  • Auditory presentation includes, for example, presenting stimuli that cause the user to perceive sounds.
  • Presenting a tactile sensation includes, for example, presenting a stimulus that causes the user to recognize a sense of touch.
  • the five senses device 30 is composed of one or more devices.
  • a configuration that presents at least part of the senses of sight, smell, taste, hearing, and touch may be referred to as an actuator.
  • the five-senses device 30 can be installed at a position that can present sensations based on the five senses to the user, for example.
  • the five senses device 30 is configured, for example, to be worn or held by the user.
  • the five senses device 30 includes an "actuator", a "sensor”, and a "communication unit" as shown in FIG.
  • the five senses device 30 may include, for example, but not limited to, at least part of a display, an aroma shooter, a food texture presentation device, a speaker, or a vibrating device as an "actuator".
  • the five senses device 30 includes, but is not limited to, an ultrasonic sensor, an infrared sensor, a laser sensor, a radar, an optical sensor, a sound sensor (microphone), an image sensor (camera), a pressure sensor, an atmospheric pressure sensor, a temperature sensor, and a humidity sensor.
  • an acceleration sensor, an angular velocity sensor, an altitude sensor, a geomagnetic sensor, or a human sensor may be provided as a "sensor" for detecting the surrounding environment or the state of the aircraft itself.
  • the in-facility positioning system 40 is a system for positioning the position of the terminal device 20 when the position of the terminal device 20 is inside the facility (indoor).
  • the in-facility positioning system 40 includes a “sensor” and a “communication unit”.
  • GNSS Global Navigation Satellite System
  • GPS Global Positioning System
  • the other system/map DB 50 includes, for example, external systems, external sensors, and DBs (database servers) for outdoor maps and indoor maps.
  • the external sensors may have similar configurations to the sensors of the sensory device 30 .
  • FIG. 2 shows an exemplary environmental configuration when the terminal device 20 is located outdoors.
  • the terminal device 20 performs positioning processing for specifying its own position based on GPS signals received from GPS satellites, for example.
  • the terminal device 20 may transmit, for example, data based on the specified position of the device itself and data received from the other system/map DB 50 via the Internet to the five senses device 30 .
  • FIG. 3 shows an exemplary environmental configuration when the position of the terminal device 20 is indoors.
  • the position of the terminal device 20 is, for example, a signal (including, for example, access point address information) received from an access point (for example, a WiFi access point) for communication of the terminal device 20, and other system/map DB 50, etc. is identified by positioning processing based on the location information of the access point stored in the . Even if the position of the terminal device 20 is indoors, it may be identified by positioning processing based on GPS signals received from GPS satellites. The identified location information of the terminal device 20 may be transmitted to the five senses device 30 .
  • FIG. 4 exemplarily shows a first flow indicated by solid line arrows and a second flow indicated by dotted line arrows.
  • the first flow is triggered by the result of detection by an external sensor of the other system/map DB 50 .
  • the second flow is triggered by the result of detection by the sensor of the device 30 for five senses.
  • the control unit (not shown) of the cloud system 10 or the terminal device 20 controls the five senses device 30 to present sensations based on the five senses, for example, according to user settings or sensor detection results. do.
  • the control unit of the cloud system 10 or the terminal device 20 executes a program stored in a storage unit such as the cloud system 10 or the terminal device 20, and the hardware of the cloud system 10 or the terminal device 20 is executed. It is realized by controlling the operation of hardware (that is, by cooperation of software and hardware).
  • various settings are registered in the terminal device 20 in accordance with user operations and the like, and information on the settings is transmitted to the cloud system 10 .
  • the settings include, for example, settings related to trigger conditions and settings related to sensations based on the five senses presented by the five senses device 30 . Each flow will be described below.
  • step S101 when the detection result by the external sensor of the other system/map DB 50 satisfies a predetermined trigger condition, a notification is sent to the cloud system 10 (step S101).
  • step S102 the cloud system 10 transmits to the terminal device 20 an instruction according to the trigger condition that has been satisfied (step S102).
  • the terminal device 20 transmits a control signal according to the instruction received from the cloud system 10 to the five senses device 30 (step S103).
  • the five senses device 30 presents the senses based on the five senses to the user by controlling the actuators based on the received control signal (step S104) (step S105).
  • step S201 when the detection result by the sensor of the five senses device 30 satisfies a predetermined trigger condition, a notification is sent to the actuator of the five senses device 30 (step S201). After that, the five senses device 30 transmits an instruction according to the satisfied trigger condition to the terminal device 20 (step S202).
  • the terminal device 20 transmits a control signal according to the instruction received from the five senses device 30 to the cloud system 10 (step S203).
  • the cloud system 10 transmits to the terminal device 20 a control signal for controlling the five senses device 30 in response to the fulfillment of the trigger condition (step S204).
  • the terminal device 20 transmits a control signal to the five senses device 30 according to the received control signal (step S205).
  • the five senses device 30 presents the sensations based on the five senses to the user by controlling the actuators based on the control signal received from the terminal device 20 (step S206).
  • the configuration (device or system; hereinafter the same) included in the five senses device 30 for presenting each of the senses based on the five senses will be described below.
  • ⁇ Vision A system using a device that can be visually reproduced. (e.g., make a video or physical object visible).
  • the device can change the visible range or appearance of the eyeball by electronically sending signals in a remote or direct manner, or otherwise display images in response to receiving signals from the outside. Or the visual can be presented or changed in physical representation.
  • ⁇ Olfaction A system using a device that can reproduce a sense of smell. Including devices that produce odors.
  • the device can present a sense of smell to the user by electronically sending a signal in a remote or direct manner, and can otherwise generate or change odors upon receipt of the signal.
  • the five senses device 30 is a device that transmits electrical signals directly into the brain, or a specific taste by being included in the mouth, depending on the setting. including devices that electronically transmit signals in a remote or direct manner into the mouth so that the drug can be extracted in the mouth.
  • the device can change the amount and movement of saliva exudation and chewing in the mouth, or otherwise extract and change taste by receiving signals depending on the settings.
  • ⁇ Hearing A system using a device that can reproduce sound so that it can be felt. Including the device that generates it. The device changes how a person perceives hearing by electronically sending signals in a remote or direct manner, or otherwise generates and changes sound upon receipt of signals according to settings. be able to.
  • ⁇ Tactile sensation A system using a device that can reproduce a feeling of touch. Including devices that electronically send signals to the body in a remote or direct manner to achieve a more specific tactile sensation. The device can generate or change bodily sensations by changing the contact area or movement of the body, or by receiving signals according to other settings.
  • the five senses device 30 is capable of transmitting sensations using direct electrical signals in the brain, that is, presenting sensations based on brain senses (for example, transmitting information by BMI). .
  • FIG. 6 conceptually shows the feeling that the system 1 presents to the user.
  • the system 1 presents sensations based on the five senses to the user through the five senses device 30 when triggering conditions are met.
  • the sensation may be virtual or real.
  • a triggering condition for example, a plurality of users (self and others) holding the five senses device 30 may be presented with sensations based on the five senses.
  • the trigger condition may be based on detection (sensing) by a sensor, or may be a condition according to system settings (for example, a condition based on passage of time or user operation).
  • the surrounding environment detected by the sensor in the system 1 or the user's situation and the characteristic (expression amount) of the character representation presented by the system 1 will be described.
  • the surrounding environment or the user's situation detected by the sensor of the five senses device 30 or other external sensor of the system/map DB 50 (i.e., the sensor
  • the characteristics of the character representation presented by the five senses device 30 may be changed according to the detection result).
  • the characteristics of character expression are the nature of the expression that the character presents to the user. For example, suppose that the sensor detects that the user's sympathy is not obtained when the characteristics of character expression are sensuous, strong, and fast (a detection method will be described later). In this case, the characteristics of the character expression may be changed to be logical, weak, or slow so as to gain user empathy.
  • the amount of character expression includes sensuous or logical, strong or weak, fast (fast) or slow, regular or rhythmic or irregular, emotional expression, short or long (long). .
  • Sensory or logical means for example, the presentation of expressions that stimulate the user's right brain (right-brain approach) or the presentation of expressions that stimulate the left brain (left-brain approach).
  • a right-brain approach is a user-feeling approach that tells the user
  • a left-brain approach is a user-thinking approach.
  • the right-brain approach communicates from the user's left side, or communicates first (feelings, such as touch and sight, are also communicated through the five-sensory device 30).
  • a left-brain approach for example, communicates from the user's right side. Another example of the left-brain approach is when an alert occurs.
  • the surrounding environment or the user's situation detected by the sensor includes smell, equilibrium, somatosensory sensation, sound, presence, visceral sensation, light, voice, empathy, signal, character, sensibility/intelligence, air pressure. , sensory vocabulary, memory, material, emotion, and 1/f fluctuations.
  • the presence situation is detected by, for example, a human sensor, a temperature sensor, an ultrasonic sensor, or the like.
  • the state of sympathy means, for example, the user's sympathy for the presented character expression, and the presence or absence of sympathy is detected according to the user's expression, voice, or behavior detected by, for example, an image sensor or sound sensor. (For example, it becomes a barometer of sympathy when happiness, fun, etc. progresses and a sense of mutual rapport is established.)
  • Emotional and sensible situations are detected according to the user's facial expression, voice, or behavior detected by an image sensor, sound sensor, or the like, for example.
  • the state of memory includes whether the user has memorized or not, and is detected by analyzing the brain waves of the user (eg, by analyzing movement as memory with respect to the hippocampus in the signal).
  • the 1/f fluctuation situation includes, for example, the surrounding environment detected by an image sensor or the user's 1/f fluctuation.
  • the 1/f fluctuation situation includes the detection result of the sensor whether it is within the range of the algorithm as a natural response in a system that detects fluctuations such as ultrasonic waves.
  • a signal means a digital signal of 0 or 1. Some kind of communication access is assumed. Materials include rough, slippery and the like.
  • a source has the same meaning as a sensory vocabulary, is recognized as a source, is converted, and is a superordinate representation of the sensory vocabulary. For example, if it is rough, it is detected as asphalt, and if it is smooth, it is detected as glass. Characters are recognized by OCR (Optical Character Recognition) or an image sensor.
  • the control unit of the cloud system 10 or the terminal device 20 controls the five-sense device 30 so as to change the emotion (emotional expression) expressed by the character expression according to the detection result of the sensor.
  • emotion emotional expression
  • Such emotional expressions include, for example, joy, love, sadness, fear, anxiety, surprise, dislike, anger, boredom, regret, heart hurt, emotion, excitement, tension, excitement, disturbance, or relief.
  • Changes in emotion include changes in character expression due to changes in the character's visual expression, auditory expression, tactile expression, and the like.
  • the character expression presented by the five senses device 30 may change from anxiety to joy in response to the system 1 detecting the user's feeling of joy.
  • a certain user performs an operation related to another user (another person) via the system 1 (terminal device 20), or is operated by another person via the system 1 (terminal device 20).
  • FIG. 9 shows patterns of destinations when the system 1 guides the user to the destination.
  • the control unit of the cloud system 10 or the terminal device 20 presents guidance expressions to the user (self) in response to an operation (for example, a destination setting operation) on the terminal device 20.
  • the sensory device 30 can be controlled as follows.
  • the induced expression is as described above. That is, the system 1 functions, for example, like a car navigation system.
  • the system 1 receives and registers a destination setting for sensory guidance via the terminal device 20, and provides an automatic guidance system, an automatic detour system, a return direction guidance system, a turn point notification system, or a point It functions as a transit system (linked with the communication environment and nearby beacons).
  • a sensory device 30 can be controlled to present a guided representation.
  • the guiding expression can guide the other person to the destination. In this case, for example, the user holds the terminal device 20 and another person holds the five senses device 30 .
  • the user can set a place (eg, school) that he/she wants others (eg, his/her child) to go to as the destination 2 via the terminal device 20a.
  • oneself can set a meeting place for oneself and others as a destination 3 via the terminal device 20a.
  • another person can set another person's destination (destination 2 or destination 3) via the other person's terminal device 20 (referred to as a terminal device 20b).
  • the system 1 automatically sets the route to the set destination by the cloud system 10 or the terminal device 20, and the five sense device 30 (referred to as the five sense device 30a) or another person's five sense device 30 (referred to as the five sense device 30b). ) to present the senses based on the five senses, the user guides himself/herself or others to the destination with the above-mentioned character expressions and guiding expressions.
  • the user can operate the terminal device 20a to guide the other person, and guide the other person to move to the destination 2 or the destination 3 using the character representation and the guidance representation via the five-sense device 30b. can be done.
  • the character representation and guidance representation may correspond to one's own character.
  • the system 1 may operate to build rapport with the user. In order to build rapport, the system 1 adjusts the character representation or the guiding representation presented by the five senses device 30b so that the representation is compatible with the user.
  • the cloud system 10 or the control unit of the terminal device 20 may determine the degree of matching between the user's behavior and the guidance expression based on the detection result of the user's behavior by the sensor. For example, if the guidance representation presented by the five-sense device 30 indicates rightward movement, but the user's behavior detected by the sensor is leftward movement, the degree of matching is low (with a low score). may be determined. On the other hand, if the guiding expression presented by the five senses device 30 indicates the right direction and the user's behavior detected by the sensor is to move in the right direction, the degree of matching is determined to be high (with a high score). good too.
  • the controller of the cloud system 10 or the terminal device 20 may control the five senses device 30 so as to change the characteristics of the guidance expression according to the degree of matching determined as described above.
  • the characteristic of the guidance expression is the same as the characteristic (expression amount) of the character expression described with reference to FIG. That is, characteristics of the guiding expression may include, for example, sensory or logical, strong or weak, fast (early) or slow, regular or rhythmic or irregular, emotional expression, short or long (long). For example, suppose that the sensor determines that the above degree of matching is low when the characteristics of the guidance expression are sensuous, strong, and fast. In this case, adjustments such as changing the characteristic of the guidance expression to be logical, weak, or slow are performed so that the matching score is increased.
  • control unit of the cloud system 10 or the terminal device 20 controls the five senses device 30 to perform an operation that matches the user's operation based on the theory of paging so that the score of the degree of matching is high. good. For example, when the user's movement is fast, fast guidance is performed, when the user's movement is slow, slow guidance is performed, and when there is no time (for example, when there is no time until the time the user wants to arrive at the destination set by the user)
  • the sensory device 30 may be controlled to provide fast guidance. You can also wait quietly when considering whether to rush or not.
  • the system 1 may perform matching in order to build rapport. For example, the system 1 may set the tone of voice presented by the device 30 to match the tone (pitch) of the user's voice detected by the sensor. The system 1 may set the tempo of the voice presented by the five senses device 30 according to the tempo (fast, slow) of the user's voice detected by the sensor. The system 1 may set the volume of the voice presented by the five senses device 30 according to the volume of the user's voice detected by the sensor (loud, soft). The system 1 may set the rhythm of the voice presented by the five senses device 30 in accordance with the user's voice rhythm (for example, rhythmic, monotonous) detected by the sensor.
  • the system 1 may set the tone of voice presented by the device 30 to match the tone (pitch) of the user's voice detected by the sensor.
  • the system 1 may set the tempo of the voice presented by the five senses device 30 according to the tempo (fast, slow) of the user's voice detected by the sensor.
  • the system 1 may set
  • the system 1 may control the five senses device 30 to present an expression of emotion according to the destination that guides the user.
  • the control unit of the cloud system 10 or the terminal device 20 detects that the user has reached the destination according to the guidance expression by the five-sense device 30, and the character corresponding to the destination
  • the sensory device 30 may be controlled to present representations. For example, if the destination is a happy place for the user, a happy expression may be presented, and if the destination is a sad place, a sad expression may be presented.
  • the five senses device 30 outputs an emotion (e.g., joy) corresponding to the user's gratitude. It may be controlled to present the representation.
  • an emotion e.g., joy
  • the system 1 corresponds the character information corresponding to the character expression presented by the five senses device 30 (for example, after arriving at the destination) and the user's emotion (for example, happy or not happy) detected by the sensor. may be attached and stored in the storage unit as the user's experience.
  • the control unit of the cloud system 10 or the terminal device 20 responds to the sensor detecting a predetermined action by the user, and associates the predetermined action with the detected position to correspond to the predetermined action.
  • the indicated emotion information may be stored in the storage unit in the system 1 .
  • emotional information corresponding to the movement of the user's body at that position is stored.
  • the space can be tagged with the user's emotional information.
  • the emotional information to be stored may be information using all or part of the five senses.
  • the user can check the tagged emotion information via the cloud system 10 or the terminal device 20 . By checking the tagged emotion information via the cloud system 10 or the terminal device 20, the user can more easily reproduce recognition and memory.
  • the relationship with the device in the three-dimensional space is replaced with a direct relationship with a specific person or character, and the person can build a rapport relationship with the device.
  • a more recognizable and memorable story is created, and guidance to the destination using bodily sensations (for example, guidance from the current position to another position, from another position to another position, from another position to the current position)
  • bodily sensations for example, guidance from the current position to another position, from another position to another position, from another position to the current position
  • emotional meaning and human relationships are established, making it easier to reproduce cognition and memory.
  • the computer 700 includes a processor 701, a memory 703, a storage device 705, an operation section 707, an input section 709, a communication section 711, and an output section 713 as main components.
  • Computer 700 may not include at least some of these configurations.
  • the computer 700 may also have other configurations that general-purpose or special-purpose computers generally have.
  • the processor 701 is a control unit that controls various processes in the computer 700 by executing programs stored in the memory 703 . Therefore, the processor 701 implements the functions of the components described in the above embodiments and controls the execution of the above processes through cooperation with other components of the computer 700 and programs.
  • the memory 703 is a storage medium such as RAM (Random Access Memory).
  • RAM Random Access Memory
  • program codes of programs executed by the processor 701 and data necessary for executing the programs are temporarily read from the storage device 705 or the like or stored in advance.
  • the storage device 705 is a non-volatile storage medium such as a hard disk drive (HDD).
  • the storage device 705 stores an operating system, various programs for realizing the above configurations, data of the above processing results, and the like.
  • the operation unit 707 is a device for receiving input from the user. Specific examples of the operation unit 707 include a keyboard, mouse, touch panel, joystick, button keys, various sensors, and wearable devices.
  • the operation unit 707 may be detachably connected to the computer 700 via an interface such as USB (Universal Serial Bus).
  • the input unit 709 is a device for inputting data from outside the computer 700 .
  • a specific example of the input unit 709 is a drive device for reading data stored in various storage media.
  • the input unit 709 also includes a microphone that picks up ambient sound, converts the sound into sound data, and inputs the sound.
  • Input 709 may be removably connected to computer 700 . In that case, the input unit 709 is connected to the computer 700 via an interface such as USB.
  • the communication unit 711 is a device for performing data communication with a device external to the computer 700 via a network, wired or wirelessly.
  • the communication unit 711 may be detachably connected to the computer 700 . In that case, the communication unit 711 is connected to the computer 700 via an interface such as USB.
  • the output unit 713 is a device that outputs various data.
  • the output unit 713 is, for example, a display device for displaying data or a speaker for outputting audio.
  • Specific examples of the display device include a liquid crystal display, an organic EL display, and a wearable device display.
  • the output unit 713 may be detachably connected to the outside of the computer 700 .
  • the display device, which is the output unit 713 is connected to the computer 700 via, for example, a display cable.
  • the output unit 713 can be integrated with the operation unit 707 .
  • a program for implementing the system 1 (or the cloud system 10 or the terminal device 20) in this embodiment is recorded on various recording media such as an optical disk such as a CD-ROM, a magnetic disk, and a semiconductor memory. be able to. Also, the above program can be installed or loaded on a computer by downloading it through a recording medium or via a communication network or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提示される情報のより容易な認知又は記憶を可能にすることに関する技術を提供する。プログラムは、五感に基づく感覚を提示するようにデバイスを制御する制御部としてコンピュータを機能させる。

Description

プログラム、情報処理装置、及び情報処理方法
　本発明は、プログラム、情報処理装置、及び情報処理方法に関する。
　ユーザに何らかの情報を提示するシステム又はデバイスが知られている。特許文献１には、ルート情報をユーザに提示することによりルート案内を行うナビゲーションシステムが開示されている。
特開２０１９－１３３３６６号公報
　従来技術において、ユーザが、システム又はデバイスから提示される情報を認知又は記憶することが困難である場合がある。
　本発明の目的の一つは、提示される情報のより容易な認知又は記憶を可能にすることに関する技術を提供することである。
　本発明の一態様に係るプログラムは、コンピュータを、五感に基づく感覚を提示するようにデバイスを制御する制御部として機能させる。
　本発明の一態様に係る情報処理装置は、五感に基づく感覚を提示するようにデバイスを制御する制御部を備える。
　本発明の一態様に係る情報処理方法は、制御部が、五感に基づく感覚を提示するようにデバイスを制御することを含む。
　本発明によれば、提示される情報のより容易な認知又は記憶を可能にすることに関する技術を提供することができる。
一実施形態におけるシステム構成の一例を概略的に示す図である。 一実施形態において、端末装置の位置を測位するためのシステム構成の一例を概略的に示す図である。 一実施形態において、端末装置の位置を測位するためのシステム構成の一例を概略的に示す図である。 一実施形態におけるシステムの処理フローを例示的に説明するための図である。 一実施形態における五感デバイスを説明するための概念図である。 一実施形態におけるシステムにより提示される感覚を説明するための概念図である。 一実施形態におけるシステムにより検知される状況と、提示されるキャラクター表現の特性とを説明するための概念図である。 一実施形態におけるシステムと複数のユーザとの間の関係を説明するための図である。 一実施形態におけるシステムと複数のユーザとの間の関係を説明するための図である。 一実施形態においてシステムにより使用されるコンピュータのハードウェア構成を例示する概念図である。
　以下に、本発明の一実施形態について説明する。なお、以下の実施形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施の形態を採用することが可能であり、かかる実施の形態も本発明の範囲に含まれる。
　図１を参照して、一実施形態に係るシステム１の例示的な構成について説明する。本実施形態において、システム１は、五感（すなわち、視覚、嗅覚、味覚、聴覚、及び触覚）に基づく各種の感覚を提示することにより、ユーザに各種のエクスペリエンスを提供する。システム１は、五感に加えて、脳覚に基づく感覚を提示（例えば、ＢＭＩ（Brain Machine Interface）により情報を伝達）してもよい。
　システム１は、主な構成として、クラウドシステム１０、端末装置２０、五感デバイス３０、施設内測位システム４０、及びその他システム／地図ＤＢ５０を備える。システム１が備える上記の各構成は、互いに通信（又はアクセス）可能に構成されている。本実施形態において、上記の各構成（又は以降に説明するシステム１の機能若しくは処理）は、１つ又は複数の情報処理装置（又はコンピュータ。以下同様。）及びソフトウェア（プログラム）の協働によって実現される。また、システム１が備える上記の構成のうち、複数の構成の機能が一つの装置上で実現されてもよい。例えば、クラウドシステム１０、端末装置２０、及び五感デバイス３０のうち、少なくとも二つの構成の機能が一つの装置上で実現されてもよい。
　なお、図１に示すシステム１が備える各構成は、１つずつ示されているが、少なくとも一部の構成を複数備えてもよい。例えば、システム１は、端末装置２０又は五感デバイス３０を複数備えてもよい。また、システム１は、図１に示す構成の一部を備えなくてもよいし、図１に示されていない構成を備えてもよい。
　クラウドシステム１０は、各種の機能を実現し、各種のサービスをユーザに提供するための処理を実行する。例えば、クラウドシステム１０は、制御部（図示せず）により、五感に基づく感覚をユーザに提示するように五感デバイス３０を制御するための制御命令を端末装置２０に送信する。すなわち、本実施形態によれば、システム１は、例えば、視覚情報若しくは音声情報のみをユーザに提示するのではなく、五感に基づく感覚を提示するため、ユーザは、システム１により提示される情報をより容易に認知又は記憶することが可能である。なお、以降の説明において、「五感に基づく感覚」という記載は、必ずしも五感の全てに基づく感覚を意味するのではなく、五感の全て又は一部に基づく感覚を意味する。
　さらに、クラウドシステム１０は、制御部により、五感に基づく感覚の少なくとも一部の組み合わせにより所定のキャラクターを表現するキャラクター表現を提示するように五感デバイス３０を制御するための制御命令を端末装置２０に送信してもよい。例えば、五感デバイス３０は、上記制御命令に応じて、キャラクターＡのキャラクター表現を提示するために、キャラクターＡの像、臭い、味、音、及び触覚（皮膚感覚）の少なくとも一部の組み合わせを提示する。例えば、キャラクターＡが人である場合、五感デバイス３０により、人の像、人の臭い、人の味、人の声、人がユーザの身体に触れる感覚が提示されることにより、人らしさを表現することが可能である。なお、人を認識するときに、味は確認されないことが多いため、人の味は提示されなくてもよい。以降の説明においても同様に、キャラクターを表現するために、クラウドシステム１０により味は提示されなくてもよい。
　このように本実施形態によれば、システム１は、五感に基づく感覚の少なくとも一部の組み合わせにより所定のキャラクターを表現するキャラクター表現を提示する。そのため、システム１は、例えば、視覚情報若しくは音声情報のみをユーザに単純に提示するのではなく、キャラクター表現を提示するため、システム１により提示される情報は印象に残りやすく、ユーザは情報をより容易に認知又は記憶することが可能である。
　上記の所定のキャラクターは、実在するキャラクター、又は架空のキャラクターを含んでもよい。実在するキャラクターとは、生存する又は死去した人又は動物のキャラクターを含む。実在するキャラクターは、例えば、ユーザの家族（例えば、父、母、兄弟、子供、祖父、又は祖母）、又はユーザのペット（例えば、犬、又は猫）であってもよい。架空のキャラクターは、例えば、人又は人工知能技術により創作されたキャラクターを含む。
　実在するキャラクターは、実在する人又は動物を想定して、作り上げたキャラクターであってもよい。例えば、実在する人又は動物の特徴に基づいて、人工知能の技術を使用してキャラクターを作り上げてもよい。また、音声収録システム、カメラシステム、臭気判定システム、その他センサを用いた人の五感に関する情報を読み取るシステムを使用し、当該システムにより読み取られた情報に基づいて、キャラクターを作り上げてもよい。
　また、本実施形態において、クラウドシステム１０は、制御部により、方向に関連付けられた誘導表現を所定のキャラクターで提示するように五感デバイス３０を制御するための制御命令を端末装置２０に送信してもよい。例えば、五感デバイス３０は、上記制御命令に応じて、キャラクターＡのキャラクター表現により、前、後、右、又は左などの方向に関連付けられた誘導表現を提示する。方向に関連付けられた誘導表現は、五感に基づく感覚を使用して提示される。以下に、五感のそれぞれについて、方向に関連付けられた誘導表現を説明する。
・味覚：味で導く
　予め味に方向（又は方角、以下同様）感を対応付ける。例えば、エスニック、エスキモー、ココナッツ、ミルク、アジアン、ヨーロピアン、アメリカン、アフリカンなどの味に方向感の意味づけを行う。五感デバイス３０は、ユーザに味覚を提示することにより、味の意味づけされた方向を連想させ、ユーザを誘導することができる。
・嗅覚：においで導く
　予めにおいに方向感を対応付ける。五感デバイス３０は、においをユーザに提示することにより、においに対して意味付けされた方向を連想させ、ユーザを誘導することができる。
・触覚：触れて導く
　触れて提示する方向の感覚で誘導する。五感デバイス３０は、例えば、振動又は触力覚等をユーザに提示することで、ユーザを押したり、引いたりすることで、誘導してもよい。また、五感デバイス３０は、ユーザの身体における誘導したい方向に応じた部位に、振動を提示、又は叩くなどの触力覚を提示してもよい。ユーザは、身体において振動又は触力覚を感じた部位に応じた方向（例えば、右肩、右腕、又は右足なら右、左肩、左腕、又は左足なら左、腹なら前、背中又は腰なら後、指又は手の位置に応じた方向）に導かれる。
・視覚：視覚で導く
　提示する像に意味付けられた方向に誘導する。五感デバイス３０は、例えば、右、左、前、後などの方向と視覚的に意味付けられたもの（例えば、方向を連想させる文字、画像などの視覚的な表現）を提示することにより、ユーザを誘導することができる。
・聴覚：音で導く
　提示する音に意味付けされた方向に誘導する。例えば、耳に聞こえる音に意味づけがされており（例えば、言葉）、五感デバイス３０は、当該音によりユーザを誘導することができる。また、五感デバイス３０は、声や音の種類として感じられるものにより方向を連想させるか、直接的に把握できる方向に誘導することもできる。
　また、誘導表現は、所定の方向に進むこと若しくは曲がること、又は止まることを含む行動をユーザが行うように誘導する表現を含む。五感デバイス３０は、例えば、ユーザを引っ張る力の変化で、誘導する行動のスピードを変化又は調整させることができる。
　五感デバイス３０は、例えば、引っ張る角度の調整により、曲がる角度を調整してユーザを誘導することができる。五感デバイス３０は、例えば、曲がる誘導をする前に、曲がることを予告するための感覚をユーザに提示できる。五感デバイス３０は、例えば、移動している（例えば、歩いている）ユーザを止まるよう、又はゆっくり進むように誘導するために、後ろに引っ張る感覚をユーザに提示できる。この場合において、ゆっくり進むようにする誘導において引っ張る力よりも、止まる誘導おいて引っ張る力の方が強い力であってもよい。五感デバイス３０は、（例えば、階段を）登るようにユーザを誘導するために、斜め上に引っ張る感覚をユーザに提示できる。五感デバイス３０は、（例えば、階段を）下りるようにユーザを誘導するために、斜め下に引っ張る感覚をユーザに提示できる。
　五感デバイス３０は、上記以外にも、声、音、におい、味、身体へのリズム変化、文字などを提示することにより、ユーザが把握する意味付けに従って、ユーザを誘導することができる。
　五感デバイス３０は、万が一危険が生じる状況があれば、危険であることを通知（光や音、声、身体、におい、味などで案内）してもよい。また、五感デバイス３０は、安全な状況であれば、安全を意味する通知（光や音、声、身体、におい、味などで案内）を行ってもよい。
　図１の説明に戻り、クラウドシステム１０は、機能構成として、「ユーザ認証」、「シナリオ」、「音声ＵＩ」（音声ユーザインタフェース）、「バックエンドシステム」、「データベース」、「ＡＩ」（人工知能）、及び「フロントエンドシステム（アプリ）」を有する。
　「ユーザ認証」は、システム又はアプリケーションに対してユーザを識別（認証）する。
　「シナリオ」は、入力された一連のインプットデータに対するアウトプットを規定するプロセス（アルゴリズム）を有する。
　「音声ＵＩ」は、ユーザがデバイス（例えば、五感デバイス３０）に対して話しかけるとその発言を理解して、ユーザの命令に応じて動作する。
　「バックエンドシステム」は、ソフトウェアのインストール、又はデータベースとの連係を行う。
　「データベース」は、コンピュータ上でデータを管理する。
　「ＡＩ」は、機械学習又は深層学習などの人工知能技術を用いて、映像、文脈、又はユーザの振る舞いなどから検知された情報（又は特徴）に応じた出力等を行う。換言すれば、経験から学び、新たな入力に順応することで、人間が行うように柔軟にタスクを実行する。大量のデータからパターンを認識させることで、ビジネスや生活における様々な難しいタスクをこなせるようにコンピュータをトレーニングすることができる。
　「フロントエンドシステム（アプリ）」は、Ｗｅｂサービス又はＷｅｂアプリケーションで直接ユーザの目に触れる部分（ユーザインタフェース）に関する処理を実行する。「フロントエンドシステム（アプリ）」は、ＷｅｂサイトやＷｅｂアプリケーションなどにおいてユーザが入力した文字の受け付け、ユーザがクリックするボタンの表示のための処理を実行し、また、バックエンドシステムと連携する処理を実行する。
　端末装置２０は、外部から受信した制御命令若しくはデータ（例えば、クラウドシステム１０から受信した制御命令）、又はユーザ操作に応じた処理（例えば、五感デバイス３０の制御）を行う。端末装置２０は、上記の処理を実行するためのアプリケーションとして、例えば、「五感アプリ」を有する。
　五感デバイス３０は、五感に基づく感覚を提示する。例えば、五感デバイス３０は、端末装置２０から受信した制御信号に基づいて、例えば、視覚、嗅覚、味覚、聴覚、及び触覚を提示する。視覚の提示とは、例えば、ユーザが像を認識する刺激を提示することを含む。嗅覚の提示とは、例えば、ユーザが臭いを認識する刺激を提示することを含む。味覚の提示とは、例えば、ユーザが味を認識する刺激を提示することを含む。聴覚の提示とは、例えば、ユーザが音を認識する刺激を提示することを含む。触覚の提示とは、例えば、ユーザが触れた感覚を認識する刺激を提示することを含む。
　五感デバイス３０は、一つ又は複数のデバイスにより構成される。本実施形態における五感デバイス３０において、視覚、嗅覚、味覚、聴覚、及び触覚のうち少なくとも一部を提示する構成をアクチュエータと称する場合がある。五感デバイス３０は、例えば、ユーザに五感に基づく感覚を提示可能な位置に設置され得る。五感デバイス３０は、例えば、ユーザが身体に装着又は把持可能に構成されている。五感デバイス３０は、図１に示すように、「アクチュエータ」、「センサ」、及び「通信部」を備える。
　五感デバイス３０は、例えば、限定はしないが、ディスプレイ、アロマシューター、食感提示デバイス、スピーカ、又は振動装置のうち少なくとも一部を「アクチュエータ」として備えてもよい。
　また、五感デバイス３０は、限定はしないが、超音波センサ、赤外線センサ、レーザセンサ、レーダー、光センサ、音センサ（マイク）、イメージセンサ（カメラ）、圧力センサ、気圧センサ、温度センサ、湿度センサ、加速度センサ、角速度センサ、高度センサ、地磁気センサ、又は人感センサのうち少なくとも一部を周辺環境又は自機の状態を検知する「センサ」として備えてもよい。
　施設内測位システム４０は、端末装置２０の位置が施設内（屋内）であるときに、当該端末装置２０の位置を測位するためのシステムである。施設内測位システム４０は、「センサ」及び「通信部」などを含む。なお、端末装置２０の位置が屋外である場合、ＧＰＳ（Global Positioning System）などのＧＮＳＳ（Global Navigation Satellite System）、又はその他の任意の方法により端末装置２０の位置が測位される。
　その他システム／地図ＤＢ５０は、例えば、外部システム、外部センサ、並びに屋外地図及び屋内地図のＤＢ（データベースサーバ）を含む。外部センサは、五感デバイス３０のセンサと同様の構成を備えてもよい。
　図２及び図３を参照して、端末装置２０の位置が屋外であるときと屋内であるときの環境構成（特に、端末装置２０の位置を測位するための構成）を説明する。図２は、端末装置２０の位置が屋外であるときの例示的な環境構成を示している。端末装置２０は、例えば、ＧＰＳ衛星から受信したＧＰＳ信号に基づいて、自機の位置を特定するための測位処理を行う。端末装置２０は、例えば、特定された自機の位置に基づくデータと、その他システム／地図ＤＢ５０からインターネットを介して受信したデータを五感デバイス３０に送信してもよい。
　図３は、端末装置２０の位置が屋内であるときの例示的な環境構成を示している。端末装置２０の位置は、例えば、端末装置２０の通信のためのアクセスポイント（例えば、ＷｉＦｉアクセスポイント）から受信した信号（例えば、アクセスポイントのアドレス情報を含む。）と、その他システム／地図ＤＢ５０等に記憶されたアクセスポイントの位置情報とに基づいて、測位処理により特定される。端末装置２０の位置が屋内である場合も、当該が、ＧＰＳ衛星から受信したＧＰＳ信号に基づいて測位処理により特定されてもよい。特定された端末装置２０の位置情報は、五感デバイス３０に送信されてもよい。
　図４を参照して、システム１において、トリガーの発生からユーザに五感に基づく感覚を提示するまでの処理のフローの例を説明する。図４には、実線矢印で示された第１フローと、点線矢印で示された第２フローとが例示的に示されている。第１フローは、その他システム／地図ＤＢ５０の外部センサによる検知結果をトリガーとするフローである。第２フローは、五感デバイス３０のセンサによる検知結果をトリガーとするフローである。
　いずれのフローにおいても、クラウドシステム１０又は端末装置２０の制御部（図示せず）は、例えば、ユーザ設定又はセンサによる検知結果に応じて、五感に基づく感覚を提示するように五感デバイス３０を制御する。当該制御の処理は、例えば、クラウドシステム１０又は端末装置２０の制御部が、クラウドシステム１０又は端末装置２０等の記憶部に記憶されたプログラムを実行し、クラウドシステム１０又は端末装置２０が有するハードウェアの動作を制御することにより、（すなわち、ソフトウェアとハードウェの協働により）実現される。
　第１フロー及び第２フローの開始の前提として、ユーザ操作等に応じて、端末装置２０に各種の設定（ユーザ設定）が登録され、さらに、当該設定の情報がクラウドシステム１０に送信される。当該設定は、例えば、トリガーの条件に関する設定、及び五感デバイス３０が提示する五感に基づく感覚に関する設定を含む。以下にそれぞれのフローについて説明する。
　第１フローにおいて、まず、その他システム／地図ＤＢ５０の外部センサによる検知結果が所定のトリガー条件を満たしたときに、クラウドシステム１０に通知が送信される（ステップＳ１０１）。次に、クラウドシステム１０は、満たされたトリガー条件に応じた指示を端末装置２０に送信する（ステップＳ１０２）。
　次に、端末装置２０は、クラウドシステム１０から受信した指示に応じた制御信号を五感デバイス３０に送信する（ステップＳ１０３）。次に、五感デバイス３０は、受信した制御信号に基づいてアクチュエータを制御する（ステップＳ１０４）ことにより、ユーザに五感に基づく感覚を提示する（ステップＳ１０５）。
　第２フローにおいて、まず、五感デバイス３０のセンサによる検知結果が所定のトリガー条件を満たしたときに、五感デバイス３０のアクチュエータに通知が送信される（ステップＳ２０１）。その後、五感デバイス３０は、満たされたトリガー条件に応じた指示を端末装置２０に送信する（ステップＳ２０２）。
　次に、端末装置２０は、五感デバイス３０から受信した指示に応じた制御信号をクラウドシステム１０に送信する（ステップＳ２０３）。次に、クラウドシステム１０は、受信した制御信号に基づいて、トリガー条件が満たされたことに応じた五感デバイス３０の制御のための制御信号を端末装置２０に送信する（ステップＳ２０４）。次に、端末装置２０は、受信した制御信号に応じて、五感デバイス３０に制御信号を送信する（ステップＳ２０５）。次に、五感デバイス３０は、端末装置２０から受信した制御信号に基づいてアクチュエータを制御する（ステップＳ２０６）ことにより、ユーザに五感に基づく感覚を提示する（ステップＳ２０７）。
　図５を参照して、五感に基づく感覚のそれぞれを提示するために、五感デバイス３０に含まれる構成（デバイス又はシステム。以下同様。）について、以下に説明する。
・視覚：視認できるように再現できるデバイスを用いたシステム
　五感デバイス３０は、設定に応じて、ユーザの脳内に直接的な電気信号を用いて伝達するシステム、又は目で見られるように視覚物を提示する（例えば、映像又は物理的なものを見えるようにする）デバイスを含む。当該デバイスは、遠隔若しくは直接的な方法で電子的に信号を送ることで、眼球の見える範囲、又は見え方を変化させることができ、また、その他、外部からの信号の受け取りに応じて、映像又は物理表現で視覚を提示又は変化させることができる。
・嗅覚：においを感じられるように再現できるデバイスを用いたシステム
　五感デバイス３０は、設定に応じて、脳内に直接的な電気信号を用いて伝達するシステム、又は鼻ににおいとして感じられるようににおいを発生させるデバイスを含む。当該デバイスは、遠隔もしくは直接的な方法で電子的に信号を送ることで、ユーザに嗅覚を提示することができ、また、その他、信号の受け取りにより、においを発生又は変化させることができる。
・味覚：味を感じられるように再現できるデバイスを用いたシステム
　五感デバイス３０は、設定に応じて、脳内に直接的な電気信号を用いて伝達するデバイス、又は口内に含めることで特定の味が口内で抽出できるように、口内に、遠隔もしくは直接的な方法で電子的に信号を送信するデバイスを含む。当該デバイスは、唾液の染み出し量や動き及び口内での咀嚼を変化させ、又は、その他、設定に応じた信号の受け取りにより、味を抽出および変化することができる。
・聴覚：音を感じられるように再現できるデバイスを用いたシステム
　五感デバイス３０は、設定に応じて、脳内に直接的な電気信号を用いて伝達するシステム、又は音として感じられるように音を発生させるデバイスを含む。当該デバイスは、遠隔若しくは直接的な方法で電子的に信号を送ることで、聞こえ方の人の感じ方を変化させ、又は、その他、設定に応じた信号の受け取りにより、音を発生及び変化させることができる。
・触覚：触れたことが感じられるように再現できるデバイスを用いたシステム
　五感デバイス３０は、設定に応じて、脳内に直接的な電気信号を用いて伝達するデバイス、又はユーザの身体に触れるデバイスより特定の触れた感覚が得られるように、身体へ遠隔もしくは直接的な方法にて電子的に信号を送信するデバイスを含む。当該デバイスは、身体の触れる面積や動きを変化させ、又は、その他、設定に応じた信号の受け取りにより、身体への体感を発生又は変化させることができる。
　五感デバイス３０は、上記のとおり、脳内に直接的な電気信号を用いて感覚を伝達すること、すなわち、脳覚に基づく感覚を提示（例えば、ＢＭＩにより情報を伝達）することが可能である。
　図６は、システム１がユーザに提示する感覚を概念的に示している。システム１は、トリガーとなる条件が満たされたときに、五感デバイス３０によりユーザに五感に基づく感覚を提示する。当該感覚は、バーチャルであってもよいし、リアルであってもよい。また、トリガーとなる条件が満たされたときに、例えば、五感デバイス３０を保持する複数のユーザ（自分及び他人）に五感に基づく感覚が提示されてもよい。また、トリガーとなる条件は、センサによる検知（センシング）に基づくものであってもよいし、システム設定に応じた条件（例えば、時間の経過やユーザ操作に基づく条件）であってもよい。
　図７を参照して、システム１においてセンサにより検知された周辺環境又はユーザの状況と、システム１により提示されるキャラクター表現の特性（表現量）との関係について説明する。本実施形態において、クラウドシステム１０又は端末装置２０の制御部による処理により、五感デバイス３０のセンサ（又はその他システム／地図ＤＢ５０の外部センサ）により検知された周辺環境又はユーザの状況（すなわち、センサによる検知結果）に応じて、五感デバイス３０により提示されるキャラクター表現の特性が変更されてもよい。
　キャラクター表現の特性（表現量）とは、キャラクターがユーザに対して提示する表現の性質である。例えば、キャラクター表現の特性が感覚的、強い、速いであるときに、センサにより、ユーザの共感が得られていないことが検知されたとする（検知方法は後述する）。この場合において、ユーザの共感が得られるようにするために、キャラクター表現の特性は、論理的、弱い、又は遅いに変更されてもよい。
　図７に示すように、キャラクター表現の表現量は、感覚的又は論理的、強い又は弱い、速い（早い）又は遅い、定期的又はリズミカル又は不定期、感情表現、短い又は長い（永い）を含む。
　感覚的又は論理的とは、例えば、ユーザの右脳をより刺激する表現の提示（右脳的アプローチ）、又は左脳をより刺激する表現の提示（左脳的アプローチ）を意味する。右脳的アプローチは、ユーザに伝える、ユーザが感じるアプローチであり、左脳的アプローチはユーザが考えるアプローチである。例として、右脳的アプローチでは、ユーザの左側から伝える、又は、まず伝える（触覚や視覚など、感情なども五感デバイス３０を通して伝える）。左脳的アプローチでは、例えば、ユーザの右側から伝える。左脳的アプローチの他の例として、アラートが発生したとする。緊急に信号音が鳴ると、状況説明の触覚を右手に与える（刺激３の強度）。又は、左手に冷たさの刺激を与える（刺激２の強度＝海や川に溺れる危険性のあるゾーン）。
　図７に示すように、センサにより検知された周辺環境又はユーザの状況は、におい、平衡、体性感覚、音、気配、内臓感覚、光、声、共感、信号、文字、感性／知性、気圧、感覚語彙、記憶、素材、感情、及び１／ｆゆらぎを含む。
　気配の状況は、例えば、人感センサ、温度センサ、又は超音波センサ等により検知される。共感の状況とは、例えば、提示されたキャラクター表現に対するユーザの共感を意味し、共感の有無が、例えば、イメージセンサ又は音センサ等により検出されたユーザの表情、音声、又は振る舞いに応じて検知される（例えば、嬉しい、楽しいなどが進行し、お互いのラポールの感覚が出来上がってきたときに、共感のバロメーターになる。）。感情及び感性の状況は、例えば、イメージセンサ又は音センサ等により検出されたユーザの表情、音声、又は振る舞いに応じて検知される。記憶の状況とは、ユーザが記憶したか否かを含み、ユーザの脳波を分析する（例えば、信号で海馬に対しての記憶としての動きを分析する）ことにより検知される。１／ｆゆらぎの状況は、例えば、イメージセンサ等により検知される周辺環境又はユーザの１／ｆゆらぎを含む。また、１／ｆゆらぎの状況は、超音波など、揺らぎを検知するシステムで自然な反応としてのアルゴリズムの範囲内であるかのセンサの検知結果を含む。
　また、信号は、０又は１のデジタル信号を意味する。何等かの通信アクセスなどを想定している。素材は、ざらざら、つるつるなどを含む。素材は、感覚語彙と同意味であり、それを素材として認識し、変換したもので、感覚語彙の上位表現である。例えば、ざらざらしていたら、アスファルトとして、つるつるしていたら、ガラスとして、素材が検知される。文字は、ＯＣＲ（Optical Character Recognition）又はイメージセンサで認識される。
　また、本実施形態において、クラウドシステム１０又は端末装置２０の制御部による処理により、センサによる検知結果に応じて、キャラクター表現により表現される感情（感情表現）を変更するように五感デバイス３０が制御されてもよい。当該感情表現には、例えば、喜び、好き、悲しみ、恐怖、不安、驚き、嫌い、怒り、退屈、悔やむ、心が傷つく、感動、興奮、緊張、気持ちが高ぶる、心が乱れる、又は安心が含まれる。感情の変更には、キャラクターの視覚表現、聴覚表現、触覚表現などの変化によるキャラクター表現の変更が含まれる。例えば、システム１においてユーザの喜びの感情が検知されたことに応じて、五感デバイス３０により提示されていたキャラクター表現が不安から喜びに変化してもよい。
　図８及び図９を参照して、本実施形態におけるシステム１の複数のユーザ（例えば、自分及び他人）の間の関係について説明する。図８に示すように、あるユーザ（自分）は、システム１（端末装置２０）を介して他のユーザ（他人）に関する操作を行ったり、システム１（端末装置２０）を介して他人から操作されたりする。
　図９は、システム１によりユーザを目的地まで誘導する場合における移動先のパターンを示している。本実施形態において、クラウドシステム１０又は端末装置２０の制御部により、あるユーザ（自分）による端末装置２０に対する操作（例えば、目的地の設定操作）に応じて、自分に対して誘導表現を提示するように五感デバイス３０を制御することができる。誘導表現とは、前述のとおりである。すなわち、システム１は、例えば、車のナビゲーションシステムのように機能する。また、システム１は、端末装置２０を介して、体感誘導のための目的地の設定を受け付け、登録し、自動誘導システム、自動迂回システム、戻り方向の誘導システム、曲がるポイントの通知システム、又はポイント通過システム（通信環境や近くのビーコンと連動）として機能する。
　また、クラウドシステム１０又は端末装置２０の制御部により、あるユーザ（自分）による端末装置２０に対する操作（例えば、目的地の設定操作又は誘導操作）に応じて、他のユーザ（他人）に対して誘導表現を提示するように五感デバイス３０を制御することができる。当該誘導表現により、他人を目的地まで誘導することができる。この場合において、例えば、自分が端末装置２０を保持し、他人が五感デバイス３０を保持している。
　例えば、図９に示す例において、自分は、自分の端末装置２０（端末装置２０ａと称する。）を介して自分の行きたいところ（例えば、東京駅）を目的地１として設定することができる。また、自分は、端末装置２０ａを介して、他人（例えば、自分の子供）に行ってほしいところ（例えば、学校）を目的地２として設定することができる。また、自分は、端末装置２０ａを介して、自分と他人との待ち合わせ場所を目的地３として設定することができる。また、他人は、他人の端末装置２０（端末装置２０ｂと称する。）を介して、他人の目的地（目的地２又は目的地３）を設定することができる。
　システム１は、設定された目的地までのルートをクラウドシステム１０又は端末装置２０により自動設定し、自分の五感デバイス３０（五感デバイス３０ａと称する。）又は他人の五感デバイス３０（五感デバイス３０ｂと称する。）を制御して五感に基づく感覚を提示することにより、上記のキャラクター表現及び誘導表現で自分又は他人を目的地まで誘導する。
　また、自分は、端末装置２０ａに対して他人の誘導のための操作を行い、キャラクター表現及び誘導表現で目的地２又は目的地３までの他人の移動を、五感デバイス３０ｂを介して誘導することができる。この場合において、キャラクター表現及び誘導表現は、自分のキャラクターに対応するものであってもよい。
　本実施形態において、システム１は、ユーザとの間でラポールを構築するように動作してもよい。システム１は、ラポールを構築するために、五感デバイス３０ｂにより提示されるキャラクター表現又は誘導表現がユーザと相性のよいものとなるように当該表現を調整する。
　相性を合わせるために、まず、キャラクター表現又は誘導表現がユーザと相性のよいものであるか否かの判定を行う。例えば、クラウドシステム１０又は端末装置２０の制御部により、センサによるユーザの行動の検知結果に基づいて、ユーザの行動と誘導表現との間の一致度を判定してもよい。例えば、五感デバイス３０により提示された誘導表現が右を示すものであるのに対し、センサにより検知されたユーザの行動が左方向に進むものであった場合、一致度は低く（低いスコアで）判定されてもよい。一方、五感デバイス３０により提示された誘導表現が右を示すものであり、センサにより検知されたユーザの行動が右方向に進むものであった場合、一致度は高く（高いスコアで）判定されてもよい。
　クラウドシステム１０又は端末装置２０の制御部により、上記のように判定された一致度に応じて、誘導表現の特性を変更するように五感デバイス３０が制御されてもよい。誘導表現の特性とは、図７を参照して説明したキャラクター表現の特性（表現量）と同様である。すなわち、誘導表現の特性は、例えば、感覚的又は論理的、強い又は弱い、速い（早い）又は遅い、定期的又はリズミカル又は不定期、感情表現、短い又は長い（永い）を含んでもよい。例えば、誘導表現の特性が感覚的、強い、速いであるときに、センサにより上記の一致度が低いスコアで判定されたとする。この場合において、一致度のスコアが高くなるように、誘導表現の特性を論理的、弱い、又は遅いに変更する等の調整が行われる。
　また、クラウドシステム１０又は端末装置２０の制御部は、一致度のスコアが高くなるように、ページングの理論に基づいて、ユーザの動作に合わせた動作を行うように五感デバイス３０を制御してもよい。例えば、ユーザの動作が早いときは早い誘導を行い、ユーザの動作が遅いときは遅い誘導を行い、時間がないとき（例えば、ユーザが設定した目的地に到着したい時刻まで時間がないとき）は早い誘導を行うように、五感デバイス３０が制御されてもよい。また、急ぐか急がないかの判断を検討しているときには、静かに待ってもよい。
　また、ラポール構築のためのミラーリングの理論に基づいて、例えば、システム１が左に曲がるように誘導していたにも関わらず、ユーザが右に曲がった場合、システム１も右に曲がるようにユーザを誘導してもよい。この場合において、システム１は、ユーザが右に曲がることで危険性な状況などがある場合、その状況を緊急にユーザに五感デバイス３０を介して通知してもよい。その結果、ラポールを構築することができる。
　また、ラポール構築のために、システム１は、マッチングを行ってもよい。例えば、システム１は、センサにより検知されたユーザの声のトーン（高低）に合わせて、五感デバイス３０より提示される声のトーンを設定してもよい。システム１は、センサにより検知されたユーザの声のテンポ（早い、遅い）に合わせて、五感デバイス３０より提示される声のテンポを設定してもよい。システム１は、センサにより検知されたユーザの声のボリューム（大きい、小さい）に合わせて、五感デバイス３０より提示される声のボリュームを設定してもよい。システム１は、センサにより検知されたユーザの声のリズム（例えば、リズミカル、単調）に合わせて、五感デバイス３０より提示される声のリズムを設定してもよい。
　システム１は、ユーザを誘導する目的地に応じた感情の表現を提示するように五感デバイス３０を制御してもよい。具体的には、クラウドシステム１０又は端末装置２０の制御部は、五感デバイス３０による誘導表現に応じてユーザが目的地に到達したことが検知されたことに基づいて、当該目的地に応じたキャラクター表現を提示するように五感デバイス３０を制御してもよい。例えば、目的地がユーザにとって嬉しい場所である場合は、嬉しい表現、悲しい場所である場合は、悲しい表現が提示されてもよい。また、ユーザにより感謝を表す感情に対応する入力が端末装置２０に行われ、又は感謝の感情がセンサにより検知された場合、五感デバイス３０は、ユーザによる感謝に対応する感情（例えば、喜び）の表現を提示するように制御されてもよい。
　システム１は、（例えば、目的地への到着後に）五感デバイス３０より提示されたキャラクター表現に対応するキャラクターの情報と、センサにより検知されたユーザの感情（例えば、楽しい、又は楽しくない）を対応付けて、当該ユーザの経験として記憶部に記憶してもよい。
　システム１において、クラウドシステム１０又は端末装置２０の制御部は、ユーザによる所定の動作がセンサにより検知されたことに応じて、当該所定の動作を検知した位置に関連付けて、当該所定の動作に対応する感情情報を記憶してもよい。例えば、両手を挙げる動作に喜びの感情が対応付けられている場合、ユーザが両手を挙げる動作がセンサにより検知されたことに応じて、両手を挙げる動作が検知された位置に関連付けて、喜びを示す感情情報がシステム１における記憶部に記憶されてもよい。
　すなわち、本実施形態によれば、システム１によりユーザが誘導された位置（例えば、目的地又は通過した位置）に対して、当該位置でのユーザの身体の動きに応じた感情の情報を記憶する（すなわち、空間に対してユーザの感情の情報をタグ付けする）ことができる。記憶される感情の情報は、五感の全て又は一部を用いた情報であってもよい。ユーザは、タグ付けされた感情の情報を、クラウドシステム１０又は端末装置２０を介して、確認することが可能である。ユーザは、タグ付けされた感情の情報をクラウドシステム１０又は端末装置２０を介して確認することにより、より認知と記憶の再現を行いやすくなる。
　以上のように本実施形態によれば、三次元空間におけるデバイスとの関係が、あたかも特定の人やキャラクターとの直接的な関係に置き換わり、そのデバイスに対して人はラポール関係を構築できるようになる。その結果、より認知と記憶に残るストーリーが出来上がり、体感を用いた目的地への誘導（例えば、現在位置から他の位置、他の位置から他の位置、他の位置から現在位置への誘導）に感情としての意味づけや人としての関係性ができあがり、認知と記憶を再現しやすくなる。
　＜コンピュータのハードウェア構成＞
　次に、図１０を参照して、本実施形態におけるクラウドシステム１０及び端末装置２０を実装するためのコンピュータ（情報処理装置）の例示的なハードウェア構成を説明する。
　図１０に示すように、コンピュータ７００は、主な構成として、プロセッサ７０１と、メモリ７０３と、記憶装置７０５と、操作部７０７と、入力部７０９と、通信部７１１、及び出力部７１３を備える。コンピュータ７００は、これらの構成のうち、少なくとも一部を備えなくてもよい。また、コンピュータ７００は、これらの構成以外に、汎用コンピュータ又は専用コンピュータが一般的に備える他の構成を備えてもよい。
　プロセッサ７０１は、メモリ７０３に記憶されているプログラムを実行することによりコンピュータ７００における各種の処理を制御する制御部である。従って、プロセッサ７０１は、コンピュータ７００が備える他の構成と、プログラムとの協働により、上記の実施形態で説明した各構成の機能を実現し、上記の処理の実行を制御する。
　メモリ７０３は、例えばＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の記憶媒体である。メモリ７０３には、プロセッサ７０１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータが記憶装置７０５等から一時的に読みだされて、又は予め記憶されている。
　記憶装置７０５は、例えばハードディスクドライブ（ＨＤＤ）等の不揮発性の記憶媒体である。記憶装置７０５は、オペレーティングシステム、上記各構成を実現するための各種プログラム、上述した処理結果のデータ等を記憶する。
　操作部７０７は、ユーザからの入力を受け付けるためのデバイスである。操作部７０７の具体例としては、キーボード、マウス、タッチパネル、ジョイスティック、ボタンキー、各種センサ、ウェアラブルデバイス等が挙げられる。操作部７０７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）等のインタフェースを介してコンピュータ７００に取り外し可能に接続されても良い。
　入力部７０９は、コンピュータ７００の外部からデータを入力するためのデバイスである。入力部７０９の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。また、入力部７０９は、周辺の音声を収音し、音声を音声データに変換して入力するマイクを含む。入力部７０９は、コンピュータ７００に取り外し可能に接続されてもよい。その場合、入力部７０９は、例えばＵＳＢ等のインタフェースを介してコンピュータ７００へと接続される。
　通信部７１１は、コンピュータ７００の外部の装置と有線又は無線により、ネットワークを介したデータ通信を行うための装置である。通信部７１１は、コンピュータ７００に取り外し可能に接続されてもよい。その場合、通信部７１１は、例えばＵＳＢ等のインタフェースを介してコンピュータ７００に接続される。
　出力部７１３は、各種データを出力するデバイスである。出力部７１３は、例えば、データを表示するための表示装置、又は音声を出力するためのスピーカである。表示装置の具体例としては、例えば液晶ディスプレイや有機ＥＬディスプレイ、ウェアラブルデバイスのディスプレイ等が挙げられる。出力部７１３は、コンピュータ７００の外部に取り外し可能に接続されてもよい。その場合、出力部７１３である表示装置は、例えばディスプレイケーブル等を介してコンピュータ７００に接続される。また、操作部７０７としてタッチパネルが採用される場合には、出力部７１３は、操作部７０７と一体化して構成することが可能である。
　＜変形例＞
　本実施形態におけるシステム１（又は、クラウドシステム１０、若しくは端末装置２０）を実装するためのプログラムは、ＣＤ－ＲＯＭ等の光学ディスク、磁気ディスク、半導体メモリなどの各種の記録媒体に記録しておくことができる。また、記録媒体を通じて、又は通信ネットワークなどを介して上記のプログラムをダウンロードすることにより、コンピュータにインストール又はロードすることができる。
　本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。
１　システム
１０　クラウドシステム
２０　端末装置
３０　五感デバイス
４０　施設内測位システム
５０　その他システム／地図ＤＢ

Claims (15)

  1. 　コンピュータを、
    　五感に基づく感覚を提示するようにデバイスを制御する制御部として機能させるためのプログラム。
  2. 　前記制御部は、ユーザ設定又はセンサによる検知結果に応じて、前記五感に基づく感覚を提示するように前記デバイスを制御する、請求項１に記載のプログラム。
  3. 　前記制御部は、前記五感に基づく感覚の少なくとも一部の組み合わせにより所定のキャラクターを表現するキャラクター表現を提示するように前記デバイスを制御する、請求項１又は２に記載のプログラム。
  4. 　前記所定のキャラクターは、実在するキャラクター、又は架空のキャラクターを含む、請求項３に記載のプログラム。
  5. 　前記制御部は、センサによる検知結果に応じて、前記キャラクター表現の特性を変更するように前記デバイスを制御する、請求項３又は４に記載のプログラム。
  6. 　前記制御部は、センサによる検知結果に応じて、前記キャラクター表現により表現される感情を変更するように前記デバイスを制御する、請求項４に記載のプログラム。
  7. 　前記制御部は、方向に関連付けられた誘導表現を前記所定のキャラクターで提示するように前記デバイスを制御する、請求項３から６のいずれか一項に記載のプログラム。
  8. 　前記誘導表現は、進むこと、曲がること、又は止まることを含む行動をユーザが行うように誘導する表現を含む、請求項７に記載のプログラム。
  9. 　前記制御部は、第１ユーザによる端末装置に対する操作に応じて、第２ユーザに対して前記誘導表現を提示するように前記デバイスを制御する、請求項７又は８に記載のプログラム。
  10. 　前記制御部は、ユーザの行動のセンサによる検知結果に基づいて、ユーザの行動と前記誘導表現との間の一致度を判定する、請求項８又は９に記載のプログラム。
  11. 　前記制御部は、判定された前記一致度に応じて、前記誘導表現の特性を変更するように前記デバイスを制御する、請求項１０に記載のプログラム。
  12. 　前記制御部は、前記誘導表現に応じてユーザが目的地に到達したことが検知されたことに基づいて、前記目的地に応じた前記キャラクター表現を提示するように前記デバイスを制御する、請求項７から１１のいずれか一項に記載のプログラム。
  13. 　前記制御部は、ユーザによる所定の動作がセンサにより検知されたことに応じて、前記所定の動作を検知した位置に関連付けて、前記所定の動作に対応する感情情報を記憶する、請求項１から１２のいずれか一項に記載のプログラム。
  14. 　五感に基づく感覚を提示するようにデバイスを制御する制御部、
    　を備える情報処理装置。
  15. 　制御部が、五感に基づく感覚を提示するようにデバイスを制御することを含む、情報処理方法。
PCT/JP2021/007279 2021-02-26 2021-02-26 プログラム、情報処理装置、及び情報処理方法 WO2022180770A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023501941A JPWO2022180770A1 (ja) 2021-02-26 2021-02-26
PCT/JP2021/007279 WO2022180770A1 (ja) 2021-02-26 2021-02-26 プログラム、情報処理装置、及び情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/007279 WO2022180770A1 (ja) 2021-02-26 2021-02-26 プログラム、情報処理装置、及び情報処理方法

Publications (1)

Publication Number Publication Date
WO2022180770A1 true WO2022180770A1 (ja) 2022-09-01

Family

ID=83048938

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/007279 WO2022180770A1 (ja) 2021-02-26 2021-02-26 プログラム、情報処理装置、及び情報処理方法

Country Status (2)

Country Link
JP (1) JPWO2022180770A1 (ja)
WO (1) WO2022180770A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10240434A (ja) * 1997-02-27 1998-09-11 Matsushita Electric Ind Co Ltd コマンドメニュー選択方法
JPH11259446A (ja) * 1998-03-12 1999-09-24 Aqueous Reserch:Kk エージェント装置
JP2011096171A (ja) * 2009-11-02 2011-05-12 National Institute Of Information & Communication Technology 多感覚インタラクションシステム
JP2012063253A (ja) * 2010-09-16 2012-03-29 Olympus Corp 画像生成システム、プログラム及び情報記憶媒体
JP2014120006A (ja) * 2012-12-17 2014-06-30 Haruyuki Iwata 携帯型移動支援装置
WO2015162949A1 (ja) * 2014-04-21 2015-10-29 ソニー株式会社 通信システム、制御方法、および記憶媒体
JP2017181449A (ja) * 2016-03-31 2017-10-05 カシオ計算機株式会社 電子機器、経路検索方法及びプログラム
JP2018100936A (ja) * 2016-12-21 2018-06-28 トヨタ自動車株式会社 車載装置及び経路情報提示システム
JP2019082904A (ja) * 2017-10-31 2019-05-30 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10240434A (ja) * 1997-02-27 1998-09-11 Matsushita Electric Ind Co Ltd コマンドメニュー選択方法
JPH11259446A (ja) * 1998-03-12 1999-09-24 Aqueous Reserch:Kk エージェント装置
JP2011096171A (ja) * 2009-11-02 2011-05-12 National Institute Of Information & Communication Technology 多感覚インタラクションシステム
JP2012063253A (ja) * 2010-09-16 2012-03-29 Olympus Corp 画像生成システム、プログラム及び情報記憶媒体
JP2014120006A (ja) * 2012-12-17 2014-06-30 Haruyuki Iwata 携帯型移動支援装置
WO2015162949A1 (ja) * 2014-04-21 2015-10-29 ソニー株式会社 通信システム、制御方法、および記憶媒体
JP2017181449A (ja) * 2016-03-31 2017-10-05 カシオ計算機株式会社 電子機器、経路検索方法及びプログラム
JP2018100936A (ja) * 2016-12-21 2018-06-28 トヨタ自動車株式会社 車載装置及び経路情報提示システム
JP2019082904A (ja) * 2017-10-31 2019-05-30 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
JPWO2022180770A1 (ja) 2022-09-01

Similar Documents

Publication Publication Date Title
JP5574865B2 (ja) 玩具セット、ゲーム制御プログラム
US10702991B2 (en) Apparatus, robot, method and recording medium having program recorded thereon
US8362883B2 (en) Method and system for the presentation of information via the tactile sense
JP2019162714A (ja) 音源の方向を認識するロボット
JP7173031B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20150298315A1 (en) Methods and systems to facilitate child development through therapeutic robotics
JP2012198916A (ja) リアルタイムのコンテンツのストリームと対話するための装置
WO2002076687A1 (en) Robot device and control method therefor, and storage medium
US20180025283A1 (en) Information processing apparatus, information processing method, and program
US20210056866A1 (en) Portable Reading, Multi-sensory Scan and Vehicle-generated Motion Input
WO2022180770A1 (ja) プログラム、情報処理装置、及び情報処理方法
US20210291379A1 (en) Robot, speech synthesizing program, and speech output method
US20220365588A1 (en) Information processing apparatus, information processing method, and program
JP7439826B2 (ja) 情報処理装置、情報処理方法、及びプログラム
Schmidt et al. Tactile communication in extreme contexts: Exploring the design space through kiteboarding
JPWO2020105309A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7327391B2 (ja) 制御装置、制御方法及びプログラム
US10049596B2 (en) Apparatus for recognizing intention of horse-riding simulator user and method thereof
KR101019655B1 (ko) 사용 유도 장치 및 방법
KR20160082108A (ko) 정서 발달에 도움을 주는 사운드를 출력하는 장치
JP2019200607A (ja) 情報処理システムおよび情報処理方法
KR20130139137A (ko) 센서입력에 반응하는 대화인형 및 그 운용 방법
JP7414735B2 (ja) 複数のロボットエフェクターを制御するための方法
JP7156300B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7495125B2 (ja) ロボット、音声合成プログラム、及び音声出力方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21927872

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023501941

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 24.11.2023)